CN110542390A - 使用结构光的3d对象扫描方法 - Google Patents

使用结构光的3d对象扫描方法 Download PDF

Info

Publication number
CN110542390A
CN110542390A CN201910458478.1A CN201910458478A CN110542390A CN 110542390 A CN110542390 A CN 110542390A CN 201910458478 A CN201910458478 A CN 201910458478A CN 110542390 A CN110542390 A CN 110542390A
Authority
CN
China
Prior art keywords
images
image
physical object
training
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910458478.1A
Other languages
English (en)
Other versions
CN110542390B (zh
Inventor
尼斯·恩格霍姆
杰拉尔德·费尔哈格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Global Scanning Denmark AS
Original Assignee
Global Scanning Denmark AS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Global Scanning Denmark AS filed Critical Global Scanning Denmark AS
Publication of CN110542390A publication Critical patent/CN110542390A/zh
Application granted granted Critical
Publication of CN110542390B publication Critical patent/CN110542390B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/2433—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures for measuring outlines by shadow casting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

一种使用结构光的3D对象扫描方法，包括：经由用户界面，接收用户的执行扫描操作的输入并且响应于此：使用投光器，将结构光投射在物理对象的表面上；并且使用照相机记录至少物理对象的表面的一部分的第一图像序列；响应于接收该图像序列中的至少包括来自光散射区域的图像强度的一个或多个第一图像，检索在训练期间配置的训练图像处理网络以输出包括作为物理对象的表面上的目标位置的估计的位置的表示的数据；使用训练图像处理网络处理该图像序列中的包括光散射区域的第一图像，以生成物理对象的表面上的目标位置的估计；并且基于物理对象的表面上的目标位置的估计使用三角测量生成物理对象的表面的部分或完全计算机可读的、点云或者三维模型。

Description

使用结构光的3D对象扫描方法
技术领域
本发明涉及3D对象扫描方法，尤其涉及使用结构光的3D对象扫描方法。
背景技术
在一些示例中，用于对象的表面几何形状的非接触式测量的传统3D(三维)对象扫描可以基于将光图案(例如一条或多条线)投射到3D对象(物理对象)上的投光器和记录包括光图案的3D对象的图像的照相机。光图案(例如线)在3D对象上绘制光的对应于3D对象的表面几何形状的轮廓的曲线。
可以通过扫描移动中的致动器移动3D对象、光投射器和照相机中的一个或多个来记录多个图像以捕获3D对象上的光图案的多个投影。因此，照相机可以将显示光图案的各个投影的多个图像输出到3D对象上。然后由计算设备处理图像以识别关于图像的光图案射在3D对象的表面上的位置。
然后，计算设备基于关于图像的光图案射在3D对象的表面上的位置执行三角测量方法，以例如，以点云或3D模型的形式数字地重构3D对象的表面几何形状。三角测量方法需要知道照相机和光投射器之间的距离以及当记录相应图像时它们之间的角度。
为了获得3D对象的表面几何形状的精确重构，通常优选但不总是必要的是包括所谓的照相机模型或被配置用于校正照相机及其透镜或其他光学系统中的光学失真的另一模型，照相机通过光学系统接收来自3D对象的光。
此外，3D对象的表面几何形状的精确重构取决于精确地识别关于图像的光图案射在3D对象的表面上的位置。
因此，需要精确的扫描移动和光图案在3D对象上的位置的信息，以便生成精确地再现3D对象的点云或3D模型。
相关的现有技术
US 6205243公开了一种通过将结构光(例如激光条纹)投射到对象上来快速扫描对象的系统和方法。使用照相机记录来自激光条纹的光的反射点的形状和由计算机执行的三角测量技术，重构对象的3D形状。
JUAN ESPINAL等人于2010年9月28日在2010 IEEE，ELECTRONICS,ROBOTICS ANDAUTOMOTIVE MECHANICS CONFERENCE(CERMA)第74至79页的：“3D Object ReconstructionUsing Structured Light and Neural Networks”描述了一种根据线图像处理和神经网络对对象建模和三维重构的技术。除了基于来自对应于已知对象高度的激光线位移的参考数据实现神经网络之外，还执行图像处理以解决激光线的最大强度不总是在激光线的中点的问题。有时激光线以一定角度投射到对象上。因此，最大强度位于中点的左侧或右侧。为了计算最大强度的位置，使用加权算术平均值，参阅第76页的图4。
然而，可以看出包括加权算术平均值的图像处理不足以提高精度；至少不适用于3D对象的所有表面类型。
因此，将物理对象再现为3D模型的准确性依赖于结构光的位置可以位于对象的图像中的精度。
通常，现有技术的需要结构光的3D对象扫描仪通常遭受缺乏将物理对象再现为3D模型时的准确性和易用性中的一个或两个。一个原因可能是射在被扫描对象表面上的结构光可能以不可预测的方式散射，并且尤其是当跨对象的一个区域的表面变化时。
射在对象表面上的光被散射的方式可能取决于若干情况，例如但不限于：光入射角和照相机视角，更不用说对象表面特性，例如纹理、光泽、曲率及其在结构光射入的狭窄区的变化。此外，一些需要结构光的3D对象扫描仪可能对来自周围环境的光(例如太阳光)敏感，这些光不能被扫描仪控制。
为了对结构光以不可预测的方式散射作出说明，使用结构光的3D对象扫描仪通常局限于以下一种或多种情况：扫描具有在已知范围内变化的表面的预定义类型的对象；需要外壳遮挡对象，使其免受来自周围环境的诸如阳光的光；以及用户通过设置多个参数的组合操作扫描仪来配置扫描仪的重要配置时间和技巧，每个参数与结构光的投影和捕获的不同方面相关，用于充分精确的扫描，更不用说对于具有变化表面的对象，例如一件艺术品，这种配置可能不存在。重要配置时间的一个原因可能是通常需要大量的反复试验，涉及调整多个参数中的一个或多个的迭代，开始扫描(可能完成)，渲染3D模型并且然后检查以评估质量。
遗憾的是，即使是少量可调节的操作条件也会产生大量的组合，这使得3D扫描仪的无经验的用户在精确地计算出物理对象的表面的精确的点云或三维模型之前进入繁琐的反复试验过程。
另外，表示物理对象的3D模型的精度取决于结构光可以定位的精度。
上述限制中的一个或多个可能是使用结构光提供可以由更广泛的用户或跨更大范围的对象使用的3D对象扫描仪的障碍。
发明内容
提供了一种扫描3D对象的方法，包括：
经由用户界面接收用户的执行扫描操作的输入并且响应于此：使用投光器将结构光投射到物理对象的表面上，大致物理对象的表面上的目标位置；并且使用被布置为距投光器一定距离处并且相对于投光器成一定视角的照相机，记录至少物理对象的表面的一部分的第一图像序列，物理对象的表面的一部分包括被投射在物理对象的表面上的目标位置处的结构光照亮的光散射区域；
响应于接收图像序列中的至少包括来自光散射区域的图像强度的一个或多个第一图像，检索在训练期间配置的训练图像处理网络以输出包括物理对象的表面上的目标位置的一个或多个第一图像中的位置的估计的数据；
使用训练图像处理网络，处理图像序列中的包括光散射区域的第一图像，以生成物理对象的表面上的目标位置的一个或多个第一图像中的位置的估计；并且
基于物理对象的表面上的目标位置的估计使用三角测量，生成物理对象的表面的部分或完整的计算机可读的、点云或三维模型。
因此，将物理对象的表面上的目标位置的一个或多个第一图像中的位置的估计输入至随后的三角测量。由于可以以改进的精度提供一个或多个第一图像中的位置的估计，训练图像处理网络改进三角测量的输入。
根据扫描3D对象的方法，可以响应于接收用户的执行扫描操作的输入来准确地计算物理对象的表面的点云或三维模型。在某些方面，方法使得能够对包括例如由玻璃或塑料制成的透明或半透明部分的物理对象进行精确的3D扫描。经验和实验已表明即便是一个对3D扫描仪有经验的用户也很难获得具有透明或半透明的表面、结构或部分的物理对象的精确的甚至有用的扫描。然而，通过对图像处理网络进行适当训练，可以使更广阔的用户群对具有这种棘手的表面、结构或部分的对象执行扫描。另外，可以使用户能够对表面特性具有较大可变性(例如，光亮、光泽度、颜色、孔隙度等跨度范围较大)的物理对象执行扫描。
扫描3D对象的方法可以进行接收用户的执行扫描操作的输入以在前述接收用户输入投光器和照相机中的一个或两个的操纵操作条件时生成物理对象的表面的部分或完整的计算机可读的点云或三维模型。因此，用户在实现满意效果之前都不需要担心她/他自己耗费时间反复试验扫描过程。训练图像处理网络可具有在其训练数据内和/或超出其训练数据归纳的能力，其与她/他在扫描特定物理对象时至少前几次尝试中能够实现的相比，增加了用户能够获得更好的扫描结果的几率。这是有关联的，因为扫描3D对象可能花费大量的时间完成，例如，5至30分钟以上。
扫描3D对象的方法可能需要经由用户界面接收用户的输入以执行包括以下各项中的一个或多个的数字重构操作：检索训练图像处理网络、使用训练图像处理网络以及生成物理对象的表面的部分或完整的计算机可读的点云或三维模型。由于扫描操作和数字重构操作两者可能是耗时的，并且由于可在各个硬件部件上执行该操作，因此响应于接收用户输入进行任一操作是有优势的。不论是哪种情况，通常通过涉及扫描操作(耗时)和数字重构操作(同样耗时)两者的反复试验过程将用户从调整操作条件这一非常耗时的任务中解放出来。
训练图像处理网络可被配置为在训练期间抑制光散射区域的不期望的效果，这是使目标位置的估计错误地偏移的来源。训练图像处理网络可以使用线性和非线性算子的组合。
在一些实施方式中，生成物理对象的表面的部分或完整的计算机可读的点云或三维模型包括涉及生成3D点云、由3D点云生成3D网格、使3D网格平滑并将纹理施加至3D网格以生成物理对象的3D模型的过程。该纹理通过处理图像序列中的图像获得。
在一些实施方式中，将结构光投影到物理对象的表面上，大致物理对象的表面上逐渐移位的目标位置。这可以通过支持投光器进行角运动的投光器平台的机动化旋转和支持物理对象进行角运动的对象平台的旋转中的一个或两个来实现。
结构光可瞄准物理对象的目标位置。当观察结构光撞击的物理对象时，可以观察到结构光出现的某些表面在目标位置(强光强度)处聚焦并且沿着正交于结构光的方向的方向在大致目标位置基本高斯分布，其可以是线。
由大致在物理对象的表面上的目标位置投影的结构光照亮的光散射区域可以作为关于目标位置对称或不对称的一个或多个规则或不规则照明区域出现。目标位置可以对应于结构光的几何中心或‘重心’(例如，对应于基本高斯分布的中心)，但至少在一定程度上忽视光散射区域。
投光器可包括光源(诸如，LED或LASER)并且可以包括光学透镜和棱镜中的一个或多个。投光器可包括“扇形激光器”。投光器可包括发出激光束的激光器和将激光束转换为均匀的直线的激光线发生器透镜。激光线发生器透镜可配置为圆柱透镜或棒形透镜以沿着某一轴线聚焦激光束从而形成光线。结构光可配置为‘点’、‘点’的阵列、‘点’的矩阵或‘点’的云、单个光线或作为多个平行线或相交线。结构光可以是例如‘白光’、‘红光’、‘绿光’或‘红外光’或它们的组合。从投光器的视角看，配置为线的结构光表现为对象上的线。当视角与投光器的视角不同时，如果对象弯曲，则线表现为弯曲。该曲线在由布置为距投光器有一定距离的照相机捕获的图像中能够观察到。
在一些实施方式中，目标位置对应于结构光的边缘。可以根据例如与光强度相对应的统计准则限定边缘，该光强度大致为可具有显著高斯分布的结构光的中心处的光强度的一半。在一些实施方式中，可以使用用于检测边缘的另一准则或其他准则。目标位置可以对应于‘左边缘’、‘右边缘’、‘上边缘’、‘下边缘’或它们的组合。在结构光的边缘处使用目标位置的优点是可以改进3D扫描的分辨率。
在一个或多个实施方式中，由3D扫描仪设备执行投影结构光并记录图像序列的步骤，3D扫描仪设备可以容纳控制器。3D扫描仪设备可以容纳投光器和照相机。
3D扫描仪设备可具有一个或两个有线接口(例如，根据USB标准)或无线接口(例如，根据Wi-Fi或蓝牙标准)，用于将图像序列传输至第一计算机(例如，台式、笔记本电脑、或平板电脑或智能电话)。图像序列可与视频格式(例如，JPEG标准)一致。
在检索训练图像处理网络的一个或多个中，由计算机执行处理图像并生成对象的表面的部分或完整的计算机可读的点云或三维模型。第一计算机可以经由数据通信链路接收图像序列。在一些实施方式中，第一计算机由3D扫描仪容纳。
照相机可以配置为彩色照相机，例如，RGB照相机或灰度色调照相机。
术语三角测量应解释为包括任何类型的三角测量，包括通过由已知的点为其形成三角形而确定点的位置。三角测量包括例如如在以下各项中的一个或多个中使用的三角测量：核面几何、摄影测绘、及立体视觉。但不限于此。
在一些实施方式中，方法包括：
在照相机和照相机的光学透镜中的一者或两者处，根据表示光学图像失真的照相机校准数据校正第一图像；
其中，基于根据照相机校准数据校正的第一图像执行使用训练图像处理网络(306)的第一图像的处理。
在特定的3D扫描仪的制造过程中，可以针对特定的3D扫描仪确定照相机校准数据。通常，这需要对例如已知对象的多个位置处的已知对象进行扫描。如本领域所周知的，已知的对象可包括其表面上的棋盘形图案。可替换地，可以在3D扫描仪的制造之后确定照相机校准数据。照相机校准数据可以部署到特定3D扫描仪或耦接至特定3D扫描仪的另一电子设备。在一些实施方式中，照相机校准数据从云服务器或另一服务器部署到特定3D扫描仪。如本领域周知的，照相机校准参数可由3×3矩阵(有时，4×4矩阵)和例如5×1的失真系数的阵列表示。可以使用其他校准方案。
因此，可以在使用训练图像处理网络处理之前，根据照相机校准数据校正第一图像。
这样的优点是，训练图像处理网络或训练图像处理网络的副本不仅可部署到一个特定的3D扫描仪，而且还可部署到可针对其确定各个可能不同的校准数据的一批3D扫描仪。这使得训练图像处理网络能够更好地了解第一图像中的目标位置的估计。
在一些实施方式中，第一图像是2D图像，并且其中，在目标位置的一个或多个第一图像中的位置与2D表示一致。
第一图像可以为单色图像或彩色图像。照相机可配置有以矩阵格式输出具有单色或彩色像素值的列和行的第一图像的照相机传感器。2D表示可以为2D坐标列表的格式，例如，参照第一图像的列和行指数。在某些方面，以子像素精度获得2D表示。2D表示可以可替换地或另外以2D图像的格式输出，例如，仅具有两个可能的像素值的二值图像。因此，对2D表示进行编码并且2D表示可用于准备输入以进行三角测量。
在一些实施方式中，在第一时间捕获第一图像中的至少一个，并且其中基于第一图像中的至少一个中的目标位置的一个或多个第一图像中的位置的估计和表示物理几何形状的参数值执行三角测量，包括捕获第一图像中的至少一个时照相机和投光器的相互定向和位移。
使用训练图像处理网络进行处理获得第一图像的至少一个中的目标位置。表示照相机和投光器的物理几何形状的参数值可以包括相互定向和2D或3D位移中的一者或多者。参数值可以包括至少在特定3D对象的扫描过程中仍是被固定的第一值和在特定3D对象的扫描过程中变化的第二值。第二值可以由传感器读取或感应或者由控制3D对象的扫描的控制器提供。传感器可以感应投光器或其部件的旋转。
在一些实施方式中，训练图像处理网络是根据将作为目标位置的某些图片元素与其他图片元素相区分的鉴别器分割第一图像序列中的图像的图片元素的分类器。
与作为目标位置的其他图片元素相区分的图片元素是物理对象的表面上的目标位置的估计。可以用一个或多个唯一值(例如，作为二进制图像中的二进制值)编码与作为目标位置的其他图片元素相区分的图片元素。训练图像处理网络可以接收图像序列的图像作为输入图像并且可以提供某些图片元素与输出图像中的目标位置相区分的分割。与输入图像相比，输出图像可具有较高的分辨率，输入图像允许被输入以进行三角测量的目标位置的估计的子像素(改进的)精确性。可替换地，输出图像可具有较低的分辨率，例如，以进行与三角测量相关的处理。例如，通过使用双三次插值(例如，经由Bicubic滤波器)，可通过如本领域已知的上采样生成较高分辨率的图像。在一些实施方式中，使用其他类型的上采样。上采样可以为例如上采样的八倍、上采样的四倍或者另一上采样规模。
在实施方式中，训练图像处理网络为分割图像序列中的图像的图片元素的分类器，图像位置作为图像段出现，使得在生成3D模型时更方便进行处理。
在一些实施方式中，训练图像处理网络为卷积神经网络，诸如，深度卷积神经网络。卷积神经网络还在投光器的次优操作条件下，例如光散射区域使物理对象的表面上的光图案及其空间定义显著扭曲的情况(例如，通过物理对象的环境光、文理和光亮定义)，提供目标位置的高度精确估计。适当训练卷积神经网络提供更优的分割结果用于精确估计目标位置。在一些实施方式中，训练图像处理网络包括支持向量机(SVM)。
在一些实施方式中，训练图像处理网络是具有包括下采样和上采样算子的u-net的深度卷积网络。这种训练图像处理网络在计算承受能力和精确性之间提供良好的平衡，更不必说相对小的训练数据的子集。具有u-net的卷积网络在其以图像的形式输出分割图时提供。
在一些实施方式中，方法包括：
在图像序列中的第一图像的记录期间：
使用控制器控制投光器在扫描操作中跨至少物理对象上面的多个角位置的索引范围逐步地移动结构光；
使用控制器和照相机与扫描操作并行记录图像序列并且将图像序列中的图像的时间戳与相应的角位置相关联；
其中，除了通过使用训练图像处理网络处理相应的一个或多个图像获得的估计的目标位置之外，还基于与相应的一个或多个图像相关联的角位置进行三角测量。
图像序列的记录与扫描操作并行执行并且实现快速且精密的分辨率扫描操作。
在一些实施方式中，投光器包括设置在投光器转台上的光源以在扫描操作中逐步地移动结构光。
在一些实施方式中，在控制器的控制下，物理对象被布置在跨角位置移动的3D对象转台上。可以开始控制投光器(101)跨至少物理对象上的多个角位置的索引范围在扫描操作中逐步地移动结构光并且在3D对象维持其在3D对象转台上的固定位置的位置时在3D对象的多个角位置处执行。因此，可从多个视角扫描3D对象。
在一个或多个实施方式中，方法包括在绕中心轴线(诸如，竖直轴线)的扫描操作期间控制支撑和旋转对象的转台平台。转台可由3D扫描仪容纳或者转台可以是在3D扫描仪或计算机的控制下的独立部件。
在一些实施方式中，方法包括：
在记录图像序列中的第一图像的初始步骤之前或者作为其初始步骤，包括投影结构光和记录图像序列：
应用扫描仪设置，可操作地设置投光器和照相机中的一者或两者的操作条件；
其中，根据操作条件执行3D对象的扫描。
扫描3D对象的方法可以从接收用户的执行扫描操作的输入开始到放弃接收操纵投光器和照相机中的一者或两者的操作条件的用户输入但响应于执行的工厂设置或校准而不涉及用户设置投光器和照相机中的一者或两者的操作条件时生成物理对象的表面的部分或完整的计算机可读的点云或三维模型。
可以响应于“加电”事件或者响应于接收执行扫描操作的用户的输入而检测扫描3D对象的初始步骤之前或者作为其初始步骤。
在一些实施方式中，方法包括：
在记录图像序列中的第一图像的初始步骤之前或者作为其初始步骤，包括投影结构光和记录图像序列：
通过用户界面，使得用户能够至少在扫描操作期间经由用户界面开始3D对象的扫描操作和放弃操作条件的调节；
应用扫描仪设置，可操作地设置投光器和照相机中的一者或两者的操作条件；
其中，根据操作条件执行3D对象的扫描。
在一些实施方式中，用户界面缺乏控制用以可操作地设置投光器的电气工作条件和光学工作条件中的一者或两者。因此，用户不能够可操作地设置投光器的电气工作条件和投光器的光学工作条件中的一者或两者。
在一些实施方式中，用户界面缺乏控制用以可操作地设置影响目标位置的估计的图像处理参数、投光器的电气工作条件和投光器的光学工作条件中的一个或多个。
可以从与控制器相关联的硬件存储器中检索扫描仪设置。可以从计算机中接收该设置，例如，显示用户界面的计算机或者远离显示用户界面的计算机的服务器计算机。
用户界面可由配置为接收如本领域已知的用户输入的硬件提供并且可选地由显示器提供。配置为接收用户输入的硬件可以通过3D扫描仪和第一计算机中的一者或两者来托管。
在一些实施方式中，方法包括放弃经由用户界面调节操作条件。在一些实施方式中，方法包括放弃经由至少第一模式的用户界面实现操作条件的调节，并且经由第二模式的用户界面实现操作条件的调节。用户可以例如通过默认设置选择第一模式或第二模式。第一模式可被经验较少的用户所偏爱并且第二模式可被有经验的用户所偏爱。
在一些实施方式中，方法包括：
使用数据通信请求服务器在预定义互联网地址传输训练图像处理网络的一个或多个参数用于图像的处理。
因此，对于第一时间或前进的基础，3D扫描仪可以下载训练图像处理网络，其可通过训练更新以在更广泛的对象下更精确地估计目标位置。
在一些实施方式中，从服务器计算机传输包括扫描仪设置用于可操作地设置投光器的电气工作条件和投光器的光工作条件中的一者或两者。因此，成对的扫描仪设置和训练图像处理网络的参数可以保持一致(以相互关联并结合应用)。
服务器可以用于执行程序用以将用于图像的处理的训练图像处理网络的一个或多个参数下载至第一计算机。服务可以是虚拟服务器或物理服务器。用于图像的处理的训练图像处理网络的一个或多个参数可以由制造扫描仪的扫描仪制造商和/或执行方法或该方法的一部分的软件基于图像处理网络的训练在复现的基础上计算。
在一些实施方式中，方法包括：
基于训练数据训练图像处理网络以提供训练图像处理网络；
其中，用于训练图像处理网络的训练集包括：
通过在包括投射光和记录图像的扫描操作期间扫描多个物理对象获得的第二图像，以及
通过对输入图像应用分割而获得的相应的第三图像；
使得图像处理网络能够用于检索。
分割可以对应于响应于人工操作员控制的参数执行图像处理的图像处理器识别的估计的目标位置，例如，参数与以下各项中的一个或多个有关：图像滤波器类型、图像滤波器内核尺寸、以及强度阈值。由人工操作员控制的参数可以由操作员在反复试验过程中设置，其中，操作员使用视觉检测控制参数用于表示目标位置的精确分割。
在一些实施方式中，通过在制造容差的范围内有意分配的各种扫描仪设置处扫描物理对象获得第二图像。因此，即使其硬件相关的参数偏离标称值但落入制造容差内，3D扫描仪的鲁棒性得到改善。
如本领域中已知的，训练集可以划分为训练、验证和测试的集合。
图像处理网络的训练可以由服务器计算机执行或者上传至服务器计算机进行下载。如以上所阐述的，可以通过部署用于下载例如作为分组和/或用软件程序下载用于基于如上所阐述的图像执行数字重建而使得训练图像处理网络能够进行检索。3D扫描仪或第一计算机可以从服务器下载训练图像处理网络。在一些实施方式中，通过将训练图像处理网络或其参数存储在3D扫描仪的非易失性存储器中或者其可以嵌入在与3D扫描仪相关联的软件中(例如，其固件或部件)，在制造过程中用训练图像处理网络配置3D扫描仪。
在一些实施方式中，方法包括：
在记录第一图像的初始步骤之前或者作为其初始步骤以及在记录第二图像的初始步骤之前或者作为其初始步骤：
应用相应的扫描仪设置(309)用于记录第一图像并且在记录第二图像之前或者作为其初始步骤，为投光器和照相机中的一者或两者设置相应的操作条件以根据相应的操作条件进行操作；
其中，至少在记录第一图像期间和记录第二图像期间的相应的操作条件是相同的。
通过在记录第一图像期间和记录第二图像期间使用相同的扫描仪设置，训练图像处理网络能够更精确地估计目标位置。
每当基本相同的3D扫描仪的群组中的3D扫描仪执行方法时可以执行第一图像的记录。可以例如通过3D扫描仪的制造商间隔执行第二图像的记录。
还提供一种训练图像处理网络的方法，其中，扫描过程包括：
使用投光器，将结构光投射在物理对象的表面上，大致在物理对象的表面上的目标位置；以及
使用设置为距投光器一定距离并且相对于投光器成一定视角的照相机，记录至少物理对象的表面的一部分的图像序列，物理对象的表面的一部分包括被投射在大致物理对象的表面上的目标位置的结构光照亮的光散射区域；
训练图像处理网络的方法包括：
针对多个对象的集合中的每个物理对象执行扫描处理，以生成相应的第二图像序列；
执行与第二图像相关联的图片元素的分割以生成相应的第三图像；
基于相应的第二图像和第三图像训练图像处理网络并生成训练图像处理网络；
使得图像处理网络能够检索。
在一些实施方式中，使用包括一个或多个可调节的图像滤波器和具有可调节阈值的量化器的图像处理器执行与第二图像相关联的图片元素的分割，根据图像处理设置处理至少第二图像序列中的选定的图像，其中，分割生成与目标位置的估计相对应的段，该方法包括：
通过用户界面，使得用户能够执行至少一些第三图像中的视觉检测，通过改变图像处理设置并且重新处理第三图像中的至少一些来更改至少一些输出图像，并且验证至少一些第三图像用于包括在图像的训练集中；
训练图像处理网络以估计与目标位置的估计相对应的段。
该分割可以对应于由通过响应于人工操作员控制的参数执行图像处理的图像处理器识别的估计的目标位置，参数例如与以下各项中的一个或多个有关：图像滤波器类型、图像滤波器内核尺寸、以及强度阈值。由人工操作员控制的参数可以由操作员在反复试验过程中设置，其中，操作员使用视觉检测控制参数用于表示目标位置的精确分割。
还提供了一种扫描系统，包括：
投光器，被配置为将结构光投射在物理对象的表面上，大致在物理对象的表面上的目标位置；
照相机，被布置为距投光器一定距离并且相对于投光器成一定视角，被配置为记录至少物理对象的表面的一部分的图像序列，物理对象的表面的一部分包括被投射在物理对象的表面上的目标位置的结构光照亮的光散射区域；
计算设备，具有处理器，计算设备被编程为执行以上根据任何本发明的实施方式和/或方面阐述的方法。
在一些实施方式中，扫描系统包括支持物理对象进行角运动的对象平台。对象平台可以是转台。
还提供当由计算机运行时使得计算机执行以上阐述的方法的一种相应的计算机程序产品。
附图说明
以下参考附图进行更详细的描述，在附图中：
图1示出了基于结构光的3D扫描仪；
图2示出了3D对象的图像；
图3示出了生成利用在对象的表面上变化的不规则的光散射区域扫描的对象的表面的精确的计算机可读3D模型的方法；
图4示出了生成训练图像处理网络的方法；以及
图5示出了覆盖着目标位置的3D对象的图像的第一示例(右侧)以及将目标位置的估计放置在图像中的段(左侧)；以及
图6示出了覆盖着目标位置的3D对象的图像的第二示例(右侧)以及将目标位置的估计放置在图像中的段(左侧)。
具体实施方式
图1示出了基于结构光的包括3D扫描仪100的3D扫描仪系统。3D扫描仪100耦接至第一计算机109和对象转台106。在一些示例中，3D扫描仪100、第一计算机109和对象转台106利用共用壳体集成到单个设备中。
如所示，3D扫描仪100包括：投光器101，被配置为将结构光投射到物理对象108的表面上；以及照相机104，布置在距投光器101的距离d且相对于投光器101的视角a0处。照相机104被配置为记录物理对象108的表面的至少一部分的第一图像序列。3D扫描仪还包括被配置为控制投光器101、照相机104和对象转台106的控制器105。控制器可被配置为与第一计算机109通信。第一计算机109和控制器105可被编程为执行本文中描述的方法。
例如，控制器105可被编程为控制投光器101的投光器转台103在至少物理对象108以上的多个角位置的整个索引范围的扫描操作中逐步地移动结构光。扫描操作可以从第一角度a1延伸至第二角度a2。在一些实施方式中，第一角度a1和第二角度a2可以是固定的，例如，涉及校准。在一些实施方式中，臂(例如，可拆卸臂)或者扫描仪本体在3D扫描仪100和对象转台106之间保持固定的或者可调的距离。该距离可以是逐步调整的并且3D扫描仪对于a1和a2的相应的、预配置的值可具有相应的模式。
投光器转台103可包括例如配置有1.8°的电动机距的步进电机、以及例如具有用电动机距除以50的1：50的齿轮比的齿轮。也可以使用其他电动机距和其他齿轮比。该示例用作例如示出扫描操作发生在高空间分辨率下。投光器101和照相机之间的距离d可以在20mm至500mm或更大的范围内。在一些实施方式中，代替或作为投光器的角运动的替换，例如由控制器105控制的线性致动器改变距离d。
多个角位置的索引范围可包括对应于投光器的物理角位置相对于参考点或线(例如，相对于照相机104的位置)的一列等距离角度。控制器105可被编程为记录与扫描操作并列的第一图像序列并且将第一图像序列中的图像的时间戳与相应的角位置相关联。
例如，第一计算机109可被编程为检索训练图像处理网络，处理第一图像，并且生成物理对象的表面的部分或完整的计算机可读的、点云或三维模型。这在本文中进行更详细地描述。
在一些实施方式中，第一计算机109是移动电子设备，诸如，智能电话或平板电脑。
图2示出了包括在对象的表面上绘制的光的轮廓的3D对象的第二图像以及被大致投射在物理对象的表面上的目标位置的通过结构光照亮的光散射区域。在图5和图6中示出了它们的示例。
在右手边是由扫描的物理对象的等高线207粗略表示的第二图像202的示例。结构光作为聚焦在曲线204(由双线示出)处的光的曲线出现在图像中。另外，结构光作为在此由等高线206包围的一个或多个光散射区域出现在图像中。投光器瞄准的目标位置可以出现在聚焦在曲线204处的光的曲线内。
然而，当对象组织、对象光泽和环境光中的一个或多个改变时，传统的图像处理方法可能容易失败。覆盖第二图像202的曲线205表示通过传统的图像处理获得的目标位置的估计。可以容易地看出，光散射区域可能错误地使目标位置的估计205远离聚焦在目标位置完全位于的曲线204处的光的区域偏移。这导致精确度下降，甚至破坏物理对象的任何有意义的重建。据观察，虽然对于人眼-至少训练人眼-通常是清晰可见的，但是可能很难正确地估计目标位置。
如本文中所描述的，目标位置的估计可以包括在第三图像中，第三图像包括将目标位置的估计放置在图像中的段。
左手边是由训练图像处理网络输出的第三图像201的示例。第三图像包括例如以与第三图像中的其他图片元素区分的图片元素的形式的第一段203a和第二段203b。第三图像可以是二值图像、灰度色调图像或彩色图像。在一些示例中，第三图像是位图图像。
段203a和203b与目标位置一致的聚焦在曲线204处的光的曲线精确地匹配，并且因此提供其精确的估计。
图3示出了生成利用在对象的表面上变化的不规则的光散射区域扫描的对象的表面的精确的计算机可读3D模型的方法。在执行该方法之前，如由虚线框301所示，用户将对象放置在对象转台106上。
经由布置在3D扫描仪和/或第一计算机109处的用户界面313，在步骤302中，该方法接收用户的输入以执行扫描操作。响应于此，该方法进行至步骤303并且使用投光器101将结构光投射到物理对象的表面上，大致在物理对象的表面上的目标位置。然后，该方法进行至步骤305并且使用照相机104记录物理对象108的表面的至少一部分的第一图像，该第一图像包括被大致投射在物理对象108的表面上的目标位置的由结构光照亮的任何光散射区域。然后该方法可进行至步骤304并且旋转投光器转台以改变结构光朝向物理对象的角度。该方法可以以此循环进行，直到至少从第一视角扫描到物理对象。可选地，该方法可包括具有旋转对象转台106以从其他角度扫描对象的步骤的另一循环。第一图像IMG1被存储在图像存储设备310中。
在一些实施方式中，投光器转台在3D对象之上的扫描运动中旋转，同时对象转台仍然竖立，并且同时例如以视频格式捕获第一图像序列。对象转台然后旋转预定角度以相对于投光器处于不同角度。再次，投光器转台在3D对象之上的扫描运动中旋转，同时对象转台仍然竖立，并且同时例如以视频格式捕获第一图像序列。该方法可以以此方式进行，逐步地旋转对象转台，直到扫描到3D对象的表面。逐步地旋转可以90度或多或少递增。在每一步中，第一图像可以作为视频被捕获，例如以便在转台的相应的角位移处例如以0、90、180、270度每次捕获4个视频。
可以使视频、或第一图像序列的捕获以及投光器转台的往复旋转同步或者相关联，使得视频或第一图像序列中的相应的图像与投光器转台的相应角度相关联。控制器被配置为例如通过基本上同时从第一预定义的角度开始捕获视频和旋转投光器转台处理它。一旦投光器转台到达或者被控制为到达第二预定义的角度，就停止视频捕获。然后投光器转台的中间的角位置可以通过例如使用预定义的视频捕获率或被捕获的视频的时间代码的插入与视频的中间图像或者第一图像序列相关联。每个视频或者每个第一图像序列可以与对象平台的预定义的角位移相关联。
当扫描物理对象时，该方法进行至步骤306以检索在训练期间配置的训练图像处理网络311，以便响应于接收图像序列中的至少包括来自光散射区域的图像强度的一个或多个第一图像输出包括物理对象108的表面上的目标位置的估计的数据。训练图像处理网络311可包括数据文件、数据包和软件模块中的一个或多个。训练图像处理网络可包括计算网络的一个或多个参数、例如定义训练图像处理网络的一层或多层和/或计算操作的参数和处理网络结构。可以在开始3D对象的扫描之前，例如在步骤302中接收用户的输入之前检索训练图像处理网络。检索训练图像处理网络可包括从远程服务器计算机请求训练图像处理网络的更新的或最近的副本。
当例如从控制器105的存储器或存储设备和/或第一计算机109和/或从远程服务器计算机检索训练图像处理网络311时，该方法进行至步骤307以处理包括图像序列中的光散射区域的第一图像，以在物理对象的表面上生成目标位置的估计。目标位置的估计可以生成为包括将目标位置的估计放置在图像中的段的第三图像。可替换地，可以生成表示目标位置的估计的坐标列表。该坐标列表包括关于第一图像中的位置的2D坐标。第一图像、第二图像和第三图像是2D图像。该2D坐标列表可以指例如图像(例如，一个或多个第一图像)的列索引和行索引。在某些方面，2D坐标是例如以由类型“real”或“integer”的数据类型表示的十进格式以子像素精度获得的。
然后该方法进行至步骤308以基于物理对象的表面上的目标位置的三角测量和估计生成物理对象的表面的部分或完整的计算机可读的、点云或三维模型。部分或完整的计算机可读的、点云或三维模型可以存储在3D模型存储器312中。3D模型存储器312可以是控制器105和/或第一计算机109的一部分。三维模型可以根据定义点和三角的一个或多个所谓的.OBJ格式(dot-OBJ格式)；定义材料的.MTL格式；以及定义组织的.PNG或.JPG格式。在一些实施方式中，此外或作为替换使用其他格式。
该图像序列可以至少暂时或瞬时地存储在图像存储器310中。图像存储器310可以是控制器105和/或第一计算机109的一部分。
在放弃人为干预，例如至少放弃需要输入以调整设置的人为干预的同时，可以完成该方法。然而，在某些方面，该方法可包括提示用户例如通过将3D对象颠倒放置或者通过将3D对象放置在其侧来改变3D对象在转台上的定向。当用户改变了3D对象的定向时，该方法然后可以例如通过要求他/她的输入进行如以上所阐述的扫描。以此方式，可以扫描3D对象的所有或至少一大部分表面。
在某些方面，该方法包括在用户界面请求用户就扫描质量(保真度)而言评估所生成的3D模型。如果该评估处于预定义类别，则第一图像被传输到服务器计算机以用于图像处理和/或用户执行分割以用于随后包括在用于图像处理网络的随后的重新训练图像的训练集中。图像处理网络的部署可包括通过重新训练获得的图像处理网络。以此方式，可以在较大的图像集上执行训练。
图4示出了生成训练图像处理网络的方法。生成训练图像处理网络的方法多次执行，如由虚线框401所示，用于一组对象中的每个对象的至少一次。产生训练图像处理网络的方法通过以与上述例如步骤301、303、305、304有关所描述的类似方式投射结构光和记录图像来扫描对象。为了区别，为了训练目的记录的图像表示第二图像，然而根据图3的方法记录的图像表示被存储在图像存储设备407中的第一图像至第二图像IMG2。第一图像IMG1和第二图像IMG2可以存储在不同位置或相同位置处。
当扫描物理对象时，生成训练图像处理网络的方法进行至步骤402并且执行与第二图像相关联的图片元素的分割以生成相应的第三图像。第三图像IMG3被存储在图像存储设备408中。在一些示例中，使用包括一个或多个可调节图像过滤器和具有可调节阈值的计量器的图像处理器执行与第二图像相关联的图片元素的分割，以便根据图像处理设置至少处理第二图像序列中的选定图像。该分割生成对应于目标位置的估计的段。在步骤403中，用户界面例如显示在用户的计算机上，使用户能够对至少一些第三图像执行视觉检测并且可选地通过步骤404的改变图像处理设置和重新处理至少一些第三图像来修改至少一些第三图像。
然后该方法可以进行至步骤405以执行图像处理网络的训练，以估计对应于目标位置的估计的段。在步骤406中，训练图像处理网络DNN能够例如通过3D扫描仪检索。这可以通过部署过程进行。训练图像处理网络DNN被存储在存储设备409中。存储设备409可以在由3D扫描仪可访问的服务器处或者可以在3D扫描仪或其结合处。
在一些实施方式中，3D扫描仪包括两个、三个、四个或更多个照相机。当使用更多个照相机时，可以获得物理对象的更好的空间覆盖范围，这可以用于当在照相机的视野中存在重叠时对目标位置的更快的扫描时间和/或更好的估计之间做出权衡。然后，可以利用较小的变化确定目标位置的估计。
图5示出了通过人工试错处理获得的覆盖着目标位置的3D对象的图像的第一示例(右侧)以及将目标位置的估计放置在图像中的段(左侧)。结构光对于人眼清晰地突出显示，但是可以看到结构光周围，由结构光照亮的光散射区域出现在图像中。在这个示例中，结构光是红色激光线。
右手边的图像502由3D扫描仪的照相机记录。结构光对于人眼清晰地突出显示，但是可以看到结构光周围，由虚曲线504粗略指示的光散射区域被结构光照亮并且出现在图像中。
左手边的图像501根据将段503a和503b以及503中的一些图片元素与其他图片元素区分为目标位置的鉴别器示出了图像502的段、图片元素。因此，在这个示例中，目标位置由左手边图像501中的黑色像素表示。当适当调谐时，右手边图像502和左手边图像501可以用作用于训练图像处理网络的训练数据。然而，在此，因为错误地找到段503，因此这不是好的训练示例。
图6示出了通过人工试错处理获得的覆盖着目标位置的3D对象的图像的第二示例(右侧)以及将目标位置的估计放置在图像中的段(左侧)。
右手边的图像602由3D扫描仪的照相机记录。结构光对人眼清晰地突出显示，但是可以看到结构光周围，由虚曲线604粗略指示的光散射区域被结构光照亮并且出现在图像中。另外，在这个示例中，结构光是红色激光线。
左手边的图像601根据将段603a和603b中的一些图片元素与其他图片元素区分为目标位置的鉴别器示出了图像602的段、图片元素。因此，在这个示例中，目标位置由左手边图像601中的黑色像素表示。当适当调谐时，右手边图像602和左手边图像601可以用作用于训练图像处理网络的训练数据。然而，在此，因为段在右上端消失(段603a太短)；即，没有找到所有目标位置，因此这也不是个好的训练示例。
观察到使用训练图像处理网络的图像处理在输出包括物理对象的表面上的目标位置的一个或多个第一图像中的位置的估计的数据中比诸如自适应阈值的涉及阈值的算法更快。一个原因可能在于为了此目的简单的阈值算法不够并且阈值算法需要做出复杂决定，这很费时间。
还提供了以下所阐述的第一项：
1.一种扫描3D对象的方法，包括：
经由用户界面(313)接收用户的执行扫描操作的输入并且响应于此；使用投光器(101)，将结构光投射(303)到物理对象(108)的表面上，大致在物理对象的表面上的目标位置；并且使用布置在距投光器(101)一定距离且相对于投光器(101)成一定视角处的照相机(104)记录(305)至少物理对象(108)的表面的一部分的第一图像序列，其包括由投射在物理对象(108)的表面上的目标位置处的结构光照亮的光散射区域；
响应于接收图像序列中的包括来自光散射区域的至少图像强度的一个或多个第一图像，检索(306)在训练期间配置的训练图像处理网络(311)以输出包括物理对象(108)的表面上的目标位置的估计的数据；
使用训练图像处理网络(306)，处理包括该图像序列中的光散射区域的第一图像，以生成物理对象(108)的表面上的目标位置的估计；其中，第一图像被校正(照相机校准：通过校准程序确定的)以用于光学畸变(没有通过NN-额外步骤)；并且
基于物理对象的表面上的目标位置的估计和扫描仪的几何参数(激光和/或平台的旋转角)，使用三角测量，生成物理对象的表面的部分或完整的计算机可读的、点云或三维模型。
还提供了以下所阐述的第二项：
2.一种扫描系统，包括：
投光器，被配置为将结构光投射到物理对象(108)的表面上，大致在物理对象的表面上的目标位置；
照相机(104)，被布置在距投光器(101)一定距离且相对于投光器(101)成一定视角处，被配置为记录至少物理对象(108)的表面的一部分的第一图像序列，其包括由大致投射在物理对象(108)的表面上的目标位置处的结构光照亮的光散射区域；
计算设备，具有处理器，该处理器被编程为：
检索训练图像处理网络(311)；
处理包括图像序列中的光散射区域的第一图像，以在物理对象(108)的表面上生成目标位置的估计；
基于物理对象的表面上的目标位置的估计，生成物理对象的表面的部分或完整的计算机可读的、点云或三维模型。

Claims (16)

1.一种扫描3D对象的方法，包括：
经由用户界面，接收用户的执行扫描操作的输入并且响应于此：使用投光器，将结构光投射在物理对象的表面上，大致在所述物理对象的表面上的目标位置；并且使用布置为距所述投光器一定距离并且相对于所述投光器成一定视角的照相机，记录至少所述物理对象的表面的一部分的第一图像序列，所述物理对象的表面的一部分包括被投射在所述物理对象的表面上的目标位置处的所述结构光照亮的光散射区域；
响应于接收所述图像序列中的至少包括来自所述光散射区域的图像强度的一个或多个第一图像，检索在训练期间配置的训练图像处理网络以输出包括所述物理对象的表面上的目标位置的一个或多个第一图像中的位置的估计的数据；
使用所述训练图像处理网络，处理所述图像序列中的包括所述光散射区域的第一图像，以生成所述物理对象的表面上的目标位置的一个或多个第一图像中的位置的估计；并且
基于所述物理对象的表面上的目标位置的估计使用三角测量，生成所述物理对象的表面的部分或完全计算机可读的、点云或者三维模型。
2.根据权利要求1所述的方法，其中，所述方法包括：
根据表示所述照相机和所述照相机的光学透镜中的一个或两个处的光学图像失真的照相机校准数据校正所述第一图像；
其中，基于根据所述照相机校准数据校正的第一图像执行使用所述训练图像处理网络的所述第一图像的处理。
3.根据上述权利要求的任一项所述的方法，其中，所述第一图像是2D图像，并且其中，所述目标位置的一个或多个第一图像中的位置与2D表示一致。
4.根据上述权利要求的任一项所述的方法，其中，至少一个所述第一图像是第一次捕获的；并且其中，基于至少一个所述第一图像中的目标位置的一个或多个第一图像中的位置的估计和表示当捕获至少一个所述第一图像时所述照相机和所述投光器的包括相互定向和位移的物理几何形状的参数值执行三角测量。
5.根据上述权利要求的任一项所述的方法，其中，所述训练图像处理网络是根据区分作为目标位置的一些图片元素与其他图片元素的鉴别器分割所述第一图像序列中的图像的图片元素的分类器。
6.根据上述权利要求的任一项所述的方法，其中，所述训练图像处理网络是包括下采样和上采样算子的具有u-net架构的深度卷积网络。
7.根据上述权利要求的任一项所述的方法，包括：
在记录所述图像序列中的第一图像期间：
使用控制器控制所述投光器在扫描操作中跨至少所述物理对象上面的多个角位置的索引范围逐步地移动所述结构光；
使用所述控制器和所述照相机与所述扫描操作并行记录所述图像序列并且将所述图像序列中的图像的时间戳与相应的角位置相关联；
其中，除了通过使用所述训练图像处理网络处理相应的一个或多个图像获得的所估计的目标位置，三角测量还基于与所述相应的一个或多个图像相关联的角位置。
8.根据前述权利要求的任一项所述的方法，包括：
在包括投射结构光并且记录图像序列的记录所述图像序列中的第一图像之前或者作为记录所述图像序列中的第一图像的初始步骤：
应用扫描仪设置，操作地设置所述投光器和所述照相机的一个或两个的操作条件；
其中，所述3D对象的扫描是根据所述操作条件执行的。
9.根据前述权利要求的任一项所述的方法，包括：
在包括投射结构光并且记录图像序列的记录所述图像序列中的第一图像之前或者作为记录所述图像序列中的第一图像的初始步骤：
通过用户界面，使用户能够发起扫描所述3D对象的扫描操作并且放弃至少在所述扫描操作期间允许经由所述用户界面调整所述操作条件；
应用扫描仪设置，操作地设置所述投光器和所述照相机的一个或两个的操作条件；
其中，所述3D对象的扫描是根据所述操作条件执行的。
10.根据上述权利要求的任一项所述的方法，包括：
使用数据通信请求预定义网络地址的服务器，以传输训练图像处理网络的用于处理所述图像的一个或多个参数。
11.根据上述权利要求的任一项所述的方法，包括：
基于训练数据训练图像处理网络以提供所述训练图像处理网络；
其中，用于训练所述图像处理网络的训练集包括：
通过在包括投射光和记录图像的扫描操作期间扫描多个物理对象获得的第二图像，以及
通过在输入图像上应用分割获得的相应的第三图像；
使所述图像处理网络能够检索。
12.根据权利要求11所述的方法，包括：
在记录所述第一图像之前或者作为记录所述第一图像的初始步骤并且在记录所述第二图像之前或者作为记录所述第二图像的初始步骤：
应用相应的扫描仪设置用于记录所述第一图像并且在记录所述第二图像之前或者作为记录所述第二图像的初始步骤，为所述投光器和所述照相机的一个或两个设置相应的操作条件以根据所述相应的操作条件操作；
其中，至少在记录所述第一图像期间和记录所述第二图像期间的所述相应的操作条件是相同的。
13.一种训练图像处理网络的方法，其中，扫描过程包括：
使用投光器，将结构光投射在物理对象的表面上，大致在所述物理对象的表面上的目标位置；以及
使用布置为距所述投光器一定距离并且相对于所述投光器成一定视角的照相机记录至少所述物理对象的表面的一部分的第一图像序列，所述物理对象的表面的一部分包括被投射在大致所述物理对象的表面上的目标位置的所述结构光照亮的光散射区域；
所述训练图像处理网络的方法包括：
针对多个对象的集合中的每个物理对象执行扫描处理，以生成相应的第二图像序列；
执行与所述第二图像相关联的图片元素的分割，以生成相应的第三图像；
基于相应的第二图像和第三图像训练图像处理网络并生成训练图像处理网络；并且
使所述图像处理网络能够检索。
14.根据权利要求13所述的训练图像处理网络的方法，其中，与所述第二图像相关联的图片元素的分割是使用包括一个或多个可调节的图像过滤器和具有可调阈值的计量器的图像处理器，根据图像处理设置处理至少所述第二图像序列中的选定的图像来执行的；其中，分割生成对应于所述目标位置的估计的段；
通过用户界面，使用户能够执行至少一些第三图像的视觉检测，通过改变所述图像处理设置并且重新处理所述至少一些第三图像来更改至少一些输出图像；并且验证所述至少一些第三图像包括在图像的训练集中；
训练图像处理网络以对应于所述目标位置的估计来估计所述段。
15.一种扫描系统，包括：
投光器，被配置为将结构光投射在物理对象的表面上，大致在所述物理对象的表面上的目标位置；
照相机，被布置为距所述投光器一定距离并且相对于所述投光器成一定视角，被配置为记录至少所述物理对象的表面的一部分的第一图像序列，所述物理对象的表面的一部分包括被投射在大致所述物理对象的表面上的目标位置的所述结构光照亮的光散射区域；以及
计算设备，具有处理器，所述计算设备被编程为由所述处理器运行时执行根据权利要求1至14的任一项所述的方法。
16.一种计算机程序产品，在由计算机运行时，使所述计算机执行根据权利要求1至14的任一项所述的方法。
CN201910458478.1A 2018-05-29 2019-05-29 使用结构光的3d对象扫描方法 Active CN110542390B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18174872 2018-05-29
EP18174872.4 2018-05-29

Publications (2)

Publication Number Publication Date
CN110542390A true CN110542390A (zh) 2019-12-06
CN110542390B CN110542390B (zh) 2022-09-06

Family

ID=62495579

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910458478.1A Active CN110542390B (zh) 2018-05-29 2019-05-29 使用结构光的3d对象扫描方法

Country Status (3)

Country Link
US (1) US10909755B2 (zh)
EP (1) EP3575742B1 (zh)
CN (1) CN110542390B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113012112A (zh) * 2021-02-26 2021-06-22 首都医科大学宣武医院 一种血栓检测的评估方法及系统
CN113572557A (zh) * 2021-06-29 2021-10-29 武汉中观自动化科技有限公司 一种基于can通信的时间戳快速同步的方法及其光学扫描仪

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10810759B2 (en) * 2018-11-20 2020-10-20 International Business Machines Corporation Creating a three-dimensional model from a sequence of images
US11094074B2 (en) * 2019-07-22 2021-08-17 Microsoft Technology Licensing, Llc Identification of transparent objects from image discrepancies
EP3944183A1 (en) * 2020-07-20 2022-01-26 Hexagon Technology Center GmbH Method and system for enhancing images using machine learning
AU2021331691A1 (en) * 2020-08-25 2023-05-18 Artec Europe S.à r.l. Systems and methods of 3d object reconstruction using a neural network
CN112562059B (zh) * 2020-11-24 2023-12-08 革点科技(深圳)有限公司 一种自动化结构光图案设计方法
US11942008B2 (en) * 2020-12-29 2024-03-26 Iview Displays (Shenzhen) Company Ltd. Smart tracking-based projection method and system
US20230041560A1 (en) * 2021-08-03 2023-02-09 Intrinsic Innovation Llc Systems and methods for training pose estimators in computer vision
EP4160140A1 (en) * 2021-10-04 2023-04-05 VoxelSensors SRL Three dimensional imaging system
CN114543667B (zh) * 2022-01-21 2023-11-07 同济大学 一种基于神经网络的单相机-双棱镜三维测量系统及测量方法
US20240048848A1 (en) * 2022-08-02 2024-02-08 Hong Kong Applied Science and Technology Resrearch Institute Company Limited Optimized Path Planning for Defect Inspection based on Effective Region Coverage

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4859862A (en) * 1987-02-20 1989-08-22 A/S Tomra Systems Apparatus for generating detecting and characterizing a raster image of an object
JPH0650730A (ja) * 1992-08-03 1994-02-25 Yunisun:Kk 三次元形状計測装置
US5653462A (en) * 1992-05-05 1997-08-05 Automotive Technologies International, Inc. Vehicle occupant position and velocity sensor
US20060067573A1 (en) * 2000-03-08 2006-03-30 Parr Timothy C System, method, and apparatus for generating a three-dimensional representation from one or more two-dimensional images
US20070206204A1 (en) * 2005-12-01 2007-09-06 Peirong Jia Full-field three-dimensional measurement method
CN101044505A (zh) * 2004-07-23 2007-09-26 3形状股份有限公司 自适应三维扫描
US20130258060A1 (en) * 2012-04-03 2013-10-03 Canon Kabushiki Kaisha Information processing apparatus that performs three-dimensional shape measurement, information processing method, and storage medium
US20150015898A1 (en) * 2013-07-15 2015-01-15 Faro Technologies, Inc. Laser line probe having improved high dynamic range

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6044170A (en) 1996-03-21 2000-03-28 Real-Time Geometry Corporation System and method for rapid shape digitizing and adaptive mesh generation
WO2004070653A2 (en) * 2003-01-31 2004-08-19 Discovery Partners International Image analysis system and method
WO2007062392A2 (en) * 2005-11-23 2007-05-31 Riverain Medical Group, Llc Computer-aided diagnosis using dual-energy subtraction images
EP2823252A1 (en) * 2012-03-09 2015-01-14 Galil Soft Ltd System and method for non-contact measurement of 3d geometry
US10244241B2 (en) * 2015-03-22 2019-03-26 Innova Plex, Inc. Pyramidal file structure and method of use thereof
US10436910B2 (en) * 2016-09-20 2019-10-08 Apple Inc. Line scan depth sensor comparing a time dependent waveform of the signals to an expected waveform
US20180144244A1 (en) * 2016-11-23 2018-05-24 Vital Images, Inc. Distributed clinical workflow training of deep learning neural networks
US10365606B2 (en) * 2017-04-07 2019-07-30 Thanh Nguyen Apparatus, optical system, and method for digital holographic microscopy

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4859862A (en) * 1987-02-20 1989-08-22 A/S Tomra Systems Apparatus for generating detecting and characterizing a raster image of an object
US5653462A (en) * 1992-05-05 1997-08-05 Automotive Technologies International, Inc. Vehicle occupant position and velocity sensor
JPH0650730A (ja) * 1992-08-03 1994-02-25 Yunisun:Kk 三次元形状計測装置
US20060067573A1 (en) * 2000-03-08 2006-03-30 Parr Timothy C System, method, and apparatus for generating a three-dimensional representation from one or more two-dimensional images
CN101044505A (zh) * 2004-07-23 2007-09-26 3形状股份有限公司 自适应三维扫描
US20070206204A1 (en) * 2005-12-01 2007-09-06 Peirong Jia Full-field three-dimensional measurement method
US20130258060A1 (en) * 2012-04-03 2013-10-03 Canon Kabushiki Kaisha Information processing apparatus that performs three-dimensional shape measurement, information processing method, and storage medium
US20150015898A1 (en) * 2013-07-15 2015-01-15 Faro Technologies, Inc. Laser line probe having improved high dynamic range

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GEORGE K. KNOPF ET AL: "Surface reconstruction using neural network mapping of range-sensor images to object space", 《JOURNAL OF ELECTRONIC IMAGING》 *
JUAN ESPINAL ET AL.: "3D Object reconstruction using structured light and neural networks", 《2010 ELECTRONICS AND AUTOMOTIVE MECHANICS CONFERENCE》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113012112A (zh) * 2021-02-26 2021-06-22 首都医科大学宣武医院 一种血栓检测的评估方法及系统
CN113572557A (zh) * 2021-06-29 2021-10-29 武汉中观自动化科技有限公司 一种基于can通信的时间戳快速同步的方法及其光学扫描仪
CN113572557B (zh) * 2021-06-29 2024-03-19 武汉中观自动化科技有限公司 一种基于can通信的时间戳快速同步的方法及其光学扫描仪

Also Published As

Publication number Publication date
CN110542390B (zh) 2022-09-06
US10909755B2 (en) 2021-02-02
EP3575742A1 (en) 2019-12-04
EP3575742B1 (en) 2022-01-26
US20190371053A1 (en) 2019-12-05

Similar Documents

Publication Publication Date Title
CN110542390B (zh) 使用结构光的3d对象扫描方法
US9773302B2 (en) Three-dimensional object model tagging
JP6363863B2 (ja) 情報処理装置および情報処理方法
CN111060023B (zh) 一种高精度3d信息采集的设备及方法
US9747719B2 (en) Method for producing photorealistic 3D models of glasses lens
JP6855587B2 (ja) 視点から距離情報を取得するための装置及び方法
CN107155341B (zh) 三维扫描系统和框架
US10133171B2 (en) Augmenting physical appearance using illumination
US20040155877A1 (en) Image processing apparatus
KR100681320B1 (ko) 헬름홀츠 교환조건으로부터 유도되는 편미분 방정식의레벨셋 풀이 방법을 이용한 물체의 3차원 형상 모델링 방법
JP2009509582A (ja) ３次元イメージングにおけるアーチファクトの軽減
CN110648274B (zh) 鱼眼图像的生成方法及装置
CN110986768B (zh) 一种用于目标物3d信息高速采集测量设备
CN113689578B (zh) 一种人体数据集生成方法及装置
US10957021B2 (en) Method for rendering a final image from initial images acquired by a camera array, corresponding device, computer program product and computer-readable carrier medium
EP3382645A2 (en) Method for generation of a 3d model based on structure from motion and photometric stereo of 2d sparse images
WO2014011182A1 (en) Convergence/divergence based depth determination techniques and uses with defocusing imaging
JP6541920B1 (ja) 情報処理装置、プログラム及び情報処理方法
CN106023189B (zh) 一种基于匹配优化的光场数据深度重建方法
JP5822463B2 (ja) 三次元計測装置、三次元計測方法、およびプログラム
CN113298886A (zh) 一种投影仪的标定方法
JP6776004B2 (ja) 画像処理装置、画像処理方法およびプログラム
WO2021115297A1 (zh) 3d信息采集的设备及方法
Zakeri et al. Non-planar inside-out dense light-field dataset and reconstruction pipeline
JP7251631B2 (ja) テンプレート作成装置、物体認識処理装置、テンプレート作成方法、物体認識処理方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant