CN111602177B - 用于生成物体的3d重建的方法和设备 - Google Patents

用于生成物体的3d重建的方法和设备 Download PDF

Info

Publication number
CN111602177B
CN111602177B CN201980005482.0A CN201980005482A CN111602177B CN 111602177 B CN111602177 B CN 111602177B CN 201980005482 A CN201980005482 A CN 201980005482A CN 111602177 B CN111602177 B CN 111602177B
Authority
CN
China
Prior art keywords
image
reconstruction
image data
captured
calculated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980005482.0A
Other languages
English (en)
Other versions
CN111602177A (zh
Inventor
O.施瓦茨
L.翁洛尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Vision International GmbH
Original Assignee
Carl Zeiss Vision International GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Vision International GmbH filed Critical Carl Zeiss Vision International GmbH
Publication of CN111602177A publication Critical patent/CN111602177A/zh
Application granted granted Critical
Publication of CN111602177B publication Critical patent/CN111602177B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/421—Filtered back projection [FBP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/464—Dual or multimodal imaging, i.e. combining two or more imaging modalities

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及生成物体的3D重建（62）。这包括：照射所述物体，捕捉关于所述物体的图像数据；以及根据所述图像数据来计算所述物体的3D重建（62）。根据本发明，所述图像数据包括第一图像数据和第二图像数据，其中，所述第一图像数据是在用照射光照射所述物体（12）时捕捉到的，所述照射光的至少一部分关于物体成像束路径而言是照射所述物体的反射光，其中，所述第二图像数据是从不同的记录方向用照射光捕捉到的，其至少一部分沿所述物体成像束路径被引导，并且其中，所述物体的3D重建（62）是根据所述第一图像数据和所述第二图像数据来计算的。

Description

用于生成物体的3D重建的方法和设备
技术领域
本发明涉及一种用于生成物体的3D重建的方法，所述方法包括：照射所述物体，捕捉关于所述物体的图像数据，根据所述图像数据来计算所述物体的3D重建，其中，所述图像数据包括第一图像数据和第二图像数据，并且其中，所述第一图像数据是在用照射光来照射所述物体时从不同的记录方向捕捉到的，所述照射光的至少一部分关于物体成像束路径而言是照射所述物体的反射光。本发明还涉及一种用于生成物体的3D重建的设备，所述设备包括：用于用照射光来照射所述物体的装置，用于捕捉关于所述物体的图像数据的装置，以及根据所捕捉的图像数据来计算所述物体的3D重建的装置，其中，所捕捉的图像数据包括第一图像数据和第二图像数据，并且其中，所述第一图像数据是在用照射光来照射所述物体时从不同的记录方向捕捉到的，所述照射光的至少一部分关于物体成像束路径而言是照射所述物体的反射光。此外，本发明涉及一种计算机程序。
背景技术
在刘振(Zhen,Liu)等人的“ANovel Stereo Vision Measurement System UsingBoth Line Scan Camera and Frame Camera[使用线扫描相机和帧相机两者的新颖立体视觉测量系统]”中，已经描述了开篇所阐述类型的方法和设备。该文献建议同时捕捉表面的灰度值图像和工件的深度图像。当捕捉深度图像时，用激光以反射光配置来照射工件，并通过单帧相机和线相机从不同的记录位置进行记录。因此，根据所捕捉的图像数据，通过三角测量在所谓的立体模型中计算工件的3D坐标。为此，基于这两个相机的校准信息，针对用线相机记录的像素pl来确定外极线lr，属于所述像素pl的3D点P位于所述外极线上。接着，将这条外极线lr投影到单帧相机的记录中，其中，属于3D点P的像素必须位于单帧相机的像平面中的投影外极线上。于是在单帧相机的记录中，用激光照射工件产生了细线，所述细线是工件一部分的图像表示。随后，通过分析单帧相机记录中的沿着投影外极线的灰度值曲线来确定具有最大灰度值的像素pr。然后，将3D点P的坐标显示为具有点pl的外极线lr与具有点pr的外极线的交点。
US 9,357,204 B2披露了通过将一副眼镜布置在旋转的旋转板上并且随之一起在多个图像捕捉装置前方移动来创建对这副眼镜的3D重建，每个图像捕捉装置被实施为相机。在过程中，以不同的视角来记录这副眼镜的图像，每个视角都示出这副眼镜的剪影。接着，计算机单元根据这些图像来计算关于这幅眼镜的3D重建。
DE 10 2018 209 570 A1(已公开并且根据EPC第54条第3款仅形成现有技术)说明了通过将物体相对于图像捕捉装置移位并且在与物体一起的不同位置进行记录来确定物体的3D重建。在此情况下，基于编码功能和解码功能，将所捕捉的图像投影到三维栅格后置滤波器上，所述栅格的值表示3D重建。
通过摄影测量法为物体提供3D重建的可商购3D扫描仪不适用于眼镜和眼镜架的三维测量，因为眼镜和眼镜架具有非常薄且部分反射的结构。为了能够通过结构光投射来测量眼镜和眼镜镜片，这些部件通常必须设有例如通过喷涂来施加的表面涂层。通过激光线扫描对物体进行准确测量需要提供高功率激光辐射和高分辨率相机，这有助于以很大的亮度差异来捕捉图像。
发明内容
本发明的目的是促进对物体的更准确3D重建，所述物体还可以具有至少部分地对光透明的区段、至少部分地反射所述光的区段、或发光的区段。
这种物体通过根据本发明的方法和根据本发明的设备来实现。
根据本发明的用于生成物体的3D重建的方法包括：照射所述物体，捕捉关于所述物体的图像数据；以及根据所述图像数据来计算所述物体的3D重建。在此，所述图像数据包括第一图像数据和第二图像数据，其中，所述第一图像数据是在用照射光来照射所述物体时从不同的记录方向捕捉到的，所述照射光的至少一部分关于物体成像束路径而言是照射所述物体的反射光，其中，所述第二图像数据是在用照射光来照射所述物体时从不同的记录方向捕捉到的，所述照射光的至少一部分关于物体成像束路径而言是照射所述物体的背景光，并且所述物体的3D重建是根据所述第一图像数据和所述第二图像数据来计算的。
在此，照射物体的反射光应理解为是指入射到物体上、并且从物体的光学有效表面、即从物体的光散射或光反射表面被散射或反射到通向像平面的、将物体成像到图像捕捉装置的像平面上的束路径中的光。
在此，照射物体的背景光应理解为是指入射到物体上、并且从物体的背景到达将物体成像到图像捕捉装置的像平面上的束路径中的光，并且所述光的至少一部分在像平面中产生物体的剪影的图像、即物体的外形的图像。对于照射物体的背景光，像平面中的物体因此看起来至少部分地背光。
根据本发明的用于生成物体的3D重建的方法尤其可以包括：照射所述物体；以及在相应的物体成像束路径上捕捉所述物体的具有图像数据的多个图像；以及根据所捕捉的图像的图像数据来计算所述物体的3D重建。在此，所捕捉的所述物体的多个图像包含具有图像数据的第一图像和第二图像。所述第一图像是在用照射光来照射所述物体时从不同的记录方向捕捉到的，所述照射光的至少一部分关于相应的物体成像束路径而言是照射所述物体的反射光。所述第二图像是在用照射光来照射所述物体时从不同的记录方向捕捉到的，所述照射光的至少一部分沿相应的物体成像束路径被引导。接着，根据第一图像和第二图像的图像数据来计算所述物体的3D重建。
根据本发明的用于生成物体的3D重建的方法还可以包括：照射所述物体；以及在物体成像束路径中在所述物体相对于至少一个图像捕捉装置的不同布置的情况下，通过所述至少一个图像捕捉装置来捕捉所述物体的具有图像数据的多个图像，以及根据所捕捉的图像的图像数据来计算所述物体的3D重建，其中，所捕捉的所述物体的多个图像包含具有图像数据的第一图像和第二图像，其中，所述第一图像是在用照射光来照射所述物体时针对所述物体相对于至少一个图像捕捉装置的不同布置而捕捉到的，所述照射光的至少一部分关于物体成像束路径而言是照射所述物体的反射光，并且其中，所述第二图像是在用照射光来照射所述物体时针对所述物体相对于所述至少一个图像捕捉装置的不同布置而捕捉到的，所述照射光的至少一部分沿物体成像束路径被引导至所述至少一个图像捕捉装置。接着，根据第一图像和第二图像的图像数据来计算所述物体的3D重建。
根据本发明的用于生成物体的3D重建的设备包含：用于用照射光来照射所述物体的装置；用于捕捉关于所述物体的图像数据的装置；以及用于根据所捕捉的图像数据来计算所述物体的3D重建的装置。所捕捉的图像数据包含第一图像数据和第二图像数据，其中，所述第一图像数据是在用照射光来照射所述物体时从不同的记录方向捕捉到的，所述照射光的至少一部分关于物体成像束路径而言是照射所述物体的反射光，其中，所述第二图像数据是在用照射光来照射所述物体时从不同的记录方向捕捉到的，所述照射光的至少一部分沿物体成像束路径被引导，并且所述物体的3D重建是根据所述第一图像数据和所述第二图像数据来计算的。
根据本发明的用于生成物体的3D重建的设备尤其可以包括：用于用照射光来照射所述物体的装置；以及用于在相应的物体成像束路径上捕捉所述物体的具有图像数据的多个图像的装置；以及用于根据所捕捉的图像来计算所述物体的3D重建的装置，其中，所捕捉的所述物体的多个图像包含具有图像数据的第一图像和第二图像，其中，所述第一图像是在用照射光来照射所述物体时从不同的记录方向捕捉到的，所述照射光的至少一部分关于相应的物体成像束路径而言是照射所述物体的反射光，其中，所述第二图像是在用照射光照射所述物体时从不同的记录方向捕捉到的，所述照射光的至少一部分沿相应的物体成像束路径被引导，并且其中，所述物体的3D重建是根据第一图像和第二图像的图像数据来计算的。
作为其替代方案，根据本发明的用于生成物体的3D重建的设备还可以包含：用于用照射光来照射所述物体的装置；以及用于在物体成像束路径中在所述物体相对于至少一个图像捕捉装置的不同布置的情况下通过所述至少一个图像捕捉装置来捕捉所述物体的具有图像数据的多个图像的装置，其中，设置了用于根据所捕捉的图像来计算所述物体的3D重建的装置，并且其中，存在用于用照射光来照射所述物体的装置，所述照射光的至少一部分关于物体成像束路径而言是照射所述物体的反射光，并且所述照射光还利于用其中至少一部分光沿所述物体成像束路径被引导至所述至少一个图像捕捉装置的照射光来照射所述物体。在此，根据通过用于捕捉物体的具有图像数据的多个图像的装置所捕捉的多个图像中的第一图像和第二图像的图像数据来计算所述物体的3D重建，其中，所述第一图像是在用照射光照射所述物体时针对所述物体相对于所述至少一个图像捕捉装置的不同布置而捕捉到的，所述照射光的至少一部分关于所述物体成像束路径而言是照射所述物体的反射光，并且其中，所述第二图像是在用照射光来照射所述物体时针对所述物体相对于所述至少一个图像捕捉装置的不同布置而捕捉到的，所述照射光的至少一部分沿物体成像束路径被引导至所述至少一个图像捕捉装置。
被生成3D重建的物体尤其可以是眼镜架。
在当前情况下，图像捕捉装置到物体的物体成像束路径是将物体全部或部分地成像到图像捕捉装置的像平面中的光束路径。
在当前情况下，关于物体成像束路径而言的照射物体的反射光应理解为是指照射物体并且在过程中在物体的光散射或反射表面处被散射或反射到将物体成像的物体成像束路径中的光。
通过不仅在用其中至少一部分光关于物体成像束路径而言是照射物体的反射光的照射光来照射物体时、并且还在用其中至少一部分光沿物体成像束路径被引导至所述至少一个图像捕捉装置的照射光来照射物体时针对物体相对于图像捕捉装置的不同布置来捕捉具有图像数据的图像，可以识别物体的透明结构并且在物体的3D重建中考虑这些结构。
确定物体的断层重建以计算物体的3D重建是有利的。以此方式，特别地，可以为薄的物体指明准确的3D重建。
在当前情况下，物体的断层3D重建应理解为是指如德国专利申请DE102018209570.1中描述的用于生成物体的三维图像表示的方法，在此对其进行引用并且将其披露内容全部并入本发明的描述中。这种方法将物体的三维图像表示、即物体的断层3D重建表示为3D体素栅格，这是根据例如所捕捉的可用于物体的强度图像计算出的。
原则上，强度图像还可以是彩色图像。因此，可以针对第一图像和第二图像两者在每个颜色通道上独立地执行上述计算，所述第一图像是在用照射光照射物体时针对物体相对于所述至少一个图像捕捉装置的不同布置而捕捉到的，所述第二图像是在用其中至少一部分光沿物体成像束路径被引导至所述至少一个图像捕捉装置的照射光照射物体时针对物体相对于至少一个图像捕捉装置的不同布置而捕捉到的。
断层3D重建的方法包含以下步骤：
-使用高通滤波器、Ram-Lak滤波器Shepp-Logan滤波器、通用Hamming滤波器、低通余弦滤波器，通过计算物体特征图像或通过在额外的滤波步骤中突显图像中的边缘而使得在物体的3D重建中仅可见其外边缘，来对关于物体的强度图像预处理，如在例如以下出版物中描述的：R.Cierniak，“X-ray computed tomography in biomedical engineering[生物医学工程中的X射线计算机断层扫描]”，Springer Science&Business Media[施普林格科学与商业媒体](2011)，在此对其进行引用并且将其披露内容全部并入本发明的描述中。
-根据经预处理的图像来构建3D体素栅格，所述3D体素栅格的分辨率取决于所需的重建准确度。
在当前情况下，体素应被理解为是指三维栅格中的栅格点。3D体素栅格在计算机单元中表示3D物体。举例而言，如果体素位于物体内或物体表面上，则它被指派大于0且小于或等于1的值。如果体素位于物体之外，则它被指派值0。在半透明物体的情况下，体素的值指明了物体在这个点处的透明程度。在不透明物体的情况下，在物体之外假设值为0，而在物体内假设值为1。
-通过编码和解码功能对每个体素计算栅格中的强度。在此过程中将应用以下步骤：a.通过相关联的图像捕捉装置的成像参数来在每个经预处理的所捕捉图像中投影体素中心；
b.读取像素的强度；
c.用与体素距相关联图像捕捉装置的距离成反比的权重因子对强度进行加权(编码功能)；以及
d.计算所有捕捉图像的加权强度的总和(解码功能)。
这产生了具有三维强度分布的3D体素栅格，其最大值对应于3D物体点。
通过滤波器和/或神经网络对3D体素栅格进行伪像校正是有利的。这可以提高物体的3D重建的准确度，甚至在不同的复杂的物体几何的情况下，物体的3D重建仍精确地重现物体。还有利的是，计算物体的3D重建包括针对至少一些第一图像来计算物体特征图像。这允许将3D重建限于经滤波的特征，并且因此可以实现在计算物体的3D重建时计算时间和待处理数据的减少。
举例而言，物体特征图像中的每个像素可以包含这个像素中是否存在物体的某个特征的信息。特别地，检测到的特征可以是边缘、拐角、所谓的斑点或其他重要像素，即“兴趣点”。特别地，物体特征图像可以是带有图像像素的二进制图像，其中假设W＝0的值或W＝1的值。W＝1的值意味着在这个像素中存在所寻求的特征、例如边缘。W＝0的值表明情况并非如此。替代性地，物体特征图像还可以包含在区间[0，1]内的值，所述值代表存在所寻求特征的概率。其他值也是可能的，例如，当将所捕捉的图像与一个或多个用于检测特定特征的滤波核(例如用于纹理分析的伽柏(Gabor)滤波器，用于检测重要像素的SIFT特征)进行卷积时具有滤波器响应的向量，如在以下出版物中描述的：D.G.Lowem,“Objectrecognition from local scale invariant features；Proceedings of theInternational Conference on Computer Vision[从局部尺度不变特征识别物体；国际计算机视觉会议的会议记录]”,ICCV'99,1150-1157(1999)，在此对该文献进行引用并且将其披露内容全部并入本发明的描述中。
还可以使用：SURF特征检测器，如在以下出版物中描述的：H.Bay,A.Ess,T.Tuytelaars和L.Van Gool,“Speeded-Up Robust Features(surf)[加速稳健特征(surf)]”,Comput.Vis.Image Underst.[计算机视觉与图像理解],110(3),346-359(2008)，在此对该文献进行引用并且将其披露内容全部并入本发明的描述中；或AKAZE特征检测器，如在以下出版物中描述的：A.B.Pablo Alcantarilla,J.Nuevo:“Fast explicitdiffusion for accelerated features in nonlinear scale spaces[对非线性尺度空间中的加速特征进行快速显式扩散]”；在英国机器视觉会议的会议记录中,BMVA Press[BMVA出版社],2013，在此对该文献进行引用并且将其披露内容全部并入本发明的描述中；或MSER特征检测器，如从以下出版物已知的：Matas,O.Chum,M.Urban,T.Pajdla,“RobustWide Baseline Stereo from Maximally Stable Extremal Regions[最大稳定极值区域的稳健宽基线立体视觉]”,Proc.BMVC,36.1-36.10(2002)。在此对该出版物也进行引用并且将其披露内容全部并入本发明的描述中。此外，可以将多个上述检测器进行组合。特别地，可以使用通过机器学习针对专用任务、比如检测例如眼镜架的镜架边缘进行学习过的滤波器。
由于物体的特征通常不能在一个像素上精确定位，因此可以通过高斯函数对每个检测到的特征进行局部加权。应注意的是，物体特征图像可以具有例如来自边缘、拐角和伽柏(Gabor)特征的组中的单一物体特征或多个物体特征作为特征。
通过机器学习或通过神经网络来计算物体特征图像意味着不必在用于根据所捕捉图像来计算物体的3D重建的装置中提前设定特征。接着，所述装置本身中的算法可以学习物体的特征以及应如何检测这些特征。这同样可以提高针对物体计算的3D重建的准确度。
为了计算物体的3D重建，尤其可以提供的是确定分段图像掩模并且提供通过分段图像掩模从第一图像和/或第二图像的至少一部分中切出物体部分。
在当前情况下，分段图像掩模应被理解为是呈二进制图像形式的物体图像表示的图像，其中属于待重建的物体图像表示的像素精确地具有为1的值，并且其中背景像素的值为0。
特别地，可以通过机器学习、初始地通过放置轮廓点来将待分段图像手动分段并且然后训练神经网络来标识图像掩模，来确定分段图像掩模。作为其替代方案或附加于此，可以为已知的3D物体及其分段图像掩模生成模拟图像数据，并且这些图像数据可以用作神经网络的训练数据。在此，有利的是将第一捕捉图像和第二捕捉图像均用作神经网络的输入，因为基于这两个图像数据来计算分段图像掩模更加准确。
计算物体的3D重建还可以包括根据第一和/或第二图像来计算边缘信息图像。
边缘信息图像应理解为是指可用于特定“边缘”特征的物体特征图像。原则上，可以使用不同的滤波器来检测边缘，例如Canny边缘检测器，如在以下出版物中描述的：W.Rong、Z.Li,W.Zhang和L.Sun,“An Improved Canny Edge Detection Algorithm[一种改进的Canny边缘检测算法]”,IEEE国际机电一体化与自动化会议,天津,577-582(2014)，在此对该文献进行引用并且将其披露内容全部并入本发明的描述中；或如US 2015/362761 A中描述的，在此对文献进行引用并且将其披露内容全部并入本发明的描述中；或者如在以下出版物中描述的：R.C.Bolles,H.H.Baker,D.H.Marimont,“Epipolar-Plane ImageAnalysis:An Approach to Determining Structure from Motion[外极平面图像分析：一种根据运动来确定结构的方法]”,International Journal of Computer Vision[国际计算机视觉杂志],1,7-55(1987)，在此对该文献进行引用并且将其披露内容全部并入本发明的描述中；或霍夫变换(Hough transforms)，如在以下出版物中描述的：R.O.Duda,P.E.Hart,“Use of the Hough Transformation to Detect Lines and Curves inPictures[使用霍夫变换来检测图片中的线和曲线]”,Comm.ACM,15,11-15(1972)，在此同样对文献进行引用并且将其披露内容全部并入本发明的描述中；或结构张量，如在以下出版物中描述的：S.Wanner,B.Goldlucke,“Globally Consistent Depth Labeling of 4DLight Fields[4D光场的全局一致深度标记]”,Computer Vision and PatternRecognition[计算机视觉与模式识别](CVPR),2012IEEE会议,IEEE(2012)，在此同样对该文献进行引用并且将其披露内容全部并入本发明的描述中。应注意的是，通过所谓的机器学习来学习过的边缘检测滤波器也可以用于检测经特殊训练的边缘。
特别地，对物体的3D重建的计算可以基于根据物体特征图像和/或边缘信息图像来计算外极平面图像而进行。
图1是利用外极几何关系根据所捕捉的图像来计算外极平面图像的展示。
在计算物体的深度图和3D重建时可使用所谓的外极几何。参见图1，在物体12相对于图像捕捉装置的每种布置中，物体的3D点5映射到图像捕捉装置的像平面的某个像素x(1)。相反，如果在记录的图像中考虑选定的像素x(1)，则在具有不同深度的所有3D点的3D空间中的整条线对应于这个像素，所述3D点映射到这一个像素上。可以根据选定的像素以及图像捕捉装置的已知成像参数来计算这条线。在关于物体相对于图像捕捉装置的不同布置的第二记录图像中，这条3D线被投影到2D线4(2)上。这是所谓的外极线。选定的3D物体点的图像表示也必须位于其上。这很大程度地限制了搜索区域，因此通过计算外极线4(2)简化了在不同的捕捉图像中检测相应点的问题。在通过图像捕捉装置捕捉到的针对物体的不同布置的两个图像中检测对应点允许通过三角测量、借助于图像捕捉装置的成像参数来推导相关联的3D点5的深度。为了简化外极线4(2)，…，4(n)的计算，可以应用多种方法，例如将图像对相对于所捕捉图像中的某个图像进行修正或通过图像旋转，如在以下出版物中描述的：R.Hartley和A.Zisserman,“Multiple View Geometry in Computer Vision[计算机视觉中的多视图几何]”,剑桥大学出版社,纽约,美国纽约州,第2版(2003)，在此对该文献进行引用并且将其披露内容全部并入本发明的描述中。
参见图1，外极平面图像Ex,k(y,t)应理解为是指由像素y构建的图像1，所述图像是基于外极几何根据以下多个图像2(1)、2(2)、…、2(n-1)、2(n)并且考虑图像捕捉装置k的已知成像特性来计算的，所述多个图像是在所述图像相对于图像捕捉装置k的已知的不同布置中、通过图像捕捉装置k在不同时刻t捕捉到的关于物体12的图像。
为此，对于第一捕捉图像2(1)中的每个选定像素x(1)、…，在每个另外的捕捉图像2(2)、…、2(n)中指明所谓的极线4(2)、…、4(n)。因此，对于物体在图像捕捉装置前方的各种布置，针对第一捕捉图像2(1)中的选定像素x(1)，外极平面图像Ex,k(y,t)包含在对应的另外的捕捉图像2(2)、…、2(n-1)、2(n)中的相关联外极线4(2)、…4(n)。因此，在具有像素y的每条图像线中，外极平面图像Ex,k(y,t)包含关于图像捕捉装置k在时刻t捕捉到的相应图像中的选定像素x的外极线4(2)、…4(n)的强度。
如果在捕捉图像2(1)、2(2)、…、2(n-1)、2(n)时物体12和图像捕捉装置k相对于彼此沿着直线轨迹移动，则外极平面图像Ex,k(y,t)相应地包含呈直线6形式的物体点轨迹，所述物体点轨迹描述了物体12的属于所述选定像素的3D点5的移动。应注意的是，使图像捕捉装置捕捉的图像失真就足以能够在外极平面图像中获得直线。
接着，根据这条直线6的梯度来确定3D点5相对于图像捕捉装置的空间深度，所述梯度对应于深度相关性偏离量，即，立体深度估计方法中的所谓“视差”。
原则上，可以使用各种图像处理方法来检测呈直线6形式的物体点轨迹并确定其梯度。举例而言，检测物体点轨迹和确定其梯度可以如下进行：基于霍夫变换，通过结构张量计算，通过基于对称的计算方法、比如散焦深度计算之类的方法，或通过凸超分辨率，如K.Polisano等人,“Convex super-resolution detection oflines in images[图像中的线的凸超分辨率检测]”,信号处理会议(EUSIPCO)，2016年第24届欧洲IEEE，(2016)，在此对该文献进行引用并且将其披露内容全部并入本发明的描述中；或如在以下出版物中指明的：M.W.Tao,S.Hadap,J.Malik和R.Ramamoorthi,“Depth from Combining Defocus andCorrespondence Using Light-Field Cameras[使用光场相机来将散焦与通信相结合的深度]”,2013IEEE国际计算机视觉会议(ICCV'13)的会议记录,IEEE计算机协会,华盛顿特区,美国,673-680(2013)，在此同样对该文献进行引用并且将其披露内容全部并入本发明的描述中。
根据本发明，可以如下来执行物体的外极几何3D重建：
在第一步骤中，通过确定物体的固有和非固有成像参数并且确定用于生成物体的3D重建的设备中的每个图像捕捉装置相对于相应的其他图像捕捉装置的空间位置，来校准图像捕捉装置。然后，在另一步骤中校准用于将物体相对于图像捕捉装置移动的装置。作为这个校准过程的结果，获得了针对物体相对于图像捕捉装置的每种布置的旋转矩阵和平移向量。
图像捕捉装置的非固有成像参数描述了比如图像捕捉装置的光轴相对于另一图像捕捉装置或预定坐标系的相对对准等特性。固有成像参数定义了被成像在图像捕捉装置的图像传感器的像平面中的点在相对于对应图像捕捉装置的坐标系中的坐标如何转换为这个点在图像传感器的像平面中的像素的坐标。
例如在由R.Hartley和A Zisserman(第2版，剑桥大学出版社(2004年)的教材“Multiple View Geometry in Computer Vision(计算机视觉的多视图几何)”第8页中可以找到关于相机形式的图像捕捉装置的校准的综合解释，在此对该文献进行引用并且将其披露内容全部并入本发明的描述中。
然后，检测所捕捉图像的图像数据中的边缘和特征，以进行物体的外极几何3D重建。
随后，针对每个检测到的特征来计算外极平面图像。
接着，在外极平面图像中检测物体点轨迹，并计算物体点轨迹的梯度。
接着，使用图像捕捉装置的成像参数来确定相关联的深度。
因此，对于每个特征点显现点云的3D点，所述点云表示物体的3D重建。
应注意的是，同时使用多个图像捕捉装置以及使用误差最小化方法(例如求平均或稳健估计器，比如所谓的“随机样本一致性”(RANSAC)方法，例如在https://en.wikipedia.org/wiki/Random_sample_consensus(2017年11月16日)中描述的)允许计算更稳健的3D重建，在此对所述文献进行引用并且将其披露内容全部并入本发明的描述中。
有利的是，计算物体的3D重建要实施：根据外极平面图像来计算物体点轨迹，以及测量所计算的物体点轨迹的梯度，并且通过三角测量来估计深度信息，以形成所述物体的外极几何3D重建。由此，不再需要通过比较图像区段来执行深度计算，这允许重建非常薄的结构。
如果物体具有对光透明的结构，则计算物体点轨迹也会为物体的3D重建带来稳健性，因为在这种情况下各个物体点的颜色逐渐地或在几个图像上具有极小影响或没有影响。这是因为物体点轨迹是作为所有图像上的线来计算。
特别地，可以提供的是，在空间相关性加权和可能的滤波之后，通过将第一图像和第二图像的图像数据反投影到3D体素栅格中，来确定物体的断层重建以计算物体的3D重建，其中，通过计算将物体的外极几何3D重建与所述3D体素栅格组合以形成物体的3D重建。
由此，物体的3D重建甚至对于不同的物体几何也可以是可靠且准确的，这是因为在这种情况下，物体的外极几何3D重建和物体的断层3D重建中的误差通过求平均而消失。
可以通过滤波器和/或神经网络来校正3D体素栅格的伪像，来进一步提高物体的3D重建的准确度。
优选地，根据3D体素栅格来计算用于描述物体表面的网格。与点云相比，这允许更快地处理3D数据。应注意的是，可以通过以下方式来从3D体素栅格中提取网格：均值偏移法或移动立方体法，例如在以下出版物中描述的：F.Isgro,F.Odone,W.Saleem and&O.Schal,“Clustering for Surface Reconstruction[用于表面重建的聚类]”,1st InternationalWorkshop towards Semantic Virtual Environments[第一届面向语义虚拟环境的国际研讨会],瑞士维拉尔:MIRALab.,156-162(2005)，在此对该文献进行引用并且将其披露内容全部并入本发明的描述中，或如在以下出版物中描述的：F.Zhou,Y.Zhao,K.-Liu Ma,“Parallel mean shift for interactive volume segmentation[用于交互式体积分段的平行均值偏移]”,Machine learning in medical imaging[医学成像中的机器学习],Lecture notes in Computer science[计算机科学讲义],67-75(2010)，在此同样对该文献进行引用并且将其披露内容全部并入本发明的描述中；或通过泊松重建方法，如在以下出版物中描述的：M.Kazhdan,M.Bolitho,H.Hoppe,“Poisson surface reconstruction[泊松表面重建]”,Proceedings of the fourth Eurographics symposium on Geometryprocessing[第四届欧洲图形学几何处理研讨会的会议记录](SGP'06),EurographicsAssociation[欧洲图形协会],Aire-la-Ville[艾尔拉维尔],瑞士,瑞士，61-70(2006)，在此对该文献进行引用并且将其披露内容全部并入本发明的描述中；或在以下出版物中描述的：M.Kazhdan,Michael&Bolitho,Matthew&Hoppe,Hugues,“Screened Poisson SurfaceReconstruction[筛选式泊松表面重建]”,ACM Transactions on Graphics[ACM图形交易],32.61-70(2006)，在此同样对该文献进行引用并且将其披露内容全部并入本发明的描述中。
在当前情况下，点云应理解为是指向量空间中的具有无组织空间结构的点集。这些点表示3D物体表面上的点。点云通常是计算具有网格和纹理的3D模型的中间步骤。
还应注意，网格可以具有带有纹理坐标的节点，其中，纹理坐标指的是具有纹理信息的纹理图像，所述纹理图像是通过将所捕捉的第一图像投影并叠加在3D重建上并使用图像捕捉装置的固有和非固有成像参数计算出的，如在出版物A.Baumberg,“BlendingImages for Texturing 3D Models[融合图像以纹理化3D模型]”,BMVC(2002).Baumberg的第5页中描述的，在此同样对该文献进行引用并且将其披露内容全部并入本发明的描述中。
在当前情况下，纹理图像应被理解为是指描述物体的3D重建的表面点的外观的特性(尤其颜色和反射特性)的图像。纹理可以由颜色值组成，例如2D图像。然而，物体的反射特性也可以额外存储在纹理中。所谓的“纹理映射”是为物体表面上或网格上的每个3D点指派一个或多个纹理坐标的映射。纹理坐标确定了纹理点向物体表面的3D点的指派。
可以分析沿着物体点轨迹的强度曲线，以估计所重建物体的反射特性。在纯漫反射的表面点的情况下，在相对于图像捕捉装置的各种物体布置上，这种强度曲线在很大程度上是恒定的。随着镜面反射分量的增加，强度逐渐偏离恒定曲线。可以根据这个信息以类似于漫射纹理图像的方式、即纯颜色信息来生成镜面纹理图像。
举例而言，可以通过将第一图像投影到网格上来计算这种纹理图像。替代性地，可以将来自多通道3D体素栅格的颜色或强度值例如作为相应网格节点的直接相邻体素的平均值传递到网格上。可以根据3D体素栅格通过导数滤波器来计算网格法线。
物体的3D重建包含关于根据第二图像计算纹理透明度而获得的计算出的纹理透明度的信息。
纹理透明度描述了3D物体的表面的透光率。除了颜色信息外，它也被存储在纹理的所谓的α通道中。α通道通常采用在区间[0，1]内的值。值为1是指此时纹理是不透明的；相反，值为0表示纹理不可见。对于在[0，1]范围内的中间值，将纹理用位于其后的纹理进行线性插值。为了确定纹理透明度，可以根据所捕捉的第二图像、通过将网格的节点投影到所捕捉的各个第二图像中来估计纹理的所谓α通道。纹理变得越透明并且α值减小，所捕捉图像中的所成像点就越亮。
通过计算纹理透明度，可以根据在用其中至少一部分光沿物体成像束路径被引导到至少一个图像捕捉装置的照射光来照射物体时针对所述物体相对于所述至少一个图像捕捉装置的不同布置而获得的第二图像来确定纹理的透明度。
特别地，可以根据第一和/或第二图像来计算镜面纹理图像，其中，物体的3D重建包含所计算出的纹理图像的信息。
可以通过所捕捉的图像是彩色图像，来实现所计算出的物体的3D重建的高准确度，因为例如可以以这种方式来估计3个颜色通道的信息，而不仅仅是来自单一灰度值通道的信息。
特别有利的是通过计算将物体的多个3D颜色通道重建进行组合、尤其通过求平均或稳健估计器，例如在RANSAC方法的范围内，来确定物体的3D重建，其中，接着根据第一图像和第二图像的图像数据、针对颜色通道和/或纹理透明度通道来计算每个3D颜色通道重建。甚至在不同的物体几何的情况下，这也允许进一步提高所计算的物体3D重建的准确度。所计算的物体3D重建可以具有纹理信息。
通过将物体的视图反射到图像捕捉装置中可以实现的是，图像捕捉装置可以从不同的侧面捕捉物体并且因此还可以记录可能被覆盖的结构。
有利的是，计算物体的3D重建包括通过根据第二图像的图像数据计算出的物体剪影来计算视觉外壳，如在以下出版物中描述的：Y.Shuntaro等人,“The Theory andPractice of Coplanar Shadowgram Imaging for Acquiring Visual Hulls ofIntricate Objects[共面阴影图成像用于获取复杂物体视觉外壳的理论与实践]”,International Journal ofComputer Vision[国际计算机视觉杂志],81,259-280(2008)，在此对该文献进行引用并且将其披露内容全部并入本发明的描述中；或在以下出版物中描述的：G.Haro,“Shape from silhouette consensus and photo-consistency[根据剪影共识和光一致性的成形]”,2014年IEEE图像处理国际会议(ICIP),巴黎,4837-4841(2014)，在此同样对该文献进行引用并且将其披露内容全部并入本发明的描述中。
在当前情况下，物体的剪影应理解为是指由于物体到图像捕捉装置的像平面上的透视投影而产生的二进制图像，至少一个物体点被成像到其上的像平面中的那些点精确地属于所述剪影。
根据第二图像数据或第二图像的图像数据计算出的物体的剪影来计算视觉外壳实现了所计算的物体3D重建的准确度的进一步提高，因为物体的视觉外壳指明了对物体的良好近似。在计算物体的3D重建时，尤其可以考虑所计算的3D体素距视觉外壳的距离。
本发明还扩展至使用上述方法生成的物体、尤其眼镜片的3D重建的可视化，在图像显示装置、尤其显示器的显示区域上具有网格。此外，本发明还扩展至具有程序代码的计算机程序，所述程序代码用于尤其通过上述的用于生成物体的3D重建的设备来执行上述方法。
附图说明
在图2至图5中示意性地描绘并且在下文描述了本发明的有利的示例性实施例。
详细而言：
图1示出了利用外极几何关系根据所捕捉的图像来计算外极平面图像的展示；
图2示出了用于生成物体的3D重建的设备的侧视图；
图3示出了用于生成物体的3D重建的设备的平面视图；
图4示出了用于生成物体的3D重建的设备中的计算机单元的计算机程序的第一算法；以及
图5示出了用于生成物体的3D重建的设备中的计算机单元的计算机程序的第二算法。
具体实施方式
图2所示的设备10用于生成物体12的3D重建。举例而言，物体12可以是眼镜架。在设备10中，存在用于使用升降台形式的物体载体15来移动物体12的装置，所述物体载体被接纳在固持臂14中。物体载体15的固持臂14连接至沿纵向方向延伸的柱16上。图3示出了图2的设备10在平面18上的平面视图，所述平面在此用箭头II-II标识。
物体载体15的固持臂14可以以马达驱动的方式在柱16上、以平行于柱16的纵向方向的方式沿着双箭头19的方向移位。
设备10包含第一图像捕捉装置20、第二图像捕捉装置22、第三图像捕捉装置24、第四图像捕捉装置26、以及第五图像捕捉装置28。在当前情况下，图像捕捉装置20、22、24、26和28被实施为相机，每个相机包括物镜系统并且包含呈CCD芯片形式的平面图像传感器。图像捕捉装置20、22、24、26和28各自允许以物体成像束路径30、32、34、36和38从相对于坐标系40的不同记录方向30’、32’、34’、36’和38’记录布置在物体载体15上的物体12的图像，所述坐标系相对于柱16是静止的。通过使用所述图像捕捉装置，可以相对于设备10的物体12关于物体12相对于图像捕捉装置20、22、24、26和28的不同布置来捕捉物体12的具有图像数据的多个图像。设备10中存在用于将图像捕捉装置24的物体成像束路径34转向至物体12的背向图像捕捉装置24的这侧57的反光镜56。
图像捕捉装置20、22、24、26和28被设计用于捕捉单色图像、尤其黑白图像。然而，应注意的是，设备10的替代性实施例还可以具有被设计用于捕捉彩色图像的图像捕捉装置20、22、24、26和28。
设备10包含多个光源42、44、46、48和50作为用照射光来照射物体12的装置。光源42、44、46、48和50各自具有面发光体52，所述面发光体用于提供漫射照射光54。在设备10中，光源42有助于用漫射光来照射物体12，所述漫射光的至少一部分关于物体成像束路径30、32、34和36而言是照射物体12的反射光。
在设备10中，光源44提供照射光54，所述照射光的至少一部分关于物体成像束路径30、32、34和36而言是照射物体12的反射光。也就是说，从光源44入射到物体12上的光至少部分地从物体12的光学有效表面被反射或散射到光学成像束路径30、32、34和36中、并且因此到达图像捕捉装置20、22、24和26的相应图像传感器的像平面。在设备10中，光源46也可以提供照射光，所述照射光的至少一部分关于物体成像束路径32、34、36和38而言是照射物体12的反射光。在设备10中，光源48同样产生照射光，所述照射光的至少一部分关于物体成像束路径32、34、36和38而言是照射物体12的反射光。
在此，照射物体的背景光理解为是指入射到物体上、并且从物体的背景到达将物体成像到图像捕捉装置的像平面上的束路径中的光，并且所述光在像平面中产生物体的剪影的图像、即物体的外形的图像。
光源50有助于提供其中至少一部分光沿通向第三图像捕捉装置24的物体成像束路径34被引导到图像捕捉装置24的图像传感器的像平面上的照射光54，所述照射光针对图像捕捉装置24相对于物体12的布置是源自物体12的背景。源自物体12的背景的光(所述光到达图像捕捉装置24的图像传感器的像平面)原则上在物体12处既不散射也不反射、并且在图像捕捉装置24的图像传感器的像平面中生成物体12的剪影的图像、即物体12的外形的图像。因此，关于图像捕捉装置24的像平面中的光源50，物体12显得背光。
设备10包括计算机单元58、并且具有用于将物体12的3D重建62可视化的显示器60。计算机单元58连接至图像捕捉装置20、22、24、26和28。首先，所述计算机单元用于控制图像捕捉装置20、22、24、26和28和光源42、44、46、48和50以及用于移动物体12的装置。其次，计算机单元58用于通过计算机程序、优选地同时通过图像捕捉装置20、22、24、26和28捕捉物体12并且通过将固持臂14在相对于柱16静止的坐标系40中移位而布置在不同的位置中，来捕捉并且处理图像的图像数据，所述图像在物体12在设备10中处于不同布置的情况下被记录在设备10中并且由图像捕捉装置20、22、24、26和28提供。这种措施致使通过图像捕捉装置从不同的记录方向捕捉物体12。
计算机单元58中的计算机程序根据关于物体12的通过图像捕捉装置20、22、24、26和28记录的图像的图像数据来计算物体12的3D重建62，所述重建被显示在显示器60上。
应注意的是，在设备10的替代性的经修改的实施例中，可以设置使得图像捕捉装置20、22、24、26和28是可移位的，并且使得固持臂14与物体载体15一起在相对于柱16静止的坐标系40中是静止的，以便有助于在物体12相对于图像捕捉装置20、22、24、26和28和光源50的不同布置的情况下捕捉物体的具有图像数据的多个图像。
上述设备10的结构的替代性结构提供了使设备10的物体载体15和图像捕捉装置20、22、24、26和28两者移位，为了在物体12相对于图像捕捉装置20、22、24、26和28的不同布置的情况下捕捉物体的具有图像数据的多个图像。应注意的是，替代性地或另外，还可以设置使得物体载体15围绕竖直轴线相对于图像捕捉装置20、22、24、26和28在相对于柱16静止的坐标系40中旋转。然而，图像捕捉装置20、22、24、26和28还可以以旋转的方式布置，使得这些图像捕捉装置可以围绕布置在物体载体15上的物体12进行旋转移动。
在设备10中校准图像捕捉装置20、22、24、26和28的固有和非固有图像参数的方式为使得在捕捉物体12的单一图像时，物体载体15相对于图像捕捉装置在坐标系40中的空间位置是已知的。
以下基于图4来描述在用于计算物体12的3D重建62的计算机单元58中的计算机程序中实施的算法100。算法100有助于作为断层3D重建进行物体12的3D重建62。
在第一步骤中，以待重建的物体12相对于所述至少一个图像捕捉装置20、22、24、26、28的各种布置中记录多个第一图像64，其中，用照射光来捕捉物体12，所述照射光的至少一部分关于物体成像束路径30、32、34和36而言是照射物体12的反射光。同时，针对物体相对于所述至少一个图像捕捉装置20、22、24、26、28的相同布置，捕捉多个第二图像66。在这种情况下，用照射光来记录物体12，所述照射光的至少一部分沿物体成像束路径30、32、34、36被引导至所述至少一个图像捕捉装置20、22、24、26、28。
通过例如高斯滤波器、Ram-Lak滤波器或通过机器学习进行过训练的特定滤波器将第一图像64和第二图像66两者滤波，尤其为了抑制噪音或锐化边缘。然而，应注意的是，还可以在不对第一图像64和第二图像66进行这种滤波的情况下实施所述算法的替代性实施例。
在算法100中，根据第一图像64来首先计算物体特征图像68、并且其次计算边缘信息图像70，其中，物体12的至少一部分被关于对应的物体成像束路径而言的反射光照射。
对于特征图像，在算法100中设置使得每个检测到的特征被绘制为具有例如高斯分布的旋转对称斑点：
Figure GDA0004097620190000161
其中，(x，y)表示相应特征的亚像素准确像素坐标，并且(k，l)表示特征图像中的整数像素坐标。原则上，在这种情况下，可以根据需要来选择高斯斑点的宽度σ。
应注意的是，作为其替代方案，还可以设置使得特征图像是当通过基于核的检测生成特征时从滤波器响应中出现的图像，如在B.
Figure GDA0004097620190000162
的著作“Digitale Bildverarbeitung[数字影像处理]”，SpringerVerlag，柏林(1997)中描述的，在此对该著作进行引用并且将其披露内容全部并入本发明的描述中。
相比而言，在计算步骤72中，根据第二图像66通过分段来计算图像掩模74、76、和78，所述图像是用照射光捕捉的，所述照射光的至少一部分沿物体成像束路径中被引导至对应的图像捕捉装置。
在至少一部分光沿物体成像束路径30、32、34和36中被引导至所述至少一个图像捕捉装置20、22、24、26、28的照射光的情况下，物体12的不透明点在图像中显现为黑色像素，而透光点显示为灰度值，其强度取决于物体12的透光率。因此，强度与光的强度显著偏离的所有像素被指派了值1，以便计算图像掩模74、76、78。通过相关联的计算出的图像掩模74、76、78来掩蔽物体特征图像68和边缘信息图像70的还以及第二图像66的背景，所述第二图像是用其中至少一部分光沿物体成像束路径被引导至对应的图像捕捉装置的照射光捕捉的。因此，仅有位于图像掩模74、76、78内的像素，即，在图像掩模74、76、78中被指派了值1的像素被用于3D重建。
在下一步骤中构建三维体素栅格，其分辨率(即，当前情况下每空间方向上的体素数量)对应于进行物体12的3D重建的目标准确度。在这种情况下，每个盒子包含两个数据通道，具体为用于来自第一图像64的图像数据的信息的数据通道、和用于来自第二图像66的图像数据的信息的数据通道。
应注意的是，在存在用于捕捉彩色图像的图像捕捉装置的设备中，每个体素包含多达六个数据通道，这可以通过在计算机单元58的计算机程序中实施的、用于计算物体12的3D重建62的算法来提供。接着，每个体素包括针对关于在物体12的至少一部分被关于对应的物体成像束路径而言的反射光所照射时获得的图像的三个颜色通道中的每一个颜色通道的第一数据通道，以及针对关于用至少一部分光沿物体成像束路径被引导至对应的图像捕捉装置的照射光所捕捉的图像的三个颜色通道中的每一个颜色通道的第二数据通道。
在算法100中，对于每个数据通道，将属于这个数据通道的图像数据反投影到3D体素栅格上(在计算步骤86中)并且在此过程中滤波，并且通过权重函数80、82、84进行加权。为此，每个体素都投影到属于所述数据通道的所有图像中的像素上。如果在此过程中体素被投影到的像素位于属于所述图像的图像掩膜74、76、78内，则将其强度乘以权重函数。在此，权重函数80、82、84可以取决于所考虑的体素在3D体素栅格中的位点以及体素被投影到的像素、尤其取决于在捕捉相关联图像时体素距图像捕捉装置20、24、26、28的距离。
将用权重函数80、82、84加权的强度值求和，并将所得值指派给相应数据通道中的3D体素栅格的所考虑体素。在此过程中，可以通过计算将来自多达六个数据通道的信息组合成仅具有单一数据通道的3D体素栅格。
应注意的是，由于通过计算而组合得到的数据的冗余，因此可以通过将数据通道内的对应数据求平均，来将计算的3D重建中的误差最小化。
然后，在下一步骤88中校正3D体素栅格的伪像。为此，可以使用滤波器和/或神经网络。于是，在另外的步骤90中，根据3D体素栅格来计算网格，所述网格描述了3D物体的表面的特性。
为此，根据均值偏移法来确定具有局部强度最大值的点，如在以下出版物中指明的：F.Zhou,Y.Zhao,K.-Liu Ma,“Parallel mean shift for interactive volumesegmentation[用于交互式体积分段的平行均值偏移]”,Machine learning in medicalimaging[医学成像中的机器学习],Lecture notes in Computer science[计算机科学讲义],67-75(2010)，在此对该文献进行引用并且将其披露内容全部并入本发明的描述中。
在此过程中，以固定增量来对3D体素栅格进行采样。为此，在每个步骤中确定最接近的强度最大值。在此，可以使用视觉外壳来限制可能的强度最大值的搜索范围。为此，选择以下迭代方法：使用三维窗口函数，例如在https://de.wikipedia.org/wiki/ Fensterfunktion中描述的，其中使用了例如高斯窗口。在第一步骤中，确定这个窗口内3D体素栅格的值的二维质心。
在第二步骤中，将窗口偏移至质心。迭代地重复执行这两个步骤，直到达到稳定的质心，即，直到窗口的移动的量降到阈值以下。应注意的是，这个阈值应显著地低于目标准确度。在目标准确度为0.1mm的情况下，可以选择例如0.01mm或更小的阈值，尤其是达到最大可实现的计算准确度。然后，所生成的呈局部强度最大值形式的点形成所寻求的点云，例如在以下出版的J.A.Sethian的著作中描述的：“Level Set Methods and Fast MarchingMethods Evolving Interfaces in Computational Geometry,Fluid Mechanics,Computer Vision,and Materials Science[计算几何、流体力学、计算机视觉和材料科学中的接口不断发展的水平集方法和快速行进方法]”；Cambridge University Press[剑桥大学出版社](1999)，在此对该著作进行引用并且将其披露内容全部并入本发明的描述中。
作为其替代方案，还可以使用高通滤波器或使用全局或局部自适应阈值来对3D体素栅格进行二值化，以使每个体素具有为0或1的值。可以基于局部平均值或中位数或分位数来计算局部自适应阈值。可以使用形态滤波器来相应地优化二值化的3D体素栅格，以将误差最小化。在3D体素栅格进行二值化之后，通过3D体素栅格中相邻体素的0-1转换来准确地描述待重建的物体的表面，因为这是从位于物体外的体素(具有值0)转换到位于物体内的体素(具有值1)的地方。在每个0-1转换处生成3D点。接着，这些表面点形成表示3D物体的表面的点云。
为了以固定的增量对体素体积采样，在每个步骤中切出窗口，并且例如基于平均值或中位数或分位数来形成局部阈值。为此，例如可以使用大津(Otsu)阈值化方法，所述方法在以下出版物中进行了描述：M.Sezgin,B.Sankur,“Survey over image thresholdingtechniques and quantitative performance evaluation[图像阈值化技术调查和定量性能评估]”,Journal of Electronic Imaging[电子成像杂志].13(1),146-165(2004)。在此，可以将增量和窗口大小选择得显著更大。可选地，还可以使用所谓的形态滤波器来减小或简化二值化体积，并且随后可以提取表面。此处，在0→1转换的点处生成3D点。因此，总体上可以获得点云。
为此，在计算例程92中，尤其通过应用考虑了栅格中相邻体素的导数滤波器来计算网格节点的法向向量。然后，在计算例程94内，根据第一图像64和网格来计算纹理。此外，算法中的计算例程96中，通过所捕捉的各个图像中的网格点的投影强度的变化，或者如果捕捉到的是彩色图像，则通过分析网格点投影到所捕捉的各个图像中的颜色并且由此首先估计漫射颜色分量且其次估计镜面反射颜色分量，根据第一图像64和网格来计算镜面纹理图像。
应注意的是，颜色在纯漫射色分量中几乎不改变。然而，在强镜面反射颜色分量的情况下，颜色变化显著，这取决于物体12相对于所述至少一个图像捕捉装置20、22、24、26、28和照射装置的布置。在算法100中的计算例程98中，通过针对每个网格点分析各个第二图像66中该点的投影强度，根据第二图像66来计算纹理透明度。相关联像素的强度越亮，该表面在该网格点的点处的透光率就越高。
从前面的计算步骤中显现的物体12的3D重建62包括3D体素栅格和在节点处具有法向向量的3D网格，以及包含镜面纹理图像和纹理透明度的纹理。
算法100包括用于存储物体12的3D重建62的存储例程102，并且包含用于在设备10中的显示器60上显示物体12的3D重建62的显示例程104。在此，各种格式自身适合于存储以节省尽可能多的存储空间，尤其是有效的存储结构，比如所谓的八叉树、嵌套栅格或边界体积层次结构，以及比如所谓的二进制空间分区等方法。节省存储空间是基于：视觉外壳表示了待重建物体的凸形外壳。因此，仅有视觉外壳内的体素可以具有为1的值。视觉外壳外的所有体素在所有数据通道中具有为0的值。应注意的是，相对于原始大小U，U≈10％，尤其是2％≤U≤5％，这可以实现存储空间的减小R。
图5用于解释用于计算机程序的另外的算法100'，通过所述算法可以在设备10的计算机单元58中计算物体12的3D重建62。算法100’有助于物体12的外极几何3D重建。
在算法100’的第一步骤中，以待重建的物体12相对于所述至少一个图像捕捉装置20、22、24、26、28的各种布置再次记录多个第一图像106，其中，用照射光来捕捉物体12，所述照射光的至少一部分关于物体成像束路径30、32、34和36而言是照射物体12的反射光。同时，关于物体12相对于所述至少一个图像捕捉装置20、22、24、26、28的相同布置来记录多个第二图像108，其中，用照射光来捕捉物体12，所述照射光的至少一部分沿物体成像束路径30、32、34和36被引导至所述至少一个图像捕捉装置20、22、24、26、28。接着，在失真步骤110、112中，基于图像捕捉装置20、22、24、26、28的已知成像参数来使得第一图像和第二图像失真并且可能在设备10中被修正。
应注意的是，在算法100’的替代性实施例中，可以设置使得第一图像106和第二图像108两者被滤波，尤其为了抑制噪音或为了锐化边缘。
像上述的算法100一样，根据第一图像106来首先计算物体特征图像114、其次计算边缘信息图像116。再次，在计算步骤111中根据第二图像108通过分段来计算图像掩模118、120、122。借助于相关联的计算出的图像掩模120、122、124来掩蔽第一记录图像106和第二记录图像108两者的背景，并且因此仅有位于图像掩模内的像素，即，被指派了值1的像素，被用于3D重建。现在，在此根据物体特征图像114和边缘信息图像116来生成外极平面图像126、128，在其中检测物体点轨迹132、134。由于计算这些物体点轨迹132、134的梯度，可以通过相关联图像捕捉装置20、22、24、26、28的已知成像参数来推导相关联3D点相对于图像捕捉装置20、22、24、26、28的深度。由此，可以在各自情况下根据物体特征图像114和边缘信息图像116来计算点云136、138。在当前情况下，由于使用了同一物体12的特征图像和边缘信息图像，可获得冗余信息，所述冗余信息可以通过计算进行组合以将误差最小化。
接着，在算法100’中，根据点云136、138来计算网格140。像在基于图3描述的算法100中一样，在滤波之后，通过权重函数130、根据算法100'中的被掩蔽的第二图像108来计算到3D体素栅格上的反投影142。
在下一步骤144中，校正体素栅格中的伪像。为此，可以使用滤波器和/或神经网络。像在基于图3描述的算法100’中一样，在计算例程146中，尤其通过应用考虑了栅格中相邻体素的导数滤波器来计算网格节点的法向向量。然后，在计算例程148内，根据第一图像106和网格140来计算纹理。此外，在算法100’的计算例程150中，在这种情况下再次通过所捕捉的各个图像中的网格点的投影强度的变化，或者如果捕捉到的是彩色图像，则通过分析网格点投影到所捕捉的各个图像中的颜色以由此估计漫射颜色分量和镜面反射颜色分量，根据第一图像106和网格140来计算镜面纹理图像。
如同在算法100的情况下，在纯漫射颜色分量的情况下，几乎没有任何变化。相比而言，在强镜面反射分量的情况下，存在显著的颜色变化，这取决于物体相对于所述至少一个图像捕捉装置20、22、24、26、28和光源42、44、46、48和50的布置，所述光源在基于图2和图3描述的、用于生成物体12的3D重建的设备10中形成用照射光照射物体12的装置。接着，在算法100’的计算例程152中，通过针对每个网格点分析各个第二图像108中该点的投影强度，根据第二图像108来计算纹理透明度。相关联像素的强度越亮，该表面在该网格点的点处的透光率就越高。
接着再次，从前面的计算步骤中显现的物体12的3D重建62包括3D体素栅格和在节点处具有法向向量的3D网格，以及包含镜面纹理图像和纹理透明度的纹理。算法100’也包括用于存储物体12的3D重建62的存储例程154，并且包含用于在设备10中的显示器60上显示物体12的3D重建62的显示例程156。
总之，应特别注意本发明的以下优选特征：生成物体12的3D重建62包括：照射物体12；捕捉关于物体12的图像数据；并且根据图像数据来计算物体12的3D重建62。所述图像数据包括第一图像数据和第二图像数据，其中，第一图像数据是在用照射光54照射物体12时从不同的记录方向30’、32’、34’、36’、38’捕捉到的，所述照射光的至少一部分关于物体成像束路径32、34、36、38而言是照射所述物体12的反射光，其中，第二图像数据是在用照射光54照射物体12时从不同的记录方向30’、32’、34’、36’、38’捕捉到的，所述照射光的至少一部分沿物体成像束路径32、34、36、38被引导，并且其中，物体12的3D重建62是根据所述第一图像数据和所述第二图像数据来计算的。
附图标记清单
1                      外极平面图像Ex,k(y,t)
2(1)、2(2)、…2(n-1)、2(n)     在不同的时刻t捕捉到的图像
4(2),…4(n)              外极线
5                      3D点
6                      直线
10                     设备
12                     物体
14                     固持臂
15                     物体载体
16                     柱
18                     平面
19                     双箭头
20、22、24、26、28         图像捕捉装置
30、32、34、36、38         物体成像束路径
30'、32'、34'、36'、38'    记录方向
40                     坐标系
42、44、46、48、50         光源
52                     发光体
54                     漫射照射光
56                     反光镜
57                     物体侧
58                     计算机单元
60                     显示器
62                     3D重建
64                     第一图像
66                     第二图像
68                     物体特征图像
70                     边缘信息图像
72                     计算步骤
74、76、78               图像掩模
80、82、84               权重函数
86                     计算步骤
88                     下一步骤
90                     另外的步骤
92                     计算例程
94、96、98               计算例程
100、100'               算法
102                    存储例程
104                    显示例程
106                    第一图像
108                    第二图像
110                    失真步骤
111                    计算步骤
112                    失真步骤
114                    物体特征图像
116                    边缘信息图像
118、120、122、124        图像掩模
126、128                外极平面图像
130                    权重函数
132                    物体点轨迹
134                    物体点轨迹
136、138                点云
140                    网格
142                    反投影
144                    步骤
146                    计算例程
148、150、152            计算例程
154                    存储例程
156                    显示例程。

Claims (14)

1.一种用于生成物体(12)的3D重建(62)的方法，包括：
照射所述物体(12)；
捕捉关于所述物体(12)的图像数据；
根据所述图像数据来计算所述物体(12)的3D重建(62)；
其中，所述图像数据包括第一图像数据和第二图像数据，并且
其中，所述第一图像数据在用照射光(54)照射所述物体(12)时从不同的记录方向(30’，32’，34’，36’，38’)捕捉，所述照射光的至少一部分关于物体成像束路径(32，34，36，38)而言是照射所述物体(12)的反射光，
其特征在于，
所述第二图像数据在用照射光(54)照射所述物体(12)时从不同的记录方向(30’，32’，34’，36’，38’)捕捉，所述照射光的至少一部分关于物体成像束路径(32，34，36，38)而言是照射所述物体(12)的背景光；并且
所述物体(12)的3D重建(62)根据所述第一图像数据和所述第二图像数据来计算。
2.根据权利要求1所述的方法，其特征在于，确定所述物体(12)的断层重建以计算所述物体(12)的3D重建(62)，其中，根据空间相关性加权，将所述第一和第二图像数据反投影到3D体素栅格中。
3.根据权利要求1所述的方法，其特征在于，所述计算所述物体(12)的3D重建(62)包括针对所述第一图像数据的至少一部分来计算物体特征图像(68，114)。
4.根据权利要求3所述的方法，其特征在于，所述物体特征图像(68，114)具有来自下组中的单一物体特征或多个物体特征作为特征：边缘、拐角、伽柏特征，和/或通过机器学习或通过神经网络来计算所述物体特征图像(68)，和/或所述计算所述物体(12)的3D重建(62)包括确定分段图像掩模(74，76，78；120，122，124)、并且通过分段图像(74，76，78；120，122，124)根据所述第一图像数据和/或第二图像数据的至少一部分来切割物体部分。
5.根据权利要求3或4所述的方法，其特征在于，所述计算所述物体(12)的3D重建(62)包括根据所述第一图像数据和/或第二图像数据来计算边缘信息图像(70，116)。
6.根据权利要求5所述的方法，其特征在于，所述计算所述物体(12)的3D重建(62)包括根据所述物体特征图像(114)和/或所述边缘信息图像(116)来计算外极平面图像(126，128)。
7.根据权利要求6所述的方法，其特征在于，所述计算所述物体(12)的3D重建(62)包括根据所述外极平面图像(126，128)来计算物体点轨迹(132，134)、以及测量所计算的物体点轨迹(132，134)的梯度并且通过三角测量来估计深度信息，以形成所述物体(12)的外极几何3D重建(62)。
8.根据权利要求7所述的方法，其特征在于，确定所述物体(12)的断层重建以计算所述物体(12)的3D重建(62)，其中，在空间相关性加权之后，将所述第一图像数据和所述第二图像数据反投影到3D体素栅格中，其中，通过计算将所述物体(12)的外极几何3D重建(62)与所述3D体素栅格进行组合以形成所述物体(12)的3D重建。
9.根据权利要求8所述的方法，其特征在于，根据所述3D体素栅格来计算用于描述所述物体(12)的表面的网格(140)；和/或其特征在于，根据所述3D体素栅格通过导数滤波器来计算网格法线。
10.根据权利要求1至4中任一项所述的方法，其特征在于，执行以下步骤组中的至少一个步骤：
根据所述第二图像数据来计算纹理透明度，其中，所述物体(12)的3D重建(62)包含所计算的纹理透明度的信息；
计算镜面纹理图像，其中，所述物体(12)的3D重建(62)包含所计算的纹理图像的信息；
捕捉彩色图像作为具有图像数据的图像；
通过计算将所述物体(12)的多个3D颜色通道重建进行组合来确定所述物体(12)的3D重建(62)，其中，根据所述第一图像数据和所述第二图像数据、针对颜色通道和/或针对纹理透明度通道来计算所述3D颜色通道重建中的每一个；
确定具有纹理信息的3D重建(62)；
将所述物体(12)的视图反射到图像捕捉装置(20，22，24，26，28)中。
11.根据权利要求1至4中任一项所述的方法，其特征在于，所述计算所述物体(12)的3D重建(62)包括根据从所述第二图像数据计算出的所述物体(12)的剪影来计算视觉外壳。
12.一种用于生成物体(12)的3D重建(62)的设备，
包括用于用照射光(54)来照射所述物体(12)的装置；
包括用于在相应的物体成像束路径(32，34，36，38)中捕捉所述物体(12)的具有图像数据的多个图像的装置；
包括根据所捕捉的图像来计算所述物体(12)的3D重建(62)的装置；以及
包括适合于执行在权利要求1至11中所说明的方法的步骤的器件。
13.一种计算机可读存储介质，具有存储在该计算机可读存储介质上的包括命令的计算机程序，所述命令致使权利要求12的设备执行在权利要求1至11中任一项中所说明的方法步骤。
14.一种用于生成物体(12)的3D重建(62)的设备，
包括用于用照射光(54)来照射所述物体(12)的装置；
包括用于捕捉关于所述物体的图像数据的装置；以及
包括根据所捕捉的图像数据来计算所述物体(12)的3D重建(62)的装置；
其中，所捕捉的图像数据包括第一图像数据和第二图像数据，并且
其中，所述第一图像数据是在用照射光(54)照射所述物体(12)时从不同的记录方向(30’，32’，34’，36’，38’)捕捉到的，所述照射光的至少一部分关于物体成像束路径(32，34，36，38)而言是照射所述物体(12)的反射光，
其特征在于，
所述第二图像数据是在用照射光(54)照射所述物体(12)时从不同的记录方向(30’，32’，34’，36’，38’)捕捉到的，所述照射光的至少一部分关于物体成像束路径(32，34，36，38)而言是照射所述物体(12)的背景光；并且
所述物体(12)的3D重建(62)是根据所述第一图像数据和所述第二图像数据来计算的。
CN201980005482.0A 2018-12-20 2019-12-19 用于生成物体的3d重建的方法和设备 Active CN111602177B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18214974.0 2018-12-20
EP18214974.0A EP3671645A1 (de) 2018-12-20 2018-12-20 Verfahren und vorrichtung zum erzeugen einer 3d-rekonstruktion eines objekts
PCT/EP2019/086326 WO2020127746A1 (de) 2018-12-20 2019-12-19 Verfahren und vorrichtung zum erzeugen einer 3d-rekonstruktion eines objekts

Publications (2)

Publication Number Publication Date
CN111602177A CN111602177A (zh) 2020-08-28
CN111602177B true CN111602177B (zh) 2023-05-09

Family

ID=64755330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980005482.0A Active CN111602177B (zh) 2018-12-20 2019-12-19 用于生成物体的3d重建的方法和设备

Country Status (4)

Country Link
US (1) US20200258300A1 (zh)
EP (2) EP3671645A1 (zh)
CN (1) CN111602177B (zh)
WO (1) WO2020127746A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11368719B2 (en) * 2018-07-12 2022-06-21 Samsung Electronics Co., Ltd. Method and device for encoding three-dimensional image, and method and device for decoding three-dimensional image
KR20220030084A (ko) * 2020-09-02 2022-03-10 삼성전자주식회사 영상 처리 방법 및 장치
CN112907733A (zh) * 2021-02-23 2021-06-04 北京华清易通科技有限公司 重建三维模型的方法及装置和三维模型采集及重建系统
CN112802194B (zh) * 2021-03-31 2023-09-19 电子科技大学 一种基于点云数据的核设施高精度重构方法
CN114049444B (zh) * 2022-01-13 2022-04-15 深圳市其域创新科技有限公司 一种3d场景生成方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101930628A (zh) * 2010-09-21 2010-12-29 北京大学 基于单目摄像机和多平面镜折反射装置的运动捕捉方法
CN102915559A (zh) * 2012-08-22 2013-02-06 北京航空航天大学 一种基于三维点云的实时透明物体gpu并行生成方法
CN106228507A (zh) * 2016-07-11 2016-12-14 天津中科智能识别产业技术研究院有限公司 一种基于光场的深度图像处理方法
CN106373168A (zh) * 2016-11-24 2017-02-01 北京三体高创科技有限公司 一种基于医疗图像的分割与三维重建方法、3d打印系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002520968A (ja) * 1998-07-15 2002-07-09 イメイション・コーポレイション 画像表示システム及び方法
DE19853120C1 (de) * 1998-11-18 2001-09-27 Igt Emus Elektronische Mess Un Verfahren und Meßeinrichtung zum Messen der Transparenz, Opazität und Wolkigkeit
WO2013139814A2 (fr) 2012-03-19 2013-09-26 Fittingbox Modèle et procédé de production de modèle 3d photo-réalistes
CN105075268A (zh) * 2013-04-11 2015-11-18 日本电信电话株式会社 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质
US9467680B2 (en) * 2013-12-12 2016-10-11 Intel Corporation Calibration of a three-dimensional acquisition system
US10121178B2 (en) 2014-06-13 2018-11-06 Ebay Inc. Three-dimensional eyeglasses modeling from two-dimensional images
DE102018105709A1 (de) * 2017-03-15 2018-09-20 Werth Messtechnik Gmbh Verfahren zur computertomografischen Messungen von Werkstücken
DE102018209570A1 (de) 2017-06-14 2018-12-20 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren und Vorrichtung zur Erzeugung eines dreidimensionalen Abbilds

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101930628A (zh) * 2010-09-21 2010-12-29 北京大学 基于单目摄像机和多平面镜折反射装置的运动捕捉方法
CN102915559A (zh) * 2012-08-22 2013-02-06 北京航空航天大学 一种基于三维点云的实时透明物体gpu并行生成方法
CN106228507A (zh) * 2016-07-11 2016-12-14 天津中科智能识别产业技术研究院有限公司 一种基于光场的深度图像处理方法
CN106373168A (zh) * 2016-11-24 2017-02-01 北京三体高创科技有限公司 一种基于医疗图像的分割与三维重建方法、3d打印系统

Also Published As

Publication number Publication date
EP3688725B1 (de) 2020-12-23
EP3671645A1 (de) 2020-06-24
EP3688725A1 (de) 2020-08-05
WO2020127746A1 (de) 2020-06-25
US20200258300A1 (en) 2020-08-13
CN111602177A (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
CN111602177B (zh) 用于生成物体的3d重建的方法和设备
CN109872397B (zh) 一种基于多目立体视觉的飞机零件的三维重建方法
Koch et al. Evaluation of cnn-based single-image depth estimation methods
Wolff et al. Point cloud noise and outlier removal for image-based 3D reconstruction
Schuon et al. High-quality scanning using time-of-flight depth superresolution
Delaunoy et al. Photometric bundle adjustment for dense multi-view 3d modeling
US8823775B2 (en) Body surface imaging
US8451322B2 (en) Imaging system and method
Xu et al. Line structured light calibration method and centerline extraction: A review
US8427656B2 (en) Robust three-dimensional shape acquisition method and system
Hullin et al. Fluorescent immersion range scanning
CN109580630A (zh) 一种机械零部件缺陷的视觉检测方法
WO2015006791A1 (en) Combining depth-maps from different acquisition methods
Varol et al. Monocular 3D reconstruction of locally textured surfaces
Lindner et al. Sub-pixel data fusion and edge-enhanced distance refinement for 2d/3d images
Weinmann et al. Multi-view normal field integration for 3d reconstruction of mirroring objects
Vogiatzis et al. Practical 3d reconstruction based on photometric stereo
Mirzaalian Dastjerdi et al. Measuring surface area of skin lesions with 2D and 3D algorithms
Xu et al. Survey of 3D modeling using depth cameras
Guðmundsson et al. Improved 3D reconstruction in smart-room environments using ToF imaging
SusheelKumar et al. Generating 3D model using 2D images of an object
Xu et al. Hybrid mesh-neural representation for 3d transparent object reconstruction
Chidambaram Edge Extraction of Color and Range Images
Berent et al. Unsupervised Extraction of Coherent Regions for Image Based Rendering.
Csetverikov et al. A brief survey of image-based depth upsampling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant