CN112243485B - 对三维表面的形貌建模 - Google Patents

对三维表面的形貌建模 Download PDF

Info

Publication number
CN112243485B
CN112243485B CN201980037971.4A CN201980037971A CN112243485B CN 112243485 B CN112243485 B CN 112243485B CN 201980037971 A CN201980037971 A CN 201980037971A CN 112243485 B CN112243485 B CN 112243485B
Authority
CN
China
Prior art keywords
image
partial image
point
partial
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980037971.4A
Other languages
English (en)
Other versions
CN112243485A (zh
Inventor
S·鲁斯卡宁
J·帕尔门
O·莱萨宁
T·托洛宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bibo Co ltd
Original Assignee
Bibo Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bibo Co ltd filed Critical Bibo Co ltd
Publication of CN112243485A publication Critical patent/CN112243485A/zh
Application granted granted Critical
Publication of CN112243485B publication Critical patent/CN112243485B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

根据一方面，提供了一种方法，包括控制建模布置(100)的结构光源(102)在要被建模的表面上产生已知几何形状的衍射图案，该衍射图案精确地符合数学‑物理模型，并且其中衍射图案的光束输出角基于数学‑物理模型是精确已知的；基本上同时地利用第一相机(108)记录包括衍射图案的所述表面的第一图像和用第二相机(104)记录包括衍射图案的所述表面的第二图像；从在第一图像中可见的衍射图案中确定包括主点的点云；从第二图像识别对应的主点；以及使用第一图像和第二图像中的点云的每个主点作为第一图像和第二图像中的次要点的搜索空间的初始点。

Description

对三维表面的形貌建模
技术领域
本发明涉及立体摄影测量。
背景技术
摄影测量利用基于所拍摄的感兴趣对象的照片的映射或建模。存在许多应用，其中例如借助于机器视觉进行的三维成像是非常有用的。通常，这些系统可以包括例如相机、照明装置和管理设备的控制系统。在立体摄影测量中，通过从不同的相机位置拍摄对象的两张或更多张照片并识别每张照片中的公共点来对三维对象进行建模。
摄影测量和立体摄影测量的挑战是能够快速地(例如，实时或接近实时地对三维对象进行建模)并且非常准确地进行建模。
发明内容
根据本发明的第一方面，提供了一种方法，包括控制建模布置的结构光源以在要被建模的表面上产生已知几何形状的衍射图案，该衍射图案精确地符合数学-物理模型，并且其中衍射图案的光束输出角基于数学-物理模型是精确已知的。所述方法进一步包括基本上同时地利用建模布置的第一相机记录包括所述衍射图案的所述表面的第一图像和利用建模布置的第二相机记录包括所述衍射图案的所述表面的第二图像，第一相机和第二相机被校准并且它们相对于彼此的位置是已知的。所述方法进一步包括从在第一图像和第二图像中可见的所述衍射图案中确定包括主点的点云，并且使用第一图像和第二图像中的点云的每个主点作为第一图像和第二图像中的次要点的搜索空间的初始点。
根据本发明的第二方面，提供了一种方法，包括控制建模布置的结构光源以在要被建模的表面上产生已知几何形状的衍射图案，该衍射图案精确地符合数学-物理模型，并且其中衍射图案的光束输出角基于数学-物理模型是精确已知的。所述方法进一步包括基本上同时地利用建模布置的第一相机记录包括所述衍射图案的所述表面的第一图像和利用建模布置的第二相机记录包括所述衍射图案的所述表面的第二图像，第一相机和第二相机被校准并且它们相对于彼此的位置是已知的。所述方法进一步包括从在第一图像中可见的所述衍射图案中确定包括主点的点云，从第二图像识别对应的主点，以及使用第一图像和第二图像中的点云的每个主点作为第一图像和第二图像中的次要点的搜索空间的初始点。
在第一方面或第二方面的实施形式中，所述方法进一步包括通过将第一图像和第二图像划分成部分(partial)图像的集合来形成第一图像和第二图像的部分图像对，每个部分图像对包括第一图像的部分图像和第二图像的对应部分图像，并且其中第一图像和第二图像的每个部分图像包括点云的相同单个主点；识别所述部分图像对中的对应次要点，每个次要点具有x和y图像坐标，并且基于所述次要点的x和y图像坐标以及所述相机位置来计算每个次要点在外部坐标系中的X、Y和Z坐标。
在第一方面或第二方面的实施形式中，所述方法进一步包括通过将第一图像和第二图像划分成部分图像的集合来形成第一图像和第二图像的部分图像对，每个部分图像对包括第一图像的部分图像和第二图像的对应部分图像，并且其中第一图像和第二图像的每个部分图像对包括由至少三个主点限定的封闭区域；识别所述部分图像对中的所述封闭区域内的对应次要点，每个次要点具有x和y图像坐标，并且基于所述次要点的所述x和y图像坐标以及所述相机位置来计算每个次要点在外部坐标系中的X、Y和Z坐标。
在第一方面或第二方面的进一步实施形式中，所述方法进一步包括从所述部分图像对中排除所述至少三个主点；确定所述第一图像的所述部分图像中的第一最大强度和所述第二图像的所述部分图像中的第二最大强度，其中所述至少三个主点已经从所述部分图像中被排除；基于所述第一最大强度归一化所述第一图像的所述部分图像中的每个像素的强度；以及基于第二最大强度归一化第二图像的部分图像中的每个像素的强度。
在第一方面或第二方面的进一步实施形式中，所述方法进一步包括将每个部分图像分割成子块；以及识别所述子块中对应的次要点。
在第一方面或第二方面的进一步实施形式中，识别所述部分图像对中的对应次要点包括：在沿着所述第二图像的所述部分图像中的对应核线的搜索区域中，搜索所述第二图像的所述部分图像中的次要点，所述次要点对应于所述第一图像的所述对应部分图像中的次要点，所述搜索区域沿着所述核线与所述第二图像的所述部分图像中的所述主点之间的距离与所述第一图像的所述部分图像中的所述次要点和所述第一图像的所述部分图像中的所述主点之间的距离基本上相同。
在第一方面或第二方面的进一步实施形式中，识别所述部分图像对中的对应次要点包括：在第二图像的部分图像中的搜索区域中搜索第二图像的部分图像中的次要点，该次要点对应于第一图像的对应部分图像中的次要点，所述搜索区域与所述第二图像的所述部分图像中的所述主点的距离与所述第一图像的所述部分图像中的所述次要点和所述第一图像的所述部分图像中的所述主点之间的距离基本上相同。
根据本发明的第三方面，提供了一种建模系统，包括建模布置，该建模布置包括结构光源，该结构光源被配置为在要被建模的表面上产生已知几何形状的衍射图案，该衍射图案精确地符合数学-物理模型，并且其中所述衍射图案的光束输出角基于所述数学-物理模型是精确已知的；第一相机，其被配置为以由所述光源发射的波长对所述要被建模的表面进行拍摄；以及第二相机，其被配置为以由光源发射的波长对所述要被建模的表面进行拍摄。建模布置被校准，使得第一相机和第二相机的光轴与衍射轴线的相对取向是已知的，并且其中结构光源的输出点到第一相机和第二相机的位置、距离和取向是已知的。所述建模系统进一步包括控制系统，所述控制系统连接到所述建模布置并且被配置为控制所述结构光源在要被建模的所述表面上产生已知几何形状的所述衍射图案，基本上同时地利用所述第一相机记录包括所述衍射图案的所述表面的第一图像和利用所述第二相机记录包括所述衍射图案的所述表面的第二图像；从在第一图像和第二图像中可见的衍射图案中确定包括主点的点云；以及使用第一图像和第二图像中的点云的每个主点作为第一图像和第二图像中的次要点的搜索空间的初始点。
根据本发明的第四方面，提供了一种建模系统，包括建模布置，该建模布置包括结构光源，该结构光源被配置为在要被建模的表面上产生已知几何形状的衍射图案，该衍射图案精确地符合数学-物理模型，并且其中所述衍射图案的光束输出角基于所述数学-物理模型是精确已知的；第一相机，其被配置为以由所述光源发射的波长对所述要被建模的表面进行拍摄；以及第二相机，其被配置为以由光源发射的波长下对所述要被建模的表面进行拍摄。建模布置被校准，使得第一相机和第二相机的光轴与衍射轴线的相对取向是已知的，并且其中结构光源的输出点到第一相机和第二相机的位置、距离和取向是已知的。所述建模系统进一步包括控制系统，所述控制系统连接到所述建模布置并且被配置为控制所述结构光源在要被建模的所述表面上产生已知几何形状的所述衍射图案，基本上同时地利用所述第一相机记录包括所述衍射图案的所述表面的第一图像和利用所述第二相机记录包括所述衍射图案的所述表面的第二图像；从在第一图像中可见的衍射图案中确定包括主点的点云；从所述第二图像中识别对应的主点；以及使用第一图像和第二图像中的点云的每个主点作为第一图像和第二图像中的次要点的搜索空间的初始点。
在第三方面或第四方面的实施形式中，连接到建模布置的控制系统进一步被配置为通过将第一图像和第二图像划分成部分图像的集合来形成第一图像和第二图像的部分图像对，每个部分图像对包括第一图像的部分图像和第二图像的对应部分图像，并且其中第一图像和第二图像的每个部分图像包括点云的相同单个主点；识别所述部分图像对中的对应次要点，每个次要点具有x和y图像坐标；以及基于所述次要点的x和y图像坐标以及所述相机位置来计算每个次要点在外部坐标系中的X、Y和Z坐标。
在第三方面或第四方面的实施形式中，控制系统进一步被配置为通过将第一图像和第二图像划分成部分图像的集合来形成第一图像和第二图像的部分图像对，每个部分图像对包括第一图像的部分图像和第二图像的对应部分图像，并且其中第一图像和第二图像的每个部分图像对包括由至少三个主点限定的封闭区域；识别所述部分图像对中的所述封闭区域内的对应次要点，每个次要点具有x和y图像坐标，并且基于所述x和y图像坐标来计算每个次要点在外部坐标系中的X、Y和Z坐标。
在第三方面或第四方面的进一步实施形式中，控制系统进一步被配置为从部分图像对中排除至少三个主点；确定所述第一图像的所述部分图像中的第一最大强度和所述第二图像的所述部分图像中的第二最大强度，其中所述至少三个主点已经从所述部分图像中被排除；基于所述第一最大强度，归一化所述第一图像的所述部分图像中的每个像素的强度；以及基于第二最大强度，归一化第二图像的部分图像中的每个像素的强度。
在第三方面或第四方面的进一步实现形式中，控制系统被配置为将每个部分图像分割成子块，并识别子块中的对应次要点。
在第三方面或第四方面的进一步的实施形式中，控制系统被配置为在沿着第二图像的部分图像中的对应核线的搜索区域中搜索第二图像的部分图像中的次要点，该次要点对应于第一图像的对应部分图像中的次要点，所述搜索区域沿着核线与第二图像的部分图像中的主点之间的距离与所述第一图像的所述部分图像中的次要点与所述第一图像的所述部分图像中的主点之间的距离基本上相同。
在第三方面或第四方面的进一步实现形式中，控制系统被配置为在第二图像的部分图像中的搜索区域中搜索第二图像的部分图像中的次要点，该次要点对应于第一图像的对应部分图像中的次要点，所述搜索区域与所述第二图像的所述部分图像中的所述主点的距离与所述第一图像的所述部分图像中的所述次要点和所述第一图像的所述部分图像中的所述主点之间的距离基本上相同。
根据第五方面，提供了一种设备，包括至少一个处理器和连接到所述至少一个处理器的至少一个存储器。所述至少一个存储器存储程序指令，所述程序指令在由所述至少一个处理器执行时使所述设备控制建模布置的结构光源在要被建模的表面上产生已知几何形状的衍射图案，所述衍射图案精确地符合数学-物理模型，并且其中所述衍射图案的光束输出角基于所述数学-物理模型是精确已知的；基本上同时地利用建模布置的第一相机记录包括所述衍射图案的所述表面的第一图像和利用建模布置的第二相机记录包括所述衍射图案的所述表面的第二图像，第一相机和第二相机被校准并且它们相对于彼此的位置是已知的；从在第一图像和第二图像中可见的所述衍射图案中确定包括主点的点云；以及使用第一图像和第二图像中的点云的每个主点作为第一图像和第二图像中的次要点的搜索空间的初始点。
根据第六方面，提供了一种设备，包括至少一个处理器和连接到所述至少一个处理器的至少一个存储器。所述至少一个存储器存储程序指令，所述程序指令在由所述至少一个处理器执行时使所述设备控制建模布置的结构光源在要被建模的表面上产生已知几何形状的衍射图案，所述衍射图案精确地符合数学-物理模型，并且其中所述衍射图案的光束输出角基于所述数学-物理模型是精确已知的；基本上同时地利用建模布置的第一相机记录包括所述衍射图案的所述表面的第一图像和利用建模布置的第二相机记录包括所述衍射图案的所述表面的第二图像，第一相机和第二相机被校准并且它们相对于彼此的位置是已知的；从在第一图像中可见的衍射图案中确定包括主点的点云；从所述第二图像识别对应的主点；以及使用第一图像和第二图像中的点云的每个主点作为第一图像和第二图像中的次要点的搜索空间的初始点。
在第五方面或第六方面的实施形式中，所述至少一个存储器存储程序指令，当所述程序指令由所述至少一个处理器执行时，使得所述设备通过将所述第一图像和所述第二图像划分成部分图像的集合来形成所述第一图像和所述第二图像的部分图像对，每个部分图像对包括所述第一图像的部分图像和所述第二图像的对应部分图像，并且其中所述第一图像和所述第二图像的每个部分图像包括所述点云的相同单个主点；识别所述部分图像对中的对应次要点，每个次要点具有x和y图像坐标；以及基于所述次要点的x和y图像坐标以及所述相机位置来计算每个次要点在外部坐标系中的X、Y和Z坐标。
在第五方面或第六方面的实施形式中，所述至少一个存储器存储程序指令，当所述程序指令由所述至少一个处理器执行时，使得所述设备通过将所述第一图像和所述第二图像划分成部分图像的集合来形成所述第一图像和所述第二图像的部分图像对，每个部分图像对包括所述第一图像的部分图像和所述第二图像的对应部分图像，并且其中所述第一图像和所述第二图像的每个部分图像对包括由至少三个主点限定的封闭区域；识别所述部分图像对中的所述封闭区域内的对应次要点，每个次要点具有x和y图像坐标，并且基于所述x和y图像坐标来计算每个次要点在外部坐标系中的X、Y和Z坐标。
在第五方面或第六方面的进一步实施形式中，所述至少一个存储器存储程序指令，所述程序指令在由所述至少一个处理器执行时使所述设备从所述部分图像对中排除所述至少三个主点；确定所述第一图像的所述部分图像中的第一最大强度和所述第二图像的所述部分图像中的第二最大强度，所述至少三个主点已经从所述部分图像中被排除；基于所述第一最大强度，归一化所述第一图像的所述部分图像中的每个像素的强度；以及基于所述第二最大强度，归一化所述第二图像的所述部分图像中的每个像素的强度。
在第五方面或第六方面的进一步的实施形式中，所述至少一个存储器存储程序指令，当所述程序指令由所述至少一个处理器执行时，使得所述设备将每个部分图像划分成子块；并识别子块中的对应次要点。
在第五方面或第六方面的进一步的实施形式中，所述至少一个存储器存储程序指令，当由所述至少一个处理器执行时，所述程序指令使得所述设备在沿着所述第二图像的所述部分图像中的所述对应核线的搜索区域中搜索所述第二图像的所述部分图像中的次要点，所述次要点对应于所述第一图像的所述对应部分图像中的次要点，所述搜索区域沿着所述核线与所述第二图像的所述部分图像中的所述主点之间的距离与所述第一图像的所述部分图像中的所述次要点和所述第一图像的所述部分图像中的所述主点之间的距离基本上相同。
在第五方面或第六方面的进一步的实施形式中，所述至少一个存储器存储程序指令，当所述程序指令由所述至少一个处理器执行时，使得所述设备在所述第二图像的所述部分图像中的搜索区域中搜索所述第二图像的所述部分图像中的次要点，所述次要点对应于所述第一图像的对应的所述部分图像中的次要点，所述搜索区域与所述第二图像的所述部分图像中的所述主点的距离与所述第一图像的所述部分图像中的所述次要点和所述第一图像的所述部分图像中的所述主点之间的距离基本上相同。
根据第七方面，提供了一种设备，包括用于控制建模布置的结构光源在要被建模的表面上产生已知几何形状的衍射图案的装置，所述衍射图案精确地符合数学-物理模型，并且其中衍射图案的光束输出角基于数学-物理模型是精确已知的；用于使得基本上同时地利用所述建模布置的第一相机记录包括所述衍射图案的所述表面的第一图像和利用所述建模布置的第二相机记录包括所述衍射图案的所述表面的第二图像的装置，所述第一相机和所述第二相机被校准并且它们相对于彼此的位置是已知的；用于从在第一图像和第二图像中可见的所述衍射图案确定包括主点的点云的装置；以及用于使用所述第一图像和所述第二图像中的所述点云的每个主点作为所述第一图像和所述第二图像中的次要点的搜索空间的初始点的装置。
根据第八方面，提供了一种设备，包括用于控制建模布置的结构光源以在要被建模的表面上产生已知几何形状的衍射图案的装置，所述衍射图案精确地符合数学-物理模型，并且其中衍射图案的光束输出角基于数学-物理模型是精确已知的；用于使得基本上同时地利用所述建模布置的第一相机记录包括所述衍射图案的所述表面的第一图像和利用所述建模布置的第二相机记录包括所述衍射图案的所述表面的第二图像的装置，所述第一相机和所述第二相机被校准并且它们相对于彼此的位置是已知的；用于从在第一图像中可见的所述衍射图案中确定包括主点的点云的装置；用于从所述第二图像识别所述对应主点的装置；以及用于使用所述第一图像和所述第二图像中的所述点云的每个主点作为所述第一图像和所述第二图像中的次要点的搜索空间的初始点的装置。
在第七方面或第八方面的实施形式中，所述设备包括用于通过将第一图像和第二图像划分成部分图像的集合来形成第一图像和第二图像的部分图像对的装置，每个部分图像对包括第一图像的部分图像和第二图像的对应部分图像，并且其中第一图像和第二图像的每个部分图像包括点云的相同单个主点；用于识别所述部分图像对中的对应次要点的装置，每个次要点具有x和y图像坐标；以及用于基于所述次要点的x和y图像坐标以及所述相机位置来计算每个次要点在外部坐标系中的X、Y和Z坐标的装置。
在第七方面或第八方面的实施形式中，所述设备包括用于通过将第一图像和第二图像划分成部分图像的集合来形成第一图像和第二图像的部分图像对的装置，每个部分图像对包括第一图像的部分图像和第二图像的对应部分图像，并且其中第一图像和第二图像的每个部分图像对包括由至少三个主点限定的封闭区域；用于识别所述部分图像对中的所述封闭区域内的对应次要点的装置，每个次要点具有x和y图像坐标，以及用于基于所述x和y图像坐标计算每个次要点在外部坐标系中的X、Y和Z坐标的装置。
在第七方面或第八方面的进一步实施形式中，所述设备包括用于执行以下的装置：从所述部分图像对中排除所述至少三个主点；确定所述第一图像的所述部分图像中的第一最大强度和所述第二图像的所述部分图像中的第二最大强度，其中已经从所述部分图像中排除了所述至少三个主点；基于所述第一最大强度归一化所述第一图像的所述部分图像中的每个像素的强度；以及基于第二最大强度归一化所述第二图像的所述部分图像中的每个像素的强度。
在第七方面或第八方面的进一步的实施形式中，所述设备包括用于将每个部分图像分割成子块的装置；以及用于识别所述子块中的对应次要点的装置。
在第七方面或第八方面的进一步的实现形式中，所述设备包括用于在沿着第二图像的部分图像中的对应核线的搜索区域中搜索第二图像的部分图像中的次要点的装置，所述次要点对应于第一图像的对应部分图像中的次要点，所述搜索区域沿着所述核线与所述第二图像的所述部分图像中的所述主点之间的距离与所述第一图像的所述部分图像中的所述次要点和所述第一图像的所述部分图像中的所述主点之间的距离基本上相同。
在第七方面或第八方面的进一步实现形式中，所述设备包括用于在第二图像的部分图像中的搜索区域中搜索第二图像的部分图像中的次要点的装置，所述次要点对应于所述第一图像的相应部分图像中的次要点，所述搜索区域与所述第二图像的所述部分图像中的所述主点的距离与所述第一图像的所述部分图像中的所述次要点和所述第一图像的所述部分图像中的所述主点之间的距离基本上相同。
根据本发明的第九方面，提供了一种包括程序代码的计算机程序，所述程序代码被布置为执行第一方面或第二方面的方法。
根据本发明的第十方面，提供了一种包括计算机程序的计算机可读介质，所述计算机程序包括被布置为执行第一方面或第二方面的方法的程序代码。
至少一些方面和实施形式可以提供一个或多个效果和/或优点。解决方案可以使得能够以显著减少的处理时间以实时或接近实时的解决方案显著地增加建模布置的空间分辨率。这还可以增加建模布置对于涉及准确对象识别的各种应用以及需要关于场景的更密集三维数据的算法的可用性。增加的空间分辨率意味着场景对象将比现有解决方案更密集地被采样，同时保持测量点的精度高于产生密集点云的已知传感器。此外，所公开的解决方案可以允许将极高精度主点与次要点分开，以用于必须使用极高质量三维数据的应用。
附图说明
下面将通过实施例的例子详细描述本发明，其中
图1示出了根据本发明的一方面的建模系统。
图2示出了用于获得和处理图像的框图方法。
图3示出了包括从衍射图案确定的点云的简化图像。
图4A示出了用相机捕获的较大图像的部分图像的示例。
图4B和4C示出了一对相应的部分图像的示例。
图5A和5B示出了识别一对部分图像中的相应次要点的示例。
图6A-6N示出了识别一对部分图像中的相应次要点的另一示例。
图7A-7F示出了用于归一化来自在第一和第二图像中可见的衍射图案的主点之间的区域的实施例。
图8A-8C示出了用于减少视差匹配或特征搜索的搜索空间的实施例。
图9示出了用于控制建模布置的示例性设备。
具体实施方式
图1示出了根据本发明的一个方面的建模系统。建模系统包括建模布置100和控制系统112。建模布置100包括结构光源102，其被配置成在要被建模的表面上产生已知几何形状的衍射图案。结构光源102可以包括激光源和衍射元件，来自激光源的光行进通过该衍射元件。结构光源102可以被配置成产生基本上单色和相干的电磁辐射。由结构光源102提供的衍射图案精确地符合数学-物理模型，并且其中衍射图案的光束输出角基于数学-物理模型被精确的知道。换句话说，基于数学-物理模型来对由结构光源102提供的衍射图案进行建模。由衍射产生的点云的几何形状可以取决于在衍射源中使用的光栅，并且可以使用任何合适的点几何形状。在一个示例中，结构光源102可以产生仅包含一个波长或同时包含多个波长的辐射，例如，红色、绿色和蓝色相干光。
建模布置100进一步包括第一相机108，其被配置成以结构光源102发射的波长拍摄要被建模的表面，以及第二相机104，其被配置成以结构光源102发射的波长类似地拍摄要被建模的表面。图像文件可以例如通过无线数据传输的方式从第一相机和第二相机自动传输到控制系统112。
校准建模布置100，使得第一相机108和第二相机104的光轴与结构光源102的衍射轴的相对取向是已知的，并且其中结构光源102的输出点到第一相机108和第二相机104的位置、距离和取向是已知的。校准还可以考虑相机104、108的镜头的光学质量和畸变。
建模系统还包括连接到建模布置100的控制系统112。控制系统112被配置成控制建模布置100的操作。控制系统112可以包括配备有适当软件的计算机，以控制相机104、108并处理利用相机104、108记录的图像。
控制系统112还可以被配置成控制结构光源102以在要被建模的表面上产生已知几何形状的衍射图案。控制系统112进一步可被配置为使得基本上同时地利用第一相机108记录包括所述衍射图案的所述表面的第一图像和利用第二相机104记录包括所述衍射图案的所述表面的第二图像。术语“基本上同时”是指第一相机和第二相机被配置成同时或几乎同时拍摄具有衍射图案的同一物体。
当第一图像和第二图像已经被记录时，控制系统112可以被配置为从在第一图像和第二图像中可见的衍射图案中确定包括主点的点云。在另一实施例中，控制系统112可以被配置为从在第一图像中可见的衍射图案中确定包括主点的点云，并且从第二图像识别对应的主点。点云被设计和实现为使得图像内的每个主点的明确识别是可能的。实际上，这意味着在图像的特定区段(section)中，只有一个可能的主点可以在那里。控制系统112还被配置成使用第一和第二图像中的点云的每个主点作为第一图像和第二图像中的次要点的搜索空间的初始点。次要点可以是位于图像的主点之间的强度较小的伪影，并且可以针对该伪影计算准确的三维位置。次要点可以是落入所使用的带宽内的背景光。此外，其强度可以显著小于主点的强度。作为另一示例，次要点可以是由衍射元件产生的噪声。作为另一示例，次要点可以是由单独的光源产生的图案或噪声。此外，在实施例中，主点是由衍射元件创建的明亮的清晰可见的斑点，并且次要点是通过确定第一图像和第二图像的对应的部分图像之间的视差图像而在这些主点之间创建的点、或者是从来自第一图像和第二图像的部分图像中识别强度明显低于主点的特征并且通过摄影测量方法确定这些特征的对应的3D坐标而在这些主点之间创建的点。
在一个示例中，单独的光源可以集成到建模布置100。由于可能的搜索空间的大小显著减小，这使得解决方案能够实时或接近实时的提供表面的准确三维表示。
控制系统112可以紧邻建模布置100设置。或者，控制系统112可以物理地存在于任何其它位置，只要控制系统112能够经由数据通信网络(例如因特网)下载由相机104、108拍摄的图像。
控制系统112可以包括一个或多个处理器和连接到处理器的一个或多个存储器。通过数据传输接口，控制系统112可以从外部设备或系统接收信息。存储器可以包含一个或多个计算机程序，该计算机程序包含被布置成执行这里描述的方法步骤的程序代码。
图2示出了用于获得和处理图像的框图方法。该方法可以被实现为由计算机执行的计算机程序。
在200，控制建模布置的结构光源在要被建模的表面上产生已知几何形状的衍射图案。衍射图案精确地符合数学-物理模型，并且其中衍射图案的光束输出角基于数学-物理模型是精确已知的。衍射的几何形状取决于衍射源中使用的光栅，并且可以使用任何合适的点几何形状。
在202，使得基本上同时地利用建模布置的第一相机记录包括所述衍射图案的所述表面的第一图像和利用建模布置的第二相机记录包括所述衍射图案的所述表面的第二图像。结构光源、第一相机和第二相机已经被校准，使得第一相机和第二相机的光轴与衍射轴的相对取向是已知的。此外，结构光源的输出点到第一相机和第二相机的位置、距离和取向是已知的。校准还可以考虑相机的镜头的光学畸变。
在204，从在第一图像中可见的衍射图案中确定包括主点的点云，并且从第二图像中识别对应的主点。
在206，第一图像和第二图像中的点云的每个主点被用作第一图像和第二图像中的次要点的搜索空间的初始点。次要点可以是位于图像的主点之间的强度较小的伪影，所述伪影位于两个主点之间并且可以针对所述伪影计算准确的三维位置。次要点可以是落入所使用的带宽内的背景光。此外，其强度可以显著小于主点的强度。作为另一个示例，次要点可以是由衍射元件产生的噪声。作为另一示例，次要点可以是由单独的光源产生的图案或噪声。单独的光源可以集成到建模布置。由于可能的搜索空间的大小显著减小，这使得解决方案能够实时或接近实时的提供表面的准确三维表示。
可以使用能够从两个图像中找到对应点的任何图像处理解决方案或算法来识别第一图像和第二图像中的对应次要点。当已经识别出图像中的对应次要点时，每个次要点具有x和y图像坐标。基于次要点的x和y图像坐标以及相机位置，可以计算每个次要点在外部坐标系中的X、Y和Z坐标。
图3示出了简化图像300，其包括从在利用第一相机记录的图像中可见的衍射图案中确定的点云306。点云306的每个点304可被精确地识别，并且具有非常精确的三维坐标。
图3示出了其中从整体图像300形成多个部分图像302的实施例。尽管图3仅示出了六个部分图像302，但是图像300的其他部分图像被类似地生成。可以对基本上同时利用第二相机记录的图像进行类似的操作，即形成部分图像。
图像300的每个部分图像302包括点云的单个主点304。这在图3中用每个部分图像302的中心处的点来例示。通过将图像300划分为部分图像302，可以单独地并且以并行方式处理每个部分图像。部分图像302中的点云的每个主点可以用作部分图像302中的次要点的搜索空间的初始点。次要点是位于两个主点之间的点，并且可以为其计算精确的三维位置。
图4A示出了用相机捕获的较大图像的部分图像400的示例。部分图像400可对应于图3中所示出的部分图像302。
部分图像400包括点云的单个主点402作为中心点。如前面已经讨论的，从在图像中可见的衍射图案确定包括主点的点云。衍射图案精确地符合数学-物理模型，并且其中衍射图案的光束输出角基于数学-物理模型是精确已知的。从图像中形成针对点云的每个其他主点的类似的部分图像。
图4B和4C示出了一对相应的部分图像。部分图像400A是用第一相机记录的图像的部分图像，而部分图像400B是用第二相机记录的图像的对应部分图像。两个部分图像400A、400B包括点云的相同主点402A、402B作为中心点。
图5A和5B示出了识别一对部分图像514A、514B中的对应次要点的示例。除了图4B和4C之外，图5A和5B现在示出了两个部分图像包括形状504A、506A、508A、510A、512A；504B、506B、508B、510B、512B，其可以使用一个或多个图像处理算法来识别。形状也可以指前面已经讨论过的次要点。例如，当在部分图像514A中已经识别出形状或次要点504A时，可以在另一部分图像500B中识别出相应的形状或次要点504B。可以在一搜索区域中引导在部分图像514B中搜索相应次要点，所述搜索区域沿着核线与部分图像514B中的主点的距离基本上等于在部分图像514A中的对应次要点和在部分图像514A中的主点之间的距离。这意味着可以准确且快速地找到部分图像514B中的次要点504B。
图6A-6F示出了识别一对部分图像600A、600B中的对应次要点的另一示例。在图6A中，第一图像的部分图像600A已经被分成子块604的集合。在此特定示例中，部分图像600A被划分为九个子块。中心子块包括主点602A。由于中心块包括主点602A，因此不需要单独地搜索部分图像600B中的对应点，因为它是已知的(即，它是主点602B)。图6B示出了与第一图像的部分图像600A相对应的第二图像的部分图像600B。
图6C和6D示出了子块或子块的一部分616被用作搜索部分图像600B中的相应子块或子块的一部分的模板的示例。然后，可以将部分图像600A的子块或子块的部分616与部分图像600B的像素进行比较。
图6E-6N示出了用于在部分图像600B中找到相应的次要点的示例性处理。
再次，使用部分图像600A的左手角落中的子块中的区段616作为模板。图6F-6N示出了将模板顺序地与部分图像600B的角落中的部分图像600B的像素的集合618A-618E进行比较。尽管在图6F-6N中，可以示出每个序列中的部分图像600B中的像素的集合618A-618E仅在例如水平方向的方向上移动，但是在其他例子中，在两个连续序列之间的部分图像600B中的像素的集合618A-618E可以同时在水平和垂直方向上移动。
在每次比较时，可以计算部分图像600A中的模板616和部分图像600B中的像素的集合618A-618E的相关系数。用于计算相关系数的一种可能的解决方案是使用皮尔逊相关系数：
两个不同变量的关联度的定量测量通常被创造为相关系数，并且其通常在-1和1之间的范围内。如果相关系数是1，则在两个变量之间存在高相关性。
当已经计算了所有相关系数时，在计算期间在部分图像600B内移动的部分图像600B中的具有最高相关系数的像素的集合618A-618E是模板616的最佳对应。
模板616的中心点和部分图像600B中的最佳对应像素的集合618A-618E形成一对观察到的图像点。基于一对观察到的图像点并且基于用于捕获两个图像的两个校准的相机的位置，可以计算外部坐标系中的三维坐标。换句话说，首先可以识别部分图像对中的对应次要点，每个次要点具有x和y图像坐标。其次，可以基于次要点的x和y图像坐标以及相机位置，通过使用例如三角测量来计算每个次要点在外部坐标系中的X、Y和Z坐标。
在实施例中，以上公开的示例和实施例提供了在两个图像中找到对应点的像素级精度。在进一步的实施例中，像素级精度可甚至进一步扩展到子像素精度。子像素精度是指以大于像素级的精度识别对象的位置。例如，这可以意味着以小数点精度在像素坐标中定义从图像观察到的圆的中心点，而不是仅仅参考整数像素值。此外，实现子像素精度可能涉及内插和/或重新采样图像的像素值，这是一种在寻找模板图像的最佳匹配中常用的方法。在另一个例子中，实现子像素精度可能涉及将连续平滑函数拟合成不同位置的相关值并找出局部最大值。
术语“校准的相机”可以指1)确定相机的镜头或镜头系统的畸变误差，以及2)确定相机的内部几何结构。畸变误差可以指由镜头的物理特性引起的图像几何形状的变化。在图像中，畸变误差可以被看作例如桶形畸变和枕形畸变。畸变误差可以在数学上被校正。相机的内部几何形状的确定可以包括确定镜头或镜头系统的焦距、相机的主点和纵横比。
焦距取决于镜头的物理特性，并且描述镜头系统的光学中心点和像平面的距离。此外，利用图像观察坐标，它描述了从图像观察的现象所在的方向以及图像平面上的对象相对于它们距相机的距离的比例。
主点是在图像平面上的光轴与图像平面交叉的点。镜头畸变取决于到畸变为零的主点的距离。
纵横比描述了不同图像轴的尺度的不对称性。这可能是由于图像平面上的光电单元的结构或组件的镜头特性。可以通过对x和y坐标使用不同的焦距来定义纵横比。通过观察具有已知几何形状的物体，同时定义内部几何结构和镜头畸变参数。
此外，在一个实施例中，仅执行一次相机镜头的校准，并且通过将图像的像素移动到正确的位置，利用获得的校准信息来校正图像的光学畸变。
两个相机也可以相对于彼此校准。定位成离图1中所示的建模布置100的结构光源102更远的相机104确定测量坐标系，并且另一相机108相对于该测量坐标系定位。测量坐标系的原点是相机104的投影中心。测量坐标系的轴与图像的图像坐标系的轴平行，并且与图像平面垂直的第三轴是相机的光轴。在校准之后，相机104的观测根据定义直接在测量坐标系中，而相机108的观测可以被转换到测量坐标系。
尽管上述实施例和示例仅公开了基于单独的照片或图像的分析，但是对于本领域技术人员来说，显然也可以应用本发明，使得若干单独的照片被组合成要被建模的表面的更大的整体。在这种情况下，在本发明中描述的建模布置可以在拍摄情况下手动或自动移动，从而可以对期望的布置建模。
上述本发明的实施例可以用在许多不同的应用环境中，例如用在测量隧道的壁、岩石材料识别、森林应用(例如在评估林分中)、汽车工业或用于对表面建模的任何其它应用中。
图7A-7F示出了归一化来自在第一图像和第二图像中可见的衍射图案来的主点702、704、706、708之间的区域的实施例。前面参照图1-3讨论的实施例提供了关于获得第一图像和第二图像的更详细的描述。
图7A示出了从第一图像中获取的部分区域。类似地，图7B示出了从第二图像中获取的相应的部分区域。两个部分区域由四个主点702、704、706、708限制。图7A和7B示出了第一图像和第二图像中的背景对象的总敏感度彼此不同的情况。
由于可以精确地识别从第一和第二图像取得的部分区域中的主点702、704、706、708，所以可以从部分区域中排除主点702、704、706、708。例如，可以通过用小的值，例如用0，替换主点702、704、706、708的强度值来执行排除主点702、704、706、708。在另一实施例中，当在下一步骤中从第一图像和第二图像的部分区域中确定最大强度时，可以省略与主点702、704、706、708相关的强度值。图7C和7D示出了排除的部分区域710、712、714、716。尽管图7C和7D示出了通过使用矩形形状、已经用小的值代替了主点702、704、706、708的强度，但是可以使用任何其它排除方法和/或形状。
接下来，从第一和第二图像的已经执行排除处理的两个部分区域(即，从图7C和7D中所示的部分区域)确定最大强度maxI。在该示例中，强度的最高可能值是1.0。作为示例，图7C中的最大强度maxI可以是0.333，并且图7D中的最大强度maxI可以是0.143。图像像素(x，y)的归一化强度I(x,y)N可以用下面的等式计算：
I(x,y)N＝min(I(x,y)E*C/maxI,1.0)
其中(I(x,y)E是归一化前图像像素(x，y)的强度，C是正系数，例如0.9。min()函数确保归一化强度I(x,y)N在值[0，1.0]之间。
图7E和7F示出了从第一图像和第二图像中获取的归一化的部分区域。从图7E和7F可以看出，主点702、704、706、708之间的信号变为相等状态，使得图7E和7F中所示的区域之间的差异最小。
上述归一化处理使得能够实现一种解决方案，其中，第一图像和第二图像中的背景对象被提前到在两个图像中类似地出现相等的特征。此外，上述归一化处理使得能够实现一种解决方案，其中，可以对图像对(即，第一图像和第二图像)中的强度进行归一化，使得可以独立地处理图像对的图像。
图8A-8C示出了用于减少视差匹配或特征搜索的搜索空间的实施例。图8A-8C示出了较大图像的部分图像。前面关于图1-3讨论的实施例提供了关于获得较大图像的更详细的描述。
图8A示出了使用第一相机获得的第一部分图像800A，其包含四个主点802A、804A、806A、808A以及它们限定的四边形内的区域。类似地，图8B示出了使用第二相机获得的第二部分图像800B，其包含四个主点802B、804B、80B、808B以及它们限定的四边形内部的区域。
部分图像800A、800B具有相同的面积，并且非常相似，具有例如由相机传感器噪声和光学形变引起的微小差异。如从图1可以看出，第一相机和第二相机位于不同的位置，并且不同的相机位置导致从第一相机和第二相机获得的图像之间的透视差异。
图8C示出了合成图像，其中两个部分图像800A、800B已经以左上角点802A、802B为中心放在一起。附图标记810A、812A、814A、816A表示第一部分图像800A中的亮斑，附图标记810B、812B、814B、816B表示第二部分图像800B中的亮斑。可以看出，两个较低的亮点814A、814B和816A、816B在两个部分图像800A、800B中被清楚地分开。这意味着这些点的三维位置与作为参考点的左上角点810A、810B相比在距第一和第二相机的不同距离上。
在形成差异图像或特征搜索中，与仅使用一个点的情况相比，使用多个点(例如三或四点)的好处在于，搜索区域被已知的精确匹配点所封闭。基于这些角点上的准确已知的移位，可以通过创建函数来估计视差(或第二图像中的特征的位置)以估计图像上的任何点处的视差。该估计的视差(或水平视差)是在从第二相机获得的第二图像中的与来自从第一相机获得的第一图像的特征或像素的对应的最佳先验估计。现在可以将最佳匹配的搜索集中在最佳实时性能的先验估计周围。此外，当使用多个点来限定搜索区域时，这等效于将表面拟合成附近的已知三维点。这进一步减少了用于视差匹配或特征搜索的搜索空间，使得操作更快。
图9示出了描绘可以包括各种可选硬件和软件组件的示例性设备900的装置。所示设备900可以包括一个或多个控制器或处理器902(例如，信号处理器、微处理器、ASIC或其他控制和处理逻辑电路)，用于执行诸如信号编码、数据处理、输入/输出处理、功率控制和/或其他功能之类的任务。
所示设备900还可以包括一个或多个存储器904。存储器904可以包括不可移动存储器和/或可移动存储器。不可移动存储器可包括RAM、ROM、闪存、硬盘或其它公知的存储器存储技术。可移动存储器可以包括闪存或其它公知的存储器存储技术。存储器可以用于存储用于运行操作系统和/或一个或多个应用的数据和/或代码。
设备900可以被配置成部分地或完全地实现例如图2-4、4A-4C、5A-5B、6A-6N、7A-7F和8A-8C中所示的各种特征、示例和实施例。此外，处理器902和/或存储器904可以构成用于部分地或完全地实现例如图2-4、4A-4C、5A-5B、6A-6N、7A-7F和8A-8C中所示的各种特征、示例和实施例的装置。本文描述的功能可以至少部分地由诸如软件组件之类的一个或多个计算机程序产品组件来执行。根据示例，处理器902可以由程序代码配置，该程序代码在被执行时执行所描述的操作和功能的示例和实施例。可替换地或另外地，本文描述的功能可以至少部分地由一个或多个硬件逻辑组件来执行。例如，但不限于，可以使用的说明性类型的硬件逻辑组件包括现场可编程门阵列(FPGA)、程序专用集成电路(ASIC)、程序专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)、图形处理单元(GPU)。
以上仅通过示例的方式描述了实施例和示例，并且如硬件和/或软件领域的技术人员将理解的，用于执行这些实施例的硬件可以以许多方式变化。示例实施例的一个或多个组件的功能可以例如通过一个或多个设备和/或在计算机上执行的计算机程序来实现。
示例实施例可以存储与本文描述的不同过程相关的信息。该信息可以存储在一个或多个存储器中，例如硬盘、光盘、RAM存储器等。一个或多个存储器或数据库可以存储用于执行本发明的示例性实施例的信息。
如计算机和/或软件领域的技术人员将理解的，可以使用根据本发明的示例实施例的教导编程的一个或多个通用处理器、微处理器、DSP处理器、微控制器等来执行作为它们的整体或部分的示例实施例。
任何计算机可读介质或介质的组合可以存储用于执行要被执行以整体或部分地实现本发明的处理的计算机程序或计算机程序产品(如果处理是分布式的)。
用于本发明的实施例的设备可以包括计算机可读介质或存储器，其包含根据本发明的教导利用这里描述的数据结构、表、记录和/或其它数据编程的命令。计算机可读介质可以包括参与向处理器提供命令以供其执行的任何合适的介质。这种介质可以以许多不同的形式提供，包括非易失性存储器、易失性存储器、传输介质等，但不限于前述形式。传输介质还可以以声波、光波、电磁波等的形式提供，例如以在射频通信、红外数据传输期间形成的波的形式提供。非易失性存储器可以包括例如光盘或磁盘、磁光盘等。易失性存储器可以包括动态存储器等。传输介质可以包括同轴电缆、铜线、光纤等。计算机可读介质的一般实施例可以包括例如计算机磁盘、硬盘、磁带、任何其他合适的磁性介质、CD-ROM磁盘，CD-R磁盘、CD-RW磁盘、DVD磁盘、DVD-ROM磁盘、DVD±RW磁盘、DVD±R磁盘、任何其他合适的磁盘光学介质、RAM存储器、ROM存储器，EPROM存储器、FLASH-EPROM存储器、任何其他合适的存储芯片或处理器或计算机可读的任何其他合适的介质。用于本发明的实施例的设备还可以包括数据传输装置，通过该数据传输装置使用有线或无线数据传输连接发送和接收信息。
本发明不仅仅限于上述实施例示例；相反，在由权利要求限定的本发明思想的范围内，许多修改是可能的。

Claims (13)

1.一种用于对三维表面的形貌建模的方法，所述方法包括：
控制建模布置(100)的结构光源(102)在要被建模的表面上产生已知几何形状的衍射图案，所述结构光源(102)包括激光源和衍射元件，所述衍射图案精确地符合数学-物理模型，并且其中所述衍射图案的光束输出角基于所述数学-物理模型是精确已知的；
基本上同时地利用所述建模布置(100)的第一相机(104)记录包括所述衍射图案的所述表面的第一图像和利用所述建模布置(100)的第二相机(108)记录包括所述衍射图案的所述表面的第二图像，所述第一相机(104)和所述第二相机(108)被校准并且它们相对于彼此的位置是已知的；
从在所述第一图像中可见的所述衍射图案中确定包括主点的点云(306)，每个主点基于单个图像是可精确识别的并且具有精确的三维坐标；
从所述第二图像中识别对应的主点；
使用所述第一图像和所述第二图像中的所述点云(306)的每个主点作为所述第一图像和所述第二图像中的位于所述主点之间的次要点的搜索空间的初始点，所述次要点是由所述衍射元件产生的噪声；
通过将所述第一图像和所述第二图像划分成部分图像的集合来形成所述第一图像和所述第二图像的部分图像对(400A、400B)，每个部分图像对(400A、400B)包括所述第一图像的部分图像(400A)和所述第二图像的对应部分图像(400B)，并且其中所述第一图像和所述第二图像的每个部分图像对(400A、400B)包括由所述点云(306)的至少三个主点限定的封闭区域；
识别所述部分图像对(400A、400B)中的所述封闭区域内的对应次要点，每个次要点具有x和y图像坐标；
基于所述次要点的所述x和y图像坐标以及所述相机位置，计算每个次要点在外部坐标系中的X、Y和Z坐标；
从所述部分图像对中排除所述至少三个主点；
确定所述第一图像的所述部分图像(400A)中的第一最大强度和所述第二图像的所述部分图像(400B)中的第二最大强度，所述至少三个主点已经从所述部分图像(400A)和所述部分图像(400B)中被排除；
基于所述第一最大强度，归一化所述第一图像的所述部分图像中的每个像素的强度；以及
基于所述第二最大强度，归一化所述第二图像的所述部分图像中的每个像素的强度。
2.根据权利要求1所述的方法，进一步包括：
通过将所述第一图像和所述第二图像划分成部分图像的集合来形成所述第一图像和所述第二图像的部分图像对(400A、400B)，每个部分图像对(400A、400B)包括所述第一图像的部分图像(400A)和所述第二图像的对应的部分图像(400B)，并且其中所述第一图像和所述第二图像的每个部分图像(400A、400B)包括所述点云(306)的相同的单个主点(304)；
识别所述部分图像对(400A、400B)中的对应次要点，每个次要点具有x和y图像坐标；以及
基于所述次要点的所述x和y图像坐标以及所述相机位置，计算每个次要点在外部坐标系中的X、Y和Z坐标。
3.根据权利要求1-2中任一项所述的方法，进一步包括：
将每个部分图像(400A，400B)划分为子块(604)；以及
识别所述子块(604)中的对应次要点。
4.根据权利要求1-2中任一项所述的方法，其中，识别所述部分图像对中的对应次要点包括：
在沿着所述第二图像的所述部分图像(400B)中的对应核线的搜索区域中，搜索所述第二图像的所述部分图像(400B)中的次要点，所述次要点对应于所述第一图像的对应的所述部分图像(400A)中的次要点，所述搜索区域沿着核线与所述第二图像的所述部分图像中的所述主点(402B)之间的距离与所述第一图像的所述部分图像(400A)中的所述次要点和所述第一图像的所述部分图像(400A)中的所述主点(402A)之间的距离基本上相同。
5.一种用于对三维表面的形貌建模的建模系统，所述建模系统包括：
建模布置(100)，包括：
结构光源(102)，其被配置为在要被建模的表面上产生已知几何形状的衍射图案，所述结构光源(102)包括激光源和衍射元件，所述衍射图案精确地符合数学-物理模型，并且其中，所述衍射图案的光束输出角基于所述数学-物理模型是精确已知的；
第一相机(104)，其被配置为以由所述光源(102)发射的波长对所述要被建模的表面进行拍摄；以及
第二相机(108)，其被配置为以由所述光源(102)发射的波长对所述要被建模的表面进行拍摄，
其中，所述建模布置(100)被校准，使得所述第一相机(104)和所述第二相机(108)的光轴与衍射轴的相对取向是已知的，并且其中，所述结构光源(102)的输出点到所述第一相机(104)和所述第二相机(108)的位置、距离和取向是已知的；
控制系统(112)，其连接到所述建模布置(100)并且被配置成：
控制所述结构光源(102)在所述要被建模的表面上产生已知几何形状的所述衍射图案；
基本上同时地利用所述第一相机(104)记录包括所述衍射图案的所述表面的第一图像和利用所述第二相机(108)记录包括所述衍射图案的所述表面的第二图像；
从在所述第一图像中可见的所述衍射图案中确定包括主点(304)的点云(306)，每个主点基于单个图像是可精确识别的并且具有精确的三维坐标；
从所述第二图像中识别对应的主点；
使用所述第一图像和所述第二图像中的所述点云(306)的每个主点(304)作为用于所述第一图像和所述第二图像中的位于所述主点之间的次要点的搜索空间的初始点，所述次要点是由所述衍射元件产生的噪声；
通过将所述第一图像和所述第二图像划分成部分图像的集合来形成所述第一图像和所述第二图像的部分图像对(400A、400B)，每个部分图像对(400A、400B)包括所述第一图像的部分图像(400A)和所述第二图像的对应部分图像(400B)，并且其中，所述第一图像和所述第二图像的每个部分图像对(400A、400B)包括由所述点云(306)的至少三个主点限定的封闭区域；
识别所述部分图像对(400A、400B)中的所述封闭区域内的对应次要点，每个次要点具有x和y图像坐标；
基于所述次要点的所述x和y图像坐标以及所述相机位置，计算每个次要点在外部坐标系中的X坐标、Y坐标和Z坐标；
从所述部分图像对中排除所述至少三个主点；
确定所述第一图像的所述部分图像(400A)中的第一最大强度和所述第二图像的所述部分图像(400B)中的第二最大强度，所述至少三个主点已经从所述部分图像(400A)和所述部分图像(400B)中被排除；
基于所述第一最大强度，归一化所述第一图像的所述部分图像中的每个像素的强度；以及
基于所述第二最大强度，归一化所述第二图像的所述部分图像中的每个像素的强度。
6.根据权利要求5所述的建模系统，其中连接到所述建模布置(100)的所述控制系统(112)进一步被配置为：
通过将所述第一图像和所述第二图像划分成部分图像的集合来形成所述第一图像和所述第二图像的部分图像对(400A、400B)，每个部分图像对(400A、400B)包括所述第一图像的部分图像(400A)和所述第二图像的对应的部分图像(400B)，并且其中，所述第一图像和所述第二图像的每个部分图像(400A、400B)包括所述点云(306)的相同的单个主点；
识别所述部分图像对(400A、400B)中的对应次要点，每个次要点具有x和y图像坐标；以及
基于所述次要点的所述x和y图像坐标以及所述相机位置，计算每个次要点在外部坐标系中的X、Y和Z坐标。
7.根据权利要求5-6中的任一项所述的建模系统，其中所述控制系统(112)被配置为：
将每个部分图像(400A)划分为子块(604)；以及
识别所述子块(604)中的对应次要点。
8.根据权利要求5-6中的任一项所述的建模系统，其中所述控制系统(112)被配置为：
在沿着所述第二图像的所述部分图像(400B)中的对应核线的搜索区域中，搜索所述第二图像的所述部分图像(400B)中的次要点，所述次要点对应于所述第一图像的对应的部分图像(400A)中的次要点，所述搜索区域沿着核线与所述第二图像的所述部分图像(400B)中的所述主点(402B)之间的距离与所述第一图像的所述部分图像(400A)中的所述次要点和所述第一图像的所述部分图像(400A)中的所述主点(402A)之间的距离基本上相同。
9.一种用于对三维表面的形貌建模的设备(900)，所述设备包括：
用于控制建模布置(100)的结构光源(102)在要被建模的表面上产生已知几何形状的衍射图案的装置，所述结构光源(102)包括激光源和衍射元件，所述衍射图案精确地符合数学-物理模型，并且其中所述衍射图案的光束输出角基于所述数学-物理模型是精确已知的；
用于使得基本上同时地利用所述建模布置(100)的第一相机(104)记录包括所述衍射图案的所述表面的第一图像以及利用所述建模布置(100)的第二相机(108)记录包括所述衍射图案的所述表面的第二图像的装置，所述第一相机(104)和所述第二相机(108)被校准并且它们相对于彼此的位置是已知的；
用于从在所述第一图像中可见的所述衍射图案中确定包括主点的点云(306)的装置，每个主点基于单个图像是可精确识别的并且具有精确的三维坐标；
用于从所述第二图像中识别对应的主点的装置；以及
用于使用所述第一图像和所述第二图像中的所述点云(306)的每个主点作为所述第一图像和所述第二图像中的位于所述主点之间的次要点的搜索空间的初始点，所述次要点是由所述衍射元件产生的噪声；
用于通过将所述第一图像和所述第二图像划分成部分图像的集合来形成所述第一图像和所述第二图像的部分图像对(400A、400B)的装置，每个部分图像对(400A、400B)包括所述第一图像的部分图像(400A)和所述第二图像的对应的部分图像(400B)，并且其中所述第一图像和所述第二图像的每个部分图像对(400A、400B)包括由所述点云(306)的至少三个主点限定的封闭区域；
用于识别所述部分图像对(400A、400B)中的所述封闭区域内的对应次要点的装置，每个次要点具有x和y图像坐标；
用于基于所述次要点的所述x和y图像坐标以及所述相机位置，计算每个次要点在外部坐标系统中的X、Y和Z坐标的装置；
用于从所述部分图像对中排除所述至少三个主点的装置；
用于确定所述第一图像的所述部分图像(400A)中的第一最大强度和所述第二图像的所述部分图像(400B)中的第二最大强度的装置，其中，所述至少三个主点已经从所述部分图像(400A)和所述部分图像(400B)中被排除；
用于基于所述第一最大强度，归一化所述第一图像的所述部分图像中的每个像素的强度的装置；以及
用于基于所述第二最大强度，归一化所述第二图像的所述部分图像中的每个像素的强度的装置。
10.根据权利要求9所述的设备(900)，进一步包括：
用于通过将所述第一图像和所述第二图像划分成部分图像的集合来形成所述第一图像和所述第二图像的部分图像对(400A、400B)的装置，每个部分图像对(400A、400B)包括所述第一图像的部分图像(400A)和所述第二图像的对应的部分图像(400B)，并且其中所述第一图像和所述第二图像的每个部分图像(400A、400B)包括所述点云(306)的相同的单个主点(304)；
用于识别所述部分图像对(400A、400B)中的对应次要点的装置，每个次要点具有x和y图像坐标；以及
用于基于所述次要点的所述x和y图像坐标以及所述相机位置，计算每个次要点在外部坐标系中的X、Y和Z坐标的装置。
11.根据权利要求9-10中任一项所述的设备(900)，进一步包括：
用于将每个部分图像(400A，400B)划分为子块(604)的装置；以及
用于识别所述子块(604)中的对应次要点的装置。
12.根据权利要求9-10中任一项所述的设备(900)，还包括：
用于在沿着所述第二图像的所述部分图像(400B)中的对应核线的搜索区域中搜索所述第二图像的所述部分图像(400B)中的次要点的装置，所述次要点对应于所述第一图像的对应的所述部分图像(400A)中的次要点，所述搜索区域沿着核线与所述第二图像的所述部分图像中的所述主点(402B)之间的距离与所述第一图像的所述部分图像(400A)中的所述次要点和所述第一图像的所述部分图像(400A)中的所述主点(402A)之间的距离基本上相同。
13.一种计算机可读介质，包括存储在其上的计算机程序，其中当所述计算机程序被至少一个处理器执行时，其被配置为执行根据权利要求1-4中的任一项所述的方法中的步骤。
CN201980037971.4A 2018-06-07 2019-06-07 对三维表面的形貌建模 Active CN112243485B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FI20185522 2018-06-07
FI20185522A FI128523B (en) 2018-06-07 2018-06-07 Modeling of topography of a 3D surface
PCT/FI2019/050446 WO2019234307A1 (en) 2018-06-07 2019-06-07 Modeling the topography of a three-dimensional surface

Publications (2)

Publication Number Publication Date
CN112243485A CN112243485A (zh) 2021-01-19
CN112243485B true CN112243485B (zh) 2023-09-12

Family

ID=68769106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980037971.4A Active CN112243485B (zh) 2018-06-07 2019-06-07 对三维表面的形貌建模

Country Status (7)

Country Link
US (1) US11561088B2 (zh)
EP (1) EP3803268A4 (zh)
JP (1) JP7439070B2 (zh)
KR (1) KR102561089B1 (zh)
CN (1) CN112243485B (zh)
FI (1) FI128523B (zh)
WO (1) WO2019234307A1 (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101373135A (zh) * 2008-07-01 2009-02-25 南京航空航天大学 基于瞬时随机光照的三维曲面测量装置及方法
CN101627280A (zh) * 2006-11-21 2010-01-13 曼蒂斯影像有限公司 三维几何建模和三维视频内容创建
CN102661724A (zh) * 2012-04-10 2012-09-12 天津工业大学 应用于织物疵点在线检测的rgbpsp彩色三维重建方法
CN105091748A (zh) * 2015-05-29 2015-11-25 南京南车浦镇城轨车辆有限责任公司 轨道车辆公差尺寸测量系统
CN105229412A (zh) * 2013-04-15 2016-01-06 微软技术许可有限责任公司 用于主动立体的强度调制光图案
WO2016040229A1 (en) * 2014-09-10 2016-03-17 Faro Technologies, Inc. Method for optically measuring three-dimensional coordinates and calibration of a three-dimensional measuring device
CN106840037A (zh) * 2017-01-17 2017-06-13 黑龙江科技大学 一种用于逆向工程的三维形貌数字化测量系统及方法
CN106878697A (zh) * 2016-06-29 2017-06-20 鲁班嫡系机器人 一种拍摄方法及其成像方法、装置和设备

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6711293B1 (en) 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
US20070165243A1 (en) 2004-02-09 2007-07-19 Cheol-Gwon Kang Device for measuring 3d shape using irregular pattern and method for the same
US7433024B2 (en) 2006-02-27 2008-10-07 Prime Sense Ltd. Range mapping using speckle decorrelation
WO2008124074A1 (en) 2007-04-03 2008-10-16 Human Network Labs, Inc. Method and apparatus for acquiring local position and overlaying information
JP5816773B2 (ja) 2012-06-07 2015-11-18 ファロ テクノロジーズ インコーポレーテッド 取り外し可能なアクセサリーを備える座標測定マシン
JP2013257162A (ja) 2012-06-11 2013-12-26 Ricoh Co Ltd 測距装置
US20140037189A1 (en) * 2012-08-02 2014-02-06 Qualcomm Incorporated Fast 3-D point cloud generation on mobile devices
FI20135961A (fi) * 2013-09-25 2015-03-26 Aalto Korkeakoulusäätiö Mallinnusjärjestely ja menetelmät ja järjestelmä kolmiulotteisen pinnan topografian mallintamiseksi
GB2526342A (en) * 2014-05-22 2015-11-25 Nokia Technologies Oy Point cloud matching method
DE102015205187A1 (de) 2015-03-23 2016-09-29 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur Projektion von Linienmustersequenzen
JP6566768B2 (ja) 2015-07-30 2019-08-28 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
US9989357B2 (en) * 2015-09-09 2018-06-05 Faro Technologies, Inc. Aerial device that cooperates with an external projector to measure three-dimensional coordinates
US10136120B2 (en) 2016-04-15 2018-11-20 Microsoft Technology Licensing, Llc Depth sensing using structured illumination
US10074160B2 (en) * 2016-09-30 2018-09-11 Disney Enterprises, Inc. Point cloud noise and outlier removal for image-based 3D reconstruction
US9972067B2 (en) * 2016-10-11 2018-05-15 The Boeing Company System and method for upsampling of sparse point cloud for 3D registration
CN106802138B (zh) 2017-02-24 2019-09-24 先临三维科技股份有限公司 一种三维扫描系统及其扫描方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101627280A (zh) * 2006-11-21 2010-01-13 曼蒂斯影像有限公司 三维几何建模和三维视频内容创建
CN101373135A (zh) * 2008-07-01 2009-02-25 南京航空航天大学 基于瞬时随机光照的三维曲面测量装置及方法
CN102661724A (zh) * 2012-04-10 2012-09-12 天津工业大学 应用于织物疵点在线检测的rgbpsp彩色三维重建方法
CN105229412A (zh) * 2013-04-15 2016-01-06 微软技术许可有限责任公司 用于主动立体的强度调制光图案
WO2016040229A1 (en) * 2014-09-10 2016-03-17 Faro Technologies, Inc. Method for optically measuring three-dimensional coordinates and calibration of a three-dimensional measuring device
CN105091748A (zh) * 2015-05-29 2015-11-25 南京南车浦镇城轨车辆有限责任公司 轨道车辆公差尺寸测量系统
CN106878697A (zh) * 2016-06-29 2017-06-20 鲁班嫡系机器人 一种拍摄方法及其成像方法、装置和设备
CN106840037A (zh) * 2017-01-17 2017-06-13 黑龙江科技大学 一种用于逆向工程的三维形貌数字化测量系统及方法

Also Published As

Publication number Publication date
KR20210019486A (ko) 2021-02-22
KR102561089B1 (ko) 2023-07-27
FI128523B (en) 2020-07-15
WO2019234307A1 (en) 2019-12-12
EP3803268A4 (en) 2022-03-09
JP7439070B2 (ja) 2024-02-27
US20210247181A1 (en) 2021-08-12
US11561088B2 (en) 2023-01-24
JP2021527285A (ja) 2021-10-11
CN112243485A (zh) 2021-01-19
FI20185522A1 (en) 2019-12-08
EP3803268A1 (en) 2021-04-14

Similar Documents

Publication Publication Date Title
JP6426968B2 (ja) 情報処理装置およびその方法
CN110296667B (zh) 基于线结构光多角度投影的高反射表面三维测量方法
EP2568253B1 (en) Structured-light measuring method and system
EP3049756B1 (en) Modeling arrangement and method and system for modeling the topography of a three-dimensional surface
CN109727290B (zh) 基于单目视觉三角测距法的变焦相机动态标定方法
Chen et al. Self-recalibration of a colour-encoded light system for automated three-dimensional measurements
Li et al. Large depth-of-view portable three-dimensional laser scanner and its segmental calibration for robot vision
WO2018201677A1 (zh) 基于光束平差的远心镜头三维成像系统的标定方法及装置
JP4821009B2 (ja) エッジ検出によるモデルマッチングを用いたカメラ校正方法
Yin et al. Analysis and simplification of lens distortion model for the Scheimpflug imaging system calibration
Karaszewski et al. Automated full-3D digitization system for documentation of paintings
Bergström et al. Automatic in-line inspection of shape based on photogrammetry
CN112243485B (zh) 对三维表面的形貌建模
Yang et al. A method for measuring the thermal geometric parameters of large hot rectangular forgings based on projection feature lines
Breuckmann et al. 3D-metrologies for industrial applications
Kawata et al. Scale optimization of structure from motion for structured light-based all-round 3D measurement
RU2693532C1 (ru) Способ повышения точности геометрических измерений, проводимых с помощью стереоскопического устройства на основе призменно-линзовой оптической системы
JP4651550B2 (ja) 三次元座標計測装置および方法
Ojal et al. Optimizing exposure times of structured light metrology systems using a digital twin
CN114170321A (zh) 一种基于测距的相机自标定方法及系统
Belhaoua et al. Estimation of 3D reconstruction errors in a stereo-vision system
Drouin et al. Characterizing the impact of optically induced blurring of a high-resolution phase-shift 3D scanner
DE19604977A1 (de) Verfahren zur schnellen dreidimensionalen Vermessung von dynamischen Raumbereichen
CN113945159B (zh) 一种基于轮廓匹配的螺栓直径测量方法
Tang et al. 3-step-calibration of 3D vision measurement system based-on structured light

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230821

Address after: Espoo, Finland

Applicant after: Bibo Co.,Ltd.

Address before: Espoo, Finland

Applicant before: Radimo Corp.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant