CN112393681A - 提供三维成像的图像数据中的强度峰值位置的方法和设备 - Google Patents

提供三维成像的图像数据中的强度峰值位置的方法和设备 Download PDF

Info

Publication number
CN112393681A
CN112393681A CN202010806542.3A CN202010806542A CN112393681A CN 112393681 A CN112393681 A CN 112393681A CN 202010806542 A CN202010806542 A CN 202010806542A CN 112393681 A CN112393681 A CN 112393681A
Authority
CN
China
Prior art keywords
peak
intensity
intensity peak
image data
location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010806542.3A
Other languages
English (en)
Other versions
CN112393681B (zh
Inventor
M·约翰尼森
C·马尔姆格伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sick IVP AB
Original Assignee
Sick IVP AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sick IVP AB filed Critical Sick IVP AB
Publication of CN112393681A publication Critical patent/CN112393681A/zh
Application granted granted Critical
Publication of CN112393681B publication Critical patent/CN112393681B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • G01J2001/4413—Type
    • G01J2001/4433—Peak sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Multimedia (AREA)

Abstract

本公开至少涉及提供三维成像图像数据中的强度峰值位置的方法和设备。作为在三维成像系统(100)中进行的光三角测量的一部分，响应于光在物体上被反射之后由图像传感器(131)感测的光，提供由所述图像传感器(131)产生的图像数据中的强度峰值(305,405,505,605)的位置。设备(100,130,131,200,201,1200)被配置成获得图像数据(1101)，并确定强度峰值与第一峰值特征和第二峰值特征中的哪一个相关联(1102)。如果强度峰值与第一峰值特征相关联，那么按照第一计算算法提供所述位置，而如果强度峰值与第二峰值特征相关联，那么按照不同的第二计算算法提供所述位置(1103)。

Description

提供三维成像的图像数据中的强度峰值位置的方法和设备
技术领域
本文中的实施例涉及作为在三维成像系统中进行的光三角测量的一 部分，响应于在光在物体上被反射之后由图像传感器感测的光，提供由 所述图像传感器产生的图像数据中的强度峰值的位置的方法和设备。
背景技术
数字图像一般被定义为像素的阵列。阵列中的像素数量通常被称为 分辨率。每个像素由一个或多个像素值表示，即，与一个或多个像素值 相关联，所述像素值包含关于该像素位置的图像的信息。在灰度图像中， 像素由描述该像素的强度的非负整数值表示。图像的位深度定义像素可 以具有的值的范围。
用于工厂和物流自动化的工业视觉照相机和系统可以基于三维(3D) 机器视觉，其中捕捉场景和/或物体的3D图像。3D图像指的是还包含“高 度”或“深度”信息，而不像(或至少不像)传统图像那样仅以二维(2D) 形式包含关于像素的信息，例如强度和/或颜色。即，图像的每个像素可 包含与该像素在图像中的位置相关联，并且映射到已被成像的事物(例 如物体)的位置的信息。随后可以应用处理，从3D图像中提取关于物体 的特征(即物体的3D特征)的信息，并且例如转换成各种3D图像格式。 关于高度的此类信息可被称为范围数据(range data)，其中范围数据 从而可对应于来自被成像物体的高度测量的数据，或者换句话说，来自 物体的范围或距离测量的数据。可替代地或者附加地，像素可以包含关 于例如材料属性的信息，比如与光在成像区域内的散射或特定波长的光 的反射相关的材料属性的信息。
从而，像素值可能例如与像素的强度和/或范围数据和/或材料属性 相关。
当例如利用具有配置成一次感测一行像素地感测并提供图像数据的 传感器的照相机，一次一行地扫描或提供图像的图像数据时，产生行扫 描图像数据。行扫描图像的一种特殊情况是通过所谓的“片光”(例如激 光线，3D三角测量)提供的图像数据。通常优选激光器，不过也可以使 用能够提供“片光”的其他光源，例如，能够提供保持聚焦且不过多分散的光的光源，比如由发光二极管(LED)提供的光。
3D机器视觉系统通常基于这样的片光三角测量。在此类系统中，存 在光源，所述光源用特定的光图案，比如作为所述特定光图案的片光照 明物体，结果在物体上产生光或激光的线，沿所述线，可以捕捉与物体 的轮廓对应的物体的3D特征。通过用这样的线扫描物体，即，进行行扫 描，可以捕捉与多个轮廓对应的整个物体的3D特征。
使用片光进行三角测量的3D机器视觉系统或设备可被称为基于光 (或片光)三角测量的3D成像系统或设备，或者在使用激光时，简单地 称为基于激光三角测量的3D成像系统或设备。
按照惯例，为了产生基于光三角测量的3D图像，利用照相机的图像 传感器捕捉来自被成像物体的反射光，并在图像数据中检测强度峰值， 因为这些强度峰值出现在与被成像物体上从物体反射入射光(例如，对应 于激光线)的地方对应的位置。检测到的峰值在图像中的位置将映射到物 体上反射导致该峰值的光的位置。由于光实际上被反射的方式，其中即 使在激光的情况下，光在从物体反射时也总会有一定程度的扩散和漫射， 因此每个峰值具有高度和宽度。这意味峰值涉及图像中例如沿着图像中 的某个方向(诸如沿着像素的列)连续出现的多个像素。
为了找出图像中峰值的位置，通常应用一种作用于图像数据的算法， 该算法一般例如利用重心算法或类似算法通过找出与峰值的中心对应的 位置来提供峰值位置。
鉴于上面所述，认识到3D图像的精度，从而提供精确的3D数据和 图像的能力，取决于能够识别并找出图像数据中的强度峰值的位置的能 力。
发明内容
鉴于上面所述，目的是提供对现有技术的一种或多种改进或替代， 比如使精度提高的物体的3D成像成为可能，尤其是当3D成像基于作为 3D成像系统进行的光三角测量的一部分，感测从物体反射的光的图像传 感器时。
具有主要不透明的光反射表面的物体使用传统方法效果很好，比如 基于用于找出强度峰值的中心的位置，并且该位置很好地映射到物体表 面上反射导致该强度峰值的光的地方的单一计算算法的传统方法。然而， 事实证明当反射光的表面是半透明或透明材料，大量反射来自所述材料 内部和/或经由所述材料，而在实际表面没有或者只有很少的反射时，这 种方法并不奏效。胶和玻璃是此类材料的例子。这种情况下的问题不仅 涉及更弱且更“分散”的强度峰值，而且涉及已观察到强度峰值的中心 不再是良好的测量。其结果是精度降低，这种情况下，作为结果的3D图 像将无法以取决于环境和/或应用领域的可取的精度或者甚至所需精度 捕捉物体的各个部分。相反，已观察到在这些情况下使用强度峰值的边 缘的位置会更好。即，在强度峰值由在材料基本半透明或透明的物体的 表面位置(例如，湿胶或玻璃的表面)上的反射引起的情况下，最好使用 用于强度峰值的边缘检测的计算算法，而在强度峰值由在物体的不透明 表面的反射引起的情况下，最好使用用于强度峰值的中心检测的另一种 计算算法。取决于材料属性和所使用的成像系统的配置，技术人员在实 际情况下易于认识到要检测的边缘要么是最先的要么是最后的。从而在 下文中，在各个例子中可以简单地提及和使用“边缘”或“第一边缘” 以便简化说明，不过这并不是限制性的。
然而，在实践中，被成像物体通常并不只具有主要不透明的表面， 或者只具有如上所述的基本上半透明或透明的表面，而是两种表面的混 合。换句话说，对于具有混合类型的表面的此类物体来说，仅仅应用单 一计算算法来找出与强度峰值相关的位置是不够的，因为物体的某些部 分将不能被3D图像精确地捕捉。
鉴于上面的内容，能够处理具有两种表面的物体，从而能够提供更 精确地捕捉物体的3D特征(比如表面的高度变化)的3D图像的解决方 案将是可取的。
此外，根据上面的讨论，应认识到不排除被成像物体的某些材料和 表面可能会受益于除上述算法以外的一些其他计算机算法。
按照本文中的实施例的第一方面，上述目的由一个或多个设备实现， 所述一个或多个设备用于作为在三维成像系统中进行的光三角测量的一 部分，响应于光在物体上被反射之后由图像传感器感测的光，提供由所 述图像传感器产生的图像数据中的强度峰值的位置。所述一个或多个设 备被配置成获得图像数据，并确定强度峰值与第一峰值特征和另外的第 二峰值特征中的哪一个相关联。所述一个或多个设备还被配置成如果强 度峰值与第一峰值特征相关联，那么按照作用于图像数据的第一计算算 法提供所述位置，而如果强度峰值与第二峰值特征相关联，那么按照作 用于图像数据的不同的第二计算算法提供所述位置。
按照本文中的实施例的第二方面，上述目的由一种方法实现，所述 方法由一个或多个设备进行，用于作为在三维成像系统中进行的光三角 测量的一部分，响应于光在物体上被反射之后由图像传感器感测的光， 提供由所述图像传感器产生的图像数据中的强度峰值的位置。所述一个 或多个设备获得图像数据，并确定强度峰值与第一峰值特征和另外的第 二峰值特征中的哪一个相关联。所述一个或多个设备还在强度峰值与第 一峰值特征相关联时，按照作用于图像数据的第一计算算法提供所述位 置，而在强度峰值与第二峰值特征相关联时，按照作用于图像数据的不 同的第二计算算法提供所述位置。
按照本文中的实施例的第三方面，上述目的由一种计算机程序实现， 所述计算机程序包括当由所述一个或多个设备执行时，使所述一个或多 个设备进行按照第二方面的方法的指令。
按照本文中的实施例的第四方面，上述目的由包含按照第三方面的 计算机程序的载体实现。
本文中的实施例基于诸如上面所述之类的至少两种计算算法可用， 并且两种计算算法潜在地都用于每个强度峰值，不过最终只有一种计算 算法用于提供在3D图像中使用的位置，该计算算法当然应是如本文中讨 论的最适当的算法。通过确定强度峰值与两个峰值特征中的哪一个相关 联，随后相应地提供位置，使得能够使用最适当的算法。把峰值特征用 于该用途是可能的，因为如上所述并在本文中的其他地方进一步解释， 峰值的特征指示两种计算算法中的哪种计算算法最适合于提供最精确地 映射到物体表面上反射引起强度峰值的光的地方的位置。
从而，由于本文中的实施例，当物体包含不同地反射光的属性不同 的表面的混合，从而受益于找出强度峰值的位置的不同方式时，借助由 3D成像系统进行的光(例如，激光)三角测量，能够提供物体的更精确 的3D图像。特别地，当被成像物体包括主要不透明的表面和在相当程度 上半透明或透明的表面时，比如在包括一些固体材料表面和一些带有例 如胶的表面的物体的情况下，能够获得更精确的3D图像。当固体的第一 部分要安装到另一第二部分，并为此被提供胶时，可以形成此类物体。
附图说明
参考在下面简要说明的附加示意图，更详细地说明本文中的实施例 的例子。
图1示意图解说明用于提供3D图像的基于三角测量的3D成像系统， 在所述系统中，可以实现本文中的实施例。
图2示意图解说明可被配置成实现本文中的实施例的例证系统。
图3示意地例示当强度峰值的中心位置是物体上的表面位置的良好 测量时的情形。
图4示意地例示当强度峰值的边缘位置与强度峰值的中心位置相比， 是物体上的表面位置的更好测量时的情形。
图5示意地例示当强度峰值的边缘位置与强度峰值的中心位置相比， 是物体上的表面位置的良好且更好测量时的另一情形。
图6示意地例示当强度峰值的中心位置已成为物体上的表面位置的 良好测量时的情形。
图7A-B示意地图解说明可由计算算法确定强度峰值的边缘位置的 不同方式。
图8A-B示意地表示当要确定强度峰值的边缘位置时，可以如何使用 增加的曝光。
图9A图解说明对于物体的不同部分，物体的3D图像中的强度是如 何分布的。
图9B和图9A相同，不过还按照用于确定强度峰值的位置的两种不 同计算算法，绘制了所述位置。
图10A-B示意地表示散射测量结果如何用于确定强度峰值的特征。
图11是示意图解说明按照本文中的实施例的方法的实施例的流程 图。
图12是图解说明按照本文中的实施例的一个或多个设备的实施例， 以及如何配置此类设备来进行结合图11说明的方法和操作的功能方框 图。
图13是图解说明与使所述一个或多个设备进行结合图11说明的方 法和操作的计算机程序及其载体相关的实施例的示意图。
具体实施方式
本文中的实施例是例证实施例。应注意的是这些实施例不一定相互 排斥。来自一个实施例的组件可以默认假定存在于另一个实施例中，并 且对本领域的技术人员来说，在其他例证实施例中可以如何使用这些组 件是显而易见的。
图1示意图解说明在背景技术中提及的此类3D成像系统的例子，即 3D成像系统100，该3D成像系统因此也是机器视觉系统的例子。如下进 一步所述，系统100可以用于实现本文中的实施例。
系统100被配置成进行光三角测量，这里以如在背景技术中提及的 片光三角测量的形式。系统100还包括光源110(例如，激光器)，用于 用特定的光图案111(图中被图解和例示成片光)照明被成像物体。同样 如在背景技术中所述，光可以是激光，但并不必须为激光。在所示的例 子中，用呈汽车形式的第一物体120和呈齿轮结构形式的第二物体121 例示了物体。当特定光图案111入射到物体上时，这对应于特定光图案 111在该物体上的投射，可被看作是特定光图案111与物体相交。例如， 在所示的例子中，例示为片光的特定光图案111在第一物体120上导致 光线112。特定光图案111被物体反射，更具体地，被物体的在相交处， 即在所示例子中的光线112处的各个部分反射。测量系统110还包括照 相机单元130，照相机单元130包括图像传感器(图1中未图示)，图像 传感器是相对于光源110和被成像物体布置的，以致当被物体反射时， 所述特定光图案成为图像传感器上的入射光。图像传感器是一般实现成 芯片的设备，用于将入射光转换成图像数据。物体的通过反射导致图像 传感器上的所述入射光的所述部分从而可被照相机单元130和图像传感 器捕捉，并且可以产生对应的图像数据并将其提供以供进一步使用。例 如，在所示的例子中，在第一物体120的车顶的一部分上的光线112处， 特定光图案111将被反射到照相机单元130和图像传感器，照相机单元 130和图像传感器从而产生并提供具有关于车顶的所述部分的信息的图 像数据。在了解测量系统100的几何学，例如，图像传感器坐标如何与 和被成像物体及其环境相关的世界坐标，例如坐标系123(例如笛卡尔坐 标系)的坐标相关的情况下，图像数据可被转换成关于被成像物体的3D 特征(例如，3D形状或轮廓)的适当格式的信息。关于所述3D特征(例如， 所述3D形状或轮廓)的信息可以包含以任何适当格式描述3D特征的数据。
通过移动例如光源110和/或被成像物体，例如，第一物体120或第 二物体121，以致所述物体的多个部分被照明，并在图像传感器上导致 反射光(在实践中一般通过扫描所述物体)，可以产生描述物体的更完 整3D形状的图像数据，例如，对应于物体的多个连续轮廓的图像数据， 多个连续轮廓比如为所示的第一物体120的轮廓图像140-1～140-N，其 中每个轮廓图像示出在照相机单元130的图像传感器感测到导致该轮廓 图像的光时，反射特定光图案111之处的第一物体120的外形。如图中 所示，传送带122或类似物可用于移动物体通过特定光图案111，同时 光源110和照相机单元130通常静止，或者特定光图案111和/或照相机 单元130可以在物体上方移动，以致物体的所有部分，或者至少面向光 源110的所有部分被照明，照相机单元接收从物体的需要成像的所有部 分反射的光。
根据上面所述可理解，由照相机单元130和图像传感器提供的例如 第一物体120的图像可对应于轮廓图像140-1～140-N任意之一。基于由 图像传感器捕捉的图像数据中的强度峰值的识别，并且基于找出这些强 度峰值的位置，确定在轮廓图像140-1～140-N任意之一中所示的第一物 体的外形的各个位置。
图2示意地图解说明可被配置成如下更详细所述，实现本文中的实 施例的包括一个或多个设备的示例系统200。系统200包括照相机单元， 该照相机单元可以是上面结合图1提及的相同照相机单元130，该照相 机单元又包括图像传感器131，图像传感器131可以是上面结合图1讨 论的相同图像传感器。可取的是，从照相机单元130和图像传感器131 提供的图像得到的图像和/或信息被转移(例如传送)，以便在照相机单元 130之外进一步处理，例如被转移到计算设备201(比如计算机或类似物)。 附加地或者替代地，此类进一步处理可以由分离的，即，与图像处理器 131分离，但是仍然包含在照相机单元130中(例如，与照相机单元130 集成)的计算单元或设备(未图示)进行。系统200可以完全或部分包含在 3D成像系统100中(即，属于3D成像系统100)。
作为对本文中的实施例的发展，将进一步阐述在背景技术中所示的 情形。
具有主要不透明的光反射表面的物体使用传统方法效果很好，比如 基于用于找出强度峰值的中心的位置，并且该位置很好地映射到物体表 面上反射导致该强度峰值的光的地方的单一计算算法的方法。然而，已 观察到当反射光的表面是半透明或透明材料，大量反射来自所述材料内 部和/或经由所述材料，而在实际表面没有或者只有很少的反射时，这种 方法并不很好地奏效。半透明或透明材料通常沉积在不透明基底上。胶 和玻璃是此类材料的例子。这种情况下的问题不仅涉及更弱且更“分散” 的强度峰值，而且涉及已观察到强度峰值的中心不再是良好的测量。其 结果是精度降低，这种情况下，作为结果的3D图像将无法以取决于环境 和/或应用领域的可取或者甚至所需精度捕捉物体的各个部分。相反，已 观察到在这些情况下使用强度峰值的边缘的位置会更好。即，在强度峰 值由在材料基本半透明或透明的物体的表面位置(例如，湿胶或玻璃的表 面)上的反射引起的情况下，最好使用用于强度峰值的边缘检测的计算算 法，而在强度峰值由在物体的不透明表面上的反射引起的情况下，最好 使用用于强度峰值的中心检测的另一种计算算法。
然而，在实践中，被成像物体通常并不只具有主要不透明的表面， 或者只具有如上所述的基本上半透明或透明的表面，而是两种表面的混 合。换句话说，对于具有混合类型的表面的此类物体来说，仅仅应用单 一计算算法来找出与强度峰值相关的位置是不够的，因为物体的某些部 分将不能被3D图像精确地捕捉。
鉴于上面所述，能够处理具有两种表面的物体，从而能够提供3D图 像，以更精确地捕捉物体的3D特征，比如表面的高度变化的解决方案将 是可取的。
图3示意地例示了当强度峰值305的中心位置是物体上的表面位置 325的良好测量时的情形。这里为了便于理解，参考图1，并且正如所示， 图3中的光源110和照相机130可以是图1的3D成像系统100的光源 110和照相机130。这里，光源110提供入射在物体的表面320上，更具 体地，入射在表面位置325的光311。入射光从而可对应于入射在物体 120上的某个表面位置，例如，被光线112覆盖的表面位置的特定光图 案111的一部分。包括表面位置325的表面320不透明，从而如图中示 意所示，强度峰值305的中心位置提供表面位置325的精确测量。换句 话说，在常规材料上，可以观察到狭窄而强烈的反射，与观察到的反射对应的强度峰值的中心是所述位置的良好估计。
然而，光(例如激光)可能不会在潮湿的半透明胶表面导致任何反射。 相反，由于激光在材料内部反射和散射的效果，可能看到微弱的“辉光”。 这导致非常微弱且相当宽的观察到的反射，如接下来的图中示意所示。
图4示意地例示当强度峰值405的边缘位置与该强度峰值的中心位 置相比，是物体上的第一表面位置425a的更好测量时的情形。可以看出， 图4与图3有相似之处，但是下面的重点将只放在不同点上。这里，光 源110提供入射在物体的表面422上，更具体地，入射在表面位置425a 上的光411。这里，表面422是基本半透明或透明材料层421(例如，胶 或玻璃层)的基本半透明或透明(比如半透明)表面，所述半透明或透明材 料层421具有一定的第一厚度，并且例如通过沉积，可位于物体的下层 不透明表面420上。所述物体可以是和图3中相同的物体，不过表面422 位于物体上的表面320以外的其他地方，或者下层不透明表面420可以 是已被半透明或透明材料层421覆盖的表面320。如图中示意所示，与 中心位置相比，强度峰值405的边缘位置在这里提供表面位置425a的良 好且更精确的测量，如果使用中心位置，那么将会指示第二表面位置425b。
图5示意地例示当强度峰值505的边缘位置与该强度峰值的中心位 置相比，是物体上的表面位置525的良好且更好的测量时的另一种情形。 图5应该与图4进行比较。图5中，物体的一切与图4中相同，除了存 在与图4中的半透明或透明材料层421相比更薄的半透明或透明材料层 521之外。所述比较是为了说明已观察到边缘位置是比中心位置更精确的测量，这基本上与表面位置(例如表面位置425a或525)所位于的基本 半透明或透明材料的厚度无关。当半透明或透明材料层变得更薄时，强 度峰值通常变得越来越窄，同样如图中所示。
图6示意地例示当强度峰值605的中心位置成为表面位置425a的良 好测量时的情形。图6应该与图4进行比较。图6中，物体的一切与图 4中相同，如同样由图中相同的一些附图标记指示，除了在图6中，存 在作为已改变了属性之后的半透明或透明材料层421的材料层621，例 如，当构成半透明或透明材料层421的湿胶已干燥，并成为材料层621 时。例如由胶的干燥引起的材料属性的改变使表面422反光，或许越来 越反光且日益不透明，直到干燥过程停止，胶又干又硬。结果，副峰在 边缘变得可见，并且可能在干燥过程中以不断增大的高度形成。对于一 些材料，最终结果可能是如例如图3中的峰值，即，干燥过程中的副峰最终变成与图3中的峰值对应的峰值。如果最终结果改为如图6中示意 地图解所示，这可能归因于表面已变得基本反光，即在相当程度上不透 明，但是同时在某种程度上对入射光保持半透明或透明。尽管如此，当 表面变得充分反光并且形成副峰时，强度将主要集中在副峰，它将成为 从而可能是与表面位置425a相同的位置的表面位置635的良好测量。
已发现使用边缘位置可以很好地与同一表面上的参考测量结果相相 关联，但在胶表面硬化之后，这也会导致表面上的增大且可见的反射。 另外，越厚的胶会产生越宽的观测峰值，如上举例所示，从而峰值中心 测量结果的误差越大，即，如果使用强度峰值的中心位置的话。
图7A-B示意地图解说明可用计算算法确定强度峰值的边缘位置的 不同方式。图7A-B表示了4个像素的强度值，一个像素具有第一强度值 I0，随后的相邻像素具有第二强度值I1。还存在如图中所示的预先定义 的，例如预定的阈值。
一种简单而稍微粗糙的方式是将边缘位置确定为强度值高于阈值的 第一像素的位置，即，在图7A中，如箭头之一所示，具有强度值I1的 像素的位置。
再一种方式是例如按照下式，计算比如由图7A中的另一个箭头所示 的子像素位置：
I0的位置+(阈值-I0)/(I1-I0)(式1)
其中这里，I0表示低于阈值的最后一个强度值，I1表示高于阈值的 第一个强度值。
另一种方式是如图7B中图解所示，估计“峰值起点”的子像素位置， 即，强度值开始增大，从而导致超过阈值之处的子像素位置。从而，当 阈值被超过时，这里为具有强度值I1的像素，可以按照下式估计峰值起 点：
I0的位置–I0/(I1-I0)(式2)
对其应使用边缘位置的强度峰值的一个普遍问题是此类强度峰值较 微弱，即，它们的高度及最高强度值相对小，从而找出边缘位置可能尤 其受此影响。例如，边缘可能被噪声掩盖，使得难以找出边缘位置，或 者无法以可取的精度确定边缘位置。为了克服这一点，可以使用较长的 曝光时间来产生强度峰值，并且确定边缘位置的计算算法可以作用于这 些强度峰值。按照惯例，对于例如图3中所示的强度峰值，较长的曝光 时间可能使峰值的最高强度值饱和，使它们都一样，从而使得更难以找 出精确的中心位置，即，在这种情况下，较长的曝光时间反而会降低精 度。然而，当要确定边缘位置时，中心并不重要。
图8A-B示意地表示当要确定强度峰值805a的边缘位置时，如何使 用增加的曝光。在图8A中，当要确定强度峰值的中心位置时，如图中用 指向该中心的箭头所示，常规曝光时间是适宜的。图8B表示当使用比图 8A更长的曝光时间时，导致强度值整体更高，从而便利确定强度峰值的 边缘位置，如由指示第一边缘的另一个箭头所示，不过同样如图所示，归因于过度曝光，这在强度峰值的中心导致饱和。
图9A图解说明对于物体的不同部分，由图像传感器捕捉的物体的图 像中的强度是如何分布的。这里，物体的被成像部分由不透明基底组成， 所述基底的一部分被胶覆盖，其中所述胶是如上所述的其表面基本上不 反射任何光的半透明或透明材料，而所述基底是不透明和反光的。白色 部分指示具有较高强度的像素，而灰色部分指示具有较低强度的像素。 黑色部分图解说明图像传感器基本上未收到源于物体中的反射的光的地 方。可以看出，对胶来说，接收强度分散且较弱，对基底来说，接收强 度更强、更窄且集中。
图9B和图9A相同，不过还绘制了按照用于确定强度峰值的位置的 两种不同计算算法的强度峰值的位置。一种计算算法用于确定中心位置， 即，峰值中心，另一种计算算法用于确定边缘位置，即，峰值边缘。从 而，如果同时用于对物体的同一轮廓成像，那么这些计算算法会提供不 同的结果。当然，两种计算算法可能都不是正确的。最大的差异是关于胶的。当使用中心位置时，结果是胶的成像高度明显低于使用边缘位置 时成像的高度。总之，并且如根据上面所述应认识到，边缘位置提供关 于胶的更精确测量，而中心位置提供关于基底的更精确测量。通过结合 两种计算算法，即，像图中一样对于物体使用两种计算算法，但是这种 使用取决于物体的哪个部分要被成像，可以获得最佳的结果，即，对于 胶和基底两者提供物体的最精确3D图像。
由于如上所述，强度峰值的特征与表面材料的类型相关，因此认识 到这些特征可以用于确定在作为结果的图像中要使用哪个位置。
利用关于所述特征(例如峰值强度和/或形状)的信息，例如，不同种 类的激光散射测量结果，比如与峰值之内的强度和/或峰值的宽度相关的 激光散射测量结果，可以进行峰值的分类。峰值属于哪个类别随后可以 用于确定哪个位置将是最精确的测量。
图10A-B示意地图解说明可如何提供(例如，计算)不同种类的信息， 以及随后将其用于确定强度峰值的特征和/或对每个峰值分类。图10A-B 可以与图9A-B进行比较，因为它们涉及相同的图像数据。
在图10A中，例如通过对具有如图9A中所示的强度的图像数据的测 量和/或计算，使用了强度峰值的散射的测量。存在可用于提供散射的测 量的不同算法。在EP1985969中公开了一种测量散射的方式。如图中所 示，散射测量可以使得非常容易确定峰值的特征或类别。如果散射测量 高于某一(例如，预先定义的)阈值，那么可以确定强度峰值与某些特征 相关联，例如，具有某些特征，这些特征进而指示什么位置(例如边缘或 中心)适合用于强度峰值。
在图10B中，使用了强度峰值的宽度的测量。可以看出，这里也存 在清晰的差异，尽管该差异不像在图10A中散射测量的情况下那么明显。
根据上面所述总结一些结论。在某些3D光三角测量应用中，传统的 强度峰值的中心位置不能用于精确成像。例如，在一些胶表面上，它们 不会导致足够精确的测量结果。这是由光在诸如胶的半透明介质内的较 大散射引起的。可能对此感兴趣的应用领域是具有透明或半透明表面(例 如在基底上有一层胶的情况下)的物体形状的检查。例如，可能重要的 是测量基底的形状，同时测量胶的形状，例如，能够精确地计算胶珠的 形状，以确保它符合规格。本文中的实施例使胶表面和基底表面两者的 精确3D位置测量成为可能。
图11是示意地图解说明基于上面所述，并且按照本文中的实施例的 方法的实施例的流程图。构成所述方法的以下操作用于作为在3D成像系 统(例如，3D成像系统100)中进行的光三角测量的一部分，响应于光在 物体上被反射之后由图像传感器感测的光，提供由图像传感器(例如，图 像传感器131)产生的图像数据中的强度峰值(例如，强度峰值305、405、 505、605任意之一)的位置。应认识到，图像数据通常包含或者对应于 由图像传感器感测的图像的像素。
所述方法和/或操作可以由下面分别进一步讨论的设备，即，一个或 多个设备进行。
此外，注意下面的操作可以按任何适当的顺序进行，和/或在可能和 适当时，可以在时间上完全或部分重叠地进行。
操作1101
设备获得图像数据。图像数据例如可以在图像传感器131和/或照相 机单元130内获得，和/或独立的设备或单元(例如计算设备201)可通过 从图像传感器131和/或照相机单元130接收图像数据而获得该图像数据。
操作1102
设备确定强度峰值与第一峰值特征和另外的第二峰值特征中的哪一 个相关联。在一些实施例中，第一和第二特征可能分别归属于强度峰值 的第一和第二分类。即，每个强度峰值可分类为，即确定为第一或第二 类别或类型，在这种情况下每种这样的类别或类型与不同的峰值特征相 关联。例如，如果强度峰值被确定为第一类别，那么它与第一特征相关 联，而如果强度峰值被确定为第二类别，那么它与第二峰值特征相关联。
关于强度峰值与所述第一和所述第二峰值特征中的哪一个相关联的 所述确定可以基于强度峰值的形状和/或高度的指示。根据前面的附图和 讨论可以认识到所述形状和/或高度适合于查明哪个峰值位置最适合使 用。所述指示可以基于对图像数据的测量结果，和/或可以从其获得(例 如接收)，并且例如包含在由图像传感器提供的与图像数据相关联的辅助 信息中。例如，所述形状指示可以从关于强度峰值的散射测量结果获得， 和/或从关于强度峰值的宽度的信息获得，和/或从关于强度峰值的高度- 宽度关系的信息获得。
在一些实施例中，响应于指示强度峰值的高度高于预先定义的第一 高度阈值，和/或指示强度峰值的宽度低于预先定义的第一宽度阈值，和/或指示高度-宽度比大于预先定义的第一高度-宽度阈值，确定强度峰值 与第一峰值特征相关联。
在一些实施例中，响应于指示强度峰值的高度低于预先定义的第二 高度阈值，和/或指示强度峰值的宽度高于预先定义的第二宽度阈值，和 /或指示强度峰值的高度-宽度比低于预先定义的第二高度-宽度阈值，确 定强度峰值与第二峰值特征相关联。
由于可以预先确定每个强度峰值要么与第一特征相关联，要么与第 二特征相关联，例如，通过如上所述分类成两种类别之一，因此可以认 识到，在实践中，检验强度峰值是否与两种特征之一相关联就足够了， 如果不相关联，那么可以推断它与另一种特征相关联。
在一些实施例中，响应于强度峰值源于物体的不透明部分上的反射 的指示，确定强度峰值与第一峰值特征相关联。在一些实施例中，响应 于强度峰值源于物体的基本半透明和/或透明部分内的反射的指示，确定 强度峰值与第二峰值特征相关联。物体的基本半透明和/或透明部分可对 应于胶或玻璃的一部分。这里，所述指示当然也可以基于例如强度峰值 的高度和/或形状，因为这可以指示反射来自何种表面和何种材料，不过 也可以基于例如关于被成像物体的信息，比如基于对某种类型的物体将 被成像和/或被成像物体的多个部分将是不透明或半透明和/或透明的了 解。在一些实施例中，一起处理关于多个相邻测量结果的指示以及峰值 位置，以便获得用于选择的经过滤的指示，所述经过滤的指示相对于来 自例如激光散斑的噪声给出更加鲁棒的选择。
操作1103
设备在强度峰值与第一峰值特征相关联时，按照作用于图像数据的 第一计算算法提供所述位置，而在强度峰值与第二峰值特征相关联时， 按照作用于图像数据的不同的第二计算算法提供所述位置。
第一计算算法可涉及确定强度峰值的中心位置。第一计算算法例如 可以基于按照确定中心位置的某种常规方法，确定所述中心位置，例如， 涉及确定与强度峰值相关联的最大强度的位置。
第二计算算法涉及确定强度峰值的边缘的位置。例如，第二计算算 法可涉及基于强度峰值的强度值增加到预先定义的边缘阈值以上的地方 来确定所述位置。例如，第二计算算法可以基于上面结合图7A-B所公开 的内容。
在一些实施例中，图像数据包括分别源于第一曝光时间和另一个第 二曝光时间的每像素两个强度值。随后，源于第一曝光时间的强度值可 用于按照第一计算算法提供所述位置，而源于第二曝光时间的强度值可 用于按照第二计算算法提供所述位置。在一些实施例中，第二曝光时间 大于第一曝光时间，当第二计算算法涉及找出边缘位置时情况尤其如此。 例如，上面结合图8讨论了其原因。
此外，应理解的是，例如可对图像传感器每一列的图像数据进行上 述方法和操作，结果每列提供一个强度峰值位置，提供的位置形成由图 像传感器成像的物体的轮廓或外形，即，结果是物体的例如对应于强度 轮廓图像140-1～140-N任意之一的3D轮廓图像。或者更一般地，例如 可对图像数据中的多个强度峰值进行下面的操作，从而例如使得能够进 行在物体的反射光的各个位置(可取地，在其表面)的物体外形的3D成像。 强度峰值从而可分别与图像数据中的多组连续出现的像素相关联，其中 每组例如可以是一列像素或者一行像素。
上述方法和/或操作原则上例如可由对所获得的图像数据(比如来自 图像传感器的图像数据)具有适当计算和/或处理能力的任何设备，或者 例如具有此类能力的图像传感器进行。在一些实施例中，设备可以包括 图像传感器(例如，图像传感器131)和计算设备(例如，计算设备201) 两者，其中图像传感器例如可以提供两个峰值位置，每种算法一个峰值 位置，并且可能提供图像数据和/或关于强度峰值的特征的一些辅助信息， 比如关于强度峰值的高度和/或散射的信息等。随后，计算设备可获得峰 值位置和辅助信息，并使用它来确定峰值与第一和第二峰值特征中的哪 一个相关联，然后相应地从两个峰值位置中提供(最佳的)峰位置。从而， 上述方法和/或操作可以由一个或多个设备，例如3D成像系统100、照 相机单元130、图像传感器131、例证系统200、计算设备201进行。
总之，本文中的实施例从而可被视为基于诸如上面所述的至少两种 计算算法可用，并且潜在地都用于每个强度峰值，但是最终只有一种计 算算法用于提供在3D图像中使用的位置，该计算算法当然应是如本文中 所述最适当的算法。通过确定强度峰值与两个峰值特征中的哪一个相关 联，随后相应地提供所述位置，使得能够使用最适当的算法。把峰值特 征用于该用途是可能的，因为如上所述并在本文中的其他地方进一步解 释的，峰值的特征指示两种计算算法中的哪种计算算法最适合于提供最 精确地映射到物体表面上反射引起强度峰值的光的地方的位置。
从而，由于本文中的实施例，当物体包含不同地反射光的属性不同 的表面的混合，从而受益于找出强度峰值的位置的不同方式时，借助由 3D成像系统进行的光三角测量，例如激光三角测量，能够提供物体的更 精确的3D图像。特别地，当被成像物体包括主要不透明的表面和在相当 程度上半透明或透明的表面时，比如在包括一些固体材料表面和一些带 有例如胶的表面的物体的情况下，能够获得更精确的3D图像。当要安装 到另一个第二部分的固体的第一部分为此已被提供胶时，可以形成此类 物体。
图12是图解说明可以是上面结合图11讨论的用于进行所述方法和/ 或操作的设备的一个或多个设备1200，即设备1200，的实施例的示意方 框图。该示意方框图还用于图解说明可以如何配置设备1200来进行上面 结合图11说明的方法和操作的实施例。
从而，设备1200用于作为在三维成像系统中进行的光三角测量的一 部分，响应于光在物体上被反射之后由图像传感器感测的光，提供由所 述图像传感器产生的图像数据中的强度峰值的位置。
设备1200可包括处理模块1201，比如处理部件，一个或多个硬件 模块，例如包括一个或多个处理电路，电路系统，比如处理器，和/或用 于进行所述方法和/或操作的一个或多个软件模块。
设备1200还可包括存储器1202，存储器1202可包括(比如容纳或 存储)计算机程序1203。计算机程序1203包含可由设备1200直接或间 接执行以进行所述方法和/或操作的“指令”或“代码”。存储器1202 可包括一个或多个存储器单元，并且可被进一步安排成存储参与或者用 于进行本文中的实施例的功能和操作的数据，比如配置、数据和/或值。
此外，设备1200可包括参与处理和例如编码数据的处理电路1204 作为示例硬件模块，并且可包括或对应于一个或多个处理器或处理电路。 处理模块1201可包括处理电路1204，例如‘以处理电路1204的形式体 现’或者‘由处理电路1204实现’。在这些实施例中，存储器1202可 包括可由处理电路1204执行的计算机程序1203，从而设备1200操作用 于或者配置成进行所述方法和/或其操作。
通常，设备1200，例如处理模块1201，包括输入/输出(I/O)模块 1205，I/O模块1205被配置成参与(例如通过进行)去往和/或来自其他 单元和/或设备的任何通信，比如向其他设备发送信息和/或从其他设备 接收信息。在适用时，I/O模块1205可用获得(例如，接收)模块和/或 提供(例如，发送)模块例示。
此外，在一些实施例中，设备1200，例如处理模块1201，包括获得 模块、提供模块、编码模块中的一个或多个，作为用于进行本文中的实 施例的操作的示例硬件和/或软件模块。这些模块可以全部或部分由处理 电路1204实现。
设备1200和/或处理模块1201和/或处理电路1204和/或I/O模块 1205和/或获得模块从而可操作用于或配置成获得所述图像数据，如上 结合图11所述。
此外，设备1200和/或处理模块1201和/或处理电路1204和/或确 定模块可操作用于或配置成确定强度峰值与第一和另外的第二峰值特征 中的哪一个相关联，如上结合图11所述。
此外，设备1200和/或处理模块1201和/或处理电路1204和/或I/O 模块1205和/或提供模块从而可用于或配置成在强度峰值与第一峰值特 征相关联时，按照作用于图像数据的所述第一计算算法提供所述位置， 而在强度峰值与第二峰值特征相关联时，按照作用于图像数据的所述不 同的第二计算算法提供所述位置，即，如上结合图11所述。
图13是图解说明与使上面说明的所述设备1200进行所述方法和操 作的计算机程序及其载体相关的一些实施例的示意图。
所述计算机程序可以是计算机程序1203，并且包含当由处理电路 1204和/或处理模块1201执行时，使设备1200如上所述工作的指令。 在一些实施例中，提供一种包含所述计算机程序的载体，或者更具体地 数据载体，例如计算机程序产品。所述载体可以是电子信号、光信号、 无线电信号和计算机可读存储介质(例如，如图中图解所示的计算机可读存储介质1301)中的一个。计算机程序1203从而可以存储在计算机可读 存储介质1301上。载体可以排除临时性传播信号，数据载体可以对应地 被命名为非临时性数据载体。作为计算机可读存储介质的数据载体的非 限制性例子是存储卡或记忆棒，诸如CD或DVD之类的盘存储介质，或者 通常基于硬盘驱动器或固态驱动器(SSD)的大容量存储设备。计算机可读存储介质1301可以用于存储可通过计算机网络1302，例如因特网或局 域网(LAN)访问的数据。计算机程序1303还可以作为纯计算机程序提供， 或者包含在一个或多个文件中。所述一个或多个文件可以存储在计算机 可读存储介质1301上，并且可以例如通过如图中所示的计算机网络1302， 例如经由服务器下载获得。服务器例如可以是web或文件传输协议(FTP) 服务器。所述一个或多个文件例如可以是可执行文件，供直接或间接下 载到所述第一节点，并在所述第一节点上执行，从而使所述第一节点如 上所述工作，例如，通过由处理电路1204执行。所述一个或多个文件还 可以或者可以替代地用于涉及相同或另外处理器的中间下载和编译，以 便在进一步下载和执行之前使它们可执行，从而使所述设备1200如上所 述工作。
注意，上面提及的任意处理模块和电路可以实现成软件和/或硬件模 块，例如在现有硬件中和/或实现成专用集成电路(ASIC)、现场可编程门 阵列(FPGA)等。另外注意，上面提及的任意硬件模块和/或电路可以例如 包含在单一ASIC或FPGA中，或者分布在几个独立的硬件组件中，无论 是单独封装还是组装成片上系统(SoC)。
本领域的技术人员还会意识到本文中讨论的模块和电路可以指的是 硬件模块、软件模块、模拟和数字电路和/或一个或多个处理器的组合， 所述一个或多个处理器配置有例如存储在存储器中的软件和/或固件，当 由所述一个或多个处理器执行时，所述软件和/或固件可使设备、传感器 等被配置成和/或进行上述方法和操作。
本文中利用任何标识符的标识可以是隐式的或显式的。例如对于某 个计算机程序或程序提供者，所述标识在特定上下文中可能是唯一的。
本文中使用的术语“存储器”可以指的是用于存储数字信息的数据 存储器，通常是硬盘、磁存储装置、介质、便携式计算机软盘或盘、闪 存、随机存取存储器(RAM)等。此外，存储器可以是处理器的内部寄存存 储器。
另外注意，任何枚举术语，比如第一设备、第二设备、第一表面、 第二表面等都应视为是非限制性的，这样的术语并不意味某种层次关系。 如果没有任何相反的明确信息，那么通过枚举的命名应被视为仅仅是实 现不同名称的一种方式。
本文中使用的表述“配置成”可以意味处理电路被配置成或者适合 于借助软件或硬件配置，进行本文中说明的一个或多个操作。
本文中使用的术语“数字”或“值”可以指的是任何种类的数字， 比如二进制数、实数、虚数或有理数等。此外，“数字”或“值”可以 是一个或多个字符，比如一个字母或一串字母。另外，“数字”或“值” 可以用比特串表示。
本文中使用的表述“可以”和“在一些实施例中”通常用于指示所 说明的特征可以与本文中公开的任何其他实施例组合。
附图中，可能只出现在一些实施例中的特征通常使用点线或虚线绘 制。
在使用词语“包括”或“包含”时，它应被解释成非限制性的，即， 意味“至少由…组成”。
本文的实施例不限于上述实施例。可以使用各种替代、修改和等同 物。于是，上述实施例不应被视为限制本公开的范围，本公开的范围由 所附的权利要求书限定。

Claims (15)

1.一种用于作为在三维成像系统(100)中进行的光三角测量的一部分，响应于光在物体上被反射之后由图像传感器(131)感测的光，提供由所述图像传感器(131)产生的图像数据中的强度峰值(305,405,505,605)的位置的一个或多个设备(100,130,131,200,201,1200)，其中所述一个或多个设备(100,130,131,200,201,1200)被配置成：
获得图像数据(1101)；
确定强度峰值与第一峰值特征和另外的第二峰值特征中的哪一个相关联(1102)；和
如果强度峰值与第一峰值特征相关联，那么按照作用于图像数据的第一计算算法提供所述位置，而如果强度峰值与第二峰值特征相关联，那么按照作用于图像数据的不同的第二计算算法提供所述位置(1103)。
2.按照权利要求1所述的一个或多个设备，其中第一计算算法涉及确定强度峰值(305,405,505,605)的中心位置。
3.按照权利要求2所述的一个或多个设备，其中第一计算算法涉及确定与强度峰值(305,405,505,605)相关联的最高强度的位置。
4.按照权利要求1-3任意之一所述的一个或多个设备，其中第二计算算法涉及确定强度峰值(305,405,505,605)的边缘的位置。
5.按照权利要求4所述的一个或多个设备，其中第二计算算法涉及基于强度峰值(305,405,505,605)的强度值增加到预先定义的边缘阈值以上的地方来确定所述位置。
6.按照权利要求1-5任意之一所述的一个或多个设备，其中关于强度峰值(305,405,505,605)与所述第一峰值特征和所述第二峰值特征中的哪一个相关联的所述确定基于强度峰值(305,405,505,605)的形状和/或高度的指示。
7.按照权利要求6所述的一个或多个设备，其中形状的所述指示从关于强度峰值(305,405,505,605)的散射测量结果获得，和/或从关于强度峰值的宽度的信息获得，和/或从关于强度峰值(305,405,505,605)的高度-宽度关系的信息获得。
8.按照权利要求1-7任意之一所述的一个或多个设备，其中响应于指示强度峰值的高度高于预先定义的第一高度阈值，和/或指示强度峰值(305,405,505,605)的宽度低于预先定义的第一宽度阈值，和/或指示高度-宽度比大于预先定义的第一高度-宽度阈值，确定强度峰值(305,405,505,605)与第一峰值特征相关联，和/或
其中响应于指示强度峰值(305,405,505,605)的高度低于预先定义的第二高度阈值，和/或指示强度峰值(305,405,505,605)的宽度高于预先定义的第二宽度阈值，和/或指示强度峰值(305,405,505,605)的高度-宽度比低于预先定义的第二高度-宽度阈值，确定强度峰值(305,405,505,605)与第二峰值特征相关联。
9.按照权利要求1-8任意之一所述的一个或多个设备，其中响应于强度峰值源于物体的不透明部分上的反射的指示，确定强度峰值与第一峰值特征相关联，和/或
其中响应于强度峰值源于物体的基本半透明和/或透明部分内的反射的指示，确定强度峰值与第二峰值特征相关联。
10.按照权利要求9所述的一个或多个设备，其中物体的基本半透明和/或透明部分对应于胶或玻璃的一部分。
11.按照权利要求1-10任意之一所述的一个或多个设备，其中所述图像数据包括分别源于第一曝光时间和另一个第二曝光时间的每像素两个强度值，其中源于第一曝光时间的强度值用于按照第一计算算法提供所述位置，而源于第二曝光时间的强度值用于按照第二计算算法提供所述位置。
12.按照权利要求11所述的一个或多个设备，其中第二曝光时间长于第一曝光时间。
13.一种由一个或多个设备(100,130,131,200,201,1200)进行的方法，所述方法用于作为在三维成像系统(100)中进行的光三角测量的一部分，响应于光在物体上被反射之后由图像传感器(131)感测的光，提供由所述图像传感器(131)产生的图像数据中的强度峰值(305,405,505,605)的位置，其中所述方法包括：
-获得图像数据(1101)；
-确定强度峰值与第一峰值特征和另外的第二峰值特征中的哪一个相关联(1102)；和
-如果强度峰值与第一峰值特征相关联，那么按照作用于图像数据的第一计算算法提供所述位置，而如果强度峰值与第二峰值特征相关联，那么按照作用于图像数据的不同的第二计算算法提供所述位置(1103)。
14.一种计算机程序(1203)，所述计算机程序(1203)包括当由所述一个或多个设备(100,130,131,200,201,1200)执行时，使所述一个或多个设备(100,130,131,200,201,1200)进行按照权利要求13所述的方法的指令。
15.一种包含按照权利要求14所述的计算机程序(1203)的载体，其中所述载体是电子信号、光信号、无线电信号或者计算机可读存储介质(1301)之一。
CN202010806542.3A 2019-08-16 2020-08-12 提供三维成像的图像数据中的强度峰值位置的方法和设备 Active CN112393681B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19192183.2A EP3779882B1 (en) 2019-08-16 2019-08-16 Providing intensity peak position in image data from light triangulation in a three-dimensional imaging system
EP19192183.2 2019-08-16

Publications (2)

Publication Number Publication Date
CN112393681A true CN112393681A (zh) 2021-02-23
CN112393681B CN112393681B (zh) 2022-07-12

Family

ID=67659148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010806542.3A Active CN112393681B (zh) 2019-08-16 2020-08-12 提供三维成像的图像数据中的强度峰值位置的方法和设备

Country Status (5)

Country Link
US (1) US11467030B2 (zh)
EP (1) EP3779882B1 (zh)
JP (1) JP7078678B2 (zh)
KR (1) KR102460791B1 (zh)
CN (1) CN112393681B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102513036B1 (ko) * 2021-10-20 2023-03-21 네이버랩스 주식회사 3차원 공간 상의 오브젝트를 맵핑하기 위한 평면을 결정하는 방법 및 장치
JP2023106904A (ja) * 2022-01-21 2023-08-02 パナソニックＩｐマネジメント株式会社 測定装置及び測定方法
EP4220075B1 (en) * 2022-01-28 2023-12-27 Sick IVP AB Method and arrangements for obtaining and associating 2d image data with 3d image data from light triangulation

Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11325877A (ja) * 1998-03-31 1999-11-26 Siemens Ag 測定誤差を減少させるための方法及び装置
US6356300B1 (en) * 1998-01-16 2002-03-12 Nec Corporation Automatic visual inspection apparatus automatic visual inspection method and recording medium having recorded an automatic visual inspection program
CN1364230A (zh) * 1999-06-01 2002-08-14 加拿大国家研究委员会 三维光扫描
US6542249B1 (en) * 1999-07-20 2003-04-01 The University Of Western Ontario Three-dimensional measurement method and apparatus
TW571073B (en) * 1999-08-27 2004-01-11 Toray Eng Co Ltd A measuring method and device for surface shape
CN1504721A (zh) * 2002-11-28 2004-06-16 株式会社山武 位置检测方法及位置检测装置
CN1653314A (zh) * 2002-03-14 2005-08-10 泰勒·霍布森有限公司 表面成型设备
CN101144708A (zh) * 2007-09-26 2008-03-19 东南大学 三维扫描系统中圆形标志点的检测方法
EP1985969A1 (en) * 2007-04-26 2008-10-29 Sick IVP AB Method and apparatus for determining the amount of scattered light in a maschine vision system
TW200942800A (en) * 2008-03-10 2009-10-16 Advantest Corp Device for measuring pattern length and method for measuring pattern length
CN101939618A (zh) * 2007-11-15 2011-01-05 西克Ivp股份公司 光学三角测量
CN102132125A (zh) * 2008-07-04 2011-07-20 西克Ivp股份公司 轮廓测量系统的校准
JP5783288B1 (ja) * 2014-03-12 2015-09-24 パルステック工業株式会社 表面プロファイル測定装置および透光性物体厚さ測定装置
CN105719269A (zh) * 2014-12-03 2016-06-29 高德软件有限公司 一种目标物体确定方法及装置
CN105716539A (zh) * 2016-01-26 2016-06-29 大连理工大学 一种快速高精度的三维形面测量方法
CN106133476A (zh) * 2014-03-05 2016-11-16 西克Ivp股份公司 用于提供关于对象的3d特征的图像数据和信息的图像感测设备和测量系统
CN106338244A (zh) * 2015-07-10 2017-01-18 赫克斯冈技术中心 3d测量机
CN106462730A (zh) * 2014-04-22 2017-02-22 默克专利股份公司 用于检测样品的琼脂糖培养基或膜上生长的微群落的方法和无菌试验装置
EP3243583A1 (en) * 2016-05-13 2017-11-15 SLM Solutions Group AG Apparatus and method for associating a position in a construction data set with a position in a building section of the apparatus
CN108180864A (zh) * 2017-12-28 2018-06-19 北京信息科技大学 一种基于反射成像法测量槽式太阳能聚热器面形的方法
US20180202946A1 (en) * 2016-06-13 2018-07-19 Nippon Mektron, Ltd. Substrate inspection device and substrate manufacturing method
CN108366262A (zh) * 2017-01-27 2018-08-03 西克Ivp股份公司 运动编码器
CN109932876A (zh) * 2017-12-15 2019-06-25 佳能株式会社 测量装置、平板印刷装置、物品的制造方法以及测量方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03205503A (ja) 1990-01-08 1991-09-09 Mitsubishi Heavy Ind Ltd シート光の像位置検出方法
JP2006261436A (ja) 2005-03-17 2006-09-28 Canon Inc 信号処理方法及びその装置
JP2012251893A (ja) 2011-06-03 2012-12-20 Seiko Epson Corp 形状計測装置、形状計測装置の制御方法、およびプログラム
JP2013064644A (ja) 2011-09-16 2013-04-11 Nikon Corp 形状測定装置、形状測定方法、構造物製造システム及び構造物の製造方法
US20140073863A1 (en) * 2012-09-11 2014-03-13 Nellcor Puritan Bennett Llc Methods and systems for determining physiological information using modulated signals
US9267784B2 (en) 2013-07-15 2016-02-23 Faro Technologies, Inc. Laser line probe having improved high dynamic range
US10948567B2 (en) * 2016-11-17 2021-03-16 Trinamix Gmbh Detector for optically detecting at least one object
US10620447B2 (en) * 2017-01-19 2020-04-14 Cognex Corporation System and method for reduced-speckle laser line generation

Patent Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6356300B1 (en) * 1998-01-16 2002-03-12 Nec Corporation Automatic visual inspection apparatus automatic visual inspection method and recording medium having recorded an automatic visual inspection program
JPH11325877A (ja) * 1998-03-31 1999-11-26 Siemens Ag 測定誤差を減少させるための方法及び装置
CN1364230A (zh) * 1999-06-01 2002-08-14 加拿大国家研究委员会 三维光扫描
US6542249B1 (en) * 1999-07-20 2003-04-01 The University Of Western Ontario Three-dimensional measurement method and apparatus
TW571073B (en) * 1999-08-27 2004-01-11 Toray Eng Co Ltd A measuring method and device for surface shape
CN1653314A (zh) * 2002-03-14 2005-08-10 泰勒·霍布森有限公司 表面成型设备
CN1504721A (zh) * 2002-11-28 2004-06-16 株式会社山武 位置检测方法及位置检测装置
EP1985969A1 (en) * 2007-04-26 2008-10-29 Sick IVP AB Method and apparatus for determining the amount of scattered light in a maschine vision system
CN101144708A (zh) * 2007-09-26 2008-03-19 东南大学 三维扫描系统中圆形标志点的检测方法
CN101939618A (zh) * 2007-11-15 2011-01-05 西克Ivp股份公司 光学三角测量
TW200942800A (en) * 2008-03-10 2009-10-16 Advantest Corp Device for measuring pattern length and method for measuring pattern length
CN102132125A (zh) * 2008-07-04 2011-07-20 西克Ivp股份公司 轮廓测量系统的校准
CN106133476A (zh) * 2014-03-05 2016-11-16 西克Ivp股份公司 用于提供关于对象的3d特征的图像数据和信息的图像感测设备和测量系统
JP5783288B1 (ja) * 2014-03-12 2015-09-24 パルステック工業株式会社 表面プロファイル測定装置および透光性物体厚さ測定装置
CN106462730A (zh) * 2014-04-22 2017-02-22 默克专利股份公司 用于检测样品的琼脂糖培养基或膜上生长的微群落的方法和无菌试验装置
CN105719269A (zh) * 2014-12-03 2016-06-29 高德软件有限公司 一种目标物体确定方法及装置
CN106338244A (zh) * 2015-07-10 2017-01-18 赫克斯冈技术中心 3d测量机
CN105716539A (zh) * 2016-01-26 2016-06-29 大连理工大学 一种快速高精度的三维形面测量方法
EP3243583A1 (en) * 2016-05-13 2017-11-15 SLM Solutions Group AG Apparatus and method for associating a position in a construction data set with a position in a building section of the apparatus
US20180202946A1 (en) * 2016-06-13 2018-07-19 Nippon Mektron, Ltd. Substrate inspection device and substrate manufacturing method
CN108366262A (zh) * 2017-01-27 2018-08-03 西克Ivp股份公司 运动编码器
CN109932876A (zh) * 2017-12-15 2019-06-25 佳能株式会社 测量装置、平板印刷装置、物品的制造方法以及测量方法
CN108180864A (zh) * 2017-12-28 2018-06-19 北京信息科技大学 一种基于反射成像法测量槽式太阳能聚热器面形的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ROBERT FISHER 等: "《A Comparative Analysis of Algorithms for Determining the Peak Position of a Stripe to Sub-pixel Accuracy》", 《PROCEDINGS OF THE BRITISH MACHINE VISION CONFERENCE 1991》 *
马锁冬: "《基于相位恢复的三维形貌复合通道测量技术研究及应用》", 《中国博士学位论文全文数据库 信息科技辑》 *

Also Published As

Publication number Publication date
KR102460791B1 (ko) 2022-10-28
EP3779882B1 (en) 2022-07-20
KR20210020813A (ko) 2021-02-24
EP3779882A1 (en) 2021-02-17
JP2021034044A (ja) 2021-03-01
JP7078678B2 (ja) 2022-05-31
US11467030B2 (en) 2022-10-11
CN112393681B (zh) 2022-07-12
US20210048341A1 (en) 2021-02-18

Similar Documents

Publication Publication Date Title
CN112393681B (zh) 提供三维成像的图像数据中的强度峰值位置的方法和设备
JP6667065B2 (ja) 位置推定装置および位置推定方法
CN105960569B (zh) 使用二维图像处理来检查三维物体的方法
CN103069250A (zh) 三维测量设备、三维测量方法和计算机程序
JP4389602B2 (ja) 物体検出装置、物体検出方法、プログラム
US20210215475A1 (en) Imaging system with calibration target object
US11037314B1 (en) Method for the non-destructive inspection of an aeronautical part and system thereof
TW200902964A (en) System and method for height measurement
US11736816B2 (en) Image sensor circuitry for reducing effects of laser speckles
JP7259660B2 (ja) イメージレジストレーション装置、画像生成システム及びイメージレジストレーションプログラム
EP3062516B1 (en) Parallax image generation system, picking system, parallax image generation method, and computer-readable recording medium
TWI480507B (zh) 三維模型重建方法及其系統
JP2012181757A (ja) 光学情報読み取り装置
JP2012220285A (ja) 距離画像カメラおよびこれを用いた距離測定方法
EP4220075B1 (en) Method and arrangements for obtaining and associating 2d image data with 3d image data from light triangulation
EP4235563B1 (en) Method and arrangements for removing erroneous points from a set of points of a 3d virtual object provided by 3d imaging
US20230186510A1 (en) Method and arrangements for determining information regarding an intensity peak position in a space-time volume of image frames
WO2022113877A1 (ja) 三次元計測装置及び三次元計測プログラム
JP2002031509A (ja) 面取り寸法測定方法および測定装置
JPH11160016A (ja) 距離測定方法及び装置
JPS61275610A (ja) リニア・センサ測寸装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant