CN107077729B - 用于识别相机图像中的投影结构图案的结构元素的方法和设备 - Google Patents

用于识别相机图像中的投影结构图案的结构元素的方法和设备 Download PDF

Info

Publication number
CN107077729B
CN107077729B CN201580049754.9A CN201580049754A CN107077729B CN 107077729 B CN107077729 B CN 107077729B CN 201580049754 A CN201580049754 A CN 201580049754A CN 107077729 B CN107077729 B CN 107077729B
Authority
CN
China
Prior art keywords
camera
projector
image
structural
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580049754.9A
Other languages
English (en)
Other versions
CN107077729A (zh
Inventor
马丁·文德勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pilz GmbH and Co KG
Original Assignee
Pilz GmbH and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pilz GmbH and Co KG filed Critical Pilz GmbH and Co KG
Publication of CN107077729A publication Critical patent/CN107077729A/zh
Application granted granted Critical
Publication of CN107077729B publication Critical patent/CN107077729B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

在用于识别相机图像中的投影到场景(14)上的结构图案(16)的各个结构元素(12)的方法中，使用投影仪(36)将结构图案(16)投影到场景(14)上，并且使用第一相机(M)和至少一个第二相机(H,V)来拾取投影到场景(14)上的结构图案(16)。第一相机(M)和至少一个第二相机(H,V)被定位成彼此相距一定距离，并且投影仪(36)被定位成在距第一相机(M)和距至少一个第二相机(H,V)一定距离处且在第一相机和至少一个第二相机(M,H,V)的直线连接线(26，28)之外。对于第一相机(M)的相机图像中要识别的结构元素(12)，通过下述校准数据来确定至少一个第二相机(V,H)的相机图像中的可以与第一相机(M)的相机图像中要识别的结构元素(12)一对一关联的结构元素(12)：所述校准数据针对各个结构元素(12)在各自情况下具有第一参数和至少第二参数的组合，第一参数使相应结构元素(12)与第一相机(M)和投影仪(36)的位置和定向相关，至少第二参数使相应结构元素(12)与至少一个第二相机(H,V)和投影仪(36)的位置和定向相关，所述校准数据通过使用第一相机和至少一个第二相机(M,H,V)记录由投影仪(36)投影的结构图案(16)的校准图像(76，78)来获得。

Description

用于识别相机图像中的投影结构图案的结构元素的方法和 设备
本发明涉及一种用于识别相机图像中的投影到场景上的结构图案的结构元素的方法。
本发明还涉及一种用于识别相机图像中的投影到场景上的结构图案的结构元素的设备，特别是用于执行上述方法的设备。
本发明另外涉及前述方法和/或前述设备的用途，用于监视特别是用于确保危险区(特别是诸如印刷机或自动机械的机器的危险区)的安全。
在本发明的上下文中，场景被理解为是指特别是由相机监视的三维危险区。诸如人的移动对象可以存在于场景中。特别是在后一种情况下，相机监视场景关于人或其身体部位是否位于或靠近以自动方式操作的机器附近的危险中。
为了监视危险区，特别是机器和工业工厂的危险区，已知使用如EP 2 133 619 A1中所述的相机。在此，公开了一种3D安全相机，其具有第一图像传感器和第二图像传感器，第一图像传感器和第二图像传感器可以分别生成空间区域的图像数据。3D安全相机连同投影仪一起操作，该投影仪在场景中(即在空间区域中)生成结构化照明图案。根据体视学原理，评估单元根据图像数据生成空间区域的深度图以监视空间区域中的不允许的侵入。
在立体相机的图像对的立体评估期间，可能由于在所监视的空间区域内的对象的低对比度或重复结构而出现测量误差。由于这个原因，如上述文献中所述的，将结构图案投影到相机的视场中，以便提高相机图像中的对比度。在此，有利的是使用周期性点图案形式的结构图案，如同样已经在上述文献中公开的那样。点图案形式的结构图案优于更复杂的结构图案之处在于：它们被清晰地描绘，并且需要更少的照明能量来对它们进行投影。
在本发明的上下文中的投影结构图案是光学结构图案，换言之，是由光点组成的图案。
然而，当使用点图案特别是均匀点图案作为结构图案时，会出现以下问题：经常发生相机图像中的点错误分配给投影到场景中的点。这是因为一个投影结构元素在相机图像中的位置通常取决于投影结构元素距相机的当前距离，并且同样取决于结构元素投影在其上的对象的几何形状。换言之，结构元素在相机图像中的位置可以根据距离和对象几何形状而改变，并且通常在相机中可以不同。
相机图像中的点错误分配给投影到场景上的点导致错误地确定距场景内的对象的距离。错误的距离测量继而又具有以下影响：例如，如果位于危险区中的对象被相机视为位于危险区之外，则会出现危险情况；或者如果对象位于危险区之外，但由于错误的距离测量而被相机视为处于危险区之内从而机器被关断，则例如位于危险区之内的机器无法充分利用。
根据EP 2 019 281 A1，相机图像中的结构元素错误分配给投影到场景上的结构元素的问题的解决方案是将更复杂的结构图案投影到场景上，所述更复杂的结构图案至少在部分区域中、不均匀、非周期性并且非自相似。然而，考虑到设备方面的高花费，即，投影仪的复杂性，生成这样的更复杂的结构图案是不利的。
WO 2013/145665 A1公开了一种用于三维测量的设备，其将来自投影仪的光线投影到工件上，其中，立体相机拾取光线投影到其上的工件的图像。该设备的控制设备临时识别所拾取的立体图像的第一图像中的亮线与光截面平面之间的对应关系，并且将亮线投影到光截面平面上。投影到光截面平面上的亮线被投影到第二图像上。控制设备计算投影到第二图像上的亮线与第二图像中的亮线之间的相似度，并且确定所识别的投影亮线与第二图像中的亮线之间的对应关系的结果。
US 2008/0201101 A1公开了一种用于扫描物品的表面几何形状并将其数字化的手持式三维扫描器。
DE 20 2008 017 729 U1公开了一种用于监视和确保空间区域的安全的3D安全相机。该安全相机包括具有至少一个半导体光源的照明单元。半导体光源生成至少10W的高光输出，这允许生成与所监视的空间区域中的环境光的波动无关的用于可靠估计的稠密深度图。
DE 10 2004 020 419 B3公开了一种用于测量甚至强烈弯曲的反射表面的设备。在此，观察在表面处反射的图案并且进行评估。从多个方向观察反射的图案。通过确定测量空间内的针对各个观察方向确定的表面法线相对于彼此具有最低偏差的那些位置来实现评估。
本发明基于以下目的：确定一种方法和设备，利用所述方法和设备能够在不需要复杂的、不均匀的、非周期性的时间或空间编码的结构图案的情况下可靠地识别相机图像中的投影到场景上的结构图案的结构元素。
为了实现该目的，提供了一种用于可靠地识别相机图像中的投影到场景上的结构图案的结构元素的方法，其中，使用投影仪将结构图案投影到场景上，并且其中，使用第一相机和至少一个第二相机来拾取投影到场景上的结构图案，其中，第一相机和至少一个第二相机被定位成彼此相距一定距离，并且其中，投影仪被定位成在距第一相机并且距至少一个第二相机一定距离处在第一相机和至少一个第二相机的直线连接线之外，其中，对于第一相机的相机图像中要识别的结构元素，通过下述校准数据来确定至少一个第二相机的相机图像中的可以与第一相机的相机图像中要识别的结构元素一对一关联的结构元素：所述校准数据针对各个结构元素在各自情况下具有第一参数和至少第二参数的组合，第一参数使相应结构元素与第一相机和投影仪的位置和定向相关，至少第二参数使相应结构元素与至少一个第二相机和投影仪的位置和定向相关，所述校准数据通过使用第一相机和至少一个第二相机记录由投影仪投影的结构图案的校准图像来获得。
此外，根据本发明，提供了一种用于可靠地识别相机图像中的投影到场景上的结构图案的结构元素的设备，特别是用于执行上述方法的设备，该设备包括投影仪，所述投影仪用于将结构图案投影到场景上。该设备还包括第一相机和至少一个第二相机，所述第一相机和至少一个第二相机用于拾取投影到场景上的结构图案，其中，第一相机和至少一个第二相机被定位成彼此相距一定距离，并且其中，投影仪被定位成在距第一相机和距至少一个第二相机一定距离处在第一相机和至少一个第二相机的直线连接线之外。该设备还包括存储单元，所述存储单元存储有校准数据，校准数据针对各个结构元素在各自情况下具有第一参数和至少第二参数的组合，第一参数使相应结构元素与第一相机和投影仪的位置和定向相关，至少第二参数使相应结构元素与至少一个第二相机和投影仪的位置和定向相关。并且该设备还包括计算单元，所述计算单元适于：对于第一相机的相机图像中要识别的结构元素，使用校准数据来确定至少一个第二相机的相机图像中的可以与第一相机的相机图像中要识别的结构元素一对一关联的结构元素。
在本发明的上下文中的术语“相机”旨在具有一般含义。相机可以被理解为是指例如仅具有相关联的光学器件的图像传感器。第一相机和至少第二相机还旨在意味着两个图像传感器以彼此相距横向距离的方式容纳在共同的壳体中，其中，图像传感器可以被分配有共同的成像光学器件或者在各自情况下被分配有单独的成像光学器件。然而，第一相机和至少一个第二相机还可以是具有它们自己的壳体和它们自己的成像光学器件的分离的独立相机的形式。
根据本发明的方法和根据本发明的设备基于以下原则：准确了解投影仪的位置和定向(例如，投影仪的出射光瞳和针对每个单独结构元素的透射方向)以及至少两个相机的位置和定向(例如，至少两个相机的出射光瞳的位置和定向及其观察方向)。在根据本发明的方法中，为了获得这种准确了解，例如，在安装有至少两个相机和投影仪时，记录结构图案的校准图像，从校准图像中获得校准数据。校准数据针对各个结构元素在各自情况下具有第一参数和至少第二参数的组合，第一参数使相应结构元素与第一相机和投影仪的位置和定向相关，至少第二参数使相应结构元素与至少一个第二相机和投影仪的位置和定向相关。由于在校准期间分配给各个结构元素的这些参数组合优选地分配给每个结构元素，因此，投影结构图案的结构元素被唯一确定。
在根据本发明的设备中，所获得的校准数据被存储在存储单元中。在根据本发明的方法中，然后使用校准数据来识别至少两个相机的相机图像中的结构图案的投影到场景上的结构元素，以便允许至少一个第二相机的相机图像中的结构元素与第一相机的相机图像中的结构元素之间的一对一分配。
根据本发明的方法和根据本发明的设备允许将第一相机和至少一个第二相机的相机图像中的结构元素可靠地分配给投影到场景上的结构元素。利用根据本发明的方法和根据本发明的设备，建立了对距要监视的空间区域中的对象的距离的正确测量的基础。因此，相机系统可以可靠地评估对象是否位于例如危险区之内或危险区之外。
通过记录校准图像，至少两个相机和投影仪相对于彼此的位置和定向根据其校准是已知的，并且至少两个相机的直线即所谓的相机核线能够根据已知的两个相机相对于彼此的位置和定向来确定。投影仪相对于至少两个相机的位置和定向通过校准也是已知的，其中，基于该了解，还能够确定第一相机和投影仪的配对以及至少一个第二相机和投影仪的配对的直线即所谓的照明核线。
在至少两个相机中，结构元素的图像总是位于相应相机核线上。结构元素的图像出现在哪个相机核线上以及哪些其他结构元素也位于所述相机核线上取决于结构图案投影在其上的对象的几何形状和距离。对于至少两个相机中的每个相机，存在许多相机核线。
另外，每个投影结构元素及其在相机中的图像位于相应照明核线上。对于第一相机和投影仪以及至少第二相机和投影仪的每个配对，存在多个照明核线。对于两个相机和相对于如上所述的相机在其直线连接线之外定位的投影仪，存在两组彼此倾斜延伸的照明核线，其中，第一组被分配给第一相机和投影仪的布置，并且第二组被分配给第二相机和投影仪的布置。投影结构元素及其在相机中的图像总是位于同一相应照明核线上，而与结构图案投影到其上的对象的几何形状和距离无关。然而，结构元素位于照明核线上的哪个位置以及哪些其它结构元素也位于该线上取决于对象的几何形状和距离。
使用上述结构元素及其图像总是位于同一照明核线上而与结构图案投影在其上的对象的几何形状和距离无关的情况，根据优选实施方式，各个结构元素的第一参数包括与第一相机相关的第一照明核线的斜率以及第一照明核线与第一参考轴线的交点，并且各个结构元素的至少第二参数包括与至少一个第二相机相关的照明核线的斜率以及照明核线与第二参考轴线的交点。
在根据本发明的设备中，上述校准数据例如以校准列表的形式存储在存储单元中。
如将在下面更详细地描述的，使用所述参数作为校准数据具有以下优点：投影结构元素与所述参数之间的可分配性唯一且单独，另外，可以利用这种类型的参数以简单的方式实现将图像分配给投影结构元素。
在至少两个相机和投影仪的校准期间，因此针对每个相机中的每个结构元素确定关于其相对于第一相机位于哪个照明核线上以及其相对于至少一个第二相机位于哪个照明核线上。从数学上讲，由于直线由其斜率和一个点唯一确定，因此如这里所指出的，对于每个相应结构元素，仅存储照明核线的斜率以及照明核线与参考轴线的交点是足够的，这显著降低了存储开销。
对于结构元素密度较高的结构图案，通常，多个结构元素在各自情况下相对于至少两个相机中的一个相机位于相同的照明核线上。然而，每个结构元素由至少两个照明核线(即，与第一相机相关的照明核线和与至少第二相机相关的照明核线)的单独组合唯一描述。
结合上述实施方式提及并且与第一相机相关的第一照明核线与其相交的第一参考轴线优选地是第一相机的扫描线，并且与至少一个第二相机相关的第二照明核线与其相交的第二参考轴线优选地是至少一个第二相机的扫描线。
所述扫描线可以例如是相应相机的相应第一扫描线。
在该方法的另一优选实施方式中，将结构图案依次投影到用于记录校准图像的第一表面和第二表面上，其中，第一表面和第二表面被布置成在投影仪的透射方向上彼此相距一定距离。
校准图像的这种类型的记录以及因此至少两个相机和投影仪的校准的记录可以以特别简单的方式进行，并且从而以简单的方式针对结构图案的每个结构元素给出相对于第一相机的照明核线和相对于至少一个第二相机的照明核线。
第一表面和第二表面优选地是平面表面。如果将同一表面用作第一表面和第二表面，该表面最初被定位在距相机和投影仪第一距离处以便记录第一校准图像并且随后被定位在距相机和投影仪第二距离处以便记录第二校准图像，则校准变得特别简单。存储和评估两个校准图像以获得校准数据。
根据该设备的一个优选实施方式，如果第一相机的入射光瞳、至少一个第二相机的入射光瞳和投影仪的出射光瞳位于一个平面上，则根据本发明的方法特别容易实现。
在该实施方式中，在校准和识别结构元素的图像时，简化几何尺寸比例。结构元素彼此之间在相机图像中的距离在这种布置下与投影结构元素距相机的距离无关，即总是相同的。因此，结构元素在校准图像中的分配容易成为可能。在至少两个校准图像中，穿过结构元素的两个位置的直线严格对应于该结构元素的照明核线。此外，所有第一照明核线彼此平行，也就是说，它们具有相同的斜率并且仅它们与第一参考轴线的交点不同，并且所有第二照明核线相对于彼此平行，也就是说，也具有相同的斜率并且仅它们与第二参考轴线的交点不同。校准数据的范围和因此必要的存储容量和计算能力从而有利地进一步减小。
用于帮助简化根据本发明的方法的另一种方式是将第一相机的光轴、至少一个第二相机的光轴和投影仪的光轴布置成使得它们相对于彼此平行。
在该实施方式中，至少两个相机的相机核线相对于彼此平行并且相对于相机的直线连接线平行。它们甚至可以从相机到相机彼此对准。此外，至少两个相机的扫描线可以有利地被设置成平行于或垂直于相机核线，并且可以容易地校正相机镜头或共同相机镜头的失真。
结合该方法的上述配置，根据该配置，将结构图案依次投影到用于记录校准图像的第一表面和第二表面上，第一表面和第二表面在投影仪的透射方向上彼此相距一定距离，如果所述表面是平面并且被定向为垂直于相机和投影仪的光轴，则是优选的。
由于所述表面的垂直定向，因此，由至少两个相机拾取的结构图案基本上无失真。
上述实施方式不仅简化了校准，而且还简化了对至少两个相机的相机图像中的结构图案的投影到场景上的结构元素的可靠识别。
在该设备中，第一相机与至少一个第二相机之间的距离优选地不同于投影仪与第一相机之间的距离，并且不同于投影仪与至少一个第二相机之间的距离。
因此，进一步改进了对相机图像中的结构元素的识别。至少两个相机和投影仪的布置中的对称性的任何中断(break)增加了将相机图像中的结构元素分配给投影结构元素的准确度。
在该方法的另一优选实施方式中，确定在各自情况下第一相机的相机图像中要识别的结构元素的像素坐标，根据像素坐标和校准数据来计算至少第一参数，并且从校准数据读取可能在公差带内的同样地满足至少一个第一参数的所有结构元素，还针对所述读取的结构元素中的每个结构元素读取至少第二参数中的至少一个第二参数，以及确定至少一个第二相机的相机图像中的可以与第一相机的相机图像中要识别的结构元素一对一关联的结构元素。
在根据本发明的设备中，计算单元被相应地设置用于执行上述步骤。
在该方法的该实施方式中，由于基本上可以访问存储或保存的校准数据，因此，前述步骤的计算开销有利地低。对于要识别的结构元素，仅计算要识别的结构元素所位于的第一照明核线。然后，访问存储的校准数据，以便执行至少一个第二相机的图像中的结构元素与第一相机的图像中要识别的结构元素之间的一对一分配。
为此，从至少一个第二相机的图像中的位于第二照明核线上的结构元素中选择也位于校准相机核线上的结构元素(即，第二照明核线与所述相机核线之间的交点)。特别地，如果两个相机的相机核线相对于彼此平行并且位于相同高度处，则这是特别简单的。
在该方法的另一优选实施方式中，另外使用第三相机来拾取投影到场景上的结构图案，所述第三相机被定位成在第一相机和第二相机的直线连接线之外、并且在第一相机和投影仪的直线连接线之外、并且在第二相机和投影仪的直线连接线之外，其中，校准数据另外具有第三参数，所述第三参数使相应结构元素与第三相机和投影仪的位置和定向相关。
因此，根据本发明的设备具有第三相机，所述第三相机用于拾取投影到场景上的结构图案。
根据结构图案投影到其上的场景的拓扑的复杂性，可能是以下情况：例如由于边缘或肩部的阻挡，至少两个相机中的一个相机中的特定结构元素是不可见的。在这种情况下，然后可以利用第三相机结合两个另外的相机中的一个相机可靠地识别该结构元素。如果例如三个相机中的一个相机以掠射的方式查看场景中的表面，则第三相机对于结构元素的可靠识别也是有用的。
在该方法的另一优选实施方式中，结构元素在结构图案上均匀地分布在两个主轴线上，这两个主轴线优选地相对于彼此垂直，其中，进一步优选地，结构图案的两个主轴线相对于第一相机和至少一个第二相机的直线连接线倾斜延伸以及/或者相对于投影仪与第一相机和至少一个第二相机的直线连接线倾斜延伸。
均匀结构图案具有以下优点：投影仪可以具有简单结构。结构图案的主轴线相对于至少两个相机的直线连接线和/或投影仪与第一相机和至少一个第二相机的直线连接线倾斜的布置导致对称性中断，这有利于相机图像中的结构元素的可靠识别，因为识别中的模糊性降低。
根据本发明的方法特别适用于结构图案是点图案特别是均匀点图案并且结构元素是点的实施方式。
在该设备中，投影仪被相应地设置成以特别均匀的点图案的形式生成结构图案。
使用特别均匀或周期性的点图案或栅格的优点在于：可以容易地生成这样的结构图案并且以高强度投影。
在该方法的另一优选实施方式中，结构图案以具有如下脉冲频率的脉冲方式传送：所述脉冲频率对应于第一相机和至少一个第二相机的图像记录频率的一半，并且其中，在各自情况下，由第一相机和至少一个第二相机拾取的两个顺序图像彼此相减。
在该设备中，投影仪被相应地设置成以具有如下脉冲频率的脉冲方式传送结构图案：所述脉冲频率对应于第一相机和至少一个第二相机的图像频率的一半，并且其中，计算单元被设置成在各自情况下使由第一相机和至少一个第二相机依次拾取的两个图像彼此相减。
在该实施方式中，由于由第一相机和至少一个第二相机记录的两个顺序图像相减，因此，仅保留差别相机图像中的结构元素。以这种方式，可以更容易地检测相机图像中的结构元素。
为了进一步增加对比度，可以使用带通滤波器(例如，IR带通滤波器)来阻挡除了投影光的波长之外的任何环境光。带通滤波器可以被布置在至少两个相机的一个或更多个光学器件中。
根据一个或更多个上述实施方式，根据本发明的方法和/或根据本发明的设备优选地用于监视特别是确保危险区(特别是机器的危险区)的安全。
其它优点和特征可以从以下描述和附图中得到。
应当理解，在不脱离本发明的范围的情况下，上述特征以及尚待说明的特征不仅可以以相应陈述的组合使用，而且可以以不同的组合使用或单独使用。
附图中示出了本发明的示例性实施方式，并且将参照附图对其进行更详细的描述。在附图中：
图1示出了用于识别相机图像中的投影到场景上的结构图案的结构元素的设备；
图2示出了其中具有对象的场景的一部分；
图3示出了在图1中的设备的校准过程中记录的第一校准图像；
图4示出了在图1中的设备的校准过程中记录的第二校准图像；
图5示出了来自图3和图4的两个校准图像的叠加；
图6示出了用于说明可以使用根据图3和图4的校准图像来获得校准数据的方式的图5的放大部分；以及
图7示出了用于说明如何可以识别相机图像中的投影结构图案的结构元素的方案。
图1示出了用通用附图标记10表示的用于识别相机图像中的投影到场景14上的结构图案16的结构元素12的设备。
设备10特别是用于监视——特别是用于确保——危险区，特别是机器(未示出)的危险区的安全。场景14在这种情况下例如是三维空间区域，其中设置有机器，特别是以自动方式操作的机器，例如印刷机或自动机械(未示出)。通常，诸如人等移动对象可以存在于场景14中，其中，设备10监视场景14关于对象是否完全或部分位于或靠近以自动方式操作的机器的危险区。
设备10具有第一相机M、第二相机H，并且可选地同时优选地具有第三相机V。相机M、相机H和相机V例如是各自具有光电图像传感器(未示出)的数字相机。可以用CCD或CMOS技术来配置图像传感器。这样的图像传感器具有大量的光敏元件(也被称为像素)，所述光敏元件被布置在相对于彼此平行布置的大量扫描线中。
相机M、相机H和相机V在各自情况下分别具有均布置在一个平面上的入射光瞳18、入射光瞳20和入射光瞳22。在图1中，出于说明的目的，示出了具有x轴、y轴和z轴的笛卡尔坐标系24作为参考系。在这种情况下，布置有相机M的入射光瞳18、相机H的入射光瞳20和相机V的入射光瞳22的上述平面是z＝0的xy平面。在此设计作为参考系的坐标系24，使得相机M的入射光瞳18位于坐标x＝0、y＝0且z＝0处。
相机M与相机H之间的一个直线连接线26在x轴方向上相应地延伸，并且相机M与相机V之间的直线连接线28在y轴方向上延伸。因此，第三相机V位于相机M与相机H之间的直线连接线26之外。
相机M与相机H之间的距离不同于相机V与相机M之间的距离。
此外，相机M、相机H和相机V被定位和定向成使得它们相应的光轴30(相机M)、光轴32(相机H)和光轴34(相机V)相对于彼此平行延伸。
设备10还具有投影仪36，投影仪36用于生成结构图案16并将其投影到场景14中。投影仪36例如可以是采用衍射光学元件的激光二极管形式、具有成像光学器件的LED矩阵形式、幻灯机形式、具有分段镜的聚光灯源形式或者数字光处理投影仪(DLP或DMP投影仪)形式。
投影仪36的出射光瞳38位于与相机M的入射光瞳18、相机H的入射光瞳20和相机V的入射光瞳22相同的平面上。投影仪36的光轴40平行于相机M的光轴30、相机H的光轴32和相机V的光轴34延伸。
投影仪36位于相机M与相机H之间的直线连接线26之外，并且还位于相机M与相机V之间的直线连接线28之外。在图1中，还示出了相机M、相机H和相机V与投影仪36之间的直线连接线，具体为相机M与投影仪36之间的直线连接线37、相机H与投影仪36之间的直线连接线39以及相机V与投影仪36之间的直线连接线41。从图1可以看出，直线连接线37、直线连接线39和直线连接线41相对于彼此并且还相对于直线连接线26和直线连接线28倾斜延伸。
结构图案16是均匀的点图案，也就是说，结构元素12是沿着两个主轴线42、44周期性地且均匀地分布的各个点。在此仅示出主轴线42和主轴线44是出于说明的目的并且实际上主轴线42和主轴线44并不出现在投影的结构图案16中。在此相对于彼此垂直延伸的两个主轴线42、44给出结构图案16的点或结构元素12之间的最小距离的两个方向。
由投影仪36投影的结构图案16优选地被投影成使得投影结构图案16的主轴线42和主轴线44倾斜于直线连接线26和直线连接线28并且还倾斜于直线连接线37、直线连接线39和直线连接线41延伸。
图1仅以分段方式示出了具有25个点或结构元素12的结构图案16。实际上，结构图案16具有明显更多数量的结构元素12，在此通过中断的延续线46和48的方式来表示。
各个结构元素或点12之间的距离优选地为相机M、相机H和相机V的图像传感器的4至10个像素。结构图案16的各个结构元素12之间要选择的距离将取决于可以确定相机M、相机H和相机V的图像中的结构元素或点12的坐标的准确度。
虽然结构元素12仅可以照亮在相机M、相机H和相机V中成像的场景14的部分区域，但是通常来自投影仪36的照明的开度角至少与相机M、相机H和相机V的全视角或全视场一样大，因此，相机M、相机H和相机V中的图像完全由结构元素12填充(populate)。
在图1中，通过示例的方式描绘了由投影仪36发射并使结构图案16投影的照明光的各个透射线50。同样地，在图1中通过示例的方式示出了从各个结构元素12开始的用于相机H的接收线52、用于相机M的接收线54以及用于相机V的接收线56。因此，使用相机M、相机H和相机V来拾取投影到场景14上的结构图案16。
设备10还具有控制装置58，控制装置58具有存储单元60和计算单元62。存储单元60和计算单元62连接至相机M、相机H和相机V，并且出于相互数据交换的目的连接至投影仪36(未示出)。
由于在此优选了以下布置：投影仪36的出射光瞳38以及相机M、相机H和相机V的入射光瞳位于垂直于相机M的光轴30、相机H的光轴32和相机V的光轴34的一个共同平面上，因此，在相机M、相机H和相机V中成像的结构图案16总是看起来为相同尺寸，而与投影结构图案16距相机M、相机H和相机V的距离无关。更具体地，如果投影结构图案16距相机M、相机H和相机V的距离改变，则相机M、相机H和相机V的图像中的各个结构元素12之间的距离不变。
图2以相对于图1更大的比例示出了对象64位于其中的场景14的一部分，对象64在此以简化形式示出为立方体。在图2中，结构元素12中的四个结构元素用附图标记66、68、70和72表示，其中，这些结构元素或点与其余结构元素12相比具有距相机M、相机H和相机V更短的距离。然而，相对于对象64不存在于场景14中的情况而言，结构元素66、68、70和72在相机M、相机H和相机V的相机图像中的相互距离保持不变。
用于识别相机M、相机H和相机V的校准图像中的投影到场景14上的结构图案16的各个结构元素12的方法的基本原则在于：准确了解投影仪36的位置和定向(即，投影光的透射位置和针对每个单独的结构元素12的透射方向)以及相机M、相机H和相机V的位置和定向(即，来自各个结构元素12的光线的接收位置和接收方向)。为此，如下面将参照图3至图6所描述的，记录校准图像。
在不改变相机M、相机H和相机V以及投影仪36的布置的情况下记录校准图像，也就是说，如随后在用于识别相机M、相机H和相机V的图像中的投影到场景14上的结构元素12的方法中的情况那样，相机M、相机H和相机V以及投影仪36具有相同的位置和定向。
首先，使用相机M、相机H和相机V来记录第一校准图像，其中，由投影仪36将结构图案16投影到距相机M、相机H和相机V以及投影仪36第一距离处的平面表面上。图3通过示例的方式针对相机M示出了相机M的图像传感器的图像表面74，其中，利用相机M将投影到第一平面表面上的结构图案16记录为校准图像76。
随后，使用相机M、相机H和相机V来记录至少一个第二校准图像，其中，由投影仪36将结构图案16投影到距相机M、相机H和相机V以及投影仪36至少一个第二距离处的平面表面上，其中，至少一个第二距离大于或小于第一距离。图4通过示例的方式示出了使用相机M对第二校准图像78的记录。
在记录校准图像时的平面表面被定向成垂直于光轴30、光轴32和光轴34。
还可以在投影结构图案16的几个不同距离处记录多于两个的校准图像。
用相机M、相机H和相机V记录的校准图像存储在例如存储单元60中。
图5示出了根据图3和图4的用相机M记录的两个校准图像76、78的叠加。如已经提到的，在相机M、相机H和相机V的校准图像中，尽管投影结构图案16距相机M、相机H和相机V的距离不同，但是各个结构元素12彼此之间的距离总是保持相同。
图5示出了校准图像78中的各个结构元素12相对于校准图像76已经移动。现在例如通过计算单元62从根据图3和图4的存储在例如存储单元60中的校准图像获得校准数据，校准数据针对各个结构元素12在各自情况下具有第一参数、第二参数和第三参数的组合，第一参数使相应结构元素12与相机M和投影仪36的位置和定向相关，第二参数使相应结构元素12与相机H和投影仪36的位置和定向相关，第三参数使相应结构元素12与相机V和投影仪36的位置和定向相关。
为了进一步说明校准，通过示例的方式，结构元素12中的四个结构元素在图3的校准图像76中被表示为A1、A2、B1和B2，并且与结构元素A1、A2、B1、B2相关联且相对于相机图像76偏移的结构元素在图4的校准图像78中用A1’、A2’、B1’和B2’表示。
如果在各自情况下直线现在穿过成对的相关联的结构元素A1、A1’；A2、A2’；B1、B1’和B2、B2’，则这将给出根据图5的直线76、78、80、82。
为了简单，图6以较大的比例仅示出了相机M的图像平面76中的结构元素A1、A1’；A2、A2’；B1、B1’和B2、B2’的图像。同样，图6示出了直线76、78、80和82。直线76、78、80和82是所谓的照明核线。从图6可以看出，所有照明核线76、78、80、82相对于彼此平行，这是由投影器36的位置引起的，因为在此投影器36优选地与相机M位于z轴方向上的同一高度处。因此，照明核线76、78、80和82具有相同的斜率StM，但与相机M的参考轴线84的相应交点SPMA1、SPMB1、SPMA2和SPMB2不同。例如，使用相机M的图像传感器的第一扫描线作为参考轴线84。
从图6可以看出，每个成像结构元素A1、A2、B1、B2总是位于相同的照明核线76、78、80或82上，但是如通过偏移结构元素A1’、A2’、B1’和B2’所示的，每个成像结构元素A1、A2、B1、B2在所述照明核线上的位置取决于相应的投影结构元素A1、A2、B1、B2距相机M的距离。此外，位于与相应结构元素A1、A2、B1、B2相关的相应照明核线上的不仅有其在相机M中的图像，而且还有投影到场景中(或在校准期间投影到平面表面上)的结构元素本身。
此外，由于相机M和投影仪36在z轴方向上的同一高度处的位置和定向及其平行光轴30和40(图1)，照明核线76、78、80和82平行于相机M和投影仪36的直线连接线37(图1)。
虽然图6通过示例的方式针对结构元素A1、A2、B1、B2示出了四个照明核线76、78、80、82，但是应当理解，针对相机M的照明核线与结构图案16的每个结构元素12相关联。
相应的条件适用于针对相机H和相机V的各个结构元素12。与相机H相关的一个照明核线和与相机V相关的一个照明核线与投影结构图案16的每个结构元素12相关联。与相机H相关的照明核线依次相互平行并且平行于直线连接线39(图1)，并且与相机V相关的照明核线同样相互平行并且平行于直线连接线41(图1)。
此外，与相机H相关的照明核线在各自情况下具有与参考轴线(例如，相机H的第一扫描线)的交点SPH，并且与相机V相关的照明核线在各自情况下同样具有与参考轴线(例如，相机V的第一扫描线)的一个交点SPH。
通过示例的方式，根据图6，以下等式适用于到结构元素A1的照明核线76与相机M的参考轴线84的交点SPMA1：
SPMA1＝x1-(y1*(x2-x1)/(y2-y1))。
对于到结构元素A1的该照明核线的斜率StM，以下适用：
StM＝(y1-y2)/(x1-x2)。
如已经提到的，对于所有照明核线，StM是相同的。
类似地，可以根据用相机H和相机V记录的校准图像来计算与相机H相关的照明核线的交点SPH和斜率StH以及与相机V相关的照明核线的交点SPV和斜率StV。
如果投影仪36在图1中的z轴方向上距相机M、相机H和相机V有一定距离，则与相应相机M、相机H或相机V相关的照明核线将不再相互平行，而是具有不同的斜率，但总是在相同的结构元素处开始。
对于投影结构图案16的每个结构元素12，所计算的参数SPM、SPH和SPV被存储在存储单元60中。同样地，斜率StM、StH和StV被存储在存储单元60中，其中，在此处优选的示例性实施方式中在各自情况下对于斜率StM、StH和StV仅获得一个值。
优选地，具有相关联的参数SPM、SPH和SPV以及参数StM,StH和StV的投影结构图案16的所有结构元素12以校准列表的形式被存储在存储单元60中。在此，每个结构元素12由SPM、SPH和SPV的单独组合唯一描述。
现在参照图7描述关于如何利用先前描述的校准数据可以识别相机M、相机H和相机V的相机图像中的根据图1的投影到场景14中的结构图案16的各个结构元素12，或换言之，如何使在相机M、相机H和相机V中成像的结构元素12可以与投影结构元素12唯一关联。
图7以平面投影图示出了投影结构图案16以及相机M的图像表面74、相机H的图像表面84和相机V的图像表面86。
接下来通过示例的方式描述关于如何可以可靠地识别在相机M的图像表面74中成像的结构元素M1，换言之，如何可以使在相机M的图像表面74中成像的结构元素M1与投影结构元素12中的一个投影结构元素唯一关联。
首先，确定在图像表面74中的成像结构元素M1的像素坐标Mx和My。实际上，这仅可能达到特定的准确度，使得结构元素M1的真实位置位于公差带内。
最初，使用计算单元62根据像素坐标Mx和My来计算结构元素Mxy所位于的直线(其为照明核线)：
SPMM1＝Mx-(My/StM)
如上已经说明的，对于属于相机M的所有照明核线，斜率StM是相同的，并且因此斜率StM被存储在存储单元60中并且可以容易地从存储单元60读取。因此，可以以简单的方式计算SPMM1(也就是说，结构元素M1所位于的照明核线的交点)。
由于不可能准确地确定像素坐标Mx和My，因此，SPMM1位于公差带内。
接下来，现在从校准列表中读取与存储在存储单元60中的校准列表中的相应SPM相关联的投影结构图案16的所有结构元素12，相应SPM位于SPMM1的值的公差带内。
从图7可以看出，成像结构元素M1所位于的照明核线非常靠近两个另外的照明核线，这些照明核线在各自情况下具有在计算值SPMM1的公差带内的SPM。
在参数SPMM1的公差带内，用于与成像结构元素M1相关联的投影结构图案16的可能候选结构元素是结构元素C1、B2和A3，它们都位于SPM在SPMM1的公差带内的相应照明核线上。从校准列表中读取结构元素C1、B2、A3，所述校准列表包括它们的相关联但都不相同的参数SPHC1、SPHB2、SPHA3、SPVC1、SPVB2、SPVA3。
对于结构元素C1、B2和A3中的每个结构元素，计算单元62现在可以计算其将位于相机H的图像和相机V的图像中的何处以及位于哪个相机核线上。
由于相机M和相机H的位置和定向，在此优选地位于与平行光轴同一高度处，相机M和相机H的相机核线(图7通过示例的方式使用中断线90、91、92示出了三个)被对准并且相互平行。投影结构元素12的该结构元素(在候选结构元素C1、B2或A3(其在相机M中的图像是成像结构元素M1)的情况下)在相机H的图像中位于以下相机核线上，该相机核线与成像结构元素M1在相机M的图像中所位于的相机核线具有相同的y值Hy，即：Hy＝My。
如果候选结构元素C1、B2、A3中的一个候选结构元素可以与成像结构元素M1唯一关联，则对于相关结构元素C1、B2、A3，在相机H的相机核线上必须存在关于y值Hy的x值，即，等式：
Hx＝SPHC1；B2；A3+My/StH
对于相关结构元素C1、B2、A3必须具有Hx的解。该计算同样可以由计算单元执行。
从图7可以看出，对于结构元素A3，存在Hx的解，而对于结构元素C1和B2，不满足先前提及的等式。从图7可以看出，结构元素C1的图像HC1在相机H的图像中位于与要识别的结构元素M1不同的相机核线上(特别地，在相机核线92上)，并且投影结构元素B2的图像HB2在相机H的图像中也位于与要识别的成像结构元素M1不同的相机核线上(特别地，在相机核线91上)。仅M1和A3的图像HA3在相机M的图像中位于同一相机核线90上。
因此，仅结构元素A3在相机H中的图像HA3可以与相机M的图像中的图像M1一对一关联，其中，可以用以下等式来验证
Mx＝SPMA3+My/StM
SPMA3在此已经从校准列表已知。
因此，投影结构元素A3可以与相机M的图像中的图像M1唯一关联。反过来，对于相机H的图像中的图像HA3也是如此。
相机M的图像中要识别的另一示例性结构元素被表示为M2。使用如关于图像M1所描述的相同过程，结果是结构元素B1的图像HB1可以与相机M的图像中的结构元素M2一对一关联。
在图7中用VA3表示结构元素A3在相机V中的图像，并且用VB1表示结构元素B1在相机V中的图像。第三相机V对于所描述的方法不是强制性的，而是可选地存在。第三相机V可以用于进一步验证相机M和相机H的图像中的结构元素的一对一关联。特别地，如果结构元素12在相机M和相机H中的一者中不可见，例如，如果其被肩部或边缘阻挡，则这是有用的，其中，可以利用相机V结合可以看到相关结构元素的相机M和相机H中的相机使与该结构元素唯一关联。如果相机之一以掠射的(grazing)方式查看场景14中的表面，则第三相机也是有用的。
在已经可靠地识别出相机M、相机H和/或相机V的图像中的投影结构图案16的各个结构元素12之后，可以执行投影结构元素12的距离确定，这会得到正确的距离。通过前述方法可以避免所监视的机器的错误关断和危险情况。
为了增加结构元素12的图像在相机M、相机H和相机V中的对比度，可以另外规定投影仪36以具有如下脉冲频率的脉冲方式传送结构图案16：所述脉冲频率对应于相机M、相机H和相机V的图像记录频率的一半，其中，在各自情况下，使由相机M、相机H和相机V拾取的两个顺序图像彼此相减。这使得在相机M、相机H和相机V的图像中仅有效地留下结构元素12的图像，而场景14本身和位于其中的对象在相机图像中不可见。
应当理解，本发明不限于上述示例性实施方式。因此，根据本发明的方法和根据本发明的设备的功能不限于以下事实：相机M、相机H和相机V以它们的入射光瞳在同一高度来布置以及/或者投影仪36同样以其出射光瞳在该平面中来布置。相机M、相机H和相机V以及投影仪36的光轴也不必相互平行。另外，代替周期性结构图案，可以使用非周期性结构图案或随机分布的结构图案。

Claims (25)

1.一种用于识别相机图像中的投影到场景(14)上的结构图案(16)的各个结构元素(12)的方法，其中，使用投影仪(36)将所述结构图案(16)投影到所述场景(14)上，并且其中，使用第一相机(M)和至少一个第二相机(H,V)来拾取投影到所述场景(14)上的结构图案(16)，其中，所述第一相机(M)和所述至少一个第二相机(H,V)被定位成彼此相距一定距离，并且其中，所述投影仪(36)被定位成在距所述第一相机(M)和距所述至少一个第二相机(H,V)一定距离处且在所述第一相机和所述至少一个第二相机(M,H,V)的直线连接线(26,28)之外，其中，对于所述第一相机(M)的相机图像中要识别的结构元素(12)，通过下述校准数据来确定所述至少一个第二相机(V,H)的相机图像中的可以与所述第一相机(M)的相机图像中要识别的结构元素(12)一对一关联的结构元素(12)：所述校准数据针对所述各个结构元素(12)在各自情况下具有第一参数和至少第二参数的组合，所述第一参数使相应结构元素(12)与所述第一相机(M)和所述投影仪(36)的位置和定向相关，所述至少第二参数使所述相应结构元素(12)与所述至少一个第二相机(H,V)和所述投影仪(36)的位置和定向相关，所述校准数据通过使用所述第一相机和所述至少一个第二相机(M,H,V)记录由所述投影仪(36)投影的结构图案(16)的校准图像(76,78)来获得，
其中，所述各个结构元素(12)的第一参数包括与所述第一相机(M)相关的第一照明核线的斜率(StM)以及所述第一照明核线与第一参考轴线(84)的交点(SPM)，并且所述各个结构元素的至少第二参数包括与所述至少一个第二相机(H,V)相关的第二照明核线的斜率(StH,StV)以及所述第二照明核线与第二参考轴线的交点(SPH,SPV)，其中，照明核线位于相应相机的图像平面内，并且其中，每个成像结构元素总是位于相同的照明核线上并且每个成像结构元素在该照明核线上的位置取决于相应的投影结构元素距相机的距离。
2.根据权利要求1所述的方法，其中，所述第一参考轴线(84)是所述第一相机(M)的扫描线，并且所述第二参考轴线是所述至少一个第二相机(H,V)的扫描线。
3.根据权利要求1或2所述的方法，其中，为了记录所述校准图像(76,78)，将所述结构图案(16)依次投影到第一表面上和第二表面上，其中，所述第一表面和所述第二表面在所述投影仪(36)的透射方向上彼此间隔开。
4.根据权利要求3所述的方法，其中，所述第一表面是平面表面，并且所述第二表面是平面表面。
5.根据权利要求1或2所述的方法，其中，确定所述第一相机(M)的相机图像中要识别的相应结构元素(12)的像素坐标，根据所述像素坐标和所述校准数据来计算至少第一参数，从所述校准数据读取能够在公差带内的同样满足所述至少一个第一参数的所有结构元素(12)，还针对所读取的结构元素(12)中的每个结构元素读取所述至少第二参数中的至少一个第二参数，以及确定所述至少一个第二相机(H,V)的相机图像中的可以与所述第一相机(M)的相机图像中要识别的结构元素(12)一对一关联的结构元素(12)。
6.根据权利要求1或2所述的方法，其中，另外使用第三相机(V)来拾取投影到所述场景(14)上的结构图案(16)，所述第三相机(V)被定位成在所述第一相机和所述第二相机(M,H)的直线连接线(26)之外、并且在所述第一相机(M)和所述投影仪(36)的直线连接线(37)之外、并且在所述第二相机(H)和所述投影仪(36)的直线连接线(39)之外，其中，所述校准数据另外具有第三参数，所述第三参数使所述相应结构元素(12)与所述第三相机(V)和所述投影仪(36)的位置和定向相关。
7.根据权利要求1或2所述的方法，其中，所述结构元素(12)在所述结构图案(16)上被均匀地分布在两个主轴线(42,44)上。
8.根据权利要求7所述的方法，其中，所述主轴线是相互垂直的轴线。
9.根据权利要求7所述的方法，其中，将所述结构图案(16)投影到所述场景(14)上，使得所述结构图案(16)的两个主轴线(42,44)相对于所述第一相机和所述至少一个第二相机(M,H,V)的直线连接线(26,28)倾斜延伸以及/或者相对于所述投影仪(36)与所述第一相机和所述至少一个第二相机(M,H,V)的直线连接线(37,39,41)倾斜延伸。
10.根据权利要求1或2所述的方法，其中，所述结构图案(16)是点图案，并且所述结构元素(12)是点。
11.根据权利要求1或2所述的方法，其中，所述结构图案(16)以具有如下脉冲频率的脉冲方式传送：所述脉冲频率对应于所述第一相机和所述至少一个第二相机(M,H,V)的图像记录频率的一半，并且其中，在各自情况下，使由所述第一相机和所述至少一个第二相机(M,H,V)拾取的两个顺序图像彼此相减，以及/或者其中，使用光学滤波器来阻挡所述相机图像中的环境光，所述光学滤波器仅能够在投影图案(16)被投影时所利用的投影光的波长范围内透射。
12.根据权利要求1或2所述的方法，其中，所述方法用于监视危险区。
13.根据权利要求12所述的方法，其中，所述方法用于确保所述危险区的安全。
14.根据权利要求12所述的方法，其中，所述危险区是机器的危险区。
15.一种用于识别相机图像中的投影到场景(14)上的结构图案(16)的结构元素(12)的设备，包括投影仪(36)，所述投影仪(36)用于将所述结构图案(16)投影到所述场景(14)上；还包括第一相机(M)和至少一个第二相机(H,V)，所述第一相机(M)和所述至少一个第二相机(H,V)用于拾取投影到所述场景(14)上的结构图案(16)，其中，所述第一相机(M)和所述至少一个第二相机(H,V)被定位成彼此相距一定距离，并且其中，所述投影仪(36)被定位成在距所述第一相机(M)和距所述至少一个第二相机(H,V)一定距离处且在所述第一相机和所述至少一个第二相机(M,H,V)的直线连接线(26,28)之外；还包括存储单元(60)，所述存储单元(60)存储有校准数据，所述校准数据针对各个结构元素(12)在各自情况下具有第一参数和至少第二参数的组合，所述第一参数使相应结构元素(12)与所述第一相机(M)和所述投影仪(36)的位置和定向相关，所述至少第二参数使所述相应结构元素(12)与所述至少一个第二相机(H,V)和所述投影仪(36)的位置和定向相关；并且还包括计算单元(62)，所述计算单元(62)适于：对于所述第一相机(M)的相机图像中要识别的结构元素(12)，使用所述校准数据来确定所述至少一个第二相机(H,V)的相机图像中的可以与所述第一相机(M)的相机图像中要识别的所述结构元素(12)一对一关联的结构元素(12)，
其中，存储在所述存储单元(60)中的所述各个结构元素(12)的第一参数包括与所述第一相机(M)相关的第一照明核线的斜率(StM)以及所述第一照明核线与第一参考轴线(84)的交点(SPM)，并且所述各个结构元素(12)的至少第二参数包括与所述至少一个第二相机(H,V)相关的第二照明核线的斜率(StH,StV)以及所述第二照明核线与第二参考轴线的交点(SPH,SPV)，其中，照明核线位于相应相机的图像平面内，并且其中，每个成像结构元素总是位于相同的照明核线上并且每个成像结构元素在该照明核线上的位置取决于相应的投影结构元素距相机的距离。
16.根据权利要求15所述的设备，其中，所述计算单元(62)被设置成确定所述第一相机(M)的相机图像中要识别的所述结构元素(12)的像素坐标以：根据所述像素坐标和所述校准数据来计算至少第一参数；从所述校准数据读取能够在公差带内的同样满足所述至少一个第一参数的所有结构元素(12)；还针对所读取的结构元素(12)中的每个结构元素读取所述至少第二参数中的至少一个第二参数；以及确定所述至少一个第二相机(H,V)的相机图像中的可以与所述第一相机(M)的相机图像中要识别的结构元素(12)一对一关联的结构元素(12)。
17.根据权利要求15或16所述的设备，其中，所述第一相机(M)的入射光瞳(18)、所述至少一个第二相机(H,V)的入射光瞳(20,22)和所述投影仪(36)的出射光瞳(38)位于一个共同平面中。
18.根据权利要求15或16所述的设备，其中，所述第一相机(M)的光轴(30)、所述至少一个第二相机(H,V)的光轴(32,34)和所述投影仪(36)的光轴(40)相互平行。
19.根据权利要求15或16所述的设备，其中，所述第一相机与所述至少一个第二相机(M,H,V)之间的距离不同于所述投影仪(36)与所述第一相机(M)之间的距离，并且不同于所述投影仪(36)与所述至少一个第二相机(H,V)之间的距离。
20.根据权利要求15或16所述的设备，还包括第三相机(V)，所述第三相机(V)用于拾取投影到所述场景(14)上的结构图案(16)，其中，所述第三相机(V)被定位成在所述第一相机和所述第二相机(M,H)的直线连接线(26)之外、并且在所述第一相机(M)和所述投影仪(36)的直线连接线(37)之外、并且在所述第二相机(H)和所述投影仪(36)的直线连接线(39)之外，其中，存储在所述存储单元(62)中的校准数据另外具有第三参数，所述第三参数使所述相应结构元素(12)与所述第三相机(V)和所述投影仪(36)的位置和定向相关。
21.根据权利要求15或16所述的设备，其中，所述投影仪(36)被设置成以点图案的形式生成所述结构图案(16)。
22.根据权利要求15或16所述的设备，其中，所述投影仪(36)适于以具有如下脉冲频率的脉冲方式传送所述结构图案(16)：所述脉冲频率对应于所述第一相机和所述至少一个第二相机(M,H,V)的图像记录频率的一半，并且其中，所述计算单元(62)被设置成：在各自情况下使由所述第一相机和所述至少一个第二相机(M,H,V)拾取的两个图像彼此相减，以及/或者所述设备包括用于阻挡所述相机图像中的环境光的光学滤波器，所述光学滤波器仅能够在所述结构图案(16)被投影时所利用的投影光的波长范围内透射。
23.根据权利要求15或16所述的设备，其中，所述设备用于监视危险区。
24.根据权利要求23所述的设备，其中，所述设备用于确保所述危险区的安全。
25.根据权利要求23所述的设备，其中，所述危险区是机器的危险区。
CN201580049754.9A 2014-09-17 2015-08-10 用于识别相机图像中的投影结构图案的结构元素的方法和设备 Active CN107077729B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102014113389.7 2014-09-17
DE102014113389.7A DE102014113389A1 (de) 2014-09-17 2014-09-17 Verfahren und Vorrichtung zum Identifizieren von Strukturelementen eines projizierten Strukturmusters in Kamerabildern
PCT/EP2015/068377 WO2016041695A1 (de) 2014-09-17 2015-08-10 Verfahren und vorrichtung zum identifizieren von strukturelementen eines projizierten strukturmusters in kamerabildern

Publications (2)

Publication Number Publication Date
CN107077729A CN107077729A (zh) 2017-08-18
CN107077729B true CN107077729B (zh) 2021-02-09

Family

ID=53879492

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580049754.9A Active CN107077729B (zh) 2014-09-17 2015-08-10 用于识别相机图像中的投影结构图案的结构元素的方法和设备

Country Status (6)

Country Link
US (1) US10068348B2 (zh)
EP (1) EP3195256B1 (zh)
JP (1) JP6625617B2 (zh)
CN (1) CN107077729B (zh)
DE (1) DE102014113389A1 (zh)
WO (1) WO2016041695A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6922169B2 (ja) 2016-08-24 2021-08-18 ソニーグループ株式会社 情報処理装置および方法、車両、並びに情報処理システム
US10414048B2 (en) 2016-09-14 2019-09-17 Faro Technologies, Inc. Noncontact safety sensor and method of operation
US10841561B2 (en) * 2017-03-24 2020-11-17 Test Research, Inc. Apparatus and method for three-dimensional inspection
CN107464265B (zh) * 2017-06-14 2021-05-11 深圳市圆周率软件科技有限责任公司 一种双目全景相机的参数标定系统及方法
US11096765B2 (en) 2018-06-22 2021-08-24 Align Technology, Inc. Light field intraoral 3D scanner with structured light illumination
US10901092B1 (en) * 2018-10-02 2021-01-26 Facebook Technologies, Llc Depth sensing using dynamic illumination with range extension
US10896516B1 (en) * 2018-10-02 2021-01-19 Facebook Technologies, Llc Low-power depth sensing using dynamic illumination
GB2584439B (en) * 2019-06-03 2023-02-22 Inspecvision Ltd Projector assembly system and method
US11398085B2 (en) * 2020-07-31 2022-07-26 Wisconsin Alumni Research Foundation Systems, methods, and media for directly recovering planar surfaces in a scene using structured light
WO2023094530A1 (en) * 2021-11-25 2023-06-01 Trinamix Gmbh One shot calibration

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19502459A1 (de) * 1995-01-28 1996-08-01 Wolf Henning Verfahren zur dreidimensionalen optischen Vermessung der Oberfläche von Objekten
CA2309008C (en) * 1999-05-24 2007-07-17 Richard Mcbain High speed laser triangulation measurements of shape and thickness
US6341016B1 (en) * 1999-08-06 2002-01-22 Michael Malione Method and apparatus for measuring three-dimensional shape of object
DE602004015799D1 (de) * 2003-07-24 2008-09-25 Cognitens Ltd Verfahren und system zur dreidimensionalen oberflächenrekonstruktion eines objekts
DE102004020419B3 (de) * 2004-04-23 2005-10-20 3D Shape Gmbh Verfahren und Vorrichtung zur Bestimmung der Form und der lokalen Oberflächennormalen spiegelnder Oberflächen
JP4871352B2 (ja) * 2005-03-11 2012-02-08 クリアフォーム インク． ３次元スキャンの自動参照システム及び装置
US7454841B2 (en) * 2005-11-01 2008-11-25 Hunter Engineering Company Method and apparatus for wheel alignment system target projection and illumination
DE102006002602A1 (de) * 2006-01-13 2007-07-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Kalibrierungsverfahren und Kalibrierungssystem
DE502007001505D1 (de) 2007-07-20 2009-10-22 Sick Ag Verfahren zum Betrieb eines 3D-Sensors
DE102007036129B3 (de) * 2007-08-01 2008-09-25 Sick Ag Vorrichtung und Verfahren zur dreidimensionalen Überwachung eines Raumbereichs mit mindestens zwei Bildsensoren
US8139110B2 (en) * 2007-11-01 2012-03-20 Northrop Grumman Systems Corporation Calibration of a gesture recognition interface system
DE202008017729U1 (de) * 2008-06-10 2010-06-10 Sick Ag Dreidimensionale Überwachung und Absicherung eines Raumbereichs
JP5457865B2 (ja) * 2010-02-02 2014-04-02 倉敷紡績株式会社 非接触三次元計測装置及び非接触三次元計測方法
JP5567738B2 (ja) * 2010-05-07 2014-08-06 深▲せん▼泰山在線科技有限公司 構造化光測定方法及びシステム
JP2011237296A (ja) * 2010-05-11 2011-11-24 Nippon Telegr & Teleph Corp <Ntt> ３次元形状計測方法、３次元形状計測装置、及びプログラム
JP2013210254A (ja) * 2012-03-30 2013-10-10 Canon Inc 三次元計測装置、三次元計測方法及び三次元計測プログラム
JP6021533B2 (ja) * 2012-09-03 2016-11-09 キヤノン株式会社 情報処理システム、装置、方法及びプログラム
DE102012023623B4 (de) * 2012-11-28 2014-07-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zum Zusammensetzen von Teilaufnahmen einer Oberfläche eines Objektes zu einer Gesamtaufnahme des Objektes und System zum Erstellen einer Gesamtaufnahme eines Objektes
DE102012112321B4 (de) * 2012-12-14 2015-03-05 Faro Technologies, Inc. Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
US20140307055A1 (en) * 2013-04-15 2014-10-16 Microsoft Corporation Intensity-modulated light pattern for active stereo
US20140368614A1 (en) * 2013-06-13 2014-12-18 Edge Toy, Inc. Three dimensional scanning apparatuses and methods for adjusting three dimensional scanning apparatuses
US20150015701A1 (en) * 2013-07-10 2015-01-15 Faro Technologies, Inc. Triangulation scanner having motorized elements
US9562760B2 (en) * 2014-03-10 2017-02-07 Cognex Corporation Spatially self-similar patterned illumination for depth imaging
DE102014210672A1 (de) * 2014-06-05 2015-12-17 BSH Hausgeräte GmbH Gargerät mit Lichtmusterprojektor und Kamera
WO2015191605A1 (en) * 2014-06-09 2015-12-17 The Johns Hopkins University Virtual rigid body optical tracking system and method
US20150381972A1 (en) * 2014-06-30 2015-12-31 Microsoft Corporation Depth estimation using multi-view stereo and a calibrated projector

Also Published As

Publication number Publication date
JP6625617B2 (ja) 2019-12-25
EP3195256A1 (de) 2017-07-26
WO2016041695A1 (de) 2016-03-24
US10068348B2 (en) 2018-09-04
EP3195256B1 (de) 2020-06-10
CN107077729A (zh) 2017-08-18
JP2017531258A (ja) 2017-10-19
US20170178354A1 (en) 2017-06-22
DE102014113389A1 (de) 2016-03-17

Similar Documents

Publication Publication Date Title
CN107077729B (zh) 用于识别相机图像中的投影结构图案的结构元素的方法和设备
US9858682B2 (en) Device for optically scanning and measuring an environment
US20170131085A1 (en) Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device
US8970823B2 (en) Device for optically scanning and measuring an environment
KR100753885B1 (ko) 촬상 장치
US20140168370A1 (en) Device for optically scanning and measuring an environment
CN109141373A (zh) 用于防护机器的传感器
JP2016001181A (ja) カメラのミスキャリブレーションの実行時決定のためのシステムと方法
CN106997455A (zh) 用于安全地检测出最小尺寸的对象的光电传感器和方法
JP2016186469A (ja) 情報処理装置、情報処理方法、プログラム
TWI672937B (zh) 三維影像處理之裝置及方法
JP2015106287A (ja) キャリブレーション装置及び方法
JP3677444B2 (ja) 三次元形状測定装置
JP2017528714A (ja) ３次元座標の光学測定のための方法および３次元測定デバイスの制御
JP2017527812A (ja) ３次元座標の光学測定のための方法および３次元測定デバイスの較正
JP2007093412A (ja) ３次元形状測定装置
JP6180158B2 (ja) 位置姿勢計測装置、位置姿勢計測装置の制御方法、およびプログラム
US20230016639A1 (en) System and method for controlling automatic inspection of articles
JP6934811B2 (ja) 三次元測定装置
Rodrigues et al. Structured light techniques for 3D surface reconstruction in robotic tasks
US10060733B2 (en) Measuring apparatus
JP2008164338A (ja) 位置検出装置
Jovanović et al. Accuracy assessment of structured-light based industrial optical scanner
US20190113336A1 (en) Multi-Directional Triangulation Measuring System with Method
JP6611872B2 (ja) 計測装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant