CN111630345B - 用于根据空间区域的图像确定距离信息的方法 - Google Patents

用于根据空间区域的图像确定距离信息的方法 Download PDF

Info

Publication number
CN111630345B
CN111630345B CN201880087230.2A CN201880087230A CN111630345B CN 111630345 B CN111630345 B CN 111630345B CN 201880087230 A CN201880087230 A CN 201880087230A CN 111630345 B CN111630345 B CN 111630345B
Authority
CN
China
Prior art keywords
image
pixel
similarity value
imaging unit
disparity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880087230.2A
Other languages
English (en)
Other versions
CN111630345A (zh
Inventor
约尔格·豪斯曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pilz GmbH and Co KG
Original Assignee
Pilz GmbH and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pilz GmbH and Co KG filed Critical Pilz GmbH and Co KG
Publication of CN111630345A publication Critical patent/CN111630345A/zh
Application granted granted Critical
Publication of CN111630345B publication Critical patent/CN111630345B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16P—SAFETY DEVICES IN GENERAL; SAFETY DEVICES FOR PRESSES
    • F16P3/00—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body
    • F16P3/12—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine
    • F16P3/14—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact
    • F16P3/142—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact using image capturing devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/30—Interpretation of pictures by triangulation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G01V8/10—Detecting, e.g. by using light barriers
    • G01V8/20—Detecting, e.g. by using light barriers using multiple transmitters or receivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Geophysics (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种用于根据空间区域(18)的成像确定距离信息的方法(100)和设备(10)。该方法包括下述步骤：以限定的捕获几何形状(20)布置第一成像单元(12)、第二成像单元(14)和第三成像单元(16)，其中成像单元(12，14，16)跨越等腰三角形；限定具有多个离散视差的视差区域(56)；对空间区域(18)进行成像，借助于第一成像单元(12)捕获第一图像(40)，借助于第二成像单元(14)捕获第二图像(42)，并且借助于第三成像单元(16)捕获第三图像(44)；针对在第二图像(42)中沿第一对极线(50)的在限定的视差区域(56)中的所有离散视差，确定针对第一图像(40)的至少一个像素(54)的第一相似度值(66)，第一对极线与所述像素相关联；针对在第三图像(44)中沿第二对极线(52)的在限定的视差区域(56)中的所有离散视差，确定针对第一图像(40)的至少一个像素(54)的第二相似度值(68)，第二对极线与所述像素(54)相关联。该方法还包括：将第一相似度值(66)与第二相似度值(68)链接；基于所链接的相似度值(70)，针对至少一个像素(54)确定第一图像(40)、第二图像(42)和第三图像(44)之间的公共视差；以及根据公共视差和限定的捕获几何形状(20)，针对至少一个像素(54)确定到空间区域点的距离。

Description

用于根据空间区域的图像确定距离信息的方法
本发明涉及用于根据空间区域的图像确定距离信息的方法及对应的设备。此外，本发明涉及这种设备用于维护技术设施的危险区域的用途。
已知可以通过空间区域的偏移图像来确定空间区域中的对象的距离信息。偏移图像中对象的投影之间的偏移(视差)取决于对象到成像单元的距离，因此在已知偏移的情况下，可以通过使用成像几何形状的三角测量来确定到对象的距离。
为了确定偏移，必须在偏移图像中找到对应的元素。该过程被称为对应分析。虽然对于人类而言，在不同图像中找到对应的元素是容易的，但是对于计算机而言却是大的挑战。因此，可能发生分配错误，最终导致错误测量的距离。
在标准的立体系统中，即在使用利用两个传感器拍摄的立体图像的系统中，利用用于对应分析的复杂算法来解决左图像与右图像之间的分配问题。然而，尽管进行了所有努力，但是仍不能被完全排除分配问题或将分配问题可靠地降低至可容忍的水平。因此，特别是对于必须在至少限定范围内可靠地检测出距离的安全关键的应用，有必要采取附加措施来验证所测量的距离。
一种改善分配质量的方式是添加另外的传感器以形成另一立体对，以执行互补的距离测量。然后，将所确定的两个立体对的距离值分别用于检查其他立体对的结果。以这种方式，试图减少总体分配问题。如果所确定的距离值相等，则可以假定该距离是正确的。然而，如果结果不同，则复杂的决策过程必须确定结果之一的优先级或者拒绝两个结果。两者都需要对结果进行后处理，这显著增加了评估软件的复杂性。
因此，本发明的目的是提供一种能够进行准确的视差搜索、可以容易且有效地实现并且不需要复杂的后处理的方法和对应的设备。
该目的通过一种用于根据空间区域的图像确定距离信息的方法来解决，该方法包括：
-以限定的成像几何形状布置第一成像单元、第二成像单元和第三成像单元，其中，成像单元形成等腰三角形；
-限定具有多个离散视差的视差范围；
-拍摄空间区域的图像，其中，利用第一成像单元拍摄第一图像，利用第二成像单元拍摄第二图像，并且利用第三成像单元拍摄第三图像；
-针对在第二图像中沿与第一图像的至少一个像素相关联的第一对极线的在限定的视差范围中的所有离散视差，确定针对所述像素的第一相似度值；
-针对在第三图像中沿与所述第一图像的至少一个像素相关联的第二对极线的在限定的视差范围中的所有离散视差，确定针对所述像素的第二相似度值；
-对第一相似度值与第二相似度值进行组合；
-基于经组合的相似度值，针对所述至少一个像素确定第一图像、第二图像和第三图像之间的公共视差；以及
-根据公共视差和限定的采集几何形状，针对所述至少一个像素确定到空间区域内的点的距离。
根据本发明的另一方面，该目的通过一种用于根据空间区域的图像确定距离信息的设备来解决，该设备包括：用于拍摄空间区域的第一图像的第一成像单元、用于拍摄空间区域的第二图像的第二成像单元和用于拍摄空间区域的第三图像的第三成像单元，其中，第一成像单元、第二成像单元和第三成像单元以限定的成像几何形状布置，其中，成像单元形成等腰三角形；以及图像处理单元，其被配置成在具有多个离散视差的限定的视差范围内确定针对第一图像的至少一个像素的第一相似度值和第二相似度值，其中，图像处理单元被配置成针对在第二图像中沿与像素相关联的第一对极线的在限定的视差范围中的所有离散视差，确定针对至少一个像素的第一相似度值，并且针对在第三图像中沿与像素相关联的第二对极线的在限定的视差范围中的所有离散视差，确定针对至少一个像素的第二相似度值，其中，图像处理单元还被配置成：对第一相似度值与第二相似度值进行组合；基于经组合的相似度值，针对至少一个像素确定第一图像、第二图像和第三图像之间的公共视差；以及根据公共视差和限定的图像几何形状，针对至少一个像素确定到空间区域内的点的距离。
因此，本发明的构思是借助于三个成像单元来确定针对空间区域的距离信息。然而，代替针对两个可行的立体对执行两个立体对应分析，执行扩展对应分析，在该扩展对应分析中，来自所讨论的图像对的相似度值首先被组合，并且然后进行联合评估。因此，不执行两个单独的距离测量，其结果随后被合并和比较，然而仅执行单个距离测量，该单个距离测量组合并且同样地考虑了成像单元的信息。
由于合适的对极几何形状，这是可能的。成像单元以限定的成像几何形状布置，其中两个相邻的成像单元均生成对极几何形状的图像对，并且在所有图像对中相等的对象距离导致相同的视差。特别地，第一成像单元与第二成像单元之间的距离(基础宽度)以及第一成像单元与第三成像单元之间的距离是相等的，使得成像单元形成等腰(在特定情况下是等边的)三角形。然后，所拍摄的图像彼此具有一定关系，这使得来自所有成像单元的信息能够简单链接。换句话说，对应分析已经利用了扩展信息，该扩展信息是由各个图像对的相似度值的组合产生的。
如同使用三个成像单元的已知方法一样，针对两个立体图像对生成具有相似度值的至少两个数据集。然而，随后的视差确定不是针对每个单独的数据集分别执行的，而是基于两个数据集的聚合执行的。由于由限定的成像几何形状产生的合适的对极几何形状，因此可以借助于简单的算术运算容易地实现聚合。
由于在实际的对应分析之前对相似度值进行聚合，因此对于对应分析需要附加的聚合步骤，并且因此需要附加的计算步骤。然而，已经示出，与复杂的后处理相比，可以更容易地实现附加的聚合步骤。由于聚合优选地是被同样地应用于所有相似度值的简单操作，因此与具有大量的比较步骤和决策步骤的两个分别确定的距离信息的后处理相比，可以以较少的计算量来实现该附加的计算步骤。因此可以整体上简化实现方式。
因此，所公开的方法使得能够以可管理的复杂水平实现良好的分配质量。因此，已经完全解决了在开始提及的目的。
在优选的改进中，在限定的成像几何形状中，成像单元以等腰直角三角形布置。
特别有利的是，以直角三角形布置，其中一个成像单元位于三角形的顶点处并且其他两个成像单元位于等长勾股(leg)的端部处，这是因为利用该布置可以进一步简化相似度值的聚合。由于对极线彼此垂直并且优选地垂直于各个图像边缘，因此可以容易地实现扩展对应分析。
在另一改进中，通过将第一图像的至少一个像素及其周围环境与在第二图像中沿第一对极线的在限定的视差范围内的每个像素及其周围环境进行比较来确定第一相似度值，并且其中，通过将第一图像的至少一个像素及其周围环境与在第三图像中沿第二对极线的在限定的视差范围内的每个像素及其周围环境进行比较来确定第二相似度值。
在该改进中，执行局部聚合以确定相似度值。以这种方式，可靠的对应分析变得可能，由此可以容易地组合所得的相似度值。针对至少一个像素及其周围环境与沿第一对极线和第二对极线的每个像素及其周围环境的比较特别优选的是绝对差或二次差的总和。
在另一改进中，将第一相似度值添加至第二相似度值。
在该改进中，通过简单地将第一相似度值和第二相似度值相加来实现聚合。换句话说，在针对第一图像相对于第二图像的像素的在限定的视差范围内针对限定数目的离散视差确定的相似度值均被添加至针对相对于第三图像的像素的针对相同视差确定的值。执行和加法是可以快速且以节省资源的方式实现的简单的算术运算。因此，该改进进一步有助于该方法的有效实现方式。
在另一改进中，针对至少一个像素确定公共视差包括在经组合的相似度值中的极值搜索，特别是针对最小值的搜索。
在该改进中，借助于经组合的相似度值内的极值搜索来确定视差。因此，为了确定根据组合的视差值的视差，可以使用与已知的立体对应分析相同的方法。由于可以重复使用现有算法，因此简化了该方法的实现方式。
在另一改进中，将第一图像、第二图像和第三图像彼此变换，使得第一对极线沿第一轴延伸，并且第二对极线沿垂直于第一对极线的第二轴延伸。
在该改进中，进一步优化了在限定的成像几何形状中图像彼此的优选对准。最优选地，第一图像、第二图像和第三图像均具有相等数目的像素行和相等数目的像素列，其中，第一对极线在第二图像中沿与第一图像的至少一个像素所位于的像素行对应的像素行延伸，并且其中，第二对极线在第三图像中沿与第一图像的至少一个像素所位于的像素列对应的像素列延伸。在该改进中，可以按行和列处理图像，这使得图像处理简单且有效。
在另一改进中，针对第一图像的所有像素确定公共视差。可替选地，可以仅针对第一图像的限定数目的像素确定公共视差。虽然一个改进允许深度图的最大可能分辨率，但是另一改进允许深度值确定被限定为仅图像的相关区域，这允许仅相关区域的较快计算。
在另一改进中，该方法还包括：针对在第一图像中沿与第二图像的至少一个另外的像素相关联的第一对极线的在限定的视差范围中的所有离散视差，确定针对另外的像素的第三相似度值；针对在第三图像中沿与第二图像的至少一个另外的像素相关联的第二对极线的在限定的视差范围中的所有离散视差，确定针对另外的像素的第四相似度值；以及根据第三相似度值和第四相似度值确定另外的距离信息。
在该改进中，因此通过使用其他两个图像之一作为参考图像来确定至少一个另外的距离信息，其中，基于所选择的参考图像来确定第三相似度值和第四相似度值，并且第三相似度值和第四相似度值用于确定另外的距离信息。确定另外的距离信息还可以涉及第三相似度值和第四相似度值的聚合并且确定另一公共视差。可替选地，可以以常规方式根据第三相似度值和第四相似度值确定另外的距离信息。由此，不仅可以确定冗余距离信息，而且可以增加处理的多样性。总体上，该改进允许以简单的方式验证所确定的距离信息。应当理解，通过使用第一成像单元、第二成像单元和第三成像单元的图像中的每一个作为参考图像，可以实现质量的进一步提高。
应当理解，在不脱离本发明的范围的情况下，上述特征和下面将要说明的特征不仅可以以所示的组合使用，还可以以其他组合使用或唯一地使用。
本发明的示例性实施方式在附图中示出，并且在以下描述中更详细地说明。在附图中：
图1示出了根据示例性实施方式的设备的示意图。
图2示出了根据示例性实施方式的设备的透视图。
图3示出了根据示例性实施方式的方法的框图。
图4示出了第一成像单元、第二成像单元和第三成像单元的三个图像的示意图。
图5示出了第一相似度值和第二相似度值的示意图。
图6示出了经组合的相似度值的示意图。
图7示出了根据示例性实施方式的设备和方法的应用场景。
在图1中，根据示例性实施方式的设备整体利用附图标记10表示。
在该示例性实施方式中，设备10包括三个成像单元12、14、16，成像单元12、14、16中的每一个被设计成拍摄位于单元前面的空间区域18的图像。成像单元12、14、16优选地是具有一个光学器件的数字相机单元，每个光学器件用于将空间区域18投影至相机单元的图像传感器上。空间区域18中的空间中的每个点被唯一地分配至图像传感器的像素。成像单元12、14、16可以是完整的、独立起作用的相机，或者是其中成像单元的各个部分一起使用的组合单元，使得成像单元12、14、16本质上充当具有相关光学器件的三个单独的图像传感器。
三个成像单元12、14、16被布置为限定的成像几何形状20，成像几何形状20在此由虚线指示。在限定的成像几何形状20中，成像单元中之一12形成中央单元，另外两个成像单元14、16被布置在距该中央单元相等的距离处。因此，成像单元12、14、16形成等腰三角形，其中成像单元形成该三角形的顶点。
成像单元12、14、16优选地形成等腰直角三角形。中央成像单元12位于顶点处，并且另外两个成像单元14、16位于三角形的其余角处。三角形的勾股(leg)封闭成90°角。
根据由成像单元12、14、16提供的空间区域18的偏移图像，可以确定空间区域18中对象22、24的距离信息，这是因为偏移图像中对象22、24的投影之间的偏移取决于对象22、24到成像单元12、14、16的距离。借助于三角测量，可以使用成像几何形状20根据已知偏移来确定到对象22、24的距离。除了到对象22、24的纯距离之外，还可以在没有另外的传感器的情况下确定对象22、24彼此的相对位置。
根据在此示出的示例性实施方式的成像单元12、14、16的图像的处理由图像处理单元26执行，图像处理单元26根据图像确定到位于空间区域18中的各个对象22、24的距离信息。为此目的，图像处理单元26根据三个成像单元12、14、16的图像形成至少两个图像对，并且针对每个对确定一组相似度值。由于成像单元12、14、16的限定的布置，图像对的相似度值可以彼此直接组合，这使得能够联合评估相似度值，这在下面更详细地说明。
相似度值的联合评估使得能够进行准确的视差确定，其中不需要费时的后处理。因此，该方法本质上是使用扩展对应分析的一步过程，该扩展对应分析可以考虑来自若干传感器的信息。与具有两个距离确定过程和随后的合理性检查的两步过程相比，可以简化软件实现，这特别有利于将该方法移植到针对线性处理而设计的架构，而无需许多控制结构例如FPGA。
因此，在优选的配置中，图像处理单元26是FPGA，并且与成像单元12、14、16一起封闭在公共壳体28中。应当理解，在其他示例性实施方式中，图像处理单元26也可以是在壳体28外部的单独的单元。
图2以透视图示出了根据本发明的示例性实施方式的设备，特别是将三个成像单元12、14、16和图像处理单元26集成在公共壳体28中。在此，相同的附图标记指示与先前图1中相同的部件。
设备10被集成在壳体28中，并且经由安装部件30可安装在壁、桅杆等上。设备的面向监视空间区域(在此未示出)的基部32具有三个开口34a、34b、34c，在开口34a、34b、34c后方，三个成像单元12、14、16位于壳体28内部。成像单元12、14、16的光学器件位于中央开口36a、36b、36c的正后方。
通过开口36的连接线38在基部32中形成等腰三角形，其表示限定的成像几何形状20。因此，从第一成像单元12到第二成像单元14的距离等于从第一成像单元12到第三成像单元16的距离。如在此所示，限定的成像几何形状20也优选地为等腰直角三角形，即由开口36a处的直线形成的角度为90°角。
图3示出了根据示例性实施方式的方法的框图。方法整体在此利用附图标记100表示。
在第一步骤102中，以限定的成像几何形状布置第一成像单元、第二成像单元和第三成像单元，其中，成像单元形成等腰三角形。该步骤还可以包括成像单元的校准。
在下一步骤104中，确定具有多个离散视差的视差范围。视差范围指示两个图像对之间的可能视差的范围。视差范围可以由最小视差和最大视差指定，其中离散视差是其间具有限定的距离的对应的中间值。例如，如果最小视差为零并且最大视差为十个像素，则视差范围以一个像素的优选限定距离包括最小视差与最大视差之间的所有像素。
在步骤106中，对空间区域进行成像，其中，利用第一成像单元拍摄第一图像，利用第二成像单元拍摄第二图像，并且利用第三成像单元拍摄第三图像。在成像期间，空间区域中的每个点被唯一地分配至第一成像单元、第二成像单元和第三成像单元的图像传感器的像素。因此，在限定的时间点处，存在空间区域的三个单独的偏移图像。该步骤还可以包括图像的校正。
在步骤108中，针对在第二图像中沿与第一图像的像素相关联的第一对极线的在限定的视差范围内的所有离散视差，确定针对所述像素的第一相似度值。在该步骤中，在第一图像与第二图像之间进行比较。相对于第二图像中的相同像素以及在整个视差范围内从相同像素开始的所有其他像素，确定像素的相似度。由于对极几何形状，因此对应的像素仅可以沿对极线出现，使得搜索限于该区域。第一相似度值包括对于第一图像中的参考像素的针对所有离散视差的相似度值，该相似度值描述参考像素与第二图像中在离散视差的距离处的各个像素的相似度。
换句话说，首先，确定第一图像的像素与第二图像的对应像素相比有多相似。然后确定第一像素与对应像素的相邻像素的相似度。重复该过程，直到确定了针对直到最大可能的视差的所有离散视差的相似度值为止。
优选地，当确定相似度值时，不仅要相互比较各个像素以确定它们的相似度，而且还要考虑像素的直接周围环境。因此，优选地，应用经典的块匹配程序，其中，针对第一图像与第二图像之间的每个可能的视差，例如在7×7窗部分中，计算绝对(SAD值)差或二次(SSD值)差的总和。这些值是所考虑的窗部分的相似度的量度。窗部分越相似，相似度值就越低。在这种情况下，最小可能的相似度值为零，并且表示相同的窗部分。
在步骤110中，通过将步骤108中描述的过程应用于其余图像对来确定第二相似度值。因此，第二相似度值也例如是针对第一图像与第三图像之间的任何视差计算的SAD值或SSD值。第二相似度值可以在第一相似度值之后确定或并行确定。
一旦确定了第一相似度值和第二相似度值，就在步骤112中将它们适当地组合(聚合)。这可以通过对相同视差的第一相似度值和第二相似度值应用简单的算术运算来实现。优选地，将对应的相似度值相加在一起以获得经组合的相似度值。应当理解，通常不使用整数视差，而是使用子像素视差。
在对相似度值进行组合之后，确定视差。查找视差涉及在经组合的相似度值中寻找最小值。由于可以存在一个或更多个最小值，因此优选地，搜索不仅针对最小值，而且还针对存在明显最小值的点。为了找到这样的位置，例如，可以使用相对于最小值的阈值。如果最小值为1000，并且阈值为20％，则确定所有低于1200的值。还允许低于该阈值的两个值，前提是它们彼此相邻。如果无法满足该条件，则无法进行分配。
由于第一图像和第二图像的相似度值以及第一图像和第三图像的相似度值应当在相同的对象距离处由于限定的成像几何形状而导致相同的视差，因此，在步骤114中，基于经组合的相似度值，针对至少一个像素确定第一图像、第二图像与第三图像之间的公共视差。
随后，在步骤116中，基于公共视差，针对至少一个像素确定距离。在此，通过三角测量以已知方式根据已知成像几何形状和公共视差来计算距离。
不用说，以上程序不能应用于图像的单个像素，但是可以针对每个像素确定距离信息。此外，可以想到的是，可以仅针对第一图像的限定的像素区域确定距离信息，以将评估限制为相关区域。
因此，针对第一图像的每个另外相关的一个或更多个像素重复步骤108至116，直到已经针对所有相关像素确定了对应的距离信息为止。
应当理解，除了在此描述的步骤之外，该程序还可以包括另外的准备步骤和后续步骤。同样，这些步骤不必顺序地执行。在优选示例性实施方式中，一些步骤例如确定第一相似度值和第二相似度值被并行执行。另外，可以想到的是，不拍摄单个图像，而是考虑连续的图像序列，从中提取特定的单个图像。
图4示出了第一图像40、第二图像42和第三图像44的示例。第一图像40对应于利用第一成像单元12拍摄的图像，第二图像42对应于利用第二成像单元14拍摄的同时图像，并且第三图像44对应于利用第三成像单元16拍摄的另一同时图像。所有三个图像均示出了其中布置有对象的相同空间区域的图像，在此，作为示例，由三个斜杠“///”表示。
每个图像40、42、44对应于具有多个像素行46和多个像素列48的像素矩阵。在此所示出的优选示例性实施方式中，成像单元12、14、16的图像传感器具有相同的分辨率以及相同的像素列和像素行。因此，第一图像40、第二图像42和第三图像44具有相等数目的像素行46和像素列48。
将空间区域的每个点分配至像素矩阵的像素，并且将空间区域的可见点映射在像素矩阵上。由于成像单元彼此偏移，因此第一图像40、第二图像42和第三图像44上的空间区域的相同点可以被映射至各个图像的像素矩阵的不同像素。
附图标记50和52表示由限定的成像几何形状产生的对极线。除了三个成像单元的物理对准之外，可能还需要另外的校准步骤，特别是图像的校正以获得期望的对极几何形状。在优选示例性实施方式中，在对准之后，第一对极线50垂直于第二对极线52延伸。
通过对应分析，搜索第二图像42和第三图像44中针对第一图像40的像素的对应，以随后确定图像中所描绘的对象的视差。下面使用第一图像40的像素54作为示例示出。
由于第二图像42中的对极几何形状，与像素54的对应必须位于对极线50上。同样，在第三图像44中与像素54的对应必须在第二对极线52上。优选地，不是考虑沿对极线50、52的所有像素，而是仅考虑在限定的视差范围56内的像素。
视差范围56在此在第二图像和第三图像中从与像素54对应的像素58分别沿第一对极线50和第二对极线52延伸，并且受到最大视差60的限制。对可能的对应的搜索限于限定的视差范围56。在此所示出的优选示例性实施方式中，视差范围56内的每个像素描述了可能的离散视差。为了搜索对应，从沿第一对极线50或第二对极线52的对应像素58开始，将视差范围56中直到最大视差60的每个像素与参考像素54进行比较。优选地，不仅考虑他们各自的像素，而且还考虑像素的周围环境。换句话说，优选地，应用所谓的块匹配程序。
从在此所示出的示例可以看出，当将第一图像40与第二图像42进行比较时，视差范围56内的三个像素62a、62b、62c提供了针对像素54的相同的相似度测量。因此，在这种情况下，在视差范围56内搜索对应没有提供明确的结果。
另一方面，在第一40和在第三图44中搜索对应提供了明确的结果。在第三图像44中，对于沿第二对极线52的像素54，仅存在一个可能的对应64；换句话说，尽管对于像素54，与第二图像42的对应分析将导致分配问题，但是第一图像40与第三图像44之间的对应分析将提供明确的解决方案。
根据本发明的方法建议在进一步评估相似度值之前将结合在第一图像40、第二图像42和第三图像44中搜索对应所确定的相似度值进行组合。相似度值之间的聚合在下面利用图5和图6更详细地说明。
在图5中，在第一图和第二图中绘制了第一相似度值66和第二相似度值68，第一相似度值66和第二相似度值68是针对第一图像40的像素54在第二图像42和第三图像44中搜索可能的对应期间确定的。在上面的图中绘制了针对像素54的沿第一对极线50的相似度值，并且在下面的图中绘制了针对相同像素54的沿第二对极线52的相似度值。总体上，在此沿x轴绘制了针对三十二个离散视差的相似度值。各个值越低，则第一像素54和所考虑的像素越相似。根据图4中的示例，上面的图示出了三个最小值。换句话说，对于三个特定的视差，所考虑的像素之间的相似度测量是最小的。因此，不可能从这些相似度值明确地确定视差。另一方面，在下面的图68中，恰好存在一个最小值，即对于具体的视差，所观察到的像素之间的相似度是最小的。
根据本发明的方法提出将第一相似度值66和第二相似度值68彼此组合，使得相似度值66、68在极值搜索之前已经被组合。这样的示例在图6中示出。
图6示出了图5所示的相似度值的经组合的相似度值70。通过将先前已经根据图像对确定的第一相似度值66和第二相似度值68进行简单的相加来实现聚合。以这种方式，由于对于相同信息存在较大的信息库，因此更明确地突出显示极值。如从图6可以看出，经组合的相似度值仅在一个位置处具有明确的最小值。因此，根据本发明的方法能够几乎独立于它们的取向针对图像中足够明显的结构确定明确和正确的距离信息。
最后，图7示出了根据示例性实施方式的设备和方法的应用场景。
在图7中，根据本发明的设备10用于保护技术设施72。技术设施72在此由工业机器人74指示。机器人74包括可以在空间中自由移动的操纵器76，并且操纵器76的移动范围限定了技术设施72的危险区域78。在危险区域78内，操纵器76的移动可能对操作者80构成危险，因此，当进入技术设施72的危险区域78时，操纵器76必须转移入对于操作者80安全的状态。
在该示例性实施方式中，设备被放置在技术设施72上方，例如在礼堂的天花板上，使得成像单元12、14、16可以拍摄技术设施72周围的空间区域的图像。
以上述方式，设备10可以确定针对空间区域的距离信息。根据距离信息的确定可以排除某些区域，例如在此的移动区域。只要操作者进入技术设施72周围的空间区域，由设备10确定的针对该区域的距离信息就会改变。通过连续确定距离信息并且记录变化，设备10能够检测空间区域内的人或对象。
因此，设备10可以基于所确定的距离信息发出人进入空间区域中的信号，并且例如经由连接至设备10的安全装置(在此未示出)将技术设施转移到安全状态。安全装置可以例如是普通的安全开关装置或安全控制系统，安全装置被配置成以已知的方式例如通过关闭技术设施72来确保安全。
优选地，该方法使得包括图像处理装置的设备能够被集成在壳体中，使得该设备可以与作为安全传感器的安全装置直接相互作用。这是可能的，这是因为该方法可以移植至专门用于线性处理的硬件。

Claims (18)

1.一种用于根据空间区域(18)的图像确定距离信息的方法(100)，包括：
-以限定的成像几何形状(20)布置第一成像单元(12)、第二成像单元(14)和第三成像单元(16)，其中，所述成像单元(12，14，16)形成等腰三角形；
-限定具有多个离散视差的视差范围(56)；
-拍摄所述空间区域(18)的图像，其中，利用所述第一成像单元(12)拍摄第一图像(40)，利用所述第二成像单元(14)拍摄第二图像(42)，并且利用所述第三成像单元(16)拍摄第三图像(44)；
-针对在所述第二图像(42)中沿与所述第一图像(40)的至少一个像素(54)相关联的第一对极线(50)的在所限定的视差范围(56)中的所有离散视差，确定针对所述像素的第一相似度值(66)；
-针对在所述第三图像(44)中沿与所述第一图像(40)的所述至少一个像素(54)相关联的第二对极线(52)的在所述限定的视差范围(56)中的所有离散视差，确定针对所述像素(54)的第二相似度值(68)；
-对所述第一相似度值(66)与所述第二相似度值(68)进行组合；
-基于经组合的相似度值(70)，针对所述至少一个像素(54)确定所述第一图像(40)、所述第二图像(42)和所述第三图像(40，42，44)之间的公共视差；以及
-根据所述公共视差和所述限定的图像几何形状(20)，针对所述至少一个像素(54)确定到所述空间区域内的点的距离。
2.根据权利要求1所述的方法，其中，在所述限定的成像几何形状(20)中，所述成像单元(12，14，16)形成等腰直角三角形。
3.根据权利要求1或2所述的方法，其中，通过将所述第一图像(40)的所述至少一个像素(54)及其周围环境与在所述第二图像(42)中沿所述第一对极线(50)的在所述限定的视差范围(56)内的每个像素及其周围环境进行比较来确定所述第一相似度值(66)，并且其中，通过将所述第一图像(40)的所述至少一个像素(54)及其周围环境与在所述第三图像(44)中沿所述第二对极线(52)的在所述限定的视差范围(56)内的每个像素及其周围环境进行比较来确定所述第二相似度值。
4.根据权利要求3所述的方法，其中，针对所述至少一个像素(54)及其周围环境与沿所述第一对极线(50)和所述第二对极线(52)的每个像素及其周围环境的比较，确定绝对差或二次差的总和。
5.根据权利要求1或2所述的方法，其中，将所述第一相似度值(66)和所述第二相似度值(68)相加在一起。
6.根据权利要求1或2所述的方法，其中，针对所述至少一个像素(54)确定所述公共视差包括在所述经组合的相似度值(70)中的极值搜索。
7.根据权利要求6所述的方法，其中，所述极值搜索是针对最小值的搜索。
8.根据权利要求1或2所述的方法，其中，将所述第一图像(40)、所述第二图像(42)和所述第三图像(44)相对于彼此变换，使得所述第一对极线(50)沿第一轴延伸，并且所述第二对极线(52)沿垂直于所述第一对极线的第二轴延伸。
9.根据权利要求8所述的方法，其中，所述第一图像(40)、所述第二图像(42)和所述第三图像(44)均包括相等数目的像素行(46)和相等数目的像素列(48)，其中，所述第一对极线(50)在所述第二图像(42)中沿与所述第一图像(40)的所述至少一个像素(54)所位于的像素行对应的像素行延伸，并且其中，所述第二对极线(52)在所述第三图像(44)中沿与所述第一图像(40)的所述至少一个像素(54)所位于的像素列对应的像素列延伸。
10.根据权利要求1或2所述的方法，其中，针对所述第一图像(40)的所有像素确定公共视差。
11.根据权利要求1或2所述的方法，其中，仅针对所述第一图像(40)的限定数目的像素确定公共视差。
12.根据权利要求1或2所述的方法，还包括：
-针对在所述第一图像(40)中沿与所述第二图像(42)的至少一个另外的像素(54')相关联的第一对极线(50)的在所述限定的视差范围(56)中的所有离散视差，确定针对所述另外的像素(54')的第三相似度值；
-针对在所述第三图像(44)中沿与所述第二图像(42)的所述至少一个另外的像素(54')相关联的第二对极线(52)的在所述限定的视差范围(56)中的所有离散视差，确定针对所述另外的像素(54')的第四相似度值；以及
-根据所述第三相似度值和所述第四相似度值确定另外的距离信息。
13.一种用于根据空间区域(18)的图像确定距离信息的设备(10)，包括：
用于拍摄所述空间区域(18)的第一图像(40)的第一成像单元(12)、用于拍摄所述空间区域(18)的第二图像(42)的第二成像单元(14)和用于拍摄所述空间区域(18)的第三图像(44)的第三成像单元(16)，其中，所述第一成像单元(12)、所述第二成像单元(14)和所述第三成像单元(16)以限定的成像几何形状(20)布置，其中，所述成像单元(12，14，16)形成等腰三角形，以及
图像处理单元(26)，其被配置成在具有多个离散视差的限定的视差范围(56)内确定针对所述第一图像(40)的至少一个像素(54)的第一相似度值(66)和第二相似度值(68)，
其中，所述图像处理单元(26)被配置成针对在所述第二图像(42)中沿与所述像素(54)相关联的第一对极线(50)的在所述限定的视差范围(56)中的所有离散视差，确定针对所述至少一个像素(54)的所述第一相似度值(66)，并且针对在所述第三图像(44)中沿与所述像素(54)相关联的第二对极线(52)的在所述限定的视差范围(56)中的所有离散视差，确定针对所述至少一个像素(54)的所述第二相似度值(68)，
其中，所述图像处理单元(26)还被配置成：对所述第一相似度值(66)与所述第二相似度值(68)进行组合；基于经组合的相似度值(70)，针对所述至少一个像素(54)确定所述第一图像(40)、所述第二图像(42)和所述第三图像(44)之间的公共视差；以及根据所述公共视差和所述限定的采集几何形状(20)，针对所述至少一个像素(54)确定到所述空间区域内的点的距离。
14.根据权利要求13所述的设备，其中，所述图像处理单元(26)是FPGA。
15.根据权利要求13或14所述的设备，其中，所述设备还包括：评估单元，所述评估单元被配置成基于到所述空间区域的点的距离来执行场景分析以检测技术设施(72)的危险区域中的外来对象；以及装置，所述装置被配置成响应于所述评估单元检测到外来对象将所述技术设施(72)转移到安全状态。
16.根据权利要求13或14所述的设备，其中，所述第一成像单元(12)、所述第二成像单元(14)和所述第三成像单元(16)被布置在公共壳体(28)中。
17.一种使用根据权利要求13至16中任一项所述的设备来维护技术设施(72)的危险区域(78)的方法，其中，所述设备被配置成基于场景分析来检测所述危险区域中的外来对象，并且将所述技术设施(72)转移到安全状态。
18.一种在其上包含计算机程序的非暂态计算机可读介质，所述计算机程序包括指令，所述指令使根据权利要求13至16中任一项所述的设备执行根据权利要求1至12中任一项所述的方法的步骤。
CN201880087230.2A 2017-12-21 2018-12-18 用于根据空间区域的图像确定距离信息的方法 Active CN111630345B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102017130897.0 2017-12-21
DE102017130897.0A DE102017130897A1 (de) 2017-12-21 2017-12-21 Verfahren zum Bestimmen von Entfernungsinformation aus einer Abbildung eines Raumbereichs
PCT/EP2018/085562 WO2019121729A1 (de) 2017-12-21 2018-12-18 Verfahren zum bestimmen von entfernungsinformation aus einer abbildung eines raumbereichs

Publications (2)

Publication Number Publication Date
CN111630345A CN111630345A (zh) 2020-09-04
CN111630345B true CN111630345B (zh) 2022-09-02

Family

ID=64902050

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880087230.2A Active CN111630345B (zh) 2017-12-21 2018-12-18 用于根据空间区域的图像确定距离信息的方法

Country Status (5)

Country Link
US (1) US11039114B2 (zh)
EP (1) EP3728995A1 (zh)
CN (1) CN111630345B (zh)
DE (1) DE102017130897A1 (zh)
WO (1) WO2019121729A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113009590B (zh) * 2021-02-01 2022-04-08 西南科技大学 一种车底安检系统中的异物三维检测系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007107214A2 (de) * 2006-03-22 2007-09-27 Pilz Gmbh & Co. Kg Verfahren und vorrichtung zur korrespondenzbestimmung, vorzugsweise zur dreidimensionalen rekonstruktion einer szene
CN104537707A (zh) * 2014-12-08 2015-04-22 中国人民解放军信息工程大学 像方型立体视觉在线移动实时测量系统
CN105849504A (zh) * 2013-12-26 2016-08-10 株式会社理光 视差运算系统、信息处理装置、信息处理方法和记录介质
DE102016109173A1 (de) * 2015-11-19 2017-05-24 Aesculap Ag Medizintechnische Koordinatenmessvorrichtung und medizintechnisches Koordinatenmessverfahren

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4382156B2 (ja) * 2008-02-12 2009-12-09 パナソニック株式会社 複眼撮像装置、測距装置、視差算出方法及び測距方法
DE102008020326B3 (de) * 2008-04-23 2009-09-03 Sick Ag Stereoskopisches 3D-Kamerasystem zur Überwachung eines Raumbereichs
US9674505B2 (en) * 2014-12-09 2017-06-06 Intel Corporation Disparity search range determination for images from an image sensor array
CN107211085B (zh) * 2015-02-20 2020-06-05 索尼公司 摄像装置和摄像方法
KR102483838B1 (ko) * 2015-04-19 2023-01-02 포토내이션 리미티드 Vr/ar 응용에서 심도 증강을 위한 다중-기선 카메라 어레이 시스템 아키텍처

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007107214A2 (de) * 2006-03-22 2007-09-27 Pilz Gmbh & Co. Kg Verfahren und vorrichtung zur korrespondenzbestimmung, vorzugsweise zur dreidimensionalen rekonstruktion einer szene
CN105849504A (zh) * 2013-12-26 2016-08-10 株式会社理光 视差运算系统、信息处理装置、信息处理方法和记录介质
CN104537707A (zh) * 2014-12-08 2015-04-22 中国人民解放军信息工程大学 像方型立体视觉在线移动实时测量系统
DE102016109173A1 (de) * 2015-11-19 2017-05-24 Aesculap Ag Medizintechnische Koordinatenmessvorrichtung und medizintechnisches Koordinatenmessverfahren

Also Published As

Publication number Publication date
CN111630345A (zh) 2020-09-04
US20200374503A1 (en) 2020-11-26
WO2019121729A1 (de) 2019-06-27
US11039114B2 (en) 2021-06-15
EP3728995A1 (de) 2020-10-28
DE102017130897A1 (de) 2019-06-27

Similar Documents

Publication Publication Date Title
US10823552B2 (en) Method for the three dimensional measurement of moving objects during a known movement
US10083512B2 (en) Information processing apparatus, information processing method, position and orientation estimation apparatus, and robot system
EP2416113B1 (en) Position and orientation measurement apparatus and position and orientation measurement method
CN112927280B (zh) 深度图像的获取方法及装置、单目散斑结构光系统
US7764284B2 (en) Method and system for detecting and evaluating 3D changes from images and a 3D reference model
WO2018143263A1 (ja) 撮影制御装置、撮影制御方法及びプログラム
US20100315490A1 (en) Apparatus and method for generating depth information
US20150268035A1 (en) Information processing apparatus, information processing method, and storage medium
JP2014013147A5 (zh)
US20130094706A1 (en) Information processing apparatus and processing method thereof
US9681118B2 (en) Method and system for recalibrating sensing devices without familiar targets
US20150145963A1 (en) Stereo Camera
Liao et al. Extrinsic calibration of 3D range finder and camera without auxiliary object or human intervention
CN111630345B (zh) 用于根据空间区域的图像确定距离信息的方法
US20220215582A1 (en) Conversion parameter calculation method, displacement amount calculation method, conversion parameter calculation device, and displacement amount calculation device
US20190313082A1 (en) Apparatus and method for measuring position of stereo camera
US20230206496A1 (en) Automated calibration and validation of sensor network
KR20210007701A (ko) 실시간 360 깊이 영상 측정을 위한 카메라 캘리브레이션 방법 및 그 장치
JP6734994B2 (ja) ステレオ計測装置及びシステム
US11704824B2 (en) Method and device for determining a parallax problem in sensor data of two sensors
EP4015990A1 (en) Image processing device
WO2019116518A1 (ja) 物体検出装置及び物体検出方法
JP2019164837A (ja) 情報処理システム、情報処理方法及び情報処理プログラム
JP6570321B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR102555269B1 (ko) 전방향 영상센서 및 관성측정센서의 자세추정 융합 방법 및 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant