CN103649994A - 用于投影体监测的方法和装置 - Google Patents

用于投影体监测的方法和装置 Download PDF

Info

Publication number
CN103649994A
CN103649994A CN201280033381.2A CN201280033381A CN103649994A CN 103649994 A CN103649994 A CN 103649994A CN 201280033381 A CN201280033381 A CN 201280033381A CN 103649994 A CN103649994 A CN 103649994A
Authority
CN
China
Prior art keywords
baseline
image
imageing sensor
main
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280033381.2A
Other languages
English (en)
Other versions
CN103649994B (zh
Inventor
约翰·德林卡尔德
阿姆布里什·特亚吉
谷喜东
木下航一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to CN201610948728.6A priority Critical patent/CN107093192B/zh
Publication of CN103649994A publication Critical patent/CN103649994A/zh
Application granted granted Critical
Publication of CN103649994B publication Critical patent/CN103649994B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Burglar Alarm Systems (AREA)
  • Alarm Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

根据本文提供的教导的一个方案，机器视觉系统包括一个或多个传感器单元，每个传感器单元有利地配置为使用一组间隔开的图像传感器中的不同配对，以便为主监测带提供冗余的物体检测，而同时为可能遮蔽主监测带的物体提供检测。另外，多种“缓解”和提高措施提供了安全性设计和稳定的操作。这样的缓解和提高措施例如包括：不良像素检测和映射、用于改进的物体检测的基于聚类的像素处理、用于故障检测的测试图像注入、双重通道、用于高安全性物体检测的冗余处理、时域滤波以减少错误检测、以及使用高动态范围（HDR）图像，用于改善各种环境照明条件下的操作。

Description

用于投影体监测的方法和装置
相关申请
本申请依据35U.S.C.§119(e)请求2011年7月5日提交的申请序列号为61/504,608的美国临时申请、和2011年10月14日提交的申请序列号为61/547,251的美国临时申请的优先权，这些申请通过引用合并于此。
技术领域
本发明总体上涉及机器视觉，尤其涉及投影体的监测，诸如用于机器防护或其他物体入侵检测环境。
背景技术
机器视觉系统在各种应用中得到应用，地域监测是较典型的例子。监测物体入侵限定地带是“地域防护”应用的关键方面，诸如危险性机器防护。对机器防护而言，已知各种方法，诸如使用物理障碍、联锁系统、安全垫、光幕以及飞行时间激光扫描仪监测。
而机器视觉系统可以用作一个或多个上述机器防护的方法的补充或与其一起使用，机器视觉系统还可以说是地域防护的更佳和更为灵活的解决方案。作为其多个优点中的一个，机器视觉系统可以监测机器周围具有复杂的空间运动的三维边界，而平面光幕边界可能是不切实际或过于复杂的安全配置，或者这样的防护设备会妨碍机器操作。
另一方面，确保机器视觉系统的正确操作具有挑战性，尤其在与最小检测能力和最大（物体）检测响应时间的动态、持续的验证有关的高安全性应用中。当使用用于危险性机器防护和其他高安全性应用的机器视觉系统时，这种类型的验证与确保失效保护的故障检测一起提出了很大的挑战。
发明内容
根据本文提供的教导的一个方案，机器视觉系统包括一个或多个传感器单元，每个传感器单元有利地配置为使用一组间隔开的图像传感器中的不同配对，以便为主监测带提供冗余的物体检测，而同时为可能遮蔽主监测带的物体提供检测。另外，多种“缓解（mitigation）”和提高措施提供了安全性设计和稳定的操作。这样的缓解和提高措施例如包括：不良像素检测和映射、用于改进的物体检测的基于聚类的像素处理、用于故障检测的测试图像注入、双重通道、用于高安全性物体检测的冗余处理、时域滤波以减少错误检测、以及使用高动态范围（HDR）图像，用于改善各种环境照明条件下的操作。
在示例性配置中，一种投影体监测装置包括感测单元，所述感测单元包括：（至少）四个图像传感器，例如四个摄像头。这些图像传感器具有共同交叠主监测带的相应的传感器视场，并且所述图像传感器布置为使得第一图像传感器和第二图像传感器形成第一主基线对，所述第一主基线对的间隔限定第一主基线，第三图像传感器和第四图像传感器形成第二主基线对，所述第二主基线对的间隔限定第二主基线。所述图像传感器还布置为使得第一图像传感器和第三图像传感器形成第一次基线对，所述第一次基线对的间隔限定第一次基线，第二图像传感器和第四图像传感器形成第二次基线对，所述第二次基线对的间隔限定第二次基线。所述主基线比所述次基线长。
传感器单元还包括多个图像处理电路，所述图像处理电路配置为使用从所述主基线对获取的图像数据来冗余地检测所述主监测带内的物体，例如，图像传感器的每个主基线对将立体视觉图像反馈到立体处理通道中，所述立体处理通道由立体视觉图像对来确定3D范围数据。所述图像处理电路还配置为使用从所述次基线对获取的图像数据来检测遮蔽物体。如果物体相对于所述主监测带阻挡一个或多个所述传感器视场，则其为“遮蔽物体”。
当然，本发明并不限于上述特征和优点。实际上，本领域技术人员通过阅读下面详细的描述并查看附图将了解额外的特征和优点。
附图说明
图1是包括控制单元和一个或多个传感器单元的投影体监测装置的一个实施例的框图。
图2是传感器单元的一个实施例的框图。
图3A至图3C是用于在传感器单元中的一组四个图像传感器之间建立主基线对和次基线对的几何布置示例的框图。
图4是在示例性传感器单元中的图像处理电路的一个实施例的框图。
图5是例如在图4的图像处理电路中实现的功能性处理块的一个实施例的框图。
图6是由示例性传感器单元的传感器视场限定的各种地带的图。
图7A和图7B是示出在为投影体监测指定的最小检测距离内的有限检测带（ZLDC）、并且还示出在主监测带的两侧上的侧遮蔽带（ZSS）的图。
图8是传感器单元的示例性配置的图，包括其图像传感器及其各自的视场。
具体实施方式
图1示出投影体监测装置10的示例性实施例，投影体监测装置10提供了对主监测带12的基于图像的监测，主监测带12包括包含例如一个或多个危险性机器项（图中未示出）的三维空间体。投影体监测装置10（以下简称为“装置10”）操作为基于图像的监测系统，例如用于防护人员或者物体的入侵到主监测带12中。
应指出的是，地带12的界限由共同交叠的相关联的传感器视场14限定，下文将更加详细地说明。宽泛而言，装置10配置为使用图像处理和立体视觉技术来检测人员或者物体的入侵到所防护的三维（3D）地带（其也可以称为所防护的“地域”）中。典型的应用包括但不限于：地域监测和周边防护。在地域监测示例中，经常进入的地域的部分边界为硬防护，由光幕或者其他机制防护入口点，而装置10作用为次级防护系统。同样，在周边防护的示例中，装置10监测不经常进入和未防护的地域。
当然，装置10可以同时起到两种作用，或者随变化的环境而在各模式之间切换。另外，可以理解的是，装置10可以包括连接到有关机器或其电源系统的信号和/或可以具有到工厂控制网络等的连接。
作为多种预期用途的补充，在所示的示例性实施例中，装置10包括一个或多个传感器单元16。每个传感器单元16（也称为“传感头”）包括多个图像传感器18。图像传感器18固定在传感器单元16的主体或外壳内，使得所有的视场（FOV）14共同交叠以限定作为3D区域的主监测带12。当然，如下文将说明的，一个或多个实施例中的装置10允许用户在主监测带12内配置监测多个地带或3D边界，例如，在主监测带12内基于3D范围来配置高安全性和/或警告地带。
传感器单元16中的每一个经由电缆或其他链接22连接到控制单元20。在一个实施例中，链接22为将电力供应给传感器单元16并且在传感器单元16与控制单元20之间提供通信或其他信号的“PoE”（上电以太网）链接。传感器单元16和控制单元20一同操作用于感测地带12中（或在地带12的一些所配置的子区域中）的物体。在至少一个实施例中，每个传感器单元16独立于其他传感器单元16实施其监测功能，并且将其监测状态通过安全的以太网连接或其他链接22传达到控制单元20。接着，控制单元20处理来自每个传感器单元16的监测状态并且使用此信息根据可配置的安全性输入和输出来控制机器。
例如，在所示的实施例中，控制单元20包括控制电路24，例如，一个或多个微处理器、DSP、ASIC、FPGA或其他数字处理电路。在至少一个实施例中，控制电路24包括存储器或存储计算机程序的另一计算机可读介质，其由控制电路24中的数字处理器来执行，这至少部分地配置为根据本文教导的控制单元20。
控制单元20还包括一定的输入/输出（I/O）电路，其可以以模块化的方式，例如以模块化的I/O单元26来布置。I/O单元26可以包括相同的电路，或者可以为给定类型的接口信号使用给定的I/O单元26，例如，一个用于网络通信，一个用于一定类型的控制信号等。对于机器防护应用，至少一个I/O单元26被配置用于机器安全性控制，并且包括I/O电路28，I/O电路28响应于由传感器单元16检测到的物体入侵而提供安全性继电器输出（OSSD A，OSSD B）用于停用或停止危险性机器。还可以设置相同的电路用于模式控制和激活信号（开始，辅助等）。此外，控制单元本身可以为通信、状态信号等提供一定范围的“全局”I/O。
在其物体检测功能方面，装置10主要依赖于立体技术来查找在其（共同的）视场中出现的物体的3D位置。为此，图2示出示例性传感器单元16，传感器单元16包括四个图像传感器18，这里为参照的清楚起见单独编号为图像传感器18-1、18-2、18-3和18-4。传感器单元16内的单独的图像传感器18的视场14全部部分交叠，并且被视场14所有共同交叠的区域限定了上述主监测带12。
主体或外壳30以间隔开的布置来固定单独的图像传感器18，所述间隔开的布置限定多个“基线”。这里，术语“基线”定义用于获取图像对的一对图像传感器18之间的间隔距离。在所示的布置中，可以看见两条“长”基线和两条“短”基线（这里，在相对意义上使用术语“长”和“短”）。长基线包括由第一对图像传感器18之间的间隔距离限定的第一主基线32-1，其中所述第一对包括图像传感器18-1和18-2，长基线还包括由第二对图像传感器18之间的间隔距离限定的第二主基线32-2，其中所述第二对包括图像传感器18-3和18-4。
同样，短基线包括由第三对图像传感器18之间的间隔距离限定的第一次基线34-1，其中所述第三对包括图像传感器18-1和18-3，短基线还包括由第四对图像传感器18之间的间隔距离限定的第二次基线34-2，其中所述第四对包括图像传感器18-2和18-4。对此，应当理解的是，相同组四个图像传感器18的不同组合作为不同图像传感器18的配对操作，其中这些配对在其相关联的基线和/或如何使用上可以不同。
第一主基线32-1和第二主基线32-2可以相等，或者可以为不同的长度。同样，第一次基线34-1和第二次基线34-2可以相等，或者可以为不同的长度。非限制性地，在示例情况下，最短的主基线32大于最长的次基线34的长度的两倍。作为另一点灵活性，可以使用其他几何布置来获得四个图像传感器18的分布，用于操作为主基线对和次基线对。参见图3A-图3C，示出了给定传感器单元16中的图像传感器18的示例性几何布置
除了需要建立主基线对和次基线对的物理布置以外，应当理解的是，传感器单元16本身配置为根据基线配对定义来在逻辑上操作图像传感器18，使得根据这些定义来处理图像对。对此，再次参照图2所示的示例，传感器单元16包括一个或多个图像处理电路36，其配置为从相应的一个图像传感器18获取图像数据、处理图像数据、并且响应于这样的处理的结果，例如，通知控制单元20检测到物体入侵等。
传感器单元16还包括控制单元接口电路38、电源/稳压电路40以及可选地包括纹理光源42。此处，纹理光源42为传感器单元16提供将图案化光投影到主监测带12中或更一般地投影到其所包括的图像传感器18的视场14中的机制。
在这里使用的术语“纹理”指的是在任何给定的图像传感器18的视场14内的图像对比度中的局部变化。纹理光源42可以集成在每个传感器单元16内，或者可以单独供电并位于传感器单元16的邻近。在这两种情况下，将人工纹理的光源合并到装置10中提供了将合成纹理添加到任何给定的图像传感器18的视场14中的低纹理区域的优点。也就是说，没有足够自然纹理以支持3D测距的区域可以用所添加的由纹理光源42提供的合成实景纹理来照明，用于在传感器视场14内精确和完整地3D测距。
图像处理电路36包括：例如一个或多个微处理器、DSP、FPGA、ASIC或其他数字处理电路。在至少一个实施例中，图像处理电路36包括存储器存储计算机程序的另一计算机可读介质，其执行至少部分地配置传感器单元16以实施本文公开的图像处理和其他操作。当然，也可设想其他布置，诸如图像处理和3D分析的某些部分在硬件（例如FPGA）中实施并且某些其他部分在一个或多个微处理器中实施。
考虑到上述基线布置，装置10可以被理解为包括至少一个感测单元16，其包括（至少）四个图像传感器18，图像传感器18具有相应的传感器视场14，传感器视场14全部交叠主监测带12并且布置为使得第一图像传感器18-1和第二图像传感器18-2形成第一主基线对，第一主基线对的间隔限定第一主基线32-1，第三图像传感器18-3和第四图像传感器18-4形成第二主基线对，第二主基线对的间隔限定第二主基线32-2。
如图所示，图像传感器18还布置为使得第一图像传感器18-1和第三图像传感器18-3形成第一次基线34-1，并且第二图像传感器18-2和第四图像传感器18-4形成第二次基线34-2。主基线32比次基线34长。
传感器单元16还包括多个图像处理电路36，图像处理电路36配置为使用从主基线对获得的图像数据来冗余地检测主监测带12内的物体，并且还配置为使用从次基线对获得的图像数据来检测遮蔽物体。也就是说，传感器单元16的图像处理电路36配置为通过检测在经由对由第一主基线对获得的图像数据的立体图像处理推导出的范围数据中，或在经由对由第二主基线对获得的图像数据的立体图像处理推导出的范围数据中检测这样的物体的存在，来冗余地检测主监测带12内的物体。
于是，如果从通过对来自图像传感器18-1和18-2的图像对立体处理而获得的（3D）范围数据中分辨出物体，和/或如果从通过对来自图像传感器18-3和18-4的图像对立体处理而获得的（3D）范围数据中分辨出这样的物体，则检测到物体。对此，第一图像传感器18-1和第二图像传感器18-2可以被视为第一“立体对”，并且应用到从第一图像传感器18-1和第二图像传感器18-2获得的图形对的图像校正和立体处理可以被视为第一立体“通道”。
同样地，第三图像传感器18-3和第四图像传感器18-4可以被视为第二“立体对”，并且应用到从第三图像传感器18-3和第四图像传感器18-4获得的图形对的图像校正和立体处理可以被视为第二立体“通道”，第二立体通道独立于第一立体通道。于是，两个立体通道提供在主监测带12内的冗余物体检测。
在这里，可以指出的是，主监测带12由表示距离传感器单元16（传感器单元16使用主基线对检测物体处）的最小范围的最小检测距离来定边界。除了经由主基线对使用冗余物体检测的可靠性和安全性以外，作为进一步的优点，次基线对用于检测遮蔽物体。也就是说，对来自作为第一次基线对的图像传感器18-1和18-3和作为第二次基线对的图像传感器18-2和18-4的图像数据的逻辑配对和处理，用于检测在最小监测距离内和/或不在所有四个传感器视场14内的物体。
宽泛而言，“遮蔽物体”相对于主监测带12阻挡一个或多个传感器视场14。在至少一个实施例中，传感器单元16的图像处理电路36被配置成通过对于每个次基线对检测由在次基线对中的图像传感器18获得的图像数据之间的强度差，或者通过评估对由在次基线对中的图像传感器18获得的图像数据立体图像处理所产生的范围数据，来检测遮蔽物体。
遮蔽物体检测解决了许多潜在的危险情况，包括以下几项：人工干预，其中在ZLDC或ZSS中无法通过立体视觉检测到小物体但可以将物体遮蔽在主监测带12中遮蔽物体；点源污染，其中由立体视觉无法检测到光学表面的污染但可以遮蔽主监测带12物体；重影，其中强烈的定向灯可能会导致图像传感器18上的多次内部反射而降低对比度，并且可能导致检测能力的下降；眩光，其中图像传感器18的光学表面具有轻度污染，定向灯可能会导致眩光而降低对比度，并且可能导致检测能力的下降；以及灵敏度的改变，其中图像传感器18中的单个的像素灵敏度的改变可能会导致检测能力的下降。
现参照图8，在主基线对中的左侧和右侧图像传感器18之间的延伸角度（verging angle）的存在施加如图所示的最终配置。这些延伸角度提供了遮蔽物体检测的基础，其中，在示例性配置中，图像处理电路36基于在从给定的次基线对中的图像传感器18获得的图像数据之间查找显著的强度差，与从相同次基线对中的其他图像传感器18获得的对应图像数据相比，而在ZLDC中实施遮蔽物体检测。因为对于这么小的基线，更远处的物体会造成非常小的差异，所以显著强度差表示存在近距离物体。
通过分析相关对数据中的一个图像（图像1）上的每个像素，并且对其他图像（图像2）为给定搜索窗口搜索在某些阈值（th）内的强度匹配，来计算基本图像强度差。如果没有匹配，则表示像素属于更接近一定范围的东西，因为其差异大于搜索窗口尺寸，并且该像素被标记为“不同的”。图像差因而为二元的。
因为由于遮蔽物体导致的图像差基于使用次基线对34-1或34-2中的一个而获得的图像对中产生的差异，所以如果物体与该基线对其并且来回穿过所保护的地带，则将导致没有发现图像差。还使用基于准水平线检测的附加的来回穿过的物体检测算法，来在无法由基本图像差算法可靠地检测到的角度内（＋/－十五度）检测物体。
此外，如果遮蔽物体较大和/或非常接近（例如，如果其覆盖图像传感器18的整个视场14），则甚至可能无法提供可检测的水平线。然而，因为一个或多个实施例中的装置配置要求需要在启动/验证阶段中，在主监测带12内必须有至少一个参考标记可见，所以使用基于参考标记的缓解措施来检测这种情形。
为检测超出ZLDC但在主监测带12外部的物体，图像传感器18的延伸角度可以配置为使得在主监测带12的两侧上基本上消除ZSS。此外，或可替代地，图像处理电路36使用小范围立体视觉方法来检测物体，其中次基线对用于在视场的非常有限的部分上，仅在合适的图像边界处检测物体。
而且，如上所述，在一些实施例中，每个传感器单元16中的图像传感器18被配置为获取图像帧，其中包括高曝光图像帧和低曝光图像帧。例如，图像处理电路36被配置为动态地控制各个图像传感器18的曝光时间，使得在使用较长的曝光时间和使用较短的曝光时间之间获取的图像不同。此外，图像处理电路36被配置为，至少相对于由主基线对获取的图像帧，融合对应的高曝光和低曝光图像帧，以获得高动态范围（HDR）图像，并且立体处理来自每个主基线对的所述HDR图像的流，用于冗余检测主监测带中的物体。
例如，图像传感器18-1被控制为产生低曝光图像帧和随后的高曝光图像帧，并且组合这两个帧以获得第一HDR图像。一般而言，可以组合两个或多个不同的曝光帧以产生HDR图像。以连续的采集时间间隔重复此过程，于是得到第一HDR图像的流。在相同的采集时间间隔中，图像传感器18-2被控制为产生低曝光和高曝光图像帧，组合所述低曝光和高曝光图像帧以制作第二HDR图像流。来自任何给定的采集时间间隔的第一HDR图像流和第二HDR图像流形成对应的HDR图像对，立体处理所述HDR图像对（可能在立体处理之前的进一步的预处理之后）。经由第二主基线对（即图像传感器18-3和18-4）获得其他立体通道中的HDR图像对的类似流。
还可以进行附加的图像预处理。例如，在一些实施例中，将来自每个立体通道的HDR图像对修正，使得其对应于这样的对极几何（epipolargeometry）：其中包括在主基线对中的图像传感器中的对应光轴是平行的并且该对极线为经修正的图像中的对应图像行。
将来自两个立体通道的HDR图像对修正，然后由包括在图像处理电路36中的立体视觉处理器电路处理。立体视觉处理器电路被配置为实施立体视觉匹配算法，所述算法计算经修正的由每个立体通道中图像传感器18获得的图像中的对应实景点之间的差异，并且基于所述差异，计算相对于所述图像传感器18的位置的实景点的3D位置。
更详细而言，示例性的传感器单元16包含四个图像传感器18，其被分组为两个立体通道，一个通道表示为包括图像传感器18-1和18-2的第一主主基线对，其分隔开称为第一主基线32-1的第一距离，其他通道表示为包括图像传感器18-3和18-4的第二主主基线对，其分隔开称为第二主基线32-2的第二距离。
来自每个图像传感器的18的多个原始图像组合在一起以产生由图像传感器的18的视场14捕获的实景的高动态范围图像。将每个立体通道的高动态范围图像修正，使得其对应于对应光轴为平行的对极几何并且所述对极线为对应的图像行。经修正的图像由上述立体视觉处理器电路处理，其执行立体视觉匹配算法，以计算对应实景点之间的差异，于是计算相对于传感器单元16的给定位置的那些点的3D位置。
对此，主监测带12是由图像传感器18的共同视场（FOV）限制的3D投影体。差异搜索窗口的最大尺寸限制由立体设置可测量的最短距离，于是限制主监测带12的最短可允许范围。此距离也称为“有限监测带”（ZLDC）。同样，包括在主监测带12内的最大距离由施加在装置10上的误差容限限制。
处理来自主基线对的图像以产生对应于主监测带12内的物体表面上的3D点的主监测带12的3D点的云数据。通过数据压缩、聚类和分割算法进一步分析此3D点云数据，以确定所限定的最小尺寸的物体是否进入主监测带12。当然，通过装置10的处理逻辑的配置，主监测带12可以包括不同级别的报警以及不同数量和类型的监测带，包括非高安全性警告地带和高安全性受保护地带。
在图1所示的示例性分布结构中，控制单元20处理来自一个或多个传感器单元16的入侵信号并且对应地控制一个或多个机器，例如主监测带12中的危险性机器，或者提供关于由传感器单元16检测到的关于入侵的其他信号或状态信息。同时控制单元20还可以通过在控制单元20与传感器单元16之间的通信链接22将电力提供给传感器单元16，例如在用户不愿采用PoE连接的情况下，传感器单元16还可以具有单独的电力输入。此外，尽管未示出，可以连接“端跨（endspan）”单元作为控制单元20与给定的一个传感器单元16之间的中间单元，以为传感器单元16、I/O扩展等提供局部电力。
根据端跨单元是否并入装置中，控制单元20的一些实施例被配置为支持“地带选择”，其中应用到控制单元20的一组“地带选择”输入的数据或信号图案动态地控制在装置10的运行期间由传感器单元16监测的3D边界。在装置10的配置过程中设置所监测的地带。同时监测被配置为由特定传感器单元16监测的所有地带，并且控制单元20将来自传感器单元16的入侵状态关联到所选择的控制单元20中的I/O单元26。在配置过程中定义在传感器单元16与其地带之间或者多个地带与特定的控制单元20中的I/O单元26之间的映射。此外，控制单元20可以提供使得整个系统从控制单元故障状况复位而恢复的全局复位信号输入。
因为其使用在高安全性监测应用中，所以一个或多个实施例中的传感器单元16合并了一系列安全性设计的功能。例如，根据IEC61496-3的3型安全设备的基本要求包括以下项目：（1）无单个故障可以导致产品以非安全方式故障，必须防止或检测这样的故障并且在系统的指定检测响应时间之内响应；以及（2）累积的故障不会导致产品以非安全方式故障，需要后台测试以防止故障的累积导致高安全性故障。
用于基于比较两个通道的处理结果是否一致来在主监测带12中检测物体的双重立体通道满足了单个故障要求。两个通道之间的偏差表示一个或两个通道中的故障。通过在装置10的检测响应时间之内检查这样的偏差，装置10可以立即进入安全出错状况。可替代地，还可以采用物体检测的更保守的方法，其中来自任一个主基线对的检测见过可以触发机器停止以保持主监测带12安全。如果在两个基线对之间的不一致持续一段较长时间（例如几秒到几分钟），则可以检测出故障，并且装置10可以进入安全出错（故障）状况。
可以将附加的动态故障检测和自诊断操作合并到装置10中。例如，在一些实施例中，传感器单元16的图像处理电路36包括单个立体视觉处理电路，立体视觉处理电路被配置为实施从两个立体通道获得的图像对的立体视觉处理，即从第一主基线对的图像传感器18-1和18-2获取的图像对，以及从第二主基线对的图像传感器18-3和18-4获取的图像对。立体视觉处理电路或“SVP”是例如ASIC或以高速实施立体视觉图像处理任务的其他数字信号处理器。
使用特殊的测试帧来检测SVP中的故障状况，测试帧在每个响应时间周期注入SVP一次。对应于测试输入的SVP输出与预期的结果比较。测试帧专门构建为测试SVP的所有高安全性内部功能。
SVP和/或图像处理电路36还可以合并其他缓解措施。例如，图像处理电路36在图像传感器18中使用原始图像和经修正的图像来识别“不良”像素。图像处理电路36使用从图像传感器18获取的原始图像，来识别噪声、亮点（stuck）或者低灵敏度的像素，并且在后台运行相关的不良像素测试。测试图像帧可以用于不良像素检测，其中设想三种类型的测试图像帧：（a）低集成度测试帧（LITF），其是对应于非常低的集成时间的图像捕获，其当传感器单元16在典型的照明条件下操作时产生非常接近暗噪声水平的平均像素强度；（b）高集成度测试帧（HITF），其是对应于至少三个不同曝光时间间隔中的一个的图像捕获；（c）数字测试帧（DTPF），其是注入到电路中用于从图像传感器18获取图像帧的测试图案。每个响应时间周期可以捕获每种类型的一个测试图像。以这种方式，可以收集每种类型的许多测试图像并且在指定的后台测试周期（几分钟到几小时）的过程中分析这些测试图像。
进一步的缓解措施包括：（a）噪声像素检测，其中使用一组多个LITF的像素数据的时间序列方差与最大阈值比较；（b）亮点像素检测（高或低），其中使用一组多个LITF和HITF的像素数据的相同时间序列方差与最大阈值比较；（c）低灵敏度像素检测，其中所测量的像素强度的响应与在若干个曝光水平处的HITF的预期响应比较；（d）针对不良像素检测，其中已知的数字测试图案的图像处理与预期结果比较，以检查图像处理电路的正确操作；（e）从经修正的图像识别不良像素，其中饱和的、欠饱和的以及遮蔽像素与被认为不适合精确度校正的像素一同落入此类别，每个帧可以使用运行时间图像数据实施一次这样的测试；（f）动态范围测试，其中像素与对应于图像传感器18的合适的动态范围的高阈值和低阈值比较。
例如，如图4所示的传感器单元16的图像处理电路中的36的一个实施例，使用硬件和基于软件的电路配置的混合来实现上述功能。可以看到上述在这里标记为400的SVP，以及多个交叉连接的处理器电路例如，图像处理器电路402-1和402-2（“图像处理器”）以及控制处理器电路404-1和404-2（“控制处理器”）。在非限制性示例中，此图像处理器402-1和402-2是FPGA，并且控制处理器404-1和404-2是微处理器/微控制器设备，例如TEXASINSTRUMENTS AM3892微处理器。
图像处理器402-1和402-2包括存储器或与存储器相关联，例如SDRAM设备406的存储器，作用为用于处理来自图像传感器18的图像帧的工作存储器。图像处理器402-1和402-2可以被配置在开机或复位时由相应的控制处理器404-1和404-2配置，控制处理器404-1和404-2也包括存储器（例如SDRAM设备408）或与存储器相关联，并且包括在闪存设备410中的开机/配置数据。
在相应的图像处理器402之间和相应的控制处理器404之间可见的交叉连接提供了双重通道，使用图像传感器18的第一和第二主基线对来冗余监测主监测带12。对此，可以看到“左侧”图像传感器18-1和18-3联接到图像处理器402-1和图像处理器402-2。同样，“右侧”图像传感器18-2和18-4联接到两个图像处理器402。
此外，在功能任务的示例性划分中，图像处理器402-1和控制处理器404-1建立系统定时并且支持至控制单元20的物理层（PHY）接口38，接口38可以是以太网接口。控制处理器404-1还负责配置SVP400，其中图像处理器402-1充当至SVP的主机接口的网关。控制处理器404-1还控制配置图像传感器18的总线接口。而且，图像处理器402-1还包括至同一总线的连接以便在实施曝光控制操作时提供更大的精确性。
接着，控制处理器404-2和图像处理器402-2形成相对于上述操作的冗余处理通道。在这个功能中，图像处理器402-2监测图像处理器402-1的时钟产生和图像数据的隔行扫描。因此，两个图像处理器402均输出所有图像传感器18的图像数据，而仅图像处理器402-1生成图像传感器的时钟和同步信号。
图像处理器402-2冗余地实施亮点和噪声像素检测算法，并且使用从SVP主机接口捕获的深度数据来对保护带侵犯冗余地进行聚类(cluster)。最终，由图像处理器402-2和控制处理器404-2得到的误差检测算法、聚类和目标跟踪必须完全镜像于来自图像处理器402-1和控制处理器404-1的，否则图像处理电路36将宣布发生故障，触发整个装置10进入操作的故障状态。
每个图像处理器402与SDRAM设备406一同操作，以便支持缓冲数据用于所有图像帧，诸如用于高动态范围的融合、噪声像素统计、SVP测试帧、保护带以及用于诊断的所捕获的视频帧。这些外部存储器还允许图像处理器402在实现时实施图像修正或多分辨率分析。
每个控制处理器404和其相应的图像处理器402之间的接口为高速串行接口，诸如高速PCI或SATA型串行接口。可替代地，可以在其之间使用多位并行接口。无论何种方式，图像处理电路36都使用SVP400的“主机接口”用于SVP400的控制并用于访问该输出深度和修正图像数据。SVP400的主机接口设计为运行得足够快以与图像捕获速度相称的速度发送所有需要的输出。
此外，处理器间通信通道允许两个冗余控制处理器404在操作中保持同步。虽然控制处理器404-1控制PHY接口38，但是控制处理器404-1不能做装置10（例如，装置10依次控制主监测带12内的危险性机器的运行/停止状态）的运行/停止状态的最终决定。相反，在控制处理器404-2还需要产生特定的机器运行解锁码（或类似的值），控制处理器404-1将所述机器运行解锁码通过PHY接口38转发到控制单元20。然后，控制单元20做出关于传感器单元16的两个冗余通道是否一致为正确的机器状态而最终决定。于是，控制单元20根据来自传感器单元16的双重冗余通道的状态指示，将例如其OSSD输出的运行/停止状态设定为正确的运行/停止状态。可替代地，在另一示例性实施例中，传感器单元16可以自己做关于传感器单元16的两个冗余通道是否一致为正确的机器状态的最终决定。
控制处理器404-1和404-2之间的处理器间接口还提供了更新传感器单元的配置以及为控制处理器404-2编制图像程序的途径。一种替代方法是在两个控制处理器404之间共享单个闪存，而此布置可能需要额外的电路以适当地支持两个控制处理器404的开机顺序。
一般而言，像素级的处理操作都偏向图像处理器402，并且使用快速的、基于FPGA的硬件来实现图像处理器402是这种布置的补充。然而，在一些实施例中使用的一些误差检测算法需要控制处理器404来实施某些像素级的处理操作。
然而，即使在这里，图像处理器402也可以在给定的图像帧或多个帧内指示相关“窗口”，并且仅将对应于相关窗口的像素数据发送到控制处理器404用于处理。这种方法还有助于减少经过在图像处理器402和控制处理器404之间的接口的数据量并且减少控制处理器404所需的访问带宽和存储器带宽要求。
因为图像处理器402-1为SVP400产生隔行扫描的图像数据，所以图像处理器402-1还可以配置为将测试图像帧注入SVP400，用于测试SVP400是否正常操作。然后，图像处理器402-2会监测测试帧并且从SVP400输出结果。为了简化处理器设计，图像处理器402-2可以配置为仅检查所注入的测试帧的CRC，而不保持注入到SVP400中的测试帧的自身的冗余副本。
在一些实施例中，图像处理电路36被配置成尽可能使得图像处理器402实施所需的每个像素的操作，而控制处理器404处理更高级的操作和浮点运算。关于处理功能的分配的进一步细节，使用下述功能划分。
对于图像传感器定时生成，一个图像处理器402产生所有的定时，并且其他图像处理器402验证该定时。一个控制处理器404将定时参数发送到产生定时的图像处理器402，并且验证由该图像处理器402制作的定时措施而实施其他图像处理器402的定时验证。
对于HDR图像融合，图像处理器402使用HDR融合功能来缓冲并组合使用低集成度和高集成度的传感器曝光获取的图像对。控制处理器404向图像处理器402提供对HDR融合功能必要的设定/配置数据（例如，色调映射和加权阵列）。可替代地，控制处理器402交替使用图像帧寄存器内容，以取得短/长曝光模式。
对于图像修正功能，图像处理器402插值修正，由从图像传感器18取得的原始图像数据推导出无失真图像数据。对应地，控制处理器404产生用于获得经修正的无失真图像数据的校准和修正参数。
一个图像处理器402提供SVP400的配置界面。该图像处理器402还将经修正的图像发送到SVP400并且从SVP400提取对应的深度映射（图像像素的3D范围数据）。使用交替匹配算法，例如，归一化互相关（NCC），图像处理器402可以视需要进一步提高子像素插值的精度。控制处理器404使用由一个图像处理器402提供的网关来配置SVP400。
对于聚类，图像处理器402聚类前台和经“缓解”的像素并且为每个这样的聚类生成统计数据。对应地，控制处理器404为主监测带12产生保护边界，例如警告边界、高安全性边界等，这限定了用于评估是否检测到物体触发入侵警告、高安全性停机等的实际3D范围。
对于物体持久化，控制处理器404实施时域滤波、运动追踪和物体拆分合并功能。
对于不良像素检测操作，图像处理器402为不良像素保持每个像素的统计数据以及插值数据。可选地，控制处理器404将工厂缺陷列表加载到图像处理器402中。所述工厂缺陷列表允许，例如，在制造过程中测试图像传感器18，使得可以将不良像素检测并记录在映射中或其他数据结构中，使得可以将已知的不良像素通知给图像处理器402。
对于曝光控制操作，图像传感器402收集全局的强度统计数据并调整曝光时间。对应地，控制处理器404提供曝光控制参数，或者可选地，实现每个帧的比例-积分-微分（PID）控制或类似的反馈控制曝光。
对于动态范围操作，图像处理器402产生动态范围缓解位。对应地，控制处理器404将动态范围限制提供给图像处理器402。
对于遮蔽物体检测操作，图像处理器402在必要时建立额外的经转换的图像，并且实现例如像素匹配搜索以检测由在每个次基线对中的两个图像传感器18获取的图像数据之间的图像差。例如，像素匹配搜索用于比较由图像传感器18-1获取的图像数据和由图像传感器18-3获取的数据，其中两个传感器18-1和18-3包括第一次基线对。在由包括图像传感器18-2和18-4的第二次基线对获取的图像数据之间进行类似的比较。为了支持遮蔽物体检测操作，控制处理器404将限制和/或其他参数提供给图像传感器402。
对于参考标记检测算法，图像处理器402建立无失真图像，在图像数据内实现NCC搜索参考标记，并且查找最佳匹配。控制处理器404使用NCC的结果来计算经修正的图像的校准和焦点长度校正。控制处理器404还可以对窗口像素地域实施带宽检查（聚焦）。参考标记缓解算法的一些其他方案也可能需要经修正的图像。
在一些实施例中，SVP400可以实施图像修正，而在图像处理电路402中实施图像修正可以具有多个优点。例如，这样的处理可以更自然地存在于图像处理器402中，因为这实现了由图像处理器402实施的其他操作。例如，必须以和图像数据相同的方式来修正图像传感器不良像素映射（亮度或噪声）。如果已经需要图像处理器402实现图像数据的修正，则图像处理器402修正不良像素映射可以是有道理的，以保证图像和不良像素修正之间的一致性。
此外，至少在某些情况下，对未经修正的无失真图像，参考标记跟踪的效果最佳。用于去除失真的插值逻辑与修正类似，因此，如果图像处理器402建立无失真图像，则图像处理器402可以包括类似配置的附加的资源来实施修正。
此外，遮蔽物体检测需要每个次基线34-1和34-2的至少一个额外的图像转换。SVP400可能没有进行这些额外的修正的吞吐量，而图像处理器402能够轻松地容纳额外的处理。
有利于图像处理器402中的大多数基于像素的处理的另一个方案涉及ZLDC。减少ZLDC一个可能的方式是使用图像数据的多分辨率分析。例如，在输入对应的“归一化”图像之后，在线性维度中将经两倍因子缩小的图像输入到SVP400。这种布置会使由SVP400实现的最大差异扩大到三倍。
在由SVP400实施的立体相关处理（称为“立体视觉处理”）的另一方案中，至SVP400的输入是原始的或经修正的图像对。对于每个输入的图像对，SVP400的输出是每个像素的深度（或差异）值、相关性得分和/或相关运算符位以及经修正的图像数据。相关性得分为对应于相关性的数值数字，并且于是提供了输出可靠性的措施。相关运算符位表示所讨论的像素是否需要与其相关性得分的特定方面有关联的预定的标准。
然而，聚类操作很容易流水线化，因而有利于在图像处理器402的基于FGPA的实施例中实现。如所指出的，聚类处理将前台像素连接为“聚类”，并且由图像处理电路36实现的整个物体检测算法的更高级判定像素的数量、聚类的大小和像素密度是否值得跟踪。
一旦聚类了像素组，数据量就显著小于完全深度图像流。因为这一事实并且因为跟踪物体的复杂性，所以物体的识别和跟踪在控制处理器404中实施，至少在使用微处理器或DSP实现控制处理器404时是较为有利的。
在不良像素检测中，图像处理电路36使用高集成度测试帧和低集成度测试帧的序列来检查亮点（高/低）像素和噪声像素。在装置10的检测响应时间内更新来自亮点像素缓解的不良像素，而该算法需要多个测试帧以检测噪声像素。这些算法在来自图像传感器18的原始图像数据上进行。
亮点像素测试基于很容易在图像处理器402中得到支持的简单的检测算法，然而，噪声像素测试，虽然算法简单，但是需要为整个像素帧缓冲像素统计数据。于是，就图像处理器402进行这种处理的程度而言，图像处理器402需要配备足够的内存用于这种缓冲。
更宽泛而言，在实施例的体系结构中，来自图像传感器18的原始图像数据仅从图像传感器18流至图像处理器402。原始图像数据不必从图像处理器402流至控制处理器404。然而，如所指出的，不良图像传感器像素必须经过与图像像素相同的修正转换，使得聚类算法可以将其应用到正确的修正图像的坐标中。对此，对于不良图像，图像处理器402必须能够镜像由SVP400完成的相同的修正映射。
当识别出不良像素时，将不良像素的值替换为由对相邻的“好”像素插值得到的值。由于此处理需要多条扫描线的历史，所以该处理可以流水线化并且适于在图像处理器402的任何基于FPGA的版本中实现。
虽然不良像素检测的某些方案是简单的算法，但是物体遮蔽检测包括若干相关的功能，包括：（a）每个次基线对中的图像传感器18之间的强度比较；（b）后期处理操作，诸如图像形态学处理以抑制误检；（c）检测延伸到受保护地带之外并且仍满足上述（a）的可能表示均匀的遮蔽物体的水平线。
基因参考标记的误差检测算法设计为检测若干条件，包括：焦点损失、对比度损失、图像传感器对齐损失、全景（world）损失（3D坐标）注册、以及一个或多个其他图像传感器的误差。
图5示出对应于上述图像处理功能的“功能”电路或处理块，其可选地包括视频输出电路412，以提供对应于图像传感器18的视场14的输出视频，可选地带有与所配置的边界等相关的信息。应理解的是，图5的示例中所设置的所示处理块分布在图像处理器402和控制处理器404之间。
考虑到这一点，可以看到功能块包括以下项目：曝光控制功能500、不良像素检测功能502、不良像素修正功能504、HDR融合功能506、不良像素插值功能508、图像失真校正及修正功能510、立体关联和NCC子像素插值功能512、动态范围检查功能514、遮蔽物体检测功能516、对比度图案检查功能518、参考标记缓解功能520、每个地带的聚类功能522、物体持久性和运动算法功能524、以及故障/诊断功能526。应指出的是，可以与基于主监测带12的双重信道监测的冗余物体检测一同，冗余地实施一个或多个这些功能。
图像捕获发生在连续时间段（称为“帧”）序列中。作为示例，图像处理电路36以60fps的帧速率运行。每个基线32或34对应于一对图像传感器18，例如，第一对包括图像传感器18-1和18-2，第二对包括图像传感器18-3和18-4，第三对包括图像传感器18-1和18-3以及第四对包括图像传感器18-2和18-4。
为每个基线同时捕获原始图像数据。在原始图像中检测噪声、亮点或低灵敏度的像素，并将其用于产生不良像素映射。使用插值方法利用正常的相邻像素来校正检测到的故障像素信号。此校正步骤使处理流水线的后续阶段上的故障像素的影响最小化。
为每个基线对顺序拍摄高曝光图像和低曝光图像。因此，每个序列的图像帧包含交替的高曝光和低曝光图像。会为测试目的而保留在图像流期间的每个响应周期的一个或两个帧，其中“图像流”是指在来自每一对图像传感器18的每个图像帧基础上流动的图像数据。
来自每个图像传感器18的高曝光和低曝光帧根据本文所描述的HDR融合处理组合成新的图像。由此产生的HDR图像具有延伸的扩展动态范围并被称为高动态范围（HDR）帧。应指出的是，由于其以60Hz的速率取不同的曝光度的两个原始图像来建立对应的HDR图像，所以HDR帧率现在为30Hz。存在一个每个成像器30Hz的HDR图像流或每个基线30Hz的HDR图像对。
对图像进一步预处理以校正光学失真，并且图像还经过在计算机视觉中被称为“修正”的转换。所得到的图像被称为“经修正的图像”或“经修正的图像数据”。作为参考，可以看到从功能块510输出这样的数据。不良像素映射也经过相同的修正转换，以备后用（参加修正块504）。所得到的不良像素数据包含可以用在聚类处理中的像素权重。
来自功能块510的经修正的图像数据用于实施若干检查，包括：动态范围检查，其中像素与饱和度阈值和未饱和度阈值比较并且如果其落在这些阈值之外则被标记为不良；以及遮蔽物体检查，其中分析像素以判定物体是否存在于ZLDC在或者“侧遮蔽带”（ZSS）中。如果存在这样的物体，则可能在一个或多个传感器视场14中投射阴影，有效地使得传感器单元16无法看到落入阴影中的物体。对应于被遮蔽的区域的像素组被标记为“不良”，以便识别此潜在危险状况。
在遮蔽物体检测功能516中实施这样的操作。进一步的检查包括不良对比度图案检查，这里为对比度图案分析的图像可能使得所得到的范围测量不可靠。不符合测试标准的像素标记为“不良的”。与此同时，将经修正的图像输入到SVP400，在图5中以块512部分地表示。如果设计是基于单个的SVP400，则将每个主基线32-1和32-2的HDR图像帧以叠加的输入速率60Hz交替地输入到SVP400。为做到这一点，在SVP400处理一个基线32-1或32-2的对应HDR帧的同时缓冲另一个基线32-1或32-2的HDR帧。对范围数据进行后期处理以查找并排除低质量范围点，并且逐步改善准确性，然后与所限定的检测边界比较。
3D范围数据在检测边界内的像素被分组到聚类中。直接识别出的不良像素或通过评估像素权重识别出的不良像素也包括在聚类处理中。可以为多个检测边界并行实施聚类处理。检测到的聚类的尺寸与最小物体尺寸比较，并且在若干帧的过程中跟踪达到或超过最小物体尺寸的聚类，以抑制错误的故障检测。如果检测到的聚类在与最小尺寸物体一致以最短时间段（即限定的若干连续帧），则该事件被分类为入侵。入侵信息与如从其他测试检测到的故障状态一同例如使用安全的以太网协议发送到控制单元20。
利用经修正的图像数据与物体检测处理并行实施，如在块520中和视需要作为光学故障的自测试而实施的参考标记监测。参考标记监测任务不仅提供光学故障的诊断，还响应由于热漂移导致的灵敏度的较小变异来提供调整用于图像修正的参数的机制。
此外，一组后台和运行时测试提供还用于将传感器单元16的状态传达到控制单元20的输出。进一步的处理包括独立于上述处理功能运行的曝光控制算法，参见块500。曝光控制算法允许调整灵敏度，以补偿缓慢变化的照明条件，并且允许在测试帧周期的坐标特异性测试。
虽然有利地结合上面的示例算法以产生稳定而安全的机器视觉系统，但是可以理解的是，这些示例应被理解为可以经过较小变化的非限制性示例。宽泛而言，相对于主监测带12的物体检测处理使用立体视觉图像处理技术来测量3D欧几里得距离。
这样，双重基线、遮蔽检测以及高动态范围图像的特征均进一步改进了基础的立体视觉图像处理技术。双重基线32-1和32-2为主监测带12提供来自冗余第一和第二立体信道的物体检测信息。第一立体通道获得第一基线物体检测信息，而第二立体信道获得第二基线物体检测信息。来自第一基线的物体检测信息与来自第二基线的物体检测信息比较。比较的不一致表示失灵或故障状态。
虽然主基线32用于在主监测带12中主要物体的检测，但是次基线34用于遮蔽物体检测，实施遮蔽物体检测以确保接近传感器单元16的第一物体不在视觉上阻挡或遮蔽远离传感器单元16的第二物体。这包括所需的由一个图像传感器18检测不被另一图像传感器18检测到的物体的处理能力。
图6和图7A/B提供了关于遮蔽物体检测、以及ZLDC和ZSS区域的有用的图例。在一个或多个实施例中，并且具体参照图6，图像传感器18-1和18-2操作为第一立体对，为第一立体通道的处理提供立体图像对，图像传感器18-3和18-410操作为第二立体对，为第二立体通道的处理提供立体图像对，图像传感器18-1和18-3操作为第三立体对，为第三立体通道的处理提供立体图像对，并且图像传感器18-2和18-4操作为第四立体对，为第四立体通道的处理提供立体图像对。第一对和第二对分别由主基线32-1和32-2分隔开，而第三对和第四对分别由次基线34-1和34-2分隔开。
如上文所指出的，传感器单元16的图像处理单路36所使用的主要物体测距技术是位于两个不同优势点处的两个图像传感器18之间的立体关联，搜索用于匹配像素并基于像素差异计算范围的对极线。
至少对主监测带12应用此主要物体测距技术，并且图6示出了用于在主监测带12中检测物体的第一立体通道和第二立体通道。也就是说，通过相关联由第一图像传感器18-1捕获的图像和由第二图像传感器18-2（第一立体通道）捕获的图像，并且关联由第三图像传感器18-3捕获的图像和由第四图像传感器18-4（第二立体通道）捕获的图像，来在主监测带12中检测物体。于是，第一立体通道和第二立体通道提供对主监测带12中的物体的冗余的检测能力。
第三和第四立体通道用于对次监测带成像，次监测带包括以下传感器视场14：（1）在ZLDC内部和/或（2）在一个ZSS内。对此，应理解的是，使用基于差异的检测算法在由每个次基线对获取的图像对上操作，在ZLDC中的给定的最小尺寸的物体足够近而可以被检测出。然而，因为随着物体距离增加所观察到的图像差异减小，所以这些基于差异的检测算法不会检测超出ZLDC限制以外而在一个ZCC内的物体（其中所述物体不出现在所有传感器视场14中）。一个或两个风险缓解措施可以用于解决ZSS中的遮蔽物体检测。
首先，如图8所示，传感器单元16可以配置为使得图像传感器18的延伸角度为使ZSS最小化。其次，使用立体关联处理可以为由第一和第二次基线对捕获的图像检测在ZSS中的物体。也就是说，图像处理电路16可以配置为关联由第一图像传感器18-1捕获的图像和由第三图像传感器18-3（第三立体通道）捕获的图像，并关联由第二图像传感器18-2捕获的图像与由第四图像传感器18-4（第四立体通道）捕获的图像。于是，图像处理电路36为从第一和第二立体通道（第一和第二主基线对的图像传感器18）获取的图像数据使用立体关联处理，用于在主监测带12中的物体检测，而为从第三和第四立体通道（第一和第二次基线对的图像传感器18）获取的图像数据使用强度差和立体关联处理中的一个或两者，用于在ZLDC和ZSS中的物体检测。
如在图7A和7B中以示例方式所示，第三和第四立体通道用于在次监测带中检测可以在主监测带12中遮蔽物体的物体。紧接在传感器单元16的前方的区域和主监测带12的两侧的区域无法使用主基线立体通道（即对应于主基线32-1和32-2第一和第二立体通道）用于物体检测。
例如，图7B示出在主监测带12和传感器单元16之间，即在ZLDC内可能遮蔽主监测带12中的物体的遮蔽物体“1”。在图中，因为物体“A”和“B”落在主监测带12被遮蔽物体“1”相对于一个或多个图像传感器18遮蔽的区域内，所以在主监测带12内的物体“A”和“B”可以看到而无法检测到。
图7B还示出另一遮蔽示例，其中物体“2”在最小监测范围之外（超出ZLDC边界）但定位在主监测带12的一侧。换而言之，物体“2”落在一个ZSS中，于是在该相同侧上相对于一个或多个图像传感器18投射阴影在主监测带12内。因此，可能无法可靠地检测到在主监测带12内但落在物体“2”的投射阴影内的物体“C”。
于是，虽然不一定用为主监测带12中的物体检测设置的相同的测距分辨率中检测到遮蔽物体，但是检测遮蔽物体对于传感器单元16很重要。因此，图像处理电路36可以被视为具有全分辨率的主要物体检测机制、主监测带12内的物体的冗余监测以及次级物体检测机制，以检测ZLDC内部的物体的存在，具有第三级物体检测机制以检测ZSS区域中的物体的存在。左右侧支架的延伸角度的存在施加了最终的图像传感器/FOV配置，诸如图8的示例。延伸角度可以配置为以便消除或大致上减少主监测带12两侧的ZSS，使得降低或消除侧遮蔽危险。
ZLDC区域的检测物体基于检测在位于传感器单元16的每侧处的相邻图像传感器18之间是否有显著的不同。例如，这种处理涉及来自图像传感器18-1的图像数据与来自图像传感器18-3的图像数据的比较。（类似处理比较图像传感器18-2和18-4）。当存在接近传感器单元16和这些相近的间隔开的图像传感器对中的一个的物体时，在相邻处内简单地比较其相应的像素强度将揭示出显著的不同。通过在一个图像中标记不具有在给定搜索窗口内对应于另一图像的相同处的匹配的强度的那些点来查找这样的不同。判定“匹配”的标准设计为使得比较对每一个成像器中的平均增益和/或噪声水平不敏感。
作为另一示例，次（短）基线长度t和主（长）基线长度T之间的关系可以表示为t/T=D/d。这里，D是主基线的最大差异搜索范围，并且d是图像差算法的搜索窗口的尺寸。
此方法设计为在ZLDC内部或靠近基线长度检测物体。远离ZLDC区域的物体将对应于图像数据中的非常小的差异，于是当比较来自相近间隔开的传感器对的图像时，将不会产生图像之间的这样的显著的差别。为了检测可能超出ZLDC边界之外但在主监测带12的一侧上的物体，相近间隔开的传感器对可以操作为立体对，以仅在对应的ZSS区域内搜索物体的方式处理其对应的立体图像对。
当然，在所有或一些上述物体检测处理中，HDR图像的使用允许传感器单元16在多种环境照明条件下工作。在HDR图像融合的一个示例性实施例中，图像处理电路36实施若干操作。例如，校准处理用作恢复制造阶段所要求的图像传感器的逆响应函数（CRF），g：Z→R的特征步骤。g的域为取值范围为10至1023的10位（成像器数据分辨率）的整数（表示为Z）。由实数R设置范围。
在运行时，CRF用于组合以不同曝光度所取的图像来建立辐照图像E。由此，使用对数运算符色调映射所恢复的辐照图像，然后重新映射为适于SVP400处理的12位强度图像。
设想恢复CRF的几种不同的校准/特征算法。例如参见P.Debevec和J.Malik的作品，“Recovering High Dynamic Range Radiance Maps fromPhotographs（从照片恢复高动态范围辐照图像）”，SIGGRAPH1998，以及T.Mitsunaga和S.Nayar的“Radiometric Self Calibration（辐照度自校准）”，CVPR1999。
在任何情况下，下面的伪代码总结了如在运行时所实施的HDR融合算法的示例。算法输入包括：CRFg，低曝光帧IL，低曝光时间tL，高曝光帧IH，以及高曝光时间tH。匹配算法输出是12位辐照图像E。
对于每个像素p，
ln E ( p ) = [ w ( I L ) ( g ( I L ) - ln t L ) ] + [ w ( I H ) ( g ( I H ) - ln t H ) ] w ( I L ) + w ( I H )
其中w：Z→R为加权函数（例如高斯、帽状加权函数等）。该算法基线映射lnE(p)→[0,4096]以获得12位的辐照图像E，这将被理解为涉及偏移和缩放操作。
因为运行时HDR融合算法独立在每个像素上操作，所以所建议的HDR方案适于在支持并行处理的基本上任何平台上实现。出于这个原因，基于FPGA实现的图像处理器402变得非常有利。
当然，取决于性能要求和应用的细节，这些和其他实现的细节可以变化，至少在一定程度上变化。宽泛而言，本文教导使用投影体监测的方法，所述方法包括从具有均交叠主监测带12的相应的传感器视场的四个图像传感器18获取图像数据。图像传感器18布置为使得第一图像传感器18-1和第二图像传感器18-2形成第一主基线对，第一主基线对的间隔限定第一主基线，第三图像传感器18-3和第四图像传感器18-4形成第二主基线对，第二主基线对的间隔限定第二主基线，图像传感器18还布置为使得第一图像传感器18-1和第三图像传感器18-3形成第一次基线对，第一次基线对的间隔限定第一次基线，第二图像传感器18-2和第四图像传感器18-4形成第二次基线对，第二次基线对的间隔限定第二次基线，其中主基线比次基线长。
在一个示例性布置中，四个图像传感器被布置为间隔开第一次基线的两个左侧图像传感器18，以形成第一次基线对，以及间隔开第二次基线的两个右侧图像传感器18，以形成第二次基线对。四个图像传感器18还布置为使得一个左侧图像传感器18与一个右侧图像传感器18配对以形成间隔开第一主基线的第一主基线对，而另一左侧图像传感器18与另一右侧图像传感器18配对以形成间隔开第二主基线的第二主基线对。这里，“左侧”和“右侧”是相对的术语，意思是相对较近地间隔开的相应对图像传感器18，而同时相应对相对彼此间隔开更大距离。于是，可以适应竖直布置，其中“左”和“右”等同于“顶部”和“底部”。
回看图2，一个左侧图像传感器18-1与一个右侧图像传感器18-2配对以形成间隔开第一主基线32-1的第一主基线对。类似地，另一左侧图像传感器18-3与另一右侧图像传感器18-4配对以形成间隔开第二主基线32-2的第二主基线对。
基于此有利的图像传感器的物理布置和来自图像传感器的图像数据的关联的功能对，所述方法包括基于来自每个主基线对的图像数据的立体视觉处理在主监测带中冗余地检测物体。更进一步地，所述方法包括通过基于处理来自每个次基线对的图像数据来检测遮蔽物体有利地缓解来自遮蔽物体造成的风险。
明显的是，受益于具有在上文描述和相关附图中呈现的教导，本领域技术人员可以想到所述公开的发明的修改和其他实施例。因此，应理解的是，本发明不限于所公开的具体实施例，而是意图将修改和其他实施例包括在本公开的范围内。虽然本文使用了具体术语，但是其仅在一般性和描述性意义上使用，而不用于限制的目的。

Claims (27)

1.一种投影体监测装置，包括传感器单元，所述传感器单元包括：
四个图像传感器，具有全部交叠主监测带的相应的传感器视场，并且所述四个图像传感器布置为使得第一图像传感器和第二图像传感器形成第一主基线对，所述第一主基线对的间隔限定第一主基线，第三图像传感器和第四图像传感器形成第二主基线对，所述第二主基线对的间隔限定第二主基线，所述四个图像传感器还布置为使得第一图像传感器和第三图像传感器形成第一次基线对，所述第一次基线对的间隔限定第一次基线，第二图像传感器和第四图像传感器形成第二次基线对，所述第二次基线对的间隔限定第二次基线，其中所述主基线比所述次基线长；以及
多个图像处理电路，配置为使用从所述主基线对获取的图像数据来冗余地检测所述主监测带内的物体，并且还配置为使用从所述次基线对获取的图像数据来检测遮蔽物体，其中遮蔽物体相对于所述主监测带阻挡一个或多个所述传感器视场。
2.根据权利要求1所述的投影体监测装置，其中所述主监测带由最小检测距离来定边界，所述最小检测距离表示在所述传感器单元使用所述主基线对检测物体时距离所述传感器单元的最小范围。
3.根据权利要求1所述的投影体监测装置，其中所述传感器单元的所述图像处理电路配置为冗余地检测所述主监测带内的物体，所述检测是通过在范围数据中检测这些物体是否存在来进行的，所述范围数据是经由对所述第一主基线对获取的图像数据的立体视觉图像处理推导出的，或是经由对所述第二主基线对获取的图像数据的立体视觉图像处理推导出的。
4.根据权利要求1所述的投影体监测装置，其中所述传感器单元的所述图像处理电路配置为通过为每个次基线对检测从所述次基线对中的一个所述图像传感器获取的图像中的单独的像素与从所述次基线对中的另一个所述图像传感器获取的图像中的对应相邻像素之间的强度差，来检测遮蔽物体。
5.根据权利要求1所述的投影体监测装置，其中所述图像传感器配置为获取图像帧，包括低曝光图像帧和高曝光图像帧，并且其中所述图像处理电路至少相对于由所述主基线对获取的所述图像帧，融合对应的低曝光图像帧和高曝光图像帧以获得高动态范围、即HDR图像，并且立体视觉处理来自每个所述主基线对的所述HDR图像的流，用于冗余地检测所述主监测带中的物体。
6.根据权利要求1所述的投影体监测装置，其中每个主基线对表示立体通道，并且其中对来自每个立体通道的所述HDR图像修正使得所述HDR图像对应于对极几何，其中包括在所述主基线对中的所述图像传感器中的对应光轴是平行的并且对极线为经修正的图像中的对应图像行。
7.根据权利要求6所述的投影体监测装置，其中所述图像处理电路包括立体视觉处理器电路，所述立体视觉处理器电路配置为实施立体匹配算法，所述立体匹配算法计算由每个立体通道中的所述图像传感器获得的经修正的图像中的对应实景点之间的差异，并且基于所述差异，计算所述实景点相对于所述图像传感器位置的3D位置。
8.根据权利要求1所述的投影体监测装置，其中所述图像处理电路配置为从由所述图像传感器获取的原始图像数据产生经修正的且无失真的图像数据，还配置为根据与对所述原始图像数据使用的相同的修正和失真校正算法为所述图像传感器转换产生不良像素映射，以保持所述不良像素映射与所述经修正的且无失真的图像数据之间的一致性。
9.根据权利要求8所述的投影体监测装置，其中所述图像处理电路配置为由高动态范围、即HDR图像数据形成所述经修正的且无失真的图像数据，其中通过为每个所述图像传感器融合对应的低曝光图像帧和高曝光图像帧而建立所述HDR图像数据。
10.根据权利要求8所述的投影体监测装置，其中所述不良像素映射对于每个图像传感器包括对从所述图像传感器获取的原始图像数据检测到的亮点或噪声像素的标示，并且其中所述图像处理电路还配置为在每个不良像素映射中还包括对未通过动态范围测试的像素的标示，在所述动态范围测试中，检查为给定的图像传感器获得的所述经修正的且无失真的图像数据中的像素，将其与饱和度阈值和未饱和度阈值进行比对。
11.根据权利要求8所述的投影体监测装置，其中所述不良像素映射对于每个图像传感器包括对从所述图像传感器获取的原始图像数据检测到的亮点或噪声像素的标示，并且其中所述图像处理电路还配置为在每个不良像素映射中还包括对未通过由所述图像处理电路实施的对比度检查的像素的标示。
12.根据权利要求8所述的投影体监测装置，其中所述图像处理电路包括立体视觉处理器，所述立体视觉处理器配置为对来自包括每个主基线对的所述图像传感器的经修正的且无失真的图像数据实施立体视觉处理，并且配置为产生包括3D范围数据的对应深度映射，其对应于包括这些图像数据的像素，并且其中所述图像处理电路还配置为使用所述深度映射来检测在一个或多个限定的范围边界内的像素的聚类，以将任何检测到的聚类与所限定的最小物体尺寸比较，以追踪满足所述最小物体尺寸的任何检测到的聚类，来判定所述聚类是否持续了一个或多个时域过滤期间，并且如果是这样，则向还包括在所述投影体监测装置中的控制单元指示物体入侵事件。
13.根据权利要求1所述的投影体监测装置，其中，为了使用从所述主基线对获取的图像数据来冗余地检测所述主监测带内的物体，所述图像处理电路包括单个立体视觉处理器，所述立体视觉处理器对来自每个主基线对的图像对实施立体视觉处理，并且其中所述图像处理电路还配置为定期将测试图像注入所述立体视觉处理器中，作为用于验证所述立体视觉处理器正常操作的机制。
14.根据权利要求1所述的投影体监测装置，其中下列配置中的至少一个用于缓解由在所述主监测带的两侧的侧遮蔽带造成的物体遮蔽风险：
所述传感器单元配置为具有用于其图像传感器的延伸角度，所述延伸角度使所述侧遮蔽带最小化；或者
所述图像处理电路配置为对由每个所述次基线对获取的图像数据实施立体关联处理，用于在所述侧遮蔽带内的物体检测。
15.根据权利要求1所述的投影体监测装置，其中D表示用于从所述主基线对获取的图像数据的立体关联处理的最大差异搜索范围，用于在所述主监测带中的物体检测，其中d表示用于应用到从每个次基线对获取的图像数据的图像差算法的搜索窗口尺寸，用于遮蔽物体检测，其中T表示所述第一和第二主基线的长度，其中t表示所述第一和第二次基线的长度，并且其中所述传感器单元配置为使得t/T=D/d。
16.一种投影体监测的方法，包括：
从四个图像传感器获取图像数据，所述四个图像传感器具有全部交叠主监测带的相应的传感器视场，并且被布置为使得第一图像传感器和第二图像传感器形成第一主基线对，所述第一主基线对的间隔限定第一主基线，第三图像传感器和第四图像传感器形成第二主基线对，所述第二主基线对的间隔限定第二主基线，所述四个图像传感器还布置为使得第一图像传感器和第三图像传感器形成第一次基线对，所述第一次基线对的间隔限定第一次基线，第二图像传感器和第四图像传感器形成第二次基线对，所述第二次基线对的间隔限定第二次基线，其中所述主基线比所述次基线长；
基于对来自每个所述主基线对的图像数据的立体视觉处理来在所述主监测带中冗余地检测物体；以及
基于处理来自每个所述次基线对的图像数据来检测遮蔽物体，其中遮蔽物体相对于所述主监测带阻挡一个或多个所述传感器视场。
17.根据权利要求16所述的方法，其中检测遮蔽物体包括：
对于任一个次基线对，检测从所述次基线对中的一个所述图像传感器获取的图像中的单独的像素与从所述次基线对中的另一个所述图像传感器获取的图像中的对应相邻像素之间的强度差。
18.根据权利要求16所述的方法，其中检测遮蔽物体包括：
对于任一个次基线对，对由包括所述次基线对的两个图像传感器获取的图像数据实施立体视觉处理，并且评估由此获得的对应的范围数据。
19.根据权利要求16所述的方法，其中在所述主监测带中冗余地检测物体包括：
在第一范围数据中检测这些物体的存在，所述第一范围数据是经由对所述第一主基线对获取的图像数据的立体视觉图像处理推导出的；
还在第二范围数据中检测这些物体的存在，所述第二范围数据是经由对所述第二主基线对获取的图像数据的立体视觉图像处理推导出的；以及
评估所述第一范围数据和所述第二范围数据是否一致。
20.根据权利要求16所述的方法，还包括：
使用低曝光图像帧和高曝光图像帧从每个图像传感器获取图像数据，并且融合对应的低曝光图像帧和高曝光图像帧以获得高动态范围、即HDR图像，并且立体视觉处理来自每个所述主基线对的所述HDR图像的流，用于冗余地检测所述主监测带中的物体。
21.根据权利要求16所述的方法，还包括：
从由所述图像传感器获取的原始图像数据产生经修正的且无失真的图像数据，并且根据与对所述原始图像数据使用的相同的修正和失真校正算法为所述图像传感器转换产生不良像素映射，以保持所述不良像素映射与所述经修正的且无失真的图像数据之间的一致性。
22.根据权利要求21所述的方法，其中所述不良像素映射对于每个图像传感器包括对从所述图像传感器获取的原始图像数据检测到的亮点或噪声像素的标示，并且每个不良像素映射中还包括对未通过动态范围测试的像素的标示，在所述动态范围测试中，检查为给定的图像传感器获得的所述经修正的且无失真的图像数据中的像素，将其与饱和度阈值和未饱和度阈值进行比对。
23.根据权利要求21所述的方法，其中所述不良像素映射对于每个图像传感器包括对从所述图像传感器获取的原始图像数据检测到的亮点或噪声像素的标示，并且每个不良像素映射中还包括对未通过由所述图像处理电路实施的对比度检查的像素的标示。
24.根据权利要求21所述的方法，还包括：
对来自包括每个主基线对的所述图像传感器的经修正的且无失真的图像数据实施立体视觉处理，产生包括3D范围数据的对应深度映射，其对应于包括这些图像数据的像素，使用所述深度映射来检测在一个或多个限定的范围边界内的像素的聚类，以将任何检测到的聚类与所限定的最小物体尺寸比较，并追踪满足所述最小物体尺寸的任何检测到的聚类，来判定所述聚类是否持续了一个或多个时域过滤期间，并且如果是这样，则向还包括在投影体监测装置中的控制单元指示物体入侵事件。
25.根据权利要求16所述的方法，还包括：
定期将测试图像注入立体视觉处理器中，作为用于验证所述立体视觉处理器正常操作的机制，其中所述立体视觉处理器用于在所述主监测带中的物体的所述冗余检测。
26.根据权利要求16所述的方法，还包括：
基于下列配置中的至少一个来缓解由在所述主监测带的两侧的侧遮蔽带造成的物体遮蔽风险：
将传感器单元配置为包含所述四个图像传感器，使得所述四个图像传感器的延伸角度使所述侧遮蔽带最小化；或者
将所述传感器单元配置为对由每个所述次基线对获取的图像数据实施立体关联处理，用于在所述侧遮蔽带内的物体检测。
27.根据权利要求16所述的方法，其中所述四个图像传感器被布置为两个左侧图像传感器间隔所述第一次基线以形成所述第一次基线对，而两个右侧图像传感器间隔所述第二次基线以形成所述第二次基线对，并且其中所述四个图像传感器还被布置为使得一个左侧图像传感器与一个右侧图像传感器配对以形成间隔所述第一主基线的所述第一主基线对，而另一个左侧图像传感器与另一个右侧图像传感器配对以形成间隔所述第二主基线的所述第二主基线对。
CN201280033381.2A 2011-07-05 2012-07-03 用于投影体监测的方法和装置 Active CN103649994B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610948728.6A CN107093192B (zh) 2011-07-05 2012-07-03 用于投影体监测的方法和装置

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161504608P 2011-07-05 2011-07-05
US61/504,608 2011-07-05
US201161547251P 2011-10-14 2011-10-14
US61/547,251 2011-10-14
PCT/US2012/045463 WO2013006649A2 (en) 2011-07-05 2012-07-03 A method and apparatus for projective volume monitoring

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201610948728.6A Division CN107093192B (zh) 2011-07-05 2012-07-03 用于投影体监测的方法和装置

Publications (2)

Publication Number Publication Date
CN103649994A true CN103649994A (zh) 2014-03-19
CN103649994B CN103649994B (zh) 2016-11-16

Family

ID=46598940

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201610948728.6A Active CN107093192B (zh) 2011-07-05 2012-07-03 用于投影体监测的方法和装置
CN201280033381.2A Active CN103649994B (zh) 2011-07-05 2012-07-03 用于投影体监测的方法和装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201610948728.6A Active CN107093192B (zh) 2011-07-05 2012-07-03 用于投影体监测的方法和装置

Country Status (5)

Country Link
US (1) US9532011B2 (zh)
EP (1) EP2729915B1 (zh)
JP (2) JP5910740B2 (zh)
CN (2) CN107093192B (zh)
WO (1) WO2013006649A2 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017519380A (ja) * 2014-03-21 2017-07-13 オムロン株式会社 光学系における光学的障害を検出しかつ緩和するための方法および装置
CN107250724A (zh) * 2015-09-30 2017-10-13 株式会社小松制作所 摄像装置
CN108353117A (zh) * 2015-08-24 2018-07-31 弗劳恩霍夫应用研究促进协会 3d多孔径成像装置
US11244434B2 (en) 2015-08-24 2022-02-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-aperture imaging device

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107093192B (zh) * 2011-07-05 2020-06-12 欧姆龙株式会社 用于投影体监测的方法和装置
ITBO20120299A1 (it) * 2012-05-31 2013-12-01 Filippo Guerzoni Dispositivo, sistema e metodo di sorveglianza di un prestabilito volume.
KR101981685B1 (ko) * 2012-10-04 2019-08-28 삼성전자주식회사 디스플레이 장치, 사용자 단말 장치, 외부 장치, 디스플레이 방법, 데이터 수신 방법 및 데이터 전송 방법
US9565416B1 (en) 2013-09-30 2017-02-07 Google Inc. Depth-assisted focus in multi-camera systems
US9544574B2 (en) * 2013-12-06 2017-01-10 Google Inc. Selecting camera pairs for stereoscopic imaging
CN106461387B (zh) * 2014-05-28 2020-11-20 京瓷株式会社 立体相机设备和设置有立体相机的车辆
ITMI20150028U1 (it) * 2015-02-10 2016-08-10 Atom Spa Barriera fotoelettrica perfezionata di sicurezza, specie per macchine di taglio
EP3138721B1 (en) * 2015-09-03 2018-11-14 Continental Automotive GmbH A method and apparatus for glare detection
JP6595609B2 (ja) * 2015-09-30 2019-10-23 株式会社小松製作所 画像データ生成方法
JP6407176B2 (ja) * 2016-01-22 2018-10-17 三菱電機株式会社 撮像装置及び故障検出方法、並びにプログラム及び記録媒体
WO2017196187A1 (en) * 2016-05-12 2017-11-16 Kando Innovation Limited Enhanced safety attachment for cutting machine
JP6953274B2 (ja) 2017-02-01 2021-10-27 ソニーセミコンダクタソリューションズ株式会社 撮像システム及び撮像装置
WO2019139815A1 (en) 2018-01-12 2019-07-18 Duke University Apparatus, method and article to facilitate motion planning of an autonomous vehicle in an environment having dynamic objects
CN108447303B (zh) * 2018-03-20 2021-01-15 武汉理工大学 基于人眼视觉与机器视觉耦合的外周视野危险识别方法
PL3769174T3 (pl) 2018-03-21 2022-10-24 Realtime Robotics, Inc. Planowanie przemieszczania robota do różnych środowisk i zadań oraz jego ulepszone działanie
EP3572971B1 (de) * 2018-05-22 2021-02-24 Sick Ag Absichern eines überwachungsbereichs mit mindestens einer maschine
US11911918B2 (en) * 2018-06-11 2024-02-27 Panasonic Intellectual Property Management Co., Ltd. Distance-measuring system and distance-measuring method
JP6983740B2 (ja) * 2018-09-27 2021-12-17 株式会社日立製作所 ステレオカメラシステム、及び測距方法
JP7118911B2 (ja) * 2019-03-08 2022-08-16 株式会社東芝 画像処理装置
WO2020214723A1 (en) 2019-04-17 2020-10-22 Real Time Robotics, Inc. Motion planning graph generation user interface, systems, methods and articles
US11726186B2 (en) * 2019-09-30 2023-08-15 Zoox, Inc. Pixel filtering using multiple exposures
US11841438B2 (en) 2019-09-30 2023-12-12 Zoox, Inc. Power control of sensors using multiple exposures
CN111681382A (zh) * 2020-05-28 2020-09-18 天津市三源电力设备制造有限公司 一种基于视觉分析检测施工现场跨越临时围栏的方法
US20220126451A1 (en) * 2020-10-26 2022-04-28 Realtime Robotics, Inc. Safety systems and methods employed in robot operations
CN114648855B (zh) * 2022-03-18 2024-01-05 万联天启卫星科技有限公司 智慧社区安防综合管理系统及其控制方法
WO2024034639A1 (ja) * 2022-08-10 2024-02-15 パナソニックＩｐマネジメント株式会社 領域検査装置、領域検査方法、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006033282A (ja) * 2004-07-14 2006-02-02 Olympus Corp 画像生成装置およびその方法
CN1735217A (zh) * 2004-08-09 2006-02-15 奥林巴斯株式会社 生成图像的方法和设备
US20070296815A1 (en) * 2004-11-12 2007-12-27 Saab Ab Image-Based Movement Tracking
JP2011109507A (ja) * 2009-11-19 2011-06-02 Omron Corp 画像処理装置および画像処理プログラム

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5625408A (en) 1993-06-24 1997-04-29 Canon Kabushiki Kaisha Three-dimensional image recording/reconstructing method and apparatus therefor
US6177958B1 (en) 1998-03-11 2001-01-23 Flashpoint Technology, Inc. System and method for the automatic capture of salient still images
US7483049B2 (en) 1998-11-20 2009-01-27 Aman James A Optimizations for live event, real-time, 3D object tracking
US6829371B1 (en) 2000-04-29 2004-12-07 Cognex Corporation Auto-setup of a video safety curtain system
US7400744B2 (en) 2002-09-05 2008-07-15 Cognex Technology And Investment Corporation Stereo door sensor
US7397929B2 (en) 2002-09-05 2008-07-08 Cognex Technology And Investment Corporation Method and apparatus for monitoring a passageway using 3D images
US7623674B2 (en) 2003-11-05 2009-11-24 Cognex Technology And Investment Corporation Method and system for enhanced portal security through stereoscopy
US8345918B2 (en) 2004-04-14 2013-01-01 L-3 Communications Corporation Active subject privacy imaging
EP1779295A4 (en) 2004-07-26 2012-07-04 Automotive Systems Lab SYSTEM FOR PROTECTING USERS OF THE ROAD IN A DANGER SITUATION
JP4799236B2 (ja) * 2006-03-23 2011-10-26 富士重工業株式会社 車載表示システム
JP2007293672A (ja) * 2006-04-26 2007-11-08 Toyota Motor Corp 車両用撮影装置、車両用撮影装置の汚れ検出方法
US8432448B2 (en) 2006-08-10 2013-04-30 Northrop Grumman Systems Corporation Stereo camera intrusion detection system
US8073196B2 (en) 2006-10-16 2011-12-06 University Of Southern California Detection and tracking of moving objects from a moving platform in presence of strong parallax
JP4448844B2 (ja) * 2006-11-22 2010-04-14 富士フイルム株式会社 複眼撮像装置
DE102006057605A1 (de) * 2006-11-24 2008-06-05 Pilz Gmbh & Co. Kg Verfahren und Vorrichtung zum Überwachen eines dreidimensionalen Raumbereichs
JP2009048033A (ja) * 2007-08-22 2009-03-05 Panasonic Corp 立体画像撮像装置
JP4856612B2 (ja) * 2007-10-29 2012-01-18 富士重工業株式会社 物体検出装置
US7986352B2 (en) 2008-06-18 2011-07-26 Panasonic Corporation Image generation system including a plurality of light receiving elements and for correcting image data using a spatial high frequency component, image generation method for correcting image data using a spatial high frequency component, and computer-readable recording medium having a program for performing the same
JP5267101B2 (ja) * 2008-12-18 2013-08-21 マツダ株式会社 車両用対象物検出装置
JP2010206521A (ja) * 2009-03-03 2010-09-16 Fujifilm Corp 撮像装置、画像補正方法およびプログラム
US8885879B2 (en) 2009-04-28 2014-11-11 Nec Corporation Object position estimation device, object position estimation method and program
EP2275990B1 (de) 2009-07-06 2012-09-26 Sick Ag 3D-Sensor
JP5776173B2 (ja) * 2010-03-01 2015-09-09 株式会社リコー 撮像装置及び距離測定装置
EP2386876B1 (de) 2010-05-04 2013-07-10 Sick AG Entfernungsmessender optoelektronischer Sicherheitssensor und Verfahren zur Überwachung eines Überwachungsbereichs
US8427324B2 (en) 2010-07-30 2013-04-23 General Electric Company Method and system for detecting a fallen person using a range imaging device
DE102010037744B3 (de) 2010-09-23 2011-12-08 Sick Ag Optoelektronischer Sensor
CN107093192B (zh) * 2011-07-05 2020-06-12 欧姆龙株式会社 用于投影体监测的方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006033282A (ja) * 2004-07-14 2006-02-02 Olympus Corp 画像生成装置およびその方法
CN1735217A (zh) * 2004-08-09 2006-02-15 奥林巴斯株式会社 生成图像的方法和设备
US20070296815A1 (en) * 2004-11-12 2007-12-27 Saab Ab Image-Based Movement Tracking
JP2011109507A (ja) * 2009-11-19 2011-06-02 Omron Corp 画像処理装置および画像処理プログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017519380A (ja) * 2014-03-21 2017-07-13 オムロン株式会社 光学系における光学的障害を検出しかつ緩和するための方法および装置
CN108353117A (zh) * 2015-08-24 2018-07-31 弗劳恩霍夫应用研究促进协会 3d多孔径成像装置
US10701340B2 (en) 2015-08-24 2020-06-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. 3D multi-aperture imaging device
CN108353117B (zh) * 2015-08-24 2021-08-24 弗劳恩霍夫应用研究促进协会 3d多孔径成像装置
US11244434B2 (en) 2015-08-24 2022-02-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-aperture imaging device
CN107250724A (zh) * 2015-09-30 2017-10-13 株式会社小松制作所 摄像装置
US10533305B2 (en) 2015-09-30 2020-01-14 Komatsu Ltd. Image pick-up apparatus
CN107250724B (zh) * 2015-09-30 2020-05-12 株式会社小松制作所 摄像装置

Also Published As

Publication number Publication date
CN107093192B (zh) 2020-06-12
JP6237809B2 (ja) 2017-11-29
JP2016171575A (ja) 2016-09-23
WO2013006649A2 (en) 2013-01-10
EP2729915A2 (en) 2014-05-14
US9532011B2 (en) 2016-12-27
US20130076866A1 (en) 2013-03-28
JP2014523716A (ja) 2014-09-11
CN103649994B (zh) 2016-11-16
WO2013006649A3 (en) 2013-09-19
CN107093192A (zh) 2017-08-25
JP5910740B2 (ja) 2016-04-27
EP2729915B1 (en) 2017-12-27

Similar Documents

Publication Publication Date Title
CN103649994A (zh) 用于投影体监测的方法和装置
JP6264477B2 (ja) 射影空間監視のための方法および装置
US10417735B2 (en) Data processing device for processing multiple sensor data and system including the same
US9377310B2 (en) Mapping and positioning system
JP7136507B2 (ja) 深度感知コンピュータビジョンシステム
US9524426B2 (en) Multi-view human detection using semi-exhaustive search
CN115668182A (zh) 自主车辆环境感知软件架构
JP6544257B2 (ja) 情報処理システム、情報処理方法及び情報処理プログラム
US20150294143A1 (en) Vision based monitoring system for activity sequency validation
US20090268029A1 (en) Method and apparatus for monitoring a three-dimensional spatial area
CN105164549A (zh) 用于机器人的多传感立体视觉的方法、系统和设备
CN106997455A (zh) 用于安全地检测出最小尺寸的对象的光电传感器和方法
WO2019036751A1 (en) ENHANCED VIDEO-BASED DRIVER MONITORING USING PHASE DETECTION SENSORS
CN104007240A (zh) 一种基于双目识别与电子鼻网络气体检测的融合定位技术
JP2019061303A (ja) 車両の周辺監視装置と周辺監視方法
CN103186233A (zh) 眼神定位全景互动控制方法
KR102359268B1 (ko) 복수의 센서 데이터를 처리하는 데이터 처리 장치 및 상기 장치를 포함하는 데이터 처리 시스템
JP2019164837A (ja) 情報処理システム、情報処理方法及び情報処理プログラム
CN107886542B (zh) 一种视觉检测的目标恢复方法和系统
US20240078697A1 (en) Localizing an optical marker
JP2021193634A (ja) 情報処理システム、情報処理方法及び情報処理プログラム
JP2021081985A (ja) 物体検出装置
Fernández-Sánchez Modelos de visión para tareas de videovigilancia en sistemas empotrados
Dankers et al. Bimodal Active Stereo Vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant