CN105094005A - 光学区域监测与工业机器控制的集成 - Google Patents

光学区域监测与工业机器控制的集成 Download PDF

Info

Publication number
CN105094005A
CN105094005A CN201510257307.4A CN201510257307A CN105094005A CN 105094005 A CN105094005 A CN 105094005A CN 201510257307 A CN201510257307 A CN 201510257307A CN 105094005 A CN105094005 A CN 105094005A
Authority
CN
China
Prior art keywords
analysis
sensor device
image sensor
assembly
people
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510257307.4A
Other languages
English (en)
Other versions
CN105094005B (zh
Inventor
理查德·加莱拉
安妮·博尔比
德里克·W·琼斯
尼莱什·普拉丹
弗朗西斯·L·利尔德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rockwell Automation Technologies Inc
Original Assignee
Rockwell Automation Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rockwell Automation Technologies Inc filed Critical Rockwell Automation Technologies Inc
Publication of CN105094005A publication Critical patent/CN105094005A/zh
Application granted granted Critical
Publication of CN105094005B publication Critical patent/CN105094005B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16P—SAFETY DEVICES IN GENERAL; SAFETY DEVICES FOR PRESSES
    • F16P3/00—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body
    • F16P3/12—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine
    • F16P3/14—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact
    • F16P3/142—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact using image capturing devices
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/048—Monitoring; Safety
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B9/00—Safety arrangements
    • G05B9/02—Safety arrangements electric
    • G05B9/03—Safety arrangements electric with multiple-channel loop, i.e. redundant control systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/10—Plc systems
    • G05B2219/14—Plc safety
    • G05B2219/14006—Safety, monitoring in general
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Automation & Control Theory (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mechanical Engineering (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Alarm Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

提供了将光学安全监测与机器控制集成的工业安全系统。该安全系统包括支持像素阵列处理功能的成像传感器装置，这些像素阵列处理功能允许对像素阵列的选定部分进行飞行时间(TOF)分析，而对阵列的剩余部分进行二维成像分析，从而相对于对阵列的所有像素进行TOF分析而言，减小了处理负载和响应时间。像素阵列的为了进行TOF分析而指定的部分可以通过成像传感器装置的配置而被预定义，或者可以基于利用二维成像分析的对象检测和分类而动态地被选择。成像传感器装置还可以实现多种安全和冗余功能以实现高度的安全完整性。

Description

光学区域监测与工业机器控制的集成
相关申请的交叉引用
本申请要求于2014年5月19日提交的题为“INTEGRATIONOFOPTICALAREAMONITORINGWITHINDUSTRIALMACHINECONTROL”的美国临时申请No.62/000,487的优先权，其全部内容通过引用合并到本文中。
技术领域
本文所公开的主题一般地涉及工业安全，并且更具体地涉及工业控制与使用能够对像素阵列的指定部分进行选择性飞行时间(TOF)分析的成像传感器的光学区域监测的结合。
发明内容
下面提出了简化概要以提供对本文所描述的一些方面的基本理解。该概要既不是扩展性概要也无意确定本文所描述的各个方面的关键/重要要素或界定本文所描述的各个方面的范围。其唯一目的在于以简化形式提出一些概念作为随后提出的更加详细的描述的序言。
在一种或多种实施例中，提供了一种光学安全系统，其包括：像素阵列组件，被配置成针对由一个或多个成像传感器装置捕获的危险工业区域的一个或多个图像的一个或多个像素阵列，对所述一个或多个像素阵列的像素进行分组以得到要进行二维(2D)分析的像素的子集；图像分析组件，被配置成对像素的子集进行2D分析；距离确定组件，被配置成对从一个或多个成像传感器装置接收到的点云数据进行3D分析；以及危险分析和判定组件，被配置成基于2D分析的结果和3D分析的结果来将图像中的第一对象分类为为机动化(motorized)工业设备并且将图像中的第二对象分类为人，将2D分析的结果和3D分析的结果进行关联以得到与人和机动化工业设备之间的关系有关的关联信息，并且基于关联信息来生成控制机动化设备的控制输出。
此外，一种或多种实施例提供了用于控制机动化工业设备的方法，该方法包括：由包括至少一个处理器的安全系统从监测危险工业区的一个或多个成像传感器收集图像数据；对图像数据的一组像素进行二维(2D)成像分析；对点云数据进行三维(3D)分析，该点云数据包括由一个或多个成像传感器装置针对图像数据的选定像素所计算的距离信息；基于2D成像分析或3D分析中的至少一个来将图像数据中的第一对象分类为人；基于2D成像分析或3D分析中的至少一个将图像中的第二对象分类为机动化工业设备；将2D成像分析的结果和3D分析的结果进行关联以得到与危险工业区内的人与机动化设备之间的关系有关的关联信息；以及基于关联信息发送用以改变机动化工业设备的操作的指令。
此外，根据一种或多种实施例，提供了一种存储有指令的非暂态计算机可读介质，所述指令响应于执行而使包括处理器的系统执行操作，所述操作包括：从监测危险工业区域的一个或多个成像传感器装置收集图像数据；对包括图像数据的一个或多个像素组进行二维(2D)成像分析；对点云数据进行3D(3D)分析，该点云数据包括针对从一个或多个成像传感器装置接收到的图像数据的选定像素而生成距离信息；基于2D成像分析或所述3D分析中的至少一种来将图像数据中的第一对象分类为人；基于2D成像分析或3D分析中的至少一种将图像数据中的第二对象分类为机动化工业设备；将2D成像分析的结果和3D分析的结果进行关联以得到与危险工业区域内的人与机动化设备之间的关系有关的关联信息；基于关联信息发送用以改变机动化工业设备的操作的指令。
为了实现上述及有关目的，在本文中结合以下描述和附图描述某些示例性方面。这些方面表示可以实现的各种方式，在本文中有意覆盖所有这些方式。当结合附图考虑时，通过以下详细描述其他优点和新颖特征会变得明显。
附图说明
图1是示出使用二维成像传感器对X维和Y维中的对象的2D检测的示意图；
图2A是示出使用2D图像传感器对图像进行2D图像分析的示意图；
图2B是示出使用3D图像传感器对图像进行3D图像分析的示意图；
图3是示例成像传感器设备的框图；
图4A是针对工业安全系统的总体功能模型；
图4B是示出由利用成像传感器设备的工业安全和控制系统执行的功能的总体功能模型；
图4C是示出光学安全监测和机器控制整合的示例实现的总体功能模型；
图5是示出成像传感器设备的操作的概况的功能框图；
图6是示出成像传感器设备的组件的框图；
图7是示例像素阵列组的图示；
图8是示出通过成像传感器设备将2D(成像)信息和3D(距离)信息关联的框图；
图9A是示出使用三维对象到二维平面的投射的距离测量的图；
图9B是示出使用投射和封装在两个所检测的对象之间进行距离测量的图；
图10是示出三维封装的概念性图；
图11是利用成像传感器设备的一个或多个实施例的集成控制和安全系统的示例架构的图；
图12是集成控制和光学安全监测架构的示例实现的图；
图13是可以集成在成像传感器设备的一个或多个实施例中的示例安全组件的框图；
图14是用于将成像传感器设备与工业控制系统集成以提供光学安全的示例方法的流程图；
图15是用于在利用光学区域监测的工业安全系统中动态地选择像素阵列的一部分用于选择性3D分析的示例方法的流程图；
图16是用于基于对由多个成像传感器设备生成的点云数据的分析来估计两个对象之间的最小距离的示例方法的流程图；
图17是示例计算环境；以及
图18是示例网络环境。
具体实施方式
现在参照附图描述本公开内容，其中相同的附图标记用于贯穿附图指示相同的元素。在以下描述中，为了说明，阐述了大量的特定细节以便提供对本公开内容的完全的理解。然而，显然可以在没有这些特定细节的情况下实践本公开内容。在其他实例中，以框图的形式示出了公知的结构和设备，以便有助于对其描述。
如在本申请中使用的术语“组件”、“系统”、“平台”、“层”、“控制器”、“终端”、“台”、“节点”、“接口”意在指计算机相关实体或者与具有一个或多个特定功能的操作装置相关的实体或者是具有一个或多个特定功能的操作装置的一部分的实体，其中，这样的实体可以是硬件、硬件和软件的组合、软件或在执行中的软件。例如，组件可以是但不限于是运行在处理器上的处理、处理器、硬盘驱动、包括附加的(例如，用螺丝固定或闩住的)或可移动的附加固态存储驱动的多存储驱动(光学或磁存储介质)；对象；可执行文件；执行线程；计算机可执行程序和/或计算机。作为示例，在服务器上运行的应用和服务器两者可以是组件。一个或多个组件可以驻留在处理和/或执行线程内，并且组件可以位于一个计算机上以及/或者分布在两个或更多个计算机之间。此外，可以根据存储有各种数据结构的各种计算机可读存储介质来执行本文所描述的组件。组件可以例如根据具有一个或多个数据包的信号(例如，来自在本地系统、分布式系统中与另一组件交互的一个组件的数据、以及/或者通过网络例如因特网经由信号与其他系统交互的组件的数据)经由本地和/或远程处理来通信。在另一示例中，组件可以是具有由通过电子或电子线路操作的机械部件提供的特定功能的装置，该电子或电子线路通过由处理器执行的软件或固件应用来操作，其中，处理器可以是在装置的内部或外部并且执行软件或固件应用的至少一部分。在再一示例中，组件可以是通过没有机械部件的电子组件提供特定功能的装置，电子组件可以包括处理器在其中，以执行至少部分地提供电子组件的功能的软件或固件。在又一示例中，一个或多个接口可以包括输入/输出(I/O)组件以及关联的处理器、应用程序、或应用程序编程接口(API)组件。虽然前述示例涉及组件的各方面，但是示例化的方面或特征还应用于系统、平台、接口、层、控制器、终端等。
如本文所使用的，术语“推出”和“推论”一般指的是系统、环境和/或用户根据经由事件和/或数据捕获的一组观察资料进行的推理过程或推论状态。例如，推论可用来标识特定上下文或动作，或者可以生成关于状态的概率分布。推论可以是基于概率的，即，基于对数据和事件的考虑来计算关注状态上的概率分布。推论还可以指用来根据一组事件和/或数据构成较高层事件的技术。这样的推论导致根据一组观察的事件和/或存储的事件数据构造新事件或动作，不管事件是否在时间上紧密邻近地相互关联，以及不管事件和数据是否来自一个或数个事件和数据源。
此外，用语“或”意在表示包括性的“或”而非排他性的“或”。即，除非具体指定或者根据上下文清楚其意思，否则，“X采用A或B”意指自然的包括性排列中的任意排列。即，下述情况中任意情况都满足短语“X采用A或B”：X采用A；X采用B；或X采用A和B两者。此外，在本申请和所附权利要求中使用的冠词“a”和“an”通常应当理解为表示“一个或多个”，除非具体指出或者根据上下文很清楚意在表示单数形式。
此外，如在本文中采用的用语“集”不包括空集，例如，其中不具有元素的集。因此，在本公开内容中的“集”包括一个或多个元素或实体。作为示例，控制器的集包括一个或多个控制器；数据源的集包括一个或多个数据源等。同样地，如本文所使用的用语“组”指一个或多个实体的集合，例如，一组节点指一个或多个节点。
将按系统的形式呈现各种方面或特征，所述系统可以包括多个设备、组件、模块等。要理解并且明白的是各种系统可以包括附加的设备、组件、模块等，以及/或者可以不包括参照附图所讨论的所有设备、组件、模块等。还可以使用这些方法的组合。
二维(2D)成像传感器一般用于检测并且标识在传感器的视场内的对象的形状和/或表面特性。图1示出了使用2D成像传感器104对对象的标识。一些类型的2D成像传感器(例如，成像相机)通过朝向要被监测的区域投射宽的光束106并且在接收器处收集查看区域内的表面和对象(例如，对象108)反射的反射光来进行操作。一些传感器可以以振荡的方式贯穿查看区域扫光束106以收集线状(line-wise)图像数据，该线状图像数据被分析以识别对象边缘和表面、表面图案或其他这样的信息。或者，传感器104可以贯穿关注的区域投射静态的、大体上平面的光束，并且收集关于穿过光束的对象的数据。通常，2D图像传感器对基于反射光生成的像素数据执行灰度或红绿蓝(RGB)分析、以产生针对视场的二维图像数据，该二维图像数据可以被分析以识别对象边缘、对象表面图案或轮廓，或者其他这样的信息。图2A是示出使用2D图像传感器202对图像206进行2D图像分析的示意图。2D图像分析在x-y平面上产生对象和表面信息。取决于使用成像传感器的特定应用，传感器可以基于在查看区域内检测到的对象和/或图案来生成合适的输出。
三维(3D)图像传感器(也称为飞行时间(time-of-flight)(TOF)传感器)被设计成针对在传感器的视场内的对象和表面生成距离信息以及二维形状信息。一些类型的TOF传感器使用相位移动监测技术来确定对象的距离，由此，光束被发射至视场，并且测量的从相对于所发射的光的对象反射的光的相位移动被转换成距离值。采用脉冲光照明的其他类型的TOF传感器测量光脉冲发射到视场与在传感器的光子接收器处接收到反射的光脉冲之间的经过时间。因为飞行时间信息是对象或表面到传感器的距离的函数，所以传感器能够利用TOP信息以确定对象或表面点到传感器的距离。图2B是示出使用3D图像传感器204对图像208进行3D图像分析的示意图。如图所示，3D分析产生在z方向上的距离或深度信息(即，对象或表面到传感器204的距离)，以及在x-y平面中的成像信息。
三维图像分析(其涉及测量飞行时间信息以及随后计算距离信息)一般与2D成像分析相比处理更密集。3D分析需要的另外的处理时间和电力可以致使3D图像传感器不适合需要快速、可靠的响应时间的某些类型的应用。然而，存在有可以从3D图像分析受益的某些类型的应用，但是其需要快速且可靠的决策制定和响应时间。例如，工业安全监测应用必须能够可靠地检测在潜在危险区域内的人类的存在，并且用合适的安全控制输出(例如，停止或减慢运行机器的命令、以将危险机器断电等)以最小延迟来响应从而防止受伤。
为了解决这些和其他问题，本公开内容的一个或多个实施例提供一种工业安全监测系统，该工业安全监测系统包括：能够对所选择的传感器的像素阵列的子集或部分执行3D图像分析的成像传感器。在一个或多个实施例中，成像传感器使得像素阵列的一个或多个指定部分能够被选择用于3D(飞行时间)分析以便获得针对在像素阵列的所述部分中的像素的距离信息，而使用2D图像分析来处理剩余的像素阵列区域。例如，在对关注的区域训练(train)成像传感器之后，用户可以选择贯穿像素阵列的中间部分(上边缘或下边缘)的横条的像素以用于3D分析，以便可以针对与所选择的像素条对应的区域获得并且管理距离信息以及对象识别信息。成像传感器将2D分析(例如，灰度或RGB分析)应用于像素阵列的剩余的、未选择的区域以便检测、识别、分类和/或关联查看区域内的对象。因为2D成像处理与3D处理相比较快，所以通过将3D分析仅限制到需要距离信息的场景的这些区域来降低处理负载并且提高传感器响应时间。成像传感器还可以被配置成关联2D分析和3D分析的结果，使得可以以高水平的安全完整性获得在观察空间内的对象的识别、速度、距离以及轨迹。成像传感器被配置成与一个或多个工业装备(例如，工业自动化控制器、运动设备、机器人或其他危险机器等)接口，并且可以基于2D和3D图像处理的结果将控制指令经由网络接口或硬线接口发送至工业装备。以此方式，通过成像传感器补充对工业系统的控制，该成像传感器提供了有助于基于受控区域或空间(volume)内的对象、移动和事件对工业系统进行附加控制的视觉层。
在一些实施例中，该成像传感器可以被配置成：动态选择或修改要对其应用3D分析的像素阵列的部分；例如，基于对满足一个或多个标准的查看区域内的对象的检测。例如，在正常操作期间，成像传感器可以被配置成：对整个像素阵列执行连续的2D分析，直到具有某个限定的分类(例如，人、手推车等)的对象或对象的集合被检测。当这样的对象被检测时——例如当人进入传感器的查看区域时——传感器可以限定与用于3D分析的对象周围的区域对应的像素阵列的部分，使得可以跟踪关于对象的TOF(距离)信息。成像传感器可以动态地改变该限定的像素区域以随着对象而移动，使得只要对象仍然在查看区域中就可以监测对象的距离和速度信息。
在一个或多个实施例中，成像传感器还可以被配置成：针对给定的图像，标识属于限定的分类的单个对象的非连续像素组。即使图像内的人部分模糊，这都可以允许成像传感器标识查看区域内出现的人。例如，该成像传感器可以被训练成：标识与人腿对应的两个分开的可视对象的存在，并且使图像内的这两个对象由于属于查看区域内但部分模糊的人、而相互关联。当需要时传感器可以跟踪这些相关联的对象(例如，通过对与两个对象对应的像素区域执行3D分析)，使得可以基于区域内的人的位置和速度将适当的安全输出传递至受控工业系统。
图3是根据本公开内容的一个或多个实施例的示例成像传感器装置302的框图。虽然图3示出了某些功能组件驻留在成像传感器装置302上，但是应当理解的是，在一些实施例中，图3中示出的一个或多个功能组件可以驻留在相对于成像传感器装置302分离的装置上。在本公开内容中说明的系统、设备或处理的方面可以构成嵌入到机器内的机器可执行部件，例如嵌入到与一个或多个机器相关联的一个或多个计算机可读介质中。当由一个或多个机器例如计算机、计算装置、自动化装置、虚拟机等执行时，该部件可以使机器执行所描述的操作。
成像传感器装置302可以包括照明组件304、像素阵列组件306、距离确定组件310、图像分析组件312、危险分析和判定组件314、安全组件316、接口组件318、一个或多个处理器320以及存储器322。在各种实施例中，照明组件304、像素阵列组件306、距离确定组件310、图像分析组件312、危险分析和判定组件314、安全组件316、接口组件318、一个或多个处理器320以及存储器322中的一个或多个可以被电力地和/或通信地彼此耦接，以执行成像传感器装置302的一个或多个功能。在一些实施例中，组件304、组件306、组件310、组件312、组件314、组件316和组件318可以包括存储在存储器322上并且由处理器320执行的软件指令。成像传感器装置302还可以与图2中未示出的其他硬件和/或软件组件进行交互。例如，处理器318可以与一个或多个外部用户接口装置如键盘、鼠标、显示监测器、触摸屏或其他这样的接口装置进行交互。成像传感器装置302还可以包括用于通过网络(标准数据网络或安全网络中的任意一个或两个)或者通过底板发送由组件304、组件306、组件310、组件312、组件314、组件316和组件318中的任一个生成的数据的网络通信组件和相关联的联网端口。
照明组件304可以被配置成通过传感器装置控制光的发射。成像传感器装置302可以包括在照明组件304控制下的激光或发光二极管(LED)光源。在一些实施例中，照明组件304可以生成指向视场的脉冲光发射，使得通过传感器装置可以生成所反射的光脉冲的飞行时间信息。像素阵列组件306可以被配置成处理并分析与由传感器装置监测的视场的图像对应的像素阵列。例如，像素阵列组件306可以对将使用3D分析处理哪个像素子集进行控制。要应用3D分析的像素的子集可以是固定的(例如，经由用户输入预先配置的)；替选地，像素阵列组件306可以根据一个或多个限定的标准(例如，人类或面部识别、对象分类等)来动态选择用于3D分析的像素子集。
距离确定组件310可以被配置成通过对像素阵列数据的所有部分或所选择的部分执行3D分析来得到距离信息。可以通过距离确定组件实现任何适当的分析技术，包括但不限于相移监测或脉冲飞行时间分析。
图像分析组件312可以被配置成对没有被选择用于3D分析的像素阵列的部分执行2D分析。危险分析和判定组件314可以被配置成：基于由像素阵列组件306、距离确定组件310、成像分析组件312和安全组件316生成的结果，来分析并控制一个或多个传感器输出。这可以包括例如发送控制信号至控制或监控装置(例如，工业控制器、移动车辆中安装的板上计算机等)以执行控制动作、初始化安全动作(例如从危险的机器除去电源、将工业系统切换至安全操作模式等)、经由人机接口(HMI)或个人移动装置将反馈消息发送至一个或多个工厂人员、通过安全网络发送数据，或其他这样的输出。
安全组件316可以被配置成：实现成像传感器装置302内的一个或多个安全和/或冗余特征，以使传感器装置适合用于安全应用(例如，被设计成监测危险区域并且可靠地执行自动化控制动作以响应于对潜在不安全人类的出现或动作的检测减轻受伤的风险的工业安全应用，安装在车辆上的一个或多个成像传感器基于检测的危险情况控制车辆刹车的自动安全应用，等等)。通过实现这样的安全和冗余功能，成像传感器装置302可以监测二维平面和三维体积并且以高安全集成水平(例如，SIL或ASIL)响应于检测到的情况，使得传感器装置适合作为光幕或其他这样的传感器的替选用于一些安全应用中。接口组件318可以被配置成：在成像传感器装置302与一个或多个其他工业设备(例如，工业控制器、安全控制器、机器人控制器、工业机器等)之间交换数据。例如，接口组件318可以被配置成：与工厂网络(例如，控制与信息协议网络、以及以太网/IP网络、安全网络等)进行交互并且通过网络连接与其他装置交换数据。
一个或多个处理器320可以执行参考所公开的系统和/或方法在本文中描述的一个或多个功能。存储器322可以是存储计算机可执行的指令和/或用于执行参考所公开的系统和/或方法在本文中描述的功能的信息的计算机可读存储介质。
虽然组件304至318在图3中作为成像传感器装置302的集成组件被示出，但是应当理解，在一些实施例中，组件304至318中的一些可以驻留在成像传感器装置302为其一部分的较大安全系统的分开的硬件组件上。例如，成像传感器装置302可以是从各个角度监测危险区域并且向中央安全控制器提供成像数据以用于分析、做出决策并且进行控制的多个成像装置中之一。在这样的实现中，组件304至318中的一个或多个可以驻留在安全控制器上，而其他组件可以驻留在一个或多个成像传感器装置上。
图4A示出了通常由常规工业安全系统实现的总体功能模型。如图4A所示，常规安全系统通常实现感测、感知以及分析功能来确定何时发出适当的安全输出(例如，输出信号开关装置或OSSD、输出)。基于对工业环境中的对象的定位和检测，标识潜在的危险，并且使用基于相对于机器的对象位置禁用一个或多个机器功能的安全输出。
图4B是示出了根据一个或多个实施例的由利用一个或多个成像传感器装置的工业安全与控制系统执行的功能的总体功能模型。由系统执行的功能可以被分类成4个种类——感测、感知、分析和确定。感测一般包括收集关于被监测的工业环境的信息。这包括允许系统对具有最小置信度的环境内的人、对象、机器和其他实体进行定位的信息。可以从被配置成视觉上监测环境的一个或多个成像传感器装置收集的图像数据获得至少一些数据。
感知使得系统在给定感测功能收集的数据的情况下能够理解环境。为此，可以对来自多个不同传感器(例如，成像传感器或其他类型的感测装置)的信息进行融合以及相关联，以检测具有高置信度的环境内的对象。系统还可以基于感测的数据对对象进行分类(例如，在人类、车辆、机器等之间进行区分)，确定对象的当前或预期的行为，并且当其移动过观察空间时跟踪所检测的对象。系统可以使用多种感测技术——除了2D和3D感测以外——以准确地对对象进行分类，包括但不限于被动红外感测、定位、对象标签技术、温度感测等。然后，系统可以基于对感知的信息的分析标识危险情况。例如，某些对象或人类相对于机器的位置连同机器当前的行为(例如、运行、停止、高速、低速等)，可以指示需要由系统采取行动来减轻受伤或损害的风险的潜在危险。因此，系统可以基于限定的决定策略关于对情况的适当响应做出决定。在另一示例中，机动工业系统如机器人的行为(例如，运行、停止、高速、低速、运动方向等)可以通过来自机器人控制器以及还来自2D/3D成像传感器的反馈来监测。因此，系统可以通过交叉监测来自两个源的与机器人行为有关的数据来诊断异常。所检测的异常可以指示由于故障而导致的潜在危险，该故障需要系统采取动作以减轻受伤或损害风险。因此，系统可以基于限定的决定策略关于对情况的适当响应做出决定。除了在机器人控制器中以及在2D/3D成像传感器中嵌入的任何诊断能力以外，这提供系统级的故障诊断层，并且可以因此用于提高系统的整体或部分的安全完整性水平(例如，PL、SIL、ASIL)。
根据场景，系统可以生成下述标准控制动作，该标准控制动作使得工业系统能够继续运行、但是处于缓解与所识别的危险关联的风险的改变状态。如果危险具有关联的操作员受伤的风险，则系统可以决定启动安全动作来停止机器。除基于对环境的分析来控制机器的行为以外，系统还可以试图控制人的行为以便通过给环境中的人发出反馈或指令来进一步缓解风险。
图4C是示出了图4B中描绘的功能的示例实现方式的总体功能模型。在该示例中，在成像传感器装置(例如，成像传感器装置302)上执行感测和感知功能，而在安全可编程逻辑控制器(PLC)或其他类型的安全控制器上进行分析和决定。该配置使得中央安全控制器能够从一个或多个成像传感器装置接收有关环境中的对象的存在、位置、分类和行为的信息，并且使得中央安全控制器能够基于所收集的传感器信息来本地地进行危险标识分析和决定制定。这使得获得了下述配置，通过该配置，多个冗余成像传感器可以从多个角度监测危险环境，并且可以向安全控制器提供关于环境的信息，安全控制器然后可以制定有关适当安全响应的决定。在一些实施例中，可以在安全控制器而不是成像传感器装置中(或除成像传感器装置以外)执行感知功能中的一些或全部功能。例如，多个成像传感器装置中的每个可以针对其对危险区域的各自视图生成3D点云数据(像素级距离信息)，并且可以将该点云数据提供给安全控制器，安全控制器然后聚合从所有成像传感器装置收集的点云数据以生成针对该场景的多角度三维图像数据。安全控制器然后可以基于对该三维图像数据的分析来检测、分类和跟踪危险区域中的对象。在另一示例实现方式中，可以直接在工业控制器上实现感知、分析或决定功能中的一个或多个，工业控制器可以经由网络连接从一个或多个成像传感器装置接收数据。
要理解的是，上文描述的实现方式仅意在为示例性的，并且其他配置也属于本公开内容的一个或多个实现方式的范围中。例如，在一些实现方式中，可以在成像传感器装置自身中的一个或多个上执行分析和决定功能，然后所述一个或多个成像传感器装置基于由传感器执行的决定策略向其他工业组件(例如，工业控制器或其他装置)提供指令。在另一示例实现方式中，中央安全控制器可以使用另外的不同技术(例如，分开的CMOS灰度成像、雷达、超声波等)从一个或多个成像传感器接收有关环境中的对象的存在、位置、分类和行为的信息，并且中央安全控制器可以基于所收集的传感器信息来本地地进行危险标识分析和决定制定。
图5是示出了成像传感器装置的操作的概述的功能框图。光学块502包括光发射器(例如，激光、LED或远程磷光发射器)以及光接收器阵列，其中，光发射器用于将光束投射至所监测的场景516，光接收器阵列用于从场景内的对象和表面接收反射的光脉冲。照明块504控制由LED、激光或远程磷光激光光源进行的光投射。在一些实施例中，照明块504可以投射光束或光脉冲来跨场景516实现均匀照明。可替代地，照明块可以执行模式化照明用于3D分析，其中将光集中在跨场景516间隔开的点上以确保对给定最小尺寸的对象的检测。这种照明技术可以确保在无需增大光源功率的情况下以增大的距离准确地进行对象检测。可替代地，照明块504可以投射光来跨场景516实现均匀照明。
在成像传感器装置302的光接收器处接收到反射光时，基于在每个光接收器处测量的光强度生成像素数据，并且像素阵列块506对结果得到的包括图像的像素阵列数据进行处理。这可以包括：例如，标识要在其上进行3D处理的阵列中的第一子集的像素，以及指定用于2D成像分析的其余第二子集的像素。对每个像素的后续处理取决于要对该像素进行的分析的类型(2D或3D)。
针对被选中用于3D(距离或深度)分析的像素，3D距离分析510例如使用对由对象反射的光束的相移飞行时间分析或者使用对从对象反射的光脉冲的脉冲飞行时间分析，来确定在对应于该像素的视场中的对象或表面的距离。针对像素阵列的一个或多个3D分析部分的每个像素进行距离计算产生了针对视场的选中区域的3D点云。
2D成像块512对像素阵列的针对其未进行3D分析的一个或多个部分进行2D图像分析。2D图像分析可以包括对与非3D像素对应的图像部分的RGB或灰度分析，包括但不限于边缘检测、轮廓分析、图像锐化、对比度调整、差分和附加成像等。成像传感器装置302可以采用2D图像分析来识别视区内的对象并且可以确定所识别的对象是否对应于一个或多个所定义的对象分类(例如，人、叉车或手推车、传送带上的机械组件、包含封装产品的托盘等)。在一些实施例中，成像传感器装置302还可以被配置成使用2D图像分析来进行面部识别，这对下述应用有用：在所述应用中控制决定或操作员反馈输出取决于在视场内检测到的人的身份。
成像传感器装置302可以使2D分析和3D分析的结果相互关联以在对象数据块514处产生对象数据。对象数据可以包括例如在三维查看空间中所标识的对象的位置、速度、加速度和/或轨迹。根据应用的类型，危险分析和决定块518可以基于相互关联的对象数据来生成适当输出或操作员反馈。在一些实施例中，成像传感器装置302可以基于对象检测而与工业控制或安全系统、车辆安全系统或其他这样的系统进行交互以实现控制特征。因此，由传感器装置生成的输出可以包括：给关联的控制或安全系统(例如，可编程逻辑控制器或其他安全自动化控制器、移动车辆的引擎控制单元等)以基于对象数据改变机器或系统的操作的控制指令，基于在视场内的人的存在和移动将工业系统置于安全状态的、至关联安全系统(例如，安全继电器)的安全输出，或其他这样的输出。成像传感器装置还可以包括监测和诊断传感器装置的内部组件和错误的安全块520，包括但不限于电力监测、振动监测和温度监测。因此，由危险分析和决定块518生成的控制输出和消息可以附加地作为由安全块520生成的诊断结果的函数。
图6是示出了根据一个或多个实施例的成像传感器装置302的组件的框图。在该示例中，照明组件304控制LED、激光或远程磷光灯经由发射器606至视场的发射。在一些实施例中，照明组件304可以向视场投射宽的、大致平面光束的脉冲LED照明。对于扫描类型装置，照明组件304可以以摆动方式在跨查看区域的角度范围上扫该平面光束，以便利于在整个查看范围上的图像数据的收集。在其他实施例中，光束可以保持静态(沿固定方向训练)使得对象在穿过光束的平面时被检测和标识到。在再一示例中，照明组件304可以在视场上投射宽光束的光脉冲(例如，圆锥形光束)。
在一些实施例中，照明组件304可以使用激光、LED或远程磷光光源均匀地照明视场。可替代地，照明组件304的一些实施例可以采用模式化照明技术而非均匀地照明查看区域，通过使用该模式化照明技术，照明组件304将光集中在查看区域上以一定间隔而分开的点上。该技术可以提高对小型对象以及反射率低的对象的检测的可靠性。在这样的实施例中，可以基于像素的有效尺寸以及传感器装置的接收透镜元件608的透镜特性来定义光的每个点的尺寸。相对于点尺寸来指定接收透镜元件608的尺寸，使得接收透镜元件608上的点的图像覆盖一个像素的至少光灵敏区域。在该技术的变型中，还可以将照明组件304或透镜设计配置成调制所发射的点的照明强度，使得高亮度点和低亮度点同时地跨查看区域交错。该技术可以利于对单个图像帧中的亮和暗对象的可靠检测。在示例实现方式中，可以通过在LED、激光或远程磷光光源前布置包括方形或矩形光圈的方形小透镜来实现集中的照明点。光圈在小透镜上的位置限定点模式。为了确保对小对象尺寸的准确检测，可以将点模式定义成使得至少两个水平点和两个竖直点在距接收透镜元件608给定距离处的最小尺寸的对象。
透镜元件608接收从视场反射的光，像素阵列组件306对因而得到的图像数据的像素进行处理。如上文所述，成像传感器装置302使得因而得到的像素阵列602的部分能够被选择用于3D(距离或深度)处理和分析，而像素阵列的剩余部分被使用2D(成像)分析进行处理。在图6中所描绘的示例中，跨像素阵列602的中间部分的水平带612被选中用于3D分析，而像素阵列602的在选中的带612上方和下方的剩余部分会使用2D分析被处理。在一些实施例中，像素阵列组件306基于预定义的配置文件610来标识像素并且将像素分组成2D部分和3D部分，该配置文件610指定像素阵列602的要进行3D分析的一个或多个区域。可替代地，如以下更详细地描述的那样，像素阵列组件306可以被配置成动态地选择像素阵列的要在其上进行3D分析的区域。
虽然图6将3D处理的区域示出为跨像素阵列的中部的单个水平带，但是应该明白，像素阵列组件306能够管理基本上任何形式的像素分组。图7示出了其他示例像素分组。除了像素阵列702中示出的单个水平带以外，还可以将像素分组成多个3D带(或者水平，或者垂直)，如示例像素阵列704所示。像素阵列706示出了分屏类型的像素分组，其中像素阵列的左侧部分被选择用于3D分析，而对右侧部分进行2D分析。还可以将像素分组成各种大小的非连续像素群，如示例像素阵列708所示。
在成像传感器装置302被用于监测工业设施的区域的示例情形中，可以知道，视场的特定区域对应于有潜在危险的区域，而视场的其他区域对应于安全区域，该安全区域对操作员来说风险很小或者没有风险。因此，系统设计师可以限定包括已知危险区域的像素阵列的部分以用于3D分析。这些像素区域限定能够被存储在配置文件610中，并且相应地由像素阵列组件306利用来对像素阵列的像素分组，以用于组分析。将使用2D分析来处理在像素阵列602中没有被选择用于3D分析的部分，2D分析的计算密集性低于3D分析。通过将3D分析限定于像素阵列602的关键子集并且对阵列的其余部分进行2D分析，相对于对整个图像进行3D分析来说，能够减少整体处理时间。
在另一示例中，安装在天花板上的成像传感器装置可以被定向为面朝下，其高低线(lineofsite)基本上垂直于地板，以监测通过大门到房间或者关注区域的交通。在该示例中，可能只需要对像素阵列中与通向大门的通路对应的中部带进行3D分析。因此，系统设计师能够限定像素阵列602的这个区域，并且将这些设定保存在配置简档610中。
成像传感器装置302能够支持使用户能够限定像素阵列602上的3D区域的任何合适的技术。例如，可以使用能够在个人计算装置(例如，平板计算机、膝上型计算机、台式计算机、移动电话等)上执行的接口应用，以便于计算装置与成像传感器装置302之间的数据交换。接口应用能够生成并呈现配置显示画面，该配置显示画面能够从设定针对该传感器的配置参数和限定的用户接收输入数据。一个或多个配置显示画面可以使用户能够通过输入x-y坐标来限定3D分析的区域，该x-y坐标限定像素阵列602中要进行3D分析的部分。可替代地，配置显示画面可以使用户能够绘制(使用鼠标或者触控笔)限定3D分析的区域的界线(直线的或者曲线的)。如果在查看区域上训练成像传感器装置302，则配置画面能够显示查看区域的现场图像或者屏幕快照，并使用户能够绘制3D分析界线作为图像或者屏幕快照上的叠加。
在接收到现场像素阵列数据时，以及在像素阵列组件306将像素分组成各3D区域和2D区域之后，图像分析组件312对像素阵列602中没有被像素阵列组件306指定用于3D分析的区域进行2D成像分析。如上所述，成像传感器装置302能够采用2D成像分析来对图像帧内的对象进行标识和分类。对对象的分类可以基于成像传感器装置302被训练为标识的对象的预定类别，这些类别包括但不限于人、特定类型的交通工具(例如，叉车、手推车等)、加工零件、托盘或者其他这样的对象类别。
在一些实施例中，像素阵列组件306或图像分析组件312中的一者或二者能够被配置成识别如下情况：像素阵列602的两个或更多个非连续像素组属于可能在图像内部分模糊的共同的对象或者人。在示例情形中，操作员可以输入图像帧，但是该图像帧可能在帧内被另一对象部分模糊，以使得只有操作员的腿或脚的部分对于传感器装置直接可感测。与操作员的左腿和右腿或者双脚对应的像素阵列602的像素可以包括分离的、非连续像素组，因为操作员在膝盖以上被模糊。可以训练图像分析组件312识别人类下肢特征，并由此识别出在帧内以某种方式相对于彼此定位的被识别为人腿的两个分离的检测对象属于共同的人，并且表明图像内存在人。因此，图像分析组件312能够将这两个对象标识并分类为人腿，并在假设这两个对象对应于人的前提下指令像素阵列组件306将这两个检测对象进行关联以进行集体性的分析。
与2D图像分析同时或与其协作，距离确定组件310能够对包括像素阵列602的限定的3D部分的像素进行3D分析，以确定与这些像素中的每个像素相关联的距离值。针对像素而测量的距离值表示在传感器装置的像素方面、对象或者表面距成像传感器装置的距离。从总体上来说，针对包括图像的一组像素的距离值被称为点云。
由距离确定组件310采用的用于测量距离值的分析技术取决于照明的类型和装置所支持的3D分析。例如，对于采用相移分析的成像传感器装置，距离确定组件310能够监测在光接收器处接收的反射光束的相移，并且将该相移与由照明组件304发射的光束的相进行比较。然后，该距离被确定为发射的光与接收的光之间的相对相移的函数。
采用脉冲光照明的其他类型的成像传感器针对每个像素测量由照明组件304发射光脉冲与光接收器处接收所反射的光脉冲之间的持续时间，并且将距离确定为该持续时间的函数。在这样的实施例中，距离确定组件310可以监测光接收器的电输出(即光接收器的表面上的入射光的强度的函数)并生成表示反射光脉冲的波形。然后，能够基于对波形数据的分析来标识返回的光脉冲的前沿，该波形数据表示光脉冲在透镜元件608处被接收的时间。然后，距离确定组件310能够将该时间与由照明组件304发送发射的光脉冲的时间进行比较。两个时间之间的差表示针对该脉冲的飞行时间，根据该飞行时间能够得到针对与光接收器对应的像素的距离信息。通过在像素阵列602的3D分析部分中针对每个像素进行波形重建和距离确定，能够得到针对像素阵列602的所选择区域的3D点云。
成像传感器装置302的一些实施例可以支持基于2D图像分析组件的对象检测和分类的3D分析区域的动态限定。例如，在正常工作期间，成像传感器装置302可以对整个像素阵列602进行2D分析，直到在视场内检测到所指定分类的对象为止。响应于在视场内检测到这样的对象(例如，人、交通工具等)，图像分析组件312可以将信息提供至像素阵列组件306，像素阵列组件306标识该对象及该对象在像素阵列602内的位置。然后，像素阵列组件306能够限定与所标识的对象对应的一个或多个像素组，并指令距离确定组件310开始对这些像素组进行3D分析，以使得能够跟踪该对象的位置和距离二者。在一些实施例中，像素阵列组件306和图像分析组件312能够相结合地操作以移动像素阵列602中被限定的3D分析部分，从而只要对象保持在帧内，就跟踪检测对象。因此，成像传感器装置302的实施例能够使用2D成像分析来识别帧内的所关注的对象，并指令像素阵列组件306应该在何处进行3D分析。以这种方式，成像传感器装置302能够连续地收集针对所关注的对象的TOF信息，同时基本上将对其进行3D分析的像素阵列的区域最小化，并使处理和响应时间最优化。
成像传感器装置302(或者分离的安全控制器)能够将2D分析和3D分析的结果相互关联，并基于对象分类、位置、速度和/或轨迹来确定合适的控制或者消息发送输出。图8示出了由成像传感器装置或者安全控制器进行的2D(成像)和3D(距离)信息的关联。如图所示，图像分析组件312能够生成2D分析结果804，该结果包括但不限于基于图像分析的对象识别或分类、对象的x-y位置、确定为属于共同的对象、像素组的关联、人和/或面部识别、以及其他这样的数据。距离确定组件310针对每个像素生成3D分析结果802(飞行时间距离信息)，生成针对所关注的区域的3D点云数据(如先前示例所述，基于由图像分析组件312提供的信息，或者由系统设计师手动、或者由传感器动态地，针对选择性3D分析指定的像素阵列的区域)。成像传感器装置或者安全控制器能够将这些数据集合的全部或所选择部分进行关联，以生成关联的结果806。这些关联的结果可以包括但不限于三维空间内的对象位置、速度和轨迹；基于三维位置、速度和轨迹对所关注的对象的将来位置的预测；或者其他这样的信息。
在2D和3D结果相关联的非限制性示例中，图像分析组件312可以标识图像帧中与需要3D分析的一类对象相对应的对象。作为响应，成像传感器装置可以将3D分析应用于与所检测的对象相对应的像素阵列602的区域以获得对象随时间的距离信息，而2D分析可以跟踪帧内对象的xy位置。通过关联这些结果，可以确定在三维查看空间内对象的瞬时位置、速度、加速度和轨迹。对于其中成像传感器装置或安全控制器支持预测未来对象位置的实施例，传感器还可以基于当前位置、速度和轨迹来确定对象是否被预测为在三维视场中的特定子空间内，并且基于使用该预测的风险分析生成控制或反馈输出。
在另一示例中，成像传感器装置或安全控制器可以以深度分析(3D分析结果)协调对象分类和边缘检测(2D分析结果)，从而获得在所标识对象的边缘内包围的所有像素的深度信息。例如，当对象进入视场时，成像传感器装置可以利用2D成像分析将对象标识和分类为与需要3D分析的所限定对象类相对应。2D分析还可以包括边缘检测，边缘检测标识对象的可见边缘或边界。然后成像传感器可以对经由2D分析所标识的对象边界内的所有像素进行选择性3D分析。
如上所述，成像传感器装置(或相关联的安全控制器)的一个或多个实施例可以确定第一标识对象相对于另一检测对象的位置；例如，操作人员相对于危险机器的位置。这包括确定三维空间内第一对象距第二对象的距离。为了减少这种三维距离计算的复杂性和计算开销，一些实施例的成像传感器装置或安全控制器可以通过将三维对象数据投影到二维平面来估计对象之间的距离。图9A为示出使用三维对象到二维平面的投影的距离测量的曲线图。在这个示例中，基于通过对一个或多个成像传感器装置收集的图像信息的3D分析而生成的点云数据的分析来在视场中检测两个对象902a和902b。为了简化检测对象之间的距离的计算，一个或多个成像传感器装置(或从一个或多个成像传感器装置收集并聚集点云数据的安全控制器)将三维对象投影到XY平面，从而产生二维投影904a和904b。然后，系统计算在相应的二维平面内的二维投影904a与904b之间的最小距离906。如在前面的示例中所描述的，危险分析和判定组件314可以接着基于相应的对象902a、902b的分类和所算出的最小距离906来执行决策制定并且生成安全动作输出。
在一些实施例中，最小距离计算还可以通过将投影的二维形状封装在已知的几何形状内并且确定形状之间的最小距离来简化。图9B为示出使用投影和封装的两个检测对象之间的距离测量的曲线图。为了清楚起见，图9B省略了三维对象902a和902b，而仅示出了这些对象在X-Y平面上的二维投影。在这个示例中，对于二维投影904a和904b中的每个投影，一个或多个成像传感器装置或安全控制器选择能够紧密地封装二维投影的已知的几何形状908。在所示的示例中，二维投影904a和904b封装在椭圆内。然而，在一些实施例中，一个或多个成像传感器装置(或安全控制器)可以从被确定为最适合二维投影的已知形状(例如，矩形、三角形、圆形等)的库中选择已知的几何形状。然后，计算相应的几何形状908a与908b之间的最小距离910。将二维投影封装在已知的几何形状内将形状不规则的投影904a和904b变换成规则的几何形状，从而减少了确定二维平面内形状不规则的投影之间的最小距离中涉及的复杂性。由于几何形状的边缘总是处于投影的边缘之外，所以几何形状之间的最小距离绝不会大于将计算的实际投影的边缘之间的最小距离；也就是说，几何形状之间的距离将总是等于或小于投影之间的距离。因此，尽管所算出的封装形状之间的最小距离可能不如投影本身之间的距离准确，但是与如果使用投影之间的距离的情况相比，不准确性将总是触发更早的安全响应(借助于接近的算出的距离)。
在一些实施例中，上述封装技术还可以在三维空间中实现，而无需首先将形状投影到二维平面。图10为示出根据一个或多个实施例的三维封装的概念图。在所示的示例中，基于由一个或多个成像传感器装置生成的点云数据的分析(例如，基于由距离确定组件310执行的距离分析)对两个对象(即操作员1004和机器人1006)进行检测和分类。为了在不需要确定两个形状不规则的三维对象之间的最近点(这会使得计算更加复杂)的情况下确定两个对象之间的最小距离，系统将对象1004和1006两者封装在已知的三维几何形状1002和1008中。在这种情况下，使用三维椭圆。然而，该系统可以从被确定为最紧密地封装每个对象的已知形状的库中选择合适的形状(例如，圆柱形、立方形、球形、卵形等)。一旦封装，该系统可以计算两个几何形状之间的最小距离1010。
图9和图10所示的用于确定对象之间的距离的示例仅旨在为示例性，并且可以理解，用于计算对象之间的距离的任何适当的计算技术在本公开内容的一个或多个实施例的范围之内。
现在返回到图6，基于由传感器装置执行的具体应用，当对象分类、位置、速度、加速度和/或轨迹满足定义的标准时，可以指示危险分析和判定组件314生成适当的控制输出、安全输出或反馈输出。在一些实施例中，接口组件318可以经由硬连线或网络连接与控制装置(例如，工业控制器、安全继电器等)接口连接，并且危险分析和判定组件314可以基于在视场内观察到的对象的标识、位置和行为而向控制装置发出控制指令。在示例情形中，基于由距离确定组件310和图像分析组件312生成的分析结果的相关性，成像传感器装置302可以识别出工厂员工已进入视场，并且员工的当前位置、速度、加速度和轨迹可以使员工处于受控工业机器附近有潜在危险的区域内。作为响应，指示危险分析和判定组件314向工业控制器发出用以使机器处于安全模式的命令(例如，通过使该机器处于空闲模式或减慢操作模式，或者通过指示安全继电器从机器的某些可移动组件中移除电力)。在另一示例情形中，危险分析和判定组件314可以被配置成基于对象标识和行为来生成要在显示装置上呈现的反馈信息。这可以包括例如推荐用户跟随替代的路径或者重新定位到监测区域内的安全区域的定制警告消息。对于成像传感器装置302的支持面部识别的实施例，由危险分析和判定组件314生成的反馈信息也可以基于在视场内检测到的员工的标识来进一步定制。危险分析和判定组件314可以与安装在监测区域内的显示装置接口连接，或者可以以与所标识的员工相关联的个人装置为目标。
上述的对象检测和跟踪功能连同减少的处理负荷和由最小化所需的3D处理量导致的在决策制定和响应时间方面的同等改善一起使得本文所述的成像传感器装置适合于安全应用，其需要高度的安全整体性和快速响应时间以便减轻损伤的风险。图11为利用上述的成像传感器装置的一个或多个实施例的集成控制和安全系统的示例架构。在该示例情形中，工业机器人1102或其他类型的工业机器或系统在工业控制器1104(例如，可编程逻辑控制器或者其他类型的工业自动化控制器)的控制和监督下进行操作。尽管在图11中工业系统被示为包括机器人1102，但是应当理解，其他类型的受控工业系统也可以在该架构中使用，包括但不限于运动系统、夹板装载(palletizing)系统、冲压机或其他类型的危险工业系统。机器人1102可以在机器控制器1110的直接控制下进行操作，机器控制器1110根据由工业控制器1104提供的指令和信息控制机器人1102。替选地，工业控制器1104可以与机器人的I/O直接接口连接并且直接控制机器人。
该架构还可以包括人机接口(HMI)1106，人机接口(HMI)1106经由一个或多个图形屏幕向操作员显现状态、操作和生产数据。HMI1106还可以允许操作员向控制系统发出有限的控制指令或者经由图形界面设置一个或多个参数的值(例如，设定点值)。
一个或多个成像传感器装置302被配置为监测机器人周围的环境(危险区域)。对于成像传感器装置302充当独立的安全控制装置的配置，成像传感器装置302与工业控制器1104和机器人1102或与其相关联的机器人控制器1110中的一个或两者可通信地接口连接，以提供集成的基于视觉的安全控制。为了向操作员传递反馈消息或图像数据，成像传感器装置302还可以与HMI1106接口连接。替选地，成像传感器装置302可以与单独的安全控制器1112接口连接，安全控制器1112聚集来自成像传感器装置302的成像和点云数据，并且基于聚集的数据执行对象检测、对象分类、对象跟踪、决策制定和安全响应中的一种或多种。工业控制器1104、机器人控制器1110、HMI1106、成像传感器装置302和安全控制器1112可以全部驻留在工厂网络或安全网络上，例如，经由一个或多个网络交换机1108。替选地，成像传感器装置302和/或安全控制器1112可以经由控制器I/O与工业控制器1104或机器人控制器1110中的一个或两者直接接口连接。
图12是图11中所描绘的架构的示例性实现的图示。在该示例中，两个成像传感器装置3021和3022被安装成使得传感器装置从两个不同的角度监测机器人1102周围的危险区。虽然在图12中仅示出了两个成像传感器装置302，但是应理解，多于两个成像传感器可以围绕危险区域安装并被训练(train)，以产生用于分析的附加成像和点云数据。由成像传感器装置3021和3022监测的查看空间构成成像传感器装置3021和3022(和/或安全控制器1112)将对对象进行检测、分类和跟踪的安全区，以使得机器人1102的行为可以响应于对危险情况的检测而适当地改变。
使用上述技术，成像传感器装置3021和3022或安全控制器1112可以对由视场12021和12022限定的空间内的对象进行标识和分类。例如，成像传感器装置3021和3022可以被训练成将产品1206标识为第一对象类别(“产品”)，而将操作人员1204标识为第二对象类别(“人”)。当产品1206进入视场时(例如，当输送机系统、另一下游机器人或运输车辆传递要由机器人1102处理的产品1206时)，成像传感器装置3021和3022可以对安全区的图像进行2D分析以标识对象，确定该对象所属的产品分类，并允许机器人1102及相关联系统正常地继续循环。
如果操作员1204进入视场，则成像传感器装置3021和3022将操作员标识为属于人分类。还进行关于机器人1102的当前操作模式的确定。成像传感器装置3021和3022或安全控制器1112可以基于由工业控制器1104提供的机器人状态信息来进行该确定。机器人1102的当前工作状态确定进入视场是否安全。也就是说，如果机器人1102当前停止或禁用，或者正在执行不会对监测的视场内的操作员造成损伤风险的循环，则对视场内的人的检测可以不要求要由成像传感器装置执行的安全动作。如果机器人1102正在运行对视场中的操作员造成潜在风险的循环，则对被分类为视场内的“人”的对象的检测使得成像传感器装置3021和3022或安全控制器1112中的一个或多个生成将机器人1102置于安全模式下的控制输出。这可以例如包括：向工业控制器1104发送指示控制器禁用机器人1102和与机器人1102相关联的任何其它子系统(例如，输送机)的控制输出。在另一示例中，除了禁用机器人1102外，成像传感器装置3021和3022可以指示工业控制器1104启动不会对操作员1204造成损伤风险的不同的机器人操作循环。
在一些实施例中，控制输出的启动和所生成的控制输出的类型可以基于操作员的位置和行为与机器1102的位置和行为的相关性。例如，成像传感器装置(或安全控制器)可以基于对与机器人1102对应的图像帧部分的2D分析、3D分析或这两种类型的分析的相关性来确定机器人的当前位置、速度和轨迹。可以针对操作人员1204获得类似数据。然后，成像传感器装置3021和3022可以基于诸如操作人员相对于机器的位置、机器和操作人员相对于彼此的轨迹或其他这样的信息的因素来标识风险级别。当基于这些因素的风险级别超过阈值时，一个或多个成像传感器装置3021和3022(或相关联的控制器)可以启动适当的安全输出来以减轻风险的方式改变机器人1102的操作或者完全禁用机器人1102。此外，如果所确定的风险级别在假设所监测的因素的情况下升高但尚未达到用于启动安全动作的阈值，则成像传感器装置3021和3022可以生成并传递警告操作员有潜在风险并推荐将减轻风险的行为(例如，重定位到不同区域)的反馈消息。成像传感器装置3021和3022可以将消息传递至HMI1106、由操作员1204携带的个人装置、安装在监测区域中的显示板或其他这样的装置。
为了改善人检测的可靠性、同时最小化处理负荷并维持可接受的响应时间，成像传感器装置3021和3022可被配置为对视场的图像帧的某些像素进行选择性3D分析，而对图像帧的其余部分进行更快速的2D分析。例如，成像传感器装置3021和3022之一或二者可以被配置成对紧接地围绕机器人1102的图像的部分进行3D分析，而对图像帧的外周执行2D分析。在另一种情况下，成像传感器装置3021和3022之一或二者可以被配置成在正常操作期间对图像的整个像素阵列执行2D分析，直到不符合“产品”分类的对象进入视场为止。响应于对进入视场的非产品对象的检测，传感器的像素阵列组件306可以指定与用于3D分析的对象相对应的像素阵列的区域，以便获得新对象随时间的高度信息和简档，其可以由传感器用来帮助确定新对象是否对应于“人”分类。像素阵列组件306可以动态地移动图像的为3D分析所指定的部分以随着对象移动通过视场来跟踪对象(例如，基于由图像分析组件312提供的对象检测信息)。
在动态危险分析的另一示例中，成像传感器装置3021和3022中的一个或多个可以被配置成基于经由2D图像分析所确定的当前危险级别来调整3D分析像素区域(例如，危险区)的大小。例如，像素阵列的为3D分析所指定的区域可以对应于围绕机器人1102的区域。成像传感器装置3021和3022中的一个或多个可以基于检测到的状况来调整围绕机器人的3D分析区域的大小。例如，基于对像素阵列的2D分析，成像传感器装置可确定机器人1102当前进行操作的速度。如果确定该速度超过阈值，意味着在给定预期的人响应时间的情况下损伤风险较高，则可以将像素阵列的对其执行3D分析的部分增大至围绕机器人1102的较大区域。当成像传感器装置302确定机器人1102以较慢的速度进行操作时，则假定危险级别降低，并且使得像素阵列的3D分析部分变小，以允许操作员自由地更接近机器人1102。在一些这样的实施例中，像素阵列的3D部分的大小可以是所确定的机器人的速度的连续函数。
对于安全控制器1112执行3D分析和安全控制的系统配置，成像传感器装置3021和3022可向安全控制器1112提供点云信息(由相应的传感器装置计算的像素级距离信息)以进行集中分析。由传感器装置提供的点云信息代表对监测区域的多角度视图的3D距离数据。安全控制器1112可聚集该多角度点云数据，以得到监测区域的合成三维表示，并且对合成三维表示的选定部分执行对象检测、分类和分析。该分析可以包括但不限于：对三维表示内的对象的检测和分类；对象位置、速度、加速度和/或轨迹的确定；选定对象之间的最小距离的计算(例如，使用以上结合图9和图10所述的技术中的一种或多种技术)；或者其它这样的分析。
图12中描绘的配置相对于光幕解决方案具有许多优点。例如，光幕发射机和接收机通常垂直地安装在入口的任一侧，从而使这些组件而容易受到通过对象的可能损害。将成像传感器装置3021和3022安装在天花板上通过将监测装置放置在通过对象的范围之外而减轻损坏的风险。此外，在操作循环中的特定的限定持续时间(即，预期产品通过光幕的持续时间)，光幕通常是被静音(mute)，以使得产品通过入口，并且在循环的其余部分期间启用光幕。由于使光幕在这样的情况下静音是正执行的操作循环的特定部分的功能，因此该方法增大了在光幕静音的时间期间人可能通过光幕而未被检测到的可能性。相比之下，由于成像传感器装置3021和3022(和/或其相关联的安全控制器1112)能够将检测对象分类为对应于“人”分类，并且基于该对象分类来改变控制，因此成像传感器装置3021和3022能够基于对象检测和分类执行更直接和智能的静音，而不是依赖循环。
为了确保成像传感器装置的安全完整性，一个或多个实施例可包括实现用于确保传感器在一系列操作状况下的可靠性和准确性的一个或多个特征的安全组件316，从而改善传感器装置的安全完整性。通常，安全组件316被配置成对可能影响传感器操作的完整性一系列状况执行故障监测和诊断分析，并且触发被设计为减轻在监测到偏离安全状态时发生的危险的动作(例如，指示危险分析和判定组件314将机器切换到安全状态，输出警告消息等)。图13示出了可以集成在成像传感器装置302的一个或多个实施例中的示例性安全组件316。安全组件316可以包括一个或多个的子组件，该一个或多个子组件执行各种类型的诊断、故障监测以及对温度、电力、振动和内部组件故障的补偿。然而，应理解，其它类型的故障监测和诊断能力也可以由安全组件316的各种实施例支持，并且在本公开的范围之内。
传感器装置内的温度可能对由传感器组件生成的距离值产生影响。相应地，安全组件316可以包括温度控制组件1302，温度控制组件1302被配置成对由距离确定组件310生成的距离值进行调整，以补偿温度的测量偏差。温度控制组件1302的一些实施例也可以包括用于调节传感器的内部温度以保持指定的最佳操作温度的机构、以及用于确保温度补偿符合或超过限定的最小安全完整性级别(例如SIL2、SIL3、ASIL2，ASIL3等)的冗余故障检测机构。
安全组件316还可以包括被配置成监测向关键组件提供电力的内部干线(internalrail)的功率监测组件1304，并且响应于检测到的电压偏离额定公差(ratedtolerance)来执行补偿动作。鉴于此，成像传感器装置302的一些实施例可以包括冗余电源以确保主电源的故障不会妨碍传感器装置的继续操作。振动补偿组件1306可以被配置成响应于所监测的在传感器上引起的振动来执行适当的补偿动作。
故障检测组件1308可以被配置成监测并诊断内部传感器故障，并且基于故障信息生成给危险分析和判定组件314的信息或指令。此外，为了进一步符合安全完整性级别要求，可以将(一个或多个)处理器318指定为SIL或ASIL额定处理器以确保成像传感器符合需要的安全标准。
图14至图16示出了根据本主题申请的一个或多个实施例的各种方法。同时，为了简化说明的目的，本文中所示的一种或多种方法被示为和描述为一系列动作，应理解并且认识到，本发明并不由动作的顺序限制，因为一些动作可以据此以不同的顺序和/或与本文中示出和描述的其他动作同时发生。例如，本领域的技术人员将理解并且认识到，可以将方法替选地表示为诸如在状态图中的一系列相关状态或事件。此外，不需要所有示出的动作来实现根据本发明的方法。此外，当不同实体实施这些方法的不同部分时，(一个或多个)交互图可以表示根据本公开内容的方法。进一步，所公开的示例方法中的两种或更多种可以彼此结合地实施，以实现本文中描述的一个或多个特征或优点。
图14示出了用于将成像传感器装置与工业控制系统集成以提供光学安全性的示例方法1400。一开始，在1402处，在成像传感器装置处接收与由该装置监测的包括危险机器的查看区域的图像对应的图像数据。可以通过将照明光发出到查看区域并且测量由成像传感器装置的光接收器阵列的每个像素接收到的反射光来获得图像数据。在1404处，由成像传感器装置基于在步骤1402处接收到的图像数据来生成像素阵列信息。像素阵列信息可以总体上包括由成像传感器装置收集的图像帧的像素数据。在1406处，对像素阵列的第一子集执行二维(2D)分析以实现下述中的至少一种：对图像内的对象进行标识、对图像内的对象进行分类或者将图像中所标识的两个或更多个对象关联。
在1408处，对像素阵列的第二子集执行三维(3D)分析以确定查看区域内的与像素阵列的第二子集对应的空间的距离信息。在一些实施例中，要对其执行3D分析的像素阵列的第二子集可以在操作之前由系统设计者限定并且记录在配置简档中，该配置简档可以由成像传感器装置的像素阵列组件读取以便针对相应的2D分析和3D分析来对像素阵列的第一子集和第二子集进行分组。替选地，成像传感器装置可以基于在步骤1406处执行的2D分析的结果来动态地选择用于3D分析的像素阵列的第二子集，例如，如果2D分析确定特定分类的对象已进入视场，则成像传感器装置可以限定像素阵列的与新标识的对象相对应的区域，并且开始对该对象执行3D分析以便获得该对象的空间信息。
在1410处，由成像传感器装置基于通过2D分析和3D分析所生成的信息的相关性来生成控制输出并且将控制输出发送至与工业系统相关联的工业控制器。例如，成像传感器装置可以将2D分析结果和3D分析结果关联以得到对象的标识位置、速度、加速度、取向和/或轨迹，并且基于这些测量因素中的一个或多个生成控制输出。例如，控制输出可以包括将工业系统转换到安全模式、禁用工业系统、改变工业系统的当前操作循环的给工业控制器的指令或者其他这样的指令。
图15示出了用于在利用光学区域监测的工业安全系统中动态地选择用于选择性3D分析的像素阵列的一部分的示例性方法1500。一开始，在1502处，在成像传感器装置处接收与由该装置监测的包括危险工业系统的查看区域的图像对应的图像数据。在1504处，由成像传感器装置基于在步骤1502处接收到的图像数据来生成像素阵列信息。在1506处，对像素阵列执行2D成像分析。在1508处，基于2D成像分析对图像内的对象进行标识并分类。
在1510处，进行关于在步骤1508处确定的对象的分类是否需要3D(距离)分析的确定。例如，传感器装置可被训练成标识人何时进入了查看区域。因此，传感器可以基于在步骤1506和步骤1508处执行的2D分析和对象分类来确定具有“人”分类的对象已进入查看区域。
如果对象分类不需要3D分析，则该方法返回至步骤1502并且继续监测所接收的图像数据。替选地，如果确定对象分类需要3D分析，则该方法移至步骤1512，在步骤1512中，标识与图像的在对象周围的区域对应的像素阵列的子集。在1514处，对在步骤1512处标识的像素阵列的子集执行3D分析以便确定对象的距离信息。在1516处，基于通过步骤1506的2D分析和步骤1514的3D分析而生成的信息的相关性而由成像传感器装置生成控制输出，并且将控制输出发送至与工业系统相关联的工业控制器。例如，这可以包括：基于2D结果和3D结果的相关性来标识潜在危险的状况或风险，并且向工业控制器(其可通信地连接至成像传感器)发送执行被设计为减轻检测到的危险的动作的指令。例如，该操作可以包括将工业机器或系统切换至安全状态(例如，停止机器、将机器切换至慢操作模式、将机器返回到原位置等)或其他这样的操作。
图16示出了用于基于对由多个成像传感器装置生成的点云数据的分析来估计两个对象之间的最小距离的示例方法1600。一开始，在1602处，从对包括危险工业系统的查看区域进行监测的一组成像传感器装置接收点云数据。成像传感器装置可以安装在危险区域周围并且在危险区域上训练以从不同视角收集该区域的图像数据。来自成像传感器装置中的给定的一个成像传感器装置的点云数据包括使用飞行时间测量、相位偏移测量或其他光学距离测量技术来针对像素阵列的相应像素所计算的距离信息。在一些情况下，可以使用除了2D图像传感器和3D图像传感器以外的不同类型的传感器以利于查看区域内的对象的分类，传感器包括但不限于被动式红外传感器、标记对象、生成定位数据的传感器等。在1604处，聚集点云数据以得到查看区域的多角度三维表示。在一些配置中，该聚合可以由从成像传感器装置组接收点云数据的安全控制器来执行。在另一示例中，成像传感器装置之一可以被配置为从其他传感器收集点云数据并且执行聚集数据的集中式处理的主装置。
在1606处，基于对聚集的点云数据的分析来对在步骤1604处生成的三维表示内的两个或更多个对象进行标识和分类。例如，分析组件可以被配置成识别与操作人员、危险机器、手推车或其他预定义的对象分类对应的对象。在一些配置中，还可以将来自其他感测技术的信息连同点云数据一起使用以便对两个或更多个对象进行准确地分类(例如，被动式红外感测、定位、标记对象等)。在1608处，将所标识的图像的三维表示投影到二维平面上以得到一个或多个投影。在1610处，作为可选步骤，将两个或更多个投影封装在相应的两个或更多个已知的几何形状中。
在1612处，估计两个或更多个投影中的至少两个投影(或者在实现可选步骤1610的情况下为两个或更多个几何形状)之间的最小距离。在1614处，基于在步骤1606处确定的对象分类和在步骤1612处确定的最小距离来将控制输出发送至工业控制器以改变工业系统的操作。
本文中所述的实施例、系统和组件、以及可以执行在本说明书中阐述的各种方面的控制系统和自动化环境可以包括计算机或网络组件，诸如能够经由网络进行交互的服务器、客户机、可编程逻辑控制器(PLC)、自动化控制器、通信模块、移动计算机、移动车辆的车载计算机、无线组件、控制组件等。计算机和服务器包括一个或多个处理器—使用电子信号来执行逻辑操作的电子集成电路，该一个或多个处理器被配置成执行存储在介质中的指令，所述介质为诸如随机存取存储器(RAM)、只读存储器(ROM)、硬盘驱动器以及可移动存储器装置，其可以包括记忆棒、存储卡、闪存驱动器、外部硬盘驱动器等。
类似地，本文中使用的术语“PLC”或“自动化控制器”可以包括在多个组件、系统和/或网络之间可以共享的功能。作为示例，一个或多个PLC或自动化控制器可以经由网络与各种网络装置进行通信和协作。这可以基本上包括经由网络进行通信的任何类型的控制器、通信模块、计算机、输入/输出(I/O)装置、传感器、致动器以及人机接口(HMI)，其中该网络包括控制、自动化、和/或公共网络。PLC或自动化控制器还可以与各种其他装置通信并控制这些装置，诸如标准或安全性额定的I/O模块(包括模拟、数字、编程/智能的I/O模块)、其他可编程控制器、通信模块、传感器、致动器、输出装置等。
网络可以包括公共网络(诸如互联网、内联网)以及自动化网络(诸如包括设备网(DeviceNet)、控制网(ControlNet)、安全网络和以太网/IP的控制和信息协议(CIP)网络)。其他网络包括以太网、DH/DH+、远程I/O、现场总线、Modbus、Profibus、CAN(控制器区域网络)、无线网络、串行协议等。此外，网络装置可以包括各种可能性(硬件和/或软件组件)。这些包括以下组件，诸如具有虚拟局域网(VLAN)能力的交换机、LAN、WAN、代理服务器(proxy)、网关、路由器、防火墙、虚拟专用网(VPN)装置、服务器、客户机、计算机、配置工具、监测工具和/或其他装置。
为了提供所公开的主题的各个方面的背景，图17和图18以及下面的讨论意在提供对可以实现所公开的主题的各个方面的适当环境的简要的总体描述。
参照图17，用于实现上述主题的各个方面的示例环境1710包括计算机1712。计算机1712包括处理单元1714、系统存储器1716以及系统总线1718。系统总线1718将系统组件(包括但不限于系统存储器1716)耦接至处理单元1714。处理单元1714可以是各种可用处理器中的任何一种。多核微处理器与其他多处理器架构也可以用作处理单元1714。
系统总线1718可以是多种类型的总线结构中的任一种，总线结构包括使用下述任何种类的可利用总线架构的存储器总线或存储器控制器、外围总线或外部总线和/或局部总线，所述可利用总线架构包括但不限于8位总线、工业标准架构(ISA)、微通道架构(MSA)、扩展ISA(EISA)、智能驱动电子(IDE)、VESA局部总线(VLB)、外围组件互连(PCI)、通用串行总线(USB)、高级图形端口(AGP)、个人计算机存储卡国际协会总线(PCMCIA)以及小型计算机系统接口(SCSI)。
系统存储器1716包括易失性存储器1720与非易失性存储器1722。基本输入/输出系统(BIOS)存储在非易失性存储器1722中，该基本输入/输出系统(BIOS)包含在计算机1712内的元件之间传递信息的基本例程，诸如在启动期间。作为例示而非限制，非易失性存储器1722可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除PROM(EEPROM)或闪速存储器。易失性存储器1720包括用作外部高速缓存的随机存取存储器(RAM)。作为例示而非限制，RAM可以以下述多种形式利用，诸如同步RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双倍数据速率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)以及直接RambusRAM(DRRAM)。
计算机1712还包括可移动/不可移动计算机存储介质、易失性/非易失性计算机存储介质。例如，图17示出了磁盘存储装置1724。磁盘存储装置1724包括但不限于如磁盘驱动器、软盘驱动器、磁带驱动器、Jaz驱动器、Zip驱动器、LS-100驱动器、闪存卡或记忆棒的装置。此外，磁盘存储装置1724可以包括与其他存储介质分离或组合的存储介质，包括但不限于光盘驱动器，诸如致密盘ROM装置(CD-ROM)、CD可记录驱动器(CD-R驱动器)、CD可重写驱动器(CD-RW驱动器)或数字通用盘ROM驱动器(DVD-ROM)。为了便于将磁盘存储装置1724连接至系统总线1718，通常使用可移动接口或不可移动接口，诸如接口1726。
要认识到，图17描述了在适当的工作环境1710中描述的用作用户与基本计算机资源之间的媒介的软件。这样的软件包括操作系统1728。可以存储在磁盘存储装置1724上的操作系统1728用来控制和分配计算机1712的资源。系统应用1730通过操作系统1728、经由存储在系统存储器1716中或磁盘存储装置1724上的程序模块1732和程序数据1734来利用资源的管理。要认识到，本主题公开的一个或多个实施例可以用各种操作系统或操作系统的组合来实现。
用户通过(一个或多个)输入装置1736将命令或信息输入至计算机1712。输入装置1736包括但不限于指向装置，诸如鼠标、跟踪球、触针、触摸板、键盘、麦克风、控制杆、游戏板、卫星碟、扫描器、TV调谐卡、数码相机、数码摄像机、网络相机等。这些和其他输入装置通过系统总线1718、经由(一个或多个)接口端口1738连接至处理单元1714。例如，(一个或多个)接口端口1738包括串行端口、并行端口、游戏端口和通用串行总线(USB)。(一个或多个)输出装置1740使用一些相同类型的端口中的一部分作为(一个或多个)输入装置1736。因此，例如，USB端口可以用于向计算机1712提供输入，以及将来自计算机1712的信息输出至输出装置1740。提供输出适配器1742以说明在需要特殊适配器的其他输出装置1740当中有如监视器、扬声器以及打印机的一些输出装置1740。作为例示而非限制，输出适配器1742包括提供输出装置1740与系统总线1718之间的连接手段的视频卡和声卡。应该注意的是，其他装置或装置的系统提供输入性能和输出性能这两者，诸如(一个或多个)远程计算机1744。
计算机1712可以在使用至一个或多个远程计算机(诸如，(一个或多个)远程计算机1744)的逻辑连接的网络环境中工作。(一个或多个)远程计算机1744可以是个人计算机、服务器、路由器、网络PC、工作站、基于微处理器的电器、对等装置或其他公共网络节点等，以及通常包括所描述的与计算机1712有关的许多元件或所有元件。为了简要的目的，仅示出了记忆存储装置1746与(一个或多个)远程计算机1744。(一个或多个)远程计算机1744通过网络接口1748逻辑连接至计算机1712，然后经由网络连接1750物理连接至计算机1712。网络接口1748包含通信连接，诸如局域网(LAN)和广域网(WAN)。LAN技术包括光纤分布式数据接口(FDDI)、铜分布式数据接口(CDDI)、以太网/IEEE802.3、令牌环/IEEE802.5等。WAN技术包括但不限于点对点链接、如综合业务数字网络(ISDN)及其上的变型的电路切换网络、分组交换网络以及数字用户线路(DSL)。
(一个或多个)通信连接1750指的是将网络接口1748连接至系统总线1718所采用的硬件/软件。虽然为了清楚说明的目的而示出的通信连接1750在计算机1712内部，但是通信连接1750也可以在计算机1712外部。仅仅为了示例性目的，连接至网络接口1748所需的硬件/软件包括内部技术和外部技术，诸如包括常规电话级调制调解器的调制解调器、线缆调制调解器和DSL调制调解器、ISDN适配器以及以太网卡。
图18是所公开的主题可以与其交互的样本计算环境1800的示意性框图。样本计算环境1800包括一个或多个客户机1802。(一个或多个)客户机1802可以是硬件和/或软件(例如，线程、进程、计算装置)。样本计算环境1800也包括一个或多个服务器1804。(一个或多个)服务器1804也可以是硬件和/或软件(例如，线程、进程、计算装置)。例如，服务器1804可以保存线程以通过采用如本文所述的一个或多个实施例来执行转换。在客户机1802与服务器1804之间的一种可能的通信可以是适于在两个或更多个计算机进程之间传送的数据分组的形式。样本计算环境1800包括通信框架1806，可以采用通信框架1806以利于在(一个或多个)客户机1802与(一个或多个)服务器1804之间的通信。(一个或多个)客户机1802可操作地连接至一个或多个客户机数据存储装置1808，一个或多个客户机数据存储装置1808可以用来存储在(一个或多个)客户机1802本地的信息。类似地，(一个或多个)服务器1804可操作地连接至一个或多个服务器数据存储装置1810，一个或多个服务器数据存储装置1810可以用来存储在服务器1804本地的信息。
上面已经描述的内容包括本发明的示例。当然，不可能为了描述所公开的本主题的目的而描述组件或方法的每个可能组合，但是本领域的普通技术人员可以认识到，本发明的许多另外的组合和置换是可能的。因此，所公开的本主题意在包括落入所附权利要求的精神与范围内的所有这样的改变、修改以及变型。
特别地并且关于由上述组件、装置、电路、系统等执行的各种功能，除非另外说明，用于描述这样的组件的术语(包括对“装置(means)”的提及)对应于执行所描述的组件的特定功能的任何组件(例如，功能上等同)，即便在结构上不等同于所公开的结构，其执行在本文中说明的所公开的主题的示例性方面的功能。在这点上，也要认识到，所公开的主题包括系统以及计算机可读介质，计算机可读介质具有用于执行所公开的主题的各种方法的动作和/或事件的计算机可执行指令。
此外，尽管所公开的主题的特定特征可能已经仅针对多种实现方式中之一来公开，但是这样的特征可以与其他实现方式的、可能是期望的以及对于任何给定的或特定的应用有利的一个或多个特征组合。此外，就在说明书或者权利要求书中使用用语“包括(includes和including)”及其变型来说，这些术语以与术语“包括(comprising)”类似的方式意为包括性的。
在本申请中，词语“示例性”用于表示作为示例、例子或例示。不需要将在本文中被描述为“示例性”的任何方面或设计解释为优选的或者优于其他方面或设计。更确切地说，词语“示例性”的使用意在用具体的方式呈现概念。
可以使用标准编程和/或工程技术来将在本文中描述的各个方面或特征实现为方法、设备或制品。在本文中使用的术语“制品”包含可从任何计算机可读装置、载体或介质存取的计算机程序。例如，计算机可读介质可以包括但不限于磁性存储装置(例如，硬盘、软盘、磁条...)、光盘[例如，致密盘(CD)、数字通用盘(DVD)...]、智能卡以及闪存装置(例如，卡、棒、键驱动...)。

Claims (20)

1.一种光学安全系统，包括：
存储器，存储计算机可执行组件；
可操作地耦接至所述存储器的处理器，执行所述计算机可执行组件，所述计算机可执行组件包括：
像素阵列组件，被配置成针对由一个或多个成像传感器装置捕获的危险工业区域的一个或多个图像的一个或多个像素阵列，对所述一个或多个像素阵列的像素进行分组以得到要进行二维分析的所述像素的子集；
图像分析组件，被配置成对所述像素的子集进行二维分析；
距离确定组件，被配置成对从所述一个或多个成像传感器装置接收到的点云数据进行三维分析；以及
危险分析和判定组件，被配置成基于所述二维分析的结果和所述三维分析的结果来将所述图像中的第一对象分类为机动化工业设备并且将所述图像中的第二对象分类为人，将所述二维分析的结果和所述三维分析的结果进行关联以得到与所述人和所述机动化工业设备之间的关系有关的关联信息，并且基于所述关联信息生成控制所述机动化设备的控制输出。
2.根据权利要求1所述的系统，其中，所述点云数据包括由所述一个或多个成像传感器装置针对所述一个或多个像素阵列中的选定像素所确定的距离信息，并且所述距离确定组件被配置成聚集来自所述一个或多个成像传感器装置的所述点云数据以得到所述危险工业区域的三维图像数据。
3.根据权利要求2所述的系统，其中，所述危险分析和判定组件被配置成基于对所述三维图像数据和附加信息的分析来对所述第一对象和所述第二对象进行分类，所述附加信息包括被动红外数据、定位数据、对象标记数据或温度感测数据中的至少一个。
4.根据权利要求3所述的系统，其中，所述危险分析和判定组件被配置成：
将所述第一对象和所述第二对象估计为由所述三维图像数据表示的三维空间内的相应的三维几何对象，其中，所述几何对象分别封装所述第一对象和所述第二对象，以及
确定所述几何对象之间的最小距离以得到所述第一对象与所述第二对象之间的估计距离。
5.根据权利要求3所述的系统，其中，所述危险分析和判定组件被配置成：
将由所述三维图像数据限定的所述第一对象和所述第二对象的三维表示投影到二维平面上以得到第一投影和第二投影；以及
确定所述第一投影与所述第二投影之间的最小距离以得到所述第一对象与所述第二对象之间的估计距离。
6.根据权利要求5所述的系统，其中，所述危险分析和判定组件还被配置成：
将所述第一投影和所述第二投影封装在相应的几何对象内，以及
将所述最小距离估计为所述几何对象之间的距离。
7.根据权利要求1所述的系统，其中，所述危险分析和判定组件还被配置成基于所述二维分析和所述三维分析中的至少一种来标识所述人相对于所述机动化工业设备的位置。
8.根据权利要求1所述的系统，还包括安全组件，所述安全组件被配置成对所述一个或多个成像传感器装置的一个或多个内部组件进行监测以检测故障状况，并且基于一种或多种安全算法、响应于所述故障状况的检测而执行以下处理中的至少一种：生成安全输出或者修改所述二维分析的结果和所述三维分析的结果中的至少一个以对所述故障状况进行补偿。
9.根据权利要求1所述的系统，其中，所述故障状况包括温度状况、电力状况、振动状况或组件故障状况中的至少一种。
10.根据权利要求2所述的系统，其中，所述关联信息包括以下中的至少一个：所述人相对于所述机动化工业设备的位置、所述人的速度、所述机动化工业设备的速度、所述人的加速度、所述机动化工业设备的加速度、所述人的轨迹、所述机动化工业设备的轨迹、或所述人的轨迹与所述机动化工业设备的轨迹之间的预期交点。
11.根据权利要求10所述的系统，其中，所述危险分析和判定组件还被配置成基于所述关联信息来预测所述人或所述机动化工业设备的组件中的至少一个在所述危险工业区域内的未来位置，并且基于所述未来位置来生成所述控制输出。
12.根据权利要求1所述的系统，还包括被配置成通过网络与工业控制器交换数据的接口组件。
13.一种用于控制机动化工业设备的方法，包括：
由包括至少一个处理器的安全系统从监测危险工业区的一个或多个成像传感器装置收集图像数据；
对所述图像数据的一组像素进行二维成像分析；
对点云数据进行三维分析，所述点云数据包括由所述一个或多个成像传感器装置针对所述图像数据的选定像素所计算的距离信息；
基于所述二维成像分析或所述三维分析中的至少一种来将所述图像数据中的第一对象分类为人；
基于所述二维成像分析或所述三维分析中的至少一种来将所述图像数据中的第二对象分类为机动化工业设备；
将所述二维成像分析的结果和所述三维分析的结果进行关联以得到与所述危险工业区内的所述人与所述机动化设备之间的关系有关的关联信息；以及
基于所述关联信息来发送用以改变所述机动化工业设备的操作的指令。
14.根据权利要求13所述的方法，还包括：基于所述二维成像分析或所述三维分析中的至少一种来确定所述人相对于所述机动化工业设备的位置。
15.根据权利要求13所述的方法，还包括：基于对来自所述一个或多个成像传感器装置的所述点云数据的聚集来生成所述危险工业区的三维图像数据。
16.根据权利要求13所述的方法，还包括：
对所述一个或多个成像传感器装置的一个或多个内部组件进行监测以检测故障状况，以及
基于一种或多种安全算法、响应于所述故障状况的检测来生成安全输出。
17.根据权利要求13所述的方法，其中，所述关联包括：将以下中的至少一个确定为所述关联信息：所述人相对于所述机动化工业设备的位置、所述人的速度、所述机动化工业设备的速度、所述人的加速度、所述机动化工业设备的加速度、所述人的轨迹、所述机动化工业设备的轨迹、或所述人的轨迹与所述机动化工业设备的轨迹之间的预期交点。
18.根据权利要求13所述的方法，还包括基于所述人相对于所述机动化工业设备的位置、所述机动化工业设备的速度或所述机动化工业设备的轨迹中的至少一个来选择所述选定像素，并且其中，所述选定像素包括单个连续像素组或多个非连续像素组之一。
19.一种存储有指令的非暂态计算机可读介质，所述指令响应于执行而使包括处理器的系统执行操作，所述操作包括：
从监测危险工业区域的一个或多个成像传感器装置收集图像数据；
对包括所述图像数据的一个或多个像素组进行二维成像分析；
对点云数据进行三维分析，所述点云数据包括针对从所述一个或多个成像传感器装置接收到的所述图像数据的选定像素而生成的距离信息；
基于所述二维成像分析或所述三维分析中的至少一种来将所述图像数据中的第一对象分类为人；
基于所述二维成像分析或所述三维分析中的至少一种来将所述图像数据中的第二对象分类为机动化工业设备；
将所述二维成像分析的结果和所述三维分析的结果进行关联以得到与所述危险工业区内的所述人与所述机动化设备之间的关系有关的关联信息；以及
基于所述关联信息来发送用以改变所述机动化工业设备的操作的指令。
20.根据权利要求19所述的非暂态计算机可读介质，其中，所述关联信息包括以下中至少一个：所述人相对于所述机动化工业设备的位置、所述人的速度、所述机动化工业设备的速度、所述人的加速度、所述机动化工业设备的加速度、所述人的轨迹、所述机动化工业设备的轨迹或所述人的轨迹与所述机动化工业设备的轨迹之间的预期交点。
CN201510257307.4A 2014-05-19 2015-05-19 光学安全系统、用于控制机动化工业设备的方法和计算机可读介质 Active CN105094005B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201462000487P 2014-05-19 2014-05-19
US62/000,487 2014-05-19
US14/553,431 2014-11-25
US14/553,431 US9256944B2 (en) 2014-05-19 2014-11-25 Integration of optical area monitoring with industrial machine control

Publications (2)

Publication Number Publication Date
CN105094005A true CN105094005A (zh) 2015-11-25
CN105094005B CN105094005B (zh) 2018-11-23

Family

ID=53275987

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510257307.4A Active CN105094005B (zh) 2014-05-19 2015-05-19 光学安全系统、用于控制机动化工业设备的方法和计算机可读介质

Country Status (3)

Country Link
US (2) US9256944B2 (zh)
EP (1) EP2947604B1 (zh)
CN (1) CN105094005B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109141373A (zh) * 2017-06-28 2019-01-04 西克股份公司 用于防护机器的传感器
CN109544617A (zh) * 2018-12-05 2019-03-29 深圳市光微科技有限公司 应用于相位式tof传感器的温度补偿方法以及温度补偿装置
CN109581529A (zh) * 2017-09-29 2019-04-05 欧姆龙株式会社 操作光幕排列的方法及光幕排列
CN110388561A (zh) * 2018-04-20 2019-10-29 安士能有限及两合公司 安全开关
CN110998471A (zh) * 2017-05-09 2020-04-10 云海智行股份有限公司 机器人运动控制系统及方法
CN112740122A (zh) * 2018-08-21 2021-04-30 皮尔茨公司 用于监视安全关键过程的自动化系统

Families Citing this family (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8908995B2 (en) 2009-01-12 2014-12-09 Intermec Ip Corp. Semi-automatic dimensioning with imager on a portable device
US9779546B2 (en) 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
US10007858B2 (en) 2012-05-15 2018-06-26 Honeywell International Inc. Terminals and methods for dimensioning objects
US10321127B2 (en) 2012-08-20 2019-06-11 Intermec Ip Corp. Volume dimensioning system calibration systems and methods
US9841311B2 (en) 2012-10-16 2017-12-12 Hand Held Products, Inc. Dimensioning system
US10228452B2 (en) 2013-06-07 2019-03-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
US9823059B2 (en) 2014-08-06 2017-11-21 Hand Held Products, Inc. Dimensioning system with guided alignment
US10775165B2 (en) 2014-10-10 2020-09-15 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US9779276B2 (en) 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US10810715B2 (en) 2014-10-10 2020-10-20 Hand Held Products, Inc System and method for picking validation
US9983300B2 (en) * 2014-10-17 2018-05-29 Qualcomm Incorporated Systems, methods, and apparatus for living object protection in wireless power transfer applications
US9897434B2 (en) 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
US9752864B2 (en) 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
US10060729B2 (en) 2014-10-21 2018-08-28 Hand Held Products, Inc. Handheld dimensioner with data-quality indication
CN106033601B (zh) * 2015-03-09 2019-01-18 株式会社理光 检测异常情形的方法和装置
US9588519B2 (en) * 2015-03-17 2017-03-07 Amazon Technologies, Inc. Systems and methods to facilitate human/robot interaction
US9649766B2 (en) 2015-03-17 2017-05-16 Amazon Technologies, Inc. Systems and methods to facilitate human/robot interaction
CN106296628B (zh) * 2015-05-11 2019-03-05 株式会社理光 检测异常情形的方法和装置
US9786101B2 (en) 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
US10066982B2 (en) 2015-06-16 2018-09-04 Hand Held Products, Inc. Calibrating a volume dimensioner
US20160377414A1 (en) 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
US9835486B2 (en) 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
EP3118576B1 (en) 2015-07-15 2018-09-12 Hand Held Products, Inc. Mobile dimensioning device with dynamic accuracy compatible with nist standard
US10094650B2 (en) 2015-07-16 2018-10-09 Hand Held Products, Inc. Dimensioning and imaging items
US20170017301A1 (en) 2015-07-16 2017-01-19 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
US10152652B2 (en) * 2015-09-24 2018-12-11 International Business Machines Corporation Selecting a device with visual confirmation in the internet of things
US10249030B2 (en) 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
GB2544324A (en) * 2015-11-13 2017-05-17 Cathx Res Ltd Method and system for processing image data
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
JP6657859B2 (ja) * 2015-11-30 2020-03-04 株式会社デンソーウェーブ ロボット安全システム
US10242455B2 (en) * 2015-12-18 2019-03-26 Iris Automation, Inc. Systems and methods for generating a 3D world model using velocity data of a vehicle
US10421186B2 (en) * 2016-01-04 2019-09-24 Hangzhou Yameilijia Technology Co., Ltd. Method and apparatus for working-place backflow of robots
US10025314B2 (en) * 2016-01-27 2018-07-17 Hand Held Products, Inc. Vehicle positioning and object avoidance
US9880075B2 (en) * 2016-02-11 2018-01-30 Caterpillar Inc. Wear measurement system using a computer model
US9875535B2 (en) * 2016-02-11 2018-01-23 Caterpillar Inc. Wear measurement system using computer vision
JP6088679B1 (ja) * 2016-02-19 2017-03-01 ファナック株式会社 カメラの画像により故障を判定するロボットシステムの故障診断装置
JP6666744B2 (ja) * 2016-02-22 2020-03-18 株式会社ブロードリーフ コンピュータプログラム、作業分析支援方法及び作業分析支援装置
WO2017156112A1 (en) * 2016-03-10 2017-09-14 FlyInside, Inc. Contextual virtual reality interaction
SG11201809960YA (en) * 2016-05-16 2018-12-28 Sensen Networks Group Pty Ltd System and method for automated table game activity recognition
US10339352B2 (en) 2016-06-03 2019-07-02 Hand Held Products, Inc. Wearable metrological apparatus
US9940721B2 (en) 2016-06-10 2018-04-10 Hand Held Products, Inc. Scene change detection in a dimensioner
US9928433B1 (en) * 2016-06-14 2018-03-27 State Farm Mutual Automobile Insurance Company Apparatuses, systems, and methods for determining when a vehicle operator is texting while driving
US9928434B1 (en) * 2016-06-14 2018-03-27 State Farm Mutual Automobile Insurance Company Appartuses, systems, and methods for determining when a vehicle occupant is using a mobile telephone
US10163216B2 (en) 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
US10902540B2 (en) * 2016-08-12 2021-01-26 Alitheon, Inc. Event-driven authentication of physical objects
US10909708B2 (en) 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
TWI775777B (zh) 2017-02-20 2022-09-01 美商3M新設資產公司 光學物品及與其交互作用之系統
US10290114B1 (en) * 2017-03-31 2019-05-14 Lockheed Martin Coherent Technologies, Inc. Three-dimensional optical aperture synthesis
CN108874830B (zh) * 2017-05-15 2022-04-29 富联精密电子(天津)有限公司 软件数据共享系统
JP6416980B1 (ja) 2017-05-17 2018-10-31 ファナック株式会社 監視領域を分割した空間領域を監視する監視装置
US10733748B2 (en) 2017-07-24 2020-08-04 Hand Held Products, Inc. Dual-pattern optical 3D dimensioning
WO2019064108A1 (en) 2017-09-27 2019-04-04 3M Innovative Properties Company PERSONAL PROTECTIVE EQUIPMENT MANAGEMENT SYSTEM USING OPTICAL PATTERNS FOR EQUIPMENT AND SECURITY MONITORING
US11125860B2 (en) * 2017-09-29 2021-09-21 Rockwell Automation Technologies, Inc. Triangulation applied as a safety scanner
JP6633584B2 (ja) 2017-10-02 2020-01-22 ファナック株式会社 ロボットシステム
DE102017218917A1 (de) * 2017-10-24 2019-04-25 Robert Bosch Gmbh Überwachungsvorrichtung, Industrieanlage, Verfahren zur Überwachung sowie Computerprogramm
US11971694B2 (en) * 2018-02-16 2024-04-30 Nec Corporation Abnormal-sound detection device and abnormal-sound detection method
US20190310373A1 (en) * 2018-04-10 2019-10-10 Rosemount Aerospace Inc. Object ranging by coordination of light projection with active pixel rows of multiple cameras
DE102018108874A1 (de) * 2018-04-13 2019-10-17 Isra Vision Ag Verfahren und System zur Vermessung eines Objekts mittels Stereoskopie
US10584962B2 (en) 2018-05-01 2020-03-10 Hand Held Products, Inc System and method for validating physical-item security
EP3572971B1 (de) * 2018-05-22 2021-02-24 Sick Ag Absichern eines überwachungsbereichs mit mindestens einer maschine
DE102018116371B4 (de) * 2018-07-06 2020-08-06 Sick Ag 3D-Sensor und Verfahren zum Überwachen eines Überwachungsbereichs
US10325485B1 (en) * 2018-09-11 2019-06-18 Rockwell Automation Technologies, Inc. System or process to detect, discriminate, aggregate, track, and rank safety related information in a collaborative workspace
EP3629141B1 (de) * 2018-09-28 2021-04-14 Sick Ag Verfahren und vorrichtung zum überprüfen eines konfigurationsparameterwerts
DE102018125736B4 (de) * 2018-10-17 2021-02-18 Sick Ag Verfahren zum Schutz von Menschen in einer Umgebung einer beweglichen Maschine
NL2022442B1 (nl) * 2019-01-24 2020-01-07 Lely Patent Nv Positiebepalingsinrichting
AU2020222504B2 (en) 2019-02-12 2020-11-12 Commonwealth Scientific And Industrial Research Organisation Situational awareness monitoring
EP3709106B1 (de) * 2019-03-11 2021-01-06 Sick Ag Absichern einer maschine
DE102019114854B4 (de) * 2019-06-03 2021-06-24 Pilz Gmbh & Co. Kg Vorrichtung und Verfahren zur energieeffizienten Ausführung einer Sicherheitsfunktion
WO2021025842A1 (en) * 2019-08-05 2021-02-11 Tellus You Care, Inc. Non-contact identification of multi-person presence for elderly care
US11639846B2 (en) 2019-09-27 2023-05-02 Honeywell International Inc. Dual-pattern optical 3D dimensioning
EP3832550A1 (en) * 2019-12-02 2021-06-09 Robert Bosch GmbH Device and method for training a classifier
US11714878B2 (en) * 2020-01-28 2023-08-01 Faro Technologies, Inc. Construction site defect and hazard detection using artificial intelligence
US12024862B2 (en) 2020-02-07 2024-07-02 Caterpillar Inc. System and method of autonomously clearing a windrow
US11803955B1 (en) 2020-04-30 2023-10-31 Everguard, Inc. Multimodal safety systems and methods
US11675878B1 (en) * 2020-04-30 2023-06-13 Everguard, Inc. Auto-labeling method for multimodal safety systems
DE102020206350A1 (de) * 2020-05-20 2022-01-27 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Detektion von Vergleichspersonen zu einer Suchperson, Überwachungsanordnung, insbesondere zur Umsetzung des Verfahrens, sowie Computerprogramm und computerlesbares Medium
US20220051175A1 (en) * 2020-08-12 2022-02-17 Everseen Limited System and Method for Mapping Risks in a Warehouse Environment
US11734966B1 (en) 2020-10-15 2023-08-22 Ethernovia Inc. Recursive system layer analysis for achieving functional safety
US11803180B2 (en) 2020-10-15 2023-10-31 Ethernovia Inc. Determining diagnostic coverage for achieving functional safety
TWI746357B (zh) * 2021-01-26 2021-11-11 楠鎔電機有限公司 加工機的人體界定之安全辨識系統
KR102664328B1 (ko) * 2021-08-26 2024-05-08 (주)서울로보틱스 작업 공간에서의 관심 영역을 모니터링하는 방법 및 센싱 장치
US20230069482A1 (en) * 2021-08-31 2023-03-02 Siemens Aktiengesellschaft Machine learning-based environment fail-safes through multiple camera views
KR102711253B1 (ko) * 2021-11-26 2024-09-26 배재대학교 산학협력단 제조업 근로자 안전관리를 위한 데이터셋 구축 및 모델 학습 방법 및 장치
US11983922B2 (en) * 2022-01-27 2024-05-14 Rovi Guides, Inc. Smart home management system for generating augmented reality scene of potentially hazardous condition
DE202022103234U1 (de) * 2022-06-08 2023-09-20 Leuze Electronic Gmbh + Co. Kg Überwachungseinrichtung

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2319426A (en) * 1996-11-15 1998-05-20 Sagem Video camera with image displacing member controlled for image resolution improvement, camera element response equalisation and camera vibration compensation
WO2002082201A1 (en) * 2001-04-04 2002-10-17 Instro Precision Limited Image analysis apparatus
CN1755741A (zh) * 2004-05-21 2006-04-05 洛克威尔自动控制股份有限公司 红外安全系统和方法
CN101511550A (zh) * 2006-08-02 2009-08-19 皮尔茨公司 用于观测工业环境中的人员的方法
US20100074500A1 (en) * 2008-09-22 2010-03-25 Siemens Medical Solutions Usa, Inc. System and method for 3d time of flight pet forward projection based on an exact axial inverse rebinning relation in fourier space
CN101866056A (zh) * 2010-05-28 2010-10-20 中国科学院合肥物质科学研究院 基于led阵列共透镜tof深度测量的三维成像方法和系统
US20110050878A1 (en) * 2009-08-28 2011-03-03 Gm Global Technology Operations, Inc. Vision System for Monitoring Humans in Dynamic Environments
CN103085076A (zh) * 2011-11-08 2013-05-08 发那科株式会社 物品的三维位置姿势的识别装置以及识别方法
WO2013135608A1 (de) * 2012-03-16 2013-09-19 Pilz Gmbh & Co. Kg Verfahren und vorrichtung zum absichern eines gefährlichen arbeitsbereichs einer automatisiert arbeitenden maschine
CN103415876A (zh) * 2010-11-17 2013-11-27 欧姆龙科学技术公司 一种用于监控区域的方法和设备

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4967317A (en) 1988-06-16 1990-10-30 Genlyte Exit sign
CN1101056C (zh) 1995-06-22 2003-02-05 3Dv系统有限公司 生成距景物距离的图象的方法和装置
US6235148B1 (en) 1999-03-05 2001-05-22 Billy F. Courson, Jr. Chemiluminescent photo-curable adhesive curing and bonding system
US7200246B2 (en) * 2000-11-17 2007-04-03 Honeywell International Inc. Object detection
US7768549B2 (en) * 2001-06-08 2010-08-03 Honeywell International Inc. Machine safety system with mutual exclusion zone
EP1423731B1 (de) 2001-08-06 2006-10-04 Siemens Aktiengesellschaft Verfahren und vorrichtung zur aufnahme eines dreidimensionalen abstandsbildes
EP1496992A1 (en) 2002-04-16 2005-01-19 Lumerx, Inc. Chemiluminescent light source using visible light for biotherapy
JP2004093623A (ja) 2002-08-29 2004-03-25 Olympus Corp 照明装置及びそれを用いた表示装置
US7729511B2 (en) * 2002-09-24 2010-06-01 Pilz Gmbh & Co. Kg Method and device for safeguarding a hazardous area
US20040159900A1 (en) 2003-01-27 2004-08-19 3M Innovative Properties Company Phosphor based light sources having front illumination
US7091661B2 (en) 2003-01-27 2006-08-15 3M Innovative Properties Company Phosphor based light sources having a reflective polarizer
DE10345948B4 (de) * 2003-10-02 2018-08-23 Robert Bosch Gmbh Verfahren zur Bewertung und zeitlichen Stabilisierung von Klassifizierungsergebnissen
WO2005114338A1 (en) * 2004-05-20 2005-12-01 Mcmaster University Method for controlling the appearance of products and process performance by image analysis
US8113695B2 (en) 2005-02-04 2012-02-14 Adac Plastics, Inc. Trim component with concealed indicium
US7532311B2 (en) 2005-04-06 2009-05-12 Lockheed Martin Coherent Technologies, Inc. Efficient lidar with flexible target interrogation pattern
WO2006131924A2 (en) 2005-06-07 2006-12-14 Oree, Advanced Illumination Solutions Inc. Illumination apparatus
DE102005056265A1 (de) * 2005-11-14 2007-05-16 Pilz Gmbh & Co Kg Vorrichtung und Verfahren zum Überwachen eines Raumbereichs, insbesondere zum Absichern eines Gefahrenbereichs einer automatisiert arbeitenden Anlage
JP4769859B2 (ja) 2006-02-28 2011-09-07 富士通株式会社 反射光検出装置、並びに、反射特性判断装置、及び、物体検出装置
US8942426B2 (en) * 2006-03-02 2015-01-27 Michael Bar-Am On-train rail track monitoring system
DE102006029025A1 (de) 2006-06-14 2007-12-27 Iris-Gmbh Infrared & Intelligent Sensors Vorrichtung und Verfahren zur Abstandsbestimmung
US8333907B2 (en) 2007-01-17 2012-12-18 Utc Fire & Security Corporation Articles using persistent phosphors
WO2008152647A2 (en) 2007-06-15 2008-12-18 Ben Gurion University Of The Negev Research And Development Authority Three-dimensional imaging method and apparatus
US8325245B2 (en) * 2007-09-25 2012-12-04 Rockwell Automation Technologies, Inc. Apparatus and methods for use of infra-red light in camera applications
JP5671345B2 (ja) 2007-12-21 2015-02-18 レッダーテック インコーポレイテッド 検出及び測距方法
US8531308B2 (en) 2008-01-21 2013-09-10 Kameraflage, Inc. Methods and systems for displaying a message in a wide-spectrum display
DK2359593T3 (en) 2008-11-25 2018-09-03 Tetravue Inc High-resolution three-dimensional imaging systems and methods
US8905610B2 (en) 2009-01-26 2014-12-09 Flex Lighting Ii, Llc Light emitting device comprising a lightguide film
KR101565969B1 (ko) 2009-09-01 2015-11-05 삼성전자주식회사 깊이 정보를 추정할 수 있는 방법과 장치, 및 상기 장치를 포함하는 신호 처리 장치
JP2011169701A (ja) 2010-02-17 2011-09-01 Sanyo Electric Co Ltd 物体検出装置および情報取得装置
US9189949B2 (en) * 2010-12-09 2015-11-17 Sealed Air Corporation (Us) Automated monitoring and control of contamination in a production area
US9143843B2 (en) * 2010-12-09 2015-09-22 Sealed Air Corporation Automated monitoring and control of safety in a production area
US8983121B2 (en) 2010-10-27 2015-03-17 Samsung Techwin Co., Ltd. Image processing apparatus and method thereof
US9599461B2 (en) * 2010-11-16 2017-03-21 Ectoscan Systems, Llc Surface data acquisition, storage, and assessment system
EP2772676B1 (de) 2011-05-18 2015-07-08 Sick Ag 3D-Kamera und Verfahren zur dreidimensionalen Überwachung eines Überwachungsbereichs
US8421037B2 (en) 2011-06-10 2013-04-16 Rockwell Automation Technologies, Inc. System and method for reduction of optical noise
US8480246B2 (en) 2011-06-10 2013-07-09 Rockwell Automation Technologies, Inc. System and method for reduction of optical noise
EP2733928B1 (en) 2011-07-12 2021-09-22 Samsung Electronics Co., Ltd. Device and method for blur processing
US9297935B2 (en) 2012-01-27 2016-03-29 Rockwell Automation Technologies, Inc. Method and device for enhancing sensor indication
JP6187584B2 (ja) * 2012-05-14 2017-08-30 オムロン株式会社 マシンビジョンシステムのための最小コントラストを保証するための方法および装置
US9002067B2 (en) * 2013-03-28 2015-04-07 Bytelogics Inc. Systems and methods for detecting blood alcohol level
CA2912191C (en) * 2013-08-06 2021-06-15 Bp Corporation North America Inc. Image-based direct numerical simulation of petrophysical properties under simulated stress and strain conditions
US9251598B2 (en) * 2014-04-10 2016-02-02 GM Global Technology Operations LLC Vision-based multi-camera factory monitoring with dynamic integrity scoring

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2319426A (en) * 1996-11-15 1998-05-20 Sagem Video camera with image displacing member controlled for image resolution improvement, camera element response equalisation and camera vibration compensation
WO2002082201A1 (en) * 2001-04-04 2002-10-17 Instro Precision Limited Image analysis apparatus
CN1755741A (zh) * 2004-05-21 2006-04-05 洛克威尔自动控制股份有限公司 红外安全系统和方法
CN101511550A (zh) * 2006-08-02 2009-08-19 皮尔茨公司 用于观测工业环境中的人员的方法
US20100074500A1 (en) * 2008-09-22 2010-03-25 Siemens Medical Solutions Usa, Inc. System and method for 3d time of flight pet forward projection based on an exact axial inverse rebinning relation in fourier space
US20110050878A1 (en) * 2009-08-28 2011-03-03 Gm Global Technology Operations, Inc. Vision System for Monitoring Humans in Dynamic Environments
CN101866056A (zh) * 2010-05-28 2010-10-20 中国科学院合肥物质科学研究院 基于led阵列共透镜tof深度测量的三维成像方法和系统
CN103415876A (zh) * 2010-11-17 2013-11-27 欧姆龙科学技术公司 一种用于监控区域的方法和设备
CN103085076A (zh) * 2011-11-08 2013-05-08 发那科株式会社 物品的三维位置姿势的识别装置以及识别方法
WO2013135608A1 (de) * 2012-03-16 2013-09-19 Pilz Gmbh & Co. Kg Verfahren und vorrichtung zum absichern eines gefährlichen arbeitsbereichs einer automatisiert arbeitenden maschine

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110998471A (zh) * 2017-05-09 2020-04-10 云海智行股份有限公司 机器人运动控制系统及方法
CN109141373A (zh) * 2017-06-28 2019-01-04 西克股份公司 用于防护机器的传感器
CN109581529A (zh) * 2017-09-29 2019-04-05 欧姆龙株式会社 操作光幕排列的方法及光幕排列
US10634812B2 (en) 2017-09-29 2020-04-28 Omron Corporation Method for operating dedicated light emitter elements to a respective one light receiver element in a light curtain arrangement and light curtain arrangement
CN110388561A (zh) * 2018-04-20 2019-10-29 安士能有限及两合公司 安全开关
CN112740122A (zh) * 2018-08-21 2021-04-30 皮尔茨公司 用于监视安全关键过程的自动化系统
CN112740122B (zh) * 2018-08-21 2024-03-15 皮尔茨公司 用于监视安全关键过程的自动化系统
CN109544617A (zh) * 2018-12-05 2019-03-29 深圳市光微科技有限公司 应用于相位式tof传感器的温度补偿方法以及温度补偿装置
CN109544617B (zh) * 2018-12-05 2024-04-16 光微信息科技(合肥)有限公司 应用于相位式tof传感器的温度补偿方法以及温度补偿装置

Also Published As

Publication number Publication date
US20150332463A1 (en) 2015-11-19
CN105094005B (zh) 2018-11-23
EP2947604B1 (en) 2019-10-23
EP2947604A1 (en) 2015-11-25
US20160070991A1 (en) 2016-03-10
US9477907B2 (en) 2016-10-25
US9256944B2 (en) 2016-02-09

Similar Documents

Publication Publication Date Title
CN105094005A (zh) 光学区域监测与工业机器控制的集成
CN105100780B (zh) 使用选择的像素阵列分析的光学安全监视
Mohammed et al. Active collision avoidance for human–robot collaboration driven by vision sensors
US10832548B2 (en) Advanced industrial safety notification systems
US10195741B2 (en) Controlling a robot in the presence of a moving object
AU2020222504B2 (en) Situational awareness monitoring
US20220019949A1 (en) Safety management assistance system, and control program
AU2022201774B2 (en) Object Moving System
US20230373092A1 (en) Detection and Tracking of Humans using Sensor Fusion to Optimize Human to Robot Collaboration in Industry
Schmidt Real-time collision detection and collision avoidance
WO2021059560A1 (ja) 情報処理装置、ロボット、および情報処理システム
KR102724007B1 (ko) 상황 인식 모니터링
Wang et al. Safety in human-robot collaborative assembly
Park et al. Hand-monitoring System Using CutMix-based Synthetic Augmentation for Safety in Factories
Duque-Suárez et al. Deep Learning for Safe Human-Robot Collaboration
Hull Intelligent Robotics Safeguarding
KR20240110157A (ko) 산업현장에서의 안전사고 감시를 위한 디지털 트윈 기반의 현장 관리 서버 및 현장 관리 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: ohio

Applicant after: Rockwell automation technologies

Address before: ohio

Applicant before: Rockwell Automation Tech Inc.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant