CN111800594A - 工业安全传感器 - Google Patents

工业安全传感器 Download PDF

Info

Publication number
CN111800594A
CN111800594A CN202010259811.9A CN202010259811A CN111800594A CN 111800594 A CN111800594 A CN 111800594A CN 202010259811 A CN202010259811 A CN 202010259811A CN 111800594 A CN111800594 A CN 111800594A
Authority
CN
China
Prior art keywords
sensor
pixel
data
illumination
trigger signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010259811.9A
Other languages
English (en)
Other versions
CN111800594B (zh
Inventor
克里斯·耶茨
弗雷德里克·鲍陶德
伊戈尔·阿布罗西莫夫
克里斯·索夫特利
迈克尔·M·蒂勒曼
理查德·加莱拉
阿尔温德·阿南萨纳雷亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rockwell Automation Technologies Inc
Original Assignee
Rockwell Automation Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rockwell Automation Technologies Inc filed Critical Rockwell Automation Technologies Inc
Publication of CN111800594A publication Critical patent/CN111800594A/zh
Application granted granted Critical
Publication of CN111800594B publication Critical patent/CN111800594B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4816Constructional features, e.g. arrangements of optical elements of receivers alone
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • G01S7/4863Detector arrays, e.g. charge-transfer gates
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

有源光照三维传感器装置配置有许多诊断功能,诊断功能可以满足单通道安全传感器架构的情境内的工业安全的要求。传感器诊断功能为光学安全传感器(例如,飞行时间安全传感器)提供足够的诊断覆盖,以在无需多个通道的情况下实现期望的安全完整性等级。可以将诊断功能应用于沿单通道路径的一个或更多个部件(例如,定序器、光照源、输入和/或输出光学器件、图像传感器像素等),以提供一定程度的诊断覆盖,其使得光学安全传感器适用于要求高安全完整性等级的工业安全应用。

Description

工业安全传感器
背景技术
本文中公开的主题总体上涉及工业安全,并且更具体地涉及三维安全传感器。
发明内容
以下呈现简化概述以提供对本文中描述的一些方面的基本理解。该概述不是广泛的综述,也不旨在标识关键/重要元素或描写本文中描述的各个方面的范围。该概述的唯一目的是以简化形式呈现一些概念以作为稍后呈现的更详细的描述的序言。
在一个或更多个实施方式中,提供了一种有源光照三维(3D)传感器系统,包括:光照源,其被配置成向监测区域发射光脉冲;图像传感器,其包括像素阵列,其中,图像传感器被配置成测量在像素阵列的像素处接收的光量并且生成与该光量成比例的电荷;数据输出部件,其被配置成将电荷转换为表示在像素处接收的光量的一个或更多个数字数据值;距离确定部件,其被配置成基于对一个或更多个数字数据值的分析来确定监测场景内的表面的距离;以及辅助光照源,其安装在3D传感器系统的壳体内,并且被定向成朝向壳体的内表面发射辅助光脉冲;其中,图像传感器还被配置成在诊断测试序列期间执行对作为反射辅助光脉冲被从壳体的内表面反射并且在像素处被接收的辅助光脉冲的子集执行测量,并且系统还包括分析部件,分析部件被配置成基于该测量生成针对像素的诊断数据。
此外,一个或更多个实施方式提供了一种用于对有源光照三维(3D)传感器执行诊断的方法,包括:由安装在3D传感器的壳体内的辅助光照源朝向该壳体的内表面发射辅助光脉冲;由3D传感器的图像传感器测量作为反射辅助光脉冲被从内表面反射并且在图像传感器的像素处被接收的辅助光脉冲的子集,以产生测试测量数据;以及由3D图像传感器的分析部件基于对测试测量数据的分析来生成针对像素的诊断数据。
此外,根据一个或更多个实施方式,提供了一种其上存储有指令的非暂态计算机可读介质,该指令响应于执行而使有源光照三维(3D)传感器执行操作,操作包括:控制朝向壳体的内表面的辅助光脉冲的发射;测量作为反射辅助光脉冲被从内表面反射并且在图像传感器的像素处被接收的辅助光脉冲的子集,以产生测试测量数据;以及基于对测试测量数据的分析来生成针对像素的诊断数据。
为了实现前述和相关目的,本文中结合以下描述和附图描述了某些说明性方面。这些方面指示可以实践的各种方式,所有这些方式均旨在被涵盖在本文中。当结合附图考虑时,根据以下具体描述,其他优点和新颖特征会变得明显。
附图说明
图1是示出典型的飞行时间测量的原理的飞行时间(TOF)传感器的一般化框图。
图2是示出在由基于TOF的安全传感器监测的区域内检测到人的示意图。
图3是示例有源光照3D安全传感器的框图。
图4是传感器的基本部件以及传感器所关联的感测通道的一般化示意图。
图5是示出包括能够检测定序器故障的序列诊断系统的示例定序器的示意图。
图6是包括集成的诊断特征的示例光照源的俯视图和侧视图。
图7a是在输入光学器件和输出光学器件上不存在污染的情形下的输出光学器件、输入光学器件、光照源、图像传感器以及相关联的诊断部件的侧视图。
图7b是在输入光学器件和输出光学器件上存在污染的情形下的输出光学器件、输入光学器件、光照源、图像传感器和相关联的诊断部件的侧视图。
图8是包括图像传感器和多个诊断部件的示例图像传感器组件的俯视图和侧视图。
图9是示出示例距离测量序列的时序关系的时序图。
图10a是示出可以使用辅助光照进行的示例诊断测试的时序图。
图10b是图像传感器的像素的电压值V1、V2和VBKG的示例特性曲线的图。
图11是带有标记的示例特征波形的图,这些标记标识了可以被波形分析部件分析和监测以识别有故障的或劣化的图像传感器性能的波形属性。
图12a是在第一像素和第二像素彼此独立的示例情形下的时间序列测量数据的图和散点图。
图12b是在第一像素与第二像素互相关的示例情形下的时间序列测量数据的图和散点图。
图13是用于诊断定序器的性能的示例方法的流程图,定序器控制有源光照3D传感器的光照源和图像传感器的同步操作。
图14是用于验证正在使用正确的电流脉冲来驱动有源光照3D传感器的光照源的示例方法的流程图。
图15是用于检测有源光照3D传感器的输入或输出光学窗口上存在污染的示例方法的流程图。
图16是用于诊断性地验证有源光照3D传感器的图像传感器的正确的飞行时间距离测量的示例方法的流程图。
图17a是用于验证图像传感器的像素的正确时序和/或光响应的示例方法的第一部分。
图17b是用于验证图像传感器的像素的正确时序和/或光响应的示例方法的第二部分。
图18a是用于验证在有源光照3D传感器中使用的图像传感器中的像素间独立性的示例方法的第一部分。
图18b是用于验证在有源光照3D传感器中使用的图像传感器中的像素间独立性的示例方法的第二部分。
图19是示例计算环境。
图20是示例联网环境。
具体实施方式
现在参照附图描述主题公开内容,其中,贯穿全文使用相同的附图标记指代相同的元素。在以下描述中,出于说明的目的,阐述了许多特定细节以提供对其的完全理解。然而,明显的是,可以在没有这些具体细节的情况下实践主题公开内容。在其他实例中,以框图的形式示出公知的结构和装置以有利于对其进行描述。
如在本申请中所使用的,术语“部件”、“系统”、“平台”、“层”、“控制器”、“终端”、“站”、“节点”、“接口”旨在指代计算机相关实体、或与具有一个或更多个特定功能的操作设备有关或作为该操作设备的一部分的实体,其中,这样的实体可以是硬件、硬件和软件的组合、软件、或执行中的软件。例如,部件可以是但不限于:在处理器上运行的进程、处理器、硬盘驱动器、多种存储驱动器(具有光存储介质或磁存储介质),包括附加的(例如,螺丝拧紧或螺栓固定的)固态存储驱动器或者可移除式附加的固态存储驱动器;对象;可执行体;执行线程;计算机可执行程序;以及/或者计算机。作为例示,服务器上运行的应用以及服务器两者都可以是部件。一个或更多个部件可以驻留在执行的进程和/或线程内,并且部件可以位于一个计算机上以及/或者分布在两个或更多个计算机之间。此外,本文中描述的部件可以从其上存储有各种数据结构的各种计算机可读存储介质来执行。部件可以经由本地和/或远程进程例如根据具有一个或更多个数据分组(例如,来自与本地系统中的另一部件、分布式系统和/或经由信号在诸如因特网的网络上与其他系统交互的一个部件的数据)的信号进行通信。作为另一示例,部件可以是具有由电气或电子电路操作的机械部件提供的特定功能的设备,电气或电子电路由处理器执行的软件或固件应用来操作,其中,处理器可以在设备的内部或外部并且执行软件或固件应用的至少一部分。作为又一示例,部件可以是通过没有机械部件的电子部件提供特定功能的设备,电子部件可以在其中包括处理器以执行至少部分地提供电子部件的功能的软件或固件。作为又一示例,接口可以包括输入/输出(I/O)部件以及相关联的处理器、应用或应用程序接口(API)部件。虽然前述示例涉及部件的各方面,但是简化的方面或特征也适用于系统、平台、接口、层、控制器、终端等。
如本文中所使用的,术语“进行推断(to infer)”和“推断(inference)”通常是指根据经由事件和/或数据捕获的一组观察结果来推理或推断用户、环境和/或系统的状态的过程。例如,可以采用推断来识别特定情境或动作或者生成关于状态的概率分布。推断可以是概率性的,即,基于对数据和事件的考虑而进行的对关注状态的概率分布的计算。推断也可以指用于由一组事件和/或数据构成较高级别的事件所采用的技术。这种推断使得由一组观察到的事件和/或存储的事件数据构造出新事件或动作,不论事件是否以紧密的时间接近度相关,也不论事件和数据是否来自一个或若干个事件和数据源。
另外,术语“或”旨在意指包容性的“或”而不是排他性的“或”。即,除非另有指定或者根据上下文是清楚的,否则短语“X采用A或B”旨在意指任何自然的包容性排列。即,以下实例中的任何实例都满足短语“X采用A或B”:X采用A;X采用B;或X采用A和B两者。另外,除非另有指定或者根据上下文明确指向单数形式,否则如本申请和所附权利要求中使用的冠词“a”和“an”通常应当被解释为意指“一个或更多个”。
此外,本文中采用的术语“集合”排除空集;例如,其中没有元素的集合。因此,本公开内容中的“集合”包括一个或更多个元素或实体。作为说明,控制器的集合包括一个或更多个控制器;数据资源的集合包括一个或更多个数据资源;等。同样,本文中利用的术语“组”是指一个或更多个实体的集合;例如,节点组是指一个或更多个节点。
将鉴于可以包括许多装置、部件、模块等的系统来呈现各个方面或特征。要理解和认识到,各个系统可以包括另外的装置、部件、模块等,以及/或者可以不包括结合附图讨论的全部装置、部件、模块等。也可以使用这些方法的组合。
存在用于检测监测空间内的对象或表面的距离的许多技术。这些技术包括但不限于飞行时间(TOF)光学传感器或用于检测传感器的观看范围内的对象或表面的距离的其他类型的有源光照三维传感器(例如,光检测器或多像素图像传感器)。示例光学传感器可以包括光检测器以及多像素图像传感器,其中光检测器测量并生成针对检测器的范围内的对象的单个距离数据点,多像素图像传感器包括光检测器阵列,每个光检测器阵列能够生成针对对应的图像像素的距离数据点。一些三维光学传感器例如立体视觉技术或结构光技术使用三角测量来测量距离。
采用脉冲光光照的一些类型的TOF传感器通过测量去往视场(或观看空间)中的光脉冲的发射与在传感器的光接收器处对来自视场内的对象或表面的随后的反射光脉冲的接收之间的经过时间来操作。该飞行时间信息与到对象的距离成比例;因此,传感器能够确定对象或表面点距传感器的距离。
图1是示出典型的飞行时间测量的原理的TOF传感器112的一般化框图。通常,由一些TOF传感器使用的感测技术测量光脉冲从传感器的光照光源(由发射器104表示)行进至视场内的对象108或表面然后回到传感器的光检测器(由图像传感器106表示)所花费的时间。图像传感器106可以是例如专用多像素CMOS(互补金属氧化物半导体)专用集成电路(ASIC)成像器,其集成有用于测量接收到脉冲的时间位置的专用器件。距离测量部件102可以根据下式测量到对象108的距离d,
Figure BDA0002438864720000061
其中,c是光速,并且t是脉冲从发射器104到对象108然后回到传感器106的往返行程的测量时间。
TOF传感器112的发射器104向视场中发射短光脉冲110。视场内的对象和表面(例如对象108)将脉冲的能量的一部分反射回到TOF传感器112,并且反射的脉冲被图像传感器106的相应像素(例如,光检测器或光传感器如光电二极管)检测到。由于光在真空中的速度c是已知常数,并且在脉冲110的发射与接收之间经过的时间t可以被测量或提取,因此距离测量部件102可以按照上式(1)给出的那样计算往返时间的一半或者使用另一合适的计算方法针对传感器106的每个像素确定对象108与传感器之间的距离。针对图像传感器106的所有像素获得的距离信息共同产生观看空间的深度或范围图。在一些实现方式中,距离测量部件102可以包括测量接收到的脉冲相对于发射器104发射该脉冲的时间的到达时间的计时器。通常,TOF传感器112生成表示接收的脉冲的时间位置的信息。
一些类型的TOF传感器112朝向要监测的区域投射作为宽光束的脉冲光,并且分析从观看区域内的表面和对象接收的反射光。其他类型的传感器112可以将窄的、准直的或平面的脉冲光束以振荡方式扫过观看区域以收集和逐行或逐点地分析图像数据。在其他实现方式中,传感器112可以向整个关注区域投射静止的、基本平面的脉冲光束,并且收集穿过光束的对象的数据。
如果TOF传感器的距离计算能力足够鲁棒和可靠,则该传感器可以用作工业安全系统的工业安全装置。图2是示出在由TOF传感器112监测的区域内检测到人206的示意图。在示例实现方式中,TOF传感器112可以被定向和配置成监测所限定的保护区内的人206或对象(例如,叉车或其他交通工具、移动机械等)的侵入,并且响应于在保护区内检测到人206或对象而发起安全措施。在图2描绘的示例中,传感器112(或相关联的监督控制器或安全继电器)被配置成在人206(或另一被禁止对象)被检测到处于限定视场(FOV)210(其可以小于能够被传感器112监测的最大视场)内距传感器的垂直距离d(沿z轴)小于限定的安全距离Dsafe(沿z轴)的情况下发起安全措施。这产生由图2中示出的阴影体积表示的保护区。由传感器112响应于在该保护区内检测到人206或对象而发起的安全动作可以包括例如断开危险的自动化机器的电源、将机器置于安全操作模式(例如,缓慢操作模式)、更改机器的轨迹以避开检测到的人的路径、或者其他此类安全动作。
尽管在图2中将保护区在z轴方向(沿传感器112的投射轴)上的边界描绘为平面208,但是一些TOF传感器112可以允许针对监测场景的每个像素或针对各个像素组单独限定安全距离Dsafe,从而产生具有非平面几何形状的边界。
被设计成在关键处理中操作并且防止危害到人的工业安全装置的典型特征在于安全完整性等级(SIL),安全完整性等级(SIL)限定了安全装置所满足的性能要求的等级。通常,装置的SIL等级限定了该装置所提供的保护级别。给定工业应用所需的SIL等级通常是应用的预期危害频率和危害严重性的函数。当与危害的风险评估组合时,SIL等级为安全工程师提供用以实现保护工人免受工业危害的安全解决方案的简单手段,并且提供了一系列连续的降低所讨论的安全装置的故障概率。通常,制造商将在已证明符合IEC 61508相关标准后根据特定安全装置的能力向其指定SIL等级。
为了满足SIL标准指定的要求,必须将工业安全装置设计成具有高度可靠性,并且必须设计成使得安全装置的一个或更多个部件的故障不会损害装置安全功能的可靠性也不会以其他方式导致不安全的环境。一些安全装置使用硬件冗余来提高安全可靠性。例如,可以使用多个冗余的独立图像传感器从监测空间提取三维数据,从而通过产生多组相同的测量数据来提供硬件冗余。在该示例场景中,一个图像传感器的故障不影响安全装置检测对象的能力,因为仍然可以基于由其他图像传感器获取的数据来检测对象。还可以根据设计将硬件冗余应用于工业装置的其他部件。安全装置中冗余硬件的实现产生了多通道架构。
在提供高度可靠性的同时,为满足SIL要求而实现的硬件冗余也可能将复杂性、尺寸和成本引入安全装置。为了解决这些和其他问题,本文中描述的一个或更多个实施方式在单通道安全传感器架构内实现了多个辅助诊断功能以满足SIL安全的要求。本文中描述的诊断功能中的一个或更多个诊断功能为光学安全传感器(例如,TOF安全传感器或其他类型的有源光照3D传感器)提供了足够的诊断覆盖以在无需多个通道的情况下达到期望的安全完整性等级。诊断特征可以应用于沿单通道路径的一个或更多个部件(例如,定序器、光照源、输入和/或输出光学器件、图像传感器像素等)以提供一定程度的诊断覆盖,使光学安全传感器适合于在需要高SIL的工业安全应用中使用。
图3是根据本公开内容的一个或更多个实施方式的示例有源光照3D安全传感器302的框图。在本公开内容中说明的系统、设备或处理的各方面可以构成在机器内体现(例如在与一个或更多个机器相关联的一个或更多个计算机可读介质(或媒介)中体现)的机器可执行部件。当由诸如计算机、计算装置、自动化装置、虚拟机等的一个或更多个机器执行时,这些部件可以使机器执行所述操作。
传感器302可以包括定序器304、光照源306、图像传感器308、数据输出部件310、距离确定部件312、控制输出部件314、用户接口部件316、分析部件318、一个或更多个处理器320和存储器322。在各种实施方式中,光照源306、图像传感器308、数据输出部件310、距离确定部件312、控制输出部件314、用户接口部件316、分析部件318、一个或更多个处理器320和存储器322中的一个或更多个可以彼此电且/或通信地耦接以执行传感器302的一个或更多个功能。在一些实施方式中,部件304、306、308、310、312、314、316和318中的一个或更多个或其部分可以包括存储在存储器322上并且由处理器320执行的软件指令。传感器302还可以与图3中未描绘的其他硬件和/或软件部件进行交互。例如,处理器320可以与一个或更多个外部用户接口装置例如键盘、鼠标、显示监测器、触摸屏或其他这样的接口装置进行交互。传感器302还可以包括网络通信部件和相关联的联网端口以用于通过网络(标准数据网络或安全网络中任一个或两者)或通过背板发送由部件304、306、308、310、312、314、316和318中的任何部件生成的数据。
定序器304可以被配置成生成控制光照源306与图像传感器308的同步操作的触发信号。光照源306可以被配置成在由定序器304生成的触发信号的控制下发射脉冲光照。图像传感器308可以被配置成将入射在光接收器或光检测器阵列上的光能转换为用于图像传感器308的相应像素的电荷。数据输出部件310可以被配置成将由图像传感器308的像素生成的电信号转换为数字值。距离确定部件312可以被配置成基于对由数据输出部件310生成的数字值的分析来计算与图像传感器308的相应像素对应的距离值。在示例TOF传感器的情况下,距离确定部件312可以被配置成基于数字值来确定针对图像传感器308的每个像素所发射的光脉冲的传播时间(飞行时间),并且基于确定的传播时间进一步确定与像素对应的对象或表面的距离值。
控制输出部件314可以被配置成基于由距离确定部件312或分析部件318生成的结果来控制一个或更多个传感器输出。这可以包括例如:向控制或监督装置(例如,工业控制器、安装在移动交通工具中的车载计算机等)发送模拟控制信号或数字控制信号以执行控制动作,发起安全动作(例如,断开危险机器的电源、将工业系统切换至安全操作模式等),经由人机接口(HMI)或个人移动装置向一个或更多个工厂人员发送反馈消息,通过安全网络发送数据,或其他这样的信令动作。在各种实施方式中,控制输出部件314可以被配置成与工厂网络(例如,控制和信息协议网络以及以太网/IP网络、安全网络等)接口,并且通过网络连接向其他装置发哦送控制输出,或者可以被配置成经由直接的硬连线连接发送输出信号。
用户接口部件316可以被配置成接收用户输入并且以任何合适的格式(例如,视觉、听觉、触觉等)向用户呈现输出。在一些实施方式中,用户接口部件316可以被配置成与在通信地连接至传感器302的独立硬件装置(例如,膝上型计算机、平板计算机、智能电话等)上执行的图形用户接口(例如,客户端应用、编程或开发平台等)通信。在这样的配置中,用户接口部件316可以接收由用户经由图形用户接口输入的输入参数数据,并且向接口传送输出数据(例如,报错消息;装置状态、健康、或配置信息等)。输入参数数据可以包括例如:能够用作参考数据以用于识别不规则形状的脉冲的标准化脉冲形状数据、光强度设置、最小安全距离或为了确定何时启动控制或安全输出的目的而要与测量距离值进行比较的其他距离阈值、或者其他这样的参数。输出数据可以包括例如传感器302的状态或诊断信息、警报或故障信息、参数设置或其他这样的信息。
分析部件318可以被配置成执行对由传感器302的诊断部件生成的诊断测试数据的分析,以便确定传感器302的各个部件的状态或健康。一个或更多个处理器320可以执行本文中参照所公开的系统和/或方法描述的功能中的一个或更多个功能。存储器322可以是计算机可读存储介质,其存储用于执行本文中参照所公开的系统和/或方法描述的功能的计算机可执行指令和/或信息。
图4是根据一个或更多个实施方式的传感器302的基本部件以及传感器302的相关联的感测通道的一般化示意图。尽管本文中描述的示例实施方式假定传感器302使用光学飞行时间技术实现3D感测(如上所述),但是本文中描述的诊断特征可以应用于其他类型的有源光照3D传感器,包括但不限于采用有源立体声技术的传感器。
传感器302包括一个或更多个光照源306、输出光学器件408、输入光学器件412、包括一个或更多个图像传感器像素414的图像传感器308、定序器304、数据输出部件310和距离确定部件314。定序器304被配置成将来自每个光照源306的光的发射与图像传感器308的曝光同步。定序器304向分别触发光发射和光检测的光照源306和图像传感器308提供高度准确且精确的触发信号。一个或更多个光照源306生成照射监测场景的基础光信号,并且(在TOF系统的情况下)提供距离的光学测量。光照源306可以生成一系列短的高功率光脉冲,并且可以包括任何合适类型的光源,包括但不限于发光二极管(LED)、激光器或垂直腔面发射激光器(VCSEL)。
输出光学器件408对由光照源306生成的光应用光束进行整形。在示例实施方式中,输出光学器件408可以将从光照源306输出的原始光用作输入,并且对原始光执行光束进行整形以在场景中生成均匀强度的光照场。
反射框410(其不是传感器302的部件)表示由场景内的对象将发射的光束的一部分反射回到图像传感器308。尽管不在系统设计者的控制之下,但是反射框410表示整个距离测量通道的元素。场景内将反射光反射回到传感器302的对象可能在反射率、镜面反射度和定向方面不同,从而使得宽范围的光信号幅度返回到图像传感器308。
输入光学器件412(其可以包括一个或更多个透镜)收集来自监测场景的反射光信号,并且将接收到的光信号聚焦到图像传感器308(包括一个或更多个像素414)上,以在像素414的阵列上产生该场景的高对比度图像。图像传感器308包括单独像素414的阵列,每个像素414用作独立的光检测器,并且在给定的曝光时间期间产生与在像素414处接收的光的强度成比例的电信号。
数据输出部件310将由像素414生成的原始模拟电信号或光电流转换为数字值,随后距离确定部件312对这些数字值进行处理以确定由每个像素414测量的距离值。距离确定部件314可以分析数字值以估计在像素414处接收的脉冲的总传播时间,并且将这些传播时间转换为一个或更多个对象距各个像素的估计距离(例如,基于上式(1)或其变型)。
如简化框图402所示,其描绘了光信息和电信息在图4所绘的部件中的流动,这些部件与从输出光学器件408到场景中的对象然后回到输入光学器件312的光路一起形成单个通道,通过该单个通道测量距离值。通道中任何部件的故障(其可以通过在图402中去除其中一个箭头来表示)将导致整个系统故障。在功能安全方面,在没有冗余通道且没有适当诊断的情况下,具有这些部件的传感器的硬件故障裕度(HFT)将为零(其中,HFT数字N指示安全传感器能够在不损失相关联的安全功能的情况下承受N+1个故障)。根据子系统的HFT值,相关标准要求满足限定的最小安全失效系数(SFF),其中,SFF被定义为安全比率和检测到的危险故障比率之和与安全比率和危险故障比率之和的比。为了实现更高的SIL等级,通常要求SFF大于90%。
根据SFF的定义,可以通过增加对危险故障的检测来实现更高的SFF值。通常,在系统设计期间的的各个阶段(例如,构思、设计等)通过诸如故障模式和影响分析(FMEA)的形式化方法来识别3D传感器的潜在故障模式。
本文中描述的传感器302的各种实施方式使用能够增加传感器检测每个部件的故障的能力的诊断能力来增强图3至图4中描绘的部件中的一个或更多个部件,从而提高传感器302的检测可靠性。下面描述针对传感器部件中的每个部件的诊断功能。尽管针对图3至图4所示部件中的每个部件描述了诊断功能,但是传感器302的一些实施方式可以不必包括本文中描述的所有诊断功能。而是,包括本文中描述的诊断功能中的一个或更多个的任何组合的传感器也在一个或更多个实施方式的范围内。
如上所述,定序器304生成针对光照源306和图像传感器308两者的触发信号。这些触发信号的准确性和稳定性对于传感器的飞行时间测量很关键。然而,仅一个定序器304可以成为该同步处理的主导。图5是示出包括能够检测到定序器304故障的序列诊断系统的示例定序器304的示意图。在定序器304上实现的诊断构思依赖于作为定序器304的部分的两个现场可编程门阵列(FPGA)装置504a和504b(或具有另一类型的嵌入式逻辑器件例如微处理器或微控制器)。第一FPGA装置504a包含触发光照触发信号514a和传感器触发信号516a的主定序器508。主定序器508是生成光照触发信号514a和传感器触发信号516a的硬件实现,其中光照触发信号514a控制光照源306的光照脉冲的脉冲串序列,并且传感器触发信号516a控制图像传感器308(包括像素414)的操作。
分开的第二FPGA装置504b包含与主定序器508相同的实现方式,其被称为影子定序器512。影子定序器512与主定序器508同步操作,生成具有与光照触发信号514a相同的时序的影子光照信号514b和具有与传感器触发信号516a相同的时序的影子传感器信号516b。两个FPGA装置504a和504b相位对准(例如,使用相位对准部件506)。
第二FPGA装置504b的监测部件510将主定序器508的输出与影子定序器512的输出进行比较。也就是说,监测部件510将光照触发信号514a的特性与影子光照信号514b的对应特性进行比较,并且将传感器触发信号516a的特性与影子传感器信号516b的对应特性进行比较。监测部件510所比较的信号特性可以包括但不限于信号时序、脉冲宽度、转换速率、过冲、下冲和稳定性。触发信号及其对应影子信号之间的这些特性中的任何特性的失配会导致无效的距离测量。因此,监测部件510监测一个或更多个特性(例如,时序、脉冲宽度、转换速率等)的超过限定容差的偏离。如果检测到这样的偏离,则监测部件510可以发起报错消息、诊断对策和/或安全动作。例如,响应于由监测部件510检测到触发信号与其对应影子信号之间的失配,监测部件510可以指示控制输出部件314生成断开受保护的工业机器的电源、停止机器操作、或者使机器进入安全操作模式(例如,缓慢操作模式)的安全输出信号。监测部件510还可以指示用户接口部件316呈现适当的诊断故障或报错消息(例如,时序信号不正确消息)。检测到的触发信号与其对应影子信号之间的偏离或失配也可以指示传感器使用期间的装置老化。
尽管图5中示出的示例触发信号描绘了仅单个传感器触发信号516a(和对应的影子信号516b),但是定序器304的一些实施方式可以被配置成根据像素配置生成每个像素多于一个的传感器触发信号516a以用于给定脉冲测量序列。例如,如果每个像素包括用于在单个测量序列期间捕获每个脉冲的三组数据的三个测量电容器(如下文将结合图9所描述的那样),则定序器304可以针对三个测量电容器中的每个测量电容器生成单独的触发信号516。
光照源306还可以包括提高传感器可靠性的多个诊断特征。图6是根据一个或更多个实施方式的包括集成的诊断特征的示例光照源306的俯视图和侧视图。该示例光照源306包括串联连接的三个激光源602a、602b和602c以及控制来自高压线(VCC)的电源608的驱动芯片604。尽管本示例将激光源描绘为光照源,但是其他类型的光照源(例如,LED、VCSELS等)也在一个或更多个实施方式的范围内。驱动芯片604控制电源608以向激光源602的串联阵列提供短的、精确限定的电流脉冲。这些电流脉冲中包含的电功率被激光源602以一定效率线性地转换为输出光脉冲。得到的脉冲光被提供给输出光学器件408,输出光学器件408对接收到的光线进行整形以产生用于距离测量目的的发射光照620。
由激光源602生成的输出光脉冲易受到由于热偏离、光照源306随时间的劣化或其他此类原因而引起的可能的脉冲形状改变的影响。为了解决该问题,监测光电二极管(PD)614监测激光源602的光输出,并且向驱动芯片604提供关于激光源602的光输出功率的反馈。在图6所示的示例中,单个监测光电二极管614被并入电子电路中(在PCB 616上实施)紧邻激光源602的阵列。监测光电二极管614通过测量发射光中从输出光学器件408的表面反射的背向反射626的一部分来执行主要的光发射检测。即使输出光学器件408涂覆有防反射涂层,输出光学器件408也将提供足够的背向反射光信号,以确保由光电二极管614进行的测量具有可接受的信噪比(SNR)。主要的背向反射626来自于激光源602发射的光入射到的第一输出光学表面622(输出光学表面622面向激光源602)。输出光学器件408的其余部分以及并入传感器302本身中的任何外部窗口保护该第一输出光学表面622免于材料损坏。监测光电二极管614被定向成捕获足够量的背向反射626以获得可靠的光功率测量。
监测光电二极管614在由模拟电路的时间常数限定的时间段的脉冲的脉冲串序列上测量背向反射626的平均光功率,并且生成指示平均光功率的到驱动电路604的反馈信号。驱动芯片604基于来自监测光电二极管614的该反馈来调节通过激光源602的电流脉冲的形状。例如,驱动芯片604(或传感器的另一分析部件,例如分析部件318)可以确定由来自监测光电二极管614的反馈信号报告的所测量的平均光功率值是否在工厂限定的极限或用户限定的极限的范围内。如果基于比较发现所测量的平均光输出在限定极限之外,则驱动芯片604可以调整通过激光源的电流脉冲的幅度或宽度以补偿该偏离。如果光输出功率相对限定极限的偏离达到无法通过调整电流脉冲来补偿的程度,则用户接口部件316可以生成诊断故障或报错消息(例如,“不正确的光脉冲宽度”、“不正确的或零强度发射”等)。控制输出部件314还可以响应于平均光信号功率的过度偏离而发起安全动作(例如,生成断开机器的电源或者将机器置于安全操作模式的控制信号)。在一些实施方式中,传感器302可以以预定义的方式随时间自动调整限定的平均光功率极限以考虑到传感器老化或累积的传感器操作时间。
在一些实施方式中,除了监测背向反射626的平均光功率之外或作为其替选方案,监测光电二极管614可以测量背向反射脉冲的单独或平均光脉冲形状和/或幅度,并且到驱动电路604的反馈信号可以指示该单独或平均脉冲形状和/或幅度。在这样的实施方式中,驱动芯片604可以基于该反馈信号来调节通过激光源602的电流脉冲的形状和/或幅度,以确保输出脉冲的形状或幅度保持在限定范围内。
光照源306还以可包括提供故障检测和诊断能力的其他部件。例如,在一些实施方式中,电流感测系统610可以被并入模拟驱动电路中。该感测系统610监测从电源608穿过激光装置602的电流脉冲的三个方面——脉冲幅度、脉冲时序和脉冲形状。感测系统610可以将电流脉冲的这些方面的测量值与针对每个受监测方面限定的限定容差范围进行比较。由感测系统610检测到的不正确的电流脉冲宽度、幅度或时序可能由驱动芯片604或定序器304的故障引起,并且可能导致不正确的或劣化的范围测量,并且在一些情况下可能影响传感器的眼安全(eye-safety)。响应于检测到电流脉冲的这些方面中的任何方面偏离其限定安全范围,感测系统610可以指示用户接口部件316生成诊断故障或报错消息(例如,“不正确的电流脉冲宽度”、“不正确的电流脉冲幅度”等),并且在一些实施方式中可以指示控制输出部件314发起安全动作(例如,点开危险机器的电源、将机器置于安全模式等)。
另外,在监测光电二极管614之前的光路中并入有光学带通滤波器612,以有利于检测由激光装置602发射的光信号的波长的不可预见的改变。波长的这种改变可能由于热改变、外部光干涉或传感器的使用期间的总体劣化引起。带通滤波器612在传输特性方面类似于图像传感器308中包含的带通滤波器。也就是说,带通滤波器612的通带与图像传感器308的带通滤波器的通带相同,其允许在限定的频率范围内的光信号传递到图像传感器308。因此,带通滤波器612模仿光接收路径(包括输入光学器件412和图像传感器308)的行为,从而允许监测光电二极管614检测出正确波长的发射故障。具体地,如果由激光源602发射的光的波长移动到图像传感器308的输入带通滤波器的频谱范围(其也是带通滤波器612的通带)之外,则带通滤波器612防止监测到的光信号到达监测光电二极管614,并且由分析部件318检测由光电二极管614造成的信号损失。响应于检测到该信号损失,分析部件318可以指示用户接口部件316生成诊断故障或报错消息(例如,“不正确的发射波长”、“不正确或零强度发射”等),并且指示控制输出部件314发起安全动作。
在没有带通滤波器612的情况下,造成由激光源602发射的光的波长移动到图像传感器308的输入带通滤波器的频谱范围之外的波长的不可预见的改变仍将继续发射到观看场景,但是由于图像传感器的输入带通滤波器将不会被图像传感器308接收,从而导致测量故障。
光照源306的一些实施方式还可以包括光照系统的电子电路中包含的温度传感器606。温度传感器606在每个操作周期期间连续监测光照系统306的温度,并且将测量的温度与限定的温度极限进行比较。响应于检测到测量的温度超过限定的极限,温度传感器606可以指示用户接口部件316生成诊断故障或报错消息,并且在一些实施方式中指示控制输出部件314发起安全动作。
如图4所示,光照源306和图像传感器308两者均被布置在光学系统后面;即,分别在输出光学器件408和输入光学器件412后面。输出光学器件408对从光照源306发射至监测场景的光进行引导和整形,并且输入光学器件412收集来自该场景的反射光并将光聚焦到图像传感器308上。传感器302的一个或更多个实施方式可以包括检测输入光学器件412和输出光学器件408的可能由于不恰当的光照或光收集引起检测故障的故障模式的诊断特征。图7a和图7b是输出光学器件408、输入光学器件412、光照源306、图像传感器308(像素414的阵列)以及相关联的诊断部件的侧视图。在该示例中,假定光学系统中包括任何另外的保护窗口。通常,光学系统诊断验证输入光学器件412和输出光学器件408的外部光学表面没有损坏、污垢和污染。
在该示例中,诊断技术使用围绕每个外部光学窗口布置的源-检测器对。在图7a所描绘的示例中,在输出光学器件408的外部光学窗口的一侧附近安装有诊断光照源702a,光照源306驻留在输出光学器件408后面。在外部光学窗口的面向光照源702的相对侧附近安装有对应的检测器704a。类似地,在输入光学器件412的外部光学窗口的一侧附近安装有第二诊断光照源702b,图像传感器308驻留在输入光学器件412后面。在外部光学窗口的面向光照源702b的相对侧附近安装有对应的检测器704b。诊断光照源702a和702b被定向成使得由每个光照源702发射光708以相对于外表面的掠射角或全反射角被引导到窗口的外表面上。发射光708由其对应的光学窗口的表面反射,并且反射光的一部分被其互补的检测器704接收成为反射光706。每个检测器704被配置成测量在检测器704处接收到的反射光706的幅度。图7a描绘了其中输出光学器件408和输入光学器件412的外部光学窗口是干净的并且没有污染物和机械损坏的场景。在没有此类异常的情况下,反射光706以可预测的幅度并且从可预测的方向在检测器704处被接收。
反射光706的幅度和方向对输入光学器件408和输出光学器件412的外表面的属性改变敏感。图7b描绘了其中输出光学器件408和输入光学器件412的外部光学窗口被微粒710(例如,尘土微粒、灰尘、油等)污染的场景。由于微粒710的存在而引起的输出光学器件408和输入光学器件412的外表面的光学改变将产生检测器704能够检测到的反射光706的幅度和/或方向的偏离。这种光学改变的原因可以包括例如:凝结;灰尘微粒;划痕或机械损坏;由于老化、结晶或结霜而引起的透射改变;污垢或油污染;或其他这种异常。
检测器704可以监测接收到的反射光706的幅度偏离,并且确定测量的幅度和/或方向是否偏离到限定的极限之外,偏离到限定的极限之外指示可能导致不恰当的光照(改变被引到输出光学器件408的表面上的情况)或不恰当的光收集(改变被引到输入光学器件412的表面上的情况)的外表面属性改变。响应于检测到这种偏离,相关检测器704可以指示用户接口部件316生成适当的诊断故障或报错消息(例如,“场景的不正确光照”、“场景的不正确光收集”、“减少的或零发射”、“减少的或零光收集”、“危险的激光照射功率”等),并且在一些实施方式中可以指示控制输出部件314发起安全动作。此外,在一些实施方式中,传感器302可以被配置成响应于检测到反射光706的幅度或方向的偏离而发起诊断对策。这种对策可以包括例如:启动从光学表面移除异物的自动光学器件清洁系统、增加由光照源306发射的光的强度以补偿输出光学器件408上污染的存在、增加图像传感器308的曝光时间以补偿输入光学器件412上污染的存在、或者其他此类诊断对策。
反射光706的测量幅度还易受到由于传感器302周围的浑浊环境或散射环境条件(例如,雾、霾或蒸汽)引起的改变的影响。由于检测器704将检测由于这种环境条件引起的反射光706的改变,因此该方法还提供了针对传感器302在浑浊介质或散射介质中操作的场景的环境诊断。
在一些实施方式中,可以使用多对诊断光照源702和检测器704来提供对整个光学窗口的足够覆盖。在其他实施方式中,一个或更多个光照源702可以提供用于由检测器704的阵列检测的光。在一些这种实施方式中,检测器704的阵列可以包括提供用于污染物的检测、分析和辨别的附加数据的线性光电二极管阵列。例如,可以使用多个检测器704来辨别散射强度以及散射方向。在一些情况下,散射的强度和方向可以是特定类型的污染物的可预测函数,并且因此所测量的散射强度和方向可以向用户提供可以被利用以识别光学器件上的污染物类型的另外的诊断信息。在示例实现方式中,系统可以基于多个检测器704中的两个检测器的输出信号之间的差别来检测散射强度和方向。在另一示例实现方式中,检测器704中的一些检测器可以被定向成检测来自一个或更多个光照源702的散射光,而其他检测器704(被称为参考检测器)被定向成测量传感器附近的环境光。来自参考检测器704的环境光测量数据可以用来通过从检测器测量结果析出环境光分量来校正由用于测量散射的其他检测器704生成的信号。
图像传感器308还可以包括验证正确的时序和同步、正确的曝光时间、正确的光响应、正确的累积行为以及像素间独立性的诊断特征。图8是包括图像传感器308和多个诊断部件的示例图像传感器组件的俯视图和侧视图。图像传感器308(包括像素414的阵列;参见图4)被包含在图像传感器封装806上,传感器封装806本身被包含在不透明壳体808内,不透明壳体808含有透镜螺旋安装件812。透镜810(其可以是输入光学器件412的一部分)被安装在透镜螺旋安装件812中处于图像传感器308上方能提供足够的聚焦和图像对比度的距离处。透镜810用于将入射光(包括由光照源306发射并且被监测区域中的表面反射回到透镜810的脉冲光信号的部分)聚焦到图像传感器308上。光学带通滤波器820被并入输入光路中。在图8所描绘的示例中,带通滤波器820安装在输入透镜810前面。然而,在一些实施方式中,带通滤波器820可以安装在透镜810后面或者并入透镜组件本身。
在图像传感器308内包含的像素阵列附近安装有两个附加的LED804,其被称为辅助LED。尽管本文中描述的示例系统使用LED作为辅助光照源,但是也可以使用其他类型的辅助光源,包括但不限于激光二极管或VCSEL。辅助LED 804被定向成投射辅助光学光脉冲822,使得辅助脉冲822的至少一部分被壳体808的内表面反射,成为被引导回到图像传感器308的反射脉冲816。这些辅助LED 804被驱动(例如,通过由定序器304生成的辅助光照触发信号驱动)以提供脉冲宽度和脉冲形状与由光照源306生成的实际测量光脉冲类似的光脉冲。在各种实施方式中,传感器302可以在由图像传感器308进行的每个正常测量周期之后运行诊断周期,或者可以以周期性时间为基础或根据限定的计划表运行诊断周期。在该诊断周期期间,定序器304以预先限定的脉冲串序列驱动LED 804。发射光822被壳体808的内表面内部反射,并且反射光脉冲816的至少一部分入射到图像传感器308的像素414上。通过控制LED 804以实现发射的各种时序和幅度,可以在单个诊断周期中再现或模拟图像传感器308的距离测量操作。
在一些实施方式中,每个LED 804可以彼此独立地被驱动。诊断电路(例如,在PCB或芯片814上)可以合并有类似于电流感测系统610的电流感测监测器818,电流感测监测器被配置成测量:a)脉冲幅度,b)脉冲时序,以及c)驱动LED 804的电流脉冲的脉冲形状。
通常,光学飞行时间测量需要确定光脉冲从光照源306行进至被测量的对象然后回到图像传感器308的像素414的往返时间。在光速恒定的假设下,脉冲的往返时间与对象距传感器302的距离成正比。在一些飞行时间方法中,可以由光照源306发射短的光脉冲,并且可以由图像传感器308进行三个不同的测量,这些测量以在像素414处接收到反射脉冲的时间(相对于脉冲发射的时间)为特征。这三个测量在三个不同时序进行并且与像素的三个单独曝光对应。根据与每个像素414相关联的测量电容器的数目,可以使用相应的三个不同的曝光时序从三个单独的脉冲串捕获这三个曝光(使用仅一个测量电容器的情况),或者可以使用同一像素的三个单独的门控从单个脉冲串捕获所有这三个曝光(使用三个测量电容器的情况)。
图9是示出使用每像素三个测量电容器的示例距离测量序列的时序关系的时序图。光照源306的时序(由发射图表示)和图像传感器308的像素曝光的时序(由Q1、Q2和QBKG图表示)可以由定序器304生成的触发信号控制,如以上结合图5所讨论的,定序器304经历其自身的诊断检查。在时间t1处开始,由光照源306发射脉冲902。发射的脉冲902被监测场景中的对象反射,并且在时间t2处开始在像素414处接收到反射脉冲904。时间t1与时间t2之间的差表示脉冲的飞行时间或传播时间。可以基于该传播时间计算出对象的距离。
门控信号Q1和Q2表示分别捕获接收到的反射脉冲的前导部分和拖尾部分作为分开的电压测量的门控信号。例如,门控信号Q1和Q2可以控制电荷从像素到相应的第一测量电容器和第二测量电容器的流动,其中,电荷与入射到像素上的光量成比例。对于所有测量周期而言,脉冲902的发射与第一门控信号Q1的脉冲之间的时间相同。门控信号Q1保持接通达限定的持续时间。由于在接收到反射脉冲904的前沿时门控信号Q1接通,因此与门控信号Q1相关联的第一测量电容器存储与反射脉冲904的前沿部分906成比例的第一电压。当设置门控信号Q1达限定的持续时间时,Q1变低并且在时间t3处设置第二门控信号Q2。第二门控信号Q2保持为高达到与Q1相同的持续时间,使对应的第二测量电容器存储与反射脉冲904的其余部分(即,拖尾部分908)成比例的第二电压。门控信号Q2在Q2接通达到与Q1相同的持续时间之后变低。
Q1变低且Q2变高的时间t3被称为采样点,并且反射脉冲904上该采样点出现的位置——即,前沿部分906与后沿部分908之间的分界线的位置——是相对于发射脉冲902的时间而言在像素414处接收到反射脉冲904的时间的函数。接收到反射脉冲904的时间是脉冲的传播时间的函数,脉冲的传播时间本身是反射脉冲的对象的距离的函数。这样,由Q1和Q2门控信号捕获的前沿部分906和后沿部分908的相对值同样是在像素414处接收到反射脉冲904的时间的函数。因此,距离确定部件312可以基于接收到的脉冲904的被捕获的前沿部分和后沿部分的相对大小来计算传播时间。
为了补偿入射到像素414上的环境光的影响,可以在没有接收到反射脉冲的时间期间触发具有与Q1和Q2相同的持续时间的第三门控信号QBKG。该QBKG门控信号捕获与像素414上的环境(或背景)光照量成比例的电压,可以从由Q1和Q2门控信号捕获的电压中减去该电压以产生表示没有环境光的影响的仅接收到的脉冲部分的电压值,使得传播时间计算更准确。距离确定部件312可以基于对三个捕获的电压(被数据输出部件310转换为数字值)的分析来计算传播时间,并且将该传播时间转换为像素414的对应的距离值。
在图9描绘的示例序列中,在第二门控信号Q2关断时已经完全接收反射脉冲904的假设下,在第二门控信号Q2关断之后触发QBKG信号达到短的持续时间。在一些实施方式中,QBKG信号替代地可以在光照源306发射脉冲902之前被触发。在又一实施方式中,为了允许更大范围的距离测量,可以在第二门控信号Q2关断的同时设置第三门控信号QBKG,从而产生在时间上相邻的三个交错的门控。在这样的实施方式中,在门控信号的脉冲宽度被设置为等于发射脉冲902的脉冲宽度的情况下,可以假定反射脉冲904的各部分将被三个门控中的两个捕获。对于较短距离,接收的脉冲904将由Q1和Q2门控捕获(如图9所示)。对于导致反射脉冲在稍后的时间被接收的较长距离,接收的脉冲904将由Q2和QBKG门控捕获,Q1门控捕获环境光。对于给定测量序列,距离确定部件312可以通过比较捕获的三个电压的大小来确定这三个捕获的电压值中的哪个与环境光对应(假定最小的电压表示环境光),并且将其他两个电压标识为与接收的脉冲的前沿部分906和后沿部分908对应的电压。距离确定部件312然后可以基于对这些标识值的分析来计算传播时间和距离。
以上结合图9描述的测量序列仅旨在是示例性的,并且应当认识到,用于测量传感器的视场内的对象的距离的其他方法也在一个或更多个实施方式的范围内。
图像传感器部件802是复杂的子组件,其执行针对每个像素414的光电转换、曝光定序、模拟值的读出以及模数转换。该图像传感器诊断构思使用辅助LED 804来生成与三个信号对应的已知或期望的一组原始输出,并且查证这些原始输出产生了期望结果。
返回到图8,传感器302的一些实施方式可以通过指示LED 804发射光脉冲并且指示图像传感器308测量从壳体808的内表面内部反射的、接收到的脉冲816来进行简单的诊断测试。在该诊断测试期间,定序器304控制每个辅助脉冲的发射与图像传感器308的像素414的曝光之间的延迟量以模拟与限定的对象距离对应的传播时间。在图像传感器308获得对接收到的脉冲816的测量结果(例如,使用以上结合图9描述的技术或使用另一TOF测量技术)之后,距离确定部件312基于该测量结果来计算每个被测试像素的距离值,并且分析部件318将这些计算的距离值与限定的距离(即,与LED 804的脉冲发射与图像传感器308的曝光之间的延迟对应的模拟距离)进行比较。如果分析部件318确定像素中的任何像素的计算距离相对期望距离的偏离超过限定容差,则假定该像素正执行错误的测量,并且指示用户接口部件316生成诊断错误或报错消息。在一些实施方式中,分析部件318还可以禁用故障像素或将故障像素标记为无效,使得该像素在传感器302的正常操作期间不参与后续的距离测量。如果故障像素的数目超过故障像素的最大允许数目,则可以指示控制输出部件314发起安全动作(例如,打开危险机器的电源、将机器置于安全模式等)。可以在正常测量序列之间的传感器302操作期间周期性地执行该诊断测试序列。
在一些实施方式中,传感器302可以被配置成在给定诊断序列期间执行多个测试测量,针对每个测试测量调整LED 804的脉冲发射与图像传感器308的曝光之间的延迟以模拟一定范围的不同距离。增加脉冲发射与图像传感器曝光之间的延迟对应于增加的模拟距离。基于对每个模拟距离的测量结果的分析,传感器302还可以表征给定像素的不准确测量。
传感器302的一些实施方式可以使用该架构来执行图像传感器308的更复杂的诊断。通常,图像传感器308的正确操作取决于以下操作特性:正确的时序和同步、正确的曝光数、正确的光响应,正确的累积行为以及像素间独立性,可以通过在图像传感器308被辅助光照激发时分析来自图像传感器308的输出数据来验证这些操作特性。如下所述,可以使用利用辅助LED 804的诊断测试来确认这些特性的完整性。
正确的时序和同步是指图像传感器308的曝光与光照源306的脉冲发射的同步。该时序可以取决于传感器302用来进行距离测量的方法。本示例假定传感器302是TOF传感器,其中,图像传感器308的每个像素414包括以与以上结合图9描述的时序类似的时序来控制的三个测量电容器,其中,使用在时间上相邻的三个交错的触发信号对三个测量像素进行门控。在这样的实施方式中,对于正常操作期间的所有测量序列,光照源306的脉冲902的发射与第一门控信号Q1的触发之间的时序以及三个门控信号之间的时序应当一致。尽管这些时序由定序器304控制,在一些实施方式中定序器经历其自身的诊断测试(如以上结合图5所讨论的),但是由于独立于定序器304的因素(例如,传感器302的老化或图像传感器308本身的故障),或者由于定序器304的未检测到的问题(特别是在不包括定序器诊断的实施方式中),光照源306和图像传感器308可能易受同步错误的影响。
因此,传感器302的一些实施方式可以使用辅助LED 804来执行光照源306和图像传感器308的时序和同步的诊断测试。图10a是示出可以使用由LED 804提供的辅助光照进行的示例诊断测试的时序图。该诊断测试可以通过以下方式来确认正确的时序和同步:在测试序列期间控制辅助LED 804发射辅助脉冲1002(在图10a中由AUX图表示)并且触发门控信号Q1、Q2和QBKG以捕获表示从壳体808(参见图8)的内表面内部反射的、接收到的脉冲816的电压。如以上结合图9所述,对于在测量周期(或对于如本示例中的诊断测试周期)期间发射的给定脉冲或脉冲的脉冲串,与Q1、Q2和QBKG门控信号对应的三个测量电容器将存储具有与在对应的门控信号活跃时接收到的反射脉冲的部分成比例(或者在门控期间未接收到脉冲的部分的情况下与环境光成比例)的幅度的电压。对于当前诊断测试序列,由于每个辅助脉冲的实际传播时间对于每个诊断测试测量而言基本相同(从辅助LED 804到壳体808的内表面然后回到图像传感器308的光路是恒定距离),因此每个测量电容器上存储的电压量是相对于门控序列的开始(即,相对于第一门控信号Q1变高的时间)而言发射辅助脉冲1002的时间的函数。因此,对于辅助脉冲1002的给定发射时间,由Q1、Q2和QBKG捕获的电压是可预测的并且应当保持一致。
为了测试门控信号的内部时序的有效性,诊断测试序列(由定序器304控制)执行多部分测试测量序列,其中通过辅助LED 804在相对于门控序列的第一时间发射一个或更多个辅助脉冲1002,并且门控信号被定序以捕获与该特定辅助脉冲发射时间对应的电压。数据输出部件310将这些电压转换为相应的值,产生分别与门控信号Q1、Q2和QBKG对应的三个值的集合,这些值被存储到存储器322。然后,清除测量电容器上存储的电压,并且在相对于门控序列而言的第二时间发射另一辅助脉冲1002或一组脉冲1002,第二时间相对于第一时间有时延。再次对门控信号定序以捕获与该第二时间对应的电压值。该序列持续设定数目的发射延迟时间和对应的测量,其中,相对于具有每个测量的门控序列,辅助脉冲1002的发射时间被进一步延迟。以这种方式,发射的辅助脉冲1002利用延迟增量从初始发射时间(在图10a中由实线脉冲1002a表示)扫向最终发射时间(由虚线脉冲1002b表示),并且图像传感器308和数据输出部件310针对每个像素和时间延迟捕获每个脉冲发射时间的分别与Q1、Q2和QBKG对应的三个测量电压值V1、V2和VBKG的集合。
如上所述,通过对Q1、Q2和QBKG门控信号的定序而在测量电容器上捕获的测量电压值V1、V2和VBKG对于每个发射延迟时间是可预测的。因此,在已经针对扫描中的所有延迟时间收集了值V1、V2和VBKG的集合之后,分析部件318可以验证每个发射延迟时间的V1、V2和VBKG的值与该延迟时间的期望值对应。可以针对图像传感器308的每个像素414执行该检查。如果对于延迟时间中的一个或更多个发现给定像素的值V1、V2和VBKG中的一个或更多个偏离其对应的期望值(超出限定容差),分析部件318可以指示用户接口部件316生成针对像素的诊断故障或报错消息(例如,“静态像素”、“非功能性像素”、“像素的不正确时序或同步”等)和/或禁用该像素,使得该像素被排除在正常操作期间的后续距离测量序列之外。在一些实施方式中,分析部件还可以响应于确定故障像素的数目超过故障像素的最大可允许数目而指示控制输出部件314发起安全动作。
在一些实施方式中,分析部件318还可以根据V1、V2和VBKG中的每个的捕获值针对每个像素创建时间序列作为发射延迟时间的函数,以产生针对这三个值的特性曲线,可以对特性曲线进行分析以验证图像传感器308的正确的内部时序。图10b示出了像素的电压值V1、V2和VBKG的一组示例特性曲线。当已经针对作为给定诊断序列的一部分的一定范围的发射延迟收集了V1、V2和VBKG的值的集合时,分析部件318可以针对每个像素414、根据发射时间延迟创建V1的捕获值的时间序列以产生像素的特性曲线1004V1。同样,通过根据发射时间延迟分别绘制V2和VBKG的值来获得特性曲线1004V2和1004VBKG。在一些实施方式中,为了产生具有更高分辨率的特性曲线1004以用于分析目的,分析部件318可以对V1、V2和VBKG值的时间序列应用曲线拟合函数以生成将数据描述为高分辨率特性曲线1004的波形。如上所述,由于给定时间延迟的V1、V2和VBKG的值对于每个诊断测试应当是一致且可重复的,因此沿与给定发射延迟时间(例如,在示出的示例中为1分钟)对应的竖直线1006的值应当与其相应特性曲线1004上的V1、V2和VBKG的期望值相交(由沿竖直线1006的圆表示)。
尽管在图10a至图10b中所示的示例描绘了正在生成的三个特性曲线(与在每个像素的三个测量电容器上测量的值对应),但是一些实施方式可以根据每个像素中用来执行距离测量的测量电容器的数目来生成其他数目的特性曲线。
特性曲线1004的其他属性也可以指示图像传感器308的不恰当功能。因此,分析部件318的一些实施方式还可以分析和监测这些属性以获得关于像素或图像传感器健康的指示。图11是带有标记的示例特征波形1004(针对V1、V2或VBKG中的任一者)的图,标记标识了可以被波形分析部件318分析和监测以识别故障或劣化的图像传感器性能的波形1004属性。例如,特征波形1004的峰1104的位置应当与期望的峰位置(其中,针对V1、V2和VBKG曲线单独定义期望位置)对应。波形分析部件318可以识别每个像素的V1、V2和VBKG特性曲线1004中的每个的峰位置1104,并且响应于确定针对像素捕获的特性曲线中的一个或更多个的峰位置1104偏离到限定阈值之外而发出诊断故障或报错消息、启动像素禁用和/或发起安全动作。
该峰的幅度1108还可以指示由于图像传感器308或像素414的老化而引起的性能劣化。因此,分析部件318可以在多个诊断序列上监测该幅度1108,并且响应于针对像素的特性曲线1004中的一个或更多个确定该峰落在的限定容差范围之外而发出诊断故障或报错消息、启动像素禁用和/或发起安全动作。
特性曲线1004的峰的宽度1102也是可预测的值,其在图像传感器308的正确操作期间约等于曝光时间(即,门控信号Q1、Q2或QBKG中任一者的持续时间)与发射脉冲1002的脉冲宽度的和。这样,分析部件318可以通过测量每个特性曲线1004的峰的宽度1102来验证每个像素414的正确曝光时间。图像传感器308的曝光时间可能非常短——持续时间类似于发射的光脉冲1002的持续时间。不正确的曝光时间可能导致环境光对测量结果的影响增大以及潜在的不正确的距离测量。如果分析部件318确定像素的特性曲线1004中的一个或更多个的峰的宽度落在限定的可接受范围之外——这指示不正确的曝光时间,则分析部件318可以指示用户接口部件生成诊断故障或报错消息(例如,“不恰当的曝光时间”),并且也可以禁用或标记像素或者指示控制输出部件314发起安全动作。
在一些实施方式中,分析部件318还可以监测每个特征波形1004的整体形状1112。形状1112的偏离可以指示由于传感器302老化而引起的图像传感器的行为的变化。因此,分析部件318的一些实施方式可以被配置成存储描述特征波形1004的基准形状的基准轮廓数据,并且将该基准轮廓数据与波形1004的测量形状进行比较,作为图像传感器308的诊断测试的一部分。响应于确定测量波形1004的形状偏离由基准轮廓数据限定的基准形状,分析部件318可以指示用户接口部件316生成诊断故障或报错消息,并且也可以禁用或标记像素和/或指示控制输出部件314发起安全动作。
特征波形1004的幅度范围1108还指示图像传感器308的全动态范围。通常,针对特定动态范围对图像传感器308的检测能力评级,可以基于特性曲线1004的幅度1108验证该特定动态范围。响应于确定幅度1108已经降到限定的最小值以下,波形分析部件318可以指示用户接口部件316生成诊断故障或报错消息(例如,“像素的响应度劣化”等),并且也可以禁用像素和/或指示控制输出部件314发起安全动作。
特性曲线上的数据点1110的分散还可以指示由于像素的采样时序误差引起的像素抖动。分析部件318的一些实施方式可以监测特征波形1004上的这种分散,并且如果分散不符合预期的数据点分散,则指示用户接口部件316生成诊断故障或报错消息(例如,“不正确的时序或像素同步”等)。分析部件318也可以禁用像素和/或指示控制输出部件314发起对所识别的抖动的控制动作。
为了确保图像传感器308的适当操作,每个像素414理想地应充当对光的线性响应检测器,从而生成与被限定在像素414的本底噪声与像素414的饱和点之间的入射强度范围内的入射光成比例的输出值。通常,通过工厂校准来校正像素响应的非线性。然而,可能的是,在操作期间像素414可能停止光响应,或者变成“卡在”固定值处。在一些实施方式中,传感器302可以执行诊断测试,该诊断测试通过以限定的方式调整由辅助LED 804生成的辅助光照的幅度以及对响应于反射脉冲816而得到的像素输出值进行比较来验证所有像素414正在正确地响应光刺激。
例如,作为诊断测试的一部分,定序器304可以指示辅助LED 804执行一系列光脉冲发射周期,其中对于每个周期所发射的脉冲的幅度不同。数据输出部件310可以测量响应于所发射的脉冲中被从外壳808反射并在每个像素处被接收的部分而由该像素生成的电压,并且将这些测量的电压转换成在每个周期每个像素的输出值。这针对每个像素产生对应于各个不同的辅助信号幅度的一组像素输出值。分析部件318可以分析这些像素输出值以确保每个像素的输出值落在对应信号振幅的预期像素输出范围内。如果分析部件318基于该分析确定像素中的一个或更多个像素在信号幅度范围内没有表现出显著的输出变化,则假设像素输出对入射光无响应。分析部件318还可以基于该分析来确定输出值在不同的信号振幅上以非预期方式变化。响应于这些确定中的任一者,分析部件318可以指示用户接口部件316生成诊断故障或报错消息(例如,“静态像素”、“无功能像素”等)。分析部件318也可以禁用像素或标记像素,使得该像素被排除在正常操作期间的后续距离测量序列之外。如果故障像素的总数超过所限定的故障像素的最大允许数量,则控制输出部件314还可以响应于该确定而发起安全动作。
尽管为了清楚起见,按照用于每个距离测量序列的单个脉冲的发射和接收描述了上文讨论的示例距离测量和诊断技术,但是传感器302的一些实施方式可以针对每个测量周期发射光脉冲的脉冲串,并且图像传感器308的每个像素414将在执行距离测量或诊断分析之前累积来自多个接收的光脉冲的电输出。例如,对于图9中所示的示例测量序列时序,光照源306可以在给定测量周期内发射脉冲902的多个实例,并且定序器304将针对脉冲串中的每个接收到的反射脉冲904循环门控信号Q1、Q2和QBKG。通过这些多个接收脉冲904在相应的测量电容器中累积针对接收脉冲904的前沿部分906和后沿部分908累积的电压值,然后将这些电压值转换为数字数据值以用于分析。以这种方式进行的多个脉冲的累积可以提高测量精度和SNR。
理想地,具有能量P的N个光脉冲的累积应产生相当于能量为N×P的光信号的像素输出响应。在一些实施方式中,传感器302可以通过使用辅助LED 804生成用于分析线性度和与工厂设置的对应关系的测试累积序列来在诊断周期期间验证每个像素414的正确累积行为。根据示例诊断测试序列,定序器304可以指示LED 804发射具有已知能级的N个脉冲的脉冲串,期望该已知能级在从外壳808的内表面反射之后转换为在图像传感器308处接收到的P能级(允许存在一些能量损耗)。定序器304控制图像传感器的像素阵列的门控信号(或者控制曝光)以累积对应于接收到的脉冲816的测量电压。对于每个像素,数据输出部件310将这些累积电压转换成数据值,并且分析部件318分析这些值以确定累积值是否对应于限定的工厂值,以及确定累积值是否显示出正确的线性累积行为。如果发现累积值相对期望的工厂值的偏离超过限定容差,或者显示出非线性累积行为,则用户接口部件316可以生成适当的诊断故障或报错消息(例如,“不正确或非线性累加行为”),并且传感器302可以禁用像素,使得该像素不参与距离测量分析。
为了实现传感器302的适当操作,图像传感器的像素414应当彼此独立操作。也就是说,每个像素的测量不应该影响到阵列中的任何其他像素也不应受阵列中的任何其他像素影响。根据一个或更多个实施方式,传感器302可以基于散粒噪声的测量和像素之间的噪声源的相关来验证像素独立性。
散粒噪声是存在于过程中的统计噪声源,其可以由具有泊松分布的随机变量来描述。通常,在电学或光学过程中,随机变量对应于离散电荷粒子流或光子的到达时间(检测器处)。泊松分布(其表示特定随机变量的出现概率的分布)的标准偏差等于平均值的平方根。这表明由给定像素414和入射光功率引起的电信号的变化等于由光产生的信号电平。因而,散粒噪声会将可变性分量添加到重复测量中,该可变性分量随着信号电平而增加。
对于两个独立的检测器(像素414),散粒噪声应当完全不相关,因为该噪声是由入射光的空间分离区域生成的。然而,相反地,如果两个像素414不是独立的,例如,由于像素414之间的短路或信号完整性故障,则可以预期与这两个像素414相关联的散粒噪声在某种程度上相关。因此,传感器302的一些实施方式使用这个概念作为对图像传感器308进行诊断测试的基础以识别非独立像素414。通过捕获在单个入射光功率下由辅助LED 804生成的辅助光照信号的独立测量的时间序列,每个像素414将生成可供分析相关的值的时间序列,其中显著的相关指示像素414的非独立性并且因此指示检测能力可能失效。
图12a和图12b是示出基于对散粒噪声的分析来识别相关像素和不相关像素的图。图12a描绘了其中第一像素414a和第二像素414a彼此独立(例如,在两个像素414a与414b之间不存在不适当的短路)的示例场景。根据用于验证两个像素414a和414b的独立性的示例诊断测试,定序器304可以指示辅助LED 804发射具有一致的光功率的脉冲测试光照,并且指示图像传感器308的像素414a和414b对由壳体808的内表面反射并且在图像传感器308处被接收的脉冲背向反射816执行多个时间顺序测量(见图8)。根据该方法,对于每次时间顺序测量,两个像素414a和414b的曝光应当同时发生。也就是说,应当控制像素414a和414b的相应的门控信号以在相同时间点捕获它们的顺序测量,使得可以在共同时间点比较两个像素的测量值。对于每次测量,数据输出部件310将像素414a和414b响应于入射光照而产生的电压转换成数据值。在该诊断测试期间可以捕获任何数量的测试测量,然而更大数量的测试测量可能产生更明确的相关分析结果。
在像素414a和414b完成限定数量的测试测量时,获得两个测量值集合——每个像素414a和414b一个数据集。图1202a和1202b分别根据时间来绘制第一像素414a和第二像素414b获得的数据集,其中每个绘出的数据点1206表示其中一个时间顺序测量的其中一个测量值。由于对于每个数据点而言两个像素414a和414b的曝光同时发生,因此由第一像素414a在给定时间点捕获的每个数据点具有由第二像素414b在同一时间点捕获的对应数据点。可以看出,由于散粒噪声,每个数据集的值会偏离平均值(由曲线图1202a和1202b的水平轴表示)。如果两个像素414a和414b是真正独立的,则在每个像素处由于散粒噪声而发生的偏离应当彼此独立,并且将发现数据集之间不存在相关。
一旦获得了两个数据集,分析部件318就可以对这两个数据集进行相关分析以确定这两个数据集显示出的相关程度是否超过了指示两个像素414a与414b之间的互相关的相关阈值。在这点上,分析部件318可以使用任何适当的技术来确定两个数据集的相关或非相关,包括但不限于皮尔逊相关系数、时间序列的互相关或者缩放相关。散点图1204绘出了第一像素414a的测量值与第二像素414b的测量值。基于散点图1204中数据的大致随机分布,分析部件318可以确定由两个像素414a和414b捕获的数据集之间不存在相关,并且因此验证像素414a与414b之间不存在不适当的互相关。
图12b描绘了像素414a与414b之间存在短路、导致了两个像素414a与414b之间不适当的互相关的情形。在图1202c和1202d中根据时间绘制了在这种情况下在诊断测试序列期间由像素414a和414b捕获的示例测量值,并且散点图1206绘出了第一像素414a的测量值与第二像素414b的测量值。在这种情形下,散点图1206的线性揭示了由第一像素414a测量的值与由第二像素414b测量的值之间的强正相关。分析部件318可以识别两个数据集之间的这种相关,并且基于这种相关识别出两个像素414a与414b之间的不适当的短路(或非独立的其他原因)。响应于识别出这种相关,用户接口部件316可以生成合适的报错消息(例如,“正常信号范围内的像素之间的互相关”、“饱和信号范围内的像素之间的互相关”等)。在一些实施方式中,传感器302还可以禁用或标记被识别为与另一像素不适当地互相关的任何像素,并且将那些像素排除在正常传感器操作期间的后续距离测量序列之外以防止不适当的距离测量。如果故障像素的数量超过所允许的故障像素的、所限定的最大数量,则还可以指示控制输出部件314执行安全动作。
总的来说,传感器302可以针对构成图像传感器308的多对像素414执行这种像素独立性验证。在一些实施方式中,诊断测试序列可以针对图像传感器308的整个像素阵列上的每组成对的两个像素执行该相关分析。替选地,在一些实施方式中,可以假设在相邻像素之间或在处于彼此的限定像素距离内的像素之间发生互相关的可能性较高,并且诊断测试可以仅在相邻像素对之间或在处于彼此的限定像素距离内的像素之间执行该互相关检查。
此外,在一些实施方式中,可以针对辅助光信号的不同功率电平单独执行诊断互相关测试。例如,可以执行上述诊断测试的多次迭代,其中对于每次迭代更改(例如,增加或减小)由辅助LED 804发射的信号的功率电平。然后可以对通过每次迭代生成的数据集单独执行相关分析。以这种方式执行测试可以识别出仅在入射光功率的特定范围内(例如,在正常信号范围或在饱和信号范围内)互相关的像素。这允许用户接口部件316提供关于像素相关的更详细的信息(例如,以标识出在其中观察到相关的信号范围的方式)。
有源光照3D传感器302的实施方式可以结合上述诊断测试和特征中的一个或更多个的任何组合。包括有这些传感器诊断特征可以提高传感器302的可靠性和距离测量准确度,并且降低传感器的危险性失效的概率,从而得到即使仅将单个通道用于有源测量子系统也能满足所需SIL的传感器。在一些实施方式中,本文描述的各种诊断特征可以产生等于或超过90%的传感器的诊断覆盖,以及小于10-7的每小时失效概率。这种诊断覆盖水平可以消除对多通道或硬件冗余的依赖,以便实现使传感器302适合于工业安全应用的足够的SIL安全等级。
图13至图18B示出了根据本主题申请的一个或更多个实施方式的方法论。尽管为了简化说明的目的而将本文中所示的方法论示出和描述为一系列动作,但是应当理解和明白,本主题发明不受动作次序的限制,因为根据本发明,一些动作可以按照与本文所示和所述次序不同的次序发生和/或与本文所示和所述的其他动作同时发生。例如,本领域技术人员将理解和明白,方法论可以替选地被表示为诸如状态图中的一系列相互关联的状态或事件。此外,并非所有示出的动作都是实现根据本发明的方法论所必需的。此外,当不同的实体制定方法论的不同部分时,交互图可以表示根据本主题公开内容的方法论或方法。此外,所公开的示例方法中的两个或更多个可以彼此组合地实现,以完成本文描述的一个或更多个特征或优点。
图13是用于诊断定序器的性能的示例方法论1300,该定序器控制有源光照3D传感器的光照源和图像传感器的同步操作。该3D传感器可以是例如TOF传感器或另一类型的3D传感器。在一些场景中,3D传感器可以用于检测受监测的工业区域内的人或物体的入侵以作为工业安全应用的一部分。
首先,在1302处,由在第一现场可编程门阵列(FPGA)上实现的主定序器根据限定的时序来控制光照触发信号和传感器触发信号。光照触发信号可以控制3D传感器的光照源对脉冲光信号的发射,并且传感器触发信号可以控制3D传感器的图像传感器的曝光。图像传感器可以包括像素阵列,该像素阵列响应于传感器触发信号而捕获入射到图像传感器上的、接收到的反射光脉冲的测量。定序器以同步方式控制光照触发信号和传感器触发信号以确保对接收到的光信号的适当测量。
在1304处,由在第二FPGA上实现的影子定序器根据用于控制主定序器的触发信号的相同的限定时序来控制影子光照触发信号和影子传感器触发信号。影子光照触发信号与光照触发信号相位对准,并且影子传感器触发信号与传感器触发信号相位对准。影子触发信号用作比较的基础,以识别出主触发信号的时序偏离限定时序从而导致照明与曝光之间不适当的同步。
在1306处,在连续性或周期性基础上,将光照触发信号与影子光照触发信号进行比较,并且将传感器触发信号与影子传感器触发信号进行比较。可以将触发信号的一个或更多个不同属性与影子触发信号的与其对应的属性进行比较,这些属性包括但不限于信号时序、脉冲宽度、转换速率、过冲、下冲和稳定性。在1308处,确定在步骤1306处监测的任一触发信号的一个或更多个特性是否相对其对应影子触发信号的其对应属性偏离超过限定容差。如果不存在触发信号与其对应影子信号之间的偏离(步骤1308处为否),则该方法论返回至步骤1302并且重复步骤1302至1308。如果识别出所监测的属性中的一个或更多个属性的偏离(步骤1308处为是),则该方法论前进至步骤1310,在步骤1310处3D传感器生成诊断故障或报错消息并且发起安全动作。安全动作可以是例如向安全继电器发出断开危险机器的电源的信号、发出将危险机器切换到安全操作模式的信号、或者其他此类安全动作。
图14是用于验证正在使用正确的电流脉冲来驱动有源光照3D传感器的光照源的示例方法论1400。首先,在1402处,驱动电流脉冲通过一个或更多个光照源(例如,激光源、LED、VCSEL等),其中电流脉冲驱动由光照源发射的光输出脉冲。在一些实施方式中,电流脉冲可以由电流驱动芯片驱动,该电流驱动芯片调控出具有精确限定的幅度、形状和时序的短电流脉冲。
在1404处,连续地或周期性地比较电流脉冲的幅度、时序和形状与相应的容差范围,以确保电流脉冲符合设计规范。例如,可以由并入模拟电流驱动电路中的电流感测系统来执行该电流脉冲监测。在1406处,确定电流脉冲的幅度、时序或形状中的任何特性是否偏离其相应的容差范围。如果这些电流脉冲特性都没有偏离其容差范围(步骤1406处为否),则该方法论返回至步骤1402并且重复步骤1402至1406。如果发现其中任何电流脉冲属性偏离其容差范围(步骤1406处为是),则方法论前进至步骤1408,在步骤1408处由3D传感器生成诊断故障或消息,并且指示3D传感器发起安全动作。
图15是用于检测有源光照3D传感器的输入或输出光学窗口上污染的存在的示例方法论1500。首先,在1502处,以相对于光学窗口的表面的掠射角朝向该表面发射光。例如,可以通过安装在光学窗口一侧附近的光照源来发射光。在1504处,测量这些光中被从光学窗口的表面反射并且在安装在光学窗口附近的检测器处被接收的一部分光的幅度。检测器可以安装在光学窗口的与光照源相对的一侧附近,并且被定向成面向光照源,使得接收到从光学窗口的表面反射的可测量的光量。
在1506处,确定所接收的光的测量幅度是否偏离针对两个被测量属性中的每个限定的容差范围。限定的容差范围指示没有污染物(例如,污垢颗粒、灰尘、油等)和损坏的干净光学窗口。如果没有检测到偏离(步骤1506处为否),则该方法论返回至步骤1502并且重复步骤1502至1506。或者,如果由于光学窗口表面上的污染物或损坏使投射光散射从而导致发现任一幅度的偏离(步骤1506处为是),则该方法论前进至步骤1508,在步骤1508中传感器生成报错消息并且发起安全动作。
图16是用于诊断性地验证有源光照3D传感器的图像传感器进行正确飞行时间距离测量的示例方法论1600。首先,在1502处,在诊断测试期间,由安装在3D传感器的图像传感器附近的辅助LED发射光脉冲。在一些实施方式中,LED可以安装在与图像传感器相同的基板、PCB或芯片上,并且被引导朝向3D传感器的输入光学器件。在1604处,根据相对于在步骤1602处发射的光学脉冲的发射的限定时序来控制图像传感器的曝光,以测量这些光脉冲中被从3D传感器的内表面反射并在图像传感器处被接收的一部分光脉冲。光脉冲的发射与图像传感器的曝光之间的限定时序被选择为与通过模拟对应于模拟距离的特定脉冲传播时间而得到的模拟测量距离对应。可以根据该时序来使构成图像传感器的像素阵列的每个像素曝光。
在1606处,基于在步骤1604处执行的测量,针对图像传感器的像素计算发射脉冲的模拟传播时间。在1608处,将在步骤1606处获得的传播时间转换成测量距离。在1610处,确定在步骤1608处获得的测量距离是否等于与发射和曝光时序对应的预期的模拟测量距离。如果测量距离在限定容差内不等于预期的模拟测量距离(步骤1610处为否),表示像素没有准确地测量传播时间和距离,则该方法论前进至步骤1612,在步骤1612中3D传感器生成诊断故障或报错消息,并且禁用像素以使得该像素被排除在后续距离测量序列之外。在一些实施方式中,如果传感器正被用于工业安全监测应用中,则该传感器还可以在步骤1612处发起安全动作。如果发现测量距离在预期距离的限定容差内(步骤1610处为是),则假定像素正在正确地测量并且该方法论结束。
图17a是用于验证图像传感器的像素的正确时序和/或光响应的示例方法论1700a的第一部分。首先,在1702处,设置整数变量N等于1。变量N用作计数器以用于追踪要对该像素执行的诊断测试周期的迭代。在1704处,将脉冲发射时间设置为初始值。该脉冲发射时间表示相对于图像传感器的曝光序列的发起由辅助LED(或另一类型的辅助光照源)进行的测试脉冲发射的时间。
在1706处,对于诊断测试周期的第一次迭代,由辅助LED发射光脉冲,该辅助LED安装在图像传感器附近并且具有与以上结合方法论1600的步骤1602描述(并且在图8中示出)的配置类似的配置。对于该第一次迭代,根据在步骤1704处设置的脉冲发射时间来发射这些光脉冲。在1708处,对于每个发射脉冲,将被测试的像素曝光达限定的持续时间。相对于步骤1706处的脉冲发射的曝光时序是脉冲发射时间的函数。在步骤1708处,像素的每次曝光使得该像素捕获与每个光脉冲中被从3D传感器的外壳的内表面反射并且在图像传感器的像素处被接收的一部分光脉冲成比例的测量值。该测量值表示在曝光持续时间期间在像素处接收到的前沿脉冲部分或后沿脉冲部分,并且该值的大小部分地是相对于曝光开始的脉冲发射时间的函数(例如参见图9)。
在一些实施方式中,步骤1706可以发射成脉冲串的脉冲,而步骤1708可以执行相当数目的像素曝光(每个脉冲发射与其对应像素曝光之间的时序保持一致——如脉冲发射时间所限定的那样),从而允许像素累积具有足够高的SNR的电压测量(例如,在测量电容器中),以用于到所测量的脉冲部分值的准确转换。此外,尽管图17a描绘了在像素曝光发起之前发生光脉冲的发射,但是在诊断测试周期的一些迭代中,根据当前迭代的脉冲发射时间,步骤1708的像素曝光可以在步骤1706的光脉冲的发射之前发起(例如,见图10a)。在1710处,将测量值与脉冲发射时间相关联地存储。
在1712处,确定迭代计数器N是否等于要针对当前诊断测试执行的迭代的总数NTOTAL。如果N不等于NTOTAL(步骤1712处为否),则方法论前进至步骤1714,在步骤1714中,使脉冲发射时间增加延迟量。在步骤1716处使迭代计数器N递增,并且该方法论使用经更新的、延迟的脉冲发射时间重复步骤1706和步骤1708。由于相对于前一迭代而言,针对该后一迭代延迟了脉冲发射时间,因此像素将捕获相对于前一迭代而言较大或较小的一部分接收脉冲(取决于脉冲发射时间),并且因此在步骤1708处捕获的测量值将不同于前一迭代的测量值。
步骤1706至1716重复进行NTOTAL次迭代,其中针对每次迭代都会延迟脉冲发射时间,使得发射的脉冲在迭代中以延迟增量从初始发射时间(针对第一次迭代)扫描至最终发射时间(针对最后一次迭代),如以上结合图10a所述。当所有迭代都已经完成时(步骤1712处为是),该方法论前进至图17b中所示的第二部分1700b。
在完成NTOTAL次迭代时,NTOTAL个测量值已与引起这些值的相应脉冲发射时间相关联地存储。在1718处,使用在步骤1710处存储的测量值、根据获得相应测量值的脉冲发射时间来创建时间序列。在1720处,对NTOTAL个测量值的时间序列应用曲线拟合函数以产生表示像素数据值的特性曲线的高分辨率波形。特性曲线的属性表示像素的光响应、时序和动态范围(如以上结合图10b和图11所述)。
在1722处,将在步骤1720处获得的特性曲线的一个或更多个属性与该一个或更多个属性的期望值进行比较。例如,可以将沿着特性曲线的特定点处的波形数据的值与指示适当时序和光响应的那些点的期望值进行比较。可以与预期特性值进行比较的其他曲线特性可以包括但不限于特性曲线的幅度、曲线的峰的位置、峰的宽度以及曲线的整体形状。
在1724处,确定特性曲线的一个或更多个属性是否相对其预期值偏离超过限定容差。如果属性中的一个或更多个偏离到其限定容差之外(步骤1726处为是),则该方法论前进至步骤1726,在步骤1726中,3D传感器生成诊断故障或报错消息,并且禁用或标记该像素以将该像素排除在3D传感器的正常操作期间的后续距离测量序列之外。在一些实施方式中,传感器还可以在步骤1726处发起安全动作。安全动作可以包括生成使危险机器安全的输出信号(例如,通过断开机器的电源或将机器置于安全操作模式)。如果曲线的属性在其限定容差之内(步骤1726处为否),则该方法论结束且不生成报错消息或禁用像素。通常,可以针对构成图像传感器的像素阵列中的每个像素执行图17a和图17b的方法论,从而确保每个像素以正确的时序和响应进行操作。
尽管图17a和图17b中描绘的方法论仅考虑了单个特性曲线以进行分析,但是在每个像素包括多个测量电容器的一些实施方式中,可以使用上述技术针对每个测量电容器生成特性曲线,并且可以针对适当的时序和光响应来评估每个曲线的属性。
图18a是用于验证在有源光照3D传感器中使用的图像传感器中的像素间独立性的示例方法论1800a的第一部分。首先,在1802处,设置迭代计数器变量N等于1。在1804处,由安装在图像传感器附近的辅助LED发射光脉冲。辅助LED和图像传感器可以具有与图8描绘的架构类似的架构。在1806处,图像传感器的像素阵列的第一像素和第二像素同时曝光以捕获被从3D传感器壳体的内表面反射并在第一像素和第二像素处被接收的光脉冲的测量值。测量值表示在像素曝光期间在各个像素处接收的光量。第一像素和第二像素的曝光可以包括例如同时触发两个像素的门控信号,以捕获与在像素处接收的光量成比例的像素的测量电容器中的电压。在1808处,将由第一像素和第二像素捕获的测量值与像素曝光的时间或索引相关联地存储。
在1810处,确定迭代计数器N是否等于在诊断测试序列期间要捕获的曝光总数NTOTAL。如果N不等于NTOTAL(步骤1810处为否),则方法论返回至步骤1804,并且重复步骤1804至1810以捕获第一像素和第二像素的另一对测量值。重复步骤1804至1810直至进行NTOTAL次曝光,从而产生分别对应于第一像素和第二像素的两个含NTOTAL个时间顺序数据值的集合。由于在诊断测试序列期间发射的光脉冲的功率电平保持一致,所以这两个含NTOTAL个数据值的集合中的每个集合将具有与在像素处接收到的反射光量成比例的平均值,但是将会由于散粒噪声而偏离在该平均值周围。
当已经进行第一像素和第二像素的NTOTAL次曝光时(步骤1810处为是),该方法论前进至图18b中所示的第二部分1800b。在1814处,对分别由第一像素和第二像素捕获的两个含NTOTAL个数据值的集合执行相关分析。3D传感器可以应用任何合适的技术来确定两个数据集之间是否存在相关(例如,皮尔逊相关系数、时间序列的互相关、缩放相关等)。在1816处,基于在步骤1814处执行的相关分析,确定两个数据集之间是否存在相关。对两个数据集之间的相关的检测指出了这两个像素的非独立性或互相关。如果在两个数据集之间发现相关(步骤1816处为是),则该方法论前进至步骤1818,在步骤1818中,3D传感器生成诊断故障或报错消息并且禁用这两个像素。在一些实施方式中,步骤1818还可以发起安全动作。安全动作还可以涉及生成将危险机器置于安全状态的控制信号。
本文描述的实施方式、系统和部件以及其中可以执行本申请文件中阐述的各个方面的工业控制系统和工业自动化环境可以包括能够在网络上进行交互的光学传感器、计算机或网络部件,例如服务器、客户端、可编程逻辑控制器(PLC)、自动化控制器、通信模块、移动计算机、无线部件、控制部件等。计算机和服务器包括被配置成执行存储在介质中的指令的一个或更多个处理器,该处理器为采用电信号执行逻辑操作的电子集成电路,该介质为例如随机存取存储器(RAM)、只读存储器(ROM)、硬盘驱动以及可移除存储器装置,可移除存储器装置可以包括记忆棒、存储卡、闪存驱动器、外部硬盘驱动器等。
类似地,本文使用的术语PLC或自动化控制器可以包括可以跨多个部件、系统和/或网络共享的功能。作为示例,一个或更多个PLC或自动化控制器可以在网络上与各种网络装置通信和协作。这可以基本上包括经由网络(包括控制网络、自动化网络和/或公共网络)通信的任何类型的控制、通信模块、计算机、输入/输出(I/O)装置、传感器、致动器、仪器以及人机接口(HMI)。PLC或自动化控制器还可以与各种其他装置通信以及控制各种其他装置,其他装置例如标准或安全评级的I/O模块,包括模拟、数字、编程/智能I/O模块、其他可编程控制器、通信模块、传感器、致动器、输出装置等。
网络可以包括诸如因特网、内联网的公共网络和自动化网络例如通用工业协议(CIP)网络,包括设备网(DeviceNet)、控制网(ControlNet)和以太网/IP。其他网络包括以太网、DH/DH+、远程I/O、现场总线(Fieldbus)、Modbus、过程现场总线(Profibus)、控制器局域网(CAN)、无线网络、串行协议、近场通信(NFC)、蓝牙等。此外,网络装置可以包括各种可能(硬件和/或软件部件)。这些包括各种部件,例如具有虚拟局域网(VLAN)能力的交换机、LAN、WAN、代理、网关、路由器、防火墙、虚拟专用网(VPN)装置、服务器、客户端、计算机、配置工具、监测工具和/或其他装置。
为了提供针对所公开的主题的各个方面的上下文,图19和图20以及以下讨论旨在提供对其中可以实现所公开的主题的各个方面的合适环境的简要、概括描述。
参照图19,用于实现前述主题的各个方面的示例环境1910包括计算机1912。计算机1912包括处理单元1914、系统存储器1916、以及系统总线1918。系统总线1918将包括但不限于系统存储器1916的系统部件耦接至处理单元1914。处理单元1914可以是各种可用的处理器中的任一种。多核微处理器和其他多处理器架构也可以用作处理单元1914。
系统总线1918可以是若干类型的总线结构中的任一种,包括存储器总线或存储器控制器、外围总线或外部总线、和/或使用任何各种可用的总线架构的局部总线,可用总线架构包括但不限于8位总线、工业标准架构(ISA)、微通道架构(MSA)、扩展型ISA(EISA)、智能化驱动电子接口(IDE)、VESA局部总线(VLB)、外围部件互连(PCI)、通用串行总线(USB)、高级图形端口(AGP)、个人计算机存储卡国际协会总线(PCMCIA)以及小型计算机系统接口(SCSI)。
系统存储器1916包括易失性存储器1920和非易失性存储器1922。在非易失性存储器1922中存储有基本输入/输出系统(BIOS),其包含例如在启动期间在计算机1912内的元件之间传送信息的基本例程。作为说明而非限制,非易失性存储器1922可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除PROM(EEPROM)或闪存。易失性存储器1920包括随机存取存储器(RAM),其充当外部高速缓冲存储器。作为说明而非限制,RAM有多种形式,例如同步RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)以及直接型Rambus RAM(DRRAM)。
计算机1912还包括可移除/不可移除、易失性/非易失性计算机存储介质。图19示出了例如盘存储装置1924。盘存储装置1924包括但不限于像磁盘驱动、软盘驱动、带驱动、Jaz驱动、Zip驱动、LS-100驱动、闪存卡、或记忆棒的装置。此外,盘存储装置1924可以单独地或与其他存储介质结合地包括存储介质,其他存储介质包括但不限于光盘驱动,例如光盘ROM装置(CD-ROM)、CD可记录驱动(CD-R驱动)、CD可重写驱动(CD-RW驱动)或数字通用盘ROM驱动(DVD-ROM)。为了有助于盘存储装置1924连接至系统总线1918,通常使用例如接口1926的可移除或不可移除接口。
要认识到的是,图19描述了在用户与在合适的操作环境1910中描述的基本计算机资源之间充当中介的软件。这种软件包括操作系统1928。操作系统1928可以存储在盘存储装置1924上,用于控制和分配计算机1912的资源。系统应用1930利用操作系统1928通过存储在系统存储器1916中或盘存储装置1924上的程序模块1932和程序数据1934对资源的管理。应当理解,本主题公开内容的一个或更多个实施方式可以用各种操作系统或操作系统的组合来实现。
用户通过输入装置1936向计算机1912输入命令或信息。输入装置1936包括但不限于定点装置如鼠标、轨迹球、手写笔、触摸板、键盘、麦克风、操纵杆、游戏垫、圆盘式卫星天线、扫描仪、TV调谐卡、数码相机、数码摄像机、网络相机等。这些和其他输入装置经由接口端口1938通过系统总线1918连接至处理单元1914。接口端口1938包括例如串行端口、并行端口、游戏端口以及通用串行总线(USB)。输出装置1940使用与输入装置1936相同类型的一些端口。因此,例如,可以使用USB端口向计算机1912提供输入以及从计算机1912向输出装置1940输出信息。提供输出适配器1942以表明存在一些如监测器、扬声器和打印机的输出装置1940,尤其需要特殊适配器的其他输出装置1940。作为说明而非限制,输出适配器1942包括提供输出装置1940与系统总线1918之间的连接手段的显卡和声卡。应当注意的是,其他装置和/或装置系统提供输入能力和输出能力两者,例如远程计算机1944。
计算机1912可以在使用到一个或更多个远程计算机例如远程计算机1944的逻辑连接的联网环境中操作。远程计算机1944可以是个人计算机、服务器、路由器、网络PC、工作站、基于微处理器的器具、对等装置或其他公共网络节点等,并且通常包括关于计算机1912描述的许多或所有元件。为了简洁起见,仅将存储器存储装置1946与远程计算机1944一起示出。远程计算机1944通过网络接口1948逻辑地连接至计算机1912,并且然后经由通信连接1950物理地连接。网络接口1948包含例如局域网(LAN)和广域网(WAN)的通信网络。LAN技术包括光纤分布式数据接口(FDDI)、铜线分布式数据接口(CDDI)、以太网/IEEE 802.3、令牌环/IEEE 802.5等。WAN技术包括但不限于点对点链路、电路交换网络如综合业务数字网(ISDN)及其变型、分组交换网络、以及数字订户线路(DSL)。网络接口1948还可以包含近场通信(NFC)或蓝牙通信。
通信连接1950指用于将网络接口1948连接至系统总线1918的硬件/软件。虽然为了清楚说明,而将通信连接1950示为处于计算机1912内部,但是其也可以在计算机1912外部。连接至网络接口1948所需的硬件/软件包括(仅为示例性目的)内部和外部技术,例如调制解调器(包括常规电话级调制解调器、线缆调制解调器和DSL调制解调器)、ISDN适配器和以太网卡。
图20是所公开的主题可以与之交互的样本计算环境2000的示意框图。样本计算环境2000包括一个或更多个客户端2002。该客户端2002可以是硬件和/或软件(例如,线程、进程、计算装置)。样本计算环境2000还包括一个或更多个服务器2004。该服务器2004也可以是硬件和/或软件(例如,线程、进程、计算装置)。例如,服务器2004可以容纳用以通过采用如本文所述的一个或更多个实施方式来执行变换的线程。客户端2002与服务器1704之间的一种可能的通信可以是适于在两个或更多个计算机进程之间传输的数据分组的形式。样本计算环境2000包括可以用来促进客户端2002与服务器2004之间的通信的通信框架2006。客户端2002操作地连接至可以用于将信息本地存储至客户端2002的一个或更多个客户端数据库2008。类似地,服务器2004操作地连接至可以用于将信息本地存储至服务器2004的一个或更多个服务器数据库2010。
以上所描述的包括该创新内容的示例。当然,不可能为了描述所公开的主题而描述部件或方法论的每个可想到的组合,但是本领域的普通技术人员可以认识到,该创新内容的许多进一步的组合和置换是可能的。因此,所公开的主题旨在涵盖落入所附权利要求的精神和范围内的所有此类变更、修改和变型。
特别地,关于由上述部件、装置、电路、系统等执行的各种功能,除非另外指出,否则用于描述这些部件的术语(包括对“手段”的引用)旨在对应于执行所述部件的指定功能的任何部件(例如,功能等效),即使该部件结构上并不等同于执行本文中示出的所公开的主题的示例性方面中的功能的所公开的结构。在这方面,还将认识到,所公开的主题包括系统以及具有用于执行所公开的主题的各种方法的动作和/或事件的计算机可执行指令的计算机可读介质。
此外,虽然可能仅针对若干实现方式中的一个实现方式公开了所公开的主题的特定特征,但是这样的特征可以与其他实现方式的一个或更多个其他特征组合从而可以变得对于任何给定或特定应用是理想且有利的。此外,就在详细说明或权利要求中使用术语“包括有”及其变型而言,这些术语旨在以类似于术语“包括”的方式为包容性的。
在本申请中,使用词语“示例性”来表示用作示例、实例或说明。本文中被描述为“示例性”的任何方面或设计不一定被解释为比其他方面或设计优选或有利。而是说,词语“示例性”的使用旨在以具体方式呈现构思。
可以使用标准的编程和/或工程技术将本文描述的各个方面或特征实现为方法、设备或制品。如本文所使用的术语“制品”旨在涵盖可以从任何计算机可读装置、载体或介质访问的计算机程序。例如,计算机可读介质可以包括但不限于磁存储装置(例如,硬盘、软盘、磁条……)、光盘[例如,致密盘(CD)、数字通用盘(DVD)……]、智能卡和闪存装置(例如,卡、棒、保密碟……)。

Claims (24)

1.一种有源光照三维(3D)传感器系统,包括:
光照源,其被配置成向监测区域发射光脉冲;
图像传感器,其包括像素阵列,其中,所述图像传感器被配置成测量在所述像素阵列的像素处接收的光量并且生成与所述光量成比例的电荷;
数据输出部件,其被配置成将所述电荷转换为表示在所述像素处接收的光量的一个或更多个数字数据值;
距离确定部件,其被配置成基于对所述一个或更多个数字数据值的分析来确定被监测场景内的表面的距离;以及
辅助光照源,其安装在所述3D传感器系统的壳体内,并且被定向成朝向所述壳体的内表面发射辅助光脉冲;
其中,
所述图像传感器还被配置成在诊断测试序列期间对作为反射辅助光脉冲被从所述壳体的所述内表面反射并且在所述像素处被接收的所述辅助光脉冲的子集执行测量,并且
所述系统还包括分析部件,所述分析部件被配置成基于所述测量生成针对所述像素的诊断数据,所述诊断数据指示所述系统的故障。
2.根据权利要求1所述的有源光照3D传感器系统,还包括:
定序器,其被配置成:生成辅助光照触发信号和传感器触发信号,所述辅助光照触发信号控制所述辅助光照源对所述辅助光脉冲的发射,所述传感器触发信号控制所述图像传感器的所述像素的曝光;以及
用户接口部件,其被配置成呈现针对所述系统的诊断数据,
其中,
所述定序器被配置成控制所述辅助光脉冲的发射与所述像素的曝光之间的时序,以模拟与限定距离对应的脉冲传播时间,
所述距离确定部件被配置成基于对所述辅助光脉冲的所述子集的所述测量来计算模拟距离,并且
所述分析部件被配置成响应于确定所述模拟距离不在所述限定距离的限定容差内而禁用所述像素并且指示所述用户接口部件生成报错消息。
3.根据权利要求2所述的有源光照3D传感器系统,其中,
所述定序器被配置成在所述诊断测试序列期间执行所述辅助光脉冲的投射以及所述像素的曝光的多次迭代,
所述定序器还被配置成对于所述多次迭代中的第一次迭代之后的每次迭代,向相对于所述像素的曝光的所述辅助光脉冲的发射时间增加延迟,
所述数据输出部件基于在各个迭代期间由所述像素获取的对所述辅助光脉冲的所述子集的测量来生成与所述多次迭代分别对应的多个数字测试数据值,
所述分析部件被配置成:
根据所述发射相对于所述曝光的时间创建所述多个数字测试数据值的时间序列,
基于对所述多个数字测试数据值的时间序列应用曲线拟合函数来生成针对所述像素的波形数据,以及
基于对所述波形数据的分析来生成针对所述像素的所述诊断数据。
4.根据权利要求3所述的有源光照3D传感器系统,其中,所述分析部件被配置成:
将与所述辅助光脉冲的发射与所述像素的曝光之间的各个时序对应的波形数据的值与所述各个时序的波形数据的期望值进行比较;以及
响应于确定所述波形数据的值中的一个或更多个值相对其对应的期望值的偏离超过限定容差,禁用所述像素并且指示所述用户接口部件生成报错消息。
5.根据权利要求3所述的有源光照3D传感器系统,其中,所述分析部件被配置成:
识别由所述波形数据限定的特征波形的属性,其中,所述属性是下述至少之一:所述特征波形的峰位置、所述特征波形的峰宽度、所述特征波形的幅度、或者所述特征波形的形状;
将所述属性与针对所述像素限定的所述属性的期望值进行比较,以及
响应于确定所述属性相对所述期望值的偏离超过限定容差而禁用所述像素并且指示所述用户接口部件生成报错消息。
6.根据权利要求1所述的有源光照3D传感器系统,其中,
所述像素是第一像素,
对所述辅助脉冲的所述子集的测量包括对所述辅助光脉冲的所述子集的第一系列时间顺序测量,
所述数据输出部件被配置成将所述第一系列时间顺序测量的结果转换为第一数据值集合,
所述图像传感器还被配置成:在所述诊断测试序列期间对被所述壳体的所述内表面反射并且在所述像素阵列的第二像素处被接收的所述辅助光脉冲的另一子集执行第二系列时间顺序测量,
所述第二系列时间顺序测量与所述第一系列时间顺序测量同时发生,
所述数据输出部件被配置成将所述第二系列时间顺序测量的结果转换为第二数据值集合,并且
所述分析部件被配置成对所述第一数据值集合和所述第二数据值集合执行相关分析,并且响应于基于所述相关分析的结果确定在所述第一数据值集合与所述第二数据值集合之间存在相关而禁用所述第一像素和所述第二像素,并且指示所述用户接口部件生成报错消息。
7.根据权利要求1所述的有源光照3D传感器系统,还包括:
定序器,其被配置成生成光照触发信号和传感器触发信号,所述光照触发信号控制所述光照源对所述光脉冲的发射,所述传感器触发信号控制所述图像传感器的所述像素的曝光;
影子定序器,其被配置成生成影子光照触发信号和影子传感器触发信号,所述影子光照触发信号具有与所述光照触发信号相同的时序和相位,所述影子传感器触发信号具有与所述传感器触发信号相同的时序和相位;以及
监测部件,其被配置成监测所述光照触发信号与所述影子光照触发信号之间的偏离以及监测所述传感器触发信号与所述影子传感器触发信号之间的偏离。
8.根据权利要求1所述的有源光照3D传感器系统,还包括:
输出光学器件,其被配置成对由所述光照源发射的光进行整形;
输入光学器件,其被配置成将来自所述监测区域的接收到的光聚焦到所述图像传感器上;
至少一个诊断光照源,其被定向成以相对于所述传感器系统的所述输入光学器件、所述输出光学器件或保护窗口中至少一者的外表面的掠射角向所述外表面各处发射光;
至少一个检测器,其被定向成接收所述光中被所述外表面反射的子集,
其中,所述至少一个检测器被配置成监测所述光的所述子集的幅度或在所述检测器处接收到所述光的所述子集的方向中的至少一者,并且响应于确定所述幅度或所述方向偏离限定容差而指示所述用户接口部件生成报错消息。
9.根据权利要求8所述的有源光照3D传感器系统,其中,所述至少一个检测器包括多个检测器,并且所述多个检测器基于所述多个检测器中的两个检测器之间的差异来确定所述幅度或所述方向中的至少一者。
10.根据权利要求1所述的有源光照3D传感器系统,还包括电流感测系统,所述电流感测系统被配置成监测被驱动通过所述光照源的电流脉冲的幅度、时序或形状中的至少一者,并且响应于确定所述幅度、所述时序或所述形状中的至少一者偏离限定容差而指示所述用户接口部件生成报错消息。
11.根据权利要求1所述的有源光照3D传感器系统,还包括:
输出光学器件,其被配置成对由所述光照源发射的光进行整形;
监测光电二极管,其被配置成测量由所述光照源发射并且被所述输出光学器件的表面反射的背向反射光的平均光功率、平均光脉冲形状或平均光脉冲幅度中的至少一者;以及
驱动芯片,其被配置成基于所述平均光功率、所述平均光脉冲形状或所述平均光脉冲幅度中的至少一者来调节驱动所述光照源的电流脉冲的形状。
12.根据权利要求1所述的有源光照3D传感器系统,其中,所述诊断数据产生所述系统的至少90%的诊断覆盖。
13.根据权利要求1所述的有源光照3D传感器系统,其中,所述系统具有小于10-7的每小时危险故障概率。
14.一种用于对有源光照三维(3D)传感器执行诊断的方法,包括:
由安装在所述3D传感器的壳体内的辅助光照源朝向所述壳体的内表面发射辅助光脉冲;
由所述3D传感器的图像传感器测量作为反射辅助光脉冲被从所述内表面反射并且在所述图像传感器的像素处被接收的所述辅助光脉冲的子集,以产生测试测量数据;以及
由所述3D图像传感器的分析部件基于对所述测试测量数据的分析来生成针对所述像素的诊断数据,其中,所述诊断数据指示所述3D传感器的故障。
15.根据权利要求14所述的方法,其中,
所述测量包括设置所述辅助光脉冲的每个的发射与所述像素的曝光之间的时间以模拟与所述3D传感器的视场内的测量对象的限定距离对应的脉冲传播时间,并且
生成所述诊断数据包括:
基于所述辅助光脉冲的所述子集的测量来计算模拟距离,以及
响应于确定所述模拟距离不在所述限定距离的限定容差范围内而禁用所述像素并且生成报错消息。
16.根据权利要求15所述的方法,其中,
所述测量还包括:
执行所述发射和所述测量的多次迭代,其中,对于所述多次迭代中的第一次迭代之后的每次迭代,向相对于所述测量的时间的所述发射的时间增加延迟,以及
基于由所述像素在各个迭代期间获取的所述辅助光脉冲的所述子集的测量来生成分别与所述多次迭代对应的多个测试测量数据值;以及
生成所述诊断数据,包括:
根据相对于所述测量的时间的所述发射的时间来生成所述多个测试测量数据值的时间序列,以产生定序数据,
对所述定序数据应用曲线拟合函数以产生所述像素的波形数据,以及
基于对所述波形数据的分析来生成针对所述像素的诊断数据。
17.根据权利要求16所述的方法,其中,生成所述诊断数据还包括:
将与相对于所述测量的时间的所述发射的各个时间对应的波形数据的值与针对所述各个时间的波形数据的期望值进行比较,以及
响应于确定所述波形数据的值中的一个或更多个值相对其对应的期望值的偏离超过限定容差而禁用所述像素并且生成报错消息。
18.根据权利要求16所述的方法,其中,生成所述诊断数据还包括:
将由所述波形数据限定的特征波形的属性与所述属性的针对所述像素限定的期望值进行比较,其中,所述属性是下述至少之一:所述特征波形的峰位置、峰宽度、所述特征波形的幅度、或者所述特征波形的形状,以及
响应于确定所述属性相对所述期望值的偏离超过限定容差而禁用或标记所述像素并且生成报错消息。
19.根据权利要求14所述的方法,其中,
所述像素是第一像素,
测量所述辅助光脉冲的所述子集包括执行对所述辅助光脉冲的所述子集的第一系列时间顺序测量以产生针对所述第一像素的第一数据值集合,并且
所述方法还包括:
对被所述壳体的所述内表面反射并且在所述图像传感器的第二像素处被接收的所述辅助光脉冲的另一子集执行第二系列时间顺序测量,以产生针对所述第二像素的第二数据值集合,其中,所述第二系列时间顺序测量与所述第一系列时间顺序测量同时发生,
对所述第一数据值集合和所述第二数据集合执行相关分析,以及
响应于基于所述相关分析的结果确定在所述第一数据值集合与所述第二数据值集合之间存在相关而禁用或标记所述第一像素和所述第二像素并且生成报错消息。
20.根据权利要求14所述的方法,还包括:
由所述3D传感器的定序器生成光照触发信号和传感器触发信号,所述光照触发信号控制所述3D传感器的光照源对光脉冲的发射,所述传感器触发信号控制所述图像传感器的所述像素的曝光;
由所述3D传感器的影子定序器生成影子光照触发信号和影子传感器触发信号,所述影子光照触发信号具有与所述光照触发信号相同的时序,所述影子传感器触发信号具有与所述传感器触发信号相同的时序;
由所述3D传感器的监测部件监测所述光照触发信号与所述影子光照触发信号之间的偏离;
由所述监测部件监测所述传感器触发信号与所述影子传感器触发信号之间的偏离;以及
响应于检测到所述传感器触发信号与所述影子传感器触发信号之间的偏离,由所述监测部件生成报错信号。
21.根据权利要求14所述的方法,还包括:
由所述诊断光照源以相对于所述3D传感器的输入光学器件、所述3D传感器的输出光学器件或所述3D传感器的保护窗口中至少一者的外表面的掠射角向所述外表面各处发射光;
由检测器接收所述光中被所述外表面反射的子集;
由所述检测器监测所述光的所述子集的幅度或在所述检测器处接收到所述光的所述子集的方向中的至少一者;以及
响应于基于所述监测确定所述幅度或所述方向中至少一者偏离限定容差而生成报错消息。
22.根据权利要求14所述的方法,还包括:
监测被驱动通过所述3D传感器的光照源的电流脉冲的幅度、时序或形状中的至少一者;以及
响应于确定所述幅度、所述时序或所述形状中的至少一者偏离限定容差而生成报错消息。
23.一种其上存储有指令的非暂态计算机可读介质,所述指令响应于执行而使包括处理器的有源光照三维(3D)传感器执行操作,所述操作包括:
控制朝向所述壳体的内表面的辅助光脉冲的发射;
测量作为反射辅助光脉冲被从所述内表面反射并且在图像传感器的像素处被接收的所述辅助光脉冲的子集,以产生测试测量数据;以及
基于对所述测试测量数据的分析来生成针对所述像素的诊断数据,其中,所述诊断数据指示所述3D传感器的危险故障。
24.根据权利要求23所述的非暂态计算机可读介质,其中,
所述测量包括设置所述辅助光脉冲的每个的发射与所述像素的曝光之间的时间以模拟与所述3D传感器的视场内的测量对象的限定距离对应的脉冲传播时间,并且
生成所述诊断数据包括:
基于对所述辅助光脉冲的所述子集的测量来计算模拟距离,以及
响应于确定所述模拟距离不在所述限定距离的限定容差范围内而禁用或标记所述像素并且生成报错消息。
CN202010259811.9A 2019-04-05 2020-04-03 工业安全传感器 Active CN111800594B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/376,009 US10725157B1 (en) 2019-04-05 2019-04-05 Industrial safety sensor
US16/376,009 2019-04-05

Publications (2)

Publication Number Publication Date
CN111800594A true CN111800594A (zh) 2020-10-20
CN111800594B CN111800594B (zh) 2022-08-12

Family

ID=70165823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010259811.9A Active CN111800594B (zh) 2019-04-05 2020-04-03 工业安全传感器

Country Status (3)

Country Link
US (2) US10725157B1 (zh)
EP (1) EP3719530B1 (zh)
CN (1) CN111800594B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11977166B2 (en) * 2019-08-16 2024-05-07 WeRide Corp. Optical system, method and apparatus for diagnosing the same
JP7252876B2 (ja) * 2019-10-16 2023-04-05 株式会社アドバンテスト 光学試験用装置
US11837883B2 (en) * 2020-01-21 2023-12-05 Aira, Inc. Multi-coil wireless charger validation
DE102020112430B4 (de) * 2020-05-07 2021-12-23 Sick Ag Kamera und Verfahren zur Erfassung von Objekten
EP4040355A1 (en) * 2021-02-08 2022-08-10 Tata Consultancy Services Limited System and method for measuring user experience of information visualizations
US11802945B2 (en) * 2021-03-10 2023-10-31 Allegro Microsystems, Llc Photonic ROIC having safety features
US11581697B2 (en) * 2021-03-10 2023-02-14 Allegro Microsystems, Llc Detector system comparing pixel response with photonic energy decay
US11770632B2 (en) 2021-04-14 2023-09-26 Allegro Microsystems, Llc Determining a temperature of a pixel array by measuring voltage of a pixel
EP4087293A1 (en) * 2021-05-06 2022-11-09 Robert Bosch GmbH Methods and devices for radio communication
JP2023000211A (ja) * 2021-06-17 2023-01-04 ソニーセミコンダクタソリューションズ株式会社 制御装置、制御方法
DE102021117818A1 (de) 2021-07-09 2023-01-12 Sick Ag Kamera zur Erfassung dreidimensionaler Bilddaten und Verfahren zur Überprüfung der Funktionsfähigkeit einer Kamera
US20230113560A1 (en) * 2021-10-11 2023-04-13 Argo AI, LLC Methods and Systems for Determining Diagnostic Coverage of Sensors to Prevent Goal Violations of Autonomous Vehicles
WO2024121420A1 (en) * 2022-12-09 2024-06-13 Sony Semiconductor Solutions Corporation Circuitry, method, computer program and camera

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5636137A (en) * 1993-08-13 1997-06-03 Lucas Industries Public Limited Company Optical torque sensor incorporating sensor failure diagnostics
US6601005B1 (en) * 1996-11-07 2003-07-29 Rosemount Inc. Process device diagnostics using process variable sensor signal
US20050024476A1 (en) * 2003-07-18 2005-02-03 Mikiya Seto Image exposure apparatus
US20050236481A1 (en) * 2004-04-21 2005-10-27 General Electric Company Authentication system, data device, and methods for using the same
US20070215822A1 (en) * 2006-01-27 2007-09-20 Sick Ag Device for optoelectronic monitoring of objects
CN102713528A (zh) * 2009-05-27 2012-10-03 希里克萨有限公司 光学感测的方法及装置
US20150285912A1 (en) * 2014-04-04 2015-10-08 Sick Ag Laser scanner and method for a safe detection of objects
US20150334371A1 (en) * 2014-05-19 2015-11-19 Rockwell Automation Technologies, Inc. Optical safety monitoring with selective pixel array analysis
CN106028932A (zh) * 2013-12-16 2016-10-12 美敦力迷你迈德公司 用于提高正交冗余传感器的可靠性的方法及系统
EP3282286A1 (de) * 2016-08-08 2018-02-14 Leuze electronic GmbH + Co KG Optischer sensor

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3219423C2 (de) * 1981-06-09 1986-04-30 MTC, Meßtechnik und Optoelektronik AG, Neuenburg/Neuchâtel Entfernungsmeßverfahren und Vorrichtung zu seiner Durchführung
JPH1010233A (ja) * 1996-06-24 1998-01-16 Mitsui Eng & Shipbuild Co Ltd レーザ式障害物検知方法およびセンサ
US20080136632A1 (en) * 2002-08-23 2008-06-12 Moreno Pieralli Microwave detection system and method for detecting intrusion to an off-limits zone
EP2192433B1 (en) * 2007-09-25 2012-12-26 Nikon Corporation Alignment device and method for optical system
US9696424B2 (en) * 2014-05-19 2017-07-04 Rockwell Automation Technologies, Inc. Optical area monitoring with spot matrix illumination
US10133702B2 (en) * 2015-03-16 2018-11-20 Rockwell Automation Technologies, Inc. System and method for determining sensor margins and/or diagnostic information for a sensor

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5636137A (en) * 1993-08-13 1997-06-03 Lucas Industries Public Limited Company Optical torque sensor incorporating sensor failure diagnostics
US6601005B1 (en) * 1996-11-07 2003-07-29 Rosemount Inc. Process device diagnostics using process variable sensor signal
US20050024476A1 (en) * 2003-07-18 2005-02-03 Mikiya Seto Image exposure apparatus
US20050236481A1 (en) * 2004-04-21 2005-10-27 General Electric Company Authentication system, data device, and methods for using the same
US20070215822A1 (en) * 2006-01-27 2007-09-20 Sick Ag Device for optoelectronic monitoring of objects
CN102713528A (zh) * 2009-05-27 2012-10-03 希里克萨有限公司 光学感测的方法及装置
CN106028932A (zh) * 2013-12-16 2016-10-12 美敦力迷你迈德公司 用于提高正交冗余传感器的可靠性的方法及系统
US20150285912A1 (en) * 2014-04-04 2015-10-08 Sick Ag Laser scanner and method for a safe detection of objects
US20150334371A1 (en) * 2014-05-19 2015-11-19 Rockwell Automation Technologies, Inc. Optical safety monitoring with selective pixel array analysis
EP3282286A1 (de) * 2016-08-08 2018-02-14 Leuze electronic GmbH + Co KG Optischer sensor

Also Published As

Publication number Publication date
US10725157B1 (en) 2020-07-28
EP3719530B1 (en) 2023-05-31
CN111800594B (zh) 2022-08-12
EP3719530A1 (en) 2020-10-07
US10962629B2 (en) 2021-03-30
US20200341126A1 (en) 2020-10-29

Similar Documents

Publication Publication Date Title
CN111800594B (zh) 工业安全传感器
US20220128658A1 (en) Waveform reconstruction in a time-of-flight sensor
CN109791195B (zh) 用于光达的自适应发射功率控制
EP3418771B1 (en) Absolute distance measurement for time-of-flight-sensors
CN106054276B (zh) 监视保护区域的飞行时间安全光电屏障和方法
CN113661407A (zh) 测量飞行时间传感器中的光学串扰的方法和对应的飞行时间传感器
US11035937B2 (en) Intrinsic static noise characterization and removal
CN107576994B (zh) 用于基于脉冲的接收器光传感器的系统和方法
US10914817B2 (en) Multipath interference error correction in a time of flight sensor
US11125860B2 (en) Triangulation applied as a safety scanner
EP3225977B1 (en) Method and sensor system for detecting particles
EP3627466B1 (en) Object intrusion detection system and method
EP2632166A2 (en) System to test performance of pixels in a sensor array
CN112445225B (zh) 防撞系统、自动防撞的方法及非暂态计算机可读介质
KR20230156070A (ko) 픽셀 응답과 광자 에너지 감쇠를 비교하는 검출기 시스템
KR20230003089A (ko) 안개 검출 및 적응형 응답 기능이 있는 라이다 시스템
CN113412413A (zh) 用于对振动进行成像和感测的系统和方法
US9083946B2 (en) System to detect failed pixels in a sensor array
JP7486843B2 (ja) 光飛行時間測定において距離決定をテストするためのテストデータを生成する装置及び方法
US20230194685A1 (en) Active/passive pixel current injection and bias testing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant