CN104798102A - 用于保证机器视觉系统的最小对比度的方法与装置 - Google Patents

Abstract

在一个方面，本公开提供一种方法和装置，用于验证在表示将由机器视觉系统监视的空间的区域内满足最小对象对比度要求。在互补方式中，本公开还提供了一种方法，用于将用于照明监视空间的光源的位置限制在高于地面的最小高度处，以及用于关键光的使用，该关键光提供与用于成像该监视空间的相机相关的监视空间内的非对称照明。相应地，本公开还提供了一种用于监视关键光的合适操作和响应于不合适操作的方法和装置。最小对比度验证和关键光监视操作可以使用独立的装置来实现，或可并入到机器视觉系统。

Description

用于保证机器视觉系统的最小对比度的方法与装置

本申请要求于2012年5月14日提出的美国临时申请61/646,491的优先权。

技术领域

本发明涉及一种基于图像(机器视觉)的监视系统，用于例如保护机器。

背景技术

一般来说，视觉系统依赖像素亮度的对比度来检测对象。该对比度可由对象的纹理、对象与背景之间的不同颜色、或对象表面的阴影等引起。如果不做某些假设，不会有对比度之保证，因为对象在其上可以不具有任何纹理，其颜色可以与背景的颜色相似，或者依赖于其形状和/或照明条件，在该对象上可能没有阴影。因此，在某些特殊情况下，由于缺乏对比度，视觉系统将无法检测对象。在视觉监视系统应用于机器保护领域时，此问题尤其变得显著。

为了安全应用，必须保证该传感器在所有环境下保持其规定的检测能力。这种保证意味着，当最小尺寸的对象进入用户定义的区域或空间---通常被称为“保护区”或“监视区”时，它应当具有确定的最小概率由机器视觉系统检测。为了即使在最坏情况下也确保最小检测能力，需要实施对环境和/或对象的某些限制。

发明内容

在一个方面，本公开提供一种用于验证下述的方法和装置：在用于表示将由机器视觉系统监视之空间的区域内，满足最小对象对比度要求。在互补方式中，本公开还提供了一种方法，用于将要被用于照明该监视空间的光源的位置限制在地面之上的最小高度处，以及用于在与用来对监视空间进行成像的相机有关的监视空间内提供非对称照明的关键光(key light)的使用。相应地，本公开还提出了一种用于监视关键光的合适操作和响应于不合适操作的方法和装置。最小对比度验证和关键光监视操作可以使用独立的装置来实现，或可并入到机器视觉系统。

因此，在一个实施例中，装置被配置为验证在由机器视觉系统的一个或多个图像传感器所看到的视场内的最小对象对比度。该装置包括一个或多个被配置为处理图像数据的处理电路，该图像数据对应于在测试对象位于视场内的最小对比度位置的同时通过一个或多个图像传感器在视场的成像。这里，图像数据是强度图像数据或3D范围数据，该一个或多个处理电路被配置为基于对强度或3D范围数据进行处理来计算测试对象的对比度值，以及确定该对比度值是否满足有预定的阈值代表的最小对比度要求。在至少一个实施例中，该装置在功能上被集成到机器视觉系统内，其包括一个或多个图像传感器和相关联的控制与处理单元。

在另一个实施例中，装置被配置为监视用作为关键光的照明源，这里来自关键光的照明增强了在机器视觉系统的视场内的对象对比度。在示例的配置中，该装置包括：一个或多个传感器，其被配置为用于监视在机器视觉系统的操作期间关键光的一个或多个操作参数；评估单元，其被配置为确定该一个或多个监视参数是否满足预定的操作要求；以及控制单元。该控制单元被配置为响应于以下至少一种情况来产生一个或多个信息或控制信号：检测到来自关键光的照明损失；和确定所监视参数的一个或多个不满足预定的操作要求。

当然，本发明不局限于以上的特征和优点。实际上，本领域技术人员在阅读了以下详细描述和观察了附图后，将意识到另外的特征和优点。

附图说明

图1是被配置用于监视来自关键光的照明的装置的一个实施例的方框图，该光被用于确保在由机器视觉系统监视的监控空间内的最小对象对比度。

图2和图3是用于表示图1的照明监视装置的示例细节的方框图。

图4是关于关键光的照明监视之方法的一个实施例的逻辑流程图。

图5是用于验证在机器视觉系统的监视空间内满足最小对象对比度要求的装置的一个实施例的方框图。

图6是用于验证最小对象对比度要求被满足的方法的一个实施例的逻辑流程图。

图7是在功能上合并了用于监视关键光的照明和用于验证最小对象对比度的装置的机器视觉系统的一个实施例的方框图。

图8是用于对在监视空间内的照明和对象对比度进行特征描述和评估的试验片的方框图。

图9是用于表示用于对例如在有危险机器周围的空间进行监视的相机和光源的潜在地成问题的安装的方框图。

图10是用于表示对于不同的光照间隔在相机的视场内与对象对比度相关的对比度相关分布曲线的示意图。

图11是用于表示在此教导的用于确保在监视空间内的最小对象对比度的一种技术的方框图，其基于关于用来对监视空间进行照明的光源非对称地定位该成像相机。

图12是用于表示在此教导的用于确保在监视空间内的最小对象对比度的一种技术的方框图，其基于在成像相机附近增加另外的光源，以引入关于通过该成像相机监视之空间的不对称光照。

具体实施方式

本公开在几个领域提供了有利的教导，包括：(1)用于保证对象的对比度的照明布局；(2)用于监视照明条件的方法和设备；以及(3)用于测量对比度的方法和装置。这些以及其它的优点可以至少通过诸如图1所示的示例的照明监视装置10的配置和操作来部分实现。

在一个或多个实施例中的照明监视装置10，被配置为对用作为关键光12的照明光源进行监视，其中来自关键光12的照明增强了在机器视觉系统14的视场内的对象对比度。该视场限定了监视区域或空间16，其被统称为“监视空间16”。在非限制性的例子中，监视空间16可以被理解为围绕有危险机器或地区18的区域或范围，在这里该机器视觉系统14被配置为检测由人类或其他物体侵入到监视空间16中，例如用于触发机器停止或其他防护相关动作。为了履行其空间监视作用，该机器视觉系统14在示例实施例中包括一个或多个图像传感器20，例如被配置用于监视空间16的三维(3D)成像的立体摄像机。

相应地，为履行其在监视关键光12中的作用，在该示例性图示中的照明监视装置10包括一个或多个传感器单元22，其被配置为用于监视在机器视觉系统14的操作期间的关键光12的一个或多个操作参数。在该方式中，该照明监视装置10可以被理解为一种机构，用于基于其用来提供在监视空间16内的任何对象的对比度增强照明的作用，来检测该关键光12的故障或损伤。反过来，在一个或多个实施例中，关键光12可被理解为照明源，该照明源被定位在最靠近由机器视觉系统14使用的图像传感器20，用来对视场进行成像。

图2以更大的示例性细节示出了照明监视装置10。这里，照明监视装置10包括评估单元30、控制单元32、并且选择地包括测试和通信电路34。估算单元30被配置为用于确定关键光12的一个或多个监视参数是否满足预定操作要求。相应地，控制单元32被配置为用于生成一个或多个信息或控制信号，以响应于以下至少一种情形：检测到来自关键光12的照明的损失；和确定了监视参数的一个或多个不满足预定的操作要求。

在支持上述功能中，应理解的是，为了由评估单元30进行的评估，传感器单元22提供用于感测的照明参数的一个或多个信号。而且，评估单元30输出一个或多个评估信号给控制单元32，以指示该关键光12是否超出了关于任何监视参数的规格，该评估信号可以是离散信号、数字数据等。因而，控制单元32能够被理解为响应于来自评估单元30的指示而采取行动。它可输出控制和/或通信信号，诸如“停机”信号、报警信号、维护信号、状态指示等。

可选的测试和通信电路34可以接收来自控制单元32的一个或多个这样的信号或相关的内部信号，并且它可以与评估单元30和/或传感器单元22交互。在至少一个实施例中，测试和通信电路34给照明监视装置10提供网络通信能力。例如，照明状态信息可以经由网络通信提供。

对于关键光12的监视参数，在一个或多个实施例中，传感器单元22监视下述的一个或者多个：关键光12的照射强度；和关键光12的调制相位或频率。对于关键光12的调制相位或频率是监视参数之一的情况，在一个或多个实施例中的控制单元32被配置为用于根据关键光12的监视调制频率或相位而生成频率指示信号或相位指示信号，例如，可被机器视觉系统14用于将其图像获取同步于关键光12的调制频率或相位。在相应的示例性配置中，机器视觉系统14被配置为通过使用频率指示信号或相位指示信号来同步其图像获取，以控制该机器视觉系统14的一个或多个图像传感器20的曝光。例如，机器视觉系统14使用来自照明监视装置10的频率指示信号或相位指示信号，以控制图像传感器20，使得它们在关键光12的调制周期的高相位期间曝光。

在其中照明监视装置10被配置为产生停机信号或其它安全临界信号作为由控制单元32输出的一个或多个信息或控制信号的实施例中，控制单元32被配置为响应于评估单元30检测到关键光12的照射强度已经降到预定的照射强度阈值之下而如此动作。在其中照明监视装置10被配置为产生一个或多个维护或警告型信号作为由控制单元32输出的一个或多个信息或控制信号的实施例中，控制单元32被配置为响应于评估单元30检测到关键光12的一个或多个监视参数的一个或多个处在正常极限之外而如此动作。

图3示出照明监视装置10的进一步示例性实施细节，诸如用于实施评估单元30和控制单元32的数字处理电路40的使用。在一个示例中，数字处理电路40包括一个或多个数字处理器，诸如微控制器、DSP等，并且包括程序及数据存储器42或一些其他计算机可读介质，或者与程序及数据存储器42或一些其他计算机可读介质有关，该计算机可读介质存储有监视程序指令44和评估参数阈值或范围46。因此，在一个或多个实施例中的数字处理电路40被配置为基于其存储的计算机程序指令44的执行来进行此处公开的关键光监视操作，并且其可以根据存储的测量阈值或范围46对测量的关键光参数进行评估。

不论其是否被实现为如图3所示，图4示出示例性方法400，该照明监视装置10可经被配置为执行该方法。方法400提供用于监测用作为关键光12的照明源，其中来自关键光12的照明增强了在机器视觉系统14的视场内的对象对比度。方法400的示出实施例包括：监视在机器视觉系统14的操作期间的关键光12的一个或多个操作参数(402块)；确定一个或多个监视参数是否满足预定操作要求(404块)；和产生一个或多个信息或控制信号以响应下述的至少一个：检测到来自关键光12的照明的丢失；和确定了监视参数的一个或多个不满足预定操作要求(406块)。

该照明监视装置10因此可被广泛地理解为被配置为确保监视空间16的不合适照明被检测出，并且在至少一个这样的实施例中，确保响应于照明检测，适当的对应的动作被启动。在一个示例情况下，关键光12提供非对称照明，或者被定位于相对地靠近由机器视觉系统14使用的一个或多个图像传感器20，以对监视空间16进行成像，使得关键光12的适当操作确保监视空间16中的对象将具有足够的对比度，即使在最坏的检测情景下也是如此。

例如，评估单元30被配置成用于评估来自传感器单元22的输出信号或者信号，其可以是数字的或模拟的，并且其可以是成比例的或阶跃的/非线性的，以确定由关键光12输出的光的一个或多个监视特征是否在需要的参数内。非限制性的实例包括将与光强度成比例的模拟信号与对应于最小可接受照明的限定阈值电压进行比较。等效地，传感器单元22或评估单元30将强度信号数字化，用于和对应于最小强度电平的数字字进行比较。在评估单元30的一个或多个实施例中还包含频率计数器、滤波器电路、相位检测电路等，以监视关键光12的一个或多个其它特征。

在具体的例子中，评估单元30监视关键光12的调制频率，以确保该调制频率处在额定的目标调制频率的指定范围内。在至少一个这样的实施例中，测量的频率和相位信息被用于触发基于相机的图像传感器20的曝光定时，如由机器视觉系统14使用的那样。如此做限制了可以由用于照射监视空间16的一个或多个调制光源引起的对比度下降。

对于照明监视装置10的核心照明监视特征，控制单元32被配置为用于接收来自评估单元30的评估结果，例如，离散逻辑信号、数字字、模拟信号、或一些其它指示符。控制单元30被配置为从评估单元16中识别出关键光12已经故障或在限定的操作范围之外操作。可能有多种故障类型，例如光强度太低、调制频率超出范围等。

在一个实施例中的控制单元30是精致的，足够区分由评估单元30指示的事件的严重程度，例如通过在监视的光强度降低到第一阈值时触发维护警报，和如果监控的光强度降低到较低的第二阈值的话，则启动警报和/或停机控制信号。在这点上，应当理解的是，在一个或多个实施例中的评估单元30被配置为使用多阈值监视。

在照明监视装置10的双通道实施例中，来自评价单元30和/或控制单元32，冗余输出被用以确保安全性完整性。为了进一步提高空间监视安装的安全性和整体完整性，照明监视装置10还可以包括最小对比度验证能力。也就是说，其处理和传感器电路可以包括(或从机器视觉系统14借用)用于验证在监视空间16内满足最小对象对比度要求所需要的感测与处理能力。

当然，这样的功能可以由照明监视装置10单独实现和/或可以被集成到机器视觉系统14内，而不管该照明监视装置10是否被集成到机器视觉系统14中。因此，为讨论的清楚起见，图5示出了最小对比度验证装置50的示例性实施例，它可以是独立的，可以是照明监视装置10的一部分和/或机器视觉系统14的一部分。简洁起见，该最小对比度验证装置50被称为“对比度验证装置50”。

无论它们是否被集成在一起，照明监视装置10和对比度验证装置50一起完成一种用于启动和验证光配置的方法，该光配置将被用于通过机器视觉系统14对监视空间16进行监视。即，除了以上描述的关键光监视方法400和照明监视装置10的相关示例性实施例外，此处还考虑验证由机器视觉系统14的一个或多个图像传感器20所探测的视场内的最小对象对比度。

如所示，图5提供了对比度验证装置50的示例实施细节，其包括实施了图像处理单元54的数字处理电路52。数字处理电路52还包括有接口及通信单元56和程序及数据存储器58或一些其他计算机可读介质，或与它们关联，该计算机可读介质存储了由数字处理电路52执行的对比度验证程序指令60。

验证装置50因此可以被理解为包括一个或多个处理电路，该处理电路被配置为当测试对象位于视场内的最小对比度位置时，处理对应于一个或多个例如相机的图像传感器20的视场成像的图像数据。即，无论被处理的图像数据代表监视空间16的“现场直播”馈送或代表之前捕获的图像数据，该图像数据捕获位于监视空间16内最小对比度位置处的测试对象。

在那种情况下，所述图像数据包括强度数据或3D范围数据。相应地，验证装置50的一个或多个处理电路被配置成基于图像数据处理来计算测试对象的对比度值，并确定该对比度值是否满足由预定阈值62代表的并被储存在程序及数据存储器58中的最小对比度要求。

在3D范围数据通过图像处理单元54被用于处理的情况下，测试对象的对比度值是基于以下各项中的至少一个来确定：与在最小对比度位置处的测试对象相对应的3D范围数据的存在或不存在；和测试对象的3D范围数据例如在与测试对象的表面范围相对应的像素位置处的3D范围数据的密度和/或统计特性(诸如方差)。

除了或者作为对从机器视觉系统14的图像传感器接收图像流的替代，接口和通信单元56可以包括一个或多个接口电路，该接口电路被配置成接收用于最小对比度验证处理的图像数据。这样的布置允许例如对比度验证装置50独立于机器视觉系统14设置，或至少允许对比度验证装置50将被更灵活地实现，因为它不需直接访问从图像传感器20流出的图像数据。另外，接口和通信单元56可被配置为记录或以其他方式输出一个或多个用于指示所述最小对比度要求是否被满足的信号。

图6示出由对比度验证装置50所执行的相应验证方法600。在该图示中，方法600包括当测试对象处在视场内的最小对比度位置时处理由一个或多个图像传感器获取的图像数据(块602)，并且进一步包括基于这样的处理来计算测试对象的对比度值(块604)。更进一步地，方法600包括确定该对比度值是否满足由预定的阈值表示的最小对比度要求(块606)。此外，根据其实施方式，方法600可以包括依赖于最小对比度要求是否被满足来生成一个或多个信号(608块)。

在一个实施例中，伽玛γ表示在无纹理球形试验片的表面上产生的对比度作为场景光照的函数，并被定义为：

$\mathrm{\γ}\≡\frac{I_{\max }-I_{\min }}{I_{\max }}$

其中I_max and I_min分别是试验片图像中的最大和最小强度值，其中计算(块604)对比度值包括计算测试对象的伽玛，并且其中确定(606块)最低对比度要求是否被满足包括比较伽玛和预定阈值。

如照明监视装置10所示的，对比度验证装置50可以被实现作为集成在机器视觉系统14中的一个或多个功能处理电路。这样的安排在若干方面是有利的。例如，该机器视觉系统14已经包括一个或多个图像传感器20或与之相关联，并且它包括相关联的控制与处理单元，例如，已经适应于处理视场的图像传感器数据和确定相应的像素密度和/或3D范围数据的图像处理电路。

事实上，照明监视装置10和验证装置50可以一起实现，它们两者或其中之一可在功能上并入整个机器视觉系统14，这种情况由图7的示例所示出。此处，机器视觉系统14包括用于关键光监视的上述照明监视装置10(在图中表示为“IMA10”)和对比度验证装置50(在图中表示为“CVA50”)。该示例的机器视觉系统14还包括用于关键光监视的传感器单元22和一个或多个图像传感器20，或与它们关联，其在图中被描绘成相机70-1和70-2，例如，用于监视空间16的立体3D成像。

用于实现IMA10和CVA50的操作的处理，可以在机器视觉控制/处理单元72中进行，其本身可以包括数字处理电路，例如微控制器和/或DSP、FPGA等，以及支持电路。这种电路还包括图像获取电路74，其被配置用于处理来自相机(cameras)70的原始图像数据，其可以在机器视觉系统14的操作的验证模式期间将处理过的图像数据馈送入CVA50用于最小对比度验证，其还将监视空间16的图像数据馈送入图像处理与3D测距电路76。电路76可被理解为提供关于监视空间16的对象检测处理，且机器控制与通信电路78可被理解为被配置成在对象检测、关键光监视和最小对比度验证的情况下提供控制与通信信令(signaling)，例如警报、停机控制等。

在至少一个这样的实施例中，被用来照明监视空间16的光被定位在其预期的位置，当至少集成了对比度验证装置50的机器视觉系统14对监视空间16进行成像和评估检测的对比度电平时，例如低纹理球体的3D试验片被移入到监视空间16的不同位置。

在替换但类似的实施例中，例如如图8所示的，“试验片”80被专门配置为用于对比度验证。例如，试验片80带有光传感器82的阵列，并且其提供与在位于监视空间16时其感受的照明相对应的光测量信号，或者其提供从这种光测量中生成的信号。在这种情况下，试验片80包括处理电路84或者与它相关联，该处理电路可以提供处理后的输出，或至少提供由光传感器82的阵列所产生的照明信号的预处理。

反过来，对比度验证装置的图像处理单元54被配置成用于评估来自该试验片的光测量信息，并且由此估计对比度。类似地，在一个或多个实施例中的照明监视装置10的评估电路30，被配置为与试验片80接口。这样，一旦监视空间16中设置了光，操作者能够使用验证装置50或照明监视装置10，用于最小对比度验证。

在另一个实施例中，相同的功能被集成到机器视觉系统14中，其可以被配置为包括“配置”或“验证”模式，其中机器视觉系统14处理来自在监视空间16内的各种或至少最坏情况位置的测试对象80的图像，并且将所检测到的对比度与限定的最小对比度电平相比较。

这种集成具有一定优势，特别是在机器视觉系统14被配置用于安全临界操作以及包括双通道监视与处理和/或其他形式的操作验证测试的情况下，其允许由照明监视装置10提供的照明监视功能的自检/自测和/或最小对比度验证。在另一个实施例中，照明监视装置10与负责对监视空间16中对象侵入进行监视的机器视觉系统14分开实施，但为机器视觉系统14提供信号，例如，关键光故障和/或警告信号，其被机器视觉系统14使用，以触发停机或其它操作。在这样的实施例中，照明监视装置10通常将具有其自身的控制输出，用于停机和/或其他的控制动作。

为了更好地理解上述的缓解损失和验证，考虑由具有强度I的点光源照明的、具有均匀扩散(朗伯)反射率(homogenous diffuse(Lambert's)reflectivity)的任何凸体的表面元件的亮度由公式1给出。

其中φ表示连接光源与表面元件的线相对于所述表面元件的法线向量的夹角。从等式可以看出，亮度取决于表面元件上照明的方向。

当然，对于机器视觉系统14，测试对象上建立的对比度在决定检测精度中是重要因子。正如之前描述的，伽玛度量γ被用于获得在无纹理球形试验片的表面上产生的对比度作为场景光照的函数的概念。如前，

$\mathrm{\γ}\≡\frac{I_{\max }-I_{\min }}{I_{\max }}---\left(2\right)$

其中，I_max and I_min分别是试验片图像上的最大和最小强度值。请注意，上述公式的分子表示对比度。度量γ被定义在试验片的整个二维投影面积。换言之，γ是从在给定试验片的全投影面上测量的最大和最小强度而算出的。

直观地，对于球形试验片，度量γ可以看作光源的方向性的测量。例如，如果试验片从所有侧面同等和均匀地被照射，则试验片上的最小和最大强度将非常接近。这将导致非常小的对比度和非常低的γ值。因此，对于一致或均匀的照明条件来说，γ很低。另一方面，如果该球形试验片是由方向性的光源(例如点光源)照射时，在试验片上测得的对比度将非常高(因为试验片上最亮和最暗的可见部分之间的差别会很大)。因此，所测量的γ值将非常高。

因此，通常具有方向性光照组分的较大部分的照明配置将导致较高的γ。而且，由于度量γ取决于光照条件，它可能在大的监视空间16上发生显著变化。然而，γ的局部变化通常是光滑的。典型的光照情况产生足够的对比度，并且因此在大多数情况下，在无纹理球形试验片上提供可接受的γ。然而，可以设想一种病态的照明情况，其中最坏情况的试验片只从所有侧面均匀照射，而缺乏来自顶部的任何照射(假设图像传感器20也从顶部观察该试验片)。在这种光照配置下，球形试验片的较暗部分(边界)显得更亮，而通常更亮的表面(顶部)可能显得更暗，从而产生不能接受的低对比度情况，并且因此是不能接受的低γ。这样的情况在现实世界情况下是非常不可取，本公开的目标之一就是限定并排除这种病态情况。

参照图9，其显示了测试对象90的量度γ在空间上变化。γ分布是试验片到相机的距离的函数。相机70被设置在两个相似强度的光源92-1和92-2的中间。试验片90的γ值作为对象距离z的函数而变化。当试验片90是相对地靠近相机70(以及距光源92等距)时，则其侧面与其顶部一样亮，这导致γ的小值，如通过试验片90在水平中心线上的测量那样。因此，这里教导的一个方面限定了用于确保监视系统的保护空间将不包含这样的低γ区域的条件和/或要求。这里，本领域的技术人员将认识到，术语“保护空间”是指，例如，对于对象存在或侵入的由给定监视系统所监视的空间。

在以下部分，本公开示出完全地获得用于恰当照明的这些和其他要求的配置的具体方法。特别地，除其他事项外，本公开提供：(a)照明布局的要求，以确保低对比度(伽玛)情况被避免；(b)设立(setup)期间的配置步骤(以及相关的装置)，以确保(a)中的要求被满足和合适的对比度在监视空间中是可得到的；和(c)一种方法和装置，以通过监视关键光12来确保受保护空间在运行时间期间(安装后)维持足够的对比度。

在位于危险机器或区域周边的监视空间16中在地面附近或若干高度处保持良好的对象对比度是特别重要的。相应地，这里可以看到，低伽玛γ的区域主要发生在地面附近主要有两个原因。即，监视空间16的光源92安装在较低的高度，较接近地面；或相机70设置在离最近的光源92相到较大的距离上。

对光源92的最小高度设限能有效地防止第一个问题。然而，照明高度限制不能解决有关不适当的相机安置的第二个问题。在光源92和相机70之间的较大间隔导致相对靠近地面的距离处的低γ区域。在这种情况下，试验片90的顶部比试验片90的侧面将变得更暗，从而产生低的对比度条件。

图10示出了对几个不同的照明间隔的γ分布——这里，“照明间隔”指设置在规则网格上的两相邻光源92之间的直线(或城市街区或曼哈顿或Minkowski Li)距离。从图中可以看出，当照明间隔增加时，危险的低γ区域移动远离相机70而接近需被保护的更临界(critical)的空间(靠近地面)。

对以上问题的一个对策包括打破与监视空间16的相机成像有关的照明对称性。非对称性可通过将相机70安装到更接近其中一个光源92来引入，例如相比光源92-1更接近光源92-2。这个布置在图11中显示，并且是用于防止低伽玛区域在接近地面处出现的一个有效对策。也就是说，通过设置相机的位置远离光源92的对称轴，相机70将从对角的有利位置点观看放置在此轴上的试验片90。

在这种情况下，相机70可以在同一时间看到球的顶部和底部。但是，由于球的下侧通常比顶部更暗，产生的图像将比相机70被放置于照明对称轴时具有更高的对比度。可替代地，相同的效果可以通过在相机70旁边安装额外的光源92来达到，如图12所示。这个新的光源92打破了照明对称性并获得良好的对比度，它可被理解为发挥了前述的“关键光12”的作用。

因此，在这里教导的发明中，提供了一种方法，其基于对照明和相机布局的约束来防止监视空间16内的低对比度情形。该约束包括：(a)确保所安装光源离地面的最低高度，(b)基于将相机70安装在更靠近用于为监视空间16进行照明的光源92的一个，或者将一个或多个附加的光源安装在更靠近相机70，来引入与用于对监视空间16进行成像的相机70相关的照明非对称。最接近相机79设置的光源92，即用于引起照明非对称的光源92被称作为关键光12，并在用于对监视空间16进行监视的机器视觉系统14的现场直播操作期间被监视。

即，在这里认识到，关键光12的使用是必须的，以保持在监视空间16内的最小检测能力，并其因此还认识到，对于任何恶化或故障，需要主动地监视该关键光12。因此，如前详述，这里教导的另一个方面是，使用照明监视装置10或包含这种功能的机器视觉系统14，以监视该关键光12，以确保其处于可接受的操作状态，并且由此确保在监视空间16内的对象的良好对比度。

图1-3所示的用于关键光监视的传感器单元22可以是CMOS或CCD、光电二极管、光电晶体管、光敏电阻、或其它光敏元件，其被设置于关键光12附近，并被用来主动地监视其光输出。如在光监视装置10的前面讨论所指出的，该传感器单元22提供其光监视信号或其它这种检测输出到评估单元30，诸如图2和3所示的。反过来，评估单元30被配置为通过例如检测光功率的恶化(例如，在触发点或限定阈值之下)并相应地发送信号到控制单元32，来检测关键光12的光输出中的显著恶化。在示例的配置中，控制单元32通过例如停止该危险机器或警告用户以防止事故，来采取适当的响应。

传感器单元22、评估单元30、以及控制单元32可以单独地实现并在其中使用信令连接，或这些单元的两个或多个集成在一起，例如，评估单元和控制单元集成到一起，与适当地靠近关键光12设置的传感器单元22有线或无线连接。无论该集成的程度如何，各单元可被认为是照明监视装置10，并通过使用分立的电路、固定处理电路、可编程处理电路，或其任意组合来实现该功能。

安全临界方面也涉及在照明监视装置10的一个或多个实施例中。例如，照明监视装置10可配置为测试或以其它方式识别所述传感器单元22(和在此连接性(connectivity thereto))的操作条件，以确保关键光12被适当监视。另外，如前所述，照明监视装置10的一个或多个实施例被配置成测量关键光12的其它特性，诸如相位和频率。在用于对监视空间16进行照明的光源92以确定频率和幅度被调制的情形下，对关键光的这些其他特征的监视是有用的。

使用照明监视装置10的若干优点和创新以及其用途有以下方面：(1)关键光12被主动地监视，以防止潜在的低对比度的情况发生，或至少检测当低对比度情况已经发生时，使得能够采取适当的动作(例如发出维护信号、报警信号、停机启动信号、控制停机中继等)；和(2)这里所公开的用于关键光监视的技术是信价比高且可靠的，例如，基于将传感器靠近关键光12放置，用于现场直播监测辐照和光相位(如果适用的话)。

在对保护空间的照明和监视进行设置时，能够测量实际场景中的对比度和γ值并确保在初始化时没有危险的低对比度区域存在是重要的。如果在设置时对比度和γ值是足够的，则它们可通过增加或移除任何光源来保持或改善，只要关键光12存在并正常工作。

相比初始条件，关闭关键光12以外的光源将增加照明的净方向性，从而有效地导致γ值增加。因此，只要初始场景的照明满足最低γ值要求，移除已有的光源将不会产生危险情形(即低对比度)。然而，移除(或关闭)光源将可能把现场亮度降到最小水平以下。如此低的亮度条件可通过简单的方法检测(如，监视成像相机70的像素亮度级别)。最小(但非临界)γ区域可以移动到监视空间16内的其他位置，并在一定程度导致γ值降低，但只要关键光12打开，病态的照明配置将不会表现出来，监视空间16内也不会有新的临界γ区域出现。

另一方面，添加额外的光源可在某些情况下减少γ，并可能在极端的情况下引起危险情况发生。这些条件，被称作病态照明条件，可由在监视空间16外增加多个与相机70对称设置的强光源导致。这种情况极少可能发生；然而，要求用户应避免这种配置。本节中描述的设置(setup)验证方法可确保该情况不会在配置时间发生。此外，与前述的病态照明条件相对的，在监视空间16周围增加光源将趋于增加γ，因为它们会增加照明的净方向性，并且因此不会导致危险情况(低γ或对比度)发生。

如前所述，对比度会受到照明条件、受照射对象的3D形状和相机70的有利位置点的影响。为获得三维球体上的对比度测量，可使用具有相同轮廓(profile)例如3D球体的试验片90。

示例的测量过程描述如下：

1)将试验片放置在需要测量γ值的位置；

2)使用安装在所期望的或计划的位置上的相机来捕获图像；

3)手动或自动地选择代表试验片的图象投影的区域；

4)在选定的区域内获得最大和最小强度(Imax和Imin)。

5)根据公式(2)计算γ值。

此外，为了获得仅由光源布局和对象形状引起的真实对比度变化，试验片90的表面必须是漫反射的。

另一种测量γ的方法涉及创建分布在球形试验片上的传感器阵列，例如图8中所示的试验片80，其具有光感测元件82的阵列。这些多个光感测元件82在球形试验片80的表面上排列，并从多个方向接收光，并根据光功率发送合适的信号到处理单元84。输入信号将包含光场分布，并且可由处理单元84进一步处理，以计算球体上的有效对比度。这种装置首先转换输入信号，使得它们保持与输入辐照即落在球体上的光的关系。然后由以下等式计算γ值：

$\mathrm{\γ}=\frac{S_{\max }-S_{\min }}{S_{\max }}---\left(3\right)$

其中，Smax和Smin分别是来自光感测元件82的最大和最小转换信号。在这个方法中，球形试验片80的顶部应被朝向相机70以获得γ值的正确测量。

因此，本另一方面中，本公开提出了一种用于空间监视的照明配置的初始化和验证的方法和装置。本公开的这个方面的创新元素包括但不限于以下各项：(1)通过使用三维形状试验片和从已安装相机获取的图像来测量γ的方法，和/或(2)通过分布在专用的球形“测试对象”表面上的光传感器阵列测量γ值的方法和装置。

为使立体相关(stereo correlation)工作良好并避免被成像的场景内的动态范围违背(dynamic-range violations)，机器视觉系统14可能要求高动态范围(HDR)图像，其超出用于获得场景图像的相机70的动态范围。为达到所要求的动态范围，该机器视觉系统14可以被配置为将两个或更多个相机组合曝光，以产生高动态范围图像。这个过程被称为HDR融合(fusion)。

在实施例的一个例子中，HDR图像融合的主要步骤包括校准表征步骤以恢复在制造阶段要求的逆相机响应函数(CRF)，g:Z→R。作为非限制性的例子，g的范围是从0-1023(由Z表示)之范围的10比特整数(成像器数据分辨率)。该范围是实数集R。HDR图像融合还包括运行时间融合步骤，其中CRF用于组合在不同(已知的)曝光拍摄的图像，以创建辐照图像E；和色调映射步骤，其中使用对数算子对恢复的辐照图像进行色调映射。该色调映射步骤可被理解为融合步骤的自然结果，该色调映射图像被重新映射到12比特强度图像，例如，用于馈送到立体视觉处理器(SVP)，其可在图7示出的用于机器视觉系统14的图像处理和3D测距电路76中实施。

用于恢复CRF的几个不同的校准/表征算法已经在文献中提出，包括P.Debevec和J.Malik的作品，“从照片中恢复高动态范围辐照地图”，SIGGRAPH 1998以及T.Mitsunaga和S.Nayar的“辐射自我校准”，CVPR1999。

对每个像素，有效的辐照计算如下：

$\mathrm{InE}\left(p\right)=\frac{\left[w\left(I_l\right)(g\left(I_L\right)--\mathrm{In}{t}_L)\right]+\left[w\left(I_H\right)(g\left(I_H\right)-\mathrm{In}{t}_H)\right]}{w\left(I_L\right)+w\left(I_H\right)}$

其中，w:Z→R是加权函数(例如，Gaussian,hat等)，g:Z→R是逆相机响应函数，以及I_L、t_L、I_H、和t_H分别是低曝光帧和高曝光帧的所测量10比特强度和曝光时间。

考虑从球形试验片表面的辐射图。以Lmax和Lmin表示来自球的最亮和最暗部分的辐照，单次曝光中的对比度被定义为C＝Lmax-Lmin。度量γ捕获导致该辐射图的场景中的照明分布，如前所述，其仅为光分布和试验片形状的函数。此外，具有辐照L的观察该场景元素的像素上的辐照度(入射光)的量E，与L成正比，即，E＝ηL。

在捕获的HDR对数辐照图像InE中的显示对比度C_E为

$C_E=\mathrm{In}\left(\mathrm{\η}{L}_{\max }\right)-\mathrm{In}\left(\mathrm{\η}{L}_{\min }\right)=\mathrm{In}\left(\frac{L_{\max }}{L_{\min }}\right)=\mathrm{In}\left(\frac{L_{\max }}{(1-\mathrm{\γ})L_{\max }}\right)=\mathrm{In}\frac{1}{(1-\mathrm{\γ})}$

现在，假设场景被具有调制频率例如120Hz的调制光源照射。而且，以振幅衰减因子α定义在调制周期的任何点上光强度的改变分数。在最坏的情况下，特殊场景元素可以显示在使用不同曝光的两个连续帧中的辐照L和αL。对应于试验片顶部的低曝光帧和高曝光帧中测得的辐照假设分别为Emax和αEmax，那么在融合后，相应的辐照由以下公式给出(在对数辐照范围)：

$\mathrm{In}\left({\stackrel{\‾}{E}}_{\max }\right)=\frac{w_1\mathrm{In}\left(E_{\max }\right)+w_2\mathrm{In}\left(\mathrm{\α}{E}_{\max }\right)}{w_1+w_2}=\mathrm{In}(E_{\max }+\frac{w_2\mathrm{In}\left(\mathrm{\α}\right)}{w_1+w_2})$

相似地，将对应于试验片侧面的低曝光帧和高曝光帧中测得的辐照分别表示为Emin和αEmin。因此，在融合后，相应的辐照由以下公式给出(在对数辐照范围)：

$\mathrm{In}\left({\stackrel{\‾}{E}}_{\min }\right)=\frac{n_1\mathrm{In}\left(E_{\min }\right)+n_2\mathrm{In}\left(\mathrm{\α}{E}_{\min }\right)}{n_1+n_2}=\mathrm{In}(E_{\min }+\frac{n_2\mathrm{In}\left(\mathrm{\α}\right)}{n_1+n_2})$

对数范围中的对比度可因此写成，

$\stackrel{\‾}{C}=\mathrm{In}\left({\stackrel{\‾}{E}}_{\max }\right)-\mathrm{In}\left({\stackrel{\‾}{E}}_{\max }\right)$

$\stackrel{\‾}{C}=\mathrm{In}\left(E_{\max }\right)+\frac{w_2\mathrm{In}\left(\mathrm{\α}\right)}{w_1+w_2}-\mathrm{In}\left(E_{\min }\right)+\frac{n_2\mathrm{In}\left(\mathrm{\α}\right)}{n_1+n_2}$

$\stackrel{\‾}{C}=\mathrm{In}\left(\frac{E_{\max }}{E_{\min }}\right)+\mathrm{In\α}(\frac{w_2}{w_1+w_2}-\frac{n_2}{n_1+n_2})$

$\stackrel{\‾}{C}=C+\mathrm{In\α}(\frac{w_2}{w_1+w_2}-\frac{n_2}{n_1+n_2})$

由于和 $\left(\frac{n_2}{n_1+n_2}\right)\∈\left[\mathrm{0,1}\right]$

因此， $\stackrel{\‾}{C}=C+\mathrm{\βIn\α}$

其中 $\mathrm{\β}=(\frac{w_2}{w_1+w_2}-\frac{n_2}{n_1+n_2}),-1\≤\mathrm{\β}\≤1---\left(4\right)$

如公式4所示，可以通过保持βlnα>0来增加对象的有效对比度。为确保有效对比度不恶化，机器视觉系统14可配置为将低曝光帧的曝光时间与光相位同步，并仅在调制周期的高时段(即辐照高于周期的平均辐照)期间曝光。在具有超过一个调制光源(具有不同相位)的情况下，这个技术在维持最小对比度中也是有效的。这种情况下，关键光12的调制相位和频率可被监视，如这里别处所教导的那样。

值得注意的是，本领域技术人员在参考了前面的描述和相关附图后可以想到本发明的变形和其它实施例。因此，这是可以理解的是，本发明不限于所公开的具体实施例，变形和其他实施例也被包括在本公开的范围之内。尽管在本文中使用了特定术语，但它们仅用于一般的和描述性的目的，而非为了限制。

Claims (23)

1.一种在机器视觉系统的一个或多个图像传感器所感测的视场内用于验证最小对象对比度的方法，所述方法包括：

当测试对象位于视场内最小对比度位置时，处理由一个或多个图像传感器获得的图像数据，所述图像数据为强度图像数据或3D范围数据；

基于所述处理，计算测试对象的对比度值；和

确定该对比度值是否满足由预定阈值所代表的最小对比度要求。

2.根据权利要求1的方法，其中，伽玛γ表示在无纹理球体试验片的表面上产生的对比度作为场景照明的函数，并被定义为：

$\mathrm{\γ}\≡\frac{I_{\max }-I_{\min }}{I_{\max }},$

并且其中，计算对比度值包括计算试验片的伽玛，并且其中，确定该最小对比度要求是否被满足还包括将伽玛和预定阈值相比较。

3.根据权利要求1的方法，其中，在使用3D范围数据的情况下，测试对象的对比度值基于以下至少一个确定：与最小对比度位置的测试对象相对应的3D范围数据的存在或不存在，与测试对象的表面范围相对应的像素位置上的3D范围数据的密度和/或统计特性。

4.一种被配置为在机器视觉系统的一个或多个图像传感器所感测的视场内用于验证最小对象对比度的装置，所述装置包括一个或多个处理电路，所述处理电路被配置为：

当测试对象位于视场内最小对比度位置时，处理与由一个或多个图像传感器对视场的成像相对应的图像数据，所述图像数据为强度图像数据或3D范围数据；

基于所述处理，计算测试对象的对比度值；和

确定该对比度值是否满足由预定阈值所代表的最小对比度要求。

5.根据权利要求4所述的装置，其中，伽玛γ表示在无纹理球体试验片的表面上产生的对比度作为场景照明的函数，并被定义为：

$\mathrm{\γ}\≡\frac{I_{\max }-I_{\min }}{I_{\max }},$

并且其中，一个或者多个处理电路被配置为用于计算对比度值包括计算试验片的伽玛，并且其中确定该最小对比度要求是否被满足还包括将伽玛和预定阈值相比较。

6.根据权利要求4的装置，其中，在使用3D范围数据的情况下，测试对象的对比度值基于以下至少一个确定：与最小对比度位置的测试对象相对应的3D范围数据的存在或不存在，与测试对象的表面范围相对应的像素位置处的3D范围数据的密度和/或统计特性。

7.根据权利要求4的装置，还包括被配置为接收图像数据的一个或多个接口电路。

8.根据权利要求7的装置，其中，该一个或多个接口电路进一步被配置为记录或输出用于指示该最小对比度要求是否被满足的一个或多个信号。

9.根据权利要求4的装置，其中，该装置包括被集成到机器视觉系统中的一个或多个功能处理电路，其包括该一个或多个图像传感器和相关的控制与处理单元。

10.一种用于监视用作为关键光的照明光源的方法，其中来自该关键光的照明增强了机器视觉系统的视场内的对象对比度，并且其中该方法包括；

在该机器视觉系统的操作期间，监视该关键光的一个或多个操作参数；

确定一个或多个监视参数是否满足预定操作要求；以及

响应于以下至少一个来产生一个或多个信息或控制信号：

检测到来自关键光的照明的损失；和

确定一个或多个监测参数不满足预定操作要求。

11.根据权利要求10的方法，其中，该一个或多个监视参数包括下述的至少一个：该关键光的照明强度，和该关键光的调制相位或频率。

12.根据权利要求11的方法，还包括，对于关键光的调制相位或频率是监视参数之一的情况，生成基于该关键光的监视调制频率或相位的频率指示信号或相位指示信号，诸如可以被机器视觉系统使用，用于将其图像获取与关键光的调制频率或相位同步。

13.根据权利要求12的方法，其中，同步该图像获取包括：使用机器视觉系统中的频率指示信号或相位指示信号，以控制该机器视觉系统的一个或多个图像传感器的曝光，使得它们在调制周期的高相位期间曝光。

14.根据权利要求10的方法，其中，响应于确定一个或多个监视参数不满足预定操作要求而产生一个或多个信息或控制信号包括：响应于检测到关键光的照明强度已经降到预定照明强度阈值之下而产生停机信号或其他安全临界信号。

15.根据权利要求10的方法，还包括：响应于检测到关键光的该一个或多个监视参数的一个或者多个在正常极限以外而产生一个或多个维护或警告型信号。

16.根据权利要求10的方法，其中，该关键光是位于最接近由用于成像视场的机器视觉系统使用的图像传感器的照明光源。

17.一种被配置为用于监视用作为关键光的照明光源的装置，其中来自该关键光的照明增强了机器视觉系统的视场内的对象对比度，并且其中该装置包括：

一个或多个传感器，被配置为在机器视觉系统的操作期间，监视该关键光的一个或多个操作参数；

评估单元，被配置为确定该一个或多个监视参数是否满足预定操作要求；和

控制单元，被配置为响应于以下至少一个来产生一个或多个信息或控制信号：

检测到来自关键光的照明的损失；和

确定一个或多个监视参数不满足预定操作要求。

18.根据权利要求17的装置，其中该一个或多个监视参数包括下述的至少一个：该关键光的照明强度，和该关键光的调制相位或频率。

19.根据权利要求18的装置，其中，对于关键光的调制相位或频率是监视参数之一的情况，控制单元被配置为用于生成基于该关键光的监视调制频率或相位的频率指示信号或相位指示信号，诸如可以被机器视觉系统使用，用于将其图像获取与关键光的调制频率或相位同步。

20.根据权利要求19的装置，其中该机器视觉系统被配置为用于同步该图像获取，并且包括使用机器视觉系统中的频率指示信号或相位指示信号，以控制该机器视觉系统的一个或多个图像传感器的曝光，使得它们在调制周期的高相位期间曝光。

21.根据权利要求17的装置，其中该装置被配置为响应于检测到关键光的照明强度已经降到预定照明强度阈值之下而产生停机信号或其他安全临界信号，作为一个或多个所述信息或控制信号。

22.根据权利要求17的装置，其中该装置被配置为响应于检测到关键光的该一个或多个监视参数的一个或者多个在正常极限以外而产生一个或多个维护或警告型信号。

23.根据权利要求17的装置，其中该关键光是位于最接近由用于成像所述视场的机器视觉系统使用的图像传感器的照明光源。