CN102576407A - 用于距离成像系统的实时动态参考图像产生 - Google Patents

用于距离成像系统的实时动态参考图像产生 Download PDF

Info

Publication number
CN102576407A
CN102576407A CN2010800474239A CN201080047423A CN102576407A CN 102576407 A CN102576407 A CN 102576407A CN 2010800474239 A CN2010800474239 A CN 2010800474239A CN 201080047423 A CN201080047423 A CN 201080047423A CN 102576407 A CN102576407 A CN 102576407A
Authority
CN
China
Prior art keywords
distance value
image
measurement
pixel
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800474239A
Other languages
English (en)
Other versions
CN102576407B (zh
Inventor
F·格朗迪迪埃
B·米尔巴赫
T·索利尼亚克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IEE International Electronics and Engineering SA
Original Assignee
IEE International Electronics and Engineering SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IEE International Electronics and Engineering SA filed Critical IEE International Electronics and Engineering SA
Publication of CN102576407A publication Critical patent/CN102576407A/zh
Application granted granted Critical
Publication of CN102576407B publication Critical patent/CN102576407B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/01—Solutions for problems related to non-uniform document background

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

一种动态参考距离图像产生方法包括：提供要动态更新的、由像素构成的参考距离图像，每一个像素包含参考距离值。提供获取的距离图像，其的像素每一个包含测量的距离值，以预定速率更新所述测量的距离值。包含无效测量的距离值的获取的距离图像的像素因此被标注。将未被标注为包含无效的测量的距离值的、获取的距离图像的每个像素的测量的距离值与参考距离图像的对应的像素的参考距离值作比较。如果在下述情况下，则将参考距离图像的那个像素的参考距离值例如更新为测量的距离值或测量的距离值和一个或多个先前测量的距离值的平均值：a)测量的距离值被认为小于参考距离值，并且保持基本上不变达到第一时间段，或者，b)测量的距离值被认为大于参考距离值，并且保持基本上不变达到比第一时间段小的第二时间段。如果条件a)和b)都未被满足，则替代地保持参考距离值基本上不变。

Description

用于距离成像系统的实时动态参考图像产生
技术领域
本发明总体上涉及计算机视觉领域，更具体地涉及用于距离成像系统的动态参考图像产生。
背景技术
计算机视觉是与从图像获取信息相关的科学学科。在许多计算机视觉应用中的一个重要的任务是在特定应用感兴趣的对象和特定应用不感兴趣的背景对象之间进行区分。用于处理这个问题的一种公知手段是背景减除，其中，从每一个输入图像减去参考图像，以便消除对于输入图像和参考图像公共的所有对象。如果被成像系统记录的背景保持不变，即，如果背景不包含对于进入场景、退出场景和在场景内移动敏感的对象(诸如交通监视系统中的停泊的汽车)，并且如果照明条件保持相同(对于室外图像序列通常不是这样)，则这种手段作用良好。
如果背景可能有改变，则必须采取措施来动态地更新参考图像。在文章“A practical approach to real-time dynamic background generation based on atemporal median filter”(by B.Shoushtarian et al.，Journal of Sciences，IslamicRepublic of Iran 14(4)，2003，pp.351-362)中，作者提供了基于时间中值滤波器的实时动态背景产生算法，该滤波器使用指数加权移动平均(EWMA)滤波。该文章的算法使用参考图像，在逐个像素的基础上将参考图像与进入的图像作比较。如果进入的图像的给定像素的像素值保持不变(在容差范围内)达到特定的时间，则假定该像素值是背景的一部分，并且将该值复制到参考图像。
距离图像是一种图像，其中，每一个像素(图像元素)包含与从成像器系统至被成像到特定像素上的场景的一部分的距离对应的距离值。参考距离图像的像素包含参考图像值。如在2D成像的情况下那样，如果场景的背景不变，则距离成像中的背景减除是简单的。在该情况下，可以使用空场景的不变的参考图像来去除背景。这种手段的问题是场景的背景必须在计算机视觉系统的生命周期上保持不变；否则，该系统的输出可能是错误的。虽然在实验室或工业环境中可以证明不变的背景的假设是正确的，但是它通常不适用于在自由地可访问的区域中安装的系统。
技术问题
本发明通过提出一种用于产生动态参考距离图像的方法来处理可变图像背景的问题。在权利要求1中定义了该方法。在从属方法权利要求中定义了可以在计算机程序或距离相机中实现的该方法的优选实施例。
发明内容
根据本发明，所述动态参考距离图像产生方法包括：提供要动态更新的参考距离图像，所述参考距离图像由像素构成，每一个像素包含参考距离值。进一步提供获取的距离图像，所述获取的距离图像由像素构成，所述获取的距离图像的每个像素在所述参考距离图像中具有对应的像素，并且包含测量的距离值，所述测量的距离值以预定速率被更新。换句话说，在此假定所述获得的距离图像对应于当前帧。如果在包含无效的测量距离值的所述获取的距离图像中存在像素，则这样的像素因此被标注。将未被标注为包含无效的测量距离值的、所述获取的距离图像的每一个像素的测量的距离值与所述参考距离图像的所述对应的像素的所述参考距离值作比较。如果在下述情况下，则所述参考距离图像的那个像素的所述参考距离值被例如更新为所述测量的距离值或所述测量的距离值和一个或多个先前测量的距离值的平均值，
a)所述测量的距离值被认为小于所述参考距离值，并且保持基本上不变达到第一时间段，或者
b)所述测量的距离值被认为大于所述参考距离值，并且保持基本上不变达到比所述第一时间段小的第二时间段。
如果条件a)和b)都未被满足，则替代地将保持所述参考距离值基本上不变。
技术人员将意识到，所述方法提供了用于根据所述获取的图像的所述对应的像素的所述测量的距离值是小于还是大于所述存储的参考距离值而更新所述参考距离图像的像素的不同条件。如果所述当前的测量距离小于所述参考距离，则在场景的前景中存在对象。如果所述当前的测量距离大于所述参考距离，则去除属于所述参考图像的对象。根据所述方法，当先前稳定的对象消失(使得在所述对应的像素中测量较大的距离)时比当对象出现(使得在所述对应的像素中测量较小的距离)时更快地更新所述参考图像。可以将所述第二时间段，即，在测量距离值大于所述参考距离值的情况下用于更新参考距离值的等待时间段，可以被设置为小于帧时间段，使得所述更新在该情况下是即时的。
因为所述方法提供像素是否包含无效的测量的距离值(如果成像的场景的部分与所述成像器具有大距离，则无效的测量的距离值在距离图像中是常见的)的检查并且只有所述测量的距离值有效时才更新对应的参考像素，所以所述方法相对于向所述参考距离图像内引入测量误差是健壮的。
优选的是，只有所述参考距离值超过所述测量的距离值至少预定义的容差值，所述测量的距离值才被认为小于所述参考距离值。类似地，优选的是，只有所述测量的距离值超过所述参考距离值至少预定义的容差值，所述测量的距离值才被认为大于所述参考距离值。所述容差值优选地相等，但是如果相对于实际值的偏差在一个方向上比在另一个方向上更可能和/或更高，则所述容差值也可以不同。
优选的是，如果条件i.a)和i.b)都未被满足则将所述参考距离值保持基本上不变包括：如果所述测量的距离值被认为等于(即，既不大于也不小于)所述参考距离值，则将所述测量的距离值(的贡献)整合到所述参考距离值内。优选的是，使用诸如移动平均滤波器、中值滤波器等的预定滤波器来选择所述测量的距离值的所述贡献。如将意识到的，这有助于降低在所述参考距离图像上的噪声。
所述第一时间段和/或所述第二时间段可以被预定义为绝对时间段。替代地，可以相对于可以在运行时间期间确定的另一个时间段定义所述第一时间段和所述第二时间段。例如，可以将所述第一时间段或所述第二时间段选择得等于下述(动态确定的)时间段：在所述时间段期间，在所述第一或所述第二时间段分别已经开始之前，所述测量的距离值被认为等于所述参考距离图像。这意味着，如果比测量的距离值先前等于所存储的参考值的时间更长的时间内，所测量的距离值在与存储的参考距离值不同的值周围保持基本上不变，则将后者更新为所述当前测量的距离值。
优选的是，对于被标注为包含无效的测量的距离值的所述获取的距离图像的每一个像素，如果所述像素已经保持被标注为包含无效的测量距离值达到第三时间段，则将所述参考图像的所述对应的像素的所述参考距离值更新为最大距离值。在所述方法的这种变型中，忽略被标注为包含无效的测量距离值的像素，除非它们保持如此被标注达到所述第三时间段，在该情况下，将所述参考图像像素更新为所述最大距离值。所述方法第三时间段可以被选择为等于预定(绝对)时间段和下述(动态确定的)时间段中的一个：在所述(动态确定的)时间段期间，在所述获取的距离图像的像素已经被标注为包含无效的测量的距离值之前，所述测量的距离值被认为等于所述参考距离图像。在所述方法的一种优选变型中，将所述第三时间段设置为在运行时间期间等于预定时间段和下述(动态确定的)时间段中较短一个：在所述(动态确定的)时间段期间，在所述获取的距离图像的像素已经被标注为包含无效的测量的距离值之前，所述测量的距离值被认为等于所述参考距离图像。
技术人员将意识到，可以在用于识别距离图像内的兴趣对象的方法中使用动态参考距离图像产生方法，其中，基于所述获取的距离图像和所述参考距离图像来计算“无背景”距离图像，并且，在所述无背景图像中执行对象识别。术语“无背景”意图指定对应于所获取的距离图像的图像，其中，从所获取的距离图像中已经去除了对于参考距离图像和所获取的距离图像所公共的对象。术语“无背景”不意图暗示在所述无背景距离图像中仅存在兴趣对象。为了产生这样的无背景距离图像，优选地在逐个像素的基础上将所述当前获取的距离图像与所述参考距离图像作比较。如果认为像素的所述测量的距离值小于所述参考距离图像的对应的像素的参考距离值，则将该测量的距离值保持在所述无背景距离图像的所述对应的像素中。在相反情况下，例如，通过将该像素的距离值设置为默认值，将所述无背景距离图像的所述对应的像素标注为包含背景。换句话说，在所述获取的距离图像中包含与在所述参考距离图像中相同或比其高的距离值的像素在无背景距离图像中被标注为背景，并且可以在随后的图像处理步骤中被丢弃。
本发明的一个方面涉及包括指令的计算机程序，当所述计算机程序在计算机上被执行时所述指令使得所述计算机执行所述动态参考距离图像产生方法和/或识别距离图像内的兴趣对象的方法。
本发明的另一个方面涉及一种包括载体介质的计算机程序产品，所述载体介质承载具有计算机可实现的指令的程序代码以使得计算机执行动态参考距离图像产生方法和/或识别距离图像内的兴趣对象的方法。所述载体介质可以包括例如永久或非永久存储器、存储驱动器、其中具有根据预定义协议来编码的程序代码的电磁信号等。
本发明的另一个方面涉及一种距离相机，所述距离相机包括用于执行动态参考距离图像产生方法和/或识别距离图像内的兴趣对象的方法的模块。本发明的该方面的一个优选实施例涉及一种交通监视和/或控制系统，其中，在(优选地升高的)位置布置了一个或多个距离相机，以便获取道路用户(例如，小汽车、公共汽车、卡车、自行车、行人等)的距离图像，所述系统包括用于执行动态参考距离图像产生方法和/或识别由所述一个或多个距离相机获取的距离图像内的兴趣对象的方法的模块。用于执行动态参考距离图像产生方法和/或识别距离图像内的兴趣对象的方法的这种模块优选地包括专用集成电路、现场可编程门阵列、数字信号处理器和计算机程序中的至少一种。
附图说明
现在将参考附图通过示例来描述本发明的优选实施例，在附图中：
图1是根据现有技术的3D飞行时间相机的示意图；
图2示出帧序列，该帧序列说明了如果将静态对象置于距离成像器的视场内则更新参考距离图像；
图3示出帧序列，该帧序列说明了如果将静态对象取出距离成像器的视场则更新参考距离图像；
图4是根据本发明的一个方面的交通监视控制系统的示意图。
具体实施方式
可以通过使用例如雷达、声音或光学飞行时间(TOF)测量的几种获取技术来获取距离图像。为了说明，将参考图1来描述已知的光学TOF距离成像技术。
通过(可见、红外线或紫外线)光波的距离测量通常要求及时改变所发射的光的强度。例如，可以使用相移技术或脉冲技术来实现TOF方法。对于相移技术，周期地调制(例如，通过正弦调制)所发射的光的振幅，并且，将在发射处的调制的相位与在接收处的调制的相位作比较。对于脉冲技术，以离散脉冲来发射光，而不要求周期性。在相移测量中，调制周期通常为大约在最大测量距离和最小测量距离之间的差除以光速的两倍。在这种手段中，通过在发射和接收的光信号之间的相位比较，将传播时间间隔确定为相差。这样的相位比较要求解调信号与发射光信号的同步。因为通过光速给出的高传播速度，在基于脉冲技术或相移技术的距离测量中遇到的基本困难在于测量设备的所需的时间分辨率。事实上，在厘米的数量级上的空间分辨率要求在10-11秒(10ps)的数量级上的时间分辨率。在EP 1 152 261 A1(授予Lange和Seitz)和WO 98/10255(授予Schwarte)中详细描述了基于飞行时间测量的距离成像的原理。可以在Robert Lange的博士论文“3D Time-of-Flight Distance Measurement with CustomSolid-State Image Sensors in CMOS/CCD-Technology”(锡根大学的电子工程和计算机科学系)中找到该技术的更详细的描述。
图1描述了根据现有技术的距离相机100(例如参见用于参考的WO2006/097406 A2)。信号源101在其输出节点上产生调制信号102。照明驱动器103将调制信号放大以驱动由几个单独的光发射设备151构成的照明模块105。该照明模块发射强度调制的光波106，该光波被引导到要成像的场景内。在场景内的对象107将该光的部分散射回锁定(lock-in)像素传感器单元152(以下为了缩短表示而称为锁定像素)的阵列112上。每一个锁定像素152同时被馈送由光门驱动器109从调制信号102得出的解调信号110。在解调信号110的控制下，每一个锁定像素152整合通过在至少三个时间间隔期间的碰撞的光而在其中产生的电荷，每一个时间间隔对应于在调制信号的一个周期内的不同相位。每一个锁定像素152提供了响应信号113，用于指示不同时间间隔的整合电荷。根据Robert Lange的博士论文的术语集，该原始相位信息有时被称为“分接(tap)值”或“分接响应”。为了简化在接收的光和调制信号之间的相位差的计算，通常选择与分隔90°的相位对应的四个整合间隔。对于每一个像素，因此对于每一个获取的图像检索四个分接值(称为A0、A1、A2、A3)。分接值被计算单元114转换为相位信息115。使用四个分接值，将相位差计算如下：
Figure BDA0000155368460000072
其中，atan2(x，y)是四象限反正切函数，得出在平面的正x轴和在那个平面上的具有坐标(x，y)的点之间的角度。对于偏移补偿，距离相机包括校准锁定像素153，校准锁定像素153经由参考光路(由光导117提供)从照明模块105接收调制光。因为已知参考光路的长度，所以使用来自参考锁定像素的分接响应计算的相位差可以用于确定全局偏移(即，对于所有锁定像素公共的)。因此可以补偿因为照明单元的老化或因为改变的环境温度导致的相移。计算单元114优选地是数字电路，诸如数字ASIC(专用集成电路)或FPGA(现场可编程门阵列)。优选地作为微控制器的控制单元116进一步处理距离信息以例如提取对象特性。关于相位
Figure BDA0000155368460000073
计算单元116计算反射光的调制振幅A和照明的非调制偏移B：
A = 1 2 ( A 2 - A 0 ) 2 + ( A 3 - A 1 ) 2
B＝(A1+A2+A3+A4)/4
通过数学方式，因此通过下面的公式给出在给定的锁定像素中接收的光强：
Figure BDA0000155368460000075
其中，f是调制频率，并且其中，已经假设A和B在调制周期的时标上保持基本上不变。相位
Figure BDA0000155368460000076
可以被看作距离值：如果对于以测量单位表示距离感兴趣，则可以使用：
其中，c是光速。
振幅和背景信息是有用的，例如用于确定是否可以依赖所计算的相位。高比率B/A指示仅调制在像素中接收的光的小部分，即，源自照明单元的部分。因此，如果比率B/A超过预定义的阈值，则可以将测量的距离值视为无效。
现在转向根据本发明的方法的优选实施例的描述，假定获取的距离图像由像素构成，每一个像素包含测量的距离值(例如，表达为相位
Figure BDA0000155368460000081
测量距离r或具有另一个方便的单位)。除了测量误差之外，每一个测量的距离值对应于从成像器至被成像到所涉及的像素上的场景的部分的径向距离。
假定因此标注包含无效距离值的任何像素。在本实施例中，通过将像素的被认为的无效距离值替换为预定义的最大距离值来进行该像素的标注，该预定义的最大距离值可以例如对应于其中可以执行清楚的测量的距离间隔的上限。
进一步假设，场景的背景通常是静态的，但是当向场景添加静态对象或从场景去除静态对象时可以改变。
该方法产生参考距离图像，其每一个像素包含参考距离值，该参考距离值在测量精度内对应于场景背景的距离极限，或者，如果背景对象距离成像器太远，则该参考距离值在测量精度内对应于成像器的距离上限。对象是否是背景的一部分可以取决于在其中使用该方法的应用。距离成像系统的可能应用例如在交通管理中。在停车场的监控系统中，停泊的车辆不被视为场景背景，而是被视为要检测的前景对象。然而，在用于控制交通灯的系统中，停泊的车辆应当不对于交通灯的运行有影响，并且因此可以被视为场景的背景的一部分。
如果对象被添加到场景并且至少在特定的时间间隔中保持静态，则那该对象被认为是背景的一部分，并且，更新参考距离图像使得它包含作为背景的一部分的该对象。如果对象进入场景内，则对于在其上映射这个对象的像素所测量的径向距离将比参考距离短。因为未预先已知进入场景内的对象是否将稳定地呆在该场景内，所以不能在对象的进入后立即更新参考图像。在其后对象被看作静态并且因此被看作背景的一部分的时间取决于应用，并且因此是能够被参数化的。在交通灯控制系统的示例中，这个时间可以例如是交通灯系统的最大周期。
如果从场景去除静态对象，则比在前一个情况下更快地更新参考图像。当已经去除对象时，成像器将测量被包含到参考距离图像内的较高距离值。在当从场景去除静态对象时的时刻，径向测量距离大于针对这个对象被映射到的那些像素的参考距离。在该情况下，优选地将参考距离值尽快地更新为新的更大的距离，因为只要未更新参考图像则进入由被去除的静态对象先前占用的空间内的非静态对象可以被无意地忽略。值得注意的是，对于2D视觉系统提出的动态背景产生方法总是受到下述缺点的影响：2D视觉系统不能在添加的对象和从场景去除的对象之间区分，至少不能在像素级上区分。这样的方法因此总是提供用于更新参考图像的相同的时延，而不考虑是否已经添加或去除了静态对象。
成像器在每一个帧中获取可以被表达为矩阵Im＝(Im(i，j))i，j的距离图像，其中，索引i和j分别指定图像的像素的列和行。Im(i，j)是在列i和行j的相交处的像素的测量距离值，除非成像器已经确定测量的距离值是无效的。在该情况下，将Im(i，j)设置为等于值MAX_RANGE，值MAX_RANGE将像素标注为包含无效距离值。如果测量的距离值太大而不能表示可靠的距离测量(可以根据应用、成像器的类型和成像器的位置来选择用于将测量的距离值视为太大的阈值)或如果比率B/A超过预定义的阈值，则将测量的距离值认为是无效的。
参考图像被表示为ImR＝(ImR(i，j))i，j。ImR(i，j)是在列i和行j的相交处的像素的参考距离值。应当注意，也可以通过单个索引来标识像素。
为了动态地更新参考图像ImR，引入下面的变量：
(ImS(i，j))i，j 是瞬态参考图像，具有像素值ImS(i，j)；
TS(i，j)是“瞬态计数器”，用于计数连续帧的数量的计数器(或定时器)，在该连续帧中，Im(i，j)在瞬态参考图像的对应像素的值ImS(i，j)周围稳定；
TR(i，j)是“参考计数器”，用于计算连续帧的数量的计数器(或定时器)，在该连续帧中，Im(i，j)在参考距离图像的对应像素的值ImR(i，j)周围稳定；
TB(i，j)“背景计数器”，用于计数连续帧的数量的计数器(或定时器)，在该连续帧中，Im(i，j)等于MAX_RANGE(即，其中，测量的距离值已经被认为无效)。
与这些变量一起，引入下面的可定制的参数：
N_IN    帧的数量，在其之后，如果在瞬态参考图像ImS中的对应像素的值ImS(i，j)被认为小于参考距离图像的参考距离值ImR(i，j)，则ImR(i，j)被替换为ImS(i，j)。
N_OUT  帧的数量，在其之后，如果在瞬态参考图像ImS中的对应像素的值ImS(i，j)被认为大于参考距离图像的参考距离值ImR(i，j)，则ImR(i，j)被替换为ImS(i，j)。N_OUT被选择为小于N_IN，使得当静态对象离开场景时比当这样的对象进入场景时更快地更新参考距离值。
N_BG    帧的数量，在其之后，如果测量的距离值已经被认为无效，则将参考距离图像的参考距离值ImR(i，j)替换为最大距离值MAX_RANGE。
对于每一个像素(i，j)单独地执行下面的步骤的每一个。
步骤1：查看像素(i，j)测量的稳定性：
步骤1a：在存在针对像素(i，j)的可靠(有效)距离测量的情况中，将进入的测量距离值Im(i，j)与参考图像ImR(i，j)作比较。如果这两个值在某个容差±σ内相等，则将计数器TR(i，j)递增(一个单位)，复位瞬态计数器TS(i，j)，并且也复位背景计数器TB(i，j)。可以将容差参数σ选择为固定值或依赖于测量(即，距离值和/或对应振幅值)或依赖于帧计数器值TR(i j)的值。如果进入的测量距离值Im(i，j)位于在参考距离值ImR(i，j)周围的容差间隔中，则通过诸如浮动平均或中值的某种适当的滤波方法将它整合到距离图像ImR(i，j)内。复位计数器TS(i，j)。
步骤1b：一旦针对像素(i，j)的测量的距离值Im(i，j)与参考值相差大于σ的量，则使用进入的值Im(i，j)来初始化新的瞬态像素值ImS(i，j)。如果对于随后的帧Im(i，j)保持与ImR(i，j)不同，则将距离测量与瞬态距离图像作比较。如果测量Im(i，j)在瞬态值ImS(i，j)周围稳定，则递增对应的计数器TS(i，j)。如果测量的距离值位于在瞬态像素值周围的特定容差内，则测量的距离值被认为在瞬态像素值周围稳定。所使用的容差可以与在步骤1a中的相同，但是也可以被选择得不同。一旦测量的距离值位于在瞬态像素值ImS(i，j)周围的容差间隔之外，则后者将被设置为等于Im(i，j)。
步骤1c：如果测量的距离值Im(i，j)是不可靠(无效)的，则递增计数器TB(i，j)，否则将其复位。
步骤2：更新参考图像
步骤2a：如果进入的测量距离值Im(i，j)位于在瞬态像素值ImS(i，j)周围的容差间隔之外，则通过诸如浮动平均或中值的某种适当的滤波方法将它整合到瞬态像素值ImS(i，j)内。
步骤2b：如果瞬态计数器TS(i，j)足够大，则将参考距离值ImR(i，j)和其计数器TR(i，j)分别设置为等于瞬态像素值ImS(i，j)和瞬态计数器TS(i，j)。计数器TS(i，j)足够大意味着如果瞬态像素值ImS(i，j)小于ImR(i，j)(新的对象进入了场景)则它大于可定制的参数N_IN，或者如果瞬态像素值ImS(i，j)大于ImR(i，j)(对象离开了场景)则它大于N_OUT。
步骤2c：如果进入的测量距离值Im(i，j)是不可靠(无效)的并且计数器TB(i，j)大于可定制参数N_BG，，则将参考距离值ImR{i，j}设置为等于最大距离值MAX_RANGE，将其相关联的计数器TR(i，j)设置为等于TB(i，j)的值，并且复位计数器TS(i，j)。
取代将在步骤2b和2c中的计数器TB(i，j)和TS(i，j)与固定阈值作比较，也可以对计数器引入相对条件，例如，将它们与计数器TR(i，j)作比较。用于将参考距离值设置为最大距离值(步骤2c)的条件可以例如是：TB(i，j)＞N_BG或者TB(i，j)＞TR(i，j)。
因为仅在可靠的测量的距离值的情况下执行步骤1a、1b、2a和2b，因此忽略不可靠测量，除非它们持续处于给定像素(i，j)中达到大于N BG的时间段(步骤2c)。
选择用于第一和第二时间段的不同值(时间阈值N_IN和N_OUT)允许比将参考距离值更新为较低值更快地将参考距离值更新为较高值。通过适当地选择N_OUT和N_IN，可以将参考距离值立即复位为较高值，而在将新的静态对象整合到参考距离图像内作为背景的一部分之前，需要特定的等待时间。
根据步骤1b，每当可靠的进入测量距离值偏离瞬态像素值时，复位瞬态像素值。以这种方式，保证不将非静态对象视为背景的一部分，并且相反，参考距离值保持不变。
可以省略如在步骤2a和2b中通过适当的滤波方法来将进入的测量距离值整合到参考距离值内。然而，通过考虑来自几个连续测量距离值的贡献而不是单个测量距离值的贡献，因为噪声被过滤出去，因此提高参考距离值的精度。以这种方式，动态参考图像产生运行得越长，则参考距离图像将会越精确。
下面，用伪代码来总结如上所述的方法的优选实施例：
/*对于每一个像素(i，j)检查距离测量的稳定性*/
1IF Im(i，j)≠MAX_RANGE  /*可靠距离测量值的情况*/
2IF ImR(i，j)-σ≤Im(i，j)≤ImR(i，j)+σ
/*新值对应于参考值*/
3TR(i，j)＝TR(i，j)+1/*递增参考计数器*/
4Integrate Im(i，j)into ImR(i，j)
5TS(i，j)＝0
6ELSE    /*在参考图像距离之外*/
7IF ImS(i，j)-σ≤Im(i，j)≤ImS(i，j)+σ
/*在瞬态参考图像距离之内*/
8TS(i，j)＝TS(i，j)+1/*递增瞬态计数器*/
9Integrate Im(i，j)into ImS(i，j)
10ELSE    /*在瞬态参考图像范围之外*/
11ImS(i，j)＝Im(i，j)/*启动新的瞬态参考图像*/
12TS(i，j)＝1
13TB(i，j)＝0/*复位背景计数器*/
14ELSE    /*不可靠距离测量值的情况*/
15TB(i，j)＝TB(i，j)+1/*递增背景计数器*/
/*通过瞬态值来更新参考图像值*/
16IF((ImS(i，j)＜ImR(i，j))AND(TS(i，j)＞N_IN))
17OR((ImS(i，j)＞ImR(i，j))AND(TS(i，j)＞N_OUT))
18ImR(i，j)＝ImS(i，j)
19TR(i，j)＝TS(i，j)
20TS(i，j)＝0
/*通过最大距离值来更新参考图像值*/
21IF((TB(i，j)＞TR(i，j))OR(TB(i，j)＞N_BG))
22ImR(i，j)＝MAX_RANGE
23TR(i，j)＝TB(i，j)
24Reset ImS(i，j)
25TS(i，j)＝0
可以在运行时间确定N_IN(即，第一时间段)的值。例如，在系统启动时，可以在低值初始化N_IN，然后将其保持等于TR(i，j)的历史高值，直到达到最大值N_INmax，即，对于每一个帧，可以将N_IN设置为min(N_INmax，max(N_IN，TR(i，j)))。替代地，也可以使得N_IN从启动时起随着时间线性地增大，直到达到最大值N_INmax。N_OUT(即，第二时间段)的值优选地被选择为帧的预定绝对数量。
图2说明当静态对象被置于正在被监视的场景时，获取的距离图像(顶行)、参考距离图像(中行)和在通过将在参考距离图像和获取的距离图像中具有相同值的像素设置为最大距离值而获得的无背景距离图像(底行)的在时间上的演进。N表示帧编号，其从左向右增大。图像示出从上面监视的房间(成像器被固定在天花板处，并且被定向为垂直于地板，通过在每一个图像中的白色背景来表示该地板)。轮廓对应于与成像器等距离的多组点。最内轮廓最接近成像器。在帧0处，人10在场景的中间布置箱子形式的静态对象12。人10然后离开场景，而对象12在特定时间中保持不动。在N＝0处初始化参考距离图像，如在中行的第一帧中所示。在N＜N_IN(第一和第二列)时，参考距离图像不改变。在对象12已经保持不动超过N_IN个帧时，更新参考距离图像。对于以后的时间(最后的列)，对象12被认为形成背景的一部分，由此便利在成像器的视场中识别人14。
图3说明在图2的情况之后的获取的距离图像(顶行)、参考距离图像(中行)和无背景距离图像(底行)的在时间上的演进。在图3中的N＝0对应于在图2中的N_IN之上的帧编号。在N＝0处，人10从场景去除对象12。成像器现在测量在先前由对象12占用的区域中的较大距离值。一旦N＞N_OUT(在图3中的第三和第四列)，则更新参考距离图像。
该方法可以与任何其他应用并行地运行，因此动态地更新每一个帧的参考距离图像(方法运行的预定义速率在该情况下对应于成像器的帧速率)。替代地，参考距离图像更新可以以比图像获取周期长的任何周期周期地运行，以例如减少计算工作量。对于其中不预期背景随着时间改变的场景，本发明也可以用于在系统设置时或在服务维护时通过在几个帧的短时间(例如，几分钟)中运行它来建立参考距离图像。帧的数量越大，参考距离图像越精确。在这些情况下本发明的益处是：即使在参考距离图像产生期间对象或人在移动通过场景的情况下也可以产生正确的参考距离图像。
图4示出包括在人行横道18上的升高位置中布置的距离相机16的交通监视和控制系统。距离相机被布置使得人行横道18位于其视场20中。由距离相机16获取的距离图像被发送到处理距离图像的中央控制单元(未示出)。该中央控制单元被配置来执行如上所述的动态参考距离图像产生，并且识别位于人行横道18上或在行人灯24处等待的行人22。如果行人在人行横道处等待，则系统将此解释为将行人灯转换为“行走”标记的请求。在距离相机16的视场内保持不动达到预定第一时间段(被表达为例如N_IN)的、诸如停泊的小汽车26的对象使得更新被系统保存在存储器中的参考距离图像。因此，在无背景图像中消除静态对象，这便利了兴趣对象(移动汽车、仅短时间停止的车辆、行人等)的识别。如果静态对象离开距离相机的视场，则更快地更新参考图像，以便保证正确的背景用于在另一个道路用户占用由该静态对象先前占用的空间的情况下进行相减。对于本申请，第一时间段优选地被选择为大于交通灯的最大时间段(最长可能循环的持续时间)——因为兴趣对象在那个时间内保持不动是非常不可能的。如果例如交通灯系统的周期是2分钟，则可以假定每一个可能的兴趣道路用户已经在这个时间段中移动。选择其间对象必须保持静态以便在参考图像中出现得长于2分钟的时间间隔，从而保证交通参与者不被认为是背景的一部分。

Claims (15)

1.动态参考距离图像产生方法，包括：
提供由像素构成的参考距离图像，每一个像素包含参考距离值；
提供由像素构成的获取的距离图像，所述获取的距离图像的每一个像素在所述参考距离图像中具有对应的像素，并且包含测量的距离值，以预定帧速率更新所述测量的距离值，因此标注包含无效的测量的距离值的所述获取的距离图像的像素；
将未被标注为包含无效的测量距离值的、所述获取的距离图像的每一个像素的所述测量的距离值与所述参考距离图像的所述对应的像素的所述参考距离值作比较，并且
i)如果在下述情况下，则更新所述参考距离值
i.a)所述测量的距离值被认为小于所述参考距离值，并且保持基本上不变达到第一时间段，或
i.b)所述测量的距离值被认为大于所述参考距离值，并且保持基本上不变达到比所述第一时间段小的第二时间段；或者
ii)如果条件i.a)和i.b)都未被满足，则保持所述参考距离值基本上不变。
2.根据权利要求1所述的方法，其中，在情况i)下更新所述参考距离值包括：将所述参考距离值更新为所述测量的距离值与所述测量的距离值和一个或多个先前测量的距离值的平均值中的一个。
3.根据权利要求1或2所述的方法，其中，只有所述参考距离值超过所述测量的距离值至少预定义的容差值，所述测量的距离值才被认为小于所述参考距离值。
4.根据权利要求1至3的任何一项所述的方法，其中，只有所述测量的距离值超过所述参考距离值至少预定义的容差值，所述测量的距离值才被认为大于所述参考距离值。
5.根据权利要求1至4中的任何一项所述的方法，其中，在情况ii)下保持所述参考距离值基本上不变包括：如果所述测量的距离值被认为既不大于也不小于所述参考距离值，则将所述测量的距离值的贡献整合到所述参考距离值中，其中，使用诸如移动平均滤波器、中值滤波器等的预定滤波器来确定所述测量的距离值的所述贡献。
6.根据权利要求1至5的任何一项所述的方法，其中，所述第一时间段和/或所述第二时间段被预定义为绝对时间段。
7.根据权利要求1至5的任何一项所述的方法，其中，将所述第一时间段或所述第二时间段设置为等于下述时间段：在所述时间段期间，在所述第一时间段或所述第二时间段分别已经开始之前，所述测量的距离值被认为既不大于也不小于所述参考距离图像。
8.根据权利要求1至7的任何一项所述的方法，包括：对于被标注为包含无效的测量的距离值的所述获取的距离图像的每一个像素，如果所述像素保持被标注为包含无效的测量距离值达到第三时间段，则将所述参考图像的所述对应的像素的所述参考距离值更新为最大距离值。
9.根据权利要求8所述的方法，其中，所述第三时间段被设置为等于预定时间段和和下述时间段中的一个：在所述时间段期间，在所述获取的距离图像的所述像素被标注为包含无效的测量的距离值之前，所述测量的距离值被认为既不大于也不小于所述参考距离图像。
10.根据权利要求8所述的方法，其中，所述第三时间段被设置为等于预定时间段和下述时间段中较短的一个：在所述时间段期间，在所述获取的距离图像的像素被标注为包含无效的测量的距离值之前，所述测量的距离值被认为既不大于也不小于所述参考距离图像。
11.一种用于识别距离图像内兴趣对象的方法，所述方法包括：
根据在权利要求1至5的任何一项中所述的方法来产生动态参考图像；
基于所述获取的距离图像和所述参考距离图像来计算无背景的距离图像；
进行到在所述无背景图像中的对象识别。
12.包括指令的计算机程序，所述指令当所述计算机程序被在计算机上执行时使得所述计算机执行根据权利要求1至11的任何一项所述的方法。
13.包括载体介质的计算机程序产品，所述载体介质承载具有计算机可实现的指令的程序代码以用于使得计算机执行根据权利要求1至11的任何一项所述的方法。
14.距离相机，包括用于执行根据权利要求1至11的任何一项所述的方法的模块，所述模块优选地包括专用集成电路、现场可编程门阵列、数字信号处理器和计算机程序中的至少一种。
15.一种交通监视和/或控制系统，包括被布置在选择的位置中的一个或多个距离相机(16)以使得所述距离相机(16)能够获取道路用户(22)的距离图像，所述系统包括被配置来执行根据权利要求1至10的任何一项所述的动态参考距离图像产生方法和/或用于识别在由所述一个或多个距离相机(16)获取的所述距离图像内的兴趣对象的、根据权利要求11所述的方法的模块。
CN201080047423.9A 2009-09-23 2010-09-16 用于距离成像系统的实时动态参考图像产生 Active CN102576407B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP09171117A EP2302564A1 (en) 2009-09-23 2009-09-23 Real-time dynamic reference image generation for range imaging system
EP09171117.6 2009-09-23
PCT/EP2010/063626 WO2011036090A1 (en) 2009-09-23 2010-09-16 Real-time dynamic reference image generation for range imaging system

Publications (2)

Publication Number Publication Date
CN102576407A true CN102576407A (zh) 2012-07-11
CN102576407B CN102576407B (zh) 2014-10-15

Family

ID=42116047

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080047423.9A Active CN102576407B (zh) 2009-09-23 2010-09-16 用于距离成像系统的实时动态参考图像产生

Country Status (5)

Country Link
US (1) US9400917B2 (zh)
EP (1) EP2302564A1 (zh)
CN (1) CN102576407B (zh)
DE (1) DE112010003752T5 (zh)
WO (1) WO2011036090A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105324792A (zh) * 2013-04-11 2016-02-10 奥尔德巴伦机器人公司 用于估计移动元件相对于参考方向的角偏差的方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8693725B2 (en) 2011-04-19 2014-04-08 International Business Machines Corporation Reliability in detecting rail crossing events
US9060093B2 (en) * 2011-09-30 2015-06-16 Intel Corporation Mechanism for facilitating enhanced viewing perspective of video images at computing devices
KR101393570B1 (ko) * 2012-12-28 2014-05-27 현대자동차 주식회사 선택적 조명을 이용한 손 제스처 인식 방법 및 시스템
US10291329B2 (en) * 2013-12-20 2019-05-14 Infineon Technologies Ag Exchanging information between time-of-flight ranging devices
JP6547292B2 (ja) * 2014-02-05 2019-07-24 株式会社リコー 画像処理装置、機器制御システム、および画像処理プログラム
PL239620B1 (pl) * 2015-11-18 2021-12-20 Symbol Technologies Llc Sposoby i układ do szacowania napełnienia pojemnika
US9940730B2 (en) 2015-11-18 2018-04-10 Symbol Technologies, Llc Methods and systems for automatic fullness estimation of containers
US10713610B2 (en) 2015-12-22 2020-07-14 Symbol Technologies, Llc Methods and systems for occlusion detection and data correction for container-fullness estimation
US10783656B2 (en) 2018-05-18 2020-09-22 Zebra Technologies Corporation System and method of determining a location for placement of a package
US11836938B2 (en) * 2019-06-18 2023-12-05 Sony Semiconductor Solutions Corporation Time-of-flight imaging apparatus and time-of-flight imaging method
KR20210152221A (ko) * 2020-06-08 2021-12-15 현대자동차주식회사 영상 처리 장치, 그를 가지는 차량 및 그 제어 방법
CN113793331B (zh) * 2021-11-15 2022-05-13 湖南华城检测技术有限公司 一种基于数字图像的应变测量方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0671706A2 (en) * 1994-03-09 1995-09-13 Nippon Telegraph And Telephone Corporation Method and apparatus for moving object extraction based on background subtraction
CN1391404A (zh) * 2001-06-12 2003-01-15 夏普公司 图像监视的设备、方法和处理程序

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997000582A1 (en) * 1995-06-16 1997-01-03 Princeton Video Image, Inc. System and method of real time insertions into video using adaptive occlusion with a synthetic reference image
BR9712804B1 (pt) 1996-09-05 2011-04-19 método e aparelho para determinar a informação de fase e/ou amplitude de uma onda eletromagnética.
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
EP1703741A1 (en) 2005-03-17 2006-09-20 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. 3-d imaging system
US9031279B2 (en) * 2008-07-09 2015-05-12 Disney Enterprises, Inc. Multiple-object tracking and team identification for game strategy analysis

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0671706A2 (en) * 1994-03-09 1995-09-13 Nippon Telegraph And Telephone Corporation Method and apparatus for moving object extraction based on background subtraction
CN1391404A (zh) * 2001-06-12 2003-01-15 夏普公司 图像监视的设备、方法和处理程序

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105324792A (zh) * 2013-04-11 2016-02-10 奥尔德巴伦机器人公司 用于估计移动元件相对于参考方向的角偏差的方法
CN105324792B (zh) * 2013-04-11 2018-05-11 奥尔德巴伦机器人公司 用于估计移动元件相对于参考方向的角偏差的方法

Also Published As

Publication number Publication date
EP2302564A1 (en) 2011-03-30
US9400917B2 (en) 2016-07-26
DE112010003752T5 (de) 2013-06-27
WO2011036090A1 (en) 2011-03-31
US20120229646A1 (en) 2012-09-13
CN102576407B (zh) 2014-10-15

Similar Documents

Publication Publication Date Title
CN102576407A (zh) 用于距离成像系统的实时动态参考图像产生
JP2020507829A (ja) 整合画像及びｌｉｄａｒ情報に基づいた車両ナビゲーション
KR20220042202A (ko) Lidar 측정을 위한 처리 시스템
US9275458B2 (en) Apparatus and method for providing vehicle camera calibration
WO2017014691A1 (en) Generating a distance map based on captured images of a scene
Do et al. Visible light communication-based vehicle-to-vehicle tracking using CMOS camera
KR102596831B1 (ko) 하이브리드 비행-시간 및 이미저 모듈
CN101825431A (zh) 用于三维传感的参考图像技术
CN111652060B (zh) 一种基于激光雷达的限高预警方法、装置、电子设备及存储介质
EP3065087A1 (en) Information processing apparatus, image capturing apparatus, control system applicable to moveable apparatus, information processing method, and carrier medium of program of method
US20170372444A1 (en) Image processing device, image processing method, program, and system
US20150062306A1 (en) System and Methods for Depth Imaging using Conventional CCD Image Sensors
CN110853085B (zh) 基于语义slam的建图方法和装置及电子设备
CN106896370B (zh) 结构光测距装置及方法
US20160321820A1 (en) Systems and methods for 3d point cloud processing
GB2472793A (en) Measuring the speed of a vehicle using the relative size of a feature of the vehicle in an image to determine distance to the vehicle.
CN110794844B (zh) 自动驾驶方法、装置、电子设备及可读存储介质
Yan et al. Opencalib: A multi-sensor calibration toolbox for autonomous driving
CN104012081A (zh) 三维物体检测装置
US10733740B2 (en) Recognition of changes in a detection zone
Gaspar et al. Urban@ CRAS dataset: Benchmarking of visual odometry and SLAM techniques
Nagy et al. SFM and semantic information based online targetless camera-LIDAR self-calibration
EP3914995A1 (en) Environmental model maintenance using event-based vision sensors
US11069071B1 (en) System and method for egomotion estimation
Spannaus et al. AUTOMATUM DATA: Drone-based highway dataset for the development and validation of automated driving software for research and commercial applications

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20120711

Assignee: Beijing Hangxing Technology Development Co., Ltd.

Assignor: IEE International Electronic Engineering AG

Contract record no.: 2017990000045

Denomination of invention: Real-time dynamic reference image generation for range imaging system

Granted publication date: 20141015

License type: Exclusive License

Record date: 20170203

EE01 Entry into force of recordation of patent licensing contract