CN113671514A - 运动对象的检测 - Google Patents

Abstract

本申请涉及运动对象的检测。给出了用于检测在运动方向(50)上相对于相机(10)运动的对象(48)的相机(10)，其中相机(10)具有：图像传感器(18)，用于记录在相机视场(14、56)中的对象(48)的图像数据；根据光飞行时间法原理的具有多个测量区(30a)的光电距离传感器(24)，用于测量与在距离测量视场(58)中的对象(48)的多个距离值；以及控制和评估单元(38)，其与图像传感器(18)和距离传感器(24)连接。在此，控制和评估单元(38)被配置用于通过在配置时间内测量距离值并评估距离值和/或其变化来确定对象区域作为对象(48)在其中运动的区域，进而在距离测量视场(58)内为距离传感器(24)自动地配置感兴趣区域(60)。

Description

运动对象的检测

本发明涉及根据权利要求1或12的主题的用于检测在运动方向上运动的对象的相机和方法。

在工业应用中，相机以多种方式用于自动地检测对象属性，例如用于检查或测量对象。在此，记录对象的图像并且根据任务通过图像处理方法来评估图像。相机的另一个应用是读取代码。借助于图像传感器来记录具有位于其上的代码的对象、在图像中识别代码区域并随后对其进行解码。基于相机的读码器也可以容易地处理与一维条形码不同的代码类型，该代码类型如同矩阵码一样也被构造成二维的并且提供更多信息。原则上，打印地址或手写字体的自动文本检测(OCR，Optical Character Recognition，光学字符识别)也是代码读取。读码器的典型应用领域是超市收银台、自动包裹识别、邮寄件分类、机场行李处理和其他物流应用。

常见的检测情况是将相机装配在传送带上方。相机在传送带上的对象流的相对运动期间记录图像，并根据所获得的对象属性开始接下来的处理步骤。这样的处理步骤例如为：在作用于被传送的对象的机器上适配于具体对象的进一步处理；或者通过在质量控制范围内将某些对象从对象流中抛出来改变对象流；或者将对象流分类为多个子对象流。如果相机是基于相机的读码器，则基于附着的代码来识别对象以进行正确的分类或类似的处理步骤。

通常，相机是复杂的传感器系统的一部分。例如，在传送带上的读取通道中，通常预先用单独的激光扫描仪来测量所传送的对象的几何形状，并由此确定焦点信息、触发时间点、具有对象的图像区域等。这需要对上游的激光扫描仪进行大量的手动设置步骤以及在相机中对该激光扫描仪的输入数据进行正确处理。

DE 10 2018 105 301 A1提出了一种具有集成的距离传感器的相机。借此也可以用空间分辨率测量多个距离，但是到目前为止，距离传感器的多个测量区的读出只能按顺序进行。因此，不能明确地重建高度轮廓，或者仅通过努力并且知道对象的传送速度的情况下才能实现。在DE 10 2018 105 301 A1中，距离传感器是相机中使用的附加信息的来源。然而并不对距离传感器本身进行配置。

DE 10 2017 129 609 A1公开了一种3D相机，该3D相机将其检测区域划分成二维网格上的柱状单元。通过对这些单元中的检测进行统计学评估来检测运动。然而，这不是具有用于确定相机辅助参数的距离传感器的相机，而是相机本身测量距离，目的是作为实际测量结果的运动检测。并不基于这些测量进行配置。

从EP 2 708 914 A1或EP 3 339 887 B1分别已知一种光接收器，该光接收器具有盖革模式(Geigermodus)的雪崩光电二极管或SPAD(Single-Photon Avalanche Diode，单光子雪崩二极管)，利用它们来确定光飞行时间，并从而确定距离。在此，可以通过调节偏置电压来激活和去激活光接收器的部分区域。同样，距离是测量的实际目标，而不是相机的辅助参数。

因此，本发明的任务是简化具有距离传感器的相机的操作。

该任务通过根据权利要求1或12的用于检测在运动方向上运动的对象的相机和方法来实现。利用图像传感器记录对象的图像数据。由于对象与相机之间的相对运动，对象在相机视场内运动或运动通过相机视场。除了图像传感器之外，相机还包括根据光飞行时间法原理的光电距离传感器，该距离传感器具有多个测量区。优选地，一个测量区具有一个或更多个光接收元件。每个测量区都能够测量距离值，从而在总体上实现多个距离值的横向空间分辨率的测量。距离传感器具有距离测量视场，该距离测量视场与相机视场不同。控制和评估单元可以访问图像传感器的图像数据和距离传感器。

本发明基于能够实现自动地配置距离传感器的基本思想。在此，应在距离测量视场内为距离传感器确定感兴趣区域(ROI，region of interest)。应特别强调的是，这涉及距离传感器的配置和感兴趣区域，而不涉及相机本身。确定对象实际运动的对象区域，因为只有对象区域才提供相关信息。这特别地涉及横向于运动方向的适当限定，其中也优选地沿运动方向进行限定，借助于此来及时地测量即将到来的对象。

感兴趣区域基于对象区域来定义，特别是通过选择某些测量区。这可以意味着恰好将感兴趣区域确定为对象区域，但是也可以进行调整以添加或删除部分区域。为了找到对象区域，在一定的配置时间内观察距离测量视场。评估在此测量到的距离值或其变化。例如，配置时间是预先规定的，或者在已经检测到足够的距离值时结束。配置时间先于实际操作或与实际操作重叠，例如其方式为距离传感器最初以其完整的距离测量视场操作，并且随后在一个步骤中或逐渐地将其限定到最佳的感兴趣区域。

本发明的优点在于，由自动过程代替了距离传感器的繁琐手动调节。对于给定的相机方位和现有环境，无需额外的努力就能适配距离传感器，并且同时可靠地实现非常良好的甚至最佳的结果，这并不依赖于设置者的经验。因此，相机可以根据随后测量到的距离测量值根据情况的不同做出反应，例如触发记录、调节焦点或照明器。

优选地，距离传感器被集成到相机中。这获得了内部数据易于访问和装配显著简化的特别紧凑的结构。此外，距离传感器和相机的相互对准因而是已知的且确定的。

优选地，测量区可以被并行地读出。由此，可以在实践中同时检测多个横向空间分辨率的距离值，从而获得一致的高度轮廓。在常规的顺序读出中，距离值仍然必须利用不同的读出时间点和相对运动来进行计算。

优选地，控制和评估单元被配置用于在变化时间内确定相应的测量区的距离值变化的统计学度量。为了简化和缩短，变化时间可以对应于配置时间或与其重叠，但不一定与其相关联。特别地，统计学度量是每个测量区的距离值的方差或标准差。如果统计学度量超过容差阈值，则距离值在变化时间内的变化大于由噪声而引起的变化。因此，可以假设至少一个对象已经运动通过相应的测量区，该测量区因此属于对象区域。优选地，对所有测量区执行测量和评估。

优选地，控制和评估单元被配置用于在背景检测时间内相应地确定相应的测量区的距离值的最大值。以这种方式确定的最大值得出没有运动对象的背景的高度轮廓。由于对象因相对运动而被认为是暂时的，因此与背景相比，只要这些对象在距离测量视场中运动，这些对象就会使测量距离缩短。因此，在考虑到对象尺寸和对象流的密度的情况下，如果背景检测时间是足够长的，则测量区也在某一时刻执行无对象的测量，并提供相应的最大值。背景检测时间可以与配置时间或变化时间一致或重叠，但在功能上不必如此。优选地，也为所有测量区确定背景。

优选地，控制和评估单元被配置用于基于最大值和预期的背景几何形状来适配感兴趣区域，其中特别地，适配涉及横向于运动方向的方向。在这样的实施方式中，感兴趣区域不仅由对象区域确定，而是被进一步适配。这基于对相关背景的预期，特别是对象在平坦的底面上运动，如在传送带的情况下。

可以通过适配来减小感兴趣区域。例如，当对象在侧向上部结构(Aufbauten)之间运动时是有利的。随后，在配置期间，测量区可以仍然以相对扁平的角度射到高的对象，尽管当不存在对象时，该测量区实际上仅覆盖侧向上部结构。优选地，这种测量区应不属于感兴趣区域，并且可以被识别出，因为该测量区的最大值与平坦的背景几何形状的假设不匹配。

反之，也可以通过适配来增大感兴趣区域。在此，还包括在配置时间期间在其中没有对象运动的测量区，尽管这些测量区实际上仍然覆盖相关的区域，例如传送带的边缘。在这里，感兴趣区域仍然延伸到最大值对应于预期的背景几何形状(这里是平坦的传送带)的程度。优选地，利用特定于应用的容差阈值实现对适配的评估，无论是减小还是增大。优选地，该适配涉及相对于运动方向的横向方向。只有在这里才能存在侧向上部结构，并且在运动方向上，对象无论如何都要穿过布置在那里的所有测量区。

优选地，控制和评估单元被配置用于沿运动方向将感兴趣区域限定于指向运动对象的进入区域。有利地，尽可能早地获得距离值，以便给相机时间在记录之前及时进行适配。这通过首先检测到对象的测量区来实现，例如在与运动方向相反的方向上尽可能远地位于相机视场上游的测量区或测量区的列。至少在测量频率足够快速时，位于运动方向下游的测量区仅提供冗余的距离值。对于功能而言，附加的测量区(而不仅是进入区域的那些测量区)测量距离值可能无害，但却增加了累积的数据量和评估的复杂性。

优选地，距离传感器具有可在盖革模式下运行的多个雪崩光电二极管，并且控制和评估单元被配置用于通过在对应于感兴趣区域的雪崩光电二极管中选择性地激活盖革模式来调节感兴趣区域。感兴趣区域或测量区的选择在这里不仅仅是软件调节，而是直接在前端激活。只有有源的雪崩光电二极管或测量区提供距离值，因此不需要特殊的滤波并且也可以降低距离传感器的功率消耗。通过施加高于或低于击穿电压的偏置电压，可以特别容易地激活和去激活盖革模式下的雪崩光电二极管元件。

优选地，距离测量视场突出到相机视场之外，特别是在与运动方向相反的方向上。因此，至少在对象到来的相关方向上，距离测量视场实际上大于相机视场。这使得更容易及时地检测相关距离值，以便调节相机。优选地，距离测量视场至少在沿着运动方向的两侧或者甚至在横向方向上大于相机视场。于是，不预先规定相机的装配方向，并且之后根据装配和环境来自由地选择，以在所有方向上对感兴趣区域进行配置。

优选地，控制和评估单元被配置用于读取与对象一起记录的代码的代码内容。因此，将相机转变为基于相机的读码器，其用于根据各种标准的条形码和/2D代码，必要时也用于文本识别(OCR，Optical Character Reading，光学字符读取)。

优选地，相机被固定地装配在传送装置处，该传送装置沿运动方向传送对象。这是相机的一个非常常见的工业应用，其中对象与相机处于相对运动。在固定的距离处存在已知的、通常扁平的背景，其为传送带或至少托盘或容器的形式，并且仅在一个维度上有效地存在均匀的对象流。

根据本发明的方法可以以类似的方式进一步说明并且在此显示出类似的优点。在独立权利要求之后的从属权利要求中以示例的、但非穷尽的方式描述了这样的有利特征。

附图说明

下面还基于实施例并且参考附图以示例性的方式更详细地阐述本发明的其他特征和优点。在附图中：

图1示出了具有光电距离传感器的相机的示意性剖视图；

图2示出了装配在传送带处的相机的示例性应用的三维视图；

图3示出了相机以及相机和距离传感器的相应视场的示意性剖视图；

图4在具有横向结构的传送带上方具有距离传感器的适配视场的相机的示例性图示；以及

图5示出了在图4的示例情况下在传送带宽度上测量到的距离值以及距离传感器的适配视场的图示。

图1示出了相机10的示意性剖视图。来自检测区域14的接收光12落到接收光学器件16上，该接收光学器件16将接收光12引导到图像传感器18上。优选地，接收光学器件16的光学元件被构造成物镜，该物镜由多个透镜和其他光学元件(例如，光阑、棱镜等)构成，但是为了简化起见，在这里仅由一个透镜来表示。

为了在相机10的记录期间用发射光20照亮检测区域14，相机10包括可选的照明单元22，其在图1中以简单光源并且没有发射光学器件的形式示出。在其他实施方式中，多个光源(例如，LED或激光二极管)例如围绕接收路径环形地布置，这些光源也可以是多色的并且可以成组地或单独地控制，以适配照明单元22的参数，例如其颜色、强度和方向。

除了用于检测图像数据的实际图像传感器18之外，相机10还具有光电距离传感器24，其利用光飞行时间法(ToF，Time of Flight)来测量与检测区域14中的对象的距离。距离传感器24包括具有TOF发射光学器件28的TOF光发射器26和具有TOF接收器光学器件32的TOF光接收器30。因此，TOF光信号34被发射并再次接收。光飞行时间测量单元36确定TOF光信号34的飞行时间，并由此确定与对象的距离，TOF光信号34在该对象上被反射回来。

TOF光接收器30具有多个光接收元件30a。光接收元件30a单独地或以较小的组形成测量区，利用这些测量区相应地确定距离值。因此，不检测单个距离值，而是距离值是空间分辨的，并且可以被组合成高度轮廓。优选地，可以并行地读取测量区，因此在相机10与检测到的对象之间存在相对运动时产生恒定的高度轮廓。TOF光接收器30的测量区的数量可以保持得相对小，例如几十个、几百个或几千个测量区，与图像传感器18的通常的百万像素分辨率相去甚远。

距离传感器24的结构是纯示例性的。借助光飞行时间法的光电距离测量是已知的，因此不再详细解释。两种示例性的测量方法是利用周期性调制的TOF光信号34的光混合探测(Photomischdetektion)和利用脉冲调制的TOF光信号34的脉冲飞行时间测量。在此，还存在高度集成的解决方案，其中TOF光接收器30与光飞行时间测量单元36或其至少一部分(例如，用于飞行时间测量的TDC(Time-to-Digital-Converter，时间-数字转换器))被安置在共同的芯片上。如下的TOF光接收器30特别适合于此，该TOF光接收器被构造成SPAD(Single-Photon Avalanche Diode，单光子雪崩二极管)光接收元件30a的矩阵。由SPAD光接收元件30a组成的测量区可以被有针对性地去激活和激活，其方式为将偏置电压调节成低于或高于击穿电压。由此，可以调节距离传感器24的有效范围。TOF光学器件28、32仅象征性地显示为代表任何光学器件(例如，微透镜阵列)的相应的单独透镜。

控制和评估单元38与照明单元22、图像传感器18和距离传感器38连接并且负责相机10中的控制任务、评估任务和其他协调任务。因此，该控制和评估单元读出图像传感器18的图像数据，以便存储这些图像数据或在接口40处输出这些图像数据。根据实施方式，控制和评估单元38出于各种目的使用距离传感器24的距离值，例如以便确定或调节相机参数、触发相机功能或评估图像数据，这还包括为了在相机10或上级系统中进行实际评估的预处理。优选地，控制和评估单元38能够找到图像数据中的代码区域并进行解码，由此将相机10变成基于相机的读码器。

相机10由外壳42保护，该外壳42在接收光12入射的前部区域中被前窗44封闭。

图2示出了装配在传送带46处的相机10的可能应用。相机10在此并且在下面仅作为单个符号示出，并且不再以其基于图1阐述的结构来示出。传送带46将对象48传送通过相机10的检测区域14，如箭头的运动方向50所示。对象48可以在其外表面上携带代码区域52。相机10的任务是检测对象48的属性，并且在作为读码器的优选应用中识别代码区域52、读出附着在其上的代码、对其进行解码、并且将其与相应的所属对象48相关联。为了也检测对象侧面并且特别是附着到侧面的代码区域54，优选地从不同的角度使用附加相机10(未示出)。

图3以剖视图再次示出了相机10，以解释各种视场(FOV，Field of View)。检测区域14在这里区分为实际相机10或其图像传感器18的相机视场56(点划线)和距离传感器24的距离测量视场58(虚线)。

根据本发明，相机10能够自动地为距离传感器24将感兴趣区域60调节为距离测量视场58的部分区域。对此有利地，距离测量视场58至少在与对应于即将到来的对象48的运动方向50相反的方向上大于相机视场56。为了不固定相机10的装配方向，可以选择总体上较大的距离测量视场58。

距离传感器24及早检测在感兴趣区域60中的对象48，以便在对象48到达记录位置之前(例如，在相机视场56的中心)给相机10时间根据距离值进行调整。相反，远离记录位置的区域62对于距离测量而言不再是感兴趣的，至少就相机10的调节而言不再如此，因为这种测量来得太晚了。根据记录位置、距离传感器24的测量频率和相机10的与距离相关的调整的持续时间，区域62可以更早开始，即在图3中向左偏移。可以将区域62称为过去，并且将其左边的区域称为未来，因为在这里，对象48已经离开记录位置或者这些对象还没有到达记录位置。

因此，对感兴趣区域60的非常粗略的选择可以仅排除区域62。然而，优选对感兴趣区域60进行更精确地调节。一方面，这是沿运动方向50进行的，并且限定于对象48的最早进入区域，如图3所示。此外，感兴趣区域60的调节可以横向于运动方向50进行，以便例如在一侧完全覆盖传送带46，而在另一侧不覆盖传送带46另一边的任何侧面区域。精确调节的感兴趣区域60减少了数据量和所需带宽，因此也简化了评估。此外，还可以设想的是，如果距离传感器24的工作区域减小到更少的测量区，则可以提高距离传感器24的测量频率。如已经在上面提到的，感兴趣区域60优选地通过有针对性地激活相关联的测量区中的相应的SPAD光接收元件30a来调节。

下面阐述用于调节感兴趣区域60的示例性的自动过程。原则上，感兴趣区域60可以手动调节，例如在相机10的配置菜单中。然而，根据本发明，这是自动完成的，其方式为例如相机10在按下按钮时开始相应的自校准，从而为距离传感器24自动地激活合适的感兴趣区域60。

感兴趣区域60的调节涉及沿运动方向50和横向于运动方向50的方向。如参照图3所阐述的，沿运动方向50在过去与未来之间进行区分。这是基于运动方向50来实现的，例如通过激活那些朝向即将到来的对象48最远的测量区，例如第一列光接收元件30a。可以预先规定、由连接的上级控制器通知或者测量对象48的运动参数，例如运动方向50以及传送带46的速度v。为了自行测量这些参数，例如跟踪至少一个对象48的高度轮廓，例如通过检测距离值连同时间戳。

距离传感器24的测量重复频率应该足够大，以在对象48运动到记录位置之前检测对象一次或者更好地检测更多次。形式上，这可以用距离传感器24的测量周期Δt_TOF、对象48进入到感兴趣区域60中的进入位置与记录位置之间的距离D以及传送带46的速度v表达为条件Δt_TOF<<D/v。在图3的情况下，距离D可以通过距离测量视场58在传送带46的高度上的一半延伸尺寸来计算。

在横向于运动方向50的方向上，感兴趣区域60应被刚好调节成使得检测到传送带46上的所有对象48并且未检测到其它对象。可以设想的标准是，为此目的应正好包括传送带46的宽度。在自动配置方法中，为此目的要观察对象流一段时间。这可以是上游配置阶段，但是也可以从调节较差或根本无法调节的感兴趣区域60开始，并且在正在进行的运行期间找到最佳的感兴趣区域。

通过这种观察和距离值的连续测量，一方面可以确定背景，即传送带46及仍然处于距离测量视场58中的传送带46旁边的任何侧面区域。为此，分别为每个测量区确定最大距离值。对象48被认为是瞬时的，距离传感器24通过确定所谓的每个测量区的最大值来等待合适的时刻，在该时刻背景至少短暂地变得可见。

此外，还确定每个测量区的距离值的变化，例如以方差或标准差的形式。仅在对象48已经运动通过的测量区中存在显著变化。在其余测量区中始终被认为是距离相同。为了排除由噪声引起的变化，优选地还限定噪声阈值。具有大于由噪声引起的变化的测量区被选为对象区域。

感兴趣区域60可以利用该对象区域被识别。然而优选地，仍然进行适配。一方面，可能存在属于传送带46的区域，但是在观察期间对象48从未移动通过这些区域。由于已知传送带46形成平面，因此对象区域可以基于背景扩展到同一平面延续的位置。

反之，特别是高的对象48可能被不再指向传送带46的测量区检测到。这如图4所示。传送带46在这里由侧向上部结构64框住，例如杆或类似的干扰对象。具有测量光束66的测量区已经检测到高的对象48，因此最初被分配到对象区域。然而，在没有对象48的情况下，测量光束66不会射到传送带46，而是射到侧向上部结构64。

如图5所示，这种情况可以基于背景测量来识别，并且可以将测量光束66的相应测量区从感兴趣区域60中排除，尽管这些测量区最初是对象区域的一部分。示出了与在传送带上在相对于运动方向50的横向方向上的位置相关的距离值。中间的平坦区段对应于传送带46，而距离值在侧面偏离。后者发生在图5的示例中，其轮廓比图4更扁平。因此，可以排除背景测量的最大距离值不对应于平坦的传送带46的测量区。优选地，还考虑容差阈值，该容差阈值取决于具体环境，并且优选地针对每个应用来确定。

Claims (12)

1.一种相机(10)，其用于检测在运动方向(50)上相对于所述相机(10)运动的对象(48)，其中所述相机(10)具有：图像传感器(18)，其用于记录在相机视场(14、56)中的对象(48)的图像数据；根据光飞行时间法原理的具有多个测量区(30a)的光电距离传感器(24)，其用于测量与在距离测量视场(58)中的对象(48)的多个距离值；以及控制和评估单元(38)，其与所述图像传感器(18)和所述距离传感器(24)连接，

其中，所述控制和评估单元(38)被配置用于通过在配置时间内测量距离值并且评估所述距离值和/或所述距离值的变化来确定对象区域作为对象(48)运动的区域，进而在所述距离测量视场(58)内为所述距离传感器(24)自动地配置感兴趣区域(60)。

2.根据权利要求1所述的相机(10)，其中，所述距离传感器(24)被集成到所述相机(10)中。

3.根据权利要求1或2所述的相机(10)，其中，所述测量区(30a)能够被并行地读出。

4.根据前述权利要求中任一项所述的相机(10)，其中，所述控制和评估单元(38)被配置用于确定在变化时间内相应的测量区(30a)的距离值的变化的统计学度量。

5.根据前述权利要求中任一项所述的相机(10)，其中，所述控制和评估单元(38)被配置用于分别确定在背景检测时间内相应的测量区(30a)的距离值的最大值。

6.根据权利要求5所述的相机(10)，其中，所述控制和评估单元(38)被配置用于基于所述最大值和预期的背景几何形状来适配所述感兴趣区域(60)，其中所述适配特别地涉及横向于所述运动方向(50)的方向。

7.根据前述权利要求中任一项所述的相机(10)，其中，所述控制和评估单元(38)被配置用于沿所述运动方向(50)将所述感兴趣区域(60)限定于指向运动的对象(48)的进入区域。

8.根据前述权利要求中任一项所述的相机(10)，其中，所述距离传感器(24)包括能够在盖革模式下运行的多个雪崩光电二极管(30a)，并且所述控制和评估单元(38)被配置用于通过在对应于所述感兴趣区域(60)的雪崩光电二极管(30a)中选择性地激活盖革模式来调节所述感兴趣区域(60)。

9.根据前述权利要求中任一项所述的相机(10)，其中，所述距离测量视场(58)突出到所述相机视场(56)之外，特别是在与所述运动方向(50)相反的方向上。

10.根据前述权利要求中任一项所述的相机(10)，其中，所述控制和评估单元(38)被配置用于读出与所述对象(48)一起记录的代码(52)的代码内容。

11.根据前述权利要求中任一项所述的相机(10)，所述相机被固定地装配在传送装置(46)上，所述传送装置在所述运动方向(50)上传送所述对象(48)。

12.一种用于检测在运动方向(50)上运动的对象(48)的方法，其中由相机(10)在相机视场(56)中记录所述对象(48)的图像数据，并且利用根据光飞行时间法原理的光电距离传感器(24)在距离测量视场(58)中测量与所述对象(48)的多个距离值，所述距离传感器具有多个测量区(30a)，其中读出图像数据并评估距离值，

其中，通过在配置时间内测量距离值并评估所述距离值和/或所述距离值的变化来确定对象区域作为对象(48)运动的区域，进而在所述距离测量视场(58)内为所述距离传感器(24)自动地配置感兴趣区域(60)。

Images