CN116209917A - 图像处理器、计算机实现的图像处理方法、计算机程序和非易失性数据载体 - Google Patents

图像处理器、计算机实现的图像处理方法、计算机程序和非易失性数据载体 Download PDF

Info

Publication number
CN116209917A
CN116209917A CN202180062992.9A CN202180062992A CN116209917A CN 116209917 A CN116209917 A CN 116209917A CN 202180062992 A CN202180062992 A CN 202180062992A CN 116209917 A CN116209917 A CN 116209917A
Authority
CN
China
Prior art keywords
light sources
light
scene
image processor
flt
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180062992.9A
Other languages
English (en)
Inventor
A·拉贾拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DeLaval Holding AB
Original Assignee
DeLaval Holding AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DeLaval Holding AB filed Critical DeLaval Holding AB
Publication of CN116209917A publication Critical patent/CN116209917A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01J—MANUFACTURE OF DAIRY PRODUCTS
    • A01J5/00—Milking machines or devices
    • A01J5/007—Monitoring milking processes; Control or regulation of milking machines
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01J—MANUFACTURE OF DAIRY PRODUCTS
    • A01J5/00—Milking machines or devices
    • A01J5/017—Automatic attaching or detaching of clusters
    • A01J5/0175—Attaching of clusters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/60—Shadow generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures

Abstract

一种图像处理器(140)获得由飞行时间TOF成像系统(110)配准的图像数据(Dimg)。该图像数据(Dimg)表示由至少两个光源(121,122,123,124)照射的场景(100)，该至少两个光源被校准以使得该图像处理器(140)能够包括该图像数据(Dimg)中的距离数据，该距离数据表示从该TOF成像系统(110)到已成像对象上的点的相应距离。该图像处理器(140)确定是否存在阴影效应，通过该阴影效应，该场景(100)中的至少一个第一对象(TC)阻挡来自该至少两个光源(121,122,123,124)中的至少一个光源(121,122,123,124)的光到达该场景(100)中的至少一个第二对象的至少一部分以及从那里反射到该TOF成像系统(110)中。如果确定存在该阴影效应，则该图像处理器(140)调整该距离数据以补偿光未到达该至少一个第二对象的该至少一部分的该至少一个光源(121,122,123,124)。

Description

图像处理器、计算机实现的图像处理方法、计算机程序和非易 失性数据载体
技术领域
本发明大体上涉及三维(3D)图像处理。特别地，本发明涉及用于处理飞行时间图像数据的图像处理器以及对应的计算机实现的图像处理方法。本发明还涉及对应的计算机程序以及存储这种计算机程序的非易失性数据载体。
背景技术
现代相机已经成为相当先进的数据收集传感器。如今，例如存在包含能够记录进入建筑物或公共交通工具的大量人员的体温的非常精确的高速热相机的医疗筛选布置。另外，各种形式的深度感测相机用于以显著的精度控制车辆和机器人。例如，现代挤奶机器人经常依赖于飞行时间(TOF)相机来进行它们的操作。TOF相机是采用飞行时间技术来针对图像的每个点解析相机与已成像对象之间的距离的距离成像系统。TOF相机测量由激光器或发光二极管(LED)提供的人造光信号的往返时间。基于激光的飞行时间相机是更广泛类别的无扫描(光检测和测距)LIDAR的一部分，其中使用每个激光脉冲捕获整个场景，而不是诸如在扫描LIDAR系统中使用激光束逐点捕获。TOF相机可用于覆盖几厘米多至几公里的范围。自然地，在自动挤奶应用中，TOF相机在该范围的较短端操作，例如在多至几分米的距离处操作。
US 10,750,712示出了一种用于自动为产奶动物(例如奶牛)挤奶的工具。该工具包括挤奶室、用于观察乳头的传感器以及用于将挤奶杯自动地附接到乳头上的挤奶机器人。该挤奶机器人包括连接到传感器的机器人控制器。该传感器包括用于发射光的辐射源、用于接收从产奶动物反射的电磁辐射的接收器、透镜和传感器控制单元。该传感器包括具有多个接收器行和多个接收器列的矩阵。传感器控制单元被设计成针对每个接收器确定发射的电磁辐射与反射的电磁辐射之间的相位差，以便计算从传感器到产奶动物的待观察部分上的多个点的距离。
US 10,430,956描述了用于减少深度图像的失真的图像处理方法。该方法涉及：基于向对象发射和从对象反射的光束获得多个原始图像；基于这些光束的相位延迟，确定从该多个原始图像获得的原始深度图像的原始深度值，这些反射光束包括使原始深度值失真的多反射光束；基于原始深度图像中强度大于预定强度的区域，确定多反射光束相对于多反射光束的每个相位的虚强度；基于多反射光束的虚强度来校正原始深度图像的原始深度值。该方法涉及基于校正的原始深度值来生成校正的深度图像。
因此，在挤奶工具中使用TOF相机是已知的。还存在用于基于校正的深度图像来减少TOF相机的深度图像的失真的解决方案。
然而，位于TOF相机的光源与所关注对象之间的干扰对象仍然可能导致在测量到所关注对象的距离方面的精度问题，该距离例如可以由机器人应将挤奶机的挤奶杯连接到的奶头表示。
发明内容
因此，本发明的目的是提供一种解决方案，该解决方案减轻上述问题并且在成像场景中的一个或多个对象部分地阻止TOF相机的光源的光到达场景中的各种对象的情况下还产生高精度距离数据。
根据本发明的一个方面，该目的通过一种被配置为获得由TOF成像系统配准的图像数据的图像处理器来实现。该图像数据表示由至少两个光源照射的场景，该至少两个光源被校准以使得图像处理器能够产生要被包括在图像数据中的距离数据。该距离数据表示从TOF成像系统到已成像对象上的点的相应距离。该图像处理器被配置为确定是否存在阴影效应，通过该阴影效应，场景中的至少一个第一对象阻挡来自至少两个光源中的至少一个光源的光到达场景中的至少一个第二对象的至少一部分以及从那里被反射到TOF成像系统中。如果确定存在该阴影效应，则图像处理器被配置为调整距离数据以补偿光未到达至少一个第二对象的至少一部分的至少一个光源。
以上图像处理器是有利的，因为它还针对其中对象相对于TOF成像系统且以使得场景的一些区段部分仅由TOF成像系统的光源的子集照射的方式定位的场景产生准确的距离数据。
根据本发明的该方面的一个实施方案，该图像处理器被配置为通过将表示到该至少一个第二对象的该至少一部分上的表面上的点的距离的一段距离数据修改适应量来调整该距离数据。该一段距离数据是在不考虑阴影效应的情况下确定的，并且适应量取决于该至少两个光源中的哪个或哪些光源的光未到达所述点。在此，该至少两个光源总计为第一总数目n，并且光未到达所述点的一个或多个光源总计为至少一个且n-1或更少的第二总数目。因此，对光未到达至少一个第二对象的至少一部分的光源进行补偿是直接的。
上述适应可以通过通信地连接到查找表的图像处理器来实现，该查找表包含表示至少两个光源中的光未到达所述点的光源的每个可能组合的适应量的数据集。所述组合适用于由距离数据表示的特定距离。因此，对于每个这样的距离，查找表包含数据集，该数据集表示取决于被遮蔽的特定光源而要使用的适应量。由此，图像处理器可以以快速且可靠的方式从查找表获得相关适应量。
根据本发明的该方面的另一实施方案，该至少一个第一对象具有相对于该TOF成像系统和该至少两个光源的已知位置和空间延伸。该图像处理器还被配置为调整距离数据以补偿光被阻挡而无法到达至少一个第一对象后面的至少一个区段部分的至少两个光源中的至少一个光源。即，在这种情况下，预先知道TOF成像系统的视场的哪些区段部分将总是被至少一个第一对象部分地遮蔽。
例如，该场景可以包含挤奶位置，并且至少一个第一对象中的至少一者可以是布置在机械地链接到TOF成像系统的承载结构上的挤奶杯。在这种情况下，该图像处理器优选地被配置为调整距离数据以补偿光将被阻挡而无法到达挤奶杯后面的至少一个区段部分的光源，该至少一个区段部分可位于挤奶杯要连接到的奶头处。
根据本发明的该方面的又一实施方案，该图像处理器被配置为确定到场景中的潜在遮蔽对象的距离，该潜在遮蔽对象与场景中的任何其他对象相比位于与TOF成像系统相距较短的距离处。即，图像处理器确定最近的对象。该图像处理器还被配置为应用反向光线跟踪算法来在该场景中建立至少一个区段部分，该至少一个区段部分被估计为相对于来自这些光源中的至少一个光源的光被该最近的对象遮蔽。该图像处理器接着被配置为在确定阴影效应是否存在时将潜在遮蔽对象包括在候选组中，从该候选组中选择该至少一个第一对象。因此，该图像处理器确定阴影效应是否以结构化的方式存在。
优选地，该图像处理器被具体配置为执行第一处理步骤，其中确定场景中另一潜在遮蔽对象的空间位置，该另一潜在遮蔽对象与场景中尚未被包括在候选组中的任何其他对象相比位于与TOF成像系统相距较短的距离处；执行第二处理步骤，其中应用所述反向光线跟踪算法以相对于来自该至少两个光源中的至少一个光源的光在该场景中建立被估计为由另一潜在遮蔽对象遮蔽的至少一个区段部分；并且执行第三处理步骤，其中在确定该阴影效应是否存在时，将该另一潜在遮蔽对象包括在该候选组中，从该候选组选择至少一个第一对象。
该图像处理器被配置为重复该第一处理步骤、该第二处理步骤和该第三处理步骤，直到已经满足停止标准。由此，可以将该场景中的该阴影效应建立到期望的精度。
停止标准又可以响应于时间约束和/或处理能力约束来设置。
根据本发明的该方面的另一实施方案，该图像处理器被配置为确定表示到第二对象的第一表面区域的第一距离的第一段距离数据，该第一表面区域位于由至少两个光源中的所有光源照射的第一区段部分中。该图像处理器同样被配置为确定表示到至少一个第二对象的至少一部分的第二表面区域的第二距离的第二段距离数据，该第二表面区域位于由至少两个光源的子集照射的第二区段部分中。第二段距离数据的确定在此涉及将第一表面区域外推到第二区段部分中。
优选地，该外推假设该至少一个第二对象具有通常已知的形状。即，这有助于外推处理并提高数据质量。当然，如果该至少一个第二对象确实具有相对接近于假定的通常已知形状的形状，则这一点尤其正确。
在一个实施方案中，第二数目为零。这意味着没有来自光源的光照射第二区段部分，并且因此TOF成像系统在这里相对于距离测量是“盲目的”。然而，如果假设至少一个第二对象具有通常已知的形状，则根据上述的外推仍然是可能的。
根据本发明的该方面的又一实施方案，该场景包含挤奶位置，并且该至少一个第二对象是挤奶动物的奶头。在这种情况下，挤奶机器人是容易控制的，例如基于由图像处理器产生的调整后的距离数据将挤奶杯附接到动物。
根据本发明的该方面的又一实施方案，该图像数据包含针对一组像素中的每个像素表示光强度值(例如表示灰度值)的数据。该图像处理器还被配置为通过适应强度来调整所述集合中的像素的强度值，该像素表示由来自该至少两个光源中的少于全部的光源的光照射的该至少一个第二对象的该至少一部分的表面上的点。该强度值是在不考虑该阴影效应的情况下计算的，并且该适应强度与光被阻挡而无法到达所述点的该至少两个光源的数目成比例。因此，被阻挡的光源越多，适应强度变得越大。由此，可以使场景中被部分遮挡的对象变得比它们原本的亮度更亮。这例如有助于区分与TOF成像系统相距最远的奶头。
根据本发明的另一方面，该目的通过一种计算机实现的图像处理方法来实现，该方法涉及获得由TOF成像系统配准的图像数据，该图像数据表示由至少两个光源照射的场景，该至少两个光源被校准以使得图像处理器能够产生要被包括在图像数据中的距离数据。该距离数据表示从TOF成像系统到已成像对象上的点的相应距离。该方法还涉及确定是否存在阴影效应，通过该阴影效应，场景中的至少一个第一对象阻挡来自至少两个光源中的至少一个光源的光到达场景中的至少一个第二对象的至少一部分以及从那里被反射到TOF成像系统中。如果确定存在阴影效应，则该方法包括调整距离数据以补偿光未到达至少一个第二对象的至少一部分的至少一个光源。该方法的优点以及其优选实施方案从以上参考系统的讨论中是显而易见的。
根据本发明的另一方面，该目的是通过一种可加载到与处理单元通信地连接的非易失性数据载体中的计算机程序实现的。该计算机程序包括用于在处理单元上运行该程序时执行上述方法的软件。
根据本发明的另一方面，该目的通过包含上述计算机程序的非易失性数据载体来实现。
本发明的其他优点、有益特征和应用将从以下描述和从属权利要求中显而易见。
附图说明
现在将通过作为示例公开的优选实施方案并参考附图更详细地解释本发明。
图1、图2示意性地示出了根据本发明的第一和第二实施方案的具有相关联光源的TOF成像系统；
图3以侧视图示出了根据本发明的一个实施方案的TOF成像系统的用例的示例；
图4示出了图3中例示的用例的俯视图；
图5a、图5b示出了当TOF成像系统位于距场景两个不同距离处时根据一个实施方案的从TOF成像系统观察到的场景；
图6至图7分别示出了根据本发明的一个实施方案的缺少和包含第一对象和第二对象的场景的侧视图；
图8至图9示出了可如何根据本发明的一个实施方案调整一段距离数据，该距离数据表示到由少于TOF成像系统的所有光源的光源照射的表面上的点的距离；
图10详细示出了根据本发明的一个实施方案的场景中的第一对象如何可以阻挡来自TOF成像系统的光源的光到达场景中的第二对象的各个部分；
图11至图12详细地示出了根据本发明的一个实施方案如何确定区段部分，由于具有相对于TOF成像系统的已知位置和空间延伸的第一对象引起的阴影效应，这些区段部分仅被TOF成像系统的光源的子集照射；
图13示出了根据本发明的一个实施方案的TOF成像系统和图像处理器的框图；并且
图14通过流程图示出了根据本发明的优选实施方案的一般方法。
具体实施方式
在图1中，我们看到根据本发明的第一实施方案的TOF成像系统110的示意图。一组光源121、122、123和124分别围绕TOF成像系统110布置。如果光源121、122、123和124发射红外(IR)光谱中的非可见光，则通常是有利的。然而，不排除光源121、122、123和124发射电磁光谱的其他部分中的光，诸如呈可见光的形式的光。
此处，在一组光源包含四个光源的情况下，光源优选地布置在平行于TOF成像系统110的传感器矩阵的平面中并且彼此成90度角偏移。例如，光源121、122、123和124可以附接到TOF成像系统110的前透镜111周围的框架120。在任何情况下，光源121、122、123和124由与TOF成像系统110的传感器矩阵如何配准图像数据同步的至少一个控制信号C控制。例如，至少一个控制信号C可以控制光源121、122、123和124，使得在从相应光源发射的光束中的每个光束之间存在特定期望的相位延迟。即，图像数据配准与场景的照射之间的这种校准使得相对直接地产生表示从TOF成像系统110到场景中的已成像对象上的不同点的相应距离的距离数据。然而，如果例如公共控制信号C被布置成以串行方式控制所有光源121、122、123和124，并且用于转发公共控制信号C的互连光源121、122、123和124的信号线导致来自不同光源121、122、123和124的光束被发射的相应时间点的未知延迟，则光源121、122、123和124需要被单独地校准到TOF成像系统110的传感器矩阵以使得能够产生准确的距离数据。
图2示意性地示出根据本发明的第二实施方案的TOF成像系统110，其中n个光源121、122、123、…、12n围绕TOF成像系统110以圆形布置均匀地分布。此处，如果如上所述由公共控制信号C控制光源121、122、123、…、12n，并且互连信号线在每个光源之间引入公共控制信号C的相等延迟tD，则第n光源12n将在第一光源121开始发射其光束之后的时间点n·tD开始发射其光束。然而，在实践中，这种情况很少。相反，来自不同光源的光发射通常在至少在某种程度上不确定的时间点开始。正如下面将要讨论的，这又会导致由TOF成像系统110产生的距离数据的精度下降。
图3和图4分别示出了根据本发明的用于控制挤奶机器人的TOF成像系统的侧视图和俯视图。
图像处理器140在此处被配置为获得由TOF成像系统110配准的图像数据Dimg。图像数据Dimg表示场景100，在这种情况下，该场景包含乳房，挤奶机器人的承载结构RA应当基于图像数据Dimg将挤奶杯TC附接到乳房的奶头。场景100由至少两个光源照射，例如如上文参考图1所描述的。具体地，在图3和图4的实施方案中，分别存在四个光源121、122、123和124，它们被校准以使得图像处理器140能够产生要被包括在图像数据Dimg中的距离数据。距离数据表示从TOF成像系统110到已成像对象上的点的相应距离。例如，在图像数据Dimg中，一段距离数据与每个像素相关联，该段距离数据表示从TOF成像系统110到场景100中由该特定像素表示的对象上的点的距离。
为了增强距离数据的质量，图像处理器140被配置为确定是否存在阴影效应，通过该阴影效应，场景100中的至少一个第一对象阻挡来自光源中的至少一个的光到达场景100中的至少一个第二对象的至少一部分以及从那里被反射到TOF成像系统110中。
在图3和图4所示的示例中，示出了两个这样的阴影效应，即(a)其中呈挤奶杯TC形式的第一对象阻挡来自所有光源121-124的光到达挤奶杯TC后面的阴影区段部分BTC1234；以及(b)其中呈右前奶头FRT形式的第一对象阻挡来自光源123和124的光到达呈右后奶头RRT形式的第二对象的位于阴影区段部分BFRT中的一部分。幸运的是，在承载挤奶杯TC的结构RA的所示位置处，没有奶头位于阴影区段部分BTC34中，在该阴影区段部分中来自光源123和124的光被挤奶杯TC阻挡。因此，来自所有光源的光到达右前奶头FRT的上部。然而，由于光源123和124的有限角度覆盖，左侧乳头FLT和RLT仅被光源121和122照射。此外，如图3中可见，挤奶杯TC遮蔽下光源122和123，使得来自这些光源的光仅到达前奶头FRT和FLT的上部。
如果图像处理器140如上所述确定关于至少一个第二对象的至少一部分存在阴影效应，则图像处理器140调整距离数据以补偿光未到达至少一个第二对象FLT、FRT、RLT和/或RRT的至少一部分的至少一个光源，即121、122、123和/或124。下面将参考图8和图9讨论如何调整距离数据的原理。
根据本发明的一个实施方案，图像处理器140被配置为如下确定阴影效应是否存在。图像处理器140确定到场景100中的潜在遮蔽对象(诸如挤奶杯TC、右前奶头FRT和/或左前奶头FLT)的距离，该潜在遮蔽对象与场景100中的任何其他对象相比位于与TOF成像系统110相距较短的距离处。图像处理器140接着应用反向光线跟踪算法以相对于来自至少两个光源121、122、123和/或124中的至少一个光源的光在场景100中建立被估计为被潜在遮蔽对象TC、FRT和/或FLT遮蔽的区段部分。在图4中，BTC1234是在挤奶杯TC后面的这种区段部分的第一示例，其根本不被任何光源照射，BTC12是在挤奶杯TC后面的这种区段部分的第二示例，其仅被光源123和124照射，BTC34是在挤奶杯TC后面的这种区段部分的第三示例，其仅被光源121和122照射，并且BFRT是在挤奶杯TC后面的这种区段部分的第四示例，其仅被光源121和122照射。此后，确定阴影效应是否存在时，图像处理器140将潜在遮蔽对象TC、FRT和/或FLT包括在候选组中，从该候选组中选择至少一个第一对象。当然，如果TOF成像系统110用于控制挤奶机器人，则潜在遮蔽对象很有可能是奶头，即与另一奶头相比更靠近TOF成像系统110的透镜的奶头。
优选地，图像处理器140应用逐步过程来确定阴影效应是否存在。具体地，图像处理器140可以被配置为根据以下来执行第一处理步骤、第二处理步骤和第三处理步骤。
在第一处理步骤中，图像处理器140确定场景100中另一潜在遮蔽对象的空间位置。与场景100中尚未被包括在以上候选组中的任何其他对象相比，另一潜在遮蔽对象位于与TOF成像系统110相距较短的距离处。
在第二处理步骤中，图像处理器140应用所述反向光线跟踪算法以相对于来自至少两个光源121、122、123和/或124中的至少一个光源的光在场景100中建立被估计为由另一潜在遮蔽对象遮蔽的至少一个区段部分。
在第三处理步骤中，在确定阴影效应是否存在时，图像处理器140包括候选组中的另一潜在遮蔽对象，从该候选组选择至少一个第一对象TC、FLT和/或FRT。
出于精度原因，如果图像处理器140被配置为重复第一处理步骤、第二处理步骤和第三处理步骤直到已经满足停止标准，则这是期望的。可以响应于对图像处理器140的时间约束和/或处理能力约束来设置停止标准。
图5a示出了根据本发明的一个实施方案的从TOF成像系统110观察到的场景100，其中TOF成像系统110位于距场景100第一距离处。图5b示出了从TOF成像系统110观察到的图5a中的场景100，其中TOF成像系统110位于距场景100的第二距离处，该第二距离短于该第一距离。因此，从第一距离配准的图像数据Dimg1可以包含描述多个奶头FLT、FRT、RLT和/或RRT的图片信息和距离数据，而从第二距离配准的图像数据Dimg2可以包含专门描述单个奶头例如FRT的图片信息和距离数据，挤奶机器人将挤奶杯TC附接到该单个奶头。根据本发明的一个实施方案，挤奶杯TC布置在承载结构RA上，该承载结构RA机械地链接到TOF成像系统110。更优选的是，TOF成像系统110相对于承载结构RA具有固定位置。即，这便于预先确定上述阴影效应。TOF成像系统110之间的固定的位置相互关系使得能够首先知道当挤奶杯C被放置在承载结构RA中时将由挤奶杯TC引起的哪些阴影效应。然而，与当TOF成像系统110位于距场景100较短距离处时相比，当TOF成像系统110位于距场景100较长距离处时，这还导致挤奶杯TC潜在地遮蔽大量所关注对象。
图6示出了没有任何对象的场景100的侧视图，并且图7示出了分别包含第一对象TC和第二对象FRT的场景100的对应侧视图。为了清楚起见，我们假设仅两个光源121和122围绕TOF成像系统110布置。此处，光源121和122以线性配置布置，即，其中每个光源在平行于TOF成像系统110的传感器的平面中与其最近的相邻光源具有180度的空间角度。我们进一步假设TOF成像系统110具有视场FV110并且来自光源121和122的光分别覆盖光锥LC121和LC122。在图6中，我们看到，光锥LC121和LC122中没有一个光锥照射紧接在TOF成像系统110前面的区段部分S0，并且光锥LC121和LC122两者照射进一步远离TOF成像系统110的区段部分S12。专门地，光源121照射上部区段部分S1，并且专门地，光源122照射下部区段部分S2。然而，期望场景100中的关键对象位于由光锥LC121和LC122两者照射的区段部分S12中。
在图7中，场景100包含呈奶头FRT形式的这种所关注的关键对象。场景100还包含挤奶杯TC，该挤奶杯将通过挤奶机器人(未示出)附接到奶头FRT。由于通常挤奶机器人控制挤奶杯TC从下面稍微接近奶头FRT，因此与布置在TOF成像系统110上方的光源122的光锥LC122中的光相比，挤奶杯TC更多地遮蔽布置在TOF成像系统110下方的光源121的光锥LC121中的光。来自光源121和122两者的光被阻挡而无法到达挤奶杯TC后面的下部区段部分S0，而来自光源121的光到达挤奶杯TC后面的上部区段部分S1。然而，由于挤奶杯的TC位置与光源122的光锥LC122的角宽度和取向有关，因此来自光源122的光从上区段部分S1被阻挡。
应注意，本文档中示出的TOF成像系统110的视场和光源的照射的相应角宽度仅用于说明性目的。优选地，光源应当具有比图中所示的更宽的照射区段部分，例如大约150至170度。如果TOF成像系统110的视场也比附图中所示的稍微更宽，则通常是有利的。
现在参考图8，我们将解释图像处理器140如何根据本发明的一个实施方案调整距离数据dD以补偿光未到达至少一个第二对象的至少一部分的至少一个光源。图8示出了可以如何调整一段距离数据，该距离数据表示到由少于TOF成像系统110的所有光源的光源照射的表面FRT上的点的距离。
让我们在此假设该表面表示呈对于图7中的TOF成像系统110可见的奶头FRT形式的第二对象。此处，表面的上部FRTS12由光源121和122两者照射，而表面的下部FRTS1仅由光源121照射。
TOF成像系统110被设计成确定TOF成像系统110中的传感器810与反射来自光源121和122的光的物体上的相应点之间的视线距离dP1。基于视线距离dP1，TOF成像系统110又可被配置成确定到所述点的正交距离dD。然而，由TOF成像系统110做出的确定预先假定所述点中的每一者已经接收到来自与TOF成像系统110相关联的所有照射光源的光。此处，光源由121和122表示，它们可以被校准到TOF成像系统110，例如通过应用关于发射光束之间的相位延迟的信息。本发明人已经发现，如果由于阴影效应，已成像对象上的表面被来自少于与TOF成像系统110相关联的所有光源的光源的光照射，则由TOF成像系统110确定的距离数据dD将被调整适应量。该适应量又取决于哪些特定光束相对于所讨论的表面被遮蔽。
如以上参考图1和图2简要说明的，TOF成像系统110被校准以接收来自所有光源的反射光以便准确地产生距离数据。
现在参考图9，我们看到一个图，其中水平轴表示几段距离数据dD，其表示到第二对象FRT的表面上的点P1、P2、…、P6、P7、…、Pn的相应距离，并且竖直轴表示所述点。在所示示例中，假设点P1、P2、…、P6位于其表面FRTS1仅由光源121照射的第二对象FRT的部分上。换句话说，光源122相对于表面FRTS1被遮蔽。然而，点P7、…、Pn位于其表面FRTS12被所有/两个光源121和122照射的第二对象FRT的部分上。因此，TOF成像系统110确定到表面FRTS12上的点P7、…、Pn的基本上相等且推测正确的正交距离dDB，以及到表面FRTS1上的点P1、P2、…、P6的略微不正确的正交距离dD’,其中在两个表面FRTS12与FRTS1之间的过渡区中具有逐渐增加的偏斜。此处，光源121与122之间的相互关系被证明使得在不存在来自光源122的反射光的情况下，TOF成像系统110将到表面FRTS1上的点P1、P2、…、P6的正交距离dD’确定为比来自光源121和122两者的光在该表面上被反射时更长的测量值dΔ。图9示出了这种效果。
类似地，如果来自光源121的光相对于表面被遮蔽，则TOF成像系统110将替代地将到该表面的正交距离确定为稍短的距离，更精确地，确定的量等于测量值-dΔ。
实际上，对于给定的TOF成像系统110，并且对于由TOF成像系统110确定的每段距离数据dD’，可以确定适当的调整量，该调整量取决于哪些特定光源被遮蔽。如上所述，调整量可以是正的或负的。此外，调整量的大小可以随着距离数据dD'以及被遮蔽的光源的数目而变化。然而，对于由TOF成像系统110确定的几段距离数据dD'的范围，通过测量到TOF成像系统110的视场中的不同点的实际物理距离并且将这些测量值与在各种遮蔽条件下由TOF成像系统110确定的对应段距离数据dD'进行比较，可以以明确定义的增量，即采样点来确定这样的适当调整量。
根据本发明的一个实施方案，图像处理器140被配置为通过将表示到遮蔽表面上的点的距离的一段距离数据dD’修改适应量dΔ来调整距离数据dD，该遮蔽表面诸如是上文所提及的至少一个第二对象FLT的至少一部分。该段距离数据dD'是在不考虑阴影效应的情况下确定的，即直接从TOF成像系统110中确定的。适应量dΔ取决于哪个或哪些光源的光未到达所述点。至少两个光源总计为第一总数目n，并且光未到达所述点的一个或多个光源总计为至少一个且n-1或更少的第二总数目。因此，如果系统包括两个光源，则相对于所述点可以遮蔽不超过一个光源。适应量dΔ的符号和量值可为正或负，这取决于被遮蔽光源与未被遮蔽光源之间的相互关系。
例如，如果系统被设置为在相对短且已知的距离范围内操作，诸如在挤奶设备中，则预先登记适应量dΔ的适当值并且将这些值存储在查找表中以便于图像处理器140访问可能是有利的。自然地，不管操作距离如何，这种方法都可以是有利的。即，查找表设计通常对于TOF成像系统110的任何范围的操作都是有益的。
图13示出根据本发明的一个实施方案的TOF成像系统110和图像处理器140的框图，其中图像处理器140通信地连接到查找表1350。查找表1350包含表示光源121、122、123和/或124的每个可能组合的适应量dΔ的数据集，对于由距离数据dD表示的至少一个距离，这些光源的光未到达表面上的点。对于挤奶设备，距离数据dD通常在2dm至2m的范围内，并且更优选地，距离数据dD在2dm至5dm的范围内。在任何情况下，图像处理器140被配置为使用由TOF成像系统110确定的基础正交距离dDB从查找表1350获得适应量dΔ。
通常有利的是，图像处理器140被配置为通过执行计算机程序1327以自动方式实现上述过程。因此，图像处理器140可包括存储计算机程序1325的存储器单元1326(即，非易失性数据载体)，该存储器单元又包含用于在至少一个处理器1325上运行计算机程序1327时使图像处理器140中的呈至少一个处理器1327的形式的处理电路执行本公开中所提及的动作的软件。
根据本发明的一个实施方案，图像数据Dimg包含针对一组像素中的每个像素表示光强度值的数据。在此实施方案中，图像处理器140还被配置为通过如下文所描述的适应强度来调整一组像素中的像素的强度值。
此处，我们假设像素表示第二对象的至少一部分的表面FLTS1上的点P1、P2、…、P6中的一个点，该第二对象的至少一部分被来自至少两个光源121、122、123和124的少于全部的光源的光照射。在不考虑阴影效应的情况下计算强度值；并且，适应强度与光源121、122、123和/或124的数目成比例，这些光源的光被阻挡而无法到达所述点P1、P2、…、P6。因此，可以增强图像数据质量，并且可以使场景中的任何被部分遮挡的对象稍微更亮并且更容易在视觉上区分。这又便于区分最后的奶头RLF和RRT，即与TOF成像系统110相距最远的奶头。
图10示出了关于场景100中的第一对象FLT如何可以阻挡来自TOF成像系统110的光源121、122、123和124的光，使得该光不到达场景100中的第二对象RLT的部分的进一步细节。特别地，参考图10，我们将讨论根据本发明的实施方案，图像处理器140可以如何调整由TOF成像系统110确定的距离数据dD。
根据本发明的一个实施方案，图像处理器140被配置为确定表示到第二对象RLT的第一表面区域ARLT1234的第一距离的第一段距离数据dD，该第一表面区域ARLT1234位于由所有四个光源121、122、123和124照射的第一区段部分S1234中。图像处理器140还被配置为确定表示到至少一个第二对象RLT的至少一部分的第二表面区域ARLT23的第二距离的第二段距离数据dD，该第二表面区域ARLT23位于仅由光源121、122、123和124的子集、即由光源122和123照射的第二区段部分S23中。图像处理器140根据涉及将第一表面区域ARLT1234外推到第二区段部分S23中的过程来确定第二段距离数据dD。由于更好的照射，可以以更高的精度确定到第一表面区域ARLT1234的距离。实际上，这种外推甚至可以在完全不被任何光源照射的较小表面上进行。
当然，如果图像处理器140能够假设至少一个第二对象RLT具有通常已知的形状，则能够改进外推。例如，如果场景100包含挤奶位置，并且至少一个第二对象RLT是挤奶动物的奶头，则可以应用这种类型的外推。实际上，在挤奶场景中，至少一个第二对象RLT的特定形状可以以相对高的精度已知。即，如果挤奶动物被识别，则每个动物的每个奶头的物理特性可能已经被测量并存储在图像处理器140访问的数据库中。因此，即使这些表面中的一些相对于与TOF成像系统110相关联的光源121、122、123和/或124中的一个或多个被部分地遮挡，图像处理器140也可以以非常高的精度确定到奶头的表面的距离。
除了场景100中的对象因光源发射的光而彼此遮蔽之外，由于总是存在于TOF成像系统110前方并且例如形成挤奶机器人的一部分的已知对象，可能发生阴影效应。图11和图12分别以侧视图和俯视图示出了这种情况的示例。更精确地，如果存在具有相对于TOF成像系统110的已知位置和空间延伸的第一对象TC，则可以先验地确定区段部分，由于第一对象TC由于其相对于TOF成像系统110的位置和空间延伸而引起的阴影效应，这些区段部分仅被TOF成像系统110的光源121、122、123和124的子集照射。
根据本发明的一个实施方案，图像处理器140被配置为调整由TOF成像系统110确定的距离数据dD，以便补偿光被阻挡而无法到达第一对象TC后面的至少一个区段部分的光源121、122、123和/或124中的至少一个。具体地，在图11所示的示例中，图像处理器140被配置为将第一对象TC上方和后方的区段部分S14中的距离数据dD调整第一适应量，因为区段部分S14仅由四个光源121、122、123和124的第一子集(即光源121和124)照射。图像处理器140还被配置为将第一对象TC前方的区段部分S23中的距离数据dD调整第二适应量，因为区段部分S23仅被四个光源121、122、123和124的第二子集(即光源122和123)照射。另外，在第一对象TC后面的第三区段部分S03中，图像处理器140不能产生任何距离数据dD，因为第三区段部分S03没有被光源121、122、123和124中的任何一者照亮。然而，在紧邻第一对象TC前方和上方的第四区段部分S1234中，不需要初步距离调整。即，此处，第一对象TC根本不会引起任何阴影效应。
类似地，参考图12，图像处理器140被配置为将第四区段部分S12中的距离数据dD调整第四适应量，这是因为区段部分S12仅由四个光源121、122、123和124的第四子集(即光源121和122)照射；并且将第五区段部分S34中的距离数据dD调整第五适应量，因为区段部分S34仅由四个光源121、122、123和124的第五子集(即光源123和124)照射。图像处理器140也不能在对象TC后面的第六区段部分S06中产生任何距离数据dD，因为区段部分S06没有被光源121、122、123和124中的任何一者照射。然而，在紧邻第一对象TC的前方和两侧的第七区段部分S1234中，不需要初步距离调整，因为此处第一对象TC根本不会引起任何阴影效应。
为了总结并且参考图14中的流程图，现在将描述根据本发明的优选实施方案的计算机实现的图像处理方法。
在第一步骤1410中，获得图像数据Dimg，该图像数据Dimg已经由TOF成像系统110配准，并且该图像数据Dimg表示由被校准以使得图像处理器140能够产生要被包括在图像数据Dimg中的距离数据dD的至少两个光源照射的场景100。距离数据dD表示从TOF成像系统110到场景100中的已成像对象上的点的相应距离。
此后，步骤1420确定是否存在阴影效应，通过该阴影效应，场景100中的至少一个第一对象阻挡来自至少两个光源中的至少一个光源的光到达场景100中的至少一个第二对象的至少一部分以及从那里被反射到TOF成像系统110中。如果确定存在阴影效应，则进行步骤1430，否则该过程循环回到步骤1410。
在步骤1430中，调整由TOF成像系统110产生的距离数据dD以补偿光未到达至少一个第二对象的至少一部分的至少一个光源。根据光未到达至少一个第二对象的至少一部分的一个或多个特定光源来进行调整。随后，过程循环回到步骤1110。
参考图14描述的所有处理步骤以及步骤的任何子序列可以通过编程的处理器来控制。此外，尽管以上参考附图描述的本发明的实施方案包括处理器和在至少一个处理器中执行的处理，但是本发明因此还扩展到适于将本发明付诸实践的计算机程序，特别是载体上或载体中的计算机程序。该程序可以是源代码、目标代码、代码中间源和诸如部分编译形式的目标代码的形式，或者是适于在根据本发明的过程的实现中使用的任何其他形式。该程序可以是操作系统的一部分，或者是单独的应用程序。载体可以是能够承载程序的任何实体或设备。例如，载体可以包括存储介质，诸如闪速存储器、ROM(只读存储器)，例如DVD(数字视频/通用盘)、CD(压缩盘)或半导体ROM、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)或磁记录介质，例如软盘或硬盘。此外，载体可以是可传输载体，诸如电信号或光信号，其可以经由电缆或光缆或通过无线电或通过其他手段来传送。当程序体现在信号中时，该信号可以通过电缆或其他设备或装置直接传送，载体可以由这种电缆或设备或装置构成。或者，载体可以是其中嵌入了程序的集成电路，该集成电路适于执行相关处理或者用于相关处理的执行。
通过研究附图、公开内容和所附权利要求，本领域技术人员在实践所要求保护的发明时能够理解和实现所公开的实施方案的变型。
当在本说明书中使用时，术语“包括(comprises/comprising)”用于指定所述特征、整数、步骤或部件的存在。该术语不排除存在或添加一个或多个附加元件、特征、整数、步骤或部件或它们的群组。不定冠词“一(a)”或“一个(an)”不排除多个。在权利要求中，词语“或”不应被解释为异或(有时称为“XOR”)。相反，诸如“A或B”的表述涵盖所有情况“A和非B”、“B和非A”以及“A和B”，除非另有说明。在相互不同的从属权利要求中记载某些措施这一事实并不表示不能有利地使用这些措施的组合。权利要求中的任何附图标记不应被解释为限制范围。
还应注意，来自本文所述的各种实施方案的特征可自由组合，除非明确陈述此组合将是不适合的。
本发明不限于附图中描述的实施方案，而是可以在权利要求的范围内自由地变化。

Claims (32)

1.一种图像处理器(140)，所述图像处理器被配置为：
获得由飞行时间TOF成像系统(110)配准的图像数据(Dimg)，所述图像数据(Dimg)表示由至少两个光源(121,122,123,124)照射的场景(100)，所述至少两个光源被校准以使得所述图像处理器(140)能够产生要被包括在所述图像数据(Dimg)中的距离数据(dD)，所述距离数据(dD)表示从所述TOF成像系统(110)到已成像对象上的点的相应距离；
确定是否存在阴影效应，通过所述阴影效应，所述场景(100)中的至少一个第一对象(TC；FLT,FRT)阻挡来自所述至少两个光源(121,122,123,124)中的至少一个光源(121,122,123,124)的光到达所述场景(100)中的至少一个第二对象(FLT,FRT；RLT,RRT)的至少一部分以及从那里反射到所述TOF成像系统(110)中；并且如果确定存在阴影效应，则
调整所述距离数据(dD)以补偿(dΔ)光未到达所述至少一个第二对象(FLT,FRT；RLT,RRT)的所述至少一部分的所述至少一个光源(121,122,123,124)。
2.根据权利要求1所述的图像处理器(140)，所述图像处理器被配置为：
通过将表示到所述至少一个第二对象(FLT)的所述至少一部分上的表面(FLTS1)上的点(P1,P2,…,P6)的距离的一段距离数据(dD’)修改适应量(dΔ)来调整所述距离数据(dD)，所述一段距离数据(dD’)是在不考虑所述阴影效应的情况下确定的，并且所述适应量(dΔ)取决于所述至少两个光源(121,122,123,124)中的哪个或哪些光源的光未到达所述点(P1,P2,…,P6)，其中所述至少两个光源总计为第一总数目n，并且光未到达所述点的所述一个或多个光源总计为至少一个且n-1或更小的第二总数目。
3.根据权利要求1或2中任一项所述的图像处理器(140)，其中
所述图像处理器(140)通信地连接到查找表(1450)，所述查找表包括数据集，所述数据集针对由所述距离数据(dD)表示的至少一个距离表示所述至少两个光源(121,122,123,124)中的光未到达所述点(P1,P2,…,P6)的光源的每个可能组合的所述适应量(dΔ)，并且
所述图像处理器(140)被配置为从所述查找表(1450)获得所述适应量(dΔ)。
4.根据权利要求1至3中任一项所述的图像处理器(140)，其中所述至少一个第一对象(TC)具有相对于所述TOF成像系统(110)和所述至少两个光源(121,122,123,124)的已知位置和空间延伸，并且所述图像处理器(140)被配置为：
调整所述距离数据(dD)以补偿所述至少两个光源(121,122,123,124)中的所述至少一个光源，所述至少一个光源的光被阻挡而无法到达所述至少一个第一对象(TC)后面的至少一个区段部分(S14,S0,S12,S34)。
5.根据权利要求4的图像处理器(140)，其中所述场景(100)包括挤奶位置，并且所述至少一个第一对象中的至少一者是布置在机械地链接到所述TOF成像系统(110)的承载结构(RA)上的挤奶杯(TC)。
6.根据权利要求4所述的图像处理器(140)，其中所述场景(100)包括挤奶位置，并且所述至少一个第一对象中的至少一者是挤奶动物的奶头(FRT,FLT)。
7.根据前述权利要求中的任一项所述的图像处理器(140)，所述图像处理器还被配置为：
确定到所述场景(100)中的潜在遮蔽对象(TC,FRT,FLT)的距离(dD)，所述潜在遮蔽对象(TC,FRT,FLT)与所述场景(100)中的任何其他对象相比位于与所述TOF成像系统(110)相距较短的距离处；
采用反向光线跟踪算法，以相对于来自所述至少两个光源(121,122,123,124)中的至少一个光源的光，在所述场景(100)中建立被估计为由所述潜在遮蔽对象(TC,FRT,FLT)遮蔽的至少一个区段部分(BTC1234,BTC12,BTC34,BFRT)；以及
在确定所述阴影效应是否存在时，将所述潜在遮蔽对象(TC,FRT,FLT)包括在候选组中，从所述候选组选择所述至少一个第一对象(TC,FLT,FRT)。
8.根据权利要求7所述的图像处理器(140)，所述图像处理器被配置为执行：
第一处理步骤，其中确定所述场景(100)中的另一潜在遮蔽对象(FLT)的空间位置，所述另一潜在遮蔽对象(FLT)与所述场景(100)中尚未被包括在所述候选组中的任何其他对象相比位于与所述TOF成像系统(110)相距较短的距离处；
第二处理步骤，其中应用所述反向光线跟踪算法以相对于来自所述至少两个光源(121,122,123,124)中的至少一个光源(121,124)的光在所述场景(100)中建立被估计为由所述另一潜在遮蔽对象(FLT)遮蔽的至少一个区段部分；和
第三处理步骤，其中在确定所述阴影效应是否存在时，将所述另一潜在遮蔽对象(FLT)包括在所述候选组中，从所述候选组选择所述至少一个第一对象(TC,FLT,FRT)。
9.根据权利要求8所述的图像处理器(140)，所述图像处理器被配置为重复所述第一处理步骤、所述第二处理步骤和所述第三处理步骤，直到已经满足停止标准。
10.根据权利要求9所述的图像处理器(140)，其中响应于以下中的至少一者来设置所述停止标准：时间约束和处理能力约束。
11.根据前述权利要求中的任一项所述的图像处理器(140)，所述图像处理器被配置为：
确定表示到所述第二对象(RLT)的第一表面区域(ARLT1234)的第一距离的第一段距离数据(dD)，所述第一表面区域位于由所述至少两个光源(121,122,123,124)中的所有光源照射的第一区段部分(S1234)中；以及
确定表示到所述至少一个第二对象(RLT)的所述至少一部分的第二表面区域(ARLT23)的第二距离的第二段距离数据(dD)，所述第二表面区域位于由所述至少两个光源(121,122,123,124)的子集照射的第二区段部分(S23)中，并且所述确定所述第二段距离数据(dD)涉及将所述第一表面区域(ARLT1234)外推到所述第二区段部分(S23)中。
12.根据权利要求11所述的图像处理器(140)，其中所述外推假设所述至少一个第二对象(RLT)具有通常已知的形状。
13.根据权利要求12所述的图像处理器(140)，其中第二数目为零。
14.根据权利要求11至13中任一项所述的图像处理器(140)，其中所述场景(100)包括挤奶位置，并且所述至少一个第二对象(RLT)是挤奶动物的奶头。
15.根据前述权利要求中的任一项所述的图像处理器(140)，其中所述图像数据(Dimg)包括针对像素集合中的每个像素表示光强度值的数据，并且所述图像处理器(140)还被配置为：
通过适应强度来调整所述像素集合中的像素的所述强度值，所述像素表示由来自所述至少两个光源(121,122,123,124)中的少于全部的光源的光照射的所述至少一个第二对象的所述至少一部分的表面(FLTS1)上的点(P1,P2,…,P6)，所述强度值是在不考虑所述阴影效应的情况下计算的，并且所述适应强度与光被阻挡而无法到达所述点(P1,P2,…,P6)的所述至少两个光源(121,122,123,124)的数目成比例，其中所述至少两个光源总计为第一总数目n，并且光未到达所述点的所述一个或多个光源总计为至少一个且n-1或更小的第二总数目。
16.一种计算机实现的图像处理方法，所述图像处理方法包括：
获得由飞行时间TOF成像系统(110)配准的图像数据(Dimg)，所述图像数据(Dimg)表示由至少两个光源(121,122,123,124)照射的场景(100)，所述至少两个光源被校准以使得图像处理器(140)能够产生要被包括在所述图像数据(Dimg)中的距离数据(dD)，所述距离数据(dD)表示从所述TOF成像系统(110)到已成像对象上的点的相应距离；
确定是否存在阴影效应，通过所述阴影效应，所述场景(100)中的至少一个第一对象(TC；FLT,FRT)阻挡来自所述至少两个光源(121,122,123,124)中的至少一个光源(121,122,123,124)的光到达所述场景(100)中的至少一个第二对象(FLT,FRT；RLT,RRT)的至少一部分以及从那里反射到所述TOF成像系统(110)中；并且如果确定存在所述阴影效应，则
调整所述距离数据(dD)以补偿(dΔ)光未到达所述至少一个第二对象(FLT,FRT；RLT,RRT)的所述至少一部分的所述至少一个光源(121,122,123,124)。
17.根据权利要求16所述的方法，所述方法包括：
通过将表示到所述至少一个第二对象(FLT)的所述至少一部分上的表面(FLTS1)上的点(P1,P2,…,P6)的距离的一段距离数据(dD’)修改适应量(dΔ)来调整所述距离数据(dD)，所述一段距离数据(dD’)是在不考虑所述阴影效应的情况下确定的，并且所述适应量(dΔ)取决于所述至少两个光源(121,122,123,124)中的哪个或哪些光源的光未到达所述点(P1,P2,…,P6)。
18.根据权利要求16或17中任一项所述的方法，所述方法包括：
从查找表(1350)中获得所述适应量(dΔ)，所述查找表包括数据集，所述数据集针对由所述距离数据(dD)表示的至少一个距离表示所述至少两个光源(121,122,123,124)中的光未到达所述点(P1,P2,…,P6)的光源的每个可能组合的所述适应量(dΔ)。
19.根据权利要求16至18中任一项所述的方法，其中所述至少一个第一对象(TC)具有相对于所述TOF成像系统(110)和所述至少两个光源(121,122,123,124)的已知位置和空间延伸，并且所述方法包括：
调整所述距离数据(dD)以补偿所述至少两个光源(121,122,123,124)中的所述至少一个光源，所述至少一个光源的光被阻挡而无法到达所述至少一个第一对象(TC)后面的至少一个区段部分(S14,S0,S12,S34)。
20.根据权利要求19所述的方法，其中所述场景(100)包括挤奶位置，并且所述至少一个第一对象中的至少一者是布置在机械地链接到所述TOF成像系统(110)的承载结构(RA)上的挤奶杯(TC)。
21.根据权利要求19所述的方法，其中所述场景(100)包括挤奶位置，并且所述至少一个第一对象中的至少一者是挤奶动物的奶头(FRT,FLT)。
22.根据权利要求16至21中任一项所述的方法，所述方法还包括：
确定到所述场景(100)中的潜在遮蔽对象(TC,FRT,FLT)的距离(dD)，所述潜在遮蔽对象(TC,FRT,FLT)与所述场景(100)中的任何其他对象相比位于与所述TOF成像系统(110)相距较短的距离处；
采用反向光线跟踪算法，以相对于来自所述至少两个光源(121,122,123,124)中的至少一个光源的光，在所述场景(100)中建立被估计为由所述潜在遮蔽对象(TC,FRT,FLT)遮蔽的至少一个区段部分(BTC1234,BTC12,BTC34,BFRT)；以及
在确定所述阴影效应是否存在时，将所述潜在遮蔽对象(TC,FRT,FLT)包括在候选组中，从所述候选组选择所述至少一个第一对象(TC,RLT,RRT)。
23.根据权利要求22所述的方法，所述方法包括：
执行第一处理步骤，其中确定所述场景(100)中的另一潜在遮蔽对象(RLT)的空间位置，所述另一潜在遮蔽对象(RLT)与所述场景(100)中尚未被包括在所述候选组中的任何其他对象相比位于与所述TOF成像系统(110)相距较短的距离处；
执行第二处理步骤，其中应用所述反向光线跟踪算法以相对于来自所述至少两个光源(121,122,123,124)中的至少一个光源(121,124)的光在所述场景(100)中建立被估计为由所述另一潜在遮蔽对象(RLT)遮蔽的至少一个区段部分；以及
执行第三处理步骤，其中在确定所述阴影效应是否存在时，将所述另一潜在遮蔽对象(RLT)包括在所述候选组中，从所述候选组选择所述至少一个第一对象(TC,RLT,RRT)。
24.根据权利要求23所述的方法，所述方法包括重复执行所述第一处理步骤、所述第二处理步骤和所述第三处理步骤，直到已经满足停止标准。
25.根据权利要求24所述的方法，所述方法包括响应于以下中的至少一者来设置所述停止标准：时间约束和处理能力约束。
26.根据权利要求16至25中任一项所述的方法，所述方法包括：
确定表示到所述第二对象(RLT)的第一表面区域(ARLT1234)的第一距离的第一段距离数据(dD)，所述第一表面区域位于由所述至少两个光源(121,122,123,124)中的所有光源照射的第一区段部分(S1234)中；以及
确定表示到所述至少一个第二对象(RLT)的所述至少一部分的第二表面区域(ARLT23)的第二距离的第二段距离数据(dD)，所述第二表面区域位于由所述至少两个光源(121,122,123,124)的子集照射的第二区段部分(S23)中，并且所述确定所述第二段距离数据(dD)涉及将所述第一表面区域(ARLT1234)外推到所述第二区段部分(S23)中。
27.根据权利要求26所述的方法，其中所述外推假设所述至少一个第二对象(RLT)具有通常已知的形状。
28.根据权利要求27所述的方法，其中第二数目为零。
29.根据权利要求26至28中任一项所述的方法，其中所述场景(100)包括挤奶位置，并且所述至少一个第二对象(RLT)是挤奶动物的奶头。
30.根据权利要求16至29中任一项所述的方法，其中所述图像数据(Dimg)包括针对像素集合中的每个像素表示光强度值的数据，并且所述方法还包括：
通过适应强度来调整所述像素集合中的像素的所述强度值，所述像素表示由来自所述至少两个光源(121,122,123,124)中的少于全部的光源的光照射的所述至少一个第二对象的所述至少一部分的表面(FLTS1)上的点(P1,P2,…,P6)，所述强度值是在不考虑所述阴影效应的情况下计算的，并且所述适应强度与光被阻挡而无法到达所述点(P1,P2,…,P6)的所述至少两个光源(121,122,123,124)的数目成比例。
31.一种能加载到与处理单元(1325)通信地连接的非易失性数据载体(1326)中的计算机程序(1327)，所述计算机程序(1327)包括用于在所述处理单元(1325)上运行所述计算机程序时执行根据权利要求16至30中任一项所述的方法的软件。
32.一种包含权利要求31所述的计算机程序(1327)的非易失性数据载体(1326)。
CN202180062992.9A 2020-10-13 2021-10-12 图像处理器、计算机实现的图像处理方法、计算机程序和非易失性数据载体 Pending CN116209917A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SE2051188 2020-10-13
SE2051188-7 2020-10-13
PCT/SE2021/050996 WO2022081069A1 (en) 2020-10-13 2021-10-12 Image processor, computer-implemented image processing method, computer program and non-volatile data carrier

Publications (1)

Publication Number Publication Date
CN116209917A true CN116209917A (zh) 2023-06-02

Family

ID=78302883

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180062992.9A Pending CN116209917A (zh) 2020-10-13 2021-10-12 图像处理器、计算机实现的图像处理方法、计算机程序和非易失性数据载体

Country Status (6)

Country Link
US (1) US20230384456A1 (zh)
EP (2) EP4229443A1 (zh)
CN (1) CN116209917A (zh)
CA (1) CA3190457A1 (zh)
IL (1) IL300296A (zh)
WO (1) WO2022081069A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL1032435C2 (nl) 2006-09-05 2008-03-06 Maasland Nv Inrichting voor het automatisch melken van een melkdier.
US8988662B1 (en) * 2012-10-01 2015-03-24 Rawles Llc Time-of-flight calculations using a shared light source
KR102561099B1 (ko) 2016-09-23 2023-07-28 삼성전자주식회사 ToF(time of flight) 촬영 장치 및 다중 반사에 의한 깊이 왜곡 저감 방법
US10116915B2 (en) * 2017-01-17 2018-10-30 Seiko Epson Corporation Cleaning of depth data by elimination of artifacts caused by shadows and parallax

Also Published As

Publication number Publication date
CA3190457A1 (en) 2022-04-21
EP4229443A1 (en) 2023-08-23
WO2022081069A1 (en) 2022-04-21
EP4343380A2 (en) 2024-03-27
IL300296A (en) 2023-04-01
US20230384456A1 (en) 2023-11-30

Similar Documents

Publication Publication Date Title
EP3579546B1 (en) Exposure control method, exposure control device and electronic device
US10234873B2 (en) Flight device, flight control system and method
CN106662651B (zh) Tof相机系统以及用于测量与该系统的距离的方法
TWI709943B (zh) 深度估計裝置、自動駕駛車輛及其深度估算方法
JP7239572B2 (ja) カメラを用いた対象者プロファイルの決定
CN112634374B (zh) 双目相机的立体标定方法、装置、系统及双目相机
US20180308253A1 (en) Method and system for time alignment calibration, event annotation and/or database generation
EP3416370B1 (en) Photography focusing method, device, and apparatus for terminal
JPWO2017213052A1 (ja) 測距システム及び測距方法
EP2395369A1 (en) Time-of-flight imager.
JP2018530737A (ja) 画像についての奥行きマップを決定するための方法及び装置
US20170278260A1 (en) Image processing apparatus, image processing method, and non-transitory recording medium storing program
US20200288065A1 (en) Target tracking method and device, movable platform, and storage medium
WO2019011027A1 (zh) 应用于三维相机的图像校准方法和装置
KR20120058828A (ko) 3차원 좌표 추출 시스템 및 그 방법
KR20180032989A (ko) ToF(time of flight) 촬영 장치 및 다중 반사에 의한 깊이 왜곡 저감 방법
CN110709722A (zh) 飞行时间摄像机
CN105717513B (zh) 一种基于普通摄像头芯片的低成本激光测距方法
US20220221584A1 (en) Laser radar and method for generating laser point could data
CN110363786A (zh) 基于贝叶斯融合的单晶炉液位检测激光光斑中心定位方法
US20170076459A1 (en) Determining scale of three dimensional information
WO2019001001A1 (zh) 一种障碍信息获取装置及方法
JP6776692B2 (ja) 視差演算システム、移動体及びプログラム
US20220087208A1 (en) Position-determining device
CN102401901B (zh) 测距系统及测距方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination