CN115362473A - 用于对长于视场的运动物体进行三维扫描的系统和方法 - Google Patents

用于对长于视场的运动物体进行三维扫描的系统和方法 Download PDF

Info

Publication number
CN115362473A
CN115362473A CN202180027055.XA CN202180027055A CN115362473A CN 115362473 A CN115362473 A CN 115362473A CN 202180027055 A CN202180027055 A CN 202180027055A CN 115362473 A CN115362473 A CN 115362473A
Authority
CN
China
Prior art keywords
image
fov
data
images
vision system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180027055.XA
Other languages
English (en)
Inventor
本·R·凯里
安德鲁·帕雷特
刘玉康
盖伯特·迟昂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cognex Corp
Original Assignee
Cognex Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cognex Corp filed Critical Cognex Corp
Publication of CN115362473A publication Critical patent/CN115362473A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Abstract

本发明提供了一种系统和方法，用于使用视觉系统的区域扫描传感器，结合编码器或其他运动知识，以捕获大于传感器单个视场(field ofview，FOV)的物体的准确测量值。它识别物体的特征/边缘，从一个图像到另一个图像进行跟踪，从而提供一种轻量级的方法来处理物体的整体范围以进行尺寸确定。逻辑自动确定物体是否比FOV长，从而导致在移动/传送的物体保持在FOV内并且直到物体不在FOV内为止，发生一系列图像采集快照。此时，采集停止，单个图像被组合为整体图像中的片段。可以处理这些图像以根据输入的应用详细信息得出物体的整体尺寸。

Description

用于对长于视场的运动物体进行三维扫描的系统和方法
技术领域
本发明涉及分析三维(three-dimensional，3D)空间中的物体的机器视觉系统，更具体地，涉及用于分析通过传送器上的检查区域运输的物体的系统和方法。
背景技术
执行物体的测量、检查、对齐和/或符号(例如，条形码—也称为“ID码”)解码的机器视觉系统(在本文中也称为“视觉系统”)，广泛应用于各种应用和行业。这些系统基于图像传感器的使用，该传感器获取对象或物体的图像(通常是灰度或彩色，以及一维、二维或三维)，并使用板载的或互连的视觉系统处理器来处理这些获取的图像。处理器通常包括处理硬件和非暂时性计算机可读程序指令，这些指令执行一个或更多个视觉系统处理，以根据图像的处理信息生成期望的输出。该图像信息通常在图像像素阵列内提供，每个图像像素具有各种颜色和/或强度。
如上所述，一个或更多个视觉系统相机可以被布置为获取成像场景中物体的二维(two-dimensional，2D)或三维(3D)图像。2D图像通常被表征为在整个N X M图像阵列(通常由相机图像传感器的像素阵列定义)内具有x和y分量的像素。在以3D获取图像的情况下，除了x和y分量外，还有一个高度或z轴分量。可以使用多种机制/技术获取3D图像数据，包括立体相机的三角测量、激光雷达、飞行时间传感器和(例如)激光位移分析。
通常，3D相机被布置为捕获落入其视场(field of view，FOV)内的物体的3D图像信息，视场构成沿横向x和y维度向外呈扇形展开的的体积空间，作为在正交z维度上距相机传感器的距离的函数。同时/同步(即在“快照”中)获取整个体积空间图像的传感器称为“区域扫描传感器”。此类区域扫描传感器与逐片捕获3D信息的线扫描传感器(例如轮廓仪)不同，并使用运动(例如传送器运动)和该运动的测量(例如通过运动编码器或步进器)来移动物体通过检查区域/FOV。
线扫描传感器的优点是被检查的物体可以是任意长的—物体长度沿传送器运动方向。相反地，区域扫描传感器拍摄体积空间的图像快照，不需要编码器来捕获3D场景，但如果物体比视场长，则无法在单个快照中对整个物体进行成像。如果在单个快照中仅获取了物体的一部分，则当物体的尾随部分(尚未成像)进入FOV时，必须获取剩余长度的另一快照(或多个快照)。对于多个快照，挑战是如何以有效的方式注册(拼接在一起)多个3D图像，以便整体3D图像准确地表示物体的特征。
发明内容
本发明通过提供一种系统和方法来克服现有技术的缺点，该系统和方法用于使用视觉系统的区域扫描传感器，结合编码器或其他运动知识，以捕获大于传感器的单视场(FOV)的物体的精确测量。该系统和方法特别解决了快照区域扫描视觉系统定义有限视场的缺点，这通常需要系统获取多个快照以及组合快照所需的其他数据。这避免了组合原始图像数据然后对此类数据进行后处理的任务，这可能是计算密集型的。相反，示例性实施例识别物体的特征/边缘(也称为与识别的多边形形状相关的“顶点”)，这些特征/边缘在图像之间被跟踪，从而提供轻量级的方式来处理物体的整体范围以进行尺寸确定(dimensioning)目的。该系统和方法可以采用自动确定物体是否比FOV长(在传送方向上)的逻辑，从而导致在移动/传送的物体保持在FOV内的同时发生一系列图像采集快照，直到物体不再出现在FOV中。此时，采集停止，并且可选地将单个图像组合为整体图像中的片段。整体图像数据可用于各种下游处理。来自离散图像快照的聚合特征数据，无论是否生成实际整体图像，都可以进行处理，以根据输入应用细节获得物体的整体尺寸。此类聚合特征数据可用于确定(多个)物体的其他属性和特征，包括但不限于偏斜、长度、宽度和/或高度的超公差、置信度分数、液体体积、分类、物体的实际成像数据数量(quantity，QTY)与物体的预期成像数据数量、物体位置特征、和/或相对于物体的损坏检测。该系统和方法还可以加入复杂/多级物体，这些物体通常会由于来自阴影等的3D数据丢失而被区域扫描传感器的常规成像来分离。
在说明性实施例中，提供了一种视觉系统及其使用方法。视觉系统和方法可以包括布置为区域扫描传感器的3D相机组件，以及接收来自在所述3D相机组件的视场FOV内获取的物体的图像的3D数据的视觉系统处理器。物体在传送方向上被传送通过所述FOV，并且所述物体可以限定在所述传送方向上比所述FOV长的整体长度。尺寸确定处理器，基于从所述物体通过所述FOV的传送中导出的运动跟踪信息，结合所述物体的多个3D图像来测量所述整体长度。图像可以由3D相机组件以在3D图像之间具有预定量的传送运动的序列来获取。与FOV相关联的存在检测器可以在物体与其相邻时提供存在信号。响应于所述存在信号，所述尺寸确定处理器，可以被布置为当所述物体在所述传送方向上移动时确定所述物体是否出现在多于一个图像中。响应于与所述物体上的特征相关的信息，尺寸确定处理器可以被布置为当所述物体在所述传送方向上移动时确定所述物体是否比FOV长。图像处理器可以结合来自所述3D相机的连续图像采集的与所述物体上的特征相关的信息，生成聚合特征数据，从而以无需将离散的单个图像组合成整体图像的方式来确定所述物体的整体尺寸。说明性地，图像处理器可以被布置为响应于所述物体的整体长度大于所述FOV，以在所述物体保持在所述FOV内并且直到所述物体离开所述FOV为止，获取一系列图像采集快照。图像处理器可以进一步布置为使用所述聚合特征数据并基于输入的应用数据来导出所述物体的整体属性，并且其中所述整体属性包括置信度分数、物体分类、物体尺寸、偏斜和物体体积中的至少一个。基于整体属性的物体处理过程，可以执行关于物体的任务，包括重定向物体、拒绝物体、发出警报和纠正物体中的偏斜中的至少一个。说明性地，可以通过机械传送器或手动操作来传送物体，和/或可以通过可操作地连接到传送器的编码器来产生跟踪信息。运动传感设备可操作地连接到传送器、外部特征传感设备和/或基于特征的传感设备。尺寸确定处理器可以使用所述存在信号来确定当所述物体在所述传送方向上移动时，所述物体在每个所述图像之间的连续性。多个图像可以由所述3D相机获取，所述多个图像之间具有预定的重叠，并且去除处理使用所述跟踪信息从所述物体尺寸中去除重叠部分以确定整体长度。图像拒绝处理可以拒绝由于在所述多个图像中的前一个包含所述物体的后边缘的图像之后所述存在信号被断言而获取的所述多个图像中的最后一个图像。尺寸确定处理器可以进一步被布置为使用与所述物体上的特征相关的信息来确定当所述物体沿所述传送方向移动时每个所述图像之间物体的连续性。尺寸确定系统可以进一步定义图像中物体之间的最小间距，低于最小间距的多个物体被认为是缺少3D图像数据的单个物体。说明性地，图像处理器可以被布置成生成关于物体的聚合特征数据，涉及(a)超出长度限制的数据、(b)超出宽度限制的数据、(c)超出高度限制的数据、(d)超出体积限制的数据、(e)置信度分数、(f)液体体积、(g)分类、(h)物体的实际成像数据的数量(QTY)与物体的预期成像数据的数量、(i)物体的位置特征、和/或(j)与物体相关的损坏检测。
在说明性实施例中，视觉系统和相关联的方法可以包括布置为具有视场(FOV)的区域扫描传感器的3D相机组件，区域扫描传感器可以操作采集处理，采集处理在物体通过FOV时捕获物体的一个或更多个图像，并确定(a)物体是否将占据多于单个图像，(b)确定物体何时将不再占据下一个图像，以及(c)从获取的一个或更多个图像中计算物体的大小和相对角度。
在说明性实施例中，可以使用具有布置为区域扫描传感器的3D相机组件和视觉系统处理器的视觉系统来提供用于对物体进行尺寸确定的方法，其中视觉系统处理器接收来自在所述3D相机组件的视场FOV内获取的物体的图像的3D数据。物体可以在传送方向上被传送通过所述FOV的，并且所述物体可以限定在所述传送方向上比所述FOV长的整体长度。该方法还可以包括以下步骤：基于从所述物体传送通过所述FOV获得的运动跟踪信息，结合所述物体的多个3D图像来测量所述整体长度，所述多个3D图像是由所述3D相机组件以在3D图像之间具有预定数量的传送运动的序列来获得的。当所述物体与所述FOV相邻时生成存在信号，并且响应于所述存在信号，可以确定在所述物体沿所述传送方向移动时所述物体是否出现在多于一个图像中。响应于与物体上的特征相关的信息，当所述物体在所述传送方向上移动时可以确定所述物体是否比FOV长。可以结合来自所述3D相机的连续图像采集的与所述物体上的特征相关的信息，生成聚合特征数据，从而以无需将离散的单个图像组合成整体图像的方式来确定所述物体的整体尺寸。说明性地，响应于物体的整体长度大于FOV，可以在物体保持在FOV内并且直到物体离开FOV为止，获取一系列图像采集快照。可以使用聚合特征数据并基于输入的应用数据来导出物体的整体属性，并且整体属性可以包括置信度分数、物体分类、物体尺寸、偏斜和物体体积中的至少一个。说明性地，该方法可以基于整体属性执行关于物体的任务，包括重定向物体、拒绝物体、发出警报和纠正物体中的偏斜中的至少一个。说明性地，当物体在传送方向上移动时，存在信号可以用于确定物体在每个图像之间的连续性。在组合信息中，该方法可以进一步生成(a)超出长度限制的数据，(b)超出宽度限制的数据，(c)超出高度限制的数据，(d)超出体积限制的数据，(e)置信度分数，(f)液体体积，(g)分类，(h)物体的实际成像数据的数量(QTY)与物体的预期成像数据的数量，(i)物体的位置特征，和/或(j)与物体相关的损坏检测。可以定义图像中物体之间的最小间距，并且在低于最小间距时，将多个成像物体视为具有缺少3D图像数据的单个物体。
附图说明
以下参照附图对本发明进行描述，其中：
图1是使用区域扫描传感器获取和处理长于视场的物体的3D图像的系统的概览，该系统采用尺寸确定过程(处理器)来在物体移动通过视场时从多个快照生成整体图像；
图2是图1的传送器和区域扫描传感器布置的侧视图，详细说明了根据示例性的FOV，用于图像采集的物体触发平面的3D成像的可用感兴趣区域；
图3是示出图1和图2的布置的运行时操作的图，示例性的物体在传送方向上的长度大于可用感兴趣区域(region of interest，ROI)，到达触发平面以触发初始快照；
图4是示出图3的运行时操作的图，示例性物体部分地穿出ROI中并且编码器指示其足以触发第二快照的运动程度；
图5是示出图1和图2的布置的运行时操作的图，示例性物体表示可能导致3D图像数据丢失和/或指示FOV中的两个离散物体的复杂顶面；
图6是示出根据示例性实施例的用于操作尺寸确定处理的过程的流程图，包括对多个物体和/或复杂物体进行成像；
图7是示出成像传送器表面的俯视图的图，其中示例性重叠图像片段表示整体成像物体；和
图8是用于图1和图2的布置的通用图像采集过程的流程图，适用于处理如图7所示的重叠图像片段，以生成物体的整体长度，以及其最大宽度和高度以及相对于传送方向(或另一坐标系)的相对角度。
具体实施方式
I.系统概述
图1示出了布置100的概览，其中视觉系统相机组件(也简称为“相机”或“传感器”)110在示例性物体120通过其视场(FOV)下方时，相对于沿下游方向(箭头132)移动的移动传送器130，获取物体120的3D图像数据。作为示例，局部/相对3D坐标系138用x、y和z正交坐标示出。其他坐标系，例如极坐标，可用于表示3D空间。注意，在该示例中，物体120定义了比FOV的上游和下游边界BF和BR更长的从上游到下游(通常沿着y轴/运动方向)长度LO，这将在下面进一步描述。
本文设想的3D相机/成像组件110可以是获取物体的3D图像的任何组件，包括但不限于立体相机、飞行时间相机、激光雷达、超声波测距相机、结构化照明系统和激光位移传感器(轮廓仪)，因此，术语3D相机应当被广义地理解为包括这些系统和生成与物体的2D图像相关联的高度信息的任何其他系统。此外，可以提供单个相机或多个相机的阵列，并且术语“相机”和/或“相机组件”可以指以生成场景的期望的3D图像数据方式获取图像的一个或更多个相机。所描绘的相机组件110被示出以检查点或检查站的方式安装在传送器130的表面上方，检查点或检查站在流动物体经过时对其进行成像。在该实施例中，相机组件110限定了相对于传送器130的表面近似垂直(沿z轴)的光轴OA。轴OA相对于传送器表面的其他非垂直取向也是明确地预期的。物体120可以保持运动(通常)或暂时停止以进行成像，这取决于传送器的运行速度和相机图像传感器和相关电子设备110的采集时间(部分取决于帧速率和光圈设置)。相机110获取充分处于FOV内的物体120的3D图像，这可以由光电检测器或其他触发机构136触发，并且导致到相机110和相关联的处理器的触发信号。因此，本实施例中的相机组件110被布置为区域扫描传感器。
相机组件110包括适于生成3D图像数据134的图像传感器S。相机组件还包括(可选的)整体照明组件I——例如LED的环形照明器，其在相对于轴OA的可预测的方向上投射光。外部照明(未示出)可以以替代布置提供。适当的光学套件(package)O示出为沿轴OA与传感器S光学联通。传感器S与从相机110接收图像数据134的内部和/或外部视觉系统处理(处理器)140通信，并根据本文的系统和方法对数据执行各种视觉系统任务。处理(处理器)140包括底层处理/处理器或功能模块，包括一组视觉系统工具142，其可以包括识别和分析图像数据中的特征的各种标准和定制工具，包括但不限于，边缘检测器、斑点(blob)工具、模式识别工具、深度学习网络、ID(例如条形码)查找器(finder)和解码器等。根据系统和方法，视觉系统处理(处理器)140还可包括尺寸确定处理(处理器)144。处理(处理器)144对在3D图像数据中识别的特征执行各种分析和测量任务，以便确定可以计算进一步结果的特定特征的存在。根据示例性实施例，处理(处理器)与各种常规和定制(例如3D)视觉系统工具142接口。
系统设置和结果显示可以由单独的计算设备150处理，例如服务器(例如基于云的或本地的)、个人计算机(personal computer，PC)、膝上型电脑、平板电脑和/或智能手机。计算设备150(作为非限制性示例)被描绘为具有共同提供图形用户界面(graphical userinterface，GUI)功能的常规显示器或触摸屏152、键盘154和鼠标156。可以在设备150的替代实现中提供各种接口设备和/或形式因素。GUI可以部分地由web浏览器应用驱动，该web浏览器应用驻留在设备操作系统上，并根据本文的示例性布置，显示来自处理(处理器)140具有控制和数据信息的网页。
注意，处理(处理器)140可以完全或部分地驻留在相机组件110的外壳上，并且各种过程模块/工具142和144可以在适当时完全或部分地在板载处理(处理器)140或远程计算设备150实例化。在示例性实施例中，所有视觉系统和界面功能都可以在板载处理(处理器140)上实例化，并且计算设备150可以主要用于训练、监控和与界面网页(例如HTML)相关的操作，该界面网页由板载处理(处理器)140生成并通过有线或无线网络链路传输到计算设备。可选地，处理(处理器)140的全部或部分可以驻留在计算设备150中。来自处理器的分析结果可以传输到下游利用设备或处理160。这样的设备/处理可以使用结果162来处理物体/包装——例如基于分析的特征和/或拒绝有缺陷的物体来选通传送器130以将物体引导到不同的目的地。
相机组件包括由工厂和/或现场校准程序建立的板载校准数据，并将成像像素的x、y和z坐标映射到相机的坐标空间。该校准数据170被提供给处理器以用于分析图像数据。此外，在示例性实施例中，传送器和/或其驱动机构(例如步进电机)包括将相对运动数据182报告给处理器140的编码器或其他运动跟踪机构180。运动数据可以以多种方式递送——例如基于距离的脉冲，每个脉冲都定义了传送器运动的预定增量。通过对脉冲求和，可以确定给定时间段内的总运动。
注意，本文使用的术语“传送器”应当被广义地理解为包括其中物体通过另一种技术—例如手动运动穿过FOV的布置。因此，如本文所定义的“编码器”可以是任何可接受的运动测量/跟踪设备，包括步进器、标记阅读器和/或在传送器或物体通过FOV时跟踪它们上的特征或基准的那些设备，包括使用底层视觉系统应用的知识(例如图像中的特征)来确定图像快照之间的运动程度的各种内部技术。
II.尺寸确定处理器
A.设置
图2示出了布置200的设置，布置200适于对在运动方向132上比FOV更长的物体进行成像。相机组件110被示为覆盖传送器130的一部分，传送器130包括用于此类物体的检查站。传送器130递送编码器计数210，编码器计数210可以用每个触发事件复位，其中传送器130被描绘在3D相机组件的区域中。每当物体通过与上述存在检测器136(图1)对准的触发平面230时，都会发出触发(在这种情况下，触发状态220为负并且红色或其他颜色/阴影指示符由点阴影表示)。3D FOV定义了可用的感兴趣区域250，其从传送器130的表面沿相机轴OA向上延伸，并位于轴OA的任一侧。在该示例中，感兴趣区域(region of interest，ROI)定义了可用高度HR，可用高度HR可以由用户根据预期的最大物体高度来定义。ROI 250的顶部254分别与FOV的前BF和后BR边界相交的点256和258有效地定义了可用ROI在运动方向132(y轴)上的长度LR。因此，ROI的最大高度HR越高，长度LR越短。
B.物体大小推断和触发/编码器逻辑
在定义了可用ROI之后，处理器确定传送器行进多少脉冲以达到长度LR。参考图3，系统被示为在运行时模式下操作以推断物体120的大小(长度)，其被描绘为物体120前端310到达触发平面230。后端320在可用ROI 250的后边界340之外。此时，3D相机组件被触发以获取物体的第一图像(快照)，并且编码器计数330在处理器中设置为零。分析快照以确定物体的后端是否出现在ROI内(使用视觉系统工具、高度变化等)。如果物体120以单个ROI250结束，则快照被报告为该物体的完整3D图像，并且系统等待下一个物体/触发。相反，如果物体120看起来不在可用ROI内结束(例如，在ROI 250的后边界340内物体几何形状没有实质变化)，如图3中的情况，则系统存储第一图像并计算编码器脉冲中的一个ROI长度(LR)(或该长度LR的已知比例)。在图4中引用了该计数，其中物体后端320现在已经进入可用ROI250(经过ROI后边界320)。此时(如图4所示)已经计数了一个ROI长度LR的脉冲。在该示例中，脉冲计数430是300mm。该长度等于或小于长度LR。如下所述，脉冲计数可以小于长度LR，其中期望快照图像之间的重叠。这样可以确保图像边缘的细节不会丢失。如图4所示，在这个阶段触发状态420也是正的(由绿色或其他颜色/阴影表示，并由斜线阴影表示)，因为物体存在于触发平面230。事件(正触发状态和全编码器计数)的这种逻辑组合触发相机组件获取物体120的第二快照。第二快照也与来自第一快照的物体相关联地存储。
系统分析第二快照以确定物体120的后端320现在是否存在于后ROI边界340的下游。如果是，则整个物体长度已被成像，并且可以组合两个快照并按以下进一步描述进行处理。如果物体的后端不在第二个快照的ROI中，则编码器计数被复位，由于物体的持续存在，触发状态420保持高，并且系统计数直到达到下一个ROI长度LR。拍摄另一个快照并重复上述步骤直到第n个快照，其中最终在ROI 250内检测到物体的后端。此时，当物体完全离开FOV时触发器变为低，并且递送图像结果。由于快照图像之间的重叠，有时存在特殊情况，可以通过评估离散图像采集之间的编码器计数来处理这种情况。如果先前的快照已经对物体的边缘成像并报告了尺寸，但触发器仍然变高(正)，并且拍摄新的快照，那么在这种情况下，如果当前快照的编码器计数等于ROI的长度，则丢弃新的快照，并且不报告任何维度。这是因为它是仅由快照图像之间的重叠引起的额外/未使用的快照。通常，如下所述，可以组合所有快照以与单个对象图像相关联地进行处理。
C.复杂和/或多个物体
在运行时操作的一些实现中，物体可以呈现复杂的3D形状。参考图5，示出了具有沿其顶表面522和/或悬伸(遮挡)特征525的变化高度的物体520到达触发平面230。此时，触发状态540变为正(绿色，如斜线阴影所示)，并且编码器计数530从0开始。然而，物体的复杂形状可能导致丢失3D图像数据或使视觉系统处理器混淆物体后端526的实际位置—在该示例中，当相机组件110获取第一快照时，其仍然位于可用ROI 250之外。还参照图6的过程600，在步骤610中，物体最初触发相机组件以获取3D快照。在该初始图像中可能存在单个(简单或复杂形状)物体或多个物体。视觉系统分析图像以确定是否检测到多个物体——通常通过寻找延伸到传送器表面(基线)的边界以及分离边界之间的间隙。如果未检测到两个项目，则视觉系统将物体视为单个项目(判定步骤620)。相反，如果检测到两个或更多个物体，则过程600的判定步骤620分支到进一步的判定步骤630，其中分析(一个或多个)间隙以确定(一个或多个)间隙是否小于最小距离(使用相机中的校准数据和传统测量技术来确定)。如果间隙大于由用户设置或自动设置的最小距离，则系统表示(步骤640)图像中的多个项目。在两个项目大于最小间隙距离的情况下(步骤640)或单个项目大于最小间隙距离的情况下(判定步骤620)，过程600分支到判定步骤650，其中视觉系统确定是否所有物体端部都在图像中，并且触发状态已经变为负。如果是，则过程600分支到步骤660，其中输出该图像的结果并且编码器被复位，等待下一个物体/触发发生。相反，如果在当前(初始)图像之后触发没有变为负，并且(一个或多个)物体的后端保持在FOV之外，则判定步骤650分支到步骤670，其中相机组件对编码器脉冲进行计数并获取FOV的另一个快照。这种情况一直持续到编码器变为负并且检测到物体的后部。
再次参考判定步骤630，其中存在间隙，但小于最小距离，过程600假定成像包含单个物体并且间隙是成像物体内不存在或丢失3D数据的结果。因此，物体被视为单个项目，并且判定步骤分支到进一步的判定步骤650(如上所述)，其中图像中物体后部的存在或不存在决定下一步骤。注意，一种用于预测和提供缺失或丢失的3D图像数据的技术在2020年2月10日提交的一般转让的共同未决美国临时申请序列号62/972,114，标题为“COMPOSITETHREE-DIMENSIONAL BLOB TOOL AND METHOD FOR OPERATING THE SAME”中进行了描述，其教导作为有用的背景信息通过引用并入。这样的blob工具可用于生成图像结果以传递给进一步的使用过程。
D.图像数据跟踪和结果重叠
参考图7，其示出了传送带720的连续自上而下(x-y平面)视图710，其由(例如)在存在长物体的情况下的(例如)三个连续图像采集的结果构成。整个物体的三个获取的图像730、732和734按顺序示出。值得注意的是，编码器计数已设置为使得第一预定重叠距离D1位于第一对图像730和732之间，第二预定重叠距离D2位于第二对图像732和734之间。物体图像之间的重叠距离可确保所获取的物体特征不会在3D ROI的边缘被无意忽略或模糊。视觉系统可以适当地去除或融合重叠区域以计算实际物体尺寸和特征，如下文参考图8所述。注意，本文使用的术语“特征”应当被视为包括术语“顶点”，或者可以与之互换使用，因为所获取的物体的图像通常定义了一个或更多个具有用于导出形状边界的关联顶点的多边形。
在操作中，图8的过程800从步骤810中以上述方式获取3D图像开始。也就是说，生成触发，并将编码器设置为对物体通过FOV的运动进行计数。在计数达到允许与后续图像重叠的距离值之后，在步骤820中复位计数，并且系统确定这是否是最后的图像——物体后部在ROI中。如果不是(通过判定步骤830)，则过程800分支回到步骤810并且获取另一个重叠图像。如果图像是序列中的最后一个图像，则过程800分支(通过判定步骤830)到步骤840，其中将一系列3D图像(整个物体的片段)传输到尺寸确定处理(处理器)和相关工具来来确定物体尺寸和(可选地)解析特征。使用由编码器相对于图像像素位置建立的距离，在步骤850中映射每个物体片段的x-y位置和边界框高度。然后，基于该映射，去除重叠(构成片段之间给定的已知编码器距离)以计算实际物体长度。得到的数据可以被定义为聚合(aggregate)特征数据，该聚合数据有效地组合来自各个形状的数据以建立物体的整体图片或特征，而无需(没有)组合物体的实际图像。该得到的聚合特征数据还可用于确定(例如)整个物体的最大宽度和最大高度，以及其相对于传送器运动方向的相对角度。该信息在各种使用过程中特别有用，例如物流以确保正确处理物体(例如包裹)。
注意，根据本文的系统和方法，明确设想从离散图像采集(快照)生成实际整体(合成或拼接在一起)图像是可选的。聚合特征数据可以独立于基于N XM像素的整体图像的创建来使用，以提供用于确定物体尺寸和/或下文描述的其他过程的适当结果。当需要时，可以生成整体图像并将其用于进一步的处理和/或提供图像物体的全部或部分的视觉记录。
E.结果的应用
预期从上述操作得到的聚合特征数据(和/或与顶点相关的数据)可以应用于与成像物体相关的各种任务和功能，包括但不限于各种大小和形状的包裹流。值得注意的是，本文中的过程可用于确定物体/包裹相对于(例如)行进方向和/或周围支撑表面的边界的偏斜角。可以使用本文的聚合特征数据识别和测量的一个潜在问题是物体相对于传送器行进方向(和平行侧边缘)或其他支撑表面的偏斜角。除了可能在狭窄的溜槽(chute)、闸口或其他过渡处造成堵塞之外，偏斜的数据还会导致物体看起来比其正常尺寸更长，并可能导致系统产生虚假缺陷。应当考虑偏斜角度数据，以便可以采取纠正措施(即忽略虚假缺陷或矫直物体)。值得注意的是，偏斜角信息(和/或其他测量的特征)可以是应用于结果(聚合特征数据)的元数据标签的一部分，以用于各种下游操作。其他相关的特征数据可以包括超出长度限制、超出宽度限制、超出高度限制和/或超出体积限制值，这将指示对于参数的限制，物体何时太长、太宽、太高或体积太大。进一步的相关数据可以涉及但不限于：
(a)置信度分数，可以告知物体的形状或接收到的数据的质量；
(b)液体体积，可以告知物体的形状或真实(非最小长方体)体积；
(c)分类，可以告知物体表面的形状是否平坦；
(d)查看/成像数据的数量(quantity，QTY)与预期查看/成像数据的数量；
(e)位置特征(例如，拐角、质心、距基准(例如传送带边缘)的距离)；和/或
(f)损坏检测(例如，基于实际成像形状与预期形状，凸起/凹陷包裹的存在)。
聚合特征数据的使用通常避免了需要包括组合物体的更详细的基于像素的图像数据，从而允许针对物体执行附加处理。在处理和操纵此类聚合特征数据时，数据的整体大小允许更快速的处理和更低的处理器开销。一些示例性任务可以包括仓库中的过程的自动化——例如拒绝和/或重定向尺寸和/或形状不一致的物体。因此，使用这样的数据来转移物体可能会导致这样的过大物体被卡在传送器的溜槽中或弯道处。类似地，由该系统和方法导出的聚合特征数据可以帮助自动标记过程以确保物体的位置是正确的。此外，如上所述，偏斜信息可用于避免虚假缺陷情况和/或允许系统或用户在传送器流中校正物体，从而避免软堵塞情况。其他依赖于数据的物体/包裹处理任务可以以本领域技术人员应该清楚的方式使用数据。
III.结论
应该清楚的是，上述系统和方法提供了一种有效、可靠和稳健的技术，用于确定可能不完全适合沿传送器移动方向的3D区域扫描传感器FOV内的过大物体的长度。该系统和方法使用传统的编码器数据和检测器触发器来生成准确的物体尺寸集合，并且可以在由于复杂的形状和/或传送器流中存在多个物体的情况下存在丢失或不存在3D数据的情况下进行操作。
前面已经详细描述了本发明的说明性实施例。在不脱离本发明的精神和范围的情况下，可以进行各种修改和添加。上述各个实施例中的每一个的特征可以适当地与其他描述的实施例的特征进行组合，以便在相关联的新实施例中提供多种特征组合。此外，虽然前面描述了本发明的装置和方法的多个单独的实施例，但这里所描述的仅仅是说明本发明的原理的应用。例如，如本文所用，术语“处理”和/或“处理器”应当被广泛理解为包括各种基于电子硬件和/或软件的功能和组件(并且可以替代地称为功能“模块”或“元件”)。此外，所描绘的处理或处理器可以与其他处理和/或处理器组合或分成各种子处理或子处理器。这样的子处理和/或子处理器可以根据本文的实施例进行各种组合。同样地，明确设想本文中的任何功能、处理和/或处理器可以使用电子硬件、由程序指令的非暂时性计算机可读介质组成的软件或硬件和软件的组合来实现。此外，如本文所使用的各种方向和倾向术语，例如“垂直”、“水平”、“上”、“下”、“底部”、“顶部”、“侧面”、“前部”、“后部”、“左”、“右”等仅用作相对约定，并不用作相对于固定坐标空间(例如重力的作用方向)的绝对方向/倾向。此外，在针对给定测量、值或特性使用术语“基本上”或“近似”的情况下，它是指在正常操作范围内以实现期望结果的量，但包括由于固有的在系统允许的容差范围内的不准确性和误差(例如1-5％)。因此，该描述仅作为示例，而不是限制本发明的范围。

Claims (20)

1.一种视觉系统，具有布置为区域扫描传感器的3D相机组件，以及视觉系统处理器，所述视觉系统处理器接收来自在所述3D相机组件的视场FOV内获取的物体图像的3D数据，所述物体在经过所述FOV的传送方向上被传送，并且所述物体限定在所述传送方向上的整体长度比所述FOV长，所述视觉系统包括：
尺寸确定处理器，基于从所述物体传送经过所述FOV中导出的运动跟踪信息，并结合所述物体的多个3D图像来测量所述整体长度，所述多个3D图像是由所述3D相机组件以在3D图像之间具有预定量的传送运动的序列来获取的；
存在检测器，与所述FOV相关联，当所述物体位于所述存在检测器附近时，所述存在检测器提供存在信号，
其中，所述尺寸确定处理器，响应于所述存在信号，被布置为当所述物体在所述传送方向上移动时确定所述物体是否出现在多于一个图像中，并且
其中，所述尺寸确定处理器，响应于与所述物体上的特征相关的信息，被布置为当所述物体在所述传送方向上移动时确定所述物体是否比FOV长；以及
图像处理器，结合来自所述3D相机的连续图像采集的与所述物体上的特征相关的信息，生成聚合特征数据，从而以无需将离散的单个图像组合成整体图像的方式来确定所述物体的整体尺寸。
2.根据权利要求1所述的视觉系统，其中，所述图像处理器被布置为响应于所述物体的整体长度大于所述FOV，以在所述物体保持在所述FOV内并且直到所述物体离开所述FOV为止，获取一系列图像采集快照。
3.根据权利要求2所述的视觉系统，其中，所述图像处理器被布置为使用所述聚合特征数据并基于输入的应用数据来推导所述物体的整体属性，并且其中所述整体属性包括置信度分数、物体分类、物体尺寸、偏斜和物体体积中的至少一个。
4.根据权利要求3所述的视觉系统，还包括物体处理过程，所述物体处理过程基于所述整体属性执行关于所述物体的任务，所述任务包括重定向所述物体、拒绝所述物体、发出警报和纠正所述物体中的偏斜中的至少一个。
5.根据权利要求1所述的视觉系统，其中，所述物体由机械传送器或手动操作来传送。
6.根据权利要求5所述的视觉系统，其中，所述跟踪信息由可操作地连接到所述传送器的编码器、可操作地连接到所述传送器的运动传感设备、外部特征传感设备或基于特征的传感设备生成。
7.根据权利要求1所述的视觉系统，其中，所述尺寸确定处理器使用所述存在信号来确定当所述物体在所述传送方向上移动时，所述物体在每个所述图像之间的连续性。
8.根据权利要求7所述的视觉系统，其中，所述多个图像由所述3D相机获取，所述多个图像之间具有预定的重叠，并且还包括去除过程，所述去除过程使用所述跟踪信息从所述物体尺寸中去除重叠部分以确定所述整体长度。
9.根据权利要求8所述的视觉系统，还包括图像拒绝过程，所述图像拒绝过程拒绝所述多个图像中的最后一个图像，所述最后一个图像是由于在所述多个图像中的前一个图像包含所述物体的后边缘之后断言所述存在信号而获取的。
10.根据权利要求1所述的视觉系统，其中，所述尺寸确定处理器被布置为使用与所述物体上的特征相关的信息来确定当所述物体在所述传送方向上移动时每个所述图像之间物体的连续性。
11.根据权利要求1所述的视觉系统，其中，所述尺寸确定系统定义所述图像中物体之间的最小间距，低于所述最小间距的多个物体被认为是具有缺少3D图像数据的单个物体。
12.根据权利要求1所述的视觉系统，其中，所述图像处理器被布置为生成关于所述物体的聚合特征数据，包括：
(a)超出长度限制的数据，
(b)超出宽度限制的数据，
(c)超出高度限制的数据，
(d)超出体积限制的数据，
(e)置信度分数，
(f)液体体积，
(g)分类，
(h)所述物体的实际成像数据的数量QTY与所述物体的预期成像数据的数量，
(i)所述物体的位置特征，或
(j)与所述物体相关的损坏检测。
13.一种视觉系统，具有布置为具有视场FOV的区域扫描传感器的3D相机组件，包括：
采集过程，在物体经过FOV时捕获所述物体的一个或更多个图像，并确定所述物体是否将占据多于单个图像，确定所述物体何时将不再占据下一个图像，并根据获取的一个或更多个图像计算所述物体的大小和相对角度。
14.一种用视觉系统对物体进行尺寸确定的方法，所述视觉系统具有布置为区域扫描传感器的3D相机组件，所述视觉系统具有视觉系统处理器，所述视觉系统处理器接收来自在所述3D相机组件的视场FOV内获取的物体图像的3D数据，所述物体在传送方向上被传送经过所述FOV，并且所述物体限定在所述传送方向上比所述FOV长的整体长度，所述方法包括：
基于从所述物体传送通过所述FOV而导出的运动跟踪信息，结合所述物体的多个3D图像来测量所述整体长度，所述多个3D图像是由所述3D相机组件以在所述3D图像之间具有预定量的传送运动的序列来获取的；
当所述物体位于所述FOV附近时生成存在信号，并且响应于所述存在信号，确定当所述物体在所述传送方向上移动时所述物体是否出现在多于一个图像中，以及
响应于与所述物体上的特征相关的信息，确定当所述物体在所述传送方向上移动时所述物体是否比FOV长；以及
结合来自所述3D相机的连续图像采集的与所述物体上的特征相关的信息，生成聚合特征数据，从而以无需将离散的单个图像组合成整体图像的方式来提供所述物体的整体尺寸。
15.根据权利要求14所述的方法，还包括：响应于所述物体的整体长度长于所述FOV，在所述物体保持在所述FOV内并且直到所述物体离开所述FOV为止，获取一系列图像采集快照。
16.根据权利要求15所述的方法，还包括：使用所述聚合特征数据并基于输入的应用数据来导出所述物体的整体属性，并且其中所述整体属性包括置信度分数、物体分类、物体尺寸、偏斜和物体体积中的至少一个。
17.根据权利要求16所述的方法，还包括：基于所述整体属性执行关于所述物体的任务，所述任务包括重定向所述物体、拒绝所述物体、发出警报和纠正所述物体中的偏斜中的至少一个。
18.根据权利要求17所述的方法，当所述物体在所述传送方向上移动时，使用所述存在信号来确定所述物体在每个所述图像之间的连续性。
19.根据权利要求14所述的方法，其中，组合信息的步骤包括生成，
(a)超出长度限制的数据，
(b)超出宽度限制的数据，
(c)超出高度限制的数据，
(d)超出体积限制的数据，
(e)置信度分数，
(f)液体体积，
(g)分类，
(h)所述物体的实际成像数据的数量QTY与所述物体的预期成像数据的数量，
(i)所述物体的位置特征，或
(j)与所述物体相关的损坏检测。
20.根据权利要求14所述的方法，还包括：定义所述图像中物体之间的最小间距，并且在低于所述最小间距的情况下，将多个物体视为具有缺少3D图像数据的单个物体。
CN202180027055.XA 2020-02-18 2021-02-18 用于对长于视场的运动物体进行三维扫描的系统和方法 Pending CN115362473A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202062978269P 2020-02-18 2020-02-18
US62/978,269 2020-02-18
PCT/US2021/018627 WO2021168151A1 (en) 2020-02-18 2021-02-18 System and method for three-dimensional scan of moving objects longer than the field of view

Publications (1)

Publication Number Publication Date
CN115362473A true CN115362473A (zh) 2022-11-18

Family

ID=74871835

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180027055.XA Pending CN115362473A (zh) 2020-02-18 2021-02-18 用于对长于视场的运动物体进行三维扫描的系统和方法

Country Status (6)

Country Link
US (1) US11748838B2 (zh)
EP (1) EP4107700A1 (zh)
JP (1) JP2023514833A (zh)
KR (1) KR20230009360A (zh)
CN (1) CN115362473A (zh)
WO (1) WO2021168151A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220301260A1 (en) * 2021-03-16 2022-09-22 Illinois Tool Works Inc. Systems and methods for area wide object dimensioning

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6850252B1 (en) 1999-10-05 2005-02-01 Steven M. Hoffberg Intelligent electronic appliance system and method
JP2008170298A (ja) * 2007-01-12 2008-07-24 Oki Electric Ind Co Ltd 外観検査装置及び外観検査方法
FR2911403B1 (fr) * 2007-01-16 2010-01-15 Commissariat Energie Atomique Realisation de cavites remplies par un materiau fluidique dans un compose microtechnologique optique
US10642364B2 (en) 2009-04-02 2020-05-05 Oblong Industries, Inc. Processing tracking and recognition data in gestural recognition systems
US9684380B2 (en) 2009-04-02 2017-06-20 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
WO2012068353A2 (en) 2010-11-18 2012-05-24 Sky-Trax, Inc. Load tracking utilizing load identifying indicia and spatial discrimination
EP2668614B1 (en) * 2011-01-24 2018-05-30 Datalogic USA, Inc. Exception detection and handling in automated optical code reading systems
US10556356B2 (en) 2012-04-26 2020-02-11 Sharper Tools, Inc. Systems and methods for performing a task on a material, or locating the position of a device relative to the surface of the material
US20140310277A1 (en) 2013-04-15 2014-10-16 Flextronics Ap, Llc Suspending user profile modification based on user context
MY177646A (en) * 2014-02-28 2020-09-23 Icm Airport Technics Australia Pty Ltd Luggage processing station and system thereof
KR20150142923A (ko) * 2014-06-12 2015-12-23 한국전자통신연구원 소포 인입 시스템 및 그 방법
US9553539B2 (en) * 2014-08-28 2017-01-24 Deere & Company Methods of generating output variable voltage for electric drive devices and systems thereof
WO2016065063A1 (en) * 2014-10-22 2016-04-28 Pointivo, Inc. Photogrammetric methods and devices related thereto
US10148918B1 (en) 2015-04-06 2018-12-04 Position Imaging, Inc. Modular shelving systems for package tracking
US10043282B2 (en) 2015-04-13 2018-08-07 Gerard Dirk Smits Machine vision for ego-motion, segmenting, and classifying objects
CN104796617B (zh) * 2015-04-30 2018-08-28 北京星河泰视特科技有限公司 用于流水线的视觉检测方法和系统
US20160352992A1 (en) 2015-05-27 2016-12-01 Gopro, Inc. Image Stabilization Mechanism
US10176642B2 (en) 2015-07-17 2019-01-08 Bao Tran Systems and methods for computer assisted operation
CN107209854A (zh) 2015-09-15 2017-09-26 深圳市大疆创新科技有限公司 用于支持顺畅的目标跟随的系统和方法
EP3391339A2 (en) 2015-12-18 2018-10-24 Iris Automation, Inc. Real-time visual situational awareness system
CN109414119B (zh) 2016-05-09 2021-11-16 格拉班谷公司 用于在环境内计算机视觉驱动应用的系统和方法
US11436553B2 (en) 2016-09-08 2022-09-06 Position Imaging, Inc. System and method of object tracking using weight confirmation
US10289990B2 (en) 2016-10-17 2019-05-14 Conduent Business Services, Llc Store shelf imaging system and method
US10825010B2 (en) * 2016-12-30 2020-11-03 Datalogic Usa, Inc. Self-checkout with three dimensional scanning
US20180197139A1 (en) 2017-01-06 2018-07-12 Position Imaging, Inc. Package delivery sharing systems and methods
ES2745066T3 (es) * 2017-09-06 2020-02-27 Sick Ag Dispositivo de cámara y método para grabar un flujo de objetos
US10579875B2 (en) 2017-10-11 2020-03-03 Aquifi, Inc. Systems and methods for object identification using a three-dimensional scanning system
CA3040946A1 (en) * 2019-04-23 2020-10-23 Vab Solutions Inc. Wood labeling system and method for labeling wood products in a production line

Also Published As

Publication number Publication date
US11748838B2 (en) 2023-09-05
EP4107700A1 (en) 2022-12-28
KR20230009360A (ko) 2023-01-17
US20210350496A1 (en) 2021-11-11
JP2023514833A (ja) 2023-04-11
WO2021168151A1 (en) 2021-08-26

Similar Documents

Publication Publication Date Title
Dubská et al. Automatic camera calibration for traffic understanding.
US10007964B1 (en) Image processing methods and arrangements
TWI438729B (zh) 車道偏移警示方法及系統
US8249329B2 (en) Method and apparatus for detecting and characterizing an object
Grammatikopoulos et al. Automatic estimation of vehicle speed from uncalibrated video sequences
US20050259847A1 (en) System and method for tracking parcels on a planar surface
WO2011070927A1 (ja) 点群データ処理装置、点群データ処理方法、および点群データ処理プログラム
EP1766364B1 (en) Method and apparatus for visual detection and inspection of objects
US10586321B2 (en) Automatic detection, counting, and measurement of lumber boards using a handheld device
KR102649930B1 (ko) 비전 시스템을 갖는 이미지에서 패턴을 찾고 분류하기 위한 시스템 및 방법
US10477180B1 (en) Photogrammetry system and method of operation
US20210390676A1 (en) Automated inspection for sheet parts of arbitrary shape from manufactured film
US11216905B2 (en) Automatic detection, counting, and measurement of lumber boards using a handheld device
CN115362469A (zh) 复合三维blob工具及其操作方法
US11748838B2 (en) System and method for three-dimensional scan of moving objects longer than the field of view
US20180082129A1 (en) Information processing apparatus, detection system, and information processing method
CN111160450A (zh) 一种基于神经网络的果蔬称重方法及储存介质、装置
EP3647233B1 (en) Parcel determination device, parcel sorting system, and parcel determination method
CN112066892A (zh) 用于细化由3d视觉系统成像的大体立方形3d物体的尺寸的系统和方法及其控制装置
KR20190102093A (ko) 모델-기반 피크 선택을 이용하는 3 차원 프로파일 결정을 위한 시스템 및 방법
US11978197B2 (en) Inspection method for inspecting an object and machine vision system
JP6702370B2 (ja) 計測装置、計測システム、計測方法およびコンピュータプログラム
CN116203976A (zh) 变电站室内巡检方法、装置、无人机和存储介质
Kobata et al. Development of automatic parcel delivery system using image processing techniques
EP3872707A1 (en) Automatic detection, counting, and measurement of lumber boards using a handheld device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination