CN113936051A - 一种基于2d相机的物体分离机及物体分离方法 - Google Patents

Abstract

本发明公开了一种基于2D相机的物体分离机，包括：布置在下部的物体传送带，布置在物体传送带上方的多个不同高度和/或角度的2D相机，与多个2D相机相连的数据处理器以及传送带控制系统。本发明还公开了一种基于2D相机的物体分离方法，包括：预处理部分以及线上处理部分，其中预处理部分包括相机架设步骤以及相机标定步骤，线上处理部分包括物体的角点检测步骤、跨相机相同物体识别步骤以及物体尺寸位置计算步骤，实现全自动化多并排物体的单件分离，提升物体分拣效率，降低在单件分离系统中视觉装置的架设成本，解决目前单件分离系统的视觉系统硬件成本昂贵，对物体定位不准确和实用性不高的问题。

Description

一种基于2D相机的物体分离机及物体分离方法

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于2D相机的物体分离机及物体分离方法。

背景技术

近年来，视觉检测技术在物体分离领域获取了广泛的应用，包括物体自动搬运、分拣，物流仓储自动化识别、抓取等。物体分拣是电子商务的核心环节，随着我国电商平台的快速发展和交通运输日益快捷，导致物流行业业务量激增。为了增加物体的处理效率，在各中转站和快递点的物流分拣中通常需要借助动力源驱动传送带等输送装置将大量的包裹堆输送至不同位置进行单件分离，以便于后续对物体进行扫描、识别及分拣。

第一，目前电商和快递行业的分拣作业现场通常采用人工分离的方式，将大量输送进来的物体进行人工分离，任务量繁重、劳动强度大且效率不高。

第二，部分研究人员提出基于计算机视觉技术的单件物体分离方法与系统来代替人工进行物体的单件分离，但这些方法在获取物体位置信息时，除图像采集装置外大多需要额外的硬件装置辅助。

现有技术如中国专利申请201910162842.X公开的技术方案，除相机架设外还需要多个光电传感器辅助，利用相机判断包裹是否存在并排现象，然后利用多个光电传感器对并排包裹定位，给并排包裹下的不同传送带一个速度差来达到包裹分离的效果。

现有技术存在对光电传感器的布设位置要求高、布设复杂，定位不够准确，难以处理多包裹并排的情况。

第三，也有人尝试仅用视觉采集装置对物体进行定位，这些方法大多都采用多个3D相机，将多个3D相机采集的物体图像进行拼接以覆盖整个视野，对视野内的物体定位后将位置信息发送给分离装置和靠边装置后完成单件分离。在实际工程应用时，需要获取传送带速度为0～2m/s上的高质量物体图像，因此对相机的传输接口、相机延迟、图像分辨率、每秒传输帧数等参数要求较高，满足要求的3D相机价格昂贵，且单个3D相机采集图像时视野盲区较大，需采用多个 3D相机部署视觉装置，成本高昂，不利于大规模在流水线架设。

第四，也有人尝试将第二种和第三种技术结合后进一步研究，如中国专利申请201911168246.9公开了一种并排包裹的分离装置及其方法，包括：包裹分散装置，先将包裹输送至分散装置，从输送线到达分散装置的包裹，通过输送方向存在的角度差对包裹进行分散，相邻包裹之间留有间隙；随后为检测识别装置，3D相机获取包裹图像，将4个3D相机拍摄视野图像拼接，通过视觉算法对比去除拍照重复的部分，获取整个视野范围的包裹图像，并在图像中建立坐标系。利用边缘检测算法提取图像中包裹轮廓的坐标信息。根据每个包裹的相对位置、尺寸等信息，筛选出最靠前的第一包裹，第一包裹所在位置皮带为第一皮带集合，其余包裹为第二包裹，第二包裹所在位置皮带为第二皮带集合。通过皮带差分控制模块将第一皮带集合调快，将第二皮带集合调慢或停止，达到包裹并行分离的效果。将并行分离后的包裹输送至单件分离模块实现包裹靠边分离。

但现有技术需使用多个3D相机拼接获取完整的视野尺寸，多个 3D相机成本昂贵，使用图像拼接去除各相机拍照重复的部分，浪费部分相机视野，另外目前图像拼接会造成重叠区域对齐偏差等影响包裹位置输出；且一般的深度相机对矮包裹检测效果差，受光照等外界环境影响大，鲁棒性差，架设条件较为苛刻，不适于流水线大规模架设；又因为使用边缘检测算法获取包裹位置，而传统边缘检测算法精度不高会造成包裹位置输出误差；现有方法对并行包裹处理复杂，耗时量大，输送大量并行包裹时处理不及时易发生包裹的堆叠，且对尺寸相似的包裹分离效果差。以上问题导致该方法实用性下降。

因此，目前还没有一套高效且分离精度较高的包裹分离机及包裹分离方法。

发明内容

为了解决现有技术中存在的问题，本发明提供了如下一种基于 2D相机的物体分离机及物体分离方法，以替代人工实现对物体高效单件分离，通过旋转目标检测技术实现对传送带上输送的物体检测，获取物体实时位置，最后由分离皮带机实现物体的分离、拉距及排队。实现全自动化多并排物体的单件分离，提升物体分拣和检测效率，降低在单件分离系统中视觉装置的架设成本，解决目前单件分离系统的视觉系统硬件成本昂贵，对物体定位不准确和实用性不高的问题。

本发明一方面提供了一种基于2D相机的物体分离机，包括：

布置在下部的物体传送带，布置在所述物体传送带上方的多个不同高度和/或角度的2D相机，与多个所述2D相机相连的数据处理器以及传送带控制系统；其中，所述2D相机以一定的高度差并且以对单件物体能够整个视野尺寸覆盖的规则架设；所述数据处理器获取多台2D相机分别采集的多幅图像，对采集后的多幅图像利用物体的特征信息将有高度差的两台2D相机间的物体关联匹配；对不同高度相机中对同一物体成像大小利用相机成像原理计算物体的真实尺寸，并输出准确的物体位置信息；所述传送带控制系统用于接收所述物体的位置信息，并控制所述物体传送带进行物体分离。

根据本发明的第二方面提供一种基于2D相机的物体分离方法，包括：

预处理部分以及线上处理部分，其中所述预处理部分包括相机架设步骤以及相机标定步骤，所述线上处理部分包括物体的角点检测步骤、跨相机相同物体识别步骤以及物体的实际空间尺寸及位置计算步骤；

所述相机架设步骤用于架设多台2D相机，所述相机架设步骤用于架设多台2D相机，所述相机标定步骤用于对所述多台2D相机进行标定获得不同相机在物体图像的像素图像坐标系间的映射关系，所述物体的角点检测步骤用于获得所述物体的角点信息并进而获得物体的图像信息，所述跨相机相同物体识别采用重识别算法对关联匹配区域的多个物体进行精确识别，最终给不同图像中的相同物体分配同一个编号，所述物体的实际空间尺寸及位置计算利用相同物体在有一定高度的两相机图像位置的差异，修正所述物体由于远小近大成像造成的误差，然后计算所述物体的实际空间尺寸及位置信息，输出到所述传送带控制系统实现所述物体的单件分离。

优选的，所述相机架设步骤包括：

设置三个2D相机，分别为入口相机、中点相机以及出口相机；其中，所述入口相机架设在所述物体传送带的入口正上方，高为a，所述入口相机的光轴与竖直方向倾斜一定角度放置；所述中点相机架设在视野尺寸中点正上方，高为b，中点相机的光轴沿竖直方向垂直所述物体传送带平面俯视放置；所述出口相机架设在出口正上方，高为a，所述出口相机的光轴与竖直方向倾斜放置。

优选的，所述相机标定步骤包括：对两相机拍摄图像建立像素坐标系，实际物体的高度确定时，这种映射关系在该高度下的任意位置上始终不变，不同高度的所述2D相机之间进行不同高度的两次标定并获得两个映射关系，从而获得不同高度之间任意高度物体的位置；所述相机标定包括将有高度差的所述2D相机所成图像在同一实际空间视野区域进行坐标转换，获取同一实际空间位置坐标在不同相机间的像素图像坐标，最终获取两个2D相机对同一实际空间坐标的像素点映射关系，即视为完成一次相机标定；通过前述相机标定步骤完成两次标定，包括0高度平面和最大高度平面两高度之间的2D相机之间像素点的映射关系，0高度映射关系视为第一映射关系，最大高度平面映射关系视为第二映射关系；同时，以2D相机左上角为原点建立图像坐标系，进而根据相机覆盖的视野尺寸和相机分辨率建立成像平面坐标系，获取像素点长度和所述物体实际物理长度的对应关系。

优选的，所述物体的角点检测步骤包括：在常规目标检测算法中加入旋转因子，对摆放不规则的物体以及异形件的特殊物体进行精准检测，最终得到物体上表面的多个角点坐标以及物体在图像中的位置，所述旋转因子包括采用旋转yolov5、R²CNN、RRPN、Glidingvertex、 P-RSDet或SCRDet旋转目标检测模型或者轻量化深度学习检测模型实现所述旋转目标测试。

优选的，所述跨相机相同物体识别步骤包括：设置关联匹配区域以及物体重识别。

优选的，所述设置关联匹配区域包括：

获取所述中点相机的第一物体图像的检测框结果；

根据相机架设策略与所述相机标定策略中所述中点相机和所述入口相机或所述出口相机在0高度平面和最大高度平面之间的标定分别获取的第一映射关系和第二映射关系，获得所述入口相机或所述出口相机在0高度标定的所述第一映射关系下的第二物体图像第一关联框和最大高度平面标定的所述第二映射关系下的第二物体图像第二关联框；

将所述第一关联框和所述第二关联框之间的所有区域框出，设置为关联匹配区域；

重复上述步骤获得每个物体的所述中点相机检测框结果，并计算对应物体在所述入口相机或所述出口相机中的关联匹配区域。

优选的，所述物体重识别包括：将物体图像数据经过训练后获得重识别算法模型，利用所述物体的表面特征信息对中点相机获得的每个物体的第一物体图像在所述入口相机或所述出口相机中的关联匹配区域进行关联匹配，获得跨相机间的同一物体识别，并输出同一物体跨相机间相同的编号。

优选的，所述物体的实际空间尺寸及位置计算步骤利用相同物体在有一定高度差的两相机图像位置的差异，修正所述物体由于远小近大成像造成的误差，然后计算所述物体的实际空间尺寸和位置信息，根据所述物体的实际空间尺寸和位置信息进行所述物体的单件分离，包括：

根据所述同一物体在中点相机的多个角点坐标和所述入口相机或出口相机的多个角点坐标分别计算同一物体在中点相机和所述入口相机或出口相机中因远小近大成像出的不同像素长、宽；

由相机小孔成像原理计算每个所述物体真实尺寸和高度信息，确定每个所述物体在成像平面坐标系的真实坐标以消除误差，确定每个所述物体的真实尺寸并转化为成像平面坐标系坐标。

优选的，计算所述物体的位置信息包括：

以中点相机为原点，以成像平面坐标系为X、Y轴，以中点相机到标定的0高度平面的垂直方向为Z轴，建立相机坐标系；

以相机坐标系的原点为世界坐标系的原点，建立世界坐标系，此时所述相机坐标系等于所述世界坐标系；

将所述物体在成像平面坐标系的坐标、相机焦距参数在世界坐标系中进行转换，计算获取对应的世界坐标系坐标。

本发明提供的物体分离机及物体分离方法，具有如下有益效果：

根据具有高度差的2D相机对同一物体尺寸成像大小不同的特点，以相机小孔成像原理计算物体的实际尺寸，进而获取物体世界坐标系坐标，将该坐标输入到单件分离模块实现准实时、高精度的单件分离。该基于角点检测的多个2D相机物体单件分离方法与系统可用2D相机代替3D相机检测物体实际尺寸，输出物体世界坐标，解决工程应用中设备成本高昂和3D相机对矮物体检测效果不佳的问题。本发明的相机架设相对简单，多角度镜头可以有效减少物体间遮挡盲区，提升检测效果。

附图说明

图1为本发明所述物体分离机的优选实施例的结构示意图。

图2为本发明所述物体分离机中入口相机优选实施例布置方法原理图。

图3为本发明所述物体分离机中中点相机优选实施例布置方法原理图。

图4为本发明所述物体分离机中出口相机优选实施例布置方法原理图。

图5为本发明所述物体单件分离方法的优选实施例流程图。

图6(a)为本发明所述物体分离方法的优选实施例中传统相机设置方式示意图。

图6(b)为本发明所述物体分离方法的优选实施例中优选相机设置方式示意图。

图6(c)为本发明所述物体运动时多物体堆叠造成的盲区面积变化情况。

图7为本发明所述物体分离方法的优选实施例中相机标定示意图。

图8为本发明所述物体分离方法的优选实施例中相机标定方法示意图。

图9为本发明所述物体分离方法的优选实施例中相机标定方法流程示意图。

图10(a)为本发明所述物体分离方法的优选实施例中无旋转目标检测算法确定的物体角点原理示意图。

图10(b)为本发明所述物体分离方法的优选实施例中旋转目标检测算法确定的物体角点原理示意图。

图11为本发明所述物体分离方法的优选实施例中实施物体的旋转目标检测算法物体角点检测模块工作原理图。

图12所示为本发明所述物体分离方法的优选实施例中物体的旋转目标检测算法流程图。

图13所示为本发明所述物体分离方法的优选实施例中跨相机相同物体识别原理图。

图14所示为本发明所述物体分离方法的优选实施例中跨相机相同物体识别步骤流程图。

图15所示为本发明所述物体分离方法的优选实施例中物体重识别原理示意图。

图16所示为本发明所述物体分离方法的优选实施例中物体重识别ReID算法实现跨摄像头识别相同目标原理示意图。

图17所示为本发明所述物体分离方法的优选实施例中物体实际尺寸位置计算流程图。

具体实施方式

为了更好地理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案做详细的说明。

本发明提供的方法可以在如下的终端环境中实施，该终端可以包括一个或多个如下部件：处理器、存储器和显示屏。其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行以实现下述实施例所述的方法。

处理器可以包括一个或者多个处理核心。处理器利用各种接口和线路连接整个终端内的各个部分，通过运行或执行存储在存储器内的指令、程序、代码、代码集或指令集，以及调用存储在存储器内的数据，执行终端的各种功能和处理数据。

存储器可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory，ROM)。存储器可用于存储指令、程序、代码、代码集或指令集。

显示屏用于显示各个应用程序的用户界面。

除此之外，本领域技术人员可以理解，上述终端的结构并不构成对终端的限定，终端可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。比如，终端中还包括射频电路、输入单元、传感器、音频电路、电源等部件，在此不再赘述。

需要说明的是，本实施例最终的技术目的在于输出每个包裹的世界坐标系坐标，但2D相机初始采集的第一和第二包裹图像信息首先建立的为像素图像坐标系，因此存在坐标系的转化过程，具体的转化过程为：像素图像坐标系→成像平面坐标系→(摄像机)相机坐标系→世界坐标系。

其中：

像素图像坐标系(u-v)：以图像左上角为原点建立以像素为单位的直角坐标系。u和v代表像素的行数和列数。

成像平面坐标系(o-xy)：以影像几何中心O为原点，x,y轴方向分别为平行于影像画幅边缘线的二维坐标系。单位为所成像实际空间范围单位像素点所对应的物理尺寸，如1毫米/像素，x和y代表水平和垂直方向距离原点的物理距离。

(摄像机)相机坐标系(o_e-x_ey_ez_e)：以摄像机或相机光心为原点， z轴与光轴重合，也就是z轴指向相机的前方(即与成像平面垂直)， x轴和y轴的正方向与成像平面坐标系平行。

世界坐标系(o_w-x_wy_wz_w)：由于相机可以安放在环境中的任意位置，因此在环境中选择一个基准坐标系来描述摄像机的位置，并用其描述环境中任何物体的位置，该坐标系被称为世界坐标系。

如图1所示，本优选实施例以物流应用为场景，因此对应地提供了一种基于2D相机包裹分离机，包括：

在分离机的下部设置有物流传送带，在物流传送带的上方设置有多个不同高度和/或角度的2D相机，与多个2D相机相连的数据处理器以及皮带控制系统。其中，以一定的高度差并且以对单件包裹能够整个视野尺寸覆盖的规则架设多台2D相机，减小包裹间遮挡造成的视野盲区；数据处理器获取多台2D相机分别采集的多幅图像，对采集后的多幅图像利用包裹的特征信息将有高度差的两2D相机间的物流包裹关联匹配；对不同高度相机中对同一包裹成像利用相机成像原理计算物流包裹的真实尺寸，并输出准确的包裹位置信息。传送带控制系统用于接收包裹的位置信息，并控制物流传送带进行包裹分离。

包裹的真实尺寸和包裹的位置信息的获取：包裹尺寸位置计算利用相同包裹在有一定高度的两相机图像位置的差异，修正包裹由于远小近大成像造成的误差，然后计算包裹的实际尺寸并转化成世界坐标系。

皮带控制系统的功能：将世界坐标系下的包裹的位置信息输出到皮带控制系统实现包裹的单件分离。

2D相机在物流传送带上形成一定的视野尺寸和监控范围，其中视野尺寸表示物流传送带上皮带控制系统的面积，监控范围为2D相机所拍摄的面积。

物流传送带为N×M规格，本实施例中为4×7规格。

相机架设策略包括：至少需要两个具有一定高度差的2D相机俯视或斜视架设在物流包裹传送装置上方；2D相机之间视野互补，覆盖整个需输出包裹位置信息的区域；

更优选地，2D相机为三个，分别为入口相机1、中点相机2以及出口相机3。

如图2所示，本实施例中，入口相机1架设在物流传送带的入口正上方，高为1.7m，入口相机1的光轴与竖直方向倾斜35°放置。

如图3所示，中点相机2架设在视野尺寸中点正上方，高1.9m，中点相机2光轴与竖直方向一致，俯视放置。

如图4所示，出口相机3架设在出口正上方，架设高度与入口相机相同，高1.7m，出口相机3的光轴与竖直方向倾斜-35°放置。

作为优选的实施方式，还包括靠边装置构成的单件分离模块，皮带控制系统会控制不同区域的皮带以不同速度运转进行并行分离，分离后经过靠边装置输出单队列有间隔的包裹。

作为优选的实施方式，还包括黏连分离装置，由散射皮带机构成，用于将多个物流包裹拉开一定间隙，将黏连包裹进行分离。

如图5所示，本发明的另一方面还在于提供一种基于2D相机的包裹分离方法，包括：

预处理部分以及线上处理部分，其中预处理部分包括相机架设步骤以及相机标定步骤，线上处理部分包括包裹的角点检测步骤、跨相机相同包裹识别步骤、包裹的实际空间尺寸及位置计算步骤；

相机架设步骤用于架设多台2D相机，相机标定步骤用于对多台 2D相机进行标定获得不同相机在包裹图像的像素图像坐标系间的映射关系，包裹的角点检测步骤用于获得包裹的角点信息并进而获得包裹的图像信息，跨相机相同包裹识别步骤采用重识别算法对关联匹配区域的多个包裹进行精确识别，最终给不同图像中的相同包裹分配同一个编号，包裹的实际空间尺寸及位置计算利用相同包裹在有一定高度的两相机图像位置的差异，修正包裹由于远小近大成像造成的误差，然后计算包裹的实际空间尺寸及位置信息，输出到皮带控制系统实现包裹的单件分离。

其中，相机架设步骤包括：设置三个2D相机，分别为入口相机 1、中点相机2以及出口相机3；其中，入口相机1架设在物流传送带的入口正上方，高为a，入口相机1的光轴与竖直方向倾斜一定角度β放置；中点相机2架设在视野尺寸中点正上方，高为b，中点相机2光轴与竖直方向一致，俯视放置；出口相机3架设在出口正上方，高为a，出口相机3的光轴与竖直方向倾斜一定角度-β放置。本实施例中，b为1.9m，a为1.7m。当然本领域技术人员可以根据物流现场的建筑特点进行相应的高度数值调整，均在本发明的保护范围内。

本实施例中，选择最高为70cm包裹，本实施例当最高包裹刚进入1.6m×2m的视野尺寸，三个相机也能获取完整包裹图像。

如图6(a)、图6(b)所示为传统相机设置方式以及本实施例相机设置方式下能否获得包裹完整图像的比较示意图。

如图6(a)所示，传统相机设置方式下，当相机监控范围仅能够覆盖0平面2m×1.6m的视野尺寸时，无法获取边缘包裹的完整图像。

如图6(b)所示，本实施例的相机设置方式，当相机监控范围能够覆盖最高包裹70cm平面2m×1.6m的视野尺寸时，可以获取边缘包裹完整的图像。

如表1所示，相机采集图像时会产生视野盲区，盲区指的是在包裹在传送带上运动的过程中，始终不能被两个相机观测到的区域。

表1可能造成的视野盲区分类

由表1可知，可能造成的视野盲区包括两类：

第一类为单包裹造成的盲区，当仅存中点相机，包裹位于中点时，单包裹盲区如示意图1上图所示。而在本实施例下，左盲区A和上盲区B可由入口相机观测到，右盲区C和下盲区D可由出口相机观测到。在包裹不同行进位置时中点相机可分别观测到A、B、C、D 区域，因此在本发明的实施例下不存在单包裹造成的盲区。

第二类为多包裹盲区在运动时面积变化情况，具体的情况如表2。

表2包裹运动时多包裹堆叠造成的盲区面积变化情况

具体盲区面积，请参考图6(c)所示。

作为优选的实施例，包裹在传送带上运动时，多包裹造成的盲区包括包裹并行遮挡和“高低高”包裹遮挡的类型，其中盲区仅能从中点相机2拍摄到，若在相机2的图像中检测到该区域内有包裹，则赋予其一个较小的经验高度(本实施例为5cm)，从而消除远小近大误差。

如图7所示，相机标定目的：由于同一物体在不同相机中的位置和大小各不相同，标定会得到不同相机间像素点的映射关系，以便后续计算同一包裹在不同相机图像中的位置。

如图8所示，相机标定的方法：对两相机拍摄图像建立像素图像坐标系，实际物体的高度确定时，这种映射关系在该高度下的任意位置上始终不变。本方案两相机之间需要进行两次标定，分别为70cm 高度标定和0cm高度标定，目的是利用70cm和0cm标定得出的映射关系找出0～70cm之间任意高度包裹的位置。

相机标定策略包括：对两相机拍摄图像建立像素坐标系，实际物体的高度确定时，这种映射关系在该高度下的任意位置上始终不变，不同高度的所述2D相机之间进行不同高度的两次标定并获得两个映射关系，从而获得不同高度之间任意高度物体的位置；所述相机标定步骤包括将有高度差的所述2D相机所成图像在同一实际空间视野区域进行坐标转换，获取同一实际空间位置坐标在不同相机间的像素图像坐标，最终获取两个2D相机对同一实际空间坐标的像素点映射关系，即视为完成一次相机标定；所述方法完成两次相机标定，包括0 高度平面和最大高度平面两高度之间的2D相机之间像素点的映射关系，0高度映射关系视为第一映射关系，最大高度平面映射关系视为第二映射关系；同时，以2D相机左上角为原点建立图像坐标系，进而根据相机覆盖的视野尺寸和相机分辨率建立成像平面坐标系，获取像素点长度和所述物体实际物理长度的对应关系。

参见图9，本实施例中相机标定的流程包括：

1、在视野范围内放置一个70cm标准纸箱，使三个相机均能拍摄到该纸箱；

2、分别得到相机1和相机2拍摄的图像中标准纸箱上、下表面的八个角点的像素点坐标；

3、分别对上表面和下表面的坐标值进行两次运算，得到两相机在70cm高度处的映射关系H1以及0cm高度处的映射关系H2；

4、更换为未标定的相机，经过上述标定步骤三次即可完成三相机标定工作。

如图10(a)所示，现有的目标检测算法只能得到目标的水平最大外接矩形框，无法准确得到每个包裹的实际尺寸，且存在检测框重叠问题导致无法有效单件分离。

参见图10(b)所示，作为优选的实施方式，包裹的角点检测步骤包括：在常规目标检测算法中加入旋转因子，对摆放不规则的包裹以及异形件等特殊包裹也能进行精准检测，最终得到包裹上表面的四个角点坐标以及包裹在图像中的位置。本实施例采用旋转yolo5、 R²CNN、RRPN、Gliding vertex、P-RSDet或SCRDet的旋转目标检测模型。应用包裹的角点检测步骤分别检测三个相机所拍摄图像中的包裹，得出每个包裹的精确检测框。

图11为实施包裹的角点检测步骤的包裹角点检测模块工作原理图，该模块获取包裹在不同相机图像中的尺寸和位置，以便后续进行包裹实际位置的计算。

图12所示为包裹的角点检测步骤流程图，包括：

利用中点相机2和其他相机配合的相机调用策略进行包裹所在实际位置的判断，包括：

如果包裹位于整个视野尺寸的左半部分，如图11中包裹1所示，则调用入口相机1和中点相机2；

如果包裹位于整个视野尺寸的中间部分，如图11中包裹2所示，则分别调用入口相机1和中点相机2以及出口相机3和中点相机2；

如果包裹位于整个视野尺寸的右半部分，如图11中包裹3所示，则调用出口相机3和中点相机2；

然后获取同编号的包裹在不同相机图像中的位置信息。

传送带上传输的包裹大部分为纯色黄箱子，特征单一，如果使用传统的图像全局匹配方式很难找到不同包裹目标的有效特征点进行关联匹配，因此很难实现跨相机间的同一个包裹的识别。因此采用如下方式设置关联匹配区域：

获取中点相机2的第一包裹图像的检测框结果；

根据相机架设策略与相机标定策略中中点相机2和入口相机1或出口相机3在0高度平面和最大高度平面之间的标定分别获取的第一映射关系和第二映射关系，获得入口相机1或出口相机3在0高度标定的第一映射关系下的第二包裹图像第一关联框和最大高度平面标定的第二映射关系下的第二包裹图像第二关联框；

将第一关联框和第二关联框之间的所有区域框出，设置为关联匹配区域；

重复上述步骤获得每个包裹的中点相机2检测框结果，并计算对应包裹在入口相机1或出口相机3中的关联匹配区域；

将包裹图像数据经过训练后获得重识别算法模型，利用物流包裹的表面特征信息对中点相机2获得的每个包裹的第一包裹图像在入口相机1或出口相机3中的关联匹配区域进行关联匹配，获得跨相机间的同一包裹识别，并输出包裹跨相机间相同的编号。

图13为跨相机相同包裹识别原理图，作为优选的实施方式，跨相机相同包裹识别步骤的原理为：采用局部匹配的方式进行同包裹识别，例如在中点相机2中检测到一个包裹，通过相机标定输出的映射关系得到在入口相机1图像的某一部分区域，并在该区域中查找识别相同包裹，从而实现同包裹识别的目的。

图14为跨相机相同包裹识别流程图，作为优选的实施方式，包括：

1、获得相机标定步骤中输出的70cm平面的映射关系H1和0cm 平面的映射关系H2，以及包裹角点检测步骤中对中点相机2拍摄到的包裹进行角点检测所输出的包裹顶面四个角点在中点相机2中的图像像素坐标；

2、根据映射关系H1得到包裹在入口相机1中的图像区域R1或出口相机3中的图像区域R1’；

根据映射关系H2得到包裹在入口相机1中的图像区域R2或出口相机3中的图像区域R2’；

获取区域R1和R2的并集或R1’和R2’的并集，从而获得了最终的关联匹配区域；

3、采用重识别算法对关联匹配区域内的多个包裹进行精确识别，最终为不同图像中的相同包裹分配同一个编号，如图15所示。

通过关联匹配区域可以大幅度减少全局匹配带来的误差，但包裹越大，设置的关联匹配区域误差也就越大，有时候关联匹配区域中会出现一个大包裹以及多个小包裹的情况，无法做到精确识别。因此采用如图16所示的ReID算法，实现跨摄像头识别相同的目标。

直接利用2D图像计算包裹在图像中的位置，在转化为世界坐标系进行输出时，会因“远小近大”成像造成包裹位置输出误差。因此利用相同包裹在有一定高度差的两相机图像位置的差异，修正该包裹由于远小近大成像造成的误差，然后计算包裹的实际尺寸并转化成世界坐标系，输出到皮带控制系统实现包裹的单件分离。

包裹尺寸位置计算步骤的流程如图17所示，根据同一包裹在中点相机2的角点坐标和入口相机1或出口相机3的角点坐标分别计算同一包裹在中点相机2和入口相机1或出口相机3中因远小近大成像出的不同像素长、宽；由相机小孔成像原理计算单件包裹真实尺寸和高度信息，确定单件包裹在成像平面坐标系的真实坐标以消除误差，确定包裹的真实尺寸并转化为成像平面坐标系坐标。

包括：将同编号的包裹在中点相机2图像中的位置、同编号的包裹在入口相机1(或出口相机3)图像中的位置以及相机架设的高度差共同作为输入进行联合计算，获得包裹实际尺寸、世界坐标系坐标，将包裹在传送带上的位置输出给皮带控制系统。

作为优选的实施例，将相同编号的包裹在中点相机2图像中的位置，相同编号的包裹在入口相机1或出口相机3图像中的位置以及相机架设的高度差共同作为输入进行联合计算获得包裹的实际尺寸；确定包裹世界坐标系坐标；将包裹在传送带上的世界坐标系坐标输出给皮带控制系统；利用小孔成像原理将入口相机1或出口相机3以及中点相机2所成单件包裹在成像平面坐标系的真实坐标以消除误差，确定包裹的实际空间尺寸和位置。

世界坐标系的建立过程包括：

以中点相机2为原点，以成像平面坐标系为X、Y轴，以中点相机2到标定的0高度平面的垂直方向为Z轴，建立相机坐标系；

以相机坐标系的原点为世界坐标系的原点，建立世界坐标系，此时相机坐标系等于世界坐标系；

将包裹在成像平面坐标系的坐标、相机焦距参数在世界坐标系中进行转换，计算获取对应的世界坐标系坐标。

本实施例通过具有高度差的2D相机对同一物流包裹尺寸成像大小不同的特点，以相机小孔成像原理计算物流包裹的实际尺寸，进而获取包裹世界坐标系坐标，将该坐标输入到单件分离模块实现准实时、高精度的单件分离。该基于旋转目标检测的多个2D相机物流包裹单件分离方法与系统可用2D相机代替3D相机检测包裹实际尺寸，输出包裹世界坐标，解决工程应用中设备成本高昂和3D相机对矮包裹检测效果不佳的问题。本方法相机架设相对简单，多角度镜头可以有效减少包裹间遮挡盲区，提升检测效果。

本发明的设备水平方向位置检测误差在5cm以内，竖直高度方向的位置检测分辨率达到0.1cm。对于薄片状较矮的包裹，在图像形成过程中如果发生较矮的包裹被遮挡的情况，默认包裹高度为5cm。对于不规则形状包裹，利用检测算法增加包裹表面检测角点数量，对于多个角点分别采用小孔成像原理，计算三维尺寸和包裹位置，增加准确性，或者对于坐标和关联区域的确定会多次求取均值，尽可能地精确。

本发明的方案可以将物体的应用场景扩展到任何可相对移动物体的体积、位置和/或质量等典型参数的检测，包括养殖业中生猪等通过传送带和2D相机的配合测量其体积，获知生长状况以及出栏决策。当然，还可以延伸到任何与2D相机具有相对位移的检测场景中，均在本发明的保护范围内。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于2D相机的物体分离机，其特征在于，包括：

布置在下部的物体传送带，布置在所述物体传送带上方的多个不同高度和/或角度的2D相机，与多个所述2D相机相连的数据处理器以及传送带控制系统；其中，所述2D相机以一定的高度差并且以对单件物体能够整个视野尺寸覆盖的规则架设；所述数据处理器获取多台2D相机分别采集的多幅图像，对采集后的多幅图像利用物体的特征信息将有高度差的两台2D相机间的物体关联匹配；对不同高度相机中对同一物体成像利用相机成像原理计算物体的真实尺寸，并输出准确的物体位置信息；所述传送带控制系统用于接收所述物体的位置信息，并控制所述物体传送带进行物体分离。

2.一种基于2D相机的物体分离方法，其特征在于，包括：

预处理部分以及线上处理部分，其中所述预处理部分包括相机架设步骤以及相机标定步骤，所述线上处理部分包括物体的角点检测步骤、跨相机相同物体识别步骤、物体的实际空间尺寸及位置计算步骤；

所述相机架设步骤用于架设多台2D相机，所述相机标定步骤用于对所述多台2D相机进行标定获得不同相机在物体图像的像素图像坐标系间的映射关系，所述物体的角点检测步骤用于获得所述物体的角点信息并进而获得物体的图像信息，所述跨相机相同物体识别步骤采用重识别算法对关联匹配区域的多个物体进行精确识别，最终给不同图像中的相同物体分配同一个编号，所述物体的实际空间尺寸及位置计算步骤利用相同物体在有一定高度的两相机图像位置的差异，修正所述物体由于远小近大成像造成的误差，然后计算所述物体的实际空间尺寸及位置信息，输出到传送带控制系统实现所述物体的单件分离。

3.根据权利要求2所述的基于2D相机的物体分离方法，其特征在于，所述相机架设步骤包括：

设置三个2D相机，分别为入口相机(1)、中点相机(2)以及出口相机(3)；其中，所述入口相机(1)架设在所述物体传送带的入口正上方，高为a，所述入口相机(1)的光轴与竖直方向倾斜一定角度放置；所述中点相机(2)架设在视野尺寸中点正上方，高为b，中点相机(2)的光轴沿竖直方向垂直所述物体传送带平面俯视放置；所述出口相机(3)架设在出口正上方，高为a，所述出口相机(3)的光轴与竖直方向倾斜一定角度放置。

4.根据权利要求2所述的基于2D相机的物体分离方法，其特征在于，所述相机标定步骤包括：对两相机拍摄图像建立像素坐标系，实际物体的高度确定时，映射关系在该高度下的任意位置始终不变，不同高度的所述2D相机之间进行不同高度的两次标定并获得两个映射关系，从而获得不同高度之间任意高度物体的位置；所述相机标定步骤包括将有高度差的所述2D相机所成图像在同一实际空间视野区域进行坐标转换，获取同一实际空间位置坐标在不同相机间的像素图像坐标，最终获取两个2D相机对同一实际空间坐标的像素点映射关系，即视为完成一次相机标定；通过前述相机标定步骤完成两次标定，包括0高度平面和最大高度平面两高度之间的2D相机之间像素点的映射关系，0高度映射关系视为第一映射关系，最大高度平面映射关系视为第二映射关系；同时，以2D相机左上角为原点建立图像坐标系，进而根据相机覆盖的视野尺寸和相机分辨率建立成像平面坐标系，获取像素点长度和所述物体实际物理长度的对应关系。

5.根据权利要求2所述的基于2D相机的物体分离方法，其特征在于，所述物体的角点检测步骤包括：在常规目标检测算法中加入旋转因子，对摆放不规则的物体以及异形件特殊物体进行精准检测，最终得到物体上表面的多个角点坐标以及物体在图像中的位置，所述旋转因子包括采用旋转yolov5、R²CNN、RRPN、Gliding vertex、P-RSDet或SCRDet的旋转目标检测模型或者轻量化深度学习检测模型实现所述旋转目标测试。

6.根据权利要求2或3所述的基于2D相机的物体分离方法，其特征在于，所述跨相机相同物体识别步骤包括：设置关联匹配区域以及物体重识别。

7.根据权利要求6所述的基于2D相机的物体分离方法，其特征在于，所述设置关联匹配区域包括：

获取中点相机(2)的第一物体图像的检测框结果；

根据相机架设策略与相机标定策略中中点相机(2)和入口相机(1)或出口相机(3)在0高度平面和最大高度平面之间的标定分别获取的第一映射关系和第二映射关系，获得入口相机(1)或出口相机(3)在0高度标定的第一映射关系下的第二物体图像第一关联框和最大高度平面标定的第二映射关系下的第二物体图像第二关联框；

将所述第一关联框和所述第二关联框之间的所有区域框出，设置为关联匹配区域；

重复上述步骤获得每个物体的中点相机(2)检测框结果，并计算对应物体在入口相机(1)或出口相机(3)中的关联匹配区域。

8.根据权利要求6所述的基于2D相机的物体分离方法，其特征在于，所述物体重识别包括：将物体图像数据经过训练后获得重识别算法模型，利用物体的表面特征信息对中点相机(2)获得的每个物体的第一物体图像在入口相机(1)或出口相机(3)中的关联匹配区域进行关联匹配，获得跨相机间的同一物体识别，并输出同一物体跨相机间相同的编号。

9.根据权利要求2或3所述的基于2D相机的物体分离方法，其特征在于，所述物体的实际空间尺寸及位置计算步骤利用相同物体在有一定高度差的两相机图像位置的差异，修正所述物体由于远小近大成像造成的误差，然后计算所述物体的实际空间尺寸和位置信息，根据所述物体的实际空间尺寸和位置信息进行所述物体的单件分离，包括：

根据同一物体在中点相机(2)的多个角点坐标和入口相机(1)或出口相机(3)的多个角点坐标分别计算同一物体在中点相机(2)和入口相机(1)或出口相机(3)中因远小近大成像出的不同像素长、宽；

由相机小孔成像原理计算每个所述物体真实尺寸和高度信息，确定每个所述物体在成像平面坐标系的真实坐标以消除误差，确定每个所述物体的真实尺寸并转化为成像平面坐标系坐标。

10.根据权利要求9所述的基于2D相机的物体分离方法，其特征在于，计算所述物体的位置信息包括：

以中点相机(2)为原点，以成像平面坐标系为X、Y轴，以中点相机(2)到标定的0高度平面的垂直方向为Z轴，建立相机坐标系；

以相机坐标系的原点为世界坐标系的原点，建立世界坐标系，此时所述相机坐标系等于所述世界坐标系；

将所述物体在成像平面坐标系的坐标、相机焦距参数在世界坐标系中进行转换，计算获取对应的世界坐标系坐标。

Images