CN110102490B - 基于视觉技术的流水线包裹分拣装置和电子设备 - Google Patents

Abstract

本发明提供了一种基于视觉技术的流水线包裹分拣装置和电子设备，涉及包裹分拣的技术领域，包括：相机驱动模块用于根据指令数据，控制相机组合拍摄图像；ROI框圈定模块用于从相机组合拍摄的图像中圈出包含目标包裹的ROI框；定位识别模块用于从ROI框中识别出目标包裹的类型和在相机坐标系下的目标包裹的位置信息；坐标转换模块用于根据坐标系的转换关系，将在相机坐标系下的目标包裹的位置信息转换为在机器人基坐标系下的目标包裹的位置信息；通讯模块用于将目标包裹的类型和在机器人基坐标系下的目标包裹的位置信息传输到工业机器人中。可以提高包裹分拣的效率与正确率。

Description

基于视觉技术的流水线包裹分拣装置和电子设备

技术领域

本发明涉及包裹分拣技术领域，尤其是涉及一种基于视觉技术的流水线包裹分拣装置和电子设备。

背景技术

当前物流行业已经实现并大量运用了一系列流水线的包裹分拣方案，例如交叉带分拣线、滑块分拣线等等，总体自动化水平已取得了很大进步。但是，现有技术仍然存在大量需要人工重复的劳动进行适配，例如物料卸车、供包上料，格口装笼、物料出笼环节等，在这些场景下，人工效率还处于比较低的水准，同时因为人长期劳作中的主观性影响，一定程度上降低了后续工作的准确性，导致误检等情况发生，需要更多的人力返工，极大降低了效率。

发明内容

有鉴于此，本发明的目的在于提供基于视觉技术的流水线包裹分拣装置和电子设备，以减少在包裹分拣过程中由于人工原因而导致的效率降低和误检等情况的技术问题。

第一方面，本发明实施例提供了一种基于视觉技术的流水线包裹分拣装置，包括：

相机驱动模块用于获取控制指令，根据控制指令，调用相机组合对应的接口的指令数据，根据所述指令数据，控制所述相机组合拍摄图像；

ROI框圈定模块用于从所述相机组合拍摄的图像中圈出包含目标包裹的ROI框；

定位识别模块用于从所述ROI框中识别出目标包裹的类型和在相机坐标系下的目标包裹的位置信息；

坐标转换模块用于根据坐标系的转换关系，将在相机坐标系下的目标包裹的位置信息转换为在机器人基坐标系下的目标包裹的位置信息；

通讯模块用于将目标包裹的类型和在用户坐标系下的目标包裹的位置信息传输到工业机器人中，以使所述工业机器人能够对目标包裹进行分拣。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述ROI框圈定模块包括：ROI坐标系确定子模块和ROI框圈定子模块；

所述ROI坐标系确定子模块用于确定出ROI坐标系的x和y轴及其xOy平面，并以相机坐标系z轴反方向为ROI坐标系z轴；

所述ROI框圈定子模块用于在建立ROI坐标系后，以其xOy平面上的确定区域为底面，ROI坐标系z正方向选取一段范围，圈出包含目标包裹的ROI框。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述ROI坐标系确定子模块用于从相机组合拍摄图像中获取点云数据，从所述点云数据中寻找最大的平面作为ROI坐标系的xOy平面，取相机坐标系z轴反方向为ROI坐标系z轴。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述ROI坐标系确定子模块用于通过识别标记，确定出ROI坐标系的x和y轴及其xOy平面，并以相机坐标系z轴反方向为ROI坐标系z轴。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述定位识别模块用于：

对图像帧的点云数据进行聚类筛选，并去除位于所述点云数据边缘的结果，识别出目标包裹的类型确定为软包；所述图像帧为所述相机结合拍摄的视频中；

在聚类筛选处理的基础上，对点云数据进行平面分割，去除位于点云数据边缘的结果，识别出目标包裹的类型确定为箱子；

在对点云进行平面分割处理的基础上，基于2D图像的灰度图进行平面MSER聚类；

去除位于图片边缘的结果；

结合高度信息，对点云数据进行高度抑制处理，识别出目标包裹的类型确定为文件。

结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述定位识别模块还用于：确定视频中的图像帧对应的识别出目标包裹的类型最多的为目标包裹的类型。

结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述装置还包括：坐标系标定模块包括：第一转换关系确定子模块、第二转换关系确定子模块和第三转换关系确定子模块；

第一坐标系标定子模块用于获取标定板的物理参数、相机内参、相机畸变参数，确定标定板坐标系和相机坐标系的转换关系；

第二坐标系标定子模块用于获取至少两个包含标定板的图像，识别至少两个包含标定板的图像，确定标定板坐标系原点的位置为用户坐标系的x轴，得到用户坐标系和相机坐标系的转换关系；所述至少两个包含标定板的图像是在标定板放置在运行中的传送带上，在不同时刻拍摄的；

第三坐标系标定子模块用于获取至少三个在尖端碰触标定板坐标原点的第一机器人关节角信息，根据第一机器人关节角信息得到机器人基坐标系和机器人末端珐琅盘中心点坐标系的转换关系，根据机器人基坐标系和机器人末端珐琅盘中心点坐标系转换关系，确定标定板坐标原点在机器人基坐标系下的坐标为传送带坐标系原点，获取第二机器人关节角信息，所述第二机器人关节角信息为获取第一机器人关节角信息中将传送带运动预设距离，使得尖端触碰标定板坐标原点得到的，根据第二机器人关节角信息得到标定板坐标原点在机器人基坐标系下的坐标为传送带坐标系坐标点，将传送带坐标系原点和传送带坐标系坐标点的连线作为传送带坐标系x轴，获取尖端触碰标定板上的坐标点的第三机器人关节角信息，得到在机器人基坐标系下的坐标，根据传送带坐标系原点、传送带坐标系坐标点和在机器人基坐标系下的坐标所在的确定的平面的法线作为传送带坐标系z轴，建立传送带坐标系，确定机器人基坐标系和传送带坐标系的转换关系。

结合第一方面，本发明实施例提供了第一方面的第七种可能的实施方式，其中，所述相机驱动模块还用于：获取控制指令；根据控制指令，调用相机组合对应的接口的指令数据。

第二方面，本发明实施例还提供一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例任一项所述的装置。

第三方面，本发明实施例还提供一种计算机可读介质，所述计算机可读介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述实施例中任一项所述的装置。

本发明实施例带来了以下有益效果：首先通过指令数据，控制相机组合拍摄图像，从相机组合拍摄的图像中圈出包含目标包裹的ROI框，从ROI框中识别出目标包裹的类型和在相机坐标系下的目标包裹的位置信息，然后根据坐标系的转换关系，将在相机坐标系下的目标包裹的位置信息转换为在机器人基坐标系下的目标包裹的位置信息，将目标包裹的类型和在用户坐标系下的目标包裹的位置信息传输到工业机器人中，使工业机器人能够对目标包裹进行分拣，本发明能够减少在包裹分拣过程中由于人工原因而导致的效率降低和误检等情况的技术问题，同时由于在该装置中能够提前将位置坐标系进行转换，使得机器人在接收到位置时，直接进行操作，提高机器人的工作效率。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于视觉技术的流水线包裹分拣装置的结构图；

图2为基于视觉技术的流水线包裹分拣装置的相机驱动模块的工作原理图；

图3为基于视觉技术的流水线包裹分拣装置的ROI框圈定模块的工作原理图；

图4为基于视觉技术的流水线包裹分拣装置的定位识别模块的工作原理图；

图5为基于视觉技术的流水线包裹分拣装置的通讯模块的工作原理图；

图6为基于视觉技术的流水线包裹分拣装置的机器人控制系统的工作原理图；

图7为基于视觉技术的流水线包裹分拣装置的第一转换关系确定子模块的工作原理图；

图8为基于视觉技术的流水线包裹分拣装置的第二转换关系确定子模块的工作原理图；

图9为基于视觉技术的流水线包裹分拣装置的第三转换关系确定子模块的工作原理图；

图10为基于视觉技术的流水线包裹分拣装置的坐标系标定模块的坐标转换关系的工作原理图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供的基于视觉技术的流水线包裹分拣装置，可以首先通过指令数据，控制相机组合拍摄图像，从相机组合拍摄的图像中圈出包含目标包裹的ROI框，从ROI框中识别出目标包裹的类型和在相机坐标系下的目标包裹的位置信息，然后根据坐标系的转换关系，将在相机坐标系下的目标包裹的位置信息转换为在机器人基坐标系下的目标包裹的位置信息，将目标包裹的类型和在用户坐标系下的目标包裹的位置信息传输到工业机器人中，使工业机器人能够对目标包裹进行分拣，本发明能够减少在包裹分拣过程中由于人工原因而导致的效率降低和误检等情况的技术问题，同时由于在该装置中能够提前将位置坐标系进行转换，使得机器人在接收到位置时，直接进行操作，提高机器人的工作效率。

为便于对本申请进行理解，首先对本发明实施例所公开的一种基于视觉技术的流水线包裹分拣装置进行详细介绍。

图1示出了基于视觉技术的流水线包裹分拣装置的结构图，结合图1所示，该装置包括：相机驱动模块110、ROI框圈定模块120、定位识别模块130、坐标转换模块140和通讯模块150。在实际应用过程中，相机驱动模块110、ROI框圈定模块120、定位识别模块130、坐标转换模块140均可以设置在视觉系统中，该视觉系统包括处理器和存储器，处理器可以执行相机驱动模块110、ROI框圈定模块120、定位识别模块130、坐标转换模块140的功能，通讯模块150可以设置在通信设备中，该视觉系统还可以包括外部硬件设备，例如相机、显示屏、鼠标、键盘等等。视觉系统可以通过通信设备与机器人中的控制系统进行通信。

以下介绍该装置的功能：

结合图2所示，相机驱动模块110根据指令数据，控制所述相机组合拍摄图像。相机驱动模块还用于：获取控制指令；根据控制指令，调用相机组合对应的接口的指令数据。其中，相机组合包括至少一个3D相机和/至少一个2D相机。3D相机和/2D相机对于不同的厂商，会有不同的成像方式和相应的配套软件，因此，并没有统一的标准，导致接口不统一。对于用户使用来说，每使用一款相机就得熟悉相应的SDK(Software Development Kit，软件开发工具)和API(Application Programming Interface，应用程序设计接口)。对于一般的采图任务以及算法人员来说，人们并不希望再去花费精力去了解第三方相机的SDK和API，也不希望再单独写一段特异的程序代码去进行进行相应的操作。基于此，本申请的相机驱动模块对3D相机(Queen等)底层进行了封装，提供了统一的编程接口，并支持与2D相机(Basler)联合使用，提供了枚举相机、打开/关闭相机、设置曝光\增益、分辨率、设置属性、读取/写入标定参数、采集数据(图像和点云)等功能相应的开发接口和链接库提供给集成或者开发人员调用。例如，在相机驱动模打开/关闭块的基础上，视觉系统软件的相机节点调用其接口进行打开/关闭等操作，并且通过指令获取数据和相应反馈信息，从而获取数据传递给后续工作流上的节点。

ROI框圈定模块120用于从相机组合拍摄的图像中圈出包含目标包裹的ROI框。

可选的，所述ROI框圈定模块包括：ROI坐标系确定子模块和ROI框圈定子模块；

所述ROI坐标系确定子模块用于确定出ROI坐标系的x和y轴及其xOy平面，并以相机坐标系z轴反方向为ROI坐标系z轴。结合图3所示，ROI坐标系确定子模块可以具体用于从相机组合拍摄图像中获取点云数据，从所述点云数据中寻找最大的平面作为ROI坐标系的xOy平面，取相机坐标系z轴反方向为ROI坐标系z轴，或者通过识别标记(marker)，确定出ROI坐标系的x和y轴及其xOy平面，并以相机坐标系z轴反方向为ROI坐标系z轴。

所述ROI框圈定子模块用于在建立ROI坐标系后，以其xOy平面上的确定区域为底面，ROI坐标系z正方向选取一段范围，圈出包含目标包裹的ROI框。

定位识别模块130用于从ROI框中识别出目标包裹的类型和在相机坐标系下的目标包裹的位置信息。结合图4所示，定位识别模块130可以按照如下方式进行：对图像帧的点云数据进行聚类筛选，并去除位于所述点云数据边缘的结果，识别出目标包裹的类型确定为软包；所述图像帧为所述相机结合拍摄的视频中，在聚类筛选处理的基础上，对点云数据进行平面分割，去除位于点云数据边缘的结果，识别出目标包裹的类型确定为箱子，在对点云进行平面分割处理的基础上，基于2D图像的灰度图进行平面MSER聚类，去除位于图片边缘的结果，结合高度信息，对点云数据进行高度抑制处理，识别出目标包裹的类型确定为文件。

坐标转换模块140用于根据坐标系的转换关系，将在相机坐标系下的目标包裹的位置信息转换为在机器人基坐标系下的目标包裹的位置信息。

通讯模块150用于将目标包裹的类型和在用户坐标系下的目标包裹的位置信息传输到工业机器人中，以使工业机器人能够对目标包裹进行分拣。

举一个示例，结合图5所示，通信模块提供了两类接口，GRPC和TCPsocket。GRPC是RPC框架，是一款语言中立、平台中立、开源的远程过程调用系统，其使用HTTP/2协议并用ProtoBuf作为序列化工具。具有高性能、开源和通用的特点。GRPC基于HTTP/2标准设计，带来诸如双向流、流控、头部压缩、单TCP连接上的多复用请求等特性。工业机器人的控制端通过简单的类似函数的RPC调用即可实现对视觉系统软件的控制，包括设置速度、识别开关、读取结果等。基于TCP socket，视觉系统软件还提供了一套比较通用的网络通信协议，除了直接基于软件提供的网络通信协议进行直接对接外，我司还额外开发了一套对网络通信进行封装的sdk，从而使得机器人控制端可以方便地调用sdk中的方法实现对视觉系统软件的控制而不必关心网络通讯相关的实现。

当然，还可以包括：网络对时模块，网络对时操作借助ntp(网络时间协议)实现，通常以工业机器人控制端作为时间服务器。视觉系统软件中可以设置已知的时间服务器IP地址，可以通过软件手动触发对时，或者由机器人控制端通过通信接口请求进行对时触发。

举一个示例，在整个控制过程中，可以将机器人控制系统通过通信模块与坐标转换模块和定位识别模块130等等相连，结合图6所示，通过通信模块对视觉系统软件进行工作流程开关控制、参数配置、读取结果等操作，同时也可以从其它IO信号获取信息，例如编码器信息。在一系列信息的基础上，驱动机器人本体完成包裹自动分拣的实际实施。

在一些实施例中，为了实现在流水线上动态识别追踪，避免重复识别等问题，本申请中定位识别模块还用于：确定视频中的图像帧对应的识别出目标包裹的类型最多的为目标包裹的类型。可以理解为对一系列连续帧的单帧识别结果进行匹配，由于每帧数据的时间戳以及传送带速度已知，可以获知某两帧数据中的位移差，从而可以转换不同帧的识别结果并进行匹配。匹配结果中达到一定比例，即连续N帧的结果，匹配成功超过M次的，就作为最终结果。

在一些实施例中，在流水线包裹自动分拣正式流程前，需要对视觉系统和机器人进行系统手眼标定。具体来说，装置还包括：坐标系标定模块包括：第一转换关系确定子模块、第二转换关系确定子模块和第三转换关系确定子模块；

第一坐标系标定子模块用于获取标定板的物理参数、相机内参、相机畸变参数，确定标定板坐标系和相机坐标系的转换关系。详细来讲，结合图7所示，视觉系统标定首先需要识别标定板。标定板可以采用我司自研的标定板和其他一些标定板，已知标定板的物理参数和相机内参以及相机畸变参数等信息，在提取出标定板特征点后进行类似OpenCV中SolvePnp方法的计算，就可以获取标定板坐标系和相机坐标系的转换关系，实现了标定板的识别。

第二坐标系标定子模块用于获取至少两个包含标定板的图像，识别至少两个包含标定板的图像，确定标定板坐标系原点的位置为用户坐标系的x轴，得到用户坐标系和相机坐标系的转换关系；至少两个包含标定板的图像是在标定板放置在运行中的传送带上，在不同时刻拍摄的。结合图8所示，详细来讲，标定板置于传送带上，进行一次识别，将此时标定板坐标系原点作为用户坐标系的原点，标定板坐标系法线向上作为用户坐标系z正方向。开启传送带使得标定板向前运动一些，再次拍照识别标定板，两次识别得到的标定板坐标系原点可以确定出用户坐标系的x轴，选择运动方向为x正方向，从而可以建立出用户坐标系，同时获知其与相机坐标系之间的转换关系，也就完成了视觉系统标定。

结合图9所示，第三坐标系标定子模块用于获取至少三个在尖端碰触标定板坐标原点的第一机器人关节角信息，根据第一机器人关节角信息得到机器人基坐标系和机器人末端珐琅盘中心点坐标系的转换关系，根据机器人基坐标系和机器人末端珐琅盘中心点坐标系转换关系，确定标定板坐标原点在机器人基坐标系下的坐标为传送带坐标系原点，获取第二机器人关节角信息，所述第二机器人关节角信息为获取第一机器人关节角信息中将传送带运动预设距离，使得尖端触碰标定板坐标原点得到的，根据第二机器人关节角信息得到标定板坐标原点在机器人基坐标系下的坐标为传送带坐标系坐标点，将传送带坐标系原点和传送带坐标系坐标点的连线作为传送带坐标系x轴，获取尖端触碰标定板上的坐标点的第三机器人关节角信息，得到在机器人基坐标系下的坐标，根据传送带坐标系原点、传送带坐标系坐标点和在机器人基坐标系下的坐标所在的确定的平面的法线作为传送带坐标系z轴，建立传送带坐标系，确定机器人基坐标系和传送带坐标系的转换关系。

结合图10所示，系统手眼标定的实质是将相机坐标系最终和机器人基坐标系统一起来，从而使得机器人可以使用相机识别出的结果进行分拣操作。在这一过程中，首先需要分别进行视觉系统和机器人各自的标定，但这两次标定并非完全割裂，需要使用同一标定板坐标系的原点，并且始终使用开启传送带的方法来移动标定板，以确保标定结果的准确。视觉系统标定利用标定板可以获得用户坐标系和相机坐标系之间的转换关系，机器人标定可以获得传送带坐标系和机器人基坐标系之间的转换关系，而用户坐标系和传送带坐标系之间仅有传送带运动方向的位移Δx，且机器人可以获取编码器信息，即传送带位移信息，从而将整体系统的各个坐标系统一起来，完成了整体系统标定。

当然，对于图1～图10来说，显示了根据本发明的多个实施例的计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

第二方面，本发明实施例还提供一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例任一项所述的装置。

第三方面，本发明实施例还提供一种计算机可读介质，所述计算机可读介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述实施例中任一项所述的装置。具体实现可参见装置实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (9)

1.一种基于视觉技术的流水线包裹分拣装置，其特征在于，包括：

相机驱动模块，用于根据指令数据，控制所述相机组合拍摄图像；

ROI框圈定模块，用于从所述相机组合拍摄的图像中圈出包含目标包裹的ROI框；

定位识别模块，用于从所述ROI框中识别出目标包裹的类型和在相机坐标系下的目标包裹的位置信息；

坐标转换模块，用于根据坐标系的转换关系，将在相机坐标系下的目标包裹的位置信息转换为在机器人基坐标系下的目标包裹的位置信息；

通讯模块，用于将目标包裹的类型和在用户坐标系下的目标包裹的位置信息传输到工业机器人中，以使所述工业机器人能够对目标包裹进行分拣；

所述装置还包括：坐标系标定模块，包括：第一转换关系确定子模块、第二转换关系确定子模块和第三转换关系确定子模块；

第一坐标系标定子模块，用于获取标定板的物理参数、相机内参、相机畸变参数，确定标定板坐标系和相机坐标系的转换关系；

第二坐标系标定子模块，用于获取至少两个包含标定板的图像，识别至少两个包含标定板的图像，确定标定板坐标系原点的位置为用户坐标系的x轴，得到用户坐标系和相机坐标系的转换关系；所述至少两个包含标定板的图像是在标定板放置在运行中的传送带上，在不同时刻拍摄的；

第三坐标系标定子模块，用于获取至少三个在尖端碰触标定板坐标原点的第一机器人关节角信息，根据第一机器人关节角信息得到机器人基坐标系和机器人末端珐琅盘中心点坐标系的转换关系，根据机器人基坐标系和机器人末端珐琅盘中心点坐标系转换关系，确定标定板坐标原点在机器人基坐标系下的坐标为传送带坐标系原点，获取第二机器人关节角信息，所述第二机器人关节角信息为获取第一机器人关节角信息中将传送带运动预设距离，使得尖端触碰标定板坐标原点得到的，根据第二机器人关节角信息得到标定板坐标原点在机器人基坐标系下的坐标为传送带坐标系坐标点，将传送带坐标系原点和传送带坐标系坐标点的连线作为传送带坐标系x轴，获取尖端触碰标定板上的坐标点的第三机器人关节角信息，得到在机器人基坐标系下的坐标，根据传送带坐标系原点、传送带坐标系坐标点和在机器人基坐标系下的坐标所在的确定的平面的法线作为传送带坐标系z轴，建立传送带坐标系，确定机器人基坐标系和传送带坐标系的转换关系。

2.根据权利要求1所述的基于视觉技术的流水线包裹分拣装置，其特征在于，所述ROI框圈定模块包括：ROI坐标系确定子模块和ROI框圈定子模块；

所述ROI坐标系确定子模块，用于确定出ROI坐标系的x和y轴及其xOy平面，并以相机坐标系z轴反方向为ROI坐标系z轴；

所述ROI框圈定子模块，用于在建立ROI坐标系后，以其xOy平面上的确定区域为底面，ROI坐标系z正方向选取一段范围，圈出包含目标包裹的ROI框。

3.根据权利要求2所述的基于视觉技术的流水线包裹分拣装置，其特征在于，所述ROI坐标系确定子模块，用于从相机组合拍摄图像中获取点云数据，从所述点云数据中寻找最大的平面作为ROI坐标系的xOy平面，取相机坐标系z轴反方向为ROI坐标系z轴。

4.根据权利要求2所述的基于视觉技术的流水线包裹分拣装置，其特征在于，所述ROI坐标系确定子模块，用于通过识别标记，确定出ROI坐标系的x和y轴及其xOy平面，并以相机坐标系z轴反方向为ROI坐标系z轴。

5.根据权利要求3或4所述的基于视觉技术的流水线包裹分拣装置，其特征在于，所述定位识别模块用于：

对图像帧的点云数据进行聚类筛选，并去除位于所述点云数据边缘的结果，识别出目标包裹的类型确定为软包；所述图像帧为所述相机结合拍摄的视频中；

在聚类筛选处理的基础上，对点云数据进行平面分割，去除位于点云数据边缘的结果，识别出目标包裹的类型确定为箱子；

在对点云进行平面分割处理的基础上，基于2D图像的灰度图进行平面MSER聚类；

去除位于图片边缘的结果；

结合高度信息，对点云数据进行高度抑制处理，识别出目标包裹的类型确定为文件。

6.根据权利要求5所述的基于视觉技术的流水线包裹分拣装置，其特征在于，所述定位识别模块还用于：确定视频中的图像帧对应的识别出目标包裹的类型最多的为目标包裹的类型。

7.根据权利要求1所述的基于视觉技术的流水线包裹分拣装置，其特征在于，所述相机驱动模块还用于：获取控制指令；根据控制指令，调用相机组合对应的接口的指令数据。

8.一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1～7任一项所述的装置。

9.一种计算机可读介质，其特征在于，所述计算机可读介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述权利要求1～7中任一项所述的装置。

Images