CN108480239B - 基于立体视觉的工件快速分拣方法及装置 - Google Patents

Abstract

本发明涉及基于立体视觉的工件快速分拣方法及装置，工作台上设传送带，上方设基线平行传送带运动方向的双目摄像头，工作台侧部设包括机械臂的分拣模块，控制器连接显示器、分拣模块、传送带、双目摄像头；双目图像确定ROI区域，立体匹配获得工件在深度图的坐标和视差，减少时间消耗，以传送带移送速度及前后两帧图像的时间间隔，在前一帧深度图中工件的位置为基础推算出后一帧对应工件的位置，隔M帧立体匹配更正误差、提高正确性。本发明缩小立体匹配的匹配区域，计算量小，不需对每帧立体匹配，缩短时间消耗，实时性高，可在相对廉价、性能较差的硬件设备上快速实现分拣立体匹配，降低硬件依赖性，同等硬件平台提高分拣成功率，生产效率高。

Description

基于立体视觉的工件快速分拣方法及装置

技术领域

本发明涉及邮件分拣；单件物品的分选，或适于一件一件地分选的散装材料的分选，如拣选的技术领域，特别涉及一种基于立体视觉的工件快速分拣方法及装置。

背景技术

在工业生产中经常需要对一堆工件进行分类，分类完成后才能进行装配等操作。

目前，我国在分拣作业这方面的自动化程度很低，基本上都是采用人工对工件进行分拣。而随着人口老龄化程度的加剧，劳动力成本越来越高，继续采用人工进行分拣会使得生产成本过高，导致产品价格过高，从而降低了市场的竞争力。因此采用自动分拣系统才是未来分拣领域的发展方向。

基于立体视觉的工件快速分拣装置即是一种基于立体视觉的自动分拣系统，是在工业生产中能根据需要在生产线上自动对工件进行定位和类目识别、驱动分拣装置对工件按类进行分拣的智能化系统。

世界领先的制造大国德国于2011年提出工业4.0，并且提出三大主题：一、智能工厂；二、智能生产；三、智能物流，之后在世界各地掀起了工业4.0的狂潮。自动分拣系统能从根本上解决劳动力缺乏的问题，其发展大大改善了人们的工作环境，且大大提高了工业生产效率，顺应了工业4.0的狂潮，因此此类系统应运而生。

随着图像处理技术的发展，目前出现了一大批基于立体视觉的分拣系统。该类分拣系统大都通过双目摄像头采集待分拣区域的图像，利用图像识别和定位技术对待分拣区域中的工件进行类目识别和定位，然后根据左右摄像头的图像进行立体图匹配得到视差，再根据视差和工件在像素坐标系下定位出的坐标计算出工件在世界坐标系下的坐标，最后驱动分拣装置对目标工件进行按类抓取，实现分拣。如公开号为CN106670757的发明专利提出了一种基于立体视觉的分拣系统，但是该分拣系统只能对静止的物体进行分拣，并不能对处于运动的物体进行分拣，效率比较低。

因为工业生产中工件形状规则并且场景简单，因此使用图像处理领域中计算量比较小的识别和定位算法就可完成作业并满足我们的需求，而基于立体视觉的自动分拣系统关键步骤在于计算量巨大的立体匹配，该步骤严重影响着工件在世界坐标系下坐标的正确性以及坐标获取的实时性。立体匹配成为基于立体视觉的分拣系统的瓶颈。

工业生产中的主控设备大多是嵌入式设备，因为这种设备可以根据工业生产的需求进行定制，价格便宜并且稳定，但是普通的嵌入式设备在进行立体匹配这一步骤的时候在实时性方面并不能满足我们的需要。大部分基于立体视觉的自动分拣系统为了获得较好的分拣效果，有的分拣系统主控设备采用处理能力强的嵌入式设备，但是该种设备价格昂贵；有的分拣系统降低传送带的速度，但这加大了时间的耗费，降低了生产效率；有的分拣系统只能对静止的工件进行分拣，这类系统的效率就更加低了。

发明内容

为了解决现有技术中存在的问题，本发明提供一种优化的基于立体视觉的工件快速分拣方法及装置，对立体匹配进行优化，使得在较为廉价的硬件设备上可以快速实现复杂的立体匹配算法获取深度图，提高整个分拣系统的实时性，提高分拣装置抓取的准确性，生产效率大幅提高。

本发明所采用的技术方案是，一种基于立体视觉的工件快速分拣方法，所述方法包括以下步骤：

步骤1：设定帧数计数初始值n＝1，设定立体匹配帧数间隔M；1≤n≤M+1；

步骤2：启动分拣，分拣模块的机械臂初始化，双目摄像头采集待分拣区域中工件的双目图像；

步骤3：n除以M取余数，若余数为1，则进行步骤4，否则，进行步骤5；

步骤4：获取双目图像，首先对图像进行矫正与校正，然后使用ROI划分法对双目图像进行划分，最后对划分后的ROI区域进行传统的立体匹配，得到当前所属M帧中工件在深度图的像素坐标系中的坐标和视差d，n重置为1；进行步骤6；

步骤5：根据前后帧推算法，以前一帧中的工件在深度图的像素坐标系中的坐标计算出当前帧中工件在深度图的像素坐标系中的坐标，当前帧中各工件对应的视差d等于前一帧中同一个工件对应的视差d；

步骤6：将步骤4或步骤5推算得到的当前帧中工件在深度图的像素坐标系中的坐标和视差d进行计算，得到工件在相机坐标系下的坐标值，把前述工件在相机坐标系下的坐标值以及工件所属类别存入控制器的存储单元中并覆盖同一个工件前一次存储的值；更新帧数计数值n＝n+1；

步骤7：判断是否接收到分拣模块发送的就绪信号，若是，进行下一步，否则，进行步骤9；

步骤8：将最先待分拣工件在控制器的存储单元中的相机坐标系下坐标值以及工件所属类别发送给分拣模块；分拣模块接收到信息，按类分拣；

步骤9：判断是否接收到结束信号，若是，进行下一步，否则，进行步骤3；

步骤10：分拣结束。

优选地，所述步骤4包括以下步骤：

步骤4.1：获取双目图像，进行矫正与校正，得到消除畸变并行对准之后的左目和右目图；

步骤4.2：对双目图像中的工件进行识别以及定位，获取工件在像素坐标系下坐标值和以及工件的所属类别；

步骤4.3：根据工件在像素坐标系下的坐标值，在竖直列方向上进行ROI区域划分，将双目图像在竖直方向上顺次划分为无效区域、ROI区域、无效区域；

步骤4.4：对ROI区域的双目图像进行立体匹配得到深度图，对深度图中对应工件坐标处的灰度值进行转化计算，得到工件对应的视差d，把视差d和所述工件在像素坐标系下的坐标作为所属M帧的基准值，最后把n重置为1；进行步骤6。

优选地，所述步骤5中，以前一帧中的工件在深度图的像素坐标系中的坐标计算出当前帧中工件在深度图的像素坐标系中的坐标包括以下步骤：

步骤5.1：当前帧中各工件对应的视差d等于前一帧中同一个工件对应的视差d，计算相机坐标系下Z轴上的坐标其中，f为摄像头的焦距，T为双目摄像头的左目和右目间的水平距离，d为视差；

步骤5.2：令x_i+1-x_i为工件在两帧间隔的时间内在像素坐标系下水平方向上的变化值，则有其中，x_i和x_i+1分别为第i帧和第i+1帧时工件在像素坐标系下的水平坐标，u₀为图像坐标系的原点在像素坐标系下的横坐标值，f为双目摄像头的焦距，dx为双目摄像头的成像平面上的像素点在水平方向上的大小，Z_c＝Z，v为传送带运动速度，F为帧率；

步骤5.3：当前帧中工件在深度图的像素坐标系中的坐标为前一帧中的工件在深度图的像素坐标系中的坐标在水平方向上加S，垂直方向上保持不变。

优选地，所述步骤6中，根据工件在像素坐标系下的坐标以及视差d，得到工件在相机坐标系下的坐标包括以下步骤：

步骤6.1：分别构建图像坐标系、相机坐标系、像素坐标系，图像坐标系、相机坐标系、像素坐标系的x轴和y轴分别相互平行；

步骤6.2：得到像素坐标系与图像坐标系的转换关系其中，u和v为工件在像素坐标系下的横坐标值和纵坐标值，x和y为工件在图像坐标系下的横坐标值和纵坐标值，u₀和v₀为图像坐标系的原点在像素坐标系下的横坐标值和纵坐标值，dx和dy分别为双目摄像头的成像平面上像素点在水平方向上的大小和像素点在竖直方向上的大小，单位为毫米/像素；

步骤6.3：得到图像坐标系和相机坐标系的转换关系其中，x和y为工件在图像坐标系下的横坐标值和纵坐标值，f为摄像头的焦距，X_c、Y_c和Z_c为工件在相机坐标系下的X轴坐标值、Y轴坐标值和Z轴坐标值，T为双目摄像头的左目和右目间的水平距离，d为当前工件在像素坐标系下对应的视差；

步骤6.4：根据步骤6.2和步骤6.3，得到像素坐标系和相机坐标系的转换关系即根据工件在像素坐标系下的坐标以及视差d，得到工件在相机坐标系下的坐标。

优选地，所述步骤2中，对双目摄像头采集的图像进行显示，判断双目摄像头是否正常工作，若是，进行下一步，若否，进行步骤10。

优选地，在双目摄像头采集图像时，采用左目摄像头的光心为相机坐标系的原点。

优选地，像素坐标系原点采用采集图像左上角的顶点。

一种采用所述的基于立体视觉的工件快速分拣方法的工件快速分拣装置，包括工作台，所述工作台上设有传送带，所述工作台上方设有双目摄像头，所述双目摄像头的基线平行于传送带运动方向；所述工作台侧部设有分拣模块，所述分拣模块包括机械臂；所述传送带、双目摄像头和分拣模块与控制器连接，所述控制器还连接有显示器。

优选地，所述双目摄像头配合设有补光器。

优选地，所述控制器包括：

一图像矫正与校正单元，用于得到无畸变和行对准之后的双目图像；

一工件识别和定位单元，用于对分拣的工件所属类目进行识别以及工件在像素坐标系下位置的获取；

一立体匹配单元，在工件位置获取后对当前双目图像感兴趣区域即ROI区进行立体匹配生成深度图；

一存储单元，用于存储待分拣区域中每个工件的坐标以及对应的所属类别；

一通信单元，用于与分拣模块进行通信，从存储单元中取出一个工件对应的坐标以及所属类别，发送给分拣模块进行按类分拣。

本发明提供了一种优化的基于立体视觉的工件快速分拣方法及装置，通过在拍摄所得的双目图像中确定一个ROI区域，即工件所在的感兴趣区域，对ROI区域进行立体匹配获得工件在深度图的像素坐标系中的坐标和视差d，减少时间消耗；本发明提出一个前后帧推算法，根据传送带的移送速度以及前后两帧图像的时间间隔，在前一帧深度图中工件的位置的基础上就可以推算出后一帧深度图中对应工件的位置，同时为了提高正确性，每隔M帧进行一次立体匹配更正误差。

本发明的有益效果在于：

1.针对自动分拣系统的工作场景，提出ROI划分法，在左右匹配图像中设置ROI区域，在空间上缩小立体匹配的匹配区域从而缩小计算量，大幅缩减了进行一次立体匹配耗费的时间，提高了实时性；

2.针对自动分拣系统的工作场景，提出前后帧推算法，通过前一帧深度图中工件在像素坐标系下工件的具体位置来计算当前帧中工件在像素坐标系下的具体位置，然后根据像素坐标系中的坐标以及视差d，可以计算得到工件在现实世界中的坐标。这样做使得并不需要对每帧都进行立体匹配，巨幅缩短了时间的消耗，提高了实时性；

3.可以在相对廉价性能较差的硬件设备上快速的实现分拣方法过程中关键的立体匹配技术，降低整个系统对硬件的依赖性；

4.在同等硬件平台上，使用本方法，由于实时性的提高，可以提高分拣装置抓取工件的成功率，从而提高了生产效率。

附图说明

图1为本发明的工件快速分拣装置的结构示意图；

图2为本发明的工件快速分拣装置的模块图示意图；

图3为本发明的工件快速分拣方法中使用ROI划分法对双目图像进行划分的结构示意图，其中，箭头为传送带运动方向，A为无效区域，B为ROI区域；

图4为本发明的工件快速分拣方法中步骤5的前后帧推算法在像素坐标系下的原理图，其中，箭头为传送带运动方向，x_i和x_i+1分别为第i帧和第i+1帧时同一工件在像素坐标系下的水平坐标；

图5为本发明的工件快速分拣方法中构建图像坐标系、相机坐标系、像素坐标系的示意图，其中，O点为相机坐标系原点，O₁为图像坐标系原点，O_P为像素坐标系原点，u和v为工件在像素坐标系下的横坐标和纵坐标，x和y为工件在图像坐标系下的横坐标和纵坐标，u₀和v₀为图像坐标系的原点在像素坐标系下的横坐标和纵坐标，Z_c为相机坐标系下Z轴上的坐标；

图6为本发明的工件快速分拣方法的流程图。

具体实施方式

下面结合实施例对本发明做进一步的详细描述，但本发明的保护范围并不限于此。

本发明涉及一种基于立体视觉的工件快速分拣方法，所述方法包括以下步骤。

步骤1：设定帧数计数初始值n＝1，设定立体匹配帧数间隔M；1≤n≤M+1；。

本发明中，每隔M帧对双目摄像头1采集得到的双目图像进行ROI划分，然后对划分得到的区域进行立体匹配，n用于记录当前帧属于M帧中哪一帧，获取每帧双目图像后都需更新帧数计数值n＝n+1，直至n为M+1时，n重置为1。

步骤2：启动分拣，分拣模块的机械臂2初始化，双目摄像头1采集待分拣区域中工件3的双目图像。

所述步骤2中，对双目摄像头1采集的图像进行显示，判断双目摄像头1是否正常工作，若是，进行下一步，若否，进行步骤10。

本发明中，可以随时对双目摄像头1采集的图像进行监控，一旦发现双目摄像头1工作不正常则停机检修。

步骤3：n除以M取余数，若余数为1，则进行步骤4，否则，进行步骤5。

本发明中，以M帧为一个循环对双目摄像头1采集得到的双目图像进行ROI划分，因此以n除以M取余数的方式进行判断，当余数为1时，表示进入一个新的循环，需要进行步骤4。

步骤4：获取双目图像，首先对图像进行矫正与校正，然后使用ROI划分法对双目图像进行划分，最后对划分后的ROI区域进行传统的立体匹配，得到当前所属M帧中工件3在深度图的像素坐标系中的坐标和视差d，n重置为1；进行步骤6。

所述步骤4包括以下步骤：

步骤4.1：获取双目图像，进行矫正与校正，得到消除畸变并行对准之后的左目和右目图；

步骤4.2：对双目图像中的工件3进行识别以及定位，获取工件3在像素坐标系下坐标值和以及工件3的所属类别；

步骤4.3：根据工件3在像素坐标系下的坐标值，在竖直列方向上进行ROI区域划分，将双目图像在竖直方向上顺次划分为无效区域、ROI区域、无效区域；

步骤4.4：对ROI区域的双目图像进行立体匹配得到深度图，对深度图中对应工件坐标处的灰度值进行转化计算，得到工件3对应的视差d，把视差d和所述工件3在像素坐标系下的坐标作为所属M帧的基准值，最后把n重置为1；进行步骤6。

本发明中，矫正使得图像消除畸变，达到标准的透视效果，在图像中工件3整体成像端正。

本发明中，校正操作在矫正后进行，使得经过矫正的左目和右目图行对准以便于进行立体匹配。

本发明中，由于工件的大小不一，取当前视图下竖直列方向上所有工件3中占比例最大工件3的区域作为感兴趣区域，即ROI，因为工件3在感兴趣区域中，所以对感兴趣区域进行立体匹配即可，这样可以缩小立体匹配的匹配区域，从而减少进行立体匹配耗费的时间。

本发明中，将深度图中对应工件坐标处的灰度值进行转化计算进而得到工件3对应的视差d的转化方法为本领域公知技术，此为本领域技术人员容易了解的内容。

步骤5：根据前后帧推算法，以前一帧中的工件3在深度图的像素坐标系中的坐标计算出当前帧中工件3在深度图的像素坐标系中的坐标，当前帧中各工件3对应的视差d等于前一帧中同一个工件3对应的视差d。

所述步骤5中，以前一帧中的工件3在深度图的像素坐标系中的坐标计算出当前帧中工件3在深度图的像素坐标系中的坐标包括以下步骤：

步骤5.1：当前帧中各工件3对应的视差d等于前一帧中同一个工件3对应的视差d，计算相机坐标系下Z轴上的坐标其中，f为摄像头1的焦距，T为双目摄像头1的左目和右目间的水平距离，d为视差；

步骤5.2：令x_i+1-x_i为工件在两帧间隔的时间内在像素坐标系下水平方向上的变化值，则有其中，x_i和x_i+1分别为第i帧和第i+1帧时工件3在像素坐标系下的水平坐标，u₀为图像坐标系的原点在像素坐标系下的横坐标值，f为双目摄像头1的焦距，dx为双目摄像头1的成像平面上的像素点在水平方向上的大小，Z_c＝Z，v为传送带4运动速度，F为帧率；

步骤5.3：当前帧中工件3在深度图的像素坐标系中的坐标为前一帧中的工件3在深度图的像素坐标系中的坐标在水平方向上加S，垂直方向上保持不变。

本发明中，令深度图中工件3在第i帧时在像素坐标系下的坐标为(x_i,y)，在第i+1帧时在像素坐标系下的坐标为(x_i+1,y)，由于传送带4的运动方向和像素坐标系的x轴方向平行，所以同一个工件3在第i帧和第i+1帧的时候，两者坐标的y值是相等的，同样两者在相机坐标系下的y值也是相同的，而由于传送带4的运动方向固定，并且运动速度一定，很容易得出在第i+2帧的时候工件3在像素坐标系下的坐标为(x_i+1+x_i+1-x_i,y)。因此，针对自动分拣系统这个特定的应用场景，在不需要进行立体匹配的情况下，可以根据前一帧中工件3在像素坐标系下的具体位置推算出当前帧中工件3在像素坐标系下的具体位置。由上述可知x_i+1-x_i是一个定值，x_i+1-x_i就是工件3在两帧间隔的时间内像素坐标系下u的变化值。基于此，得出了以前一帧中的工件3在双目图像立体配后深度图的像素坐标系中的坐标计算出当前帧中工件3在双目图像深度图的像素坐标系中的坐标、以前一帧中一个工件3的视差d为当前帧中同个工件3的视差d的结论。

本发明中，正因为传送带4移动一段距离后会有新的工件3进入待分拣区域，因此需要每隔M帧对ROI区域进行传统的立体匹配来更新当前待分拣区域中工件3的坐标值，同时前后帧推算方法由于计算原因会存在一些误差，每隔M帧对新的一帧中的ROI区域进行一次立体匹配有利于更正这个误差。M的值根据实际应用场合确定。

步骤6：将步骤4或步骤5推算得到的当前帧中工件3在深度图的像素坐标系中的坐标和视差d进行计算，得到工件3在相机坐标系下的坐标值，把前述工件3在相机坐标系下的坐标值以及工件3所属类别存入控制器的存储单元中并覆盖同一个工件3前一次存储的值；更新帧数计数值n＝n+1。

所述步骤6中，根据工件3在像素坐标系下的坐标以及视差d，得到工件3在相机坐标系下的坐标包括以下步骤：

步骤6.1：分别构建图像坐标系、相机坐标系、像素坐标系，图像坐标系、相机坐标系、像素坐标系的x轴和y轴分别相互平行；

步骤6.2：得到像素坐标系与图像坐标系的转换关系其中，u和v为工件3在像素坐标系下的横坐标值和纵坐标值，x和y为工件3在图像坐标系下的横坐标值和纵坐标值，u₀和v₀为图像坐标系的原点在像素坐标系下的横坐标值和纵坐标值，dx和dy分别为双目摄像头1的成像平面上像素点在水平方向上的大小和像素点在竖直方向上的大小，单位为毫米/像素；

步骤6.3：得到图像坐标系和相机坐标系的转换关系其中，x和y为工件3在图像坐标系下的横坐标值和纵坐标值，f为摄像头1的焦距，X_c、Y_c和Z_c为工件3在相机坐标系下的X轴坐标值、Y轴坐标值和Z轴坐标值，T为双目摄像头1的左目和右目间的水平距离，d为当前工件3在像素坐标系下对应的视差；

步骤6.4：根据步骤6.2和步骤6.3，得到像素坐标系和相机坐标系的转换关系即根据工件3在像素坐标系下的坐标以及视差d，得到工件3在相机坐标系下的坐标。

本发明中，如图所示，O点为相机坐标系原点，在双目摄像头1采集图像时，一般选左目摄像头的光心为相机坐标系的原点；O₁为图像坐标系原点，图像坐标系的原点理论上是在双目摄像头1的成像平面的正中心，但是由于安装工艺的原因，一般该点位于成像平面正中心的附近；O_P为像素坐标系原点，该点也是图像左上角的顶点。图像坐标系、相机坐标系、像素坐标系的x轴和y轴方向都是相互平行的，通过像素坐标系与图像坐标系的转换关系及图像坐标系和相机坐标系的转换关系可以推出像素坐标系和相机坐标系的转换关系，即步骤6。

本发明中，机械臂2的坐标系以相机坐标系为参考，机械臂2的坐标系可以通过旋转和平移得到相机坐标系。

步骤7：判断是否接收到分拣模块发送的就绪信号，若是，进行下一步，否则，进行步骤9。

步骤8：将最先待分拣工件在控制器的存储单元中的相机坐标系下坐标值以及工件3所属类别发送给分拣模块；分拣模块接收到信息，按类分拣。

步骤9：判断是否接收到结束信号，若是，进行下一步，否则，进行步骤3。

步骤10：分拣结束。

在双目摄像头1采集图像时，采用左目摄像头的光心为相机坐标系的原点。

像素坐标系原点采用采集图像左上角的顶点。

本发明还涉及一种采用所述的基于立体视觉的工件快速分拣方法的工件快速分拣装置，包括工作台5，所述工作台5上设有传送带4，所述工作台5上方设有双目摄像头1，所述双目摄像头1的基线平行于传送带4运动方向；所述工作台5侧部设有分拣模块，所述分拣模块包括机械臂2；所述传送带4、双目摄像头1和分拣模块与控制器连接，所述控制器还连接有显示器。

本发明中，传送带4被安置于工作台5之上，用于传送待分拣工件3。工作台5还配合设置三相电机，为传送带4的运送提供动力来源。

本发明中，双目摄像头1从上至下正拍待分拣区域且双目摄像头1之间的连线，即基线平行于传送带4运动方向，在实际操作中，双目摄像头1的基线距离根据应用场景确定，基线距离影响测量的精度。

本发明中，包括机械臂2的分拣模块设于工作台5的侧部，一般情况下，为相对于设置双目摄像头1的支架结构的工作台5的另一侧。在实际操作中，分拣模块包括通信单元、控制单元、机械臂2单元，通信单元用于与控制器进行通信，控制单元用于接收从通信单元传过来的信息并做出相应的控制反应，例如控制机械臂2的运动、抓取等动作，分拣模块的机械臂2在控制单元的控制下完成工件3的抓取、工件3的放置等动作。

本发明中，显示器通过HDMI输出，显示双目摄像头1拍摄的图像，通过查看图像是否正常显示可以作为判断双目摄像头1是否正常工作的依据，据此做出是否进行人工干预的判断。

所述双目摄像头1配合设有补光器6。

本发明中，为了保证拍摄效果，在照明条件不佳的情况下实现补光的作用，故在双目摄像头1边配合设置补光器6，避免因为光照不足而导致双目图像偏暗，进而影响立体匹配后深度图的正确性，补光器6作为光补偿单元，一般情况下由支架7固定置于双目摄像头1下部。

所述控制器包括：

一图像矫正与校正单元，用于得到无畸变和行对准之后的双目图像；

一工件识别和定位单元，用于对分拣的工件3所属类目进行识别以及工件3在像素坐标系下位置的获取；

一立体匹配单元，在工件3位置获取后对当前双目图像感兴趣区域即ROI区进行立体匹配生成深度图；

一存储单元，用于存储待分拣区域中每个工件3的坐标以及对应的所属类别；

一通信单元，用于与分拣模块进行通信，从存储单元中取出一个工件3对应的坐标以及所属类别，发送给分拣模块进行按类分拣。

本发明中，控制器即主控模块，包括图像矫正与校正单元、工件识别和定位单元、立体匹配单元、存储单元和通信单元。图像矫正与校正单元用于图像的矫正与校正，得到基本上无畸变并且行对准的图像；工件识别和定位单位用于分拣区域中工件3的类目的识别以及工件3在像素坐标系下位置的获取；立体匹配单元在工件3位置获取后对特定的图像区域进行立体匹配生成深度图；存储单元用于存储待分拣区域中每个工件3的坐标以及对应所属的类别；通信单元用于与分拣模块进行通信，在分拣模块分拣完毕后，会给主控模块中的通信单元发一个就绪信号来告诉主控模块可以进行下一次分拣，主控模块会从存储模块中取出一个工件3在相机坐标系下的坐标值以及工件3所属类别，通过通信单元发送给分拣模块，分拣模块按类分拣。

本发明通过在拍摄所得的双目图像中确定一个ROI区域，即工件3所在的感兴趣区域，对ROI区域进行立体匹配获得工件3在深度图的像素坐标系中的坐标和视差d，减少时间消耗；本发明提出一个前后帧推算法，根据传送带4的移送速度以及前后两帧图像的时间间隔，在前一帧深度图中工件3的位置的基础上就可以推算出后一帧深度图中对应工件3的位置，同时为了提高正确性，每隔M帧进行一次立体匹配更正误差。

本发明针对自动分拣系统的工作场景，提出ROI划分法，在左右匹配图像中设置ROI区域，在空间上缩小立体匹配的匹配区域从而缩小计算量，大幅缩减了进行一次立体匹配耗费的时间，提高了实时性；针对自动分拣系统的工作场景，提出前后帧推算法，通过前一帧深度图中工件3在像素坐标系下工件3的具体位置来计算当前帧中工件3在像素坐标系下的具体位置，然后根据像素坐标系中的坐标以及视差d，可以计算得到工件3在现实世界中的坐标。这样做使得并不需要对每帧都进行立体匹配，巨幅缩短了时间的消耗，提高了实时性；可以在相对廉价性能较差的硬件设备上快速的实现分拣方法过程中关键的立体匹配技术，降低整个系统对硬件的依赖性；在同等硬件平台上，使用本方法，由于实时性的提高，可以提高分拣装置抓取工件3的成功率，从而提高了生产效率。

Claims (10)

1.一种基于立体视觉的工件快速分拣方法，其特征在于：所述方法包括以下步骤：

步骤1：设定帧数计数初始值n＝1，设定立体匹配帧数间隔M；1≤n≤M+1；

步骤2：启动分拣，分拣模块的机械臂初始化，双目摄像头采集待分拣区域中工件的双目图像；

步骤3：n除以M取余数，若余数为1，则进行步骤4，否则，进行步骤5；

步骤4：获取双目图像，首先对图像进行矫正与校正，然后使用ROI划分法对双目图像进行划分，最后对划分后的ROI区域进行传统的立体匹配，得到当前所属M帧中工件在深度图的像素坐标系中的坐标和视差d，n重置为1；进行步骤6；

步骤5：根据前后帧推算法，以前一帧中的工件在深度图的像素坐标系中的坐标计算出当前帧中工件在深度图的像素坐标系中的坐标，当前帧中各工件对应的视差d等于前一帧中同一个工件对应的视差d；

步骤6：将步骤4或步骤5推算得到的当前帧中工件在深度图的像素坐标系中的坐标和视差d进行计算，得到工件在相机坐标系下的坐标值，把前述工件在相机坐标系下的坐标值以及工件所属类别存入控制器的存储单元中并覆盖同一个工件前一次存储的值；更新帧数计数值n＝n+1；

步骤7：判断是否接收到分拣模块发送的就绪信号，若是，进行下一步，否则，进行步骤9；

步骤8：将最先待分拣工件在控制器的存储单元中的相机坐标系下坐标值以及工件所属类别发送给分拣模块；分拣模块接收到信息，按类分拣；

步骤9：判断是否接收到结束信号，若是，进行下一步，否则，进行步骤3；

步骤10：分拣结束。

2.根据权利要求1所述的一种基于立体视觉的工件快速分拣方法，其特征在于：所述步骤4包括以下步骤：

步骤4.1：获取双目图像，进行矫正与校正，得到消除畸变并行对准之后的左目和右目图；

步骤4.2：对双目图像中的工件进行识别以及定位，获取工件在像素坐标系下坐标值和工件的所属类别；

步骤4.3：根据工件在像素坐标系下的坐标值，在竖直列方向上进行ROI区域划分，将双目图像在竖直方向上顺次划分为无效区域、ROI区域、无效区域；

步骤4.4：对ROI区域的双目图像进行立体匹配得到深度图，对深度图中对应工件坐标处的灰度值进行转化计算，得到工件对应的视差d，把视差d和所述工件在像素坐标系下的坐标作为所属M帧的基准值，最后把n重置为1；进行步骤6。

3.根据权利要求1所述的一种基于立体视觉的工件快速分拣方法，其特征在于：所述步骤5中，以前一帧中的工件在深度图的像素坐标系中的坐标计算出当前帧中工件在深度图的像素坐标系中的坐标包括以下步骤：

步骤5.1：当前帧中各工件对应的视差d等于前一帧中同一个工件对应的视差d，计算相机坐标系下Z轴上的坐标其中，f为摄像头的焦距，T为双目摄像头的左目和右目间的水平距离，d为视差；

步骤5.2：令x_i+1-x_i为工件在两帧间隔的时间内在像素坐标系下水平方向上的变化值，则有其中，x_i和x_i+1分别为第i帧和第i+1帧时工件在像素坐标系下的水平坐标，u₀为图像坐标系的原点在像素坐标系下的横坐标值，f为双目摄像头的焦距，dx为双目摄像头的成像平面上的像素点在水平方向上的大小，Z_c＝Z，v为传送带运动速度，F为帧率；

步骤5.3：当前帧中工件在深度图的像素坐标系中的坐标为前一帧中的工件在深度图的像素坐标系中的坐标在水平方向上加S，垂直方向上保持不变。

4.根据权利要求1所述的一种基于立体视觉的工件快速分拣方法，其特征在于：所述步骤6中，根据工件在像素坐标系下的坐标以及视差d，得到工件在相机坐标系下的坐标包括以下步骤：

步骤6.1：分别构建图像坐标系、相机坐标系、像素坐标系，图像坐标系、相机坐标系、像素坐标系的x轴和y轴分别相互平行；

步骤6.2：得到像素坐标系与图像坐标系的转换关系其中，u和v为工件在像素坐标系下的横坐标值和纵坐标值，x和y为工件在图像坐标系下的横坐标值和纵坐标值，u₀和v₀为图像坐标系的原点在像素坐标系下的横坐标值和纵坐标值，dx和dy分别为双目摄像头的成像平面上像素点在水平方向上的大小和像素点在竖直方向上的大小，单位为毫米/像素；

步骤6.3：得到图像坐标系和相机坐标系的转换关系其中，x和y为工件在图像坐标系下的横坐标值和纵坐标值，f为摄像头的焦距，X_c、Y_c和Z_c为工件在相机坐标系下的X轴坐标值、Y轴坐标值和Z轴坐标值，T为双目摄像头的左目和右目间的水平距离，d为当前工件在像素坐标系下对应的视差；

步骤6.4：根据步骤6.2和步骤6.3，得到像素坐标系和相机坐标系的转换关系即根据工件在像素坐标系下的坐标以及视差d，得到工件在相机坐标系下的坐标。

5.根据权利要求1所述的一种基于立体视觉的工件快速分拣方法，其特征在于：所述步骤2中，对双目摄像头采集的图像进行显示，判断双目摄像头是否正常工作，若是，进行下一步，若否，进行步骤10。

6.根据权利要求1所述的一种基于立体视觉的工件快速分拣方法，其特征在于：在双目摄像头采集图像时，采用左目摄像头的光心为相机坐标系的原点。

7.根据权利要求1所述的一种基于立体视觉的工件快速分拣方法，其特征在于：像素坐标系原点采用采集图像左上角的顶点。

8.一种采用权利要求1～7之一所述的基于立体视觉的工件快速分拣方法的工件快速分拣装置，包括工作台，其特征在于：所述工作台上设有传送带，所述工作台上方设有双目摄像头，所述双目摄像头的基线平行于传送带运动方向；所述工作台侧部设有分拣模块，所述分拣模块包括机械臂；所述传送带、双目摄像头和分拣模块与控制器连接，所述控制器还连接有显示器。

9.根据权利要求8所述的基于立体视觉的工件快速分拣方法的工件快速分拣装置，其特征在于：所述双目摄像头配合设有补光器。

10.根据权利要求8所述的基于立体视觉的工件快速分拣方法的工件快速分拣装置，其特征在于：所述控制器包括：

一图像矫正与校正单元，用于得到无畸变和行对准之后的双目图像；

一工件识别和定位单元，用于对分拣的工件所属类目进行识别以及工件在像素坐标系下位置的获取；

一立体匹配单元，在工件位置获取后对当前双目图像感兴趣区域即ROI区进行立体匹配生成深度图；

一存储单元，用于存储待分拣区域中每个工件的坐标以及对应的所属类别；

一通信单元，用于与分拣模块进行通信，从存储单元中取出一个工件对应的坐标以及所属类别，发送给分拣模块进行按类分拣。