CN110781794A - 一种智能识别的方法及系统 - Google Patents

Abstract

本发明提供了一种智能识别的方法及系统，所述的方法包括：S1：设置检测传感器并初始化；S2：启动检测传感器，获取目标物及周边环境的点云数据或图像数据；S3：采用滤波算法对采集到的数据进行筛选；S4：通过与预存的标准模型进行比较，判断是否存在目标物，若有，进入S5，若无，返回S2；S5：以空间内的任意一点为基准点，建立并输出目标物的三维坐标。所述的系统包括：检测传感器，用于采集目标物及周边环境的点云数据或图像数据；数据处理模块，用于识别并输出目标物的三维坐标。该方案能够对目标物进行有效识别，从而在后续的搬运过程中，辅助实现对移位几十厘米以内的货物进行搬运，同时避免与货物发生碰撞。

Description

一种智能识别的方法及系统

技术领域

本发明涉及仓储、物流领域，具体涉及一种针对料箱、纸箱、托盘等目标物进行智能识别的方法，以及实现识别方法所需的系统。

背景技术

随着现在自动化及智能设备的飞速发展，各种自动化设备或AGV可用于实现无人化货物的输送及搬运，而在货物存放过程中，货物需要放置在料箱或纸箱内，并将料箱或纸箱放置在货架的托盘中，因此，现有的货物移动过程中，需要涉及到对料箱、纸箱、托盘等目标物位置的识别。

现有的自动化设备或AGV等，都是根据指定的指令对某一区域的货物或物品直接处理，当料箱、纸箱或托盘位置摆放出现问题时，或者AGV定位过程中出现故障或异常，就会导致对货物位置出现识别异常，即使是最轻微的异常，在现有技术的体系下，也会造成系统的停止报警，影响正常生产效率，严重时，则会导致AGV与货物发生碰撞，造成货物损坏，甚至造成人身方面的安全事故。

发明内容

为了解决上述问题，本申请提供了一种智能识别的方法及系统，能够对料箱、纸箱或托盘等目标物进行有效识别，从而在后续的搬运过程中，辅助实现对轻微移位的货物进行搬运，同时避免与货物发生碰撞。

本发明公开了如下技术方案：

一种智能识别的方法，所述的方法包括以下实现过程：

S1：设置检测传感器并初始化；

S2：启动检测传感器，获取目标物及周边环境的点云数据或图像数据；

S3：采用粒子滤波、双边滤波，或者具有等同功能的其它算法，对采集到的数据进行筛选；

S4：通过与预存的标准值进行比较，判断是否存在目标物，若有，进入S5，若无，返回S2；

S5：以空间内任意一点为基准点，建立并输出目标物的三维坐标。

进一步的，所述的方法还包括：

S6：将S5中获得三维坐标与标准坐标比较，判断目标物位置是否偏移，若是，进入S7，若否，则执行既定的操作指令；

S7：判断目标物位置偏移是否大于设定阈值，若是，将偏移过大的信息发送给仓储控制中心或车载程序等控制程序，若否，将最新的目标物相对车的位置反馈给仓储控制中心或车载程序等控制程序。

进一步的，步骤S1中，所述的检测传感器包括但不限于激光传感器或视觉传感器，用于获取包含目标物位置信息的点云数据或图像数据。

进一步的，步骤S4中，判断是否存在目标物的方法为：基于采集到的目标物数据建立实时模型或提取特征，利用整体匹配算法或特征值匹配算法对对标准值和实时值进行比较，若比较结果一致，则采集的数据中存在目标物，否则，就不存在目标物。

进一步的，步骤S6中，目标物位置的偏移包括水平方向上的水平位移或者目标物高度、宽度等变形位移。

进一步的，步骤S7中，所述的阈值包括水平位移阈值或变形位移阈值，其中，水平位移阈值X1的计算公式为：X1＝h₁*tan(α/2)*2-h₂/2，其中，h₁为检测传感器到目标物中心点的距离，α为检测传感器的水平视角，h₂为目标物检测面的长度；变形位移阈值X2的计算公式为：X2＝(H*β)-h，其中，H为标准目标物的原始高度或宽度，系数β的取值范围为0.1≤β≤0.9，h为测量误差。

为了实现上述的方法，本发明还提供了一种系统，所述的系统包括：

检测传感器，安装于AGV、堆垛机等搬运设备上，用于采集目标物及周边环境的点云数据或图像数据；

数据处理模块，用于识别并输出目标物的三维坐标。

进一步的，所述的数据处理模块包括：

采集单元，用于控制检测传感器采集目标物及周边环境的点云数据或图像数据；

滤波单元，用于采用滤波算法对采集的数据进行滤波处理；

比较单元，用于通过与预存的标准值进行比较，判断是否存在目标物；

输出单元，用于以空间里的任意一点为基准点，建立并输出目标物的三维坐标。

进一步的，所述的数据处理模块还包括：

第一判断单元，用于判断目标物位置是否偏移；和

第二判断单元，用于判断目标物的水平位移是否超过阈值；或

第三判断单元，用于判断目标物的变形位移是否超过阈值；

反馈单元，用于根据3个判断单元的判断结果，向仓储控制中心或车载程序等控制程序发送反馈信息。

进一步的，所述检测传感器数量的选择标准为：

其中n为整数，是所需的摄像头数量，l为检测目标物体正对摄像头的面的长度，d为检测目标物体与摄像头的最近距离，δ为摄像头的视角。

本发明实现技术效果为：

本方法可以将实时的采集目标物及周边环境的点云数据或图像数据，并利用滤波算法对采集的到的数据进行处理，从而快速判断并识别实时的目标物放置情况，并能将最新的目标物位置发送给仓储控制中心或车载程序等控制程序，从而为后续的搬运提供现场最新的位置信息，辅助控制中心实现指令的更新或调整，避免发生货物碰撞。

为了更进一步的提高工作效率，基于步骤S6、S7，该方法进一步的减少了控制中心的判断和处理过程，将目标物位置的情况进行前端处理，不仅判断目标物是否位移，而且能判断出位移大小，控制中心只需要根据判断的结果进行相应的操作即可，相比于现有技术中只能停车报警的实现逻辑，本申请实现了及时的响应和操作，同时，该方法采用通知的方式，可以跳过发生问题的目标物，并不影响后续的货物搬运操作，保证了整体货物搬运的效率。

附图说明

图1为本发明方法实施例1的流程图；

图2为现有技术中粒子滤波的实现原理图；

图3为本发明系统实施例1的原理图；

图4为本发明方法实施例2相比于方法实施例增加的后续流程图；

图5为本发明系统实施例2的原理图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。本领域技术人员应当知晓，下述具体实施例或具体实施方式，是本发明为进一步解释具体的发明内容而列举的一系列优化的设置方式，而该些设置方式之间均是可以相互结合或者相互关联使用的，除非在本发明明确提出了其中某些或某一具体实施例或实施方式无法与其他的实施例或实施方式进行关联设置或共同使用。同时，下述的具体实施例或实施方式仅作为最优化的设置方式，而不作为限定本发明的保护范围的理解。

实施例

如图1所示，本发明方法的实施例1提供了一种智能识别的方法，所述的方法包括以下步骤：

S1：设置检测传感器并初始化。所述的检测传感器包括但不限于激光传感器或视觉传感器，用于获取包含目标物位置信息的点云数据或图像数据，传感器数量根据使用情景的不同而不同，一般为保证传感器所在位置的视角可以在最差的情况下检测到50％以上的目标物体，正常情况下，一个传感器即可。

初始化过程包括检测硬件设备连接是否异常，连接异常检测包括检测与传感器的数据传输是否正常，硬件配置是否正确，硬件配置的检测通过读取相关设备的参数来实现，包括检测传感器的检测帧率(静态检测一帧数据即可，动态检测需要在2帧以上)、曝光时间(一般情况下不小于10us)、曝光时间比率(1—1000之间)，但不限于这这些参数。

S2：启动检测传感器，获取目标物及周边环境的点云数据或图像数据。其中，点云数据包括视野范围内的像素点到摄像头的距离信息或空间位置信息，分辨率不小于120*80，角度不小于arctan(物体尺寸/4)/最小检测距离；对于图像信息，分辨率不小于240*160，角度不小于arctan(物体尺寸/4)/最小检测距离。

S3：采用粒子滤波、双边滤波或者具有等同功能的滤波方法，对采集到的数据进行筛选。

粒子滤波针对点云数据，其实现过程和原理如图2所示，为了更好地阐述该原理，设定一个问题模型并给出几个关键点的解释如下：

状态方程：x_t＝f(x_t-1,w_t)，观测方程：y_t＝h(x_t,v_t)，其中，y_t:观测信号，x_t:状态信号，h(·):观测方程，f(·):状态方程，v_t:i.i.d.观测噪声，w_t:i.i.d.状态噪声。

用一个分布函数π(x)，称为重要性函数，间接产生粒子

并且给粒子

分配权值为：

归一化得

被称为重要性权值。p(x_0:t|y_1:t)的无偏估计为

该过程中产生的粒子，在本申请的实现步骤中，相当于对采集到的点云数据、图像数据等原始数据进行处理，从而获得的新的数据。

利用

yt递推估计

所选择重要性函数能分解为：π(x_0:t|y_0:t)＝π(x_t|x_0:t-1,y_0:t)π(x_0:t-1|y_0:t-1)，利用π(x_t|x_0:t-1,y_0:t)产生新抽样

形成新粒子

更新重要性权值：

条件后验分布p(x_t|x_0:t-1,y_1:t)重要性函数π(x_t|x_0:t-1,y_1:t)，

即x_0:t-1,y_1:t条件下p(x_t|x_t-1,y_t)为最优重要性函数，对应有

根据多项式分布Mult(M；w¹,...,w^N)进行抽样得到新的M个粒子轨道。引入有效粒子数衡量算法的退化程度，然后根据它来决定何时进行重抽样，定义为

由于无法很准确的计算它，可以用下式估计

双边滤波针对图像数据，其具体实现原理为：

双边滤波器中，输出像素的值依赖于邻域像素的值的加权组合：

权重系数ω(i,j,k,l)取决于定义域核

和值域核的乘积该方法同时考虑了空间域与值域的差别。

S4：基于采集到的目标物数据建立实时模型或提取特征，利用整体匹配算法或特征值匹配算法，对模型或特征中的标准值和实时值进行比较，若比较结果一致，则采集的数据中存在目标物，否则，就不存在目标物。其中，标准值、特征值分别指的是在标准状态下和实时状态下，能有效代表数据中的方位、大小、范围等属性特征，并可以用于进行判断比较的数据，特征值匹配算法可以采用常规的SUSAN算法、SIFT算法、ASIFT算法、SURF算法、归一化互相关匹配算法、ABS算法、SSDA算法、傅里叶变换法等方法中的一种或多种结合。

S5：以空间内任意一点为基准点，建立并输出目标物的三维坐标。该过程的实现原理基于对物体的定位，定位即获得物体相对于摄像头的X、Y、Z轴坐标数据以及角度等坐标信息。

对应方法的实施例1，本发明还提供了系统的实施例1，如图3所示，所述的系统至少包括检测传感器和数据处理模块。

所述的检测传感器，安装于AGV、堆垛机等搬运设备上，包括但不限于激光传感器或视觉传感器，用于获取包含目标物位置信息的点云数据或图像数据，传感器数量根据使用情景的不同而不同，一般为保证传感器所在位置的视角可以在最差的情况下检测到50％以上的目标物体，正常情况下，一个传感器即可。

特殊场景下，针对检测传感器的数量选择，采用以下的选择标准：

其中n为整数，是所需的摄像头数量，l为检测目标物体正对摄像头的面的长度，d为检测目标物体与摄像头的最近距离，δ为摄像头的视角。利用该公式，可以保证在摄像头的拍摄范围内，至少能包含目标物体被观测部分的50％及以上。

所述的数据处理模块与检测传感器连接，用于识别并输出目标物的三维坐标，该模块的实现基于以下控制单元：

采集单元，该单元直接与检测传感器电性连接并实现通信，用于控制检测传感器采集目标物及周边环境的点云数据或图像数据，并见采集到的数据输送到滤波单元。

滤波单元，用于根据数据类型的不同，采用粒子滤波、双边滤波，以及具有等同功能的其它滤波方法，对采集的数据进行滤波处理，其中，点云数据采用粒子滤波，图像数据采用双边滤波。

比较单元，利用整体匹配算法或特征值匹配算法对实时值与标准值的进行比较，判断是否存在目标物。其中，标准值、特征值分别指的是在标准状态下和实时状态下，能有效代表数据中的方位、大小、范围等属性特征，并可以用于进行判断比较的数据，特征值匹配算法可以采用常规的SUSAN算法、SIFT算法、ASIFT算法、SURF算法、归一化互相关匹配算法、ABS算法、SSDA算法、傅里叶变换法等方法中的一种或多种结合。

输出单元，用于以检测传感器为基准点，对物体的定位，获得物体相对于摄像头的X、Y、Z轴坐标数据以及角度等坐标信息，并将获得的信息输出给仓储控制中心或车载程序等控制程序。

在本申请的技术方案中，在方法实施例1的基础上，本申请的技术方案中还提供了实施例2，实施例2增加了后续步骤，主要用于实现目标物位移的后续判断，如图4所示，该后续步骤的具体实现过程为：

将前置步骤中获得三维坐标与标准坐标比较，若坐标数据不一致，则说明发生偏移，进入后续的判断步骤，如果坐标数据一致，说明目标物没有发生位移，位于既定的位置上，则搬运设备可以执行既定的操作指令。

上一步骤中判断了目标物已经发生位移，那么就需要判断目标物位置偏移是否大于设定阈值，因为当位移过大时，搬运设备即使更改指令，也不能有效的搬运货物，而位移较小时，是可以通过调整指令实现货物搬运的，由于后续操作不同，因此需要对位移的大小进行进一步的判断。

在位移大小的判断时，需要注意的是，根据目标物类型的不同，位移的检测类型也不同，目标物的类型主要包括料箱、纸箱、托盘等货物承载或存在装置，涉及到的位移包括水平方向上的水平位移、目标物上下高度的变形位移、目标物左右宽度的变形位移。

对于水平位移，这是料箱、纸箱、托盘等目标物普遍存在的，其存在的原因在于：预设位置是预设的AGV行走取货的位置，AGV行走偏差，特别是终点偏差一般会在2cm以内，因此把目标物放在AGV终点的位置上，如果放置没有偏差，这个误差就是2cm，但实际就会有偏差的，特别是人工放置时，这个偏差某些情况下可达10cm—20cm。

针对水平位移设置的阈值，需要按照以下的计算公式：水平位移阈值X1的计算公式为：X1＝h₁*tan(α/2)*2-h₂/2，其中，h₁为检测传感器到目标物中心点的距离，α为检测传感器的水平视角，h₂为目标物检测面的长度。

结合水平位移阈值的计算公式，并按照货架以及现场测量情况，托盘水平位移阈值一般设置为15cm，料箱和纸箱的水平位移阈值一般设置为1cm。如果真是超过了这个值，就表明这个有可能是其它货物临时放在这，或是货物有问题。

对于变形位移，对于托盘来说，主要的变形是塌陷，也就是托盘孔变小，如果这个值小于设定值，我们即判断为异常。

针对托盘变形位移设置的阈值，需要按照以下的计算公式：变形位移阈值X2的计算公式为：X2＝(H*β)-h，其中，H为标准目标物的原始高度，系数β的取值范围为0.1≤β≤0.9，h为测量误差。通常情况下，当托盘与预设模型差距在30％以上时，我们即判断为异常。

对于料箱和纸箱来说，料箱是不存在变形位移的，纸箱可能因为货物的压力和形状发生变形，对于纸箱变形，其检测包含两个方面，一个方面是宽度的形变，另一方面是纸箱表面平整度的形变，也即是纸箱高度的形变，因此，对于纸箱的变形位移，需要分别计算纸箱的高度和宽度是否发生形变，变形位移阈值的计算公式仍然沿用以下计算公式：变形位移阈值X2的计算公式为：X2＝(H*β)-h，其中，H为标准目标物的原始高度，系数β的取值范围为0.1≤β≤0.9，h为测量误差。相对于托盘不同的是，通常情况下，当纸箱的高度或宽度与预设模型差距在5％以上时，即判断为异常。

对于偏移量过大这一异常的处理方案，本申请技术方案采用的逻辑为：将偏移过大的信息发送给仓储控制中心或车载程序等控制程序给相关人员，车体继续执行其它任务，从而减少对效率的影响。

而对于偏移量没有超范围的情况，需要将最新的目标物相对车的位置反馈给仓储控制中心或车载程序等控制程序，然后由仓储控制中心或车载程序等控制程序重新制定指令，调整搬运设备的参数，按照最新的位置信息进行货物的搬运操作。

同样的，基于方法实施例2的实现原理，本发明同样提供了对应的系统实施例2，其与系统实施例1的主要区别在于，在数据处理模块中的实现单元中，增加了3个判断单元，分别为：

第一判断单元，针对全部的目标物，用于通过坐标数据的比对，根据坐标数据是否一致，判断目标物位置是否偏移，当不发生偏移时，可以继续执行原指令，当发生偏移时，则转入第二判断单元和第三判断单元进行后续的判断。

第二判断单元，针对全部的目标物，用于判断目标物的水平位移是否超过阈值，其中，水平位移的阈值X1为：X1＝h₁*tan(α/2)*2-h₂/2，其中，h₁为检测传感器到目标物中心点的距离，α为检测传感器的水平视角，h₂为目标物检测面的长度。

第三判断单元，针对目标物的类型为纸箱或托盘，用于判断目标物的变形位移是否超过阈值，其中，变形位移阈值X2为：X2＝(H*β)-h，其中，H为标准目标物的原始高度，系数β的取值范围为0.1≤β≤0.9，h为测量误差。

在第三判断单元的计算过程中，虽然采用的变形位移阈值计算方式相同，但是，对于纸箱、托盘不同的目标物而言，设定的标准是不同的，比如，对于托盘而言，仅仅需要计算高度的形变，且设定的标准为：当托盘与预设模型差距在30％以上时，我们即判断为异常。而对于纸箱而言，需要同时计算高度和宽度两种形变，而且设定的标准也与托盘不同，当纸箱的高度或宽度与预设模型差距在5％以上时，即判断为异常。

无论是水平位移还是变形位移，当任一位移超出阈值时，均属于位移过大，对于3个判断单元的判断结果，需要通过反馈单元向仓储控制中心或车载程序等控制程序发送反馈相应的信息。

对于位移过大这一异常的处理方案，本申请技术方案采用的逻辑为：将偏移过大的信息发送给仓储控制中心或车载程序等控制程序给相关人员，车体继续执行其它任务，从而减少对效率的影响。

而对于偏移量没有超范围的情况，需要将最新的目标物位置反馈给仓储控制中心或车载程序等控制程序，然后由仓储控制中心或车载程序等控制程序重新制定指令，调整搬运设备的参数，按照最新的位置信息进行货物的搬运操作。

应当指出，以上所述具体实施方式可以使本领域的技术人员更全面地理解本发明的具体结构，但不以任何方式限制本发明创造。因此，尽管说明书及附图和实施例对本发明创造已进行了详细的说明，但是，本领域技术人员应当理解，仍然可以对本发明创造进行修改或者等同替换；而一切不脱离本发明创造的精神和范围的技术方案及其改进，其均涵盖在本发明创造专利的保护范围当中。

Claims (10)

1.一种智能识别的方法，其特征在于，所述的方法包括以下步骤：

S1：设置检测传感器并初始化；

S2：启动检测传感器，获取目标物及周边环境的点云数据或图像数据；

S3：采用滤波算法对采集到的数据进行筛选；

S4：通过与预存的标准模型进行比较，判断是否存在目标物，若有，进入S5，若无，返回S2；

S5：以空间内的任意一点为基准点，建立并输出目标物的三维坐标。

2.根据权利要求1所述的一种智能识别的方法，所述的方法还包括：

S6：将S5中获得三维坐标与标准坐标比较，判断目标物位置是否偏移，若是，进入S7，若否，则执行既定的操作指令；

S7：判断目标物位置偏移是否大于设定阈值，若是，将偏移过大的信息发送给控制程序，若否，将最新的目标物相对车的位置反馈给控制程序。

3.根据权利要求1或2所述的一种智能识别的方法，其特征在于，步骤S1中，所述的检测传感器包括但不限于激光传感器或视觉传感器，用于获取包含目标物位置信息的点云数据或图像数据。

4.根据权利要求1或2所述的一种智能识别的方法，其特征在于，步骤S4中，判断是否存在目标物的方法为：基于采集到的目标物数据建立实时模型或提取特征，利用整体匹配算法或特征值匹配算法对对标准值和实时值进行比较，若比较结果一致，则采集的数据中存在目标物，否则，就不存在目标物。

5.根据权利要求1或2所述的一种智能识别的方法，其特征在于，步骤S6中，目标物位置的偏移包括以下位移中的一种或多种：水平方向上的水平位移、目标物上下高度的变形位移、目标物左右宽度的变形位移。

6.根据权利要求5所述的一种智能识别的方法，其特征在于，步骤S7中，所述的阈值包括水平位移阈值或变形位移阈值，其中，水平位移阈值X1的计算公式为：X1＝h₁*tan(α/2)*2-h₂/2，其中，h₁为检测传感器到目标物中心点的距离，α为检测传感器的水平视角，h₂为目标物检测面的长度；变形位移阈值X2的计算公式为：X2＝(H*β)-h，其中，H为标准目标物的原始高度或宽度，系数β的取值范围为0.1≤β≤0.9，h为测量误差。

7.一种智能识别的系统，其特征在于，所述的系统包括：

检测传感器，用于采集目标物及周边环境的点云数据或图像数据；

数据处理模块，用于识别并输出目标物的三维坐标。

8.根据权利要求7所述的一种智能识别的系统，其特征在于，所述的数据处理模块包括：

采集单元，用于控制检测传感器采集目标物及周边环境的点云数据或图像数据；

滤波单元，用于采用滤波算法对采集的数据进行滤波处理；

比较单元，用于通过与预存的标准值进行比较，判断是否存在目标物；

输出单元，用于以空间内任意一点为基准点，建立并输出目标物的三维坐标。

9.根据权利要求8所述的一种智能识别的系统，其特征在于，所述的数据处理模块还包括：

第一判断单元，用于判断目标物位置是否偏移；和

第二判断单元，用于判断目标物的水平位移是否超过阈值；或

第三判断单元，用于判断目标物的变形位移是否超过阈值；

反馈单元，用于根据判断单元的判断结果，向控制程序发送反馈信息。

10.根据权利要求7-9任意一项所述的一种智能识别的系统，其特征在于，所述检测传感器数量的选择标准为：

其中n为整数，是所需的摄像头数量，l为检测目标物体正对摄像头的面的长度，d为检测目标物体与摄像头的最近距离，δ为摄像头的视角。

Images