CN115436964B - 物体识别和路径规划方法、搬运车、电子设备及存储介质 - Google Patents

Abstract

本发明涉及物体识别和路径规划方法、搬运车、电子设备及存储介质，定位时，获取物体的轮廓图像、深度图像及激光点云；提取物体垂直方向上的轮廓信号；通过深度图像，聚焦物体的前腿垂直方向上的轮廓信号；结合物体的激光点云信号，计算并对齐物体；通过深度图像，聚焦物体的后腿垂直方向上的轮廓信号；结合物体的激光云信号，计算需进入物体的距离。以上的技术方案，其仅需给无人搬运车配备单线激光传感器及深度相机，相比现有的多线激光方案，其具有成本较低的优点；而相比现有的单线激光方案，其具有货架定位精准，稳定性高的优点，且无需对货架结构进行改造或粘贴反光条的工作，节约了人力成本。

Description

物体识别和路径规划方法、搬运车、电子设备及存储介质

技术领域

本发明涉及多传感器结合的图像识别技术领域，特别是涉及一种物体识别和路径规划方法、搬运车、电子设备及存储介质。

背景技术

无人搬运车(Automated Guided Vehicle，简称AGV)，指装备有电磁或光学等自动导引装置，能够沿规定的导引路径行驶，具有安全保护以及各种移载功能的运输车，工业应用中不需驾驶员的搬运车，以可充电之蓄电池为其动力来源。在工业场景，无人搬运车的其中一个应用是搬运货架。

现有的货架通常有四只腿支撑，而车体在搬运货架前需要识别货架腿的位置和方向，计算车体需要对齐货架的方向和进入货架的距离，后控制车体进入货架将货架抬起搬运。在如何识别货架方面，现有常用的一种做法是通过单线激光计算货架腿的位置和方向。但是，由于单线激光获取的空间信息是平面，如果货架的位姿不是固定或没有对货架结构做特殊处理，在接收的激光信号提取货架腿的特征信息难以保证稳定性。为了提高货架腿的特征信息，货架腿通常粘贴反光条，而粘贴货架反光条无疑会增加人员工作量，且人工操作易发生粘贴错误。另一种做法是通过多线激光来进行货架定识别由于多线激光设备的价格高昂，此方案存在成本过高的缺点。

发明内容

基于此，有必要针对现有无人搬运车精度不高，稳定性不佳的问题，提供一种物体识别和路径规划方法、搬运车、电子设备及存储介质。

一方面，本发明提出了一种物体识别和路径规划方法，包括步骤：

S10:获取物体的轮廓图像、深度图像及激光点云；

S20:提取物体垂直方向上的轮廓信号；

S30:通过深度图像，聚焦物体的前腿垂直方向上的轮廓信号；

S40:结合物体的激光点云信号，计算并对齐物体；

S50:通过深度图像，聚焦物体的后腿垂直方向上的轮廓信号；

S60:结合物体的激光云信号，计算需进入物体的距离。

进一步地，步骤S20中，对物体的轮廓图像的每一像素设置一90度方向上的二维的高斯核函数的滤波，以检测该方向的轮廓像素，使得仅该方向的轮廓像素被赋予大核函数值。

进一步地，步骤S30及步骤S50中，通过垂直方向的轮廓信号，读取所对应的深度信号；读取的最小深度信号代表物体的前腿， 读取的最大深度信号为物体的后腿；

步骤S30中，用低通滤波聚焦物体的两只前腿，过滤后的深度信号即代表两只前腿的深度信号，而滤波的阀值是最小深度信号和物体长度的总和，公式为：MAX（L+q_min-q(x,y) ，0）;

步骤S50中，用高通滤波聚焦物体的两只后腿，过滤后的深度信号即代表两只后腿的深度信号；而滤波的阀值为 L+q_min ，而公式为：

MAX（q(x, y)-L-q_min ，0）;

其中，q(x, y)为读取的每个像素(x, y)的 深度信号，q_min为读取的最小深度信号，L物体长度。

进一步地，步骤S40包括：

S41:在深度图像匹配对应的激光信号；

S42：将激光的距离和角度信号根据车体的中心点进行转换；

S43：提取的激光信号用于对齐物体；

当车体的朝向与物体的朝向不一致时，通过激光信号计算后车体原地旋转，以使车体的朝向与物体的朝向相同；

通过激光信号计算，车体直线移动到物体的目标对齐位置。

进一步地，步骤S60中，

S61:在深度图像匹配对应的激光信号；

S62：将激光的距离和角度信号根据车体的中心点进行转换；

S63：提取激光信号用于计算进入物体的距离，其距离为当前位置到物体前腿的间距加上物体长度的一半。

进一步地，步骤S20的二维高斯核函数中，

设x为平行像素坐标，y为竖直像素坐标，d为方向滤波的方向角度，在d度逆时针旋转后，新的平行像素坐标为：

x_d=x*cos(π*d/180)-y*sin(π*d/180)

新的竖直像素坐标为：

y_d=x*cos(π*d/180)+y*sin(π*d/180)

相关的二维高斯核函数为：

G_d(x，y)=z_norm*exp(-1/2*(x_d ²/5+y_d ²/1))

其中 z_norm 为一个常数使核函数的总积分等于1。

进一步地，步骤S40中：获取深度相机的外参数和内参数用于标定图像像素坐标和世界坐标的对应关系，结合每个像素的深度信号，通过获取的相机标定矩阵计算对应的世界坐标位置；

根据激光传感器在车体的安装高度，其空间信息转换为世界坐标位置公式为：（d*cosθ , d*sinθ , h);

其中，d为每个给定的激光点的距离，θ为该激光点的角度信号，h为激光传感器的安装高度，后在深度图像匹配对应的激光信号；

设激光传感器安装在车体前方的中心点，接收的激光距离和角度信号分别为：d_old及θ_old；相对车体的正中心点，接收的激光距离和角度信号需转换为：d_new及θ_new；以上数值通过几何的余弦定理计算相关三角边长和角度获得。

另一方面，本发明提出了一种自动搬运车，包括车身、车身控制模组、激光传感器、深度相机及用于计算如上所述的物体识别和路径规划方法的步骤的计算模块。

再一方面，本发明提出了一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令运行时执行如上所述的物体识别和路径规划方法的步骤。

又一方面，本发明提出一种电子设备，包括存储器和处理器，所述存储器上存储有计算机指令，所述计算机指令运行时所述处理器执行如上的物体识别和路径规划方法的步骤。

以上的技术方案，其仅需给无人搬运车配备单线激光传感器及深度相机，相比现有的多线激光方案，其具有成本较低的优点；而相比现有的单线激光方案，其具有货架定位精准，稳定性高的优点，且无需对货架结构进行改造或粘贴反光条的工作，节约了人力成本。

附图说明

图1为本发明一种物体识别和路径规划方法一实施例的步骤流程图。

图2为本发明一种物体识别和路径规划方法一实施例的各信号处理关系图。

图3为本发明一种物体识别和路径规划方法中激光信号转换到车体的坐标系的示意图。

图4为本发明一种物体识别和路径规划方法一实施例中车体与货架对齐的原理示意图。

图5为本发明一种物体识别和路径规划方法一实施例中车体进入货架中心点的原理示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做清楚、完整的描述。显然，以下描述的具体细节只是本发明的一部分实施例，本发明还能够以很多不同于在此描述的其他实施例来实现。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下，所获得的所有其他实施例，均属于本发明的保护范围。

需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的，并不表示是唯一的实施方式。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

在一实施例中，请参阅图1至图3所示，本发明提出了一种物体识别和路径规划方法，包括步骤：

S10:获取物体的轮廓图像、深度图像及激光点云；

S20:提取物体垂直方向上的轮廓信号；

S30:通过深度图像，聚焦物体的前腿垂直方向上的轮廓信号；

S40:结合物体的激光点云信号，计算并对齐物体；

S50:通过深度图像，聚焦物体的后腿垂直方向上的轮廓信号；

S60:结合物体的激光云信号，计算需进入物体的距离。

本发明实施例中，该物体具体为货架，该方法用于搬运货架使用。当然，该方法还可以为用于搬运货架之外的其他物体，其保护范围不以本实施例中描述为限制。

需要说明的是，虽然单线激光获取的点云数据是平面，但是通过结合深度相机的轮廓图像和深度图像，其结合信号可用于计算车体对齐货架的方向和进入货架的距离。该方案首先通过货架的两只前腿，计算车体需要调整的方向从而对齐货架。 当车体对齐货架时，然后通过货架的两只后腿，计算车体需要进入货架的距离从而行驶到货架的中心点，以此达到准确计算车体进入货架的方向和距离的目的。

因为货架腿可以通过垂直方向的轮廓信号识别，故首先在轮廓图像提取垂直方向的轮廓信号。步骤S20中，对物体的轮廓图像的每一像素设置一90度方向上的二维的高斯核函数的滤波，以检测该方向的轮廓像素，使得仅该方向的轮廓像素被赋予大核函数值。

该二维高斯核函数中，设x为平行像素坐标，y为竖直像素坐标，d为方向滤波的方向角度，在d度逆时针旋转后，新的平行像素坐标为：

x_d=x*cos(π*d/180)-y*sin(π*d/180)

新的竖直像素坐标为：

y_d=x*cos(π*d/180)+y*sin(π*d/180)

相关的二维高斯核函数为：

G_d(x，y)=z_norm*exp(-1/2*(x_d ²/5+y_d ²/1))

其中 z_norm 为一个常数使核函数的总积分等于1。

由于被提取的垂直方向轮廓信号包括货架的两只前腿和两只后腿。相对车体的位置，货架的两只前腿的深度图像信号是小于货架的两只后腿的深度图像信号。根据货架的尺寸， 在被提取的垂直方向的轮廓信号聚焦两只前腿的轮廓信号。具体的，因为深度图像显示轮廓图像每个像素的对应深度或距离信息， 所以深度图像和轮廓图像已匹配。

步骤S30中，用低通滤波聚焦物体的两只前腿，过滤后的深度信号即代表两只前腿的深度信号，而滤波的阀值是最小深度信号和物体长度的总和，公式为：

MAX（L+q_min-q(x, y) ，0）

其中，q(x, y)为读取的每个像素(x, y)的 深度信号，q_min为读取的最小深度信号，L物体长度。

在本实施例，步骤S40中，由于深度图像提供距离信息，故可在激光点云集提取相应的货架前腿的点云信号，然后通过点云的距离和角度信号，调整车体对齐货架的方向。具体方法如下：

在深度图像匹配对应的激光信号，首先获取深度相机的外参数和内参数用于标定图像像素坐标和世界坐标的对应关系。因为深度相机的深度图像拥有距离信息，结合每个像素的深度信号，然后通过获取的相机标定矩阵计算对应的世界坐标位置； 相关相机标定流程可在普遍的编程软件自动实现，例如 MATLAB，OPENCV等；

然而，激光信号是实际空间信息，需在深度图像匹配对应的激光信号。根据激光传感器在车体的安装高度，其空间信息转换为世界坐标位置即是：（d*cosθ , d*sinθ , h);

其中，d为每个给定的激光点的距离，θ为该激光点的角度信号，h为激光传感器的安装高度，后在深度图像匹配对应的激光信号；

因为车体执行的运动指令是相对车体的坐标系，其坐标原点根据车体结构设定，比如在车体的中心点，而接收的激光信号是相对激光传感器的安装位置， 所以激光的距离和角度信号需要根据车体的中心点转换。参照附图3，假设激光传感器是安装在车体前方的中心点，接收的激光距离和角度信号分别是d_old及θ_old。

相对车体的正中心点，接收的激光距离和角度信号需转换为d_new及θ_new；

以上数值通过几何的余弦定理计算相关三角边长和角度获得。

再提取激光信息用于对齐货架， 参照附图4中显示两种情况。 首先考虑车体的朝向与货架的朝向不一致， 即图中的角度θ_old > π/2时，而其数值通过几何的余弦定理计算图中的相关三角边长和角度来求解。得到该角度后，车体原地旋转使该角度下降到90度，即θ_old= π/2时。

当车体的朝向和货架的朝向是一致， 即附图4中， 图中的目标位置和当前位置的平行坐标是相同，而且当前位置是已知，相对车体的当前位置，货架的左前腿和右前腿的位置也是已知。假设：

目标位置T=（x_T,y_T）

当前位置P=（x_P,y_P）

左前腿位置L=（x_L,y_L）

右前腿位置R=（x_R,y_R）

因为 y_T=y_P, 则x_T求解为：

(x_T-x_L)²+(y_P-y_L)²=(x_P-x_R)²+(y_P-y_R)²

后控制车子位移到目标位置T（x_T,y_T）处。

后再次执行步骤S10及S20，这次聚焦货架的两只后腿的轮廓信号。值得注意是,因为车体已对齐货架，货架的两只后腿的轮廓图像不会被货架的两只前腿的轮廓图像遮挡。

用高通滤波聚焦物体的两只后腿，过滤后的深度信号即代表两只后腿的深度信号；而滤波的阀值为 L+q_min ，而公式为：

MAX（q(x, y)-L-q_min ，0）;

其中，q(x, y)为读取的每个像素(x, y)的深度信号，q_min为读取的最小深度信号，L物体长度。

最后，步骤S60中，因为深度图像提供距离信息，在激光点云集提取相应的货架后腿的点云信号。然后通过点云的距离和角度信号，根据货架的尺寸，规划车体进入货架的距离。不仅如此，因为货架的两只后腿会一直保持在车体的前方，激光点云提供的距离信息可用于实时反馈车体是否到达货架底部的中心点。具体地：

首先按照步骤S40在深度图像匹配对应的激光信号和将接收的激光信号转换到车体的坐标系；

然后提取激光信息用于进入货架，其距离是当前位置到货架前腿位置和货架长度一半的总和，

参照附图5所示的，而当前位置到货架前腿位置的距离为：d_L*cos(θ_L)

上式中，d为左前腿的激光距离信号，θ_L为左前腿的激光角度信号。

通过以上步骤即可完成位置的定位计算工作。

以上的技术方案，其仅需给无人搬运车配备单线激光传感器及深度相机，相比现有的多线激光方案，其具有成本较低的优点；而相比现有的单线激光方案，其具有货架定位精准，稳定性高的优点，且无需对货架结构进行改造或粘贴反光条的工作，节约了人力成本。

另一方面，本发明提出了一种自动搬运车，包括车身、车身控制模组、激光传感器、深度相机及用于计算如上的物体识别和路径规划方法的步骤的计算模块。

在本发明实施例中，深度相机采用英特尔的RealSense D435i型号深度相机；激光传感器采用力策的LTME-02A型号激光雷达；计算处理器采用新创云的X31G i5 5200U/8G/128G 工控机。当然，各个硬件模块可以通过其他型号的设备实现，其不以本实施例中描述为限制。

再一方面，本发明提出了一种计算机可读存储介质，其上存储有计算机指令，计算机指令运行时执行如上的物体识别和路径规划方法的步骤。

又一方面，本发明提出一种电子设备，包括存储器和处理器，存储器上存储有计算机指令，计算机指令运行时处理器执行如上的物体识别和路径规划方法的步骤。

本方案结合物体的轮廓图像、深度图像和激光点云集，然后根据每种信号的属性和之间的关系来增强货架腿的特征，从而准确计算车体对齐货架的方向和进入货架的距离。相比现有的单线激光方案，本方案不需要对货架结构进行改造或粘贴反光条，能够通过深度相机提供的图像提高货架腿的激光点云特征信号。而相比现有的多线激光方案，深度相机的成本远低于多线激光传感器的成本。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形、替换及改进，这些都应涵盖在本发明的保护范围之内。因此，本发明专利的保护范围应以权利要求为准。

Claims (9)

1.一种物体识别和路径规划方法，其特征在于，包括步骤：

S10:获取物体的轮廓图像、深度图像及激光点云；

S20:提取物体垂直方向上的轮廓信号；

S30:通过深度图像，聚焦物体的前腿垂直方向上的轮廓信号；

S40:结合物体的激光点云信号，计算并对齐物体；

S50:通过深度图像，聚焦物体的后腿垂直方向上的轮廓信号；

S60:结合物体的激光云信号，计算需进入物体的距离；

其中，步骤S30及步骤S50中，通过垂直方向的轮廓信号，读取所对应的深度信号；读取的最小深度信号代表物体的前腿，读取的最大深度信号为物体的后腿；

步骤S30中，用低通滤波聚焦物体的两只前腿，过滤后的深度信号即代表两只前腿的深度信号，而滤波的阀值是最小深度信号和物体长度的总和，公式为：MAX（L+q_min-q(x, y) ，0）;

步骤S50中，用高通滤波聚焦物体的两只后腿，过滤后的深度信号即代表两只后腿的深度信号；而滤波的阀值为 L+q_min ，而公式为：

MAX（q(x, y)-L-q_min ，0）;

其中，q(x, y)为读取的每个像素(x, y)的 深度信号，q_min为读取的最小深度信号，L物体长度。

2.根据权利要求1所述的物体识别和路径规划方法，其特征在于，步骤S20中，对物体的轮廓图像的每一像素设置一90度方向上的二维的高斯核函数的滤波，以检测该方向的轮廓像素，使得仅该方向的轮廓像素被赋予大核函数值。

3.根据权利要求1所述的物体识别和路径规划方法，其特征在于，步骤S40包括：

S41:在深度图像匹配对应的激光信号；

S42：将激光的距离和角度信号根据车体的中心点进行转换；

S43：提取的激光信号用于对齐物体；

当车体的朝向与物体的朝向不一致时，通过激光信号计算后车体原地旋转，以使车体的朝向与物体的朝向相同；

通过激光信号计算，车体直线移动到物体的目标对齐位置。

4.根据权利要求1所述的物体识别和路径规划方法，其特征在于，步骤S60中，

S61:在深度图像匹配对应的激光信号；

S62：将激光的距离和角度信号根据车体的中心点进行转换；

S63：提取激光信号用于计算进入物体的距离，其距离为当前位置到物体前腿的间距加上物体长度的一半。

5.根据权利要求2所述的物体识别和路径规划方法，其特征在于，步骤S20的二维高斯核函数中，

设x为平行像素坐标，y为竖直像素坐标，d为方向滤波的方向角度，在d度逆时针旋转后，新的平行像素坐标为：

x_d=x*cos(π*d/180)-y*sin(π*d/180)

新的竖直像素坐标为：

y_d=x*cos(π*d/180)+y*sin(π*d/180)

相关的二维高斯核函数为：

G_d(x，y)=z_norm*exp(-1/2*(x_d ²/5+y_d ²/1))

其中 z_norm 为一个常数使核函数的总积分等于1。

6.根据权利要求3所述的物体识别和路径规划方法，其特征在于，步骤S40中：

获取深度相机的外参数和内参数用于标定图像像素坐标和世界坐标的对应关系，结合每个像素的深度信号，通过获取的相机标定矩阵计算对应的世界坐标位置；

根据激光传感器在车体的安装高度，其空间信息转换为世界坐标位置公式为：（d*cosθ, d*sinθ , h);

其中，d为每个给定的激光点的距离，θ为该激光点的角度信号，h为激光传感器的安装高度，后在深度图像匹配对应的激光信号；

设激光传感器安装在车体前方的中心点，接收的激光距离和角度信号分别为：d_old及θ_old ；相对车体的正中心点，接收的激光距离和角度信号需转换为：d_new及θ_new ；数值d_new及θ_new通过几何的余弦定理计算相关三角边长和角度获得。

7.一种自动搬运车，其特征在于，包括车身、车身控制模组、激光传感器、深度相机及用于计算如权利要求1～6任一项所述的物体识别和路径规划方法的步骤的计算模块。

8.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令运行时执行权利要求1～6任一项所述的物体识别和路径规划方法的步骤。

9.一种电子设备，包括存储器和处理器，所述存储器上存储有计算机指令，其特征在于，所述计算机指令运行时所述处理器执行权利要求1～6任一项所述的物体识别和路径规划方法的步骤。

Images