CN115744765A - 一种智能叉车、智能叉车控制方法及介质 - Google Patents

Abstract

本申请实施例提供一种智能叉车、智能叉车控制方法及介质，涉及TOF相机检测技术领域，智能叉车包括车体1、门架2、液压缸3、TOF相机组件4、搬运部件5和主控板，液压缸3与车体1固定，带动门架2沿车体1上下移动；搬运部件5包括固定叉脚和举升叉脚，举升叉脚固定于门架2的底部，固定叉脚固定于车体1底部；TOF相机组件4包括上挂板41、异形支架44和TOF相机46，上挂板41与门架2固定，异形支架44沿上挂板41上下滑动，在下滑到指定位置时固定于上挂板41上，TOF相机46固定于异形支架44上；TOF相机组件的延迟伸缩机制，使得智能叉车可以探测到叉脚下方的危险区域。

Description

一种智能叉车、智能叉车控制方法及介质

技术领域

本申请涉及TOF相机检测技术领域，尤其涉及一种智能叉车、智能叉车控制方法及介质。

背景技术

在智能叉车举升货物的过程中，如果有人或者其他车辆靠近叉脚下方空间，将存在极大的安全隐患。因此在实际使用过程中，通常会在智能叉车的叉脚底部安装传感器，用于检测叉脚举升时的环境信息，以防止意外发生。

一般情况下，在叉脚底部安装的传感器通常会采用激光传感器、超声波传感器或者TOF(Time of Flight，飞行时间)相机(即深度相机)。但目前利用传感器检测环境信息的方法中，智能叉车叉脚举升过程中叉脚下方的真空区域无法被传感器检测到，因此存在误报或者漏报的情况。并且，由于智能叉车叉脚举升或下降过程中传感器相对于环境的信息不断变化，存在静动态边界混合的问题，因此现有技术中利用传感器检测环境信息的方法还极易造成图像比例失调，导致特征识别率下降。

发明内容

本发明提供了一种智能叉车、智能叉车控制方法及介质，通过TOF相机组件4的延迟伸缩机制，解决了现有技术中智能叉车举升过程中叉脚下方区域存在真空危险区无法被检测到的问题。

第一方面，本申请实施例提供一种智能叉车，该智能叉车包括车体1、门架2、液压缸3、TOF相机组件4、搬运部件5和主控板，其中：

上述液压缸3与上述车体1固定，带动上述门架2沿上述车体1上下移动；

上述搬运部件5包括固定叉脚和举升叉脚，上述举升叉脚固定于上述门架2的底部，上述固定叉脚固定于上述车体1底部；

每个固定叉脚上设置有第一标记点，每个举升叉脚上设置有第二标记点；

上述TOF相机组件4包括上挂板41、异形支架44以及TOF相机，上述上挂板41与上述门架2固定，上述异形支架44沿上述上挂板41上下滑动，并在下滑到指定位置时固定于上述上挂板41上，上述TOF相机固定于上述异形支架44上；

上述主控板用于对上述TOF相机组件4进行控制，在控制上述TOF相机组件4采集目标图像后根据上述第一标记点对上述目标图像中上述固定叉脚进行识别，并根据上述第二标记点对上述目标图像中上述举升叉脚进行识别。

上述智能叉车，通过TOF组件的结构设计，即TOF相机中异形支架44沿上挂板41上下滑动，并在下滑到指定位置时固定于上挂板41上，使TOF相机在智能叉车举升过程中门架2以及叉脚移动一段距离后，再随门架2以及叉脚一起运动，实现了TOF相机组件4的延迟伸缩功能，使得智能叉车可以探测到叉脚下方的危险区域。

作为一种可选的实施方式，上述TOF相机组件4还包括直线导轨42和滑块43，其中：

上述直线导轨42固定于上述上挂板41上；

上述滑块43固定于上述异形支架44上，并在上述直线导轨42内上下移动，带动上述异形支架44沿上述上挂板41上下滑动。

作为一种可选的实施方式，上述滑块43内部安装有滚珠，上述滚珠在滚道内滚动，带动上述滑块43在上述直线导轨42内移动。

作为一种可选的实施方式，上述TOF相机组件4还包括拨珠螺丝45，其中：

上述上挂板41底部设置有翻边和定位孔，上述定位孔位于上述翻边上；

上述拨珠螺丝45固定于异形支架44靠近上述上挂板41的一侧，上述拨珠螺丝45靠近上述定位孔一侧的钢珠在弹簧和外力作用下伸缩，当上述异形支架44沿上述上挂板41下滑到使上述拨珠螺丝45与上述定位孔对齐的位置时，上述拨珠螺丝45固定于上述定位孔中，使上述异形支架44固定于上述上挂板41上。

作为一种可选的实施方式，上述异形支架44靠近上述上挂板41的一侧设置有限位边，当上述异形支架44下滑到上述限位边与上述车体1接触时，上述拨珠螺丝45从上述定位孔中脱离，使上述异形支架44与上述上挂板41解除固定。

第二方面，本申请实施例提供一种智能叉车控制方法，应用于上述的智能叉车，该方法包括：

获取TOF相机采集的目标图像；

根据上述目标图像中第一标记点确定第一边界，并根据上述目标图像中第二标记点确定第二边界，其中，上述第一边界和第二边界平行；

基于上述第一边界以及上述第二边界，对上述目标图像进行矫正；

利用检测算法对矫正后的目标图像进行检测，确定检测到人形时对上述智能叉车进行控制。

上述方法，根据TOF相机采集到的目标图像中的第一标记点确定第一边界(即相对于TOF相机的动态边界)，根据第二标记点确定第二边界(即相对于TOF相机的静态边界)，并根据第一边界以及第二边界对目标图像进行矫正，即综合考虑参照叉车中的静态特征以及动态特征，对目标图像进行矫正，能够使生成的图像更加准确，并降低因动静态边界混合问题导致的图像的失调程度，进而增加后续人形识别的准确性。

作为一种可选的实施方式，根据上述目标图像中的第一标记点确定第一边界，并根据上述目标图像中的第二标记点确定第二边界，包括：

根据上述目标图像中的第一标记点以及上述第二标记点，确定图像识别基点；

基于上述图像识别基点，对上述目标图像进行坐标转换，得到与上述目标图像对应的像素坐标系下的转换图像；

确定上述转换图像中第一标记点的位置信息以及第二标记点的位置信息；

根据上述转换图像中第一标记点的位置信息确定第一边界，并根据上述转换图像中第二标记点的位置信息确定第二边界。

作为一种可选的实施方式，基于上述第一边界以及上述第二边界，对上述目标图像进行矫正，包括：

基于上述第一边界以及上述第二边界之间的第一距离，确定混合矫正系数；其中，上述混合矫正系数与上述第一距离成正比；

根据上述混合矫正系数，对上述目标图像中各像素点的位置坐标进行矫正。

上述方法，基于第一边界以及第二边界的距离，随举升高度变化不断更新混合矫正系数，并根据该更新后的混合矫正系数对图像进行矫正，有效提高图像还原度。

作为一种可选的实施方式，利用检测算法对矫正后的目标图像进行人形识别，确定识别到人形时对上述智能叉车进行控制，包括：

将上述矫正后的目标图像中位于上述第一边界以及上述第二边界之间的区域确定为重点区域；

利用检测算法确定上述重点区域中是否存在圆形区域；

当上述重点区域中存在上述圆形区域时，确定识别到人形，并对上述智能叉车进行控制。

通过划分重点检测区域，对重点区域进行检测，既保证了人形识别的准确性，又能降低整体的计算量，提高算法运行速率和检测效率。

作为一种可选的实施方式，确定识别到人形时对上述智能叉车进行控制，包括：

确定识别到人形时，计算上述圆形区域与上述智能叉车之间的第二距离；

确定上述第二距离小于预设阈值时，控制上述智能叉车停止工作，并触发警报；

确定上述第二距离未小于预设阈值时，触发消息提醒。

上述方法，在确定识别到人形时，通过人形与智能叉车的距离确定对应的智能叉车控制方式，在距离小于设定阈值时控制智能叉车停止工作，并触发警报，显著提升智能叉车使用的安全性和稳定性。

第三方面，本申请实施例提供一种智能叉车控制装置，该装置包括：

获取单元，用于获取TOF相机采集的目标图像；

确定单元，用于根据上述目标图像中第一标记点确定第一边界，并根据上述目标图像中第二标记点确定第二边界，其中，上述第一边界和第二边界平行；

矫正单元，用于基于上述第一边界以及上述第二边界，对上述目标图像进行矫正；

控制单元，用于利用检测算法对矫正后的目标图像进行检测，确定检测到人形时对上述智能叉车进行控制。

第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序指令，该计算机程序指令被处理器执行时实现上述智能叉车控制方法中任一步骤。

第五方面，本申请实施例中还提供一种计算机程序产品，包括计算机程序，计算机程序存储在计算机可读存储介质中；当智能叉车从计算机可读存储介质读取计算机程序时，执行计算机程序，使得智能叉车执行上述智能叉车控制方法中任一步骤。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种智能叉车的结构示意图；

图2为本申请实施例提供的一种搬运部件的结构示意图；

图3为本申请实施例提供的一种TOF相机组件的结构示意图；

图4为本申请实施例提供的一种主控板的结构示意图；

图5为本申请实施例提供的一种智能叉车控制方法的流程示意图；

图6为本申请实施例提供的一种坐标转换关系的示意图；

图7为本申请实施例提供的一种重点区域与非重点区域的结构示意图；

图8为本申请实施例提供的一种特征点位及参考边界的示意图；

图9为本申请实施例提供的一种智能叉车控制装置的结构示意图。

图标：

1：车体；2：门架；3：液压缸；

4：TOF相机组件；41：上挂板；42：直线导轨；43：滑块；

44：异形支架；45：拨珠螺丝；46：TOF相机；

5：搬运部件；51-52：第二标记点；53-54：第一标记点；

6：货物位置。

具体实施方式

为使本申请的上述目的、特征和优点能够更为明显易懂，下面将结合附图和实施例对本申请做进一步说明。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式；相反，提供这些实施方式使得本申请更全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。本申请中所描述的表达位置与方向的词，均是以附图为例进行的说明，但根据需要也可以做出改变，所做改变均包含在本申请保护范围内。本申请的附图仅用于示意相对位置关系不代表真实比例。

在本申请中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接连接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。

在智能叉车举升货物的过程中，如果有人或者其他车辆靠近叉脚下方空间，将存在极大的安全隐患。因此在实际使用过程中，通常会在智能叉车的叉脚底部安装传感器，用于检测叉脚举升时的环境信息，以防止意外发生。

一般情况下，在叉脚底部安装的传感器通常会采用激光传感器、超声波传感器或者TOF相机。其中激光传感器因为检测方式是线扫描或者面扫描，不容易包含三维空间，因此容易产生漏报，并且目前利用传感器检测环境信息的方法中，智能叉车叉脚举升过程中叉脚下方的真空区域无法被传感器检测到，因此存在误报或者漏报的情况。

TOF技术是一种用光测量距离的技术，所谓光测量距离是指通过向被测物发射连续的光脉冲信号，随后传感器接收由物体反射回来的信号，通过计算光脉冲的飞行(往返)时间来得到目标物的距离信息。基于TOF技术的3D相机是一种新型、结构小型化的立体成像设备。该类型相机可以同时捕获被测物体的强度信息与深度图像信息。因其制造成本低、数据处理简单、响应快、光照不敏感等特点，被广泛应用于游戏娱乐、虚拟现实、动作识别与跟踪、机器人自主导航、工业自动化装配等领域。

TOF相机广义的概念就是通过测量光脉冲在传感器与物体表面之间的飞行时间，其测得的时间与光速的乘积就是所需测量距离的两倍。TOF相机工作时是通过主动发射调制后的光信号到被测物体上，光信号经反射后被光电探测器接收，随后根据探测器上积聚到的电荷数来计算发射信号跟接收信号之间的相位差，就可以得到被测物体与相机之间的距离。

本申请实施例为解决上述智能叉车叉脚举升过程中叉脚下方的真空区域无法被传感器检测到，因此存在误报或者漏报的问题，提供了一种携带TOF相机的智能叉车，该智能叉车的结构如图1所示。

如图1所示，本申请实施例提供的智能叉车主要包括：车体1、门架2、液压缸3、TOF相机组件4、搬运部件5以及主控板，其中主控板未在图1中进行标注。

上述门架2由多个钢条和方钢焊接而成，两侧安装有滑轮，可以在车体导轨内上下移动，用于固定叉脚(该叉脚是指搬运部件5中的举升叉脚)等部件；

上述液压缸3分为左右两个，与车体1固定，具体地，液压缸3下端固定在车体1底部，缸体中部有抱箍锁紧在车体1上，上端与顶升板固定在一起，液压缸由液压驱动，用于实现顶升板的升降功能；

上述顶升板安装在门架2上，并且两侧与液压缸3的推杆相连，用于将液压缸3的伸缩运动传递给门架2，带动门架2沿车体1进行上下移动；

上述搬运部件5包括固定叉脚和举升叉脚，通常固定叉脚和叉脚的数量均为两个，举升叉脚通过焊接方式固定于门架2的底部，随着门架2上下移动，用于插入置物托架底部孔中，举升货物(货物的位置如图2所示的6)；固定叉脚通过焊接方式固定于车体1底部，在智能叉车举升过程中不进行移动，与地面直接接触，用于增加智能叉车的抗倾覆性能；

每个固定叉脚上设置有第一标记点，每个举升叉脚上设置有第二标记点，如图2所示，固定叉脚上设置有第一标记点53和54，举升叉脚上设置有第二标记点51和52，其中，第一标记点通常设置于多个固定叉脚上的同一位置，即每个第一标记点距离对应的固定叉脚底部的距离与其它第一标记点距离对应的固定叉脚底部的距离相同；同样，第二标记点通常设置于多个举升叉脚上的同一位置，即每个第二标记点距离对应的举升叉脚底部的距离与其它第二标记点距离对应的举升叉脚底部的距离相同。该第一标记点与第二标记点位置的设置可以保证连接第一标记点的第一边界以及连接第二标记点的第二边界为平行关系。

需要说明的是，上述第一标记点以及第二标记点可以为颜色与所在叉脚不同的标记点，也可为位于对应叉脚上的特殊结构，例如凸起物等。其中，上述第一标记点以及第二标记点的形状可为圆形、方形，也可以为其他形状，并且第一标记点的形状与第二标记点的形状可以相同也可以不同。

上述主控板用于对TOF相机组件4进行控制，在控制TOF相机组件4采集目标图像后根据第一标记点对目标图像中固定叉脚的位置进行识别，并根据第二标记点对目标图像中举升叉脚的位置进行识别；

上述TOF相机组件4安装在举升叉脚底部，用于检测叉脚前端环境信息；如图3所示，上述TOF相机组件具体包括上挂板41、异形支架44以及TOF相机46，上述上挂板41是一块T字型钣金件，通过螺钉与门架2固定，异形支架44是一个异形钣金件，可沿上挂板41上下滑动，并在下滑到指定位置时固定于上挂板41上，TOF相机固定于异形支架44上，用于检测智能叉车叉脚前部的环境信息。

在一些实施例中，上述TOF相机组件4还包括直线导轨42和滑块43，其中：直线导轨42通过沉头孔固定于上挂板上，用于和滑块43配合，形成滑动副，带动异形支架44上下滑动；

滑块43通过螺钉固定于异形支架44上，并在直线导轨42内上下移动，带动异形支架44沿上挂板41上下滑动。具体地，滑块43内部安装有滚珠，滚珠可在滚道内滚动，滑块43通过对应缺口安装在直线导轨42上，并通过滚珠滚动使滑块43可以在直线导轨42上自由移动。

在一些实施例中，上挂板41底部设置有翻边和定位孔，定位孔位于翻边上，用于配合异形支架44实现自锁功能；其中，自锁功能即是异形支架44下滑到达指定位置时，上挂板41和异形支架44位置相对固定，不再有相对位移，既达到指定位置后异形支架44会随上挂板41一起运动。

在一些实施例中，上述TOF相机组件4还包括拨珠螺丝45，其中：

拨珠螺丝45固定于异形支架44靠近所述上挂板的一侧，拨珠螺丝45靠近定位孔一侧的钢珠在弹簧和外力作用下伸缩，当异形支架44沿上挂板41下滑到拨珠螺丝45与定位孔对齐的位置时，拨珠螺丝45固定于定位孔中，使异形支架44固定于上挂板41上，即实现上述自锁功能。

在一些实施例中，异形支架44靠近上挂板41的一侧设置有限位边，用于限制异形支架44的下限位。当异形支架44下滑到指定高度时，限位边与车体1接触，并支撑在车体1上，此时，拨珠螺丝45从定位孔中脱离，使异形支架44与上挂板41解除固定关系(即自锁功能解除)。

本申请实施例中还提供一种主控板的结构示意图，如图4所示，上述主控板可以至少包括至少一个处理器、以及至少一个存储器。其中，存储器存储有程序代码，当程序代码被处理器执行时，使得处理器执行本说明书以下各种示例性实施方式的智能叉车控制方法中的步骤。

下面参照图4来描述根据本申请的这种实施方式的主控板400。图4显示的主控板400仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图4所示，主控板400以通用设备的形式表现。主控板400的组件可以包括但不限于：上述至少一个处理器401、上述至少一个存储器402、连接不同系统组件(包括存储器402和处理器401)的总线403，其中，存储器存储有程序代码，当程序代码被处理器执行时，使得处理器执行以下步骤：

获取TOF相机采集的目标图像；

根据目标图像中第一标记点确定第一边界，并根据目标图像中第二标记点确定第二边界，其中，第一边界和第二边界平行；

基于第一边界以及第二边界，对目标图像进行矫正；

利用检测算法对矫正后的目标图像进行检测，确定检测到人形时对智能叉车进行控制。

总线403表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。

存储器402可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)4021和/或高速缓存存储器4022，还可以进一步包括只读存储器(ROM)4023。

存储器402还可以包括具有一组(至少一个)程序模块4024的程序/实用工具4025，这样的程序模块4024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

设备400也可以与一个或多个外部设备404(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与设备400交互的设备通信，和/或与使得该设备400能与一个或多个其它设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口405进行。并且，设备400还可以通过网络适配器406与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器406通过总线403与用于设备400的其它模块通信。应当理解，尽管图中未示出，可以结合设备400使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

本申请实施例中智能叉车通过TOF组件的结构设计，即TOF相机中异形支架沿上挂板上下滑动，并在下滑到指定位置时固定于上挂板上，使TOF相机在智能叉车举升过程中门架以及举升叉脚移动一段距离后，再随门架以及举升叉脚一起运动，实现了TOF相机组件的延迟伸缩功能，使得智能叉车可以探测到叉脚下方的危险区域。

现有技术中，由于智能叉车叉脚举升或下降过程中传感器相对于环境的信息不断变化，存在静动态边界混合的问题，因此现有技术中利用传感器检测环境信息的方法还极易造成图像比例失调，导致特征识别率下降。

为了解决现有技术中由于静动态边界混合造成图像比例失调，特征识别率下降的问题，本申请基于上述智能叉车的结构，提出了一种的智能叉车控制方法，通过在叉脚外形上预设标定点位(即第一标记点和第二标记点)，准确识别静态边界(即第二边界)和动态边界(即第一边界)，实现随智能叉车举升高度变化不断对TOF相机识别到的图像进行矫正，能够适应举升过程中静态边界和动态边界混合的场景，有效提高图像还原度，降低图像比例的失调程度，进而提高特征识别率。

如图5所示，本申请提供一种智能叉车控制方法，应用于上述智能叉车，具体包括以下步骤：

步骤501，获取TOF相机采集的目标图像；

在智能叉车工作过程中，当智能叉车将车体移动到与待搬运的货物对应的起始位，并准备向上举升叉脚时，主控板控制TOF相机开启，TOF相机开启首先进行自检，在完成自检后进行图像采集。

具体地，TOF相机向外发射调制后的光信号，并接收由被测物体上反射回光信号，通过计算发射时间以及接收时间之间的时间差f(t)，实现测距。

在具体实施中，TOF相机采集平面图像信息以及光照信息，其中，平面图像信息即TOF相机采集到的像素点，光照信息即发射时间以及接收时间之间的时间差。在采集到平面图像信息以及光照信息后，利用光照信息中与像素点对应的时间差计算该像素点对应的深度值，按照上述方法，计算平面图像信息中每个像素点对应的深度值。得到每个像素点的深度值后，以指定位置(该指定位置可以选用TOF相机)作为坐标原点，建立相机坐标系，如图6所示，该相机坐标系为三维坐标系Oc-XcYcZc，并根据每个像素点的深度值，得到每个像素点在该相机坐标系下对应的位置坐标，得到目标图像。

步骤502，根据目标图像中第一标记点确定第一边界，并根据目标图像中第二标记点确定第二边界，其中，第一边界和第二边界平行；

具体地，首先根据目标图像中的第一标记点以及第二标记点，确定图像识别基点，通常将该图像识别基点设置为TOF相机发射光信号的位置。

然后基于图像识别基点，对目标图像进行坐标转换，得到与目标图像对应的像素坐标系下的转换图像；即，以该图像识别基点为坐标原点，将位于相机坐标系下的目标图像转换为像素坐标系下的转换图像，具体将采集到的各像素点的坐标由相机坐标系转换为像素坐标系。

如图6所示，其中相机坐标系为Oc-XcYcZc，像素坐标系为O_I-uv，物理图像坐标系为O_R-xy，世界坐标系为Ow-XwYwZw。设以相机坐标系作为世界坐标系，以像素坐标系作为物理图像坐标系，则像素坐标系与相机坐标系之间的转换关系为：

其中：f为相机焦距；dx、dy分别为传感器在x、y方向上的像元尺寸；(c_x,c_y)为成像光心位置。

即，针对TOF采集到的任一像素点，其在相机坐标系下的位置坐标P(X,Y,Z)与其在像素坐标系(物理图像坐标系)下的位置坐标p(x,y)之间的函数关系为：{P(X),P(Y),P(Z)}＝{A*p(x),A*p(y),A*f(t)c}，其中，A为比例系数，f(t)为TOF相机广信号的发送时间与接收时间的时间差，c为光速。

其中，上述比例系数A根据任一标记点在图像中的深度值与该任一标记点与TOF相机光信号发射端的实际距离计算得到。

得到与目标图像对应的像素坐标系下的转换图像后，确定转换图像中第一标记点的位置信息以及第二标记点的位置信息。

最后根据转换图像中第一标记点的位置信息确定第一边界，该第一边界即连接第一标记点的直线，并根据转换图像中第二标记点的位置信息确定第二边界，该第二边界即连接第二标记点的直线。

步骤503，基于第一边界以及第二边界，对目标图像进行矫正；

具体地，首先计算第一边界以及第二边界之间的第一距离，基于该第一距离确定混合矫正系数，然后根据混合矫正系数，对目标图像中各像素点的位置坐标进行矫正；其中，该混合矫正系数与第一距离成正比。

由上述智能叉车的结构可知，设置第一标记点以及第二标记点时，连接第一标记点的第一边界与连接第二标记点的第二边界为平行关系，因此可以直接计算第一边界以及第二边界之间的第一距离。

并且，在TOF相机组件与举升叉脚一同移动时，由于第一标记点位于固定叉脚上，且该固定叉脚在智能叉车举升过程中不进行移动，即该第一标记点相对于TOF相机的位置处于移动状态，因此第一边界为动态边界；第二标记点位于举升叉脚上，且该举升叉脚在智能叉车举升过程中叉脚与TOF相机一同移动，因此第二边界为静态边界，本申请中基于动态边界以及静态边界，对目标图像进行矫正，能够使目标图像更加准确。

需要说明的是，在举升叉脚刚刚开始运动，TOF相机组件延迟伸缩的过程中，上述第一边界为静态边界，上述第二边界为动态边界，本申请实施例中主要以TOF相机组件与举升叉脚一同移动为例对上述智能叉车控制方法的具体过程进行介绍，上述TOF相机组件延迟伸缩时，智能叉车控制方法的具体过程与之类似。

步骤504，利用检测算法对矫正后的目标图像进行检测，确定检测到人形时对智能叉车进行控制。

具体地，首先进行区域划分，如图7所示，将矫正后的目标图像中位于第一边界(即图7中动态边界线)以及第二边界(即图7中的静态边界线)之间的区域确定为重点区域(即图7中的重点识别区域)，除该重点区域外的其他区域划分为非重点(识别)区域，其中，该重点区域对应于智能叉车的危险区域。该图左侧部分为叉车的侧视视图，其中AB为上述第一边界(即动态边界线)的示意，CD为上述第二边界(即静态边界线)的示意，E表示侧视图中TOF相机组件的位置，GEF内侧的范围为TOF相机在一种情况下的视野范围。在一些实施例中，在确定第一边界与第二边界后，将位于像素坐标系下的第一边界以及第二边界转换为相机坐标系下的第一边界以及第二边界，并根据相机坐标系下的第一边界以及第二边界，对相机坐标系中矫正后的目标图像进行区域划分。

然后利用检测算法确定重点区域中是否存在圆形区域；当重点区域中存在圆形区域时，确定识别到人形，并对智能叉车进行控制；确定未识别到人形时，保持智能叉车的正常工作状态。

通过划分重点区域，对重点区域进行检测，既保证了人形识别的准确性，又能降低整体的计算量，提高算法运行速率和检测效率。

在上述划分重点区域和非重点区域后，还可以进一步针对重点区域和非重点区域，对各区域的识别精度进行入侵识别算法加权，即，保持重点区域的识别精度，并降低非重点区域的识别精度。在保证重点检测区域的计算精度的同时，又能降低整体的计算量，提高算法运行速率和检测效率。

上述方法，根据TOF相机采集到的目标图像中的第一标记点确定第一边界(即相对于TOF相机的动态边界)，根据第二标记点确定第二边界(即相对于TOF相机的静态边界)，并根据第一边界以及第二边界对目标图像进行矫正，即综合考虑参照叉车中的静态特征以及动态特征，对目标图像进行矫正，能够使生成的图像更加准确，并降低因动静态边界混合问题导致的图像的失调程度，进而增加后续人形识别的准确性。

以下结合图8，根据具体示例对上述根据转换图像中第一标记点的位置信息确定第一边界，并根据转换图像中第二标记点的位置信息确定第二边界，基于第一边界以及第二边界，对目标图像进行矫正的过程进行详细阐述。

需要说明的是，本申请中仅以第一边界以及第二边界与横坐标轴平行为例对上述过程进行描述，在其他情况下第一边界以及第二边界的确定方式与之类似。

图8中，特征点p₁和p₂为举升叉脚上的两个第二标记点，在像素坐标系下的坐标分别为p₁(x₁,y₁)和p₂(x₂,y₂)，特征点p₃和p₄为固定叉脚上的两个第一标记点，在像素坐标系下的坐标分别为p₃(x₃,y₃)和p₄(x₄,y₄)，其中，y₁＝y₂，y₃＝y₄。

根据特征点p₁的坐标p₁(x₁,y₁)和特征点p₂的坐标p₂(x₂,y₂)确定举升叉脚对应的第一边界的高度函数f₁(h)＝A*·y₁，第一边界和TOF相机一起升降，因此不随举升高度变化产生变化，即为静态边界。

例如，假设特征点p₁的坐标为p₁(30,50)，特征点p₂的坐标为p₂(60,50)，则得到的第一边界的高度函数为f₁(h)＝50A。

根据特征点p₃的坐标p₃(x₃,y₃)和特征点p₄的坐标p₄(x₄,y₄)确定举升叉脚对应的第二边界的高度函数为f₂(h)＝A*·f(t)·y₃，第二边界不会和TOF相机一起升降，因此随举升高度变化产生变化，即为动态边界。

例如，假设特征点p₃的坐标为p₃(30,100)，特征点p₄的坐标为p₄(60,100)，则得到的第二边界的高度函数为f2(h)＝100A·f(t)。

在确定第一边界和第二边界后，可确定第一边界y₁在图像中的高度函数f₁(h)和第二边界y₂在图像中的高度函数f₂(h)，从而得出第一边界和第二边界的高度差变化函数Δf(h)＝f₁(h)-f₂(h)，在此基础上确定边界混合矫正系数α，混合矫正系数α为一个与高度差变化函数Δf(h)相关的变量高度差变化函数Δf(h)成正比。

然后基于该混合矫正系数α对目标图像中各像素点的位置坐标进行矫正，矫正的表达方为：{P(X),P(Y),P(Z)}＝{Aα*p(x),Aα*p(y),Aα*f(t)c}。

上述步骤504中，确定检测到人形时对智能叉车进行控制的过程具体包括：

确定检测到人形时，计算圆形区域与智能叉车之间的第二距离；

上述第二距离为圆形区域中预设位置与智能叉车中预设位置的距离，具体可以为圆形区域中心点与智能叉车中TOF相机的距离，也可为圆形区域中最左侧的点与智能叉车中某一叉脚的距离，其中，圆形区域中预设位置与智能叉车中预设位置本申请不作限定，但需要说明的是，不同的圆形区域中预设位置与智能叉车中预设位置分别对应于不同的预设阈值。

确定第二距离小于预设阈值时，控制智能叉车停止工作，并触发警报；

如果确定第二距离小于预设阈值时，既可认为人形位于叉脚下方的危险区域，此时控制智能叉车停止工作，并发出报警声音，提示人员离开叉车危险区域。

确定第二距离未小于预设阈值时，触发消息提醒；

如果确定第二距离未小于预设阈值时，既可认为人形未位于叉脚下方的危险区域，此时通过显示消息提醒或者触发语音消息提醒等方式，提示人员或车辆远离叉车区域。

在一些实施例中，还可以预先确定叉脚下可能存在危险的区域对应的候选区域的坐标范围，在确定检测到的圆形区域位于该候选区域的区域在圆形区域的占比大于预设数值时，再计算圆形区域与智能叉车之间的第二距离，以减小计算量，并提高识别率。

具体地，可以依据叉脚的实际尺寸以及叉脚下可能存在危险的区域的实际位置确定P(Z)(即候选区域在Z坐标轴下的对应取值范围)的取值范围，进而确定P(X)和P(Y)(即候选区域在X坐标轴和Y坐标值下的对应取值范围)的取值范围，减小识别范围。

上述方法，基于使用场景中人形图像特征(圆特征)和特定距离范围，识别人形图像信息，降低漏报率，提高识别率和使用性能，显著提升智能叉车使用的安全性和稳定性。

基于相同的公开构思，本申请实施例还提供一种智能叉车控制装置，由于该装置即是本申请实施例中的方法中的装置，并且该装置解决问题的原理与该方法相似，因此该装置的实施可以参见方法的实施，重复之处不再赘述。

图9为本申请实施例提供的一种智能叉车控制装置的示意图，请参考图9，本申请实施例提供一种智能叉车控制装置，该装置包括：

获取单元901，用于获取TOF相机采集的目标图像；

确定单元902，用于根据上述目标图像中第一标记点确定第一边界，并根据上述目标图像中第二标记点确定第二边界，其中，上述第一边界和第二边界平行；

矫正单元903，用于基于上述第一边界以及上述第二边界，对上述目标图像进行矫正；

控制单元904，用于利用检测算法对矫正后的目标图像进行检测，确定检测到人形时对上述智能叉车进行控制。

可选的，上述确定单元902用于根据上述目标图像中的第一标记点确定第一边界，并根据上述目标图像中的第二标记点确定第二边界，包括：

根据上述目标图像中的第一标记点以及上述第二标记点，确定图像识别基点；

基于上述图像识别基点，对上述目标图像进行坐标转换，得到与上述目标图像对应的像素坐标系下的转换图像；

确定上述转换图像中第一标记点的位置信息以及第二标记点的位置信息；

根据上述转换图像中第一标记点的位置信息确定第一边界，并根据上述转换图像中第二标记点的位置信息确定第二边界。

可选的，上述矫正单元903用于基于上述第一边界以及上述第二边界，对上述目标图像进行矫正，包括：

基于上述第一边界以及上述第二边界之间的第一距离，确定混合矫正系数；其中，上述混合矫正系数与上述第一距离成正比；

根据上述混合矫正系数，对上述目标图像中各像素点的位置坐标进行矫正。

可选的，上述矫正单元903用于利用检测算法对矫正后的目标图像进行人形识别，确定识别到人形时对上述智能叉车进行控制，包括：

将上述矫正后的目标图像中位于上述第一边界以及上述第二边界之间的区域确定为重点区域；

利用检测算法确定上述重点区域中是否存在圆形区域；

当上述重点区域中存在上述圆形区域时，确定识别到人形，并对上述智能叉车进行控制。

可选的，上述控制单元904用于确定识别到人形时对上述智能叉车进行控制，包括：

确定识别到人形时，计算上述圆形区域与上述智能叉车之间的第二距离；

确定上述第二距离小于预设阈值时，控制上述智能叉车停止工作，并触发警报；

确定上述第二距离未小于预设阈值时，触发消息提醒。

在一些可能的实施方式中，本申请提供的一种智能叉车控制方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在计算机设备上运行时，程序代码用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的一种智能叉车控制方法中的步骤。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

本申请的实施方式的用于监控的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在设备上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行、或者完全在远程设备或服务端上执行。在涉及远程设备的情形中，远程设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户设备，或者，可以连接到外部设备(例如利用因特网服务提供商来通过因特网连接)。

应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。

此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和方框图来描述的。应理解可由计算机程序指令实现流程图和方框图中的每一流程和/或方框、以及流程图和方框图中的流程和方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (11)

1.一种智能叉车，其特征在于，所述智能叉车包括车体1、门架2、液压缸3、TOF深度相机组件4、搬运部件5和主控板，其中：

所述液压缸3与所述车体1固定，带动所述门架2沿所述车体1上下移动；

所述搬运部件包括固定叉脚和举升叉脚，所述举升叉脚固定于所述门架2的底部，所述固定叉脚固定于所述车体1底部；

每个固定叉脚上设置有第一标记点，每个举升叉脚上设置有第二标记点；

所述TOF相机组件4包括上挂板41、异形支架44以及TOF相机46，所述上挂板41与所述门架2固定，所述异形支架44沿所述上挂板41上下滑动，并在下滑到指定位置时固定于所述上挂板41上，所述TOF相机46固定于所述异形支架44上；

所述主控板用于对所述TOF相机组件4进行控制，在控制所述TOF相机组件4采集目标图像后根据所述第一标记点对所述目标图像中所述固定叉脚进行识别，并根据所述第二标记点对所述目标图像中所述举升叉脚进行识别。

2.根据权利要求1所述的智能叉车，其特征在于，所述TOF相机组件4还包括直线导轨42和滑块43，其中：

所述直线导轨42固定于所述上挂板41上；

所述滑块43固定于所述异形支架44上，并在所述直线导轨42内上下移动，带动所述异形支架44沿所述上挂板41上下滑动。

3.根据权利要求2所述的智能叉车，其特征在于，

所述滑块43内部安装有滚珠，所述滚珠在滚道内滚动，带动所述滑块43在所述直线导轨42内移动。

4.根据权利要求1所述的智能叉车，其特征在于，所述TOF相机组件4还包括拨珠螺丝45，其中：

所述上挂板41底部设置有翻边和定位孔，所述定位孔位于所述翻边上；

所述拨珠螺丝45固定于异形支架44靠近所述上挂板41的一侧，所述拨珠螺丝45靠近所述定位孔一侧的钢珠在弹簧和外力作用下伸缩，当所述异形支架44沿所述上挂板41下滑到使所述拨珠螺丝45与所述定位孔对齐的位置时，所述拨珠螺丝45固定于所述定位孔中，使所述异形支架44固定于所述上挂板41上。

5.根据权利要求4所述的智能叉车，其特征在于，

所述异形支架44靠近所述上挂板41的一侧设置有限位边，当所述异形支架44下滑到所述限位边与所述车体1接触时，所述拨珠螺丝45从所述定位孔中脱离，使所述异形支架44与所述上挂板41解除固定。

6.一种智能叉车控制方法，其特征在于，应用于如权利要求1-5任一所述的智能叉车，所述方法包括：

获取TOF相机采集的目标图像；

根据所述目标图像中第一标记点确定第一边界，并根据所述目标图像中第二标记点确定第二边界，其中，所述第一边界和第二边界平行；

基于所述第一边界以及所述第二边界，对所述目标图像进行矫正；

利用检测算法对矫正后的目标图像进行检测，确定检测到人形时对所述智能叉车进行控制。

7.根据权利要求6所述的方法，其特征在于，根据所述目标图像中的第一标记点确定第一边界，并根据所述目标图像中的第二标记点确定第二边界，包括：

根据所述目标图像中的第一标记点以及所述第二标记点，确定图像识别基点；

基于所述图像识别基点，对所述目标图像进行坐标转换，得到与所述目标图像对应的像素坐标系下的转换图像；

确定所述转换图像中第一标记点的位置信息以及第二标记点的位置信息；

根据所述转换图像中第一标记点的位置信息确定第一边界，并根据所述转换图像中第二标记点的位置信息确定第二边界。

8.根据权利要求7所述的方法，其特征在于，基于所述第一边界以及所述第二边界，对所述目标图像进行矫正，包括：

基于所述第一边界以及所述第二边界之间的第一距离，确定混合矫正系数；其中，所述混合矫正系数与所述第一距离成正比；

根据所述混合矫正系数，对所述目标图像中各像素点的位置坐标进行矫正。

9.根据权利要求6所述的方法，其特征在于，利用检测算法对矫正后的目标图像进行人形识别，确定识别到人形时对所述智能叉车进行控制，包括：

将所述矫正后的目标图像中位于所述第一边界以及所述第二边界之间的区域确定为重点区域；

利用检测算法确定所述重点区域中是否存在圆形区域；

当所述重点区域中存在所述圆形区域时，确定识别到人形，并对所述智能叉车进行控制。

10.根据权利要求9所述的方法，其特征在于，确定识别到人形时对所述智能叉车进行控制，包括：

确定识别到人形时，计算所述圆形区域与所述智能叉车之间的第二距离；

确定所述第二距离小于预设阈值时，控制所述智能叉车停止工作，并触发警报；

确定所述第二距离未小于预设阈值时，触发消息提醒。

11.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该计算机程序指令被处理器执行时实现权利要求6至10任一项所述方法的步骤。

Images