CN114842223A - 进出库识别方法、设备及计算机可读存储介质 - Google Patents

Abstract

本公开的实施例提供了进出库识别方法、设备及计算机可读存储介质。所述方法包括：通过安装在库房门外顶部的摄像头采集待识别图像；所述待识别图像中的当前目标未进入所述摄像头对应的格栅关注区域；对所述待识别图像中的当前特征进行提取，其中，所述当前特征包括：当前尺寸特征、当前轮廓特征、当前关键部位特征；根据所述当前特征，识别所述当前目标是否为运输吨包的叉车；若为叉车，则对所述叉车进行进出库识别。以此方式，可根据待识别图像的当前特征准确判断当前目标是否为叉车，若为叉车，则可自动识别叉车为进库还是出库，从而通过图像准确而自动地对叉车的进出库进行识别。

Description

进出库识别方法、设备及计算机可读存储介质

技术领域

本公开涉及叉车识别领域，尤其涉及进出库识别技术领域。

背景技术

民爆炸药厂一般使用叉车叉取货运卡车上的吨包并送入库房中存储，使用时再从库中叉出放置到上料塔或上料螺旋中使用。

然而，由于叉车观察死角较大，如采用人工计数，叉车作业运转范围较大，无法及时看到周边人员或物体，容易发生安全事故，即目前对非叉车物体进出库没有自动识别和剔除功能，从而容易造成安全事故；

另外，现有叉车上吨包出入库方式通常会利用条码枪，采用人工扫描的方式，这就需要在叉车进出库区动作完成前后进行，因而，吨包进出库效率较低，且进出库统计容易出错。

发明内容

本公开提供了一种进出库识别方法、设备以及存储介质。

根据本公开的第一方面，提供了一种进出库识别方法。该方法包括：

通过安装在库房门外顶部的摄像头采集待识别图像；所述待识别图像中的当前目标未进入所述摄像头对应的格栅关注区域；

对所述待识别图像中的当前特征进行提取，其中，所述当前特征包括：当前尺寸特征、当前轮廓特征、当前关键部位特征；

根据所述当前特征，识别所述当前目标是否为运输吨包的叉车；

若为叉车，则对所述叉车进行进出库识别。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述对所述待识别图像中的当前特征进行提取，包括：

对多张所述待识别图像进行灰度变化识别，以提取所述当前特征；

所述根据所述当前特征，判断所述当前目标是否为运输所述吨包的叉车，包括：

判断所述当前特征是否与所述叉车的预设特征相匹配；

若匹配，则判定所述当前目标为所述叉车。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述若为叉车，则对所述叉车进行进出库识别，包括：

若为叉车，且先采集到所述叉车的叉臂触碰至所述格栅关注区域上边界的拍摄图像后采集到所述叉臂触碰至所述下边界的拍摄图像，则确认所述叉车入库；

反之，若先采集到所述叉臂触碰至所述下边界的拍摄图像后采集到所述叉臂触碰至所述上边界的拍摄图像，则确认所述叉车出库。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述方法还包括：

分别获取所述叉臂触碰至所述上边界和所述下边界的拍摄图像中格栅关注区域的第一白色占比和第二白色占比；

根据所述第一白色占比、所述第二白色占比、第一预设载荷识别参数以及第二预设载荷识别参数，确定所述叉车的载荷状态，其中，所述第一预设载荷识别参数小于所述第二预设载荷识别参数，所述载荷状态包括：单袋载荷、双袋载荷或空载。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述分别获取所述叉臂触碰至所述上边界和所述下边界的拍摄图像中格栅关注区域的第一白色占比和第二白色占比，包括：

将所述叉臂触碰至所述上边界和下边界的拍摄图像均进行分块处理；

分别获取分块后的拍摄图像中各块的平均灰度值；

根据预设灰度阈值，将所述各块的平均灰度值进行二值化；

根据二值化后所述各块的平均灰度值以及分块数目，分别确定所述第一白色占比以及所述第二白色占比。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述预设灰度阈值通过以下步骤确定：

根据所述叉臂触碰至所述上边界或下边界的拍摄图像的灰度值，确定所述预设灰度阈值。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述根据所述第一白色占比、所述第二白色占比、第一预设载荷识别参数以及第二预设载荷识别参数，确定所述叉车的载荷状态，包括：

计算所述第一白色占比与所述第二白色占比的白色占比差值；

若所述白色占比差值大于所述第一预设载荷识别参数且小于所述第二预设载荷识别参数，则确认所述载荷状态为单袋载荷；

若所述白色占比差值大于所述第二预设载荷识别参数，则确认所述载荷状态为双袋载荷；

若所述白色占比差值小于所述第一预设载荷识别参数，则确认所述载荷状态为空载。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述方法还包括：

根据所述载荷状态，统计吨包出入库数量；

根据所述库房的初始吨包数量以及所述吨包出入库数量，统计所述库房内的吨包剩余数量；

记录所述叉车的出入库信息、所述吨包出入库数量以及所述吨包剩余数量，并上传。

根据本公开的第二方面，提供了一种电子设备。该电子设备包括：存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如以上所述的方法。

根据本公开的第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如根据本公开的第一方面的方法。

本公开中，通过采集当前目标未进入所述摄像头对应的格栅关注区域的多张待识别图像，可对当前特征进行自动提取，然后根据当前特征准确判断当前目标是否为叉车，若为叉车，则可自动识别叉车为进库还是出库，从而通过图像准确而自动地对叉车的进出库进行识别。

应当理解，发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。

附图说明

结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。附图用于更好地理解本方案，不构成对本公开的限定在附图中，相同或相似的附图标记表示相同或相似的元素，其中：

图1示出了根据本公开的实施例的进出库识别方法的流程图；

图2示出了根据本公开的实施例的进出库识别装置的框图；

图3示出了根据本公开的实施例的叉车出库的示意图；

图4示出了根据本公开的实施例的叉车进库的示意图；

图5示出了根据本公开的实施例的格栅关注区域与叉车以及库房门之间的尺寸关系示意图；

图6示出了能够实施本公开的实施例的示例性电子设备的方框图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本公开保护的范围。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

图1示出了根据本公开实施例的进出库识别方法100的流程图。方法100可以包括：

步骤110，通过安装在库房门外顶部的摄像头采集待识别图像；所述待识别图像中的当前目标未进入所述摄像头对应的格栅关注区域；

待识别图像可以是当前目标进入摄像头的图像拍摄区域但尚未进入格栅关注区域的多张图像；且这多张图像可以是连续拍摄的，也可以是间隔拍摄的。

而格栅关注区域为图像拍摄区域中的一段区域，如格栅关注区域为图像拍摄区域的中间区域。图像拍摄区域即摄像头可拍摄的视觉范围，如图3和图4所示。

其次，格栅关注区域的大小可以如图5所示，图中网格区域为格栅关注区域，其宽度Wr要尽可能覆盖到叉车进出库的必经区域，长度Lr尽可能接近叉车臂长。在本次应用案例中，该格栅关注区域设置在监控摄像头正下方，Wr接近门宽，格栅长度Lr为0.7*Lh。

Wi：图片的宽度(即图像拍摄区域的宽度)；Li：图片长度(即图像拍摄区域的长度)；Wr:格栅宽度；Lr：格栅长度；Lv：叉车长度；Wv：叉车宽度；Lh:叉车臂长度。

另外，库房门顶部有一个向外延伸出来的水平房檐，摄像头固定安装在房檐下，即摄像头位于库房门外顶部，因而，摄像头拍摄的所有图像均为俯视图。

步骤120，对所述待识别图像中的当前特征进行提取，其中，所述当前特征包括：当前尺寸特征、当前轮廓特征、当前关键部位特征；当前关键部位特征因当前目标而异，如当前目标为叉车，则当前关键部位特征可以为叉臂的轮廓、尺寸特征，当前目标为小鸟，则当前关键部位特征可以为嘴巴特征。

步骤130，根据所述当前特征，识别所述当前目标是否为运输吨包的叉车；

步骤140，若为叉车，则对所述叉车进行进出库识别。当然，若非叉车，则说明是人或其他非叉车物体或者活物，则可进行预警，以减少安全事故出现次数，尽可能确保安全。

通过采集当前目标未进入所述摄像头对应的格栅关注区域的多张待识别图像，可对当前特征进行自动提取，然后根据当前特征准确判断当前目标是否为叉车，若为叉车，则可进一步自动识别叉车为进库还是出库，从而通过图像准确而自动地对叉车的进出库进行识别，可自动剔除非叉车的进出库，也避免了由于叉车作业时观察死角大导致无法识别非叉车进库。

在一些实施例中，所述对所述待识别图像中的当前特征进行提取，包括：

对多张所述待识别图像进行灰度变化识别，以提取所述当前特征；

所述根据所述当前特征，判断所述当前目标是否为运输所述吨包的叉车，包括：

判断所述当前特征是否与所述叉车的预设特征相匹配；预设特征包括但不限于：叉车的长度、叉车的宽度、叉车臂的轮廓、叉车臂的尺寸等。

若匹配，则判定所述当前目标为所述叉车。

通过对多张所述待识别图像进行灰度变化识别，可确定灰度变化特征(如灰度变化的位置/区域、灰度不变的位置/区域等)，从而确定当前目标的尺寸特征、轮廓特征、关键部位特征以作为当前特征，然后将当前特征与叉车的预设特征进行对比，以判断两者是否匹配，若匹配，则说明当前特征为叉车的特征，因而，可自动判定待识别图像中的当前目标为叉车。

在一些实施例中，所述若为叉车，则对所述叉车进行进出库识别，包括：

若为叉车，且先采集到所述叉车的叉臂触碰至所述格栅关注区域上边界的拍摄图像后采集到所述叉臂触碰至所述下边界的拍摄图像，则确认所述叉车入库，如图4所示；

下边界为摄像头的图像拍摄区域中位于库房内侧的边界，上边界为摄像头的图像拍摄区域中位于库房外侧的边界。

反之，若先采集到所述叉臂触碰至所述下边界的拍摄图像后采集到所述叉臂触碰至所述上边界的拍摄图像，则确认所述叉车出库，如图3所示。

由于摄像头位于库房门外顶部，因而，若先采集到所述叉车的叉臂触碰至所述格栅关注区域上边界的拍摄图像后采集到所述叉臂触碰至所述下边界的拍摄图像，则说明检测到叉臂先触碰到上边界后触碰到下边界，因而，可准确确认叉车在进行入库操作，如图4所示；或者

若先采集到所述叉臂触碰至所述下边界的拍摄图像后采集到所述叉臂触碰至所述上边界的拍摄图像，则说明检测到叉臂先触碰到下边界后触碰到上边界，如图3所示，因而，可准确确认叉车在进行出库操作。

在一些实施例中，所述方法还包括：

分别获取所述叉臂触碰至所述上边界和所述下边界的拍摄图像中格栅关注区域的第一白色占比和第二白色占比；

叉臂触碰至上边界的拍摄图像为叉臂首次触碰至上边界的拍摄图像；

叉臂触碰至下边界的拍摄图像为叉臂首次触碰至下边界的拍摄图像；

第一白色占比用于表征叉臂首次触碰至格栅关注区域的上边界和下边界中的一个边界的拍摄图像中，格栅关注区域中白色像素点在整个格栅关注区域中的占比；

第二白色占比用于表征叉臂首次触碰至格栅关注区域的上边界和下边界中的另一个边界的拍摄图像中，格栅关注区域中白色像素点在整个格栅关注区域中的占比；

根据所述第一白色占比、所述第二白色占比、第一预设载荷识别参数以及第二预设载荷识别参数，确定所述叉车的载荷状态，其中，所述第一预设载荷识别参数小于所述第二预设载荷识别参数，所述载荷状态包括：单袋载荷、双袋载荷或空载。单袋载荷指的是叉车的2个叉臂中只有1个叉臂上叉有吨包；双袋载荷指的是叉车的2个叉臂中每个叉臂上均叉有吨包；空载指的是叉车的2个叉臂中每个叉臂上均未叉吨包。

由于民爆炸药厂中叉车所叉的吨包通常为硝酸铵吨包，而硝酸铵吨包的颜色为白色，而载荷状态的不同会导致格栅关注区域中的白色区域明显不同，因而，可统计第一白色占比和第二白色占比，然后根据所述第一白色占比、所述第二白色占比、第一预设载荷识别参数以及第二预设载荷识别参数，自动识别叉车的载荷状态，从而对吨包的进出库进行自动识别。

在一些实施例中，所述分别获取所述叉臂触碰至所述上边界和所述下边界的拍摄图像中格栅关注区域的第一白色占比和第二白色占比，包括：

将所述叉臂触碰至所述上边界和下边界的拍摄图像均进行分块处理；

分别获取分块后的拍摄图像中各块的平均灰度值；

根据预设灰度阈值，将所述各块的平均灰度值进行二值化；

根据二值化后所述各块的平均灰度值以及分块数目，分别确定所述第一白色占比以及所述第二白色占比。

通过对拍摄图像进行分块处理，可自动计算分块后的拍摄图像中各块的平均灰度值，然后为了便于快速判断可对各块的平均灰度值进行二值化，进而根据二值化后所述各块的平均灰度值以及分块数目，分别准确计算第一白色占比以及所述第二白色占比。

其次，为了方便计算平均灰度值，在进行分块之前，可对拍摄图像进行灰度处理，得到其对应的灰度图，然后分别获取叉臂触碰至所述上边界和下边界的拍摄图像对应的灰度图中各块的平均灰度值；而利用平均灰度值进行载荷状态的识别，相比于利用灰度以及原始像素值进行识别而言，由于计算量小，因而，可提高识别效率，与叉车快速进出库的应用场景相匹配。

另外，由于叉车进出库速度非常快，因而，为了快速计算白色占比加速图像识别，在进行分块时，可只对叉臂触碰至所述上边界和下边界的拍摄图像对应的灰度图中的格栅关注区域进行分块，从而通过设置格栅关注区域来减少灰度值的统计量进而提高识别效率。

其中，第一白色占比和第二白色占比的计算公式可以如下：

其中，dG1为第一白色占比，dG2为第二白色占比，Nx和Ny为拍摄图像在水平和垂直方向上的分块的行列数，X，Y为分块大小常数以像素为单位，

g(i,j)表示格栅关注区域中行列数为i、j的那个图像块的平均灰度值，W预设灰度阈值，Gw1和Gw2分别为第一预设载荷识别参数以及第二预设载荷识别参数；

白色占比差值ΔdG＝dG1-dG2，当Gw1<ΔdG<Gw2时，载荷为1袋(即单袋载荷)；当ΔdG>Gw2时，载荷为2袋(即双袋载荷)；

当ΔdG＜Gw1时为空载。

在一些实施例中，所述预设灰度阈值通过以下步骤确定：

根据所述叉臂触碰至所述上边界或下边界的拍摄图像的灰度值，确定所述预设灰度阈值。如果叉臂首次触碰至上边界，就采用叉臂触碰至所述上边界的拍摄图像；而如果叉臂首次触碰至下边界，就采用叉臂触碰至所述下边界的拍摄图像。

由于背景(地面)受光照影响会导致光照强度不同，背景亮度不同，因而，如果通过一个预设灰度阈值来进行二值化处理，大于该阈值的像素点就会被划归为白色，小于该阈值的像素点就会被划归为黑色；当光照增强时，视频图像中的所有像素点就有可能判断全为白色；当光照减弱时，图像中的所有像素有可能判断全为黑色，且在光照强度变化范围宽泛时，固定阈值就无法识别，因而，本实施例采取动态阈值参与计算，叉车由视域外活动进入到视域内活动时，会记录下此时环境光下，叉臂首次触碰至某边界的第一帧灰度画面，然后以第一帧灰度画面上部受环境光影响较大的1/4画面的平均灰度值W(i,j)作为预设灰度阈值；

另外，由于叉车运行速度较快，环境光相对于叉车前进速度的变化是缓慢的，在完成对叉车识别的过程中环境光造成的W值占比可认为基本不变，且虽然对于当前叉车来说W值是不变的，而对在不同光照强度进入的叉车来说W值是不同的。

在一些实施例中，所述根据所述第一白色占比、所述第二白色占比、第一预设载荷识别参数以及第二预设载荷识别参数，确定所述叉车的载荷状态，包括：

计算所述第一白色占比与所述第二白色占比的白色占比差值；

若所述白色占比差值大于所述第一预设载荷识别参数且小于所述第二预设载荷识别参数，则确认所述载荷状态为单袋载荷；

若所述白色占比差值大于所述第二预设载荷识别参数，则确认所述载荷状态为双袋载荷；

若所述白色占比差值小于所述第一预设载荷识别参数，则确认所述载荷状态为空载。

通过计算第一白色占比与所述第二白色占比的白色占比差值，然后将白色占比差值分别于第一预设载荷识别参数与第二预设载荷识别参数进行大小比对，可准确确定叉车本次进出库时是单袋载荷、双袋载荷还是空载，以便于实现对载荷状态的自动识别，提高吨包进出库的识别和识别效率，避免进出库统计出错。

在一些实施例中，所述方法还包括：

根据所述载荷状态，统计吨包出入库数量；

根据所述库房的初始吨包数量以及所述吨包出入库数量，统计所述库房内的吨包剩余数量；

记录所述叉车的出入库信息、所述吨包出入库数量以及所述吨包剩余数量，并上传。出入库信息可以是叉车的出入库时间、出入库视频等。当然，记录的信息还可以包括：叉臂叉取吨包的视频等。

将叉车每次进出库的载荷状态进行累计后，可统计一段时间内的吨包出入库数据，并基于初始吨包数量，计算出吨包剩余数量，同时将叉车的出入库信息、所述吨包出入库数量以及所述吨包剩余数量进行记录后，上传至管理平台，以便于之后可对这些信息随时进行查看、删除等操作，从而实现吨包进出库的自动管理。

下面将结合图2至图5进一步详细说明本公开的技术方案：

如图2所示，依据功能过程分为视频采集、信息传输、视频检测和数据管理四个模块。视频采集模块由高清摄像头提供清晰达到分析精度要求的连续数字视频信号，视频信号清晰度影响到视频识别的准确度；信息传输模块将大量视频流信息传送到主机的视频检测模块，视频检测模块从视频流中提取移动物体的关键特征，筛选符合预设模型的帧，并判断吨包进库、出库运行状态和数量，然后将分析结果导入数据管理模块进行决策处理；数据管理模块同时负责信息的存储、查询和现场显示，其中视频分析模块是本系统中完成处理识别工作的核心模块。

本公开的应用环境为特定移动物体的视频识别，叉车从室内、室外频繁往复运动，物体移动速度较快，叉车进出库特征识别中视频检测模块设定检测格栅上下高度为1米，按叉车最高速度2.5米/秒计算通过格栅关注区域的时间为400毫秒；设定视频流的画面读取速度为15帧/秒，则本公开获取和分析单帧时间周期是67毫秒，在叉车通过时需读取近6帧画面进行处理。故对系统响应和分析模块处理速度要求较高。

视频识别原理

为了满足高速处理需求，视频检测模块直接读取视频采集模块的灰度图像，然后使用帧间差分法进行视频画面分析，帧间差分法主要是利用视频中连续帧或者联系多帧的图像之间的差异来检测发生变化或目标运动的区域；该算法主要是通过相邻帧灰度图像的“差异”获取目标轮廓。

图像特征

叉车在进出库时会在100度夹角范围内的随机位置进入库房，为使叉车进出库视频场景可重复，选择摄像头高位俯视安装来获取进出库视频，将摄像头安装在库房门外部中间的顶部，由于门宽的限制，叉车会以相对固定的姿态行进过该位置。

运动物体的特征

在销酸铵吨包进出库识别应用中，由于叉车工作时不停以较快速度运动，为了加快识别速度，采用帧间差分法数据对比的方式来提取物体的轮廓(长度、宽度)、运动方向；首先识别运动物体，在识别到运动物体后再从格栅关注区域提取叉车的灰度特征、荷载特征。

取长和宽的值为叉车显著特征，叉车双叉车臂为叉车辅助特征，形成组合逻辑。

进出库物体识别剔除：

在销酸铵库进入视频识别区域的主要是人、叉车、飞鸟、卡车等外形特征小于或异于叉车的物体，人和飞鸟相对于叉车的外形尺寸要小很多，叉车进入摄像头的图像拍摄区域时其宽度大于格栅关注区域的70％，长度超过格栅关注区域的长度，所以可通过外形尺寸差异值和整体宽度占比阀值，叉车及叉车臂特征组合逻辑进行对比，来区分叉车和其它运动物体。

进出库和吨包数量识别

进出库识别

叉车出、入库时叉车叉臂会分别从两边进入视频格栅检测区域，系统识别计算运动物体进库还是出库通过识别区域上下两条边线的时间顺序来区分。叉车轮廓首先通过格栅关注区域的下边缘时，表示叉车由库内开向库外——出库，如图3所示；叉车轮廓首先通过格栅关注区域的上边缘时，表示叉车由库外开向库内——入库，如图4所示。

环境光智能适应

作业现场环境光随着晴天、阴天、时间不断变化，复杂的外部环境光变化为准确别增加难度，地面有阴影会增加差分识别准确度，为了解决这个问题在识别运算中增加了环境自适跟踪算法。

背景(地面)受光照影响导致光照强度不同，背景亮度不同；如果通过一个固定阀值来判断进行二值化处理，大于该阈值的该像素点划归为白色，小于的系统将之划归为黑色；大于该阈值的像素点就会被划归为白色，小于该阈值的像素点就会被划归为黑色；当光照增强时，视频图像中的所有像素点就有可能判断全为白色；当光照减弱时，图像中的所有像素有可能判断全为黑色，且在光照强度变化范围宽泛时，固定阈值就无法识别。

因而，可采取动态阈值参与计算，叉车由视域外活动进入到视域内活动时，系统记录下此时环境光下得第一帧灰度画面(叉车臂第一次触碰到格栅关注区域的边界的图像)，并以画面上部受环境光影响较大的1/4画面的平均灰度值W(i,j)作为当前亮度阀值；由于叉车运行速度较快，环境光相对于叉车前进速度的变化是缓慢的，在完成对叉车识别的过程中环境光造成的W值占比可认为基本不变，且对于当前叉车来说W值是不变的，而对在不同光照强度进入的叉车来说W值是不同的。

此算法可以过滤掉95％由环境光造成的误识、错识，结合叉车特征组合逻辑交叉对比，可100％正确识别叉车和吨包数量。

另外，以当前亮度阀值W(i,j)进行二值化处理对比式：

g(i,j)表示格栅关注区域中某个块的平均灰度值，

本公开的帧间差分法中计算平均灰度值g(i,j)的原理如下：

(1)格栅关注区域的原始图像的灰度为关于坐标x、y的分布函数，记为G(x,y)；

(2)图像变换：对格栅关注区域按

规则进行分块，得到新的关于块坐标的分布函数，X，Y为分块大小常数，以像素为单位，可根据需求设定，程序可取X＝Y＝4；则

为分块行列数。乘除运算按整数运算规则；

(3)计算格栅关注区域的平均灰度值g(i,j)：

载荷识别

叉车载荷为销酸铵吨包袋，色彩特征为白色，转成灰度图后单袋垂直投影面积在识别区域占比超过20％，跟周围环境具有相当大的辨识度。叉车轮廓通过了识别区域上下两条线时进入到载荷识别流程。载荷识别通过帧间差分灰度识别算法确定臂上是2袋还是1袋，1个手臂上最多插1袋

算法描述：

a、叉车进入视觉区域时(叉臂第一次触碰到格栅关注区域的边界)记录识别区域的白色占比dG1；

b、叉车进入载荷识别状态时(叉臂第一次触碰到格栅关注区域的另一边界)识别区域的的白色占比为dG2；ab间隔毫秒级别小于再次进库时间

c、Gw1、Gw2为设定的区分载荷识别参照常数；

d、步骤a和b中的dG1和dG2的计算公式如下：识别区域亮度方程：

e、ΔdG＝dG1-dG2，当Gw1<ΔdG<Gw2时，载荷为1袋；当ΔdG>Gw2时，载荷为2袋；

当ΔdG＜Gw1时为空载。

数据管理

数据管理主要可对识别过程和识别数据进行管理应用，可对即时进出情况进行远程查看和管理设定。

视频分析模块完成识别后，将识别结果和移交给数据管理模块，管理模块完成以下内容：

⑴存储识别记录数据包括：出入库时间、吨包数量、电子证据(照片)；

⑵识别记录可以按日期查询，查询结果以列表方式显示；

⑶双击记录可以查看进出库电子证据；

⑷数据应用：现场LED显示，显示内容包括：库存总量，最近一次记录；

⑸将数据发送给炸药厂智能管理平台，作为智能管理系统硝酸铵库存管理的基础数据。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本公开并不受所描述的动作顺序的限制，因为依据本公开，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本公开所必须的。

以上是关于方法实施例的介绍，以下通过装置实施例，对本公开所述方案进行进一步说明。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，所述描述的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

根据本公开的实施例，本公开还提供了一种电子设备和存储有计算机指令的非瞬时计算机可读存储介质。

图6示出了可以用来实施本公开的实施例的电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元606加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如方法100。例如，在一些实施例中，方法100可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM603并由计算单元601执行时，可以执行上文描述的方法100的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法100。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (10)

1.一种进出库识别方法，其特征在于，包括：

通过安装在库房门外顶部的摄像头采集待识别图像；所述待识别图像中的当前目标未进入所述摄像头对应的格栅关注区域；

对所述待识别图像中的当前特征进行提取，其中，所述当前特征包括：当前尺寸特征、当前轮廓特征、当前关键部位特征；

根据所述当前特征，识别所述当前目标是否为运输吨包的叉车；

若为叉车，则对所述叉车进行进出库识别。

2.根据权利要求1所述的方法，其特征在于，

所述对所述待识别图像中的当前特征进行提取，包括：

对多张所述待识别图像进行灰度变化识别，以提取所述当前特征；

所述根据所述当前特征，判断所述当前目标是否为运输所述吨包的叉车，包括：

判断所述当前特征是否与所述叉车的预设特征相匹配；

若匹配，则判定所述当前目标为所述叉车。

3.根据权利要求1或2所述的方法，其特征在于，

所述若为叉车，则对所述叉车进行进出库识别，包括：

若为叉车，且先采集到所述叉车的叉臂触碰至所述格栅关注区域上边界的拍摄图像后采集到所述叉臂触碰至所述下边界的拍摄图像，则确认所述叉车入库；

反之，若先采集到所述叉臂触碰至所述下边界的拍摄图像后采集到所述叉臂触碰至所述上边界的拍摄图像，则确认所述叉车出库。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

分别获取所述叉臂触碰至所述上边界和所述下边界的拍摄图像中格栅关注区域的第一白色占比和第二白色占比；

根据所述第一白色占比、所述第二白色占比、第一预设载荷识别参数以及第二预设载荷识别参数，确定所述叉车的载荷状态，其中，所述第一预设载荷识别参数小于所述第二预设载荷识别参数，所述载荷状态包括：单袋载荷、双袋载荷或空载。

5.根据权利要求4所述的方法，其特征在于，

所述分别获取所述叉臂触碰至所述上边界和所述下边界的拍摄图像中格栅关注区域的第一白色占比和第二白色占比，包括：

将所述叉臂触碰至所述上边界和下边界的拍摄图像均进行分块处理；

分别获取分块后的拍摄图像中各块的平均灰度值；

根据预设灰度阈值，将所述各块的平均灰度值进行二值化；

根据二值化后所述各块的平均灰度值以及分块数目，分别确定所述第一白色占比以及所述第二白色占比。

6.根据权利要求5所述的方法，其特征在于，所述预设灰度阈值通过以下步骤确定：

根据所述叉臂触碰至所述上边界或下边界的拍摄图像的灰度值，确定所述预设灰度阈值。

7.根据权利要求4所述的方法，其特征在于，

所述根据所述第一白色占比、所述第二白色占比、第一预设载荷识别参数以及第二预设载荷识别参数，确定所述叉车的载荷状态，包括：

计算所述第一白色占比与所述第二白色占比的白色占比差值；

若所述白色占比差值大于所述第一预设载荷识别参数且小于所述第二预设载荷识别参数，则确认所述载荷状态为单袋载荷；

若所述白色占比差值大于所述第二预设载荷识别参数，则确认所述载荷状态为双袋载荷；

若所述白色占比差值小于所述第一预设载荷识别参数，则确认所述载荷状态为空载。

8.根据权利要求4至7中任一项所述的方法，其特征在于，所述方法还包括：

根据所述载荷状态，统计吨包出入库数量；

根据所述库房的初始吨包数量以及所述吨包出入库数量，统计所述库房内的吨包剩余数量；

记录所述叉车的出入库信息、所述吨包出入库数量以及所述吨包剩余数量，并上传。

9.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。

10.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行根据权利要求1-8中任一项所述的方法。

Images