CN115063716A - 仓库行车出入库货物的数量监管和模型构建的方法 - Google Patents

仓库行车出入库货物的数量监管和模型构建的方法 Download PDF

Info

Publication number
CN115063716A
CN115063716A CN202210632910.6A CN202210632910A CN115063716A CN 115063716 A CN115063716 A CN 115063716A CN 202210632910 A CN202210632910 A CN 202210632910A CN 115063716 A CN115063716 A CN 115063716A
Authority
CN
China
Prior art keywords
image
image data
warehouse
frame
goods
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210632910.6A
Other languages
English (en)
Inventor
成常杰
朱彭生
王明杰
王键
陈建华
续杰
陈昌杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ouye Yunshang Co ltd
Original Assignee
Ouye Yunshang Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ouye Yunshang Co ltd filed Critical Ouye Yunshang Co ltd
Priority to CN202210632910.6A priority Critical patent/CN115063716A/zh
Publication of CN115063716A publication Critical patent/CN115063716A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Finance (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Accounting & Taxation (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种仓库行车出入库货物的数量监管和模型构建的方法及电子设备，所述方法包括：采集仓库行车进库和出库的视频图像，所述视频图像包含所述仓库行车出入库货物；对所述视频图像按照第一时间间隔抽取图像帧，所述图像帧的集合为第一图像数据；确定所述第一图像数据中每一帧图像是否含有行车，如果含有行车，则记录为第二图像数据，并记录该帧图像的采集时间戳；计算所述第二图像数据中所述采集时间戳在设定时间窗内的图像的帧数为第一帧数；将所述第一帧数和阈值进行比较，确定感兴趣图像数据；将所述感兴趣图像数据输入训练好的神经网络模型；根据所述神经网络模型的输出结果进行分析，得到分析结果和所述货物的数量。

Description

仓库行车出入库货物的数量监管和模型构建的方法
技术领域
本申请涉及计算机视觉领域，具体涉及一种仓库行车出入库货物的数量监管和模型构建的方法及电子设备。
背景技术
目前，在钢材仓库，主要使用仓库管理系统WMS来进行货物的各项业务操作。该系统可以独立进行使用，也可以与其他系统对接，实现完整的物流管理。但是，目前WMS系统存在着一些缺陷。第一，数据的实时性不够好，系统数据与实物操作存在着一定延迟。例如，当仓库需要入库一批货物时，可能会先将入库实绩录入到系统中，而货物尚未实际入库。这种情况影响了仓库对于货物的有效管理。第二，目前需要监管人员定期去仓库进行盘点，盘点仓库中的实际库存是否与系统中的库存量一致，这个工作量会耗费较大的人力成本与时间成本。
发明内容
本申请旨在提供一种仓库行车出入库货物的数量监管和模型构建的方法及电子设备，通过获取仓库行车进库和出库的视频与图像，进行图像分析识别，对货物数量进行监管，为仓库的管理、监管与盘点等提供辅助支撑，减少原有的人工盘点次数，降低人工盘点带来的成本与安全隐患。
根据本申请的一方面，提出一种仓库行车出入库货物的数量监管的方法，包括：
采集仓库行车进库和出库的视频图像，所述视频图像包含所述仓库行车出入库货物；
对所述视频图像按照第一时间间隔抽取图像帧，所述图像帧的集合为第一图像数据；
确定所述第一图像数据中每一帧图像是否含有行车，如果含有行车，则记录为第二图像数据，并记录该帧图像的采集时间戳；
计算所述第二图像数据中所述采集时间戳在设定时间窗内的图像的帧数为第一帧数；
将所述第一帧数和阈值进行比较，确定感兴趣图像数据；
将所述感兴趣图像数据输入训练好的神经网络模型；
根据所述神经网络模型的输出结果进行分析，得到分析结果和所述货物的数量。
根据一些实施例，所述计算所述第二图像数据中所述采集时间戳在设定时间窗内的图像的帧数为第一帧数，包括：
根据所述仓库行车的速度，设定时间窗，所述时间窗的时间间隔为第二时间间隔，所述第二时间间隔大于所述第一时间间隔。
根据一些实施例，所述将所述第一帧数和阈值进行比较，确定感兴趣图像数据，包括：
如果所述第一帧数超过第一阈值，则对应的所述第二时间间隔内记录的最早的所述采集时间戳为第一时间戳；
如果所述第一帧数小于第二阈值，则对应的所述第二时间间隔内记录的最晚的所述采集时间戳为第二时间戳。
根据一些实施例，所述将所述第一帧数和阈值进行比较，确定感兴趣图像数据，还包括：
将所述第二图像数据中采集时间戳在所述第一时间戳和所述第二时间戳之间的图像作为所述感兴趣图像数据。
根据一些实施例，所述方法还包括：
将所述分析结果输出给前端进行展示；
将所述分析结果反馈给所述神经网络模型，通过所述神经网络模型进行再训练。
根据本申请的另一方面，提出一种用于仓库行车出入库货物数量监管的模型构建方法，包括：
采集货物的视频图像；
根据所述视频图像，获取感兴趣图像数据；
将所述感兴趣图像数据进行标注；
将标注后的数据输入神经网络模型进行训练；
根据训练结果进行分析，得到分析结果和所述货物的数量；
对所述分析结果进行人工评判，根据所述人工评判结果，对所述神经网络模型进行再训练。
根据一些实施例，所述将所述感兴趣图像数据进行标注，包括：
在所述感兴趣图像数据中的每一帧图像标注出所述行车所在区域和所述货物所在区域。
根据一些实施例，所述方法还包括：
利用深度仿生卷积网络模型进行训练。
根据本申请的另一方面，提供一种电子设备，包括：
存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法中任一项所述的方法。
根据本申请的另一方面，提供一种计算机程序产品，包括计算机程序或指令，该计算机程序或指令被处理器执行时实现上述方法中任一项所述的方法。
根据本申请示例实施例，通过获取仓库行车进库和出库的视频与图像，进行图像分析识别，对货物数量进行监管，为仓库的管理、监管与盘点等提供辅助支撑，减少原有的人工盘点次数，降低人工盘点带来的成本与安全隐患。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。
图1示出根据本申请示例实施例的仓库行车出入库货物的数量监管的方法流程图。
图2示出根据本申请示例实施例的仓库行车出入库货物的数量监管的流程示意图。
图3示出根据本申请示例实施例的用于仓库行车出入库货物数量监管的模型构建方法。
图4示出根据一示例性实施例的一种电子设备的框图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本申请将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
应理解，虽然本文中可能使用术语第一、第二、第三等来描述各种组件，但这些组件不应受这些术语限制。这些术语乃用以区分一组件与另一组件。因此，下文论述的第一组件可称为第二组件而不偏离本申请概念的教示。如本文中所使用，术语“及/或”包括相关联的列出项目中的任一个及一或多者的所有组合。
本领域技术人员可以理解，附图只是示例实施例的示意图，附图中的模块或流程并不一定是实施本申请所必须的，因此不能用于限制本申请的保护范围。
随着人工智能技术的发展，针对仓库货物的管理，除了用传统的信息软件技术的手段以外，考虑利用计算机视觉技术对货物进行辅助的管理与监管。
本申请提供了一种基于计算机视觉的仓库行车出入库货物数量监管方法，为仓库的管理、监管与盘点等提供辅助支撑。通过在仓库内行车轨迹方向安装摄像头，获取行车进库和出库的视频与图像，进行图像分析识别。
以货物为钢材为例，其主要包括的步骤有：通过图像识别技术获取每日行车进库和出库装载的钢材类型，例如，钢材类型包括钢卷、螺纹钢、线材三大类；对于行车上的装载的货物是钢材的，计算出每一次出库或者入库的数量，每天进行统计，据此可以计算出行车每天的钢材出库量与入库量。
通过本申请可以定期对出入库货物数量进行一次统计盘点，减少原有的人工盘点次数，降低人工盘点带来的成本与安全隐患。
本申请基于机器视觉技术对仓库出入库货物进行数量统计，与原有的仓库管理系统WMS相辅相成，达到辅助监管的目的，其主要有以下几个优点：
图像识别技术较为成熟，识别效果较好。视觉技术也更为直观，有源文件存档，可以离线在线多种方式进行分析；
设备需求简单，成本较低，维护方便；
具有可复用性，具备一定的推广价值；
实时掌握每天仓库的出入库货物数量，与仓库管理系统WMS相比，具有较好的时效性。
以下结合附图对本申请的示例实施例进行说明。
图1示出根据本申请示例实施例的仓库行车出入库货物的数量监管的方法流程图。
参见图1，在S101，采集仓库行车进库和出库的视频图像，所述视频图像包含所述仓库行车出入库货物。
根据一些实施例，通过在仓库内行车轨迹方向安装摄像头，获取行车进库和出库的视频与图像。
在S103，对所述视频图像按照第一时间间隔抽取图像帧，所述图像帧的集合为第一图像数据。
根据一些实施例，对视频进行固定时间间隔的视频帧抽取(例如按照每秒钟取两帧)。
在S105，确定所述第一图像数据中每一帧图像是否含有行车，如果含有行车，则记录为第二图像数据，并记录该帧图像的采集时间戳。
根据一些实施例，分析对应的时间段的数据是否是含有车辆，如果含有车辆将对时间进行记录。
在S107，计算所述第二图像数据中所述采集时间戳在设定时间窗内的图像的帧数为第一帧数。
根据一些实施例，根据所述仓库行车的速度，设定时间窗，所述时间窗的时间间隔为第二时间间隔，所述第二时间间隔大于所述第一时间间隔。
在S109，将所述第一帧数和阈值进行比较，确定感兴趣图像数据。
如果所述第一帧数超过第一阈值，则对应的所述第二时间间隔内记录的最早的所述采集时间戳为第一时间戳；如果所述第一帧数小于第二阈值，则对应的所述第二时间间隔内记录的最晚的所述采集时间戳为第二时间戳。将所述第二图像数据中采集时间戳在所述第一时间戳和所述第二时间戳之间的图像作为所述感兴趣图像数据。
根据一些实施例，根据得到的关键帧的数据进行时间窗的划定。对得到的时间戳进行分析，按照每整分钟进行处理，计算该分钟中的含有车辆的张数，如果某分钟记录数超过总记录数120的一半且该分钟后续的一分钟记录数也超过120的一半，则认为该分钟为起始时间，如果某分钟记录数超过总记录数120的一半且该分钟后续的一分钟记录数未超过120的一半，则认为该分钟为终止时间。
在S111，将所述感兴趣图像数据输入训练好的神经网络模型。
根据一些实施例，根据获取的图片，标注图片中的车辆，钢卷，螺纹钢、线材等数据，训练方法采用了深度仿生卷积网络(Yolov5)的方法进行。
在S113，根据所述神经网络模型的输出结果进行分析，得到分析结果和所述货物的数量。
根据一些实施例，对神经网络模型输出的结果进行分析，得到货物出入库的数量，并可将结果传送到前端展示模型。使使用者方便的查看货物出入数量信息。同时将该数据储存到数据库中，便于后续的查询使用。
图2示出根据本申请示例实施例的仓库行车出入库货物的数量监管的流程示意图。
本申请方法通过获取终端摄像设备的仓库的行车进库和出库日出入库视频，分析每天出入仓库的车辆出入库货物数量。以下以货物为钢材为例进行说明。
根据一些实施例，采用本申请方法的系统可包括视频采集模块，计算机视觉模块，数据训练与学习模块，数据分析模块和前端展示模块。
A.首先，视频采集模块经过初步处理，传送到计算机视觉模块，之后通过人工标注等方式进入数据训练与学习模块，获得模型的初始值，将数据经过数据再加工，送至数据分析模块，经过数据分析模块之后，给出每个时间点的出入库钢材品种和数量，之后传送至前端展示模块，展示模块的初期根据人工的反馈对模型进行再训练，最终形成成熟的模型系统。
视频采集模块主要采用终端摄像头收集生产作业场景下的数据，并对数据进行直方图均值化，图像平滑和白平衡等初步处理，完成初步处理后将数据传送至计算机视觉模块。
图像的构成是由像素点构成的，每个像素点的值代表着该点的颜色(灰度图或者彩色图)。所谓直方图就是对图像的中的这些像素点的值进行统计，得到一个统一的整体的灰度概念。直方图的好处就在于可以清晰了解图像的整体灰度分布，这对于后面依据直方图处理图像来说至关重要。
图像的直方图是对图像对比度效果上的一种处理，旨在使得图像整体效果均匀，黑与白之间的各个像素级之间的点更均匀一点。通过这种方法，亮度可以更好地在直方图上分布。这样就可以用于增强局部的对比度而不影响整体的对比度，直方图均衡化通过有效地扩展常用的亮度来实现这种功能。
图像平滑利用图像数据的冗余性来抑制图像噪声，通常依赖于其某邻域中的亮度数值求平均的形式。图像平滑的方法主要用于消除冲击噪声。
在日常拍摄中，会遇到各种光源，光源不同，色温也不同。有时，拍摄的画面会出现偏色，而白平衡就是用来解决这一问题的。白平衡具有以下作用：1、纠正色温，还原拍主体的色彩，使在不同光源条件下拍摄的画面同人眼观看的画面色彩相近。2、通过控制色温，可以获得色彩效果迥异的照片。
B.计算机视觉模块从视频采集模块得到的数据，计算机视觉模块将进行关键帧的获取工作。根据视频的质量,计算机视觉模块和后台的模型训练和自动学习模型，将自动获取感兴趣的时间窗。最终将获取到的时间窗传送至数据分析模块。
计算机视觉模块中，主要的执行操作有以下几步：
对视频进行固定时间间隔的视频帧抽取(例如按照每秒钟取两帧)，分析对应的时间段的数据是否是含有车辆，如果含有车辆将对时间进行记录。
根据得到的关键帧的数据进行时间窗的划定。对得到的时间戳进行分析，按照每整分钟进行处理，计算该分钟中的含有车辆的张数，如果某分钟记录数超过总记录数120的一半且该分钟后续的一分钟记录数也超过120的一半，则认为该分钟为起始时间，如果某分钟记录数超过总记录数120的一半且该分钟后续的一分钟记录数未超过120的一半，则认为该分钟为终止时间。
C.数据训练与学习模块将计算机视觉模块得到的视频，根据获取的图片，标注图片中的车辆，钢卷，螺纹钢、线材等数据，训练方法采用了深度仿生卷积网络(Yolov5)的方法进行。
人工标注的具体过程为：根据计算机视觉模块获取的视频的图片(根据视频每秒获取两帧的图片)。图片标注可采用VOTT等软件标注，标注完成后，针对每个图片会生成一个json文件。在模型训练时，需要读取相应的图片和json文件。
人工判断该图片是否有车辆，并标注。车辆需要完整的出现在图片中才能标注，标注的方法是用方框画出车辆所属的区域。
人工判断图片中是否有钢卷/螺纹钢/线材，并标注。例如，针对钢卷需要找到每一个钢卷的区域，并用方框画出每一个钢卷的区域。针对螺纹钢和线材，需要找到包含螺纹钢和线材的区域，并用方框画出包含螺纹钢和线材的区域。
深度仿生卷积网络方法(Yolov5)主要包含输入端、基准网络(Backbone)、颈部部分(Neck)、输出端四个组成部分。以下将具体介绍这几个部分的方法。
输入端
Mosaic数据增强：输入端采用了Mosaic数据增强的方式。Mosaic数据增强主要分为三个步骤。第一，根据人工标注的行车图片，从中随机读取四张图片。第二，分别分别对四张图片进行翻转(对原始图片进行左右的翻转)、缩放(对原始图片进行大小的缩放)、色域变化(对原始图片的明亮度、饱和度、色调进行改变)等操作。第三，进行图片的组合和框的组合。
自适应锚框计算：针对人工标注的数据集，Yolov5会设置初始长宽的锚框。根据初始锚框和真实的标注框进行对比，计算两者的差距，进行反向更新，迭代网络参数。
自适应图片缩放：在常用的目标检测算法中，不同的图片长宽都不相同，因此常用的方式是将原始图片统一缩放到一个标准尺寸，再送入检测网络中。这样导致两端的黑边大小不同，填充比较多时，存在信息冗余，影响训练速度。Yolov5首先计算缩放比例，之后计算出缩放后的尺寸，最后计算出黑边填充数值。
基准网络(Backbone)
Focus模块：Focus模块在Yolov5中是图片进入backbone前，对图片进行切片操作，具体操作是在一张图片中每隔一个像素拿到一个值，类似于邻近下采样，这样就拿到了四张图片，四张图片互补，长的差不多，但是没有信息丢失，这样一来，输入通道扩充了4倍，即拼接起来的图片相对于原先的RGB三通道模式变成了12个通道，最后将得到的新图片再经过卷积操作，最终得到了没有信息丢失情况下的二倍下采样特征图。
CSP结构:主要从网络结构设计的角度解决推理中从计算量很大的问题。CSP模块先将基础层的特征映射划分为两部分，然后通过跨阶段层次结构将它们合并，在减少了计算量的同时可以保证准确率。
颈部部分(Neck)
FPN+PAN结构：FPN是自顶向下的，将高层特征通过上采样和低层特征做融合得到进行预测的特征图。在FPN层的后面还添加了一个自底向上的特征金字塔。这样结合操作，FPN层自顶向下传达强语义特征，而特征金字塔则自底向上传达强定位特征，两两联手，从不同的主干层对不同的检测层进行参数聚合。
输出端
损失函数:损失函数可采用CIoU_Loss，设预测框为box_p,真实框为box_gt,两者的交集为A＝Intersection(box_p,box_gt),两者的并集为B＝Union(box_p,box_gt),IoU＝1–A/B。
也可以用其他的损失函数表示如下。其中，bgt表示真实框的中心点，b表示预测框的中心点，ρ()表示欧式距离，c表示预测框B与GT框bgt的最小外接矩阵的对角线距离。wgt表示真实框的宽，hgt表示真实框的高，w表示预测框的宽，h表示预测框的高。
Figure BDA0003679514840000101
Figure BDA0003679514840000102
Figure BDA0003679514840000103
nms非极大值抑制：nms的过程为：1)所有检测框按置信度从高到低排；2)取当前置信度最高的框，然后删除和这个框的iou高于阈值的框；3)重复第2步直到所有框处理完。
D.数据分析模块将从数据训练与学习模块获得的模型和计算机视觉模块获得的图像进行模型分析，得到钢材出入库的数量，并将结果传送到前端展示模型。
E.前端展示模块从数据分析模块得到的钢材数量的信息，前端进行展示。使使用者方便的查看钢材出入数量信息。同时将该数据储存到数据库中，便于后续的查询使用。
前端为可交互的模块，在模型的初期根据人工的反馈对模型进行再训练，最终形成成熟的模型系统。
图3示出根据本申请示例实施例的用于仓库行车出入库货物数量监管的模型构建方法。
参见图3，在S301，采集货物的视频图像。
根据一些实施例，视频采集模块获取数据，人工标注参与其中，在模型训练模块进行数据训练，并初始化模型参数。
在S303，根据所述视频图像，获取感兴趣图像数据。
根据一些实施例，对视频进行固定时间间隔(第一时间间隔)的视频帧抽取(例如按照每秒钟取两帧)。分析对应的时间段的数据是否是含有车辆，如果含有车辆将对时间进行记录。
根据一些实施例，根据所述仓库行车的速度，设定时间窗，时间窗的时间间隔大于第一时间间隔；计算采集时间戳在设定时间窗内的图像的帧数为第一帧数；将所述第一帧数和阈值进行比较，确定感兴趣图像数据。
在S305，将所述感兴趣图像数据进行标注。
根据一些实施例，标注的具体过程为：根据计算机视觉模块获取的视频的图片(根据视频每秒获取两帧的图片)。图片标注可采用VOTT等软件标注，标注完成后，针对每个图片会生成一个json文件。在模型训练时，需要读取相应的图片和json文件。
人工判断该图片是否有车辆，并标注。车辆需要完整的出现在图片中才能标注，标注的方法是用方框画出车辆所属的区域。
人工判断图片中是否有货物，并标注。例如，针对钢材需要找到每一个钢材的区域，并用方框画出每一个钢材的区域。
在S307，将标注后的数据输入神经网络模型进行训练。
根据一些实施例，根据获取的图片，及标注结果数据，训练方法可采用深度仿生卷积网络(Yolov5)的方法进行训练。
在S309，根据训练结果进行分析，得到分析结果和所述货物的数量。
根据一些实施例，数据采集模块获取的数据，经过计算机视觉模块时，结合模型训练模块得到的参数，进入数据分析模块进行数据分析。根据数据分析模块的结果，输出给前端展示模块。并给予自主学习模块反馈数据。
在S311，对所述分析结果进行人工评判，根据所述人工评判结果，对所述神经网络模型进行再训练。
根据一些实施例，在获取到最终的模型输出后，根据人工的判断对模型进行评判，判断模型的输出结果是否正确，人工判断的次数可根据效果进行调整，直至最终下降至零。随着获取的数据集的增加和人工判断的介入，对模型进行再训练。
自主学习模块获取到人工评判的结果和数据的积累，对数据进行再训练，提升模型结果的准确率。
应清楚地理解，本申请描述了如何形成和使用特定示例，但本申请不限于这些示例的任何细节。相反，基于本申请公开的内容的教导，这些原理能够应用于许多其它实施例。
本领域技术人员可以理解实现上述实施例的全部或部分步骤被实现为由CPU执行的计算机程序。在该计算机程序被CPU执行时，执行本申请提供的上述方法所限定的上述功能的程序可以存储于一种计算机可读存储介质中，该存储介质可以是只读存储器，磁盘或光盘等。
此外，需要注意的是，上述附图仅是根据本申请示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
通过对示例实施例的描述，本领域技术人员易于理解，根据本申请实施例的仓库行车出入库货物的数量监管和模型构建的方法至少具有以下优点中的一个或多个。
根据示例实施例，通过获取仓库行车进库和出库的视频与图像，进行图像分析识别，对货物数量进行监管，为仓库的管理、监管与盘点等提供辅助支撑，减少原有的人工盘点次数，降低人工盘点带来的成本与安全隐患。
图4示出根据一示例性实施例的一种电子设备的框图。
下面参照图4来描述根据本申请的这种实施方式的电子设备200。图4显示的电子设备200仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图4所示，电子设备200以通用计算设备的形式表现。电子设备200的组件可以包括但不限于：至少一个处理单元210、至少一个存储单元220、连接不同系统组件(包括存储单元220和处理单元210)的总线230、显示单元240等。
其中，存储单元存储有程序代码，程序代码可以被处理单元210执行，使得处理单元210执行本说明书描述的根据本申请各种示例性实施方式的方法。
存储单元220可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)2201和/或高速缓存存储单元2202，还可以进一步包括只读存储单元(ROM)2203。
存储单元220还可以包括具有一组(至少一个)程序模块2205的程序/实用工具2204，这样的程序模块2205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线230可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备200也可以与一个或多个外部设备300(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备200交互的设备通信，和/或与使得该电子设备200能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口250进行。并且，电子设备200还可以通过网络适配器260与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器260可以通过总线230与电子设备200的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本申请实施方式的上述方法。
软件产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本领域技术人员可以理解上述各模块可以按照实施例的描述分布于装置中，也可以进行相应变化唯一不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
以上具体地示出和描述了本申请的示例性实施例。应可理解的是，本申请不限于这里描述的详细结构、设置方式或实现方法；相反，本申请意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。

Claims (10)

1.一种仓库行车出入库货物的数量监管的方法，其特征在于，包括：
采集仓库行车进库和出库的视频图像，所述视频图像包含所述仓库行车出入库货物；
对所述视频图像按照第一时间间隔抽取图像帧，所述图像帧的集合为第一图像数据；
确定所述第一图像数据中每一帧图像是否含有行车，如果含有行车，则记录为第二图像数据，并记录该帧图像的采集时间戳；
计算所述第二图像数据中所述采集时间戳在设定时间窗内的图像的帧数为第一帧数；
将所述第一帧数和阈值进行比较，确定感兴趣图像数据；
将所述感兴趣图像数据输入训练好的神经网络模型；
根据所述神经网络模型的输出结果进行分析，得到分析结果和所述货物的数量。
2.根据权利要求1所述的方法，其特征在于，所述计算所述第二图像数据中所述采集时间戳在设定时间窗内的图像的帧数为第一帧数，包括：
根据所述仓库行车的速度，设定时间窗，所述时间窗的时间间隔为第二时间间隔，所述第二时间间隔大于所述第一时间间隔。
3.根据权利要求2所述的方法，其特征在于，所述将所述第一帧数和阈值进行比较，确定感兴趣图像数据，包括：
如果所述第一帧数超过第一阈值，则对应的所述第二时间间隔内记录的最早的所述采集时间戳为第一时间戳；
如果所述第一帧数小于第二阈值，则对应的所述第二时间间隔内记录的最晚的所述采集时间戳为第二时间戳。
4.根据权利要求3所述的方法，其特征在于，所述将所述第一帧数和阈值进行比较，确定感兴趣图像数据，还包括：
将所述第二图像数据中采集时间戳在所述第一时间戳和所述第二时间戳之间的图像作为所述感兴趣图像数据。
5.根据权利要求1所述的方法，其特征在于，还包括：
将所述分析结果输出给前端进行展示；
将所述分析结果反馈给所述神经网络模型，通过所述神经网络模型进行再训练。
6.一种用于仓库行车出入库货物数量监管的模型构建方法，其特征在于，包括：
采集货物的视频图像；
根据所述视频图像，获取感兴趣图像数据；
将所述感兴趣图像数据进行标注；
将标注后的数据输入神经网络模型进行训练；
根据训练结果进行分析，得到分析结果和所述货物的数量；
对所述分析结果进行人工评判，根据所述人工评判结果，对所述神经网络模型进行再训练。
7.根据权利要求6所述的方法，其特征在于，所述将所述感兴趣图像数据进行标注，包括：
在所述感兴趣图像数据中的每一帧图像标注出所述行车所在区域和所述货物所在区域。
8.根据权利要求6所述的方法，其特征在于，还包括：
利用深度仿生卷积网络模型进行训练。
9.一种电子设备，其特征在于，包括：
存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述权利要求1-8中任一项所述的方法。
10.一种计算机程序产品，包括计算机程序或指令，其特征在于，该计算机程序或指令被处理器执行时实现如权利要求1-8中任一项所述的方法。
CN202210632910.6A 2022-06-06 2022-06-06 仓库行车出入库货物的数量监管和模型构建的方法 Pending CN115063716A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210632910.6A CN115063716A (zh) 2022-06-06 2022-06-06 仓库行车出入库货物的数量监管和模型构建的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210632910.6A CN115063716A (zh) 2022-06-06 2022-06-06 仓库行车出入库货物的数量监管和模型构建的方法

Publications (1)

Publication Number Publication Date
CN115063716A true CN115063716A (zh) 2022-09-16

Family

ID=83199512

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210632910.6A Pending CN115063716A (zh) 2022-06-06 2022-06-06 仓库行车出入库货物的数量监管和模型构建的方法

Country Status (1)

Country Link
CN (1) CN115063716A (zh)

Similar Documents

Publication Publication Date Title
Mendes et al. Exploiting fully convolutional neural networks for fast road detection
CN109145759B (zh) 车辆属性识别方法、装置、服务器及存储介质
TW202101371A (zh) 視訊流的處理方法和裝置
CN104966304A (zh) 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法
CN110555420B (zh) 一种基于行人区域特征提取和重识别融合模型网络及方法
CN112419202B (zh) 基于大数据及深度学习的野生动物图像自动识别系统
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
CN115620208A (zh) 电网安全预警方法、装置、计算机设备和存储介质
CN111985269A (zh) 检测模型构建方法、检测方法、装置、服务器及介质
US11532158B2 (en) Methods and systems for customized image and video analysis
de Almeida et al. Vehicle Occurrence-based Parking Space Detection
EP4080479A2 (en) Method for identifying traffic light, device, cloud control platform and vehicle-road coordination system
CN115063716A (zh) 仓库行车出入库货物的数量监管和模型构建的方法
EP4332910A1 (en) Behavior detection method, electronic device, and computer readable storage medium
CN114596239A (zh) 装卸货事件检测方法、装置、计算机设备和存储介质
CN114627400A (zh) 一种车道拥堵检测方法、装置、电子设备和存储介质
Diop et al. Detection of lateral road obstacles based on the haar cascade classification method in video surveillance
CN114819810A (zh) 钢材仓库的管理方法及管理装置、电子设备
US20230245319A1 (en) Image processing apparatus, image processing method, learning device, learning method, and program
CN111401104B (zh) 分类模型的训练方法、分类方法、装置、设备及存储介质
CN113344974B (zh) 一种长材识别跟踪方法、系统、设备及介质
CN113963322B (zh) 一种检测模型训练方法、装置及电子设备
CN116486324B (zh) 一种地铁座位踩踏行为检测方法、装置、设备及存储介质
Sankaranarayanan et al. Improved Vehicle Detection Accuracy and Processing Time for Video Based ITS Applications
CN117115762A (zh) 一种视觉关系检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination