CN115035129A - 货物的识别方法、装置、电子设备和存储介质 - Google Patents

货物的识别方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN115035129A
CN115035129A CN202110237071.3A CN202110237071A CN115035129A CN 115035129 A CN115035129 A CN 115035129A CN 202110237071 A CN202110237071 A CN 202110237071A CN 115035129 A CN115035129 A CN 115035129A
Authority
CN
China
Prior art keywords
cargo
goods
acquiring
image
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110237071.3A
Other languages
English (en)
Inventor
谢庆喜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong Technology Information Technology Co Ltd
Original Assignee
Jingdong Technology Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingdong Technology Information Technology Co Ltd filed Critical Jingdong Technology Information Technology Co Ltd
Priority to CN202110237071.3A priority Critical patent/CN115035129A/zh
Publication of CN115035129A publication Critical patent/CN115035129A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本申请提出一种货物的识别方法、装置、电子设备和存储介质，涉及人工智能技术领域，其中，方法包括：通过监控设备获取包含至少一个货物的待处理图像；通过已训练的实例分割模型对待处理图像进行处理，以生成货物的实例分割结果；根据实例分割结果，生成货物的货堆轮廓；将货堆轮廓与货物数据库之中的数据进行匹配，获取货物的信息。由此，能够基于货物的轮廓信息匹配信息系统中的货位的位置，从而获得货物归属用户及货堆的详细信息，达到人工智能看货的效果，方便用户快速了解自己的货物信息，及存储状况，促进仓储的智能化管理。

Description

货物的识别方法、装置、电子设备和存储介质
技术领域
本申请涉及人工智能技术领域，尤其涉及一种货物的识别方法、装置、电子设备和存储介质。
背景技术
通常，钢筋，钢卷，橡胶、农作物等大宗商品需求量大，交易规模巨大。同时大宗商品也具备金融属性，可作为期货、期权等金融工具的标的进行交易。为保证大宗商品交易的正常进行，仓储管理是十分重要的环节，但是目前的大多数仓储企业都面临着监管困难的问题。
相关技术中，针对仓储管理，仅仅依靠信息管理系统确定货物情况，没有直观的视觉感受，无法看到货物的实际情况。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
本申请提出一种货物的识别方法、装置、电子设备和存储介质，以实现能够基于货物的轮廓信息匹配信息系统中的货位的位置，从而获得货物归属用户及货堆的详细信息，达到人工智能看货的效果，方便用户快速了解自己的货物信息，及存储状况，促进仓储的智能化管理。
本申请第一方面实施例提出了一种货物的识别方法，包括：
通过监控设备获取包含至少一个货物的待处理图像；
通过已训练的实例分割模型对所述待处理图像进行处理，以生成所述货物的实例分割结果；
根据所述实例分割结果，生成所述货物的货堆轮廓；
将所述货堆轮廓与货物数据库之中的数据进行匹配，获取所述货物的信息。
本申请实施例的货物的识别方法，通过监控设备获取包含至少一个货物的待处理图像；通过已训练的实例分割模型对待处理图像进行处理，以生成货物的实例分割结果；根据实例分割结果，生成货物的货堆轮廓；将货堆轮廓与货物数据库之中的数据进行匹配，获取货物的信息。由此，能够基于货物的轮廓信息匹配信息系统中的货位的位置，从而获得货物归属用户及货堆的详细信息，达到人工智能看货的效果，方便用户快速了解自己的货物信息，及存储状况，促进仓储的智能化管理。
本申请第二方面实施例提出了一种货物的识别装置，包括：
获取模块，用于通过监控设备获取包含至少一个货物的待处理图像；
处理模块，用于通过已训练的实例分割模型对所述待处理图像进行处理，以生成所述货物的实例分割结果；
生成模块，用于根据所述实例分割结果，生成所述货物的货堆轮廓；
匹配获取模块，用于将所述货堆轮廓与货物数据库之中的数据进行匹配，获取所述货物的信息。
本申请实施例的货物的识别装置，通过监控设备获取包含至少一个货物的待处理图像；通过已训练的实例分割模型对待处理图像进行处理，以生成货物的实例分割结果；根据实例分割结果，生成货物的货堆轮廓；将货堆轮廓与货物数据库之中的数据进行匹配，获取货物的信息。由此，能够基于货物的轮廓信息匹配信息系统中的货位的位置，从而获得货物归属用户及货堆的详细信息，达到人工智能看货的效果，方便用户快速了解自己的货物信息，及存储状况，促进仓储的智能化管理。
本申请第三方面实施例提出了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如本申请第一方面实施例提出的货物的识别方法。
本申请第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如本申请第一方面实施例提出的货物的识别方法。
本申请第五方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，执行如本申请第一方面实施例提出的货物的识别方法。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例一所提供的货物的识别方法的流程示意图；
图2为本申请实施例二所提供的货物的识别方法的流程示意图；
图3为本申请实施例中的网络结构示意图；
图4为本申请实施例中的底部模块的示意图；
图5为本申请实施例三所提供的货物的识别方法的流程示意图；
图6为本申请实施例中货物的识别方法的场景示意图；
图7为本申请实施例四所提供的货物的识别装置的结构示意图；
图8示出了适于用来实现本申请实施方式的示例性电子设备或服务器的框图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
在实际应用中，大宗商品往往是在货位上以货堆的方式进行存放，信息系统中按货位录入详细信息，本申请实施例利用深度学习技术检测不同货堆的轮廓并识别商品种类，从而能够基于货堆的轮廓信息及种类信息匹配信息系统中的货位的位置，从而获得货物归属用户及货堆的详细信息，达到人工智能看货的效果。
下面参考附图描述本申请实施例的货物的识别方法、装置、电子设备和存储介质。
图1为本申请实施例一所提供的货物的识别方法的流程示意图。
本申请实施例的货物的识别方法，可以应用于电子设备。其中，电子设备可以为任一具有计算能力的设备，例如可以为PC(Personal Computer，个人电脑)、移动终端等，移动终端例如可以为手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。
如图1所示，该货物的识别方法可以包括以下步骤：
步骤101，通过监控设备获取包含至少一个货物的待处理图像。
在本申请实施例中，可以在目标场景中按照一个或者多个监控设备比如摄像头，待处理图像可以为监控设备拍摄的包括至少一个货物的图片也可以是监控设备拍摄视频的包括至少一个货物的截图。
在本申请实施例中，货物可以为钢筋，钢卷，橡胶、农作物等大宗商品，具体根据应用场景选择。
步骤102，通过已训练的实例分割模型对待处理图像进行处理，以生成货物的实例分割结果。
本申请实施例中，已训练的实例分割模型的具体训练过程参见后续实施例描述，此处不再详述。
在本申请实施例中，将待处理图像输入已训练的实例分割模型，可以获取待处理图像中货物的实例分割结果，可以理解的是，实例分割模型把每个货物的方框标注出来，并且把每个方框中货物所属的类别也可以标记出来，即可以获取货物的分类结果和分割掩码，其中，不同的货物赋予不同的分割掩码，比如货物1的分割掩码为1；货物2的分割掩码为2。
在本申请实施例中，可以获取待处理图像的特征图，根据特征图中货物的多个像素点中的每个像素点的分类结果确定货物的分类结果；根据特征图，获取货物的多个连接坐标点；按照预设规则将多个连接坐标点相连，以生成货物的分割掩码，根据分类结果和分割掩码，生成实例分割结果。
在本申请的实施例中，为了进一步提高处理效率，还可以对待处理图像的大小进行调整再输入已训练的实例分割模型对待处理图像进行处理。
步骤103，根据实例分割结果，生成货物的货堆轮廓。
本申请实施例中，根据分割掩码，获取货物的边缘点位置，将边缘点位置进行连接，以生成货物的货堆轮廓。
具体地，可以根据实例分割结果中的分割掩码确定一个或者多个不同货物，根据分割掩码变化可以确定同一货物的边缘点位置，比如1-2处的边缘点位置，将多个边缘点位置进行连接，以生成货物的货堆轮廓。
步骤104，将货堆轮廓与货物数据库之中的数据进行匹配，获取货物的信息。
在本申请实施例中，可以根据应用场景需要选择匹配方式，作为一种可能实现方式，获取货堆轮廓匹配的货位位置，在货物数据库中获取与货位位置匹配的目标信息数据表，获取目标信息数据表中的货物属性信息显示在待处理图像中。
其中，货物属性信息可以为货物存储仓库标识、货物存储凭证标识、货物名称、货主信息、货物来源信息、货物数量、货位信息、货物管理信息和货物存储时间等。
本申请实施例的货物的识别方法，通过监控设备获取包含至少一个货物的待处理图像；通过已训练的实例分割模型对待处理图像进行处理，以生成货物的实例分割结果；根据实例分割结果，生成货物的货堆轮廓；将货堆轮廓与货物数据库之中的数据进行匹配，获取货物的信息。由此，能够基于货物的轮廓信息匹配信息系统中的货位的位置，从而获得货物归属用户及货堆的详细信息，达到人工智能看货的效果，方便用户快速了解自己的货物信息，及存储状况，促进仓储的智能化管理。
图2为本申请实施例二所提供的货物的识别方法的流程示意图。
如图2所示，该货物的识别方法还可以包括以下步骤：
步骤201，通过监控设备获取包含至少一个货物的待处理图像。
在本申请实施例中，可以在目标场景中按照一个或者多个监控设备比如摄像头，待处理图像可以为监控设备拍摄的包括至少一个货物的图片也可以是监控设备拍摄视频的包括至少一个货物的截图。
在本申请实施例中，货物可以为钢筋，钢卷，橡胶、农作物等大宗商品，具体根据应用场景选择。
步骤202，获取待处理图像的特征图，根据特征图中货物的多个像素点中的每个像素点的分类结果确定货物的分类结果。
步骤203，根据特征图，获取货物的多个连接坐标点，按照预设规则将多个连接坐标点相连，以生成货物的分割掩码，根据分类结果和分割掩码，生实例分割结果。
在本申请实施例中，已训练的实例分割模型中的检测网络对待处理图像进行处理，可以获取特征图，因此可以对货物的多个像素点中的每个像素点进行分析，根据每个像素点的分类结果确定货物的分类结果，比如为大米、钢筋等。
其中，一个像素点对应一个货物的分类结果，由于一个货物包含多个像素点，因此，每个货物存在多个分类结果，可以基于各个分类结果的概率值进行计算确定最后货物的分类结果。
在本申请实施例中，根据特征图进行分析，可以获取货物的多个连接坐标点，即货物的预测位置，根据预测位置可以确定货物的方框范围，并对赋予货物对应的分割掩码。
例如，可以只获取4个连接坐标点，将4个连接坐标点连接，就可以得到检测框，将检测框中的区域都赋予分割掩码比如0。
在本申请实施例中，利用非极大抑制算法，确定货物的多个像素点中的中心概率值最大的像素点为所述货物的中心像素点，根据货物的中心像素点的分类结果以及与货物的中心像素点对应的分割掩码，获取货物的实例分割结果。
在本申请实施例中，实例分割模型可以根据应用场景需要进行选择设置，作为一种场景举例，选择blend mask(一种混合自下而上与自上而下方式的实例分割)模型获得图片中不同个体的分割掩码和分类结果即种类类别。
具体地，如图3所示，由一个检测网络(图3中的Detector module)和一个掩码分支(图3中的BlendMask module)构成，检测网络采用fcos(Fully Convolutional One-StageObject Detection，全卷积的、以每个像素预测物体的方式的目标检测)算法。Fcos算法采用比如FPN(Feature Pyramid Networks，特征图金字塔网络)的多级检测，在初度不同的特征层检测不同尺寸的目标，同时解决了预先定义的锚框对检测器泛化能力的限制。
具体地，掩码分支有三个部分，一个预测得分图的底部模块，一个预测实例注意力的顶部模块，以及一个将得分和注意力融合起来的混合模块。其中，底部模块对应图3中的Bottom Module，Bottom Module将FPN中的p2、p3、p4、p5特征图作为输入，产生由channel通道为4的feature map特征图构成的基础bases如图4所示，不同的通道代表了货物不同的特征含义；顶部模块为图3中顶部Attns所示，基于盒子boxes产生N*(4*attn_size*attn_size)的注意力特征N为盒子box的数量，attn_size为attention注意力的大小。
其中，混合Blender模块，将base与attns进行融合，首先对bases进行映射，产生一定大小的目标区域，然后将attns进行向上插值，使顶部形状与目标区域的形状相同，最后通过将attns与rois进行点乘，然后在第一维度进行相加，实现将4个通道变成1个通道，最终获取一定大小的分割掩码，最后通过后处理将尺度对应到原图中的位置。
需要说明的是，由于本申请应用场景中单独货堆的面积通常占正常图片比例较大，底部模块获得的基础特征信息应该要足够丰富，同时注意力模块应该重点注意的区域也应该要足够覆盖货堆的区域，因此对顶部及和顶部特定参数进行调优设计，并且对整体网络结构进行调整，使其能够正常运行，进一步提高货物的识别正确性和效率。
还可以理解的是，fcos算法在后处理过程中采用了非极大值抑制的方式去除重合度较高的框。在实际应用过程中，由于货堆的摆放，与机位的摆放时固定的，在画面中货堆往往是倾斜的，这就导致了不同货堆的外接矩形，将叉面积比较大，最终被抑制掉，因此可以对非极大值抑制的方式进行改进，不对交并比大于阈值的框进行删除，而是降低其概率值，真实的框的预测概率降低后，仍然会比误检的框的概率要高，这样最后可以通过调整框的概率值保证所有货堆轮廓全部召回。
在本申请实施例中，应用场景任务，由于货堆较大，需要较大的感受视野，因此较深的网络结构效果会越好，为提升模型效果，可以使用较深层的网络作为backbone骨干网络，提升实例分割效果，提高货物的识别效果。
为了方便部署应用，还可以对网络结构进行轻量化改进，保证网络结构的深度，达到效果与速度的平衡。
步骤204，根据分割掩码，获取货物的边缘点位置，将边缘点位置进行连接，以生成货物的货堆轮廓。
在本申请实施例中，可以根据实例分割结果中的分割掩码确定一个或者多个不同货物，根据分割掩码变化可以确定同一货物的边缘点位置，比如1-2处的边缘点位置，将多个边缘点位置进行连接，以生成货物的货堆轮廓。
作为一种可能实现方式，利用图像处理中的基础库opencv中基于物体掩码获得轮廓的一种方法即FindContours方法基于不同个体的分割掩码，实现对所有货物轮阔的检测。
步骤205，获取货堆轮廓匹配的货位位置，在货物数据库中获取与货位位置匹配的目标信息数据表，获取目标信息数据表中的货物属性信息显示在待处理图像中。
在本申请实施例中，货物数据库存储着货物位置以及对应的货物属性信息，可以在货物数据库中获取与货位位置匹配的目标信息数据表，获取目标信息数据表中的货物属性信息显示在待处理图像中。
在本申请实施例中，为了进一步提高获取效率，可以在货物数据库中获取与分类结果匹配的候选信息数据表，在候选信息数据表中获取与货位位置匹配的目标信息数据表。
本申请实施例的货物的识别方法，通过监控设备获取包含至少一个货物的待处理图像，获取待处理图像的特征图，根据特征图中货物的多个像素点中的每个像素点的分类结果确定货物的分类结果，根据特征图，获取货物的多个连接坐标点，按照预设规则将所述多个连接坐标点相连，以生成货物的分割掩码，根据分类结果和分割掩码，生实例分割结果，根据分割掩码，获取货物的边缘点位置，将边缘点位置进行连接，以生成货物的货堆轮廓，获取货堆轮廓匹配的货位位置，在货物数据库中获取与货位位置匹配的目标信息数据表，获取目标信息数据表中的货物属性信息显示在待处理图像中。由此，能够基于货物的轮廓信息匹配信息系统中的货位的位置，从而获得货物归属用户及货堆的详细信息，达到人工智能看货的效果，方便用户快速了解自己的货物信息，及存储状况，促进仓储的智能化管理。
在本申请实施例的一种可能的实现方式中，已训练的实例分割模型的训练方式如图5所示，图5为本申请实施例三所提供的货物的识别方法的流程示意图。
如图5所示，该货物的识别方法还可以包括以下步骤：
步骤301，确定包含至少一个货物的样本图像，样本图像包括货物的坐标点标签和类别标签。
在本申请实施例中，可以挑选不同监控设备即摄像机下货物图片数据，选取可见轮廓的货堆，并利用标签工具标注坐标点标签、类别标签和货堆轮廓等用作训练数据。
步骤302，将样本图像训练输入神经网络，获取样本图像的训练特征图。
步骤303，根据训练特征图中货物的多个特征点中的每个特征点的分类结果确定货物的训练分类结果，并通过第一损失函数计算训练分类结果和类别标签的第一损失值。
步骤304，根据特征图，获取货物的多个训练坐标点，并通过第二损失函数计算多个训练坐标点和坐标点标签的第二损失值。
步骤305，根据第一损失值和第二损失值，更新神经网络中的参数，生成已训练的实例分割模型。
在本申请实施例中，神经网络对样本图像进行特征提取，获取训练特征图，一个像素点对应一个货物的分类结果，由于一个货物包含多个像素点，因此，每个货物存在多个分类结果，可以基于各个分类结果的概率值进行计算确定最后货物的训练分类结果，并通过第一损失函数计算训练分类结果和类别标签的第一损失值。
也就是说，利用第一损失函数计算分类结果和类别标签之间的相似度损失，可以第一损失值，其中，第一损失值越小，分类结果越接近类别标签，预测准确率越高；相反，第一损失值越大，代表预测准确率越低。
在本申请实施例中，根据特征图进行分析，可以获取货物的多个训练坐标点，即货物的预测位置，利用第二损失函数计算目标物体的多个训练坐标点的预测位置和坐标点标签的实际位置之间的相似度损失，可以得到第二损失值；其中，第二损失值越小，预测正确的准确率越高；相反，第二损失值越大，代表预测正确的准确率越低。
根据第一损失值和第二损失值两者相加或者权重计算和预设阈值进行比较，更新神经网络中的参数，生成已训练的实例分割模型。
由此，由此，能够基于已训练的实例分割模型获取货物的轮廓信息匹配信息系统中的货位的位置，从而获得货物归属用户及货堆的详细信息，达到人工智能看货的效果，方便用户快速了解自己的货物信息，及存储状况，促进仓储的智能化管理。
作为一种场景举例，如图6所示，基于已训练的实例分割模型获得货堆的分割掩码及货物的种类，并能够区不同货堆，最后基于分割掩码利用图像处理中的基础库中基于物体掩码获得轮廓的一种方法获得货堆的轮廓，实现自动的获取图片中不同货堆的轮廓及商物种类，并能够根据轮廓信息匹配出信息系统中的货位位置，货物归属用户及货堆的详细信息，实现人工看货的效果，方便用户通过视频能够快速了解自己的货物信息，及存储状况，促进仓储的智能化管理。
与上述图1至图6实施例提供的货物的识别方法相对应，本申请还提供一种货物的识别装置，由于本申请实施例提供的货物的识别装置与上述图1至图6实施例提供的货物的识别方法相对应，因此在货物的识别方法的实施方式也适用于本申请实施例提供的货物的识别装置，在本申请实施例中不再详细描述。
图7为本申请实施例四所提供的货物的识别装置的结构示意图。
如图7所示，该货物的识别装置700应用于电子设备，包括：获取模块701、处理模块702、生成模块703和匹配获取模块704。
获取模块701，用于通过监控设备获取包含至少一个货物的待处理图像。
处理模块702，用于通过已训练的实例分割模型对所述待处理图像进行处理，以生成所述货物的实例分割结果。
生成模块703，用于根据所述实例分割结果，生成所述货物的货堆轮廓。
匹配获取模块704，用于将所述货堆轮廓与货物数据库之中的数据进行匹配，获取所述货物的信息。
本申请实施例的货物的识别装置，通过监控设备获取包含至少一个货物的待处理图像；通过已训练的实例分割模型对待处理图像进行处理，以生成货物的实例分割结果；根据实例分割结果，生成货物的货堆轮廓；将货堆轮廓与货物数据库之中的数据进行匹配，获取货物的信息。由此，能够基于货物的轮廓信息匹配信息系统中的货位的位置，从而获得货物归属用户及货堆的详细信息，达到人工智能看货的效果，方便用户快速了解自己的货物信息，及存储状况，促进仓储的智能化管理。
为了实现上述实施例，本申请还提出一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现如本申请前述图1-图6中任一实施例提出的货物的识别方法。
为了实现上述实施例，本申请还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时实现如本申请前述任一实施例提出的货物的识别方法。
为了实现上述实施例，本申请还提出一种计算机程序产品，当计算机程序产品中的指令由处理器执行时，执行如本申请前述任一实施例提出的货物的识别方法。
图8示出了适于用来实现本申请实施方式的示例性电子设备或服务器的框图。图8显示的电子设备或服务器12仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图8所示，电子设备或服务器12以通用计算设备的形式表现。电子设备或服务器12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。
电子设备或服务器12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备或服务器12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)30和/或高速缓存存储器32。电子设备或服务器12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图8未显示，通常称为“硬盘驱动器”)。尽管图8中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc ReadOnly Memory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。
电子设备或服务器12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该电子设备或服务器12交互的设备通信，和/或与使得该电子设备或服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子设备或服务器12还可以通过网络适配器20与一个或者多个网络(例如局域网(LocalArea Network；以下简称：LAN)，广域网(Wide Area Network；以下简称：WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与电子设备或服务器12的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备或服务器12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (11)

1.一种货物的识别方法，其特征在于，包括以下步骤：
通过监控设备获取包含至少一个货物的待处理图像；
通过已训练的实例分割模型对所述待处理图像进行处理，以生成所述货物的实例分割结果；
根据所述实例分割结果，生成所述货物的货堆轮廓；
将所述货堆轮廓与货物数据库之中的数据进行匹配，获取所述货物的信息。
2.如权利要求1所述的方法，其特征在于，所述通过已训练的实例分割模型对所述待处理图像进行处理，以生成所述货物的实例分割结果，包括：
获取所述待处理图像的特征图；
根据所述特征图中所述货物的多个像素点中的每个像素点的分类结果确定所述货物的分类结果；
根据所述特征图，获取所述货物的多个连接坐标点；
按照预设规则将所述多个连接坐标点相连，以生成所述货物的分割掩码；
根据所述分类结果和所述分割掩码，生成所述实例分割结果。
3.如权利要求2所述的方法，其特征在于，所述根据所述分类结果和所述分割掩码，生成所述实例分割结果，包括：
利用非极大抑制算法，确定所述货物的多个像素点中的中心概率值最大的像素点为所述货物的中心像素点；
根据所述货物的中心像素点的分类结果以及与所述货物的中心像素点对应的分割掩码，获取所述货物的实例分割结果。
4.如权利要求2所述的方法，其特征在于，所述根据所述实例分割结果，生成所述货物的货堆轮廓，包括：
根据所述分割掩码，获取所述货物的边缘点位置；
将所述边缘点位置进行连接，以生成所述货物的货堆轮廓。
5.如权利要求1所述的方法，其特征在于，所述将所述货堆轮廓与货物数据库之中的数据进行匹配，获取所述货物的信息，包括：
获取所述货堆轮廓匹配的货位位置；
在所述货物数据库中获取与所述货位位置匹配的目标信息数据表；
获取所述目标信息数据表中的货物属性信息显示在所述待处理图像中。
6.如权利要求1-5任一项所述的方法，其特征在于，所述在所述货物数据库中获取与所述货位位置匹配的目标信息数据表，包括：
在所述货物数据库中获取与所述分类结果匹配的候选信息数据表；
在所述候选信息数据表中获取与所述货位位置匹配的所述目标信息数据表。
7.如权利要求1所述的方法，其特征在于，所述已训练的实例分割模型通过以下步骤训练得到：
确定包含至少一个货物的样本图像，所述样本图像包括所述货物的坐标点标签和类别标签；
将所述样本图像训练输入神经网络，获取所述样本图像的训练特征图；
根据所述训练特征图中所述货物的多个特征点中的每个特征点的分类结果确定所述货物的训练分类结果，并通过第一损失函数计算所述训练分类结果和所述类别标签的第一损失值；
根据所述特征图，获取所述货物的多个训练坐标点，并通过第二损失函数计算所述多个训练坐标点和所述坐标点标签的第二损失值；
根据所述第一损失值和所述第二损失值，更新所述神经网络中的参数，生成所述已训练的实例分割模型。
8.一种货物的识别装置，其特征在于，包括：
获取模块，用于通过监控设备获取包含至少一个货物的待处理图像；
处理模块，用于通过已训练的实例分割模型对所述待处理图像进行处理，以生成所述货物的实例分割结果；
生成模块，用于根据所述实例分割结果，生成所述货物的货堆轮廓；
匹配获取模块，用于将所述货堆轮廓与货物数据库之中的数据进行匹配，获取所述货物的信息。
9.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-7中任一所述的货物的识别方法。
10.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的货物的识别方法。
11.一种计算机程序产品，其特征在于，当所述计算机程序产品中的指令由处理器执行时，执行如权利要求1-7中任一所述的货物的识别方法。
CN202110237071.3A 2021-03-03 2021-03-03 货物的识别方法、装置、电子设备和存储介质 Pending CN115035129A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110237071.3A CN115035129A (zh) 2021-03-03 2021-03-03 货物的识别方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110237071.3A CN115035129A (zh) 2021-03-03 2021-03-03 货物的识别方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN115035129A true CN115035129A (zh) 2022-09-09

Family

ID=83118152

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110237071.3A Pending CN115035129A (zh) 2021-03-03 2021-03-03 货物的识别方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN115035129A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117146828A (zh) * 2023-10-30 2023-12-01 网思科技股份有限公司 拣货路径引导方法、装置、存储介质及计算机设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117146828A (zh) * 2023-10-30 2023-12-01 网思科技股份有限公司 拣货路径引导方法、装置、存储介质及计算机设备
CN117146828B (zh) * 2023-10-30 2024-03-19 网思科技股份有限公司 拣货路径引导方法、装置、存储介质及计算机设备

Similar Documents

Publication Publication Date Title
US10769487B2 (en) Method and device for extracting information from pie chart
CN107358149B (zh) 一种人体姿态检测方法和装置
CN111259889A (zh) 图像文本识别方法、装置、计算机设备及计算机存储介质
US20040075645A1 (en) Gaze tracking system
CN111340126A (zh) 物品识别方法、装置、计算机设备和存储介质
US20120201464A1 (en) Computer readable medium, image processing apparatus, and image processing method
CN110096929A (zh) 基于神经网络的目标检测
US20120093408A1 (en) Ordinal and spatial local feature vector based image representation
CN112528908B (zh) 活体检测方法、装置、电子设备及存储介质
JPWO2020240808A1 (ja) 学習装置、分類装置、学習方法、分類方法、学習プログラム、及び分類プログラム
CN111124863A (zh) 智能设备性能测试方法、装置及智能设备
CN110796130A (zh) 用于文字识别的方法、装置及计算机存储介质
CN113239227A (zh) 图像数据结构化方法、装置、电子设备及计算机可读介质
CN112651315A (zh) 折线图的信息提取方法、装置、计算机设备和存储介质
CN109948515B (zh) 物体的类别识别方法和装置
CN109242882B (zh) 视觉跟踪方法、装置、介质及设备
CN114972500A (zh) 查验方法、标注方法、系统、装置、终端、设备及介质
CN113936288A (zh) 倾斜文本方向分类方法、装置、终端设备和可读存储介质
CN112839047B (zh) 一种云平台上的资产漏洞扫描方法、装置、设备及介质
CN115035129A (zh) 货物的识别方法、装置、电子设备和存储介质
CN113657273A (zh) 确定商品信息的方法、装置、电子设备及介质
CN113591884A (zh) 字符识别模型的确定方法、装置、设备及存储介质
CN115775386A (zh) 用户界面组件的识别方法、装置、计算机设备和存储介质
CN114639056A (zh) 直播内容的识别方法、装置、计算机设备及存储介质
CN114417965A (zh) 图像处理模型的训练方法、目标检测方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination