CN111626983A - 识别待检测货物数量的方法和装置 - Google Patents

识别待检测货物数量的方法和装置 Download PDF

Info

Publication number
CN111626983A
CN111626983A CN202010286661.0A CN202010286661A CN111626983A CN 111626983 A CN111626983 A CN 111626983A CN 202010286661 A CN202010286661 A CN 202010286661A CN 111626983 A CN111626983 A CN 111626983A
Authority
CN
China
Prior art keywords
image
white balance
color level
container
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010286661.0A
Other languages
English (en)
Inventor
代晓君
谢骏
徐伟
曾锴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Foreign Transport Co ltd
Original Assignee
China Foreign Transport Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Foreign Transport Co ltd filed Critical China Foreign Transport Co ltd
Priority to CN202010286661.0A priority Critical patent/CN111626983A/zh
Publication of CN111626983A publication Critical patent/CN111626983A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G06Q10/0875—Itemisation or classification of parts, supplies or services, e.g. bill of materials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Economics (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种识别待检测货物数量的方法和装置，该方法包括：采集整托待检测货物的正面图像和顶部图像；将图像进行白平衡处理；将白平衡正面图像输入第一分割模型，得到分割后的正面货箱图像；将白平衡顶部图像输入第二分割模型，得到分割后的顶部货箱图像和对应所述顶部货箱图像的空缺层数；基于所述分割后的正面货箱图像、所述分割后的顶部货箱图像和对应所述顶部货箱图像的空缺层数确定整托待识别货物的数量；其中，第一分割模型和第二分割模型均基于机器学习得到。本发明实施例提供的方法和装置，实现了提高货物数量统计的准确性和效率。

Description

识别待检测货物数量的方法和装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种识别待检测货物数量的方法和装置。
背景技术
在传统的物流仓储中，货物的数量统计经常用于交接场景，目前主要由人工进行。货物从生产线进入存储仓库或由仓库运送给经销商，需要进行出入库登记，当货物整托运输时，可直接登记箱体表面印刷的整托总箱数；当货物不满托时，需要工作人员亲自计算本托货物的箱数。而在货物流量较大或双方交接的情况下，需要的人力资源就会相应增多，而人力资源有限时，工作量就会加大，两种情况都对整体成本和工作效率有较大影响。
现有的智能统计货箱数量的方法通常采用机械式计数、光电传感计数。机械式计数器用于累加记录仪器或机械往返运动的次数,将计数器的辅入轴动臂与仪器或机器联接即可进行拉动计数。数字直读显示，并有转动回零装置，回零后，仍可以从零开始作累加计数，属于接触式计数器；光电传感计数是利用了光敏元件对光照敏感的特性，组织一个光源和光敏二极管，分别置于仓库出入库的传送带两侧，令每箱货物依次通过光照区，每当箱体经过时，阻断光线，使之收到传感器发出的传感信号，从而统计通过货物的箱数。
但是现有的机械式计数与光电传感计数只适用于输送单个箱体的仓库，若以托为单位进行输送，那么这两种方式只能统计通过的货物托数，适用性不强。同时，机械式计数器为接触式计数，不够可靠，在仓库进出的货物数量较大时，不免会产生差错，甚至会造成经济损失。
因此，如何解决传统的智能计数方式无法适用于统计整托货物数量的问题，提高计数的准确性和效率，仍然是本领域技术人员亟待解决的问题。
发明内容
本发明实施例提供一种识别待检测货物数量的方法和装置，用以解决现有的智能计数方法无法适用于整托货物数量而人工计数的准确率低和效率低下的问题。
第一方面，本发明实施例提供一种识别待检测货物数量的方法，包括：
采集整托待检测货物的正面图像和顶部图像；
将所述正面图像和所述顶部图像进行白平衡处理，得到白平衡正面图像和白平衡顶部图像；
将所述白平衡正面图像输入第一分割模型，得到分割后的正面货箱图像；其中，所述第一分割模型是基于整托货物的样本白平衡正面图像以及预先在所述样本白平衡正面图像上标注的各货箱的四角坐标标签进行训练后得到的；
将所述白平衡顶部图像输入第二分割模型，得到分割后的顶部货箱图像和对应所述顶部货箱图像的空缺层数；其中，所述第二分割模型是基于整托货物的样本白平衡顶部图像以及预先在所述样本白平衡顶部图像上标注的各货箱的四角坐标标签和在所述样本白平衡顶部图像上标注的各货箱的空缺层数标签进行训练得到的；
基于所述分割后的正面货箱图像、所述分割后的顶部货箱图像和对应所述顶部货箱图像的空缺层数确定整托待识别货物的数量。
优选地，该方法中，所述将所述正面图像和所述顶部图像进行白平衡处理，得到白平衡正面图像和白平衡顶部图像，具体包括：
基于所述正面图像和所述顶部图像确定待处理图像；
将所述待处理图像的原始RGB直方图进行量化，形成量化后的RGB直方图；
确定所述量化后的RGB直方图中各色阶的参考白和参考黑；
基于所述各色阶的参考白和参考黑对量化后的RGB直方图进行重新量化，得到最终RGB直方图；
确定所述最终RGB直方图中各色阶的平均值；
基于任一色阶的平均值确定所述任一色阶的偏色值；
对所述原始RGB直方图用每一色阶的偏色值进行校正，得到白平衡后的待处理图像；
基于所述白平衡后的待处理图像确定白平衡正面图像和白平衡顶部图像。
优选地，该方法中，所述确定所述量化后的RGB直方图中各色阶的参考白和参考黑，具体包括：
取所述量化后的RGB直方图中任一色阶的最大值和次大值进行平均，得到待处理图像的所述任一色阶的参考白；
取所述量化后的RGB直方图中任一色阶的最小值和次小值进行平均，得到待处理图像的所述任一色阶的参考黑；
所述基于所述任一色阶的平均值确定所述任一色阶的偏色值，具体包括:
确定与所有色阶的平均值形成的RGB值亮度相同的中性灰；
计算任一色阶的平均值与所述中性灰之间的差值，作为所述任一色阶的偏色值。
优选地，该方法中，所述基于所述分割后的正面货箱图像、所述分割后的顶部货箱图像和对应所述顶部货箱图像的空缺层数确定整托待识别货物的数量，具体包括：
基于所述分割后的正面货箱图像确定垂直方向上货箱的最大层数；
基于所述分割后的顶部货箱图像、对应所述顶部货箱图像的空缺层数和所述最大层数确定各顶部货箱图像对应的实际货箱层数；
对所有顶部货箱图像对应的实际货箱层数进行求和，得到整托待识别货物的数量。
第二方面，本发明实施例提供一种识别待检测货物数量的装置，包括：
采集单元，用于采集整托待检测货物的正面图像和顶部图像；
白平衡单元，用于将所述正面图像和所述顶部图像进行白平衡处理，得到白平衡正面图像和白平衡顶部图像；
第一分割单元，用于将所述白平衡正面图像输入第一分割模型，得到分割后的正面货箱图像；其中，所述第一分割模型是基于整托货物的样本白平衡正面图像以及预先在所述样本白平衡正面图像上标注的各货箱的四角坐标标签进行训练后得到的；
第二分割单元，用于将所述白平衡顶部图像输入第二分割模型，得到分割后的顶部货箱图像和对应所述顶部货箱图像的空缺层数；其中，所述第二分割模型是基于整托货物的样本白平衡顶部图像以及预先在所述样本白平衡顶部图像上标注的各货箱的四角坐标标签和在所述样本白平衡顶部图像上标注的各货箱的空缺层数标签进行训练得到的；
计算单元，用于基于所述分割后的正面货箱图像、所述分割后的顶部货箱图像和对应所述顶部货箱图像的空缺层数确定整托待识别货物的数量。
优选地，该装置中，所述白平衡单元，具体用于，
基于所述正面图像和所述顶部图像确定待处理图像；
将所述待处理图像的原始RGB直方图进行量化，形成量化后的RGB直方图；
确定所述量化后的RGB直方图中各色阶的参考白和参考黑；
基于所述各色阶的参考白和参考黑对量化后的RGB直方图进行重新量化，得到最终RGB直方图；
确定所述最终RGB直方图中各色阶的平均值；
基于任一色阶的平均值确定所述任一色阶的偏色值；
对所述原始RGB直方图用每一色阶的偏色值进行校正，得到白平衡后的待处理图像；
基于所述白平衡后的待处理图像确定白平衡正面图像和白平衡顶部图像。
优选地，该装置中，所述确定所述量化后的RGB直方图中各色阶的参考白和参考黑，具体包括：
取所述量化后的RGB直方图中任一色阶的最大值和次大值进行平均，得到待处理图像的所述任一色阶的参考白；
取所述量化后的RGB直方图中任一色阶的最小值和次小值进行平均，得到待处理图像的所述任一色阶的参考黑；
所述基于所述任一色阶的平均值确定所述任一色阶的偏色值，具体包括:
确定与所有色阶的平均值形成的RGB值亮度相同的中性灰；
计算任一色阶的平均值与所述中性灰之间的差值，作为所述任一色阶的偏色值。
优选地，该装置中，所述计算单元，具体用于，
基于所述分割后的正面货箱图像确定垂直方向上货箱的最大层数；
基于所述分割后的顶部货箱图像、对应所述顶部货箱图像的空缺层数和所述最大层数确定各顶部货箱图像对应的实际货箱层数；
对所有顶部货箱图像对应的实际货箱层数进行求和，得到整托待识别货物的数量。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的识别待检测货物数量的方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的识别待检测货物数量的方法的步骤。
本发明实施例提供的方法和装置，通过采集整托货物的正面图像和顶部图像，然后对正面图像和顶部图像都进行白平衡的处理，再将白平衡正面图像输入第一分割模型，得到分割后的正面货箱图像，并将白平衡顶部图像输入第二分割模型，得到分割后的顶部货箱图像以及顶部货箱图像的空缺层数，最后基于分割后的正面货箱图像、分割后的顶部货箱图像和对应顶部货箱图像的空缺层数确定整托待识别货物的数量。进行白平衡处理可以将不同光照条件下的图像数据统一光照标准，使图像更适应于网络训练，也能避免模型识别时因为光照强度的因素造成识别误差。其中，第一分割模型和第二分割模型都是利用机器学习原理在大量样本和标签的基础上训练得到的，通过预先训练好的模型进行正面货箱图像分割、顶部货箱图像分割和检测顶部货箱图像的空缺层数，可以便于后续更快计算出货箱数量保证效率，同时，经过大量样本和标签训练的模型也能保证识别的准确性。因此，本发明实施例提供的方法和装置，实现了提高货物数量统计的准确性和效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的识别待检测货物数量的方法的流程示意图；
图2为本发明实施例提供的识别待检测货物数量的装置的结构示意图；
图3为本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有的统计货箱数量的方法，普遍存在智能计数方法无法适用于整托货物数量而人工计数的准确率低和效率低下的问题。对此，本发明实施例提供了一种识别待检测货物数量的方法。图1为本发明实施例提供的识别待检测货物数量的方法的流程示意图，如图1所示，该方法包括：
步骤110，采集整托待检测货物的正面图像和顶部图像。
具体地，货物在进出仓库时是以整托的形式被运入或运出，整托货物中与货物被拖动移动方向平行且与地面垂直的面为整托货物的正面，正面即整托货物被移动进入仓库时，与仓库门垂直的面。在仓库进出口处正对整托货物的正面的地方和正对整托货物的顶面的地方各放置一个相机，用于采集整托待检测货物的正面图像和顶部图像。
步骤120，将所述正面图像和所述顶部图像进行白平衡处理，得到白平衡正面图像和白平衡顶部图像。
具体地，由于仓库是二十四小时都有货物进出，故采集的正面图像和顶部图像由于不同时刻光照条件的差异导致各图像受到的光照影响也不同。为了使采集的正面图像和顶部图像更适应后续的模型网络训练，以及当正面图像和顶部图像输入后续的模型时识别效果更准确，此处需要对采集的正面图像和顶部图像进行白平衡处理。白平衡处理的方法有多种，例如，灰度世界法、完美反射法、基于模糊逻辑法等等，此处不作具体限定。顶部图像和正面图像进过白平衡处理后，得到白平衡正面图像和白平衡顶部图像。
步骤130，将所述白平衡正面图像输入第一分割模型，得到分割后的正面货箱图像；其中，所述第一分割模型是基于整托货物的样本白平衡正面图像以及预先在所述样本白平衡正面图像上标注的各货箱的四角坐标标签进行训练后得到的。
具体地，要统计整托货物的箱体的数量，需要根据整托货物的两个相邻面的箱体数量得到。首先，获取整托货物的正面图像中货箱的数量，就要对白平衡正面图像进行货箱分割，将白平衡正面图像输入第一分割模型，即可以得到分割后的正面货箱图像。其中，第一分割模型是基于整托货物的样本白平衡正面图像以及预先在所述样本白平衡正面图像上标注的各货箱的四角坐标标签进行训练后得到的。预先进行第一分割模型训练，训练样本是大量采集的整托货箱的正面图像经过白平衡处理后得到的样本白平衡正面图像，以在样本白平衡正面图像上标注的各货箱的四角坐标作为训练标签，训练后得到的第一分割模型对输入的白平衡正面图像进行分割，得到白平衡正面图像上每个货箱的四角坐标，输出分割后的正面货箱图像。
步骤140，将所述白平衡顶部图像输入第二分割模型，得到分割后的顶部货箱图像和对应所述顶部货箱图像的空缺层数；其中，所述第二分割模型是基于整托货物的样本白平衡顶部图像以及预先在所述样本白平衡顶部图像上标注的各货箱的四角坐标标签和在所述样本白平衡顶部图像上标注的各货箱的空缺层数标签进行训练得到的。
具体地，再获取整托货物的顶部图像中的货箱数量，就要对白平衡正面图像进行货箱分割，同时，还要考虑货物不满托的情况，即顶部图像中的有存在缺层的货箱图像，还有识别出缺层的货箱图像的空缺层数，顶部图像中最高层的货箱图像的空缺层数是0，其他货箱图像的空缺层数是指该货箱图像相对于最高层的货箱图像空缺的层数。将白平衡顶部图像输入第二分割模型，即可以得到分割后的顶部货箱图像和对应所述顶部货箱图像的空缺层数。其中，第二分割模型是基于整托货物的样本白平衡顶部图像以及预先在所述样本白平衡顶部图像上标注的各货箱的四角坐标标签和在所述样本白平衡顶部图像上标注的各货箱的空缺层数标签进行训练得到的。预先进行第二分割模型训练，训练样本是大量采集的整托货物的顶部图像经过白平衡处理后得到的样本白平衡顶部图像，以在样本白平衡顶部图像上标注的各货箱的四角坐标和在所述样本白平衡顶部图像上标注的各货箱的空缺层数都作为训练标签，训练后得到的第二分割模型对输入的白平衡顶部图像进行分割和识别空缺层数，得到分割后的顶部货箱图像和对应所述顶部货箱图像的空缺层数。
步骤150，基于所述分割后的正面货箱图像、所述分割后的顶部货箱图像和对应所述顶部货箱图像的空缺层数确定整托待识别货物的数量。
具体地，对整托货箱的正面图像进行分割，对整托货箱的顶部图像进行分割和识别空缺层数后，基于分割后的正面货箱图像可以统计整托货物在垂直方向上的最高货箱层数，而分割后的顶部货箱图像和对应所述顶部货箱图像的空缺层数可以确定顶部每个货箱图像对应的实际货箱层数，再将所有顶部货箱图像对应的实际货箱层数进行求和，即可以得到整托待识别货物的数量。
本发明实施例提供的方法，通过采集整托货物的正面图像和顶部图像，然后对正面图像和顶部图像都进行白平衡的处理，再将白平衡正面图像输入第一分割模型，得到分割后的正面货箱图像，并将白平衡顶部图像输入第二分割模型，得到分割后的顶部货箱图像以及顶部货箱图像的空缺层数，最后基于分割后的正面货箱图像、分割后的顶部货箱图像和对应顶部货箱图像的空缺层数确定整托待识别货物的数量。进行白平衡处理可以将不同光照条件下的图像数据统一光照标准，使图像更适应于网络训练，也能避免模型识别时因为光照强度的因素造成识别误差。其中，第一分割模型和第二分割模型都是利用机器学习原理在大量样本和标签的基础上训练得到的，通过预先训练好的模型进行正面货箱图像分割、顶部货箱图像分割和检测顶部货箱图像的空缺层数，可以便于后续更快计算出货箱数量保证效率，同时，经过大量样本和标签训练的模型也能保证识别的准确性。因此，实现了提高货物数量统计的准确性和效率。
基于上述实施例，该方法中，所述将所述正面图像和所述顶部图像进行白平衡处理，得到白平衡正面图像和白平衡顶部图像，具体包括：
基于所述正面图像和所述顶部图像确定待处理图像；
将所述待处理图像的原始RGB直方图进行量化，形成量化后的RGB直方图；
确定所述量化后的RGB直方图中各色阶的参考白和参考黑；
基于所述各色阶的参考白和参考黑对量化后的RGB直方图进行重新量化，得到最终RGB直方图；
确定所述最终RGB直方图中各色阶的平均值；
基于任一色阶的平均值确定所述任一色阶的偏色值；
对所述原始RGB直方图用每一色阶的偏色值进行校正，得到白平衡后的待处理图像；
基于所述白平衡后的待处理图像确定白平衡正面图像和白平衡顶部图像。
具体地，此处提出一种新的白平衡处理的方式，将正面图像和顶部图像都归为待处理图像，而待处理图像都需要进行白平衡的处理。首先，将待处理图像的原始RGB直方图进行量化，具体地，将各色阶的数值量化至0-255的范围内，形成量化后的RGB直方图，相当于完成直方图的均衡；然后，再确定量化后的RGB直方图中各色阶的参考白和参考黑，即确定RGB直方图中R色阶的参考白和参考黑、G色阶的参考白和参考黑和B色阶的参考白和参考黑；再基于所述各色阶的参考白和参考黑对量化后的RGB直方图进行重新量化，即基于R色阶的参考白和参考黑将量化后的RGB直方图中的R色阶进行重新量化，基于G色阶的参考白和参考黑将量化后的RGB直方图中的G色阶进行重新量化，基于B色阶的参考白和参考黑将量化后的RGB直方图中的B色阶进行重新量化，得到最终RGB直方图,；确定最终RGB直方图中各色阶的平均值，即确定最终RGB直方图中R色阶的平均值、G色阶的平均值和B色阶的平均值；基于基于任一色阶的平均值确定所述任一色阶的偏色值，即基于R色阶的平均值确定R色阶的偏色值，G色阶的平均值确定G色阶的偏色值，B色阶的平均值确定B色阶的偏色值；最后，使用各个色阶的偏色值对原始RGB直方图进行校正，例如，B色阶的偏色值为+22，则对原始RGB直方图中的所有B色阶的数值加22。
基于上述任一实施例，该方法中，所述确定所述量化后的RGB直方图中各色阶的参考白和参考黑，具体包括：
取所述量化后的RGB直方图中任一色阶的最大值和次大值进行平均，得到待处理图像的所述任一色阶的参考白；
取所述量化后的RGB直方图中任一色阶的最小值和次小值进行平均，得到待处理图像的所述任一色阶的参考黑。
具体地，取所述量化后的RGB直方图中任一色阶的最大值和次大值进行平均，得到待处理图像的所述任一色阶的参考白，即取所述量化后的RGB直方图中R色阶的最大值和次大值进行平均，得到待处理图像的R色阶的参考白,取所述量化后的RGB直方图中G色阶的最大值和次大值进行平均，得到待处理图像的G色阶的参考白,取所述量化后的RGB直方图中B色阶的最大值和次大值进行平均，得到待处理图像的B色阶的参考白；取所述量化后的RGB直方图中任一色阶的最小值和次小值进行平均，得到待处理图像的所述任一色阶的参考黑，即即取所述量化后的RGB直方图中R色阶的最小值和次小值进行平均，得到待处理图像的R色阶的参考黑,取所述量化后的RGB直方图中G色阶的最小值和次小值进行平均，得到待处理图像的G色阶的参考黑,取所述量化后的RGB直方图中B色阶的最小值和次小值进行平均，得到待处理图像的B色阶的参考黑。
所述基于所述任一色阶的平均值确定所述任一色阶的偏色值，具体包括:
确定与所有色阶的平均值形成的RGB值亮度相同的中性灰；
计算任一色阶的平均值与所述中性灰之间的差值，作为所述任一色阶的偏色值。
具体地，确定与所有色阶的平均值形成的RGB值亮度相同的中性灰，然后，计算任一色阶的平均值与所述中性灰之间的差值，作为所述任一色阶的偏色值。例如，R色阶的平均值R为122，G色阶的平均值G为65，B色阶的平均值B为166，上述三个平均值组成的RGB值亮度采用公式亮度Y＝0.299R+0.587G+0.114B计算，即通过上述公式可以计算得到亮度Y＝0.299×122+0.587×65+0.114×166＝93.507，中性灰的定义即其R色阶数值、G色阶数值和B色阶数值都相等，故Rgrey＝Ggrey＝Bgrey，且0.299Rgrey+0.587Ggrey+0.114Bgrey＝93.507，其中，Rgrey为中性灰的R色阶数值，Ggrey为中性灰的G色阶数值，Bgrey为中性灰的B色阶数值，通过上述两个式子，可以求出中性灰的RGB数值Rgrey＝Ggrey＝Bgrey＝93.507；然后，计算任一色阶的平均值与所述中性灰之间的差值，作为所述任一色阶的偏色值，即计算R色阶的平均值与所述中性灰之间的差值，作为R色阶的偏色值Roffset，即Roffset＝Rgrey-R＝93.507-122＝-28.493，计算G色阶的平均值与所述中性灰之间的差值，作为G色阶的偏色值Goffset，即Goffset＝Ggrey-G＝93.507-65＝28.507，计算B色阶的平均值与所述中性灰之间的差值，作为B色阶的偏色值Boffset，即Boffset＝Bgrey-B＝93.507-166＝-72.493。
基于上述任一实施例，该方法中，所述基于所述分割后的正面货箱图像、所述分割后的顶部货箱图像和对应所述顶部货箱图像的空缺层数确定整托待识别货物的数量，具体包括：
基于所述分割后的正面货箱图像确定垂直方向上货箱的最大层数；
基于所述分割后的顶部货箱图像、对应所述顶部货箱图像的空缺层数和所述最大层数确定各顶部货箱图像对应的实际货箱层数；
对所有顶部货箱图像对应的实际货箱层数进行求和，得到整托待识别货物的数量。
具体地，对整托货箱的正面图像进行分割，对整托货箱的顶部图像进行分割和识别空缺层数后，基于分割后的正面货箱图像可以统计整托货物在垂直方向上的最高货箱层数即垂直方向上货箱的最大层数，而分割后的顶部货箱图像和对应所述顶部货箱图像的空缺层数可以确定顶部每个货箱图像对应的实际货箱层数，再将所有顶部货箱图像对应的实际货箱层数进行求和，即可以得到整托待识别货物的数量。
基于上述任一实施例，本发明实施例提供一种识别待检测货物数量的装置，图2为本发明实施例提供的识别待检测货物数量的装置的结构示意图。如图2所示，该装置包括采集单元210、白平衡单元220、第一分割单元230、第二分割单元240和计算单元250，其中，
所述采集单元210，用于采集整托待检测货物的正面图像和顶部图像；
所述白平衡单元220，用于将所述正面图像和所述顶部图像进行白平衡处理，得到白平衡正面图像和白平衡顶部图像；
所述第一分割单元230，用于将所述白平衡正面图像输入第一分割模型，得到分割后的正面货箱图像；其中，所述第一分割模型是基于整托货物的样本白平衡正面图像以及预先在所述样本白平衡正面图像上标注的各货箱的四角坐标标签进行训练后得到的；
所述第二分割单元240，用于将所述白平衡顶部图像输入第二分割模型，得到分割后的顶部货箱图像和对应所述顶部货箱图像的空缺层数；其中，所述第二分割模型是基于整托货物的样本白平衡顶部图像以及预先在所述样本白平衡顶部图像上标注的各货箱的四角坐标标签和在所述样本白平衡顶部图像上标注的各货箱的空缺层数标签进行训练得到的；
所述计算单元250，用于基于所述分割后的正面货箱图像、所述分割后的顶部货箱图像和对应所述顶部货箱图像的空缺层数确定整托待识别货物的数量。
本发明实施例提供的方法，通过采集整托货物的正面图像和顶部图像，然后对正面图像和顶部图像都进行白平衡的处理，再将白平衡正面图像输入第一分割模型，得到分割后的正面货箱图像，并将白平衡顶部图像输入第二分割模型，得到分割后的顶部货箱图像以及顶部货箱图像的空缺层数，最后基于分割后的正面货箱图像、分割后的顶部货箱图像和对应顶部货箱图像的空缺层数确定整托待识别货物的数量。进行白平衡处理可以将不同光照条件下的图像数据统一光照标准，使图像更适应于网络训练，也能避免模型识别时因为光照强度的因素造成识别误差。其中，第一分割模型和第二分割模型都是利用机器学习原理在大量样本和标签的基础上训练得到的，通过预先训练好的模型进行正面货箱图像分割、顶部货箱图像分割和检测顶部货箱图像的空缺层数，可以便于后续更快计算出货箱数量保证效率，同时，经过大量样本和标签训练的模型也能保证识别的准确性。因此，实现了提高货物数量统计的准确性和效率。
基于上述任一实施例，该装置中，所述白平衡单元，具体用于，
基于所述正面图像和所述顶部图像确定待处理图像；
将所述待处理图像的原始RGB直方图进行量化，形成量化后的RGB直方图；
确定所述量化后的RGB直方图中各色阶的参考白和参考黑；
基于所述参考白和所述参考黑对量化后的RGB直方图进行重新量化，得到最终RGB直方图；
确定所述最终RGB直方图中各色阶的平均值；
基于任一色阶的平均值确定所述任一色阶的偏色值；
对所述原始RGB直方图用每一色阶的偏色值进行校正，得到白平衡后的待处理图像；
基于所述白平衡后的待处理图像确定白平衡正面图像和白平衡顶部图像。
基于上述任一实施例，该装置中，所述确定所述量化后的RGB直方图中各色阶的参考白和参考黑，具体包括：
取所述量化后的RGB直方图中任一色阶的最大值和次大值进行平均，得到待处理图像的所述任一色阶的参考白；
取所述量化后的RGB直方图中任一色阶的最小值和次小值进行平均，得到待处理图像的所述任一色阶的参考黑；
所述基于所述任一色阶的平均值确定所述任一色阶的偏色值，具体包括:
确定与所有色阶的平均值形成的RGB值亮度相同的中性灰；
计算任一色阶的平均值与所述中性灰之间的差值，作为所述任一色阶的偏色值。
基于上述任一实施例，该装置中，所述计算单元，具体用于，
基于所述分割后的正面货箱图像确定垂直方向上货箱的最大层数；
基于所述分割后的顶部货箱图像、对应所述顶部货箱图像的空缺层数和所述最大层数确定各顶部货箱图像对应的实际货箱层数；
对所有顶部货箱图像对应的实际货箱层数进行求和，得到整托待识别货物的数量。
图3为本发明实施例提供的电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)301、通信接口(Communications Interface)302、存储器(memory)303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信。处理器301可以调用存储在存储器303上并可在处理器301上运行的计算机程序，以执行上述各实施例提供的识别待检测货物数量的方法，例如包括：采集整托待检测货物的正面图像和顶部图像；将所述正面图像和所述顶部图像进行白平衡处理，得到白平衡正面图像和白平衡顶部图像；将所述白平衡正面图像输入第一分割模型，得到分割后的正面货箱图像；其中，所述第一分割模型是基于整托货物的样本白平衡正面图像以及预先在所述样本白平衡正面图像上标注的各货箱的四角坐标标签进行训练后得到的；将所述白平衡顶部图像输入第二分割模型，得到分割后的顶部货箱图像和对应所述顶部货箱图像的空缺层数；其中，所述第二分割模型是基于整托货物的样本白平衡顶部图像以及预先在所述样本白平衡顶部图像上标注的各货箱的四角坐标标签和在所述样本白平衡顶部图像上标注的各货箱的空缺层数标签进行训练得到的；基于所述分割后的正面货箱图像、所述分割后的顶部货箱图像和对应所述顶部货箱图像的空缺层数确定整托待识别货物的数量。
此外，上述的存储器303中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的识别待检测货物数量的方法，例如包括：采集整托待检测货物的正面图像和顶部图像；将所述正面图像和所述顶部图像进行白平衡处理，得到白平衡正面图像和白平衡顶部图像；将所述白平衡正面图像输入第一分割模型，得到分割后的正面货箱图像；其中，所述第一分割模型是基于整托货物的样本白平衡正面图像以及预先在所述样本白平衡正面图像上标注的各货箱的四角坐标标签进行训练后得到的；将所述白平衡顶部图像输入第二分割模型，得到分割后的顶部货箱图像和对应所述顶部货箱图像的空缺层数；其中，所述第二分割模型是基于整托货物的样本白平衡顶部图像以及预先在所述样本白平衡顶部图像上标注的各货箱的四角坐标标签和在所述样本白平衡顶部图像上标注的各货箱的空缺层数标签进行训练得到的；基于所述分割后的正面货箱图像、所述分割后的顶部货箱图像和对应所述顶部货箱图像的空缺层数确定整托待识别货物的数量。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种识别待检测货物数量的方法，其特征在于，包括：
采集整托待检测货物的正面图像和顶部图像；
将所述正面图像和所述顶部图像进行白平衡处理，得到白平衡正面图像和白平衡顶部图像；
将所述白平衡正面图像输入第一分割模型，得到分割后的正面货箱图像；其中，所述第一分割模型是基于整托货物的样本白平衡正面图像以及预先在所述样本白平衡正面图像上标注的各货箱的四角坐标标签进行训练后得到的；
将所述白平衡顶部图像输入第二分割模型，得到分割后的顶部货箱图像和对应所述顶部货箱图像的空缺层数；其中，所述第二分割模型是基于整托货物的样本白平衡顶部图像以及预先在所述样本白平衡顶部图像上标注的各货箱的四角坐标标签和在所述样本白平衡顶部图像上标注的各货箱的空缺层数标签进行训练得到的；
基于所述分割后的正面货箱图像、所述分割后的顶部货箱图像和对应所述顶部货箱图像的空缺层数确定整托待识别货物的数量。
2.根据权利要求1所述的识别待检测货物数量的方法，其特征在于，所述将所述正面图像和所述顶部图像进行白平衡处理，得到白平衡正面图像和白平衡顶部图像，具体包括：
基于所述正面图像和所述顶部图像确定待处理图像；
将所述待处理图像的原始RGB直方图进行量化，形成量化后的RGB直方图；
确定所述量化后的RGB直方图中各色阶的参考白和参考黑；
基于所述各色阶的参考白和参考黑对量化后的RGB直方图进行重新量化，得到最终RGB直方图；
确定所述最终RGB直方图中各色阶的平均值；
基于任一色阶的平均值确定所述任一色阶的偏色值；
对所述原始RGB直方图用每一色阶的偏色值进行校正，得到白平衡后的待处理图像；
基于所述白平衡后的待处理图像确定白平衡正面图像和白平衡顶部图像。
3.根据权利要求2所述的识别待检测货物数量的方法，其特征在于，所述确定所述量化后的RGB直方图中各色阶的参考白和参考黑，具体包括：
取所述量化后的RGB直方图中任一色阶的最大值和次大值进行平均，得到待处理图像的所述任一色阶的参考白；
取所述量化后的RGB直方图中任一色阶的最小值和次小值进行平均，得到待处理图像的所述任一色阶的参考黑；
所述基于所述任一色阶的平均值确定所述任一色阶的偏色值，具体包括:
确定与所有色阶的平均值形成的RGB值亮度相同的中性灰；
计算任一色阶的平均值与所述中性灰之间的差值，作为所述任一色阶的偏色值。
4.根据权利要求1-3中任一项所述的识别待检测货物数量的方法，其特征在于，所述基于所述分割后的正面货箱图像、所述分割后的顶部货箱图像和对应所述顶部货箱图像的空缺层数确定整托待识别货物的数量，具体包括：
基于所述分割后的正面货箱图像确定垂直方向上货箱的最大层数；
基于所述分割后的顶部货箱图像、对应所述顶部货箱图像的空缺层数和所述最大层数确定各顶部货箱图像对应的实际货箱层数；
对所有顶部货箱图像对应的实际货箱层数进行求和，得到整托待识别货物的数量。
5.一种识别待检测货物数量的装置，其特征在于，包括：
采集单元，用于采集整托待检测货物的正面图像和顶部图像；
白平衡单元，用于将所述正面图像和所述顶部图像进行白平衡处理，得到白平衡正面图像和白平衡顶部图像；
第一分割单元，用于将所述白平衡正面图像输入第一分割模型，得到分割后的正面货箱图像；其中，所述第一分割模型是基于整托货物的样本白平衡正面图像以及预先在所述样本白平衡正面图像上标注的各货箱的四角坐标标签进行训练后得到的；
第二分割单元，用于将所述白平衡顶部图像输入第二分割模型，得到分割后的顶部货箱图像和对应所述顶部货箱图像的空缺层数；其中，所述第二分割模型是基于整托货物的样本白平衡顶部图像以及预先在所述样本白平衡顶部图像上标注的各货箱的四角坐标标签和在所述样本白平衡顶部图像上标注的各货箱的空缺层数标签进行训练得到的；
计算单元，用于基于所述分割后的正面货箱图像、所述分割后的顶部货箱图像和对应所述顶部货箱图像的空缺层数确定整托待识别货物的数量。
6.根据权利要求5所述的识别待检测货物数量的装置，其特征在于，所述白平衡单元，具体用于，
基于所述正面图像和所述顶部图像确定待处理图像；
将所述待处理图像的原始RGB直方图进行量化，形成量化后的RGB直方图；
确定所述量化后的RGB直方图中各色阶的参考白和参考黑；
基于所述各色阶的参考白和参考黑对量化后的RGB直方图进行重新量化，得到最终RGB直方图；
确定所述最终RGB直方图中各色阶的平均值；
基于任一色阶的平均值确定所述任一色阶的偏色值；
对所述原始RGB直方图用每一色阶的偏色值进行校正，得到白平衡后的待处理图像；
基于所述白平衡后的待处理图像确定白平衡正面图像和白平衡顶部图像。
7.根据权利要求6所述的识别待检测货物数量的装置，其特征在于，所述确定所述量化后的RGB直方图中各色阶的参考白和参考黑，具体包括：
取所述量化后的RGB直方图中任一色阶的最大值和次大值进行平均，得到待处理图像的所述任一色阶的参考白；
取所述量化后的RGB直方图中任一色阶的最小值和次小值进行平均，得到待处理图像的所述任一色阶的参考黑；
所述基于所述任一色阶的平均值确定所述任一色阶的偏色值，具体包括:
确定与所有色阶的平均值形成的RGB值亮度相同的中性灰；
计算任一色阶的平均值与所述中性灰之间的差值，作为所述任一色阶的偏色值。
8.根据权利要求5-7中任一项所述的识别待检测货物数量的装置，其特征在于，所述计算单元，具体用于，
基于所述分割后的正面货箱图像确定垂直方向上货箱的最大层数；
基于所述分割后的顶部货箱图像、对应所述顶部货箱图像的空缺层数和所述最大层数确定各顶部货箱图像对应的实际货箱层数；
对所有顶部货箱图像对应的实际货箱层数进行求和，得到整托待识别货物的数量。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-4中任一项所述的识别待检测货物数量的方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-4中任一项所述的识别待检测货物数量的方法的步骤。
CN202010286661.0A 2020-04-13 2020-04-13 识别待检测货物数量的方法和装置 Pending CN111626983A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010286661.0A CN111626983A (zh) 2020-04-13 2020-04-13 识别待检测货物数量的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010286661.0A CN111626983A (zh) 2020-04-13 2020-04-13 识别待检测货物数量的方法和装置

Publications (1)

Publication Number Publication Date
CN111626983A true CN111626983A (zh) 2020-09-04

Family

ID=72273016

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010286661.0A Pending CN111626983A (zh) 2020-04-13 2020-04-13 识别待检测货物数量的方法和装置

Country Status (1)

Country Link
CN (1) CN111626983A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132523A (zh) * 2020-11-26 2020-12-25 支付宝(杭州)信息技术有限公司 一种货物数量确定方法、系统和装置
CN112278875A (zh) * 2020-12-06 2021-01-29 南京猫头鹰智能科技有限公司 一种确定堆垛货物数量的统计方法，盘点方法，分析系统
CN113610465A (zh) * 2021-08-03 2021-11-05 宁波极望信息科技有限公司 一种基于物联网技术的生产制造运营管理系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060164521A1 (en) * 2005-01-27 2006-07-27 Arima Computer Corporation White balance method
CN103780891A (zh) * 2012-10-19 2014-05-07 鸿富锦精密工业（深圳）有限公司 白平衡调整方法
CN109919040A (zh) * 2019-02-15 2019-06-21 北京清瞳时代科技有限公司 货物的品规信息识别方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060164521A1 (en) * 2005-01-27 2006-07-27 Arima Computer Corporation White balance method
CN103780891A (zh) * 2012-10-19 2014-05-07 鸿富锦精密工业（深圳）有限公司 白平衡调整方法
CN109919040A (zh) * 2019-02-15 2019-06-21 北京清瞳时代科技有限公司 货物的品规信息识别方法及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132523A (zh) * 2020-11-26 2020-12-25 支付宝(杭州)信息技术有限公司 一种货物数量确定方法、系统和装置
CN112132523B (zh) * 2020-11-26 2021-07-13 支付宝(杭州)信息技术有限公司 一种货物数量确定方法、系统和装置
CN112278875A (zh) * 2020-12-06 2021-01-29 南京猫头鹰智能科技有限公司 一种确定堆垛货物数量的统计方法，盘点方法，分析系统
CN112278875B (zh) * 2020-12-06 2021-03-12 南京猫头鹰智能科技有限公司 一种确定堆垛货物数量的统计方法，盘点方法，分析系统
CN113610465A (zh) * 2021-08-03 2021-11-05 宁波极望信息科技有限公司 一种基于物联网技术的生产制造运营管理系统
CN113610465B (zh) * 2021-08-03 2023-12-19 宁波极望信息科技有限公司 一种基于物联网技术的生产制造运营管理系统

Similar Documents

Publication Publication Date Title
CN111626983A (zh) 识别待检测货物数量的方法和装置
US20200167594A1 (en) Method and apparatus for vehicle damage identification
CN108230321A (zh) 缺陷检测方法及装置
CN104052979B (zh) 用于图像处理的装置和技术
CN110008968B (zh) 一种基于图像视觉的机器人结算自动触发方法
US10109045B2 (en) Defect inspection apparatus for inspecting sheet-like inspection object, computer-implemented method for inspecting sheet-like inspection object, and defect inspection system for inspecting sheet-like inspection object
CN107991309A (zh) 产品质量检测方法、装置及电子设备
US11335018B1 (en) Volumetric measuring method and apparatus based on time-of-flight depth camera
CN115619708A (zh) 基于图像识别主轴轴承润滑油油质变化判断故障的方法
CN116071692A (zh) 一种基于形态学图像处理的水尺水位识别方法及系统
Börold et al. Deep learning-based object recognition for counting car components to support handling and packing processes in automotive supply chains
CN114219402A (zh) 物流托盘码放识别方法、装置、设备及存储介质
CN111582778B (zh) 操作场地货物堆积度量方法、装置、设备及存储介质
CN105740768A (zh) 一种局部和全局特征相结合的无人驾驶叉运装置
CN117622757A (zh) 网格式物流仓分拣信息处理方法、系统和存储介质
CN110705552B (zh) 行李托盘识别方法及装置
CN112445849A (zh) 一种报表分析方法及装置
CN114972349B (zh) 基于图像处理的托辊运行状态检测方法及系统
Rahman et al. Image processing technique to count the number of logs in a timber truck
CN115082841A (zh) 一种仓储物流机器人工作区域异常监测方法
CN111797896B (zh) 基于智慧烘焙的商品识别方法及装置
CN114998282A (zh) 图像检测方法、装置、电子设备及存储介质
CN114529555A (zh) 一种基于图像识别的烟箱高效进出库检测方法
CN109374042A (zh) 一种智能定制家具组装部件质检系统及方法
Zhou et al. Machine vision based automatic apparatus and method for surface defect detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination