CN117522271A - 一种产业协同仓储管理方法及系统 - Google Patents

一种产业协同仓储管理方法及系统 Download PDF

Info

Publication number
CN117522271A
CN117522271A CN202311542962.5A CN202311542962A CN117522271A CN 117522271 A CN117522271 A CN 117522271A CN 202311542962 A CN202311542962 A CN 202311542962A CN 117522271 A CN117522271 A CN 117522271A
Authority
CN
China
Prior art keywords
image
cost function
cargo
self
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311542962.5A
Other languages
English (en)
Inventor
张梅甫
郭顺雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Guolian Video Information Technology Co ltd
Original Assignee
Beijing Guolian Video Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Guolian Video Information Technology Co ltd filed Critical Beijing Guolian Video Information Technology Co ltd
Priority to CN202311542962.5A priority Critical patent/CN117522271A/zh
Publication of CN117522271A publication Critical patent/CN117522271A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/101—Collaborative creation, e.g. joint development of products or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种产业协同仓储管理方法及系统，通过获取目标货物图像的初始图像要素描述子，将初始图像要素描述子加载到事先调校的货物图像处理网络，得到货物图像处理网络输出的目标图像要素描述子，货物图像处理网络为通过多层划簇代价函数和屏蔽预测代价函数进行的按序调校得到，然后基于目标图像要素描述子，确定得到清除自因缺陷和外因扰动的目标货物图像。本发明基于两个不同的代价函数对事先部署的货物图像处理网络进行调校，促使网络对图像要素描述子中的自因缺陷和外因扰动进行高效清除，不仅缓解了网络的运算开销，还令图像处理的能力得到强化。

Description

一种产业协同仓储管理方法及系统
技术领域
本发明涉及数据处理领域，具体而言，涉及一种产业协同仓储管理方法及系统。
背景技术
在产业仓储协同管理中，机器视觉和人工智能(AI)得到了广泛的应用，其源于对提高效率、降低成本以及优化供应链运作的迫切需求。传统的仓储管理往往依赖人工操作，存在诸多问题，如人为错误、劳动强度大、效率低下等。而机器视觉和AI技术的引入，则为仓储管理带来了革命性的改变。机器视觉通过摄像头、传感器等设备获取仓库内部的实时图像和数据，而AI则能够对这些数据进行高效的分析与处理。通过深度学习算法和模式识别技术，机器视觉和AI可以实现货物识别与分类、库存管理、智能导航与拣选、异常检测与安全监控、预测性维护等一系列功能。不仅提高了仓库操作的自动化程度和准确性，还加速了物流流程，降低了人力成本，并且有助于降低因人为操作带来的错误率，提高了整体管理水平和效率。
在货物的识别分类时，货物图像质量直接影响最终的识别准确性，而因为货物分拣、运输环节不可抗因素，货物自身可能产生污损，此外，设备拍摄和图像传输等环节也可能产生图像质量不合格的情况，利用人工智能对拍摄的包裹图像进行缺陷克服有着重要的意义，如何保障该过程的精度和效率是需要考虑的技术问题。
发明内容
本发明的目的在于提供一种
本发明实施例的技术方案是这样实现的：
第一方面，本发明实施例提供了一种产业协同仓储管理方法，应用于电子设备，所述方法包括：
获取目标货物图像的初始图像要素描述子；
将所述初始图像要素描述子加载到事先调校的货物图像处理网络，得到所述货物图像处理网络输出的目标图像要素描述子，所述货物图像处理网络为通过多层划簇代价函数和屏蔽预测代价函数进行的按序调校得到；
基于所述目标图像要素描述子，确定得到清除自因缺陷和外因扰动的目标货物图像；
其中，所述货物图像处理网络基于以下操作进行调校：
获取货物图像学习样例集，所述货物图像学习样例集包括自因缺陷图像要素描述子、无噪货物图像注释信息、自因缺陷图像注释信息以及多层划簇标记；
获取预设图像处理网络组件，所述预设图像处理网络组件包括中间网络模块、多层划簇模块以及屏蔽预测模块；
基于所述货物图像学习样例集对预设图像处理网络组件按序进行自因缺陷清除调校以及外因扰动清除调校，直到所述预设图像处理网络组件符合设定收敛要求，得到调校后的目标图像处理网络组件，将其确定为所述货物图像处理网络。
可选的实施方式中，所述屏蔽预测模块包括图像屏蔽预测模块以及自因缺陷屏蔽预测模块，所述基于所述货物图像学习样例集对预设图像处理网络组件按序进行自因缺陷清除调校以及外因扰动清除调校，直到所述预设图像处理网络组件符合设定收敛要求，包括：
将所述自因缺陷图像要素描述子加载到所述中间网络模块，基于所述中间网络模块生成深度调校描述子；
将所述深度调校描述子加载到所述多层划簇模块，基于所述多层划簇模块生成划簇调校标记；
将所述深度调校描述子加载到所述图像屏蔽预测模块，基于所述图像屏蔽预测模块生成无噪货物图像调校描述子；
将所述深度调校描述子加载到所述自因缺陷屏蔽预测模块，基于所述自因缺陷屏蔽预测模块生成自因缺陷图像调校描述子；
基于所述无噪货物图像注释信息、所述自因缺陷图像注释信息、所述多层划簇标记、所述无噪货物图像调校描述子、所述自因缺陷图像调校描述子以及所述划簇调校标记生成目标代价函数，并基于所述目标代价函数对所述预设图像处理网络组件按序进行自因缺陷清除调校以及外因扰动清除调校，直到所述预设图像处理网络组件符合设定收敛要求。
可选的实施方式中，所述基于所述无噪货物图像注释信息、所述自因缺陷图像注释信息、所述多层划簇标记、所述无噪货物图像调校描述子、所述自因缺陷图像调校描述子以及所述划簇调校标记生成目标代价函数，并基于所述目标代价函数对所述预设图像处理网络组件按序进行自因缺陷清除调校以及外因扰动清除调校，直到所述预设图像处理网络组件符合设定收敛要求，包括：
基于所述划簇调校标记和所述多层划簇标记，确定第一代价函数；
基于所述无噪货物图像调校描述子和所述无噪货物图像注释信息，确定第二代价函数；
基于所述自因缺陷图像调校描述子和所述自因缺陷图像注释信息，确定第三代价函数；
基于所述第一代价函数，所述第二代价函数和所述第三代价函数，生成所述预设图像处理网络组件的目标代价函数，并基于所述目标代价函数对所述预设图像处理网络组件按序进行自因缺陷清除调校以及外因扰动清除调校，直到所述预设图像处理网络组件符合设定收敛要求。
可选的实施方式中，所述无噪货物图像注释信息包括第一无噪货物图像注释信息，所述基于所述无噪货物图像调校描述子和所述无噪货物图像注释信息，确定第二代价函数，包括：
基于所述无噪货物图像调校描述子和所述第一无噪货物图像注释信息，确定自因缺陷清除代价函数；
将所述自因缺陷清除代价函数作为第二代价函数，所述第一无噪货物图像注释信息为通过不包含自因缺陷包含外因扰动的货物图像获取的图像注释信息；
或者；
所述无噪货物图像注释信息包括第二无噪货物图像注释信息，所述基于所述无噪货物图像调校描述子和所述无噪货物图像注释信息，确定第二代价函数，包括：
基于所述无噪货物图像调校描述子和所述第二无噪货物图像注释信息，确定外因扰动清除代价函数；
将所述外因扰动清除代价函数作为第二代价函数，所述第二无噪货物图像注释信息为通过不包含自因缺陷不包含外因扰动的货物图像获取的图像注释信息。
可选的实施方式中，所述基于所述第一代价函数，所述第二代价函数和所述第三代价函数，生成所述预设图像处理网络组件的目标代价函数，并基于所述目标代价函数对所述预设图像处理网络组件按序进行自因缺陷清除调校以及外因扰动清除调校，直到所述预设图像处理网络组件符合设定收敛要求，包括：
获取图像精度约束条件；
基于所述图像精度约束条件确定对应的按序调校方式；
通过所述按序调校方式，基于所述第一代价函数、所述第二代价函数和所述第三代价函数，生成所述预设图像处理网络组件的目标代价函数，并基于所述目标代价函数对所述预设图像处理网络组件按序进行自因缺陷清除调校以及外因扰动清除调校，直到所述预设图像处理网络组件符合设定收敛要求。
可选的实施方式中，所述按序调校方式包括第一按序调校方式，所述通过所述按序调校方式，基于所述第一代价函数，所述第二代价函数和所述第三代价函数，生成所述预设图像处理网络组件的目标代价函数，并基于所述目标代价函数对所述预设图像处理网络组件按序进行自因缺陷清除调校以及外因扰动清除调校，直到所述预设图像处理网络组件符合设定收敛要求，包括：
在所述按序调校方式为第一按序调校方式时，基于所述第一代价函数、所述第二代价函数以及所述第三代价函数，确定所述预设图像处理网络组件的目标代价函数，并基于所述目标代价函数对所述预设图像处理网络组件反复进行自因缺陷清除调校，直到所述预设图像处理网络组件符合设定收敛要求，得到自因缺陷清除网络组件，其中，所述第二代价函数为自因缺陷清除代价函数确定得到；
基于所述第一代价函数、所述第二代价函数以及所述第三代价函数，确定所述自因缺陷清除网络组件的目标代价函数，并基于所述目标代价函数对所述自因缺陷清除网络组件反复进行外因扰动清除调校，直到所述自因缺陷清除网络组件符合设定收敛要求，其中，所述第二代价函数为外因扰动清除代价函数确定得到。
可选的实施方式中，所述按序调校方式包括第二按序调校方式，所述通过所述按序调校方式，基于所述第一代价函数，所述第二代价函数和所述第三代价函数，生成所述预设图像处理网络组件的目标代价函数，并基于所述目标代价函数对所述预设图像处理网络组件按序进行自因缺陷清除调校以及外因扰动清除调校，直到所述预设图像处理网络组件符合设定收敛要求，包括：
在所述按序调校方式为第二按序调校方式时，基于所述第一代价函数、所述第二代价函数以及所述第三代价函数，确定所述预设图像处理网络组件的目标代价函数，并基于所述目标代价函数对所述预设图像处理网络组件反复进行外因扰动清除调校，直到所述预设图像处理网络组件符合设定收敛要求，得到外因扰动清除网络组件，其中，所述第二代价函数为外因扰动清除代价函数确定得到；
基于所述第一代价函数、所述第二代价函数以及所述第三代价函数，确定所述外因扰动清除网络组件的目标代价函数，并基于所述目标代价函数对所述外因扰动清除网络组件反复进行自因缺陷清除调校，直到所述外因扰动清除网络组件符合设定收敛要求，其中，所述第二代价函数为自因缺陷清除代价函数确定得到。
可选的实施方式中，所述获取货物图像学习样例集，包括：
获取第一货物图像学习样例，所述第一货物图像学习样例为通过拍摄设备拍摄的具有自因缺陷和外因扰动的货物图像；
对所述第一货物图像学习样例进行图像要素描述子挖掘，得到自因缺陷图像要素描述子；
获取第二货物图像学习样例，所述第二货物图像学习样例包括不包含自因缺陷包含外因扰动的无噪货物图像以及不包含自因缺陷不包含外因扰动的无噪货物图像；
对所述第二货物图像学习样例进行图像要素描述子挖掘，得到第一无噪货物图像注释信息以及第二无噪货物图像注释信息；
基于所述第一货物图像学习样例以及所述第二货物图像学习样例，确定多层划簇标记。
可选的实施方式中，所述货物图像处理网络包括中间网络模块、多层划簇模块、图像屏蔽预测模块以及自因缺陷屏蔽预测模块，所述将所述初始图像要素描述子加载到事先调校的货物图像处理网络，得到所述货物图像处理网络输出的目标图像要素描述子，包括：
将所述初始图像要素描述子加载到所述中间网络模块，基于所述中间网络模块生成深度描述子；
将所述深度描述子加载到所述图像屏蔽预测模块，基于所述图像屏蔽预测模块生成无噪图像要素描述子，并将所述无噪图像要素描述子作为目标图像要素描述子；
所述基于所述目标图像要素描述子，确定得到清除自因缺陷和外因扰动的目标货物图像，包括：
对所述目标图像要素描述子进行图像重建，确定得到清除自因缺陷和外因扰动的目标货物图像。
第二方面，本发明提供了一种产业协同仓储管理系统，包括图像采集设备和电子设备，所述图像采集设备和所述电子设备通信连接，所述图像采集设备用于采集货物图像发送至所述电子设备，所述电子设备包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以上所述的方法。
本发明至少具有的有益效果：
本发明实施例提供的产业协同仓储管理方法及系统，通过获取目标货物图像的初始图像要素描述子，将初始图像要素描述子加载到事先调校的货物图像处理网络，得到货物图像处理网络输出的目标图像要素描述子，货物图像处理网络为通过多层划簇代价函数和屏蔽预测代价函数进行的按序调校得到，然后基于目标图像要素描述子，确定得到清除自因缺陷和外因扰动的目标货物图像。本发明实施例基于两个不同的代价函数对事先部署的货物图像处理网络进行调校，促使网络对图像要素描述子中的自因缺陷和外因扰动进行高效清除，不仅缓解了网络的运算开销，还令图像处理的能力得到强化。
在后面的描述中，将部分地陈述其他的特征。在检查后面内容和附图时，本领域的技术人员将部分地发现这些特征，或者可以通过生产或运用了解到这些特征。通过实践或使用后面所述详细示例中列出的方法、工具和组合的各个方面，当前申请中的特征可以被实现和获得。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1是本发明实施例提供的产业协同仓储管理方法的应用场景示意图。
图2是本发明实施例提供的一种产业协同仓储管理方法的流程图。
图3是本发明实施例提供的图像处理装置的功能模块架构示意图。
图4是本发明实施例提供的一种电子设备的组成示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在以下的描述中，涉及到“一些实施例”、“作为一种实施方式/方案”、“在一种实施方式中”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”、“作为一种实施方式/方案”、“在一种实施方式中”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二\第三”等类似术语，仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本发明实施例能够以除了在这里图示或描述的以外的顺序实施。除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。
本发明实施例提供的产业协同仓储管理方法可以由电子设备执行，其中电子设备可以是笔记本电脑，平板电脑，台式计算机，移动设备(例如，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，便携式游戏设备)等各种类型的终端，也可以实施为服务器。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
图1是本发明实施例提供的产业协同仓储管理方法的应用场景示意图。本发明实施例提供的产业协同仓储管理系统10中包括多个图像采集设备100、网络200和电子设备300，多个图像采集设备100和电子设备300之间通过网络200实现通信连接。电子设备300用于执行本发明实施例提供的方法。
相关技术中，通常通过两个不同的深度神经网络各自进行内因缺陷清除和外因扰动清除，二者的清除顺序可能是先内因缺陷清除，再外因扰动清除，或者先外因扰动清除，再内因缺陷清除。例如，将拍摄设备获取的图像划分成不同的图像集，基于初级的货物图像图像处理网络组件，得到每个拍摄设备清除后的货物图像，将清除后的货物图像整理后，再一并基于后一级的货物图像图像处理网络组件，获得最后的结果。以上通过两级组件的货物图像缺陷扰动清除，调校的环节往往依赖大量的计算开销，在实际应用时对硬件环境和成本要求过高，但是如果精简参数量来缩减成本，又会引起图像处理的性能减弱。基于此，本发明提出了新的产业协同仓储管理方法，通过获取目标货物图像的初始图像要素描述子，将初始图像要素描述子加载到事先调校的货物图像处理网络，得到货物图像处理网络输出的目标图像要素描述子，该货物图像处理网络为通过多层划簇代价函数和屏蔽预测代价函数进行的按序调校得到，以将两个网络整合在一起得到新的网络，环节网络调校环节的计算开销。然后基于目标图像要素描述子确定得到清除自因缺陷和外因扰动的目标货物图像，这样一来，基于不同代价函数对实现部署的货物图像处理网络进行网络调校，促使网络对初始图像要素描述子中的自因缺陷和外因扰动进行清除，不仅缓解了网络的运算开销，还令图像处理的能力得到强化。
具体地，本发明实施例提供了一种产业协同仓储管理方法，该方法应用于电子设备，如图2所示，该方法包括：
步骤S101，获取目标货物图像的初始图像要素描述子。
本发明实施例中，获取待进行图像缺陷扰动清除的目标货物图像的初始图像要素描述子。其中，初始图像要素描述子为通过目标货物图像获得的图像特征，本质为一个特征向量，获取初始图像要素描述子的方式例如是基于统计货物图像中不同颜色的像素数量，得到颜色直方图；或者基于计算货物图像中的梯度方向和强度描述纹理和形状的方向梯度直方图HOG；或者基于图像中的局部特征点的尺度方向得到的尺度不变特征变换SIFT；或者基于卷积神经网络提取的图像的高层特征表示，当然，可以采用以上方式中的多种进行组合，具体不做限定。
步骤S102，将初始图像要素描述子加载到事先调校的货物图像处理网络，得到货物图像处理网络输出的目标图像要素描述子。
在一些情况下，拍摄设备拍摄的目标货物图像可能同时具有自因缺陷和外因扰动，其中，自因缺陷是货物自身的缺陷，例如货物脏污、破损导致的成像不完整，外因扰动例如是由于传感器噪声、电磁干扰、信号传输干扰等外界因素引起的图像内容扰动，因为对目标货物图像进行内因缺陷清除和外因扰动清除的两个阶段的神经网络在调校时，涉及的网络内部配置变量(如各种权重、偏置)数量较多，将引起极大的运算开销，而精简参数又会引起内因缺陷清除和外因扰动清除的效果打折。那么，本发明实施例提出将两个网络进行整合到一个网络，以有效降低内部配置的变量数量，缓解了网络调校过程中的运算开销，同时确保网络在进行图像缺陷扰动清除的效果。
本发明实施例中，货物图像处理网络可以通过加载到的初始图像要素描述子生成目标货物图像对应的目标图像要素描述子，也就是通过图像缺陷扰动清除后，除去自因缺陷和外因扰动的无噪的图像要素描述子。作为一种货物图像处理网络的组成示例，货物图像处理网络可以包括中间网络模块(即神经网络的中间隐藏的网络层)、多层划簇模块(即具有深度的聚类网络层)、图像屏蔽预测模块以及自因缺陷屏蔽预测模块。其中，多层划簇模块、图像屏蔽预测模块以及自因缺陷屏蔽预测模块可以为密集网络层，它们的执行数据都源于中间网络模块的输出，中间网络模块可以通过加载到的初始图像要素描述子确定得到深度描述子，该深度描述子为图像缺陷扰动清除时的中间结果，即产生的中间特征。图像屏蔽预测模块可以通过深度描述子进行屏蔽预测(即对货物图像中的对象进行像素级语义分割，生成各个对象的边界掩码，完成对象的语义分割，又可以称为掩码预测)，得到清除自因缺陷和外因扰动的目标图像要素描述子，自因缺陷屏蔽预测模块可以通过深度描述子进行屏蔽预测，得到包含自因缺陷的图像要素描述子，多层划簇模块基于对获取的深度描述子进行多层划簇，即学习图像数据的隐藏表示，并分组到不同的分类簇中，其具体是基于深度神经网络学习图像的高级特征表达，结合聚类算法进行准确划簇，以在无监督学习下完成分组，可以帮助发现图像的隐藏模式和结构，可以协助图像屏蔽预测模块和自因缺陷屏蔽预测模块内因缺陷清除和外因扰动清除。其中，中间网络模块可以为卷积神经网络。
可选地，在网络调校时，可以基于多层划簇模块对应的多层划簇代价函数以及图像屏蔽预测模块和自因缺陷屏蔽预测模块分别对应的屏蔽预测代价函数对网络进行按序调校。例如，首先可以通过多层划簇代价函数和屏蔽预测代价函数调校内因缺陷清除网络，如果内因缺陷清除网络收敛结束调校，其中，图像屏蔽预测模块对应的屏蔽预测代价函数采用的是不包含自因缺陷包含外因扰动的无噪货物图像注释信息。然后，调校外因扰动清除网络，将前面调校好的内因缺陷清除网络确定为外因扰动清除网络，通过多层划簇代价函数和屏蔽预测代价函数调校外因扰动清除网络，当外因扰动清除网络收敛时结束调校，其中，图像屏蔽预测模块对应的屏蔽预测代价函数采用的是不包含自因缺陷不包含外因扰动的无噪货物图像注释信息，如此，最后获得的外因扰动清除网络，换言之，货物图像处理网络拥有同时进行内因缺陷清除和外因扰动清除的性能。本发明实施例中，各个注释信息均可用标签(Label)进行实现。
需要理解，货物图像处理网络的多层划簇模块为一个通过图像数据划簇的二分类代价，因为多层划簇代价具有类内紧凑型、类间分离性，可以更好地促使图像屏蔽预测模块和自因缺陷屏蔽预测模块在调校时对图像中的自因缺陷和外因扰动进行清除，如此有效强化网络进行图像缺陷扰动清除的效果。按序调校可以使内因缺陷清除和外因扰动清除任务于各自的调校环节都可以具有最好的调校性能，便于强化货物图像处理网络进行内因缺陷清除和外因扰动清除的性能。基于此，基于以上调校得到的货物图像处理网络，能基于多层CNN获得深度描述子，然后图像屏蔽预测模块可以通过深度描述子进行屏蔽预测确定得到货物图像的二值图像(掩码)，也就是目标图像要素描述子。
步骤S103，基于目标图像要素描述子，确定得到清除自因缺陷和外因扰动的目标货物图像。
可选地，对获取的目标图像要素描述子进行图像重建，确定得到清除自因缺陷和外因扰动的目标货物图像。例如，将目标图像要素描述子与原始货物图像的描述子进行融合或组合，这个过程可以通过简单的加权求和、拼接、堆叠等方式进行，然后利用融合后的描述子进行重建，生成去噪后的图像，重建可以使用各种方法，如逆卷积、生成对抗网络等，具体不做限定。
本发明实施例中，获取目标货物图像的初始图像要素描述子，将初始图像要素描述子加载到事先调校的货物图像处理网络，得到货物图像处理网络输出的目标图像要素描述子，该货物图像处理网络为通过多层划簇代价函数和屏蔽预测代价函数进行的按序调校得到，然后基于目标图像要素描述子，确定得到清除自因缺陷和外因扰动的目标货物图像。基于此，基于不同代价函数对事先部署的货物图像处理网络进行网络调校，促使网络对初始图像要素描述子中的自因缺陷和外因扰动进行清除，不仅缓解了网络的运算开销，还令图像处理的能力得到强化。
下面介绍该货物图像处理网络的调校过程，具体包括以下步骤：
步骤T101，获取货物图像学习样例集。
需要理解，对预设图像处理网络组件的调校，可以是基于获取的货物图像学习样例集提前进行的，后面每一次对目标货物图像的初始图像要素描述子进行图像缺陷扰动清除时，采取调校获得的货物图像处理网络确定得到清除自因缺陷和外因扰动的目标图像要素描述子，不用每次进行图像缺陷扰动清除时，又一次对预设图像处理网络组件进行调校。
可选地，获取货物图像学习样例集的过程可以包括如下操作：
T1011，获取第一货物图像学习样例。
T1012，对第一货物图像学习样例进行图像要素描述子挖掘，得到自因缺陷图像要素描述子。
T1013，获取第二货物图像学习样例。
T1014，对第二货物图像学习样例进行图像要素描述子挖掘，得到第一无噪货物图像注释信息以及第二无噪货物图像注释信息。
T1015，基于第一货物图像学习样例以及第二货物图像学习样例，确定多层划簇标记。
第一货物图像学习样例为通过拍摄设备拍摄的具有自因缺陷和外因扰动的货物图像，第二货物图像学习样例为不包含自因缺陷包含外因扰动的无噪货物图像以及不包含自因缺陷不包含外因扰动的无噪货物图像，多层划簇标记为第一货物图像学习样例和第二货物图像学习样例在每一像素点上的特征比值。
例如，可以直接基于拍摄设备拍摄具有自因缺陷和外因扰动的目标货物图像。
或者，可以在内因缺陷清除调校样本库中获取无噪货物图像(即没有缺陷和扰动的货物图像)作为第二货物图像学习样例，为了对预设图像处理网络组件进行按序调校，可以获取不包含自因缺陷包含外因扰动的无噪货物图像和不包含自因缺陷不包含外因扰动的无噪货物图像，进而对不包含自因缺陷包含外因扰动的无噪货物图像进行图像要素描述子挖掘，得到第一无噪货物图像注释信息，对不包含自因缺陷不包含外因扰动的无噪货物图像进行图像要素描述子挖掘，得到第二无噪货物图像注释信息。具体地，自因缺陷图像注释信息第一无噪货物图像注释信息和第二无噪货物图像注释信息可以表征为嵌入的特征向量。
可选地，可以基于对比第一货物图像学习样例和第二货物图像学习样例在每个像素上的像素值来确定出多层划簇标记，比如将不包含自因缺陷包含外因扰动的货物图像和自因缺陷货物图像的像素值的比确定为多层划簇标记，或者将不包含自因缺陷不包含外因扰动的货物图像和自因缺陷货物图像的像素值的比确定为多层划簇标记，多层划簇标记用于多层划簇代价函数的确定。
步骤T102，获取预设图像处理网络组件。
由于在仓储管理环节，货物的出入库对时间要求较高，因此，图像缺陷扰动清除的效率需要得到提高，基于此，货物图像处理网络的内部配置变量不能过多，否则耗费太长的时间在计算上，而内部配置变量减少时，又会带来图像缺陷扰动清除性能不足。基于此，本发明实施例将两个网络进行整合，令货物图像处理网络能同时进行内因缺陷清除和外因扰动清除，在不降低网络内部配置变量的前提下，还是可以保证图像缺陷扰动清除的能力。
可选地，本发明实施例中，预设图像处理网络组件可以包括中间网络模块、多层划簇模块和屏蔽预测模块。预设图像处理网络组件为一个共用下层参数进行多维输出的模型，其中，多层划簇模块能协助图像屏蔽预测模块和自因缺陷屏蔽预测模块进行屏蔽预测，令图像屏蔽预测模块和自因缺陷屏蔽预测模块在网络调校的时准确鉴别货物图像中的自因缺陷和外因扰动，中间网络模块可以为卷积神经网络，例如残差神经网络，屏蔽预测模块包括货物图像二值图像单元(即掩码单元)和自因缺陷二值图像单元。图像屏蔽预测模块可以确定得到货物图像的二值图像轮廓，可以认为是一个掩码，即无噪货物图像注释信息，自因缺陷屏蔽预测模块可以确定得到自因缺陷和外因扰动的二值图像轮廓，可以认为是一个掩码，即自因缺陷图像注释信息。需要理解，只需要通过图像屏蔽预测模块输出的二值图像轮廓对货物图像进行处理，则并没有引入额外的图像缺陷扰动清除运算开销，提高了图像缺陷扰动清除的速度。
步骤T103，基于货物图像学习样例集对预设图像处理网络组件按序进行自因缺陷清除调校以及外因扰动清除调校，直到预设图像处理网络组件符合设定收敛要求，得到调校后的目标图像处理网络组件，将其确定为货物图像处理网络。
因为调校好的目标图像处理网络组件，也即货物图像处理网络，同时执行内因缺陷清除和外因扰动清除的两个清除支线，若对该两个清除支线同时进行调校，那么预设图像处理网络组件的调校难以达到最佳的调校结果，那么，可以通过按序调校将两个支线的调校进行分开。具体而言，本发明实施例提供两种按序调校的方法，比如先进行自因缺陷清除调校，然后进行外因扰动清除调校，或者先进行外因扰动清除调校，然后进行自因缺陷清除调校。其中，自因缺陷清除调校的目标为使得网络拥有内因缺陷清除的性能，外因扰动清除调校的目标为使得网络拥有外因扰动清除的性能，如此，能令该两个清除支线可以单独调校环节均可以达到最佳调校结果，以强化货物图像处理网络进行图像缺陷扰动清除的能力。
可选地实施方式中，基于货物图像学习样例集对预设图像处理网络组件按序进行自因缺陷清除调校以及外因扰动清除调校，直到预设图像处理网络组件符合设定收敛要求，具体可以包括：
步骤T01，将自因缺陷图像要素描述子加载到中间网络模块，基于中间网络模块生成深度调校描述子。
步骤T02，将深度调校描述子加载到多层划簇模块，基于多层划簇模块生成划簇调校标记。
步骤T03，将深度调校描述子加载到图像屏蔽预测模块，基于图像屏蔽预测模块生成无噪货物图像调校描述子。
步骤T04，将深度调校描述子加载到自因缺陷屏蔽预测模块，基于自因缺陷屏蔽预测模块生成自因缺陷图像调校描述子。
步骤T05，基于无噪货物图像注释信息、自因缺陷图像注释信息、多层划簇标记、无噪货物图像调校描述子、自因缺陷图像调校描述子以及划簇调校标记生成目标代价函数，并基于目标代价函数对预设图像处理网络组件按序进行自因缺陷清除调校以及外因扰动清除调校，直到预设图像处理网络组件符合设定收敛要求。
其中，深度调校描述子为预设图像处理网络组件的中间网络模块产生的中间结果，其被作为一个通用值被分别加载到多层划簇模块、图像屏蔽预测模块和自因缺陷屏蔽预测模块，以实现下层参数的共用，降低网络的内部配置变量数量。图像屏蔽预测模块和自因缺陷屏蔽预测模块可以通过深度调校描述子分别对应生成无噪货物图像调校描述子和自因缺陷图像调校描述子。多层划簇模块可以通过深度调校描述子生成划簇调校标记。可选地，基于无噪货物图像注释信息、自因缺陷图像注释信息、多层划簇标记、无噪货物图像调校描述子、自因缺陷图像调校描述子以及划簇调校标记生成目标代价函数，并基于目标代价函数对预设图像处理网络组件按序进行自因缺陷清除调校以及外因扰动清除调校，直到预设图像处理网络组件符合设定收敛要求，具体包括：
步骤T051，基于划簇调校标记和多层划簇标记，确定第一代价函数。
其中，第一代价函数即为多层划簇代价函数，比如，第一代价函数Cd(md,md’)，md为划簇调校标记，md’为多层划簇标记。
步骤T052，基于无噪货物图像调校描述子和无噪货物图像注释信息，确定第二代价函数。
对于两种按序调校，可以基于不同的无噪货物图像注释信息确定两种不同的第二代价函数。例如，可以基于无噪货物图像调校描述子mn和第一无噪货物图像注释信息mnl，确定自因缺陷清除代价函数Cc(mn,mnl)，将自因缺陷清除代价函数作为第二代价函数Cc(mn,mnl)。
例如，可以基于无噪货物图像调校描述子mn和第二无噪货物图像注释信息mn2确定自因缺陷清除代价函数Cc(mn,mn2)，将自因缺陷清除代价函数作为第二代价函数Cc(mn,mn2)。
步骤T053，基于自因缺陷图像调校描述子和自因缺陷图像注释信息，确定第三代价函数。
例如，第三代价函数Cb(mb,mb’)，其中，mb为自因缺陷图像调校描述子，mb’为自因缺陷图像注释信息。其中，第二代价函数Cc和第三代价函数Cb(mb,mb’)即为屏蔽预测代价函数。
步骤T054，基于第一代价函数，第二代价函数和第三代价函数，生成预设图像处理网络组件的目标代价函数，并基于目标代价函数对预设图像处理网络组件按序进行自因缺陷清除调校以及外因扰动清除调校，直到预设图像处理网络组件符合设定收敛要求。
例如，基于第一代价函数Cd、第二代价函数Cc和第三代价函数Cb生成预设图像处理网络组件的目标代价函数C，可以采用如下公式实现：
C＝w1·Cd+w2·Cc+w3·Cb
其中，w1、w2和w3为权重，目标代价函数C对预设图像处理网络组件按序进行自因缺陷清除调校和外因扰动清除调校，直到预设图像处理网络组件符合设定收敛要求。
因为在不同的货物图像使用场景中，对货物图像的图像精度，也即展示信息的完整性和清晰度的要求是不一样的，例如对于简单的尺寸测量、轮廓检测任务场景，对精度要求就会较低，此时可以重点进行外因扰动的清除；对于复杂的信息识别、表面完整性检测任务场景，对精度要求就会较高，此时可以重点进行内因缺陷的清除。可选的实施方式中，可以基于货物图像处理网络的应用要求，获取图像精度约束条件，基于图像精度约束条件确定对应的按序调校方式。然后，通过按序调校方式，基于第一代价函数、第二代价函数和第三代价函数生成预设图像处理网络组件的目标代价函数，基于目标代价函数对预设图像处理网络组件按序进行自因缺陷清除调校和外因扰动清除调校，直到预设图像处理网络组件符合设定收敛要求。其中，图像精度约束条件用于指示货物图像处理网络对应的任务类型。按序调校方式包括第一按序调校方式和第二按序调校方式，第一按序调校方式用于匹配重点进行内因缺陷清除，先进行自因缺陷清除调校，然后进行外因扰动清除调校。第二按序调校方式用于匹配重点进行外因扰动清除，先进行外因扰动清除调校，然后进行自因缺陷清除调校。
可选地，在以清除自因缺陷为重点时，先进行自因缺陷清除调校，然后进行外因扰动清除调校。通过第一按序调校方式，基于第一代价函数、第二代价函数和第三代价函数，确定预设图像处理网络组件的目标代价函数，第二代价函数为自因缺陷清除代价函数确定得到，然后基于目标代价函数对预设图像处理网络组件反复进行自因缺陷清除调校，直到预设图像处理网络组件符合设定收敛要求，得到自因缺陷清除网络组件，自因缺陷清除网络组件只提供内因缺陷清除。然后，基于第一代价函数、第二代价函数以及第三代价函数，确定自因缺陷清除网络组件的目标代价函数，第二代价函数为外因扰动清除代价函数确定得到，进而基于目标代价函数对自因缺陷清除网络组件反复进行外因扰动清除调校，直到自因缺陷清除网络组件符合设定收敛要求。这样一来，先进行独自的自因缺陷清除调校，能杜绝调校环节受外因扰动的影响，以令得到的目标图像处理网络组件包括更好的内因缺陷清除能力。
可选地，在以清除外因扰动为重点时，先进行外因扰动清除调校，然后进行自因缺陷清除调校。通过第二按序调校方式，基于第一代价函数、第二代价函数和第三代价函数，确定预设图像处理网络组件的目标代价函数，第二代价函数为外因扰动清除代价函数确定得到，然后基于目标代价函数对预设图像处理网络组件反复进行外因扰动清除调校，直到预设图像处理网络组件符合设定收敛要求，得到外因扰动清除网络组件，外因扰动清除网络组件只提供外因扰动清除。然后，基于第一代价函数、第二代价函数和第三代价函数，确定外因扰动清除网络组件的目标代价函数，第二代价函数为自因缺陷清除代价函数确定得到，然后基于目标代价函数对外因扰动清除网络组件反复进行自因缺陷清除调校，直到外因扰动清除网络组件符合设定收敛要求，这样一来，先进行独自的外因扰动清除调校，能杜绝调校过程受自因缺陷的影响，令得到的目标图像处理网络组件拥有更好的外因扰动清除能力。
以上提及的设定收敛要求可以是调校的次数达到了最大次数、网络的代价不再变化或者小于预设代价值，具体不做限定。
基于多任务调校对预设图像处理网络组件进行的调校，虽然采取多层划簇代价和屏蔽预测代价进行联合调校，然而，仅在目标图像处理网络组件，也就是货物图像处理网络确定的验证环节采用屏蔽预测代价，在货物图像处理网络应用过程中，基于屏蔽预测分支的输出结果，作为图像缺陷扰动清除后的掩码，也就是目标图像要素描述子。
步骤T104，获取目标货物图像的初始图像要素描述子。
步骤T105，将初始图像要素描述子加载到中间网络模块，基于中间网络模块生成深度描述子。
步骤T106，将深度描述子加载到图像屏蔽预测模块，基于图像屏蔽预测模块生成无噪图像要素描述子，并将无噪图像要素描述子作为目标图像要素描述子。
可选地，在拍摄到目标货物图像后，对目标货物图像进行图像要素描述子挖掘，得到初始图像要素描述子，将初始图像要素描述子加载到到货物图像图像处理网络组件的中间网络模块，基于中间网络模块生成深度描述子，然后可以将深度描述子加载到图像屏蔽预测模块，基于图像屏蔽预测模块生成无噪图像要素描述子，并将无噪图像要素描述子作为目标图像要素描述子。
步骤T107，对目标图像要素描述子进行图像重建，确定得到清除自因缺陷和外因扰动的目标货物图像。
可选地，在获取目标图像要素描述子之后，可以对目标图像要素描述子进行图像重建，得到目标货物图像。本发明实施例中，获取货物图像学习样例集和预设图像处理网络组件，基于货物图像学习样例集对预设图像处理网络组件按序进行自因缺陷清除调校以及外因扰动清除调校，直到预设图像处理网络组件符合设定收敛要求，得到调校后的目标图像处理网络组件，将其确定为货物图像处理网络，然后将初始图像要素描述子加载到中间网络模块，基于中间网络模块生成深度描述子，将深度描述子加载到图像屏蔽预测模块，基于图像屏蔽预测模块生成无噪图像要素描述子，将无噪图像要素描述子作为目标图像要素描述子，然后对目标图像要素描述子进行图像重建，确定得到清除自因缺陷和外因扰动的目标货物图像。综上，只用采取货物图像处理网络的图像屏蔽预测模块输出的目标图像要素描述子进行货物图像的清除处理，不用额外加入图像缺陷扰动清除环节的运算开销，增加了图像缺陷扰动清除速度。
基于上述实施例，本发明实施例提供一种图像处理装置，图3是本发明实施例提供的一种图像处理装置340，如图3所示，所述装置340包括：
特征挖掘模块341，用于获取目标货物图像的初始图像要素描述子；
特征处理模块342，用于将所述初始图像要素描述子加载到事先调校的货物图像处理网络，得到所述货物图像处理网络输出的目标图像要素描述子，所述货物图像处理网络为通过多层划簇代价函数和屏蔽预测代价函数进行的按序调校得到；
图像处理模块343，用于基于所述目标图像要素描述子，确定得到清除自因缺陷和外因扰动的目标货物图像；
网络调校模块344，用于对所述货物图像处理网络基于以下操作进行调校：
获取货物图像学习样例集，所述货物图像学习样例集包括自因缺陷图像要素描述子、无噪货物图像注释信息、自因缺陷图像注释信息以及多层划簇标记；
获取预设图像处理网络组件，所述预设图像处理网络组件包括中间网络模块、多层划簇模块以及屏蔽预测模块；
基于所述货物图像学习样例集对预设图像处理网络组件按序进行自因缺陷清除调校以及外因扰动清除调校，直到所述预设图像处理网络组件符合设定收敛要求，得到调校后的目标图像处理网络组件，将其确定为所述货物图像处理网络。
以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本发明装置实施例中未披露的技术细节，请参照本发明方法实施例的描述而理解。
若本发明技术方案涉及个人或私密信息，应用本发明技术方案的产品在处理个人信息前，已明确告知个人信息处理规则，并取得个人自主同意。若本发明技术方案涉及敏感个人信息，应用本发明技术方案的产品在处理敏感个人信息前，已取得个人单独同意，并且同时满足“明示同意”的要求，同时在法律法规的范围内收集。例如，在摄像头等个人信息采集装置处，设置明确显著的标识告知已进入个人信息采集范围，将会对个人信息进行采集，若个人自愿进入采集范围即视为同意对其个人信息进行采集；或者在个人信息处理的装置上，利用明显的标识/信息告知个人信息处理规则的情况下，通过弹窗信息或请个人自行上传其个人信息等方式获得个人授权；其中，个人信息处理规则可包括个人信息处理者、个人信息处理目的、处理方式、处理的个人信息种类等信息。
需要说明的是，本发明实施例中，如果以软件功能模块的形式实现上述方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本发明实施例不限制于任何特定的硬件和软件结合。
本发明实施例提供一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法。
本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法。所述计算机可读存储介质可以是瞬时性的，也可以是非瞬时性的。
本发明实施例提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序被计算机读取并执行时，实现上述方法中的部分或全部步骤。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software DevelopmentKit，SDK)等等。
需要说明的是，图4是本发明实施例提供的一种XXX的硬件实体示意图，如图4所示，该电子设备300的硬件实体包括：处理器310、通信接口320和存储器330，其中：处理器310通常控制电子设备300的总体操作。通信接口320可以使电子设备通过网络与其他终端或服务器通信。存储器330配置为存储由处理器310可执行的指令和应用，还可以缓存待处理器310以及电子设备300中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(FLASH)或随机访问存储器(Random AccessMemory，RAM)实现。处理器310、通信接口320和存储器330之间可以通过总线340进行数据传输。这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本发明存储介质和设备实施例中未披露的技术细节，请参照本发明方法实施例的描述而理解。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种产业协同仓储管理方法，其特征在于，应用于电子设备，所述方法包括：
获取目标货物图像的初始图像要素描述子；
将所述初始图像要素描述子加载到事先调校的货物图像处理网络，得到所述货物图像处理网络输出的目标图像要素描述子，所述货物图像处理网络为通过多层划簇代价函数和屏蔽预测代价函数进行的按序调校得到；
基于所述目标图像要素描述子，确定得到清除自因缺陷和外因扰动的目标货物图像；
其中，所述货物图像处理网络基于以下操作进行调校：
获取货物图像学习样例集，所述货物图像学习样例集包括自因缺陷图像要素描述子、无噪货物图像注释信息、自因缺陷图像注释信息以及多层划簇标记；
获取预设图像处理网络组件，所述预设图像处理网络组件包括中间网络模块、多层划簇模块以及屏蔽预测模块；
基于所述货物图像学习样例集对预设图像处理网络组件按序进行自因缺陷清除调校以及外因扰动清除调校，直到所述预设图像处理网络组件符合设定收敛要求，得到调校后的目标图像处理网络组件，将其确定为所述货物图像处理网络。
2.根据权利要求1所述的方法，其特征在于，所述屏蔽预测模块包括图像屏蔽预测模块以及自因缺陷屏蔽预测模块，所述基于所述货物图像学习样例集对预设图像处理网络组件按序进行自因缺陷清除调校以及外因扰动清除调校，直到所述预设图像处理网络组件符合设定收敛要求，包括：
将所述自因缺陷图像要素描述子加载到所述中间网络模块，基于所述中间网络模块生成深度调校描述子；
将所述深度调校描述子加载到所述多层划簇模块，基于所述多层划簇模块生成划簇调校标记；
将所述深度调校描述子加载到所述图像屏蔽预测模块，基于所述图像屏蔽预测模块生成无噪货物图像调校描述子；
将所述深度调校描述子加载到所述自因缺陷屏蔽预测模块，基于所述自因缺陷屏蔽预测模块生成自因缺陷图像调校描述子；
基于所述无噪货物图像注释信息、所述自因缺陷图像注释信息、所述多层划簇标记、所述无噪货物图像调校描述子、所述自因缺陷图像调校描述子以及所述划簇调校标记生成目标代价函数，并基于所述目标代价函数对所述预设图像处理网络组件按序进行自因缺陷清除调校以及外因扰动清除调校，直到所述预设图像处理网络组件符合设定收敛要求。
3.根据权利要求2所述的方法，其特征在于，所述基于所述无噪货物图像注释信息、所述自因缺陷图像注释信息、所述多层划簇标记、所述无噪货物图像调校描述子、所述自因缺陷图像调校描述子以及所述划簇调校标记生成目标代价函数，并基于所述目标代价函数对所述预设图像处理网络组件按序进行自因缺陷清除调校以及外因扰动清除调校，直到所述预设图像处理网络组件符合设定收敛要求，包括：
基于所述划簇调校标记和所述多层划簇标记，确定第一代价函数；
基于所述无噪货物图像调校描述子和所述无噪货物图像注释信息，确定第二代价函数；
基于所述自因缺陷图像调校描述子和所述自因缺陷图像注释信息，确定第三代价函数；
基于所述第一代价函数，所述第二代价函数和所述第三代价函数，生成所述预设图像处理网络组件的目标代价函数，并基于所述目标代价函数对所述预设图像处理网络组件按序进行自因缺陷清除调校以及外因扰动清除调校，直到所述预设图像处理网络组件符合设定收敛要求。
4.根据权利要求3所述的方法，其特征在于，所述无噪货物图像注释信息包括第一无噪货物图像注释信息，所述基于所述无噪货物图像调校描述子和所述无噪货物图像注释信息，确定第二代价函数，包括：
基于所述无噪货物图像调校描述子和所述第一无噪货物图像注释信息，确定自因缺陷清除代价函数；
将所述自因缺陷清除代价函数作为第二代价函数，所述第一无噪货物图像注释信息为通过不包含自因缺陷包含外因扰动的货物图像获取的图像注释信息；
或者；
所述无噪货物图像注释信息包括第二无噪货物图像注释信息，所述基于所述无噪货物图像调校描述子和所述无噪货物图像注释信息，确定第二代价函数，包括：
基于所述无噪货物图像调校描述子和所述第二无噪货物图像注释信息，确定外因扰动清除代价函数；
将所述外因扰动清除代价函数作为第二代价函数，所述第二无噪货物图像注释信息为通过不包含自因缺陷不包含外因扰动的货物图像获取的图像注释信息。
5.根据权利要求4所述的方法，其特征在于，所述基于所述第一代价函数，所述第二代价函数和所述第三代价函数，生成所述预设图像处理网络组件的目标代价函数，并基于所述目标代价函数对所述预设图像处理网络组件按序进行自因缺陷清除调校以及外因扰动清除调校，直到所述预设图像处理网络组件符合设定收敛要求，包括：
获取图像精度约束条件；
基于所述图像精度约束条件确定对应的按序调校方式；
通过所述按序调校方式，基于所述第一代价函数、所述第二代价函数和所述第三代价函数，生成所述预设图像处理网络组件的目标代价函数，并基于所述目标代价函数对所述预设图像处理网络组件按序进行自因缺陷清除调校以及外因扰动清除调校，直到所述预设图像处理网络组件符合设定收敛要求。
6.根据权利要求5所述的方法，其特征在于，所述按序调校方式包括第一按序调校方式，所述通过所述按序调校方式，基于所述第一代价函数，所述第二代价函数和所述第三代价函数，生成所述预设图像处理网络组件的目标代价函数，并基于所述目标代价函数对所述预设图像处理网络组件按序进行自因缺陷清除调校以及外因扰动清除调校，直到所述预设图像处理网络组件符合设定收敛要求，包括：
在所述按序调校方式为第一按序调校方式时，基于所述第一代价函数、所述第二代价函数以及所述第三代价函数，确定所述预设图像处理网络组件的目标代价函数，并基于所述目标代价函数对所述预设图像处理网络组件反复进行自因缺陷清除调校，直到所述预设图像处理网络组件符合设定收敛要求，得到自因缺陷清除网络组件，其中，所述第二代价函数为自因缺陷清除代价函数确定得到；
基于所述第一代价函数、所述第二代价函数以及所述第三代价函数，确定所述自因缺陷清除网络组件的目标代价函数，并基于所述目标代价函数对所述自因缺陷清除网络组件反复进行外因扰动清除调校，直到所述自因缺陷清除网络组件符合设定收敛要求，其中，所述第二代价函数为外因扰动清除代价函数确定得到。
7.根据权利要求5所述的方法，其特征在于，所述按序调校方式包括第二按序调校方式，所述通过所述按序调校方式，基于所述第一代价函数，所述第二代价函数和所述第三代价函数，生成所述预设图像处理网络组件的目标代价函数，并基于所述目标代价函数对所述预设图像处理网络组件按序进行自因缺陷清除调校以及外因扰动清除调校，直到所述预设图像处理网络组件符合设定收敛要求，包括：
在所述按序调校方式为第二按序调校方式时，基于所述第一代价函数、所述第二代价函数以及所述第三代价函数，确定所述预设图像处理网络组件的目标代价函数，并基于所述目标代价函数对所述预设图像处理网络组件反复进行外因扰动清除调校，直到所述预设图像处理网络组件符合设定收敛要求，得到外因扰动清除网络组件，其中，所述第二代价函数为外因扰动清除代价函数确定得到；
基于所述第一代价函数、所述第二代价函数以及所述第三代价函数，确定所述外因扰动清除网络组件的目标代价函数，并基于所述目标代价函数对所述外因扰动清除网络组件反复进行自因缺陷清除调校，直到所述外因扰动清除网络组件符合设定收敛要求，其中，所述第二代价函数为自因缺陷清除代价函数确定得到。
8.根据权利要求1所述的方法，其特征在于，所述获取货物图像学习样例集，包括：
获取第一货物图像学习样例，所述第一货物图像学习样例为通过拍摄设备拍摄的具有自因缺陷和外因扰动的货物图像；
对所述第一货物图像学习样例进行图像要素描述子挖掘，得到自因缺陷图像要素描述子；
获取第二货物图像学习样例，所述第二货物图像学习样例包括不包含自因缺陷包含外因扰动的无噪货物图像以及不包含自因缺陷不包含外因扰动的无噪货物图像；
对所述第二货物图像学习样例进行图像要素描述子挖掘，得到第一无噪货物图像注释信息以及第二无噪货物图像注释信息；
基于所述第一货物图像学习样例以及所述第二货物图像学习样例，确定多层划簇标记。
9.根据权利要求1所述的方法，其特征在于，所述货物图像处理网络包括中间网络模块、多层划簇模块、图像屏蔽预测模块以及自因缺陷屏蔽预测模块，所述将所述初始图像要素描述子加载到事先调校的货物图像处理网络，得到所述货物图像处理网络输出的目标图像要素描述子，包括：
将所述初始图像要素描述子加载到所述中间网络模块，基于所述中间网络模块生成深度描述子；
将所述深度描述子加载到所述图像屏蔽预测模块，基于所述图像屏蔽预测模块生成无噪图像要素描述子，并将所述无噪图像要素描述子作为目标图像要素描述子；
所述基于所述目标图像要素描述子，确定得到清除自因缺陷和外因扰动的目标货物图像，包括：
对所述目标图像要素描述子进行图像重建，确定得到清除自因缺陷和外因扰动的目标货物图像。
10.一种产业协同仓储管理系统，其特征在于，包括图像采集设备和电子设备，所述图像采集设备和所述电子设备通信连接，所述图像采集设备用于采集货物图像发送至所述电子设备，所述电子设备包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1～9任一项所述的方法。
CN202311542962.5A 2023-11-17 2023-11-17 一种产业协同仓储管理方法及系统 Pending CN117522271A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311542962.5A CN117522271A (zh) 2023-11-17 2023-11-17 一种产业协同仓储管理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311542962.5A CN117522271A (zh) 2023-11-17 2023-11-17 一种产业协同仓储管理方法及系统

Publications (1)

Publication Number Publication Date
CN117522271A true CN117522271A (zh) 2024-02-06

Family

ID=89764027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311542962.5A Pending CN117522271A (zh) 2023-11-17 2023-11-17 一种产业协同仓储管理方法及系统

Country Status (1)

Country Link
CN (1) CN117522271A (zh)

Similar Documents

Publication Publication Date Title
US20240289625A1 (en) Systems and methods to enable continual, memory-bounded learning in artificial intelligence and deep learning continuously operating applications across networked compute edges
CN111179251B (zh) 基于孪生神经网络利用模板比对的缺陷检测系统及方法
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
US11216932B1 (en) Electronic substrate defect detection
CN113095370A (zh) 图像识别方法、装置、电子设备及存储介质
Waqas et al. Vehicle damage classification and fraudulent image detection including moiré effect using deep learning
CN108133235A (zh) 一种基于神经网络多尺度特征图的行人检测方法
CN114494780A (zh) 基于特征对比的半监督工业缺陷检测方法及系统
CN110751191A (zh) 一种图像的分类方法及系统
Choe et al. The Real‐Time Mobile Application for Classifying of Endangered Parrot Species Using the CNN Models Based on Transfer Learning
Feng et al. A novel saliency detection method for wild animal monitoring images with WMSN
CN111144425B (zh) 检测拍屏图片的方法、装置、电子设备及存储介质
CN114445410A (zh) 基于图像识别的电路板检测方法、计算机及可读存储介质
CN117011260A (zh) 一种芯片外观缺陷自动检测方法、电子设备及存储介质
CN111222558A (zh) 图像处理方法及存储介质
CN118351118A (zh) 基于深度卷积神经网络的打印机外壳缺陷检测方法及装置
Metzner et al. Automated optical inspection of soldering connections in power electronics production using convolutional neural networks
Olisah et al. Understanding unconventional preprocessors in deep convolutional neural networks for face identification
Kumar et al. PCB defect classification using logical combination of segmented copper and non-copper part
CN116863116A (zh) 基于人工智能的图像识别方法、装置、设备及介质
CN117522271A (zh) 一种产业协同仓储管理方法及系统
CN109543571A (zh) 一种面向复杂产品异形加工特征的智能识别与检索方法
Lyu Research on subway pedestrian detection algorithm based on big data cleaning technology
Pang et al. [Retracted] GCN‐Unet: A Computer Vision Method with Application to Industrial Granularity Segmentation
CN116229059B (zh) 一种基于深度神经网络的机械表面缺陷分割提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination