CN111666816A - 物流件状态的检测方法、装置以及设备 - Google Patents

物流件状态的检测方法、装置以及设备 Download PDF

Info

Publication number
CN111666816A
CN111666816A CN202010376780.5A CN202010376780A CN111666816A CN 111666816 A CN111666816 A CN 111666816A CN 202010376780 A CN202010376780 A CN 202010376780A CN 111666816 A CN111666816 A CN 111666816A
Authority
CN
China
Prior art keywords
damage
image
damaged area
piece
logistics
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010376780.5A
Other languages
English (en)
Inventor
江生沛
黄仰光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SF Technology Co Ltd
SF Tech Co Ltd
Original Assignee
SF Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SF Technology Co Ltd filed Critical SF Technology Co Ltd
Priority to CN202010376780.5A priority Critical patent/CN111666816A/zh
Publication of CN111666816A publication Critical patent/CN111666816A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083Shipping
    • G06Q10/0833Tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • Multimedia (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请提供了物流件状态的检测方法、装置、设备以及计算机可读存储介质,用于在物流件的图像的基础上,可自动并且便捷地判断物流件的物流件状态。本申请提供的种物流件状态的检测方法,包括:获取物流件的初始图像,其中,初始图像为拍摄物流件得到的图像;在初始图像中识别物流件的破损区域,得到破损区域的破损区域图像;获取破损区域图像对应的破损信息。

Description

物流件状态的检测方法、装置以及设备
技术领域
本申请涉及图像识别领域,具体涉及物流件状态的检测方法、装置、设备以及计算机可读存储介质。
背景技术
在物流行业的物流服务中,物流件的安全性也是一大服务质量的体现,无论是妥当的包装方式、搬运方式、运输方式,还是发生破损后的合理解决方式,都是广大用户重点关注的地方。
对应的,为便于跟踪以及回溯物流件的物流件状态,现有的部分相关技术,倾向于通过视频监控的方式,向用户直观地展示用物流件在物流运输中采集到的图像或者视频,如此可清晰地看出物流件经历的包装方式、搬运方式、运输方式,为物流件的物流件状态的查看以及后续可能的破损物流件的理赔程序提供有力的数据支持。
然而,现有的相关技术在具有上述优点的同时,也需要看到的是,视频监控留下的视频数据,仍待人工查阅并判断物流件的物流件状态,需要耗费不低的人力成本,显然在一定程度上限制了视频监控在物流服务中的应用价值。
发明内容
本申请提供了物流件状态的检测方法、装置、设备以及计算机可读存储介质,用于在物流件的图像的基础上,可自动并且便捷地判断物流件的物流件状态。
第一方面,本申请提供了一种物流件状态的检测方法,方法包括:
获取物流件的初始图像,其中,初始图像为拍摄物流件得到的图像;
在初始图像中识别物流件的破损区域,得到破损区域的破损区域图像;
获取破损区域图像对应的破损信息。
结合本申请第一方面,在本申请第一方面第一种可能的实现方式中,获取破损区域图像的破损信息包括:
在预置的破损事件集合中,根据不同破损区域图像与不同破损事件之间的预置对应关系,匹配破损区域图像对应的目标破损事件,其中,破损事件集合中包括用于指示不同物流件在不同破损场景下的破损事件;
获取目标破损事件对应的目标事件信息,作为破损区域的破损信息。
结合本申请第一方面第一种可能的实现方式,在本申请第一方面第二种可能的实现方式中,在预置的破损事件集合中,根据不同破损区域图像与不同破损事件之间的预置对应关系,匹配破损区域图像对应的目标破损事件包括:
识别破损区域图像中破损区域的破损类别,其中,破损类别包括穿透性破损、裂痕破损、人工打孔以及误检中的至少一种;
识别破损区域图像中破损区域的破损程度;
基于破损类别以及破损程度,从破损事件集合中不同破损类别以及不同破损程度的破损事件中,匹配出目标破损事件。
结合本申请第一方面第一种可能的实现方式,在本申请第一方面第三种可能的实现方式中,获取目标破损事件对应的目标事件信息,作为破损区域的破损信息包括:
获取目标破损事件对应的目标事件信息;
将目标事件信息以及破损区域图像,确认为破损信息。
结合本申请第一方面第三种可能的实现方式,在本申请第一方面第四种可能的实现方式中,将目标事件信息以及破损区域图像,确认为破损信息包括:
将目标破损信息以及破损区域图像的缩略图按照预设的封装方式进行封装,得到破损区域的破损信息。
结合本申请第一方面,在本申请例第一方面第五种可能的实现方式中,在初始图像中识别物流件的破损区域,得到破损区域的破损区域图像包括:
从初始图像中识别物流件,并分割出物流件的物流件图像;
从物流件图像中识别物流件的破损区域,并分割出破损区域的破损区域图像。
结合本申请第一方面第五种可能的实现方式,在本申请第一方面第六种可能的实现方式中,从初始图像中识别物流件,得到物流件的物流件图像包括:
在预置的物流件位置范围内,从初始图像中识别物流件,得到物流件的物流件图像。
第二方面,本申请提供了一种物流件状态的检测装置,装置包括:
获取单元,用于获取物流件的初始图像,其中,初始图像为拍摄物流件得到的图像;
识别单元,用于在初始图像中识别物流件的破损区域,得到破损区域的破损区域图像;
获取单元,还用于获取破损区域图像对应的破损信息。
结合本申请第二方面,在本申请第二方面第一种可能的实现方式中,获取单元,具体用于:
在预置的破损事件集合中,根据不同破损区域图像与不同破损事件之间的预置对应关系,匹配破损区域图像对应的目标破损事件,其中,破损事件集合中包括用于指示不同物流件在不同破损场景下的破损事件;
获取目标破损事件对应的目标事件信息,作为破损区域的破损信息。
结合本申请第二方面第一种可能的实现方式,在本申请第二方面第二种可能的实现方式中,获取单元,具体用于:
识别破损区域图像中破损区域的破损类别,其中,破损类别包括穿透性破损、裂痕破损、人工打孔以及误检中的至少一种;
识别破损区域图像中破损区域的破损程度;
基于破损类别以及破损程度,从破损事件集合中不同破损类别以及不同破损程度的破损事件中,匹配出目标破损事件。
结合本申请第二方面第一种可能的实现方式,在本申请第二方面第三种可能的实现方式中,获取单元,具体用于:
获取目标破损事件对应的目标事件信息;
将目标事件信息以及破损区域图像,确认为破损信息。
结合本申请第二方面第三种可能的实现方式,在本申请第二方面第四种可能的实现方式中,获取单元,具体用于:
将目标破损信息以及破损区域图像的缩略图按照预设的封装方式进行封装,得到破损区域的破损信息。
结合本申请第二方面,在本申请第二方面第五种可能的实现方式中,识别单元,具体用于:
从初始图像中识别物流件,并分割出物流件的物流件图像;
从物流件图像中识别物流件的破损区域,并分割出破损区域的破损区域图像。
结合本申请第二方面第五种可能的实现方式,在本申请第二方面第六种可能的实现方式中,识别单元,具体用于:
在预置的物流件位置范围内,从初始图像中识别物流件,得到物流件的物流件图像。
第三方面,本申请还提供了一种物流件状态的检测设备,包括处理器和存储器,存储器中存储有计算机程序,处理器调用存储器中的计算机程序时执行本申请实施例第一方面提供的任一种方法中的步骤。
第四方面,本申请还提供了一种计算机可读存储介质,计算机可读存储介质存储有多条指令,指令适于处理器进行加载,以执行本申请实施例第一方面提供的任一种方法中的步骤。
从以上内容可得出,本申请具有以下的有益效果:
本申请通过获取拍摄物流件得到的初始图像,并在该初始图像中识别物流件及其破损区域,若识别得到破损区域,则可确定物流件发生了破损情况并提取出该破损区域对应的破损区域图像,接着再从该破损区域图像中继续识别其具体的破损情况,识别出该破损区域的破损信息,由此,不仅可直接节省了工作人员人工检测物流件是否发生破损情况的人力成本,并且还可便捷地得到物流件精确的破损信息,方便对物流件的物流件状态进行数字化监控。
此外,由于方案是基于图像识别实现的,还可融入到视频监控技术的应用中,即,可从视频信息提取出若干的图像,并从这些图像中识别物流件的破损区域及其破损信息,因此,本方案还可无缝接入到物流运输作业中的现有视频监控系统中,为视频监控系统提供一种新的视频监控方式,进一步提升视频监控系统的应用价值。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请物流件状态的检测方法的一种流程示意图;
图2为本申请在初始图像中识别破损区域的破损区域图像的一种流程示意图;
图3为本申请获取破损区域图像对应的破损信息的一种流程示意图;
图4为本申请结合预置的破损事件集合匹配目标破损事件的一种流程示意图;
图5为本申请获取破损区域图像对应的破损信息的又一种流程示意图;
图6为本申请物流件状态的检测装置的一种结构示意图;
图7为本申请物流件状态的检测设备的一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在以下的说明中,本申请的具体实施例将参考由一部或多部计算机所执行的步骤及符号来说明,除非另有述明。因此,这些步骤及操作将有数次提到由计算机执行,本文所指的计算机执行包括了由代表了以一结构化型式中的数据的电子信号的计算机处理单元的操作。此操作转换该数据或将其维持在该计算机的内存系统中的位置处,其可重新配置或另外以本领域测试人员所熟知的方式来改变该计算机的运作。该数据所维持的数据结构为该内存的实体位置,其具有由该数据格式所定义的特定特性。但是,本申请原理以上述文字来说明,其并不代表为一种限制,本领域测试人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。
本申请的原理使用许多其它泛用性或特定目的运算、通信环境或组态来进行操作。所熟知的适合用于本申请的运算系统、环境与组态的范例可包括(但不限于)手持电话、个人计算机、服务器、多处理器系统、微电脑为主的系统、主架构型计算机、及分布式运算环境,其中包括了任何的上述系统或装置。
本申请中的术语“第一”、“第二”和“第三”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。
首先,在介绍本申请之前,先介绍下本申请关于应用背景的相关内容。
在现有的相关技术中,在物流件的物流运输中应用视频监控技术,通常在物流节点或者物流车辆上配置摄像头,拍摄物流件的物流运输过程,所得到的视频信息可上传至服务器或者保存在本地,在调取到这些视频信息后,往往还需要工作人员通过手动查阅方式,在视频数据中不断地检查物流件的物流件状态,显然现有的视频监控技术,从回溯物流件状态的角度来看,并未对留下的视频数据做出实质性的处理,查阅物流件的物流件状态仍是依赖于人工处理,很显然的,对于视频监控技术在物流件的物流运输中的应用,物流件状态的检测方式效率低下,导致了应用价值有限。
基于现有的相关技术存在的上述缺陷,本申请提供了一种物流件状态的检测方法,至少在一定程度上克服现有的相关技术所存在的缺陷。
基于现有的相关技术存在的上述缺陷,本申请提供了物流件状态的检测方法,至少在一定程度上克服现有的相关技术所存在的缺陷。
本申请提及的物流件状态的检测方法,其执行主体可以为物流件状态的检测装置,或者集成了该物流件状态的检测装置的服务器设备、物理主机或者用户设备(UserEquipment,UE)等不同类型的物流件状态的检测设备,其中,物流件状态的检测装置可以采用硬件或者软件的方式实现,UE具体可以为智能手机、平板电脑、笔记本电脑、掌上电脑、台式电脑或者个人数字助理(Personal Digital Assistant,PDA)等终端设备。其中,物流件状态的检测设备还可分为多个设备,并共同执行本申请提供的物流件状态的检测方法。
其中,在本申请中,物流件状态具体为物流件的破损状态,物流件在物流运输的过程中,由于与周围物体的摩擦、碰撞、摔碰或者高温等情况,可能产生破损情况,而对于提升物流运输作业的数字化性能来说,显然低成本且有效地监控物流件的破损状态,是十分有利的。
示例性的,在本申请中,物流件具体可以指的是快递件。
下面,开始介绍本申请提供的物流件状态的检测方法。
图1示出了本申请中物流件状态的检测方法的一种流程示意图,本申请提供的物流件状态的检测方法,如图1示出的,具体可包括如下步骤:
步骤S101,获取物流件的初始图像,其中,初始图像为拍摄物流件得到的图像;
步骤S102,在初始图像中识别物流件的破损区域,得到破损区域的破损区域图像;
步骤S103,获取破损区域图像对应的破损信息。
在图1所示的技术方案中,本申请通过获取拍摄物流件得到的初始图像,并在该初始图像中识别物流件及其破损区域,若识别得到破损区域,则可确定物流件发生了破损情况并提取出该破损区域对应的破损区域图像,接着再获取该破损区域对应的破损信息,由此,不仅可直接节省了工作人员人工检测物流件是否发生破损情况的人力成本,并且还可便捷地得到物流件精确的破损信息,方便对物流件的物流件状态进行数字化监控。
此外,由于方案是基于图像识别实现的,还可融入到视频监控技术的应用中,即,可从视频信息提取出若干的图像,并从这些图像中识别物流件的破损区域及其破损信息,因此,本方案还可无缝接入到物流运输作业中的现有视频监控系统中,为视频监控系统提供一种新的视频监控方式,进一步提升视频监控系统的应用价值。
以下继续对图1的各个步骤的具体实施方式进行详细阐述:
在本申请中,物流件的初始图像可以通过本地的摄像头实时拍摄物流件得到的图像;或者,也可以为本地的摄像头拍摄物流件得到的历史图像;或者,也可以为其他设备实时拍摄物流件得到的图像;或者,也可以为其他设备拍摄物流件得到的历史图像。
该物流件的初始图像,其图像内容,不仅包括了物流件的件体,还包括了相关的背景内容,例如承载物流件的桌面、传送带、台面、货架等内容,又或者例如物流件当时所处周围环境的内容,例如房间、工作人员等内容。
在初始图像中识别物流件的破损区域,主要通过人工智能(ArtificialIntelligence,AI),即神经网络模型,神经网络模型具体可基于目标检测算法等算法来识别物流件的破损区域,例如R-FCN、Faster R-CNN、SSD、YOLO V3等算法,这些神经网络模型可通过标注出物流件的破损区域的物流件图像训练初始神经网络模型得到。
作为一种具体的实现方式,在识别物流件的破损区域的过程中,如图2示出的本申请在初始图像中识别得到破损区域的破损区域图像的一种流程示意图,在初始图像中识别物流件的破损区域,得到破损区域的破损区域图像,具体可通过如下步骤实现:
步骤S201,从初始图像中识别物流件,并分割出物流件的物流件图像;
步骤S202,从物流件图像中识别物流件的破损区域,并分割出破损区域的破损区域图像。
可以理解,本申请通过神经网络模型识别物流件的破损区域的过程中,还可将该识别处理分为两部分,通过两级的神经网络模型实现,第一级检测网络则是先在初始图像中将物流件与背景内容进行分离,定位物流件,提取、分离出物流件的物流件图像,第二级检测网络则是在物流件图像中识别、定位破损区域,提取、分离出破损区域图像。
在这过程中,由于将破损区域的识别处理,通过两级检测网络拆分为了两个部分,第一级检测网络可过滤初始图像中的背景内容,排除背景内容对于破损区域的识别带来的干扰,第二级检测网络则可在较小的物流件图像的数据处理量的条件下,快速地定位破损区域,并得到破损区域图像,两级检测网络的设置,不仅便于提高识别效率,并且还方便对检测网络进行单独的优化以及维护,有利于检测网络的训练、调整以及应用。
接着,为便于继续提高检测效率,即提高对于物流件的识别效率,本申请除了基础的图像特征元素还可结合位置元素,预先配置物流件位置范围,辅助物流件识别,对应的,从初始图像中识别物流件,并分割出物流件的物流件图像,具体可分别包括:
在预置的物流件位置范围内,从初始图像中识别物流件,得到物流件的物流件图像。
容易理解,无论初始图像是工作人员手动拍摄设备拍摄物流件得到的,还是固定的摄像头拍摄物流件得到的,在尽可能拍摄物流件完整件体的条件下,其拍摄角度可预先设置固定的角度范围,拍摄角度是大致相同或者高度相似的,因此,在初始图像中,物流件的位置往往在固定的位置范围内,因此,针对该固定的位置范围可配置一预置的物流件位置范围,用于在识别物流件时,可只在该物流件位置范围内,从初始图像中识别物流件,以此在保证有效识别的前提下,可减少识别范围,显著提高对于物流件的识别效率。
其中,对于提取、分离出的物流件图像以及破损区域图像,还可检测其倾斜度,并进行姿态的校正,以便更为精确地识别图像。
在实际应用中,神经网络主要可包括输入层、卷积层以及全连接层,输入层用于将输入神经网络的图像转化为特征图像,并通过卷积层对特征图像中的每个特征点的数值乘以对应的权重(或者说卷积核),组成新的特征图像,这些特征点的数量随通道数以及预置特征图像的大小等参数而调整,卷积层可包括一个或者多个的子卷积层构成,每个子卷积层的参数可相同或者不同,通过层层的计算以及过滤,最后将特征图像输出至全连接层,以将特征图像中的每个特征点乘以对应的权重,得出是否包含物流件的破损区域的识别结果,并在该识别结果对应的特征图像的基础上输出破损区域的破损区域图像。
其中,卷积层的权重,可包括位置权重、颜色权重、纹理权重以及形状权重,需要理解的是,每个类别权重对应的卷积层,可以为一个或者多个,在多个卷积层的组合应用中,每个卷积层可对一种或者多种的权重进行更为精确的特征提取,由此可进一步提高神经网络的识别精度。
对于不同的特征权重,其特征权重的数值越高,意味着越可能属于物流件的破损区域。以位置权重为例,在初始图像中的不同位置,其对应的位置权重不同,若预置的破损区域位置范围在物流件图像的边缘区域,则这些边缘区域的特征点的位置权重则较高,中央区域的特征点的位置权重则较低,如此,特征点与对应位置权重的乘积越大,则意味着这些特征点越可能属于物流件的破损区域。
类似的,颜色权重、纹理权重以及形状权重,则是从物流件的件体或者破损区域的图像特征出发,为物流件或者破损区域通常具有的颜色特征、纹理特征以及形状特征(轮廓特征)配置对应的权重,特征点与对应颜色权重、纹理权重或者形状权重的乘积越大,则越可能属于物流件或者破损区域。
对应的,在初始图像中识别物流件的破损区域,得到破损区域的破损区域图像,具体可以包括:
将初始图像输入破损区域识别模型,以根据预置的位置权重、颜色权重、纹理权重以及形状权重,从初始图像中识别物流件的破损区域,得到破损区域图像。
在一种具体实现方式中,破损区域识别模型通过训练集训练初始神经网络模型得到,其中,训练集包括多张物流件图像,多张物流件图像为通过数据增强处理得到的图像,数据增强处理包括裁剪处理、镜像处理、旋转处理以及平移处理的至少一种。
这些物流件图像,携带图像中物流件的破损区域的标注,用于指示出图像中的物流件的破损区域,例如每张图像标注出快递件的破损区域的位置,存为“broken”,并保存成神经网络模型可识别的数据格式。
此处的数据增强处理,主要用于在少量的真实物流件图像的基础上,或者少量的模拟物流件图像的基础上,生成大量不同的物流件图像,以此满足神经网络模型的训练样本以及训练精度的要求,使得神经网络模型对于实际的物流件图像具有更高的针对性。
在得到训练集后,将训练集中的图像依次输入初始神经网络模型,进行正向传播,再根据神经网络模型输出的破损区域识别结果计算损失函数,根据该损失函数进行反向传播,调整神经网络模型的参数,通过多次的正反向传播,达到训练神经网络模型的目的,训练完成的神经网络模型即为上述的破损区域识别模型。
其中,示例性的,这里的损失函数可以包括冲量(Momentum)算法、均方根支撑(Root Mean Square Prop,RMSProp)算法或者适应性矩阵估计(Adaptive MomentEstimation,Adam)算法等不同类型的算法,可随实际需要调整。
Momentum算法使用类似于物理中的动量来累积梯度,可在一定程度上解决优化中经过更新之后参数的变化范围大的问题;RMSProp算法可进一步优化损失函数在更新中存在摆动幅度过大的问题,并且进一步加快函数的收敛速度;Adam算法则结合了Momentum算法和RMSProp算法的优点,是一种可以替代传统随机梯度下降(Stochastic GradientDescent,SGD)过程的一阶优化算法,它能基于训练数据迭代地更新神经网络权重。
在识别出初始图像中物流件的破损区域后,即可从初始图像中提取、分离出该物流件的破损区域的图像,即破损区域图像,并继续从该破损区域图像中,继续识别图像中的破损信息。
与上述可通过神经网络模型识别初始图像中物流件的破损区域类似的,还可继续通过神经网络模型识别破损区域图像中的破损信息,该模型的结构以及训练方式与上述模型的说明类似,具体在此不再赘述。
其中,对应上述的两级神经网络,破损区域识别模型可包括用于识别物流件的第一神经网络以及用于识别破损区域的第二神经网络,而该第一神经网络以及第二神经网络除了可独立形式存在,还可以存在于同一个神经网络中或者为同一个神经网络,该神经网络可实现第一神经网络以及第二神经网络的功能,对应的,在神经网络的训练过程中,第一初始神经网络以及第二初始神经网络也可以为同一个初始神经网络,初始神经网络训练完成后,可实现第一神经网络以及第二神经网络的功能。
其中,示例性的,如图3示出的本申请获取破损区域图像对应的破损信息的一种流程示意图,获取破损区域图像对应的破损信息,具体可包括如下步骤S301以及步骤S302:
步骤S301,在预置的破损事件集合中,根据不同破损区域图像与不同破损事件之间的预置对应关系,匹配破损区域图像对应的目标破损事件,其中,破损事件集合中包括用于指示不同物流件在不同破损场景下的破损事件;
在本申请中,可通过事件机制中的破损事件来分类不同物流件的不同破损场景,每个破损事件都可指示相对应的某物流件的某破损场景,通过破损事件可获悉物流件的破损情况,示例性的,破损事件可通过破损标识的标识形存在,不同的破损标识可分类不同物流件的不同破损场景。
识别当前破损区域图像中破损区域的破损事件,可根据破损区域当前的破损区域图像,从预设的破损事件集合中,查找相匹配的破损事件,作为破损区域当前的破损事件。
该预设的破损事件集合,可包括工作人员针对不同物流件在不同破损场景下预先配置的破损事件,或者也可包括所记录的真实物流件的破损事件。
破损事件,可在识别出物流件的破损区域的情况下,随破损区域图像生成,而该破损事件当前的事件信息,可从破损区域图像中的破损区域识别得到。
例如,若包装纸箱的规格为250×200×180mm的快递件,其外包装的纸箱顶角处磨损,并且纸箱内的缓冲材料也已泄漏,其中的快递件本体也产生了划痕,则这些信息可以作为当前未知破损事件X的事件信息,再从预设的事件集合中查找标注有相同或者等同事件信息范围的目标破损事件,作为当前快递件的破损事件。
其中,事件信息具体可以以特征图像的形式存在,而非相关的文字说明,例如汉字形式说明的“纸箱顶角处磨损,缓冲材料泄漏,快递件本体产生划痕”,通过该设置,特征图像可以在数据层面上,可直接从图像识别层面上说明破损区域的图像特征,并且可识别出大量的图像特征,如此可精确地确定相匹配的目标破损事件。
步骤S302,获取目标破损事件对应的目标事件信息,作为破损区域的破损信息。
其次,在确定当前物流件所匹配的目标破损事件后,还可继续获取与该破损事件相匹配的目标破损信息,作为物流件当前的破损区域的破损信息。
该破损信息,用于指示物流件当前破损区域的具体破损情况,类似上述提及文字说明形式的事件信息“纸箱顶角处磨损,缓冲材料泄漏,快递件本体产生划痕”。
容易理解的,为便于数字化的统一化、规范化管理,最终保存的或者输出的物流件当前破损区域的破损信息,可以进行标准化处理,以使得相同的破损事件或者等同范围的破损事件,可得到标准的破损信息,不仅物流平台内部方便管理,并且对于广大的用户而言,也能得到规范的破损信息的确定结果。
进一步的,破损事件的匹配处理,参阅图4示出的结合预置的破损事件集合匹配目标破损事件的一种流程示意图,可包括:
步骤S401,识别破损区域图像中破损区域的破损类别,其中,破损类别包括穿透性破损、裂痕破损、人工打孔以及误检中的至少一种;
步骤S402,识别破损区域图像中破损区域的破损程度;
步骤SS403,基于破损类别以及破损程度,从破损事件集合中不同破损类别以及不同破损程度的破损事件中,匹配出目标破损事件。
在本申请中,破损事件可根据不同的破损类别以及破损程度进行细分,其中,破损程度可以为轻微破损、中等破损、严重破损、大面积破损或者毁坏性破损等。
示例性的,可将穿透性破损、裂痕破损、人工打孔以及误检的权重分别配置为5、2、1、0,以及将轻微破损、中等破损、严重破损、大面积破损以及毁坏性破损的权重分别配置为1、3、7、7、10,若当前快递件的破损区域的破损类别为裂痕破损,以及破损程度为中等破损,则此时两个特征值与对应权重的乘积的和为1*2+1*3=5,如此匹配指定等级5的破损事件-一级破损事件(符合快速理赔要求的小破损事件)作为快递件当前的破损事件。
当然,不同的破损类别对应的权重配比,以及不同的破损程度的权重配置,可随实际需要调整,并且,得到两者的实际值与对应权重的乘积后,不仅可根据两者对应乘积的和确定相匹配的破损事件,还可结合两者在其他计算公式下的值,灵活确定相匹配的破损事件,具体在此不做限定。
另一方面,作为又一种具体实现方式,如图5示出的本申请获取破损区域图像对应的破损信息的一种流程示意图,获取破损区域图像对应的破损信息,可包括:
步骤S501,获取目标破损事件对应的目标事件信息;
步骤S502,将目标事件信息以及破损区域图像,确认为破损信息。
可以理解的,在获取到目标事件信息的同时,除了可直接将该信息作为物流件当前破损区域的破损信息以外,还可对其再次进行一定的数据处理,以丰富输出的破损区域的破损信息的内容,
示例性的,可将目标破损信息与之前识别出的破损区域图像两者,以相对应的数据形式输出破损区域的破损信息。
例如,可简单地将目标破损信息以及破损区域图像,以“.DOC”或者“.PDF”的文档形式进行输出;或者,也可将目标破损信息以文字的形式绘制在破损区域图像中,其具体输出方式可随实际需要调整。
进一步的,在该过程中,在保证图像有效性的基础上,还可对破损区域图像进行缩小处理,得到数据单位显著降低的缩略图,再将两者进行封装,得到上述的文档形式、图像形式等封装方式的破损信息,如此不仅减少了输出的破损区域的破损信息的数据量大小,且还可提高融合效率。
对应的,将目标事件信息以及破损区域图像,确认为破损信息,具体可包括:
将目标破损信息以及破损区域图像的缩略图按照预设的封装方式进行封装,得到破损区域的破损信息。
为便于更好的实施本申请提供的物流件状态的检测方法,本申请还提供了物流件状态的检测装置。
参阅图6,图6为本申请物流件状态的检测装置的一种结构示意图,在本申请中,物流件状态的检测装置600具体可包括如下结构:
获取单元601,用于获取物流件的初始图像,其中,初始图像为拍摄物流件得到的图像;
识别单元602,用于在初始图像中识别物流件的破损区域,得到破损区域的破损区域图像;
获取单元601,还用于获取破损区域图像对应的破损信息。
在一种示例性的实现方式中,获取单元601,具体用于:
在预置的破损事件集合中,根据不同破损区域图像与不同破损事件之间的预置对应关系,匹配破损区域图像对应的目标破损事件,其中,破损事件集合中包括用于指示不同物流件在不同破损场景下的破损事件;
获取目标破损事件对应的目标事件信息,作为破损区域的破损信息。
在又一种示例性的实现方式中,获取单元601,具体用于:
识别破损区域图像中破损区域的破损类别,其中,破损类别包括穿透性破损、裂痕破损、人工打孔以及误检中的至少一种;
识别破损区域图像中破损区域的破损程度;
基于破损类别以及破损程度,从破损事件集合中不同破损类别以及不同破损程度的破损事件中,匹配出目标破损事件。
在又一种示例性的实现方式中,获取单元601,具体用于:
获取目标破损事件对应的目标事件信息;
将目标事件信息以及破损区域图像,确认为破损信息。
在又一种示例性的实现方式中,获取单元601,具体用于:
将目标破损信息以及破损区域图像的缩略图按照预设的封装方式进行封装,得到破损区域的破损信息。
在又一种示例性的实现方式中,识别单元602,具体用于:
从初始图像中识别物流件,并分割出物流件的物流件图像;
从物流件图像中识别物流件的破损区域,并分割出破损区域的破损区域图像。
在又一种示例性的实现方式中,识别单元602,具体用于:
在预置的物流件位置范围内,从初始图像中识别物流件,得到物流件的物流件图像。
本申请还提供了物流件状态的检测设备,参阅图7,图7示出了本申请物流件状态的检测设备的一种结构示意图,具体的,本申请提供的物流件状态的检测设备包括处理器701,处理器701用于执行存储器702中存储的计算机程序时实现如图1至图5对应任意实施例中物流件状态的检测方法的各步骤;或者,处理器701用于执行存储器702中存储的计算机程序时实现如图6对应实施例中各单元的功能。
示例性的,计算机程序可以被分割成一个或多个模块/单元,一个或者多个模块/单元被存储在存储器702中,并由处理器701执行,以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述计算机程序在计算机装置中的执行过程。
物流件状态的检测设备可包括,但不仅限于处理器701、存储器702。本领域技术人员可以理解,示意仅仅是物流件状态的检测设备的示例,并不构成对物流件状态的检测设备的限定,物流件状态的检测设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如物流件状态的检测设备还可以包括输入输出设备、网络接入设备、总线等,处理器701、存储器702、输入输出设备以及网络接入设备等通过总线相连。
处理器701可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,处理器是物流件状态的检测设备的控制中心,利用各种接口和线路连接整个设备的各个部分。
存储器702可用于存储计算机程序和/或模块,处理器701通过运行或执行存储在存储器702内的计算机程序和/或模块,以及调用存储在存储器702内的数据,实现计算机装置的各种功能。存储器702可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据物流件状态的检测设备的使用所创建的数据(比如音频数据、视频数据等)等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的物流件状态的检测装置、设备及其相应单元的具体工作过程,可以参考如图1至图5对应任意实施例中物流件状态的检测方法的说明,具体在此不再赘述。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请提供一种计算机可读存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请如图1至图5对应任意实施例中物流件状态的检测方法中的步骤,具体操作可参考如图1至图5对应任意实施例中物流件状态的检测方法的说明,在此不再赘述。
其中,该计算机可读存储介质可以包括:只读存储器(Read Only Memory,ROM)、随机存取记忆体(Random Access Memory,RAM)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令,可以执行本申请如图1至图5对应任意实施例中物流件状态的检测方法中的步骤,因此,可以实现本申请如图1至图5对应任意实施例中物流件状态的检测方法所能实现的有益效果,详见前面的说明,在此不再赘述。
以上对本申请提供的物流件状态的检测方法、装置、设备以及计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种物流件状态的检测方法,其特征在于,所述方法包括:
获取物流件的初始图像,其中,所述初始图像为拍摄所述物流件得到的图像;
在所述初始图像中识别所述物流件的破损区域,得到所述破损区域的破损区域图像;
获取所述破损区域图像对应的破损信息。
2.根据权利要求1所述的方法,其特征在于,所述获取所述破损区域图像的破损信息包括:
在预置的破损事件集合中,根据不同破损区域图像与不同破损事件之间的预置对应关系,匹配所述破损区域图像对应的目标破损事件,其中,所述破损事件集合中包括用于指示不同物流件在不同破损场景下的破损事件;
获取所述目标破损事件对应的目标事件信息,作为所述破损区域的破损信息。
3.根据权利要求2所述的方法,其特征在于,所述在预置的破损事件集合中,根据不同破损区域图像与不同破损事件之间的预置对应关系,匹配所述破损区域图像对应的目标破损事件包括:
识别所述破损区域图像中所述破损区域的破损类别,其中,所述破损类别包括穿透性破损、裂痕破损、人工打孔以及误检中的至少一种;
识别所述破损区域图像中所述破损区域的破损程度;
基于所述破损类别以及所述破损程度,从所述破损事件集合中不同破损类别以及不同破损程度的破损事件中,匹配出所述目标破损事件。
4.根据权利要求2所述的方法,其特征在于,所述获取所述目标破损事件对应的目标事件信息,作为所述破损区域的破损信息包括:
获取所述目标破损事件对应的目标事件信息;
将所述目标事件信息以及所述破损区域图像,确认为所述破损信息。
5.根据权利要求4所述的方法,其特征在于,所述将所述目标事件信息以及所述破损区域图像,确认为所述破损信息包括:
将所述目标破损信息以及所述破损区域图像的缩略图按照预设的封装方式进行封装,得到所述破损区域的破损信息。
6.根据权利要求1所述的方法,其特征在于,所述在所述初始图像中识别所述物流件的破损区域,得到所述破损区域的破损区域图像包括:
从所述初始图像中识别所述物流件,并分割出所述物流件的物流件图像;
从所述物流件图像中识别所述物流件的破损区域,并分割出所述破损区域的破损区域图像。
7.根据权利要求6所述的方法,其特征在于,所述从所述初始图像中识别所述物流件,得到所述物流件的物流件图像包括:
在预置的物流件位置范围内,从所述初始图像中识别所述物流件,得到所述物流件的物流件图像。
8.一种物流件状态的检测装置,其特征在于,所述装置包括:
获取单元,用于获取物流件的初始图像,其中,所述初始图像为拍摄所述物流件得到的图像;
识别单元,用于在所述初始图像中识别所述物流件的破损区域,得到所述破损区域的破损区域图像;
所述获取单元,还用于获取破损区域图像对应的破损信息。
9.一种物流件状态的检测设备,其特征在于,包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器调用所述存储器中的计算机程序时执行如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1至7任一项所述的方法。
CN202010376780.5A 2020-05-07 2020-05-07 物流件状态的检测方法、装置以及设备 Pending CN111666816A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010376780.5A CN111666816A (zh) 2020-05-07 2020-05-07 物流件状态的检测方法、装置以及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010376780.5A CN111666816A (zh) 2020-05-07 2020-05-07 物流件状态的检测方法、装置以及设备

Publications (1)

Publication Number Publication Date
CN111666816A true CN111666816A (zh) 2020-09-15

Family

ID=72383349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010376780.5A Pending CN111666816A (zh) 2020-05-07 2020-05-07 物流件状态的检测方法、装置以及设备

Country Status (1)

Country Link
CN (1) CN111666816A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112238455A (zh) * 2020-09-30 2021-01-19 深圳优地科技有限公司 一种机器人的参数调整方法、参数调整装置及服务器
CN113617698A (zh) * 2021-08-20 2021-11-09 杭州海康机器人技术有限公司 一种包裹追溯方法、装置、系统、电子设备及存储介质
CN114333141A (zh) * 2020-09-25 2022-04-12 深圳富桂精密工业有限公司 纸箱回收方法、电子装置及存储介质
CN114445323A (zh) * 2020-11-06 2022-05-06 顺丰科技有限公司 破损包裹检测方法、装置、计算机设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103464384A (zh) * 2013-09-10 2013-12-25 浙江中烟工业有限责任公司 一种基于机器视觉的物流平托盘破损分级系统及方法
CN109636287A (zh) * 2018-12-14 2019-04-16 深圳市丰巢科技有限公司 快递柜及快递包装盒处理方法
CN110263190A (zh) * 2019-05-06 2019-09-20 菜鸟智能物流控股有限公司 一种数据处理方法、装置、设备和机器可读介质
CN110299151A (zh) * 2019-05-20 2019-10-01 菜鸟智能物流控股有限公司 一种检测方法、检测模型生成方法和装置
CN110738152A (zh) * 2019-09-30 2020-01-31 詹思骏 检测外形变形的方法、系统、设备及存储介质
CN110868534A (zh) * 2019-10-22 2020-03-06 北京京东振世信息技术有限公司 一种控制方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103464384A (zh) * 2013-09-10 2013-12-25 浙江中烟工业有限责任公司 一种基于机器视觉的物流平托盘破损分级系统及方法
CN109636287A (zh) * 2018-12-14 2019-04-16 深圳市丰巢科技有限公司 快递柜及快递包装盒处理方法
CN110263190A (zh) * 2019-05-06 2019-09-20 菜鸟智能物流控股有限公司 一种数据处理方法、装置、设备和机器可读介质
CN110299151A (zh) * 2019-05-20 2019-10-01 菜鸟智能物流控股有限公司 一种检测方法、检测模型生成方法和装置
CN110738152A (zh) * 2019-09-30 2020-01-31 詹思骏 检测外形变形的方法、系统、设备及存储介质
CN110868534A (zh) * 2019-10-22 2020-03-06 北京京东振世信息技术有限公司 一种控制方法和装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114333141A (zh) * 2020-09-25 2022-04-12 深圳富桂精密工业有限公司 纸箱回收方法、电子装置及存储介质
CN112238455A (zh) * 2020-09-30 2021-01-19 深圳优地科技有限公司 一种机器人的参数调整方法、参数调整装置及服务器
CN112238455B (zh) * 2020-09-30 2021-10-15 深圳优地科技有限公司 一种机器人的参数调整方法、参数调整装置及服务器
CN114445323A (zh) * 2020-11-06 2022-05-06 顺丰科技有限公司 破损包裹检测方法、装置、计算机设备及存储介质
CN113617698A (zh) * 2021-08-20 2021-11-09 杭州海康机器人技术有限公司 一种包裹追溯方法、装置、系统、电子设备及存储介质
CN113617698B (zh) * 2021-08-20 2022-12-06 杭州海康机器人股份有限公司 一种包裹追溯方法、装置、系统、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN111666816A (zh) 物流件状态的检测方法、装置以及设备
US10936911B2 (en) Logo detection
US11392792B2 (en) Method and apparatus for generating vehicle damage information
CN111967322B (zh) 数据处理方法、装置、电子设备和存储介质
US20180293635A1 (en) System, image recognition method, and recording medium
US20240331365A1 (en) Processing system, estimation apparatus, processing method, and non-transitory storage medium
CN113378958A (zh) 自动标注方法、装置、设备、存储介质及计算机程序产品
CN108229680B (zh) 神经网络系统、遥感图像识别方法、装置、设备及介质
CN113221918A (zh) 目标检测方法、目标检测模型的训练方法及装置
CN111160410B (zh) 一种物体检测方法和装置
CN112308915A (zh) 用于定位快递包裹的方法和装置
CN113643260A (zh) 用于检测图像质量的方法、装置、设备、介质和产品
CN108446693B (zh) 待识别目标的标记方法、系统、设备及存储介质
CN117853573A (zh) 一种视频处理方法、装置、电子设备及计算机可读介质
CN111709283A (zh) 物流件状态的检测方法以及装置
US11457192B2 (en) Digital evidence management method and digital evidence management system
CN114359918A (zh) 提货单信息提取方法、装置及计算机设备
CN113780269A (zh) 图像识别方法、装置、计算机系统及可读存储介质
CN110909798A (zh) 一种多算法智能研判方法、系统及服务器
CN109657523B (zh) 一种可行驶区域检测方法和装置
CN113408530B (zh) 一种图像识别方法、装置、设备以及存储介质
CN111967321B (zh) 视频数据处理方法、装置、电子设备和存储介质
CN111767918B (zh) 一种图片识别方法和装置
CN116469121A (zh) 学习对象识别方法、装置、设备及存储介质
CN114971443A (zh) 一种物流对象的处理方法及成像设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200915