CN111340885A - 包裹追踪方法和装置及存储介质 - Google Patents

包裹追踪方法和装置及存储介质 Download PDF

Info

Publication number
CN111340885A
CN111340885A CN202010112998.XA CN202010112998A CN111340885A CN 111340885 A CN111340885 A CN 111340885A CN 202010112998 A CN202010112998 A CN 202010112998A CN 111340885 A CN111340885 A CN 111340885A
Authority
CN
China
Prior art keywords
target
package
sorting
identification
parcel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010112998.XA
Other languages
English (en)
Inventor
薛积敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Minglue Artificial Intelligence Group Co Ltd
Original Assignee
Shanghai Minglue Artificial Intelligence Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Minglue Artificial Intelligence Group Co Ltd filed Critical Shanghai Minglue Artificial Intelligence Group Co Ltd
Priority to CN202010112998.XA priority Critical patent/CN111340885A/zh
Publication of CN111340885A publication Critical patent/CN111340885A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083Shipping
    • G06Q10/0833Tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Tourism & Hospitality (AREA)
  • Biomedical Technology (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种包裹追踪方法和装置及存储介质。其中,该方法包括:获取包裹分拣流水线上当前分拣位置所关联的摄像头采集到的图像集合;对图像集合进行图像识别,得到识别结果;在从识别结果中确定出受损度达到第一阈值的目标包裹的情况下,获取目标包裹的识别码;根据目标包裹的识别码,确定目标包裹所流向的目标分拣位置,其中,目标分拣位置为包裹分拣流水线上位于当前分拣位置之后的至少一个分拣位置;向与目标分拣位置关联的提示设备发送提示信息,其中,提示信息用于提示捡取目标包裹,并对目标包裹进行修复处理。本发明解决了相关技术中无法追踪到受损包裹的技术问题。

Description

包裹追踪方法和装置及存储介质
技术领域
本发明涉及物流管理领域,具体而言,涉及一种包裹追踪方法和装置及存储介质。
背景技术
如今,网上购物已经成为重要的消费方式之一,电商和快递也如雨后春笋般出现,网上购买的产品到达顾客手里需要经过打包、堆叠、搬运等一系列过程,这途中就会产生大大小小的冲击力。若是打包时没做好缓冲包装的话,包裹中的产品将极易破损,此外还有部分包裹在快递中常会被暴力传输,从而导致购买的货物出现损坏。
也就是说,在相关技术提供的包裹分拣传输过程中,尚未提供一种有效方法来追踪受损的包裹,从而导致包裹中的货物造成不可逆的损坏。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种包裹追踪方法和装置及存储介质,以至少解决相关技术中无法追踪到受损包裹的技术问题。
根据本发明实施例的一个方面,提供了一种包裹追踪方法,包括:获取包裹分拣流水线上当前分拣位置所关联的摄像头采集到的图像集合;对上述图像集合进行图像识别,得到识别结果;在从上述识别结果中确定出受损度达到第一阈值的目标包裹的情况下,获取上述目标包裹的识别码;根据上述目标包裹的识别码,确定上述目标包裹所流向的目标分拣位置,其中,上述目标分拣位置为上述包裹分拣流水线上位于上述当前分拣位置之后的至少一个分拣位置;向与上述目标分拣位置关联的提示设备发送提示信息,其中,上述提示信息用于提示捡取上述目标包裹,并对上述目标包裹进行修复处理。
作为一种可选的实施方式,上述对上述图像集合进行图像识别,得到识别结果包括:通过计算机视觉识别技术从上述图像集合中识别出包含包裹的候选图像;提取上述候选图像中待处理包裹的外观特征;将上述待处理包裹的外观特征输入受损识别模型中,其中,上述受损识别模型为利用样本受损包裹的外观特征进行机器训练后得到的神经网络模型,用于根据包裹的外观特征识别出包裹的受损度;在上述受损识别模型输出的受损度达到上述第一阈值的情况下,确定上述候选图像中的上述待处理包裹为上述目标包裹,作为上述识别结果。
作为一种可选的实施方式,在上述获取包裹分拣流水线上当前分拣位置所关联的摄像头采集到的图像集合之前,还包括:获取多个样本受损包裹的样本外观特征,构建包裹破损样本库;按照不同包裹类型对上述包裹破损样本库进行分类,得到多个破损识别样本库;利用上述多个破损识别样本库对初始化受损识别模型进行机器训练,得到上述受损识别模型。
作为一种可选的实施方式,上述根据上述目标包裹的识别码,确定上述目标包裹所流向的目标分拣位置包括:识别上述目标包裹的识别码,以获取上述目标包裹在上述包裹分拣流水线上的分拣路径,其中,上述分拣路径包括上述目标包括所要经过的各个分拣位置的位置信息;确定上述分拣路径中位于上述当前分拣位置之后的上述目标分拣位置。
作为一种可选的实施方式,上述获取包裹分拣流水线上当前分拣位置所关联的摄像头采集到的图像集合包括:对上述摄像头采集到的视频流进行定期截取处理,得到与上述当前分拣位置关联的视频片段;获取对上述视频片段进行帧节化处理后的图像帧,得到上述图像集合;将上述图像集合中各个图像的图像数据按照目标数据结构进行保存。
作为一种可选的实施方式,在上述向与上述目标分拣位置关联的提示设备发送提示信息之后,还包括:获取确认指令,其中,上述确认指令用于指示位于上述目标分拣位置的目标对象已确认捡取完上述目标包裹;响应上述确认指令,在目标分拣设备中检测上述目标包裹,其中,上述目标分拣设备中上的包裹将要被执行修复处理;在检测到上述目标包裹的情况下,确认上述目标包裹已被成功拦截。
根据本发明实施例的另一方面,还提供了一种包裹追踪装置,包括:第一获取单元,用于获取包裹分拣流水线上当前分拣位置所关联的摄像头采集到的图像集合;识别单元,用于对上述图像集合进行图像识别,得到识别结果;第二获取单元,用于在从上述识别结果中确定出受损度达到第一阈值的目标包裹的情况下,获取上述目标包裹的识别码;确定单元,用于根据上述目标包裹的识别码,确定上述目标包裹所流向的目标分拣位置,其中,上述目标分拣位置为上述包裹分拣流水线上位于上述当前分拣位置之后的至少一个分拣位置;追踪单元,用于向与上述目标分拣位置关联的提示设备发送提示信息,其中,上述提示信息用于提示捡取上述目标包裹,并对上述目标包裹进行修复处理。
作为一种可选的实施方式,上述识别单元包括:第一识别模块,用于通过计算机视觉识别技术从上述图像集合中识别出包含包裹的候选图像;提取模块,用于提取上述候选图像中待处理包裹的外观特征;输入模块,用于将上述待处理包裹的外观特征输入受损识别模型中,其中,上述受损识别模型为利用样本受损包裹的外观特征进行机器训练后得到的神经网络模型,用于根据包裹的外观特征识别出包裹的受损度;第一确定模块,用于在上述受损识别模型输出的受损度达到上述第一阈值的情况下,确定上述候选图像中的上述待处理包裹为上述目标包裹。
作为一种可选的实施方式,上述确定单元包括:第二识别模块,用于识别上述目标包裹的识别码,以获取上述目标包裹在上述包裹分拣流水线上的分拣路径,其中,上述分拣路径包括上述目标包括所要经过的各个分拣位置的位置信息;第二确定模块,用于确定上述分拣路径中位于上述当前分拣位置之后的上述目标分拣位置。
根据本发明实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述包裹追踪方法。
在本发明实施例中,对摄像头采集到的图像集合进行精准地识别,并在从识别结果中确定出受损度达到第一阈值的目标包裹的情况下,获取该目标包裹的识别码,以便于利用该目标包裹的识别码中所携带的传输路径信息,来确定该目标包裹在包裹分拣流水线上向下游流向的目标分拣位置。从而实现对目标包裹的追踪定位,以便于向下游追踪到的目标分拣位置关联的提示设备及时发送提示信息,使得工作人员及时捡取上述受损的目标包裹,并对其进行修复处理。从而克服相关技术中由于无法追踪定位受损包裹所导致的包裹损坏的问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种可选的包裹追踪方法的流程图;
图2是根据本发明实施例的一种可选的包裹追踪方法的应用环境的示意图;
图3是根据本发明实施例的另一种可选的包裹追踪方法的流程图;
图4是根据本发明实施例的一种可选的包裹追踪装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的一个方面,提供了一种包裹追踪方法,可选地,作为一种可选的实施方式,如图1所示,上述包裹追踪方法包括:
S102,获取包裹分拣流水线上当前分拣位置所关联的摄像头采集到的图像集合;
S104,对图像集合进行图像识别,得到识别结果;
S106,在从识别结果中确定出受损度达到第一阈值的目标包裹的情况下,获取目标包裹的识别码;
S108,根据目标包裹的识别码,确定目标包裹所流向的目标分拣位置,其中,目标分拣位置为包裹分拣流水线上位于当前分拣位置之后的至少一个分拣位置;
S110,向与目标分拣位置关联的提示设备发送提示信息,其中,提示信息用于提示捡取目标包裹,并对目标包裹进行修复处理。
可选地,在本实施例中,上述包裹追踪方法可以但不限于应用于图2所示物流运输过程中,在卸货后配载前,通过利用计算机视觉识别技术和机器学习技术来对包裹分拣流水线上的受损包裹进行精准识别,并追踪定位,以最终实现对受损包裹的精准捡取和修复。从而克服相关技术中由于无法追踪定位受损包裹所导致的包裹损坏的问题。可选地,在本实施例中,上述计算机视觉识别技术可以但不限于是指用摄像机和电脑及其他相关设备,对生物视觉进行模拟,它的主要任务是通过对采集的图片或视频进行处理以获得相应场景的三维信息,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。机器学习技术可以但不限于是模拟或实现人类的学习行为,以获取新的指示或技能,重新组织已有的知识结构使之不断改善自身的性能。可选地,在本实施例中,上述包裹的识别码可以但不限于是用语言识别的图形码,比如二维码、条形码及三段码等。这里为示例,本实施中对此不作任何限定。
可选地,在本实施例中,上述包裹分拣流水线周围可以但不限于安装有多个摄像头,如图2所示,在不同位置安装摄像头,以从不同角度来监控包裹分拣流水线上的包裹的传输过程。其中,上述包裹分拣流水线上还设置有多个分拣位置,以便于调整包裹的传递方向,或便于工作人员对受损包裹进行拦截处理。
可选地,在本实施例中,上述当前分拣位置所关联的摄像头可以但不限于在目标周期内会对所监控的视野内的当前分拣位置进行拍摄录制,以得到视频流数据。进一步,在对上述视频流数据进行帧节化处理后,得到上述图像集合,并将上述图像集合中的各个图像的图像数据按照目标数据结构进行保存。
可选地,在本实施例中,对上述图像集合进行识别可以包括但不限于:在图像集合中识别出包含包裹的候选图像,并对包含包裹的候选图像进行受损度识别,在确定出受损度达到第一阈值的目标包裹的情况下,获取该目标包裹的识别码,以便于利用该目标包裹的识别码中所携带的传输路径信息,来确定该目标包裹在包裹分拣流水线上向下游流向的目标分拣位置。从而实现对目标包裹的追踪定位,以便于向下游追踪到的目标分拣位置关联的提示设备及时发送提示信息,使得工作人员及时捡取上述受损的目标包裹,并对其进行修复处理。
需要说明的是,在本实施例中,上述对受损包裹的捡取和修复处理,还可以但不限于通过与包裹分拣流水线关联的机械臂,来实现自动地拦截捡取和自动修复处理。其中,修复处理可以但不限于根据目标包裹的受损位置和受损程度,来对目标包裹实现二次封装。这里为示例,本实施例中对此不作任何限定。
通过本申请提供的实施例,对摄像头采集到的图像集合进行精准地识别,并在从识别结果中确定出受损度达到第一阈值的目标包裹的情况下,获取该目标包裹的识别码,以便于利用该目标包裹的识别码中所携带的传输路径信息,来确定该目标包裹在包裹分拣流水线上向下游流向的目标分拣位置。从而实现对目标包裹的追踪定位,以便于向下游追踪到的目标分拣位置关联的提示设备及时发送提示信息,使得工作人员及时捡取上述受损的目标包裹,并对其进行修复处理。从而克服相关技术中由于无法追踪定位受损包裹所导致的包裹损坏的问题。
作为一种可选的实施方案,对图像集合进行图像识别,得到识别结果包括:
S1,通过计算机视觉识别技术从图像集合中识别出包含包裹的候选图像;
S2,提取候选图像中待处理包裹的外观特征;
S3,将待处理包裹的外观特征输入受损识别模型中,其中,受损识别模型为利用样本受损包裹的外观特征进行机器训练后得到的神经网络模型,用于根据包裹的外观特征识别出包裹的受损度;
S4,在受损识别模型输出的受损度达到第一阈值的情况下,确定候选图像中的待处理包裹为目标包裹。
可选地,在本实施例中,采用相关技术中提供的计算机视觉识别技术,来识别图像集合中每张图像是否包含有包裹,在确定出包含包裹的候选图像的情况下,提取上述候选图像中待处理包裹的外观特征,以将该外观特征输入预先训练好的受损识别模型中,来得到对应的受损度。进一步,根据上述受损度来确定待处理的包裹是否为受损且需要修复的目标包裹。
需要说明的是,在本实施例中,上述第一阈值可以但不限于根据不同场景设置为不同的具体取值。其中,在待处理的包裹的受损度小于第一阈值的情况下,则确定该包裹虽受损但无需修复。而在待处理的包裹的受损度达到第一阈值(即大于等于第一阈值)的情况下,则确定该包裹受损严重,作为需要被追踪定位并修复的目标包裹。
可选地,在本实施例中,在获取包裹分拣流水线上当前分拣位置所关联的摄像头采集到的图像集合之前,还包括:获取多个样本受损包裹的样本外观特征,构建包裹破损样本库;按照不同包裹类型对包裹破损样本库进行分类,得到多个破损识别样本库;利用多个破损识别样本库对初始化受损识别模型进行机器训练,得到受损识别模型。
需要说明的是,在本实施例中,基于快递行业对货物通用包装的标准,可以建立包裹破损样本库,对不同类型包裹的受损进行定义,按照不同包裹类型对包裹破损样本库进行分类,得到多个破损识别样本库。进一步,通过机器学习技术,利用上述多个破损识别样本库来对初始化受损识别模型进行机器训练,以得到上述用于获取包裹的受损度的受损识别模型。
可选地,在本实施例中,上述外观特征可以包括但不限于以下至少之一:包裹受损位置、包裹受损程度、包裹受损形状等。这里为示例,本实施例中对此不作任何限定。
通过本申请提供的实施例,通过计算机视觉识别技术和机器学习技术对采集到的图像集合进行图像识别,来精准地获取受损度达到第一阈值的目标包裹。其中,上述机器学习所用到的样本数据可以为基于快递行业对货物包裹的通用标准来构建的样本库,从而保证上述识别过程的普遍适用性。
作为一种可选的实施方案,根据目标包裹的识别码,确定目标包裹所流向的目标分拣位置包括:
S1,识别目标包裹的识别码,以获取目标包裹在包裹分拣流水线上的分拣路径,其中,分拣路径包括目标包括所要经过的各个分拣位置的位置信息;
S2,确定分拣路径中位于当前分拣位置之后的目标分拣位置。
可选地,在本实施例中,上述目标包裹的识别码可以但不限于为附着在目标包裹外部的图形识别码,例如,二维码、条形码、三段码等。其中,上述图形识别码中携带有该目标包裹的分拣路径的路径信息。如分拣路径中各个分拣位置的位置信息。
例如,在识别出包裹面单上目标包裹的三段码信息之后,获取该目标包裹在包裹分拣流水线上将要流向的目标分拣位置,并将目标包裹的相关受损信息通知与目标分拣位置关联的摄像头,以实现继续追踪。
需要说明的是,上述目标分拣位置可以但不限于为包裹分拣流水线上位于当前分拣位置之后的至少一个分拣位置。也就是说,可以通过包裹分拣流水线上的一个或多个分拣位置来对上述受损度达到第一阈值的目标包裹进行拦截捡取,以便于及时执行修复处理。
通过本申请提供的实施例,识别目标包裹的识别码,以获取目标包裹在包裹分拣流水线上的分拣路径,并从上述分拣路径中确定出目标分拣位置,以便及时准确地捡取受损的目标包裹,进行修复处理,避免出现不可逆的损坏。
作为一种可选的实施方案,获取包裹分拣流水线上当前分拣位置所关联的摄像头采集到的图像集合包括:
S1,对摄像头采集到的视频流进行定期截取处理,得到与当前分拣位置关联的视频片段;
S2,获取对视频片段进行帧节化处理后的图像帧,得到图像集合;
S3,将图像集合中各个图像的图像数据按照目标数据结构进行保存。
需要说明的是,在本实施例中,根据不同的监测截取策略对摄像头采集到的视频流进行定期截取处理,得到视频片段,然后对该视频片段进行帧节化处理,得到图像帧,进而得到上述图像集合。进一步,对上述图像进行结构化处理,即,按照预设的目标数据结构进行统一保存,以便于利用计算机视觉识别技术,直接从上述结构化保存的图像数据中提取出包裹的外观特征进行机器学习,来识别得到图像中包裹的受损度。
通过本申请提供的实施例,获取对视频片段进行帧节化处理后的图像帧,得到图像集合;将图像集合中各个图像的图像数据按照目标数据结构进行保存。从而实现对图像数据的统一管理,便于提高提取特征的效率。
作为一种可选的实施方案,在向与目标分拣位置关联的提示设备发送提示信息之后,还包括:
S1,获取确认指令,其中,确认指令用于指示位于目标分拣位置的目标对象已确认捡取完目标包裹;
S2,响应确认指令,在目标分拣设备中检测目标包裹,其中,目标分拣设备中上的包裹将要被执行修复处理;
S3,在检测到目标包裹的情况下,确认目标包裹已被成功拦截。
需要说明的是,在目标分拣位置关联的提示设备接收到上述提示信息之后,获取位于目标分拣位置的目标对象执行确认操作所生成的确认指令。该确认指令表示目标对象已接收到对目标包裹的捡取修复任务,并确认完成该捡取修复任务。
可选地,在本实施例中,上述目标分拣设备可以但不限于与包裹分拣流水线位置关联的分拣设备,用于收集存放被捡取的目标包裹。也就是说,在上述目标分拣设备中检测到上述目标包裹的情况下,则可确认该目标包裹被成功拦截。
通过本申请提供的实施例,在获取到目标对象反馈的确认指令之后,则在目标分拣设备中检测目标包裹,并在检测到目标包裹的情况下,确认目标包裹已被成功拦截。从而实现对目标包裹的精准追踪定位,避免目标包裹造成不可逆的损失。
具体结合图3所示示例进行说明:
关于受损识别模型的训练过程,可以如图3所示虚线箭头所连接的流程。如步骤S302,获取摄像头监控到的视频流,然后如步骤S304,对视频流中的数据进行样本标注,并对视频流进行处理,如步骤S306。具体的,如步骤S3062,从视频流中定期截取出视频片段,然后执行步骤S3064,对视频片段进行图像帧节化处理,得到图像集合。进一步执行步骤308,对上述图像集合中的每张图像执行图像识别处理。如步骤S3082,提取图像中包含的包裹的外观特征;并对初始化受损识别模型进行识别训练(如步骤S3084)。
关于受损识别模型的验证过程,可以如图3所示实线箭头(细线)所连接的流程。如步骤S302,获取摄像头监控到的视频流,然后如步骤S304,对视频流中的数据进行样本标注,并对视频流进行处理,如步骤S306。具体的,如步骤S3062,从视频流中定期截取出视频片段,然后执行步骤S3064,对视频片段进行图像帧节化处理,得到图像集合。进一步执行步骤S308,对上述图像集合中的每张图像执行图像识别处理。如步骤S3082,提取图像中包含的包裹的外观特征;并对初始化受损识别模型进行识别训练(如步骤S3084)。然后,如步骤S310和步骤S312-1,输出受损识别模型的结果,并对该结果进行模型验证。若验证结果指示受损识别模型未完成训练(即输出结果未收敛)的情况下,则返回步骤S308,继续进行训练。
关于受损识别模型的应用过程,可以如图3所示实线箭头(粗线)所连接的流程。如步骤S302,获取摄像头监控到的视频流,然后如步骤S306,对视频流进行处理。具体的,如步骤S3062,从视频流中定期截取出视频片段,然后执行步骤S3064,对视频片段进行图像帧节化处理,得到图像集合。进一步执行步骤S308,对上述图像集合中的每张图像执行图像识别处理。如步骤S3082,提取图像中包含的包裹的外观特征,并进行受损识别,如步骤S3084。然后,如步骤S310和步骤S312-2,输出受损识别模型的结果,并根据识别结果确定受损的目标包裹。然后利用目标包裹的识别码对目标包裹的流向进行追踪定位。最后,如步骤S314,在确定目标包裹流经目标分拣位置的情况下,通知目标分拣位置上相关的目标对象来拦截目标包裹,以实现对受损包裹的捡取和修复处理。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的另一个方面,还提供了一种用于实施上述包裹追踪方法的包裹追踪装置。如图4所示,该装置包括:
1)第一获取单元402,用于获取包裹分拣流水线上当前分拣位置所关联的摄像头采集到的图像集合;
2)识别单元404,用于对图像集合进行图像识别,得到识别结果;
3)第二获取单元406,用于在从识别结果中确定出受损度达到第一阈值的目标包裹的情况下,获取目标包裹的识别码;
4)确定单元408,用于根据目标包裹的识别码,确定目标包裹所流向的目标分拣位置,其中,目标分拣位置为包裹分拣流水线上位于当前分拣位置之后的至少一个分拣位置;
5)追踪单元410,用于向与目标分拣位置关联的提示设备发送提示信息,其中,提示信息用于提示捡取目标包裹,并对目标包裹进行修复处理。
可选地,在本实施例中,上述包裹追踪装置可以但不限于应用于图2所示物流运输过程中,在卸货后配载前,通过利用计算机视觉识别技术和机器学习技术来对包裹分拣流水线上的受损包裹进行精准识别,并追踪定位,以最终实现对受损包裹的精准捡取和修复。从而克服相关技术中由于无法追踪定位受损包裹所导致的包裹损坏的问题。
在本实施例中,具体的实施例可以参照上述包裹追踪方法中的实施例,此处不再赘述。
作为一种可选的实施方案,识别单元404包括:
1)第一识别模块,用于通过计算机视觉识别技术从图像集合中识别出包含包裹的候选图像;
2)提取模块,用于提取候选图像中待处理包裹的外观特征;
3)输入模块,用于将待处理包裹的外观特征输入受损识别模型中,其中,受损识别模型为利用样本受损包裹的外观特征进行机器训练后得到的神经网络模型,用于根据包裹的外观特征识别出包裹的受损度;
4)第一确定模块,用于在受损识别模型输出的受损度达到第一阈值的情况下,确定候选图像中的待处理包裹为目标包裹。
在本实施例中,具体的实施例可以参照上述包裹追踪方法中的实施例,此处不再赘述。
作为一种可选的实施方案,还包括:
1)第三获取单元,用于在获取包裹分拣流水线上当前分拣位置所关联的摄像头采集到的图像集合之前,获取多个样本受损包裹的样本外观特征,构建包裹破损样本库;
2)分类单元,用于按照不同包裹类型对包裹破损样本库进行分类,得到多个破损识别样本库;
3)训练单元,用于利用多个破损识别样本库对初始化受损识别模型进行机器训练,得到受损识别模型。
在本实施例中,具体的实施例可以参照上述包裹追踪方法中的实施例,此处不再赘述。
作为一种可选的实施方案,确定单元408包括:
1)第二识别模块,用于识别目标包裹的识别码,以获取目标包裹在包裹分拣流水线上的分拣路径,其中,分拣路径包括目标包括所要经过的各个分拣位置的位置信息;
2)第二确定模块,用于确定分拣路径中位于当前分拣位置之后的目标分拣位置。
在本实施例中,具体的实施例可以参照上述包裹追踪方法中的实施例,此处不再赘述。
根据本发明的实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,获取包裹分拣流水线上当前分拣位置所关联的摄像头采集到的图像集合;
S2,对图像集合进行图像识别,得到识别结果;
S3,在从识别结果中确定出受损度达到第一阈值的目标包裹的情况下,获取目标包裹的识别码;
S4,根据目标包裹的识别码,确定目标包裹所流向的目标分拣位置,其中,目标分拣位置为包裹分拣流水线上位于当前分拣位置之后的至少一个分拣位置;
S5,向与目标分拣位置关联的提示设备发送提示信息,其中,提示信息用于提示捡取目标包裹,并对目标包裹进行修复处理。
可选地,在本实施例中,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random Access Memory,RAM)、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种包裹追踪方法,其特征在于,包括:
获取包裹分拣流水线上当前分拣位置所关联的摄像头采集到的图像集合;
对所述图像集合进行图像识别,得到识别结果;
在从所述识别结果中确定出受损度达到第一阈值的目标包裹的情况下,获取所述目标包裹的识别码;
根据所述目标包裹的识别码,确定所述目标包裹所流向的目标分拣位置,其中,所述目标分拣位置为所述包裹分拣流水线上位于所述当前分拣位置之后的至少一个分拣位置;
向与所述目标分拣位置关联的提示设备发送提示信息,其中,所述提示信息用于提示捡取所述目标包裹,并对所述目标包裹进行修复处理。
2.根据权利要求1所述的方法,其特征在于,所述对所述图像集合进行图像识别,得到识别结果包括:
通过计算机视觉识别技术从所述图像集合中识别出包含包裹的候选图像;
提取所述候选图像中待处理包裹的外观特征;
将所述待处理包裹的外观特征输入受损识别模型中,其中,所述受损识别模型为利用样本受损包裹的外观特征进行机器训练后的神经网络模型,用于根据包裹的外观特征识别出包裹的受损度;
在所述受损识别模型输出的受损度达到所述第一阈值的情况下,确定所述候选图像中的所述待处理包裹为所述目标包裹,作为所述识别结果。
3.根据权利要求2所述的方法,其特征在于,在所述获取包裹分拣流水线上当前分拣位置所关联的摄像头采集到的图像集合之前,还包括:
获取多个样本受损包裹的样本外观特征,构建包裹破损样本库;
按照不同包裹类型对所述包裹破损样本库进行分类,得到多个破损识别样本库;
利用所述多个破损识别样本库对初始化受损识别模型进行机器训练,得到所述受损识别模型。
4.根据权利要求1所述的方法,其特征在于,所述根据所述目标包裹的识别码,确定所述目标包裹所流向的目标分拣位置包括:
识别所述目标包裹的识别码,以获取所述目标包裹在所述包裹分拣流水线上的分拣路径,其中,所述分拣路径包括所述目标包裹所要经过的各个分拣位置的位置信息;
确定所述分拣路径中位于所述当前分拣位置之后的所述目标分拣位置。
5.根据权利要求1所述的方法,其特征在于,所述获取包裹分拣流水线上当前分拣位置所关联的摄像头采集到的图像集合包括:
对所述摄像头采集到的视频流进行定期截取处理,得到与所述当前分拣位置关联的视频片段;
获取对所述视频片段进行帧节化处理后的图像帧,得到所述图像集合;
将所述图像集合中各个图像的图像数据按照目标数据结构进行保存。
6.根据权利要求1所述的方法,其特征在于,在所述向与所述目标分拣位置关联的提示设备发送提示信息之后,还包括:
获取确认指令,其中,所述确认指令用于指示位于所述目标分拣位置的目标对象已确认捡取完所述目标包裹;
响应所述确认指令,在目标分拣设备中检测所述目标包裹,其中,所述目标分拣设备中上的包裹将要被执行修复处理;
在检测到所述目标包裹的情况下,确认所述目标包裹已被成功拦截。
7.一种包裹追踪装置,其特征在于,包括:
第一获取单元,用于获取包裹分拣流水线上当前分拣位置所关联的摄像头采集到的图像集合;
识别单元,用于对所述图像集合进行图像识别,得到识别结果;
第二获取单元,用于在从所述识别结果中确定出受损度达到第一阈值的目标包裹的情况下,获取所述目标包裹的识别码;
确定单元,用于根据所述目标包裹的识别码,确定所述目标包裹所流向的目标分拣位置,其中,所述目标分拣位置为所述包裹分拣流水线上位于所述当前分拣位置之后的至少一个分拣位置;
追踪单元,用于向与所述目标分拣位置关联的提示设备发送提示信息,其中,所述提示信息用于提示捡取所述目标包裹,并对所述目标包裹进行修复处理。
8.根据权利要求7所述的装置,其特征在于,所述识别单元包括:
第一识别模块,用于通过计算机视觉识别技术从所述图像集合中识别出包含包裹的候选图像;
提取模块,用于提取所述候选图像中待处理包裹的外观特征;
输入模块,用于将所述待处理包裹的外观特征输入受损识别模型中,其中,所述受损识别模型为利用样本受损包裹的外观特征进行机器训练后得到的神经网络模型,用于根据包裹的外观特征识别出包裹的受损度;
第一确定模块,用于在所述受损识别模型输出的受损度达到所述第一阈值的情况下,确定所述候选图像中的所述待处理包裹为所述目标包裹。
9.根据权利要求7所述的装置,其特征在于,所述确定单元包括:
第二识别模块,用于识别所述目标包裹的识别码,以获取所述目标包裹在所述包裹分拣流水线上的分拣路径,其中,所述分拣路径包括所述目标包括所要经过的各个分拣位置的位置信息;
第二确定模块,用于确定所述分拣路径中位于所述当前分拣位置之后的所述目标分拣位置。
10.一种计算机可读的存储介质,所述计算机可读的存储介质包括存储的程序,其中,所述程序运行时执行所述权利要求1至6任一项中所述的方法。
CN202010112998.XA 2020-02-24 2020-02-24 包裹追踪方法和装置及存储介质 Withdrawn CN111340885A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010112998.XA CN111340885A (zh) 2020-02-24 2020-02-24 包裹追踪方法和装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010112998.XA CN111340885A (zh) 2020-02-24 2020-02-24 包裹追踪方法和装置及存储介质

Publications (1)

Publication Number Publication Date
CN111340885A true CN111340885A (zh) 2020-06-26

Family

ID=71183688

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010112998.XA Withdrawn CN111340885A (zh) 2020-02-24 2020-02-24 包裹追踪方法和装置及存储介质

Country Status (1)

Country Link
CN (1) CN111340885A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113793085A (zh) * 2020-09-28 2021-12-14 北京京东振世信息技术有限公司 分拣复核方法和装置、计算机可读存储介质、电子设备
CN117772617A (zh) * 2024-02-27 2024-03-29 河南聚能合众特种材料有限公司 基于物联网的物流分拣输送方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113793085A (zh) * 2020-09-28 2021-12-14 北京京东振世信息技术有限公司 分拣复核方法和装置、计算机可读存储介质、电子设备
CN117772617A (zh) * 2024-02-27 2024-03-29 河南聚能合众特种材料有限公司 基于物联网的物流分拣输送方法及系统
CN117772617B (zh) * 2024-02-27 2024-05-10 河南聚能合众特种材料有限公司 基于物联网的物流分拣输送方法及系统

Similar Documents

Publication Publication Date Title
US10878290B2 (en) Automatically tagging images to create labeled dataset for training supervised machine learning models
CN108229478B (zh) 图像语义分割及训练方法和装置、电子设备、存储介质和程序
CN109214280B (zh) 基于街景的店铺识别方法、装置、电子设备及存储介质
CN107679504A (zh) 基于摄像头场景的人脸识别方法、装置、设备及存储介质
CN109092696B (zh) 分拣系统及分拣方法
CN107179324A (zh) 检测产品包装的方法、装置和系统
CN111340885A (zh) 包裹追踪方法和装置及存储介质
CN110610169B (zh) 图片标注方法和装置、存储介质及电子装置
WO2024060684A1 (zh) 模型训练方法、图像处理方法、设备及存储介质
CN111967322A (zh) 数据处理方法、装置、电子设备和存储介质
CN111666816A (zh) 物流件状态的检测方法、装置以及设备
CN114419363A (zh) 基于无标注样本数据的目标分类模型训练方法及装置
CN112507760A (zh) 暴力分拣行为的检测方法、装置及设备
CN110647825A (zh) 无人超市物品确定方法、装置、设备及存储介质
CN111738199A (zh) 图像信息验证方法、装置、计算装置和介质
EP3629276A1 (en) Context-aided machine vision item differentiation
CN113469137A (zh) 异常行为的识别方法、装置、存储介质及电子装置
CN111898555B (zh) 基于图像与文本的图书盘点识别方法、装置、设备及系统
CN112560718A (zh) 物料信息的获取方法和装置、存储介质、电子装置
US20210166028A1 (en) Automated product recognition, analysis and management
WO2023045535A1 (zh) 识别图片的方法和装置
CN111275009A (zh) 包裹受损定位方法和装置及存储介质
CN111489123A (zh) 违规分拣的追溯方法和装置及存储介质
CN111461104B (zh) 视觉识别方法、装置、设备及存储介质
CN109344799B (zh) 物品识别方法、装置及设备、存储介质、电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200626