CN115953635B - 一种多类别目标物的分拣方法、ar眼镜和系统 - Google Patents

一种多类别目标物的分拣方法、ar眼镜和系统 Download PDF

Info

Publication number
CN115953635B
CN115953635B CN202310224444.2A CN202310224444A CN115953635B CN 115953635 B CN115953635 B CN 115953635B CN 202310224444 A CN202310224444 A CN 202310224444A CN 115953635 B CN115953635 B CN 115953635B
Authority
CN
China
Prior art keywords
image
sorting
glasses
identifier
association table
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310224444.2A
Other languages
English (en)
Other versions
CN115953635A (zh
Inventor
沈爽
康海利
赵曦
吴喆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Posts And Telecommunications Equipment Group Co ltd
Original Assignee
China Posts And Telecommunications Equipment Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Posts And Telecommunications Equipment Group Co ltd filed Critical China Posts And Telecommunications Equipment Group Co ltd
Priority to CN202310224444.2A priority Critical patent/CN115953635B/zh
Publication of CN115953635A publication Critical patent/CN115953635A/zh
Application granted granted Critical
Publication of CN115953635B publication Critical patent/CN115953635B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种多类别目标物的分拣方法,包括:建立目标物的特定属性和分拣标识的第一关联表,包括特定属性标识和与之对应的分拣标识;建立目标物的工业码和特定属性的第二关联表,包括工业码标识和与之对应的所述特定属性标识;获取包含目标物的图像,判断所述图像是否为稳定图像,若是,则获取所述图像中所有目标物的工业码标识,在所述第二关联表中搜索所述目标物的特定属性标识,在所述第一关联表中搜索所述特定属性标识对应的分拣标识,将所述分拣标识投射于图像的显示界面上。本申请还包含实现所述方法的AR眼镜和系统。本申请解决现有技术对批量物品逐一分拣效率较低的问题。

Description

一种多类别目标物的分拣方法、AR眼镜和系统
技术领域
本申请涉及计算机技术领域,尤其涉及一种多类别目标物的分拣方法、AR眼镜和系统。
背景技术
现有场景技术中,通过AR眼镜在流水线、仓位上对货物分拣时,经常需要查找具有特定属性的物品。例如,为了追溯批次,需要分拣出特定发货方在特定时间发出的特定批次货物,这里的特定属性包括:特定发货方、特定时间、特定批次号等。在流水线分拣、仓位分拣、批次分拣中可通过人工逐一扫码分拣出所需物品。但是,当有多种不同特定属性需要同时分拣时,现有方式只能对物品逐一扫码分拣,无法做到按照特定属性并发分拣,分拣效率极低。
发明内容
本申请实施例提供一种多类别目标物的分拣方法、AR眼镜和系统,用于解决现有技术中对批量的物品逐一分拣,导致的分拣效率较低的问题。
第一方面,本申请实施例提供一种多类别目标物的分拣方法,包括:
建立目标物的特定属性和分拣标识的第一关联表,包括特定属性标识和与之对应的分拣标识;
建立目标物的工业码和特定属性的第二关联表,包括工业码标识和与之对应的所述特定属性标识;
获取包含目标物的图像,判断所述图像是否为稳定图像,若是,则获取所述图像中1个或多个目标物的工业码标识,在所述第二关联表中搜索所述工业码标识的特定属性标识,在所述第一关联表中搜索所述特定属性标识对应的分拣标识,将所述分拣标识投射于图像的显示界面上。
进一步的,所述判断所述图像是否为稳定图像的方法包括:
确定图像的第一最大感受野,生成包含多个目标物位置标识的第一二维图,并计算所述第一二维图中多个目标物位置所对应的第一重心;
间隔预设时长后,确定图像的第二最大感受野,生成包含多个目标物位置标识的第二二维图,并计算所述第二二维图中多个目标物位置所对应的第二重心;
响应于第一二维图中的工业码数量等于第二二维图中的工业码数量且第一重心和第二重心的位置差小于设定阈值,确定所述第一二维图和或第二二维图为稳定图像。
进一步的,采用YOLO算法识别所述目标物的工业码。
进一步的,所述最大感受野获得方法包括:
通过YOLO算法的主干层提取图像特征;
越过图像颈部,将所提取的图像特征输入至特征发现器,获得最大感受野的图像。
进一步的,所述将所述分拣标识投射于图像的显示界面上,包括在工业码所在位置或目标物所在位置,显示所述工业码标识的目标物所对应的分拣标识。
进一步的,所述第一关联表和所述第二关联表采用JSON形式保存。
第二方面,本申请实施例提供一种存储器,其上存储有计算机程序,该程序被处理器执行时实现本申请中任一实施例所述的方法。
第三方面,本申请实施例提供一种电子设备,包含存储器、处理器及存储在存储器上并可在处理器运行的计算机程序,所述处理器被配置为执行所述计算机程序时用于实现本申请中任一实施例所述的方法。
第四方面,本申请实施例提供一种AR眼镜,包括:
第一关联模块,用于建立目标物的特定属性和分拣标识的第一关联表,包括特定属性标识和与之对应的分拣标识,所述分拣标识为用于体现目标物自定义属性的标识;
第二关联模块,用于建立目标物的工业码和特定属性的第二关联表,包括工业码标识和与之对应的所述特定属性标识;以及,
第一处理模块,用于获取包含目标物的图像,判断所述图像是否为稳定图像,若是,则获取所述图像中1个或多个目标物的工业码标识,在所述第二关联表中搜索所述工业码标识的特定属性标识,在所述第一关联表中搜索所述特定属性标识对应的分拣标识,将所述分拣标识投射于AR眼镜的图像的显示界面上。
第五方面,本申请实施例提供一种多类别目标物的分拣系统,
包括分拣客户端、属性匹配服务器、AR眼镜外部设备和AR眼镜;
所述分拣客户端包括特定属性处理模块,用于客户端设定分拣标识;
所述属性匹配服务器,用于将分拣标识保存至数据库,所述数据库包含所述第一关联表和第二关联表;所述属性匹配服务器还用于接收AR眼镜外部设备发送的工业码图像,解析工业码,并将解析后的工业码与分拣标识相匹配,将所述目标物的分拣标识返回至AR眼镜外部设备;
所述AR眼镜和/或AR眼镜外部设备,用于判定所述图像是否为稳定图像;所述AR眼镜外部设备,用于接收AR眼镜发送的图像,识别和提取出图像中的工业码,发送至属性匹配服务器,并接收属性匹配服务器返回的与工业码相对应的分拣标识;
所述AR眼镜,用于摄制图像并发送至AR眼镜外部设备,并将AR眼镜外部设备所标注的分拣特征标识显示在AR眼镜中。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果:可同时对拍照的多个工业码进行识别,并对识别出的工业码分类标注分拣标识,极大的提高分拣效率。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本说明书实施例1提供的方法流程示意图;
图2为本说明书实施例1提供的判断取景稳定性示意图;
图3为本说明书实施例1提供的判断取景稳定性方法流程示意图;
图4为本说明书实施例2提供的方法流程示意图;
图5为本说明书实施例2提供的第一二维图形示意图;
图6为本说明书实施例2提供的第二二维图形示意图;
图7为本说明书实施例2提供的AR眼镜结构示意图
图8为本说明书实施例2提供的系统实施示意图;
图9为本说明书实施例2提供的特征匹配示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
以下结合附图,详细说明本申请各实施例提供的技术方案。
图1为本说明书实施例提供的方法流程示意图。
本实施例1提供一种多类别目标物的分拣方法,应用于拍摄设备中,包括以下步骤:
步骤101、建立目标物的特定属性和分拣标识的第一关联表,包括特定属性标识和与之对应的分拣标识,所述分拣标识为用于体现目标物自定义属性的标识;
特定属性包括但不限于以下至少一种:特定发货方、特定时间、特定批次号等;预先在存储设备中预设特定属性,并根据特定属性设定对应特定属性标识,特定属性标识确定后,可通过第一关联表确定与特定属性标识对应的分拣标识。分拣标识包括但不限于在用户端由用户自定义设定分拣规则而生成的一个编码、图形或图框,分拣规则包括但不限于根据的商品型号、产地、生产日期、数量等属性所设置。分拣标识的使用:在分拣时通过电子设备识别目标物、显示分拣标识,通过分拣标识快速区分货物类别
步骤102、建立目标物的工业码和特定属性的第二关联表,包括工业码标识和与之对应的所述特定属性标识;
预先在存储设备中预设工业码,并根据工业码设定对应的工业码标识,工业码确定后,可通过第二关联表确定与工业码标识对应的特定属性标识。
工业码的使用:生产商或物流将工业码印在货品上(例如:快递员将二维码贴在快递件上),销售商可通过扫描工业码识别商品型号、产地等信息。
步骤103、获取包含目标物的图像,判断所述图像是否为稳定图像,若是,则获取所述图像中1个或多个目标物的工业码标识,在所述第二关联表中搜索所述工业码标识的特定属性标识,在所述第一关联表中搜索所述特定属性标识对应的分拣标识,将所述分拣标识投射于图像的显示界面上,所述稳定图像为图像获取设备在稳定状态时拍摄的图像。
例如,获取包含目标物的图像,判断所述图像是否为稳定图像,若是,则获取所述图像中全部(或至少一部分)目标物的工业码标识,在所述第二关联表中批量搜索所述全部(或至少一部分)目标物的特定属性标识,找出感兴趣的自定义属性标识;在所述第一关联表中批量搜索每1个所述目标物的自定义属性标识所对应的分拣标识、或多个目标物共同的自定义属性标识所对应的的分拣标识,将所述分拣标识投射于图像的显示界面上,所述稳定图像为图像获取设备在稳定状态时拍摄的图像。
以AR眼镜为例,通过AR眼镜在流水线、仓位上对多个货物同时分拣时,需要快速判断工业码的分类并显示到AR眼镜上。AR眼镜完成稳定拍摄后,将稳定图像发送至内部服务器进行处理,提取图像中的多个目标物的二维码标识,根据每个目标物的工业码(例如,以二维码形式)标识在第二关联表中搜索与目标物的工业码(二维码)标识匹配的目标物特定属性标识;获取到与自定义属性标识相同的目标物特定属性标识后,在第一关联表内,搜索与目标物该特定属性标识对应的目标物分拣标识。提取出目标物分拣标识后,将目标物分拣标识显示在图像中。
本实施例可同时对拍照的多个工业码进行识别,并对识别出的工业码分类标注分拣信息。例如,可对A发货方A1批次货物用红色框作为分拣标识,对B发货方的B1批次货物用蓝色框作为分拣标识,从而达到并发分拣的目的。
进一步的,请参阅图2和图3所示,所述判断所述图像是否为稳定图像的方法包括:
从特征发现器获取所述图像的第一最大感受野,生成包含多个目标物位置标识的第一二维图,并计算所述第一二维图中多个目标物位置所对应的第一重心;
例如,请参阅图5,从Head头部的20×20特征发现器Detect获取所述图像的第一最大感受野R1,将第一最大感受野内各个目标物位置标识(目标物图像、图形或表示符)依次连接生成第一二维图P1,并计算P1所对应的G1。
间隔预设时长后从特征发现器获取第二最大感受野,生成包含多个目标物位置标识的第二二维图,并计算所述第二二维图中多个目标物位置所对应的第二重心;
例如,请参阅图6,间隔0.25秒后从Head头部的20×20特征发现器Detect获取第二最大感受野R2,将第二感受野内各个目标物位置标识(目标物图像、图形或表示符)依次连接生成第二二维图P2,并计算P2所对应的第二重心G2。
若P1中的工业码的个数不等于P2中的工业码的个数,或,重心位置G2-重心位置G1不小于设定阈值,将原P2作为P1,返回获取R2,重新获取各种图标中工业码标识。所述设定阈值,例如可以是1/4的目标物图像宽度。
能够在最大感受野图像R1中提取工业码的个数以及各个工业码的位置。将外层的各个目标物位置依次连接,构成封闭二维图形P1,计算并保存图形P1的重心位置G1。间隔0.25秒后再次重新获取最大感受野图像,作为第二最大感受野图像R2,在第二最大感受野R2中提取工业码的个数以及各个工业码的位置,将外层各个目标物位置依次连接,构成封闭二维图形P2,计算并保存图形P2的重心位置G2。再判断工业码数量和G1、G2的相对位置,从而决定是否进行工业码批量提取。
如果第一二维图中的工业码数量等于第二二维图中的工业码数量且第一重心和第二重心的位置差小于设定阈值,则确定所述第一二维图和或第二二维图为稳定图像。
按照以上方案,在AR眼镜快速移动时,不必对进入AR眼镜中的工业码进行解析,只有在AR眼镜在一定时间内相对静止时,再进行工业码锁定,避免额外开销,提升响应速度。
进一步的,所述最大感受野获得方法包括:
通过YOLO算法的主干层提取图像特征;
例如,通过YOLO的Backbone主干层提取图像特征。
越过颈部,将所提取的图像特征输入至头部的尺寸特征发现器,获得最大感受野的图像。
例如,如图2所示,越过Neck颈部,直接将所提取的图像输入至Head头部的20×20特征发现器Detect,获得最大感受野的图像,作为第一最大感受野图像R1。
能够实现,在此处理过程中不必对通过Neck颈部获得40×40以及80×80的特征进行处理,从而加快了处理速度。
图4为本说明书实施例2提供的方法流程示意图。
本实施例2提供一种多类别目标物的分拣方法,应用于系统中,请参阅图4所示,包括以下步骤:
步骤201、预设特定属性
例如,属性匹配服务器接收分拣客户端发送的用于分拣的特定属性,并将分拣特征保存在属性匹配服务器的数据库中。
步骤202、获取目标物工业码
例如,AR眼镜外部设备进行取景稳定性判断,当图像为稳定状态时获取AR眼镜拍摄的图像,使用工业码识别模块识别工业码目标(用YOLO算法识别)。
步骤203、获取与目标物工业码对应的目标物特定属性,识别自定义属性标识。
例如,AR眼镜外部设备通过工业码提取模块提取所识别的工业码并保存在工业码队列中,将工业码队列发送至属性匹配服务器。属性匹配服务器接收AR眼镜外部设备发送的工业码队列,解析工业码队列中的各个工业码,获得所述工业码对应的特定属性标识,并进一步识别其中的自定义属性标识。
步骤204、获取与所述自定义属性标识对应的目标物分拣标识。
例如,属性匹配服务器检索并确定与所述自定义属性标识对应的分拣标识。
步骤205、AR眼镜外部设备接收属性匹配服务器接返回的分拣标识,并将分拣标识发送至AR眼镜。
步骤206、AR眼镜接收外部设备发送的分拣标识,并在AR眼镜的视觉空间中工业码标识的目标物所在位置显示分拣标识。
在步骤206中,显示所述工业码标识的目标物所对应的分拣标识。
本申请在一个感受野中,可批量处理多个目标物。
当多个工业码相同时,所述工业码标识的目标物所对应的多个分拣标识相同,在每个目标物所在位置显示相同的分拣标识。当多个工业码不同、但对应的特定属性标识相同时,多个工业码标识的目标物所对应的多个分拣标识相同,在每个目标物所在位置显示相同的分拣标识。当多个工业码中至少两个不同、且对应的属性标识不同时,在不同的工业码标识的目标物所在位置显示不同的分拣标识。当多个工业码中至少两个相同时,在相同的工业码标识的目标物所在位置显示相同的分拣标识。
所述工业码标识的目标物所对应的分拣标识,是指按照本申请实施例步骤103所述,经查找所述目标物的特征属性中包含感兴趣的自定义属性时,所述自定义属性进一步对应的分拣标识。
所述目标物所在位置或者所述工业码所在位置,可以是所述工业码标识的所述目标物的物理位置,也可以是所述工业码标识的所述目标物的图像显示位置。所述AR眼镜的显示空间是图像显示范围,可以是通过在图像采集范围增添投影信号通过图像采集进入图像显示范围、也可以直接在图像显示范围增添标识信号。
在目标物的物理位置用投影的方式显示分拣标识时,通过AR眼镜采集后呈现在图像的显示界面。优选方案是,投影的分拣标识不在可见光范围内,通过AR眼镜采集后呈现在图像的显示界面方可见。
能够通过AR眼镜在流水线、仓位上对多个货物同时分拣时,需要快速判断工业码的分类并显示到AR眼镜上。为了对所拍照的工业码快速响应,首先需要避免系统不必要的开销,在AR眼镜快速移动时,不对进入AR眼镜中的工业码进行解析,只有AR眼镜在一定时间内相对静止时,再进行工业码锁定。另外,对于多个工业码,采取一次性批量解析和批量获取分拣信息的方式,避免多次连接解析器,减少与服务器的交互次数。
再进一步说明,本实施例还提供一种AR眼镜,请参阅图7所示,包括:
第一关联模块301,用于建立目标物的特定属性和分拣标识的第一关联表,包括特定属性标识和与之对应的分拣标识,所述分拣标识为用于体现目标物自定义属性的标识;
第二关联模块302,用于建立目标物的工业码和特定属性的第二关联表,包括工业码标识和与之对应的所述特定属性标识;以及,
处理模块303,用于获取包含目标物的图像,判断所述图像是否为稳定图像,若是,则获取所述图像中所有目标物的工业码标识,在所述第二关联表中批量搜索所述目标物的特定属性标识,在所述第一关联表中批量搜索所述目标物的分拣标识,将所述分拣标识投射于AR眼镜的图像的显示界面上,所述稳定图像为AR眼镜的图像获取设备在稳定状态时拍摄的图像。
进一步地,本申请的处理模块,还用于执行本申请各个实施例的方法的其他步骤,这里不再赘述。
再进一步说明,请参阅图8所示,系统包括分拣客户端、属性匹配服务器、AR眼镜外部设备和AR眼镜。
分拣客户端:分拣客户端包括特定属性处理模块。分拣人员预先在分拣客户端输入用于分拣的特定属性,特定属性处理模块所输入的特定属性发送至属性匹配服务器;
所述属性匹配服务器将分拣标识保存至数据库,所述数据库包含所述第一关联表和第二关联表;所述属性匹配服务器接收AR眼镜外部设备发送的工业码图像,解析工业码,并将解析后的工业码与分拣标识相匹配,将所述目标物的分拣标识返回至AR眼镜外部设备;
所述AR眼镜和/或AR眼镜外部设备,用于判定所述图像是否为稳定图像;所述AR眼镜外部设备接收AR眼镜发送的图像,识别和提取出图像中的工业码,发送至属性匹配服务器,并接收属性匹配服务器返回的与工业码相对应的分拣标识;
所述AR眼镜,将所摄制的图像发送至AR眼镜外部设备,并将AR眼镜外部设备所标注的分拣特征标识显示在AR眼镜中。
作为本申请进一步优化的实施例,
属性匹配服务器包括特定属性设置模块、工业码解析模块。属性匹配服务器接收分拣客户端发送的特定属性,并通过特定属性设置模块将特定属性保存至数据库。属性匹配服务器接收AR眼镜外部设备发送的工业码图像,通过工业码解析模块解析工业码,并将解析后的工业码与特定属性相匹配,以JSON格式返回至AR眼镜外部设备。
AR眼镜外部设备包括工业码识别模块、工业码提取模块。AR眼镜外部设备接收AR眼镜发送的图像,并利用工业码识别模块识别出图像中的工业码。再利用工业码提取模块将所识别的工业码提取,发送至属性匹配服务器,并接收属性匹配服务器返回的与工业码相对应的分拣标识。
AR眼镜包括图像处理模块。图像处理模块将AR眼镜所摄制的图像发送至AR眼镜外部设备,并将AR眼镜外部设备所标注的分拣特征标识在AR眼镜端显示。
还需要说明的是,图7~8中的AR眼镜不同。图7实施例的AR眼镜是包含执行本申请方法步骤的全部模块,优选地,可以为一集成化产品;图8实施例的AR眼镜仅包含执行本申请方法中所需的图像摄取和图像显示功能,图8的系统可以为一分布式多终端系统,每一个AR眼镜为一个终端。所述系统可以包含一个属性匹配服务器、一个或多个AR眼镜、一个或多个AR眼镜外部设备,其中每一个属性匹配服务器支持一个或多个AR眼镜;每一个AR眼镜外部设备支持一个或多个AR眼镜;每一个属性匹配服务器支持一个或多个AR眼镜外部设备。
进一步的,所述第一关联表和第二关联表采用JSON形式保存。例如,参阅图9所示,AR眼镜外部设备的工业码提取模块将提取出的工业码图像写入队列并发送至属性匹配服务器;
属性匹配服务器接收工业码图像队列并保存在工业码解析池中,工业码解析模块解析工业码图像,并将解析信息以JSON形式保存,JSON中包括工业码ID、表征特征;
将已解析的工业码信息发送至特定属性匹配池中,通过工业码ID从数据库中将工业码ID所对应的特定属性的分拣标识(或自定义属性的分拣标识)追加至JSON中,由此JSON中包括工业码ID、表征特征、工业码对应的分拣标识;
将已经匹配分拣标识的JSON返回至AR眼镜外部设备。
将已匹配的自定义属性标识对应的分拣标识、目标物(工业码和/或位置标识)列入跟踪池,对捕获分拣标识的目标物进行持续跟踪。也就是说,在图像显示界面,所述分拣标识伴随目标物移动;以及,在设定的跟踪时长范围内,用于分拣的电子设备对跟踪池包含的自定义属性标识对应的目标物(工业码和/或位置标识)进行跟踪。
本申请能够实现对于多个工业码采取批量解析和批量获取分拣信息的方式,避免反复连接解析器和数据库。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
因此,本申请还提出一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本申请中任一实施例所述的方法。
进一步地,本申请还提出一种电子设备,包括存储器,处理器及存储在存储器上并可在处理器运行的计算机程序,所述处理器执行所述计算机程序时实现如本申请任一实施例所述的方法。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器 (RAM) 和/或非易失性内存等形式,如只读存储器 (ROM) 或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (9)

1.一种多类别目标物的分拣方法,其特征在于,包括:
建立目标物的特定属性和分拣标识的第一关联表,包括特定属性标识和与之对应的分拣标识;
建立目标物的工业码和特定属性的第二关联表,包括工业码标识和与之对应的所述特定属性标识;
获取包含目标物的图像,判断所述图像是否为稳定图像,若是,则获取所述图像中1个或多个目标物的工业码标识,在所述第二关联表中搜索所述工业码标识对应的特定属性标识,在所述第一关联表中搜索所述特定属性标识对应的分拣标识,将所述分拣标识投射于图像的显示界面上;
判断所述图像是否为稳定图像的方法包括:
确定图像的第一最大感受野,将第一最大感受野内各个目标物位置标识依次连接,生成包含多个目标物位置标识的第一二维图,并计算所述第一二维图中多个目标物位置所对应的第一重心;
间隔预设时长后,确定图像的第二最大感受野,将第二最大感受野内各个目标物位置标识依次连接,生成包含多个目标物位置标识的第二二维图,并计算所述第二二维图中多个目标物位置所对应的第二重心;
响应于第一二维图中的工业码数量等于第二二维图中的工业码数量且第一重心和第二重心的位置差小于设定阈值,确定所述第一二维图和或第二二维图为稳定图像。
2.如权利要求1所述的一种多类别目标物的分拣方法,其特征在于,采用YOLO算法识别所述目标物的工业码。
3.如权利要求1所述的一种多类别目标物的分拣方法,其特征在于,最大感受野的获得方法包括:
通过YOLO算法的主干层提取图像特征;
越过图像颈部,将所提取的图像特征输入至特征发现器,获得最大感受野的图像。
4.如权利要求1所述的一种多类别目标物的分拣方法,其特征在于,所述将所述分拣标识投射于图像的显示界面上,包括:在工业码所在位置或目标物所在位置,显示所述工业码标识的目标物所对应的分拣标识。
5.如权利要求1所述的一种多类别目标物的分拣方法,其特征在于,所述第一关联表和所述第二关联表采用JSON形式保存。
6.一种存储器,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-5中任一所述的方法。
7.一种电子设备,包含存储器、处理器及存储在存储器上并可在处理器运行的计算机程序,其特征在于,所述处理器被配置为执行所述计算机程序时实现如权利要求1-5中任一所述的方法。
8.一种AR眼镜,用于实现权利要求1~5任意一项所述方法,其特征在于,包括:
第一关联模块,用于建立目标物的特定属性和分拣标识的第一关联表,包括特定属性标识和与之对应的分拣标识;
第二关联模块,用于建立目标物的工业码和特定属性的第二关联表,包括工业码标识和与之对应的所述特定属性标识;以及,
处理模块,用于获取包含目标物的图像,判断所述图像是否为稳定图像,若是,则获取所述图像中1个或多个目标物的工业码标识,在所述第二关联表中搜索所述工业码标识对应的特定属性标识,在所述第一关联表中搜索所述特定属性标识对应的分拣标识,将所述分拣标识投射于AR眼镜的图像的显示界面上。
9.一种多类别目标物的分拣系统,用于实现权利要求1-5任意一项所述方法,其特征在于,包括分拣客户端、属性匹配服务器、AR眼镜外部设备和AR眼镜;
所述分拣客户端包括特定属性处理模块,用于客户端设定分拣标识;
所述属性匹配服务器,用于将分拣标识保存至数据库,所述数据库包含所述第一关联表和所述第二关联表;所述属性匹配服务器接收AR眼镜外部设备发送的工业码图像,解析工业码,并将解析后的工业码与分拣标识相匹配,目标物的分拣标识返回至AR眼镜外部设备;
所述AR眼镜和/或所述AR眼镜外部设备,用于判定所述图像是否为稳定图像;
所述AR眼镜外部设备,用于接收AR眼镜发送的图像,识别和提取出图像中的工业码,发送至属性匹配服务器,并接收属性匹配服务器返回的与工业码相对应的分拣标识;
所述AR眼镜,用于摄制图像并发送至AR眼镜外部设备,并将AR眼镜外部设备所标注的分拣特征标识显示在AR眼镜中。
CN202310224444.2A 2023-03-10 2023-03-10 一种多类别目标物的分拣方法、ar眼镜和系统 Active CN115953635B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310224444.2A CN115953635B (zh) 2023-03-10 2023-03-10 一种多类别目标物的分拣方法、ar眼镜和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310224444.2A CN115953635B (zh) 2023-03-10 2023-03-10 一种多类别目标物的分拣方法、ar眼镜和系统

Publications (2)

Publication Number Publication Date
CN115953635A CN115953635A (zh) 2023-04-11
CN115953635B true CN115953635B (zh) 2023-06-27

Family

ID=85906903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310224444.2A Active CN115953635B (zh) 2023-03-10 2023-03-10 一种多类别目标物的分拣方法、ar眼镜和系统

Country Status (1)

Country Link
CN (1) CN115953635B (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11185891B2 (en) * 2019-03-15 2021-11-30 Ricoh Company, Ltd. Mail item sorting using augmented reality glasses
CN111738036B (zh) * 2019-03-25 2023-09-29 北京四维图新科技股份有限公司 图像处理方法、装置、设备及存储介质
CN112131894B (zh) * 2019-06-24 2023-11-03 北京京东振世信息技术有限公司 分拣物品的方法、系统、眼镜、设备和计算机可读介质
CN112445321A (zh) * 2019-08-28 2021-03-05 菜鸟智能物流控股有限公司 物品处理方法、装置及电子设备
CN113963210A (zh) * 2021-10-25 2022-01-21 南京工业大学 一种基于深度学习的废弃数据存储设备检测方法及分拣系统
CN115463844A (zh) * 2022-08-25 2022-12-13 宁夏银方智能科技有限公司 一种基于双重识别的货物智能分拣方法及系统

Also Published As

Publication number Publication date
CN115953635A (zh) 2023-04-11

Similar Documents

Publication Publication Date Title
CN108416403B (zh) 商品与标签的自动关联方法、系统、设备及存储介质
EP3537340A1 (en) User interface for object detection and labeling
CN107463945B (zh) 一种基于深度匹配网络的商品种类识别方法
CN108921645B (zh) 一种商品购买判定方法、装置和用户终端
US11699283B2 (en) System and method for finding and classifying lines in an image with a vision system
US10824832B2 (en) Barcode tag detection in side view sample tube images for laboratory automation
CN108345912A (zh) 一种基于rgbd信息与深度学习的商品快速结算系统
Marder et al. Using image analytics to monitor retail store shelves
CN111507253B (zh) 基于人工智能的陈列物品审核方法、装置
CN112100425B (zh) 基于人工智能的标签标注方法、装置、电子设备及介质
US11694440B2 (en) Image processing techniques to quickly find a desired object among other objects from a captured video scene
CN109635705B (zh) 一种基于二维码和深度学习的商品识别方法及装置
CN109977824B (zh) 物品取放识别方法、装置及设备
CN111310706B (zh) 一种商品价签识别方法及装置、电子设备、存储介质
CN112272838A (zh) 商品确定装置、程序和学习方法
US11748787B2 (en) Analysis method and system for the item on the supermarket shelf
RU2730112C1 (ru) Система и способ идентификации объектов в составном объекте
US20200311659A1 (en) Information processing apparatus, information processing method, and program
CN113935774A (zh) 图像处理方法、装置、电子设备及计算机存储介质
CN111428743B (zh) 商品识别方法、商品处理方法、装置及电子设备
CN115063084A (zh) 一种卷烟零售商户库存盘点方法及系统
Sharma Object detection and recognition using Amazon Rekognition with Boto3
CN115953635B (zh) 一种多类别目标物的分拣方法、ar眼镜和系统
CN111126384A (zh) 基于特征融合的商品分类系统及分类方法
CN112819953A (zh) 三维重建方法、网络模型训练方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant