CN112309031B - 无人货柜混放检测方法、装置、设备及可读存储介质 - Google Patents

无人货柜混放检测方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN112309031B
CN112309031B CN202010979264.1A CN202010979264A CN112309031B CN 112309031 B CN112309031 B CN 112309031B CN 202010979264 A CN202010979264 A CN 202010979264A CN 112309031 B CN112309031 B CN 112309031B
Authority
CN
China
Prior art keywords
information
article
layout
unmanned
unmanned container
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010979264.1A
Other languages
English (en)
Other versions
CN112309031A (zh
Inventor
齐小飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Qianshi Technology Co Ltd
Original Assignee
Beijing Jingdong Qianshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Qianshi Technology Co Ltd filed Critical Beijing Jingdong Qianshi Technology Co Ltd
Priority to CN202010979264.1A priority Critical patent/CN112309031B/zh
Publication of CN112309031A publication Critical patent/CN112309031A/zh
Application granted granted Critical
Publication of CN112309031B publication Critical patent/CN112309031B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07FCOIN-FREED OR LIKE APPARATUS
    • G07F9/00Details other than those peculiar to special kinds or types of apparatus
    • G07F9/02Devices for alarm or indication, e.g. when empty; Advertising arrangements in coin-freed apparatus
    • G07F9/026Devices for alarm or indication, e.g. when empty; Advertising arrangements in coin-freed apparatus for alarm, monitoring and auditing in vending machines or means for indication, e.g. when empty

Abstract

本公开提供一种无人货柜混放检测方法、装置、设备及可读存储介质,方法包括:当检测到所述无人货柜的柜门关闭时,获取所述无人货柜关门时各秤盘对应的待处理数据,其中,所述待处理数据中包括各秤盘检测的重量信息以及所述各秤盘上存放的物品信息;将所述待处理数据输入至预设的布局检测模型,获得所述无人货柜当前的第一物品布局信息;根据所述第一物品布局信息以及预存的关门前的第二物品布局信息,计算所述无人货柜对应的混放指数;根据所述混放指数,对所述无人货柜进行处理。通过根据乱放指数对无人货柜进行处理,能够有效地避免无人货柜中的物品混放现象,进而能够提高无人货柜后续物品识别以及结算的精准度。

Description

无人货柜混放检测方法、装置、设备及可读存储介质
技术领域
本公开涉及人工智能领域,尤其涉及一种无人货柜混放检测方法、装置、设备及可读存储介质。
背景技术
随着科技的发展,为了能够节约人力资源,越来越多的无人货柜走进了用户的生活。无人货柜中放置有多种物品,通过无人货柜中预设的重力辅助、图像识别装置等辅助模块对用户取出的物品进行识别以及结算。
实际应用中,当用户从无人货柜中取出物品之后,可以根据无人货柜减少的重量以及图像识别装置的识别结果确定用户当前取出的物品,进行结算等操作。
但是,现有的无人货柜对物品识别主要集中在识别用户取出的物品,无法识别用户混放的物品。例如,当用户从秤盘A将物品拨到旁边的秤盘B上,视觉无法探测,从而无法识别此混放行为。而物品的过度混放,往往会给后续的物品识别以及结算带来困难,导致无人货柜无法精准地识别出用户取出的物品,进而导致结算错误的问题。
发明内容
本公开提供一种无人货柜混放检测方法、装置、设备及可读存储介质,用于解决现有的无人货柜无法对用户混放的物品进行识别,从而导致后续的物品识别以及结算精准不高的技术问题。
本公开的第一个方面是提供一种无人货柜混放检测方法,包括:
当检测到所述无人货柜的柜门关闭时,获取所述无人货柜关门时各秤盘对应的待处理数据,其中,所述待处理数据中包括各秤盘检测的重量信息以及所述各秤盘上存放的物品信息;
将所述待处理数据输入至预设的布局检测模型,获得所述无人货柜当前的第一物品布局信息;
根据所述第一物品布局信息以及预存的关门前的第二物品布局信息,计算所述无人货柜对应的混放指数;
根据所述混放指数,对所述无人货柜进行处理。
本公开的第二个方面是提供一种无人货柜混放检测装置,包括:
获取模块,用于当检测到所述无人货柜的柜门关闭时,获取所述无人货柜关门时各秤盘对应的待处理数据,其中,所述待处理数据中包括各秤盘检测的重量信息以及所述各秤盘上存放的物品信息;
检测模块,用于将所述待处理数据输入至预设的布局检测模型,获得所述无人货柜当前的第一物品布局信息;
计算模块,用于根据所述第一物品布局信息以及预存的关门前的第二物品布局信息,计算所述无人货柜对应的混放指数;
处理模块,用于根据所述混放指数,对所述无人货柜进行处理。
本公开的第三个方面是提供一种无人货柜混放检测设备,包括:存储器,处理器;
存储器;用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为由所述处理器执行如第一方面所述的无人货柜混放检测方法。
本公开的第四个方面是提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如第一方面所述的无人货柜混放检测方法。
本公开提供的无人货柜混放检测方法、装置、设备及可读存储介质,通过在检测到无人货柜的柜门关闭时,根据无人货柜关门时各秤盘检测的重量信息以及所述各秤盘上存放的物品信息,计算关门时无人货柜的第一物品布局信息。从而可以根据该第一物品布局信息确定无人货柜当前的乱放指数,进而可以根据该乱放指数对无人货柜采取相应的处理操作。通过根据乱放指数对无人货柜进行处理,能够有效地避免无人货柜中的物品混放现象,进而能够提高无人货柜后续物品识别以及结算的精准度。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本公开的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
图1为本公开基于的网络架构示意图;
图2为本公开实施例一提供的无人货柜混放检测方法的流程示意图;
图3为本公开实施例二提供的无人货柜混放检测方法的流程示意图;
图4为本公开实施例三提供的无人货柜混放检测方法的流程示意图;
图5为本公开实施例提供的显示界面示意图;
图6为本公开实施例五提供的无人货柜混放检测装置的结构示意图;
图7为本公开实施例六提供的无人货柜混放检测装置的结构示意图;
图8为本公开实施例七提供的无人货柜混放检测装置的结构示意图;
图9为本公开实施例九提供的无人货柜混放检测设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本公开一部分实施例,而不是全部的实施例。基于本公开中的实施例所获得的所有其他实施例,都属于本公开保护的范围。
针对上述提及的现有的无人货柜无法对用户混放的物品进行识别,从而导致后续的物品识别以及结算精准不高的技术问题,本公开提供了一种无人货柜混放检测方法、装置、设备及可读存储介质。
需要说明的是,本申请提供无人货柜混放检测方法、装置、设备及可读存储介质可运用在对各种无人货柜的处理场景中。
实际应用中,无人货柜在检测到用户触发的关门操作时,根据秤盘减少的重量以及图像识别装置对用户当前取走的物品进行识别,进而可以根据识别结果进行结算等操作。但是,当用户对无人货柜中的物品混放较为严重时,可能造成物品的堆叠、遮挡,混放后的物品布局与预存的物品布局差异较大,此时无法精准地通过秤盘减少的重量以及图像识别装置进行物品识别。
在解决上述技术问题的过程中,发明人通过研究发现,为了提高物品识别的精准度,可以对无人货柜内的混放指数进行计算,通过计算结果对无人货柜进行相应处理。
发明人进一步地研究发现,通过在检测到用户对无人货柜触发关门操作时,根据无人货柜关门时各秤盘检测的重量信息以及所述各秤盘上存放的物品信息,计算关门时无人货柜的第一物品布局信息。从而可以根据该第一物品布局信息确定无人货柜当前的乱放指数,进而可以根据该乱放指数对无人货柜采取相应的处理操作。通过根据乱放指数对无人货柜进行处理,能够有效地避免无人货柜中的物品混放现象,进而能够提高无人货柜后续物品识别以及结算的精准度。
图1为本公开基于的网络架构示意图,如图1所示,本公开基于的网络架构至少包括:终端设备1、服务器2以及无人货柜3,该服务器2中设置有无人货柜混放检测装置。其中,无人货柜混放检测装置采用C/C++、Java、Shell或Python等语言编写;终端设备1则可例如台式电脑、平板电脑等。无人货柜3则可以为带重力的动态货柜,无人货柜3中设置有多个秤盘。无人货柜混放检测装置2分别与终端设备1以及无人货柜3通信连接,从而能够分别与终端设备1以及无人货柜3进行信息交互。
其中,服务器2与终端设备1以及无人货柜3的通信方式可以为全球移动通讯(Global System of Mobile communication,简称GSM)、码分多址(Code DivisionMultiple Access,简称CDMA)、宽带码分多址(Wideband CodeDivision Multiple Access,简称WCDMA)、时分同步码分多址(Time Division-Synchronous Code Division MultipleAccess,简称TD-SCDMA)、长期演进(Long Term Evolution,简称LTE)系统及未来的5G等,本实施例中对此不作限定。
在一种具体的应用场景中,无人货柜3可以在用户触发关门操作之后,将关门时各秤盘检测的重量信息以及所述各秤盘上存放的物品信息发送至无人货柜混放检测装置,从而服务器2中的无人货柜混放检测装置可以根据关门时各秤盘检测的重量信息以及所述各秤盘上存放的物品信息进行混放指数的计算,进而可以根据混放指数采取相应的处理措施。例如,可以向终端设备3发送理货指令,以使运维人员根据该理货指令对无人货柜3进行理货操作,以提高无人货柜3后续物品识别以及结算的精准度。
实施例一:
图2为本公开实施例一提供的无人货柜混放检测方法的流程示意图,如图2所示,所述方法包括:
步骤101、当检测到所述无人货柜的柜门关闭时,获取所述无人货柜关门时各秤盘对应的待处理数据,其中,所述待处理数据中包括各秤盘检测的重量信息以及所述各秤盘上存放的物品信息。
本实施例的执行主体为无人货柜混放检测装置,该无人货柜混放检测装置可耦合在服务器中。该无人货柜混放检测装置可以与无人货柜通信连接,从而能够与无人货柜进行信息交互。
实际应用中,无人货柜中可以设置有多个秤盘,每个秤盘均可以对其上放置的物品的重量进行检测。用户在使用该无人货柜时,可以直接打开无人货柜的柜门,根据实际需求取走物品,并关闭柜门实现取走物品的识别以及结算。
在本实施方式中,为了能够保证无人货柜对取走物品的识别精准度以及效率,在检测到无人货柜的柜门关闭时,可以获取无人货柜关门时各秤盘对应的待处理数据。其中,该待处理数据中可以包括各秤盘检测的重量信息以及所述各秤盘上存放的物品信息。
作为一种可以实施的方式,可以仅获取关闭柜门时重量相对于用户开启柜门时有变化的秤盘检测的重量信息。例如,开启柜门之前,秤盘A记录的重量为3kg,用户触发关门操作之后,秤盘A记录的重量为2.5kg,则可以获取秤盘A检测的重量信息进行后续计算。
步骤102、将所述待处理数据输入至预设的布局检测模型,获得所述无人货柜当前的第一物品布局信息。
在本实施方式中,为了精准地确定用户在使用无人货柜时,是否发生混放行为。在获取到无人货柜对应的待处理数据之后,可以将该待处理数据输入至预设的布局检测模型中,获得布局检测模型输出的无人货柜当前的第一物品布局信息。
需要说明的是,为了提高第一物品布局信息检测的准确性,可以预先设置多个不同的布局检测模型。其中,每一布局检测模型对应不同的检测精度,可以根据实际需求进行布局检测模型的选择。
步骤103、根据所述第一物品布局信息以及预存的关门前的第二物品布局信息,计算所述无人货柜对应的混放指数。
在本实施例中,在通过布局检测模型确定无人货柜当前的第一物品布局信息之后,可以根据该第一物品布局信息以及预存的关门前的第二物品布局信息,计算无人货柜对应的混放指数。
具体地,可以计算第一物品布局信息以及预存的关门前的第二物品布局信息之间的相似度,将该相似度作为混放指数;也可以计算第一物品布局信息以及预存的关门前的第二物品布局信息之间的差异度,将该差异度作为混放指数。其中,可以采用任意一种能够计算相似度或差异度的方式实现该混放指数的计算,本公开对此不做限制。
步骤104、根据所述混放指数,对所述无人货柜进行处理。
在本实施方式中,确定无人货柜对应的混放指数之后,即可以根据该混放指数,采用与该混放指数对应的方式对无人货柜进行处理。
举例来说,若混放指数表征无人货柜当前没有混放行为,或者,混放指数表征无人货柜当前的混放行为在可以接受的范围内(也即当前的混放行为对后续的物品识别以及结算不产生影响),则可以不对无人货柜进行处理。若混放指数表征无人货柜当前混放行为严重,则为了保证无人货柜后续的识别精度,需要进行理货处理。
本实施例提供的无人货柜混放检测方法,通过在检测到用户对无人货柜触发关门操作时,根据无人货柜关门时各秤盘检测的重量信息以及所述各秤盘上存放的物品信息,计算关门时无人货柜的第一物品布局信息。从而可以根据该第一物品布局信息确定无人货柜当前的乱放指数,进而可以根据该乱放指数对无人货柜采取相应的处理操作。通过根据乱放指数对无人货柜进行处理,能够有效地避免无人货柜中的物品混放现象,进而能够提高无人货柜后续物品识别以及结算的精准度。
实施例二:
图3为本公开实施例二提供的无人货柜混放检测方法的流程示意图,在实施例一的基础上,如图3所示,步骤102之前,还包括:
步骤201、获取物品清单中记录的取出物品信息。
步骤202、根据所述待处理数据确定当前重量发生变化的秤盘存放的存放物品信息。
步骤203、根据所述取出物品信息与所述存放物品信息,选择预设的第一布局检测模型或第二布局检测模型计算所述无人货柜当前的第一物品布局信息。
实际应用中,当放置在不同秤盘上的物品重量不同时,可以精准地根据无人货柜关门时各秤盘检测的重量信息以及所述各秤盘上存放的物品信息进行第一物品布局的确定。但是,很多情况下,放置在不同秤盘上的物品可能重量相同,因此,如果用户将秤盘A上的物品放置在秤盘B上,可能不会造成秤盘重量的变化。因此,如果仅根据无人货柜关门时各秤盘检测的重量信息以及所述各秤盘上存放的物品信息无法精准地确定第一物品布局信息。
因此,为了提高第一物品布局信息检测的精准性,可以根据不同的场景,选择不同的布局监测模型进行第一物品布局信息的检测。具体地,可以获取物品清单中记录的取出物品信息,其中,取出物品信息可以包括取出物品的标识、重量等。根据待处理数据确定当前重量发生变化的秤盘存放的存放物品信息。根据取出物品信息与存放物品信息,选择预设的第一布局检测模型或第二布局检测模型计算无人货柜当前的第一物品布局信息。
进一步地,在实施例一的基础上,步骤203具体包括:
确定当前重量减轻的各秤盘所减轻的重量总和;
确定所述物品清单中记录的取出物品对应的重量是否与所述重量总和相同;
若所述物品清单中记录的取出物品对应的重量与所述重量总和相同,则将所述待处理数据输入至所述第一布局检测模型中,获得所述无人货柜当前的第一物品布局信息;
所述物品清单中记录的取出物品对应的重量与所述重量总和不相同,则将所述待处理数据以及所述取出物品信息输入至所述第二布局检测模型中,获得所述无人货柜当前的第一物品布局信息。
在本实施例中,若物品清单中记录的取出物品均是从重量发生变化的秤盘中取出的,则物品清单中记录的取出物品对应的重量应该与各秤盘所减轻的重量总和相同。但是实际应用中,秤盘A与秤盘B中均存放有物品,秤盘A与秤盘B存放的物品重量可能有所不同。若用户从秤盘A取出物品放置在秤盘B上,并从秤盘B中取出物品放入物品清单中,则可能会导致物品清单中记录的取出物品对应的重量不等于各秤盘所减轻的重量总和。而针对上述两种不同的应用场景,采用同一个布局检测模型往往检测结果不够精准。
因此,为了提高布局检测的检测精度,针对不同的应用场景,可以采用不同的布局检测模型进行布局检测操作。具体地,可以确定物品清单中记录的取出物品对应的重量是否与各秤盘所减轻的重量总和相同。若相同,则可以表征物品清单中记录的取出物品均是从重量发生变化的秤盘中取出的,因此,可以采用预设的第一布局检测模型计算无人货柜当前的第一物品布局信息。
反之,若物品清单中记录的取出物品对应的重量与各秤盘所减轻的重量总和不相同,此时可以采用预设的第二布局检测模型进行第一物品布局信息的计算。
具体地,在采用预设的第一布局检测模型计算所述无人货柜当前的第一物品布局信息时,可以将所述待处理数据输入至所述第一布局检测模型中,获得所述无人货柜当前的第一物品布局信息。
其中,第一布局检测模型的参数可以包括:
1、wk为物品k的重量;
2、Gi为秤盘i上存放的物品集合;
3、S-读数重量有降低的秤盘的集合;
4、S+读数重量有增加的秤盘的集合,以及物品清单(此处将物品清单虚拟为一个“秤盘”,下标为0);
5、秤盘i的重量变化di,di=endweighti-startweighti
6、物品清单信息bk(物品k的取出数量)
Figure BDA0002686946200000081
其中,第一布局检测模型的决策变量可以为yijk秤盘i到秤盘j(j=0为物品清单)上的物品k的件数,其中i∈S-读数重量有降低的秤盘的集合,j∈S+只取物品清单以及读数重量有增加的秤盘,yijk k只取秤盘i上存放的物品集合。
其中,第一布局检测模型的约束条件可以包括:
1、物品清单中物品有来源且件数保持一致,如公式1所示;
Figure BDA0002686946200000091
2、用户秤盘之间的混放,单个物品不超过m件(m=1,2),如公式2所示;
yijk≤m,j≠0 (2)
3、yijk≥0,非负变量
具体地,第一布局检测模型的目标函数可以如公式3所示:
min max(maxj≠0||∑i,kyijkwk-di||,maxi||∑j,kyijkwk+di||,) (3)
其中,其中第一项代表重量有增加的秤盘,重量差尽量小;第二项代表重量有减少的秤盘,重量差尽量少。
为了提高第一布局检测模型的计算效率,可以对公式3进行转化,得到公式4-5:
min z
Figure BDA0002686946200000092
Figure BDA0002686946200000093
Figure BDA0002686946200000094
y≤m
y≥0,y∈Z
从而能够精准地对第一物品布局信息进行计算。
具体地,在采用预设的第二布局检测模型计算所述无人货柜当前的第一物品布局信息时,可以将所述待处理数据以及所述取出物品信息输入至所述第二布局检测模型中,获得所述无人货柜当前的第一物品布局信息。
在本实施例中,当物品清单中的物品是从其他重量未发生变化的秤盘中取出的。此时,可以将待处理数据以及取出物品信息输入值预设的第二布局检测模型中,检测过的第一物品布局信息。
具体地,可以对第一布局检测模型进行改动,获得第二布局检测模型:
其中,第二布局检测模型的变量可以为:
1、yijk秤盘i到秤盘j(j=0为物品清单)上的物品k的件数,其中i∈S-读数重量有降低的秤盘的集合,j∈S+只取物品清单以及读数重量有增加的秤盘,yijk k只取秤盘i上存放的物品集合。
2、(i,j)∈(S-,Su),k∈Gi;(i,j)∈(Su,S+),k∈Gi
其中,第二布局检测模型的目标函数可以如公式3以及公式6所示:
min max(maxj≠0||∑i,kyijkwk-dj||,maxi||∑j,kyijkwk+di||,) (3)
maxu||∑i,kyiukwk-∑j,kyujkwk-du|| (6)
其中,公式4用于表征秤盘u的重量变化。
为了提高第二布局检测模型的计算效率,可以对公式3以及公式6进行转化,得到公式7-9:
min z
Figure BDA0002686946200000101
Figure BDA0002686946200000102
Figure BDA0002686946200000103
Figure BDA0002686946200000104
y≤m
y≥0,y∈Z
从而能够精准地对第一物品布局信息进行计算。
本实施例提供的无人货柜混放检测方法,通过确定物品清单中记录的取出物品对应的重量是否与各秤盘所减轻的重量总和相同,根据判断结果进行布局检测模型的选择,从而能够在多种不同的场景下,均能够实现第一物品布局信息的精准计算。
实施例三:
进一步地,当采用第一布局检测模型以及第二布局检测模型无法准确地获得检测结果时,可以采用预设的第三布局检测模型进行第一物品布局信息的计算,在实施例一的基础上,步骤204之后,还包括:
若所述第一布局检测模型或第二布局检测模型超过预设的时间阈值均未输出所述第一物品布局信息,或,所述第一布局检测模型或第二布局检测模型输出的第一物品布局信息不满足预设的条件,则采用预设的第三布局检测模型计算所述无人货柜当前的第一物品布局信息。
实际应用中,由于第一布局检测模型以及第二布局检测模型中参数较少、模型较为简单,从而能够快速地实现第一物品布局信息的计算。但是,当混放行为较为复杂时,可能无法精准地通过第一布局检测模型以及第二布局检测模型实现第一物品布局信息的计算。因此,可以选择预设的第三布局检测模型进行检测。
具体地,当第一布局检测模型以及第二布局检测模型超过预设的时间阈值均未输出所述第一物品布局信息,或者,第一布局检测模型以及第二布局检测模型输出的第一物品布局信息不满足预设的条件,可以选择预设的第三布局检测模型进行检测。
图4为本公开实施例三提供的无人货柜混放检测方法的流程示意图,在上述任一实施例的基础上,如图4所示,所述采用预设的第三布局检测模型计算所述无人货柜当前的第一物品布局信息,包括:
步骤301、获取所述无人货柜开门至关门期间内,重量发生变化的全部秤盘上存放的物品信息以及重量变化信息;
步骤302、将所述待处理数据、重量发生变化的全部秤盘上存放的物品信息以及重量变化信息输入至所述第三布局检测模型中,获得所述无人货柜当前的第一物品布局信息。
在本实施例中,为了通过第三布局检测模型实现对第一物品布局信息的计算,可以获取无人货柜在开门至关门期间内,重量发生变化的全部秤盘上存放的物品信息以及重量变化信息。以实际应用举例来说,若秤盘A记录的重量为3KG,在开门至关门期间,秤盘A的重量由3KG变换为2.5KG,再次变换为3KG,虽然开门前和关门后秤盘A的重量没有发生变化,但是,秤盘A经历了物品的取出以及放置,可能存在混放的现象。
将该待处理信息、重量发生变化的全部秤盘上存放的物品信息以及重量变化信息输入至第三布局检测模型中,获得无人货柜当前的第一物品布局信息。
具体地,第三布局检测模型的变量可以为Su所有重量有过变化的秤盘以及包含物品清单物品的秤盘。
第三布局检测模型的决策变量可以为yijk秤盘i到秤盘j(j=0为物品清单)上的物品k的件数,其中i,j∈Su,i≠j,i≠0,k∈Gi
第三布局检测模型的约束条件可以包括:
1、物品清单物品k的件数为bk
Figure BDA0002686946200000111
2、用户秤盘之间的混放不超过1/2;
yijk≤1,j≠0
3、yijk≥0,y∈I。
第三布局检测模型的目标函数如公式10所示:
min||∑i,kyiukwk-∑j,kyujkwk-du||+λ∑ijkyijk (10)
其中,该目标代表每个重量变化的秤盘上变化的重量差尽量少,同时移动物品的件数尽量少,其中λ为代表重量差和移动物品的件数之间的trade-off,λ=2g,即允许多增加一件操作的代价,此参数可以根据实际误差情况以及用户行为习惯进行调整,并且参数不允许设置太小,以提高第三布局检测模型的检测速度。
为了提高第三布局检测模型的计算效率,可以对公式10进行转化,得到公式11-12:
min z+λ∑ijk,j≠0yijk (11)
|∑i,kyiukwk-∑j,kyujkwk-du|≤z (12)
Figure BDA0002686946200000121
y≤m
y≥0,y∈Z
从而能够精准地对第一物品布局信息进行计算。
本实施例提供的无人货柜混放检测方法,通过当第一布局检测模型以及第二布局检测模型超过预设的时间阈值均未输出所述第一物品布局信息,或者,第一布局检测模型以及第二布局检测模型输出的第一物品布局信息不满足预设的条件,可以选择预设的第三布局检测模型进行检测,从而能够提高第一物品布局信息的计算精准度。
实施例四:
进一步地,在计算获得无人货柜的混放指数之后,可以根据该混放指数采取相应的处理措施对无人货柜进行处理操作。具体地,在上述任一实施例的基础上,步骤104具体包括:
若所述混放指数超过预设的第一混放阈值,则向终端设备发送理货指令,其中,所述理货指令中包括所述无人货柜的位置信息以及标识信息。
在本实施例中,当检测到混放指数超过预设的第一混放阈值时,表征当前无人货柜的混放程度较为严重,此时需要进行理货操作。具体可以向终端设备发送理货指令,其中,理货指令中包括当前需要理货的无人货柜的位置信息以及标识信息。
图5为本公开实施例提供的显示界面示意图,如图5所示,该理货指令可以包括当前需要理货的无人货柜的位置信息以及标识信息,从而当运维人员在终端设备上查看到该理货指令之后,可以快速、准确地前往目标地点对无人货柜进行理货操作。
可选地,在上述任一实施例的基础上,步骤104具体包括:
若所述混放指数在预设的第一混放阈值以及第二混放阈值区间内,则根据所述第一物品布局信息对所述关门前的第二物品布局信息进行更新操作,其中,所述第二混放阈值小于所述第一混放阈值。
在本实施例中,当检测到混放指数在预设的第一混放阈值以及第二混放阈值区间内,则表征无人货柜当前的混放行为在可接受范围内,其中,第二混放阈值小于所述第一混放阈值。此时为了提高后续无人货柜识别、结算精度,可以根据第一物品布局信息对所述关门前的第二物品布局信息进行更新操作。
可选地,若混放指数低于该第二混放阈值区间,则表征当前的混放行为不会影响到后续无人货柜识别、结算精度,则可以不对无人货柜进行处理。
本实施例提供的无人货柜混放检测方法,通过根据乱放指数对无人货柜进行处理,能够有效地避免无人货柜中的物品混放现象,进而能够提高无人货柜后续物品识别以及结算的精准度。
实施例五:
图6为本公开实施例五提供的无人货柜混放检测装置的结构示意图,如图6所示,所述装置包括:获取模块51、检测模块52、计算模块53以及处理模块54,其中,获取模块51,用于当检测到所述无人货柜的柜门关闭时,获取所述无人货柜关门时各秤盘对应的待处理数据,其中,所述待处理数据中包括各秤盘检测的重量信息以及所述各秤盘上存放的物品信息;检测模块52,用于将所述待处理数据输入至预设的布局检测模型,获得所述无人货柜当前的第一物品布局信息;计算模块53,用于根据所述第一物品布局信息以及预存的关门前的第二物品布局信息,计算所述无人货柜对应的混放指数;处理模块54,用于根据所述混放指数,对所述无人货柜进行处理。
本实施例提供的无人货柜混放检测装置,通过在检测到用户对无人货柜触发关门操作时,根据无人货柜关门时各秤盘检测的重量信息以及所述各秤盘上存放的物品信息,计算关门时无人货柜的第一物品布局信息。从而可以根据该第一物品布局信息确定无人货柜当前的乱放指数,进而可以根据该乱放指数对无人货柜采取相应的处理操作。通过根据乱放指数对无人货柜进行处理,能够有效地避免无人货柜中的物品混放现象,进而能够提高无人货柜后续物品识别以及结算的精准度。
实施例六:
图7为本公开实施例六提供的无人货柜混放检测装置的结构示意图,在实施例五的基础上,如图7所示,所述装置还包括:取出物品信息获取模块61、存放物品信息确定模块62、布局信息检测模块63以及计算模块64,其中,取出物品信息获取模块61,用于获取所述物品清单中记录的取出物品信息。存放物品信息确定模块62,用于根据所述待处理数据确定当前重量发生变化的秤盘存放的存放物品信息。布局信息检测模块63,用于根据所述取出物品信息与所述存放物品信息,选择预设的第一布局检测模型或第二布局检测模型计算所述无人货柜当前的第一物品布局信息。
进一步地,在实施例五的基础上,布局信息检测模块63用于:
确定当前重量减轻的各秤盘所减轻的重量总和;
确定所述物品清单中记录的取出物品对应的重量是否与所述重量总和相同;
若所述物品清单中记录的取出物品对应的重量与所述重量总和相同,则将所述待处理数据输入至所述第一布局检测模型中,获得所述无人货柜当前的第一物品布局信息;
所述物品清单中记录的取出物品对应的重量与所述重量总和不相同,则将所述待处理数据以及所述取出物品信息输入至所述第二布局检测模型中,获得所述无人货柜当前的第一物品布局信息。
本实施例提供的无人货柜混放检测装置,通过确定物品清单中记录的取出物品对应的重量是否与各秤盘所减轻的重量总和相同,根据判断结果进行布局检测模型的选择,从而能够在多种不同的场景下,均能够实现第一物品布局信息的精准计算。
实施例七:
进一步地,当采用第一布局检测模型以及第二布局检测模型无法准确地获得检测结果时,可以采用预设的第三布局检测模型进行第一物品布局信息的计算,在上述任一实施例的基础上,所述装置还包括:
判定模块,用于若所述第一布局检测模型或第二布局检测模型超过预设的时间阈值均未输出所述第一物品布局信息,或,所述第一布局检测模型或第二布局检测模型输出的第一物品布局信息不满足预设的条件,则采用预设的第三布局检测模型计算所述无人货柜当前的第一物品布局信息。
图8为本公开实施例七提供的无人货柜混放检测装置的结构示意图,在上述任一实施例的基础上,如图8所示,所述判定模块包括:重量获取单元71以及检测单元72,其中,重量获取单元71,用于获取所述无人货柜开门至关门期间内,重量发生变化的全部秤盘上存放的物品信息以及重量变化信息;检测单元72,用于将所述待处理数据、重量发生变化的全部秤盘上存放的物品信息以及重量变化信息输入至所述第三布局检测模型中,获得所述无人货柜当前的第一物品布局信息。
本实施例提供的无人货柜混放检测装置,通过当第一布局检测模型以及第二布局检测模型超过预设的时间阈值均未输出所述第一物品布局信息,或者,第一布局检测模型以及第二布局检测模型输出的第一物品布局信息不满足预设的条件,可以选择预设的第三布局检测模型进行检测,从而能够提高第一物品布局信息的计算精准度。
实施例八:
进一步地,在计算获得无人货柜的混放指数之后,可以根据该混放指数采取相应的处理措施对无人货柜进行处理操作。具体地,在上述任一实施例的基础上,处理模块54具体用于:
若所述混放指数超过预设的第一混放阈值,则向终端设备发送理货指令,其中,所述理货指令中包括所述无人货柜的位置信息以及标识信息。
可选地,在上述任一实施例的基础上,处理模块54具体用于:
若所述混放指数在预设的第一混放阈值以及第二混放阈值区间内,则根据所述第一物品布局信息对所述关门前的第二物品布局信息进行更新操作,其中,所述第二混放阈值小于所述第一混放阈值。
可选地,若混放指数低于该第二混放阈值区间,则表征当前的混放行为不会影响到后续无人货柜识别、结算精度,则可以不对无人货柜进行处理。
本实施例提供的无人货柜混放检测装置,通过根据乱放指数对无人货柜进行处理,能够有效地避免无人货柜中的物品混放现象,进而能够提高无人货柜后续物品识别以及结算的精准度。
实施例九:
图9为本公开实施例九提供的无人货柜混放检测设备的结构示意图,如图9所示,该无人货柜混放检测设备包括:存储器91,处理器92;
存储器91;用于存储所述处理器92可执行指令的存储器91;
其中,所述处理器92被配置为由所述处理器92执行如上述任一实施例所述的无人货柜混放检测方法。
存储器91,用于存放程序。具体地,程序可以包括程序代码,所述程序代码包括计算机操作指令。存储器91可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
其中,处理器92可能是一个中央处理器(Central Processing Unit,简称为CPU),或者是特定集成电路(Application Specific Integrated Circuit,简称为ASIC),或者是被配置成实施本公开实施例的一个或多个集成电路。
可选的,在具体实现上,如果存储器91和处理器92独立实现,则存储器91和处理器92可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(Industry Standard Architecture,简称为ISA)总线、外部设备互连(PeripheralComponent,简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture,简称为EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图9中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
可选的,在具体实现上,如果存储器91和处理器92集成在一块芯片上实现,则存储器91和处理器92可以通过内部接口完成相同间的通信。
本公开又一实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如上述任一实施例所述的无人货柜混放检测方法。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本公开的技术方案,而非对其限制;尽管参照前述各实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本公开各实施例技术方案的范围。

Claims (9)

1.一种无人货柜混放检测方法,其特征在于,包括:
当检测到所述无人货柜的柜门关闭时,获取所述无人货柜关门时各秤盘对应的待处理数据,其中,所述待处理数据中包括各秤盘检测的重量信息以及所述各秤盘上存放的物品信息;
获取物品清单中记录的取出物品信息;
根据所述待处理数据确定当前重量发生变化的秤盘存放的存放物品信息;
根据所述取出物品信息与所述存放物品信息,选择预设的第一布局检测模型或第二布局检测模型计算所述无人货柜当前的第一物品布局信息;
根据所述第一物品布局信息以及预存的关门前的第二物品布局信息,计算所述无人货柜对应的混放指数;
根据所述混放指数,对所述无人货柜进行处理;
所述根据所述取出物品信息与所述存放物品信息,选择预设的第一布局检测模型或第二布局检测模型计算所述无人货柜当前的第一物品布局信息,包括:
确定当前重量减轻的各秤盘所减轻的重量总和;
确定物品清单中记录的取出物品对应的重量是否与所述重量总和相同;
若所述物品清单中记录的取出物品对应的重量与所述重量总和相同,则将所述待处理数据输入至所述第一布局检测模型中,获得所述无人货柜当前的第一物品布局信息。
2.根据权利要求1所述的方法,其特征在于,所述根据所述取出物品信息与所述存放物品信息,选择预设的第一布局检测模型或第二布局检测模型计算所述无人货柜当前的第一物品布局信息,包括:
所述物品清单中记录的取出物品对应的重量与所述重量总和不相同,则将所述待处理数据以及所述取出物品信息输入至所述第二布局检测模型中,获得所述无人货柜当前的第一物品布局信息。
3.根据权利要求2所述的方法,其特征在于,所述根据所述取出物品信息与所述存放物品信息,选择预设的第一布局检测模型或第二布局检测模型计算所述无人货柜当前的第一物品布局信息之后,还包括:
若所述第一布局检测模型或第二布局检测模型超过预设的时间阈值均未输出所述第一物品布局信息,或,所述第一布局检测模型或第二布局检测模型输出的第一物品布局信息不满足预设的条件,则采用预设的第三布局检测模型计算所述无人货柜当前的第一物品布局信息。
4.根据权利要求3所述的方法,其特征在于,所述采用预设的第三布局检测模型计算所述无人货柜当前的第一物品布局信息,包括:
获取所述无人货柜开门至关门期间内,重量发生变化的全部秤盘上存放的物品信息以及重量变化信息;
将所述待处理数据、重量发生变化的全部秤盘上存放的物品信息以及重量变化信息输入至所述第三布局检测模型中,获得所述无人货柜当前的第一物品布局信息。
5.根据权利要求1或2所述的方法,其特征在于,所述根据所述混放指数,对所述无人货柜进行处理,包括:
若所述混放指数超过预设的第一混放阈值,则向终端设备发送理货指令,其中,所述理货指令中包括所述无人货柜的位置信息以及标识信息。
6.根据权利要求1或2所述的方法,其特征在于,所述根据所述混放指数,对所述无人货柜进行处理,包括:
若所述混放指数在预设的第一混放阈值以及第二混放阈值区间内,则根据所述第一物品布局信息对所述关门前的第二物品布局信息进行更新操作,其中,所述第二混放阈值小于所述第一混放阈值。
7.一种无人货柜混放检测装置,其特征在于,包括:
获取模块,用于当检测到所述无人货柜的柜门关闭时,获取所述无人货柜关门时各秤盘对应的待处理数据,其中,所述待处理数据中包括各秤盘检测的重量信息以及所述各秤盘上存放的物品信息;
取出物品信息获取模块,用于获取物品清单中记录的取出物品信息;
存放物品信息确定模块,用于根据所述待处理数据确定当前重量发生变化的秤盘存放的存放物品信息;
布局信息检测模块,用于根据所述取出物品信息与所述存放物品信息,选择预设的第一布局检测模型或第二布局检测模型计算所述无人货柜当前的第一物品布局信息;
计算模块,用于根据所述第一物品布局信息以及预存的关门前的第二物品布局信息,计算所述无人货柜对应的混放指数;
处理模块,用于根据所述混放指数,对所述无人货柜进行处理;
布局信息检测模块,用于确定当前重量减轻的各秤盘所减轻的重量总和;确定物品清单中记录的取出物品对应的重量是否与所述重量总和相同;若所述物品清单中记录的取出物品对应的重量与所述重量总和相同,则将所述待处理数据输入至所述第一布局检测模型中,获得所述无人货柜当前的第一物品布局信息。
8.一种无人货柜混放检测设备,其特征在于,包括:存储器,处理器;
存储器;用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为由所述处理器执行如权利要求1-6任一项所述的无人货柜混放检测方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1-6任一项所述的无人货柜混放检测方法。
CN202010979264.1A 2020-09-17 2020-09-17 无人货柜混放检测方法、装置、设备及可读存储介质 Active CN112309031B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010979264.1A CN112309031B (zh) 2020-09-17 2020-09-17 无人货柜混放检测方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010979264.1A CN112309031B (zh) 2020-09-17 2020-09-17 无人货柜混放检测方法、装置、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN112309031A CN112309031A (zh) 2021-02-02
CN112309031B true CN112309031B (zh) 2022-06-07

Family

ID=74483490

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010979264.1A Active CN112309031B (zh) 2020-09-17 2020-09-17 无人货柜混放检测方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN112309031B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105917371A (zh) * 2013-11-27 2016-08-31 松下知识产权经营株式会社 商品监控装置、商品监控系统以及商品监控方法
CN108268610A (zh) * 2017-12-29 2018-07-10 杭州后博科技有限公司 一种包袋内物品存放混乱程度的计算系统及方法
CN108335406A (zh) * 2018-02-08 2018-07-27 合肥美的智能科技有限公司 无人售货设备及其售货方法和无人售货系统
CN110490698A (zh) * 2019-08-01 2019-11-22 广州织点智能科技有限公司 一种无人便利店货架物品错放检测方法及装置
CN110826359A (zh) * 2018-08-09 2020-02-21 北京京东尚科信息技术有限公司 物品陈列检测方法和装置
EP3745100A1 (en) * 2017-12-18 2020-12-02 Shanghai Cloudpick Smart Technology Co., Ltd. Weight monitoring-based commodity sensing system and commodity sensing method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009055066A1 (en) * 2007-10-25 2009-04-30 Paradise Smoothies, Inc. Apparatus for mixing, cooling, and dispensing a containerized beverage
CN208156770U (zh) * 2018-02-08 2018-11-27 合肥美的智能科技有限公司 无人售货设备和无人售货系统
CN109711497B (zh) * 2018-12-26 2022-08-26 秒针信息技术有限公司 一种位置错乱的商品处理方法及装置
CN110525855B (zh) * 2019-08-19 2021-03-26 北京三快在线科技有限公司 一种货物仓储的方法及装置
CN112634524B (zh) * 2020-12-18 2022-07-08 江苏生花汇享科技有限公司 一种称重式无人售货设备的称重纠错方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105917371A (zh) * 2013-11-27 2016-08-31 松下知识产权经营株式会社 商品监控装置、商品监控系统以及商品监控方法
EP3745100A1 (en) * 2017-12-18 2020-12-02 Shanghai Cloudpick Smart Technology Co., Ltd. Weight monitoring-based commodity sensing system and commodity sensing method
CN108268610A (zh) * 2017-12-29 2018-07-10 杭州后博科技有限公司 一种包袋内物品存放混乱程度的计算系统及方法
CN108335406A (zh) * 2018-02-08 2018-07-27 合肥美的智能科技有限公司 无人售货设备及其售货方法和无人售货系统
CN110826359A (zh) * 2018-08-09 2020-02-21 北京京东尚科信息技术有限公司 物品陈列检测方法和装置
CN110490698A (zh) * 2019-08-01 2019-11-22 广州织点智能科技有限公司 一种无人便利店货架物品错放检测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
自动化立体仓库动态货位分配建模与仿真;李霞等;《物流科技》;20160310(第03期);全文 *

Also Published As

Publication number Publication date
CN112309031A (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
CN108389315B (zh) 物品识别方法和装置以及计算机可读存储介质
CN108335408A (zh) 用于自动售货机的物品识别方法、装置、系统及存储介质
CN108906637B (zh) 物流分拣方法及终端设备
US11416718B2 (en) Item identification method, device and system based on vision and gravity sensing
CN108549870A (zh) 一种对物品陈列进行鉴别的方法及装置
CN105612249A (zh) 图像处理装置、程序、信息存储介质和图像处理方法
WO2020134411A1 (zh) 一种商品类别识别方法、装置及电子设备
CN106557521A (zh) 对象索引方法、对象搜索方法及对象索引系统
CN111832590B (zh) 物品识别方法和系统
WO2023124172A1 (zh) 商品结算处理方法、装置、终端设备及存储介质
CN110059991B (zh) 仓库选品方法、系统、电子设备和计算机可读介质
US9858662B2 (en) Image processing device, computer storage medium, and method for detecting and displaying nucleated target cells
CN105989043A (zh) 自动获取商品图像中商标和检索商标的方法及其装置
CN112309031B (zh) 无人货柜混放检测方法、装置、设备及可读存储介质
CN108304868A (zh) 模型训练方法、数据类型识别方法和计算机设备
CN109959974B (zh) 一种异物检测方法、计算机可读存储介质及检测系统
CN114581785B (zh) 多源异构数据融合的高炉煤气流分布状态识别方法及系统
CN110134945A (zh) 习题考点识别方法、装置、设备和存储介质
CN108810250A (zh) 跌落检测方法及相关产品
CN105637344B (zh) 图像处理设备、程序、存储介质和图像处理方法
CN113362543B (zh) 结算方法、装置、电子设备以及存储介质
CN111722977A (zh) 系统巡检方法、装置及电子设备
JP2020522818A (ja) スプレッドシート内の関数パラメータを表示する方法及び装置、並びに電子機器
CN105338339B (zh) 信息处理方法及电子设备
CN116821818A (zh) 表单数据分类方法及装置、设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant