CN116363795A - 售货柜、管理方法及存储介质 - Google Patents

售货柜、管理方法及存储介质 Download PDF

Info

Publication number
CN116363795A
CN116363795A CN202310286934.5A CN202310286934A CN116363795A CN 116363795 A CN116363795 A CN 116363795A CN 202310286934 A CN202310286934 A CN 202310286934A CN 116363795 A CN116363795 A CN 116363795A
Authority
CN
China
Prior art keywords
commodity
information
position information
user
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310286934.5A
Other languages
English (en)
Inventor
罗明炬
罗思言
谢亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Yunshu Information Technology Co ltd
Original Assignee
Hunan Yunshu Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Yunshu Information Technology Co ltd filed Critical Hunan Yunshu Information Technology Co ltd
Priority to CN202310286934.5A priority Critical patent/CN116363795A/zh
Publication of CN116363795A publication Critical patent/CN116363795A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F9/00—Details other than those peculiar to special kinds or types of apparatus
    • G07F9/009—User recognition or proximity detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisions for transferring data to distant stations, e.g. from a sensing device
    • G06K17/0029—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisions for transferring data to distant stations, e.g. from a sensing device the arrangement being specially adapted for wireless interrogation of grouped or bundled articles tagged with wireless record carriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F9/00—Details other than those peculiar to special kinds or types of apparatus
    • G07F9/002—Vending machines being part of a centrally controlled network of vending machines
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F9/00—Details other than those peculiar to special kinds or types of apparatus
    • G07F9/02—Devices for alarm or indication, e.g. when empty; Advertising arrangements in coin-freed apparatus
    • G07F9/026—Devices for alarm or indication, e.g. when empty; Advertising arrangements in coin-freed apparatus for alarm, monitoring and auditing in vending machines or means for indication, e.g. when empty

Landscapes

  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Accounting & Taxation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Cash Registers Or Receiving Machines (AREA)

Abstract

本发明公开了一种售货柜、管理方法及存储介质，利用红外检测设备来确定使用者手部的行为动作，从而可以仅在拿取和放置商品动作发生时才会采集可见光图片，从而极大的降低了数据处理量，并且利用红外检测设备定位和可见光识别商品信息的综合手段，可以有效的确定商品陈列区内每一个商品的实际移动情况，从而实现对商品成列区内每一个商品的位置信息进行追踪，便于消费者确定柜内所需要的商品是否被遮挡。此外，利用RFID读取设备统计每一次柜门关闭时物品与前一次的偏差，从而可以快速有效的统计消费者购物的价格和种类，避免了直接利用图像处理进行统计带来的误差，降低了计算量，且可以对商品追踪过程是否存在误差提供一定程度的校验。

Description

售货柜、管理方法及存储介质
技术领域
本发明涉及智能售货领域，尤其是涉及一种售货柜、管理方法及存储介质。
背景技术
随着科技和经济的发展，商品售卖的形式也越来越多，现在市面上除了传统的超市、便利店以外，也可以逐步出现了自动售货柜、无人收货便利店等等。其中，自动售货柜目前主要用于销售饮料、零食等。传统的自动售货柜主要是利用纸币进行商品购买，商品会摆放在柜体内商品陈列区的特定位置，使用者可以通过人机交互单元选择想要的商品，然后在一个固定的取货区域进行取货，这种售货柜虽然满足自动售货的需求，但是，对于消费者而言操作较为复杂，比较浪费时间，且取货区通常设置在货柜底部，也会给消费者带来不便。针对于此，市面上推出了可以开柜取货的售货柜，通过利用可见光摄像头拍摄消费者取货前后货柜内商品的变化，从而确定消费者的取货情况。但是，简单的前后图像比对确定取货情况，容易出现漏算的情况，并且一旦出现存在恶意行为，例如，将或柜内的商品进行杂乱摆放时，也无法准确的确定错误摆放的情况。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种售货柜，能够解决售货柜出现漏算、以及乱摆放问题。
本发明还提出了一种售货柜管理方法及计算机可读存储介质。
根据本发明的第一方面实施例的售货柜，包括：
柜体，内置有商品陈列区，所述商品陈列区包括多个商品陈列储物空间，每个所述商品陈列储物空间皆用于延伸度方向陈列待售商品；
柜门；
RFID读取设备，设置于所述柜体内，用于读取所述商品陈列区中陈列商品上设置的RFID标签对应的商品信息；
红外检测设备，用于检测使用者手部末端的相对位置信息；
商品摄像装置，用于拍摄所述商品陈列区中的可见光图片；
数据处理装置，分别与所述RFID读取设备、红外检测设备和商品摄像装置连接。
根据本发明实施例的售货柜，至少具有如下有益效果：
通过红外检测设备可以准确的确定使用者手部与柜体之间的相对位置信息，从而可以仅在使用者拿取商品时再开启商品摄像装置，以确定使用者每一次拿取商品和放置商品的过程，最终可以对整个商品陈列区中的商品的商品信息实现实时更新。同时，利用红外检测设备判断使用者的手部姿态来启动商品摄像装置，可以有效的降低商品摄像装置所需要拍摄的图像数量，降低了对数据处理装置的数据处理要求。此外，利用RFID读取设备来检测柜体内商品的变化，可以快速的确定柜体内商品的拿取情况，且利用RFID技术进行统计，可以作为对商品摄像装置获取图像处理结果最终是否准确的判断依据。本发明实施例的售货柜利用RFID技术实现对商品售卖的快速且准确的统计，解决了存在统计误差的问题，并且利用红外检测设备和商品摄像装置实现对商品的追踪，从而避免了客户恶意摆放等行为后，无法及时知晓商品位置的问题。
根据本发明的一些实施例，所述售货柜还包括：
握持检测模块，与所述数据处理装置连接，设置于所述柜门的门把手上，用于检测使用者对门把手的握持状态；
人脸识别模块，与所述数据处理装置连接，用于检测使用者的身份信息；
电子锁，与所述数据处理装置连接，用于调整所述柜体和所述柜门之间的开关状态。
根据本发明的一些实施例，所述红外检测设备包括两个皆与所述数据处理装置连接的红外摄像头，两个所述红外摄像头分别从不同的角度拍摄所述柜体内红外图像信息。
根据本发明的一些实施例，所述红外检测设备包括多组皆与所述数据处理装置连接的红外收发装置，多组所述红外收发装置所发出的红外测线在所述商品陈列区前程棋盘状布置，其中，程棋盘状布置的所述红外测线的网格密度需要小于预设的安全网格阈值。
根据本发明的一些实施例，所述售货柜还包括与所述数据处理装置连接的人机交互单元。
根据本发明的第二方面实施例的售货柜管理方法，应用于如上述的售货柜，所述售货柜管理方法包括：
通过所述红外检测设备获取使用者手部末端相对于所述柜体的相对位置信息；
根据所述相对位置信息启动所述商品摄像装置，以获取所述使用者拿取和/或放置所述商品陈列区中商品的可见光图片；
根据所述相对位置信息和对应的所述可见光图片对货柜商品数据进行更新，所述货柜商品数据至少包括每个所述商品陈列储物空间中每一个商品的商品信息、空间位置信息；
若所述柜门关闭，通过RFID读取设备获取所述柜体内的商品统计信息，并将所述货柜商品数据推送至云端；
根据本次读取的所述柜体内的商品统计信息与上一次关闭所述柜门时读取的所述柜体内的商品统计信息得到商品销售信息；
根据所述商品销售信息生成支付信息，并向使用者展示。
根据本发明实施例的售货柜管理方法，至少具有如下有益效果：
本发明实施例的售货柜管理方法利用红外检测设备来确定使用者手部的行为动作，从而可以仅在拿取和放置商品动作发生时才会采集可见光图片，从而极大的降低了数据处理量，并且利用红外检测设备定位和可见光识别商品信息的综合手段，可以有效的确定商品陈列区内每一个商品的实际移动情况，从而实现对商品成列区内每一个商品的位置信息进行追踪，便于后续管理人员对商品进行复原，也便于消费者确定柜内所需要的商品是否被遮挡。此外，利用RFID读取设备统计每一次柜门关闭时物品与前一次的偏差，从而可以快速有效的统计消费者购物的价格和种类，避免了直接利用图像处理进行统计带来的误差，有效的降低了计算量，并且，可以对商品追踪过程是否存在误差提供一定程度的校验。
根据本发明的一些实施例，所述售货柜还包括握持检测模块、人脸识别模块和电子锁；所述握持检测模块设置于所述柜门的门把手上并与所述数据处理装置连接，用于检测使用者对门把手的握持状态；所述人脸识别模块与所述数据处理装置连接，用于检测使用者的身份信息；所述电子锁与所述数据处理装置连接，用于调整所述柜体和所述柜门之间的开关状态；
所述售货柜管理方法，还包括：
获取所述握持检测模块采集的握持数据；
若所述握持数据超过预设的握持阈值，启动所述人脸识别装置，并开启所述电子锁。
根据本发明的一些实施例，所述红外检测设备包括两个皆与所述数据处理装置连接的红外摄像头，两个所述红外摄像头分别从不同的角度拍摄所述柜体内红外图像信息；
所述通过所述红外检测设备获取使用者手部末端相对于所述柜体的相对位置信息，包括：
获取两个所述红外摄像头同一时刻拍摄的所述红外图像信息；
对两张所述红外图像信息进行二值化处理；
从二值化之后的两张所述红外图像信息中分别提取出手部边缘图像，得到第一手部边缘图像、第二手部边缘图像；
基于双目视觉算法利用所述第一手部边缘图像和所述第二手部边缘图像确定出指尖坐标信息，得到所述相对位置信息。
根据本发明的一些实施例，所述根据所述相对位置信息启动所述商品摄像装置，以获取所述使用者拿取和/或放置所述商品陈列区中商品的可见光图片，包括：
当所述相对位置信息与所述商品陈列区之间的距离小于预设的抓取门限位置信息，启动所述商品拍摄装置拍摄所述可见光图片，直至所述相对位置信息与所述商品陈列区之间的距离大于预设的抓取门限位置信息时停止所述商品拍摄装置。
根据本发明的一些实施例，所述红外检测设备包括多组皆与所述数据处理装置连接的红外收发装置，多组所述红外收发装置所发出的红外测线在所述商品陈列区前程棋盘状布置，其中，程棋盘状布置的所述红外测线的网格密度需要小于预设的安全网格阈值；
所述通过所述红外检测设备获取使用者手部末端相对于所述柜体的相对位置信息，包括：
当所述红外收发装置被遮挡，根据所述被遮挡的所述红外收发装置的安装位置信息确定所述相对位置信息。
根据本发明的一些实施例，所述根据所述相对位置信息启动所述商品摄像装置，以获取所述使用者拿取和/或放置所述商品陈列区中商品的可见光图片，包括：
当获取到所述相对位置信息，启动所述商品拍摄装置拍摄所述可见光图片，直至无法获取到所述相对位置信息。
根据本发明的一些实施例，所述售货柜还包括与所述数据处理装置连接的人机交互单元；
所述售货柜管理方法还包括：
获取使用者在所述人机交互单元输入的商品查询指令，所述商品查询指令至少包括目标商品信息；
根据所述商品查询指令和所述货柜商品数据确定所述目标商品信息对应的空间位置信息，得到目标位置信息；
在所述人机交互单元中展示所述目标商品信息和与所述目标商品信息对应的目标位置信息。
根据本发明的第三方面实施例的计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如上述第二方面实施例所述的售货柜管理方法。由于计算机可读存储介质采用了上述实施例的售货柜管理方法的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明一实施例提供的售货柜的系统图；
图2是本发明一实施例提供的售货柜管理方法的流程图；
图3是本发明另一实施例提供的售货柜管理方法的流程图。
附图标记：
RFID读取设备100、
红外检测设备200、
商品摄像装置300、
数据处理装置400、
握持检测模块500、
人脸识别模块600、
电子锁700、
人机交互单元800。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，如果有描述到第一、第二等只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
本发明的描述中，需要说明的是，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
下面将结合附图对本发明的技术方案进行清楚、完整的描述，显然，以下所描述的实施例是本发明一部分实施例，并非全部实施例。
参见图1所示，图1是本发明一个实施例提供的售货柜的系统图，该售货柜，包括：柜体、柜门、RFID读取设备100、红外检测设备200、商品摄像装置300和数据处理装置400；
柜体，内置有商品陈列区，商品陈列区包括多个商品陈列储物空间，每个商品陈列储物空间皆用于延伸度方向陈列待售商品；
柜门与柜体配合使用；
RFID读取设备100，设置于柜体内，用于读取商品陈列区中陈列商品上设置的RFID标签对应的商品信息；
红外检测设备200，用于检测使用者手部末端的相对位置信息；
商品摄像装置300，用于拍摄商品陈列区中的可见光图片；
数据处理装置400，分别与RFID读取设备100、红外检测设备200和商品摄像装置300连接。
柜门和柜体配合使用，柜体内设置了商品陈列区，商品陈列区包括多个商品陈列储物空间，多个商品陈列储物空间延柜体高度方向程二维布置。利用RFID读取设备100可以对整个商品陈列区内的商品完成扫描，考虑到实际应用场景中可能存在多个售货柜相邻设置的情况，会对相邻两个柜体之间做屏蔽处理，避免RFID读取设备100扫描到相邻售货柜中的商品信息。需要说明的是，本发明实施例中会在每次柜门关闭时对柜内物品进行扫描，从而确定每次柜门开启和关闭这段时间内的商品拿取情况。可以理解的是，对于自动售货柜而言，每一次开柜门拿取商品只会有一个消费主体，即使有其他人员拿取商品也会在消费主体的允许下才会拿取，从而可确保利用RFID技术进行商品结算的准确性。可以理解的是，商品陈列区内的商品都会附上RFID标签，并输入对应的商品信息，以保证RFID读取设备100可以确定柜内的商品数量。需要说明的是，RFID标签的成本较低，并不会造成整体成本的提高，特别是在售货柜逐渐走向高价商品的今天，RFID标签带来的成本增加，基本可以忽略不计。
商品摄像装置300可以拍摄商品陈列区的可见光图片，但是持续进行拍摄，并完成对可见光图像的处理，会使得数据处理装置400一直处于高速运转的状态，从而极大的降低数据处理装置400的使用寿命，售货柜一天中绝大部分时间都不需要使用，因此，本发明实施例引入了红外检测设备200，红外检测设备200可以检测红外图像，红外图像处理时需要占用的算力比可见光处理时会小很多，而商品摄像装置300仅在使用者拿取商品时进行采集，从而可以将对可见光图片处理的时间降到极低。同时，利用红外检测设备200可以确定使用者手部末端的相对位置信息，在结合商品摄像装置300针对性采集的可见光图像后，可以准确的识别出商品陈列区内的每一个商品是被拿取出柜体、重新被放回柜体或摆放至商品陈列区中其它的商品陈列储物空间，从而实现对整个商品陈列区内所有商品的终止状态的确定。需要说明的是，商品摄像装置300不用需要一直进行拍摄，只需要等间隔时间进行间隔拍摄即可，从而可以有效的控制需要分析图片的数量。从可见光图像各种提取出商品信息属于现有技术，这里不再进行赘述。
可以理解的是，每一个商品放置在商品陈列区内都会有一个对应的空间位置信息，而利用红外检测装置的定位功能以及商品摄像装置300商品信息检测功能，便可以对商品陈列柜中所有商品对应的空间位置信息进行更新。
需要说明的是，直接基于红外检测设备200和商品拍摄装置检测的结果来进行购物结果的的计算，会导致数据处理的难度较大，因此，利用RFID读取设备100的读取结果直接进行结算，可以极大的减少运算的难度，并且，RFID读取设备100读取的商品陈列区中的商品的结果也可以有效的对基于红外检测设备200和商品拍摄装置进行商品的空间位置信息提供复合校验。在一些实施例中，会在商品陈列区内专门放置体积较大的商品，避免使用者一次拿取多个商品，从而保证基于红外检测设备200和商品拍摄装置进行检测的准确性。
本发明实施例的售货柜通过红外检测设备200可以准确的确定使用者手部与柜体之间的相对位置信息，从而可以仅在使用者拿取商品时再开启商品摄像装置300，以确定使用者每一次拿取商品和放置商品的过程，最终可以对整个商品陈列区中的商品的商品信息实现实时更新。同时，利用红外检测设备200判断使用者的手部姿态来启动商品摄像装置300，可以有效的降低商品摄像装置300所需要拍摄的图像数量，降低了对数据处理装置400的数据处理要求。此外，利用RFID读取设备100来检测柜体内商品的变化，可以快速的确定柜体内商品的拿取情况，且利用RFID技术进行统计，可以作为对商品摄像装置300获取图像处理结果最终是否准确的判断依据。本发明实施例的售货柜利用RFID技术实现对商品售卖的快速且准确的统计，解决了存在统计误差的问题，并且利用红外检测设备200和商品摄像装置300实现对商品的追踪，从而避免了客户恶意摆放等行为后，无法及时知晓商品位置的问题。
在一些实施例中，售货柜还包括：
握持检测模块500，与数据处理装置400连接，设置于柜门的门把手上，用于检测使用者对门把手的握持状态；
人脸识别模块600，与数据处理装置400连接，用于检测使用者的身份信息；
电子锁700，与数据处理装置400连接，用于调整柜体和柜门之间的开关状态。
握持检测模块500设置在门把手的内侧，在使用者握持在门把手上时，基本可以确定使用者需要开启柜门进行购物，此时，可以激活人脸识别系统进行身份验证，并在确认身份信息后开启电子锁700。这种结构和流程设计下，可以有效的提高用户的购物体验，同时也可以保证购物的安全。需要说明的是，红外检测装置可以在电子锁700被开启后再进行启动，从而可以有效的节约能源，且可以避免数据处理装置400一致处于高强度运算。
在一些实施例中，使用者可以直接利用网络发送购物指令至云端，购物指令至少包括使用者的身份信息以及位置信息，云端通过验证后，则可以利用位置信息将解锁指令发送至售货柜，此时数据处理装置400则会完成对电子锁700的解除。可以理解的是，使用者生成购物指令的方式较多，可以在售货柜上贴覆识别二维码，使用者使用APP扫描二维码即可完成身份授权和位置确定等工作。
在一些实施例中，红外检测设备200包括两个皆与数据处理装置400连接的红外摄像头，两个红外摄像头分别从不同的角度拍摄柜体内红外图像信息。
红外摄像头可以拍摄红外图像，红外图像相比于可见光照片而言，信息少了很多，主要保留了使用者手部的肢体图像，此时直接利用红外图案提取出使用者手部的手部边缘图像，进而可以确定出指尖坐标信息，得到二维坐标之后，便可以利用双目视觉算法确定出指尖的三维坐标，即得到相对位置信息，从而可以确定使用者指尖离商品陈列区的具体位置。最终，可以在使用者指尖拿取或放置商品的短暂时间内启动商品摄像装置300来采集可见光图片，并利用可见光图片确定出商品的商品信息，再结合利用红外摄像头确定的相对位置信息，可以确定出每一个商品的去向。可以理解的是，拿取商品的依据是可见光图片最开始没有出现商品，但是在结尾时的可见光图片中会包含商品，反之，放置商品的依据是可见光图片最开始出现商品，但是在结尾时的可见光图片中没有包含商品。可以理解的是，因为每个商品在商品陈列区中具体位置都会有记录，因此，理论上拿取商品时可以不用对可见光图片中商品进行图像处理，只需要在放置商品时，对放置商品的商品信息和空间位置信息进行更新即可。在一些实施例中，，在拿取商品时，同样可以进行图像分析，以便对上一次放置商品时的结果进行校正。
在一些实施例中，红外检测设备200包括多组皆与数据处理装置400连接的红外收发装置，多组红外收发装置所发出的红外测线在商品陈列区前程棋盘状布置，其中，程棋盘状布置的红外测线的网格密度需要小于预设的安全网格阈值。
每组红外线收发装置包括发射探头和接收探头，多组红外收发装置皆设置在柜体的门框内侧并尽量靠近商品陈列区布置，多组红外收发装置最终形成的红外线会呈现棋盘格布局。只要保证棋盘格足够小，则使用者手部或者任何物品触摸到红外线时都可以得到一个二维坐标，再结合商品陈列储物空间所带来的深度信息，从而可以确定一个三维坐标，得到空间位置信息。可以理解的是，当有物体对红外线进行遮挡时，便需要启动商品拍摄装置进行拍摄，直至遮挡消失。可以理解的是，利用红外线遮挡进行判断相较于使用红外摄像头判断而言，可以对使用者利用辅助工具进行商品的情况进行有效识别，避免因为使用辅助工具拿取商品导致无法对数据进行有效的更新。
在一些实施例中，售货柜还包括与数据处理装置400连接的人机交互单元800。利用人机交互单元800可以便于使用者在本地对售货柜中的商品进行查看，即使出现了商品遮挡也可以通过人机交互单元800看到被遮挡的商品信息。并且，在使用者不想自行寻找商品时，可以直接利用人机交互单元800进行查询，从而快速的确定出想要购买商品的位置，此种情况主要存在于有人恶意放置商品造成对柜体中商品造成遮挡的情况。
参考图2，图2为本发明实施例提供的售货柜管理方法的流程图，该售货柜管理方法包括以下步骤：
通过红外检测设备200获取使用者手部末端相对于柜体的相对位置信息；
根据相对位置信息启动商品摄像装置300，以获取使用者拿取和/或放置商品陈列区中商品的可见光图片；
根据相对位置信息和对应的可见光图片对货柜商品数据进行更新，货柜商品数据至少包括每个商品陈列储物空间中每一个商品的商品信息、空间位置信息；
若柜门关闭，通过RFID读取设备100获取柜体内的商品统计信息，并将货柜商品数据推送至云端；
根据本次读取的柜体内的商品统计信息与上一次关闭柜门时读取的柜体内的商品统计信息得到商品销售信息；
根据商品销售信息生成支付信息，并向使用者展示。
商品摄像装置300可以拍摄商品陈列区的可见光图片，但是持续进行拍摄，并完成对可见光图像的处理，会使得数据处理装置400一直处于高速运转的状态，从而极大的降低数据处理装置400的使用寿命，并且，售货柜一天中绝大部分时间都不需要使用，因此，本发明实施例引入了红外检测设备200，红外检测设备200可以检测红外图像，红外图像处理时需要占用的算力比可见光处理时会小很多，而商品摄像装置300仅在使用者拿取商品时进行采集，从而可以将对可见光图片处理的时间降到极低。同时，利用红外检测设备200可以确定使用者手部末端的相对位置信息，在结合商品摄像装置300针对性采集的可见光图像后，可以准确的识别出商品陈列区内的每一个商品是被拿取出柜体、重新被放回柜体或摆放至商品陈列区中其它的商品陈列储物空间，从而实现对整个商品陈列区内所有商品的终止状态的确定。需要说明的是，商品摄像装置300不用需要一直进行拍摄，只需要等间隔时间进行间隔拍摄即可，从而可以有效的控制需要分析图片的数量。
需要说明的是，每一个商品放置在商品陈列区内都会有一个对应的空间位置信息，而利用红外检测装置的定位功能以及商品摄像装置300商品信息检测功能，便可以对商品陈列柜中所有商品对应的空间位置信息进行更新。此外，在每次柜门关闭时，都会将货柜商品数据传输到云端，完成对数据的有效存储，避免本地设备损坏后，丢失货柜商品数据。
柜门和柜体配合使用，柜体内设置了商品陈列区，利用RFID读取设备100可以对整个商品陈列区内的商品完成扫描，考虑到实际应用场景中可能存在多个售货柜相邻设置的情况，会对相邻两个柜体之间做屏蔽处理，避免RFID读取设备100扫描到相邻售货柜中的商品信息。需要说明的是，本发明实施例中会在每次柜门关闭时对柜内物品进行扫描，从而确定每次柜门开启和关闭这段时间内的商品拿取情况。可以理解的是，商品只会越卖越少，因此只需要确定本次扫描之后相较于上一次扫描后缺失的RFID标签信息，便可以确定使用者选取的商品信息。需要说明的是，柜门关闭并不是指柜门和柜体关闭到一起，而是表征电子锁落锁成功，可以理解的是，电子锁落锁可以设置几秒钟的延迟，以避免误关门导致触发结算。在一些实施例中，为了保证扫描的准确性，会在售货柜的柜体上设置结算按钮，用户通过对结算按钮的操作，来触发RFID读取设备的工作，以完成结算，此种情境下，电子锁落锁可以调整为用户支付完成后进行。
可以理解的是，对于自动售货柜而言，每一次开柜门拿取商品只会有一个消费主体，即使有其他人员拿取商品也会在消费主体的允许下才会拿取，从而可确保利用RFID技术进行商品结算的准确性。可以理解的是，商品陈列区内的商品都会附上RFID标签，并输入对应的商品信息，以保证RFID读取设备100可以确定柜内的商品数量。需要说明的是，RFID标签的成本较低，并不会造成整体成本的提高，特别是在售货柜逐渐走向高价商品的今天，RFID标签带来的成本增加，基本可以忽略不计。
可以理解的是，直接基于红外检测设备200和商品拍摄装置检测的结果来进行购物结果的的计算，会导致数据处理的难度较大，因此，利用RFID读取设备100的读取结果直接进行结算，可以极大的减少运算的难度，并且，RFID读取设备100读取的商品陈列区中的商品的结果也可以有效的对基于红外检测设备200和商品拍摄装置进行商品的空间位置信息提供复合校验。在一些实施例中，会在商品陈列区内专门放置体积较大的商品，避免使用者一次拿取多个商品，从而保证基于红外检测设备200和商品拍摄装置进行检测的准确性。
需要说明的是，空间位置信息并不需要进行高精度的计算，只需要确定每一个商品是在商品陈列区中哪一个商品陈列储物空间内并位于第几个即可，即确定商品位于储物柜的第几行、第几列、第几个即可，即最终空间位置信息会形成一个三维数组，数组每个数据都会对应一个具体的商品信息，从而形成货柜商品数据。
本发明实施例的售货柜管理方法利用红外检测设备200来确定使用者手部的行为动作，从而可以仅在拿取和放置商品动作发生时才会采集可见光图片，从而极大的降低了数据处理量，并且利用红外检测设备200定位和可见光识别商品信息的综合手段，可以有效的确定商品陈列区内每一个商品的实际移动情况，从而实现对商品成列区内每一个商品的位置信息进行追踪，便于后续管理人员对商品进行复原，也便于消费者确定柜内所需要的商品是否被遮挡。此外，利用RFID读取设备100统计每一次柜门关闭时物品与前一次的偏差，从而可以快速有效的统计消费者购物的价格和种类，避免了直接利用图像处理进行统计带来的误差，有效的降低了计算量，并且，可以对商品追踪过程是否存在误差提供一定程度的校验。
在一些实施例中，售货柜还包括握持检测模块500、人脸识别模块600和电子锁700；握持检测模块500设置于柜门的门把手上并与数据处理装置400连接，用于检测使用者对门把手的握持状态；人脸识别模块600与数据处理装置400连接，用于检测使用者的身份信息；电子锁700与数据处理装置400连接，用于调整柜体和柜门之间的开关状态；
售货柜管理方法，还包括：
获取握持检测模块500采集的握持数据；
若握持数据超过预设的握持阈值，启动人脸识别装置，并开启电子锁700。
握持检测模块500设置在门把手的内侧，在使用者握持在门把手上时，基本可以确定使用者需要开启柜门进行购物，此时，可以激活人脸识别系统进行身份验证，并在确认身份信息后开启电子锁700。这种结构和流程设计下，可以有效的提高用户的购物体验，同时也可以保证购物的安全。需要说明的是，红外检测装置可以在电子锁700被开启后再进行启动，从而可以有效的节约能源，且可以避免数据处理装置400一致处于高强度运算。
在一些实施例中，使用者可以直接利用网络发送购物指令至云端，购物指令至少包括使用者的身份信息以及位置信息，云端通过验证后，则可以利用位置信息将解锁指令发送至售货柜，此时数据处理装置400则会完成对电子锁700的解除。可以理解的是，使用者生成购物指令的方式较多，可以在售货柜上贴覆识别二维码，使用者使用APP扫描二维码即可完成身份授权和位置确定等工作。
在一些实施例中，红外检测设备200包括两个皆与数据处理装置400连接的红外摄像头，两个红外摄像头分别从不同的角度拍摄柜体内红外图像信息；
通过红外检测设备200获取使用者手部末端相对于柜体的相对位置信息，包括：
获取两个红外摄像头同一时刻拍摄的红外图像信息；
对两张红外图像信息进行二值化处理；
从二值化之后的两张红外图像信息中分别提取出手部边缘图像，得到第一手部边缘图像、第二手部边缘图像；
基于双目视觉算法利用第一手部边缘图像和第二手部边缘图像确定出指尖坐标信息，得到相对位置信息。
红外摄像头可以拍摄红外图像，红外图像相比于可见光照片而言，信息少了很多，主要保留了使用者手部的肢体图像，此时直接利用红外图案提取出使用者手部的手部边缘图像，进而可以确定出指尖坐标信息，得到二维坐标之后，便可以利用双目视觉算法确定出指尖的三维坐标，即得到相对位置信息，从而可以确定使用者指尖离商品陈列区的具体位置。需要说明的是，利用二值化处理，可进一步降低图像处理的难度，同时因为是对红外图像进行二值化处理，也基本可以保留使用者手臂边缘的所有特征。
在一些实施例中，根据相对位置信息启动商品摄像装置300，以获取使用者拿取和/或放置商品陈列区中商品的可见光图片，包括：
当相对位置信息与商品陈列区之间的距离小于预设的抓取门限位置信息，启动商品拍摄装置拍摄可见光图片，直至相对位置信息与商品陈列区之间的距离大于预设的抓取门限位置信息时停止商品拍摄装置。
在使用者指尖拿取或放置商品的短暂时间内启动商品摄像装置300来采集可见光图片，并利用可见光图片确定出商品的商品信息，再结合利用红外摄像头确定的相对位置信息，可以确定出每一个商品的去向。可以理解的是，拿取商品的依据是可见光图片最开始没有出现商品，但是在结尾时的可见光图片中会包含商品，反之，放置商品的依据是可见光图片最开始出现商品，但是在结尾时的可见光图片中没有包含商品。可以理解的是，因为每个商品在商品陈列区中具体位置都会有记录，因此，理论上拿取商品时可以不用对可见光图片中商品进行图像处理，只需要在放置商品时，对放置商品的商品信息和空间位置信息进行更新即可。此外，在拿取商品时，同样可以进行图像分析，以便对上一次放置商品时的结果进行校正。
在一些实施例中，红外检测设备200包括多组皆与数据处理装置400连接的红外收发装置，多组红外收发装置所发出的红外测线在商品陈列区前程棋盘状布置，其中，程棋盘状布置的红外测线的网格密度需要小于预设的安全网格阈值；
通过红外检测设备200获取使用者手部末端相对于柜体的相对位置信息，包括：
当红外收发装置被遮挡，根据被遮挡的红外收发装置的安装位置信息确定相对位置信息。
每组红外线收发装置包括发射探头和接收探头，多组红外收发装置皆设置在柜体的门框内侧并尽量靠近商品陈列区布置，多组红外收发装置最终形成的红外线会呈现棋盘格布局。只要保证棋盘格足够小，则使用者手部或者任何物品触摸到红外线时都可以得到一个二维坐标，再结合商品陈列储物空间所带来的深度信息，从而可以确定一个三维坐标，得到空间位置信息。
在一些实施例中，根据相对位置信息启动商品摄像装置300，以获取使用者拿取和/或放置商品陈列区中商品的可见光图片，包括：
当获取到相对位置信息，启动商品拍摄装置拍摄可见光图片，直至无法获取到相对位置信息。
当有物体对红外线进行遮挡时，便需要启动商品拍摄装置进行拍摄，直至遮挡消失。可以理解的是，利用红外线遮挡进行判断相较于使用红外摄像头判断而言，可以对使用者利用辅助工具进行商品的情况进行有效识别，避免因为使用辅助工具拿取商品导致无法对数据进行有效的更新。
参考图3，在一些实施例中，售货柜还包括与数据处理装置400连接的人机交互单元800；
售货柜管理方法还包括：
获取使用者在人机交互单元800输入的商品查询指令，商品查询指令至少包括目标商品信息；
根据商品查询指令和货柜商品数据确定目标商品信息对应的空间位置信息，得到目标位置信息；
在人机交互单元800中展示目标商品信息和与目标商品信息对应的目标位置信息。
利用人机交互单元800可以便于使用者在本地对售货柜中的商品进行查看，即使出现了商品遮挡也可以通过人机交互单元800看到被遮挡的商品信息。并且，在使用者不想自行寻找时，可以直接利用人机交互单元800进行查询，从而快速的确定出想要购买商品的位置，此种情况主要存在于有人恶意放置商品造成对柜体中商品造成遮挡的情况。此外，人机交互单元800也可以辅助完成支付，例如在结算时生成支付二维码供使用者扫描等等。
此外，本发明的一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个处理器或控制单元执行，可使得上述处理器执行上述实施例中的售货柜管理方法，例如，执行以上描述的图2、图3中的方法。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质或非暂时性介质和通信介质或暂时性介质。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息诸如计算机可读指令、数据结构、程序模块或其他数据的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘DVD或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (10)

1.一种售货柜，其特征在于，包括：
柜体，内置有商品陈列区，所述商品陈列区包括多个商品陈列储物空间，每个所述商品陈列储物空间皆用于延伸度方向陈列待售商品；
柜门；
RFID读取设备，设置于所述柜体内，用于读取所述商品陈列区中陈列商品上设置的RFID标签对应的商品信息；
红外检测设备，用于检测使用者手部末端的相对位置信息；
商品摄像装置，用于拍摄所述商品陈列区中的可见光图片；
数据处理装置，分别与所述RFID读取设备、红外检测设备和商品摄像装置连接。
2.根据权利要求1所述的售货柜，其特征在于，所述售货柜还包括：
握持检测模块，与所述数据处理装置连接，设置于所述柜门的门把手上，用于检测使用者对门把手的握持状态；
人脸识别模块，与所述数据处理装置连接，用于检测使用者的身份信息；
电子锁，与所述数据处理装置连接，用于调整所述柜体和所述柜门之间的开关状态。
3.根据权利要求2所述的售货柜，其特征在于，所述红外检测设备包括两个皆与所述数据处理装置连接的红外摄像头，两个所述红外摄像头分别从不同的角度拍摄所述柜体内红外图像信息。
4.根据权利要求1所述的售货柜，其特征在于，所述售货柜还包括与所述数据处理装置连接的人机交互单元。
5.一种售货柜管理方法，其特征在于，应用于如权利要求1至4任一所述的售货柜，所述售货柜管理方法包括：
通过所述红外检测设备获取使用者手部末端相对于所述柜体的相对位置信息；
根据所述相对位置信息启动所述商品摄像装置，以获取所述使用者拿取和/或放置所述商品陈列区中商品的可见光图片；
根据所述相对位置信息和对应的所述可见光图片对货柜商品数据进行更新，所述货柜商品数据至少包括每个所述商品陈列储物空间中每一个商品的商品信息、空间位置信息；
若所述柜门关闭，通过RFID读取设备获取所述柜体内的商品统计信息，并将所述货柜商品数据推送至云端；
根据本次读取的所述柜体内的商品统计信息与上一次关闭所述柜门时读取的所述柜体内的商品统计信息得到商品销售信息；
根据所述商品销售信息生成支付信息，并向使用者展示。
6.根据权利要求5所述的售货柜管理方法，其特征在于，所述售货柜还包括握持检测模块、人脸识别模块和电子锁；所述握持检测模块设置于所述柜门的门把手上并与所述数据处理装置连接，用于检测使用者对门把手的握持状态；所述人脸识别模块与所述数据处理装置连接，用于检测使用者的身份信息；所述电子锁与所述数据处理装置连接，用于调整所述柜体和所述柜门之间的开关状态；
所述售货柜管理方法，还包括：
获取所述握持检测模块采集的握持数据；
若所述握持数据超过预设的握持阈值，启动所述人脸识别装置，并开启所述电子锁。
7.根据权利要求5所述的售货柜管理方法，其特征在于，所述红外检测设备包括两个皆与所述数据处理装置连接的红外摄像头，两个所述红外摄像头分别从不同的角度拍摄所述柜体内红外图像信息；
所述通过所述红外检测设备获取使用者手部末端相对于所述柜体的相对位置信息，包括：
获取两个所述红外摄像头同一时刻拍摄的所述红外图像信息；
对两张所述红外图像信息进行二值化处理；
从二值化之后的两张所述红外图像信息中分别提取出手部边缘图像，得到第一手部边缘图像、第二手部边缘图像；
基于双目视觉算法利用所述第一手部边缘图像和所述第二手部边缘图像确定出指尖坐标信息，得到所述相对位置信息。
8.根据权利要求7所述的售货柜管理方法，其特征在于，所述根据所述相对位置信息启动所述商品摄像装置，以获取所述使用者拿取和/或放置所述商品陈列区中商品的可见光图片，包括：
当所述相对位置信息与所述商品陈列区之间的距离小于预设的抓取门限位置信息，启动所述商品拍摄装置拍摄所述可见光图片，直至所述相对位置信息与所述商品陈列区之间的距离大于预设的抓取门限位置信息时停止所述商品拍摄装置。
9.根据权利要求5所述的售货柜管理方法，其特征在于，所述售货柜还包括与所述数据处理装置连接的人机交互单元；
所述售货柜管理方法还包括：
获取使用者在所述人机交互单元输入的商品查询指令，所述商品查询指令至少包括目标商品信息；
根据所述商品查询指令和所述货柜商品数据确定所述目标商品信息对应的空间位置信息，得到目标位置信息；
在所述人机交互单元中展示所述目标商品信息和与所述目标商品信息对应的目标位置信息。
10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求5至9任一所述的售货柜管理方法。
CN202310286934.5A 2023-03-22 2023-03-22 售货柜、管理方法及存储介质 Pending CN116363795A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310286934.5A CN116363795A (zh) 2023-03-22 2023-03-22 售货柜、管理方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310286934.5A CN116363795A (zh) 2023-03-22 2023-03-22 售货柜、管理方法及存储介质

Publications (1)

Publication Number Publication Date
CN116363795A true CN116363795A (zh) 2023-06-30

Family

ID=86941347

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310286934.5A Pending CN116363795A (zh) 2023-03-22 2023-03-22 售货柜、管理方法及存储介质

Country Status (1)

Country Link
CN (1) CN116363795A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103514437A (zh) * 2012-12-24 2014-01-15 Tcl集团股份有限公司 一种三维手势识别装置及三维手势识别方法
JP2014127168A (ja) * 2012-12-27 2014-07-07 Nec Corp 自動販売機管理装置、そのデータ処理方法、およびプログラム
CN209132863U (zh) * 2018-11-26 2019-07-19 深圳深知未来智能有限公司 一种无人售货柜
CN209620787U (zh) * 2018-10-17 2019-11-12 深圳市友佳智能科技有限公司 一种售卖柜智能门把手
CN209785129U (zh) * 2019-06-18 2019-12-13 富士电机（中国）有限公司 自动售货机
US20200388099A1 (en) * 2017-12-06 2020-12-10 Hefei Midea Intelligent Technologies Co., Ltd. Smart vending apparatus, and control method thereof
KR102410634B1 (ko) * 2021-10-15 2022-06-22 도시공유플랫폼 주식회사 인공지능 기반 무인 판매 서비스 제공 방법, 장치 및 시스템

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103514437A (zh) * 2012-12-24 2014-01-15 Tcl集团股份有限公司 一种三维手势识别装置及三维手势识别方法
JP2014127168A (ja) * 2012-12-27 2014-07-07 Nec Corp 自動販売機管理装置、そのデータ処理方法、およびプログラム
US20200388099A1 (en) * 2017-12-06 2020-12-10 Hefei Midea Intelligent Technologies Co., Ltd. Smart vending apparatus, and control method thereof
CN209620787U (zh) * 2018-10-17 2019-11-12 深圳市友佳智能科技有限公司 一种售卖柜智能门把手
CN209132863U (zh) * 2018-11-26 2019-07-19 深圳深知未来智能有限公司 一种无人售货柜
CN209785129U (zh) * 2019-06-18 2019-12-13 富士电机（中国）有限公司 自动售货机
KR102410634B1 (ko) * 2021-10-15 2022-06-22 도시공유플랫폼 주식회사 인공지능 기반 무인 판매 서비스 제공 방법, 장치 및 시스템

Similar Documents

Publication Publication Date Title
CN111626681B (zh) 一种用于库存管理的图像识别系统
US20220198550A1 (en) System and methods for customer action verification in a shopping cart and point of sales
CN108320404B (zh) 基于神经网络的商品识别方法、装置、自助收银台
US10943128B2 (en) Constructing shopper carts using video surveillance
CN108460908A (zh) 自动售货方法和系统以及自动售货装置和自动贩售机
US11526843B2 (en) Product identification systems and methods
WO2019174529A1 (zh) 自动售货装置及方法
EP3901841B1 (en) Settlement method, apparatus, and system
CN110866429A (zh) 漏扫识别方法、装置、自助收银终端及系统
WO2019161734A1 (zh) 无人售货设备及其售货方法和无人售货系统
US20230027382A1 (en) Information processing system
US11562614B2 (en) Method, a device and a system for checkout
WO2018137136A1 (zh) 自动售货机及其运行方法
CN111222870B (zh) 结算方法、装置和系统
CN110050284A (zh) 一种自动店内登记系统
US20170004472A1 (en) Method for processing transactions at a vending kiosk
WO2019165895A1 (zh) 自动售货方法和系统以及自动售货装置和自动贩售机
US20230005348A1 (en) Fraud detection system and method
CN107945392B (zh) 自动售货机及采集证据的方法以及存储介质
CN110647825A (zh) 无人超市物品确定方法、装置、设备及存储介质
CN110689389A (zh) 基于计算机视觉的购物清单自动维护方法及装置、存储介质、终端
CN110443946B (zh) 售货机、物品种类的识别方法和装置
TWI675337B (zh) 無人化貨品管理系統與無人化貨品管理方法
CN116363795A (zh) 售货柜、管理方法及存储介质
TWI621076B (zh) 結帳管理系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination