CN110223144A - 无人购物的信息处理系统及方法、计算机设备及可读介质 - Google Patents

无人购物的信息处理系统及方法、计算机设备及可读介质 Download PDF

Info

Publication number
CN110223144A
CN110223144A CN201910470522.0A CN201910470522A CN110223144A CN 110223144 A CN110223144 A CN 110223144A CN 201910470522 A CN201910470522 A CN 201910470522A CN 110223144 A CN110223144 A CN 110223144A
Authority
CN
China
Prior art keywords
user
commodity
shopping
module
moment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910470522.0A
Other languages
English (en)
Other versions
CN110223144B (zh
Inventor
雷超兵
亢乐
包英泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910470522.0A priority Critical patent/CN110223144B/zh
Publication of CN110223144A publication Critical patent/CN110223144A/zh
Application granted granted Critical
Publication of CN110223144B publication Critical patent/CN110223144B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Abstract

本发明提供一种无人购物的信息处理系统及方法、计算机设备及可读介质。系统包括:人体模块用于通过对进入店铺的用户进行跟踪,获取用户发生购物行为时的第一时刻和第一位置,向对应商品模块发送第一时刻、第一位置和为用户分配的用户标识;商品模块用于根据获取的监控区域内、包括第一时刻的预设时间段内发生数量减少或者增多的商品的空间坐标和第一位置,获取用户拿取或者放回的商品标识、数量以及变化方向;向结算模块发送用户标识、商品标识、数量及变化方向;结算模块用于根据接收到的信息更新用户的购物账单。本发明去除了结算模块的中心化,避免单点压力过大,保证系统运行不会受到网络带宽及计算资源瓶颈等限制,能够有效地提升系统性能。

Description

无人购物的信息处理系统及方法、计算机设备及可读介质
【技术领域】
本发明涉及计算机应用技术领域,尤其涉及一种无人购物的信息处理系统及方法、计算机设备及可读介质。
【背景技术】
随着智能科技的发展,涌现出了越来越多的智能化电子设备,能够给用户的生活带来极大的便利性。例如无人购物系统,就是智能零售场景下的一种应运而生的产品,智能无人购物的商店内不需要服务员,由用户自行操作实现商品购买,使用非常方便。
现有技术中的无人购物的信息处理系统,可以包括有负责监控商品的多个商品模块(sensor)、负责监控用户的人体模块以及结算模块来实现无人购物结算。现有技术中,该结算模块为中心节点,控制全局的购物信息处理。例如在一种使用场景中,可以将该人体模块设置在店铺的门口,若人体模块监控到有用户进入店铺,为其分配标识,并发送给后台的结算模块,由结算模块统一管理该标识的用户的购物信息。若人体模块监控到该标识对应的用户要离开时,可以先向结算模块发送结账申请,由结算模块分别向各个商品模块发送商品变化信息的请求,由各个商品模块统计各自负责的区域内发生变化的商品标识以及数量,并返回给结算模块,由结算模块根据各个商品模块返回的信息,并采用预定的人货绑定策略,统计该标识对应的用户购买的商品标识以及数量,实现人货绑定,并生成该标识的用户的账单信息,进行结账。
但是,在实际应用中,每个人体模块或者商品模块都会产生大量的数据,而现有的这种无人购物的信息处理系统中,结算模块作为控制中心,需要接收并处理所有的传感器发送的信息,这样会导致结算模块的单点压力过大,使得系统的运行会受到网络带宽以及计算资源瓶颈等的限制,影响系统的性能。
【发明内容】
本发明提供了一种无人购物的信息处理系统及方法、计算机设备及可读介质,用于避免系统中出现单点压力过大,使得系统的运行不会受到网络带宽以及计算资源瓶颈等的限制,以提高系统的性能。
本发明提供一种无人购物的信息处理系统,所述系统包括:人体模块、商品模块和结算模块;
所述人体模块,用于通过对进入店铺的用户进行跟踪,获取所述用户发生购物行为时的第一时刻和第一位置,并向对应的所述商品模块发送所述第一时刻、所述第一位置和为所述用户分配的用户标识;
所述商品模块,用于根据获取的监控区域内、包括所述第一时刻的预设时间段内发生数量减少或者增多的商品的空间坐标和所述第一位置,获取所述用户拿取或者放回的商品标识、数量以及变化方向;并向所述结算模块发送用户标识、所述商品标识、数量以及所述变化方向;
所述结算模块,用于根据接收到的所述用户标识、所述商品标识、数量以及所述变化方向,更新所述用户的购物账单。
本发明还提供一种无人购物的信息处理系统中的信息处理方法,所述方法包括:
所述人体模块通过对进入店铺的用户进行跟踪,获取所述用户发生购物行为时的第一时刻和第一位置,并向对应的所述商品模块发送所述第一时刻、所述第一位置和为所述用户分配的用户标识;
所述商品模块根据获取的监控区域内、包括所述第一时刻的预设时间段内发生数量减少或者增多的商品的空间坐标和所述第一位置,获取所述用户拿取或者放回的商品标识、数量以及变化方向;并向所述结算模块发送用户标识、所述商品标识、数量以及所述变化方向;
所述结算模块根据接收到的所述用户标识、所述商品标识、数量以及所述变化方向,更新所述用户的购物账单。
本发明还提供一种计算机设备,所述设备包括:
两组摄像头,分别用于采集各自视野范围内的视频流;
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如上所述的无人购物的信息处理系统中的信息处理方法。
本发明还提供一种计算机可读介质,其上存储有计算机程序,该程序被处理器执行时实现如上所述的无人购物的信息处理系统中的信息处理方法。
本发明的无人购物的信息处理系统及方法、计算机设备及可读介质,人体模块和商品模块都可以进行一定的信息处理,而不用将所有的信息处理都放在结算模块中,能够降低模块之间的耦合度,方便各个模块的独立开发、独立部署、独立测试,模块与模块之间的边界非常明确,排错也变得相当容易,从而能够大大提升开发效率。
而且,本发明的技术方案,去除了结算模块的中心化,使得系统更加扁平化,从而使得系统更易于扩展。比如进行店面扩大时只需要在各模块中分别增加相关的sensor即可,实现非常容易。且,由于去除了结算模块的中心化,还可以避免结算模块的单点压力过大,使得无人购物的信息处理系统的运行也不会受到网络带宽以及计算资源瓶颈等的限制,从而能够有效地提升系统的性能。
而且,本发明的技术方案,模块之间相对独立,使得部署新的服务相对更加简单,当有新的需求时增加新的模块即可,大大减少了运维成本。
【附图说明】
图1为本发明的无人购物的信息处理系统实施例一的结构图。
图2为本发明的无人购物的信息处理系统实施例二的结构图。
图3为本发明的无人购物的信息处理系统中的信息处理方法实施例一的流程图。
图4为本发明的无人购物的信息处理系统中的信息处理方法实施例二的流程图。
图5为本发明的无人购物的信息处理系统中的信息处理方法实施例三的流程图。
图6为本发明的计算机设备实施例的结构图。
图7为本发明提供的一种计算机设备的示例图。
【具体实施方式】
为了使本发明的目的、技术方案和优点更加清楚,下面结合附图和具体实施例对本发明进行详细描述。
图1为本发明的无人购物的信息处理系统实施例一的结构图。如图1所示,本实施例的无人购物的信息处理系统,具体可以包括人体模块10、商品模块20和结算模块30;
本实施例的无人购物的信息处理系统,与现有技术相比,仍然包括两种类型的传感器如人体模块10和商品模块20,以及结算模块30。但是本实施例中,人体模块10、商品模块20、以及结算模块30各自的功能以及相互之间的通信关系与现有技术完全不同。且本本实施例中,人体模块10、商品模块20和结算模块30的数量具体可以不做限定。
具体地,本实施例的无人购物的信息处理系统中,人体模块10用于通过对进入店铺的用户进行跟踪,获取用户发生购物行为时的第一时刻和第一位置,并向对应的商品模块20发送第一时刻、第一位置和为用户分配的用户标识;本实施例的人体模块10可以包括人体传感器(sensor)和人体信息处理单元,其中人体传感器可以采用摄像头来实现,可以采集进入店铺的用户的视频,实现对该用户进行跟踪。人体信息处理单元具体用于执行人体模块10中、人体传感器的功能之外的其他功能,例如通过对进入店铺的用户进行跟踪,获取用户发生购物行为时的第一时刻和第一位置等。
本实施例的人体模块10在对进入店铺的用户进行跟踪时,可以将用户和商品的坐标转换在同一坐标系下,这样可以方便对用户进行跟踪。且跟踪时,在监控到用户发生购物行为如用户直接拿取商品的行为,或者监控到用户的手伸一下又拉回来类似的动作行为也可以认为是购物行为,此时人体模块10可以获取该发生购物行为时的第一时刻和第一位置。人体模块10中设置有标准时间,便于记录第一时刻。实际应用中,如果用户距离货架足够近的话,用户拿取商品的时间较短,如果拿取商品过程可能在同一秒内,该第一时刻为该秒级时刻,而若用户拿取商品的全程需要2s到3s,可以取其中间的时刻为第一时刻,或者也可以取开始或者结束时刻为第一时刻,在此不做限定。本实施例中的第一位置可以为用户的3d坐标。或者随着人体模块10的工作性能的提升,检测精度和准确性越来越高,本实施例的人体模块10检测的用户的第一位置也可以为用户的拿取商品的手的3d坐标。
商品模块20用于接收到人体模块10发送的的第一时刻、第一位置和为用户分配的用户标识时,确认人体模块10检测到了该用户标识对应的用户在第一时刻、第一位置发生了购物行为,此时可以先获取监控区域内、包括第一时刻的预设时间段内发生数量减少或者增多的商品的空间坐标,然后根据获取的监控区域内、包括第一时刻的预设时间段内发生数量减少或者增多的商品的空间坐标和第一位置,获取用户拿取或者放回的商品标识、数量以及变化方向;并向结算模块30发送用户标识、商品标识、变化方向以及数量。本实施例的预设时间段可以为包括第一时刻的任一长度的时间段,该时间段的长度根据实际需求来设置,例如可以为包括第一时刻的10s、20s、30s等其他时间长度。本实施例的商品模块20包括商品传感器(sensor)和商品信息处理单元,同理,其中商品传感器可以采用摄像头来实现,用于采集其监控区域的商品的视频,如可以包括该商品被拿取或者放回的视频,实现对其监控区域的商品进行检测。商品信息处理单元具体用于执行商品模块11中、商品传感器的功能之外的其他功能,例如可以根据监控区域内、包括第一时刻的预设时间段内发生数量减少或者增多的商品的空间坐标和第一位置,获取用户拿取或者放回的商品标识、数量以及变化方向;并向结算模块30发送用户标识、商品标识、变化方向以及数量等。
本实施例中,用户在结账之前,可以拿取任何商品,也可以放回任何商品,用户拿取商品或者放回商品的动作类似,都是向货架伸手又抽回来,该动作可以为购物行为。本实施例中,人体模块10检测到购物行为后,商品模块20可以先获取监控区域内、包括第一时刻的预设时间段内发生数量减少或者增多的商品的空间坐标,然后商品模块20可以根据获取的监控区域内、包括第一时刻的预设时间段内发生数量减少或者增多的商品的空间坐标和第一位置,获取用户拿取或者放回的商品标识、数量以及变化方向,其中变化方向具体为用户购买的商品数量增多或者数量减少的方向。结算模块30用于根据接收到的用户标识、商品标识、数量以及变化方向,更新用户的购物账单。
本实施例的人体模块10和商品模块20都携带有摄像头,用于采集视野范围内的视频流,实现对人体跟踪或者对商品进行监控。同时,本实施例的人体模块10和商品模块20中还可以设置有处理器,能够基于采集到的信息,实现信息处理的功能。
若本实施例的无人购物的信息处理系统对应的店铺较小,人体模块10和商品模块20的数量仅为一个时,通信关系较为简单。
但是,若实际应用中,人体模块10和商品模块20可以根据店铺的大小和空间环境的布局需求,可以设置多一组、两组或者多组,每一组负责一定的监控区域。其中每一组的人体模块10和每一组的商品模块20中包括的传感器的数量,可以根据监控区域的大小和空间环境的布局需求来设置,以保证一组传感器可以负责监控到该监控区域的所有角度和所有位置。例如,图2为本发明的无人购物的信息处理系统实施例二的结构图。与图1相比,图2所示的无人购物系统中将店铺分成N个监控区域,每个区域以设置多个人体模块10和商品模块20为例。在每个监控区域中,每个人体模块10可以与每个商品模块20通信。且图2所示实施例中以仅包括一组结算模块30为例,每个监控区域中的每个商品模块20可以与结算模块30通信。或者本实施例中每个监控区域内的多个人体模块10和多个商品模块20也可以以区块链的信息共享的方式工作,同一名称的各个传感器可以共享信息,这样更加方便信息的获取。
此时,某个监控区域内的某个人体模块10用于通过对进入店铺的用户进行跟踪,可以获取到用户发生购物行为时的第一时刻和第一位置,然后可以以组播的方式向该监控区域范围内的所有商品模块20发送第一时刻、第一位置和为用户分配的用户标识。
此时该监控区域内的所有商品模块20都接收到人体模块10发送的第一时刻、第一位置和为用户分配的用户标识。此时每个商品模块20可以先检测包括第一时刻的预设时间段内是否发生数量减少的商品,若未发生,对应的商品模块20确认其监控范围内没有商品数量变化,丢弃接收到的信息。若发生,对应的该商品模块20可以先获取监控区域内、包括第一时刻的预设时间段内发生数量减少的商品的空间坐标,然后根据监控区域内、包括第一时刻的预设时间段内发生数量减少的商品的空间坐标和用户的第一位置,获取用户拿取的商品标识以及数量。该过程中,还可以过滤掉一部分干扰的商品模块20,例如,某个商品模块监控区域内、包括第一时刻的预设时间段内发生数量减少的商品的空间坐标与用户的第一位置的距离较远,如大于一定的距离阈值,此时该用户不可能购置该商品,此时商品模块20也丢弃接收到的信息。通过对每一个商品模块20进行排查,可以确定某个商品模块20可以用于根据监控区域内、包括第一时刻的预设时间段内发生数量减少的商品的空间坐标和第一位置,获取用户拿取的商品标识以及数量,实现人物绑定,并向结算模块30发送用户标识、商品标识以及数量。
而结算模块30用于根据接收到的用户标识、商品标识、数量以及变化方向,实现更新用户的购物账单,后续便于基于用户的购物账单进行结账处理。
进一步需要说明的是,本实施例中,人体模块10还用于通过对进入店铺的用户进行跟踪,检测用户是否发生疑似购物行为,若是,获取用户发生疑似购物行为时的第二时刻和第二位置,向第二位置对应的商品模块20发送包括第二时刻的疑似购物行为信息;同理,若在图2所示的场景中,可以具体向第二位置所属的监控区域范围的所有商品模块20以组播的方式发送包括第二时刻的疑似购物行为信息。
对应地,商品模块20还用于检测监控区域内、包含第二时刻的预设时间段内是否发生商品数量减少或者增多;若发生,确定疑似购物行为属于购物行为,向人体模块10返回有购物行为的响应消息。
本实施例中,人体模块10可以具体用于通过对进入店铺的用户进行跟踪,检测用户是否发生疑似拿取商品的行为,或者由于角度的问题,人体模块10可能检测不到拿取或者放回的商品,但可以检测用户是否发生伸手以及回缩手的疑似拿取商品的行为的动作,若是,可以认为用户发生了疑似购物行为;此时人体模块10进一步获取发生疑似购物行为时的第二时刻和用户的第二位置。其中,第二时刻和用户的第二位置的获取,可以参考上述第一时刻和第一位置的获取方式,在此不再赘述。
另外,本实施例的疑似购物行为信息可以为疑似购物行为的视频流,或者也可以为人体模块10和商品模块20约定的一个用于表征疑似购物行为的标识信息,该标识信息可以为数字、字母或者其结合等。同理,本实施例中,该人体模块10也是以组播的方式向第二位置对应的监控区域范围内的每一个商品模块20发送包括第二时刻的疑似购物行为信息,如具体可以发送的是第二时刻以及疑似购物行为的标识信息。这样,第二位置对应的监控区域范围内的每一个商品模块20接收到疑似购物行为信息后,检测其监控区域内、包含第二时刻的预设时间段内是否发生商品数量减少;若发生,对应的商品模块20确定疑似购物行为属于购物行为,向人体模块返回有购物行为的响应消息。而若对应的商品模块20检测其监控区域内、包含第二时刻的预设时间段内未发生商品数量减少,则该商品模块20确定其监控范围没有发生购物行为,丢弃接收到的信息即可。
进一步可选地,本实施例的第一位置为用户的手的3d坐标时,商品模块20具体用于:
在接收到人体模块10发送的第一时刻、第一位置和为用户分配的用户标识时,确认该用户标识对应的用户在第一时刻、第一位置发生购物行为,此时可以先获取监控区域内、包括第一时刻的预设时间段内发生数量减少或者增多的商品的空间坐标,然后判断获取的监控区域内、包括第一时刻的预设时间段内发生数量减少或者增多的商品的空间坐标和用户的手的3d坐标的直线距离是否小于第一预设距离阈值,若是,确定用户拿取或者放回了空间坐标对应的商品;并根据商品的空间坐标与商品标识的对应关系,获取商品的空间坐标对应的商品的标识或者通过图片检测的方式获取对应的商品标识,并获取商品标识对应的商品减少的数量;向结算模块30发送用户标识、商品标识以及数量。
本实施例中,若不同的商品模块20都检测到发生数量减少或者增多的商品,此时可以每个商品模块20可以进一步判断监控区域内、包括第一时刻的预设时间段内发生数量减少或者增多的商品的空间坐标和用户的手的3d坐标的直线距离是否小于第一预设距离阈值,若是,则认为该用户拿取或者放回了对应的商品,从而实现人货绑定;否则则认为用户未拿取对应的商品。对于监控到的用户拿取了对应的商品时,可以根据商品的空间坐标与商品标识的对应关系,获取商品的空间坐标对应的商品的标识或者通过图片检测的方式获取对应的商品标识;并获取商品标识对应的商品减少或者增多的数量,最后向结算模块30发送用户标识、商品标识、数量以及变化方向。
例如,商品的空间坐标和商品标识的对应关系可以在货架上放置商品时建立,具体地可以由人工从外部进行配置,并存储在商品模块20中。如商品模块20还用于接收并存储外部输入的监控区域内的、各商品的空间坐标以及对应的商品标识;并建立商品的空间坐标与商品标识的对应关系。
或者本实施例中,商品模块20可以直接基于采集到的用户拿取或者放回商品的视频流中各帧图片,识别用户拿取或者放回的图片标识以及数量,并确定变化方向即是增加了还是减少了商品。其中识别用户拿取或者放回的图片标识的过程具体可以为:可以预先在商品模块20中存储有商品信息库,如该商品信息库中存储有各商品的标识以及对应的各商品的图片,然后,商品模块20检测采集到的商品的图片与商品信息库中各商品的图片的相似度,从商品信息库中获取与采集到的商品图片的相似度最高的图片的标识作为识别到的商品标识。用户拿取或者放回的商品的数量可以直接通过对连续多帧图像进行分析和识别获取到。
进一步可选地,本实施例的第一位置为用户的3d坐标时,商品模块20具体用于:
在接收到人体模块10发送的第一时刻、第一位置和为用户分配的用户标识时,确认该用户标识对应的用户在第一时刻、第一位置发生购物行为,此时可以先获取监控区域内、包括第一时刻的预设时间段内发生数量减少或者增多的商品的空间坐标,然后判断获取的监控区域内、包括第一时刻的预设时间段内发生数量减少或者增多的商品的空间坐标和用户的3d坐标的水平方向上的距离是否小于第二预设距离阈值,若是,确定用户拿取或者放回了空间坐标对应的商品;并根据商品的空间坐标与商品标识的对应关系,获取商品的空间坐标对应的商品的标识或者通过图片检测的方式获取对应的商品标识;并获取商品标识对应的商品减少或者增多的数量以及变化方向;向结算模块30发送用户标识、商品标识以及数量以及变化方向。
其中,第一时刻的预设时间段内发生数量减少的商品时,认为用户拿取了商品,此时变化方向为购物商品增加的方向。相反,第一时刻的预设时间段内发生数量增多的商品时,认为用户放回了商品,此时变化方向为购物商品减少的方向。
该种实现方式针对于第一位置为用户的3d坐标,此时可以由商品传感器20检测获取的监控区域内、包括第一时刻的预设时间段内发生数量减少或者增多的商品的空间坐标和用户的3d坐标的水平方向上的距离是否小于第二预设距离阈值,也就是说,用户在水平方向上距离商品足够近的时候,可以认为用户拿取或者放回了该空间坐标的商品,从而实现人货绑定;否则则认为用户未拿取对应的商品。同理,对于监控到的用户拿取了对应的商品时,可以根据商品的空间坐标与商品标识的对应关系,获取商品的空间坐标对应的商品的标识,并获取商品标识对应的商品减少的数量,最后向结算模块30发送用户标识、商品标识以及数量。同理,本实施例中,也可以通过图片检测的方式获取对应的商品标识以及图片的数量,与上述实施例相关方案实现相同,在此不再赘述。
进一步可选地,本实施例的无人购物系统中,人体模块10还用于采集用户的生理参数,并为用户配置用户标识,建立并存储生理参数和用户标识的对应关系。
例如,本实施例的用户的生理参数可以为用户的人脸、指纹、手或者虹膜等等。这样,在用户进入无人购物系统对应的店铺时,人体模块10可以采集到用户的生理参数,并为用户分配用户标识;建立并存储生理参数和用户标识的对应关系。本实施例中,采集用户生理参数的人体模块10可以为设置在店铺门口的固定的一个人体模块。该生理参数和用户标识的对应关系存储在该人体模块中。或者该人体模块10也可以和其他所有人体模块共享该生理参数和用户标识的对应关系。
对应地,若用户在准备离店时,用户可以输入携带生理参数的结账请求,此时结算模块30,还用于接收外部输入的携带生理参数的结账请求,向对应的人体模块10发送携带生理参数的用户标识获取请求;
对应地,人体模块10还用于接收结算模块30发送的携带生理参数的用户标识获取请求,并根据存储的生理参数和用户标识的对应关系,获取生理参数对应的用户标识,并向结算模块30发送;
结算模块30还用于根据用户标识,获取用户的购物账单,并根据购物账单进行结账处理。
或者在另一种实现方式中,结算模块30可以还用于接收外部输入的携带生理参数的结账请求,并根据预先从人体模块10获取的生理参数和用户标识的对应关系,获取生理参数对应的用户标识;根据用户标识,获取用户的购物账单,并根据购物账单进行结账处理。
本实施例的无人购物的信息处理系统中,人体模块10和商品模块20中的人体传感器和商品传感器仅用于实现对相应的监控区域中的视频进行采集的功能,而其余所有功能,如上述实施例的各功能都相应地在人体模块10中的人体信息处理单元和商品模块20中的商品信息处理单元中来实现。
本实施例的无人购物的信息处理系统,人体模块10和商品模块20都可以进行一定的信息处理,而不用将所有的信息处理都放在结算模块30中,能够降低模块之间的耦合度,方便各个模块的独立开发、独立部署、独立测试,模块与模块之间的边界非常明确,排错也变得相当容易,从而能够大大提升开发效率。
而且,本实施例的无人购物的信息处理系统,去除了结算模块30的中心化,使得系统更加扁平化,从而使得系统更易于扩展。比如进行店面扩大时只需要在各模块中分别增加相关的sensor即可,实现非常容易。且,由于去除了结算模块30的中心化,还可以避免结算模块30的单点压力过大,使得无人购物的信息处理系统的运行也不会受到网络带宽以及计算资源瓶颈等的限制,从而能够有效地提升系统的性能。
而且,本实施例的无人购物的信息处理系统,模块之间相对独立,使得部署新的服务相对更加简单,当有新的需求时增加新的模块即可,大大减少了运维成本。
图3为本发明的无人购物的信息处理系统中的信息处理方法实施例一的流程图。如图3所示,本实施例的无人购物的信息处理系统中的信息处理方法,具体可以包括如下步骤:
S100、人体模块通过对进入店铺的用户进行跟踪,获取用户发生购物行为时的第一时刻和第一位置,并向对应的商品模块发送第一时刻、第一位置和为用户分配的用户标识;
同理,本实施例的无人购物的信息处理系统为上述图1或者图2所示实施例的无人购物的信息处理系统。详细可以参考上述图1或者图2所示实施例的记载,在此不再赘述。同理,本实施例的人体模块也可以包括人体传感器(sensor)和人体信息处理单元,其中人体传感器可以采用摄像头来实现,可以采集进入店铺的用户的视频,实现对该用户进行跟踪。人体信息处理单元具体用于执行人体模块10中、人体传感器的功能之外的其他功能,例如执行上述步骤S100的功能。
S101、商品模块根据获取的监控区域内、包括第一时刻的预设时间段内发生数量减少或者增多的商品的空间坐标和第一位置,获取用户拿取的商品标识、数量以及变化方向;并向结算模块发送用户标识、商品标识、数量以及变化方向;
也就是说,商品模块在接收到人体模块发送的第一时刻、第一位置和为用户分配的用户标识时,确认该用户标识对应的用户在第一时刻、第一位置发生购物行为,此时可以先获取监控区域内、包括第一时刻的预设时间段内发生数量减少或者增多的商品的空间坐标,然后根据获取的监控区域内、包括第一时刻的预设时间段内发生数量减少或者增多的商品的空间坐标和第一位置,获取用户拿取的商品标识、数量以及变化方向。
例如,若第一位置为用户的手的3d坐标时,该步骤S101具体可以包括:
商品模块判断监控区域内、包括第一时刻的预设时间段内发生数量减少或者增多的商品的空间坐标和用户的手的3d坐标的直线距离是否小于第一预设距离阈值,若是,确定用户拿取或者放回了空间坐标对应的商品;并根据商品的空间坐标与商品标识的对应关系,获取商品的空间坐标对应的商品的标识或者通过图片检测的方式获取对应的商品标识;并获取商品标识对应的商品减少或者增多的数量、以及变化方向。
再例如,若第一位置为用户的3d坐标时,该步骤S101具体可以包括:
商品模块判断监控区域内、包括第一时刻的预设时间段内发生数量减少或者增多的商品的空间坐标和用户的3d坐标的水平方向上的距离是否小于第二预设距离阈值,若是,确定用户拿取或者放回了空间坐标对应的商品;并根据商品的空间坐标与商品标识的对应关系,获取商品的空间坐标对应的商品的标识或者通过图片检测的方式获取对应的商品标识;并获取商品标识对应的商品减少或者增多的数量、以及变化方向。
同理,对于包括第一时刻的预设时间段内发生商品数量减少,认为用户拿取了商品,对应变化方向为购买商品数量增多;相反,对于包括第一时刻的预设时间段内发生商品数量增多,认为用户放回了商品,对应变化方向为购买商品数量减少。其具体实现原理与上述系统实施例中,相关功能的实现相同,详细可以参考上述实施例的记载,在此不再赘述。同理,本实施例的商品模块20包括商品传感器(sensor)和商品信息处理单元,同理,其中商品传感器可以采用摄像头来实现,用于采集其监控区域的商品的视频,如可以包括该商品被拿取或者放回的视频,实现对其监控区域的商品进行检测。商品信息处理单元具体用于执行商品模块11中、商品传感器的功能之外的其他功能,例如执行上述步骤S101的功能。
可选地,在步骤S101之前,还可以包括:商品模块接收并存储外部输入的监控区域内的、各商品的空间坐标以及对应的商品标识;并建立商品的空间坐标与商品标识的对应关系。这样,可以基于商品的空间坐标与商品标识的对应关系,采用上述方式获取商品的空间坐标对应的商品的标识。
S102、结算模块根据接收到的用户标识、商品标识、数量以及变化方向,更新用户的购物账单。
本实施例的无人购物的信息处理系统中的信息处理方法,实现信息处理的过程与上述图1所示所示实施例中的无人购物的信息处理系统中的各模块的功能实现原理相同,详细亦可以参考上述相关实施例的记载,在此不再赘述。
本实施例的无人购物的信息处理系统中的信息处理方法,与现有技术相比,去除了结算模块的中心化,使得系统更加扁平化,从而使得系统更易于扩展。而且还可以避免结算模块的单点压力过大,而且无人购物的信息处理系统的运行也不会受到网络带宽以及计算资源瓶颈等的限制,从而能够有效地提升系统的性能。
图4为本发明的无人购物的信息处理系统中的信息处理方法实施例二的流程图。如图4所示,本实施例的无人购物系统中的信息处理方法,在上述图1所示实施例的步骤S100之前,具体还可以包括如下步骤:
S200、人体模块通过对进入店铺的用户进行跟踪,检测用户是否发生疑似购物行为;若是,执行步骤S201;若不是,暂不执行任何处理,结束。
同理,本实施例的无人购物系统为上述图1或者图2所示实施例的无人购物系统。详细可以参考上述图1或者图2所示实施例的记载,在此不再赘述。
S201、人体模块获取用户发生疑似购物行为时的第二时刻和第二位置;执行步骤S202;
S202、人体模块向第二位置对应的商品模块发送包括第二时刻的疑似购物行为信息;执行步骤S203;
S203、商品模块检测监控区域内、包含第二时刻的预设时间段内是否发生商品数量减少或者增多;若发生,执行步骤S204;否则若未发生,丢弃接收到的包括第二时刻的疑似购物行为信息,结束。
S204、商品模块确定疑似购物行为属于购物行为,向人体模块返回有购物行为的响应消息。
本实施例的无人购物系统中的信息处理方法,在上述图3所示实施例的基础上,增加疑似购物行到购物行为的确认过程。
同理,本实施例的无人购物的信息处理系统中的信息处理方法,人体模块执行的各步骤具体可以由人体信息处理单元来执行。商品模块执行的各步骤具体可以由商品信息处理单元来执行。
本实施例的无人购物的信息处理系统中的信息处理方法,实现信息处理的过程与上述图1所示所示实施例中的无人购物的信息处理系统中的各模块的相同功能实现原理相同,详细亦可以参考上述相关实施例的记载,在此不再赘述。
本实施例的无人购物的信息处理系统中的信息处理方法,可以对疑似购物行为进行验证,以在于确定为购物行为时再进行购物结算,能够确保信息处理的准确性,提高信息处理的效率。
图5为本发明的无人购物的信息处理系统中的信息处理方法实施例三的流程图。如图5所示,本实施例的无人购物系统中的信息处理方法,具体还可以包括如下步骤:
S300、用户进入店铺时,人体模块采集用户的生理参数,并为用户配置用户标识,建立并存储生理参数和用户标识的对应关系;
该步骤的人体模块可以为位于店铺门口的人体模块,该人体模块可以采用存储生理参数和用户标识的对应关系。或者实际应用中,该人体模块也可以与其他人体模块共享该生理参数和用户标识的对应关系。
例如,具体可以由人体模块中的人体传感器采集用户的生理参数,人体信息处理单元为该用户配置用户标识,建立并存储生理参数和用户标识的对应关系。
S301、人体模块通过对用户进行跟踪,获取用户发生购物行为时的第一时刻和第一位置,并向对应的商品模块发送第一时刻、第一位置和为用户分配的用户标识;
该步骤S301中的人体模块可以与步骤S300中的人体模块为同一个,也可以不是同一个。
具体地,人体模块中的人体传感器通过采集用户的视频,实现对用户进行跟踪,人体信息处理单元具体执行步骤S301的操作。
S302、商品模块接收人体模块发送的第一时刻、第一位置和为用户分配的用户标识后,先获取监控区域内、包括第一时刻的预设时间段内发生数量减少或者增多的商品的空间坐标;根据获取的监控区域内、包括第一时刻的预设时间段内发生数量减少或者增多的商品的空间坐标和第一位置,获取用户拿取或者放回的商品标识、数量以及变化方向;并向结算模块发送用户标识、商品标识、数量以及变化方向;
同理,本实施例中,商品模块中的商品传感器用于采集监控区域内的实现,实现对监控区域内的商品进行检测,商品信息处理单元具体执行步骤S302的操作。
S303、结算模块根据接收到的用户标识、商品标识、数量以及变化方向,更新用户的购物账单;
步骤S301-S303的实现方式与上述图3所示实施例的步骤S100-S102的实现方式相同,详细可以参考上述图3所示实施例的记载,在此不再赘述。
S304、在用户要结账离开店铺时,结算模块接收外部输入的携带生理参数的结账请求,向人体模块发送携带生理参数的用户标识获取请求;
S305、人体模块根据存储的生理参数和用户标识的对应关系,获取生理参数对应的用户标识,并向结算模块发送;
同理,该步骤的人体模块执行的各步骤具体可以由人体信息处理单元来执行。
S306、结算模块根据用户标识,获取用户的购物账单;并根据购物账单进行结账处理。
本实施例中根据购物账单进行结账处理时,可以直接在显示屏上显示购物账单的明细、总金额以及收款码等信息,用户根据显示的信息,确认购物账单没有问题,直接扫描收款码付款即可。
或者进一步可选地,步骤S303之后,也可以包括:结算模块接收外部输入的携带生理参数的结账请求,并根据预先从人体模块获取的生理参数和用户标识的对应关系,获取生理参数对应的用户标识;根据用户标识,获取用户的购物账单;并根据购物账单进行结账处理。
本实施例还可以与上述图4所示实施例组合,一起形成本发明的一种可选实施例,在此不再赘述。
本实施例的无人购物的信息处理系统中的信息处理方法,在上述图1所示实施例的基础上,增加了生理参数的采集、生理参数与用户标识的对应关系的绑定以及利用绑定的对应关系来识别用户标识,进而基于用户标识对该用户的账单进行结账处理。结账处理时还可以采用其他方式调取账单,如用户可以记录人体模块为该用户分配的用户标识,在结账时,直接输入该用户标识,进而调取对应的账单,进行结账处理。或者实际应用中,还可以采用其他方式调取账单,在此不再一一举例赘述。
例如,本实施例的用户的生理参数可以为用户的人脸、指纹、手或者虹膜等等。
本实施例的无人购物的信息处理系统中的信息处理方法,实现信息处理的过程与上述图1所示所示实施例中的无人购物的信息处理系统中的各模块的相同功能实现原理相同,详细亦可以参考上述相关实施例的记载,在此不再赘述。
本实施例的无人购物的信息处理系统中的信息处理方法,与现有技术相比,去除了结算模块的中心化,使得系统更加扁平化,从而使得系统更易于扩展。而且还可以避免结算模块的单点压力过大,而且无人购物的信息处理系统的运行也不会受到网络带宽以及计算资源瓶颈等的限制,从而能够有效地提升系统的性能。
图6为本发明的计算机设备实施例的结构图。如图6所示,本实施例的计算机设备,包括:两组摄像头200、一个或多个处理器300,以及存储器400,其中两组摄像头200分别用于采集各自视野范围内的视频流,例如其中一组摄像头用于采集视野范围内的用户的视频流,以结合处理器300实现对用户进行跟踪以及相应的信息处理。另一组摄像头200用于采集视野范围内的商品的视频流,以结合处理器300实现商品相关的处理。存储器400用于存储一个或多个程序,当存储器40中存储的一个或多个程序被一个或多个处理器30执行,使得一个或多个处理器30可以基于两组摄像头200采集的视频流,实现如上图3-图5所示实施例的无人购物的信息处理系统中的信息处理方法。图6所示实施例中以包括多个处理器30为例。本实施例中,其中一组摄像头200和处理器300一起构成上述实施例中的人体模块的功能,另一组摄像头200和处理器300一起构成上述实施例中的商品模块的功能;而结算模块的功能采用处理器300来实现。每一组摄像头200中包括的摄像头的数量可以为一个、两个或者多个,在此不做限定。
例如,图7为本发明提供的一种计算机设备的示例图。图7示出了适于用来实现本发明实施方式的示例性计算机设备12a的框图。图7显示的计算机设备12a仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示,计算机设备12a以通用计算设备的形式表现。计算机设备12a的组件可以包括但不限于:一个或者多个处理器16a,系统存储器28a,连接不同系统组件(包括系统存储器28a和处理器16a)的总线18a。
本实施例的计算机设备12a还可以外接两组摄像头(图中未示意出),其中一组摄像头用于采集视野范围内的用户的视频流,以结合处理器16a实现对用户进行跟踪以及相应的信息处理。另一组摄像头用于采集视野范围内的商品的视频流,以结合处理器16a实现商品相关的处理。
总线18a表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备12a典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12a访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器28a可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)30a和/或高速缓存存储器32a。计算机设备12a可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34a可以用于读写不可移动的、非易失性磁介质(图7未显示,通常称为“硬盘驱动器”)。尽管图7中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18a相连。系统存储器28a可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明上述图1-图5各实施例的功能。
具有一组(至少一个)程序模块42a的程序/实用工具40a,可以存储在例如系统存储器28a中,这样的程序模块42a包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42a通常执行本发明所描述的上述图1-图5各实施例中的功能和/或方法。
计算机设备12a也可以与一个或多个外部设备14a(例如键盘、指向设备、显示器24a等)通信,还可与一个或者多个使得用户能与该计算机设备12a交互的设备通信,和/或与使得该计算机设备12a能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22a进行。并且,计算机设备12a还可以通过网络适配器20a与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器20a通过总线18a与计算机设备12a的其它模块通信。应当明白,尽管图中未示出,可以结合计算机设备12a使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器16a通过运行存储在系统存储器28a中的程序,从而执行各种功能应用以及数据处理,例如实现上述实施例所示的无人购物的信息处理系统中的信息处理方法。
本发明还提供一种计算机可读介质,其上存储有计算机程序,该程序被处理器执行时实现如上述实施例所示的无人购物的信息处理系统中的信息处理方法。
本实施例的计算机可读介质可以包括上述图7所示实施例中的系统存储器28a中的RAM30a、和/或高速缓存存储器32a、和/或存储系统34a。
随着科技的发展,计算机程序的传播途径不再受限于有形介质,还可以直接从网络下载,或者采用其他方式获取。因此,本实施例中的计算机可读介质不仅可以包括有形的介质,还可以包括无形的介质。
本实施例的计算机可读介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于——无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

Claims (18)

1.一种无人购物的信息处理系统,其特征在于,所述系统包括:人体模块、商品模块和结算模块;
所述人体模块,用于通过对进入店铺的用户进行跟踪,获取所述用户发生购物行为时的第一时刻和第一位置,并向对应的所述商品模块发送所述第一时刻、所述第一位置和为所述用户分配的用户标识;
所述商品模块,用于根据获取的监控区域内、包括所述第一时刻的预设时间段内发生数量减少或者增多的商品的空间坐标和所述第一位置,获取所述用户拿取或者放回的商品标识、数量以及变化方向;并向所述结算模块发送用户标识、所述商品标识、数量以及所述变化方向;
所述结算模块,用于根据接收到的所述用户标识、所述商品标识、数量以及所述变化方向,更新所述用户的购物账单。
2.根据权利要求1所述的系统,其特征在于:
所述人体模块,还用于通过对进入店铺的用户进行跟踪,检测所述用户是否发生疑似购物行为,若是,获取所述用户发生疑似购物行为时的第二时刻和第二位置,向所述第二位置对应的所述商品模块发送包括所述第二时刻的疑似购物行为信息;
所述商品模块,还用于检测所述监控区域内、包含所述第二时刻的预设时间段内是否发生商品数量减少或者增多;若发生,确定所述疑似购物行为属于购物行为,向所述人体模块返回有购物行为的响应消息。
3.根据权利要求1所述的系统,其特征在于,所述第一位置为所述用户的手的3d坐标时,所述商品模块,具体用于:
判断获取的所述监控区域内、包括所述第一时刻的预设时间段内发生数量减少或者增多的商品的空间坐标和所述用户的手的3d坐标的直线距离是否小于第一预设距离阈值,若是,确定所述用户拿取或者放回了所述空间坐标对应的商品;
并根据商品的空间坐标与商品标识的对应关系,获取所述商品的空间坐标对应的商品标识或者通过图片检测的方式获取对应的商品标识;并获取所述商品标识对应的商品减少或者增多的数量、以及所述变化方向;
向所述结算模块发送用户标识、所述商品标识、数量以及所述变化方向。
4.根据权利要求1所述的系统,其特征在于,所述第一位置为所述用户的3d坐标时,所述商品模块,具体用于:
判断获取的所述监控区域内、包括所述第一时刻的预设时间段内发生数量减少或者增多的商品的空间坐标和所述用户的3d坐标的水平方向上的距离是否小于第二预设距离阈值,若是,确定所述用户拿取或者放回了所述空间坐标对应的商品;
并根据商品的空间坐标与商品标识的对应关系,获取所述商品的空间坐标对应的商品的标识或者通过图片检测的方式获取对应的商品标识;并获取所述商品标识对应的商品减少或者增多的数量、以及所述变化方向;向所述结算模块发送用户标识、所述商品标识、数量以及所述变化方向。
5.根据权利要求1-3任一所述的系统,其特征在于,所述商品模块,还用于接收并存储外部输入的监控区域内的、各所述商品的空间坐标以及对应的商品标识;并建立所述商品的空间坐标与商品标识的对应关系。
6.根据权利要求1所述的系统,其特征在于,所述人体模块,还用于采集所述用户的生理参数,并为所述用户配置所述用户标识,建立并存储所述生理参数和所述用户标识的对应关系。
7.根据所述权利要求6所述的系统,其特征在于,所述结算模块,还用于接收外部输入的携带所述生理参数的结账请求,向所述人体模块发送携带所述生理参数的用户标识获取请求;
所述人体模块,还用于接收所述结算模块发送的携带所述生理参数的用户标识获取请求,并根据存储的所述生理参数和所述用户标识的对应关系,获取所述生理参数对应的所述用户标识,并向所述结算模块发送;
所述结算模块,还用于根据所述用户标识,获取所述用户的购物账单,并根据所述购物账单进行结账处理。
8.根据权利要求6所述的系统,其特征在于,所述结算模块,还用于接收外部输入的携带所述生理参数的结账请求,并根据预先从所述人体模块获取的所述生理参数和所述用户标识的对应关系,获取所述生理参数对应的所述用户标识;根据所述用户标识,获取所述用户的购物账单,并根据所述购物账单进行结账处理。
9.一种无人购物的信息处理系统中的信息处理方法,其特征在于,所述方法包括:
所述人体模块通过对进入店铺的用户进行跟踪,获取所述用户发生购物行为时的第一时刻和第一位置,并向对应的所述商品模块发送所述第一时刻、所述第一位置和为所述用户分配的用户标识;
所述商品模块根据获取的监控区域内、包括所述第一时刻的预设时间段内发生数量减少或者增多的商品的空间坐标和所述第一位置,获取所述用户拿取或者放回的商品标识、数量以及变化方向;并向所述结算模块发送用户标识、所述商品标识、数量以及所述变化方向;
所述结算模块根据接收到的所述用户标识、所述商品标识、数量以及所述变化方向,更新所述用户的购物账单。
10.根据权利要求9所述的方法,其特征在于,所述人体模块通过对进入店铺的用户进行跟踪,获取所述用户发生购物行为时的第一时刻和第一位置之前,所述方法还包括:
所述人体模块通过对进入店铺的用户进行跟踪,检测所述用户是否发生疑似购物行为;若是,获取所述用户发生疑似购物行为时的第二时刻和第二位置,向所述第二位置对应的所述商品模块发送包括所述第二时刻的疑似购物行为信息;
所述商品模块检测所述监控区域内、包含所述第二时刻的预设时间段内是否发生商品数量减少或者增多;若发生,确定所述疑似购物行为属于购物行为,向所述人体模块返回有购物行为的响应消息。
11.根据权利要求9所述的方法,其特征在于,所述第一位置为所述用户的手的3d坐标时,所述商品模块根据监控区域内、包括所述第一时刻的预设时间段内发生数量减少或者增多的商品的空间坐标和所述第一位置,获取所述用户拿取或者放回的商品标识、数量以及变化方向,包括:
所述商品模块判断获取的所述监控区域内、包括所述第一时刻的预设时间段内发生数量减少或者增多的商品的空间坐标和所述用户的手的3d坐标的直线距离是否小于第一预设距离阈值,若是,确定所述用户拿取或者放回了所述空间坐标对应的商品;
并根据商品的空间坐标与商品标识的对应关系,获取所述商品的空间坐标对应的商品的标识或者通过图片检测的方式获取对应的商品标识;并获取所述商品标识对应的商品减少或者增多的数量、以及所述变化方向。
12.根据权利要求9所述的方法,其特征在于,所述第一位置为所述用户的3d坐标时,所述商品模块根据监控区域内、包括所述第一时刻的预设时间段内发生数量减少或者增多的商品的空间坐标和所述第一位置,获取所述用户拿取或者放回的商品标识、数量以及变化方向,包括:
所述商品模块判断获取的所述监控区域内、包括所述第一时刻的预设时间段内发生数量减少或者增多的商品的空间坐标和所述用户的3d坐标的水平方向上的距离是否小于第二预设距离阈值,若是,确定所述用户拿取或者放回了所述空间坐标对应的商品;
并根据商品的空间坐标与商品标识的对应关系,获取所述商品的空间坐标对应的商品的标识或者通过图片检测的方式获取对应的商品标识;并获取所述商品标识对应的商品减少或者增多的数量、以及所述变化方向。
13.根据权利要求9-12任一所述的方法,其特征在于,所述商品模块根据监控区域内、包括所述第一时刻的预设时间段内发生数量减少、以及所述变化方向的商品的空间坐标和所述第一位置,获取所述用户拿取或者放回的商品标识、数量以及变化方向之前,所述方法还包括:
所述商品模块接收并存储外部输入的监控区域内的、各所述商品的空间坐标以及对应的商品标识;并建立所述商品的空间坐标与商品标识的对应关系。
14.根据权利要求9所述的方法,其特征在于,所述人体模块通过对进入店铺的用户进行跟踪,获取所述用户发生购物行为时的第一时刻和第一位置之前,所述方法还包括:
所述人体模块采集所述用户的生理参数,并为所述用户配置所述用户标识,建立并存储所述生理参数和所述用户标识的对应关系。
15.根据所述权利要求14所述的方法,其特征在于,所述结算模块根据接收到的所述用户标识、所述商品标识以及数量,更新所述用户的购物账单之后,所述方法,还包括:
所述结算模块接收外部输入的携带所述生理参数的结账请求,向所述人体模块发送携带所述生理参数的用户标识获取请求;
所述人体模块根据存储的所述生理参数和所述用户标识的对应关系,获取所述生理参数对应的所述用户标识,并向所述结算模块发送;
所述结算模块根据所述用户标识,获取所述用户的购物账单;并根据所述购物账单进行结账处理。
16.根据所述权利要求14所述的方法,其特征在于,所述结算模块根据接收到的所述用户标识、所述商品标识以及数量,更新所述用户的购物账单之后,所述方法,还包括:
所述结算模块接收外部输入的携带所述生理参数的结账请求,并根据预先从所述人体模块获取的所述生理参数和所述用户标识的对应关系,获取所述生理参数对应的所述用户标识;根据所述用户标识,获取所述用户的购物账单;并根据所述购物账单进行结账处理。
17.一种计算机设备,其特征在于,所述设备包括:
两组摄像头,分别用于采集各自视野范围内的视频流;
一个或多个处理器,基于采集的所述视频流进行信息处理;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求9-16中任一所述的方法。
18.一种计算机可读介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求9-16中任一所述的方法。
CN201910470522.0A 2019-05-31 2019-05-31 无人购物的信息处理系统及方法、计算机设备及可读介质 Active CN110223144B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910470522.0A CN110223144B (zh) 2019-05-31 2019-05-31 无人购物的信息处理系统及方法、计算机设备及可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910470522.0A CN110223144B (zh) 2019-05-31 2019-05-31 无人购物的信息处理系统及方法、计算机设备及可读介质

Publications (2)

Publication Number Publication Date
CN110223144A true CN110223144A (zh) 2019-09-10
CN110223144B CN110223144B (zh) 2023-01-17

Family

ID=67819229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910470522.0A Active CN110223144B (zh) 2019-05-31 2019-05-31 无人购物的信息处理系统及方法、计算机设备及可读介质

Country Status (1)

Country Link
CN (1) CN110223144B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112488318A (zh) * 2019-09-11 2021-03-12 阿里巴巴集团控股有限公司 自助收银系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015025490A1 (ja) * 2013-08-21 2015-02-26 日本電気株式会社 店舗内顧客行動分析システム、店舗内顧客行動分析方法および店舗内顧客行動分析プログラム
CN107134053A (zh) * 2017-04-19 2017-09-05 石道松 智能售货门店
JP2017157216A (ja) * 2016-02-29 2017-09-07 サインポスト株式会社 情報処理システム
US20180165728A1 (en) * 2016-12-09 2018-06-14 Bodega AI, Inc. Distributed and automated transaction systems
CN108805495A (zh) * 2018-05-31 2018-11-13 京东方科技集团股份有限公司 物品存放管理方法和系统及计算机可读介质
CN109409291A (zh) * 2018-10-26 2019-03-01 虫极科技(北京)有限公司 智能货柜的商品识别方法和系统及购物订单的生成方法
CN109447619A (zh) * 2018-09-20 2019-03-08 华侨大学 基于开放环境的无人结算方法、装置、设备和系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015025490A1 (ja) * 2013-08-21 2015-02-26 日本電気株式会社 店舗内顧客行動分析システム、店舗内顧客行動分析方法および店舗内顧客行動分析プログラム
JP2017157216A (ja) * 2016-02-29 2017-09-07 サインポスト株式会社 情報処理システム
US20180165728A1 (en) * 2016-12-09 2018-06-14 Bodega AI, Inc. Distributed and automated transaction systems
CN107134053A (zh) * 2017-04-19 2017-09-05 石道松 智能售货门店
CN108805495A (zh) * 2018-05-31 2018-11-13 京东方科技集团股份有限公司 物品存放管理方法和系统及计算机可读介质
CN109447619A (zh) * 2018-09-20 2019-03-08 华侨大学 基于开放环境的无人结算方法、装置、设备和系统
CN109409291A (zh) * 2018-10-26 2019-03-01 虫极科技(北京)有限公司 智能货柜的商品识别方法和系统及购物订单的生成方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112488318A (zh) * 2019-09-11 2021-03-12 阿里巴巴集团控股有限公司 自助收银系统及方法

Also Published As

Publication number Publication date
CN110223144B (zh) 2023-01-17

Similar Documents

Publication Publication Date Title
TWI773797B (zh) 用以追蹤真實空間之區域中的多關節主體之系統,方法及電腦程式產品
US10133933B1 (en) Item put and take detection using image recognition
JP2020173815A (ja) 画像及び数量センサを統合したスマート棚システム
JP2020115344A6 (ja) 自律店舗追跡システム
CN109711827A (zh) 一种近眼显示设备的新零售支付方法及支付系统
JP7436670B2 (ja) 路車協調における目標検出方法、装置及び路側機器
US20230005194A1 (en) Image processing method and apparatus, readable medium and electronic device
CN113569825B (zh) 视频监控方法、装置、电子设备和计算机可读介质
CN109829777A (zh) 一种智能购物系统和购物方法
CN105308618A (zh) 借助于并行检测和跟踪和/或分组特征运动移位跟踪的人脸识别
CN109840982A (zh) 排队推荐方法及装置、计算机可读存储介质
CN109978668A (zh) 基于时间戳匹配的交易顾客识别方法、系统、设备及介质
CN113077299A (zh) 订单处理方法、装置、设备及存储介质
CN110895768A (zh) 一种数据处理方法、设备、系统及存储介质
JP2021503665A (ja) 環境モデルを生成するための方法および装置ならびに記憶媒体
CN110223144A (zh) 无人购物的信息处理系统及方法、计算机设备及可读介质
CN116958908B (zh) 监控数据处理方法及系统
CN111507792A (zh) 一种自助购物方法、计算机可读存储介质及系统
CN110190972A (zh) 物联网增值业务管理方法、装置、计算机设备及存储介质
CN110246280A (zh) 人货绑定方法及装置、计算机设备及可读介质
WO2023246720A1 (zh) 路侧停车检测方法、系统及电子设备
JP6399096B2 (ja) 情報処理装置、表示方法およびコンピュータプログラム
CN109523360B (zh) 一种信息推荐方法及系统
CN113627393B (zh) 基于双重神经网络的商品识别方法及智能售货系统
CN116012609A (zh) 一种环视鱼眼多目标跟踪方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant