CN108681940A - 储物装置中人机交互方法、装置、储物装置及存储介质 - Google Patents

储物装置中人机交互方法、装置、储物装置及存储介质 Download PDF

Info

Publication number
CN108681940A
CN108681940A CN201810439679.2A CN201810439679A CN108681940A CN 108681940 A CN108681940 A CN 108681940A CN 201810439679 A CN201810439679 A CN 201810439679A CN 108681940 A CN108681940 A CN 108681940A
Authority
CN
China
Prior art keywords
article
user
information
storage device
voice messaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810439679.2A
Other languages
English (en)
Inventor
吴晓
胡龙耀
耿路
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LIANYUNGANG QUATIUS DIGITAL TECHNOLOGY Co Ltd
Original Assignee
LIANYUNGANG QUATIUS DIGITAL TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LIANYUNGANG QUATIUS DIGITAL TECHNOLOGY Co Ltd filed Critical LIANYUNGANG QUATIUS DIGITAL TECHNOLOGY Co Ltd
Priority to CN201810439679.2A priority Critical patent/CN108681940A/zh
Publication of CN108681940A publication Critical patent/CN108681940A/zh
Priority to US16/223,887 priority patent/US20190347705A1/en
Priority to EP18213969.1A priority patent/EP3567452A1/en
Priority to AU2018282398A priority patent/AU2018282398A1/en
Priority to TW107146114A priority patent/TWI688881B/zh
Priority to AU2019267982A priority patent/AU2019267982A1/en
Priority to PCT/CN2019/086166 priority patent/WO2019214672A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0639—Item locations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Ophthalmology & Optometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及一种储物装置中人机交互方法、装置、储物装置及存储介质。所述方法包括：侦测预设区域内的用户行为，预设区域包括储物装置感应区域，根据用户行为提取用户的语音信息和/或面部信息，根据语音信息和/或面部信息，确定用户关注的物品的目标位置，根据预设的储物装置中存储物品位置与存储物品标识对应关系，获取目标位置对应的物品标识，推送物品标识对应的物品信息。本方案使用户能够及时了解到自己感兴趣的物品信息，解决了传统的购物消费模式存在的问题。

Description

储物装置中人机交互方法、装置、储物装置及存储介质
技术领域
本申请涉及侦测分析技术领域，特别是涉及一种储物装置中人机交互方法、装置、储物装置及存储介质。
背景技术
随着人们消费水平及消费质量的进一步提升，人们对于消费环境、消费体验的要求也越来越高。
在传统的购物消费模式中，消费者在挑选商品时，往往需要通过向售货员询问商品的相关信息，从而进一步了解商品。在询问的过程中，需要耗费大量的人力和时间，而且询问结果也存在不准确甚至无法找到售货员询问等情况，传统的购物消费模式存在着消费者不能及时了解物品信息的缺陷。
发明内容
基于此，有必要针对上述技术问题，提供一种能够基于用户行为提供准确物品信息的储物装置中人机交互方法、装置、储物装置及存储介质。
一种储物装置中人机交互方法，所述方法包括：
侦测预设区域内的用户行为，预设区域包括储物装置感应区域；
根据用户行为提取用户的语音信息和/或面部信息；
根据语音信息和/或面部信息，确定用户关注的物品的目标位置；
根据预设的储物装置中存储物品位置与存储物品标识对应关系，获取目标位置对应的物品标识；
推送物品标识对应的物品信息。
在其中一个实施例中，根据语音信息和/或面部信息，确定用户关注的物品的目标位置包括：
根据语音信息，提取用户关注的物品的信息；
根据用户关注的物品的信息，确定用户关注的物品；
获取用户关注的物品的目标位置。
在其中一个实施例中，面部信息包括眼球焦点信息和面部表情。
在其中一个实施例中，根据用户行为提取用户的语音信息和/或面部信息之后，包括：
根据用户行为提取用户的位置信息；
根据语音信息和/或面部信息，确定用户关注的物品的目标位置包括：
根据位置信息，确定用户关注的物品；
获取用户关注的物品的目标位置。
在其中一个实施例中，侦测预设区域内的用户行为之后，包括：
推送预设的推荐物品的物品信息。
在其中一个实施例中，推送物品标识对应的物品信息之后，包括：
接收用户反馈语音信息；
查找与用户反馈语音信息对应的操作指令，响应操作指令。
在其中一个实施例中，响应操作指令之后，包括：
存储用户的相关信息，用户的相关信息包括语音信息和/或面部信息以及用户反馈语音信息。
一种储物装置中人机交互装置，所述装置包括：
侦测模块，用于侦测预设区域内的用户行为，预设区域包括储物装置感应区域；
提取模块，用于根据用户行为提取用户的语音信息和/或面部信息；
处理模块，用于根据语音信息和/或面部信息，确定用户关注的物品的目标位置；
获取模块，用于根据预设的储物装置中存储物品位置与存储物品标识对应关系，获取目标位置对应的物品标识；
推送模块，用于推送物品标识对应的物品信息。
一种储物装置，包括储物装置本体和处理器，储物装置本体与处理器相连接，处理器内存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
侦测预设区域内的用户行为，预设区域包括储物装置感应区域；
根据用户行为提取用户的语音信息和/或面部信息；
根据语音信息和/或面部信息，确定用户关注的物品的目标位置；
根据预设的储物装置中存储物品位置与存储物品标识对应关系，获取目标位置对应的物品标识；
推送物品标识对应的物品信息。
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
侦测预设区域内的用户行为，预设区域包括储物装置感应区域；
根据用户行为提取用户的语音信息和/或面部信息；
根据语音信息和/或面部信息，确定用户关注的物品的目标位置；
根据预设的储物装置中存储物品位置与存储物品标识对应关系，获取目标位置对应的物品标识；
推送物品标识对应的物品信息。
上述储物装置中人机交互方法、装置、储物装置及存储介质，通过侦测预设区域内的用户行为，根据用户行为提取用户的语音信息和/或面部信息，对语音信息和/或面部信息进行分析，从而确定用户关注的物品的目标位置，根据预设的储物装置中存储物品位置与存储物品标识对应关系，获取目标位置对应的物品标识，推送物品标识对应的物品信息，使用户能够及时了解到自己感兴趣的物品信息，解决了传统的购物消费模式存在的问题。
附图说明
图1为一个实施例中储物装置中人机交互方法的流程示意图；
图2为另一个实施例中储物装置中人机交互方法的流程示意图；
图3为一个实施例中根据眼球焦点信息确定用户关注的物品的示意图；
图4为另一个实施例中储物装置中人机交互方法的流程示意图；
图5为一个实施例中储物装置中人机交互装置的结构框图；
图6为另一个实施例中储物装置中人机交互装置的结构框图；
图7为一个实施例中计算机设备的内部结构图；
图8为一个实施例中储物装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种储物装置中人机交互方法，包括以下步骤：
S120：侦测预设区域内的用户行为，预设区域包括储物装置感应区域。
侦测常用于无人值守的监控领域，在预设区域内对用户行为进行侦测，可以降低人工监控成本，提高监控效率和监控精度。侦测技术是运动检测录像技术的基础，被广泛的应用于各个领域。预设区域指的是储物装置感应区域，感应区域的范围阈值可根据需要自行设置，其中，储物装置指的是用于存放物品的装置。用户行为包括用户在预设区域内的语言行为和动作行为，通过侦测预设区域内的用户语言行为和动作行为，可为推送物品信息提供依据。
S140：根据用户行为提取用户的语音信息和/或面部信息。
根据用户的语言行为通过语音识别技术可提取用户的语音信息，语音识别技术也成为自动语音识别，其目标是将人类的语音中的词汇内容转换为计算机可读的输入，语音识别技术提取用户的语音信息，分析用户的语音信息中包括的词汇，根据用户的语音信息中包括的词汇，确定用户关注的物品。用户的面部信息包括用户的眼球焦点信息和面部表情，根据用户的动作行为通过眼球焦点定位可提取用户的眼球焦点信息，根据用户的动作行为通过人脸识别技术可提取用户的面部信息，用户的眼球焦点信息可用于确定用户关注的物品的目标位置，用户的面部表情可以判断用户对放置于储物装置中的物品的喜好程度。
S160：根据语音信息和/或面部信息，确定用户关注的物品的目标位置。
根据用户的语音信息中包括的词汇，分析用户的意图，确定用户关注的物品。举例说明，当用户的语音信息中包括“饮料”等词汇时，可认为用户此时需要的物品为饮料，进一步的，若用户的语音中包括“可乐”等词汇时，可认为用户此时需要的物品为可乐；当用户的语音信息中包括“饼干”或“面包”等词汇时，可认为用户此时需要的物品为食物；当用户的语音信息中包括“饿”等词汇时，可认为用户此时需要的物品为食物；当用户的语音信息中包括“渴”等词汇时，可认为用户此时需要的物品为饮料。当确定用户此时需要的物品之后，进一步确定物品的目标位置。
根据用户面部信息中的眼球焦点信息可确定用户关注的物品的目标位置，分析眼球焦点信息，确定用户眼球焦点，将与用户眼球焦点相对应的物品的位置作为用户关注的物品的目标位置。根据用户面部信息中的面部表情可以判断用户对放置于储物装置中的物品的喜好程度。举例说明，当用户靠近储物装置时，储物装置会推送预设的推荐物品的物品信息，通过分析用户在看到推荐物品的物品信息时的面部表情，判断用户是否喜好当前推荐物品；当用户站在储物装置前时，通过分析用户的面部表情可以判断用户是否喜好与其正对的放置于储物装置内的物品。当确定用户喜欢的物品之后，进一步确定物品的目标位置。
S180：根据预设的储物装置中存储物品位置与存储物品标识对应关系，获取目标位置对应的物品标识。
储物装置中存储物品位置与存储物品标识是对应关系，可根据存储物品位置获取对应的存储物品标识。在本实施例中，可根据用户关注的物品的目标位置获取与目标位置对应的物品标识。举例说明，在储物装置中，存储有可乐、雪碧、饼干、面包，它们的位置分别为A、B、C、D，对应的标识分别为1、2、3、4，当确定用户关注的物品为可乐时，此时确定用户关注的物品的目标位置为A位置，进一步可获取A位置对应的物品标识1。
S190：推送物品标识对应的物品信息。
物品标识对应不同的物品，当确定用户关注的物品的目标位置之后，进一步获取目标位置对应的物品标识，推送物品标识对应的物品信息，物品信息包括物品的价格、重量以及保质期等。其中，物品标识以及其对应的物品信息已存储于储物装置中的处理器内。
上述储物装置中人机交互方法，通过侦测预设区域内的用户行为，根据用户行为提取用户的语音信息和/或面部信息，对语音信息和/或面部信息进行分析，从而确定用户关注的物品的目标位置，根据预设的储物装置中存储物品位置与存储物品标识对应关系，获取目标位置对应的物品标识，推送物品标识对应的物品信息，使用户能够及时了解到自己感兴趣的物品信息，解决了传统的购物消费模式存在的问题。
在其中一个实施例中，如图2所示，S160包括：
S202：根据语音信息，提取用户关注的物品的信息；
S204：根据用户关注的物品的信息，确定用户关注的物品；
S206：获取用户关注的物品的目标位置。
根据语音信息中包括的词汇提取用户关注的物品的信息，将用户语音信息中包括的词汇与储物装置中的物品的名称、类别以及用途进行匹配，提取用户关注的物品的信息。举例说明，当用户的语音信息中包括“饮料”等词汇时，可认为用户关注的物品为饮料，进一步的，若用户的语音中包括“可乐”等词汇时，可认为用户关注的物品为可乐；当用户的语音信息中包括“饼干”或“面包”等词汇时，可认为用户关注的物品为食物；当用户的语音信息中包括“饿”等词汇时，可认为用户关注的物品为食物；当用户的语音信息中包括“渴”等词汇时，可认为用户关注的物品为饮料。当确定用户关注的物品之后，进一步确定物品的目标位置。
在其中一个实施例中，面部信息包括眼球焦点信息和面部表情。
眼球焦点信息包括用户眼球焦点的位置信息，根据用户眼球焦点的位置信息可确定用户关注的物品，即将与用户眼球焦点的位置相对应的物品作为用户关注的物品。如图3所示，储物装置内放置有物品标识分别为①、②、③、④的四个物品，当用户关注的物品为④号物品时，通过分析用户眼球焦点的位置信息，可确定④号物品为用户关注的物品。通过人脸识别技术可识别到用户的面部表情，通过用户的面部表情可判断用户对与其面部正对的放置于储物装置中的物品的喜好程度，确定正对用户面部的物品是否为用户关注的物品。
在其中一个实施例中，如图4所示，S140之后，包括：
S402：根据用户行为提取用户的位置信息；
S160包括：
S404：根据位置信息，确定用户关注的物品；
S406：获取用户关注的物品的目标位置。
根据用户行为可提取用户的位置信息，根据位置信息以及语音信息和/或面部信息，确定用户关注的物品的目标位置。举例说明，当用户站在储物装置的左侧时，可确定用户关注的物品的目标位置在储物装置的左侧。
在其中一个实施例中，如图4所示，S120之后，包括：
S408：推送预设的推荐物品的物品信息。
在侦测预设区域内的用户行为之后，当用户不断靠近预设区域内时，推送预设的推荐物品的物品信息。其中，推荐物品包括储物装置中的畅销物品，在推送预设的推荐物品的物品信息的同时，也会推送欢迎信息，吸引用户靠近储物装置。
在其中一个实施例中，如图4所示，S190之后，包括：
S410：接收用户反馈语音信息；
S412：查找与用户反馈语音信息对应的操作指令，响应操作指令。
在推送物品标识对应的物品信息之后，会接收用户反馈语音信息，查找与用户反馈语音信息对应的操作指令，响应操作指令。其中，操作指令包括推送物品标识对应的物品的详细信息和推送预设的推荐物品的物品信息等。举例说明，在推送物品标识对应的物品信息之后，若用户想进一步了解物品的详细信息时，接收用户反馈的“进一步了解”的语音信息，查找与用户反馈的“进一步了解”的语音信息对应的操作指令，推送物品标识对应的物品的详细信息；当用户不想进一步了解物品的详细信息时，接收用户反馈的“不感兴趣”的语音信息，查找与用户反馈的“不感兴趣”的语音信息对应的操作指令，不再推送物品标识对应的物品信息，转而推送预设的推荐物品的物品信息。其中物品的详细信息包括物品的价格、重量、名称和保质期等。
在其中一个实施例中，S412之后，包括：
S414：存储用户的相关信息，用户的相关信息包括语音信息和/或面部信息以及用户反馈语音信息。
存储用户的相关信息可用于数据分析，以及在下一次用户靠近储物装置时实现精准推送。
应该理解的是，虽然图1-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图5所示，提供了一种储物装置中人机交互装置，包括：侦测模块100、提取模块200、处理模块300、获取模块400和推送模块500，其中：
侦测模块100，用于侦测预设区域内的用户行为，预设区域包括储物装置感应区域；
提取模块200，用于根据用户行为提取用户的语音信息和/或面部信息；
处理模块300，用于根据语音信息和/或面部信息，确定用户关注的物品的目标位置；
获取模块400，用于根据预设的储物装置中存储物品位置与存储物品标识对应关系，获取目标位置对应的物品标识；
推送模块500，用于推送物品标识对应的物品信息。
在其中一个实施例中，如图6所示，处理模块300包括语音模块320，用于：
根据语音信息，提取用户关注的物品的信息；
根据用户关注的物品的信息，确定用户关注的物品；
获取用户关注的物品的目标位置。
在其中一个实施例中，如图6所示，储物装置中人机交互装置还包括位置模块600，用于：
根据用户行为提取用户的位置信息；
处理模块300包括位置获取模块340，用于：
根据位置信息，确定用户关注的物品；
获取用户关注的物品的目标位置。
在其中一个实施例中，如图6所示，储物装置中人机交互装置还包括推荐模块700，用于推送预设的推荐物品的物品信息。
在其中一个实施例中，如图6所示，储物装置中人机交互装置还包括反馈模块800，用于：
接收用户反馈语音信息；
查找与用户反馈语音信息对应的操作指令，响应操作指令。
在其中一个实施例中，如图6所示，储物装置中人机交互装置还包括存储模块900，用于存储用户的相关信息，用户的相关信息包括语音信息和/或面部信息以及用户反馈语音信息。
上述储物装置中人机交互装置，通过侦测预设区域内的用户行为，根据用户行为提取用户的语音信息和/或面部信息，对语音信息和/或面部信息进行分析，从而确定用户关注的物品的目标位置，根据预设的储物装置中存储物品位置与存储物品标识对应关系，获取目标位置对应的物品标识，推送物品标识对应的物品信息，使用户能够及时了解到自己感兴趣的物品信息，解决了传统的购物消费模式存在的问题。
关于储物装置中人机交互装置的具体限定可以参见上文中对于储物装置中人机交互方法的限定，在此不再赘述。上述储物装置中人机交互装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种储物装置中人机交互方法。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
一种储物装置，如图8所示，包括储物装置本体820和处理器840，储物装置本体820与处理器840相连接，处理器内存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
侦测预设区域内的用户行为，预设区域包括储物装置感应区域；
根据用户行为提取用户的语音信息和/或面部信息；
根据语音信息和/或面部信息，确定用户关注的物品的目标位置；
根据预设的储物装置中存储物品位置与存储物品标识对应关系，获取目标位置对应的物品标识；
推送物品标识对应的物品信息。
储物装置本体包括侦测器和显示器，储物装置本体用于放置存储物品，侦测器用于根据处理器的指令对预设范围内的用户行为进行侦测，显示器用于根据处理器的指令显示处理器推送的物品标识对应的物品信息、推荐物品的信息、欢迎信息以及物品的详细信息。
上述储物装置，通过侦测预设区域内的用户行为，根据用户行为提取用户的语音信息和/或面部信息，对语音信息和/或面部信息进行分析，从而确定用户关注的物品的目标位置，根据预设的储物装置中存储物品位置与存储物品标识对应关系，获取目标位置对应的物品标识，推送物品标识对应的物品信息，使用户能够及时了解到自己感兴趣的物品信息，解决了传统的购物消费模式存在的问题。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
侦测预设区域内的用户行为，预设区域包括储物装置感应区域；
根据用户行为提取用户的语音信息和/或面部信息；
根据语音信息和/或面部信息，确定用户关注的物品的目标位置；
根据预设的储物装置中存储物品位置与存储物品标识对应关系，获取目标位置对应的物品标识；
推送物品标识对应的物品信息。
上述计算机设备，通过侦测预设区域内的用户行为，根据用户行为提取用户的语音信息和/或面部信息，对语音信息和/或面部信息进行分析，从而确定用户关注的物品的目标位置，根据预设的储物装置中存储物品位置与存储物品标识对应关系，获取目标位置对应的物品标识，推送物品标识对应的物品信息，使用户能够及时了解到自己感兴趣的物品信息，解决了传统的购物消费模式存在的问题。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据语音信息，提取用户关注的物品的信息；
根据用户关注的物品的信息，确定用户关注的物品；
获取用户关注的物品的目标位置。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据用户行为提取用户的位置信息；
根据位置信息，确定用户关注的物品；
获取用户关注的物品的目标位置。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
推送预设的推荐物品的物品信息。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
接收用户反馈语音信息；
查找与用户反馈语音信息对应的操作指令，响应操作指令。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
存储用户的相关信息，用户的相关信息包括语音信息和/或面部信息以及用户反馈语音信息。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
侦测预设区域内的用户行为，预设区域包括储物装置感应区域；
根据用户行为提取用户的语音信息和/或面部信息；
根据语音信息和/或面部信息，确定用户关注的物品的目标位置；
根据预设的储物装置中存储物品位置与存储物品标识对应关系，获取目标位置对应的物品标识；
推送物品标识对应的物品信息。
上述存储介质，通过侦测预设区域内的用户行为，根据用户行为提取用户的语音信息和/或面部信息，对语音信息和/或面部信息进行分析，从而确定用户关注的物品的目标位置，根据预设的储物装置中存储物品位置与存储物品标识对应关系，获取目标位置对应的物品标识，推送物品标识对应的物品信息，使用户能够及时了解到自己感兴趣的物品信息，解决了传统的购物消费模式存在的问题。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据语音信息，提取用户关注的物品的信息；
根据用户关注的物品的信息，确定用户关注的物品；
获取用户关注的物品的目标位置。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据用户行为提取用户的位置信息；
根据位置信息，确定用户关注的物品；
获取用户关注的物品的目标位置。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
推送预设的推荐物品的物品信息。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
接收用户反馈语音信息；
查找与用户反馈语音信息对应的操作指令，响应操作指令。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
存储用户的相关信息，用户的相关信息包括语音信息和/或面部信息以及用户反馈语音信息。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
下面通过一个实施例来说明本申请的方案。
当用户靠近储物装置感应区域时，推送欢迎信息和推荐物品的信息吸引用户，侦测储物装置感应区域内的用户行为，根据用户行为提取用户的语音信息和/或面部信息，以及位置信息，根据用户的语音信息和/或面部信息，以及位置信息确定用户关注的物品的目标位置，根据预设的储物装置中存储物品位置与存储物品标识对应关系，获取目标位置对应的物品标识，推送物品标识对应的物品信息，接收用户反馈语音信息，当用户想进一步了解物品的详细信息时，推送物品的详细信息；当用户对推送的物品信息不感兴趣时，停止推送与物品标识对应的物品信息，转而推送推荐物品的信息。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种储物装置中人机交互方法，其特征在于，所述方法包括：
侦测预设区域内的用户行为，所述预设区域包括储物装置感应区域；
根据所述用户行为提取用户的语音信息和/或面部信息；
根据所述语音信息和/或面部信息，确定用户关注的物品的目标位置；
根据预设的储物装置中存储物品位置与存储物品标识对应关系，获取所述目标位置对应的物品标识；
推送所述物品标识对应的物品信息。
2.根据权利要求1所述的方法，其特征在于，所述根据所述语音信息和/或面部信息，确定用户关注的物品的目标位置包括：
根据所述语音信息，提取用户关注的物品的信息；
根据所述用户关注的物品的信息，确定用户关注的物品；
获取所述用户关注的物品的目标位置。
3.根据权利要求1所述的方法，其特征在于，所述面部信息包括眼球焦点信息和面部表情。
4.根据权利要求1所述的方法，其特征在于，所述根据所述用户行为提取用户的语音信息和/或面部信息之后，包括：
根据所述用户行为提取用户的位置信息；
根据所述语音信息和/或面部信息，确定用户关注的物品的目标位置包括：
根据所述位置信息，确定用户关注的物品；
获取所述用户关注的物品的目标位置。
5.根据权利要求1所述的方法，其特征在于，所述侦测预设区域内的用户行为之后，包括：
推送预设的推荐物品的物品信息。
6.根据权利要求1所述的方法，其特征在于，所述推送所述物品标识对应的物品信息之后，包括：
接收用户反馈语音信息；
查找与所述用户反馈语音信息对应的操作指令，响应所述操作指令。
7.根据权利要求6所述的方法，其特征在于，所述响应所述操作指令之后，包括：
存储用户的相关信息，所述用户的相关信息包括所述语音信息和/或面部信息以及所述用户反馈语音信息。
8.一种储物装置中人机交互装置，其特征在于，所述装置包括：
侦测模块，用于侦测预设区域内的用户行为，所述预设区域包括储物装置感应区域；
提取模块，用于根据所述用户行为提取用户的语音信息和/或面部信息；
处理模块，用于根据所述语音信息和/或面部信息，确定用户关注的物品的目标位置；
获取模块，用于根据预设的储物装置中存储物品位置与存储物品标识对应关系，获取所述目标位置对应的物品标识；
推送模块，用于推送所述物品标识对应的物品信息。
9.一种储物装置，其特征在于，包括储物装置本体和处理器，所述储物装置本体与所述处理器相连接，所述处理器内存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN201810439679.2A 2018-05-09 2018-05-09 储物装置中人机交互方法、装置、储物装置及存储介质 Pending CN108681940A (zh)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN201810439679.2A CN108681940A (zh) 2018-05-09 2018-05-09 储物装置中人机交互方法、装置、储物装置及存储介质
US16/223,887 US20190347705A1 (en) 2018-05-09 2018-12-18 Method for human-machine interaction in a storage unit, storage unit, and storage medium
EP18213969.1A EP3567452A1 (en) 2018-05-09 2018-12-19 Method and device for human-machine interaction in a storage unit, storage unit, and storage medium
AU2018282398A AU2018282398A1 (en) 2018-05-09 2018-12-20 Method and device for human-machine interaction in a storage unit, storage unit, and storage medium
TW107146114A TWI688881B (zh) 2018-05-09 2018-12-20 儲物裝置中人機互動方法、裝置、儲物裝置及儲存媒體
AU2019267982A AU2019267982A1 (en) 2018-05-09 2019-05-09 Method and device for human-computer interaction with storage apparatus, storage apparatus and storage medium
PCT/CN2019/086166 WO2019214672A1 (en) 2018-05-09 2019-05-09 Method and device for human-computer interaction with storage apparatus, storage apparatus and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810439679.2A CN108681940A (zh) 2018-05-09 2018-05-09 储物装置中人机交互方法、装置、储物装置及存储介质

Publications (1)

Publication Number Publication Date
CN108681940A true CN108681940A (zh) 2018-10-19

Family

ID=63806031

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810439679.2A Pending CN108681940A (zh) 2018-05-09 2018-05-09 储物装置中人机交互方法、装置、储物装置及存储介质

Country Status (6)

Country Link
US (1) US20190347705A1 (zh)
EP (1) EP3567452A1 (zh)
CN (1) CN108681940A (zh)
AU (2) AU2018282398A1 (zh)
TW (1) TWI688881B (zh)
WO (1) WO2019214672A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019214672A1 (en) * 2018-05-09 2019-11-14 Quatius Technology (China) Limited Method and device for human-computer interaction with storage apparatus, storage apparatus and storage medium

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104462530A (zh) * 2014-12-23 2015-03-25 小米科技有限责任公司 用户喜好的分析方法及装置、电子设备
WO2016135816A1 (ja) * 2015-02-23 2016-09-01 株式会社日立国際電気 情報システム
WO2016183898A1 (zh) * 2015-05-18 2016-11-24 向莉妮 个性化商品匹配推荐系统、方法及电子装置
CN107230137A (zh) * 2017-05-31 2017-10-03 北京小米移动软件有限公司 商品信息获取方法及装置
CN107247759A (zh) * 2017-05-31 2017-10-13 深圳正品创想科技有限公司 一种商品推荐方法及装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6578068B1 (en) * 1999-08-31 2003-06-10 Accenture Llp Load balancer in environment services patterns
JP2014514643A (ja) * 2011-03-23 2014-06-19 インターコンチネンタル グレート ブランヅ リミテッド ライアビリティ カンパニー 自動化消費者対話体験に関する方法および装置
US9342735B2 (en) * 2011-12-01 2016-05-17 Finding Rover, Inc. Facial recognition lost pet identifying system
US10134056B2 (en) * 2011-12-16 2018-11-20 Ebay Inc. Systems and methods for providing information based on location
US11030599B2 (en) * 2012-02-24 2021-06-08 Netclearance Systems, Inc. Smart beacon point of sale (POS) interface
US20130293530A1 (en) * 2012-05-04 2013-11-07 Kathryn Stone Perez Product augmentation and advertising in see through displays
US20140026156A1 (en) * 2012-07-18 2014-01-23 David Deephanphongs Determining User Interest Through Detected Physical Indicia
US10275825B2 (en) * 2012-12-04 2019-04-30 Paypal, Inc. Augmented reality in-store product detection system
US20140180874A1 (en) * 2012-12-21 2014-06-26 Lucy Ma Zhao Local product comparison system
US10357118B2 (en) * 2013-03-05 2019-07-23 Rtc Industries, Inc. Systems and methods for merchandizing electronic displays
EP3055754B1 (en) * 2013-10-11 2023-08-02 InterDigital Patent Holdings, Inc. Gaze-driven augmented reality
US20150178793A1 (en) * 2013-12-23 2015-06-25 VNG Corporation System and method for managing online advertising
US20150206188A1 (en) * 2014-01-17 2015-07-23 Panasonic Intellectual Property Corporation Of America Item presentation method, and information display method
US10518409B2 (en) * 2014-09-02 2019-12-31 Mark Oleynik Robotic manipulation methods and systems for executing a domain-specific application in an instrumented environment with electronic minimanipulation libraries
US9460442B2 (en) * 2014-09-19 2016-10-04 Salesforce.Com, Inc. Sensor data gathering
US10748191B2 (en) * 2014-12-19 2020-08-18 Capital One Services, Llc Systems and methods for detecting and tracking customer interaction
KR20180000603A (ko) * 2016-06-23 2018-01-03 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN106502422A (zh) * 2016-11-23 2017-03-15 上海擎感智能科技有限公司 智能眼镜及其控制方法、控制装置
CN108009891A (zh) * 2017-12-15 2018-05-08 杨智勇 基于富媒体显示商品信息的系统及货架及信息展示方法
CN108681940A (zh) * 2018-05-09 2018-10-19 连云港伍江数码科技有限公司 储物装置中人机交互方法、装置、储物装置及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104462530A (zh) * 2014-12-23 2015-03-25 小米科技有限责任公司 用户喜好的分析方法及装置、电子设备
WO2016135816A1 (ja) * 2015-02-23 2016-09-01 株式会社日立国際電気 情報システム
WO2016183898A1 (zh) * 2015-05-18 2016-11-24 向莉妮 个性化商品匹配推荐系统、方法及电子装置
CN107230137A (zh) * 2017-05-31 2017-10-03 北京小米移动软件有限公司 商品信息获取方法及装置
CN107247759A (zh) * 2017-05-31 2017-10-13 深圳正品创想科技有限公司 一种商品推荐方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019214672A1 (en) * 2018-05-09 2019-11-14 Quatius Technology (China) Limited Method and device for human-computer interaction with storage apparatus, storage apparatus and storage medium

Also Published As

Publication number Publication date
AU2018282398A1 (en) 2019-11-28
EP3567452A1 (en) 2019-11-13
TW201947360A (zh) 2019-12-16
WO2019214672A1 (en) 2019-11-14
US20190347705A1 (en) 2019-11-14
AU2019267982A1 (en) 2020-11-26
TWI688881B (zh) 2020-03-21

Similar Documents

Publication Publication Date Title
CN107424043B (zh) 一种产品推荐方法及装置，电子设备
KR102122373B1 (ko) 사용자 포트레이트를 획득하는 방법 및 장치
CA2940843C (en) Method and system for targeted advertising based on topical memes
WO2019056661A1 (zh) 一种搜索词推送方法、装置及终端
US20190346931A1 (en) Method for human-machine interaction in a storage unit, storage unit, and storage medium
CN107657048B (zh) 用户识别方法及装置
CN109634698B (zh) 菜单显示方法、装置、计算机设备及存储介质
CN109766770A (zh) 服务质量评价方法、装置、计算机设备和存储介质
CN107315844A (zh) 一种基于图片的检索方法、装置、设备及存储介质
CN113191838B (zh) 一种基于异质图神经网络的购物推荐方法及系统
CN110827797B (zh) 语音应答事件分类处理方法和装置
CN104572717A (zh) 信息搜索方法和装置
Gharaei et al. Content-based clothing recommender system using deep neural network
CN112241489A (zh) 信息推送方法、装置、可读存储介质和计算机设备
US20160267425A1 (en) Data processing techniques
CN109086938B (zh) 产品sku识别方法、装置及计算机可读存储介质
CN108681940A (zh) 储物装置中人机交互方法、装置、储物装置及存储介质
CN117291184B (zh) 大语言模型的评估方法及装置、存储介质、计算机设备
CN107944946B (zh) 商品标签生成方法及装置
CN116542737A (zh) 跨境电商平台的大数据处理方法及系统
CN106383841A (zh) 基于图片识别的购物方法和装置
CN113763123A (zh) 商品推荐与搜索方法、设备及存储介质
CN113704630A (zh) 一种信息推送方法、装置、可读存储介质和电子设备
CN108734553B (zh) 商品推荐方法及系统
CN112052353A (zh) 广告视频检索方法、智能终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1257627

Country of ref document: HK

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181019