CN109542654A - 自动贩卖机和确定用户选定商品的方法 - Google Patents

自动贩卖机和确定用户选定商品的方法 Download PDF

Info

Publication number
CN109542654A
CN109542654A CN201811403683.XA CN201811403683A CN109542654A CN 109542654 A CN109542654 A CN 109542654A CN 201811403683 A CN201811403683 A CN 201811403683A CN 109542654 A CN109542654 A CN 109542654A
Authority
CN
China
Prior art keywords
commodity
user
hand
image
arm part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811403683.XA
Other languages
English (en)
Inventor
王子锋
万海燕
时晓东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201811403683.XA priority Critical patent/CN109542654A/zh
Publication of CN109542654A publication Critical patent/CN109542654A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Abstract

本发明公开了一种自动贩卖机和确定用户选定商品的方法,自动贩卖机包括显示屏、摄像单元和处理单元,显示屏向用户展示可供用户选择的多个商品;摄像单元获取用户的、与商品选择有关的手臂部图像;处理单元根据所述手臂部图像确定用户选定的商品。通过设置摄像单元获取用户的手臂部图像,处理单元处理图样分析得到用户需要购买的商品,可实现在不触碰显示屏的情况下实现对显示屏所展示的商品的选购。

Description

自动贩卖机和确定用户选定商品的方法
技术领域
本申请涉及一种自动贩卖机和确定用户选定商品的方法。
背景技术
对于运用自动贩卖机进行选购的场所,如点餐、选购商品等等,都会有一个显示屏去展示所贩卖的商品。当用户的身高因身高限制而不能够触碰到显示屏时(例如:儿童),无法自主进行选购,需借助他人的帮助。而在认知、语言阐述过程中,常会造成表达内容的不清楚,需要与他人进行多次的沟通才能最终确认需要购买的商品,过程繁琐,且无法实现自主选择。
发明内容
本发明实施例提供了一种自动贩卖机和确定用户选定商品的方法,所述自动贩卖机和确定用户选定商品的方法能实现远程的摄像选择,不触碰显示屏便能确定需要购买的商品。
根据本发明实施例的第一方面,提供一种自动贩卖机,所述自动贩卖机包括:
显示屏,配置为显示用户和自动贩卖机之间的交互信息;
摄像单元,配置为获取用户的手臂部图像;
处理单元,配置为根据用户的所述手臂部图像确定需要购买的商品。
较佳地,所述处理单元根据所述手臂部图像确定手部末端位置和手部弯折处位置,根据所述手部末端位置和所述手部弯折处位置确定一指向向量,并且得到所述指向向量延长至显示屏的交点;根据所述交点位置得到目标区域,并且根据所述目标区域覆盖的商品的图样确定需要购买的商品。
较佳地,所述所述处理单元根据所述手臂部图像确定手部末端区域和手部弯折处区域,并根据所述手部末端区域和所述手部弯折处区域确定手部末端位置和手部弯折处位置。
较佳地,所述手部末端区域为手掌或者腕部的至少部分;所述手部弯折处位置为手臂部的最靠近所述摄像单元的产生弯折的区域。
较佳地,所述摄像单元还配置为获取用户的眼部图像,所述处理单元还配置为根据所述眼部图像确定是否进入确定需要购买的商品的阶段。
较佳地,所述处理单元还配置为根据所述眼部图像得到眼球区域和眼眶区域,并且判断所述眼球区域是否位于所述眼眶区域沿竖直方向的中央位置。
较佳地,所述自动贩卖机具有可切换的选购模式,所述选购模式包括触控选择模式和摄像选择模式。
根据本发明实施例的第二方面,提供一种自动贩卖机确定用户选定商品的方法,所述方法包括:
显示屏向用户展示可供用户选择的多个商品;
摄像单元获取用户的、与商品选择有关的图像;
处理单元根据所述图像确定用户选定的商品。
较佳地,所述图像为用户的手臂部的图像。
较佳地,处理单元根据所述图像确定用户选定的商品的步骤包括:
在所述图像中确定手部末端位置和手部弯折处位置;
得到自所述手部弯折处位置指向所述手部末端位置的指向向量;
得到所述指向向量的延长线在自动贩卖机的显示屏的交点,并根据交点确定目标区域;
根据所述目标区域确定用户选定的商品。
较佳地,处理单元根据所述目标区域确定用户选定的商品的步骤包括:
判断所述目标区域是否覆盖至少一种商品的图样;
若否,再次获取用户的手臂部图像,并根据新获取的手臂部图像确定用户选定的商品;
若是,判断所述目标区域是否有且仅覆盖一种商品的图样;若是,将被覆盖的商品确定为选定的商品;若否,放大所述目标区域覆盖的商品的图样,之后再次获取用户的、与放大后的目标区域有关的手臂部图像,并根据新获取的手臂部图像确定用户选定的商品。
较佳地,处理单元放大所述目标区域覆盖的商品的图样的步骤包括:
在目标区域所覆盖的商品的图样中确定第一商品图样;所述第一商品图样被覆盖的面积与第一商品图样的总面积之比大于其他的图样被覆盖的面积与图样的总面积之比;
以第一放大比例放大所述第一商品图样,并以其他放大比例放大其他的商品的图样以使所述目标区域覆盖的商品的图样至布满显示屏,第一放大比例大于其他的商品的图样的放大比例。
较佳地,处理单元确定手部末端位置和所述手部弯折处位置的步骤包括:
在所述手臂部图像中确定手部末端区域和手部弯折处区域;
选取所述手部末端区域和所述手部弯折处区域的中心点得到手部末端位置和手部弯折处位置。
较佳地,所述手部末端区域为手掌或者腕部的至少部分。
较佳地,所述目标区域为以交点为中心。
较佳地,所述手部弯折处位置为手臂部的最靠近所述摄像单元的产生弯折的区域。
较佳地,处理单元执行根据所述手臂部图像确定用户选定的商品的步骤之前,执行以下步骤:
判断所述图像是否满足预设要求;
若是,处理单元根据所述图像确定用户选定的商品;
若否,再次获取用户的、与商品选择有关的图像并判断新获取的图像是否满足预设要求。
较佳地,所述图像包括用户的手臂部图样和眼部图像,处理单元在所述眼部图像中确定眼球区域和眼眶区域;
判断所述图像是否满足预设要求的步骤包括:
判断所述眼球区域是否位于所述眼眶区域沿竖直方向的中央位置,并且所述手臂部图像是否满足预设要求。
本发明的积极进步效果在于:
通过设置摄像单元获取用户的手臂部图像,处理单元处理图样分析得到用户需要购买的商品,可实现在不触碰显示屏的情况下实现对显示屏所展示的商品的选购。
附图说明
图1是本发明较佳实施例的自动贩卖机的结构示意图。
图2a是本发明较佳实施例的用户的肘部发生弯折时的手臂部图像的示意图。
图2b是本发明较佳实施例的用户的肩部发生弯折时的手臂部图像的示意图。
图3是本发明较佳实施例的用户的手臂部图像的示意图。
图4是本发明较佳实施例的用户的进行选定商品时的状态示意图。
图5a是本发明另一较佳实施例的用户的手部弯折处区域的图像的示意图。
图5b是本发明另一较佳实施例的用户的手部末端区域的图像的示意图。
图6a是本发明较佳实施例的用户的眼球位于初始状态时的眼部图像的示意图。
图6b是本发明较佳实施例的用户的眼球位于变化状态时的眼部图像的示意图。
图7a是本发明较佳实施例的用户进行选定商品时的显示屏显示状态示意图。
图7b是本发明较佳实施例的对目标区域覆盖的图样进行放大时的显示屏显示状态示意图。
图8是本发明一较佳实施例的自动贩卖机的确定用户选定商品的方法的流程示意图。
图9是本发明另一较佳实施例的自动贩卖机的确定用户选定商品的方法的流程示意图。
图10是本发明另一较佳实施例的自动贩卖机的确定用户选定商品的方法的流程示意图。
图11是本发明另一较佳实施例的自动贩卖机的确定用户选定商品的方法的流程示意图。
图12是本发明另一较佳实施例的自动贩卖机的确定用户选定商品的方法的流程示意图。
附图标记说明
自动贩卖机 1
用户 2
显示屏 10
摄像单元 20
手部摄像头 21
眼部摄像头 22
手部末端区域 30
手掌 41
前臂 42
大臂 43
腕部 44
肘部 45
肩部 46
指向圆 47
末端圆 48
指向向量 50
眼球区域 61
眼眶区域 62
初始状态 63
变化状态 64
目标区域 70
第一商品图样 71
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,本申请说明书以及权利要求书中使用的“第一”“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。同样,“一个”或者“一”等类似词语也不表示数量限制,而是表示存在至少一个。除非另行指出,“前部”、“后部”、“下部”和/或“上部”等类似词语只是为了便于说明,而并非限于一个位置或者一种空间定向。“包括”或者“包含”等类似词语意指出现在“包括”或者“包含”前面的元件或者物件涵盖出现在“包括”或者“包含”后面列举的元件或者物件及其等同,并不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而且可以包括电性的连接,不管是直接的还是间接的。
下面结合附图,对本发明实施例进行详细说明。在不冲突的情况下,下述的实施例及实施方式中的特征可以相互组合。
如图1至图7b所示,本发明公开了一种自动贩卖机和自动贩卖机的确定用户选定商品的方法。
自动贩卖机1包括显示屏10、摄像单元20和处理单元。显示屏10配置为显示用户2和自动贩卖机1之间的交互信息。摄像单元20配置为获取用户的、与商品选择有关的图像,图像包括手臂部图像和眼部图像。处理单元与显示屏10、摄像单元20电连接,并配置为根据图像分析确定用户2选定的商品。如图1所示,自动贩卖机1包括一个手部摄像头21和一个眼部摄像头22,手部摄像头21设于显示屏10的上方,用于采集手臂部图像。如图2a和图2b所示,手臂部图像包括手掌41、前臂42、大臂43、连接手掌41和前臂42的腕部44、连接前臂42和大臂43的肘部45和连接大臂43与上肢的肩部46的图像。眼部摄像头22设于显示屏10的下方,用于采集眼部图像。眼部图像眼球区域61和眼眶区域62的图样。眼部摄像头22位于手部摄像头21的下方,方便对眼部图像进行捕捉。
处理单元根据用户2的手臂部图像得到手部末端区域30和手部弯折处区域,手部弯折处区域具体可为肘部45或者肩部46。处理单元根据手部末端区域和手部弯折处区域得到手部末端位置和手部弯折处位置,其中,手部弯折处位置具体为肘部45的中心点或者肩部46的中心点。处理单元根据手部末端位置和手部弯折处位置得到一指向向量50,并且得到指向向量50延长至显示屏10的交点;根据交点位置得到目标区域70,并且根据目标区域70覆盖的商品的图样确定需要购买的商品。
其中,手部末端区域具体为手掌41或者腕部44的至少部分。因身高限制而不能够触碰到显示屏10的用户2普遍为儿童,儿童在指向显示屏10的过程中,手指会出现晃动而无法精确的捕捉,同时,手指本身区别较为复杂且对于儿童在选择上的动手指操作时也比较有难度。而手掌41或者腕部44的面积较大便于捕捉,同时,手掌41和腕部44最终的指向较为准确。手部末端区域的数据可因选用的手部摄像头21不同,而确定手部末端区域所选取的范围,其原因在于,若非采用双眼摄影机时,一般而言手掌41部分大于腕部44,造成腕部44影像容易在不同的角度被遮挡而无法取得,此时,以手掌41作为手部末端区域较为准确;但若使用双眼摄影机时,较容易清楚的拍摄到腕部44的影像,故而以腕部44、手掌41、或者两者的结合作为手部末端区域均可;或者,对于某些摄影机而言,该腕部44与手掌41属于近似区块,因此,无须区分腕部44及手掌41影像。
手部弯折处区域具体为为手臂部的最靠近摄像单元20的产生弯折的区域。在指向屏幕的过程中,腕部44基本不发生弯折,即手掌41、腕部44和前臂42可视为处于同一直线。故在指向屏幕的过程中,只存在两种弯折的情况,分别为肘部45弯折(参考图2a)和肩部46弯折(参考图2b)。
如图2a所示,当肘部45发生弯折时,手臂部的最靠近摄像单元20的产生弯折的区域为肘部45。处理单元根据用户2的手臂部图像得到手部末端区域和肘部45,并且根据手部末端区域和肘部45得到手部末端位置和肘部位置,在本实施例中,手部末端位置为手掌41或者腕部44的中心点,肘部位置为肘部45的中心点。根据手部末端位置和肘部位置得到一指向向量50,并且得到指向向量50延长至显示屏10的交点。根据交点位置得到目标区域,并且根据目标区域覆盖的商品的图样确定需要购买的商品。
如图2b所示,当肩部46发生弯折时,前臂42和大臂43可视为处于同一直线,手臂部的最靠近摄像单元20的产生弯折的区域为肩部46。处理单元根据用户2的手臂部图像得到手部末端区域和肩部46,并且根据手部末端区域和肩部46得到手部末端位置和肩部位置,在本实施例中,手部末端位置为手掌41或者腕部44的中心点,肩部位置为肩部位置的中心点。根据手部末端位置和肩部位置得到一指向向量50,并且得到指向向量50延长至显示屏10的交点。根据交点位置得到目标区域70(参考图3)。在本实施例中,以交点位置为圆心,并以一预设值为半径形成一目标圆,该目标圆即为目标区域70。处理单元再根据目标区域70覆盖的商品的图样确定需要购买的商品。
如图3和图4所示,假定发生弯折的位置为肩部46,设定手部末端位置为P,手部弯折处位置为Q,即肩部位置为Q。假设手部摄像头21的中心位置为O,连接Q和P的指向向量50的延长线在显示屏10的交点为M。图4为手部末端位置P、手部弯折处位置Q、手部摄像头21的中心位置O和交点M在xy平面上的投影。A和B分别为Q和P两点在OM线段上的垂点。处理单元可确定Q和P两点在xy平面上的坐标,即可以确定QA、PB、OA和OB的长度。根据OA和OB的长度得到AB的长度。进一步的,△AQM和△BPM为相似三角形,故MB与MA的比值等于QA与PB的比值。而MA等于MB与AB的加和。已知AB、QA和PB的长度,故能确定MB的长度。MB加上OB便是OM的长度。通过这样的方式便可得出M点在xy平面上的坐标。同理在yz平面上用相同的方式得到M点的坐标,便可确定M点的位置。以M点为圆心,向外以一预设半径做圆得到目标区域70。预设半径可根据需求进行调节。当然,目标区域70也可为矩形、椭圆形或者任意以M点为中心的形状。
当然,在其他实施例中,如图5a所示,肩部位置或肘部位置也可以为肩部46或肘部45的外轮廓线拟合的圆,称之为末端圆48。如图5b所示,而手部末端位置为以手掌41或者腕部44的中心点为圆心,并以末端圆48的半径为半径形成一指向圆47,图中虚线为以手部末端位置的外轮廓线拟合的圆。连接末端圆48和指向圆47并向靠近显示屏10的方向延伸直至在显示屏10上形成目标区域。
处理单元还根据眼部图样确定是否进入确定需要购买的商品的阶段。因身高的限制,当儿童进行选购商品时,如图6a和图6b所示,儿童的眼球会先由初始状态63,即眼球区域61位于眼眶区域6262的中央位置,移动至变化状态64。此时,眼眶区域62的上方,之后儿童会执行一个抬头的动作,最后使得眼球区域61重新回位至眼眶区域62沿竖直方向的中央位置,即回位至初始状态63。处理单元根据此规律判断眼球区域61是否位于眼眶区域62的沿竖直方向的中央位置来判断儿童是否位于选购商品的阶段。
同时,处理单元还根据手臂部图样是否满足预设要求来确定确定是否进入确定需要购买的商品的阶段。因身高的限制,当儿童进行选购商品时,如图1所示,儿童需要抬起手臂进行对商品远距离的摄像选购。抬起手臂变会造成肩部46弯折或者肘部45弯折,判断手部末端区域是否位于手部弯折处区域的上方并且位于更靠近摄像单元20的位置,并根据此判断来儿童是否位于选购商品的阶段。故预设要求为手部末端区域位于手部弯折处区域的上方并且位于更靠近摄像单元20的位置。当然,也可判断手臂部到身躯方向的投影的深浅来判断儿童是否位于选购商品的阶段,即当儿童进行选购时,手部末端区域位于手部弯折处区域的上方并且位于更靠近摄像单元20的位置,故手部末端区域的投影颜色较深,且位于身躯的投影的上部。
在本实施例中,自动贩卖机1具有可切换的选购模式,选购模式包括触控选择模式和摄像选择模式。触控选择模式即为触碰显示屏10上显示的商品的图样对商品进行选择性购买。当用户2因身高限制无法触碰显示屏10进行对商品的选购时,可自动进入摄像选择模式。两种模式的切换方便了各个身高的用户2的使用。而在切换进入摄像选择模式之前便进行前述的双重判断,即判断眼部图样和手臂部图样是否满足预设要求。当眼部图样和手臂部图样均满足预设要求是,进入控选择模式。同时,双重判断也可以作为是否进入确定需要购买的商品的阶段的判断。当然,在其他实施例中,自动贩卖机1可仅由摄像选择模式,此时双重判断仅作为是否进入确定需要购买的商品的阶段的判断。双重判断可以防止儿童因路过或者玩闹而进入摄像单元20的工作区域并使得自动贩卖机1进入摄像选择模式并工作。
如图8所示,自动贩卖机1的确定用户2选定商品的方法,即适用于摄像选择模式的方法包括以下步骤:
步骤100:显示屏向用户展示可供用户选择的多个商品。
步骤200:摄像单元获取用户的、与商品选择有关的图像。
步骤300:处理单元根据图像确定用户选定的商品。
其中,步骤300中的图像为用户的手臂部图像。步骤300包括以下步骤:
步骤310:在图像中确定手部末端位置和手部弯折处位置。
步骤320:得到自手部弯折处位置指向手部末端位置的指向向量。
步骤330:得到指向向量的延长线在自动贩卖机的显示屏的交点,并根据交点确定目标区域。
步骤340:根据目标区域确定用户选定的商品。
优选的,如图9所示,步骤340包括以下步骤:
步骤341:判断目标区域是否覆盖至少一种商品的图样;若否,重新执行步骤200,即再次获取用户的手臂部图像,并根据新获取的手臂部图像确定用户选定的商品;若是,执行步骤342。
步骤342:判断目标区域是否有且仅覆盖一种商品的图样;若是,执行步骤343;若否,执行步骤344。步骤343:将被覆盖的商品确定为选定的商品。步骤344:放大目标区域覆盖的商品的图样。之后,再新执行步骤200,即再次获取用户的、与放大后的目标区域有关的手臂部图像,并根据新获取的手臂部图像确定用户选定的商品。
通过这样的方式,防止用户2指向错误。当指向错误时,显示屏10显示的内容不发生变化,当指向正确时,显示屏10根据用户2的指向信息进行判断。当目标区域70仅覆盖一样商品的图样时,确认该商品为用户2选定的商品;当目标区域70仅覆盖多种商品的图样时,对被覆盖的图样进行放大,方便用户2再次进行选择,提高了指向性选择的准确性。特别是当用户2为儿童时,可能无法进行精准的远程指向性选择,需要通过这样的方式进行多次的选择来保证准确性。
优选的,如图10所示,步骤344包括以下步骤:
步骤3441:在目标区域70所覆盖的商品的图样中确定第一商品图样71;其中,第一商品图样71被覆盖的面积与第一商品图样71的总面积之比大于其他的图样被覆盖的面积与图样的总面积之比(参考图7a)。
步骤3442:以第一放大比例放大第一商品图样71,并以其他放大比例放大其他的商品的图样以使目标区域70覆盖的商品的图样至布满显示屏10。其中,第一放大比例大于其他的商品的图样的放大比例(参考图7b)。
通过这样的方式,以不同的放大比例放大不同的商品的图样,使得被目标区域70覆盖的最多的图样被放大的比例最大。用户2选择第一商品图样71的概率大于选择其他商品的图样,故以最大的放大比例放大第一商品图样71,便于用户2后续对第一商品图样71进行选择。
优选的,如图11所示,步骤310包括以下步骤:
步骤311:在手臂部图像中确定手部末端区域和手部弯折处区域。
步骤312:选取手部末端区域和手部弯折处区域的中心点得到手部末端位置和手部弯折处位置。
通过这样的方式,处理单元先确定手部末端区域和手部弯折处区域,之后再确定各个区域的中心点得到手部末端位置和手部弯折处位置,连接手部末端位置和手部弯折处位置得到指向向量,从而使得指向向量的指向更为精准。
优选的,如图12所示,在执行步骤300之前,即在执行步骤311之前,还执行以下步骤:
步骤1000:判断图像是否满足预设要求。若是,执行步骤300,即处理单元根据图像确定用户选定的商品;若否,重复执行步骤200,即再次获取用户的、与放大后的目标区域有关的手臂部图像,并根据新获取的图像并判断新获取的图像是否满足预设要求。其中,步骤1000中的图像为用户的手臂部图像和眼部图像。步骤200中摄像单元20包括眼部摄像头22和手部摄像头21,眼部摄像头22获取用户2的眼部图样,手部摄像头21获取用户2的手臂部图样(参考图1)。
其中,步骤1000包括处理单元在眼部图像中确定眼球区域61和眼眶区域62。并判断眼球区域61是否位于眼眶区域62沿竖直方向的中央位置,同时判断手臂部图像是否满足预设要求(参考图6a和图6b)。
通过这样的方式,在处理单元根据图像确定用户选定的商品之前先进行双重判断,双重判断可以防止用户,特别是儿童因路过或者玩闹而进入摄像单元的工作区域并使得处理单元开始根据图像确定用户选定的商品。
以上所述仅是本发明的较佳实施例而已,并非对本发明做任何形式上的限制,虽然本发明已以较佳实施例揭露如上,然而并非用以限定本发明,任何熟悉本专业的技术人员,在不脱离本发明技术方案的范围内,当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属于本发明技术方案的范围内。
本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。

Claims (18)

1.一种自动贩卖机,其特征在于,所述自动贩卖机包括:
显示屏,配置为显示用户和自动贩卖机之间的交互信息;
摄像单元,配置为获取用户的手臂部图像;
处理单元,配置为根据用户的所述手臂部图像确定需要购买的商品。
2.如权利要求1所述的自动贩卖机,其特征在于,所述处理单元根据所述手臂部图像确定手部末端位置和手部弯折处位置,根据所述手部末端位置和所述手部弯折处位置确定一指向向量,并且得到所述指向向量延长至显示屏的交点;根据所述交点位置得到目标区域,并且根据所述目标区域覆盖的商品的图样确定需要购买的商品。
3.如权利要求2所述的自动贩卖机,其特征在于,所述所述处理单元根据所述手臂部图像确定手部末端区域和手部弯折处区域,并根据所述手部末端区域和所述手部弯折处区域确定手部末端位置和手部弯折处位置。
4.如权利要求1所述的自动贩卖机,其特征在于,所述手部末端区域为手掌或者腕部的至少部分;所述手部弯折处位置为手臂部的最靠近所述摄像单元的产生弯折的区域。
5.如权利要求1所述的自动贩卖机,其特征在于,所述摄像单元还配置为获取用户的眼部图像,所述处理单元还配置为根据所述眼部图像确定是否对所述手臂部图像进行分析以确定需要购买的商品。
6.如权利要求5所述的自动贩卖机,其特征在于,所述处理单元还配置为根据所述眼部图像得到眼球区域和眼眶区域,并且判断所述眼球区域是否位于所述眼眶区域沿竖直方向的中央位置。
7.如权利要求1所述的自动贩卖机,其特征在于,所述自动贩卖机具有可切换的选购模式,所述选购模式包括触控选择模式和摄像选择模式。
8.一种自动贩卖机确定用户选定商品的方法,其特征在于,所述方法包括:
显示屏向用户展示可供用户选择的多个商品;
摄像单元获取用户的、与商品选择有关的图像;
处理单元根据所述图像确定用户选定的商品。
9.如权利要求8所述的确定用户选定商品的方法,其特征在于,所述图像包括用户的手臂部图像。
10.如权利要求9所述的确定用户选定商品的方法,其特征在于,处理单元根据所述手臂部图像确定用户选定的商品的步骤包括:
在所述手臂部图像中确定手部末端位置和手部弯折处位置;
得到自所述手部弯折处位置指向所述手部末端位置的指向向量;
得到所述指向向量的延长线在自动贩卖机的显示屏的交点,并根据交点确定目标区域;
根据所述目标区域确定用户选定的商品。
11.如权利要求10所述的确定用户选定商品的方法,其特征在于,处理单元根据所述目标区域确定用户选定的商品的步骤包括:
判断所述目标区域是否覆盖至少一种商品的图样;
若否,再次获取用户的手臂部图像,并根据新获取的手臂部图像确定用户选定的商品;
若是,判断所述目标区域是否有且仅覆盖一种商品的图样;若是,将被覆盖的商品确定为选定的商品;若否,放大所述目标区域覆盖的商品的图样,之后再次获取用户的、与放大后的目标区域有关的手臂部图像,并根据新获取的手臂部图像确定用户选定的商品。
12.如权利要求11所述的确定用户选定商品的方法,其特征在于,处理单元放大所述目标区域覆盖的商品的图样的步骤包括:
在目标区域所覆盖的商品的图样中确定第一商品图样;所述第一商品图样被覆盖的面积与第一商品图样的总面积之比大于其他的图样被覆盖的面积与图样的总面积之比;
以第一放大比例放大所述第一商品图样,并以其他放大比例放大其他的商品的图样以使所述目标区域覆盖的商品的图样至布满显示屏,第一放大比例大于其他的商品的图样的放大比例。
13.如权利要求10所述的确定用户选定商品的方法,其特征在于,处理单元确定手部末端位置和所述手部弯折处位置的步骤包括:
在所述手臂部图像中确定手部末端区域和手部弯折处区域;
选取所述手部末端区域和所述手部弯折处区域的中心点得到手部末端位置和手部弯折处位置。
14.如权利要求10至13任意一项所述的确定用户选定商品的方法,其特征在于,所述手部末端区域为手掌或者腕部的至少部分。
15.如权利要求10至13任意一项所述的确定用户选定商品的方法,其特征在于,所述目标区域为以交点为中心。
16.如权利要求10至13任意一项所述的确定用户选定商品的方法,其特征在于,所述手部弯折处位置为手臂部的最靠近所述摄像单元的产生弯折的区域。
17.如权利要求8所述的确定用户选定商品的方法,其特征在于,处理单元执行根据所述手臂部图像确定用户选定的商品的步骤之前,执行以下步骤:
判断所述图像是否满足预设要求;
若是,处理单元根据所述图像确定用户选定的商品;
若否,再次获取用户的、与商品选择有关的图像并判断新获取的图像是否满足预设要求。
18.如权利要求17所述的确定用户选定商品的方法,其特征在于,所述图像包括用户的手臂部图样和眼部图像,处理单元在所述眼部图像中确定眼球区域和眼眶区域;
判断所述图像是否满足预设要求的步骤包括:
判断所述眼球区域是否位于所述眼眶区域沿竖直方向的中央位置,并且所述手臂部图像是否满足预设要求。
CN201811403683.XA 2018-11-23 2018-11-23 自动贩卖机和确定用户选定商品的方法 Pending CN109542654A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811403683.XA CN109542654A (zh) 2018-11-23 2018-11-23 自动贩卖机和确定用户选定商品的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811403683.XA CN109542654A (zh) 2018-11-23 2018-11-23 自动贩卖机和确定用户选定商品的方法

Publications (1)

Publication Number Publication Date
CN109542654A true CN109542654A (zh) 2019-03-29

Family

ID=65849379

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811403683.XA Pending CN109542654A (zh) 2018-11-23 2018-11-23 自动贩卖机和确定用户选定商品的方法

Country Status (1)

Country Link
CN (1) CN109542654A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101960409A (zh) * 2007-12-31 2011-01-26 微软国际控股私有有限公司 3d指点系统
CN102270037A (zh) * 2010-06-04 2011-12-07 宏碁股份有限公司 徒手人机界面操作系统及其方法
CN102270090A (zh) * 2010-06-07 2011-12-07 索尼公司 信息显示设备和显示图像控制方法
CN103645806A (zh) * 2013-12-24 2014-03-19 惠州Tcl移动通信有限公司 一种基于眼球追踪的商品浏览方法及系统
CN105593787A (zh) * 2013-06-27 2016-05-18 视力移动科技公司 用于与数字设备交互的直接指向检测的系统和方法
US20170270356A1 (en) * 2014-03-13 2017-09-21 Leap Motion, Inc. Biometric Aware Object Detection and Tracking
CN108446943A (zh) * 2018-01-30 2018-08-24 深圳市阿西莫夫科技有限公司 售货柜商品推荐方法、装置、计算机设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101960409A (zh) * 2007-12-31 2011-01-26 微软国际控股私有有限公司 3d指点系统
CN102270037A (zh) * 2010-06-04 2011-12-07 宏碁股份有限公司 徒手人机界面操作系统及其方法
CN102270090A (zh) * 2010-06-07 2011-12-07 索尼公司 信息显示设备和显示图像控制方法
CN105593787A (zh) * 2013-06-27 2016-05-18 视力移动科技公司 用于与数字设备交互的直接指向检测的系统和方法
CN103645806A (zh) * 2013-12-24 2014-03-19 惠州Tcl移动通信有限公司 一种基于眼球追踪的商品浏览方法及系统
US20170270356A1 (en) * 2014-03-13 2017-09-21 Leap Motion, Inc. Biometric Aware Object Detection and Tracking
CN108446943A (zh) * 2018-01-30 2018-08-24 深圳市阿西莫夫科技有限公司 售货柜商品推荐方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
US11030237B2 (en) Method and apparatus for identifying input features for later recognition
JP7071054B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP6598617B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN102981603B (zh) 图像处理装置和图像处理方法
CN107422950A (zh) 投影触控的图像选取方法
EP1292877B1 (en) Apparatus and method for indicating a target by image processing without three-dimensional modeling
JP3749369B2 (ja) ハンドポインティング装置
JP6057396B2 (ja) 3次元ユーザインタフェース装置及び3次元操作処理方法
CN110456907A (zh) 虚拟画面的控制方法、装置、终端设备及存储介质
WO2018030453A1 (ja) 情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム、及びコンピュータ
JP6011165B2 (ja) ジェスチャ認識装置、その制御方法、表示機器、および制御プログラム
KR20020086931A (ko) 몸짓 기반 입력 및 타겟 지시용 단일 카메라 시스템
JP2004078977A (ja) インターフェイス装置
JP2017187882A (ja) 画像処理に用いられるコンピュータープログラム
CN108027655A (zh) 信息处理系统、信息处理设备、控制方法和程序
CN107291221A (zh) 基于自然手势的跨屏幕自适应精度调整方法及装置
JP6498802B1 (ja) 生体情報解析装置及びその顔型のシミュレーション方法
KR101256046B1 (ko) 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템
CN110520822B (zh) 控制装置、信息处理系统、控制方法和程序
CN113786152B (zh) 一种内窥镜镜头跟踪方法及内窥镜系统
CN115480511A (zh) 一种机器人交互方法、装置、存储介质及设备
JP3792907B2 (ja) ハンドポインティング装置
CN109144598A (zh) 基于手势的电子面罩人机交互方法与系统
JP2007179338A (ja) 情報処理装置
KR20160141023A (ko) 액션이벤트·실감미디어컨텐츠연동을 수행하는 비접촉 스마트제스처인식장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination