CN104718540A - 多种环境中的基于结构化照明的内容交互 - Google Patents

多种环境中的基于结构化照明的内容交互 Download PDF

Info

Publication number
CN104718540A
CN104718540A CN201380015866.3A CN201380015866A CN104718540A CN 104718540 A CN104718540 A CN 104718540A CN 201380015866 A CN201380015866 A CN 201380015866A CN 104718540 A CN104718540 A CN 104718540A
Authority
CN
China
Prior art keywords
user
gesture
data
article
computer implemented
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380015866.3A
Other languages
English (en)
Inventor
马修·W.·阿马克
约珥·D.·特斯勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
A9 com Inc
Original Assignee
A9 com Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/425,297 external-priority patent/US20130254066A1/en
Priority claimed from US13/425,289 external-priority patent/US9304646B2/en
Priority claimed from US13/425,280 external-priority patent/US9367124B2/en
Priority claimed from US13/425,275 external-priority patent/US9373025B2/en
Priority claimed from US13/425,261 external-priority patent/US9213420B2/en
Application filed by A9 com Inc filed Critical A9 com Inc
Priority claimed from PCT/US2013/033192 external-priority patent/WO2013142625A2/en
Publication of CN104718540A publication Critical patent/CN104718540A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Shopping interfaces
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/10Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • G09G2370/022Centralised management of display operation, e.g. in a server instead of locally

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Computer Hardware Design (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Human Computer Interaction (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

来自位置和/或手势检测系统的信息可嵌入在网页或其它这样的内容展示中,且可用来选择所述页面上的内容或以其它方式与所述页面上的内容交互。在一些实施方案中,捕获并显示视频,其示出了用户的当前视图。对应于所述视频的位置数据被提供且被用来在无须进行大量的图像处理的情况下确定运动的方向和范围。所述位置数据用来确定所述页面上的位置,其中所述用户正尝试提供输入以诸如选择内容项。所述内容可被修改和/或呈现来表现为在所呈现视图中与所述用户相关联。单一页面上可组合来自多个手势系统的信息,且多个页面和装置之间可共享来自一个或多个手势系统的信息。

Description

多种环境中的基于结构化照明的内容交互
发明背景
人们正逐渐使用计算和电子装置来执行各种类型的任务。为了使用户能够有效地执行这些任务,提供与装置交互的各种方法。例如,某些装置使用户能够发出命令或使用基本手势以提供输入给装置。诸如照相机和红外线传感器的组件可检测用户的移动以提供输入给这些装置。不幸的是,常规方法只在具体环境内有效。例如,来自微软公司的周边装置使能够识别用户和跟踪用户移动。然而,Kinect数据通常只在Kinect应用程序环境中可用,且因此限制搭配其它应用程序使用。类似地,诸如“挥手”或“触摸”屏幕的某个区域的基本手势识别对上文提及的各种任务的可适用性有限。
附图简述
将参考附图描述根据本公开的各个实施方案,其中:
图1根据至少一个实施方案示出了用户与计算装置交互的实例;
图2根据各个实施方案示出了由诸如图1中示出的可被提供的装置捕获并使用的用户数据的示例性显示;
图3(a)和图3(b)根据各个实施方案示出了用户可与其交互的示例性界面;
图4(a)、图4(b)和图4(c)根据各个实施方案示出了将图像内容映射到可使用的用户表示的示例性方法;
图5(a)和图5(b)根据各个实施方案示出了多个用户可与其交互的示例性界面;
图6示出了其中可实施各个实施方案的示例性环境;
图7根据各个实施方案示出了用于使能够相对于用户的视图呈现图像内容的示例性程序;
图8根据各个实施方案示出了用于使用户能够通过可使用的手势输入控制界面的各个方面的示例性程序;
图9根据各个实施方案示出了可使用的示例性计算装置;
图10示出了诸如图9中示出的计算装置的组件的示例性配置。
详述
根据本公开的各个实施方案的系统和方法可以克服常规方法中具有的前述和其它缺点中的一个或多个以使用户能够与电子装置交互。特定地说,本文讨论的各种方法使用户能够使用运动、位置和/或手势识别系统提供输入,所述运动、位置和/或手势识别系统被操作来捕获用户的图像和/或位置数据的且提供所述数据给网页、应用程序或用于处理或其它用途的其它这样的目的地。在至少一些实施方案中,手势小部件可嵌入在使能够显示用户的视图的网页中,其中所述视图包括由手势系统捕获的图像和/或视频信息。来自手势系统的位置数据可用来确定用户正执行手势的方向和/或位置。方向和/或位置可对应于手势小部件外部的区域,诸如对应于网页中的任何位置处的图像或内容。这种程序使用户能够在页面上选择任何适当对象或与任何适当对象交互。在至少一些实施方案中,选定图像或对象可被修改且呈现来表现为显示在用户视图中的用户上。用户还可使用运动或手势输入以购买物品,使物品信息展示于其它用户或发送到其它装置,且执行其它这样的动作。
下文关于各个实施方案展示各个其它应用程序、程序和使用。
图1示出了示例性情况100,其中用户104与计算装置102交互。虽然这个实例中示出了台式计算装置,但是应了解根据本文讨论的各个实施方案可使用能够确定并处理输入的其它类型的电子装置。除了其它以外,这些装置还可包括(例如)智能手机、电子书阅读器、平板电脑、笔记本电脑、个人数字助手、视频游戏机或控制器、智能电视机和便携式媒体播放器。此外,所示出的组件可能是单一装置的部分,而所示出且以其它方式用于这种装置的至少一些组件可被提供作为各个实施方案的范围内的一个或多个周边装置或附件。
在图1的实例中,计算装置102具有被定位来能够捕获位于相对于装置的常规位置中的用户的至少部分的图像(或视频)的一个或多个成像元件106。在这个实例中,如果计算装置具有主显示屏,那么成像元件可被定位来捕获实质上位于显示屏前方的用户的图像,其中用户将通常被定位来与装置交互。成像元件可包括具有具备角视野108的至少一个照相机或传感器,使得可捕获用户的图像信息,前提是所述用户104的至少部分是至少部分在所述视野108内。然而,为了检测某些运动、位置或手势,用户的一个或多个具体特征的至少最小部分必须以所捕获的图像信息表示以使装置(或在装置上执行或与装置通信的软件)能够做出确定。
在至少一个实施方案中,在计算装置上执行的软件尝试定位用户相对于装置的相对位置、定向和移动。这个确定可使用各种类型的技术来执行。例如,二维图像信息可被捕获来确定某些方向和运动信息。诸如Kinect的装置使用具有二维图像捕获的结构化照明以通过投影常规图案的光(例如,红外(IR)光)和分析反射图案由于三维对象发生的变化来获得三维信息。诸如用于运动捕获的其它方法通过监控用户移动期间具体特征的位置变化来使用类似方法。在一些实施方案中,可使用距离传感器、测距仪、超声波收发器或能够提供距离信息的其它这样的装置来增强二维图像捕获。在一些实施方案中,三维或立体图像信息可被捕获来提供三维点数据或像差信息,其可用来确定三维中的运动。根据本文包括的教学和建议,还可使用本领域一般技术人员应明白的各种其它方法。
由计算装置的一个或多个捕获元件捕获的图像和/或其它这样的信息可用来确定各种类型的信息。在图2的示例性状态200中,例如,所捕获的数据被分析来提供至少两种类型的信息。首先,至少一个照相机用来捕获装置202的用户206的视图。用户的视图可用于多种目的,诸如执行脸部识别或用户识别以及确定用户身体在其当前配置中相对于计算装置的轮廓。使用结构化照明反射或其它这样的信息,三维点数据还可被确定并分析来产生用户身体的模型208,其表示用户在三维中的当前定向。例如,单独依赖于二维信息可使得难以确定用户的手臂中的一个何时对着用户前面或后面。此外,分析全分辨率图像数据在计算上可能极为密集,这可使运动检测明显滞后。通过使用来自结构化照明的点数据和确定用户身体的基本模型208(其可相对准确地反映用户的运动),可大概实时确定手势和运动,所述手势和运动使用户能够提供输入给计算装置。
常规方法的潜在缺点是运动和手势信息只能够在成像系统的环境内使用。例如,在图2中,示出了如由成像系统的至少一个照相机捕获的用户视图以及身体位置数据208,所述身体位置数据208可以或可以不示出在在各个实施方案中,但是为了解释的目的而必须要展示。在这个实例中,用户能够选择选项210或在手势系统的环境内提供其它输入。例如,用户206被示出伸出手来“触摸”星号输入,其位于手势环境内。这个实例可对应于在如示出的移动装置上运行的应用程序,在所述移动装置中显示屏204上可示出其它选项,诸如使用搜索选项212执行搜索或使用可选择Wi-Fi图形元件214断开Wi-Fi的能力。然而,使用常规方法,应用程序不能够到达其环境“外部”来使用户能够选择所述选项212、214或以其它方式提供输入给在装置上执行的其它应用程序。
根据各个实施方案的方法使来自运动、手势和/或成像系统或其它这样的系统或程序的数据能够在其本地环境外部使用以搭配诸如网页浏览器中呈现的网页的其它应用程序使用。例如,图2中产生且示出的用户模型208的数据可被提供给数据分析模块或其它这样的程序,所述程序能够以模型的当前状态分析模型的形状和/或尺寸以确定诸如用户的手臂正指向的位置、用户的手臂延伸的长度、用户正在注视的位置的信息和/或其它这样的信息。这样的模型还可被配置来确定装置显示器上呈现的各个元件的相对位置,使得模型可确定用户正尝试与其交互或提供输入给其的可能元件。例如,在图2中,系统可告知在当前定向中,用户正尝试选择本地环境选项210中的一个。如果用户已抬起她的手臂使得视觉表示指向显示器的上拐角,那么然而即使搜索选项212是在手势系统的本地环境外部,所述模型仍然可确定用户反而正在尝试选择搜索选项。
为了提供这样的功能,手势系统(或其它这样的系统、服务、程序或模块)在各个实施方案中可通过小部件、框架、窗口或所呈现内容的其它部分添加到页面或界面布局。在装置上执行的(或与装置通信的)另一应用程序或程序可访问由手势系统产生的数据且还可具有关于元件、小部件和显示器上呈现的其它这样的内容的信息。应用程序可使用由手势系统提供的手势数据,或可接受应用程序可分析来确定各个手势的点或其它这样的数据。这种方法使应用程序能够在不访问或没有具体了解手势系统的情况下确定具体手势的具体动作。例如,输入管理应用程序可使用户输入能够用作(例如)取决于光标或位置的触摸输入,因而用户可与显示器的各个部分或元件交互。虽然某些实施方案可限制可通过手势系统提供的功能的位置和类型,但是其它实施方案可使能够更多地访问装置的功能,因为使用手势系统是实际的和/或可行的。
在一个实例中,来自手势系统的数据可使用能够在客户端浏览器中执行的或其它活动脚本语言添加给网页。如提及,手势系统可直接连接到用户计算装置(或可能是用户计算装置的部分),或可通过至少一个网络连接而使用。在至少一个实施方案中,专用手势服务器可被配置来监听(例如)来自客户端装置或浏览器应用程序的请求(例如,HTTP请求)以及监听来自指定的手势系统的数据。手势服务器在从浏览器接收到对手势数据的请求时可产生无休止的响应,其中数据单元是以响应串流封装在脚本标签中,从而有效地产生能够将数据从手势系统实质上连续地发送到网页的数据管道。在至少一些实施方案中,这样的串流可包括可执行的可单独执行的脚本块(前提是其被接收到)。各个实施方案的范围内还可使用用于建立通信通道的其它方法。在一些实施方案中,可通过使用嵌入式内嵌框架或其它这样的结构来实现跨域通信,所述结构可使手势系统数据(第一域中)能够在网页(第二域中)的其它区域上使用且除了这些功能以外还允许将来自网页域的信息提供给手势系统。在至少一个实施方案中,手势数据可由手势服务器序列化为诸如JSON(JavaScript对象表示法)的表示法,且通过一个或多个JavaScript函数调用或在客户端浏览器中执行的其它活动脚本函数输送到浏览器中。手势服务器可使用至少一个JavaScript API或其它这样的接口来传送数据。函数调用可处理手势数据到网页中的传递(或以其它方式发出到网络),其中手势数据使用标准的JavaScript(或其它这样的)呈现技术而呈现。手势数据因此可不但向本地网页公开而且也向可跨适当网络使用的任何适当的位置公开,所述网络可包括如本文别处讨论的相同或其它用户的其它计算装置。类似地,来自多个手势系统的数据可包括在单一装置上查看的单一网页上,即使所述系统可能处于不同位置且属于不同用户等等。
图3(a)示出了可利用各个实施方案的范围内的这种功能的网页或应用程序的示例性状态300。虽然为了解释的目的描述了示出来自电子市场的内容的网页,但是应了解呈现任何适当的内容类型的任何适当的界面可利用根据各个实施方案的基于运动、位置或手势的输入。在这个实例中,显示了对应于通过电子市场提供的衣服物品的内容页面。所述页面可能是以(例如)HTML或另一这样的标记语言呈现的网页,且可包括一个或多个小部件或模块,诸如对应于如本文讨论的手势识别系统的小部件302。可使用根据各个实施方案的模块、小部件、框架或其它这样的来源提供所述页面的各个其它部分。
在图3(a)的实例中,手势小部件302位于显示通过电子市场针对消费(即,购买、出租、购买、租赁或下载)提供的一组物品308的网页。虽然示出了衣服物品,但是应了解各种类型的物品可利用本文讨论的方法,且在其它实例中也可选择或使用各种其它类型的内容。可使用任何适当的技术(诸如通过执行关键字搜索、导航到特定类别的物品、访问用户专用评论等等)来执行要显示的物品的选择。界面中的物品308在这个实例中是实际产品的图像,以阵列配置到界面右方,但是如根据本公开应明白也可使用各种其它表示和配置。用户可在位于手势识别系统的视野内时查看显示器,使得示出对应于用户的当前位置和/或定向的用户的视图(或另一这样的图形头像、图标、光标或表示)。当用户正面向系统时,所示出的表示将通常是用户的“镜像”图像,使得即使图像304或表示将表现为使用左手来执行选择,用户仍可移动他或她的右手以在界面的右侧上选择物品。
在这个实例中,用户能够使用用户的手臂中的一个或多个来指向显示在页面上的物品308中的一个或多个。与图2中示出的情况相反,在这个实例中,用户能够选择位于手势小部件302或手势环境外部的物品。在图3(a)中,用户正将她的手指向具体对象306。来自手势系统的信息可由在客户端浏览器中或网页服务器上执行的应用程序或脚本来分析以(例如)识别用户正指向的物品。如本文别处讨论,这种程序可使用诸如用户的手臂的角度、前臂与用户的身体所成的角度、用户正伸出手臂的距离的信息和/或其它这样的信息以不但确定用户正指向的方向,而且还确定用户尝试沿所述方向提供输入的距离。例如,沿给定方向可存在多个物品,且用户打算选择的物品可通过用户在所述方向上正延伸他或她的手臂的距离来确定。
在图3(a)中,用户被确定指向具体物品306。当用户选择所述物品时,正在客户端浏览器中执行的脚本可诸如通过将对对应于与所显示的物品的图像相关联的物品识别符的内容的请求发送到网页服务器来请求对应于所述物品的信息。在这个实例中,选定物品306的信息310可显示在页面上以使用户能够获得关于所述物品的额外信息。可提供各种类型的内容和信息,但是在所述实例中,显示信息包括物品的至少一个图像、物品的价格和描述以及购买物品的选项。这种方法使用户能够使用提供自除了网页供应商以外的来源(或领域)的手势识别系统来控制、调整或更新显示在网页上的信息。在一些系统中,页面上脚本可自动地确定计算装置包括手势系统且可自动地使手势小部件302能够显示在页面上。在其它实施方案中,除了这些选项以外,用户还可能必须使手势系统与页面或用户配置文件相关联。在一些实施方案中,如本文别处讨论,手势系统可能是正用来查看页面的单独计算装置或系统的部分。
在至少一些实施方案中,用户还可使用用户的手中的一个来指向购买按钮314或其它这样的选项来使用户能够在无须输入任何信息或除了使用手势系统选择物品和选择购买选定物品的选项以外无须执行任何动作的情况下来购买物品(假设用户已建立配置文件、提供支付信息和/或以其它方式启用这样的购买方法)。
如讨论的,手势小部件302无须示出用户的视图,但是可能要示出已检测手势的表示或可能根本不要示出任何事物,其中手势系统反而用来控制显示在页面上的光标或其它选择元件。然而,在这个实例中,显示用户的视图304使选定物品能够在用户的所述视图下显示。如讨论的,在这个实例中,用户使用手势系统来选择特定衣服物品306。因为用户的视图显示在相同页面上,所以正在客户端装置和/或远程服务器上执行的软件可造成在用户的视图304上、上方或相对于用户的视图304显示选定物品的视图312。如示出,这种方法可使用户能够在用户的视图上方放置一个或多个衣服物品以给用户提供衣服物品穿在用户身上可能呈现的形象的思想。用户可组合物品以合并外观或服装,且可检查所述物品搭配用户的肤色、头发颜色和其它这样的信息。
然而,除了颜色信息以外,本文讨论的方法还可修改或呈现各种衣服物品的图像信息使得用户的视图可表现为“穿戴”所述物品,其中物品的呈现实质上对应于如手势小部件302中的视图304中表示的用户的形体。例如,选定夹克的衣袖可被呈现为实质上匹配用户的手臂在所述视图中的位置,其中手臂延伸以选择物品。衣服物品图像的主要部分可被拉伸、压缩或以其它方式呈现为实质上对应于用户的躯干,以提供物品在被用户穿戴的情况下将实际上呈现的形象的视图。如本文随后讨论,如果用户的尺寸可用且衣服物品的尺寸可用,那么这种方法还可帮助用户确定用户的物品的适当大小,且物品可被呈现大概尺寸,因此用户还可检查特定大小穿在用户身上将会呈现的形象(即,其是否太小、太长等等)。此外,因为用户的视图可使用视频捕获以大概实时展示,所以例如用户可查看不同姿势且在衣服中执行不同动作,诸如检查与站直相比一条裤子的长度将适合弯曲膝盖的程度、背面将呈现的形象等等。在一些实施方案中,用户可在回放的时段内执行手势或捕获视频,使得用户可查看服装从背面或侧面观看所呈现的形象,当用户正面对计算机和/或手势系统时这可能难以以其它方式检查。
这种方法可使用户能够实际上试穿不同衣服物品和衣服物品的组合。例如,在图3(b)的示例性状态320中,用户已调整用户的手臂的位置和/或定向以选择不同衣服物品322。如可知,用户不但改变了用户的手臂的方向以选择适当的物品,而且也延伸她的手臂以指示她想要选择较远列中的物品。当选择所述物品时(在至少一些实施方案中,这可能要求指向具体物品持续至少最小的选择时段),可显示最近选定的物品的信息324且用户的视图304上方可显示最近选定的物品的视图326。如果用户先前已选择在视图304下显示的裤子或靴子,那么例如用户可查看不同的上衣和裤子以及靴子以检查她偏爱哪个组合。此外,虽然这个实例中只示出了衬衣,但是用户也可在各个实施方案的范围内选择皮带、帽子、珠宝、手表、钱包、纹身设计和其它这样的物品。
为了提供选择和呈现能力,在至少一些实施方案中,呈现网页内容(或其它适当的内容)的脚本或应用程序需要能够访问并分析来自手势系统的数据。在其中手势数据被提供作为如先前讨论的JSON数据的馈送的网页环境中,例如正在客户端装置(或可操作地接收馈送的网页服务器)上执行的脚本可分析由手势系统提供的架构数据以确定例如手腕和肘点的相对位置。在图4(a)中示出的示例性手势系统数据400中,脚本可确定肩点406、肘点410和手点408的相对位置以确定其中用户正指向的相对方向。在一些实施方案中,如由她的肘点和手点界定的前臂方向可用来确定方向,而更复杂的系统可能尝试使用肩点和顶点或其它这样的信息来尝试确定用户实际上正打算指向的位置(因为肘点将一般不会对应于用户的视图的点)。脚本还可使用诸如用户的上臂的角度(如由肩点和肘点界定)的信息来确定用户的手臂的延伸量,但是也可使用手相距躯干的距离或其它这样的信息。这样的信息可用来确定用户正尝试选出的范围,诸如物品配置在列中的位置和用户使用延伸量来指定从哪一列来进行选择。在至少一些实施方案中,手臂可表现为激光笔,其创建指向某些位置的光束(但是可以或可以不实际上示出在显示器上)。当所述光束中的一个与页面上的物品或元件交叉时,可采取适当动作。在一些实施方案中,使用用户的前臂执行虚拟光线跟踪,且可使用在至少一些方面类似地触摸输入、光标输入等等的各种方法来确定光线与物品的交叉。
架构数据还可用来确定如何相对于用户的视图呈现一个或多个图像物品。如讨论的,分析二维图像数据在计算上可能比较昂贵,尤其是确定三维信息更加昂贵。为了确定用户附属物的相对位置以在其上呈现衣服或其它物品,架构可快速又潜在地更加准确地描述所述相对位置。例如,一条裤子的裤腿可被呈现为保持实质上以用户的腿的架构表示为中心。还可快速地由架构信息(当尝试确定如何对用户的当前定向呈现物品的图像时可能有用)确定手臂和腿弯曲的点。
为了提供更加准确的视图,呈现引擎还可使用如由视频或其它这样的图像信息确定的用户的形体402。例如,架构信息404可用来快速确定移动和位置,但是图像信息可提供用户身体的形体的更加准确的视图以使衣服呈现为表现为用户实际上正在穿衣服。如提及,这可包括拉伸、压缩、歪斜或以其它方式修改物品图像的一个或多个部分以造成根据具体用户和用户姿势塑形物品图像。在图4(a)的实例中,所述信息将用来呈现一手臂延伸的上衣和裤腿稍微展开的裤子,以匹配用户的身体的定向。所述信息还可用来调整衣服物品的呈现以实质上对应于用户身体的轮廓以使图像更加现实且表现为用户实际上正在穿戴所述物品。
然而,除了确定用户的定向和形体以外,系统或服务还可分析衣服物品的数据以能够呈现对应于所确定的定向和形体的所述物品的视图。在图4(b)的示例性情况420中,例如示出了一条裤子422的图像,其可搭配本文讨论的实施方案使用。为了促进分析和/或呈现,裤子可以透明背景或可相对容易地从图像移除的背景的图像来显示。在一些实施方案中,可使用三维模型信息使得裤子可被呈现、贴图映射、阴影化或以其它方式处理来对应于所确定的形体和定向。如视觉艺术中已知,还可使用用于将衣服物品映射到字母的形状的各种其它程序。
使用一条裤子422作为实例,图像修改程序可确定对应于图像的物品类型,诸如图像是否示出一条裤子、衬衣、夹克等等。至少部分基于物品类型,可加载图像处理模型,其可用来识别要处理的图像部分。例如,基本裤子模型可尝试识别裤子图像的五个主要部分。如图4(b)中示出,裤子部分可与任何背景部分分离,然后水平分隔栏可用来使躯干部分与腿分离,且将腿分成上腿部分和下腿部分。在一个实例中,确定第一水平位置424,其实质上对应于裤腿会聚的点或裤腿之间不再存在任何空间的点。对于基本的裤子(不是紧身裤或其它这样的类型),可确定第二水平位置426,其位于第一水平位置424与裤腿底部之间的中间。这个第二水平位置可用来大概表示每个裤腿中的膝盖位置。如图4(b)中可知,这种方法有效地将裤子分成固定躯干部分和四个裤腿部分,其中每个裤腿具有上腿部分和下腿部分。裤子图像的部分然后可被映射到架构信息(诸如图4(a)中示出的架构信息404)的对应部分。裤子图像的部分然后可旋转、重新定位、剪切、拉伸或以其它方式处理来展示实质上匹配用户的当前定向的定向428。如讨论的,用户的形体的实际轮廓还可用来拉伸物品的部分以在当前定向匹配用户的身体形体。用于拉伸、压缩、旋转图像或以其它方式使图像变形以配合模型、形体或图案的方法在本领域中众所周知且因而在本文将不会详细描述。
然而,可能不能够单独使用架构和形体信息来适当地放置和/或呈现某些物品。例如,太阳镜和帽子可能需要以不能容易获自架构信息的具体定向和位置下定位,除非所述信息包括诸如眼睛位置、下巴位置等等的信息。类似地,除非用户形体的轮廓包括用户身体的视图内的具体特征的轮廓,否则可能需要发生额外分析和/或处理来提供这些物品的适当呈现。
图4(c)的示例性状态440中示出了可根据各个实施方案使用的方法。在这个实例中,头部跟踪和/或脸部特征定位程序(在装置上执行、远离装置、通过具体API访问等等)用来分析用户被捕获的图像和/或视频信息。如已知用于这些目的,可通过对用户的捕获图像执行特征识别、图案匹配、外形识别或另一这样的程序来提供头部和/或特征定位。在至少一些实施方案中,头部跟踪算法可用来以图像信息定位用户头部的大概区域442。定位大概头部区域的能力可显著地减小必须针对特征识别而分析的图像信息量。此外,在至少一些实施方案中,头部跟踪程序可使用来自手势系统的架构数据的头部位置信息以还确定大概头部位置。特征识别或脸部识别程序可用来分析脸部区域442内的图像信息来以所捕获的图像信息确定具体特征点444的大概位置。这些特征点可能是任何适当的特征点,诸如可以包括眼睛位置、鼻子位置、用户的嘴巴和眉毛边缘的位置和其它这样的点。这些点可用来使能够以一适当定向在用户上呈现各种类型的物品。
例如,可显示用户的视图460,其使诸如一副太阳镜462和帽子464的图像对象呈现为用户正在穿戴对应物品。在至少一些实施方案中,帽子、眼镜和其它这样的物品的多个视图可被存储或呈现使得可提供匹配用户头部的定向的取决于定向的视图。眼睛位置或其它这样的数据可用来定位物品,且用户的眼睛或其它特征相对于图像中的用户头部的中心点的位置可用来确定其中用户头部正指向的方向以适当地呈现物品。随着用户旋转他或她的头部,特征位置也将更新使得物品的呈现可因此而更新。
在至少一些实施方案中,图像分析和脸部特征识别至少部分由于必要的处理时间而具有相关延迟。在至少一些实施方案中,来自手势系统的架构信息可用来实时更新头部位置,且脸部特征识别用来尽快地更新定向信息。因此,如果用户快速地转动他或她的头部、点头或执行另一这样的动作,那么定向更新由于处理时间而可能存在一定的滞后,但是架构信息可有助于在用户位置发生至少大的变化时降低滞后。在某些实施方案中,应了解,类似程序可用于手指、脚趾、肚脐眼或其它特征,其中用户可能想要放置珠宝或其它这样的物品,但是所述特征可能不能容易由来自手势系统的架构数据和/或形体数据来确定。
如提及,多个计算装置可跨网络分享来自手势系统的数据。分享数据的能力可使用户能够在装置没有直接连接到手势系统的情况下使用手势数据。例如,用户可站在嵌入台式计算机或电视机中的手势系统前面,并同时查看平板电脑或智能电话上的数据,其中用户运动控制平板电脑上的选择。用户还可执行手势以选择要被推动或以其它方式传输到其它装置的物品。例如,用户选择物品可造成所述物品的信息被发送到所述用户的存储在另一装置上的希望清单,或可造成所述物品的信息被发送到另一用户的装置。例如,用户可检查可能对另一用户感兴趣的事物并使用所述接口来使所述商品的信息能够被发送到所述用户的装置。两个或多个用户还可同时在至少一些系统中使用相同手势系统,这可使任何或所有所述用户的视图能够使用本文讨论的方法。
类似地,来自多个手势系统的数据可被组合到单一页面或以其它方式在一个或多个计算装置上使用。作为实例,图5(a)中示出的界面状态500示出了两个不同用户的视图502、504。网页可使两个用户均能够参与虚拟购物之旅,其中所述用户可在相同位置中使用相同手势系统或在不同位置中使用不同手势系统。页面的JavaScript(或其它活动脚本)可提交对来自适当手势系统的数据的请求,且一个或多个小部件可包括在页面中以允许使用手势数据来控制显示在页面上的各种内容。用户中的每个以及访问手势数据的其它潜在用户可查看相同、类似或不同版本的页面。在这个实例中,每个用户能够执行动作或运动以造成在其各自视图502、504上显示物品。已示出为第一用户视图502选择两个物品508,且对第二用户视图选择单一物品506。在至少一些实施方案中,用户可选择相对于所述用户的视图或另一用户的视图而呈现的物品。例如,用户可使用一只手臂、一只手或手指来选择物品,且使用另一手臂、手或手指来指向要呈现物品的用户视图。这种方法可使用户能够具有联合购物会话,其中用户可试穿其各自视图上的衣服或其它物品以及选择已显示在其它用户上的物品。
在一些实施方案中,诸如父母的用户可为另一用户(孩子)作出选择。例如,父母可能在商店购物或在线购物并检查感兴趣的物品。父母可通过界面(诸如通过搜索、扫描条形码、捕获所述物品的图像等等)来定位所述物品。父母然后可在家里或另一位置请求小孩站在手势系统前面。父母和/或孩子然后可检查物品将在小孩身上呈现的形象,且其中的一个或两个可决定是否为小孩购买所述物品,例如所述购买可在商店或电子市场完成。在一些实施方案中,小孩可检查物品在小孩自身装置上的不同视图。例如,小孩可具有如图5(b)中示出的计算装置522,其能够查看关于感兴趣的物品的信息以及所述物品在小孩身上的视图。小孩可提供反馈、选择不同物品或对所显示的内容执行其它动作。小孩的装置上的任何变化还可被复制到父母的视图,诸如改变物品的选择或图5(a)中的小孩的视图。
用户还可使感兴趣的物品的信息由于任何多个不同目的而被推动到另一装置。例如,用户在家用台式计算机上购物时可使用手势系统选择多个商品。用户可作出指示信息应被存储到便携式计算装置或其它指定位置的手势或运动。如图5(b)的界面状态540中示出,物品的信息可被存储到希望清单、虚拟购物清单或用户可带到各个商店或实体位置以尝试查看个人物品、试穿物品等等的其它这样的位置。在一些实施方案中,除了在线购买所述商品的选项以外,还可提供尝试定位附近的所述商品的选项。在各个实施方案的范围内还可使用各种其它方法。
在一些实施方案中,会话中的每个用户必须手动激活或选择使手势系统包括活动视图的选项。在其它实施方案中,用户可通过站立或对手势系统执行“唤醒”手势来激活视图,这可造成在装置上激活活动视图和/或手势控制。在各个实施方案的范围内还可使用各种语音命令或其它这样的控制或输入。在一些实施方案中,用户可作出运动或手势或只出现在不同计算装置的手势系统前面,以将信息、内容和或控制传送到其它计算装置。诸如撞击、投掷或滑动的各种运动也可用来在不同装置之间传递信息或控制。此外,不同的手指位置、手位置或其它变动可用来调整手势或运动的含义。例如,用户可用一只手指来指方向以指示物品,但是用两根手指可使所述物品出现在用户的视图上、购买所述物品,或执行另一这样的动作。类似地,用户可作出具体的手的手势以“抓住”物品并使其移动到另一位置,然后停止作出所述运动以“丢弃”物品。用户还可缩放物品的范围,诸如搜索结果、图像或标题,并同时作出选择手势以选择一组物品。用户可举起两根手指以沿手势方向选择第二列中的商品,且举起三根手指以沿手指方向选择第三列中的商品。手势还可用来在三维中选择物品,其中手势或运动的至少部分朝向或远离手势系统。如本领域一般技术人员根据本文包括的教学和建议应明白,还可使用各种其它手势、运动和动作。
图6示出了其中可实施各个实施方案的方面的示例性环境600。如讨论,手势数据可搭配任何适当类型的任何数量的不同客户端装置602使用。这些装置可属于相同或不同用户,且这些装置中的一些、没有一个或全部可包括能够用作手势系统的组件。其它装置可包括或需要在各个实施方案中用作手势系统的外部或周边组件。在这个实例中,装置跨至少一个网络604连接至内容供应商系统,诸如提供消费产品的电子市场606,其中所述产品的信息存储在至少一个产品数据存储区608中。用户可使用客户端装置602中的一个来查看通过至少一个网络访问来自电子市场606的内容页面,其中由相同或不同客户端装置的手势系统捕获的手势数据可嵌入内容页面中和/或搭配内容页面使用。在其中使用用户的视图处理并呈现诸如衣服的物品的图像的实施方案中,例如,图像的存储、修改和/或其它处理可由内容服务610或其它这样的实体来执行,其中内容服务可与电子市场606或第三方供应商相关联。可从电子市场的产品数据存储区608和/或内容服务的图像数据存储区612访问要处理的图像。在许多实施方案中,可在客户端装置和/或电子市场系统上执行使内容能够由用户经由手势系统处理的脚本,而在其它实施方案中,专用服务器或其它这样的组件、服务或供应商可管理各个装置与位置之间的手势数据和内容的流动。
图7根据各个实施方案示出了用于使物品能够呈现在手势系统的用户的视图上的示例性程序700。应了解,对于本文讨论的任何程序,除非另有说明,否则在各个实施方案的范围内以类似或替代次序或并行执行额外、更少或替代步骤。在这个实例中,激活702手势系统,其能够捕获用户的图像、位置和/或运动数据。除了其它这样的选项以外,还可由用户通过来自应用程序的请求或指令手动地激活或响应于用户站立在手势系统前面或在手势系统前面移动自动地激活系统。在由用户访问的内容页面或其它界面部分中还可加载、执行、呈现、嵌入或以其他方式激活704手势小部件。在至少一些实施方案中,页面是与JavaScript或正在浏览器应用程序中执行且可操作地使用手势数据和内容页面的另一活动脚本相关联的网页。可从浏览器应用程序请求706手势数据,且可从已激活的手势系统接收708手势数据串流。如讨论的,手势数据可包括各种类型的数据,包括用户被捕获的图像数据和使用结构化光检测或另一这样的程序确定的位置数据。使用已接收的手势数据,用户的视图可在由于捕获、传输、处理和呈现步骤而产生的一定延迟下呈现710在表示用户的当前定向的手术小部件中。通过正在浏览器中执行的脚本,确定712使用用户的视图呈现的至少一个图像。图像可对应于由用户选择或另外指示的衣服物品或其它对象。使用来自手势数据的指示用户的当前定向或状态的位置信息,可修改714已确定的图像来对应于所显示的用户定向。如讨论的,可拉伸、压缩、歪斜或以其它方式处理图像以对应于用户的定向和/或外观。所修改的图像然后可呈现716在用户的视图上方、手势小部件中的适当位置中,使得其表现为用户正在举起、穿戴、或以其它方式使用图像中的对象或与图像中的对象交互。这种方法使能够修改来自手势系统环境外部的物品的图像并将图像添加到所述环境,使得所述图像以所捕获的图像信息表现为物品实际上伴随着用户或在用户身上。
图8根据各个实施方案示出了可使用户能够执行诸如选择使用的用户视图呈现的图像的动作的类似程序800。如上文提及,可激活802、804手势系统和手势小部件,其中手势数据是由浏览器或其它适当的应用程序而请求806。在这个实例中,接收808包括手势数据的响应,如讨论的,所述响应先前可有效地使手势数据的流动通向浏览器。可使用内嵌框架或其它这样的结构,其中使用手势数据和页面内容需要跨域通信。对应于用户位置和/或定向的视图可呈现810在手势小部件中。虽然在一些实施方案中视图将对应于由手势系统捕获的视频,但是在其它实施方案中视图可提供头像、方向指示符或使用户能够确定由手势系统提供的输入的至少某个方面的其它这样的图形元件。使用手势数据,可确定812由用户执行的手势的方向和/或范围。如讨论的,除了其它这样的信息以外,这还可涉及确定用户的手臂或手指的角度以及手臂或手指延伸的距离。使用方向和/或范围信息,用户可被启用814来与页面上位于手势小部件外部的内容交互。如提及,这可涉及选择要购买的物品、要查看的搜索结果、激活的选项或其它这样的功能。在至少一些实施方案中,页面的脚本还被启用816来与手势小部件的一个或多个方面交互,诸如改变用户视图的外貌、新增额外视图、选择已收集手势信息的多个用户中的一个等等。在各个实施方案的范围内还可使用各个其它选项。
某些实施方案可在页面上显示格子而不是提供用户的视图,其中高亮的格子部分可对应于来自手势系统的当前输入位置。除了其它这样的选项以外,当用户站在手势系统前面、被检测来做出运动或手势、握住他或她的手或发出语音命令时,格子可自动上升。在其它实施方案中,用户可在单元格之间移动手势小部件以具有较小输入区域。例如,用户可在页面上选择一百个物品。为了避免用户必须作出极大和/或精确的运动或手势,用户可具有从每个包括10个物品的10个单元格之间进行选择以使更简单的手势能够选择感兴趣的物品。用户可能能够执行滑动运动或其它这样的手势以在单元格之间移动。
因为手势数据可包括图像信息(其包括用户的视图),所以系统可尝试确定可辅助例如用户选择程序的各个方面的用户的多个方面。如果脸部识别程序可识别用户,那么可显示基于所述用户的偏爱或存储的信息的搜索结果。如果图像分析程序可识别用户的性别或大概年龄或大小,那么所述信息可用来缩小被选择来显示于用户的搜索结果或其它信息。如果页面上示出男性用户和女性用户的视图且选择女性的物品,那么系统可假设在至少一些情况下应呈现用于女性的物品。各个其它方面还可被确定和使用来在各个实施方案的范围内调整内容选择。
在一些实施方案中,计算装置可使用一个或多个运动确定元件(诸如电子陀螺仪)以尝试辅助运动和手势确定。在图像捕获期间通过确定装置的移动,可消除装置移动的影响以为所跟踪的用户特征提供更加准确的三维位置信息。此外,确定图像信息中的明显运动是由于装置移动而不是用户手势产生的可有助于防止错误输入确定。
图9示出了可用来执行根据本文讨论和建议的各个实施方案的方法的示例性计算装置900。在这个实例中,装置具有至少一个照相机或传感器904、906,其位于与显示元件902相同的装置的侧上的各个位置处,使装置能够在典型的操作期间捕获关于装置的用户的图像和/或位置信息,其中用户至少部分在显示元件前面。在这个实例中,照相机和/或传感器每个能够捕获可见和/或红外(IR)光谱内的图像信息,且在至少一些实施方案中可在可见操作模式与IR操作模式之间选择。然而,应了解在其它实施方案中可存在类似或替代类型的较少或额外元件,且可搭配各种装置使用照相机、红外线检测器、手势传感器和其它这样的元件的组合。
在这个实例中,包括光传感器908,其可用来确定要捕获的对象的一般方向上的光量。在一些实施方案中,如本文别处讨论的至少一个照明元件(诸如白色发光二极管(LED)或红外线(IR)发射器)可用于在例如由光传感器确定的周围光不足或捕获到反射的IR辐射时在特定的方向范围中提供照明(诸如其中结构化光的图案被产生作为手势系统的部分)。运动确定元件910还可用来尝试区分用户移动和装置移动。如根据本文包括的教学和建议应明白,在各个实施方案的范围内还可使用各个其它元件和元件组件。
为了提供本文描述的各种功能,图10示出了计算装置1000的基本组件的示例性集合,诸如关于图9描述的装置900。在这个实例中,装置包括用于执行可存储在至少一个存储器装置或元件1004中的指令的至少一个中央处理器1002。如本领域一般技术人员将明白,装置可包括许多类型的存储器、数据存储装置或非暂时计算机可读存储介质,诸如由处理器1002执行的程序指令的第一数据存储装置,相同或单独的存储装置可用于图像或数据,可抽换式存储器可用于和其它装置共享信息等等。装置通常将包括某种类型的显示元件1006,诸如触摸屏、电子墨水(e-ink)、有机发光二极管(OLED)或液晶显示器(LCD),但是诸如便携式媒体播放器的装置可经由其它工具(诸如通过音频扬声器)传达信息。在至少一些实施方案中,显示屏使用例如电容式或电阻式触摸技术提供基于触摸或滑动的输入。
如讨论的,在许多实施方案中,装置将包括至少一个图像捕获元件1008,诸如能够使装置附近的用户、人或对象成像的一个或多个照相机或传感器。图像捕获元件可包括或至少部分基于任何适当的技术,诸如具有已确定的分辨率、焦距范围、可见区域和捕获速率的CCD或CMOS图像捕获元件。图像捕获元件还可包括被操作来捕获用于确定用户的手势或运动的图像信息的至少一个IR传感器或检测器。在一些实施方案中,用于运动和手势识别的照相机和/或传感器可通过诸如传感棒的单独周边装置而提供。示例性装置包括至少一个照明组件1010,诸如具有用于产生结构化光的图案化透镜的IR光源。装置还可包括至少一个其它照明元件,因为其可包括用于提供标准的数码摄影机的照明的一个或多个光源(例如,白光LED、IR发射器或闪光灯)。
示例性装置可包括被配置来从用户接收常规输入的至少一个额外输入元件1012。这样的常规输入可包括例如按钮、触摸板、触摸屏、方向盘、操纵杆、键盘、鼠标、轨迹球、键盘或任何其它这样的装置或元件,因而用户可输入命令到装置。在一些实施方案中,这些I/O装置甚至还可由无线红外线或蓝牙或其它链路来连接。然而,在一些实施方案中,这样的装置可能根本不包括任何按钮且可只通过视觉(例如,手势)和音频(例如,说话)命令的组合来控制使得用户可在不需要接触装置的情况下来控制所述装置。
如讨论的,在各种环境中可根据所描述的实施方案实施不同方法。如将明白,虽然在各个实例中为了解释目的而使用基于网页的环境,但是也可以酌情使用不同环境来实施各个实施方案。示例性电子客户端装置可包括被操作来通过适当的网络发送和接收请求、消息或信息并将信息返回传达到装置的用户的任何适当的装置。这样的客户端装置的实例包括个人计算机、手机、手持式消息传递装置、膝上型计算机、机顶盒、个人数字助手、电子书阅读器等等。网络可包括任何适当的网络,包括内部网、互联网、手机网络、局域网或任何其它这样的网络或其组合。用于这样的系统的组件可至少部分取决于所选择的网络和/或环境的类型。用于经由这样的网络进行通信的协议和组件众所周知且将不会在本文详细讨论。通过网络进行的通信可经由有线或无线连接和其组合而启用。网络可包括互联网、手机网络、局域网(LAN)等等。如本领域一般技术人员将明白,可使用各种网络专用组件,但是其没有被示出。
应了解,可存在多个应用程序服务器、应用程序层或其它元件、程序或组件,其可以被链接或以其它方式配置,其可交互以执行诸如从适当的数据存储区获得数据的任务。如本文使用,术语“数据存储区”是指能够存储、访问和检索数据的任何装置或装置组合,其可包括任何标准、分布式或集群式环境中的任何组合和数量的数据服务器、数据库、数据存储装置和数据存储介质。应用程序服务器可包括任何适当的硬件和软件,其用于与数据存储区集成以必要时执行客户端装置的一个或多个应用程序的多个方面并处理应用程序的大部分数据访问和商业逻辑。应用程序服务器可协同数据存储区提供访问控制服务且能够产生诸如被传送到用户的文字、图形、音频和/或视频的内容,这可以由网页服务器以HTML、XML或这个实例中的另一适当的结构化语言来提供给于用户。可由网页服务器处理全部请求和响应的处理以及客户端装置与应用程序服务器之间的内容传递。应了解,网页和应用程序服务器不一定需要且只是示例性组件,因为本文讨论的结构化代码可在如本文别处讨论的适当的装置或主机上执行。
数据存储区可包括多个单独数据表、数据库或用于存储与特定方面有关的数据的其它数据存储机构和介质。例如,数据存储区可包括用于存储可用来提供生产方的内容的内容(例如,生产数据)和用户信息的机构。数据存储区还可包括用于存储日志或会话数据的机构。应了解,可存在可需要存储在数据存储区中的许多其它方面,诸如可酌情存储在上文列出的机构中的任何一个或数据存储区中的额外机构中的页面图像信息和访问权信息。数据存储区可通过与其相关联的逻辑来操作以从应用程序服务器接收指令并响应于接收指令而获得、更新或以其它方式处理数据。在一个实例中,用户可提交对某个类型的物品的搜索请求。在这种情况下,数据存储区可访问用户信息来验证用户的身份且可访问类别细节信息以获得关于所述类型的物品的信息。所述信息然后可以诸如网页上列出的用户能够经由用户装置上的浏览器进行查看的结果传回到用户。可在浏览器的专用页面或窗口中查看感兴趣的特定物品的信息。
每个服务器通常将包括操作系统,其提供用于所述服务器的一般管理和操作的可执行程序指令,且通常将包括存储当由服务器的处理器执行时允许服务器执行其希望的功能的指令的计算机可读介质。用于服务器的操作系统和一般功能的适当实施方式众所周知或商业上可用且容易由本领域一般技术人员尤其根据本文的揭示内容来实施。
一个实施方案中的环境是使用经由通信链路、使用一个或多个计算机网络或直接连接进行互连的多个计算机系统和组件的分布式计算环境。然而,本领域一般技术人员将明白,这样的系统可同样在具有所描述的更少或更多数量的组件的系统中充分地操作。因此,系统的描绘应被视为本质上具有说明性且不限于本公开的范围。
各个实施方案还可在多种操作环境中实施,在一些情况下操作环境可包括一个或多个用户计算机或计算装置,其可用来操作任何数量的应用程序。用户或客户端装置可包括任何数量的通用个人计算机,诸如运行标准操作系统的台式计算机或膝上型计算机以及运行移动软件且能够支持多个联网和消息传递协议的手机、无线和手持式装置。这样的系统还可包括为了诸如研发和数据库管理的目的运行多种商用操作系统和其它已知应用程序中的多个工作站中的任何一个。这些装置还可包括其它电子装置,诸如虚拟终端机、瘦客户端、游戏系统和能够经由网络进行通信的其它装置。
大部分实施方案使用将为本领域一般技术人员所熟悉的用来支持使用任何多种商用协议(诸如TCP/IP、OSI、FTP、UPnP、NFS、CIFS和可路由协议组)进行的通信的至少一个网络。网络可能是(例如)局域网、广域网、虚拟专用网、互联网、内部网、外部网、公共交换电话网、红外线网络、无线网络和其任何组合。
在使用网页服务器的实施方案中,网页服务器可运行任何多个服务器或中间层应用程序中的任何一个,包括HTTP服务器、FTP服务器、CGI服务器、数据服务器、Java服务器和商业应用程序服务器。服务器还可以能够诸如通过执行一个或多个网页应用程序来执行来自用户装置的响应请求中的程序或脚本,所述一个或多个网页应用程序可以被实施为以任何程序设计语言(诸如、JavaScript、C、C#或C++或任何脚本语言,诸如Perl、Python或TCL以及组合)编写的一个或多个脚本或程序。服务器还可以包括数据库服务器,包括(不限于)可购自 的所述服务器。
环境可包括如上文讨论的多种数据存储区和其它存储器和存储介质。这些可驻留在多个位置中,诸如计算机中的一个或多个的本地(和/或驻留在计算机中的一个或多个中)或远离跨网络的任何或全部计算机的存储介质上。在特定的一组实施方案中,信息可以驻留在为本领域一般技术人员所熟悉的存储区域网(SAN)中。类似地,用于执行属于计算机、服务器或其它网络装置的功能的任何必要文件可以酌情存储在本地和/或远方。如果系统包括计算机化装置,那么每个这样的装置可包括可以经由总线电连接的硬件元件,所述元件包括(例如)至少一个中央处理单元(CPU)、至少一个输入装置(例如,鼠标、键盘、控制器、触敏显示元件或键盘)和至少一个输出装置(例如,显示装置、打印机或扬声器)。这样的系统还可以包括一个或多个存储装置,诸如磁盘驱动器、光学存储装置和固态存储装置,诸如随机访问存储器(RAM)或只读存储器(ROM)以及可抽换式介质装置、存储卡、闪存卡等等。
这样的装置还可包括计算机可读存储介质读取器、通信装置(例如,调制解调器、网卡(无线或有线)、红外线通信装置)和如上所述的工作存储器。计算机可读存储介质读取器可连接或被配置来接收计算机可读存储介质(其表示远程、本地、固定和/或可抽换式存储装置)以及用于暂时和/或更永久地包括、存储、传输和检索计算机可读信息的存储介质。系统和各个装置还通常将包括多个软件应用程序、模块、服务或位于至少一个工作存储器装置内的其它元件,包括操作系统和诸如客户端应用程序或网页浏览器的应用程序。应明白,替代实施方案可以具有来自上述变动的多个变动。例如,还可使用定制硬件和/或可在硬件、软件(包括便携式软件,诸如小应用程序)或其两者中实施特定元件。此外,可以采用到其它计算装置的连接,诸如网络输入/输出装置。
用于包括代码或代码部分的存储介质和非暂时计算机可读介质可包括本领域中已知或使用的任何适当的介质,包括存储介质和通信介质,诸如(但不限于)以任何方法或技术实施来存储和/或传输信息(诸如计算机可读指令、数据结构、程序模块或其它数据)的易失性和非易失性、可抽换式和不可抽换式介质,包括RAM、ROM、EEPROM、快闪存储器或其它存储器技术、CD-ROM、数字通用光盘(DVD)或其它光学存储器、磁带盒、磁带、磁盘存储装置或其它磁性存储装置或可用来存储所希望的信息且可由系统装置访问的任何其它介质。基于本文提供的发明内容和教学,本领域一般技术人员将明白实施各个实施方案的其它方式和/或方法。
说明书和附图因此被视为说明性而不是限制意义。然而,将明白在不背离如权利要求陈述的发明的广泛精神和范围的情况下可作出各种修改和改变。
条款1.一种呈现内容的计算机实施方法,其包括:
从计算装置的用户接收对网页的请求;
发送对网页的内容的第一请求和对来自手势系统的位置数据和图像数据的第二请求;
从手势系统接收位置数据和图像数据,所述图像数据包括用户的当前定向的视图和对应于所述用户在所述当前定向的特征的所述位置数据;
通过手势模块在网页上呈现包括所请求的内容的网页和所述图像数据的视图,所述视图包括所述用户的所述当前定向的表示,所述网页包括所述手势模块外部的多个用户可选择对象;
分析所述位置数据以确定所述用户的运动或手势中的至少一个,所述用户的所述运动或手势能够指示所述用户可选择对象中的至少一个;和
响应于指示所述用户可选择对象的所述运动或手势,执行与所指示的用户可选择对象相关联的动作。
条款2.根据条款1所述的计算机实施方法,其中所述手势系统是呈现网页且与所述网页的内容的供应商分离的计算装置的部分。
条款3.根据条款2所述的计算机实施方法,其中所述手势系统包括能够提供视频图像数据的至少一个视频照相机和可操作来提供所述位置数据的至少一个结构化光子系统。
条款4.根据条款1所述的计算机实施方法,其中执行与所指示的用户可选择对象相关联的动作包括请求在所述网页上显示与所述用户可选择对象相关联的内容。
条款5.根据条款1所述的计算机实施方法,其中执行与所指示的用户可选择对象相关联的动作包括修改呈现在所述网页上的所述用户的所述视图。
条款6.根据条款1所述的计算机实施方法,其中所述位置数据和图像数据是通过响应串流接收自手势系统。
条款7.一种计算机实施方法,其包括:
在配置有可执行指令的一个或多个计算机系统的控制下,
从手势系统接收位置数据,所述位置数据对应于用户在所述用户相对于所述手势系统的当前定向下的特征;
通过手势模块在页面上呈现包括所述用户的所述当前定向的表示的内容页面,所述页面包括所述手势模块外部的多个用户可选择对象;
分析所述位置数据以确定所述用户的运动或手势中的至少一个,所述用户的所述运动或手势能够指示所述用户可选择对象中的至少一个;和
响应于所述运动或手势指示所述用户可选择对象中的至少一个,执行与所指示的用户可选择对象相关联的动作。
条款8.根据条款7所述的计算机实施方法,其中所述页面是网页。
条款9.根据条款7所述的计算机实施方法,其中所述位置数据被接收作为手势数据串流。
条款10.根据条款7所述的计算机实施方法,其中正在浏览器应用程序中执行的活动脚本被配置来接受并分析手势数据以确定所述用户的运动或手势中的至少一个。
条款11.根据条款9所述的计算机实施方法,其中所述手势数据是JavaScript对象表示法(JSON)数据且所述活动脚本是JavaScript。
条款12.根据条款7所述的计算机实施方法,其中所述手势模块是来源于第一域且所述页面的内容的至少部分是来源于第二域。
条款13.根据条款12所述的计算机实施方法,其中呈现所述页面的应用程序包括被配置来使数据能够在所述第一域与所述第二域之间传递的框架。
条款14.根据条款7所述的计算机实施方法,其中所述用户可选择对象是所述用户可购买的衣服物品的图像。
条款15.根据条款14所述的计算机实施方法,其中执行与所指示的用户可选择对象相关联的动作包括相对于所述手势模块中的所述用户的视图在所述页面上以所指示的图像显示衣服物品的视图。
条款16.根据条款15所述的计算机实施方法,其中所述用户的所述视图使用所接收的视频数据被提供来自所述手势系统的所述位置数据。
条款17.根据条款16所述的计算机实施方法,其中所述衣服物品的所述视图被修改来对应于如由所接收的视频数据指示的所述用户的所述当前定向和所述用户的形体中的至少一个。
条款18.根据条款7所述的计算机实施方法,其中所述用户的所述至少一个运动或手势能够选择多个所指示的用户可选择动作。
条款19.根据条款7所述的计算机实施方法,其中所述位置数据能够被分析来确定正同时执行两个或更多个运动或手势。
条款20.一种计算装置,其包括:
装置处理器;
显示屏;和
存储器装置,其包括可被操作来由所述装置处理器执行以执行一组动作的指令,所述指令使所述计算装置能够:
从手势系统获得位置数据,所述位置数据对应于用户的当前定向;
通过手势模块在所述显示屏上呈现包括所述用户的所述当前定向的表示的内容的显示,所述显示器包括所述手势模块外部的多个用户可选择对象;
分析所述位置数据以确定所述用户的运动或手势中的至少一个,所述用户的所述运动或手势能够指示所述用户可选择对象中的至少一个;和
响应于指示所述用户可选择对象的所述运动或手势执行与所指示的用户可选择对象相关联的动作。
条款21.根据条款20所述的计算装置,其中所述显示器是网页,所述位置数据被接收作为JSON数据串流,且正在浏览器应用程序中执行的JavaScript被配置来接受并分析所述JSON数据串流以确定所述用户的运动或手势中的至少一个。
条款22.根据条款20所述的计算装置,其中所述手势模块是来源于第一域且所述页面的内容的至少部分是来源于第二域,且其中呈现所述页面的应用程序包括被配置来使数据能够在所述第一域与所述第二域之间传递的框架。
条款23.根据条款20所述的计算装置,其中所述用户可选择对象是所述用户能够购买的的衣服物品的图像,且其中执行与所指示的用户可选择对象相关联的动作包括相对于所述手势模块中的所述用户的视图在所述页面上以所指示的图像显示衣服物品的视图。
条款24.根据条款21所述的计算装置,其中所述用户的所述视图使用所接收的视频数据被提供来自所述手势系统的所述位置数据,且其中所述衣服物品的所述视图被修改来对应于如由所接收的视频数据指示的所述用户的所述当前定向和所述用户的形体中的至少一个。
条款25.一种非暂时计算机可读存储介质,其存储当由计算装置的至少一个处理器执行时使所述计算装置进行以下各项的指令:
从手势系统接收位置数据,所述位置数据对应于用户的当前定向;
通过手势模块在显示屏上提供包括所述用户的所述当前定向的表示的内容显示,所述显示包括所述手势模块外部的多个用户可选择对象;
分析所述位置数据以确定所述用户的运动或手势中的至少一个,所述用户的所述运动或手势能够指示所述用户可选择对象中的至少一个;和
响应于指示所述用户可选择对象中的一个的所述运动或手势,执行与所指示的用户可选择对象相关联的动作。
条款26.根据条款25所述的非暂时计算机可读存储介质,其中所述手势模块是来源于第一域且所述页面的内容的至少部分是来源于第二域,且其中呈现所述页面的应用程序包括被配置来使数据能够在所述第一域与所述第二域之间传递的框架。
条款27.根据条款25所述的非暂时计算机可读存储介质,其中所述用户可选择对象是所述用户能够购买的的衣服物品的图像,且其中执行与所指示的用户可选择对象相关联的动作包括相对于所述手势模块中的所述用户的视图在所述页面上以所指示的图像显示衣服物品的视图。
条款28.根据条款27所述的非暂时计算机可读存储介质,其中所述用户的所述视图使用所接收的视频数据被提供来自所述手势系统的所述位置数据,且其中所述衣服物品的所述视图被修改来对应于如由所接收的视频数据指示的所述用户的所述当前定向和所述用户的形体中的至少一个。

Claims (13)

1.一种计算机实施方法,其包括:
在配置有可执行指令的一个或多个计算机系统的控制下,
从手势系统接收位置数据,所述位置数据对应于用户在所述用户相对于所述手势系统的当前定向下的特征;
通过手势模块在页面上呈现包括所述用户的所述当前定向的表示的内容页面,所述页面包括所述手势模块外部的多个用户可选择对象;
分析所述位置数据以确定所述用户的运动或手势中的至少一个,所述用户的所述运动或手势能够指示所述用户可选择对象中的至少一个;和
响应于所述运动或手势指示所述用户可选择对象中的至少一个,执行与所指示的用户可选择对象相关联的动作。
2.根据权利要求1所述的计算机实施方法,其中所述页面是网页。
3.根据权利要求1所述的计算机实施方法,其中所述位置数据被接收作为手势数据串流。
4.根据权利要求1所述的计算机实施方法,其中正在浏览器应用程序中执行的活动脚本被配置来接受并分析手势数据以确定所述用户的运动或手势中的至少一个。
5.根据权利要求3所述的计算机实施方法,其中所述手势数据是JavaScript对象表示法(JSON)数据且所述活动脚本是JavaScript。
6.根据权利要求1所述的计算机实施方法,其中所述手势模块是来源于第一域且所述页面的内容的至少部分是来源于第二域。
7.根据权利要求6所述的计算机实施方法,其中呈现所述页面的应用程序包括被配置来使数据能够在所述第一域与所述第二域之间传递的框架。
8.根据权利要求1所述的计算机实施方法,其中所述用户可选择对象是所述用户可购买的衣服物品的图像。
9.根据权利要求8所述的计算机实施方法,其中执行与所指示的用户可选择对象相关联的动作包括相对于所述手势模块中的所述用户的视图在所述页面上以所指示的图像显示衣服物品的视图。
10.根据权利要求9所述的计算机实施方法,其中所述用户的所述视图使用所接收的视频数据被提供来自所述手势系统的所述位置数据。
11.根据权利要求10所述的计算机实施方法,其中所述衣服物品的所述视图被修改来对应于如由所接收的视频数据指示的所述用户的所述当前定向和所述用户的形体中的至少一个。
12.根据权利要求1所述的计算机实施方法,其中所述用户的所述至少一个运动或手势能够选择多个所指示的用户可选择动作。
13.根据权利要求1所述的计算机实施方法,其中所述位置数据能够被分析来确定正同时执行两个或更多个运动或手势。
CN201380015866.3A 2012-03-20 2013-03-20 多种环境中的基于结构化照明的内容交互 Pending CN104718540A (zh)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US13/425,297 US20130254066A1 (en) 2012-03-20 2012-03-20 Shared user experiences
US13/425,289 US9304646B2 (en) 2012-03-20 2012-03-20 Multi-user content interactions
US13/425,280 US9367124B2 (en) 2012-03-20 2012-03-20 Multi-application content interactions
US13/425,280 2012-03-20
US13/425,261 2012-03-20
US13/425,275 US9373025B2 (en) 2012-03-20 2012-03-20 Structured lighting-based content interactions in multiple environments
US13/425,275 2012-03-20
US13/425,297 2012-03-20
US13/425,261 US9213420B2 (en) 2012-03-20 2012-03-20 Structured lighting based content interactions
US13/425,289 2012-03-20
PCT/US2013/033192 WO2013142625A2 (en) 2012-03-20 2013-03-20 Structured lighting-based content interactions in multiple environments

Publications (1)

Publication Number Publication Date
CN104718540A true CN104718540A (zh) 2015-06-17

Family

ID=52113108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380015866.3A Pending CN104718540A (zh) 2012-03-20 2013-03-20 多种环境中的基于结构化照明的内容交互

Country Status (3)

Country Link
EP (1) EP2828768A4 (zh)
JP (1) JP5934425B2 (zh)
CN (1) CN104718540A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9373025B2 (en) 2012-03-20 2016-06-21 A9.Com, Inc. Structured lighting-based content interactions in multiple environments
CN109002780A (zh) * 2018-07-02 2018-12-14 深圳码隆科技有限公司 一种购物流程控制方法、装置和用户终端

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090089186A1 (en) * 2005-12-01 2009-04-02 International Business Machines Corporation Consumer representation rendering with selected merchandise
CN102201099A (zh) * 2010-04-01 2011-09-28 微软公司 基于运动的交互式购物环境
US20120047452A1 (en) * 2010-08-18 2012-02-23 Canon Kabushiki Kaisha Information processing apparatus, display control method, and storage medium

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3847753B2 (ja) * 2004-01-30 2006-11-22 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
JP2011123779A (ja) * 2009-12-14 2011-06-23 Rakuten Inc 入力行為数を応用したコンテンツ価値評価システム
JP5488088B2 (ja) * 2010-03-17 2014-05-14 株式会社リコー 画面制御システム、サーバ、及び画面制御方法
US9645992B2 (en) * 2010-08-21 2017-05-09 Oracle International Corporation Methods and apparatuses for interaction with web applications and web application data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090089186A1 (en) * 2005-12-01 2009-04-02 International Business Machines Corporation Consumer representation rendering with selected merchandise
CN102201099A (zh) * 2010-04-01 2011-09-28 微软公司 基于运动的交互式购物环境
US20120047452A1 (en) * 2010-08-18 2012-02-23 Canon Kabushiki Kaisha Information processing apparatus, display control method, and storage medium

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9373025B2 (en) 2012-03-20 2016-06-21 A9.Com, Inc. Structured lighting-based content interactions in multiple environments
CN109002780A (zh) * 2018-07-02 2018-12-14 深圳码隆科技有限公司 一种购物流程控制方法、装置和用户终端
CN109002780B (zh) * 2018-07-02 2020-12-18 深圳码隆科技有限公司 一种购物流程控制方法、装置和用户终端

Also Published As

Publication number Publication date
EP2828768A4 (en) 2015-10-14
JP2015516629A (ja) 2015-06-11
EP2828768A2 (en) 2015-01-28
JP5934425B2 (ja) 2016-06-15

Similar Documents

Publication Publication Date Title
US9304646B2 (en) Multi-user content interactions
US9213420B2 (en) Structured lighting based content interactions
US11403829B2 (en) Object preview in a mixed reality environment
US10777226B2 (en) Selective sharing of body data
US9373025B2 (en) Structured lighting-based content interactions in multiple environments
US20130254066A1 (en) Shared user experiences
US11567535B2 (en) Temperature-controlled wearable extended reality appliance
US9367124B2 (en) Multi-application content interactions
US10475099B1 (en) Displaying relevant content
CN106462979B (zh) 时尚偏好分析
US20160093081A1 (en) Image display method performed by device including switchable mirror and the device
CN106127552B (zh) 一种虚拟场景显示方法、装置及系统
JP2020129356A (ja) プログラム、情報処理方法、及び情報処理端末
US9990665B1 (en) Interfaces for item search
KR20200132897A (ko) 시착될 의류들의 정보를 처리하기 위한 매장 시스템, 및 방법 및 장치
CN104718540A (zh) 多种环境中的基于结构化照明的内容交互
WO2013142625A2 (en) Structured lighting-based content interactions in multiple environments
US20240071019A1 (en) Three-dimensional models of users wearing clothing items
KR20230064174A (ko) 관심지점을 통해 메타버스 진입을 허용하기 위한 장치 및 방법
KR20230064176A (ko) 메타버스로 진입하기 위한 관심지점의 거래 및 메타버스 상점에서 구매 활동을 허여하는 장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20150617