CN104838336B - 基于设备接近度的数据和用户交互 - Google Patents

基于设备接近度的数据和用户交互 Download PDF

Info

Publication number
CN104838336B
CN104838336B CN201380051761.3A CN201380051761A CN104838336B CN 104838336 B CN104838336 B CN 104838336B CN 201380051761 A CN201380051761 A CN 201380051761A CN 104838336 B CN104838336 B CN 104838336B
Authority
CN
China
Prior art keywords
user
content
equipment
approach
degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380051761.3A
Other languages
English (en)
Other versions
CN104838336A (zh
Inventor
N.奥索蒂奥
金恩亨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN104838336A publication Critical patent/CN104838336A/zh
Application granted granted Critical
Publication of CN104838336B publication Critical patent/CN104838336B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0261—Targeted advertisements based on user location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking

Abstract

使能在用户物理地接触用户设备之前由用户设备对用户进行检测并且由用户与用户设备的内容进行交互的架构。检测能力可以利用设备的一个或者多个传感器来辨认用户和用户到设备的接近度（距离）。基于用户身份和接近度，设备以某一种方式进行操作/起作用。而且，可以单独地通过对自然用户界面（NUI）手势的识别或者通过该识别与其它识别技术（例如，语音识别）的组合来使能正在进行的交互。设备活动可以包括使得设备以预定的方式——诸如功率模式、应用发起和操纵以使得对硬件和其它（本地和/或远程的）软件进行控制——来操作，以及获取和呈现特定类型的内容（例如，广告、通知、消息、提醒、新闻、进入的讯息等等）。

Description

基于设备接近度的数据和用户交互
背景技术
典型地，在用户已经物理地被吸引到网站、视频、游戏等等的内容中时，技术设备中的广告被呈现给用户。因为在那时对于用户而言，用户焦点是优先考虑的事，所以一般地，在那时诸如广告那样的内容就可能是烦人的或者是从用户的焦点分散注意力的。因此，广告客户希望获取的收益（gain）变得越发有限。
发明内容
以下给出简化的概要，以便提供对本文所描述的一些新颖实施例的基本理解。本概要不是详尽的概述，并且也不打算确认关键/必要的要素或者描绘其范围。它的唯一目的是以简化的形式给出一些概念，作为随后给出的更详细描述的前序。
所公开的架构使得能在用户物理地接触用户设备之前，由用户设备对用户进行检测并且由用户与用户设备的内容进行交互。检测能力可以利用设备的一个或者多个传感器来辨认用户和用户到设备的接近度（距离）。基于用户身份和接近度，设备可以被预先配置/用户配置成以某些方式操作/起作用。而且，可以单独地通过对自然用户界面（NUI）手势的识别或者通过该识别与其它识别技术（例如，语音识别）的组合来使能正在进行的（ongoing）交互。
换言之，在用户辨认之后，如果用户所处的距离被认为离设备过远，则该设备以一种方式运转（behave）（操作），如果用户所处的距离被认为离设备过近，则该设备以另一种方式运转（操作），并且如果用户所处的离设备的距离被认为是在离设备可接受的范围之内，则该设备以又一种方式运转（操作）。
例如，设备运转可以包括使得该设备以预定的方式进行操作，诸如从一种功率模式（例如，睡眠）操作到另一种功率模式（例如，全功率）、发起应用（例如，操作系统、程序等等）、操纵（一个或多个）应用以使得对硬件和其它（本地和/或远程的）软件进行控制，等等。
其它的设备活动（运转）可以包括获取和呈现特定类型的内容，以使得例如基于用户身份，在用户接近用户设备时，内容（例如，广告、通知、消息、提醒、新闻、进入的讯息等等）可以被获取并且被呈现给用户。
在内容是广告的特定实现中，设备使用户甚至能够在触摸该设备之前与已瞄准目标的（targeted）相关的广告接洽（engage）。通过用户手的接近度（用户手到设备的距离）和NUI手势，用户可以观看广告、控制被观看的广告数量并且向那些广告施加动作（例如，保存、另存为等等），而不需要已登录（log into）到该设备。反过来，一旦登录，广告将不会在观看设备显示、看视频或者玩游戏时干扰用户焦点（例如阅读）。
为了完成前述和相关的目的，本文结合以下的说明和附图对某些说明性方面进行描述。这些方面指示可用以实践本文所公开的原理的各种方式，并且所有方面及其等同物被定为在所要求保护的主题的范围之内。当结合附图进行考虑时，从下文的详细说明中，其它的优点和新颖特征将变得明显。
附图说明
图1图示出按照所公开的架构的系统。
图2图示出基于个人用户设备接近度的数据和用户交互的个人系统。
图3图示出基于公共设备接近度的数据和用户交互的公共系统。
图4图示出按照所公开的架构的接近度分析的图。
图5图示出基于用户接近度的墙纸和热点呈现的图。
图6A-6F图示出针对墙纸的在设备和用户之间的交互的一连串屏幕截图。
图7A和7B图示出针对搜索引擎页面的在设备和用户之间的交互的屏幕截图。
图8A-8D图示出在公共服装店中使用所公开的架构进行交互的屏幕截图。
图9图示出按照所公开的架构的方法。
图10图示出按照所公开的架构的可替换方法。
图11图示出按照所公开的架构的、基于设备接近度来执行数据和用户交互的计算系统的方框图。
具体实施方式
所公开的架构使得能在用户物理地接触设备（公共的和个人的）之前，由设备对用户和用户的属性进行检测并且由用户与设备的内容进行交互。检测能力可以利用设备的一个或者多个传感器或者另一个传感器系统来辨认用户和用户到设备的接近度（距离）。基于用户身份和接近度，设备可以（例如，由用户）预先配置成以某些方式来操作/起作用。
而且，可以单独地通过对自然用户界面（NUI）手势的识别或者通过该识别与其它识别技术（例如，语音识别）的组合来使能其后正在进行的交互。NUI可以被定义为使得用户能够以“自然的”方式与设备进行交互、而免除由输入设备（诸如鼠标、键盘、遥控器等等）强加的人工约束的任何接口技术。NUI方法的示例包括依赖于语音识别、触摸和指示笔识别、在屏幕上和屏幕附近的手势识别、空中手势、头和眼跟踪、话音和语音、视觉、触摸、手势和机器智能的那些方法。因此，NUI方法可以使能与计算设备的交互，所述交互使得计算设备执行多种多样的操作，包括但不限于程序导航（例如，消除（dismiss）（或者关闭）、打开、保存、浏览）和功率操作（例如，睡眠、备用、关断、接通等等）。
特定类别的NUI技术包括触敏显示、话音和语音识别、意图和目标理解、使用深度相机（诸如立体相机系统、红外相机系统、RGB（红-绿-蓝）相机系统和这些的组合）的运动手势检测、使用加速计/陀螺仪的运动手势检测、面部识别、3D显示、头、眼和凝视跟踪、沉浸式增强现实和虚拟现实系统，其全部都提供较自然的界面，且所述NUI技术包括用于通过使用电场传感电极（EEG（脑电图）和相关方法）来感测大脑活动的技术。
换言之，在用户辨认之后，如果用户所处的距离被认为（例如，通过阈值检测技术）离设备过远，则设备以一种方式来运转（操作），如果用户所处的距离被认为离设备过近，则设备以另一种方式来运转（操作），并且如果用户所处的距设备的距离被认为是在离设备可接受的范围之内，则设备以又一种方式来运转（操作）。
其它设备活动（运转）可以包括获取和呈现特定类型的内容，以使得在用户接近设备时可以例如基于用户身份获取内容（例如，广告、通知、消息、提醒、新闻、进入的讯息等等）并且把其呈现给用户。
在公共环境中，公共设备可以检测和辨认用户、检测和辨认用户的物理特性，诸如身高、发色、服装类物品、装饰品（例如，太阳镜、鞋）、身体姿势（例如，手臂举起、手和手指的取向、点头、站立、坐下等等）和特定类型的装饰品（例如，在眼睛上的品牌A的太阳镜、右手中所持的品牌C的咖啡等等），并且随后将讯息转发给个人用户设备以使得用户经由该用户设备接收已瞄准目标的或者定制的内容。例如，当在服饰企业中实施时，用户的辨认可以导致对关于喜欢/不喜欢某些类型的服饰的用户信息的检索，后随有特卖品的内容广告，内容广告于是可以被叠加在用户的肖像（likeness）上，以便经由公共设备和/或经由个人用户设备来观看（使被叠加的肖像保持远离公众注视）。
现在参考附图，其中在所有的图上，同样的参考数字用来指同样的单元。在下文的描述中，为了解释，阐述许多具体细节以便提供对其的透彻理解。然而，明显的是，新颖的实施例可以在没有这些具体细节的情况下被实践。在其它实例中，以方框图的形式显示出众所周知的结构和设备，以便使它们的描述便利。意图是覆盖落入所要求保护的主题的精神和范围之内的所有的修改、等同物和替换方案。
图1图示出按照所公开的架构的系统100。系统100可以包括设备104（例如，智能电话、平板设备、便携式计算设备等等）的传感器子系统102（例如，音频输入/输出、图像捕获、视频捕获、温度感测、触摸感测、接近度感测（例如，声速的、红外的）、速度和加速度、地理坐标、陀螺仪等等），其感测设备104的用户108距设备104的非接触（不需要触摸）接近度106。传感器子系统102还确定用户108的身份。这可以通过使用对由设备相机系统所捕获的图像的图像识别来完成，并且更具体地，通过面部识别来完成。
内容建议引擎110基于身份来接收用户信息112（例如，用户简档数据、用户社交网络数据、先前的搜索数据等等），并且建议用于向用户108呈现的内容114（例如，广告）。基于接近度106和用户108的身份，呈现组件116（例如，作为图形和显示系统的一部分）促进内容114的交互式（用户交互）呈现。呈现组件116从内容建议引擎110中接收所建议的内容114，并且基于接近度106和用户108的身份来促进内容114的交互式呈现。
呈现组件116基于用户108到设备104的接近度106中的对应改变来改变内容114的特性（例如，大小、分辨率、内容本身等等）。换言之，随着用户移动得距设备104更近和更远，内容114可以相对应地在大小上从其原始尺寸增大，和在大小上减小回到其原始尺寸。建议引擎110基于用户信息112来创建建议，用户信息112包括例如先前的搜索历史、用户简档数据和社交网络数据。
传感器子系统102可以进一步包括使用图像识别来确定用户108的身份的识别子系统。传感器子系统102可以进一步包括手势识别子系统，其促进经由用户手势的与内容114的用户交互。手势可以是自然用户界面手势，诸如手移动和一个或者多个手指的操纵。
内容114可以涉及广告、特定于设备118的视觉环境（例如，操作系统桌面）的内容、特定于牵涉到当前用户交互的应用的内容、特定于之前的用户web搜索的内容、和/或特定于用户外表（例如，服装、妆容、发型等等）的内容。所建议的内容114由用户108观看，在被观看的数量上由用户108控制（例如，进行交互以使得多种类型的内容得以呈现），并且由用户108与之交互，而不需要用户108登录到设备104。设备104可以是为了观看和用户交互而向用户108的个人用户设备（例如，蜂窝电话）传达内容114（例如，服装）的公共设备（例如，百货商店的公共设备）。
以下是对被应用到正做广告的内容的所公开架构的具体描述。然而，要领会的是，如在本文中进一步描述的，所公开的架构可以被应用到许多不同的环境中。
当用户将手移动得离用户设备更近时（无需物理触摸），与操作系统背景图像（有时被称为“桌面墙纸”或者“墙纸”）及用户的兴趣相关的广告将相对于手和设备之间距离而变大（扩大）。在某一距离处（“最有效点（sweet spot）”范围，例如大致离设备6-12英寸），广告将被扩大为全尺寸（full size）。
在扩大广告的过程期间，广告中的内容可以在改变期间基于在那时广告的大小而改变且变换成或多或少相同类别的内容或者完全不同类别的内容。
用户可以通过使用NUI手势与广告/设备进行交互以观看附加的广告。例如，通过改变一只或者两只手中被识别的手指数量，可以示出与墙纸（例如，骑自行车的骑车者）有关的、该数量的广告。然后，广告可基于改变的数据、用户兴趣和对不同墙纸背景的选择而轮换（rotate）。例如，广告可以针对墙纸中的相对应的改变（例如，针对朋友野营的图片）而改变。除了野营用具（gear）(它的品牌在图像中是可辨认的)外，所显示的广告可以基于墙纸图像中用户的朋友的社交网络（例如，喜好和相关兴趣）来选择。
当用户已经辨认出期望被分享、保存等等的广告/交易（deal）时，用户可以再次使用一个或者多个NUI手势来完成该动作。在保存交易以便稍后履行（redemption）的情况中，用户可以用他们的手做出NUI“轻击（flick）”手势以便将广告/交易投入保存桶（bucket）中。用户在物理地接触用户设备之前完成这个动作。
如果用户决定不对所呈现的广告/交易采取行动，则用户可以通过继续将手移动得离用户设备更近来消除该广告。一旦越过（在界外）“最有效点”距离范围，广告以及其中的信息开始在大小上物理地减小。在距离设备预定的距离处（例如，大致为一英寸），广告将减小到其初始大小，其可以是热点的微小（slight）视觉指示。在与用户设备进行任何物理接合之前，与用户的兴趣相关的并且对用户的兴趣有价值的内容（例如，广告）被呈现。
以下是可以被应用到各种环境的所公开的架构的一般描述。
如之前针对做广告所描述的，可以利用面部识别来呈现定制的墙纸和一个或者多个可交互的热点。设备的软件/硬件能力检测用户的具体面部特征并且呈现定制的墙纸。因为墙纸是特定于用户的，所以广告信息通过之前的搜索历史、简档、社交网络和用户已经选取的关于想要的已瞄准目标的广告的选择加入（opt-in）特征而将目标瞄准他们。
一旦用户已经被辨认，通过使用手到设备的接近度和NUI手势，用户可以在物理地触摸或者解锁设备之前观看那些广告并且与其进行交互。用户接近度可以被使用来步进地扩大/减小显示广告交易和广告的热点，其中广告交易和广告是针对用户定制的并且与用户墙纸的上下文有关。这是在用户已经物理地接触了用户设备和/或有意地在此时以任何方式与设备交互以促成任何设备功能或者操作之前发生。可以基于例如用户简档数据、之前的研究（research）数据和社交信号来使墙纸选择、广告、交易等等的目标瞄准该用户。手的手势可以使得设备操作，以展现用户愿意观看的数量的广告/交易并且对特定交易采取行动。
当对于移动设备操作系统开始页面（在应用开始时所呈现的初始页面）来实施时，可以执行面部识别来呈现定制的开始页面。可以计算手/身体接近度来将特定于上下文的相关内容显现为与诸如图块（tile）那样的显示对象相关联（例如，运动内容将在大小上逐渐增加，其显示特定于该用户的运动有关的媒体，电子邮件程序图块将在视觉大小上增大以显示可用以观看的最近的邮件、即将到来的约会或者任务通知等等）。手的手势可以被使用来对特定的一条接近度信息采取行动。
当对于计算机操作系统和第三方应用来实施时，手/身体接近度可以被配置成显现特定于用户当前正在与其交互的应用的内容（例如，报纸应用图块在大小上逐渐增大，显示特定于某个类别的内容，并且该内容与用户的简档、网络冲浪（surfing）历史等等相关）。手的手势可以被使用来对特定的一条接近度信息采取行动。
当对于搜索来实施时，手/身体接近度可以被使用来显现特定于搜索引擎主页照片图像的内容。基于用户简档数据、之前的研究、社交信号等等，使内容与该图像有关。手的手势可以被使用来对特定的一条接近度信息采取行动。
当在公共空间（诸如服装店）中实施时，手/身体接近度可以被使用来显现特定于用户外表和物品（例如，服装、发型、咖啡杯等等）的内容。NUI方法（例如，手、手臂、眼、话音、语音、声音等等）可以被使用来对特定的一条接近度信息（可基于用户接近度而交互的信息）采取行动。个人和公共的设备可以是平板电脑、计算机、大的公共显示监视器等等。
图2图示出基于个人用户设备接近度的数据和用户交互的个人系统200。用户设备202（图1的设备104的某个版本）包括传感器子系统204（与图1的传感器子系统102相似），其包括如下能力，即：执行用户108的图像（面部）识别、识别用户手势、以及确定用户和/或用户四肢和身体部分（例如，手、手臂等等）离设备202的距离。用户设备202包括显示器206（与显示器118相似），经由显示器206来呈现所选择的内容208（与内容114相似）。用户设备202还可以包括数据存储库210，其存储用户特定的数据，诸如简档信息、社交网络信息、登录信息、图像、照片、消息等等。用户设备202还包括设备通信子系统212，诸如用于连接到有线和/或无线网络或者其它系统的有线和/或无线收发信机。
系统200进一步包括内容建议引擎214，其分析和选择内容（以用于显示）。在这个描绘中，引擎214包括其本身的引擎通信子系统216；然而，应理解的是，通信可以简单地借助软件发送/接收技术来进行。引擎214包括个人建议判决算法218，其至少基于用户身份和接近度来访问内容库220，并且建议将要被发送给用户设备202以用于呈现的所选择的内容208。
在操作中，随着用户108移近用户设备202，设备202自动分析和检测用户108的身份。附加地，用户设备202跟踪用户108（或者其它身体部分，诸如（两只）手）到设备202的距离。基于用户身份检测和接近度，在用户触摸设备202之前，设备202自动将所选择的内容208呈现给用户。以这种方式，用户在登录以便执行其它功能（诸如文字处理、web搜索等等）之前被呈现以某些类型的内容208，而不必在已登录时以分心的方式来观看此内容208。基于用户108到设备202的接近度，内容208的呈现和/或内容208自身将被改变。
其后，用户108可以选择通过形成对设备202来说可识别的手势，而以某种方式与内容208和/或设备202进行交互。基于（一个或多个）手势，用户108可以以不同的方式进行交互，以便诸如保存内容208、绕开（bypass）内容208、移动到不同的内容等等。
图3图示出基于公共设备接近度的数据和用户交互的公共系统300。公共设备302（图1的设备104的某个版本）包括传感器子系统304（与传感器子系统102和204相似），其包括如下能力，即：执行用户108的图像（例如，面部）识别、识别用户手势、以及确定用户和/或用户四肢和身体部分（例如，手、手臂等等）与公共设备302的距离。公共设备302包括显示器306（与显示器118相似），经由显示器306来呈现匹配的内容308（与内容114相似）。公共设备302还可以包括数据存储库310，其存储用户特定的数据，诸如简档信息、社交网络信息、登录信息、图像、照片、消息等等。公共设备302还可以包括设备通信子系统312，诸如用于连接到有线和/或无线网络或者其它系统（诸如个人用户设备202）的有线和/或无线收发信机。
系统300进一步包括内容建议引擎314，其分析和选择匹配的内容308（以用于显示）。在这个描绘中，引擎314通过使用发送/接收协议，而不是如在图2中所描绘的其自身的引擎通信子系统212，来直接与公共设备302进行通信；然而，应理解的是，通信可以借助其自身的引擎通信子系统来进行。引擎314包括匹配算法318，其至少基于用户身份和接近度数据来访问内容库320，并且建议将要被发送给公共设备302的匹配的内容308以便经由公共显示器306来呈现。
在操作中，随着用户108移近公共设备302，设备302自动分析和检测用户108的身份。附加地，公共设备302检测用户108（或者其它身体部分，诸如（两只）手）与设备302的距离，并且随后继续跟踪用户108与设备302的接近度。基于用户身份检测，公共设备302在用户108触摸设备302之前自动地向用户108呈现匹配的内容308。呈现可以是经由公共设备302和/或用户设备202的，这可由用户108来选择。
基于用户108到公共设备302的接近度，所匹配的内容308的呈现和/或所匹配的内容308可以被改变。例如，在公共设备302显示穿着新服饰的用户108的场合，内容308可以被控制成不清楚地显示出用户108，直到用户选择使用公共设备302来观看。这降低了或者防止了其它购物者的观看。假如用户选择用公共设备302继续，随着用户108移动得离设备302更近，用户108的再现（rendition）可以在显示器306中被更清楚地显示成（和被看到）穿着新服饰。
其后，用户108可以选择通过形成对公共设备302来说可识别的手势，而以某种方式与匹配的内容308和/或公共设备302进行交互。基于（一个或多个）手势，用户108可以以不同的方式进行交互，以便诸如保存匹配的内容308、绕开内容308、移到不同的内容308等等。
可替换地，如之前所建议的，用户108可以选择将匹配的内容308从公共设备302路由到用户设备202，以便更秘密地观看和交互。在此时，用户设备202子系统可以接管（取代（override））公共设备302子系统中的一个或者多个。例如，用户108可以随后经由用户设备202来交互。附加地，基于用户108离用户设备202的接近度，用户设备202可以执行自动的已匹配内容的操纵和呈现。
本文所描述的系统可以进一步采用安全组件，以用于对用户信息的授权的和安全的操纵。安全组件允许订户（subscriber）选择加入和选择退出（opt-out）例如用户辨认和接近度跟踪以及个人用户信息处理。准许（consent）可以采取数种形式。选择加入的准许将在数据被收集之前采取肯定性动作（affirmative action）强加于订户。替换地，选择退出的准许将在数据被收集之前采取用于阻止数据收集的肯定性动作强加于订户。这与暗示的准许相似，在这一点上，用户在被充分告知后，通过什么也不做来允许数据收集和处理。安全组件确保了对用户信息的适当的收集、存储和访问。
图4图示出按照所公开的架构的接近度分析的图400。设备104包括传感器能力，用来连续地确定（跟踪）用户108离设备104的距离。“最有效点”是接近度范围402。在一个实现中，接近度范围402是内容以其最大的扩大视图被呈现的地方，然而当用户接近度106在近的范围外（out-of-range, OOR）位置404或者在远的范围外位置406内时，内容被相对应地减小回到其原始观看尺寸或者增大到最大观看尺寸。
在可替换的实施例中，当用户108移动得离设备104更近而同时仍在远的OOR范围中时，内容以超过最大的观看尺寸被呈现，以使得用户可以更容易地观看该内容。然后，随着用户108移动得离设备104更近，当用户108达到“最有效点”接近度范围402时，内容将被减小到其最大观看尺寸。基本上，随着用户108移动得离设备104更近，内容被自动适配以便用户观看。
图5图示出基于用户接近度的墙纸和热点呈现的图500。设备显示器118响应于经由设备相机504使用至少面部识别进行的对用户108的辨认而显示出墙纸图像502。响应于用户辨认，显示器118描绘从用户108的相关首选项中导出的墙纸图像506。在这个示例中，墙纸图像506利用三个交互性的内容热点来呈现，即：第一热点508、第二热点510和第三热点512。每个热点可以具有不同的一组内容以供用户交互和显示。例如，当用户108进入设备的“最有效点”距离（接近度）时，与第三热点512相关联的内容可以被增大成扩大的版本514以供用户108观看。随着用户移动远离显示器118，到最有效点距离范围之外，内容随后被减小降回到与第三热点512相关联的原始尺寸。这种技术同等地适用于第一和第二热点（508和510）。这种扩大/减小过程在用户108登录到设备之前以及在用户108物理地触摸设备之前被执行。用户108可以使用自然用户界面手势（诸如手和手指姿势）来与热点进行交互。
图6A-6F图示出针对墙纸在设备和用户之间的交互的一连串屏幕截图600。在使用面部识别来辨认用户之后，呈现定制的墙纸602，而不需要用户接触该设备。图6A显示被创建并且定位在墙纸602上的数个热点。第一热点604位于自行车的后车轮上，因为正如从墙纸图像中所导出的，用户对骑自行车感兴趣，因此，诸如自行车车轮/轮胎的广告那样的内容可能是感兴趣的。此时，用户手606在接近度最有效点的范围外。因此，热点内容中没有一个被改变以供观看。
在图6B中，随着用户移动手606在接近度上更靠近，与第一热点604相关联的第一条内容608开始渐渐变大，带有附加的广告和/或内容信息和交易。在图6C中，当手606进入预定义的最有效点接近度范围时，第一条内容608处于其最大尺寸。在图6D中，通过使用手势识别，用户露出手606中的两根手指，这表明用户想要看看与该第一热点604有关的另一个交易。作为响应，第二条内容610被呈现在第一条内容608旁边。在图6E中，用户选择保存第一条内容608，并且向右上角朝着保存图标做出手轻击的动作。这是被识别为保存动作的NUI手势。第一条内容608的描绘随后被移除，剩下第二条内容610被显示。在图6F中，随着用户移动手606在接近度上更加靠近设备（设备显示器），进入了近的范围外位置（图4的位置404），第二条内容610在尺寸上减小。如果用户触摸显示器，则第二条内容将减小到其原始尺寸（热点604的尺寸）。
相同的描述适用于应用和开始页面，其中热点被呈现，并且如上文那样用户接近度导致内容呈现以及扩大、减小、保存。
图7A和7B图示出针对搜索引擎页面702在设备和用户之间的交互的屏幕截图700。在图7A中，页面702显示第一热点704和相关联的内容706。在图7B中，随着用户（用户的手）在接近度上移动得离设备（显示器）更近，内容706在尺寸上增大，并甚至改变成不同的一组内容。
图8A-8D图示出在公共服装店使用所公开的架构的交互的屏幕截图800。在图8A中，用户108接近商店显示系统802，其辨认用户108并且利用一个或者多个热点——即：头部热点804和腹部热点806和手部热点808——往回向用户呈现相同性别的一般化轮廓。可以采用其它热点，举例而言，诸如用于腿或者脚。
在图8B中，随着用户（用户的手）移动得离特定的热点（例如腹部热点806）更近，相关联的内容810被扩大成基于所获取的用户信息（诸如用户简档、社交网络信息、先前的搜索历史等等，其可能指示用户正在寻找衬衫）而显示用户可能喜欢的衬衫（或者其它服装）。
在图8C中，当完全地扩大时，基于用户手到显示系统802的接近度，用户108可以看到衬衫在被穿上时将看起来如何。如果用户喜欢这件衬衫，用户可以做出手势来选择内容810。
在图8D中，响应于选择，显示系统802（与公共设备302相似）可以向用户的个人设备202传送关于该衬衫的更详细信息，诸如任何折扣、交易等等。用户可以随后与个人设备202进行交互来完成购买事务（transaction）、看看其它服饰等等。
被包括在本文中的是代表用于执行所公开架构的新颖方面的示范性方法的一组流程图。虽然为了解释的简单性，在本文中所示的一种或者多种方法例如以流程图或者流程图表的形式被显示并被描述为一连串的动作，但是应理解和领会的是这些方法不受动作的顺序限制，因为按照这些方法的一些动作可以以与本文所显示和描述的顺序不同的顺序发生和/或与其它动作同时地发生。例如，本领域技术人员应理解和领会到，方法可以替换地被表示成诸如在状态图中的一连串的互相联系的状态或者事件。而且，对于某个新颖的实现来说，并非在方法中图示的所有动作都会被需要。
图9图示出按照所公开的架构的方法。该方法可以由执行机器可读指令的计算机系统来执行。在900，使用用户设备来检测用户到用户设备的接近度。可以使用一种或者多种检测技术（诸如声速感测和面部识别）来检测接近度。当使用相机子系统时，可以捕获重复的图像并且与所存储的图像（例如，面部）相比较，以确定匹配的质量。如果匹配失败，则可以判定用户离设备过远而不能使设备操作启动。
另一种技术是手势识别，其例如通过使用自然用户界面手势来捕获和解译手的手势。如果用户的手被捕获并且被计算为离设备较远，则内容以一种方式来呈现，而如果手被捕获并被计算为在离设备预定的接近度范围之内（也被叫做“最有效点”或者“最有效点范围”），则内容以另一种方式来呈现。
在902，经由用户设备来辨认用户以获取用户标识。例如，如果采用了面部识别，则一旦识别被计算为是成功的，用户的身份便已知。
在904，基于用户标识来访问用户信息。用户信息可以是从本地源和/或远程源获取的信息。例如，用户信息包括用户简档、社交网络数据和搜索信息中的一个或者多个。
在906，在用户设备的显示器的视觉环境中与图形热点相关联地呈现内容。内容与用户信息有关。视觉环境可以是由用户所选择的墙纸图像（其具有位于墙纸中某些点处的热点）、操作系统的开始页面、应用页面、搜索页面、公共设备应用页面等等。在908，热点内容的呈现响应于用户到用户设备的接近度而被改变。
该方法进一步包括处理由用户与用户设备进行的用户交互。交互利用在用户设备的预定接近度范围（最有效点）内被识别的手势来基于用户信息去操作用户设备。该方法可以进一步包括处理用户交互以引起用户设备的向用户呈现与用户信息有关的内容的操作。换言之，使内容的目标瞄准用户或者为用户定制。
该方法可以进一步包括处理用户交互以引起用户设备按照对内容放大或者缩小的手势的操作。如果用户的手在最有效点范围内，手的存在可以使得内容被扩大（放大效果）以供用户感知。如果手移出最有效点，则内容被减小回到其原始尺寸。
该方法可以进一步包括处理用户交互以引起用户设备基于用户信息向用户呈现广告的操作。该方法可以进一步包括使用自然用户界面方法来与用户设备进行交互，自然用户界面方法包括但不限于手指计数、手挥动、手指指向等等。
图10图示出按照所公开的架构的可替换方法。该方法促进在设备的显示器的视觉环境中广告内容与图形热点相关联的呈现。在1000，检测用户到设备的非接触接近度。在1002，辨认用户的特性。特性包括但不限于在此时刻的服装风格、用户简档和首选项、发色、发型、年龄、手的移动、步幅（stride）、性别标识、用户身份（例如，经由图像识别、话音识别等等）等等。在1004，基于用户特性来检索广告内容。在1006，与图形热点相关联地呈现广告内容，该广告内容与用户特性有关。在1008，热点的广告内容的呈现响应于用户到设备的接近度而改变。
该方法可以进一步包括基于用户特性来建议将要被呈现的广告内容，其中用户特性包括有关的先前的用户搜索、用户简档数据和社交网络数据。该方法可以进一步包括使得用户交互能进行以下至少一项：对热点的广告内容放大、对热点的广告内容缩小、保存热点的广告内容、与热点相关联地呈现附加的广告内容、或者对广告内容进行事务处理。该方法可以进一步包括使得能经由在用户设备的预定接近度范围内被识别的用户的用户手势来与图形热点的广告内容进行用户交互。 该方法可以进一步包括使得能经由为广告内容交互而选择视觉环境的特定热点的手的手势来进行用户交互。该方法可以进一步包括经由设备的识别技术（例如，图像、话音、语音等等）来辨认用户。
当在本申请中使用时，术语“组件”和“系统”打算指计算机有关的实体，其或者是硬件、软件和有形硬件的组合、软件，或者是执行中的软件。例如，组件可以是但不限于有形组件和软件组件，有形组件诸如是处理器、芯片存储器、大型存储设备（例如，光学驱动器、固态驱动器和/或磁存储介质驱动器）和计算机，软件组件诸如是在处理器上运行的过程、对象、可执行文件、数据结构（存储在易失性或者非易失性存储介质中）、模块、执行的线程和/或程序。
作为举例说明，在服务器上运行的应用和服务器两者可以是一个组件。一个或者多个组件可以驻留在过程和/或执行的线程中，并且某个组件可以局限在一台计算机上和/或分布在两台或者更多台计算机之间。单词“示范性”可以在本文中被用来意指充当示例、实例或者举例说明。在本文中被描述为“示范性”的任何方面或设计不是必然地要被解读为比其它的方面或者设计更优选或者更有利。
现在参考图11，其图示出计算系统1100的方框图，计算系统1100按照所公开的架构基于设备接近度来执行数据和用户交互。然而，要领会的是，所公开的方法和/或系统的一些或者全部方面可以被实施为单片系统（system-on-a-chip），其中模拟、数字、混合信号和其它功能被制作（fabricate）在单个芯片基底上。
为了对其的各个方面提供附加的上下文，图11和以下的描述打算提供在其中可以实施各个方面的适当计算系统1100的简要的一般性描述。虽然上文的描述是在可以运行于一个或者多个计算机中的计算机可执行指令的一般上下文中，但是本领域技术人员应认识到的是，新颖的实施例也可以与其它程序模块相组合地实施和/或被实施为硬件和软件的组合。
用于实施各个方面的计算系统1100包括计算机1102，其具有（一个或多个）处理单元1104（也称为（一个或多个）微处理器和（一个或多个）处理器））、诸如系统存储器1106那样的计算机可读存储装置和系统总线1108。（一个或多个）处理单元1104可以是各种市场上可买到的处理器中的任何处理器，诸如单处理器、多处理器、单核单元和多核单元。而且，本领域技术人员应领会的是，新颖的方法可以利用其它计算机系统配置来实践，其它计算机系统配置包括小型计算机、大型计算机以及个人计算机（例如，台式、膝上型、平板PC等等）、手持式计算设备、基于微处理器或者可编程消费者电子设备等等，其每个都可以在操作上耦合到一个或者多个相关联的设备。
计算机1102可以是在支持用于便携式和/或移动计算系统（诸如蜂窝电话和其它有移动能力的（mobile-capable）设备）的云计算服务的数据中心和/或计算资源（硬件和/或软件）中所采用的若干计算机中的一个。云计算服务包括但不限于例如作为服务的基础设施、作为服务的平台、作为服务的软件、作为服务的存储装置、作为服务的桌面、作为服务的数据、作为服务的安全设施，和作为服务的API（应用程序接口）。
系统存储器1106可以包括计算机可读存储装置（物理存储介质），诸如易失性（VOL）存储器1110（例如，随机存取存储器（RAM））和非易失性存储器（NON-VOL）1112（例如，ROM、EPROM、EEPROM等等）。基本输入/输出系统（BIOS）可以被存储在非易失性存储器1112中，并且包括诸如在启动期间促进在计算机1102中的组件之间的数据和信号的通信的基本例程。易失性存储器1110还可以包括高速RAM，诸如用于高速缓存数据的静态RAM。
系统总线1108为系统组件提供接口，其包括但不限于系统存储器1106到（一个或多个）处理单元1104的接口。系统总线1108可以是使用各种各样市场上可买到的总线架构的任何总线架构的、可以进一步互接到存储器总线（具有或者不具有存储器控制器）的若干类型的总线结构中的任一种，并且可以是外围总线（例如，PCI、PCIe、AGP、LPC等等）。
计算机1102进一步包括（一个或多个）机器可读存储子系统1114和用于将（一个或多个）存储子系统1114对接到系统总线1108和其它期望的计算机组件的（一个或多个）存储接口1116。（一个或多个）存储子系统1114（物理存储介质）可以包括例如以下的一项或者多项：硬盘驱动器（HDD）、磁软盘驱动器（FDD）、固态驱动器（SSD）和/或光盘存储驱动器（例如，CD-ROM驱动器、DVD驱动器）。（一个或多个）存储接口1116可以包括举例而言，诸如EIDE、ATA、SATA和IEEE 1394那样的接口技术。
一个或者多个程序和数据可以被存储在存储器子系统1106、机器可读和可拆卸存储器子系统1118（例如，闪速驱动器形状因子技术）和/或（一个或多个）存储子系统1114（例如，光、磁、固态）中，其包括操作系统1120、一个或者多个应用程序1122、其它程序模块1124和程序数据1126。
操作系统1120、一个或者多个应用程序1122、其它程序模块1124和/或程序数据1126可以包括例如图1的系统100的实体和组件、图2的系统200的实体和组件、图3的系统300的实体和组件、图4的图400的实体、图5的图500的实体、由图6A-6F的屏幕截图所代表的动作和结果、由图7A和7B的屏幕截图所代表的动作和结果、由图8A-8D的屏幕截图所代表的动作和结果、以及由图9和10的流程图所代表的方法。
一般地，程序包括用来执行特定任务或者实施特定抽象数据类型的例程、方法、数据结构、其它软件组件等等。操作系统1120、应用1122、模块1124和/或数据1126的全部或者一些部分也可以被高速缓存在举例而言，诸如易失性存储器1110的存储器中。应领会的是，所公开的架构可以利用各种市场上可买到的操作系统或者操作系统的组合（例如，作为虚拟机）来实施。
（一个或多个）存储子系统1114和存储器子系统（1106和1118）为数据、数据结构、计算机可执行指令等等的易失性和非易失性存储充当计算机可读介质。当这样的指令由计算机或者其它机器执行时，其可以使得计算机或者其它机器执行方法的一个或者多个动作。执行动作的指令可以被存储在一个介质中，或者可以跨多个介质存储，以使得指令看起来总体是在一个或者多个计算机可读存储介质上，而不论是否所有指令都在相同的介质上。
计算机可读介质可以是不采用传播的信号的任何可用介质，可以由计算机1102来访问，并且包括是可拆卸或者不可拆卸的易失性和非易失性内部和/或外部介质。对于计算机1102而言，该介质容纳具有任何适当的数字格式的数据的存储。本领域技术人员应当领会的是，可以采用其它类型的计算机可读介质——诸如压缩（zip）驱动器、磁带、闪速存储卡、闪速驱动器、盒式磁带（cartridge）等等——来存储用于执行所公开架构的新颖方法的计算机可执行指令。
用户可以使用诸如键盘和鼠标之类的外部用户输入设备1128以及通过由语音识别所促进的话音命令来与计算机1102、程序和数据进行交互。其它外部用户输入设备1128可以包括话筒、IR（红外）遥控器、控制杆、游戏板、相机识别系统、指示笔、触摸屏、手势系统（例如，眼部移动、头部移动等等）和/或类似的东西。用户可以使用机载用户输入设备1130（诸如触摸板、话筒、键盘等等）来与计算机1102、程序和数据进行交互，其中计算机1102是例如便携式计算机。
这些和其它输入设备经由系统总线1108通过（一个或多个）输入/输出（I/O）设备接口1132被连接到（一个或多个）处理单元1104，但是也可以通过其它接口进行连接，其它接口是诸如并行端口、IEEE 1394串行端口、游戏端口、USB端口、IR接口、短距离无线（例如，蓝牙）和其它个域网（PAN）技术等等。（一个或多个）I/O设备接口1132也促进了对输出外围设备1134（诸如打印机、音频设备、相机设备等等，诸如声卡和/或机载音频处理能力）的使用。
一个或者多个图形接口1136（也被共同地称为图形处理单元（GPU））在计算机1102和（一个或多个）外部显示器1138（例如，LCD、等离子体）和/或机载显示器1140（例如，用于便携式计算机）之间提供图形和视频信号。（一个或多个）图形接口1136也可以被制造成计算机系统板的一部分。
计算机1102可以使用经由有线/无线通信子系统1142到一个或者多个网络和/或其它计算机的逻辑连接而在联网的环境（例如，基于IP）中操作。其它计算机可以包括工作站、服务器、路由器、个人计算机、基于微处理器的娱乐器具、对等设备或者其它公共网络节点，并且典型地包括相对于计算机1102描述的单元中的许多或者全部。逻辑连接可以包括到局域网（LAN）、广域网（WAN）、热点等等的有线/无线连接性。LAN和WAN联网环境在办公室和公司中是常见的，并且其促进了诸如内联网那样的企业范围的计算机网络，其全部都可以连接到全球性通信网络，诸如互联网。
当在联网环境中使用时，计算机1102经由有线/无线通信子系统1142（例如，网络接口适配器、机载收发信机子系统等等）连接到网络以便与有线/无线网络、有线/无线打印机、有线/无线输入设备1144等等进行通信。计算机1102可以包括用于通过网络建立通信的调制解调器或者其它装置。在联网的环境中，与计算机1102相关的程序和数据可以被存储在远程存储器/存储设备中，正如与分布式系统相关联时那样。应领会的是，所示出的网络连接是示范性的，并且可以使用在计算机之间建立通信链接的其它手段。
计算机1102可操作来使用无线电技术（诸如IEEE802.xx族的标准）来与有线/无线设备或者实体进行通信，诸如在操作上被安排（dispose）在与例如以下项的无线通信（例如IEEE 802.11无线调制技术）中的无线设备，即：打印机、扫描仪、台式和/或便携式计算机、个人数字助理（PDA）、通信卫星、与无线地可检测标签相关联的任何一件设备或者位置（例如，信息亭、报摊、洗手间）和电话。这至少包括用于热点的Wi-FiTM（被使用于保证无线计算机联网设备的互操作性）、WiMax和BluetoothTM无线技术。因此，如同常规网络或者简单地在至少两个设备之间的ad hoc通信一样，通信可以是预定义的结构。Wi-Fi网络使用被称为IEEE 802.11x（a、b、g等等）的无线电技术来提供安全、可靠、快速的无线连接性。Wi-Fi网络可以被使用来将计算机连接到彼此、连接到互联网、和连接到有线网络（其使用IEEE802.3-有关的介质和功能）。
上文已经描述的内容包括所公开的架构的示例。当然，不可能描述组件和/或方法的每一个可设想的组合，但是本领域的技术人员可以认识到许多另外的组合和置换是可能的。相应地，新颖的架构打算包含所有落入所附权利要求的精神和范围之内的这样的更改、修改和变化。此外，就术语“包含（include）”被用在详细说明或者权利要求中而言，这样的术语以类似于术语“包括（comprising）”的方式被定为是包含性的，正如当“包括”被采用来作为权利要求中的过渡词时所解译的。

Claims (10)

1.一种用于内容的交互式呈现的系统，包括：
设备的传感器子系统，其感测所述设备的用户离所述设备的非接触接近度，并且确定所述用户的身份；
内容建议引擎，其基于所述用户的身份来选择内容；
呈现组件，其从所述内容建议引擎接收所述的内容，并且基于所述用户的接近度和身份来促进所述内容的交互性呈现，其中，当所述用户与所述设备处于预定接近度范围时，以所述内容的最大尺寸来呈现所述内容，而当所述用户移动到比所述预定接近度范围更靠近所述设备时，则以逐渐减小的尺寸来呈现所述内容；和
微处理器，其执行与所述传感器组件或者所述呈现组件的至少之一相关联的计算机可执行指令。
2.如权利要求1的系统，其中，所述呈现组件基于在所述用户到所述设备的接近度中的对应改变来改变所述内容的特性。
3.如权利要求1的系统，其中，所述内容建议引擎基于用户信息来创建建议，所述用户信息包括先前的搜索历史、用户简档数据和社交网络数据。
4.如权利要求1的系统，其中，所述传感器子系统进一步包括：使用图像识别来确定用户身份的识别子系统，和促进经由用户手势与内容进行用户交互的手势识别子系统。
5.如权利要求1的系统，其中，所述内容涉及广告、特定于设备的视觉环境的内容、特定于牵涉到当前用户交互的应用的内容、特定于之前的用户web搜索的内容、或者特定于用户外表的内容。
6.一种由执行机器可读指令的计算机系统所执行的方法，所述方法包括以下动作：
通过使用用户设备来检测用户到所述用户设备的接近度；
经由所述用户设备来辨认所述用户，以获取用户标识；
基于所述用户标识来访问用户信息；
在所述用户设备的显示器的视觉环境中与图形热点相关联地呈现内容，所述内容与所述用户信息有关，其中，每个所述图形热点具有一组不同的内容以供用户交互；和
响应于用户到用户设备的接近度来改变所述图形热点之一的内容的呈现，其中，当所述用户与所述用户设备处于预定接近度范围时，以所述内容的最大尺寸来呈现所述内容，而当所述用户移动到比所述预定接近度范围更靠近所述用户设备时，则以逐渐减小的尺寸来呈现所述内容。
7.如权利要求6的方法，进一步包括：处理与用户设备的用户交互，所述交互基于用户信息而采用在用户设备的预定接近度范围内被识别的手势来操作用户设备。
8.如权利要求6的方法，进一步包括：处理用户交互以引起用户设备向用户呈现与用户信息有关的内容的操作。
9.如权利要求8的方法，进一步包括：处理用户交互以引起用户设备按照对所述内容放大或者缩小的手势的操作。
10.如权利要求6的方法，进一步包括：处理用户交互以引起用户设备基于用户信息向用户呈现广告的操作。
CN201380051761.3A 2012-10-05 2013-09-18 基于设备接近度的数据和用户交互 Active CN104838336B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/645526 2012-10-05
US13/645,526 US11099652B2 (en) 2012-10-05 2012-10-05 Data and user interaction based on device proximity
PCT/US2013/060240 WO2014055242A1 (en) 2012-10-05 2013-09-18 Data and user interaction based on device proximity

Publications (2)

Publication Number Publication Date
CN104838336A CN104838336A (zh) 2015-08-12
CN104838336B true CN104838336B (zh) 2018-01-09

Family

ID=49382569

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380051761.3A Active CN104838336B (zh) 2012-10-05 2013-09-18 基于设备接近度的数据和用户交互

Country Status (4)

Country Link
US (3) US11099652B2 (zh)
EP (1) EP2904471B1 (zh)
CN (1) CN104838336B (zh)
WO (1) WO2014055242A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11592909B2 (en) 2015-10-06 2023-02-28 Google Llc Fine-motion virtual-reality or augmented-reality control using radar

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11099652B2 (en) 2012-10-05 2021-08-24 Microsoft Technology Licensing, Llc Data and user interaction based on device proximity
US9037578B2 (en) * 2012-12-03 2015-05-19 Wellclub, Llc Content suggestion engine
EP2945528A1 (en) * 2013-01-17 2015-11-25 Koninklijke Philips N.V. A system and method for influence an operation of a device of the system
US20140207559A1 (en) * 2013-01-24 2014-07-24 Millennial Media, Inc. System and method for utilizing captured eye data from mobile devices
US9159116B2 (en) * 2013-02-13 2015-10-13 Google Inc. Adaptive screen interfaces based on viewing distance
US10521830B2 (en) 2013-03-14 2019-12-31 Facebook, Inc. Method for displaying a product-related image to a user while shopping
US10546352B2 (en) * 2013-03-14 2020-01-28 Facebook, Inc. Method for selectively advertising items in an image
US10421010B2 (en) 2013-03-15 2019-09-24 Nguyen Gaming Llc Determination of advertisement based on player physiology
US20150052488A1 (en) * 2013-08-13 2015-02-19 Bloomberg Finance L.P. Apparatus and method for providing an active screensaver
US9536106B2 (en) 2013-10-08 2017-01-03 D.R. Systems, Inc. System and method for the display of restricted information on private displays
US10120451B1 (en) 2014-01-09 2018-11-06 D.R. Systems, Inc. Systems and user interfaces for dynamic interaction with two- and three-dimensional medical image data using spatial positioning of mobile devices
US20150201236A1 (en) * 2014-01-15 2015-07-16 Khalifa Al Remeithi Display Proximity Control Device
KR20150104711A (ko) * 2014-03-06 2015-09-16 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
US9392104B2 (en) 2014-04-15 2016-07-12 Google Inc. Limiting user interaction with a computing device based on proximity of a user
US9276914B2 (en) 2014-04-15 2016-03-01 Google Inc. Auto-user registration and unlocking of a computing device
CN104133920A (zh) * 2014-07-18 2014-11-05 百度在线网络技术（北京）有限公司 一种用户行为采集方法及装置
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
US20160092034A1 (en) * 2014-09-26 2016-03-31 Amazon Technologies, Inc. Kiosk Providing High Speed Data Transfer
US20160092471A1 (en) * 2014-09-26 2016-03-31 Kobo Inc. System and method for using book recognition to provide content for a user's social networking profile
US9779420B2 (en) * 2014-10-20 2017-10-03 Bernada Limited Systems and methods for observing the movements of passengers on conveying devices
US20160125466A1 (en) * 2014-10-31 2016-05-05 Ooluroo, LLC System and Method for Interactive Advertising
US10401390B2 (en) * 2014-11-20 2019-09-03 Keithley Instruments, Llc Formatting and navigating graphed information
US11120478B2 (en) * 2015-01-12 2021-09-14 Ebay Inc. Joint-based item recognition
US9911396B2 (en) * 2015-02-06 2018-03-06 Disney Enterprises, Inc. Multi-user interactive media wall
CN104571874B (zh) * 2015-02-13 2018-10-30 上海触乐信息科技有限公司 动态切换键盘背景的方法和装置
DE102015206566A1 (de) * 2015-04-13 2016-10-13 BSH Hausgeräte GmbH Haushaltsgerät und Verfahren zum Betreiben eines Haushaltsgeräts
CN111522434A (zh) 2015-04-30 2020-08-11 谷歌有限责任公司 用于手势跟踪和识别的基于rf的微运动跟踪
US10530875B2 (en) * 2015-08-26 2020-01-07 Facebook, Inc. Customizing media content on online social networks
US10853841B2 (en) 2016-01-29 2020-12-01 Sensormatic Electronics, LLC Adaptive video advertising using EAS pedestals or similar structure
US11461810B2 (en) * 2016-01-29 2022-10-04 Sensormatic Electronics, LLC Adaptive video advertising using EAS pedestals or similar structure
CN105872685A (zh) * 2016-03-24 2016-08-17 深圳市国华识别科技开发有限公司 智能终端控制方法和系统、智能终端
US20170289766A1 (en) * 2016-03-29 2017-10-05 Microsoft Technology Licensing, Llc Digital Assistant Experience based on Presence Detection
WO2017200571A1 (en) 2016-05-16 2017-11-23 Google Llc Gesture-based control of a user interface
US10963044B2 (en) * 2016-09-30 2021-03-30 Intel Corporation Apparatus, system and method for dynamic modification of a graphical user interface
CN106682468A (zh) * 2016-12-30 2017-05-17 百度在线网络技术（北京）有限公司 解锁电子设备的方法以及电子设备
CN106843480A (zh) * 2017-01-18 2017-06-13 深圳市魔眼科技有限公司 基于脑电波的访问方法及头戴式虚拟现实设备
US10467509B2 (en) * 2017-02-14 2019-11-05 Microsoft Technology Licensing, Llc Computationally-efficient human-identifying smart assistant computer
CN107357591B (zh) * 2017-07-25 2022-08-19 努比亚技术有限公司 应用程序的界面植入方法、移动终端及存储介质
US20190107935A1 (en) * 2017-07-28 2019-04-11 Magical Technologies, Llc Systems, Methods and Apparatuses to Facilitate Physical and Non-Physical Interaction/Action/Reactions Between Alternate Realities
US11249714B2 (en) 2017-09-13 2022-02-15 Magical Technologies, Llc Systems and methods of shareable virtual objects and virtual objects as message objects to facilitate communications sessions in an augmented reality environment
WO2019079826A1 (en) 2017-10-22 2019-04-25 Magical Technologies, Llc DIGITAL ASSISTANT SYSTEMS, METHODS AND APPARATUSES IN AN INCREASED REALITY ENVIRONMENT AND LOCAL DETERMINATION OF VIRTUAL OBJECT PLACEMENT AND SINGLE OR MULTIDIRECTIONAL OBJECTIVES AS GATEWAYS BETWEEN A PHYSICAL WORLD AND A DIGITAL WORLD COMPONENT OF THE SAME ENVIRONMENT OF INCREASED REALITY
US10904374B2 (en) 2018-01-24 2021-01-26 Magical Technologies, Llc Systems, methods and apparatuses to facilitate gradual or instantaneous adjustment in levels of perceptibility of virtual objects or reality object in a digital scene
US11398088B2 (en) 2018-01-30 2022-07-26 Magical Technologies, Llc Systems, methods and apparatuses to generate a fingerprint of a physical location for placement of virtual objects
US10812855B2 (en) * 2018-09-05 2020-10-20 International Business Machines Corporation Dynamic modification of media content in an internet of things (IoT) computing environment
KR102627014B1 (ko) 2018-10-02 2024-01-19 삼성전자 주식회사 전자 장치 및 제스처 인식 방법
US11467656B2 (en) 2019-03-04 2022-10-11 Magical Technologies, Llc Virtual object control of a physical device and/or physical device control of a virtual object
JP7259456B2 (ja) * 2019-03-25 2023-04-18 富士フイルムビジネスイノベーション株式会社 情報処理装置およびプログラム
EP4004686A1 (en) 2019-07-26 2022-06-01 Google LLC Authentication management through imu and radar
US11868537B2 (en) 2019-07-26 2024-01-09 Google Llc Robust radar-based gesture-recognition by user equipment
CN110427887B (zh) * 2019-08-02 2023-03-10 腾讯科技（深圳）有限公司 一种基于智能的会员身份识别方法及装置
CN113892072A (zh) 2019-08-30 2022-01-04 谷歌有限责任公司 用于暂停的雷达姿势的视觉指示器
US11880612B2 (en) 2019-10-04 2024-01-23 Hewlett-Packard Development Company, L.P. Personalize user interface
CN111078014B (zh) * 2019-12-16 2023-11-24 深圳数拓科技有限公司 一种多维数据采集应用方法及系统
CN111723343B (zh) * 2020-05-09 2023-10-20 百度在线网络技术（北京）有限公司 电子设备的交互控制方法、装置以及电子设备
CN112333511A (zh) * 2020-09-27 2021-02-05 深圳Tcl新技术有限公司 智能电视的控制方法、装置、设备及计算机可读存储介质
EP4044019A1 (en) * 2021-02-11 2022-08-17 Nokia Technologies Oy An apparatus, a method and a computer program for rotating displayed visual information
US20230410379A1 (en) * 2022-06-21 2023-12-21 Microsoft Technology Licensing, Llc Augmenting shared digital content with dynamically generated digital content to improve meetings with multiple displays
CN116521490B (zh) * 2023-07-04 2023-09-29 苏州浪潮智能科技有限公司 一种pc系统健康度自检方法、自检装置、设备及介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1430530A (zh) * 2000-05-31 2003-07-16 英特尔公司 通过电子游戏提供广告

Family Cites Families (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5467413A (en) 1993-05-20 1995-11-14 Radius Inc. Method and apparatus for vector quantization for real-time playback on low cost personal computers
US6089975A (en) 1997-07-16 2000-07-18 Dunn; Jerry B. Electronic gaming apparatus with means for displaying interactive advertising programs
US6119123A (en) 1997-12-02 2000-09-12 U.S. Philips Corporation Apparatus and method for optimizing keyframe and blob retrieval and storage
US6006265A (en) 1998-04-02 1999-12-21 Hotv, Inc. Hyperlinks resolution at and by a special network server in order to enable diverse sophisticated hyperlinking upon a digital network
US20030028285A1 (en) * 1999-03-10 2003-02-06 Additech, Inc. Method and apparatus for fuel and fuel additive dispensing
US6810410B1 (en) 1999-08-03 2004-10-26 Microsoft Corporation Customizing a client application using an options page stored on a server computer
US7912915B1 (en) 2000-05-01 2011-03-22 Google Inc. Systems and methods for enticing users to access a web site
AU2001292946A1 (en) 2000-09-26 2002-04-08 Advantage 3D Llc Method and system for generation, storage and distribution of omni-directional object views
US7035803B1 (en) 2000-11-03 2006-04-25 At&T Corp. Method for sending multi-media messages using customizable background images
EP1227417A3 (en) 2001-01-25 2005-06-01 Ensequence, Inc. Selective viewing of video based on one or more themes
US20020138331A1 (en) 2001-02-05 2002-09-26 Hosea Devin F. Method and system for web page personalization
US20020133828A1 (en) 2001-03-16 2002-09-19 Foster Mark J. Method, apparatus and system for video delivery using head-end pass through
US7167903B2 (en) 2001-04-25 2007-01-23 Teacherweb, Inc. System and method for user updateable web sites and web pages
US20020161909A1 (en) 2001-04-27 2002-10-31 Jeremy White Synchronizing hotspot link information with non-proprietary streaming video
US20030030659A1 (en) 2001-08-10 2003-02-13 Wu Hsiang Min Method of automatic display of audio-video films in web pages
US6708176B2 (en) * 2001-10-19 2004-03-16 Bank Of America Corporation System and method for interactive advertising
US20030090515A1 (en) 2001-11-13 2003-05-15 Sony Corporation And Sony Electronics Inc. Simplified user interface by adaptation based on usage history
US7043521B2 (en) 2002-03-21 2006-05-09 Rockwell Electronic Commerce Technologies, Llc Search agent for searching the internet
US7103642B1 (en) 2002-04-30 2006-09-05 Sprint Communications Company L.P. System and method for personalizing a home page
US7836403B2 (en) 2002-06-27 2010-11-16 Siebel Systems, Inc. Persistent dashboard for user interface
US20060244768A1 (en) 2002-11-15 2006-11-02 Humanizing Technologies, Inc. Enhanced personalized portal page
US7552387B2 (en) 2003-04-30 2009-06-23 Hewlett-Packard Development Company, L.P. Methods and systems for video content browsing
US20050229200A1 (en) * 2004-04-08 2005-10-13 International Business Machines Corporation Method and system for adjusting a display based on user distance from display device
US7376274B2 (en) 2004-08-31 2008-05-20 Sonic Solutions Method and apparatus for use in video searching
US7342587B2 (en) 2004-10-12 2008-03-11 Imvu, Inc. Computer-implemented system and method for home page customization and e-commerce support
US7594177B2 (en) 2004-12-08 2009-09-22 Microsoft Corporation System and method for video browsing using a cluster index
US8832740B2 (en) 2004-12-08 2014-09-09 Warner Bros. Entertainment Inc. Simulation of multiple DVD video streams in DVD-video user interfaces and related method
US20060259360A1 (en) 2005-05-16 2006-11-16 Manyworlds, Inc. Multiple Attribute and Behavior-based Advertising Process
US20070130015A1 (en) 2005-06-15 2007-06-07 Steven Starr Advertisement revenue sharing for distributed video
US8086605B2 (en) 2005-06-28 2011-12-27 Yahoo! Inc. Search engine with augmented relevance ranking by community participation
US7494053B1 (en) * 2005-11-14 2009-02-24 Diebold Self-Service Systems Division Of Diebold, Incorporated Cash dispensing automated banking machine and method
WO2007057843A1 (en) 2005-11-15 2007-05-24 Koninklijke Philips Electronics, N.V. Subtle info personalization on public displays
FR2895532B1 (fr) 2005-12-23 2008-06-20 Alexis Chatila Systeme informatique dote de moyens de gestion de ressources ameliores
JP5424373B2 (ja) * 2006-03-09 2014-02-26 任天堂株式会社 画像処理装置、画像処理プログラム、画像処理システム、および画像処理方法
US20070266305A1 (en) 2006-05-10 2007-11-15 David Cong System and method for monitoring user behavior with regard to interactive rich-media content
US8489987B2 (en) 2006-07-31 2013-07-16 Ricoh Co., Ltd. Monitoring and analyzing creation and usage of visual content using image and hotspot interaction
WO2008086345A2 (en) 2007-01-08 2008-07-17 Chacha Search, Inc. Method and system for promotion of a search service
US20080201643A1 (en) 2007-02-01 2008-08-21 7 Billion People, Inc. System for creating customized web content based on user behavioral portraits
US9405830B2 (en) 2007-02-28 2016-08-02 Aol Inc. Personalization techniques using image clouds
US20090013288A1 (en) 2007-07-05 2009-01-08 One On One Ads, Inc. Video Promotion for Online Directory Listings and Other Search Engine Websites that List Advertisers
US8510661B2 (en) 2008-02-11 2013-08-13 Goldspot Media End to end response enabling collection and use of customer viewing preferences statistics
US8555207B2 (en) * 2008-02-27 2013-10-08 Qualcomm Incorporated Enhanced input using recognized gestures
EP2104024B1 (en) * 2008-03-20 2018-05-02 LG Electronics Inc. Portable terminal capable of sensing proximity touch and method for controlling screen using the same
EP2272015A4 (en) 2008-04-01 2011-09-14 Yahoo Inc OPEN FRAMEWORK FOR INTEGRATING AND ASSIGNING CONTENT OBJECTS AND INTERACTION WITH THEM
US20090254855A1 (en) 2008-04-08 2009-10-08 Sony Ericsson Mobile Communications, Ab Communication terminals with superimposed user interface
US7966564B2 (en) 2008-05-08 2011-06-21 Adchemy, Inc. Web page server process using visitor context and page features to select optimized web pages for display
US8886637B2 (en) 2008-05-12 2014-11-11 Enpulz, L.L.C. Web browser accessible search engine which adapts based on user interaction
US8229911B2 (en) 2008-05-13 2012-07-24 Enpulz, Llc Network search engine utilizing client browser activity information
US20090299964A1 (en) 2008-05-30 2009-12-03 Microsoft Corporation Presenting search queries related to navigational search queries
US20090300554A1 (en) * 2008-06-03 2009-12-03 Nokia Corporation Gesture Recognition for Display Zoom Feature
US20090327913A1 (en) 2008-06-27 2009-12-31 Microsoft Corporation Using web revisitation patterns to support web interaction
US20100037138A1 (en) 2008-08-11 2010-02-11 Live Face On Web, LLC Client-Configurable Video Delivery Platform
US20100095345A1 (en) 2008-10-15 2010-04-15 Samsung Electronics Co., Ltd. System and method for acquiring and distributing keyframe timelines
US8296305B2 (en) 2008-12-09 2012-10-23 Yahoo! Inc. Rules and method for improving image search relevance through games
US20100241961A1 (en) 2009-03-23 2010-09-23 Peterson Troy A Content presentation control and progression indicator
US8593255B2 (en) * 2009-04-24 2013-11-26 Nokia Corporation Method and apparatus for providing user interaction via transponders
US8407212B2 (en) 2009-05-20 2013-03-26 Genieo Innovation Ltd. System and method for generation of a customized web page based on user identifiers
US8327273B2 (en) 2009-09-28 2012-12-04 Disney Enterprises, Inc. User-driven mobile device profiling for a mobile website
US20110087966A1 (en) 2009-10-13 2011-04-14 Yaniv Leviathan Internet customization system
US20110150276A1 (en) 2009-12-23 2011-06-23 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Identifying a characteristic of an individual utilizing facial recognition and providing a display for the individual
AU2011205748B2 (en) 2010-01-15 2014-06-26 Endurance International Group, Inc. Unaffiliated web domain hosting service based on a common service architecture
US20110270947A1 (en) 2010-04-29 2011-11-03 Cok Ronald S Digital imaging method employing user personalization and image utilization profiles
US8495057B2 (en) 2010-05-17 2013-07-23 Microsoft Corporation Image searching with recognition suggestion
CA2708197A1 (en) 2010-06-28 2011-12-28 Li Lin Bai A system for promoting a search engine
US20120131454A1 (en) 2010-11-24 2012-05-24 Siddharth Shah Activating an advertisement by performing gestures on the advertisement
US8849199B2 (en) * 2010-11-30 2014-09-30 Cox Communications, Inc. Systems and methods for customizing broadband content based upon passive presence detection of users
US20120150650A1 (en) 2010-12-08 2012-06-14 Microsoft Corporation Automatic advertisement generation based on user expressed marketing terms
WO2012129786A1 (en) 2011-03-30 2012-10-04 Google Inc. Custom web page themes
US20130057553A1 (en) * 2011-09-02 2013-03-07 DigitalOptics Corporation Europe Limited Smart Display with Dynamic Font Management
US20120287163A1 (en) * 2011-05-10 2012-11-15 Apple Inc. Scaling of Visual Content Based Upon User Proximity
US8473485B2 (en) 2011-06-29 2013-06-25 Microsoft Corporation Organizing search history into collections
US9298840B2 (en) 2011-07-14 2016-03-29 Microsoft Technology Licensing, Llc Video user interface elements on search engine homepages
US8381105B2 (en) 2011-07-14 2013-02-19 Microsoft Corporation Presenting video as a background on a search engine home page
US8515491B2 (en) * 2011-07-28 2013-08-20 Qualcomm Innovation Center, Inc. User distance detection for enhanced interaction with a mobile device
US20130080911A1 (en) 2011-09-27 2013-03-28 Avaya Inc. Personalizing web applications according to social network user profiles
US9207754B2 (en) * 2011-10-20 2015-12-08 Microsoft Technology Licensing, Llc Enabling immersive, interactive desktop image presentation
US20130290862A1 (en) 2012-04-27 2013-10-31 Microsoft Corporation User-tailored search engine homepage experiences
US20130290827A1 (en) 2012-04-27 2013-10-31 Microsoft Corporation Integrated search engine homepages
US11099652B2 (en) 2012-10-05 2021-08-24 Microsoft Technology Licensing, Llc Data and user interaction based on device proximity

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1430530A (zh) * 2000-05-31 2003-07-16 英特尔公司 通过电子游戏提供广告

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11592909B2 (en) 2015-10-06 2023-02-28 Google Llc Fine-motion virtual-reality or augmented-reality control using radar

Also Published As

Publication number Publication date
US11099652B2 (en) 2021-08-24
US20230176661A1 (en) 2023-06-08
EP2904471B1 (en) 2019-10-23
WO2014055242A1 (en) 2014-04-10
US11599201B2 (en) 2023-03-07
CN104838336A (zh) 2015-08-12
EP2904471A1 (en) 2015-08-12
US20140100955A1 (en) 2014-04-10
US20210349543A1 (en) 2021-11-11

Similar Documents

Publication Publication Date Title
CN104838336B (zh) 基于设备接近度的数据和用户交互
CN109478124B (zh) 增强现实装置及增强现实方法
US20200379560A1 (en) Implicitly adaptive eye-tracking user interface
US11887237B2 (en) Dynamic composite user identifier
EP3198376B1 (en) Image display method performed by device including switchable mirror and the device
US20180211295A1 (en) Application Purchasing
US11610357B2 (en) System and method of generating targeted user lists using customizable avatar characteristics
US20160093081A1 (en) Image display method performed by device including switchable mirror and the device
KR102278945B1 (ko) 이미지 처리 방법 및 이를 지원하는 전자 장치
US11455082B2 (en) Collaborative achievement interface
KR20170029398A (ko) 어플리케이션 제공 방법 및 이를 위한 전자 기기
KR20190047214A (ko) 관련 이미지를 검색하기 위한 전자 장치 및 이의 제어 방법
WO2021202191A1 (en) Augmented reality item collections
US11145047B2 (en) Method for synthesizing image and an electronic device using the same
CN113348650A (zh) 交互信息界面
WO2020264013A1 (en) Real-time augmented-reality costuming
EP4222679A1 (en) Analyzing augmented reality content item usage data
JP7326296B2 (ja) ソーシャルグラフ情報を使用した適応検索
JP2023008860A (ja) ユーザが設定した閾値に基づいたデジタルウィッシュリストのコンテンツの自動購入
US11468675B1 (en) Techniques for identifying objects from video content
KR20230000931A (ko) 이미지에서 객체를 추출하는 시스템
WO2024050246A1 (en) Controlling and editing presentation of volumetric content
WO2024050259A1 (en) Touch-based augmented reality experience

Legal Events

Date Code Title Description
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant