CN114885613A - 在增强现实中标记对象以跟踪对象数据 - Google Patents
在增强现实中标记对象以跟踪对象数据 Download PDFInfo
- Publication number
- CN114885613A CN114885613A CN202080090150.XA CN202080090150A CN114885613A CN 114885613 A CN114885613 A CN 114885613A CN 202080090150 A CN202080090150 A CN 202080090150A CN 114885613 A CN114885613 A CN 114885613A
- Authority
- CN
- China
- Prior art keywords
- augmented reality
- user
- data
- offer
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 194
- 230000000007 visual effect Effects 0.000 claims abstract description 128
- 238000000034 method Methods 0.000 claims abstract description 55
- 238000012545 processing Methods 0.000 claims description 32
- 238000001514 detection method Methods 0.000 claims description 2
- 230000004044 response Effects 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 42
- 238000002372 labelling Methods 0.000 abstract 1
- 238000004891 communication Methods 0.000 description 31
- 238000010801 machine learning Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 9
- 238000012986 modification Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 239000003550 marker Substances 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000013481 data capture Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 235000014510 cooky Nutrition 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000000796 flavoring agent Substances 0.000 description 1
- 235000019634 flavors Nutrition 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
- G06Q30/0635—Processing of requisition or of purchase orders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/08—Payment architectures
- G06Q20/12—Payment architectures specially adapted for electronic shopping systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/30—Payment architectures, schemes or protocols characterised by the use of specific devices or networks
- G06Q20/32—Payment architectures, schemes or protocols characterised by the use of specific devices or networks using wireless devices
- G06Q20/322—Aspects of commerce using mobile devices [M-devices]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/018—Certifying business or products
- G06Q30/0185—Product, service or business identity fraud
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0639—Item locations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
- G06Q30/0643—Graphical representation of items or shoppers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Accounting & Taxation (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Finance (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- Development Economics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Probability & Statistics with Applications (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Entrepreneurship & Innovation (AREA)
- Computer Networks & Wireless Communication (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
提供了用于在增强现实中标记对象以跟踪对象数据的系统和方法。用户可以在某个位置利用设备捕获视觉数据,其中视觉数据包括一个或多个对象,用户可能希望其与购买或出售报价关联。设备可以执行对象辨认来识别对象和对象的识别特征。然后,服务提供商可以接收报价详情,并可以生成图形对象或其他虚拟数据,该图形对象或其他虚拟数据可以与对象一起显示在增强现实体验中。随后,当在不同设备上的另一增强现实体验中识别出该对象时,可以显示虚拟图形,该虚拟图形可以示出该对象的报价。此外,增强现实可以用于处理针对对象的交易并跟踪对象。
Description
相关申请的交叉引用
本申请是于2020年12月26日提交的美国专利申请No.16/727,744的继续申请并要求其优先权,该申请的所有内容通过引用整体并入。
技术领域
本申请一般地涉及增强现实,更具体地,涉及一种允许用户使用虚拟标签来标记对象的增强现实,其中,虚拟标签允许对象的所有者跟踪对象的数据。
背景技术
各种类型的服务提供商可以提供用于某些用途的增强现实,这些用途包括将图形对象覆盖在真实世界图像上,以便可以在看到真实世界图像的同时看到其他数据。这种增强现实可以允许用户玩游戏、与虚拟环境中的其他用户交互、以及执行其他服务。此外,这些服务提供商可以向用户提供其他服务,这些其他服务包括向用户提供电子交易处理。然而,在对象(例如,车辆、个人物品、或用户)可能移动的情况下,增强现实中的对象可能难以跟踪。此外,服务提供商的其他服务可能不允许通过可以容易地与对象一起显示的方式跟踪数据。因此,用户可能不知道与对象相关联的特定信息,例如,用户可能拥有的物品或财产。
附图说明
图1是根据实施例的适于实现本文所述过程的联网系统的框图;
图2A是根据实施例的显示增强现实的通信设备的示例性界面,其中用户使用提供的数据来标记增强现实中的对象;
图2B是根据实施例的显示具有跟踪的对象数据的增强现实的通信设备的示例性界面;
图3是示出根据实施例的通信设备和服务提供商服务器交互以提供增强现实来跟踪对象数据的示例性系统环境;
图4是根据实施例的用于标记增强现实中的对象以跟踪对象数据的示例性过程的流程图;和
图5是根据实施例的适于实现图1中的一个或多个组件的计算机系统的框图。
通过参考下面的详细描述,可以最好地理解本公开的实施例及其优点。应当理解,相似的附图标记用于识别一个或多个附图中图示的相似元件,其中,这里的图示是出于示出本公开的实施例的目的,而不是出于限制本公开的实施例的目的。
具体实施方式
提供了用于标记增强现实中的对象以跟踪对象数据的方法。还提供了适于实施本公开的方法的系统。
根据各种实施例,用户可以在行进通过真实世界环境时利用通信设备来捕获包括真实世界对象和环境的视频或三维扫描的图像。用户可以查看诸如用户想要购买的真实世界对象的物品,该物品可以对应于地产(例如,房屋)或可移动财产和物品(包括车辆、个人财产等)。用户可以通过增强现实体验、场景、或环境捕获真实世界对象,该增强现实体验、场景、或环境记录真实世界环境的真实世界图像,显示这些图像,并将图形叠加到这些图像上,以便虚拟图形、图形、图标、或其他信息可以与真实世界对象一起显示、在真实世界对象上显示、在真实世界对象旁边显示、和/或与真实世界对象相关联地显示。例如,增强现实体验可以在多个设备上通用,以便通过一个或多个设备提供捕获的真实世界图像、视频、或扫描及各种视觉指示符、图形对象、和其他虚拟数据。这创造了一种既包含真实数据又包含虚拟数据的体验。因此,一种设备可以生成包括混合图形或真实和虚拟图形的数字场景。在查看真实对象时,用户可能会决定为对象的购买做出报价。在其他实施例中,用户可以是卖方,并且可以向对象添加出售报价。用户可以输入报价的数据,并且报价可以被附加到对象。例如,用户可以从在增强现实体验中捕获的视觉数据中指定对象的一个或多个识别特征,或者服务提供商可以从在增强现实体验中捕获的视觉数据中确定对象的一个或多个识别特征。特征可对应于地理位置、识别标记、标识符、或关于对象的其他信息。这些识别特征可以用于生成与识别特征(这些识别特征可共同用于识别捕获的视觉数据中的对象)相对应的对象“指纹”。服务提供商可以生成用于增强现实的虚拟图形或图形。这可以与识别特征一起存储,以便在用户的设备或另一用户的设备再次在增强现实体验中识别出对象时可以显示图形。例如,图形可以包括覆盖在真实世界对象的图像上或与真实世界对象的图像覆盖在一起的图形,以便用户或不同用户的设备(包括对象所有者的设备)可以在看到真实世界对象的同时看到报价。增强现实还可以用于以电子方式处理买卖双方之间的交易。因此,服务提供商可以提供动态生成并显示的增强现实的输出,该增强现实允许对于对象跟踪特定数据,以便多个不同用户可以看到该数据。
为了通过增强现实的虚拟图形购买或出售物品,用户可以在服务提供商处创建帐户。用户可能需要提供个人或其他识别信息(例如,名称、地址、和/或其他信息)来建立帐户。用户还可能需要提供财务信息,包括支付卡(例如,信用卡/借记卡)、银行账户信息、礼品卡、和/或福利/奖励,这些信息可用于提供支付或参与其他交易的处理。为了创建帐户,用户可能需要选择帐户名称和/或提供认证凭证,例如,密码、个人识别号(PIN)、安全问题、和/或其他认证信息。服务提供商可以利用这些信息来为用户创建帐户,并向用户提供允许进行电子交易处理的数字钱包。数字钱包可以存储用户的财务工具,并允许用户通过数字钱包处理交易。就此而言,服务提供商可以提供代表数字钱包的数字令牌(例如,数据封包),并且可以批准数字钱包用于处理服务提供商与接收到令牌的设备的交易。因此,令牌可以包括识别数字钱包的数据(例如,令牌),以及包括用户的关于数字钱包的标识符的认证信息(可以对该认证信息进行加密)。帐户还可以包括用户的设备标识符或其他联系人信息,以便可以联系用户以完成在增强现实中标记的物品的交易。
在创建帐户后,可以通过网页浏览器从服务提供商的网站和/或服务提供商的专用应用(例如,移动智能电话应用)访问帐户。应用(或网站)可以与支付提供商(例如,或可以提供支付服务的其他在线支付服务提供商)相关联。应用可以在用户的计算设备上执行,并且可以向用户提供各种功能和过程。例如,用户可以通过网站或设备应用来利用帐户,该网站或设备应用允许利用附加数据来标记增强现实中的真实对象,以用于物品的出售报价。就此而言,用户可以利用通信设备来捕获视觉内容或其他数据,包括一个或多个物品的表示。真实世界位置处的图像、视频、或其他视听数据可以捕获作为真实世界环境中的对象的物品的表示。用户的通信设备可以包括相机、麦克风、或可用于捕获包括物品或其他对象的真实世界场景的视觉数据(例如,真实世界环境中的对象以及其他附近对象的图像或视频)的其他输入设备。为了识别环境中的对象,可以使用由设备的相机捕获的各种视觉数据。在图像或视频中,对象的表示、位置、和视觉数据可以用于确定对象的识别特征、标记、或其他数据,这些数据允许跟踪和/或向其他设备识别对象。
例如,可能需要处理视频或其他图像数据,以确定和/或辨认对象。捕获了一个或多个对象的视觉数据(例如,图像和/或视频,包括三维扫描)可以被处理,以通过确定在视觉数据中选择的对象来辨认图像的对象以及辨认可用于将来向其他设备和服务器辨认对象的特征。一种或多种图像处理技术和辨认算法可以被用来确定视觉数据中的对象(包括对象辨认)。用户感兴趣的对象可以用物理提示来指定,例如指向环境中的对象或位置。物理提示还可以用于执行附加数据输入,包括为感兴趣的对象创建报价(例如,通过在对象周围画圈或绘制特定符号),以及增加用户或另一用户先前创建的报价(例如,向上的手势,例如“拇指向上”的手势)。这可以允许用户利用手势在增强现实应用和环境中执行多个动作。
其他数据可以用于识别环境和/或物品,例如,音频数据(包括口头陈述)可以识别物品和/或环境或识别物品所需的其他数据。可以通过将捕获的数据与其他图像/视频进行比较和/或使用已知的物品特点、地标、或其他表示数据点对数据进行分析,使用图像处理和/或对象辨认过程来识别对象。例如,可以提取对象特性数据,该对象特性数据可以包括视觉数据中的表示点或关注点之间的距离。可以提取这些表示点或图像地标的深度或宽度,以及相对于视觉数据中其他特性的大小。还可以在视觉数据中确定其他数据点,这些数据点可能包括其他注释特性。例如,特定对象可能具有识别特征或标记,例如,车辆上的划痕或车牌,对象上的颜色、数字、或字母,以及其他信息。这可以包括对象上的文字、徽标或标签、条形码或QR码、相对于其他对象的位置、或其他数据(包括物品的颜色、视觉数据中的环境信息、视觉数据中的对比度和/或照明、以及视觉数据的其他上下文相关数据)。因此,可以利用计算机算法、图像处理技术、和/或机器学习过程来确定和识别第一用户捕获的视觉数据中的物品。因此,识别特征可以包括不仅仅是对象形状或扫描的进一步数据,其可用于更具体地确定特定对象。
此外,视觉数据可能附带元数据,服务提供商可以使用元数据来识别和跟踪特定对象。例如,在某个位置捕获视觉数据的通信设备可以通过与该设备相关联的GPS模块或定位器来确定用户、设备、和/或对象的位置。这可以作为元数据附加到视觉数据,元数据可以与视觉数据一起被发送给服务提供商。在一些实施例中,元数据可以包括与视觉数据一起捕获的该视觉数据的时间戳。时间戳可以用于基于对象已从对象被标记的初始地理位置移动一定距离的概率分析来跟踪对象。例如,自行车或汽车可能只能从其位置行进一定距离。因此,如果稍后捕捉到类似对象,但距离原始对象太远因而是不可能达到的,则类似对象不太可能是原始对象。概率可以基于从对象或类似对象的一个或多个过去的行程和类型生成的机器学习模型。此外,机器学习模型可以利用对象的已知行进位置或识别信息来确定不同时间的不同增强现实视觉数据中的对象是否是相同的对象。例如,第一用户可能在第一位置捕获对象并发出报价。稍后,第二用户也可能在第二位置捕获对象,其中该对象被确定为与第一位置的对象相同。这些识别信息以及其他识别信息可以用于构建关于对象的已知位置的模型,以便在对象位于已知位置时更高概率地确定对象。此外,可以基于检测到的位置生成对象的可能位置的地理围栏,以用于机器学习模型。
该模型也可以基于可用数据(例如,交通、路线图、人口统计、用户信息(例如,就业、过去的旅行路线等)和其他信息)进行加权。机器学习模型还可以利用提取的特性数据,例如所捕获的对象的识别特征,来确定对象是否与原始对象相同(或相似)。因此,当识别视觉数据中的对象时,机器学习模型可以将位置数据与提取的特性数据和附加的识别特征一起使用。因此,可用于确定相应对象的视觉数据中的信息可以包括图像中的文本、颜色、对比度、照明、地理位置、视觉数据的捕获时间、视觉数据中的音频、或视觉数据中的其他数据或与视觉数据相关联的其他数据(例如,元数据)。在这方面,不同的物品可能在特定的位置以不同的口味、类型、品牌、或其他版本出售,这可以根据颜色、包装说明、地理位置、或其他信息进行检测。特性数据、(一个或多个)位置、(一个或多个)时间戳、和其他数据可以被共同用于生成对象指纹,然后当通过概率机器学习模型在增强现实体验中捕获到对象时该指纹可用于识别该对象。
一旦捕获数据中的对象被确定,服务提供商就可能接收到向对象附加报价的请求,例如购买产品的报价或出售产品的销售报价(例如,分别由对象的买方或卖方提供)。例如,用户可以利用他们的设备在增强现实体验中选择对象,然后对象被识别出来,并且用户可以为报价提供额外的输入(和/或服务提供商可以请求输入)。额外的输入可能对应于报价的金额,以及报价、对象、或位置的描述。此外,输入可以包括联系人标识符,例如,电话号码、信使姓名、或其他数据,这些数据允许对象的所有者响应报价或允许对象的买方向卖方发送消息并做出报价。输入还包括对特定虚拟图形的选择,例如,方框、语音气泡、突出显示、或其他图形对象,这些图形对象可以覆盖在真实对象的真实世界环境的进一步图像中的真实对象的图像上,以便其他用户可以查看报价。
使用此输入,服务提供商随后可以生成特定于物品/对象的视觉指示符、真实对象的变化或修改,以用于增强现实。增强现实的虚拟图形可以对应于增强现实的显示或输出的视觉变化。对象的视觉指示符或修改可以对应于覆盖在对象上的图形对象,并且可以调整物品的输出参数,例如,像素、分辨率、大小、亮度设置、颜色渐变等。例如,指示符或修改可以通过突出显示、调整颜色渐变、调整物品亮度、或者在增强现实体验中查看对象时为对象添加一些图形中的一者或多者来完成。指示符也可以对应于覆盖在对象上或放置在对象附近的文本。因此,视觉指示符可以作为覆盖在所显示的环境中的物品的表示上的图形进行显示,例如,物品的突出显示、物品周围的方框、指向物品的指针、或其他信息。还可以通过修改输出数据中的物品的表示的显示值来显示修改。视觉指示符或修改也可以是可选择的,并且可以通过通信设备的一个或多个输入设备与之交互,例如,以拉起对象或报价信息。
此后,可以将具有环境和一个或多个计算机生成的图形或其他数据的增强现实体验输出给其他用户(包括物品的所有者或物品的其他潜在买家,他们使用各自的计算设备)。用户可以与增强现实交互以查看报价的特定数据并响应报价。为了向其他设备识别对象,例如,在对象可能移动和/或第二用户随后可能访问对象的位置的情况下,对象的(一个或多个)识别特征可以与对象辨认系统一起使用。例如,识别标记(例如,物体上的物理标记)可以用于识别对象。此外,如果对象是静止的或者自对象上次在增强现实体验中成像以来一直处于静止状态,则可以使用地理位置。在对象可能移动的情况下,可以使用对象在增强现实体验中第一次或最后一次成像的时间戳和对象成像的当前时间来确定当前成像的对象是否可能与先前成像的对象相同。例如,概率模型可以与机器学习引擎一起使用,以确定移动对象是否可能仍在相同的区域或半径内。概率模型也可以基于其他可用数据,例如,天气、交通等。使用该模型,服务提供商可以预测对象是否可能行进到对象的当前地理位置。例如,如果对象最初在增强现实中于下午4:00在第一地理位置被捕获,并且在下午4:15在距离第一地理位置60英里的第二地理位置捕获到类似对象,则服务提供商可以利用概率模型来确定对象相同的可能性很低。因此,在确定对象可能匹配之前,可能需要超过阈值百分比或级别。
如果识别并匹配了对象,则报价的虚拟图形或图形可以被显示在第二设备上的增强现实体验中。在各种实施例中,第二用户的设备可以对应于可穿戴计算设备,其可以呈现增强现实中的指示符或其他数据。例如,当第二用户正在查看物品或正处在与物品对应的环境中时,具有相关联的计算设备的可穿戴眼镜可以呈现增强现实。在其他实施例中,当第二用户正通过在设备上执行的应用查看增强现实中的物品时,可以显示输出数据,该输出数据可以覆盖在通过设备界面呈现的网站或应用界面中。然后,第二用户可以与报价进行交互,例如通过查看报价的信息和条款。报价还可允许第二用户联系第一用户以接受报价、提供还价、或以其他方式执行对象的出售/购买。
在一些实施例中,对象可能对应于对象的所有者尚未张贴出来供出售的对象。在这些实施例中,所有者可能倾向于不出售该物品,并且可以在增强现实体验中选择“不想出售”或类似选项。这可能会提醒潜在买家,所有者不想使用联系人标识符出售对象。此外,所有者的这个动作可能会进一步阻止其他用户对该对象的其他报价,包括调整增强现实体验以防止报价(例如,使物品变灰或模糊、添加图形等)。在一些实施例中,增强现实图形可以随同卖方、所有者、或其他用户提供的附加信息而显示给同一用户或其他用户。例如,卖家和/或所有者可以添加保留价格和/或拍卖日期或时间,该保留价格和/或拍卖日期或时间被添加到增强现实图形中。在潜在买家和/或其他用户查看增强现实图形时,此信息可被显示给该潜在买家和/或其他用户。在一些实施例中,提供增强现实体验的服务提供商可以接收来自(一个或多个)买家和/或卖家/所有者的信件。在这些实施例中,可以分析信件来建议或添加对象的保留价格、出售价格、或拍卖时间段。
此外,对象或类似对象的报价和其他报价可以存储在多个不同设备上的分布式账本中,以便可以生成对象报价区块链记录。这使得相同或类似对象的报价(包括用于增强现实体验的虚拟图形)可以由不同设备检索,并可以存储在分布式记录中,这可以增加信任,因为很难根据区块链分类账中的其他记录对分布式记录进行无修订的篡改。然后,可以使用在线交易处理器和增强现实中虚拟图形的数据而在用户之间执行对于对象的电子交易处理。用户的账户可以用于发送和接收资金。在这方面,账户可以进一步链接到报价、虚拟图形、和/或真实世界对象,以便可以使用交易处理器通过增强现实来进行对象的买卖。
在这方面,可以生成增强现实视图或体验,该增强现实视图或体验为用户提供在查看真实世界或在线数据时通常不可见的对象数据。因此,通信设备可以通过执行有助于呈现增强现实的对象辨认和图像处理来辅助视觉数据的数据确定和输出。此外,增强现实可以用于在对象在真实世界环境中移动时跟踪对象,使得增强现实体验中的标记数据可以附加到该对象,并允许其他用户查看该数据的虚拟图形。这允许在其他设备上自动生成增强现实,该增强现实提供对虚拟显示的数据的跟踪而无需用户搜索和请求数据。此外,通过对虚拟图形和其他数据使用分布式账本,数据可能更加可信,因为篡改数据可能更加困难。
图1是根据实施例的适于实现本文所述过程的联网系统100的框图。如图所示,系统100可以包括或实现多个设备、服务器、和/或软件组件,这些设备、服务器、和/或软件组件进行操作以执行根据所述实施例的各种方法。示例性设备和服务器可以包括设备、单机、和企业级服务器,操作诸如OS、OS、OS、或其他合适的基于设备和/或服务器的操作系统。可以理解,图1所示的设备和/或服务器可以通过其他方式部署,并且对于给定实施例,由这些设备和/或服务器执行的操作和/或提供的服务可以组合或分离并且可以由更多或更少数量的设备和/或服务器执行。一个或多个设备和/或服务器可以由相同或不同的实体操作和/或维护。
系统100包括通过网络150进行通信的客户端设备110和交易处理器服务器130。用户(未示出)可以利用客户端设备110来利用客户端设备110可用的各种特性,这些特性可以包括与交易处理器服务器130查看一个或多个增强现实应用提供的增强现实体验,并利用可以跟踪对象并被呈现给其他用户的虚拟数据来标记真实世界环境中的真实世界对象相关联的过程和/或应用。用户可以利用客户端设备110来捕获真实世界视觉数据。然后,用户可以对数据进行标记,包括设置出售或购买报价,这些报价可用于生成用于增强现实体验的虚拟图形(例如,视觉指示符)。虚拟图形或其他虚拟视觉指示符随后可以与对象的一个或多个识别特征一起存储,以便捕获增强现实的其他设备随后可以通过增强现实体验查看真实世界对象以及该虚拟图形。
客户端设备110和交易处理器服务器130可以分别包括一个或多个处理器、存储器、和其他适当组件,用于执行诸如存储在一个或多个计算机可读介质上的程序代码和/或数据的指令,以实现本文所述的各种应用、数据、和步骤。例如,这些指令可以存储在一个或多个计算机可读介质中,例如,系统100的各种组件内部和/或外部的存储器或数据存储设备和/或通过网络150可访问的存储器或数据存储设备。
客户端设备110可以实现为通信设备,该通信设备可以利用被配置用于与交易处理器服务器130进行有线和/或无线通信的适当硬件和软件。例如,在一个实施例中,客户端设备110可以实现为个人计算机(PC)、电话设备、智能电话、膝上型/平板电脑、具有适当计算机硬件资源的腕表、具有适当计算机硬件(例如,GOOGLE )的眼镜、其他类型的可穿戴计算设备、可植入通信设备、和/或能够发送和/或接收数据的其他类型的计算设备,例如,来自的尽管仅示出了一个通信设备,但多个通信设备可以类似地工作。
图1的客户端设备110包含增强现实应用120、交易应用112、其他应用114、数据库116、和网络接口组件118。增强现实应用120、交易应用112、和其他应用114可以对应于具有相关联的硬件的可执行过程、进程、和/或应用。在其他实施例中,客户端设备110可以包括具有所需的专用硬件和/或软件的附加或不同模块。
增强现实应用120可以对应于执行客户端设备110的软件模块和关联设备的一个或多个过程,以接收或记录视觉数据并处理视觉数据来确定环境中对象的标识和相关联的物品数据,以及生成、更改、或者通过增强现实输出与环境中的对象的视觉指示符或其他视觉修改交互。就此而言,增强现实应用120可以对应于客户端设备110的用户所使用的专用硬件和/或软件,该专用硬件和/或软件首先接收、捕获、和/或记录包括视听数据在内的视频数据,该视听数据包括也可以被处理以确定环境中的物品标识的音频数据。增强现实应用120可以利用客户端设备110的相机或其他光学/视觉数据捕获设备。例如,视觉数据捕获设备可以至少对应于客户端设备110的光学或视觉捕获设备,这些视觉捕获设备使得与客户端设备110相关联的用户能够捕获或记录图像(包括静态和/或视频图像)。输入设备可以对应于客户端设备110上的数字相机(例如,结合在客户端设备110中的数字相机,诸如移动电话的数字相机,该数字相机在传统相机方向和/或前向相机方向在一个或多个用户使用并查看客户端设备110的显示屏幕时捕获这些用户),或与客户端设备110相关联(例如,连接到客户端设备110但结合在客户端设备110的主体或结构中),或者可以更一般地对应于能够捕获或记录图像、视频、或其他数字媒体数据的任何设备。
作为数字相机,输入设备可以包括排列在半导体基板上的传感器阵列,该半导体基板具有多个被配置为检测入射光的光敏元件。在其他实施例中,可以使用其他类型的电磁辐射传感器,包括红外敏感传感器/元件等。输入设备的相机可以包括各种特性,例如,变焦、闪光灯、焦距校正、快门速度控制、或可用于捕获用户和/或其他用户或对象的一个或多个图像或视频的其他各种特性。输入设备可以包括其他媒体捕获组件,包括捕获音频数据的麦克风。输入设备还可以通过客户端设备110的另一设备,例如,取景器、屏幕(例如,移动电话触摸屏、平板触摸屏、和/或个人计算机监视器)、或其他显示器来向用户显示预览和/或捕获的图像。输入设备可以与客户端设备110的一个或多个应用接口以捕获视觉媒体数据,例如,图像/视频,并且可以输出捕获的视觉媒体数据的增强现实,以提供预算建议和基于预算建议对视觉数据中的物品外观进行更改。
捕获的视觉数据可能包括真实世界数据,其中可能包括一个或多个真实世界对象的视觉表示。可以通过在提供允许对象的识别的上下文数据的图像或视频数据中接收到的针对环境中的一个或多个对象的视觉数据来确定对象标识。例如,增强现实应用120可以允许用户选择视频图像的一部分来突出显示对象或选择用于在增强现实体验中进行交互的对象,包括真实世界的视觉数据以及增强现实应用和/或交易处理器服务器130添加的虚拟图形或视觉指示符。一旦选择了用于交互的对象,增强现实应用120将数据提供给交易处理器服务器130以确定对象的识别特征,该识别特征可用于在对象移动和/或其他设备通过另一增强现实应用、场景、和/或体验捕获对象时跟踪对象。然而,增强现实应用120也可以提供对特征的确定,其可以包括允许用户选择特征和/或在对象上提供标记的输入。在一些实施例中,识别特征可以对应于地理位置、视觉数据和对象的捕获时间、和/或对象的特定标记或识别参数。
此外,利用视觉数据,客户端设备110的用户可以提供对象的报价,例如用户拥有的对象的出售报价或买家对该对象的购买报价。然后,交易处理器服务器130可以基于识别特征生成可以与对象相关联的虚拟图形或其他视觉指示符,以便其他用户可以查看对象的报价。例如,虚拟图形可以对应于图形图像、对象、图标、或其他可显示信息,这些信息可以覆盖在增强现实应用120提供的增强现实体验中的真实世界图像或视频上。这还可以包括对物品的图像/视频参数的图形覆盖和/或修改。视觉指示符或其他虚拟图形可以对应于突出显示、添加文本、或在物品的视觉表示上或附近放置另一图形,和/或可以包括调整像素、分辨率、大小、亮度设置、颜色梯度、或其他图像/视频参数。例如,指示符可以通过在图像中突出显示物品、调整物品的颜色梯度、或调整物品的亮度中的一者或多者来完成,或者可以包括将其他图像或图形覆盖到物品上。
增强现实应用120还可以用于通过增强现实体验查看其他对象和先前建立的虚拟图形和/或指示符。例如,增强现实应用120可以捕获具有真实世界对象的不同场景以及来自其他用户的先前附加的报价。使用识别特征,增强现实应用120和/或交易处理器服务器130可以使用相应的识别特征以及对象相同的概率模型来确定针对真实世界对象的报价,以在增强现实体验中显示虚拟图形或指示符。因此,增强现实应用120捕获的音频和/或视觉数据可以用于确定真实世界场景的增强现实体验,其中视觉指示符被增强现实应用120显示为叠加在所显示的环境的视觉输出上的图形或修改所显示的环境的视觉输出的图形。就此而言,增强现实应用120可以进一步允许用户使用交易应用112来处理交易。
交易应用112可以对应于执行客户端设备110的软件模块和相关联的设备的一个或多个过程,以对具有通过视觉指示符提供的出售或购买报价的对象以及增强现实应用120提供的增强现实体验中的其他对象提供电子交易处理。在这方面,增强现实应用120可以对应于客户端设备110的用户所利用的、提供交易处理服务的专用硬件和/或软件,或者可以例如,通过一个或多个过程来检测交易处理事件,该一个或多个过程提供允许用户例如,通过输入设备(例如,带有图形用户界面的触摸屏、键盘/键盘、鼠标等)和/或通过数据捕获设备(例如,相机、其他光学设备等)输入用于交易信息的输入和其他数据的界面。此类信息可以用于更改或处理来自增强现实应用120提供的具有真实视觉数据的增强现实场景的数据,例如,通过添加账户数据和/或针对账户、用户、或客户端设备110的联系人标识符和/或通过处理对于报价的交易。
在虚拟图形生成和/或交易处理期间,交易应用112可以用于选择针对对象或交易使用的(一个或多个)支付工具。如本文所讨论的,当向交易处理器服务器130提供包括账户在内的支付信息时,交易应用112可以利用用户财务信息,例如,信用卡数据、银行账户数据、或其他资金来源数据,作为支付工具。例如,交易应用112可以利用与支付提供商(例如,交易处理器服务器130)的账户相关联的数字钱包作为支付工具,通过输入认证凭证和/或通过提供允许使用帐户进行处理的数据令牌,使用交易处理器服务器130访问用户的数字钱包或帐户。交易应用112还可以用于基于交易处理接收收据或其他信息。该数据可以与交易处理器服务器130共享,用于通过区块链跟踪对象的历史价格。
在一些实施例中,增强现实应用120和交易应用112的一个或多个过程可以在同一应用中提供,以便通过单个应用提供它们的服务。
在各种实施例中,客户端设备110包括在特定实施例中可能需要的其他应用114,以向客户端设备110提供特性。例如,其他应用114可以包括用于实现客户端安全特性的安全应用、用于通过网络150与适当的应用编程接口(API)接口的编程客户端应用、或其他类型的应用。其他应用114还可以包括允许用户通过网络150发送和接收电子邮件、呼叫、文本、和其他通知的电子邮件、文本、语音、和IM应用。在各种实施例中,其他应用114可以包括财务应用,例如银行应用。其他应用114还可以包括其他位置检测应用,其可以用于确定用户的位置(例如,地图绘制、指南针、和/或GPS应用),其可包括专用GPS接收器(其可获取客户端设备110的位置信息并提供特定对象、场景的位置,或与增强现实体验相关联的其他数据)。其他应用可以包括社交网络应用、媒体查看和/或商家应用。其他应用114可以包括设备界面应用和其他显示模块,它们可以接收来自用户的输入和/或向用户输出信息。例如,其他应用114可以包含可由处理器执行的软件程序,包括被配置为向用户提供界面的图形用户界面(GUI)。因此,其他应用114可以使用客户端设备110的装置,例如,能够向用户显示信息的显示装置和可以向用户显示增强现实的其他输出设备,包括扬声器。
客户端设备110还可以包括存储在客户端设备110的暂态和/或非暂态存储器中的数据库116,其可以存储各种应用和数据并在客户端设备110的各种模块的执行期间被使用。因此,数据库116可以包括例如,诸如与增强现实应用120和/或交易应用112相关联的操作系统注册表项、cookie的标识符、与客户端设备110的硬件相关联的标识符、或其他适当的标识符(例如,用于支付/用户/设备认证或识别的标识符),这些标识符可以在识别客户端设备110时被传送给交易处理器服务器130。在各种实施例中,数据库116可以存储增强现实的虚拟图形或指示符和/或真实世界图像,以及用于增强现实体验的虚拟数据的报价数据。
客户端设备110包括至少一个网络接口组件118,其适于与交易处理器服务器130和/或用于电子交易处理的另一设备或服务器通信。在各种实施例中,网络接口组件118可以包括DSL(例如,数字用户线)调制解调器、PSTN(公共交换电话网络)调制解调器、以太网设备、宽带设备、卫星设备、和/或各种其他类型的有线和/或无线网络通信设备。在一些实施例中,通信设备110还可以使用短距离通信(例如,蓝牙低能量、LTE直接、WiFi、射频、红外、蓝牙、和近场通信)直接与附近的设备(例如,商家设备130)通信。
交易处理器服务器130可以由在线服务提供商维护,其中,在线服务提供商可以提供交易处理和支付服务以及增强现实服务,该增强现实服务用于虚拟地标记对象并将这些对象与购买或出售报价相关联。就此而言,交易处理器服务器130包括一个或多个处理应用,这些处理应用可以被配置为与客户端设备110和/或另一设备/服务器交互,以促进增强现实体验用于对象购买。在一个示例中,交易处理器服务器130可以由美国加利福尼亚州圣何塞市的股份有限公司提供。然而,在其他实施例中,交易处理器服务器130可以由另一类型的服务提供商维护或包括另一类型的服务提供商,该服务提供商可以向多个用户提供连接服务。
图1的交易处理器服务器130包括虚拟标记应用140、交易处理应用132、其他应用134、数据库136、和网络接口组件138。虚拟标记应用140、交易处理应用132、和其他应用134可以对应于具有相关联的硬件的可执行过程、进程、和/或应用。在其他实施例中,交易处理器服务器130可以包括具有所需的专用硬件和/或软件的附加或不同模块。
虚拟标记应用140可以对应于执行交易处理器服务器130的软件模块和相关联的专用硬件的一个或多个过程,以在可以通过增强现实应用120提供的增强现实体验中使用虚拟数据(包括虚拟图形、文本、和/或视觉指示符)对真实世界对象进行标记。在这方面,虚拟标签应用140可以对应于例如,在客户端设备110通过相机和增强现实应用120捕获场景时,首先接收真实世界环境的视觉数据的专用硬件和/或软件。使用视觉数据,虚拟标记应用140可以识别用户选择的对象以及对象的特定识别特征。在一些实施例中,这可以包括检测对象的地理位置,确定对象的标记和/或捕获的时间,和/或确定可以在其他图像或视频中检测的对象的特定视觉标记或识别特征。识别特征可以由客户端设备110选择和/或可以进一步包括用于对象的报价的数据,例如购买或出售。报价可以包括对用于生成报价的虚拟图形或虚拟指示符的数据或其他选项的选择,该虚拟图形或虚拟指示符将与对象一起显示在增强现实体验中。在生成虚拟图形之后,虚拟标记应用140随后可以将报价、虚拟图形、和其他数据与识别特征一起存储,以便当其他设备捕获到对象时,虚拟图形和报价详情可以在增强现实体验中显示给这些其他设备。
虚拟标记应用140随后可以接收捕获对象的额外视觉数据。例如,客户端设备110或类似设备可以执行增强现实应用120(或相应的应用)来捕获真实世界场景的视觉数据。虚拟标记应用140可以处理视觉数据来确定视觉数据是否包括与先前存储的识别特征匹配的一个或多个识别特征。例如,可以将新捕获的视觉数据的地理位置与对象过去的地理位置进行比较。在这方面,还可以使用概率模型来处理地理位置,其中虚拟标记应用140确定对象仍然位于区域内或对象可能已经在地理位置之间行进了一定距离的概率。如果匹配发生或模型指示对象匹配的概率足够高(例如,超过阈值),则虚拟标记应用140可以通过捕获真实世界场景的新视觉数据的增强现实体验来显示具有报价详情的虚拟图形或视觉指示符。这可以包括叠加图形、调整场景的视觉参数、或以其他方式呈现对象的真实世界图像和增强现实细节。如果用户接受对象的报价,则可以使用交易处理应用132来处理针对该对象的交易。
交易处理应用132可以对应于执行交易处理器服务器130的模块和相关联的专用硬件的一个或多个过程,以处理针对一个或多个对象的交易,该一个或多个对象具有在增强现实体验中标记到其的关联报价。就此而言,交易处理应用132可以对应于与客户端设备110相关联的用户所使用的专用硬件和/或软件,以通过向交易处理器服务器130提供个人和/或财务信息并选择认证凭证来建立对于交易处理应用132的支付账户。在各种实施例中,财务信息可以包括支付工具信息,例如,帐号/卡号和信息。帐户可以用于发送和接收付款。支付账户可以通过客户端设备110执行的浏览器应用和/或专用支付应用(例如,交易应用112)来访问和/或使用。
在一些实施例中,客户机设备110可以基于用于与虚拟现实体验中的真实世界对象相关联的报价(例如,通过增强现实应用120提供的报价)的虚拟图形或指示符来为针对真实世界对象的交易生成交易数据。因此,交易处理应用132可以与客户端设备110交互以生成并处理交易数据,其中可以包括与另一设备或帐户交互以处理针对该对象的交易。交易处理应用132可以从客户端设备110接收针对用户帐户的交易数据的支付请求,该请求可以包括标识符、令牌、或用于交易处理的其他数据。交易处理应用132可以处理支付,并且可以向客户端设备110和/或另一用户的设备或者账户提供交易历史,以进行交易授权、批准、或拒绝交易。
在各种实施例中,交易处理器服务器130包括在特定实施例中可能需要的其他应用134,以向交易处理器服务器130提供特性。例如,其他应用134可以包括用于实现服务器端安全特性的安全应用、用于通过网络150与适当的应用编程接口(API)接口的编程客户端应用、或其他类型的应用。其他应用134可以包含可由处理器执行的软件程序,包括被配置为在用户访问交易处理器服务器130时向用户提供界面的图形用户界面(GUI),其中用户或其他用户可以与GUI交互以更容易地查看和传送信息。在各种实施例中,其他应用134可以包括连接和/或通信应用,该连接和/或通信应用可以用于通过网络150传送信息。
此外,交易处理器服务器130包括数据库136。用户和/或商户可以交易处理器服务器130上建立一个或多个数字钱包和/或账户。数据库136中的数字钱包和/或账户可以包括用户信息,例如,名称、地址、出生日期、支付工具/资金来源、其他用户财务信息、用户偏好、和/或其他期望的用户数据。用户可以通过账户、用户、商户、和/或设备标识符链接到各自的数字钱包和/或支付账户。因此,当例如从客户端设备110向交易处理器服务器130发送标识符时,可以找到属于用户的一个或多个数字钱包和/或支付账户。数据库136可以存储可向其他设备显示的增强现实体验的增强现实数据,包括对象辨认数据、对象的用于对象识别和辨认的识别特征、用于报价的虚拟图形和/或视觉指示符、以及针对对象的报价(包括报价详情、账户标识符、和/或联系人标识符)。
在各种实施例中,交易处理器服务器130包括至少一个网络接口组件138,其适于通过网络150与客户端设备110和/或另一设备或服务器进行通信。在各种实施例中,网络接口组件138可以包括DSL(例如,数字用户线)调制解调器、PSTN(公共交换电话网络)调制解调器、以太网设备、宽带设备、卫星设备、和/或各种其他类型的有线和/或无线网络通信设备(包括微波、射频(RF)、和红外(IR)通信设备)。
网络150可以实现为单个网络或多个网络的组合。例如,在各种实施例中,网络150可以包括互联网或一个或多个内联网、陆地线网络、无线网络、和/或其他适当类型的网络。因此,网络150可以对应于可由系统100的各种组件访问的小型通信网络(例如,专用或局域网)或大型网络(例如,广域网或互联网)。
图2A是根据实施例的通信设备显示用户正在使用提供的数据标记对象的增强现实体验的示例性界面。图2A的环境200a包括客户端设备110的界面1000,例如,大致对应于通过所描述的图1的系统100中的客户端设备110的增强现实应用120的特性、过程、和组件而输出的界面。就此而言,使用客户端设备110的用户可以查看客户端设备110上的界面1000,其中界面1000对应于显示由增强现实应用120确定和生成的增强现实体验、场景、或其他数据的界面。
在这方面,界面1000包括增强现实显示1002,其显示用于增强现实应用和体验的增强现实数据。例如,场景1004可以显示环境的真实世界数据以及覆盖或添加到真实世界环境的视觉数据的虚拟图形和视觉标识符。例如,自行车1006可以在场景1004中示出。自行车1006可以包括识别标记1008,例如,自行车1006的特性或特征。这可能包括罕见或不常见的特性,例如,贴纸、油漆、刮痕、或自行车1006独有或者通常在自行车之间不常见的其他视觉外观。在一些实施例中,特性可以是公共特性,也可以是用户感兴趣的特性,以便用户可能只喜欢共享该特性的类似自行车。场景还包括指示符(指针)1010的虚拟图形或视觉标识符/指示符,指示符1010可以基于用户的请求显示在场景1004中。因此,指示符1010对应于真实世界中不可见但添加到捕获的视觉数据中的数据。此外,另一对象,例如房屋1012,可以在场景1004中被捕获并与自行车1006相关联,以便可以在自行车1006的其他捕获数据中更容易地识别出自行车1006(例如,当自行车1006位于房屋1012附近或房屋1012处时)。
此外,界面1000还可以显示与增强现实显示1002相关的、附近的、或相关联的更多信息。该信息可以包括添加、更改、或移除增强现实显示1002的数据的选项。例如,指示符选择器1014可以允许用户利用指示符1010选择自行车1006用于对象识别和用于购买或出售自行车1006的虚拟图形的生成。因此,消息1016通知用户在场景1004中点击以生成和移动指示符1010。这允许用户通过使用指示符1010在场景1004中进行选择并优化对自行车1006的选择。此外,指示符选择器1014还可以允许改变指示符1010或场景1004内的其他选择,例如通过在对象上画框或画圈。
界面1000还允许添加地理位置A 1018的地理位置标签和/或查看将添加到场景1004的增强现实数据的地理位置标签。地理位置A 1018可以用于向自行车1006添加识别数据和特征,以便自行车1006与地理位置相关联。类似地,时间1020也可以添加到自行车1006和/或相应的视觉或增强现实数据中,以便时间1020可以与自行车1006的地理位置A 1018相关联。这允许确定自行车1006是否可能在概率距离内在地理位置之间移动。使用客户端设备110的用户还可以向场景1004和自行车1006的增强现实数据添加标记1022。这可包括选择识别标记1008或选择自行车1006的其他特性,以便识别其他识别特征。因此,增强现实显示的标记添加1024的选项可以允许选择识别标记1008或场景1004内的另一特性。使用报价选项1026,可以将其他报价数据添加到字段1028中,例如用户愿意购买或出售自行车1006的价格100.00美元。该信息还可以与账户A 1030相关联,该账户可以用于提供或接收支付、添加联系人标识符、或更改报价等。
图2B是根据实施例的通信设备显示具有跟踪的对象数据的增强现实的示例性界面。图2B的环境200b包括客户端设备110的界面1100,例如,大致对应于通过所描述的图1的系统100中的客户端设备110的增强现实应用120的特性、过程、和组件输出的界面。就此而言,使用客户端设备110的用户可以查看客户端设备110上的界面1100,其中,界面1100对应于显示由增强现实应用120确定并生成的增强现实体验、场景、或其他数据的界面。
界面1100显示增强现实显示1102,该增强现实显示显示了增强现实应用和体验的增强现实数据。例如,场景1104可以显示环境的真实世界数据以及覆盖或添加到真实世界环境的视觉数据的虚拟图形和视觉标识符。例如,场景1104可以包括先前由同一设备或另一设备在增强现实体验中捕获的对象。因此,场景1104可以显示在图2A的环境200a中捕获和生成的虚拟数据和来自真实世界的数据。就此而言,场景1104包括前面讨论的自行车1006和识别标记1008。因此,这些对应于环境200a中的相同对象和标记。然而,在用户确实明确请求相同或匹配对象的其他实施例中,自行车1006可以对应于可接受的相似性范围内的类似对象,该相似性范围可由用户设置或基于使用对象辨认引擎生成的匹配模型的概率来确定。
此外,增强现实显示1102的场景1104包括自行车1106的视觉指示符1105,该视觉指示符示出自行车1006被选中、突出显示、或以其他方式识别为报价的兴趣点。场景1104还包括虚拟图形1106,其显示与自行车1006和视觉指示符1105相关联的报价。由于辨认出自行车1006的识别标记1008和/或房屋1108,视觉指示符1105和虚拟图形1106可以被显示在场景1104的增强现实体验中。例如,识别标记1008可以用于识别自行车1006和/或房屋1108可以对应于环境200a中的房屋1012,以便以高概率将自行车1006识别为在不同的捕获虚拟数据之间匹配。在进一步的实施例中,用于地理位置匹配的匹配地理位置或概率模型也可以用于显示视觉指示符1105和虚拟图形1106,这可以基于捕获的虚拟数据的时间和其他信息。
此外,界面1100还可以连同增强现实显示1102显示更多信息或显示其附近或相关联的更多信息。例如,增强现实对象1110可以用于显示用于虚拟数据的附加信息,该信息与对象一起显示在增强现实体验中。因此,增强现实对象可以对应于现实世界对象,如自行车1006,其中包括用于增强现实体验的虚拟数据。这可以包括报价A详情1112,其可以显示针对与视觉指示符1105和虚拟图形1106相关联的报价的附加信息。例如,针对报价A详情1112示出了价格1114和联系人标识符A 1116。增强现实选项1118允许用户与增强现实显示1102交互,例如,购买处理购买选项1120和/或出售选项1122。这可以利用账户B 1124通过交易处理器来完成。
图3是示出根据实施例的通信设备和服务提供商服务器交互以提供增强现实来跟踪对象数据的示例性系统环境。图3的环境300包括参考图1的系统100讨论的客户端设备110和交易处理器服务器130。
客户端设备110包括增强现实应用120,其通常对应于参考图1的系统100中的增强现实应用120讨论的过程和特性。就此而言,增强现实应用120包括捕获的音频、视频、和/或视听数据以及从这些数据处理得出的信息(例如,可用于通过应用设备查看的增强现实体验的真实世界数据和虚拟数据)。例如,增强现实应用120可以包括通过客户端设备110的相机或其他光学捕获设备查看的特定场景的增强现实数据2002。增强现实数据2002包括场景2004,场景2004具有通过该相机或其他视觉捕获组件捕获的真实世界视觉数据2006。为了创建增强现实体验,可以使用虚拟图形2008更改真实世界视觉数据2006,虚拟图形2008可以对应于对通过设备的图形用户界面的视觉数据输出的覆盖、视觉指示符、或其他更改。因此,可以使用虚拟图形2008更改一个或多个图像或视频。
虚拟图形2008还可以包括用于确定场景2004中此类数据的布置的数据。例如,虚拟图形2008可以包括场景布置2010,其对应于在场景中布置一个或多个虚拟图形所需的数据。识别特征2012可以用于识别真实世界视觉数据2006中的真实世界对象。这可能包括地理位置、时间戳、识别视觉标记、或允许与增强现实体验中的特定对象或一类对象关联的其他数据。此外,报价数据2014可以用于呈现虚拟图形2008的具体数据,该具体数据允许在增强现实体验中实时看到购买或出售报价。增强现实应用120还可以包括增强现实过程2016,以处理使用增强现实数据2002查看的数据,这可以包括基于出售报价2020或购买报价2022处理增强现实体验中的一个或多个报价2018。
交易处理器服务器130包括虚拟标记应用140,该虚拟标记应用140通常对应于参考图1的系统100中的虚拟标记应用140讨论的过程和特性。就此而言,虚拟标记应用140可以用于在增强现实体验中提供视觉标签、虚拟图形、或其他数据。例如,视觉标记应用140可以包括增强现实体验2102,其可以在多个设备之间跟踪增强现实数据。增强现实体验2102可以包括用于增强现实的虚拟图形2102,其包括可以添加到设备捕获的真实世界场景的那些虚拟图形2008。此外,虚拟图形2008可以与地理位置2104、识别特征2012、和/或仅可添加到场景中的报价数据2014相关联。为了确定在不同数据中捕获的对象之间的相关性,还可以调用概率模型2106,其可以对应于可利用输入来做出有关是否可以对对象进行关联的特定预测的人工智能引擎(例如,使用似然匹配2108)。似然匹配2108可以对应于可利用来自一个或多个增强现实体验的数据来训练的那些权重和其他确定性模型。
图4是根据实施例的用于标记增强现实中的对象以跟踪对象数据的示例性过程的流程图。注意,可以省略本文描述的一个或多个步骤、过程、和方法,以不同的顺序执行这些步骤、过程、和方法,或者根据需要或适当组合这些步骤、过程、和方法。
在流程图400的步骤402,捕获具有真实对象的环境的视觉数据,其中,视觉数据可以对应于具有对象的真实世界环境的图像、视频、和/或扫描。因此,这可以由用户的设备(例如,包括光学捕获设备的移动电话、可穿戴计算设备、相机等)捕获包括光学捕获设备的。此外,诸如增强现实应用之类的应用可以用于捕获环境,然后进一步用于更改环境的输出,以便虚拟图形和视觉指示符可以与视觉数据一起显示。在步骤404,在视觉数据中确定对象和对象的识别特征。可以使用对象辨认过程来识别对象,该对象辨认过程可以基于视觉数据中的视觉点、标记、或其他信息来识别对象。例如,可以在环境的真实世界数据中识别房屋、车辆、个人物品、或销售物品,但可以识别对象的某些特性。此外,可以使用视觉数据来确定识别特征,该识别特征包括位置、标记、特性、捕获时间、或允许通过类似捕获对象的视觉数据的其他设备来识别对象的其他信息。
在一些实施例中,这可能包括请求用户选择或识别对象的识别信息或特征。然而,用户的设备和/或服务提供商服务器也可以确定识别特征。例如,可以使用对象的识别特征生成对象指纹,以创建一组数据,该组数据有助于基于对象的不同特征和机器学习模型在视觉数据中更好地识别对象。这可以包括捕获对象的特性数据,包括可以从对象的图像中提取的那些视觉特性。此外,识别特征可以包括视觉数据的元数据,包括视觉数据中的对象的捕获位置和时间戳。这些数据可以一起用于创建对象指纹,然后对象指纹被存储并与对象相关联。在步骤406,将该信息和指纹与用于增强现实体验的增强现实过程一起使用,确定针对增强现实体验中的对象的报价的虚拟图形。在此之前,可以进行附加步骤405,其中从用户接收针对对象的报价,例如,对象的金额、用户的标识符、或允许购买或出售对象的其他信息。然而,也可以基于相同或类似对象的其他报价来确定报价,该报价可以利用来自利用增强现实体验的其他设备的报价的分布式账本。在步骤408,存储虚拟图形和识别特征,以便在利用增强现实体验时,可以通过设备上的应用检索虚拟图形并将其与对象一起呈现。因此,随后使用增强现实体验的虚拟图形来更新对象的指纹。这允许使用对象的基于识别特征的指纹来检索增强现实体验的虚拟图形。
此后,在步骤410,在另一设备的增强现实体验中识别对象。这可以包括利用识别特征和对象辨认过程来确定对象存在于正在另一用户的设备上查看的增强现实体验中。此外,同一用户还可以查看对象,例如,看对象的其他报价,这也可能需要对象辨认。概率模型可以用于确定对象是否存在于其他视觉数据中,例如,通过确定对象存在于当前视觉数据中的足够高的确定度(例如,超过阈值百分比或水平)。在步骤412,虚拟图形与对象一起呈现在增强现实体验。例如,虚拟图形可以覆盖在视觉数据上、与视觉数据组合在一起、或用于调整视觉数据。虚拟图形可以允许交互,例如进行选择以显示报价,或者通常可以显示用于报价的所有数据。虚拟图形还可以允许捕获对象的用户联系提供报价的用户,以例如协商价格、同意报价、和/或处理交易(例如,使用在线交易处理器)。然后在步骤414接收针对报价的购买请求。购买请求可以识别这两个用户的帐户,从而允许买家从卖家购买物品。此后,在步骤416,使用在线交易处理器处理购买请求。这可包括从买家账户向卖家账户提供支付。
图5是根据实施例的适于实现图1中的一个或多个组件的计算机系统的框图。在各种实施例中,通信设备可以包括能够与网络通信的个人计算设备(例如,智能电话、计算平板设备、个人计算机、膝上型电脑、诸如眼镜或手表的可穿戴计算设备、蓝牙设备、钥匙FOB、徽章等)。服务提供商可以利用能够与网络通信的网络计算设备(例如,网络服务器)。应当理解,用户和服务提供商使用的设备中的每个设备可以通过如下方式实现为计算机系统500。
计算机系统500包括总线502或用于在计算机系统500的各个组件之间传送信息数据、信号、和信息的其他通信机制。组件包括输入/输出(I/O)组件504,其处理用户动作(例如,从小键盘/键盘选择按键,选择一个或多个按钮、图像、或链接,和/或移动一个或多个图像等)并向总线502发送相应的信号。I/O组件504还可以包括输出组件,例如,显示器511和光标控件513(例如,键盘、小键盘、鼠标等)。还可以包括可选的音频输入/输出组件505,以允许用户通过转换音频信号来使用语音输入信息。音频I/O组件505可以允许用户收听音频。收发器或网络接口506通过网络150在计算机系统500和其他设备(例如,另一通信设备、服务设备、或服务提供商服务器)之间发送和接收信号。在一个实施例中,传输是无线的,尽管其他传输介质和方法也可能适用。一个或多个处理器512(其可以是微控制器、数字信号处理器(DSP)、或其他处理组件)处理这些各种信号,例如,用于在计算机系统500上进行显示或通过通信链路518传输到其他设备。(一个或多个)处理器512还可以控制信息(例如,cookie或IP地址)到其他设备的传输。
计算机系统500的组件还包括系统存储器组件514(例如,RAM)、静态存储组件516(例如,ROM)、和/或磁盘驱动器517。计算机系统500通过执行包含在系统存储器组件514中的一个或多个指令序列,由(一个或多个)处理器512和其他组件执行特定操作。逻辑可以编码在计算机可读介质中,该计算机可读介质可以是指参与向(一个或多个)处理器512提供指令以供执行的任何介质。这种介质可以采取多种形式,包括但不限于非易失性介质、易失性介质、和传输介质。在各种实施例中,非易失性介质包括光盘或磁盘,易失性介质包括动态存储器(例如,系统存储器组件514),传输介质包括同轴电缆、铜线、和光纤(包括包含总线502的导线)。在一个实施例中,逻辑被编码在非暂态计算机可读介质中。在一个示例中,传输介质可以采用声波或光波的形式,例如在无线电波、光学、和红外数据通信期间产生的声波或光波。
计算机可读介质的一些常见形式包括例如,软盘、柔性盘、硬盘、磁带、任何其他磁性介质、CD-ROM、任何其他光学介质、穿孔卡、纸带、任何其他具有孔图案的物理介质、RAM、PROM、EEPROM、FLASH-EEPROM、任何其他存储器芯片或盒式磁带、或任何其他计算机适于读取的介质。
在本公开的各种实施例中,可以由计算机系统500执行用于实施本公开的指令序列。在本公开的各种其他实施例中,多个计算机系统500通过通信链路518耦合到网络(例如,LAN、WLAN、PTSN、和/或各种其他有线或无线网络,包括电信、移动、和蜂窝电话网络),可以执行指令序列,以相互协调地实施本公开。
在适用的情况下,可以使用硬件、软件、或硬件和软件的组合来实现本公开提供的各种实施例。此外,在适用的情况下,本文所述的各种硬件组件和/或软件组件可以组合成包括软件、硬件、和/或它们两者的复合组件,而不背离本公开的精神。在适用的情况下,本文所述的各种硬件组件和/或软件组件可以被分为包括软件、硬件、或它们两者的子组件,而不脱离本公开的范围。此外,在适用的情况下,可以预见到软件组件可以实现为硬件组件,反之亦然。
根据本公开的软件,例如,程序代码和/或数据,可以存储在一个或多个计算机可读介质上。还可以预见到,本文识别的软件可以使用一个或多个联网和/或其他的通用或专用计算机和/或计算机系统来实现。在适用的情况下,本文所述的各种步骤的顺序可以改变、组合成复合步骤、和/或分离成子步骤以提供本文所述的特性。
以上公开并非旨在将本公开限制在所公开的精确形式或特定使用领域。因此,可以预见到根据本公开,对于本公开的各种替代实施例和/或修改,无论是在此明确描述还是暗示地描述都是可能的。在这样描述了本公开的实施例之后,本领域普通技术人员将认识到,在不脱离本公开的范围的情况下,可以在形式和细节上做出改变。因此,本公开仅由权利要求限定。
Claims (20)
1.一种服务提供商系统,包括:
非暂态存储器;和
一个或多个硬件处理器,耦合到所述非暂态存储器并且被配置为从所述非暂态存储器读取指令,以使所述服务提供商系统执行包括以下各项的操作:
接收对象的第一图像的第一图像数据,所述对象正在由第一用户通过第一设备的增强现实应用查看;
基于所述第一图像数据确定与所述对象相关联的识别特征;
基于所述识别特征将标识符与所述对象相关联,其中,所述标识符能够由所述增强现实应用的其他用户访问;
检测从所述第一设备第一次购买所述对象的第一报价;
生成与所述第一报价相对应的第一视觉指示符;以及
将所述第一视觉指示符与所述对象相关联,其中,所述第一视觉指示符能够由所述增强现实应用的、位于离所述对象在阈值距离内的用户查看。
2.根据权利要求1所述的服务提供商系统,其中,所述操作还包括:
从第二用户的第二设备接收第二图像的第二图像数据;
使用用于对象识别的概率模型确定所述第二图像包括所述对象;以及
促使所述第一视觉指示符与所述第二图像数据中的所述对象一起显示。
3.根据权利要求2所述的服务提供商系统,其中,所述标识符包括所述对象的地理位置,并且其中,所述概率模型基于下述至少一者:所述对象在一时间段内的预测行进距离,以及在与所述对象相关联的所述地理位置内的所述对象的多个实例。
4.根据权利要求1所述的服务提供商系统,其中,确定所述识别特征包括:基于对所述第一图像内的所述对象的一部分的选择,从所述第一设备接收所述识别特征。
5.根据权利要求1所述的服务提供商系统,其中,所述操作还包括:
从第二用户的第二设备接收第二图像的第二图像数据;
基于所述第二图像中的所述识别特征,确定所述第二图像包括所述对象;以及
促使所述第一视觉指示符与所述第二图像数据中的所述对象一起显示。
6.根据权利要求5所述的服务提供商系统,其中,在所述促使之前,所述操作还包括:
认证所述第二用户是所述对象的所有者,其中,所述促使是响应于所述认证的。
7.根据权利要求6所述的服务提供商系统,其中,所述操作还包括:
从所述第二用户接收对所述第一报价的接受;以及
基于所述接受和所述认证,处理所述对象向所述第一用户的出售。
8.根据权利要求6所述的服务提供商系统,其中,认证所述第二用户是所述所有者包括:
分析所述对象的所有权文档;以及
基于所述所有权文档,核实所述第二用户是所述对象的所有者。
9.根据权利要求5所述的服务提供商系统,其中,所述操作还包括:
从所述第二用户接收针对所述对象的第二报价;以及
将所述第二报价添加到所述对象的所述第一视觉指示符或第二视觉指示符之一。
10.根据权利要求1所述的服务提供商系统,其中,将所述第一视觉指示符与所述对象相关联包括:将所述第一报价和所述第一视觉指示符与所述标识符一起存储在记录数据库中。
11.根据权利要求10所述的服务提供商系统,其中,所述记录数据库包括至少所述第一报价的区块链记录,该区块链记录被分发给多个其他设备。
12.一种方法,包括:
捕获由第一用户的移动设备上的应用记录的增强现实场景中的对象的图像,其中,所述图像与来自所述移动设备记录的所述增强现实场景的图像元数据相关联;
通过所述第一用户的所述移动设备记录的所述增强现实场景,从所述第一用户接收对所述对象的购买报价;
响应于所述接收,基于所述图像确定所述对象的识别标记;
基于所述图像元数据,确定所述对象的地理位置;
在所述增强现实场景中创建所述针对购买报价的虚拟图形;以及
利用所述虚拟图形标记所述增强现实场景中的所述对象,其中,所述对象基于所述识别标记和所述地理位置而被标记。
13.根据权利要求12所述的方法,其中,所述对象包括多个对象中的一个,并且其中,所述多个对象中的每个对象进一步利用所述虚拟图形在所述增强现实场景中被标记。
14.根据权利要求13所述的方法,还包括:
从第二用户接收所述多个对象中不同的一个对象的至少一个附加图像;
基于所述地理位置和所述识别标记,确定所述至少一个附加图像包括所述对象;以及
在所述增强现实场景中将所述虚拟图形与所述多个对象中所述不同的一个对象一起显示给所述第二用户。
15.根据权利要求14所述的方法,其中,所述购买报价还包括:所述第一用户的联系人标识符,并且其中,在所述虚拟图形在所述增强现实场景中与所述第一用户的所述联系人标识符一起显示给所述第二用户。
16.根据权利要求14所述的方法,其中,确定所述至少一个附加图像包括:所述对象进一步基于与所述地理位置相关联的区域内的所述多个对象中的数个对象。
17.一种非暂态机器可读介质,其上存储有机器可读指令,所述机器可读指令能够执行以促使机器执行包括以下各项的操作:
从第一用户的第一设备接收由所述第一用户出售的物品的视觉数据,其中,所述视觉数据包括所述物品的地理位置标签,所述地理位置标签向增强现实体验的对象辨认操作识别所述物品;
从所述第一设备接收所述物品的出售报价,其中,所述出售报价包括所述第一用户的联系人标识符;
基于所述出售报价和所述联系人标识符,生成针对所述增强现实体验中的所述物品的图形对象;
将所述图形对象链接到所述增强现实体验中的所述物品;
从第二用户的第二设备接收所述增强现实体验中的图像;
至少基于所述地理位置标签,确定所述图像包括所述物品;以及
在所述第二设备上在所述增强现实体验内显示所述图形对象,其中,所述图形对象与所述增强现实体验中的所述物品相关联。
18.根据权利要求17所述的非暂态机器可读介质,其中,所述地理位置标签包括所述第一设备或与所述物品相关联的第三设备之一的设备标识符,其中,所述设备标识符允许所述第一设备或第三设备进行全球定位系统查找以进行对所述物品的地理位置检测。
19.根据权利要求17所述的非暂态机器可读介质,其中,所述视觉数据包括所述物品的多个图像、视频、或三维扫描中的一者,其中,所述视觉数据还包括对所述物品上的识别标记的选择,并且其中,所述图形对象还基于所述识别标记而与所述物品相关联。
20.根据权利要求17所述的非暂态机器可读介质,其中,所述操作还包括:
从所述第二设备接收对所述物品的购买报价;以及
通过所述增强现实体验将所述购买报价通知给所述第一用户。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/727,744 | 2019-12-26 | ||
US16/727,744 US11386652B2 (en) | 2019-12-26 | 2019-12-26 | Tagging objects in augmented reality to track object data |
PCT/US2020/065111 WO2021133593A1 (en) | 2019-12-26 | 2020-12-15 | Tagging objects in augmented reality to track object data |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114885613A true CN114885613A (zh) | 2022-08-09 |
CN114885613B CN114885613B (zh) | 2024-10-11 |
Family
ID=76547390
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080090150.XA Active CN114885613B (zh) | 2019-12-26 | 2020-12-15 | 服务商提供系统和提供增强现实的方法 |
Country Status (5)
Country | Link |
---|---|
US (2) | US11386652B2 (zh) |
EP (1) | EP4082003A4 (zh) |
CN (1) | CN114885613B (zh) |
AU (1) | AU2020412358B2 (zh) |
WO (1) | WO2021133593A1 (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210123198A (ko) * | 2020-04-02 | 2021-10-13 | 주식회사 제이렙 | 증강 현실 기반의 전기 음향과 건축 음향 통합 시뮬레이션 장치 |
US11586834B2 (en) * | 2020-06-30 | 2023-02-21 | Roblox Corporation | Automatic localization of dynamic content |
US11854014B2 (en) * | 2020-07-01 | 2023-12-26 | Capital One Services, Llc | Using augmented reality data as part of a fraud detection process |
US12056759B1 (en) * | 2020-08-14 | 2024-08-06 | United Services Automobile Association (Usaa) | Method, medium, and system for an augmented reality device managed object selection and acquisition processing |
EP4207088A4 (en) * | 2020-10-07 | 2024-03-06 | Samsung Electronics Co., Ltd. | AUGMENTED REALITY DISPLAY METHOD AND ELECTRONIC DEVICE FOR USING IT |
US11501530B1 (en) * | 2021-09-08 | 2022-11-15 | International Business Machines Corporation | Spatio-temporal relation based MR content positioning |
US20230140194A1 (en) * | 2021-10-28 | 2023-05-04 | Ncr Corporation | Augmented reality (ar) self checkout attendant |
US11886767B2 (en) | 2022-06-17 | 2024-01-30 | T-Mobile Usa, Inc. | Enable interaction between a user and an agent of a 5G wireless telecommunication network using augmented reality glasses |
US20240029361A1 (en) * | 2022-07-20 | 2024-01-25 | Honda Motor Co., Ltd. | Facilitating transactions between users in a virtual world environment |
US20240112409A1 (en) * | 2022-09-29 | 2024-04-04 | Meta Platforms Technologies, Llc | Doors for Artificial Reality Universe Traversal |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080268876A1 (en) * | 2007-04-24 | 2008-10-30 | Natasha Gelfand | Method, Device, Mobile Terminal, and Computer Program Product for a Point of Interest Based Scheme for Improving Mobile Visual Searching Functionalities |
US9921641B1 (en) * | 2011-06-10 | 2018-03-20 | Amazon Technologies, Inc. | User/object interactions in an augmented reality environment |
US20180108079A1 (en) * | 2016-10-13 | 2018-04-19 | River Ventures Spa | Augmented Reality E-Commerce Platform |
US20180197221A1 (en) * | 2017-01-06 | 2018-07-12 | Dragon-Click Corp. | System and method of image-based service identification |
US20190122443A1 (en) * | 2016-06-24 | 2019-04-25 | Innogy Innovation Gmbh | Augmented reality system |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140063061A1 (en) * | 2011-08-26 | 2014-03-06 | Reincloud Corporation | Determining a position of an item in a virtual augmented space |
AU2013207407A1 (en) | 2012-01-05 | 2013-10-24 | Visa International Service Association | Transaction visual capturing apparatuses, methods and systems |
US20130297460A1 (en) * | 2012-05-01 | 2013-11-07 | Zambala Lllp | System and method for facilitating transactions of a physical product or real life service via an augmented reality environment |
CN105188516B (zh) * | 2013-03-11 | 2017-12-22 | 奇跃公司 | 用于增强和虚拟现实的系统与方法 |
US9547917B2 (en) | 2013-03-14 | 2017-01-17 | Paypay, Inc. | Using augmented reality to determine information |
US10078440B2 (en) * | 2015-03-25 | 2018-09-18 | Ebay Inc. | Media discovery and content storage within and across devices |
KR20240033136A (ko) * | 2016-12-05 | 2024-03-12 | 케이스 웨스턴 리저브 유니버시티 | 상호작용적 증강 현실 프리젠테이션들을 표시하기 위한 시스템들, 방법들 및 매체들 |
US11037202B2 (en) * | 2016-12-27 | 2021-06-15 | Paypal, Inc. | Contextual data in augmented reality processing for item recommendations |
US9988067B1 (en) * | 2017-02-24 | 2018-06-05 | Polaris Industries Inc. | Snow bike and a front suspension for a snow bike |
US10553032B2 (en) * | 2017-12-28 | 2020-02-04 | Paypal, Inc. | Augmented reality output based on item acquisition limitations |
US10567915B2 (en) * | 2018-06-04 | 2020-02-18 | Walgreen Co. | System and methods of searching for an object using hyper-local location techniques |
US20180345129A1 (en) | 2018-07-27 | 2018-12-06 | Yogesh Rathod | Display virtual objects within predefined geofence or receiving of unique code from closest beacon |
US11397503B2 (en) * | 2019-06-28 | 2022-07-26 | Snap Inc. | Association of user identifiers to augmented-reality content |
-
2019
- 2019-12-26 US US16/727,744 patent/US11386652B2/en active Active
-
2020
- 2020-12-15 CN CN202080090150.XA patent/CN114885613B/zh active Active
- 2020-12-15 AU AU2020412358A patent/AU2020412358B2/en active Active
- 2020-12-15 EP EP20905631.6A patent/EP4082003A4/en active Pending
- 2020-12-15 WO PCT/US2020/065111 patent/WO2021133593A1/en unknown
-
2022
- 2022-07-11 US US17/861,486 patent/US11763372B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080268876A1 (en) * | 2007-04-24 | 2008-10-30 | Natasha Gelfand | Method, Device, Mobile Terminal, and Computer Program Product for a Point of Interest Based Scheme for Improving Mobile Visual Searching Functionalities |
US9921641B1 (en) * | 2011-06-10 | 2018-03-20 | Amazon Technologies, Inc. | User/object interactions in an augmented reality environment |
US20190122443A1 (en) * | 2016-06-24 | 2019-04-25 | Innogy Innovation Gmbh | Augmented reality system |
US20180108079A1 (en) * | 2016-10-13 | 2018-04-19 | River Ventures Spa | Augmented Reality E-Commerce Platform |
US20180197221A1 (en) * | 2017-01-06 | 2018-07-12 | Dragon-Click Corp. | System and method of image-based service identification |
Also Published As
Publication number | Publication date |
---|---|
US20210201029A1 (en) | 2021-07-01 |
EP4082003A1 (en) | 2022-11-02 |
CN114885613B (zh) | 2024-10-11 |
EP4082003A4 (en) | 2023-11-22 |
AU2020412358A1 (en) | 2022-07-07 |
AU2020412358B2 (en) | 2023-10-19 |
US11386652B2 (en) | 2022-07-12 |
US11763372B2 (en) | 2023-09-19 |
WO2021133593A1 (en) | 2021-07-01 |
US20220398843A1 (en) | 2022-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114885613B (zh) | 服务商提供系统和提供增强现实的方法 | |
US10956964B2 (en) | Methods and arrangements including data migration among computing platforms, e.g. through use of audio encoding | |
US20240087003A1 (en) | User interface using tagged media, 3d indexed virtual reality images, and global positioning system locations, for electronic commerce | |
US10553032B2 (en) | Augmented reality output based on item acquisition limitations | |
US11037202B2 (en) | Contextual data in augmented reality processing for item recommendations | |
US20090319388A1 (en) | Image Capture for Purchases | |
US11694439B2 (en) | Securing virtual objects tracked in an augmented reality experience between multiple devices | |
US20140079281A1 (en) | Augmented reality creation and consumption | |
US20120158582A1 (en) | Payment system using images | |
US20140078174A1 (en) | Augmented reality creation and consumption | |
US11762996B2 (en) | Detection of fraudulent displayable code data during device capture | |
US20230186347A1 (en) | Computer-Based System and Method for Providing an Augmented Reality Interface at Real-World Events | |
US20150379619A1 (en) | Systems and methods for facilitating purchase using gesture | |
US20240144290A1 (en) | Mobile device with in-person assistance | |
US20240281474A1 (en) | Media triggered virtual repository with temporal data recognition and matching engine |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |