CN114428550A - 响应于输入显示扩增现实 - Google Patents

响应于输入显示扩增现实 Download PDF

Info

Publication number
CN114428550A
CN114428550A CN202111244769.4A CN202111244769A CN114428550A CN 114428550 A CN114428550 A CN 114428550A CN 202111244769 A CN202111244769 A CN 202111244769A CN 114428550 A CN114428550 A CN 114428550A
Authority
CN
China
Prior art keywords
image
computing device
receiving
platform
response
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111244769.4A
Other languages
English (en)
Other versions
CN114428550B (zh
Inventor
R·维斯瓦那坦
B·查布拉
C·L·克里斯滕森
Z·胡斯埃尼玛卡雷姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Micron Technology Inc
Original Assignee
Micron Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Micron Technology Inc filed Critical Micron Technology Inc
Publication of CN114428550A publication Critical patent/CN114428550A/zh
Application granted granted Critical
Publication of CN114428550B publication Critical patent/CN114428550B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3836—Instruction issuing, e.g. dynamic instruction scheduling or out of order instruction execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

描述关于用于响应于输入显示AR的计算装置的方法、装置和系统。输入可包含(但不限于)时戳、天气数据、事件数据、评级、用户偏好、用户输入或位置。在一实例中，一种方法可包含：在计算装置的AR平台处从所述计算装置的处理资源接收输入；在所述AR平台处从所述计算装置的相机接收图像；将所述图像与所述AR平台上包含的若干AR图像进行比较；在所述AR平台处确定所述图像是所述若干AR图像中的AR图像；在用户界面处从所述AR平台接收与所述AR图像相关联的AR；以及响应于接收到所述AR而在所述用户界面上显示所述AR。

Description

响应于输入显示扩增现实
技术领域
本公开大体上涉及一种计算装置，且更明确地说涉及关于扩增现实(AR)的方法、设备和系统。
背景技术
计算装置可例如是个人膝上型计算机、台式计算机、智能电话、平板电脑、腕佩戴式装置、数码相机和/或其冗余组合，以及其它类型的计算装置。在一些实例中，计算装置可显示扩增现实(AR)和/或执行人工智能(AI)操作。
AR可将虚拟对象覆叠于现实世界(例如，自然)环境上。举例来说，AR可将3D全息图添加到现实。在一些实例中，AR可以是现实世界环境的交互式体验，其中现实世界对象通过计算机生成的感知信息而增强。AR可掩蔽现实世界环境的一部分和/或向现实世界环境添加使得其感知为现实世界环境的沉浸式方面。相应地，AR可更改个人对现实世界环境的感知。平视显示器、头戴式耳机、智能眼镜、智能隐形眼镜、光场显示器、激光器和/或若干光源可用于创建AR。
在一些实例中，计算装置可包含AI加速器。AI加速器可包含被配置成使计算装置能够执行AI操作的组件。在一些实例中，AI操作可包含机器学习或神经网络操作，其可包含训练操作或推断操作或这两者。
发明内容
在一个方面中，本申请提供一种用于响应于输入显示扩增现实的方法，其包括：在计算装置的扩增现实(AR)平台处从所述计算装置的处理资源接收包含表示以下中的至少一个的数据的第一信令：时戳、天气、事件、评级、用户偏好、用户输入或所述计算装置的位置；在所述计算装置的所述AR平台处从所述计算装置的相机接收包含表示图像的数据的第二信令；将表示所述图像的所述数据与表示所述AR平台上包含的若干AR图像的数据进行比较；在所述AR平台处响应于表示所述图像的所述数据的特定部分与表示所述AR图像的数据匹配而确定所述图像是所述若干AR图像中的AR图像；在所述计算装置的用户界面处响应于接收到所述第一信令且确定所述图像是所述AR图像而从所述AR平台接收包含表示与所述AR图像相关联的AR的数据的第三信令；以及响应于接收到所述第三信令在所述计算装置的所述用户界面上显示表示与所述AR图像相关联的所述AR的所述数据。
在另一方面中，本申请提供一种用于响应于输入显示扩增现实的设备，所述设备包括：相机；扩增现实(AR)平台；用户界面；存储器；以及处理器，其被配置成执行存储于所述存储器中的可执行指令以：在所述AR平台处从所述处理器接收包含表示所述设备的位置的数据的第一信令；在所述AR平台处从所述相机接收包含表示图像的数据的第二信令；在所述AR平台处将表示所述图像的所述数据与表示所述AR平台上包含的若干AR图像的数据进行比较；在所述AR平台处响应于表示所述图像的所述数据的特定部分与表示所述AR图像的数据匹配而确定所述图像是所述若干AR图像中的AR图像；在所述AR平台处使用表示所述设备的所述位置的所述数据确定所述设备的位置；响应于确定所述图像是所述AR图像和所述设备的所述位置而在所述用户界面处从所述AR平台接收包含表示与所述AR图像相关联的AR的数据的第三信令；以及响应于接收到所述第三信令在所述用户界面上显示表示与所述AR图像相关联的所述AR的所述数据。
在另一方面中，本申请提供一种用于响应于输入显示扩增现实的设备，所述设备包括：相机；扩增现实(AR)平台；用户界面；存储器；以及处理器，其被配置成执行存储于所述存储器中的可执行指令以；在所述AR平台处从所述处理器接收包含表示以下中的至少一个的数据的第一信令：时戳、天气、事件、评级、用户偏好、用户输入或所述设备的位置；在所述AR平台处从所述相机接收包含表示图像的数据的第二信令；将表示所述图像的所述数据与表示所述AR平台上包含的若干AR图像的数据进行比较；在所述AR平台处响应于表示所述图像的所述数据的特定部分与表示所述AR图像的数据匹配而确定所述图像是所述若干AR图像中的AR图像；响应于接收到所述第一信令且确定所述图像是所述AR图像，在所述计算装置的所述用户界面处从所述AR平台接收包含表示AR为可用的通知的数据的第三信令；以及响应于接收到所述第三信令在所述用户界面处显示表示AR为可用的所述通知的所述数据。
附图说明
图1示出根据本公开的若干实施例用于显示AR的计算装置的用户界面的实例。
图2示出根据本公开的若干实施例用于显示AR的计算装置的用户界面的实例。
图3示出根据本公开的若干实施例用于显示AR的计算装置的用户界面的实例。
图4示出根据本公开的若干实施例用于显示AR的计算装置的实例。
图5示出根据本公开的若干实施例用于显示AR的计算装置的实例。
图6是根据本公开的若干实施例用于响应于输入显示AR的方法的流程图。
具体实施方式
本公开包含关于响应于输入显示AR的方法、设备和系统。一种实例方法可包含：在计算装置的AR平台处从所述计算装置的处理资源接收输入；在所述AR平台处从所述计算装置的相机接收图像；将所述图像与所述AR平台上包含的若干AR图像进行比较；在所述AR平台处确定所述图像是所述若干AR图像中的AR图像；在用户界面处从所述AR平台接收与所述AR图像相关联的AR；以及响应于接收到所述AR而在所述用户界面上显示所述AR。
输入可包含(但不限于)时戳、天气数据、事件数据、评级、用户偏好、用户输入或位置。所述位置可以是例如计算装置的位置。计算装置的位置可使用加速度计、陀螺仪、全球定位系统(GPS)、正由计算装置使用的wi-fi网络或社交媒体上的发帖来确定。
可响应于计算装置的位置而接收和/或显示AR。举例来说，可当计算装置的位置在AR图像的特定距离内时，当计算装置的位置在事件的特定区域内时，当计算装置的位置距不同位置特定距离时，和/或当计算装置在不同位置的特定距离内时，在用户界面处接收AR和/或在计算装置的用户界面上显示AR。
在若干实施例中，可在显示AR之前通知用户AR为可用的。举例来说，通知可显示于用户界面上以通知用户AR为可用的。可响应于接收到输入和/或确定由相机生成的图像是AR平台上的所述若干AR图像中的AR图像而显示通知。
用户可选择忽略或检视AR。所述通知可从用户界面移除，且可响应于在用户界面上接收到选择而在用户界面上显示AR。在一些实例中，可响应于在用户界面上接收到不同选择或用户忽略所述通知而从用户界面移除所述通知。举例来说，可在特定时间周期已经过去而用户界面未接收选择之后，从用户界面移除所述通知。
所述通知可包含AR数据。AR数据可来自计算装置上的AR平台。AR平台可包含若干AR图像和与所述若干AR图像中的每一个相关联的AR数据。AR数据可包含例如AR的创建者、风格、内容和/或评级。在一些实例中，AR数据可包含用于显示AR的数据。AR数据或AR数据的一部分可存储在AR平台上，和/或计算装置上和/或外部的存储器中。
用户对通知的响应可存储为用户数据。用户数据可存储在计算装置上和/或外部的存储器中。AR数据和/或用户数据可用于在AI模型上执行AI操作。AI操作可例如设定(例如，创建)用户偏好。可基于用户先前对通知的响应和/或用户先前对AR的响应来设定用户偏好。在一些实例中，计算装置可能不响应于AR数据包含与用户之前已经忽略的AR的特性一样的一或多个特性而通知用户AR是否可用。举例来说，计算装置可能不响应于AR属于用户先前已经忽略的特定风格而通知用户AR是否可用。
如本文中所使用，“若干”某物可指此类事物中的一或多个。举例来说，若干计算装置可以指一或多个计算装置。“多个”某物意指两个或更多个。
本文中的图式遵循编号惯例，其中前一或多个数字对应于图号，且其余数字标识图中的元件或组件。可通过使用类似数字来标识不同图式之间的类似的元件或组件。举例来说，参考标号102在图1中可指代元件“2”，且类似元件可在图2中表示为202。如将了解，可添加、交换和/或去除本文中的各个实施例中展示的元件，以便提供本公开的若干额外实施例。另外，图中提供的元件的比例和相对尺度意图说明本公开的各种实施例，并且不应在限制性意义上看待。
图1示出根据本公开的若干实施例用于显示AR的计算装置100的用户界面102的实例。如图1中所示出的用户界面102可进一步包含AR图像104。AR图像104可以是触发AR的图像。
在若干实施例中，相机(例如，图4中的相机428、图5中的相机528)可通过将由相机生成的图像与若干AR图像进行比较且确定由相机生成的图像是所述若干AR图像中的AR图像来检测AR图像104。在一些实例中，计算装置100可包含一或多个相机。所述一或多个相机中的一个可仅仅用于检测AR图像。在若干实施例中，一或多个光学传感器可以与一或多个相机一起使用以检测AR图像104，或与此对比，可使用一或多个光学传感器代替一或多个相机来检测AR图像104。
AR可将虚拟对象覆叠在现实世界环境上以掩蔽现实世界环境的一部分和/或向现实世界环境添加使得其被感知为现实世界环境的沉浸式方面。在一些实例中，AR可显示若干图像和/或使若干图像自动化，和/或增强AR图像104以在用户界面102上移动和/或改变，如图2所示。
用户界面102可由计算装置100生成。用户界面102可以是可将信息提供到计算装置100的用户和/或从计算装置100的用户接收信息的图形用户界面(GUI)。用户界面102可展示在计算装置100的显示器上。在一些实例中，显示器可以是触摸屏。
图2示出根据本公开的若干实施例用于显示AR的计算装置200的用户界面202的实例。在若干实施例中，可响应于确定由相机生成的图像是AR图像(例如，图1中的AR图像104)而生成用户界面202。如图2中所示出，用户界面202可包含通知206。
用户界面202可通过显示通知206来通知用户AR为可用的。然而，实施例不限于在用户界面202上显示通知206。举例来说，计算装置200可通过产生音频和/或振动来通知用户AR为可用的。可显示通知206，可产生音频，和/或可由计算装置200响应于接收到输入和/或确定由相机生成的图像为AR图像而产生振动。
在一些实例中，用户界面202可响应于接收到命令和/或用户界面202上通知206的选择而显示AR。命令和/或选择可以是用户按压、点击和/或敲击显示于用户界面202上的通知206。在若干实施例中，用户界面202可响应于计算装置接收密码和/或口令、计算装置200对用户执行面部辨识，和/或计算装置200对用户执行指纹识别而显示AR。
用户可选择忽略或检视AR内容。可从用户界面202移除通知206，且可响应于接收到命令和/或在用户界面202上选择检视AR而在用户界面202上显示AR。在一些实例中，可响应于用户界面202接收命令和/或用户选择忽略(例如，不检视)AR或用户忽略通知206，而从用户界面202移除通知206。举例来说，可在特定时间周期已经过去而用户界面202未接收命令和/或选择之后从用户界面202移除通知206。
通知206可包含AR数据。在一些实例中，可响应于用户界面202从用户接收检视AR数据的选择而在用户界面202上显示AR数据。AR数据可以是从AR图像接收的元数据。AR数据可包含例如创建者、风格、内容和/或评级。通知206、AR数据和/或AR数据的一部分可存储在计算装置200上和/或外部的存储器中。
用户对通知206的响应可存储为用户数据。用户数据可存储在计算装置200上和/或外部的存储器中。AR数据和/或用户数据可用于执行AI操作。AI操作可例如设定(例如，创建)用户偏好。可基于用户先前对通知的响应和/或用户先前对AR的响应来设定用户偏好。在一些实例中，计算装置200可能不响应于AR数据包含与用户之前已经忽略的AR的特性一样的一或多个特性而通知用户AR是否可用。举例来说，计算装置200可能不响应于AR具有用户之前已经忽略的特定评级而通知用户AR是否可用。
图3示出根据本公开的若干实施例用于显示AR 308的计算装置300的用户界面302的实例。在一些实例中，可响应于在计算装置300处接收到输入且确定由相机生成的图像为AR图像(例如，图1中的AR图像104)而生成用户界面302。
所述输入可由计算装置300生成或由不同计算装置生成且在计算装置300处接收。所述输入可以是(但不限于)位置、时戳、天气数据、事件数据、评级、用户偏好和/或用户输入。
所述位置可以是例如计算装置300的位置。可使用加速度计、陀螺仪、全球定位系统(GPS)、wi-fi网络或社交媒体应用确定计算装置300的位置。可响应于计算装置300的位置在用户界面302处接收和/或在用户界面302上显示AR 308。举例来说，可当计算装置300的位置在AR图像的特定距离内时，当计算装置300的位置在事件的特定区域内时，当计算装置300的位置距不同位置特定距离时，和/或当计算装置300的位置在不同位置的特定距离内时，接收和/或显示AR 308。举例来说，表示计算装置300的位置的数据可与表示不同位置的数据进行比较。
时戳可识别日期和/或当日时间。时戳可由计算装置300上的时钟生成。在一些实例中，可在计算装置300处从不同装置接收时戳。可响应于时戳而显示AR 308。举例来说，可当时戳处于特定时间和/或在特定时间范围内时显示AR 308。
天气数据可例如包含温度数据、云量数据、降水数据，和/或风暴数据。可使用计算装置300上和/或计算装置300外部的传感器生成天气数据。在一些实例中，可在计算装置300处从不同装置接收天气数据。可响应于天气数据显示AR 308。举例来说，可当计算装置300的当前位置处的温度在特定温度范围内时，当计算装置300的当前位置处的云量在特定云量范围内时，当计算装置300的当前位置处的降水在特定降水范围内时，和/或当计算装置300的当前位置处存在风暴时，显示AR 308。
事件数据可以是例如体育活动、习俗、观光、地标和/或其它景点。事件数据可存储在计算装置300上和/或计算装置300外部的存储器中。事件数据可例如从用户的日历、电子邮件和/或社交媒体导出。在一些实例中，可在计算装置300处从不同装置接收事件数据。可当计算装置300在其中正发生事件的特定区域内时显示AR 308，和/或可在事件被调度针对的时间周期期间显示AR 308。
评级可包含评价数据、普及性数据和/或年龄数据(例如，适于检视内容的适当年龄)。评级可由用户、其他检视者和/或组织生成。可在计算装置300处接收评级。计算装置300可将评级与用户的数据和/或偏好进行比较。举例来说，可响应于AR的年龄数据适合于用户的年龄而显示AR 308。
用户偏好可包含在AR图像来自特定创建者、属于特定风格、包含特定内容和/或具有特定评级的情况下通知用户AR 308为可用的。用户偏好可由用户手动地输入和/或使用AI随时间习得。可执行使用AI模型的AI操作以确定是否通知用户AR 308的可用性和/或是否显示AR 308。包含一或多个用户偏好的用户数据和/或AR数据可用作AI操作中的权重。在一些实例中，用户数据可包含用户先前对AR 308的响应中的一或多个。
在若干实施例中，用户可将特定AR创建者设定为可信创建者。如本文中所使用，AR创建者可以是创建、分发和/或拥有AR 308的人、组织和/或公司。将特定AR创建者设定为可信创建者可允许计算装置300通知用户来自AR创建者的AR 308何时为可用的。在一些实例中，使用用户数据和/或AR数据执行AI操作的计算装置300可将特定创建者设定为可信AR创建者。计算装置可通过将AR图像的创建者与若干可信创建者进行比较来确定AR图像来自可信创建者。如果AR图像的创建者与所述若干可信创建者中的一个匹配，则AR图像来自可信创建者。
图4示出根据本公开的若干实施例用于显示AR计算装置(例如，设备)400的实例。计算装置400可以是设备。如图4中所示出，计算装置400可包含处理资源(例如，处理器)422、存储器424、用户界面402、相机428和AR平台429。计算装置400可以是例如个人膝上型计算机、台式计算机、智能电话、平板电脑、腕佩戴式装置、数码相机，和/或其冗余组合，以及其它类型的计算装置。
存储器424可以是任何类型的存储介质，其可由处理资源422存取以执行本公开的各种实例。举例来说，存储器424可以是具有存储于其上的计算机可读指令(例如，计算机程序指令)的非暂时性计算机可读介质，所述计算机可读指令可由处理资源422执行以：在计算装置400的AR平台429处从处理资源422接收包含表示以下中的至少一个的数据的第一信令：时戳、天气、事件、评级、用户偏好、用户输入或计算装置的位置；在AR平台429处从计算装置400的相机428接收包含表示图像的数据的第二信令；将表示图像的数据与表示AR平台429上包含的若干AR图像的数据进行比较；在AR平台429处响应于表示图像的数据的特定部分与表示AR图像的数据匹配而确定所述图像是所述若干AR图像中的AR图像；在计算装置400的用户界面402处响应于接收到第一信令且确定图像为AR图像从AR平台429接收包含表示与AR图像相关联的AR的数据的第三信令；以及响应于接收到第三信令在计算装置400的用户界面402上显示表示与AR图像相关联的AR的数据。如本文中所使用，信令可包含将数据从一个位置携载到另一位置的通信(例如，无线电信号)。在一些实施例中，计算装置400可包含通信装置，例如(但不限于)无线电装置。
存储器424可以是易失性或非易失性存储器。存储器424还可以是可移除(例如，便携式)存储器，或不可移除(例如，内部)存储器。举例来说，存储器424可以是随机存取存储器(RAM)(例如，动态随机存取存储器(DRAM)和/或相变随机存取存储器(PCRAM))、只读存储器(ROM)(例如，电可擦除可编程只读存储器(EEPROM)和/或压缩光盘只读存储器(CD-ROM))、快闪存储器、激光光盘、数字多功能光盘(DVD)或其它光学存储装置，和/或例如磁带盒、磁带或磁盘等磁性介质，以及其它类型的存储器。
此外，尽管存储器424示出为定位于计算装置400内，但本公开的实施例不限于此。举例来说，存储器424可位于外部计算资源上(例如，使得能够经由因特网或另一有线或无线连接下载计算机可读指令)。
AR平台429可包含在计算装置400的操作系统(OS)中和/或包含在下载到计算装置400上的应用中。若干AR图像和与所述若干AR图像中的每一个相关联的AR数据可包含在AR平台429上。AR平台429可用新数据周期性地更新或响应于用户命令而更新。具有其相关联AR数据的新AR图像可添加到AR平台429，和/或可在AR平台429上更新具有其相关联AR数据的现有AR图像。举例来说，可更新与现有AR图像相关联的AR数据以显示新AR。
如图4中所示出，计算装置400包含用户界面402。计算装置400的用户(例如，操作者)可经由显示器上展示的用户界面402与计算装置400交互。举例来说，用户界面402可经由显示器将信息提供(例如，显示和/或呈现)给计算装置400的用户，和/或接收来自计算装置400的用户(例如，由计算装置400的用户输入)的信息。举例来说，在一些实施例中，用户界面402可以是可将信息提供到计算装置400的用户和/或从计算装置400的用户接收信息的GUI。展示用户界面402的显示器可以是例如触摸屏(例如，GUI可包含触摸屏能力)。
计算装置400可包含一或多个相机428。所述一或多个相机428可用于检测AR图像。在一些实例中，所述一或多个相机428中的一个可仅仅用于检测AR图像。在若干实施例中，图4中未示出的一或多个光学传感器可以与所述一或多个相机一起使用，或代替所述一或多个相机使用，以检测AR图像。
在一些实例中，计算装置400可以是用户的移动装置。用户可带着他的移动装置行走经过艺术馆，观看各种艺术品。每一件艺术品可包含其上和/或附近的相应AR图像。移动装置上的相机可检测艺术馆内AR图像中的一或多个。然而，移动装置将仅响应于移动装置在距AR图像特定距离(例如，四英尺)内而显示AR。这防止移动装置显示用户不在附近和/或不在观看的艺术品的AR。举例来说，AR可显示谈论其艺术品的艺术家和/或创建艺术品的艺术家。
图5示出根据本公开的若干实施例用于显示AR的计算装置500的实例。计算装置500可对应于图4中的计算装置400。计算装置500可包含处理资源522、存储器524、用户界面502、相机528和AR平台529。处理资源522、存储器524、用户界面502、相机528和AR平台529可分别对应于图4中的处理资源422、存储器424、用户界面402、相机428和AR平台429。如图5中所示出，计算装置500可进一步包含AI加速器530、加速度计532、陀螺仪534和全球定位系统(GPS)536。
AI加速器530可包含硬件和/或软件/固件(未图示)以执行AI操作。存储在计算装置500上和/或计算装置500外部的存储器524中的数据可用于执行AI操作。所述数据可包含用户数据和/或AR数据。用户数据可包含用户对AR为可用的通知的响应、用户对AR的响应，和/或用户AR偏好。AR数据可包含与从AR平台529接收的AR图像相关联的AR数据。AR数据可包含例如AR的创建者、风格、内容和/或评级。
在一些实例中，AI加速器530可执行包含机器学习或神经网络操作的AI操作，其可包含训练操作或推断操作或这两者。AR数据和/或用户数据可用于执行AI操作以设定用户偏好。可基于用户先前对通知的响应和/或用户先前对AR的响应来设定用户偏好。在一些实例中，计算装置500可能不响应于AR数据包含与用户之前已经忽略的不同AR的特性一样的一或多个特性而通知用户AR是否可用。举例来说，计算装置500可能不响应于AR包含用户之前已经忽略的特定内容而通知用户AR是否可用。
加速度计532、陀螺仪534和/或GPS 536可位于计算装置500上(如图5中所示出)或计算装置500的外部。可经由加速度计532、陀螺仪534和/或GPS 536确定计算装置500的位置。在一些实例中，可响应于计算装置500的位置来显示AR。举例来说，可当计算装置500的位置在AR图像的特定距离内时，当计算装置500的位置在事件的特定区域内时，当计算装置500的位置距不同位置特定距离时，和/或当计算装置500的位置在不同位置的特定距离内时，显示AR。
图6是根据本公开的若干实施例用于响应于输入显示AR的方法640的流程图。在框642处，方法640可包含在计算装置的AR平台处从计算装置的处理资源接收包含表示以下中的至少一个的数据的第一信令：时戳、天气、事件、评级、用户偏好、用户输入或计算装置的位置。计算装置可例如是个人膝上型计算机、台式计算机、智能电话、平板电脑、腕佩戴式装置、数码相机和/或其冗余组合，以及其它类型的计算装置。
在框644处，方法640可包含在计算装置的AR平台处从计算装置的相机接收包含表示图像的数据的第二信令。计算装置可包含一或多个相机。所述一或多个相机中的一个可仅仅用于检测AR图像。在若干实施例中，一或多个光学传感器可以与一或多个相机一起使用以检测AR图像，或与此对比，可使用一或多个光学传感器代替一或多个相机来检测AR图像。
在框646处，方法640可包含将表示图像的数据与表示AR平台上包含的若干AR图像的数据进行比较。AR图像可以是触发AR的图像。
在框648处，方法640可包含在AR平台处响应于表示图像的数据的特定部分与表示AR图像的数据匹配而确定图像是所述若干AR图像中的AR图像。AR图像可与表示AR的数据相关联。表示AR的数据可用于生成和显示AR。
在框650处，方法640可包含在计算装置的用户界面处响应于接收到第一信令且确定图像为AR图像而从AR平台接收包含表示与AR图像相关联的AR的数据的第三信令。用户界面可由计算装置生成。用户界面可以是可将信息提供到计算装置的用户和/或从计算装置的用户接收信息的GUI。在一些实例中，用户界面可展示于计算装置的显示器上。
在框652处，方法640可包含响应于接收到第三信令在计算装置的用户界面上显示表示与AR图像相关联的AR的数据。AR可将虚拟对象覆叠在现实世界环境上以掩蔽现实世界环境的一部分和/或向现实世界环境添加使得其被感知为现实世界环境的沉浸式方面。在一些实例中，AR可显示若干图像和/或使若干图像自动化，和/或增强AR图像以在用户界面上移动和/或改变。
在若干实施例中，方法640可进一步包含将计算装置连接到Wi-Fi网络，在处理资源处接收包含表示Wi-Fi网络的数据的第四信令，以及在处理资源处使用表示Wi-Fi网络的数据确定表示计算装置的位置的数据。AR平台可将表示计算装置的位置的数据与表示AR图像的位置的数据进行比较。在一些实例中，用户界面可响应于计算装置在AR图像的特定距离内而从AR平台接收包含表示与AR图像相关联的AR的数据的第三信令。
方法640可进一步包含：接收包含表示时戳的数据的第一信令；在AR平台处确定所述时戳处于特定时间或在特定时间范围内；以及在用户界面处响应于确定所述时戳处于特定时间或在特定时间范围内而从AR平台接收包含表示与AR图像相关联的AR的数据的第三信令。
在一些实例中，方法640可进一步包含：接收包含表示天气的数据的第一信令；在AR平台处使用表示天气的数据确定计算装置的当前位置处的温度在特定温度范围内、计算装置的当前位置处的云量在特定云量范围内、计算装置的当前位置处的降水在特定降水范围内，或计算装置的当前位置处存在风暴这些事项中的至少一个；以及在计算装置的用户界面处响应于AR平台处的确定从AR平台接收包含表示与AR图像相关联的AR的数据的第三信令。可使用计算装置上的传感器或计算装置外部的传感器确定天气。
方法640可进一步包含：接收包含表示事件的数据的第一信令；在AR平台处使用表示事件的数据确定计算装置在其中正发生事件的特定区域内或计算装置上的时间在事件被调度所针对的时间周期内这些事项中的至少一个；以及在计算装置的用户界面处响应于AR平台处的确定从AR平台接收包含表示与AR图像相关联的AR的数据的第三信令。
尽管已在本文中说明并描述了特定实施例，但所属领域的一般技术人员应了解，经计算以实现相同结果的布置可取代所展示的特定实施例。本公开既定涵盖本公开的一或多个实施例的调适或变化。应理解，以上描述是以说明性方式而非限制性方式进行的。所属领域的技术人员在审阅以上描述后将显而易见上述实施例的组合及本文中未特定描述的其它实施例。本公开的所述一或多个实施例的范围包含使用以上结构和方法的其它应用。因此，本公开的一或多个实施例的范围应参考所附权利要求书以及此类权利要求被赋予的等效物的完整范围来确定。
在以上具体实施方式中，出于简化本公开的目的而将一些特征一并归到单个实施例中。本公开的这一方法不应被理解为反映本公开的所公开实施例必须使用比每个权利要求中明确陈述的特征更多的特征的意图。实际上，如所附权利要求书所反映，本发明标的物在于单个所公开实施例的不到全部的特征。因此，所附权利要求书特此并入于具体实施方式中，其中每项权利要求就其自身而言作为单独实施例存在。

Claims (20)

1.一种用于响应于输入显示扩增现实的方法，其包括：
在计算装置(100，200，300、400、500)的扩增现实(AR)平台(429、529)处从所述计算装置的处理资源(422、522)接收包含表示以下中的至少一个的数据的第一信令：时戳、天气、事件、评级、用户偏好、用户输入或所述计算装置的位置；
在所述计算装置的所述AR平台处从所述计算装置的相机(428、528)接收包含表示图像的数据的第二信令；
将表示所述图像的所述数据与表示所述AR平台上包含的若干AR图像的数据进行比较；
在所述AR平台处响应于表示所述图像的所述数据的特定部分与表示所述AR图像的数据匹配而确定所述图像是所述若干AR图像中的AR图像(104)；
在所述计算装置的用户界面(102、202、302、402)处响应于接收到所述第一信令且确定所述图像是所述AR图像而从所述AR平台接收包含表示与所述AR图像相关联的AR的数据的第三信令；以及
响应于接收到所述第三信令在所述计算装置的所述用户界面上显示表示与所述AR图像相关联的所述AR的所述数据。
2.根据权利要求1所述的方法，其进一步包括：
接收包含表示所述计算装置的所述位置的所述数据的所述第一信令；
在所述AR平台处将表示所述计算装置的所述位置的所述数据与表示所述AR平台上包含的所述AR图像的位置的数据进行比较；以及
在所述计算装置的所述用户界面处响应于所述计算装置在所述AR图像的特定距离内而从所述AR平台接收包含表示与所述AR图像相关联的所述AR的所述数据的所述第三信令。
3.根据权利要求2所述的方法，其进一步包括：
将所述计算装置连接到Wi-Fi网络；
在所述处理资源处接收包含表示所述Wi-Fi网络的数据的第四信令；以及
在所述处理资源处使用表示所述Wi-Fi网络的所述数据确定表示所述计算装置的所述位置的所述数据。
4.根据权利要求1-3中任一权利要求所述的方法，其进一步包括：
接收包含表示所述时戳的所述数据的所述第一信令；
在所述AR平台处确定所述时戳处于特定时间或在特定时间范围内；以及
在所述计算装置的所述用户界面处响应于确定所述时戳处于所述特定时间或在所述特定时间范围内而从所述AR平台接收包含表示与所述AR图像相关联的所述AR的所述数据的所述第三信令。
5.根据权利要求1-3到中任一权利要求所述的方法，其进一步包括：
接收包含表示所述天气的所述数据的所述第一信令；
在所述AR平台处使用表示所述天气的所述数据确定以下中的至少一个：所述计算装置的当前位置处的温度在特定温度范围内、所述计算装置的所述当前位置处的云量在特定云量范围内、所述计算装置的所述当前位置处的降水在特定降水范围内，或所述计算装置的所述当前位置处存在风暴；以及
在所述计算装置的所述用户界面处响应于所述AR平台处的所述确定从所述AR平台接收包含表示与所述AR图像相关联的所述AR的所述数据的所述第三信令。
6.根据权利要求5所述的方法，其进一步包括使用以下中的至少一个确定表示所述天气的所述数据：所述计算装置上的传感器或所述计算装置外部的传感器。
7.根据权利要求1-3中任一权利要求所述的方法，其进一步包括：
接收包含表示所述事件的所述数据的所述第一信令；
在所述AR平台处使用表示所述事件的所述数据确定以下中的至少一个：所述计算装置在其中正发生所述事件的特定区域内，或所述计算装置上的时间在所述事件被调度所针对的时间周期内；以及
在所述计算装置的所述用户界面处响应于所述AR平台处的所述确定从所述AR平台接收包含表示与所述AR图像相关联的所述AR的所述数据的所述第三信令。
8.一种用于响应于输入显示扩增现实的设备(100，200，300、400、500)，其包括：
相机(428、528)；
扩增现实(AR)平台(429、529)；
用户界面(102、202、302、402)；
存储器(424、524)；以及
处理器(422、522)，其被配置成执行存储于所述存储器中的可执行指令以：
在所述AR平台处从所述处理器接收包含表示所述设备的位置的数据的第一信令；
在所述AR平台处从所述相机接收包含表示图像的数据的第二信令；
在所述AR平台处将表示所述图像的所述数据与表示所述AR平台上包含的若干AR图像的数据进行比较；
在所述AR平台处响应于表示所述图像的所述数据的特定部分与表示所述AR图像的数据匹配而确定所述图像是所述若干AR图像中的AR图像(104)；
在所述AR平台处使用表示所述设备的所述位置的所述数据确定所述设备的位置；
响应于确定所述图像是所述AR图像和所述设备的所述位置而在所述用户界面处从所述AR平台接收包含表示与所述AR图像相关联的AR的数据的第三信令；以及
响应于接收到所述第三信令在所述用户界面上显示表示与所述AR图像相关联的所述AR的所述数据。
9.根据权利要求8所述的设备，其进一步包括被配置成发射包含表示所述设备的所述位置的所述数据的所述第一信令的以下中的至少一个：加速度计(532)、陀螺仪(534)或全球定位系统(GPS)(536)。
10.根据权利要求8所述的设备，其中表示所述设备的所述位置的所述数据包含表示社交媒体上的发帖的数据。
11.根据权利要求8-10中任一权利要求所述的设备，其中所述处理器被配置成执行存储于所述存储器中的可执行指令以：
将表示所述设备的所述位置的所述数据与表示不同位置的数据进行比较；以及
响应于所述设备的所述位置距所述不同位置特定距离而在所述用户界面处从所述AR平台接收包含表示与所述AR图像相关联的所述AR的所述数据的所述第三信令。
12.根据权利要求8-10中任一权利要求所述的设备，其中所述处理器被配置成执行存储于所述存储器中的可执行指令以：
将表示所述设备的所述位置的所述数据与表示不同位置的数据进行比较；以及
响应于所述设备的所述位置在所述不同位置的特定距离内而在所述用户界面处从所述AR平台接收包含表示与所述AR图像相关联的所述AR的所述数据的所述第三信令。
13.根据权利要求8-10中任一权利要求所述的设备，其中所述相机仅用于检测AR图像。
14.一种用于响应于输入显示扩增现实的设备，其包括：
相机(428、528)；
扩增现实(AR)平台(429、529)；
用户界面(102、202、302、402)；
存储器(424、524)；以及
处理器(422、522)，其被配置成执行存储于所述存储器中的可执行指令以：
在所述AR平台处从所述处理器接收包含表示以下中的至少一个的数据的第一信令：时戳、天气、事件、评级、用户偏好、用户输入或所述设备的位置；
在所述AR平台处从所述相机接收包含表示图像的数据的第二信令；
将表示所述图像的所述数据与表示所述AR平台上包含的若干AR图像的数据进行比较；
在所述AR平台处响应于表示所述图像的所述数据的特定部分与表示所述AR图像的数据匹配而确定所述图像是所述若干AR图像中的AR图像(104)；
响应于接收到所述第一信令且确定所述图像是所述AR图像，在所述计算装置的所述用户界面处从所述AR平台接收包含表示AR为可用的通知(206)的数据的第三信令；以及
响应于接收到所述第三信令在所述用户界面处显示表示AR为可用的所述通知的所述数据。
15.根据权利要求14所述的设备，其中所述处理器进一步被配置成执行存储于所述存储器中的所述可执行指令以：
在所述用户界面处从所述AR平台接收包含表示所述AR的数据的第四信令；以及
响应于接收到所述第四信令在所述用户界面上显示表示所述AR的所述数据。
16.根据权利要求15所述的设备，其中所述处理器进一步被配置成执行存储于所述存储器中的所述可执行指令以：
响应于从所述设备的用户接收到在所述用户界面上显示所述AR的命令而接收包含表示所述命令的数据的第五信令；以及
响应于接收到所述第五信令而在所述用户界面上显示表示所述AR的所述数据。
17.根据权利要求14所述的设备，其中所述处理器进一步被配置成执行存储于所述存储器中的所述可执行指令以：
响应于从所述设备的用户接收到移除AR为可用的所述通知的命令而接收包含表示所述命令的数据的第四信令；以及
响应于接收到所述第四信令从所述用户界面移除表示AR为可用的所述通知的所述数据。
18.根据权利要求14-17中任一权利要求所述的设备，其中所述处理器进一步被配置成执行存储于所述存储器中的所述可执行指令以：
将表示所述AR图像的创建者的数据与表示若干可信创建者的数据进行比较；以及
响应于表示所述AR图像的所述创建者的所述数据与表示所述若干可信创建者的所述数据的可信创建者的数据匹配而确定所述AR图像来自可信创建者。
19.根据权利要求14-17中任一权利要求所述的设备，其中所述处理器进一步被配置成执行存储于所述存储器中的所述可执行指令以响应于接收到所述第三信令将表示AR为可用的所述通知的所述数据存储在存储器中。
20.根据权利要求14所述的设备，其中所述处理器进一步被配置成执行存储于所述存储器中的所述可执行指令以：
响应于从所述设备的用户接收到命令而接收包含表示命令的数据的第四信令；以及
响应于接收到所述第四信令将表示所述命令的所述数据存储在所述存储器中。
CN202111244769.4A 2020-10-29 2021-10-26 响应于输入显示扩增现实 Active CN114428550B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/083,835 US11561611B2 (en) 2020-10-29 2020-10-29 Displaying augmented reality responsive to an input
US17/083,835 2020-10-29

Publications (2)

Publication Number Publication Date
CN114428550A true CN114428550A (zh) 2022-05-03
CN114428550B CN114428550B (zh) 2024-06-18

Family

ID=81184102

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111244769.4A Active CN114428550B (zh) 2020-10-29 2021-10-26 响应于输入显示扩增现实

Country Status (3)

Country Link
US (2) US11561611B2 (zh)
CN (1) CN114428550B (zh)
DE (1) DE102021126332A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240020928A1 (en) * 2022-07-08 2024-01-18 Qualcomm Incorporated Techniques to facilitate a cloud-based vehicle xr experience

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120019547A1 (en) * 2010-07-23 2012-01-26 Pantech Co., Ltd. Apparatus and method for providing augmented reality using additional data
US20130194164A1 (en) * 2012-01-27 2013-08-01 Ben Sugden Executable virtual objects associated with real objects
US20140267403A1 (en) * 2013-03-15 2014-09-18 Qualcomm Incorporated Methods and apparatus for augmented reality target detection
CN104823152A (zh) * 2012-12-19 2015-08-05 高通股份有限公司 使用视线追踪实现扩增实境

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090040839A (ko) 2007-10-22 2009-04-27 이문기 증강현실 컴퓨터 장치
KR101152919B1 (ko) 2008-02-13 2012-06-05 세종대학교산학협력단 증강 현실을 구현하는 방법 및 이를 이용하는 장치
KR20110132260A (ko) 2010-05-29 2011-12-07 이문기 모니터 기반 증강현실 시스템
JP5691568B2 (ja) * 2011-01-28 2015-04-01 ソニー株式会社 情報処理装置、報知方法及びプログラム
US20150123966A1 (en) * 2013-10-03 2015-05-07 Compedia - Software And Hardware Development Limited Interactive augmented virtual reality and perceptual computing platform
US10078917B1 (en) 2015-06-26 2018-09-18 Lucasfilm Entertainment Company Ltd. Augmented reality simulation
US20180255285A1 (en) 2017-03-06 2018-09-06 Universal City Studios Llc Systems and methods for layered virtual features in an amusement park environment
EP3714439A1 (en) * 2017-11-20 2020-09-30 Google LLC Directing user attention
CN111602104B (zh) * 2018-01-22 2023-09-01 苹果公司 用于与所识别的对象相关联地呈现合成现实内容的方法和设备
WO2019183593A1 (en) * 2018-03-23 2019-09-26 Hoverlay, Inc. Design and generation of augmented reality experiences for structured distribution of content based on location-based triggers
WO2019222742A1 (en) * 2018-05-18 2019-11-21 Robert Christopher Technologies Ltd. Real-time content analysis and ranking
US11151381B2 (en) * 2019-03-25 2021-10-19 Verizon Patent And Licensing Inc. Proximity-based content sharing as an augmentation for imagery captured by a camera of a device
US11107291B2 (en) * 2019-07-11 2021-08-31 Google Llc Traversing photo-augmented information through depth using gesture and UI controlled occlusion planes
KR20190103099A (ko) * 2019-08-16 2019-09-04 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법
US11533434B2 (en) * 2019-09-18 2022-12-20 Google Llc Generating and rendering motion graphics effects based on recognized content in camera view finder
US11776253B2 (en) * 2020-03-27 2023-10-03 Snap Inc. Displaying object names in association with augmented reality content
US20220138994A1 (en) * 2020-11-04 2022-05-05 Micron Technology, Inc. Displaying augmented reality responsive to an augmented reality image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120019547A1 (en) * 2010-07-23 2012-01-26 Pantech Co., Ltd. Apparatus and method for providing augmented reality using additional data
US20130194164A1 (en) * 2012-01-27 2013-08-01 Ben Sugden Executable virtual objects associated with real objects
CN104823152A (zh) * 2012-12-19 2015-08-05 高通股份有限公司 使用视线追踪实现扩增实境
US20140267403A1 (en) * 2013-03-15 2014-09-18 Qualcomm Incorporated Methods and apparatus for augmented reality target detection

Also Published As

Publication number Publication date
DE102021126332A1 (de) 2022-05-05
US11561611B2 (en) 2023-01-24
US20230161402A1 (en) 2023-05-25
US11874956B2 (en) 2024-01-16
CN114428550B (zh) 2024-06-18
US20220137699A1 (en) 2022-05-05

Similar Documents

Publication Publication Date Title
US20220138994A1 (en) Displaying augmented reality responsive to an augmented reality image
US10733262B2 (en) Attribute control for updating digital content in a digital medium environment
EP3926441B1 (en) Output of virtual content
US12028784B2 (en) Augmented reality identification of subscribers
US20190108250A1 (en) Update Basis for Updating Digital Content in a Digital Medium Environment
US20100226535A1 (en) Augmenting a field of view in connection with vision-tracking
KR20230006041A (ko) 증강 현실 의인화 시스템
US11430211B1 (en) Method for creating and displaying social media content associated with real-world objects or phenomena using augmented reality
US20230360344A1 (en) Crowd sourced mapping system
KR20240129102A (ko) 협력 업적 인터페이스
US20160224657A1 (en) Digitized interactions with an identified object
CN115335820A (zh) 用于大规模增强现实的位置映射
CN114902171A (zh) 消息系统中的捕获后处理
US20150073932A1 (en) Strength Based Modeling For Recommendation System
US11302067B2 (en) Systems and method for realistic augmented reality (AR) lighting effects
CN115735361A (zh) 生成和访问用于产品的视频内容
US20220101355A1 (en) Determining lifetime values of users in a messaging system
CN114365198A (zh) 遮挡检测系统
US11874956B2 (en) Displaying augmented reality responsive to an input
US20220206924A1 (en) Accessing third party resources via client application with messaging capability
CN109116718B (zh) 设置闹钟的方法及设备
JP2021518959A (ja) 注目情報の処理方法および装置、記憶媒体ならびに電子機器
CN112634469B (zh) 用于处理图像的方法和装置
US11568612B2 (en) Personalized reactive augmented reality association
US20220101349A1 (en) Utilizing lifetime values of users to select content for presentation in a messaging system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant