CN111742281B - 用于针对显示在显示器上的第一内容提供根据外部对象的移动的第二内容的电子装置及其操作方法 - Google Patents

Abstract

根据各种实施例的电子装置及其操作方法，可以配置为使用电子装置的显示器向在他/她的脸部佩戴电子装置的用户提供从外部电子装置接收到的第一内容，确认外部对象沿用户透视或使用提供第一内容的显示器的可见方向的移动，以及通过显示器的至少一部分向用户提供第二内容，以显示与所述第一内容有关的第二内容，所述第二内容根据所述移动与所述外部对象产生关联。

Description

用于针对显示在显示器上的第一内容提供根据外部对象的移 动的第二内容的电子装置及其操作方法

技术领域

各种实施例涉及一种用于针对显示在显示器上的第一内容提供根据外部对象的移动的第二内容的电子装置及其操作方法。

背景技术

随着技术的发展，电子装置通过执行各种功能来提供各种服务。因此，电子装置可以提供增强现实。增强现实是一种将虚拟内容叠加在真实环境上的技术。即，用户可以通过电子装置观看叠加在真实环境上的虚拟内容。

发明内容

技术问题

然而，这样的电子装置不能在电子装置与用户之间提供灵活的接口。即，电子装置仅在已设置的环境中提供已设置的内容，而不能根据用户的情况提供适当的内容。因此，存在电子装置的用户便利性低且电子装置的使用效率低的问题。

问题的解决方案

根据各种实施例的电子装置，可以包括通信模块、显示器、至少一个传感器模块以及处理器。根据各种实施例，处理器可以被配置为使用显示器向用户提供使用通信模块从外部电子装置接收到的第一内容，使用至少一个传感器模块确认外部对象沿用户透视或使用提供第一内容的显示器的可见方向的移动，以及通过显示器的至少一部分向用户提供第二内容，以显示与所述第一内容有关的第二内容，所述第二内容根据所述移动与所述外部对象产生关联。

根据各种实施例的电子装置可以包括显示器、至少一个传感器模块以及处理器。根据各种实施例，处理器可以被配置为：使用显示器提供第一内容；使用至少一个传感器模块，确认外部对象沿用户透视或使用提供第一内容的显示器的可见方向的移动；以及通过显示器的至少一部分向用户提供第二内容，以显示与所述第一内容有关的第二内容，所述第二内容根据所述移动与所述外部对象产生关联。

根据各种实施例的电子装置可以包括显示器、相机模块、至少一个传感器模块和处理器。根据各种实施例，处理器可以被配置为：使用显示器向用户提供通过相机获取的图像和借助于通信模块的第一内容；使用至少一个传感器模块，确认外部对象沿通过相机模块获取图像的方向的移动；以及通过显示器的至少一部分向用户提供第二内容，以显示与所述第一内容有关的第二内容，所述第二内容根据所述移动与所述外部对象产生关联。

根据各种实施例的电子装置的操作方法可以包括：使用电子装置的显示器来提供第一内容；使用至少一个传感器模块，确认外部对象沿用户透视或者使用提供第一内容的显示器的可见方向的移动；以及通过显示器的至少一部分向用户提供第二内容，以显示与所述第一内容有关的第二内容，所述第二内容根据所述移动与所述外部对象产生关联。

本发明的有益效果

根据各种实施例，如果电子装置为用户提供增强现实，则可以在电子装置与用户之间提供灵活的接口。即，电子装置可以提供从外部电子装置接收的内容。另外，电子装置可以基于外部对象的移动来灵活地提供内容。因此，电子装置可以根据用户的情况提供适当的内容。因此，可以改善电子装置的用户便利性，并且可以提高电子装置的使用效率。

附图说明

图1是根据各种实施例的在网络环境中的电子装置的框图。

图2是根据各种实施例的包括电子装置的系统的框图。

图3a、图3b和图3c是用于说明电子装置选择候选区域的示例的示例图。

图4a和图4b是用于说明电子装置显示候选区域的示例的示例图。

图5a、图5b和图5c是用于说明电子装置在候选区域中显示内容的示例的示例图。

图6和图7是根据各种实施例的在包括电子装置的系统中的信号流程图。

图8是根据图6和图7中的示例的用于发送第一内容和第一内容相关联信息的操作的信号流程图。

图9是根据各种实施例的电子装置的操作方法的流程图。

图10是图9中的第一内容提供操作的流程图。

图11a、图11b、图11c和图11d是图9中的第一内容提供操作的示例图。

图12是图9中的用于确认外部对象的移动的操作的流程图。

图13a、图13b、图13c和图13d是图9中的用于确认外部对象的移动的操作的示例图。

图14是图9中的第二内容提供操作的流程图。

图15a和图15b是根据图9中的示例的第二内容提供操作的示例图。

图16a、图16b、图16c和图16d是根据图9中的另一示例的第二内容提供操作的示例图。

图17a、图17b、图17c和图17d是根据图9中的另一示例的第二内容提供操作的示例图。

图18a和图18b是用于说明图14中的外部对象202的消失的示例图。

图19是根据实施例的电子装置的操作方法的流程图。

图20a、图20b、图20c、图20d和图20e是根据实施例的电子装置的操作方法的示例图。

图21是根据另一实施例的电子装置的操作方法的流程图。

图22a、图22b、图22c、图23a、图23b、图23c、图23d、图23e、图24a、图24b、图24c、图24d、图25a、图25b、图25c、图26a、图26b、图26c、图27a、图27b、图27c、图28a、图28b和图28c是根据另一实施例的电子装置的操作方法的示例图。

具体实施方式

在下文中，将参考附图描述本文件的各种实施例。

图1是示出根据各种实施例的网络环境100中的电子装置101的框图。

参照图1，网络环境100中的电子装置101可经由第一网络198(例如，短距离无线通信网络)与电子装置102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108进行通信。根据实施例，电子装置101可经由服务器108与电子装置104进行通信。根据实施例，电子装置101可包括处理器120、存储器130、输入装置150、声音输出装置155、显示装置160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施例中，可从电子装置101中省略所述部件中的至少一个(例如，显示装置160或相机模块180)，或者可将一个或更多个其它部件添加到电子装置101中。在一些实施例中，可将所述部件中的一些部件实现为单个集成电路。例如，可将传感器模块176(例如，指纹传感器、虹膜传感器、或照度传感器)实现为嵌入在显示装置160(例如，显示器)中。

处理器120可运行例如软件(例如，程序140)来控制电子装置101的与处理器120连接的至少一个其它部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。根据一个实施例，作为所述数据处理或计算的至少部分，处理器120可将从另一部件(例如，传感器模块176或通信模块190)接收到的命令或数据加载到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施例，处理器120可包括主处理器121(例如，中央处理器(CPU)或应用处理器(AP))以及与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(GPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。另外地或者可选择地，辅助处理器123可被适配为比主处理器121耗电更少，或者被适配为具体用于指定的功能。可将辅助处理器123实现为与主处理器121分离，或者实现为主处理器121的部分。

在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123可控制与电子装置101(而非主处理器121)的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如，相机模块180或通信模块190)的部分。

存储器130可存储由电子装置101的至少一个部件(例如，处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。

可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作系统(OS)142、中间件144或应用146。

输入装置150可从电子装置101的外部(例如，用户)接收将由电子装置101的其它部件(例如，处理器120)使用的命令或数据。输入装置150可包括例如麦克风、鼠标或键盘。

声音输出装置155可将声音信号输出到电子装置101的外部。声音输出装置155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的，接收器可用于呼入呼叫。根据实施例，可将接收器实现为与扬声器分离，或实现为扬声器的部分。

显示装置160可向电子装置101的外部(例如，用户)视觉地提供信息。显示装置160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示装置160可包括被适配为检测触摸的触摸电路或被适配为测量由触摸引起的力的强度的传感器电路(例如，压力传感器)。

音频模块170可将声音转换为电信号，反之亦可。根据实施例，音频模块170可经由输入装置150获得声音，或者经由声音输出装置155或与电子装置101直接(例如，有线地)连接或无线连接的外部电子装置(例如，电子装置102)的耳机输出声音。

传感器模块176可检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。

接口177可支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接(例如，有线地)或无线连接的一个或更多个特定协议。根据实施例，接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。

连接端178可包括连接器，其中，电子装置101可经由所述连接器与外部电子装置(例如，电子装置102)物理连接。根据实施例，连接端178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。

触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或移动)或电刺激。根据实施例，触觉模块179可包括例如电机、压电元件或电刺激器。

相机模块180可捕获静止图像或运动图像。根据实施例，相机模块180可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。

电力管理模块188可管理对电子装置101的供电。根据实施例，可将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。

电池189可对电子装置101的至少一个部件供电。根据实施例，电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。

通信模块190可支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如，应用处理器(AP))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如，短距离通信网络，诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如，长距离通信网络，诸如蜂窝网络、互联网、或计算机网络(例如，LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。

天线模块197可将信号或电力发送到电子装置101的外部(例如，外部电子装置)或者从电子装置101的外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块197可包括一个或更多个天线，并且因此，可由例如通信模块190(例如，无线通信模块192)选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。

上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如，命令或数据)。

根据实施例，可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102和电子装置104中的每一个可以是与电子装置101相同类型的装置，或者是与电子装置101不同类型的装置。根据实施例，将在电子装置101运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或服务器108中的一个或更多个运行。例如，如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置101可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置101除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术或客户机-服务器计算技术。

图2是根据各种实施例的包括电子装置101的系统200的框图。图3a、图3b和图3c是用于说明电子装置101选择候选区域205的示例的示例图。图4a和图4b是用于说明电子装置101显示候选区域205的示例的示例图。图5a、图5b和图5c是用于说明电子装置101在候选区域205中显示内容的示例的示例图。

参照图2，系统200可以包括电子装置101，以及外部电子装置206(例如，电子装置102和104)或外部服务器208(例如，外部服务器108)中的至少一项。

电子装置101可以为用户提供增强现实(AR)。电子装置101可以被戴在用户的脸部上。例如，电子装置101可以是头戴式显示器(HMD)装置或AR眼镜。电子装置101可以包括(半透明的)显示器201(例如，显示装置160)。显示器201可以设置在佩戴电子装置101的用户的眼前。显示器201可以依据电子装置101的类型而在其显示方法上有所不同。根据实施例，如果电子装置101是光学透视的，则显示器201的至少一部分由透明或半透明的材料制成，并且佩戴电子装置101的用户可以沿着用户的视线通过显示器201观看真实环境。根据另一实施例，如果电子装置101是视频透视的，则当在显示器201上显示通过相机模块180或至少一个传感器模块176(例如，颜色传感器)中的至少一项接收到的真实环境的图像时，用户可以通过显示器201查看真实环境。根据各种实施例，外部对象202的移动可以指示外部对象202的位置移动或外部对象202的形状改变中的至少一种(例如，手的旋转或手指的折叠等)。

因此，电子装置101的用户可以通过显示器201查看外部对象202的移动。例如，外部对象202可以包括用户的身体部位或诸如遥控器之类的对象中的至少一种。电子装置101包括多个显示器201，并且用户可以通过每个显示器201查看外部真实环境或外部对象202。例如，两个显示器201可以分别对应于用户的左眼和右眼，并因此提供立体图像。

电子装置101可以通过显示器201的至少一部分来提供内容。电子装置101可以通过显示器201将内容提供给用户，以将虚拟内容叠加在真实环境上。例如，电子装置101可以将内容交叠在通过显示器201传输的真实环境上。作为另一示例，电子装置101可以合成内容图像和真实环境图像，或者可以将内容光和真实环境光混合。因此，佩戴电子装置101的用户可以通过显示器201基于真实环境来观看内容。所述内容可以包括例如运动图像数据、静止图像数据、文本数据或(例如，通过声音输出装置155而不是显示器201提供的)音频数据。例如，如果在显示器201上显示运动图像数据或静止图像数据，则可以通过声音输出装置155再现与运动图像数据或静止图像数据相关联的音频数据。在电子装置101在显示器201的至少一部分上显示内容时，佩戴电子装置101的用户可以通过显示器201观看外部对象202的移动。为此，显示器201可以划分为多个区域。例如，显示器201可以包括第一区域203和第二区域204。例如，第一区域203可以指示显示器201的整个区域，并且第二区域204可以指示第一区域203的部分区域。作为另一示例，第一区域203和第二区域204可以相同。

根据实施例，如果电子装置101是光学透视的，则显示器201的第一区域203可以包括透明或半透明的材料。因此，电子装置101可以允许从佩戴电子装置101的用户的相对侧入射的光穿过，并且将其透射到佩戴电子装置101的用户的眼睛。因此，佩戴电子装置101的用户可以通过第一区域203查看真实环境。另外，佩戴电子装置101的用户可以通过第一区域203查看外部对象202的移动。

第二区域204可以折射或反射在显示器201上所生成的内容(例如，AR的虚拟内容)的光，从而将其透射到佩戴电子装置101的用户的眼睛。例如，显示器201包括用于输出内容的光的小光束投影仪，并且可以在第二区域204中显示从小光束投影仪输出的内容的光，从而将其透射到用户的眼睛。为此，显示器201可以进一步包括与第二区域204相对应的反射镜、棱镜、透镜、反射涂层、偏振材料或透明AMOLED中的至少一种。为了将电子装置101实现为光学透视，可以应用半反射曲面镜、光导或波导方案中的至少一种。作为波导方案，可以应用衍射、全息图、偏振或反射中的至少一种。

因此，佩戴电子装置101的用户可以通过第二区域204的至少一部分来观看内容。因此，佩戴电子装置101的用户可以通过显示器201在真实环境的背景下观看内容。

根据另一实施例，如果电子装置101是视频透视的，则显示器201的第一区域203可以显示通过电子装置101中包括的相机模块180或传感器模块179接收到的图像。相机模块180可以布置在电子装置101中，以接收与用户的头部的朝向或视线的朝向相对应的图像。为了获取立体图像，电子装置101可以包括多个相机模块180，并且传感器模块176可以包括深度传感器，以确定电子装置101与对象之间的距离。例如，显示器201的第二区域204包括在第一区域203中，并且可以是用于显示内容的区域。作为另一示例，显示器201的第二区域204包括在第一区域203中，并且可以是用于与用户输入(例如，外部对象202的位置移动或形状改变中的至少一项)相对应的区域。即，如果响应于第二区域204而发生外部对象202的位置移动或形状改变，则电子装置101可以将其识别并处理为用户输入。因此，电子装置101的用户可以通过第二区域204的至少一部分来观看内容。因此，电子装置101的用户可以通过显示器201在真实环境的背景下观看内容。

根据各种实施例，电子装置101可以将显示器201的至少一部分设置为至少一个显示区域205，并且在显示区域205中显示内容。电子装置101可以将内容交叠在显示区域205中或将与显示区域205相对应的图像与内容合成并显示。为此，电子装置101可以基于以下项中的至少一项对内容应用几何畸变或光学畸变：从电子装置101到与显示区域205对应的对象(例如，墙壁、窗户、电子产品、地板、天花板、人)的距离、电子装置101与对象之间的相对位置、显示区域205的形状、显示区域205的大小、环境照明、显示区域205中的颜色或显示区域205中的纹理。为此，电子装置101的处理器120可以使用相机模块180或传感器模块176中的至少一个来接收和分析一个或更多个图像、电子装置101与对象之间的距离或照度。

根据实施例，电子装置101可以基于用户输入将显示器201上的第二区域204的至少一部分设置为至少一个候选区域。电子装置101可以检测通过输入装置150接收到的用户输入。可选择地，电子装置101可以从使用传感器模块176确认出的外部对象202的移动中检测用户输入。因此，电子装置101可以将显示器201上的第二区域204的至少一部分确定为候选区域，并存储与该候选区域有关的信息。因此，电子装置101可以将候选区域中的任何一个确定为显示区域205，并且在显示区域205中显示内容。

例如，电子装置101可以存储与在显示器201的设置位置的候选区域有关的信息。因此，电子装置101可以如图3a所示将显示器201上的设置位置方位处的候选区域确定为显示区域301(例如，显示区域205)而不管电子装置101的移动如何，并且在显示区域205和301中显示内容。这种显示方案可以被称为非投影方案，在非投影方案中内容不被投影到虚拟空间或真实图像中的对象，而是可以被显示在显示器201的设置位置处，而不管电子装置101的移动如何。

作为另一示例，电子装置101可以存储与候选区域有关的信息，该候选区域在借助于电子装置101的位置信息和移动信息的与真实环境相关联的虚拟空间的设置位置处。为此，电子装置101可以通过通信模块190或定位模块(未示出)中的至少一者来确认位置信息(例如，WiFi指纹、源小区、全球定位系统(GPS)信息)，并使用相机模块180或传感器模块176的移动传感器(例如，加速度传感器、陀螺仪传感器、地磁传感器或惯性测量单元(IMU)或距离测量传感器中的至少一者)来确认移动信息。因此，如图3b所示，电子装置101可以根据电子装置101的移动，将真实环境中的设置位置的候选区域确定为显示区域303(例如，显示区域205)，并在显示区域205和303中显示内容。在各种实施例中，电子装置101可以使用外部装置(例如，外部电子装置102和104)中包括的相机模块180或传感器模块176来确认移动信息。例如，它可以使用电子装置101的位置信息和移动信息来生成与真实环境相对应的虚拟3D空间，例如室内3D地图，在虚拟3D空间中设置与显示区域205和303对应的方位信息(例如，诸如位置和方位角的三维位置信息)，并且在第二区域204与显示器201的显示区域205和303交叠的区域中显示至少一部分内容。这种显示方案被称为虚拟3D空间映射方案。作为另一示例，电子装置101可以存储在用户输入处与通过相机模块180或传感器模块176获取的图像的设置位置处的候选区域有关的信息。为此，电子装置101可以在通过相机模块180或传感器模块176获取的图像中确定与候选区域相对应的特征点或特征图案，并且将特征点或特征图案存储为与候选区域有关的信息。因此，如图3c所示，电子装置101可以将与在通过电子装置101的相机模块180或传感器模块176获取的图像中所确认的特征点或特征图案相对应的候选区域确定为显示区域305(例如，显示区域205)，并在显示区域205和303中显示内容。这种显示方案可以被称为真实图像映射方案。例如，电子装置101可以确认特征点或特征图案或以模板匹配或动态匹配方案来确定通过相机模块180或传感器模块176获取的图像中的相似度。例如，它可以确认特定对象(例如，门、窗户、电视、冰箱、墙壁面或桌面)的形状或图案，从而从中确认候选区域。

根据另一实施例，电子装置101可以基于预设标准来确定至少一个显示区域205。基于预设标准，电子装置101可以将与通过相机模块180或传感器模块176获取的图像中的多个对象中的至少一个的形状对应的候选区域设置为显示区域205。预设标准可以包括例如形状(例如，正方形、圆形和三角形)、高宽比(例如，16：9)或电子装置101与对象之间的距离中的至少一项。作为示例，对于矩形显示区域205，电子装置101可以基于表示相对于预设基本形式的失真度的变换参数(例如，透视、缩放、旋转或仿射中的至少一个)来显示内容。

例如，电子装置101可以根据满足设置标准的程度在多个候选区域中指定优先级。电子装置101可以计算要在每个候选区域中显示的内容的至少一种属性(例如，内容的类型、比率或分辨率)和每个候选区域的至少一种属性(例如，对象的形状、颜色、复杂性、反射光或大小)的拟合度(goodness of fit)，并基于其为每个候选区域指定优先级。例如，如果要显示的内容的分辨率大于或等于预设值，则电子装置101可以将具有至少与内容的分辨率对应的大小的候选区域指定为高优先级，以便根据内容的复杂性(例如，图案的类型、线段的数量、图片的数量或颜色的数量)中的至少一项来表示内容。作为另一示例，如果要显示的内容的高宽比为4：3，则电子装置101可以将高宽比接近于4：3的矩形候选区域指定为高优先级。因此，电子装置101可以基于优先级将任何一个候选区域确定为显示区域205。

根据另一实施例，电子装置101可以基于通过传感器模块176或相机模块180识别的标记来确定至少一个显示区域205。标记可以包括例如条形码、二维条形码、特定字符图像或色块中的至少一项。例如，标记可以显示在或附着在诸如墙壁、电子相框、电视屏幕或桌子的对象上。通过识别标记，电子装置101可以至少基于与标记相关联的属性来确定显示区域205的大小、方向、位置或要在显示区域205中显示的内容的类型中的至少一项。例如，如果标记是作为二维条形码的快速响应(QR)码，则电子装置101可以识别构成QR码的图案类型的位置大小或数据图案，从而确定确定显示区域205的大小、方向和位置。作为另一示例，如果在电视屏幕上显示特定字符图像，则电子装置101可以基于特定字符图像的位置将电视屏幕确定为显示区域205。因此，电子装置101可以基于标记来确定显示区域205，并且在显示区域205中显示内容。

根据另一实施例，如果电子装置101被配置为允许多个用户访问，则电子装置101可以在显示区域205中针对每个用户不同地处理和显示内容。为此，如下表1所示，电子装置101可以不同地设置与候选区域有关的信息、要显示的内容的类型、候选区域的属性或每个用户的沉浸度中的至少一项。电子装置101可以根据电子装置101中预先存储的唯一标识符(例如，电话号码、网络ID、应用用户ID)来确认电子装置101的用户或显示内容。例如，如果在窗口被透射/投影/显示在显示区域205中时在显示区域205中显示与电影相对应的运动图像，则电子装置101可以应用低沉浸度。电子装置101可以降低候选区域205的透射率/投影率/透明度或在显示器201上增加运动图像的不透明度，以不通过运动图像示出窗口的窗格条。作为另一示例，如果在窗口被透射/投影/显示在显示区域205中时在候选区域205中显示与风景图像相对应的静止图像，则电子装置101可以应用高沉浸度。电子装置101可以增加候选区域205的透明度或者对两个图像进行合成，以将窗口的窗格条放置在风景图像上。

表1

根据各种实施例，电子装置101可以在第二区域204中显示用于至少一个候选区域的标识符401，如图4a或图4b所示。标识符401可以包括例如候选区域的边框、图片或缩略图中的至少一项。如果确定了要在电子装置101上显示的内容，则电子装置101可以基于该内容确定至少一个候选区域，并且在每个候选区域中显示标识符401。

例如，响应于如图4a所示的候选区域，电子装置101可以显示指示要显示的内容的类型的至少一个指示符403。指示符403可以包括例如与内容相关联的图标、文本或缩略图中的至少一项。当在候选区域中显示标识符401和指示符403时，电子装置101可以基于用于选择候选区域的用户输入来将所选择的候选区域确定为显示区域205，并且在显示区域205中显示内容。

作为另一示例，如图4b所示，电子装置101可以针对多个候选区域显示标识符401。当在候选区域中显示标识符401时，电子装置101可以基于用于选择任何一个候选区域的用户输入，在所选择的候选区域中显示指示符403。当在所选择的候选区域中显示标识符401和指示符403时，基于用于重新选择所选择的候选区域的用户输入，电子装置101可以将重新选择的候选区域确定为显示区域205，并且在显示区域205中显示内容。

根据各种实施例，电子装置101可以显示存储在存储器130中的内容。电子装置101可以基于用户输入来确定存储在存储器130中的内容。因此，电子装置101可以在显示器201上显示内容。内容可以包括例如运动图像数据、静止图像数据、文本数据或(例如，通过声音输出装置155而不是显示器201提供的)音频数据中的至少一种。当在显示器201上显示内容时，电子装置101可以使用至少一个传感器模块176来确认外部对象202的移动。

根据各种实施例，电子装置101可以显示从外部电子装置206或外部服务器208中的至少一个接收到的内容。例如，电子装置101可以从外部电子装置206接收内容。作为另一示例，电子装置101可以以与外部电子装置206和外部服务器208合作的方式从外部电子装置206或外部服务器208接收内容。外部电子装置206可以包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置(例如，AR眼镜、数字地球仪)或家庭电器中的至少一种。根据实施例，电子装置101可以在显示器201上显示内容，并使用至少一个传感器模块176来确认外部对象202的移动。根据另一实施例，电子装置101还可以从外部电子装置206或外部服务器208中的至少一个接收与外部对象202的移动有关的信息。

例如，对于与图5a中所示的对象相同的对象，电子装置101可以接收由第一外部电子装置506(例如，外部电子装置206)捕获的第一图像数据和由第二外部电子装置507(例如，外部电子装置206)捕获的第二图像数据。第一外部电子装置506可以基于对象在第一视点处来捕获第一图像数据，并且第二外部电子装置507可以基于对象在第二视点处来捕获第二图像数据。如果电子装置101在第一视点处确定显示区域205，则电子装置101可以在显示区域205中显示从第一外部电子装置506接收到的第一图像数据，如图5b所示。可选择地，如果电子装置101在第二视点处确定显示区域205，则电子装置101可以在显示区域205中显示从第二外部电子装置507接收到的第二图像数据，如图5c所示。可选择地，如果电子装置101从第一视点移动到第二视点，则电子装置101可以将显示从第一外部电子装置506接收到的第一图像数据切换为显示从第二外部电子装置507接收到的第二图像数据，如图5b所示。为此，电子装置101可以分别从第一外部电子装置506和第二外部电子装置507接收方位信息以及第一图像数据和第二图像数据。

图6是根据实施例的包括电子装置101的系统200中的信号流程图。

参照图6，在操作611中，电子装置101和外部电子装置206可以彼此连接。电子装置101和外部电子装置206可以无线地或者有线地(例如，USB、HDMI)连接。电子装置101和外部电子装置206可以经由第一网络198(例如，诸如蓝牙、WiFi或WiFi直连的短程无线通信网络)或经由第二网络199(例如，诸如蜂窝网络的长距离无线网络)连接。

在操作615中，外部电子装置206可以选择第一内容。外部电子装置206可以选择正在显示的第一内容。可选择地，外部电子装置206可以基于从外部电子装置206生成的用户输入来选择要显示在显示器201上的第一内容。可选择地，电子装置101可以在操作613中向外部电子装置206请求第一内容，并且外部电子装置206可以在操作615中响应于电子装置101的请求而选择第一内容。为此，电子装置101可以基于从电子装置101生成的用户输入，向外部电子装置206请求第一内容。例如，电子装置101可以将显示器201的显示方案或显示性能(例如，分辨率、帧速率或显示区域205的大小)发送给外部电子装置206。因此，外部电子装置206可以基于显示器201的显示方案或显示性能来选择第一内容。

在操作617中，外部电子装置206可以确定与第一内容相关联的信息。与第一内容相关联的信息可以包括第一内容的传输方案(例如，镜像、全部共享、DLNA、流传输、URL)、显示方案(例如，非投影)、虚拟3D空间映射、真实图像映射)、回放方案(例如，回放时间、分辨率、帧速率、控制信息)或第一内容的标识信息(例如，名称、存储位置、元数据)中的至少一个。

在操作619中，外部电子装置206可以将第一内容和与第一内容相关联的信息发送到电子装置101。例如，外部电子装置206可以将第一内容和与第一内容相关联的信息直接发送到电子装置101。作为另一示例，外部电子装置206可以将基于电子装置101的显示方案或显示性能处理后的第一内容以及与第一内容相关联的信息发送到电子装置101。作为另一示例，外部电子装置206可以将与第一内容相关联的信息发送到电子装置101，以使电子装置101从外部服务器208接收第一内容。

在操作621中，电子装置101可以通过显示器201向用户提供第一内容。电子装置101可以通过显示器201向用户提供第一内容，以将第一内容叠加在真实环境上。电子装置101可以将第二区域204的至少一部分确定为显示器201上的显示区域205，并且在显示区域205中显示第一内容。因此，在头上佩戴电子装置101的用户可以通过显示器201在真实环境的背景下观看第一内容。此外，佩戴电子装置101的用户可以通过显示器201沿可见方向查看外部对象202的移动。如果电子装置101是光学透视的，则佩戴电子装置101的用户可以查看外部对象202的穿过显示器201的反射光，并通过移动用户的头部和视线来确定可见方向。根据另一实施例，如果电子装置101是视频透视的，则电子装置101的用户可以在显示器201上查看通过相机模块180或传感器模块176中的至少一个接收到的真实环境和外部对象202的图像，并且可见方向可以由相机模块180或传感器模块176的朝向确定。

在操作623中，电子装置101可以确认外部对象202的移动。使用相机模块180或传感器模块176，电子装置101可以检测通过显示器201透射或显示在显示器201上的外部对象202的移动。外部对象202的移动可以表示外部对象202的位置移动和外部对象202的形状变化(例如，手的旋转或手指的屈折等)。可以基于位置的改变、在特定时间(例如，0.3秒)内保持姿势、指向操作、倾斜或旋转操作中的至少一项来检测外部对象202的形状变化。根据外部对象202的移动，处理器120可以检测以下各项中的至少一项：外部对象202的位置变化、3D空间方位的俯仰、偏航和翻滚变化、诸如姿势的静态形状检测或外部对象202的形状识别。如果外部对象202的移动是特定移动或具有高相似性，则处理器120可以进一步确定相关联的功能。例如，如果检测到特定移动，则处理器120可以使用存储在存储器130或外部电子装置102、108和104的存储器中的信息(例如，移动与功能之间的关联，或定义了移动与内容之间的关联的文件、数据库、映射表)来确定与该特定移动相关联的功能，并提供所确定的功能。在操作631中，电子装置101可以根据外部对象202的移动，通过显示器201向用户提供与第一内容有关的第二内容。电子装置101可以通过显示器201将第二内容提供给用户，以将第二内容叠加到真实环境的图像上。电子装置101可以在显示器201上的第二区域204的至少一部分中显示与外部对象202有关的第二内容。例如，电子装置101可以在第二区域204中(例如，至少部分重叠地)显示第二内容和第一内容。作为另一示例，电子装置101可以在第二区域204中显示第二内容而不显示第一内容。在各种示例中，如果外部对象202被发送或显示在显示器201中包括的第二区域204中，则电子装置101的处理器120可以在第二区域204的至少一部分中显示第二内容。

电子装置101可以显示从存储器130确定的第二内容。可选择地，在操作625中，电子装置101可以向外部电子装置206请求第二内容。响应于电子装置101的请求，外部电子装置206可以在操作627中选择第二内容，并且在操作629中将第二内容发送到电子装置101。因此，电子装置101可以在操作631中提供从外部电子装置206接收到的第二内容。

图7是根据各种实施例的包括电子装置101的系统200中的信号流程图。

参照图7，电子装置101和外部服务器208可以在操作711中彼此连接，并且外部电子装置206和外部服务器208可以在操作711中彼此连接。电子装置101和外部服务器208可以无线地或有线地连接，并且外部电子装置206和外部服务器208可以无线地或有线地连接。电子装置101和外部服务器208可以经由第一网络198(例如，诸如蓝牙、WiFi或WiFi直连的短距离无线通信网络)或经由第二网络199(例如，诸如蜂窝网络的远距离无线网络)连接。外部电子装置206和外部服务器208可以经由第一网络198(例如，诸如蓝牙、WiFi或WiFi直连的短距离无线通信网络)或经由第二网络199(例如，诸如蜂窝网络的远距离无线网络)连接。

在操作715中，外部电子装置206可以选择第一内容。外部电子装置206可以选择正在显示的第一内容。可选择地，外部电子装置206可以基于从外部电子装置206产生的用户输入来选择要显示在显示器201上的第一内容。可选择地，电子装置101可以在操作713中通过外部服务器208向外部电子装置206请求第一内容，并且外部电子装置206可以在操作715中响应于电子装置101的请求而选择第一内容。电子装置101可以基于从电子装置101生成的用户输入向外部电子装置206请求第一内容。例如，电子装置101可以将显示器201的显示方案或显示性能(例如，显示区域205的分辨率、帧速率或大小)发送到外部电子装置206。因此，外部电子装置206可以基于显示器201的显示方案或显示性能来选择第一内容。

在操作717中，外部电子装置206可以确定与第一内容相关联的信息。与第一内容相关联的信息可以包括以下项中的至少一项：第一内容的传输方案(例如，镜像、全部共享、DLNA、流传输、URL)、显示方案(例如，非投影)、虚拟3D空间映射、真实图像映射)、回放方案(例如，回放时间、分辨率、帧速率、控制信息)或第一内容的标识信息(例如，名称、存储位置、元数据)。

在操作719中，外部电子装置206可以将第一内容和与第一内容相关联的信息发送给电子装置101。例如，外部电子装置206可以经由外部服务器208将第一内容和与第一内容相关联的信息发送给向电子装置101。作为另一示例，外部电子装置206可以将第一内容和与第一内容相关联的信息发送给外部服务器208，并且外部服务器208可以将基于电子装置101的显示方案或显示性能处理后的第一内容以及与第一内容相关联的信息发送到电子装置101。作为另一示例，外部电子装置206可以经由外部服务器208将与第一内容相关联的信息发送至电子装置101，以使电子装置101接收来自外部服务器208的第一内容。

在操作721中，电子装置101可以通过显示器201向用户提供第一内容。电子装置101可以通过显示器201向用户提供第一内容，以将第一内容叠加在真实环境上。电子装置101可以将第二区域204的至少一部分确定为显示器201上的显示区域205，并且在显示区域205中显示第一内容。因此，电子装置101的用户可以通过显示器201在真实环境的背景下查看第一内容。此外，佩戴电子装置101的用户可以透视显示器201或使用显示器201观看外部对象202的移动。在操作723中，电子装置101可以检测外部对象202的移动。使用相机模块180或传感器模块176，电子装置101可以通过显示器201在可见方向上确认外部对象202的移动。

在操作731中，电子装置101可以根据外部对象202的移动，通过显示器201向用户提供与第一内容有关的第二内容。电子装置101可以向用户提供第二内容，以将第二内容叠加在显示器201的真实环境上。电子装置101可以在显示器201的第二区域204的至少一部分中显示与外部对象202相关的第二内容。例如，电子装置101可以在第二区域204中显示第二内容和第一内容。作为另一示例，电子装置101可以在第二区域204中显示第二内容而不显示第一内容。例如，处理器120可以仅当通过显示器201中包括的第二区域204查看或显示外部对象202时，才在第二区域204的至少一部分中显示第二内容。

电子装置101可以显示从存储器130确定的第二内容。可选择地，在操作725中，电子装置101可以通过外部服务器208向外部电子装置206请求第二内容。外部电子装置206可以在操作727中响应于电子装置101的请求而选择第二内容，并在操作729中经由外部服务器208将第二内容发送到电子装置101。因此，电子装置101可以在操作731中提供从外部电子装置206接收到的第二内容。可选择地，在操作725中，电子装置101可以向外部服务器208请求第二内容。外部服务器208可以在操作728中响应于电子装置101的请求而选择第二内容，并在操作729中将第二内容发送到电子装置101中。因此，在操作731中，电子装置101可以提供从外部电子装置206接收的第二内容。

图8是根据图6和图7中的示例的用于发送第一内容和与第一内容相关联的信息的操作的信号流程图。

参照图8，在操作811中，外部电子装置206可以将与第一内容相关联的信息发送到电子装置101。外部电子装置206可以将与第一内容相关联的信息直接发送到电子装置101。可选择地，电子装置206可以经由外部服务器208将与第一内容相关联的信息发送到电子装置101。在操作813中，电子装置101可以基于与第一内容相关联的信息向外部服务器208请求第一内容。在操作815中，外部服务器208可以响应于电子装置101的请求而确定第一内容。在操作817中，外部服务器208可以将第一内容发送到电子装置101。

根据各种实施例的电子装置101可以包括通信模块190、显示器201、至少一个传感器模块176和处理器120。根据各种实施例，处理器120可以被配置为使用显示器201将使用通信模块190从外部电子装置260接收到的第一内容提供给用户，使用至少一个传感器模块176确认外部对象202在用户透视或者使用提供第一内容的显示器201的可见方向上的移动，并通过显示器201的至少一部分向用户提供第二内容，以显示与第一内容有关的第二内容，该第二内容根据所述移动与外部对象202产生关联。

根据各种实施例，第二内容可以包括用于控制第一内容的控制内容。

根据各种实施例，处理器120可以被配置为从移动中确认被设置为选择第一内容的至少一部分的第一移动，从与外部对象202有关的移动中确认被设置为选择第二内容的第二移动，并基于第二移动提供与外部对象202有关的第二内容。

根据各种实施例，处理器120可以被配置为基于第一移动在提供第一内容的显示器201的至少一部分上提供用于指导第二移动的指导内容。

根据各种实施例，处理器120可以被配置为使用至少一个传感器模块176，通过提供第一内容和第二内容的显示器201，确认外部对象202或另一外部对象1602和1702的另一移动，以及至少基于另一移动在显示器201上显示第一内容和第二内容，并控制第二内容。

根据各种实施例，处理器120可以被配置为至少基于对第二内容的控制来控制第一内容。

根据各种实施例，电子装置101可以包括显示器201、至少一个传感器模块176和处理器120。根据各种实施例，处理器120可以被配置为使用显示器201来提供第一内容，使用至少一个传感器模块确认外部对象202沿用户透视或使用提供第一内容的显示器201的可见方向的移动，以及通过显示器201的至少一部分向用户提供第二内容，以显示与第一内容有关的第二内容，该第二内容根据所述移动与外部对象202产生关联。

根据各种实施例，第二内容可以包括用于控制第一内容的控制内容。

根据实施例，电子装置101还可以包括通信模块190。根据实施例，处理器120还可以被配置为通过通信模块190从外部电子装置206接收第一内容，以及通过显示器201的至少一部分提供第一内容。

根据另一实施例，处理器120还可以被配置为使用至少一个传感器模块176，沿用户透视或使用显示器201的可见方向确认对象，以及通过显示器201的至少一部分提供与对象有关的第一内容。

根据各种实施例，处理器120可以被配置为从移动中确认被设置为选择第一内容的至少一部分的第一移动，从与外部对象202有关的移动中确认被设置为显示第二内容的第二移动，以及基于第二移动，通过提供第一内容的显示器201的至少一部分，提供与外部对象202关联的、与第一内容的至少一部分有关的第二内容。

根据各种实施例，电子装置101可以包括显示器201、相机模块180、至少一个传感器模块176和处理器120。根据各种实施例，处理器120可以被配置为使用显示器201提供通过相机模块180获取的图像和第一内容，使用至少一个传感器模块176确认外部对象202在通过相机模块180获取图像的方向上的移动，以及通过显示器201的至少一部分向用户提供第二内容，以显示与第一内容有关的第二内容，该第二内容根据所述移动与外部对象202产生关联。

根据各种实施例，第二内容可以包括用于控制第一内容的控制内容。

根据各种实施例，处理器120可以被配置为从移动中确认被设置为选择第一内容的至少一部分的第一移动，从关于外部对象202的移动中确认被设置为显示第二内容的第二移动，并基于第二移动，提供与外部对象202有关的第二内容。

根据各种实施例，处理器120可以被配置为基于第一移动在提供第一内容的显示器201的至少一部分上提供用于指导第二移动的指导内容。

根据各种实施例，处理器120可以被配置成使用至少一个传感器模块176通过提供第一内容和第二内容的显示器201来确认外部对象202或另一外部对象1602和1702的另一移动，并且至少基于另一移动在显示器201上显示第一内容和第二内容，并控制第二内容。

根据各种实施例，处理器120可以被配置为至少基于对第二内容的控制来控制第一内容。

图9是根据各种实施例的电子装置101的操作方法的流程图。

参照图9，在操作911中，电子装置101可以在显示器201上提供第一内容(图11的1105)。电子装置101可以通过显示器201向用户提供第一内容1105，以将第一内容1105叠加在真实环境上。第一内容1105可以包括例如运动图像数据、静止图像数据、文本数据或(例如，通过声音输出装置155而不是通过显示器201提供的)音频数据中的至少一个。处理器120可以在显示器201上的第二区域204的至少一部分中显示第一内容1105。因此，电子装置101的用户可以在真实环境的背景下在显示器201上观看第一内容1105。佩戴电子装置101的用户可以通过显示器201在可见方向上查看外部对象202的移动。此外，处理器120可以通过声音输出装置155输出第一内容1105的音频数据。

图10是图9中用于提供第一内容1105的操作911的流程图。图11a、图11b、图11c和图11d是图9中用于提供第一内容1105的操作911的示意图。

参照图10，在操作1011中，电子装置101可以接收第一内容1105。根据实施例，处理器120可以通过通信模块190从外部电子装置206或外部服务器208接收第一内容1105。外部电子装置206可以显示多个第一图标1101，如图11a所示。外部电子装置206可以基于用于选择第一图标1101中的任何一个的用户输入播放第一内容1105，如图11b所示。在播放第一内容1105时，外部电子装置206可以显示用于将第一内容1105发送到电子装置101的第二图标1106。外部电子装置206可以基于用于选择第二图标1106的用户输入，将第一内容1105发送到电子装置101。

在操作1013中，电子装置101可以通过显示器201的第二区域204的至少一部分来显示第一内容1105。处理器120可以在第二区域204的至少一部分中显示第一内容1105，以在显示器201上将第一内容1105叠加在真实环境上。处理器120可以在显示器201的第二区域204中显示第一内容1105，如图11c所示。

在操作1017中，电子装置101可以将第二区域204的至少一部分确定为至少一个显示区域205。根据实施例，处理器120可以将预设的候选区域确定为显示区域205。根据另一个实施例，处理器120可以基于通过输入装置150接收到的用户输入或者使用传感器模块176确认的外部对象202的移动中的至少一个来确定显示区域205。根据另一个实施例，处理器120可以基于预设标准将通过相机模块180或传感器模块176获取的图像中与第二区域204相对应的对象的形状确定为显示区域205。根据另一个实施例，处理器120可以基于通过传感器模块176或相机模块180识别的标记来确定显示区域205。

根据实施例，在操作1015中，电子装置101可以在第二区域204中显示至少一个候选区域。例如，处理器120可以在第二区域204中显示候选区域的标识符401。标识符401可以包括例如候选区域的边框、图片或缩略图中的至少一项。接下来，处理器120可以基于通过输入装置150接收到的用户输入或使用传感器模块176确认的外部对象202的移动中的至少一个来选择至少一个标识符401。响应于此，在操作1017中，处理器120可以将至少一个候选区域确定为显示区域205。

根据另一实施例，在操作1017中，电子装置101可以确定显示区域205，而不显示候选区域。如果在第二区域204中设置了一个候选区域，则处理器120可以将该候选区域确定为显示区域205，而不显示候选区域或标识符401。

在操作1019中，电子装置101可以在第二区域204的显示区域205中显示第一内容1105。处理器120可以修改与显示区域205相对应的第一内容1105。处理器120可以根据第一内容1105的属性、显示区域205的属性或与显示区域205相关的沉浸度中的至少一项来修改第一内容1105。第一内容1105的属性可以包括例如第一内容1105的类型、比率或分辨率中的至少一项。显示区域205的属性可以包括例如对象的形状、颜色、复杂性、反射光或大小中的至少一项。沉浸度可以分为例如高水平、中水平或低水平中的至少一项。因此，如图11d所示，处理器120可以在第二区域204的显示区域205中显示第一内容1105。因此，电子装置101可以返回到图9。

在操作913中，电子装置101可以确认外部对象202的移动。在通过显示器201提供第一内容1105时，处理器120可以通过显示器201确认外部对象202在佩戴电子装置101的用户的可见方向上的移动。处理器120可以使用传感器模块176来确认外部对象202的移动。

图12是图9中的用于确认外部对象202的移动的操作913的流程图。图13a、图13b、图13c和图13d是图9中的用于确认外部对象202的移动的操作913的示例图。

参照图12，在操作1211中，当在显示器201上显示第一内容1105时，电子装置101可以确认外部对象202的移动。当在候选区域205中显示第一内容1105时，处理器120可以使用传感器模块176来确认外部对象202的移动。例如，处理器120可以确定外部对象202的移动是否是要在候选区域205中选择第一内容1105，如图13a所示。如果确定外部对象202的移动是要在候选区域205中选择第一内容1105，则处理器120可以在第二区域204的至少一部分中显示第一内容1105，如图13b所示。当在第二区域204的至少一部分中显示第一内容1105时，处理器120可以使用传感器模块176连续地确认外部对象202的移动。

在操作1213中，电子装置101可以确定外部对象202的移动是否是要选择第一内容1105的至少一部分。处理器120可以确定外部对象202的移动是否是被设置为选择第一内容1105的至少一部分的第一移动1301，如图13b所示。如果确定外部对象202的移动是第一移动1301，则处理器120可以确定由第一移动1301选择的内容1105的至少一部分是否包括项目1303。例如，第一内容1105可以包括多个项目(例如，字符、人、产品、条形码或文本中的至少一种)，并且至少一个项目可以通过外部对象202的第一移动1301来选择(例如，区域设置手势、指向手势、手指的数字指示等)。

如果在操作1213中确定外部对象202的移动是要选择第一内容1105的至少一部分，则电子装置101可以在操作1215中在显示器201上显示第一控制内容1305。处理器120可以通过第二区域204显示第一控制内容1305和第一内容1105，如图13c所示。第一控制内容1305可以确定与第一内容1105有关的第二内容1515、1615和1715。根据实施例，第一控制内容1305可以搜索(例如，图像产品搜索、基于文本识别的关键字搜索、基于条形码识别的文本/字符搜索)由第一移动1301选择的至少一个项目1303。因此，根据由第一移动1301选择的项目1303确定多个功能，并且可以在显示了多个控制内容(未显示)之后通过用户输入来选择多个功能。在操作1223中，当在显示器201上显示第一内容1105时，电子装置101可以确认外部对象202的移动。当在第二区域204中显示第一内容1105时，处理器120可以使用传感器模块176或相机模块180来确认外部对象202的移动。因此，电子装置101可以返回到图9。

根据实施例，在操作1217中，当在显示器201上显示第一内容1105时，电子装置101可以连续地确认外部对象202的移动。在第二区域204中显示第一内容1105和第一控制内容1305时，处理器120可以使用传感器模块176或相机模块180来确认外部对象202的移动。电子装置101可以在操作1219中确定外部对象202的移动是否是要选择第一控制内容1305。处理器120可以确定外部对象202的移动是否要选择第一控制内容1305，如图13c所示。

根据实施例，如果在操作1219中确定外部对象202的移动是要选择第一控制内容1305，则电子装置101可以在操作1221中在显示器201上为用户显示指导内容1307。作为示例，处理器120可以在第二区域204中显示第一内容1105，并且将指导内容1307显示为如图13d所示的可视指导。处理器120可以将指导内容1307叠加并显示在第一内容1105上。指导内容1307可以包括关于与外部对象202的移动相关联的功能的用户界面或关于与外部对象202的移动相关联的功能有关的图标或菜单的描述。作为另一示例，当在第二区域204中显示第一内容1105时，处理器120可以使用声音输出装置155来输出作为音频指导的指导内容1307。在操作1223中，当在显示器201上显示第一内容1105时，电子装置101可以连续地确认外部对象202的移动。处理器120可以从第二区域204移除指导内容1307。当在第二区域204中显示第一内容1105时，处理器120可以使用传感器模块176确认外部对象202的移动。因此，电子装置101可以返回到图9。

根据实施例，代替在操作1211或操作1217中的至少一个中的确认外部对象202的移动，处理器120可以确认通过电子装置101的输入装置150或外部电子装置(例如，电子装置102、104和108)的输入装置接收到的用户输入(例如，触摸、指向、拖动、握持、按钮输入、动作和手势中的至少一种)。处理器120可以基于操作1213或操作1219中的至少一个中的用户输入来选择第一内容1105的至少一部分或选择第一控制内容。例如，处理器120可以通过电子装置101的触摸输入装置或按钮输入装置来接收用户输入，或者通过无线或有线连接到电子装置101的遥控器、鼠标或数字地球仪中的至少一个接收用户输入。

电子装置101可以在操作915中确定外部对象202的移动是否是要提供与第一内容1105有关的第二内容1515、1615和1715。如果在操作915中确定外部对象202的移动是要提供第二内容1515、1615和1715，则电子装置101可以在操作917中通过显示器201提供第二内容1515、1615和1715。电子装置101可以通过显示器201向用户提供第二内容1515、1615和1715，并将第二内容1515、1615和1715叠加在真实环境上。第二内容1515、1615和1715可以包括例如运动图像数据、静止图像数据、音频数据或被设置为控制第一内容1105的菜单。处理器120可以在显示器201的第二区域204的至少一部分中显示与外部对象202有关的第二内容1515、1615和1715。例如，处理器120可以在第二区域204中显示第二内容1515、1615和1715和第一内容1105。作为另一示例，处理器120可以在第二区域204中没有第一内容1105的情况下显示第二内容1515、1615和1715。

图14是图9中的用于提供第二内容1515、1615和1715的操作917的流程图。参照图15a和图15b是根据图9中的示例的用于提供第二内容1515的操作917的示例图。图16a、图16b、图16c和图16d是根据9中的另一示例的用于提供第二内容1615的操作917的示例图。图17a、图17b、图17c和图17d是根据图9中的另一示例的用于提供第二内容1715的操作917的示例图。图18a和图18b是用于说明图14中的外部对象202的消失的示例图。

参照图14，在操作1411中，电子装置101可以确定第二内容1515、1615和1715。处理器120可以确定外部对象202的移动是否是被设置为显示第二内容1515、1615和1715的第二移动。如果确定外部对象202的移动是第二移动，则处理器120可以确定第二内容1515、1615和1715。处理器120可以基于通过第一移动1301所选择的第一内容1105的至少一部分的项目1303来确定第二内容1515、1615和1715。根据实施例，处理器120可以从存储器130获取第二内容1515、1615和1715。根据另一个实施例，处理器120可以通过通信模块190从外部电子装置206或外部服务器208获得第二内容1515、1615和1715。

例如，处理器120可以将外部对象202的移动与多个第二移动进行比较。处理器120可以根据外部对象202的位置、形状或方向中的至少一个来确定第二移动中的任何一个。因此，处理器120可以响应于所确定的第二移动来确定第二内容1515、1615和1715。处理器120可以根据电子装置101与外部对象202之间的距离来确定第二内容1515、1615和1715的显示大小。处理器120可以根据外部对象202的方向来确定第二内容1515、1615、1715的显示方向。处理器120可以根据外部对象202的形状来确定第二内容1515、1615和1715的获取方案或显示方案中的至少一项。例如，处理器120可以确定通过互联网搜索获取第二内容1515、1615、1715。作为另一示例，处理器120可以通过添加运动动画功能来确定显示第二内容1515、1615、1715。对于外部对象202的用户的手，处理器120可以确定动画功能，该动画功能根据手指的数量而不同地移动。

在操作1413中，电子装置101可以通过显示器201的第二区域204的至少一部分来显示第二内容1515、1615和1715。处理器120可以在第二区域204的至少一部分中显示第二内容1515、1615和1715，以通过显示器201将第二内容1515、1615和1715叠加在真实环境上。

当在显示器201上显示第二内容1515、1615和1715时，电子装置101可以在操作1415中确认外部对象202的附加移动。在第二区域204中显示第二内容1515、1615和1715时，处理器120可以使用传感器模块176或相机模块180来确认外部对象202的附加移动。电子装置101可以在操作1417中确定外部对象202的附加移动是否是要控制第二内容1515、1615和1715。如果在操作1417中确定外部对象202的附加移动是要控制第二内容1515、1615和1715，则电子装置101可以在操作1419中在显示器201上显示第二内容1515、1615和1715，并且控制第二内容1515、1615和1715。处理器120可以根据外部对象202的附加移动来控制第二内容1515、1615和1715。根据实施例，电子装置101可以在操作1421中进一步控制第一内容1105。在控制第二内容1515、1615和1715时，处理器120可以控制第一内容1105。

根据实施例，如果如图15a所示确认了外部对象202的移动，则处理器120可以在显示器201的第二区域204中显示与外部对象202有关的第二内容1515，如图15b所示。例如，处理器120可以显示指示与第一内容1105的项目1303相关联的产品或字符的静止图像数据，作为第二内容1515。接下来，处理器120可以根据外部对象202的附加移动来控制第二内容1515。例如，处理器120可以沿着显示器201上外部对象202的移动路径移动第二内容1515。作为另一示例，处理器120可以根据显示器201上的外部对象202的振动，提供类似于将第二内容1515扔到外部对象202上或从外部对象202接收的效果。作为另一示例，处理器120可以根据显示器201上的电子装置101与外部对象202之间的距离改变、外部对象202的形状改变或外部对象202的旋转中的至少一项来调整第二内容1515的大小或旋转第二内容1515。作为另一示例，处理器120可以执行用于购买第二内容1515的过程。

根据另一实施例，如果确认了外部对象202的移动，如图16a所示，则处理器120可以在显示器201的第二区域204中显示与外部对象202有关的第二内容1615，如图16b所示。例如，处理器120可以将用于控制第一内容1105和与第一内容1105相对应的第三内容1619的控制内容1617显示为第二内容1615。接下来，处理器120可以根据另一外部对象1602的移动来控制第二内容1615，如图16c所示。例如，处理器120可以至少基于另一外部对象1602的移动，将与控制内容1617相对应的命令(例如，倒带、播放/停止或快进)应用于显示器201上的第三内容1619。另外，处理器120可以将选择的菜单1617应用于第一内容1105。处理器120可以根据外部对象202的附加移动来移动第二内容1615，如图16d所示。

根据另一实施例，如果确认了外部对象202的移动，如图17a所示，则处理器120可以在显示器201的第二区域204中显示与外部对象202有关的第二内容1715，如图17b所示。例如，处理器120可以显示用于控制第一内容1105的控制内容1917，作为第二内容1715。接下来，处理器120可以根据外部对象202的附加移动来控制第二内容1715。例如，处理器120可使用相机模块180识别外部对象202，即遥控器的按钮，并使用传感器模块176确认针对遥控器的至少一个按钮的用户输入。因此，处理器120可以在显示器201上选择控制内容1717，并将选择的控制内容1617应用于第一内容1105。可选择地，如果确认了另一外部对象1702的移动，如图17c所示，则处理器120还可以显示与第一内容1105相对应的第三内容1719，作为第二内容1715，如图17d所示。处理器120可以显示与另一外部对象1702有关的第三内容1719。接下来，根据外部对象202的附加移动，处理器120可以在显示器201上选择控制内容1717，并且将所选择的控制内容1717应用于第一内容1105和第二内容1719。

电子装置101可以在操作1423中确定是否移除第二内容1515、1615和1715。当在显示器201上显示第二内容1515、1615和1715时，处理器120可以使用传感器模块176连续确认外部对象202的附加移动或另一外部对象1602和1702的移动中的至少一项。处理器120可以基于外部对象202的附加移动或另一外部对象1602和1702的移动中的至少一项来确定是否移除第二内容1515、1615和1715。如果在显示器201上显示了与外部对象202有关的第二内容1515、1615和1715，则处理器120可以基于外部对象202的附加移动来确定是否移除第二对象1515、1615和1715。如果在显示器201上显示了与外部对象202和另一外部对象1602和1702有关的第二内容1515、1615和1715，则处理器120可以基于外部对象202和另一外部对象1602和1702的移动来确定是否移除第二对象1515、1615和1715。例如，处理器120可以确定外部对象202或另一外部对象1602和1702中的至少一个是否在显示器201上消失(例如，通过相机模块180或传感器模块176离开识别范围)。作为另一示例，处理器120可以确定外部对象202的附加移动或另一外部对象1602和1702的移动中的至少一项是否是预设移动(例如，握紧拳头)。

如果在操作1423中确定移除了第二内容1515、1615和1715，则电子装置101可以在操作1425中移除第二内容1515、1615和1715。例如，如果外部对象202或另一外部对象1602和1702中的至少一个在显示器201上消失，则处理器120可以移除第二内容1515、1615和1715。作为另一示例，如果外部对象202的附加移动或另一外部对象1602和1702的移动中的至少一个是预设移动，则处理器120可以移除第二内容1515、1615和1715。即使第二内容1515、1615和1715从第二区域204中移除，处理器120也可以在候选区域205中显示第一内容1105。根据实施例，在移除了第二内容1515、1615和1715之后，处理器120可以显示用于询问是否继续显示第一内容1105的消息1801，如图18a所示。处理器120可以基于用于继续显示第一内容1105的用户输入，在第二区域204的显示区域205中显示第一内容1105，如图18b所示。

图19是根据实施例的电子装置101的操作方法的流程图。图20a、图20b、图20c、图20d和图20e是根据实施例的电子装置101的操作方法的示例图。

参照图19，在操作1911中，电子装置101可以确认至少一个兴趣点(POI)2005。处理器120可以使用通信模块190来确定电子装置101的当前位置的位置信息。处理器120可以基于位置信息来确认POI。在操作1913中，电子装置101可以在显示器201上显示POI 2005。电子装置101可以将POI 2005显示为第一内容。电子装置101可以显示POI 2005，以通过显示器201将其叠加在真实环境上。处理器120可以在显示器201上的第二区域204的至少一部分中显示POI 2005，如图20a所示。

在操作1915中，电子装置101可以在显示器201上显示POI 2005，并确认外部对象202的移动。在第二区域204中显示POI 2005时，处理器120可以通过显示器201确认外部对象202在将电子装置101戴在他/她脸部的用户的可见方向上的移动。在操作1917中，电子装置101可以确定外部对象202的移动是否是用于选择POI 2005的第一移动。

如果在操作1917中确定了外部对象202的移动是第一移动，则电子装置101可以在操作1919中在显示器201上显示与所选择的POI 2005相关联的第一数据2011。电子装置101可以显示第一数据2011，以通过显示器201将其叠加在真实环境上。处理器120可以在第二区域204的至少一部分中显示与所选择的POI 2005相关联的第一数据2011和2013，如图20b或图20c所示。例如，第一数据2011可以包括详细数据2011，例如，关于所选择的POI 2005的地址或距当前位置的距离中的至少一项，如图20b所示，并且可以包括用于所选择的POI2005的道路指导数据2013，如图20b所示。

在操作1921中，当在显示器201上显示第一数据2011和2013时，电子装置101可以识别外部对象202的移动。当在第二区域204中显示第一数据2011和2013时，处理器120可以通过显示器201识别外部对象202在用户将电子装置101戴在他/她脸上的可见方向上的移动。电子装置101可以在操作1923中确定外部对象202的移动是否是显示与所选择的POI2005相关联的第二数据2015的第二移动。处理器120可以确定外部对象202的移动是否是第二移动，如图20d所示。

如果在操作1923中确定外部对象202的移动是第二移动，则电子装置101可以在显示器201上将与选择的POI 2005相关联的第二数据2015显示在显示器201上。电子装置101可以显示第二数据2015作为第二内容。电子装置101可以显示第二数据2015，以通过显示器201叠加在真实环境上。处理器120可以在显示器201上的第二区域204的至少一部分中显示第二数据2015，如图20e所示。例如，第二数据2015可以包括包含所选择的POI 2005的地图数据。

电子装置101可以在操作1927中确定是否移除第二数据2015。当在显示器201上显示第二数据2015时，处理器120可以通过传感器模块120连续地确认外部对象202的移动。处理器120可以基于外部对象202的附加移动来确定是否移除第二数据2015。例如，处理器120可以通过显示器201来确定外部对象202是否消失(例如，通过相机模块180或传感器模块176离开识别范围)。作为另一示例，处理器120可以确定外部对象202的附加移动是否是预设移动(例如，握紧拳头等)。如果在操作1927中确定移除第二数据2015，则电子装置101可以在操作1929中从显示器201移除第二数据2015，并返回操作1919。

如果在操作1927中确定不移除第二数据2015，则电子装置101可以在操作1931中确定是否不进一步显示第一数据2011和第二数据2015。根据实施例，处理器120可以确定是否到达所选择的POI 2005。如果在操作1931中确定不进一步显示第一数据2011和第二数据2015，则电子装置101的操作方法可以完成。如果在操作1931中确定继续显示第一数据2011和第二数据2015，则电子装置101可以返回到操作1925。

图21是根据另一实施例的电子装置101的操作方法的流程图。图22a、图22b、图22c、图23a、图23b、图23c、图23d、图23e、图24a、图24b、图24c、图24d、图25a、图25b、图25c、图26a、图26b、图26c、图27a、图27b、图27c、图28a、图28b和图28c是根据另一实施例的电子装置101的操作方法的示例图。

参照图21，在操作2113中，电子装置101可以通过显示器201提供与对象2200、2300、2400、2500、2600、2700和2800有关的第一内容2205、2305、2405、2505、2605、2705和2805。例如，电子装置101可以从通过相机模块180捕获的图像数据识别对象2200、2300、2400、2500、2600、2700和2800。使用相机模块180，处理器120可以通过显示器201捕获用户将电子装置101佩戴在他/她脸上的可见方向上的图像数据。通过分析图像数据，处理器120可以通过显示器201在用户将电子装置101佩戴在脸上的可见方向上识别对象2200、2300、2400、2500、2600、2700、2800信息。因此，电子装置101可以通过显示器201显示与对象2200、2300、2400、2500、2600、2700和2800有关的第一内容2205、2305、2405、2505、2605、2705和2805，以将第一内容2205、2305、2405、2505、2605、2705和2805叠加在真实环境上。处理器120可以在显示器201上的第二区域204的至少一部分中显示第一内容2205、2305、2405、2505、2605、2705和2805。

在操作2113中，在通过显示器201提供第一内容2205、2305、2405、2505、2605、2705和2805时，电子装置101可以确认外部对象202的移动。在通过第二区域204显示第一内容2205、2305、2405、2505、2605、2705和2805时，处理器120可以通过显示器201识别外部对象202在电子装置101的用户的可见方向上的移动。在操作2115中，装置101可以确定外部对象202的移动是否是要提供第二内容2215、2315、2415、2515、2615、2715和2815。

如果在操作2115中确定外部对象202的移动是要提供第二内容2215、2315、2415、2515、2615、2715和2815，则电子装置101可以在操作2117中通过显示器201提供与对象2200、2300、2400、2500、2600、2700和2800有关的第二内容2215、2315、2415、2515、2615、2715和2815。电子装置101可以通过显示器201在真实环境上叠加并显示第二内容2215、2315、2415、2515、2615、2715和2815。处理器120可以在显示器201上的第二区域204的至少一部分中显示与外部对象202有关的第二内容2215、2315、2415、2515、2615、2715和2815。

例如，处理器120可以从通过相机模块180捕获的图像数据中识别代表蛋糕粉的对象2200，如图22a所示。相应地，处理器120可以通过显示器201显示指示蛋糕粉的详细数据的第一内容2205，例如配料、营养、重量、烹饪方法等，如图22b所示。接下来，如果确认了外部对象202的移动，则处理器120可以在显示器201上显示解释如何使用蛋糕粉烹饪蛋糕的视频数据作为与外部对象202有关的第二内容2215，如图22c所示。

作为另一示例，处理器120可以从通过相机模块180捕获的图像数据中识别出代表时钟的对象2300，如图23a所示。相应地，处理器120可以在显示器201上显示指示至少一个日程表的第一内容2305，如图23b所示。处理器120可以从时钟表示的当前时间开始按时间顺序显示日程表。接下来，如果确认了外部对象202的移动，则处理器120可以在显示器201上显示与日程表有关的天气数据或日程表中的路线指导数据中的至少一项作为与外部对象202有关的第二内容2315，如图23c所示。可选择地，如果确认了外部对象202的移动，则处理器120可以在显示器201上显示与外部对象202有关的指示推荐音乐的第二内容2315，如图23d所示。处理器120可以在显示第二内容2315时播放推荐音乐。此外，处理器120可以基于外部对象202或另一外部对象(未示出)的移动来控制推荐音乐。可选择地，如果确认了外部对象202的移动，则处理器120可以在显示器上201上控制与外部对象202有关的第二内容2315作为用于控制警报的控制内容，如图23e所示。因此，处理器120可以基于外部对象202或另一外部对象(未示出)的移动，通过控制第二内容2315来控制警报。类似地，处理器120可以通过显示器201识别远程装置，从而控制远程装置的操作。

作为另一示例，处理器120可以从通过相机模块180捕获的图像数据中识别出代表塑料模型的对象2400，如图24a所示。相应地，处理器120可以在显示器201上显示指示塑料模型的完整组装的第一内容2405，如图24b的(a)所示。可选择地，处理器120可以在显示器201上显示指示塑料模型的销售信息的第一内容2405，如图24b的(b)所示。接下来，如果确认了外部对象202的移动，则处理器120可以在显示器201上显示与外部对象202有关的指示用于购买塑料模型的数据(例如，价格)的第二内容2415，如图24c所示。因此，处理器120可以基于第二内容2415执行塑料模型的购买过程。接下来，如果完成了塑料模型的购买过程，则处理器120可以在显示器201上显示购买完成消息2416，如图24d所示。

作为另一示例，处理器120可以从通过相机模块180拍摄的图像数据中识别出代表酒的对象2500，如图25a所示。相应地，处理器120可以在显示器201上显示指示酒的详细数据(诸如葡萄品种、状态(例如，糖含量、酸度、成熟度))的第一内容2505，如图25b所示。接下来，如果确认了外部对象202的移动，则处理器120可以在显示器201上显示与外部对象202有关的指示用于购买酒的数据(例如，价格)的第二内容2515，如图25c所示。因此，处理器120可以基于第二内容2515执行酒的购买过程。

作为另一示例，处理器120可以从通过相机模块180捕获的图像数据中识别代表脸部的对象2600，如图26a所示。相应地，处理器120可以在显示器201上显示与对象2600有关的表示化身的第一内容2605，如图26b所示。接下来，如果确认了外部对象202的移动，如图26c的(a)所示，则处理器120可以在显示器201上显示与外部对象202有关的第二内容2615，例如图形动画，如图26c的(b)所示。因此，处理器120可以根据通过输入装置150或通信模块190接收到的用户输入，将第一内容2605或第二内容2615中的至少一个与图像数据一起存储。

作为另一示例，处理器120可以从通过相机模块180捕获的图像中识别出代表面部的对象2700，如图27a所示。相应地，处理器120可以在显示器201上与对象2700有关的显示表示化身的第一内容2705，例如3D角色，如图27b所示。接下来，如果在显示第一内容2705时确认了外部对象202的移动，则处理器120可以确定外部对象202的移动是否是预设移动，例如预设形状。如果外部对象202的移动是预设移动，则处理器120可以在显示器201上用图形动画来显示与外部对象202有关的第二内容2715，就好像3D角色随着外部对象202的移动而移动一样，如图27c所示。因此，处理器120可以根据通过输入装置150或通信模块190接收到的用户输入，将第一内容2705或第二内容2715中的至少一个与图像数据一起存储。

作为另一示例，在图28a中，处理器120可以确定通过相机模块180捕获的图像数据的与对象2700有关的第一内容2805(例如，帧)。处理器120可以根据通过输入装置150或通信模块190接收到的用户输入来确定帧，或者可以通过从图像数据中识别代表脸部的对象2800来确定与对象2800有关的帧。相应地，处理器120可以在显示器201上显示与对象2800有关的第一内容2805，如图28b所示。处理器120可以在显示器201上的预设位置处显示框，或者可以在脸部的外围区域中显示框。接下来，如果确认了外部对象202的移动，如图28c的(a)所示，则处理器120可以在显示器201上显示与外部对象202有关的第二内容2815，例如图形动画，如图28c的(b)所示。因此，处理器120可以根据通过输入装置150或通信模块190接收到的用户输入，将第一内容2805或第二内容2815中的至少一项与图像数据一起存储。

电子装置101可以在操作2119中确定是否移除第二内容2215、2315、2415、2515、2615、2715和2815。在显示器201上显示第二内容2215、2315、2415、2515、2615、2715和2815时，处理器120可以使用传感器模块176连续确认外部对象202的附加移动。基于外部对象202的附加移动，处理器120可以确定是否移除第二内容2215、2315、2415、2515、2615、2715和2815。例如，处理器120可以通过显示器201确定外部对象202是否消失(例如，通过相机模块180或传感器模块176离开识别范围)。作为另一示例，处理器120可以确定外部对象202的附加移动是否是预设移动(例如，握紧拳头等)。如果在操作2119中确定移除第二内容2215、2315、2415、2515、2615、2715和2815，则电子装置101可以在操作2121中从显示器201移除第二内容2215、2315、2415、2515、2615、2715和2815。

根据各种实施例的电子装置101的操作方法可以包括：使用电子装置101的显示器201提供第一内容；使用至少一个传感器模块176，确认外部对象202沿用户透视或使用提供第一内容的显示器201的可见方向的移动；以及通过显示器201的至少一部分向用户提供第二内容，以显示与第一内容有关的第二内容，该第二内容根据所述移动与外部对象202产生关联。

根据各种实施例，第二内容可以包括用于控制第一内容的控制内容。

根据实施例，提供第一内容可以包括通过显示器201的至少一部分提供从外部电子装置206接收到的第一内容。

根据另一实施例，提供第一内容可以包括通过显示器201的至少一部分提供与沿用户透视或使用显示器201的可见方向识别的对象有关的第一内容。

根据各种实施例的非暂时性计算机可读存储介质可以存储一个或更多个程序，用于：使用电子装置101的显示器201来提供第一内容；确认外部对象202沿用户透视或使用提供第一内容的显示器201的可见方向的移动；以及通过显示器201的至少一部分向用户提供第二内容，以显示与第一内容有关的第二内容，该第二内容根据所述移动与外部对象202产生关联。

根据各种实施例的非暂时性计算机可读存储介质可以存储一个或更多个程序，用于：使用电子装置101的显示器201提供第一内容；识别外部对象202沿用户透视或使用提供第一内容的显示器201的可见方向的移动；以及通过显示器201的至少一部分向用户提供第二内容，以显示与第一内容有关的第二内容，该第二内容根据所述移动与外部对象202产生关联。

根据各种实施例，在为用户提供增强现实时，电子装置101可以在电子装置101与用户之间提供灵活的接口。即，电子装置101可以提供从外部电子装置206或外部服务器208接收到的内容。此外，电子装置101可以基于外部装置202的移动灵活地提供内容。因此，电子装置101可以根据用户的情况提供足够的内容。因此，可以改善电子装置101的用户便利性，并且可以提高电子装置101的使用效率。

根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例，电子装置不限于以上所述的那些电子装置。

应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相似的参考标号可用来指代相似或相关的元件。将理解的是，与术语相应的单数形式的名词可包括一个或更多个事物，除非相关上下文另有明确指示。如这里所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可与所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。

如这里所使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并可与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施例，可以以专用集成电路(ASIC)的形式来实现模块。

可将在此阐述的各种实施例实现为包括存储在存储介质(例如，内部存储器136或外部存储器138)中的可由机器(例如，电子装置101)读取的一个或更多个指令的软件(例如，程序140)。例如，在处理器的控制下，所述机器(例如，电子装置101)的处理器(例如，处理器120)可在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性”仅意味着所述存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。

根据实施例，可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品，或者可经由应用商店(例如，Play StoreTM)在线发布(例如，下载或上传)计算机程序产品，或者可直接在两个用户装置(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品中的至少部分可以是临时产生的，或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。

根据各种实施例，上述部件中的每个部件(例如，模块或程序)可包括单个实体或多个实体。根据各种实施例，可省略上述部件中的一个或更多个部件，或者可添加一个或更多个其它部件。可选择地或者另外地，可将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，根据各种实施例，该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式，执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施例，由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略，或者可添加一个或更多个其它操作。

Claims (13)

1.一种电子装置，所述电子装置包括：

通信模块；

显示器；

至少一个传感器模块；以及

处理器，

其中，所述处理器被配置为，

控制所述显示器显示经由所述通信模块从外部电子装置接收到的第一内容，

控制所述至少一个传感器模块确认外部对象的通过所述显示器可视的移动，

控制所述显示器在根据所述移动与所述外部对象相关联的位置处显示与所述第一内容有关的第二内容，

当显示所述第二内容时，控制所述至少一个传感器模块确认所述外部对象的附加移动，以及

基于所确认的所述外部对象的附加移动，来确定对所述第二内容的控制，所述控制包括移动所述第二内容、调整所述第二内容的大小、旋转所述第二内容或移除所述第二内容中的至少一者。

2.根据权利要求1所述的电子装置，其中，所述处理器被配置为，

从所述移动中确认被设置为选择所述第一内容的至少一部分的第一移动，

从与所述外部对象有关的移动中确认被设置为选择所述第二内容的第二移动，以及

基于所述第二移动，显示与所述外部对象有关的第二内容。

3.根据权利要求2所述的电子装置，其中，所述处理器被配置为，

基于所述第一移动，在显示所述第一内容的所述显示器的至少一部分上显示用于指导所述第二移动的指导内容。

4.根据权利要求1所述的电子装置，其中，所述处理器被配置为，

至少基于对所述第二内容的控制，控制所述第一内容。

5.一种电子装置，所述电子装置包括：

显示器；

至少一个传感器模块；以及

处理器，

其中，所述处理器被配置为，

控制所述显示器显示第一内容，

控制所述至少一个传感器模块确认外部对象的通过所述显示器可视的移动，

控制所述显示器在根据所述移动与所述外部对象相关联的位置处显示与所述第一内容有关的第二内容，

当显示所述第二内容时，控制所述至少一个传感器模块确认所述外部对象的附加移动，以及

基于所确认的所述外部对象的附加移动，来确定对所述第二内容的控制，所述控制包括移动所述第二内容、调整所述第二内容的大小、旋转所述第二内容或移除所述第二内容中的至少一者。

6.根据权利要求5所述的电子装置，其中，所述第二内容包括用于控制所述第一内容的控制内容。

7.根据权利要求5所述的电子装置，其中，所述处理器被配置为，

控制所述至少一个传感器模块识别通过所述显示器可视的对象，以及

控制所述显示器显示与所述对象有关的所述第一内容。

8.根据权利要求5所述的电子装置，其中，所述处理器被配置为，

从所述移动中确认被设置为选择所述第一内容的至少一部分的第一移动，

从与所述外部对象有关的移动中确认被设置为显示所述第二内容的第二移动，以及

基于所述第二移动，控制所述显示器显示与所述外部对象有关、与所述第一内容的至少一部分有关的第二内容。

9.根据权利要求5所述的电子装置，所述电子装置还包括：

相机模块，

其中，所述处理器被配置为，

控制所述相机模块获得图像，并且

控制所述显示器显示所述第一内容。

10.根据权利要求9所述的电子装置，其中，所述处理器被配置为，

控制所述相机模块或所述至少一个传感器模块以确认所述外部对象沿获取所述图像的方向的移动。

11.根据权利要求10所述的电子装置，其中，所述处理器被配置为，

从所述移动中确认被设置为选择所述第一内容的至少一部分的第一移动，

从与所述外部对象有关的所述移动中确认被设置为显示所述第二内容的第二移动，以及

基于所述第二移动，显示与所述外部对象有关的所述第二内容。

12.根据权利要求11所述的电子装置，其中，所述处理器被配置为，

基于所述第一移动，在显示所述第一内容的所述显示器的至少一部分上显示用于指导所述第二移动的指导内容。

13.根据权利要求5所述的电子装置，其中，所述处理器被配置为，

至少基于对所述第二内容的控制，控制所述第一内容。