CN112445340A - Ar桌面互动方法、装置、电子设备及计算机存储介质 - Google Patents

Abstract

本发明涉及一种AR桌面互动方法、装置、电子设备和计算机存储介质，其中，该AR桌面互动方法包括：识别预设的感测区域内的目标对象，其中，感测区域为桌面以及桌面与摄像模块之间的区域；根据目标对象确定至少一个应用程序，并根据应用程序预设的显示状态打开应用程序的显示界面，其中，显示状态包括第一显示状态或第二显示状态，第一显示状态为全屏显示，第二显示状态包括以预设的窗口尺寸或最小尺寸显示。通过本申请，解决了AR桌面互动存在显示界面与桌面间的适配性低的问题，不会影响用户对桌面日常生活使用的需求，可以提高应用程序的显示界面与桌面间的适配性。

Description

AR桌面互动方法、装置、电子设备及计算机存储介质

技术领域

本发明涉及实体交互技术领域，尤其涉及一种AR桌面互动方法、装置、电子设备及计算机存储介质。

背景技术

实体用户界面(Tangible User Interface，简称TUI)是指将虚拟信息附着在实际物体、空间或平面上，使得该虚拟信息能够直接被感受、触摸甚至操控。AR桌面互动(TableTop Interaction)是TUI概念下基于桌面的一种信息可触碰的技术探索分支方式，虚拟信息在桌面上显示并且可以通过类似平板电脑的点击滑动进行操作，还可以识别到放在桌上的物体并进行实物交互。

传统的操作系统是基于液晶显示屏而设计，为用户提供的操作界面往往撑满整个屏幕显示。而桌面作为一个常见的生活、办公场景，需要满足日常生活需求，例如餐桌要摆放餐具、料理桌要摆放锅具、办公桌要有空间供人办公。在相关技术中，直接将操作系统移植到AR桌面互动设备上，会使待操作的显示界面投影到整个桌面，以上提到的一些日常生活需将会受到干扰，这种AR桌面互动设备仅仅是一个放大的平板电脑，显示界面与供日常生活使用的桌面间的适配性低。

针对相关技术中，AR桌面互动存在显示界面与桌面间的适配性低的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种AR桌面互动方法、装置、电子设备和计算机存储介质，以至少解决相关技术中AR桌面互动存在显示界面与桌面间的适配性低的问题。

第一方面，本申请实施例提供了一种AR桌面互动方法，所述方法包括：

识别预设的感测区域内的目标对象，其中，所述感测区域为桌面以及所述桌面与摄像模块之间的区域；

根据所述目标对象确定至少一个应用程序，并根据所述应用程序预设的显示状态打开所述应用程序的显示界面，其中，所述显示状态包括第一显示状态或第二显示状态，所述第一显示状态为全屏显示，所述第二显示状态包括以预设的窗口尺寸或最小尺寸显示。

在其中一些实施例中，在所述目标对象为手势的情况下，所述根据所述目标对象确定至少一个应用程序，并根据所述应用程序预设的显示状态打开所述应用程序的显示界面包括：

检测所述手势是否符合预设的唤起手势；

在所述手势符合所述唤起手势的情况下，打开应用程序选择界面，并检测所述手势在所述桌面上的第一位置，根据所述第一位置确定所述应用程序选择界面的第一显示范围；

在检测到所述第一显示范围内存在点击动作的情况下，根据所述点击动作的第二位置确定第一应用程序，并打开所述第一应用程序的第一显示界面。

在其中一些实施例中，在所述目标对象为第一物体的情况下，所述根据所述目标对象确定至少一个应用程序，并根据所述应用程序预设的显示状态打开所述应用程序的显示界面包括：

确定与所述第一物体绑定的第二应用程序，并打开所述第二应用程序的第二显示界面。

在其中一些实施例中，所述打开所述第二应用程序的第二显示界面之后，在所述第二应用程序预设的显示状态为所述第一显示状态的情况下，所述方法还包括：

在所述感测区域内识别到第二物体的情况下，确定与所述第二物体绑定的第三应用程序，并在所述第二物体位于所述桌面上的第三位置，显示第三应用程序图标；

在检测到所述第三位置上存在点击动作的情况下，根据所述第三应用程序预设的显示状态，打开所述第三应用程序的第三显示界面。

在其中一些实施例中，在所述第三应用程序预设的显示状态为所述第一显示状态的情况下，所述打开所述第三应用程序的第三显示界面的同时，所述方法还包括：隐藏所述第二显示界面；

在所述第三应用程序预设的显示状态为所述第二显示状态的情况下，所述打开所述第三应用程序的第三显示界面的同时，所述方法还包括：

提高所述第三显示界面的层级，以使所述第三显示界面不被所述第二显示界面遮挡，并持续检测所述第一物体是否发生移动；

在检测到所述第一物体发生移动的情况下，提高所述第二显示界面的层级，以使所述第二显示界面不被所述第三显示界面遮挡。

在其中一些实施例中，所述打开所述第二应用程序的第二显示界面之后，在所述第二应用程序预设的显示状态为所述第二显示状态的情况下，所述方法还包括：

在所述感测区域内识别到第三物体的情况下，根据所述第三物体调整所述第二显示界面的尺寸和/或位置，其中，所述第三物体与所述第二应用程序绑定。

在其中一些实施例中，所述打开所述第二应用程序的第二显示界面之后，在所述第二应用程序预设的显示状态为所述第二显示状态的情况下，所述方法还包括：

检测所述第一物体的移动情况，在检测到所述第一物体移动到所述第二显示界面外的情况下，识别所述第一物体超出所述第二显示界面的距离和方向；

根据所述距离和所述方向，调整所述第二显示界面的位置。

第二方面，本申请实施例提供了一种AR桌面互动装置，所述装置包括识别模块和投影模块；

其中，所述识别模块用于识别预设的感测区域内的目标对象，其中，所述感测区域为桌面以及所述桌面与摄像模块之间的区域；

所述投影模块用于根据所述目标对象确定至少一个应用程序，并根据所述应用程序预设的显示状态打开所述应用程序的显示界面，其中，所述显示状态包括第一显示状态或第二显示状态，所述第一显示状态为全屏显示，所述第二显示状态包括以预设的窗口尺寸或最小尺寸显示。

第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器上并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的AR桌面互动方法。

第四方面，本申请实施例提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的AR桌面互动方法。

相比相关技术，本申请实施例提供的AR桌面互动方法，通过识别预设的感测区域内的目标对象，其中，感测区域为桌面以及桌面与摄像模块之间的区域；根据目标对象确定至少一个应用程序，并根据应用程序预设的显示状态打开应用程序的显示界面，其中，显示状态包括第一显示状态或第二显示状态，第一显示状态为全屏显示，第二显示状态包括以预设的窗口尺寸或最小尺寸显示，解决了相关技术中AR桌面互动存在显示界面与桌面间的适配性低的问题。将各应用程序的显示界面设置为全屏显示或者以预设尺寸显示的，不会影响用户对桌面日常生活使用的需求，可以提高应用程序的显示界面与桌面间的适配性。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的AR桌面互动方法的应用环境示意图；

图2是根据本申请实施例的AR桌面互动方法的流程图；

图3是根据本申请实施例的应用程序选择界面打开的桌面示意图；

图4是根据本申请实施例的按照第二显示状态打开第一显示界面的桌面示意图；

图5是根据本申请实施例的按照第二显示状态打开第二显示界面的桌面示意图；

图6是根据本申请实施例的显示第三应用程序图标的桌面示意图；

图7是根据本申请实施例的按照第一显示状态打开第三显示界面的桌面示意图；

图8是根据本申请实施例的按照第二显示状态打开第三显示界面的桌面示意图；

图9是根据本申请实施例的第二显示界面调整后的桌面示意图；

图10是根据本申请实施例的第一物体超出第二显示界面的桌面示意图；

图11是根据本申请实施例的第二显示界面的位置调整后的桌面示意图；

图12是根据本申请实施例的AR桌面互动装置的结构示意图；

图13是根据本申请实施例的电子设备的内部结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

图1是根据本申请实施例的AR桌面互动方法的应用环境示意图，本申请提供的AR桌面互动方法，可以应用于如图1所示的应用环境中。AR桌面互动设备10包括摄像设备11和投影设备12。本实施例中，摄像设备11可以是深度摄像头，投影设备12可以是投影仪。摄像设备11识别预设的感测区域内任意位置的目标对象，感测区域为桌面以及桌面与摄像设备之间的区域。目标对象可以是手势，也可以一个或多个桌面上常见的物体。投影设备12根据目标对象确定至少一个应用程序，并根据应用程序预设的显示状态打开应用程序的显示界面，显示状态包括第一显示状态或第二显示状态，第一显示状态为全屏显示，第二显示状态包括以预设的窗口尺寸或最小尺寸显示。通过将各应用程序的显示界面设置为全屏显示或者以预设尺寸显示的，可以提高各应用程序的显示界面与桌面间的适配性，解决了AR桌面互动存在显示界面与桌面间的适配性低的问题。并且不论根据何种显示状态显示，显示界面的背景都是透明的，不会影响用户对桌面日常生活使用的需求。

本实施例提供了一种AR桌面互动方法。图2是根据本申请实施例的AR桌面互动方法的流程图，如图2所示，该流程包括如下步骤：

S210、识别预设的感测区域内的目标对象。感测区域为桌面以及桌面与摄像模块之间的区域。识别感测区域内任意位置的目标对象，目标对象可以是由用户手部动作产生的手势，也可以是一个或多个物体。物体可以是锅具、餐具等桌面上常见的3D实物，也可以是实物图片。

S220、根据目标对象确定至少一个应用程序，并根据应用程序预设的显示状态打开应用程序的显示界面。如果识别到的是手势，则根据该手势确定至少一个应用程序。如果识别到的是一个或多个物体，则根据与各物体绑定的至少一个应用程序。然后根据应用程序预设的显示状态，打开应用程序的显示界面。显示状态包括第一显示状态或第二显示状态。第一显示状态是指应用程序在桌面上全屏显示。第二显示状态是指应用程序在桌面上的主界面中以预设的窗口尺寸显示或者以预设的最小尺寸显示，该主界面包括在指定位置的时钟显示界面。各应用程序的显示状态可以根据桌面的日常使用情况以及应用程序的功能，被预先设置为第一显示状态和第二显示状态中的一种。而不论是第一显示状态或是第二显示状态，显示界面的背景均是透明的。

通过步骤S210至步骤S220，可以根据感测区域内任意位置的目标对象，打开对应应用程序的显示界面，应用程序的显示界面是全屏显示或者以预设尺寸显示的，可以满足桌面日常生活使用的各种需求，提高各应用程序的显示界面与桌面间的适配性，解决了AR桌面互动存在显示界面与桌面间的适配性低的问题，并且可以提高用户体验，而不像相关技术中将显示界面直接撑满整个桌面，不但严重影响了用户对桌面的日常使用需求，还不利于一般情况下用户近距离观看或阅读显示界面。并且相较于传统操作系统中显示界面的背景是黑色的，应用程序的显示界面背景都被设置为透明的，不会影响用户对桌面日常生活使用的需求。

在一些实施例中，在目标对象是手势的情况下，检测该手势是否符合预设的唤起手势。该唤起手势可以是根据用户的操作习惯预先设置的，比如手掌在预设时间段内拍击桌面的次数达到预设次数，或者手掌连续拍击桌面的次数达到预设次数等。本实施例中，预设的唤起手势为手掌连续拍击桌面2次。在识别到的手势符合该唤起手势的情况下，打开应用程序选择界面，并检测该手势在桌面上拍击的第一位置，根据该第一位置确定应用程序选择界面的第一显示范围。图3是根据本申请实施例的应用程序选择界面打开的桌面示意图。该应用程序选择界面包括多个应用程序图标，各应用程序图标按照预设的位置显示在第一显示范围内。然后检测第一显示范围内是否存在点击动作，并在检测到点击动作的情况下，根据该点击动作确定第一应用程序，并打开第一应用程序的第一显示界面。根据用户的手势以及手势位置打开相应应用程序的显示界面，可以提高显示界面与桌面的适配性，同时提高用户体验。

优选地，检测点击动作在第一显示范围内发生的第二位置，确定与第二位置上应用程序图标对应的应用程序为第一应用程序，并打开该第一应用程序的显示界面。如果第一应用程序预设显示状态为第一显示状态，则全屏打开；如果第一应用程序预设显示状态为第二显示状态，则在符合唤起手势的用户手势发生的第一位置，打开第一应用程序的第一显示界面。图4是根据本申请实施例的按照第二显示状态打开第一显示界面的桌面示意图。根据点击动作的位置打开相应的应用程序，可以提高显示界面与桌面的适配性，同时提高用户体验。

在一些实施例中，在打开应用程序的显示界面之后，检测用户手部在感测区域内的运动轨迹。当运动轨迹的起点在应用程序的显示界面的透明背景区域时，根据该运动轨迹设置应用程序的显示界面的移动轨迹，将应用程序的显示界面沿该移动轨迹移动。当运动轨迹的起点在应用程序的显示界面边缘时，根据该运动轨迹放大或缩小应用程序的显示界面。通过根据用户手部的运动轨迹，调整应用程序的显示界面的位置或窗口大小，以提高显示界面与桌面的适配性，提高用户体验。

在一些实施例中，在目标对象是感测区域内唯一的第一物体的情况下，确定与该第一物体绑定的第二应用程序，并根据第二应用程序预设的显示状态，全屏或者按照预设尺寸打开该第二应用程序的第二显示界面。第一物体可以根据桌面上物品的出现频率，预先与第二应用程序进行绑定，并在绑定完成后，持续开启在感测区域内对第一物体的识别。本实施例中，第一物体为一个锅具，第二应用程序为一个烹饪APP。如果第二应用程序预设的显示状态为第一显示状态，则全屏打开第二显示界面；如果第二应用程序预设的显示状态为第二显示状态，则在第二物体的位置打开第二应用程序的第二显示界面。图5是根据本申请实施例的按照第二显示状态打开第二显示界面的桌面示意图。通过第一物体控制打开与其绑定的第二应用程序，可以提高显示界面与桌面的适配性。

在一些实施例中，在第二应用程序为第一显示状态的情况下，在感测区内识别到第二物体时，确定与该第二物体绑定的第三应用程序，并检测第二物体位于桌面上的第三位置，在第三位置显示第三应用程序图标。本实施例中，第二物体为一个杯子，与其绑定的APP1不限于是买单APP。图6是根据本申请实施例的显示第三应用程序图标的桌面示意图。第二物体可以根据桌面上物品的出现频率，预先与第三应用程序进行绑定，或者与多个其他应用程序进行绑定，并在绑定完成后，持续开启在感测区域内对第二物体的识别。如果第二物体预先与多个其他应用程序绑定，则在第三位置会显示多个其他应用程序的图标。在检测到第三位置存在点击动作时，根据第三应用程序预设的显示状态，打开该第三应用程序的第三显示界面。在桌面上存在多个物体且各物体均有绑定的应用程序时，通过检测到物体的时间顺序以及手势动作等，打开相应应用程序的显示界面，可以提高显示界面与桌面的适配性。

在一些实施例中，在第三应用程序预设的显示状态为第一显示状态的情况下，全屏打开该第三应用程序的第三显示界面，并通过最小化或图标等方式隐藏第二应用程序的第二显示界面。图7是根据本申请实施例的按照第一显示状态打开第三显示界面的桌面示意图。在第三应用程序预设的显示状态为第二显示状态的情况下，打开第三显示界面并提高第三显示界面的层级，以使第三显示界面不被第二显示界面或其他应用程序的显示界面遮挡，同时持续检测与第二应用程序绑定的第一物体。图8是根据本申请实施例的按照第二显示状态打开第三显示界面的桌面示意图。在检测到第一物体发生移动的情况下，提高第二应用程序的第二显示界面的层级，以使第二显示界面不被第三显示界面或其他应用程序的显示界面遮挡。避免出现多个应用程序的显示界面堆叠的情况发生，可以提高显示界面与桌面的适配性。

在一些实施例中，图9是根据本申请实施例的第二显示界面调整后的桌面示意图。在根据第一物体，打开与其绑定的第二应用程序的第二显示界面之后，在感测区域内识别到同样与第二应用程序绑定的第三物体的情况下，根据第三物体在桌面上的范围调整第二显示界面的尺寸和/或位置，以使调整后的第二显示界面的范围同时包括第一物体和第三物体在桌面上的范围，以提高显示界面与桌面的适配性。本实施例中，第三物体是另一个锅具。可以理解的是，在其他实施例中，第三物体也可以是餐具或其他物体。

在一些实施例中，在根据物体确定应用程序，按照第二显示状态打开相应绑定的应用程序的显示界面之后，检测用户手部在感测区域内的运动轨迹。该运动轨迹可以是用户手部在桌面上拖动产生的，也可以是用户手部在桌面与摄像模块间的空中区域抓取移动产生的。根据该运用轨迹移动或缩放该显示界面，并使移动或缩放后的显示界面的范围包括物体在桌面上的范围，并且移动或缩放后的显示界面的窗口尺寸大于预设的最小尺寸，从而保证应用程序的显示界面与物体在桌面上所占的位置及范围相适应，且可以满足用户对界面观看清晰的需求，提高了显示界面与桌面的适配性。

优选地，在根据物体打开相应绑定应用程序的显示界面之后，在检测到物体在显示界面的范围内发生移动时，保持该绑定应用程序的显示界面的尺寸和位置不变，可以避免因外界干扰造成物体移动，进而影响显示界面正常显示的情况发生。

在一些实施例中，在根据第一物体打开第二应用程序的第二显示界面之后，检测第一物体的移动情况。图10是根据本申请实施例的第一物体超出第二显示界面的桌面示意图。如图10所示，在检测到第一物体移动到显示界面的范围外时，识别第一物体超出第二显示界面的距离，该距离可以通过坐标(x，y)来表示，其中，第二显示界面包括两条纵向边界和两条横向边界，x表示第一物体超出第二显示界面的部分与最靠近的纵向边界之间的最大横向距离，y表示第一物体超出第二显示界面的部分与最靠近的橫向边界之间的最大纵向距离。并根据最大横向距离与最大纵向距离中较大的那个值，得到距离a。并识别第一物体超出第二显示界面的方向，该方向包括横向方向和纵向方向，横向方向包括向左或向右，纵向方向包括向上或向下。图11是根据本申请实施例的第二显示界面的位置调整后的桌面示意图。将第二显示界面的位置沿横向方向移动距离a，沿纵向方向移动距离a，以使第二显示界面的范围包括该第一物体在桌面上的范围，从而保证第二显示界面与第一物体在桌面上所占的位置及范围相适应，提高了显示界面与桌面的适配性。

需要说明的是，不管是第一物体或是第二物体等其他与应用程序绑定的物体发生移动时，绑定的应用程序的显示界面均会根据物体的移动情况，调整位置和/或尺寸。

需要说明的是，为了清楚得示意各种桌面显示情况，图3至图11的背景均采用黑色示意，而在实际应用中，背景均是透明的，各应用程序图标、时钟界面和/或各应用程序显示界面中的文字、图片等均以用户可以清楚查看的颜色显示。

本申请实施例提供了一种AR桌面互动装置。图12是根据本申请实施例的AR桌面互动装置的结构示意图，如图12所示，该装置包括识别模块121和投影模块122：识别模块121用于识别预设的感测区域内的目标对象，其中，感测区域为桌面以及桌面与摄像模块之间的区域；投影模块122用于根据目标对象确定至少一个应用程序，并根据应用程序预设的显示状态打开应用程序的显示界面，其中，显示状态包括第一显示状态或第二显示状态，第一显示状态为全屏显示，第二显示状态包括以预设的窗口尺寸或最小尺寸显示。

关于AR桌面互动装置的具体限定可以参见上文中对于AR桌面互动方法的限定，在此不再赘述。上述AR桌面互动装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

本申请实施例还提供了一种电子设备，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子设备还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

另外，结合上述实施例中的AR桌面互动方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种AR桌面互动方法。

在一个实施例中，图13是根据本申请实施例的电子设备的内部结构示意图，如图13所示，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图13所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的数据库用于存储数据。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种AR桌面互动方法。

本领域技术人员可以理解，图13中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种AR桌面互动方法，其特征在于，所述方法包括：

识别预设的感测区域内的目标对象，其中，所述感测区域为桌面以及所述桌面与摄像模块之间的区域；

根据所述目标对象确定至少一个应用程序，并根据所述应用程序预设的显示状态打开所述应用程序的显示界面，其中，所述显示状态包括第一显示状态或第二显示状态，所述第一显示状态为全屏显示，所述第二显示状态包括以预设的窗口尺寸或最小尺寸显示。

2.根据权利要求1所述的方法，其特征在于，在所述目标对象为手势的情况下，所述根据所述目标对象确定至少一个应用程序，并根据所述应用程序预设的显示状态打开所述应用程序的显示界面包括：

检测所述手势是否符合预设的唤起手势；

在所述手势符合所述唤起手势的情况下，打开应用程序选择界面，并检测所述手势在所述桌面上的第一位置，根据所述第一位置确定所述应用程序选择界面的第一显示范围；

在检测到所述第一显示范围内存在点击动作的情况下，根据所述点击动作的第二位置确定第一应用程序，并打开所述第一应用程序的第一显示界面。

3.根据权利要求1所述的方法，其特征在于，在所述目标对象为第一物体的情况下，所述根据所述目标对象确定至少一个应用程序，并根据所述应用程序预设的显示状态打开所述应用程序的显示界面包括：

确定与所述第一物体绑定的第二应用程序，并打开所述第二应用程序的第二显示界面。

4.根据权利要求3所述的方法，其特征在于，所述打开所述第二应用程序的第二显示界面之后，在所述第二应用程序预设的显示状态为所述第一显示状态的情况下，所述方法还包括：

在所述感测区域内识别到第二物体的情况下，确定与所述第二物体绑定的第三应用程序，并在所述第二物体位于所述桌面上的第三位置，显示第三应用程序图标；

在检测到所述第三位置上存在点击动作的情况下，根据所述第三应用程序预设的显示状态，打开所述第三应用程序的第三显示界面。

5.根据权利要求4所述的方法，其特征在于，在所述第三应用程序预设的显示状态为所述第一显示状态的情况下，所述打开所述第三应用程序的第三显示界面的同时，所述方法还包括：隐藏所述第二显示界面；

在所述第三应用程序预设的显示状态为所述第二显示状态的情况下，所述打开所述第三应用程序的第三显示界面的同时，所述方法还包括：

提高所述第三显示界面的层级，以使所述第三显示界面不被所述第二显示界面遮挡，并持续检测所述第一物体是否发生移动；

在检测到所述第一物体发生移动的情况下，提高所述第二显示界面的层级，以使所述第二显示界面不被所述第三显示界面遮挡。

6.根据权利要求3所述的方法，其特征在于，所述打开所述第二应用程序的第二显示界面之后，在所述第二应用程序预设的显示状态为所述第二显示状态的情况下，所述方法还包括：

在所述感测区域内识别到第三物体的情况下，根据所述第三物体调整所述第二显示界面的尺寸和/或位置，其中，所述第三物体与所述第二应用程序绑定。

7.根据权利要求3至6任一项中所述的方法，其特征在于，所述打开所述第二应用程序的第二显示界面之后，在所述第二应用程序预设的显示状态为所述第二显示状态的情况下，所述方法还包括：

检测所述第一物体的移动情况，在检测到所述第一物体移动到所述第二显示界面外的情况下，识别所述第一物体超出所述第二显示界面的距离和方向；

根据所述距离和所述方向，调整所述第二显示界面的位置。

8.一种AR桌面互动装置，其特征在于，所述装置包括识别模块和投影模块；

其中，所述识别模块用于识别预设的感测区域内的目标对象，其中，所述感测区域为桌面以及所述桌面与摄像模块之间的区域；

所述投影模块用于根据所述目标对象确定至少一个应用程序，并根据所述应用程序预设的显示状态打开所述应用程序的显示界面，其中，所述显示状态包括第一显示状态或第二显示状态，所述第一显示状态为全屏显示，所述第二显示状态包括以预设的窗口尺寸或最小尺寸显示。

9.一种电子设备，包括存储器、处理器以及存储在所述存储器上并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的AR桌面互动方法。

10.一种计算机存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一项所述的AR桌面互动方法。

Images