CN116071523A - 显示方法及电子设备 - Google Patents

Abstract

本申请公开了显示方法及电子设备，涉及媒体技术领域，能够提升AR应用的交互性和沉浸感。该方法包括：首先电子设备响应于第一操作，启动摄像头并显示应用界面。然后电子设备响应于第二操作，执行第三操作。其中，应用界面包括取景框，取景框的取景画面中包括目标物体，第三操作包括在第一区域生成第一mask并将第一视野范围内的第一三维表示投影至第一mask，第一区域为取景画面中目标物体所在区域，第一视野范围为三维地图中第一区域对应的视野范围，第一视野范围内包括第一三维表示和第二三维表示，第二三维表示为目标物体的三维表示，三维表示包括点云、Mesh或语义中的至少一项。

Description

显示方法及电子设备

本申请要求于2021年11月01日提交中国专利局、申请号为202111283430.5、申请名称为“显示方法及电子设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本申请涉及媒体技术领域，尤其涉及显示方法及电子设备。

背景技术

增强现实(augmented reality，AR)技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。

然而，现有AR应用功能较为单调，缺乏交互性和沉浸感，用户体验较差。

发明内容

本申请提供了显示方法及电子设备，能够提升AR应用的交互性和沉浸感，以提高用户使用AR应用时的用户体验。为达到上述目的，本申请采用如下技术方案：

第一方面，本申请提供了一种显示方法，应用于包含摄像头的电子设备，该方法包括：

首先电子设备响应于第一操作，启动摄像头并显示应用界面。然后电子设备响应于第二操作，执行第三操作。其中，应用界面包括取景框，取景框的取景画面中包括目标物体，第三操作包括在第一区域生成第一掩膜(mask)并将第一视野范围内的第一三维表示投影至第一mask，第一区域为取景画面中目标物体所在区域，第一视野范围为三维地图中第一区域对应的视野范围，第一视野范围内包括第一三维表示和第二三维表示，第二三维表示为目标物体的三维表示。第一三维表示为第一视野范围内的三维表示中除第二三维表示之外的其他三维表示，上述三维表示包括点云、网格(Mesh)或语义中的至少一项。

可以看出，本申请实施例提供的显示方法中，电子设备通过AR应用界面内的取景画面可以显示摄像头所采集到的用户所处现实世界内的物体，用户可以通过操作使AR应用先在取景画面内的某个物体所在区域生成掩膜遮挡该物体，然后通过将三维地图中该物体所在区域对应的视野范围(即第一视野范围)内除该物体对应的虚拟三维物体(即第二三维表示)外的其他三维表示(即第一三维表示)投影至上述掩膜，以使AR应用中用户所处现实世界内的物体随用户操作而隐形消失，使AR应用显示“该物体隐形消失后的现实世界”，从而增加了AR应用与现实世界的交互性，提升了AR应用的用户沉浸感。

例如，用户所处房间内存在一个柜子，用户想要看到柜子后方的背景墙但不想搬动柜子。这时用户就可以通过操作使柜子在AR应用中隐形消失以通过AR应用查看柜子后方的背景墙，由此增加了AR应用于现实世界的交互性，提升了AR应用的用户沉浸感。

可选地，取景框的取景画面中可以包括多个物体，目标物体可以为所述多个物体中的任一物体。

可以看出，本申请实施例提供的显示方法中，电子设备通过AR应用界面内的取景画面可以显示摄像头所采集到的用户所处现实世界内的多个物体，用户可以先从这多个物体中选择一个物体作为目标物体，然后通过操作使AR应用先在取景画面内的目标物体所在区域生成掩膜遮挡该物体，然后通过将三维地图中该物体所在区域对应的视野范围(即第一视野范围)内除该物体对应的虚拟三维物体(即第二三维表示)外的其他三维表示(即第一三维表示)投影至上述掩膜，以使AR应用中用户所处现实世界内的物体随用户操作而隐形消失，使AR应用显示“该物体隐形消失后的现实世界”，从而增加了AR应用与现实世界的交互性，提升了AR应用的用户沉浸感。

可选地，取景框的取景画面中可以包括可编辑物体和不可编辑物体，目标物体为任一可编辑物体。

可以看出，本申请实施例提供的显示方法中，电子设备通过AR应用界面内的取景画面可以显示摄像头所采集到的用户所处现实世界内的多个物体，用户可以先从这多个物体中选择一个可编辑物体作为目标物体，然后通过操作使AR应用先在取景画面内的目标物体所在区域生成掩膜遮挡该物体，然后通过将三维地图中该物体所在区域对应的视野范围(即第一视野范围)内除该物体对应的虚拟三维物体(即第二三维表示)外的其他三维表示(即第一三维表示)投影至上述掩膜，以使AR应用中用户所处现实世界内的物体随用户操作而隐形消失，使AR应用显示“该物体隐形消失后的现实世界”，从而增加了AR应用与现实世界的交互性，提升了AR应用的用户沉浸感。

在一种可能的实现方式中，该方法还可以包括：将三维地图中的三维表示标记为可编辑三维表示和不可编辑三维表示。

可以看出，本申请实施例提供的显示方法，可以将三维地图中的三维表示标记为可编辑三维表示和不可编辑三维表示。电子设备通过AR应用界面内的取景画面可以显示摄像头所采集到的用户所处现实世界内的多个物体，电子设备可以通过物体对应的三维标记确定物体是否可编辑物体，当用户选择的物体为可编辑物体，将该物体作为目标物体，然后通过操作使AR应用先在取景画面内的目标物体所在区域生成掩膜遮挡该物体，然后通过将三维地图中该物体所在区域对应的视野范围(即第一视野范围)内除该物体对应的虚拟三维物体(即第二三维表示)外的其他三维表示(即第一三维表示)投影至上述掩膜，以使AR应用中用户所处现实世界内的物体随用户操作而隐形消失，使AR应用显示“该物体隐形消失后的现实世界”，从而增加了AR应用与现实世界的交互性，提升了AR应用的用户沉浸感。

在一种可能的实现方式中，第三操作还可以包括根据第三三维表示填充第一mask中未投影三维表示的区域。其中，第三三维表示为第二视野范围内的三维表示，第二视野范围是与第一视野范围相邻的视野范围。

可以理解的是，由于物体之间的遮挡关系，三维地图中物体后方的背景部分的三维表示可能是不完整的，电子设备执行上述第三操作后可能会造成取景画面中隐形物品后方的背景不完整，取景画面不连续。对于上述情况可以根据第三三维表示填充第一mask中未投影三维表示的区域以补全取景画面中缺失的背景使取景画面连续，从而提升AR应用的用户体验。

在一种可能的实现方式中，该方法还可以包括：电子设备响应于第四操作，执行第三操作，在第二区域生成第二mask并将第二三维表示投影至第二mask。

可以看出，电子设备还可以响应于用户操作，先将AR应用中取景画面中用户所处现实世界内的物体隐形，然后在用户指定区域(即第二区域)生成掩膜并将该物体对应的三维表示投影至该掩膜，以使得AR应用中用户所处现实世界内的物体随用户操作而移动，使AR应用显示“该物体移动后的现实世界”，从而进一步增加了AR应用与现实世界的交互性，提升了AR应用的用户沉浸感

在一种可能的实现方式中，该方法还可以包括：电子设备响应于第五操作，执行第三操作，在第三区域生成第三mask并将第四三维表示投影至第三mask，第四三维表示为形变后的第二三维表示。

可以看出，电子设备还可以响应于用户操作，先将AR应用中取景画面中用户所处现实世界内的物体隐形，然后在取景画面内生成掩膜并将形变后的第二三维表示投影至该掩膜，以使AR应用中用户所处现实世界内的物体随用户操作而形变，使AR应用显示“该物体形变后的现实世界”，从而进一步增加了AR应用与现实世界的交互性，提升了AR应用的用户沉浸感。

在一种可能的实现方式中，该方法还可以包括：根据形变信息和第二三维表示的三维坐标生成第四三维表示，形变信息用于表征形变类型和形变倍率。

可以看出，电子设备还可以响应于用户操作，先将AR应用中取景画面中用户所处现实世界内的物体隐形，之后根据形变信息和第二三维表示的三维坐标生成第四三维表示(即形变后的第二三维表示)，然后在取景画面内生成掩膜并将形变后的第二三维表示投影至该掩膜，以使AR应用中用户所处现实世界内的物体随用户操作而形变，使AR应用显示“该物体形变后的现实世界”，从而进一步增加了AR应用与现实世界的交互性，提升了AR应用的用户沉浸感。

可选地，第四三维表示可以为放大、缩小或拉伸后第二三维表示。例如，第四三维表示可以为放大5倍后的第二三维表示。

可以看出，电子设备还可以响应于用户操作，先将AR应用中取景画面中用户所处现实世界内的物体隐形，然后在取景画面内生成掩膜并将放大、缩小或拉伸后的第二三维表示投影至该掩膜，以使AR应用中用户所处现实世界内的物体随用户操作而放大、缩小或拉伸，使AR应用显示“该物体放大、缩小或拉伸后的现实世界”，从而进一步增加了AR应用与现实世界的交互性，提升了AR应用的用户沉浸感。

可选地，第二三维表示和第四三维表示的锚点可以相同。其中，锚点可以为位于三维表示的重心垂线方向上Z轴坐标最小的点。

在一种可能的实现方式中，该方法还可以包括：根据取景画面的位姿信息确定第三视野范围，根据区域(如第一区域、第二区域或第三区域等)在取景画面中的位置确定区域在第三视野范围内的视野范围。其中，第三视野范围为三维地图中取景画面对应的视野范围。

可以看出，本申请实施例提供的显示方法中，电子设备通过AR应用界面内的取景画面可以显示摄像头所采集到的用户所处现实世界内的物体，用户可以通过操作使AR应用先在取景画面内的某个物体所在区域生成掩膜遮挡该物体，之后通过取景画面的位姿信息确定三维地图中该物体所在区域对应的视野范围(即第一视野范围)，然后通过将三维地图中该物体所在区域对应的视野范围内除该物体对应的虚拟三维物体(即第二三维表示)外的其他三维表示(即第一三维表示)投影至上述掩膜，以使AR应用中用户所处现实世界内的物体随用户操作而隐形消失，使AR应用显示“该物体隐形消失后的现实世界”，从而增加了AR应用与现实世界的交互性，提升了AR应用的用户沉浸感。

在一种可能的实现方式中，该方法还可以包括：根据第一图像块，从第一视野范围内的三维表示中确定第二三维表示。其中，第一图像块为取景画面中包含目标物体的图像块。

可以看出，本申请实施例提供的显示方法中，电子设备通过AR应用界面内的取景画面可以显示摄像头所采集到的用户所处现实世界内的物体，用户可以通过操作使AR应用先在取景画面内的某个物体所在区域生成掩膜遮挡该物体，然后通过包含该物体的图像块从三维地图中该物体所在区域对应的视野范围(即第一视野范围)确定该物体对应的三维表示并将三维地图中该物体所在区域对应的视野范围内除该物体对应的虚拟三维物体外的其他三维表示(即第一三维表示)投影至上述掩膜，以使AR应用中用户所处现实世界内的物体随用户操作而隐形消失，使AR应用显示“该物体隐形消失后的现实世界”，从而增加了AR应用与现实世界的交互性，提升了AR应用的用户沉浸感。

第二方面，本申请还提供了另一种显示方法，应用于包含摄像头的电子设备，该方法包括：首先电子设备响应于第一操作，启动摄像头并显示应用界面。然后电子设备响应于第二操作，执行第三操作。其中，应用界面包括取景框，取景框的取景画面中包括目标物体，第三操作包括在第一区域生成mask并将第一视野范围内的三维表示投影至第一mas k，第一区域为取景画面中目标物体所在区域，第一视野范围为三维地图中第一区域对应的视野范围，三维表示包括点云、Mesh或语义中的至少一项。

可以看出，本申请实施例提供的显示方法中，电子设备通过AR应用界面内的取景画面可以显示摄像头所采集到的用户所处现实世界内的物体，用户可以通过操作使AR应用先在取景画面内的某个物体所在区域生成掩膜遮挡该物体，然后通过将三维地图中该物体所在区域对应的视野范围(即第一视野范围)内的虚拟三维物体(即三维表示)投影至上述掩膜，以使AR应用中用户所处现实世界内的物体随用户操作而隐形消失，使AR应用显示“该物体隐形消失后的现实世界”，从而增加了AR应用与现实世界的交互性，提升了AR应用的用户沉浸感。

例如，用户在通过AR应用拍摄某一物体时，取景画面中出现了行人。用户则可以通过操作电子设备执行上述显示方法，使行人从取景画面中消失，使取景画面显示“该行人隐形消失后的现实世界”。

在一种可能的实现方式中，电子设备可以在第一视野范围内不存在第一三维表示的情况下，执行上述第三操作。其中，上述第一三维表示为上述目标物体的三维表示。

可以理解的是，第一视野范围内不存在第一三维表示说明目标物体的三维表示并未存储在三维地图中，即三维地图中存储的场景为不存在目标物体的场景。因此可以直接将三维地图中目标物体所在区域的三维表示直接投影至取景画面中以使得目标物体从取景画面中隐形消失。

在一种可能的实现方式中，该方法还包括：根据第一图像块，从所述第一视野范围内的三维表示中确定是否存在第一三维表示，所述第一图像块为所述取景画面中包含所述目标物体的图像块，所述第一三维表示为所述目标物体的三维表示。

可以理解的是，当第一图像块在第一视野范围内能够匹配到对应的三维表示，则说明第一视野范围内存在目标物体的三维表示；当第一图像块在第一视野范围内不能够匹配到对应的三维表示则说明第一视野范围内不存在目标物体的三维表示。

第三方面，本申请还提供了一种电子设备，包括：至少一个处理器、存储器和至少一个摄像头，存储器、摄像头与处理器耦合，存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当处理器从存储器中读取计算机指令，以使得电子设备执行如下操作：响应于第一操作，启动摄像头并显示应用界面，应用界面包括取景框，取景框的取景画面中包括目标物体；响应于第二操作，执行第三操作，第三操作包括在第一区域生成第一掩膜mask并将第一视野范围内的第一三维表示投影至第一mask，第一区域为取景画面中目标物体所在区域，第一视野范围为三维地图中第一区域对应的视野范围，第一视野范围内包括第一三维表示和第二三维表示，第二三维表示为目标物体的三维表示。第一三维表示为第一视野范围内的三维表示中除第一三维表示之外的其他三维表示，上述三维表示包括点云、Mesh或语义中的至少一项。

可选地，取景框的取景画面中可以包括多个物体，目标物体可以为所述多个物体中的任一物体。

可选地，取景框的取景画面中可以包括可编辑物体和不可编辑物体，目标物体为任一可编辑物体。

在一种可能的实现方式中，处理器还用于将三维地图中的三维表示标记为可编辑三维表示和不可编辑三维表示。

在一种可能的实现方式中，第三操作还可以包括根据第三三维表示填充第一mask中未投影三维表示的区域。其中，第三三维表示为第二视野范围内的三维表示，第二视野范围是与第一视野范围相邻的视野范围。

在一种可能的实现方式中，处理器还用于使得电子设备执行如下操作：响应于第四操作，执行第三操作，在第二区域生成第二mask并将第二三维表示投影至第二mask。

在一种可能的实现方式中，处理器还用于使得电子设备执行如下操作：响应于第五操作，执行第三操作，在第三区域生成第三mask并将第四三维表示投影至第三mask，第四三维表示为第四三维表示，第四三维表示为形变后的第二三维表示。

在一种可能的实现方式中，处理器还用于使得电子设备执行如下操作：根据形变信息和第二三维表示的三维坐标生成第四三维表示，形变信息用于表征形变类型和形变倍率。

可选地，第四三维表示可以为放大、缩小或拉伸后第二三维表示。例如，第四三维表示可以为放大5倍后的第二三维表示。

可选地，第二三维表示和第四三维表示的锚点可以相同。其中，锚点可以为位于三维表示的重心垂线方向上Z轴坐标最小的点。

在一种可能的实现方式中，处理器还用于使得电子设备执行如下操作：根据取景画面的位姿信息确定第三视野范围，根据区域(如第一区域、第二区域或第三区域等)在取景画面中的位置确定区域在第三视野范围内的视野范围。其中，第三视野范围为三维地图中取景画面对应的视野范围。

在一种可能的实现方式中，处理器还用于使得电子设备执行如下操作：根据第一图像块，从第一视野范围内的三维表示中确定第二三维表示。其中，第一图像块为取景画面中包含目标物体的图像块。

第四方面，本申请还提供一种芯片，包括：输入接口、输出接口、至少一个处理器。可选地，该芯片还包括存储器。该至少一个处理器用于执行该存储器中的代码，当该至少一个处理器执行该代码时，该芯片实现上述第一方面或其任意可能的实现方式中所述的方法。

可选地，上述芯片还可以为集成电路。

第五方面，本申请还提供一种终端，该终端包括上述电子设备或上述芯片。

第六方面，本申请还提供一种计算机可读存储介质，用于存储计算机程序，该计算机程序包括用于实现上述第一方面或其任意可能的实现方式中所述的方法。

第七方面，本申请还提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机实现上述第一方面或其任意可能的实现方式中所述的方法。

本实施例提供的电子设备、计算机存储介质、计算机程序产品和芯片均用于执行上文所提供的显示方法，因此，其所能达到的有益效果可参考上文所提供的显示方法中的有益效果，此处不再赘述。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种电子设备的结构示意图；

图2为本申请实施例提供的一种电子设备的软件结构示意图；

图3为本申请实施例提供的一种电子设备的用户界面示意图；

图4为本申请实施例提供的另一种电子设备的用户界面示意图；

图5为本申请实施例提供的又一种电子设备的用户界面示意图；

图6为本申请实施例提供的又一种电子设备的用户界面示意图；

图7为本申请实施例提供的又一种电子设备的用户界面示意图；

图8为本申请实施例提供的又一种电子设备的用户界面示意图；

图9为本申请实施例提供的一种显示方法的流程示意图；

图10为本申请实施例提供的另一种显示方法的流程示意图；

图11为本申请实施例提供的一种装置的结构示意图；

图12为本申请实施例提供的另一种装置的结构示意图；

图13为本申请实施例提供的一种芯片的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

本申请的说明书以及附图中的术语“第一”和“第二”等是用于区别不同的对象，或者用于区别对同一对象的不同处理，而不是用于描述对象的特定顺序。

此外，本申请的描述中所提到的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选的还包括其他没有列出的步骤或单元，或可选的还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

需要说明的是，本申请实施例的描述中，“示例性地”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。

在本申请的描述中，除非另有说明，“多个”的含义是指两个或两个以上。

本申请实施例提供的显示方法可以应用于手机、平板电脑、可穿戴设备、车载设备、AR设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)等可以实现AR功能的电子设备上，本申请实施例对电子设备的具体类型不作任何限制。

示例性地，图1是本申请实施例提供的一例电子设备100的结构示意图。电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universalserial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。例如，在一种可能的实现方式中，电子设备100还可以包括视觉传感器、惯性测量单元(inertial measurement unit，IMU)、激光雷达(light detection and ranging，LIDAR)、磁力计等部件。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuit sound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronousreceiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processorinterface，MIPI)，通用输入输出(general-purpose input/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serialbus，USB)接口等。

其中，I2C接口是一种双向同步串行总线，处理器110可以通过I2C接口耦合触摸传感器180K，使处理器110与触摸传感器180K通过I2C总线接口通信，实现电子设备100的触摸功能。MIPI接口可以被用于连接处理器110与显示屏194，摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface，CSI)，显示屏串行接口(display serialinterface，DSI)等。在一些实施例中，处理器110和摄像头193通过CSI接口通信，实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信，实现电子设备100的显示功能。

可以理解的是，本申请实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。

电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

电子设备100可以通过ISP，摄像头193，触摸传感器、视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

其中，ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号，应理解，在本申请实施例的描述中，以RGB格式的图像为例进行介绍，本申请实施例对图像格式不做限定。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。

电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。陀螺仪传感器180B可以用于确定电子设备100的运动姿态。气压传感器180C用于测量气压。磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。距离传感器180F，用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，电子设备100可以利用距离传感器180F测距以实现快速对焦。接近光传感器180G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。温度传感器180J用于检测温度。触摸传感器180K，也称“触控面板”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。骨传导传感器180M可以获取振动信号。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号，解析出语音信号，实现语音功能。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。SIM卡接口195用于连接SIM卡。

电子设备100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以一种分层架构的操作系统为例，示例性说明电子设备100的软件结构。

图2是本申请实施例的电子设备100的软件结构框图。分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将该操作系统分为四层，从上至下分别为应用程序层，应用程序框架层，操作系统运行时(runtime)和系统库，以及内核层。

应用程序层可以包括一系列应用程序包。如图2所示，应用程序包可以包括相机、相册、音乐、设置等应用程序。

应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。如图2所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，资源管理器，通知管理器等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。

内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。

视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，状态栏中显示通知信息可以短暂停留后自动消失，例如用于告知用户下载完成的消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，或者通知管理器还可以发出提示音，例如电子设备振动，指示灯闪烁等。

Runtime包括核心库和虚拟机。Runtime负责该操作系统的调度和管理。核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是该操作系统的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(media libraries)，三维图形处理库(例如：开放图形库(open graphics library，OpenGL)嵌入式系统(embedded systems，ES))，2D图形引擎(例如：场景图库(scene graphlibrary，SGL))等。

表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。

媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如：动态图像专家组(moving pictures experts group，MPEG)4，H.264，MP3，高级音频编码(advanced audio coding，AAC)，多速率自适应(adaptibve multi rate，AMR)，图像专家联合小组(joint photographic experts group，JPG)，便携式网络图形(portable network graphics，PNG)等。

三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。2D图形引擎是2D绘图的绘图引擎。

内核层是硬件和软件之间的层。其中，内核层可以包含硬件驱动模块，例如显示驱动，摄像头驱动、传感器驱动等，应用程序框架层可以调用内核层的硬件驱动模块。

为了便于理解，本申请以下实施例将以具有图1和图2所示结构的电子设备为例，介绍本申请实施例提供的显示方法。

以下实施例中所涉及的技术方案均可以在具有上述硬件架构和软件架构的电子设备100中实现。

下面结合附图对本申请实施例提供的技术方案进行详细说明。

图3是本申请实施例提供的一种图形用户界面(graphical user interface，GUI)示意图，图3示出了电子设备100的解锁模式下，电子设备100的屏幕显示系统显示了当前输出的界面内容301，该界面内容301为电子设备100的主界面。该界面内容301显示了多款应用程序(application，App)，例如AR、相机、通讯录、电话、信息、时钟等应用程序。可以理解的是，界面内容301还可以包括其他更多或更少的应用程序，本申请实施例对此不作限定。

用户可以通过触摸电子设备100屏幕上特定的控件、按压特定的物理按键或按键组合、输入语音、隔空手势等方式，指示电子设备100开启AR应用。响应于接收到用户开启AR应用的指示后，电子设备100启动摄像头和AR应用，显示AR应用界面。其中，用户指示电子设备100开启AR应用的指示可简称为第一操作。

示例性地，如图3所示，用户可以通过在主界面上点击“AR”应用图标，指示电子设备100开启AR应用，电子设备100显示如图4中(a)图所示的应用界面。

又示例性地，在电子设备100处于锁屏状态时，用户也可以通过在电子设备100屏幕上向下滑动的手势，指示电子设备100开启AR应用，电子设备100显示如图4中(a)图所示的应用界面。或者，电子设备100处于锁屏状态时，用户可以通过在锁屏界面上点击“AR”应用的快捷图标，指示电子设备100开启AR应用，电子设备100显示如图4中(a)图所示的应用界面。

又示例性地，在电子设备100运行其他应用时，用户也可以通过点击相应的控件使得电子设备100开启AR应用。例如，用户正在使用即时通信类应用时，用户也可以通过选择AR功能的控件，指示电子设备100开启AR应用，电子设备100显示如图4中(a)图所示的应用界面。

如图4中(a)图所示，AR应用的界面包括取景框401，取景框401可用于预览摄像头采集到的图像(或画面)。如图4中(a)图所示的取景框401可用于预览摄像头采集到的包括V形物体、矩形物体、黑色条纹背景和白色条纹背景的取景画面。此时，取景画面中的物体均为真实场景中的物体。

在开启AR应用后，电子设备100可以读取已建立好的三维地图(以下简称离线三维地图)，电子设备100也可以在线建立三维地图(以下简称在线三维地图)。其中，三维地图中可以包括三维表示(包括点云、Mesh、语义和图像特征点等信息)。

上述建立三维地图的具体方法可以采用本领域技术人员能够想到的任何一种方法进行处理，本申请实施例对此不作具体限定。例如，可以使用即时定位与地图构建(simultaneous localization and mapping，SLAM)或运动恢复结构(structure frommotion，SFM)等算法通过视觉传感器、IMU、LIDAR、磁力计、全球定位系统(globalpositioning system，GPS)等传感器采集的数据建立三维地图。

三维地图生成设备或电子设备在生成三维地图可以将其离线保存为文件，对于不同类型场景的三维地图可以采用不同的保存方式。例如，对于家庭级的场景(如房间或全屋的三维地图)，可以将对应的地图保存成一个文件，使用时直接读取；对于商场、景区的场景，由于这些场景的地图较大，可以将对应的地图分成小块，分块保存，使用时，电子设备100可以根据自身的定位信息(如GPS或基于位置的服务(location based service，LBS))，分块读取或加载三维地图。

用户可以通过触摸电子设备100屏幕上特定的控件、按压特定的物理按键或按键组合、输入语音、隔空手势等方式选择目标物体和指示电子设备100对取景画面中的目标物体进行编辑(如隐形、移动和形变等)。其中，取景画面中可以包括多个物体，该多个物体可以统称为第一物体，目标物体可以为多个第一物体中的任一物体。例如，目标物体可以为图4中(a)图所示的V形物体或矩形物体。

可选地，取景画面可以包括可编辑物体和不可编辑物体。目标物体可以为任一可编辑物体。其中，可编辑物体在三维地图中对应的三维表示为可编辑三维表示，不可编辑物体在三维地图中对应的三维表示为不可编辑三维表示或在三维地图中不存在对应的三维表示。不可编辑物体可以包括取景画面中的背景以及取景画面中存在但三维地图中不存在的物体(即真实场景中存在但三维地图中不存在的物体，以下简称为第二物体)。例如，图4中(a)图所示的取景画面中V形物体和矩形物体为第一物体中的可编辑物体，黑色条纹背景和白色条纹背景为第一物体中的不可编辑物体。

可以理解的是，当三维地图为离线地图时，由于离线地图的建立时刻早于取景画面的生成时刻，可能会造成取景画面中的物体与三维地图中的物体不一致的情况。例如，在建立某房间的三维地图时该房间内的桌子上无物体，但在建立三维地图后有人在桌子上放置了水杯。用户在该房间使用AR应用时，通过取景画面可以看到该房间内存在水杯，但三维地图中不存在水杯，则水杯为该场景内第一物体中的不可编辑物体。

在用户选择目标物体后，电子设备100可以从三维地图中确定该物体对应的三维表示。例如，用户可以通过长按取景画面中的物体选择目标物体，用户选择物体后，电子设备100首先可以通过图像分割技术从取景画面中选择包括该目标物体的图像块(以下简称第一图像块)，然后根据第一图像块从三维地图内的三维表示中确定该目标物体对应的三维表示。

值得一提的是，目标物体对应的三维表示的大小可能比取景框画面中目标物体的图像中显示的部分更大。例如，取景画面中只有半张桌子，用户点击匹配到三维地图中桌子的三维表示后，后续的编辑功能可以是对这个完整桌子的三维表示的操作。

在一种可能的实现方式中，电子设备100可以根据取景画面的位姿信息确定三维地图中取景画面对应的视野范围(以下简称为第三视野范围)，然后从第三视野范围中的三维表示中确定该目标物体对应的三维表示。

示例性地，电子设备100通过重定位和SLAM实时跟踪技术确定第三视野范围，然后从第三视野范围中的三维表示中确定该目标物体对应的三维表示。例如，先通过SLAM以取景画面为原点建立局部坐标系，通过重定位技术根据电子设备100采集的传感器数据计算出电子设备100的取景画面在三维地图中的6自由度(degree O freedom，DoF)位姿以及取景画面的局部坐标系与三维地图的坐标系的对冲值(delta)量，通过delta量将局部坐标系对齐到三维地图的坐标系，然后根据取景画面的6Dof位姿确定第三视野范围，之后通过第三视野范围的三维表示与第一图像块进行二维(2D)－三维(3D)匹配，当第一图像块内的大部分特征点匹配到的三维表示属于同一个三维表示时，即确定该三维表示为目标物体对应的三维表示。

在另一种可能的实现方式中，电子设备100可以根据取景画面的位姿信息确定三维地图中取景画面对应的视野范围(以下简称为第三视野范围)，然后根据第一图像块在取景画面中的位置从第三视野范围内确定三维地图中第一图像快对应的视野范围，然后从第一图像快对应的视野范围中的三维表示中确定该目标物体对应的三维表示。

上述重定位的具体方法可以采用本领域技术人员能够想到的任何一种方法进行处理，本申请实施例对此不作具体限定。例如，基于词袋模型(bag of word，BoW)的匹配方案(如ORB-SLAM、VINS等)、基于机器学习匹配补丁(patch)的方法(如PTAM)或基于深度学习的网局部特征聚合描述符(net vector of locally aggregated descriptors，NetVlad)方法等。

在一种可能的实现方式中，电子设备100(或其他设备)可以将三维地图中的三维表示标记为可编辑三维表示和不可编辑三维表示。

在一种可能的实现方式中，电子设备100可以判断用户选择的物体是否为可编辑物体，当用户选择的物体为不可编辑物体时，可以通过文字信息、图像信息或声音信息提示用户选择的物体为不可编辑物体。例如，电子设备100可以通过标记信息判断用户选择的物体是否为背景，通过判断三维地图中是否存在用户选择的物体对应的三维表示判断用户选择的物体是否为第二物体。若该物体非背景且非第二物体，则确定该物体为可编辑物体；若该物体为背景或第二物体，则确定该物体为不可编辑物体。

上述标记信息用于标识物体是否为背景。可以通过三维语义分割/检测技术对三维地图中的物体进行标记。例如，可以通过对三维地图(如SLAM地图)中物体的点云或Mesh进行语义分割/检测，离散化并编号以标记出该三维地图中哪些是可编辑物体(如桌子、凳子、杯子、电脑等)，哪些是背景(如地面、墙面等)，用于后续编辑处理。上述三维语义分割/检测可采用现有技术中的任意一种，本申请实施例对此不做限定。

在另一种可能的实现方式中，电子设备100可以在取景画面中对目标物体进行标记以便于用户选择目标物体。例如，电子设备100可以用户未选择目标物体时在取景画面中对可编辑的第一物体进行高亮显示，当用户选择目标物体后停止高亮显示。例如，在用户选择目标物体之前，根据当前取景画面的6Dof位姿，在当前取景画面上投影匹配三维地图中当前取景画面对应的视野范围内的三维表示，建立取景画面中的图像块与三维表示的对应关系并根据图像块与三维表示的对应关系对图像块进行区分标记，高亮，以提示用户哪些是可以选择的可编辑物体。用户点击后可编辑物体的图像块后，立即匹配到相应的三维表示上。用户选择后，即可关闭该处理。

在一种可能的实现方式中，用户可以通过触摸电子设备100屏幕上特定的控件、按压特定的物理按键或按键组合、输入语音、隔空手势等方式，指示将取景画面中的目标物体隐形。

用户对电子设备100执行使目标物体隐形的操作(以下简称第二操作)后，电子设备100响应于第二操作，执行第三操作。其中，第三操作包括在第一区域生成第一掩膜(mask)并将第一视野范围内的第一三维表示投影至第一mask，第一区域为取景画面中目标物体所在区域，第一视野范围为三维地图中第一区域对应的视野范围，第一视野范围内包括第一三维表示和第二三维表示，第二三维表示为目标物体对应的三维表示。第一三维表示为第一视野范围内的三维表示中除第一三维表示之外的其他三维表示。

示例性地，用户想要使图4中(a)图所示的取景画面中V形物体(即目标物体)隐形，用户则可以通过长按该V形物体指示电子设备100将该V形物体隐形，电子设备100响应于用户操作，如图4中(b)图所示电子设备100首先在取景画面中V形物体所在区域生成第一mask遮挡该V形物体，然后如图4中(c)图所示电子设备100将三维地图中V形物体所在区域对应的视野范围(即第一视野范围)内除V形物体对应的三维表示(即第二三维表示)外的其他三维表示(即第一三维表示)投影至上述mask，通过图4中(c)图可以看出V形物体已经从取景框401的取景画面中隐形(消失)，用户可以通过图4中(c)图查看到V形物体后方的背景(即黑色条纹和白色条纹)。

在一种可能的实现方式中，第三操作也可以为将第二三维表示投影至第一mask，然后删除第一mask上的显示内容，之后将第一三维表示投影至第一mask。

可以看出，本申请实施例提供的显示方法中，电子设备通过AR应用界面内的取景画面可以显示摄像头所采集到的用户所处现实世界内的物体，用户可以通过操作使AR应用先在取景画面内的某个物体所在区域生成掩膜遮挡该物体，然后通过将三维地图中该物体所在区域对应的视野范围(即第一视野范围)内除该物体对应的三维表示(即第二三维表示)外的其他三维表示(即第一三维表示)投影至上述掩膜，以使AR应用中用户所处现实世界内的物体随用户操作而隐形消失，使AR应用显示“该物体隐形消失后的现实世界”，从而增加了AR应用与现实世界的交互性，提升了AR应用的用户沉浸感。

例如，用户所处房间内存在一个柜子，用户想要看到柜子后方的背景墙但不想搬动柜子。这时用户就可以通过操作使柜子在AR应用中隐形消失以通过AR应用查看柜子后方的背景墙，由此增加了AR应用于现实世界的交互性，提升了AR应用的用户沉浸感。

可选地，电子设备100可以将上述“第三操作”封装为“隐形操作”以供其他功能或其他操作调用。

在一种可能的实现方式中，第一mask可能与取景画面中的目标物体不完全重合，即第一mask可能无法遮挡取景画面中的目标物体。这种情况下，电子设备100可以通过图像分割技术，补充生成与目标物体贴合的补充mask。另外，若补充生成的补充mask存在显示内容，电子设备100还可以删除补充mask上的显示内容。

上述图像分割的具体方法可以采用本领域技术人员能够想到的任何一种方法进行处理，本申请实施例对此不作具体限定。

示例性地，用户想要使图4中(a)图所示的取景画面中V形物体隐形，用户则可以通过语音指令指示电子设备100将该V形物体隐形，电子设备100响应于用户操作，如图5中(a)图所示电子设备100首先在取景画面中V形物体所在区域生成第一mask遮挡该V形物体，通过图5中(a)图可以看出第一mask并未完成遮挡V形物体。如图5中(b)图所示，电子设备100补充生成补充mask，通过图5中(b)图可以看出第一mask和补充mask已完全遮挡V形物体。然后如图5中(c)图所示电子设备100将三维地图中V形物体所在区域对应的视野范围内除V形物体对应的三维表示外的其他三维表示投影至第一mask和补充mask，通过图5中(c)图可以看出V形物体已经从取景框401的取景画面中隐形，用户可以通过图5中(c)图查看到V形物体后方的背景。

在一种可能的实现方式中，由于物体之间的遮挡关系，三维地图中物体后方的背景部分的三维表示可能是不完整的，电子设备100执行上述隐形操作后可能会造成取景画面中隐形物品后方的背景不完整，取景画面不连续。对于上述情况用户可以通过触摸电子设备100屏幕上特定的控件、按压特定的物理按键或按键组合、输入语音、隔空手势等方式，指示电子设备100执行补全背景操作以补全取景画面中缺失的背景使取景画面连续。或者，电子设备100可以识别取景框中的取景画面的背景是否完整，当背景不完整时，执行补全背景操作以补全取景画面中的缺失的背景使取景画面连续。又或者，可以在上述第三操作中添加补全背景操作，电子设备100在执行上述第三操作时自动执行补全背景操作。

上述补全取景画面中缺失的背景使取景画面连续(即补全背景操作)的具体方法可以采用本领域技术人员能够想到的任何一种方法进行处理，本申请实施例对此不做具体限定。例如，可以根据三维表示填充mask中未投影三维表示的区域以补全取景画面中缺失的背景使取景画面连续。又例如，可以通过人工智能(artificial intelligence，AI)技术补全取景画面中缺失的背景使取景画面连续。

示例性地，用户想要使图4中(a)图所示的取景画面中V形物体隐形，用户则可以通过语音指令指示电子设备100将该V形物体隐形，电子设备100响应于用户操作，如图4中(b)图所示电子设备100首先在取景画面中V形物体所在区域生成第一mask遮挡该V形物体，如图6中(a)图所示电子设备100将第一三维表示投影至上述mask，通过图6中(a)图可以看出V形物体已经从取景框401的取景画面中隐形，但是V形物体后方的背景缺失导致取景画面不连续。这时电子设备100可以通过向mask中未投影三维表示的区域投影第三三维表示以得到图6中(b)图中所示的取景画面。通过图6中(b)图可以看出取景画面连续且取景画面中缺失的背景已被补全。其中，第三三维表示为第二视野范围内的三维表示，第二视野范围是与第一视野范围相邻的视野范围。

用户还可以通过触摸电子设备100屏幕上特定的控件、按压特定的物理按键或按键组合、输入语音、隔空手势等方式，指示电子设备100将取景画面中的物体移动。

用户对电子设备100执行使目标物体移动的操作(以下简称第四操作)后，电子设备100响应于第四操作，首先执行第三操作使取景画面中的目标物体隐形，然后在第二区域生成第二mask并将第二三维表示(即目标物体对应的第二三维表示)投影至第二mask。其中，第二区域为取景画面中目标位置所在区域。例如，用户可以通过点击操作选择目标位置。又例如，用户可以通过拖拽操作使取景画面中的物体移动，电子设备100则可以将用户拖拽操作的终点位置确定为目标位置。

示例性地，如图7中(a)所示，用户执行拖拽操作指示电子设备100将该V形物体由取景画面中的左下方移动至左上方，电子设备100响应于用户操作，如图7中(b)图所示电子设备100首先对V形物体执行第三操作使V形物体从取景框401的取景画面中隐形并在取景框401的取景画面左上方生成第二mask。如图7中(c)图所示电子设备100将V形物体对应的三维表示投影至第二mask。通过图7中(c)图可以看出V形物体已经由取景框401的取景画面的左下方移动到左上方。

可以看出，电子设备还可以响应于用户操作，先将AR应用中取景画面中用户所处现实世界内的物体隐形，然后在用户指定区域(即第二区域)生成掩膜并将该物体对应的三维表示投影至该掩膜，以使得AR应用中用户所处现实世界内的物体随用户操作而移动，使AR应用显示“该物体移动后的现实世界”，从而进一步增加了AR应用与现实世界的交互性，提升了AR应用的用户沉浸感。

在一种可能的实现方式中，在第二区域生成第二mask并将第二三维表示投影至第二mask之前，电子设备100还可以根据取景画面中的目标位置确定三维地图中的第二目标位置，然后将第二三维表示移动至第二目标位置。例如，电子设备100可以先根据取景画面中的目标位置在三维地图的平面上确定目标位置对应的三维表示的坐标，然后将第二三维表示的锚点移动至该坐标，之后对第二三维表示的剩余三维表示做同样的移动，从而使第二三维表示移动至第二目标位置。其中，三维地图的平面是由三维地图中的三维表示构成的平面。

可选地，锚点可以为位于三维表示的重心垂线方向上Z轴坐标最小的点。

用户还可以通过触摸电子设备100屏幕上特定的控件、按压特定的物理按键或按键组合、输入语音、隔空手势等方式，指示电子设备100对取景画面中的物体进行形变(如放大、缩小、拉伸等)。例如，AR界面可以设置有放大(如放大5倍)、缩小(如缩小10倍)、横向拉伸(如变胖2倍)、纵向拉伸(如长高三倍)之类的配置按钮，用户可以通过触摸上述配置按钮指示电子设备100对取景画面中的物体进行形变。又例如，用户可以通过手指开合控制缩放等操作对取景画面中的物体进行形变。

用户对电子设备100执行使目标物体形变的操作(以下简称第五操作)后，电子设备100响应于第五操作，先执行第三操作，然后在第三区域生成第三mask并将第四三维表示投影至第三mask。其中，第四三维表示为第四三维表示，第四三维表示为形变后的第二三维表示。

可选地，第四三维表示可以为放大、缩小或拉伸后第二三维表示。

示例性地，如图8中(a)所示，用户执行双指放大操作指示电子设备100将预览框401的取景画面内的矩形物体放大，电子设备100响应于用户操作，如图8中(b)图所示电子设备100首先对该矩形物体执行第三操作使该矩形物体从取景框401的取景画面中隐形并在取景框401的取景画面中生成第三mask，然后电子设备100根据矩形物体对应的三维表示(即第二三维表示)生成第四三维表示。之后如图8中(c)图所示电子设备100将第四三维表示投影至第三mask。通过图8中(c)图可以看出预览框401的取景画面内的矩形物体已被放大。

可以看出，本申请实施例提供的显示方法中，用户还可以通过操作在AR应用中使用户所处现实世界内的物体形变，使AR应用显示“该物体形变后的现实世界”，从而进一步增加了AR应用与现实世界的交互性，提升了AR应用的用户沉浸感。

可选地，第二三维表示和第四三维表示的锚点可以相同。

在一种可能的实现方式中，电子设备100可以根据形变信息和第二三维表示的三维坐标生成第四三维表示。其中，形变信息用于表征形变类型和形变倍率。

示例性地，用户通过触摸相应的配置按钮指示电子设备100对取景画面中的物体放大5倍，电子设备100响应于用户操作并根据用户操作确定形变类型为放大，形变倍率为5倍，然后以第二三维表示的锚点作为缩放原点，计算其他各点(三维表示)在三维坐标系中的坐标相对于锚点的坐标差值，然后对每个点的坐标差值均乘以5后加上锚点的坐标，即可得到一个放大5倍的新的三维表示(即第四三维表示)。

下面结合图9介绍本申请实施例提供的显示方法，如图9所示，该方法包括：

S901、电子设备100响应于第一操作，启动摄像头并显示应用界面。

其中，应用界面包括取景框，取景框的取景画面中包括目标物体。

可以理解的是，取景框的取景画面中可以包括多个物体，目标物体可以为多个物体中的任一物体。

可选地，取景框的取景画面中可以包括可编辑物体和不可编辑物体。第一物体可以为可编辑物体中的任一物体。其中，可编辑物体在三维地图中对应的三维表示为可编辑三维表示，不可编辑物体在三维地图中对应的三维表示为不可编辑三维表示或在三维地图中不存在对应的三维表示。

在一种可能的实现方式中，电子设备100可以将三维地图中的三维表示标记为可编辑三维表示和不可编辑三维表示。

S902、电子设备100响应于第二操作，执行第三操作，第三操作包括在第一区域生成第一mask并将第一视野范围内的第一三维表示投影至第一mask。

其中，第一区域为取景画面中目标物体所在区域，第一视野范围为三维地图中第一区域对应的视野范围，第一视野范围内包括第一三维表示和第二三维表示，第二三维表示为第二三维表示，第二三维表示为目标物体对应的三维表示。第一三维表示为第一视野范围内的三维表示中除第一三维表示之外的其他三维表示。

在一种可能的实现方式中，第三操作还可以包括根据第三三维表示填充第一mask中未投影三维表示的区域，第三三维表示为第二视野范围内的三维表示，第二视野范围是与第一视野范围相邻的视野范围。

在一种可能的实现方式中，电子设备100还可以根据第一图像块，从第一视野范围内的三维表示中确定第二三维表示。其中，第一图像块为取景画面中包含目标物体的图像块。

如图9所示，该方法还可以包括：

S903、电子设备响应于第四操作，执行第三操作，在第二区域生成第二mask并将第二三维表示投影至第二mask。

S904、电子设备响应于第五操作，执行第三操作，在第三区域生成第三mask并将第四三维表示投影至第三mask。

其中，第四三维表示为第四三维表示，第四三维表示为形变后的第二三维表示。

可选地，第四三维表示为放大、缩小或拉伸后第二三维表示。例如，第四三维表示可以为放大5倍后的第二三维表示。

在一种可能的实现方式中，电子设备100还可以根据形变信息和第二三维表示的三维坐标生成第四三维表示，形变信息用于表征形变类型和形变倍率。

可选地，第二三维表示和第四三维表示的锚点相同。其中，锚点可以为三维表示中位于三维表示的重心垂线方向上Z轴坐标最小的点。

在一种可能的实现方式中，电子设备100还根据可以取景画面的位姿信息确定第三视野范围，根据区域(如第一区域、第二区域或第三区域等)在取景画面中的位置确定区域在第三视野范围内的视野范围。其中，第三视野范围为三维地图中取景画面对应的视野范围。

可选地，上述位姿信息可以为6Dof位姿。

本申请实施例还提供了另一种显示方法，该显示方法可以使真实场景中存在但三维地图中不存在的物体从电子设备的取景画面隐身消息，如图10所示，该方法包括：

S1001、电子设备100响应于第一操作，启动摄像头并显示应用界面。

其中，应用界面包括取景框，取景框的取景画面中包括目标物体。

可以理解的是，取景框的取景画面中可以包括多个物体，目标物体可以为多个物体中的任一物体。

S1002、电子设备100响应于第二操作，执行第三操作，第三操作包括在第一区域生成第一mask并将第一视野范围内的三维表示投影至第一mask。

其中，第一区域为取景画面中目标物体所在区域，第一视野范围为三维地图中第一区域对应的视野范围，三维表示包括点云、Mesh或语义中的至少一项。

在一种可能的实现方式中，电子设备100可以在第一视野范围内不存在第一三维表示的情况下，执行上述第三操作。其中，第一三维表示可以为上述目标物体的三维表示。

例如，三维地图存储了某个建筑物的三维表示。用户想通过应用界面的取景框观看该建筑物，但建筑物旁边有“行人”。用户想要使取景框中的“行人”从取景框中消失，这时用户就可以通过操作应用将“行人”选为目标物体，使电子设备执行第三操作，将三维地图中“行人”所在区域对应的三维表示投影至取景画面中“行人”所在区域。可以理解的是，由于三维地图中并未存储行人的三维表示，即三维地图中存储的场景为不存在“行人”的场景。因此可以直接将三维地图中“行人”所在区域的三维表示直接投影至取景画面中以使得“行人”从取景画面中隐形消失。

在一种可能的实现方式中，该方法还可以包括：电子设备100根据第一图像块，从上述第一视野范围内的三维表示中确定是否存在第一三维表示。其中，第一图像块为上述取景画面中包含上述目标物体的图像块。

可以理解的是，当第一图像块在第一视野范围内能够匹配到对应的三维表示，则说明第一视野范围内存在目标物体的三维表示；当第一图像块在第一视野范围内不能够匹配到对应的三维表示则说明第一视野范围内不存在目标物体的三维表示。

下面将结合图11和图12介绍用于执行上述显示方法的电子设备。

可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对电子设备进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块可以采用硬件的形式实现。需要说明的是，本实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在采用对应各个功能划分各个功能模块的情况下，图11示出了上述实施例中涉及的电子设备的一种可能的组成示意图，如图11所示，该装置1100可以包括：收发单元1101和处理单元1102，该处理单元1102可以实现上述方法实施例中由电子设备所执行的方法，和/或用于本文所描述的技术的其他过程。

需要说明的是，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

在采用集成的单元的情况下，装置1100可以包括处理单元、存储单元和通信单元。其中，处理单元可以用于对装置1100的动作进行控制管理，例如，可以用于支持装置1100执行上述各个单元执行的步骤。存储单元可以用于支持装置1100执行存储程序代码、和/或数据等。通信单元可以用于支持装置1100与其他设备的通信。

其中，处理单元可以是处理器或控制器。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，数字信号处理(digital signal processing，DSP)和微处理器的组合等等。存储单元可以是存储器。通信单元具体可以为射频电路、蓝牙芯片、Wi-Fi芯片等与其他电子设备交互的设备。

在一种可能的实现方式中，本申请实施例所涉及的电子设备可以为具有图12所示结构的装置1200，该装置1200包括处理器1201和收发器1202。图11中的收发单元1101和处理单元1102所实现的相关功能可以由处理器1201来实现。

可选地，该装置1200还可以包括存储器1203，该处理器1201和该存储器1203通过内部连接通路互相通信。图11中的存储单元所实现的相关功能可以由存储器1203来实现。

本申请实施例还提供一种计算机存储介质，该计算机存储介质中存储有计算机指令，当该计算机指令在电子设备上运行时，使得电子设备执行上述相关方法步骤实现上述实施例中的显示方法。

本申请实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中的显示方法。

本申请实施例还提供一种电子设备，这个装置具体可以是芯片、集成电路、组件或模块。具体的，该装置可包括相连的处理器和用于存储指令的存储器，或者该装置包括至少一个处理器，用于从外部存储器获取指令。当装置运行时，处理器可执行指令，以使芯片执行上述各方法实施例中的显示方法。

图13示出了一种芯片1300的结构示意图。芯片1300包括一个或多个处理器1301以及接口电路1302。可选的，上述芯片1300还可以包含总线1303。

处理器1301可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述显示方法的各步骤可以通过处理器1301中的硬件的集成逻辑电路或者软件形式的指令完成。

可选地，上述的处理器1301可以是通用处理器、数字信号处理(digital signalproce ssing，DSP)器、集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

接口电路1302可以用于数据、指令或者信息的发送或者接收，处理器1301可以利用接口电路1302接收的数据、指令或者其他信息，进行加工，可以将加工完成信息通过接口电路1302发送出去。

可选的，芯片还包括存储器，存储器可以包括只读存储器和随机存取存储器，并向处理器提供操作指令和数据。存储器的一部分还可以包括非易失性随机存取存储器(non-vo latile random access memory，NVRAM)。

可选的，存储器存储了可执行软件模块或者数据结构，处理器可以通过调用存储器存储的操作指令(该操作指令可存储在操作系统中)，执行相应的操作。

可选的，芯片可以使用在本申请实施例涉及的电子设备或DOP中。可选的，接口电路1302可用于输出处理器1301的执行结果。关于本申请的一个或多个实施例提供的显示方法可参考前述各个实施例，这里不再赘述。

需要说明的，处理器1301、接口电路1302各自对应的功能既可以通过硬件设计实现，也可以通过软件设计来实现，还可以通过软硬件结合的方式来实现，这里不作限制。

其中，本实施例提供的电子设备、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其他的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

上述功能如果以软件功能单元的形式实现并作为独立地产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (20)

1.一种显示方法，其特征在于，所述方法应用于包含摄像头的电子设备，所述方法包括：

所述电子设备响应于第一操作，启动所述摄像头并显示应用界面，所述应用界面包括取景框，所述取景框的取景画面中包括目标物体；

所述电子设备响应于第二操作，执行第三操作，所述第三操作包括在第一区域生成第一掩膜mask并将第一视野范围内的第一三维表示投影至所述第一mask，所述第一区域为所述取景画面中目标物体所在区域，所述第一视野范围为三维地图中所述第一区域对应的视野范围，所述第一视野范围内包括第一三维表示和第二三维表示，所述第二三维表示为所述目标物体的三维表示，所述三维表示包括点云、网格Mesh或语义中的至少一项。

2.根据权利要求1所述的方法，其特征在于，所述第三操作还包括根据所述第三三维表示填充所述第一mask中未投影三维表示的区域，所述第三三维表示为第二视野范围内的三维表示，所述第二视野范围是与所述第一视野范围相邻的视野范围。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

所述电子设备响应于第四操作，执行所述第三操作，在第二区域生成第二mask并将所述第二三维表示投影至所述第二mask。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述方法还包括：

所述电子设备响应于第五操作，执行所述第三操作，在第三区域生成第三mask并将第四三维表示投影至所述第三mask，所述第四三维表示为形变后的第二三维表示。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

根据形变信息和所述第二三维表示的三维坐标生成所述第四三维表示，所述形变信息用于表征形变类型和形变倍率。

6.根据权利要求4或5所述的方法，其特征在于，所述第四三维表示为放大、缩小或拉伸后第二三维表示。

7.根据权利要求4至6中任一项所述的方法，其特征在于，所述第二三维表示和所述第四三维表示的锚点相同，锚点为位于三维表示的重心垂线方向上Z轴坐标最小的点。

8.根据权利要求1至7中任一项所述的方法，其特征在于，所述方法还包括：

根据所述取景画面的位姿信息确定第三视野范围，所述第三视野范围为所述三维地图中所述取景画面对应的视野范围；

根据区域在取景画面中的位置确定所述区域在所述第三视野范围内的视野范围。

9.根据权利要求8所述的方法，其特征在于，所述位姿信息为6自由度Dof位姿。

10.根据权利要求1至9中任一项所述的方法，其特征在于，所述方法还包括：

根据第一图像块，从所述第一视野范围内的三维表示中确定所述第二三维表示，所述第一图像块为所述取景画面中包含所述目标物体的图像块。

11.根据权利要求1至10中任一项所述的方法，其特征在于，所述取景框的取景画面中包括多个物体，所述目标物体为所述多个物体中的任一物体。

12.根据权利要求1至10中任一项所述的方法，其特征在于，所述取景框的取景画面中包括可编辑物体和不可编辑物体，所述目标物体为任一可编辑物体，所述可编辑物体在所述三维地图中对应的三维表示为可编辑三维表示，所述不可编辑物体在所述三维地图中对应的三维表示为不可编辑三维表示或在所述三维地图中不存在对应的三维表示。

13.根据权利要求1至12中任一项所述的方法，其特征在于，所述方法还包括：将所述三维地图中的三维表示标记为可编辑三维表示和不可编辑三维表示。

14.一种显示方法，其特征在于，所述方法应用于包含摄像头的电子设备，所述方法包括：

所述电子设备响应于第一操作，启动所述摄像头并显示应用界面，所述应用界面包括取景框，所述取景框的取景画面中包括目标物体；

所述电子设备响应于第二操作，执行第三操作，所述第三操作包括在第一区域生成第一掩膜mask并将第一视野范围内的三维表示投影至所述第一mask，所述第一区域为所述取景画面中目标物体所在区域，所述第一视野范围为三维地图中所述第一区域对应的视野范围，所述三维表示包括点云、Mesh或语义中的至少一项。

15.根据权利要求14所述的方法，其特征在于，所述执行第三操作包括：

在第一视野范围内不存在第一三维表示的情况下，执行所述第三操作，所述第一三维表示为所述目标物体的三维表示。

16.根据权利14或15所述的方法，其特征在于，所述方法还包括：

根据第一图像块，从所述第一视野范围内的三维表示中确定是否存在第一三维表示，所述第一图像块为所述取景画面中包含所述目标物体的图像块，所述第一三维表示为所述目标物体的三维表示。

17.一种电子设备，包括至少一个处理器和接口电路，所述至少一个处理器和所述接口电路耦合，其特征在于，所述至少一个处理器执行存储在存储器中的程序或指令，以使得所述数据交换装置实现权利要求1至13中任一项或14至16中任一项所述的方法。

18.一种计算机可读存储介质，用于存储计算机程序，其特征在于，所述计算机程序包括用于实现上述权利要1至13中任一项或14至16中任一项所述的方法的指令。

19.一种计算机程序产品，所述计算机程序产品中包含指令，其特征在于，当所述指令在计算机或处理器上运行时，使得所述计算机或所述处理器实现上述权利要求1至13中任一项或14至16中任一项所述的方法。

20.一种电子设备上的图形用户界面，其特征在于，所述电子设备具有显示屏、存储器、以及处理器，所述处理器用于执行存储在所述存储器中的一个或多个计算机程序，所述图形用户界面包括所述电子设备执行上述权利要求1至13中任一项或14至16中任一项所述的方法时显示的图形用户界面。

Images