CN110060355B - 界面显示方法、装置、设备及存储介质 - Google Patents

Abstract

本公开是关于一种界面显示方法、装置、设备及存储介质，属于虚拟现实技术领域。方法包括：通过摄像头进行拍摄，获取包括真实物体的第一界面；当检测到第一界面包括具有反射能力的指定物体时，根据第一虚拟物体创建第二虚拟物体，第一虚拟物体和第二虚拟物体关于指定物体对称；根据摄像头、第二虚拟物体和指定物体的位置，在第一界面中指定物体所在的区域内，添加第二虚拟物体的投影物体，得到第二界面，用户在观看第二界面时，即可将第二虚拟物体的投影物体看作是第一虚拟物体在指定物体上反射形成的镜像物体，因此实现了虚拟物体在具有反射能力的指定物体上的反射，能够模拟虚拟物体与真实物体同处于一个空间的效果，提高了真实性。

Description

界面显示方法、装置、设备及存储介质

技术领域

本公开是关于虚拟现实技术领域，具体来说是关于一种界面显示方法、装置、设备及存储介质。

背景技术

AR(Augmented Reality，增强现实)是一种将真实环境的信息和虚拟环境的信息无缝集成的技术，能够将真实环境与虚拟环境叠加到同一个界面中进行显示，从而实现现实的增强。

具备AR功能的电子设备可以通过配置的摄像头对真实环境中的真实物体进行拍摄，获取包括真实物体的第一界面，在第一界面中添加虚拟物体后，可以显示包括真实物体和虚拟物体的第二界面，模拟出虚拟物体与真实物体同处于一个空间的效果，供用户查看。

当第一界面中包括镜子时，由于镜子能够对其他真实物体进行反射，但不会对虚拟物体进行反射，因此显示的第二界面中镜子所在的区域会包括其他真实物体的镜像物体，但不会包括虚拟物体的镜像物体，缺乏真实性，无法模拟虚拟物体与真实物体同处于一个空间的效果。

发明内容

本公开提供了一种界面显示方法、装置、设备及存储介质，可以解决相关技术的问题。所述技术方案如下：

根据本公开实施例的第一方面，提供了一种界面显示方法，所述方法包括：

通过摄像头进行拍摄，获取包括真实物体的第一界面；

当检测到所述第一界面包括具有反射能力的指定物体时，根据第一虚拟物体创建第二虚拟物体，所述第一虚拟物体和所述第二虚拟物体关于所述指定物体对称；

根据所述摄像头、所述第二虚拟物体和所述指定物体的位置，在所述第一界面中所述指定物体所在的区域内，添加所述第二虚拟物体的投影物体，得到第二界面。

在一种可能实现的方式中，对所述第一界面进行物体检测，确定所述第一界面中包括的真实物体；

当确定所述第一界面中，第一真实物体所在的区域内还包括与第二真实物体相似的物体时，确定所述第一真实物体为所述具有反射能力的指定物体。

在另一种可能实现的方式中，所述当检测到所述第一界面包括具有反射能力的指定物体时，根据第一虚拟物体创建第二虚拟物体，所述第一虚拟物体和所述第二虚拟物体关于所述指定物体对称，包括：

将所述第一虚拟物体绕竖直方向旋转180度且进行水平翻转，得到所述第二虚拟物体，所述第二虚拟物体与所述第一虚拟物体互为镜像；

将所述第一虚拟物体关于所述指定物体对称的位置确定为所述第二虚拟物体的位置。

在另一种可能实现的方式中，所述将所述第一虚拟物体关于所述指定物体对称的位置确定为所述第二虚拟物体的位置，包括：

获取所述摄像头与所述指定物体之间的第一距离；

根据所述摄像头的位置和所述第一虚拟物体在真实环境中的位置，获取所述摄像头与所述第一虚拟物体之间的第二距离；

根据所述第一距离和所述第二距离，获取所述第一虚拟物体与所述指定物体之间的第三距离；

将经过所述第一虚拟物体的位置且与所述指定物体垂直的指定线段的延长线上，与所述指定物体的距离为所述第三距离的位置确定为所述第二虚拟物体的位置。

在另一种可能实现的方式中，所述根据所述摄像头、所述第一虚拟物体、所述第二虚拟物体和所述指定物体的位置，在所述第一界面中所述指定物体所在的区域内，添加所述第二虚拟物体的投影物体，得到第二界面，包括：

根据所述摄像头、所述指定物体和所述第二虚拟物体的位置，将所述第二虚拟物体按照指向所述摄像头的方向，投影至所述指定物体上，得到位于所述指定物体所在的区域内的所述投影物体；

在所述第一界面中显示所述投影物体，得到第二界面。

根据本公开实施例的第二方面，提供了一种界面显示装置，所述装置包括：

获取模块，被配置为通过摄像头进行拍摄，获取包括真实物体的第一界面；

创建模块，被配置为当检测到所述第一界面包括具有反射能力的指定物体时，根据第一虚拟物体创建第二虚拟物体，所述第一虚拟物体和所述第二虚拟物体关于所述指定物体对称；

添加模块，被配置为根据所述摄像头、所述第二虚拟物体和所述指定物体的位置，在所述第一界面中所述指定物体所在的区域内，添加所述第二虚拟物体的投影物体，得到第二界面。

在一种可能实现的方式中，所述装置还包括：

检测模块，被配置为对所述第一界面进行物体检测，确定所述第一界面中包括的真实物体；

确定模块，被配置为当确定所述第一界面中，第一真实物体所在的区域内还包括与第二真实物体相似的物体时，确定所述第一真实物体为所述具有反射能力的指定物体。

在另一种可能实现的方式中，所述创建模块包括：

物体获取单元，被配置为将所述第一虚拟物体绕竖直方向旋转180度且进行水平翻转，得到所述第二虚拟物体，所述第二虚拟物体与所述第一虚拟物体互为镜像；

位置确定单元，被配置为将所述第一虚拟物体关于所述指定物体对称的位置确定为所述第二虚拟物体的位置。

在另一种可能实现的方式中，所述位置确定单元，被配置为：

获取所述摄像头与所述指定物体之间的第一距离；

根据所述摄像头的位置和所述第一虚拟物体在真实环境中的位置，获取所述摄像头与所述第一虚拟物体之间的第二距离；

根据所述第一距离和所述第二距离，获取所述第一虚拟物体与所述指定物体之间的第三距离；

将经过所述第一虚拟物体的位置且与所述指定物体垂直的指定线段的延长线上，与所述指定物体的距离为所述第三距离的位置确定为所述第二虚拟物体的位置。

在另一种可能实现的方式中，所述添加模块，包括：

投影单元，被配置为根据所述摄像头、所述指定物体和所述第二虚拟物体的位置，将所述第二虚拟物体按照指向所述摄像头的方向，投影至所述指定物体上，得到位于所述指定物体所在的区域内的所述投影物体；

显示单元，被配置为在所述第一界面中显示所述投影物体，得到第二界面。

根据本公开实施例的第三方面，提供了一种用于界面显示的电子设备，所述电子设备包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

通过摄像头进行拍摄，获取包括真实物体的第一界面；

当检测到所述第一界面包括具有反射能力的指定物体时，根据第一虚拟物体创建第二虚拟物体，所述第一虚拟物体和所述第二虚拟物体关于所述指定物体对称；

根据所述摄像头、所述第二虚拟物体和所述指定物体的位置，在所述第一界面中所述指定物体所在的区域内，添加所述第二虚拟物体的投影物体，得到第二界面。

根据本公开实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如第一方面所述的界面显示方法中所执行的操作。

本公开实施例提供的方法、装置、设备及存储介质，通过摄像头进行拍摄，获取包括真实物体的第一界面，当检测到第一界面包括具有反射能力的指定物体时，根据第一虚拟物体创建第二虚拟物体，第一虚拟物体和第二虚拟物体关于指定物体对称；根据摄像头、第一虚拟物体、第二虚拟物体和指定物体的位置，在第一界面中指定物体所在的区域内，添加第二虚拟物体的投影物体，得到第二界面，用户在观看第二界面时，即可将第二虚拟物体的投影物体看作是第一虚拟物体在指定物体上反射形成的镜像物体，因此实现了虚拟物体在具有反射能力的指定物体上的反射，能够模拟虚拟物体与真实物体同处于一个空间的效果，提高了真实性。

并且，通过物体检测算法对第一界面中的物体进行检测，检测第一界面中是否包括任两个相似的真实物体，且检测第一界面中是否包括任两个相互嵌套的真实物体，当第一真实物体所在的区域内还包括与第二真实物体相似的物体时，确定第一真实物体为具有反射能力的指定物体，充分地利用具有反射能力的物体能够在物体表面上反射形成与其他物体相似的物体的特点，更为准确地识别出第一界面中存在的指定物体，更好地模拟虚拟物体与真实物体同处于一个空间的效果。

并且，第二界面中显示的真实物体、虚拟物体和投影物体根据摄像头的拍摄位置和拍摄方向的变化而变化，在摄像头拍摄动态界面的过程中，也能够更好地模拟虚拟物体与真实物体同处于一个空间的效果。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据一示例性实施例示出的一种界面显示方法的流程图；

图2是根据一示例性实施例示出的一种界面显示方法的流程图；

图3是根据一示例性实施例示出的一种根据第一虚拟物体创建第二虚拟物体过程的示意图；

图4是根据一示例性实施例示出的另一种根据第一虚拟物体创建第二虚拟物体过程的示意图；

图5是根据一示例性实施例示出的一种界面显示装置的结构示意图；

图6是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

为使本公开的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本公开做进一步详细说明。在此，本公开的示意性实施方式及其说明用于解释本公开，但并不作为对本公开的限定。

本公开实施例提供一种界面显示方法、装置、设备及存储介质，以下结合附图对本公开进行详细说明。

图1是根据一示例性实施例示出的一种界面显示方法的流程图，应用于电子设备中，如图1所示，包括以下步骤：

在步骤101中，通过摄像头进行拍摄，获取包括真实物体的第一界面。

在步骤102中，当检测到第一界面包括具有反射能力的指定物体时，根据第一虚拟物体创建第二虚拟物体，第一虚拟物体和第二虚拟物体关于指定物体对称。

在步骤103中，根据摄像头、第二虚拟物体和指定物体的位置，在第一界面中指定物体所在的区域内，添加第二虚拟物体的投影物体，得到第二界面。

本公开实施例提供的方法，通过摄像头进行拍摄，获取包括真实物体的第一界面，当检测到第一界面包括具有反射能力的指定物体时，根据第一虚拟物体创建第二虚拟物体，第一虚拟物体和第二虚拟物体关于指定物体对称；根据摄像头、第一虚拟物体、第二虚拟物体和指定物体的位置，在第一界面中指定物体所在的区域内，添加第二虚拟物体的投影物体，得到第二界面，用户在观看第二界面时，即可将第二虚拟物体的投影物体看作是第一虚拟物体在指定物体上反射形成的镜像物体，因此实现了虚拟物体在具有反射能力的指定物体上的反射，能够模拟虚拟物体与真实物体同处于一个空间的效果，提高了真实性。

在一种可能实现方式中，对第一界面进行物体检测，确定第一界面中包括的真实物体；

当确定第一界面中，第一真实物体所在的区域内还包括与第二真实物体相似的物体时，确定第一真实物体为具有反射能力的指定物体。

在另一种可能实现方式中，当检测到第一界面包括具有反射能力的指定物体时，根据第一虚拟物体创建第二虚拟物体，第一虚拟物体和第二虚拟物体关于指定物体对称，包括：

将第一虚拟物体绕竖直方向旋转180度且进行水平翻转，得到第二虚拟物体，第二虚拟物体与第一虚拟物体互为镜像；

将第一虚拟物体关于指定物体对称的位置确定为第二虚拟物体的位置。

在另一种可能实现方式中，将第一虚拟物体关于指定物体对称的位置确定为第二虚拟物体的位置，包括：

获取摄像头与指定物体之间的第一距离；

根据摄像头的位置和第一虚拟物体在真实环境中的位置，获取摄像头与第一虚拟物体之间的第二距离；

根据第一距离和第二距离，获取第一虚拟物体与指定物体之间的第三距离；

将经过第一虚拟物体的位置且与指定物体垂直的指定线段的延长线上，与指定物体的距离为第三距离的位置确定为第二虚拟物体的位置。

在另一种可能实现方式中，根据摄像头、第一虚拟物体、第二虚拟物体和指定物体的位置，在第一界面中指定物体所在的区域内，添加第二虚拟物体的投影物体，得到第二界面，包括：

根据摄像头、指定物体和第二虚拟物体的位置，将第二虚拟物体按照指向摄像头的方向，投影至指定物体上，得到位于指定物体所在的区域内的投影物体；

在第一界面中显示投影物体，得到第二界面。

上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。

图2是根据一示例性实施例示出的一种界面显示方法的流程图，应用于电子设备中，如图2所示，包括以下步骤：

在步骤201中，通过摄像头进行拍摄，获取包括真实物体的第一界面。

电子设备可以为手机、平板电脑、AR眼镜、AR头戴式显示器等设备，电子设备配置有摄像头，通过该摄像头可以对电子设备所处的真实环境进行拍摄。

真实环境中存在真实物体，该真实物体可以包括人物、动物、植物或者其他物体，其他物体可以包括所处房间内的家具家电、所处外部空间的环境元素，如雨、雾、雪等。因此，用户可以使用电子设备，将摄像头对准需要拍摄的真实环境，当电子设备通过摄像头对真实环境进行拍摄时，能够获取到包括真实物体的第一界面。

在一种可能实现方式中，用户打开电子设备的摄像头，电子设备显示拍摄界面，该拍摄界面中可以包括取景框和拍摄选项，该取景框用于显示摄像头的拍摄范围内的真实环境。用户将摄像头对准需要拍摄的真实环境，触发对拍摄选项的确认操作，如点击操作、长按操作等，当电子设备检测到对拍摄选项的确认操作时，对取景框内所显示的真实环境进行拍摄，得到第一界面。

在另一种可能实现方式中，电子设备提供指定入口，该指定入口用于启动AR功能。用户触发对指定入口的确认操作，如点击操作、长按操作等，当电子设备检测到对指定入口的确认操作时，显示拍摄界面，该拍摄界面包括取景框，该取景框用于显示摄像头的拍摄范围内的真实环境，且电子设备通过该拍摄界面自动进行拍摄，得到包括真实物体的第一界面。且拍摄过程中用户可以移动电子设备，更改电子设备的姿态，进而更改摄像头的拍摄范围，电子设备可以基于更改后的拍摄范围进行拍摄，得到一个或多个第一界面。

其中，电子设备可以按照固定的周期进行拍摄，每隔一个周期拍摄一个界面，该周期可以为0.01秒或0.1秒或其他数值。或者电子设备也可以在每次检测到姿态发生变化时，拍摄一个界面。

在步骤202中，对第一界面进行物体检测，确定第一界面中包括的真实物体；当确定第一界面中，第一真实物体所在的区域内还包括与第二真实物体相似的物体时，确定第一真实物体为具有反射能力的指定物体。

本公开实施例中，为了提高界面的多样性和趣味性，可以在拍摄得到第一界面后，在第一界面中添加虚拟物体，实现虚拟环境与真实环境的结合。考虑到真实环境中可能存在具有反射能力的指定物体，如镜子、窗户等，拍摄第一界面且在第一界面中添加虚拟物体后，该指定物体可以对真实物体进行反射，但不会对虚拟物体进行反射，缺乏真实性。

因此，可以先检测第一界面中是否包括指定物体，当检测到第一界面包括指定物体时，再根据虚拟物体和指定物体，添加虚拟物体在指定物体上的镜像物体。

为此，先对第一界面进行物体检测，确定第一界面中包括的真实物体，如确定第一界面中包括的真实物体的类别和真实物体在第一界面中所在的区域。电子设备进行物体检测时采用的物体检测算法可以为SSD(Single Shot multibox Detector，单次多箱探测器)算法、R-CNN(Regions with Convolutional Neural Network Features，基于区域的卷积神经网络)算法、基于HMM(Hidden Markov Model，隐马尔可夫模型)的物体检测算法或者其他物体检测算法。

之后，检测第一界面中是否包括任两个相似的真实物体，且检测第一界面中是否包括任两个相互嵌套的真实物体。

在一种可能实现方式中，针对任两个真实物体，根据每个真实物体所在的区域，获取每个真实物体的轮廓特征，计算这两个真实物体的轮廓特征之间的相似度，当该相似度大于预设阈值时，确定这两个真实物体为相似的真实物体。而两个真实物体相互嵌套是指其中一个真实物体所在的区域包括于另一真实物体所在的区域内。

当电子设备检测到第二真实物体和与第二真实物体相似的物体，且与第二真实物体相似的物体所在的区域包括于第一真实物体所在的区域内，可以认为该物体为第二真实物体在第一真实物体上反射形成的镜像物体，因此，确定第一真实物体为具有反射能力的指定物体。

或者，为了确保准确性，将两个物体互相相似且其中一个物体所在的区域包括于第一真实物体所在的区域内作为一个条件，当电子设备检测到第一界面中满足该条件的真实物体数量达到预设数量时，表示第一真实物体对多个真实物体进行了反射，形成了多个真实物体的镜像物体，因此，确定第一真实物体为具有反射能力的指定物体。

该预设数量可以任意设置，如可以为2、4、6等数量。例如，检测到第一界面中包括桌子、椅子和冰箱，在另一真实物体所在的区域内还包括相似的桌子、椅子和冰箱，则将该真实物体确定为具有反射能力的指定物体。

需要说明的是，本公开实施例仅是以通过进行物体检测确定指定物体为例进行说明，而在另一种可能实现的方式中，指定物体可以由用户确定。电子设备在获取第一界面后显示第一界面，第一界面中还显示提示信息，以提示用户对第一界面中包括的指定物体进行标记。当检测到用户的区域标记操作时，将该区域标记操作对应的区域内的真实物体确定为指定物体。其中，该区域标记操作可以为在某一区域进行滑动的操作、选中某一区域的操作或者点击选择选项后进行滑动的操作等。

通过提示用户对指定物体进行标记，并将用户标记的区域内的真实物体确定为指定物体，能够减小电子设备的计算量，还能确保指定物体的准确性。

在另一种可能实现方式中，还可以通过进行物体检测并根据用户选择的区域确定指定物体。电子设备在获取第一界面后显示第一界面，对第一界面进行物体检测，确定第一界面中包括的真实物体所在的区域，还会在第一界面中显示提示信息，以提示用户对第一界面中包括的指定物体进行选择。当检测到用户对某一区域内的真实物体的选择操作时，将该选择操作对应的真实物体确定为指定物体。其中，该选择操作可以为在某一区域内的滑动操作、点击操作或者长按操作等。

在步骤203中，根据第一虚拟物体创建第二虚拟物体，以使第一虚拟物体和第二虚拟物体关于指定物体对称。

在本公开实施例中，虚拟物体可以包括卡通人物、红包、优惠券等多种物体，虚拟物体与真实物体的区别在于：虚拟物体由电子设备生成，可以显示于电子设备的界面中，但无法在真实环境中存在。

电子设备可以获取预先设置的多个虚拟物体的参数信息，该参数信息用于对虚拟物体进行描述，至少包括虚拟物体的位置和姿态，虚拟物体的位置即为电子设备为虚拟物体设置的在真实环境中的位置，例如，在真实环境中的坐标等。通过为虚拟物体设置在真实环境中的位置，能够体现虚拟物体与其他真实物体之间的相对位置关系。该参数信息还可以包括尺寸、颜色、形状等信息。

其中，多个虚拟物体的参数信息可以预先设置于电子设备中，可以由电子设备自动生成，或者由与电子设备关联的服务器生成后发送给电子设备等。

电子设备还可以获取电子设备本身的参数信息，该参数信息用于对电子设备的状态进行描述，至少包括电子设备的位置和姿态。电子设备的参数信息可由电子设备检测得到，例如电子设备可以通过GPS(Global Positioning System，全球定位系统)定位、基站定位、WIFI(Wireless Fidelity，无线保真技术)定位或者其他定位方式获取电子设备的位置，可以通过配置的陀螺仪传感器检测电子设备的姿态。

之后，根据电子设备的位置和姿态，以及指定物体在第一界面中所在的区域，可以确定指定物体的位置，从多个虚拟物体中获取位于指定物体的预设范围内的虚拟物体。

需要说明的是，虚拟物体的位置和电子设备的位置可以采用三维坐标表示，相当于创建了一个三维空间，在三维空间中模拟设置虚拟物体、电子设备和指定物体的场景，根据虚拟物体、电子设备和指定物体的位置，模拟虚拟物体在指定物体上发生反射的现象。

其中，电子设备可以配置深度摄像头，通过深度摄像头对指定物体进行拍摄时，可以获取电子设备与指定物体之间的第一距离，从而能够确定指定物体的位置，或者，电子设备可以配置双摄像头，通过双摄像头对指定物体进行拍摄，可以获取电子设备与指定物体之间的第一距离，从而能够确定指定物体的位置。

其中，该预设范围是指以指定物体为分界线划分出的两个连通空间中电子设备所在连通空间的范围。由于电子设备在拍摄指定物体时，位于指定物体的预设范围内的虚拟物体应当在指定物体上发生反射，因此将该预设范围内的物体作为第一虚拟物体，根据第一虚拟物体创建第二虚拟物体，以使第一虚拟物体和第二虚拟物体关于指定物体对称。

该第一虚拟物体可以为一个或多个，本公开实施例对此不做限定。对于每个第一虚拟物体，创建对应的第二虚拟物体和显示对应的第二虚拟物体的方式类似，本公开实施例不再一一赘述。

在一种可能实现方式中，根据第一虚拟物体创建第二虚拟物体的过程可以采用以下步骤2031至2032：

在步骤2031中，将第一虚拟物体绕竖直方向旋转180度且进行水平翻转，得到第二虚拟物体，以使第二虚拟物体与第一虚拟物体互为镜像。

如图3所示，以第一虚拟物体为具有A、B、C、D四个顶点的方形物体为例，电子设备获取第一虚拟物体的姿态，将第一虚拟物体绕竖直方向旋转180度，得到第三虚拟物体，将第三虚拟物体进行水平翻转，得到第二虚拟物体，此时第二虚拟物体与第三虚拟物体关于与指定物体垂直的方向对称，则第二虚拟物体与第一虚拟物体互为镜像。

或者，如图4所示，以第一虚拟物体为具有A、B、C、D四个顶点的方形物体为例，电子设备获取第一虚拟物体的姿态，将第一虚拟物体进行水平翻转，得到第三虚拟物体，此时第三虚拟物体与第一虚拟物体关于与指定物体垂直的方向对称，将第三虚拟物体绕竖直方向旋转180度，得到第二虚拟物体，则第二虚拟物体与第一虚拟物体互为镜像。

在步骤2032中，将第一虚拟物体关于指定物体对称的位置确定为第二虚拟物体的位置。

电子设备获取第一虚拟物体的位置和指定物体的位置，根据第一虚拟物体的位置和指定物体的位置，确定第一虚拟物体的位置关于指定物体对称的位置，将该位置确定为第二虚拟物体的位置。

根据第一虚拟物体的位置和指定物体的位置确定第二虚拟物体的位置的方式有多种。

在一种可能实现的方式中，获取摄像头与指定物体之间的第一距离，根据摄像头的位置和第一虚拟物体在真实环境中的位置，获取摄像头与第一虚拟物体之间的第二距离，根据第一距离和第二距离，获取第一虚拟物体与指定物体之间的第三距离；将经过第一虚拟物体的位置且与指定物体垂直的指定线段的延长线上，与指定物体的距离为第三距离的位置确定为第二虚拟物体的位置，则第一虚拟物体的位置和第二虚拟物体的位置关于指定物体对称。

关于获取摄像头与指定物体之间的第一距离的方式，电子设备可以配置深度摄像头，通过深度摄像头对指定物体进行拍摄时，可以获取该第一距离，或者，电子设备可以配置双摄像头，通过双摄像头对指定物体进行拍摄，可以获取该第一距离。

关于获取摄像头与第一虚拟物体之间的第二距离的方式，电子设备可以通过定位确定摄像头的位置，并且，电子设备中存储有第一虚拟物体的位置，根据摄像头的位置和第一虚拟物体的位置即可获取第二距离。

关于获取第一虚拟物体与指定物体之间的第三距离的方式，电子设备获取第一距离和第二距离后，当第一虚拟物体没有位于经过摄像头且与指定物体垂直的线段上，获取第二距离在与指定物体垂直的方向上的投影距离，计算第一距离与投影距离之间的差值，即为第三距离。或者，当第一虚拟物体位于经过摄像头且与指定物体垂直的线段上，获取第一距离与第二距离之间的差值，即为第三距离。

在另一种可能实现的方式中，电子设备以摄像头为原点创建坐标系，根据摄像头与所拍摄的真实物体之间的相对位置关系，得到真实物体在该坐标系下的三维坐标。另外，电子设备还存储有第一虚拟物体的在该坐标系下的三维坐标，根据指定物体的三维坐标以及第一虚拟物体的三维坐标，即可获取第一虚拟物体与指定物体之间的第三距离。将经过第一虚拟物体的位置且与指定物体垂直的指定线段的延长线上，与指定物体的距离为第三距离的位置确定为第二虚拟物体的位置，则第一虚拟物体的位置和第二虚拟物体的位置关于指定物体对称。

确定第二虚拟物体的姿态和位置后，即实现了创建第二虚拟物体的过程。第二虚拟物体与第一虚拟物体的位置和姿态不同，而除位置和姿态以外的其他参数均相同，如尺寸、颜色、形状等。

在步骤204中，根据摄像头、第二虚拟物体和指定物体的位置，将第二虚拟物体按照指向摄像头的方向，投影至指定物体上，得到位于指定物体所在的区域内的投影物体，在第一界面中显示投影物体，得到第二界面。

电子设备根据第二虚拟物体和摄像头的位置可以确定第二虚拟物体指向摄像头的方向，按照该方向将第二虚拟物体投影至指定物体上，得到投影物体的参数信息，该参数信息至少包括投影物体的位置和姿态，还可以包括投影物体的颜色、形状和尺寸等。根据投影物体的参数信息，在第一界面中显示该投影物体，得到第二界面。

需要说明的是，按照该方向将第二虚拟物体投影至指定物体上时，可能仅有部分的第二虚拟物体能够投影至指定物体，而其余部分的第二虚拟物体无法投影至指定物体，而仅能投影至指定物体的延长线上，此时仅根据投影至指定物体的部分第二虚拟物体获取投影物体，而不再考虑投影至指定物体延长线上的部分第二虚拟物体。

需要说明的另一点是，本公开实施例仅对在指定物体上显示投影物体的过程进行了说明，因此第二界面中包括指定物体和投影物体。另外，第二界面中还可能包括第一虚拟物体。

电子设备可以获取第一虚拟物体的位置，判断第一虚拟物体的位置是否位于摄像头的拍摄范围内。若第一虚拟物体的位置位于摄像头的拍摄范围之外，则不在第一界面中添加该第一虚拟物体。若第一虚拟物体的位置位于摄像头的拍摄范围内，则根据电子设备的位置和第一虚拟物体的位置，在第一界面中添加第一虚拟物体。

其中，在第一界面中添加第一虚拟物体和投影物体时，根据第一虚拟物体和投影物体的位置和尺寸，判断第一虚拟物体是否会遮挡投影物体，如果第一虚拟物体会遮挡投影物体，则投影物体中被第一虚拟物体遮挡的部分不进行显示，而仅显示投影物体中未被第一虚拟物体遮挡的部分。

需要说明的另一点是，随着电子设备的位置和姿态发生变化，摄像头的拍摄位置和拍摄方向也会发生变化，相应的第一界面中包括的真实物体也会发生变化。而指定物体的位置不会发生变化，若第一虚拟物体的位置或姿态不变，第二虚拟物体和指定物体上的投影物体的位置或姿态也不会发生变化。因此第二界面中显示的真实物体、虚拟物体和投影物体会根据摄像头的拍摄位置和拍摄方向的变化而变化。

若第一虚拟物体的位置或姿态发生变化，会导致第二虚拟物体的位置或姿态也会相应发生变化，指定物体上的投影物体的位置或姿态也会发生变化。因此第二界面中显示的真实物体、虚拟物体和投影物体会根据摄像头的拍摄位置和拍摄方向以及投影物体的变化而变化。

本公开实施例提供的界面显示方法，通过摄像头进行拍摄，获取包括真实物体的第一界面，当检测到第一界面包括具有反射能力的指定物体时，根据第一虚拟物体创建第二虚拟物体，第一虚拟物体和第二虚拟物体关于指定物体对称；根据摄像头、第一虚拟物体、第二虚拟物体和指定物体的位置，在第一界面中指定物体所在的区域内，添加第二虚拟物体的投影物体，得到第二界面，用户在观看第二界面时，即可将第二虚拟物体的投影物体看作是第一虚拟物体在指定物体上反射形成的镜像物体，因此实现了虚拟物体在具有反射能力的指定物体上的反射，能够模拟虚拟物体与真实物体同处于一个空间的效果，提高了真实性。

并且，通过物体检测算法对第一界面中的物体进行检测，检测第一界面中是否包括任两个相似的真实物体，且检测第一界面中是否包括任两个相互嵌套的真实物体，当第一真实物体所在的区域内还包括与第二真实物体相似的物体时，确定第一真实物体为具有反射能力的指定物体，充分地利用具有反射能力的物体能够在物体表面上反射形成与其他物体相似的物体的特点，更为准确地识别出第一界面中存在的指定物体，更好地模拟虚拟物体与真实物体同处于一个空间的效果。

并且，第二界面中显示的真实物体、虚拟物体和投影物体根据摄像头的拍摄位置和拍摄方向的变化而变化，在摄像头拍摄动态界面的过程中，也能够更好地模拟虚拟物体与真实物体同处于一个空间的效果。

图5是根据一示例性实施例示出的一种界面显示装置的结构示意图。图5本发明实施例提供的一种界面显示装置结构示意图。参见图5，该装置包括：

获取模块501，被配置为通过摄像头进行拍摄，获取包括真实物体的第一界面；

创建模块502，被配置为当检测到第一界面包括具有反射能力的指定物体时，根据第一虚拟物体创建第二虚拟物体，第一虚拟物体和第二虚拟物体关于指定物体对称；

添加模块503，被配置为根据摄像头、第二虚拟物体和指定物体的位置，在第一界面中指定物体所在的区域内，添加第二虚拟物体的投影物体，得到第二界面。

本公开实施例提供的装置，通过摄像头进行拍摄，获取包括真实物体的第一界面，当检测到第一界面包括具有反射能力的指定物体时，根据第一虚拟物体创建第二虚拟物体，第一虚拟物体和第二虚拟物体关于指定物体对称；根据摄像头、第一虚拟物体、第二虚拟物体和指定物体的位置，在第一界面中指定物体所在的区域内，添加第二虚拟物体的投影物体，得到第二界面，用户在观看第二界面时，即可将第二虚拟物体的投影物体看作是第一虚拟物体在指定物体上反射形成的镜像物体，因此实现了虚拟物体在具有反射能力的指定物体上的反射，能够模拟虚拟物体与真实物体同处于一个空间的效果，提高了真实性。

在一种可能实现的方式中，装置还包括：

检测模块，被配置为对第一界面进行物体检测，确定第一界面中包括的真实物体；

确定模块，被配置为当确定第一界面中，第一真实物体所在的区域内还包括与第二真实物体相似的物体时，确定第一真实物体为具有反射能力的指定物体。

在另一种可能实现的方式中，创建模块501包括：

物体获取单元，被配置为将第一虚拟物体绕竖直方向旋转180度且进行水平翻转，得到第二虚拟物体，第二虚拟物体与第一虚拟物体互为镜像；

位置确定单元，被配置为将第一虚拟物体关于指定物体对称的位置确定为第二虚拟物体的位置。

在另一种可能实现的方式中，位置确定单元，被配置为：

获取摄像头与指定物体之间的第一距离；

根据摄像头的位置和第一虚拟物体在真实环境中的位置，获取摄像头与第一虚拟物体之间的第二距离；

根据第一距离和第二距离，获取第一虚拟物体与指定物体之间的第三距离；

将经过第一虚拟物体的位置且与指定物体垂直的指定线段的延长线上，与指定物体的距离为第三距离的位置确定为第二虚拟物体的位置。

在另一种可能实现的方式中，添加模块503，包括：

投影单元，被配置为根据摄像头、指定物体和第二虚拟物体的位置，将第二虚拟物体按照指向摄像头的方向，投影至指定物体上，得到位于指定物体所在的区域内的投影物体；

显示单元，被配置为在第一界面中显示投影物体，得到第二界面。

需要说明的是：上述实施例提供的界面显示装置在进行界面显示时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将电子设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的终端与界面显示方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图6是根据一示例性实施例示出的一种电子设备600的框图。例如，电子设备600可以是移动电话，计算机，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图6，电子设备600可以包括以下一个或多个组件：处理组件602，存储器604，电源组件606，多媒体组件608，音频组件610，输入/输出(I/O)的接口612，传感器组件614，以及通信组件616。

处理组件602通常控制电子设备600的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器520来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件602可以包括一个或多个模块，便于处理组件602和其他组件之间的交互。例如，处理组件602可以包括多媒体模块，以方便多媒体组件608和处理组件602之间的交互。

存储器604被配置为存储各种类型的数据以支持在电子设备600的操作。这些数据的示例包括用于在电子设备600上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件606为电子设备600的各种组件提供电力。电源组件606可以包括电源管理系统，一个或多个电源，及其他与为电子设备600生成、管理和分配电力相关联的组件。

多媒体组件608包括在电子设备600和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件608包括一个前置摄像头和/或后置摄像头。当电子设备600处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件610被配置为输出和/或输入音频信号。例如，音频组件610包括一个麦克风(MIC)，当电子设备600处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中，音频组件610还包括一个扬声器，用于输出音频信号。

I/O接口612为处理组件602和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件614包括一个或多个传感器，用于为电子设备600提供各个方面的状态评估。例如，传感器组件614可以检测到电子设备600的打开/关闭状态，组件的相对定位，例如组件为电子设备600的显示器和小键盘，传感器组件614还可以检测电子设备600或电子设备600一个组件的位置改变，用户与电子设备600接触的存在或不存在，电子设备600方位或加速/减速和电子设备600的温度变化。传感器组件614可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件614还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件616被配置为便于电子设备600和其他设备之间有线或无线方式的通信。电子设备600可以接入基于通信标准的无线网络，如Wi-Fi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件616还包括近场通信(NFC)模块，以促进短程通信。

在示例性实施例中，电子设备600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述界面显示方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器604，上述指令可由电子设备600的处理器620执行以完成上述方法。例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种获取机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本公开实施例的一些可选实施例，并不用以限制本公开，凡在本公开实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包括在本公开实施例的保护范围之内。

Claims (10)

1.一种界面显示方法，其特征在于，所述方法包括：

通过摄像头进行拍摄，获取包括真实物体的第一界面；

当检测到所述第一界面包括具有反射能力的指定物体时，根据第一虚拟物体创建第二虚拟物体，所述第一虚拟物体和所述第二虚拟物体关于所述指定物体对称；

根据所述摄像头、所述第二虚拟物体和所述指定物体的位置，将所述第二虚拟物体按照指向所述摄像头的方向，投影至所述指定物体上，得到位于所述指定物体所在的区域内的投影物体；

在所述第一界面中显示所述投影物体，得到第二界面。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述第一界面进行物体检测，确定所述第一界面中包括的真实物体；

当确定所述第一界面中，第一真实物体所在的区域内还包括与第二真实物体相似的物体时，确定所述第一真实物体为所述具有反射能力的指定物体。

3.根据权利要求1所述的方法，其特征在于，所述当检测到所述第一界面包括具有反射能力的指定物体时，根据第一虚拟物体创建第二虚拟物体，所述第一虚拟物体和所述第二虚拟物体关于所述指定物体对称，包括：

将所述第一虚拟物体绕竖直方向旋转180度且进行水平翻转，得到所述第二虚拟物体，所述第二虚拟物体与所述第一虚拟物体互为镜像；

将所述第一虚拟物体关于所述指定物体对称的位置确定为所述第二虚拟物体的位置。

4.根据权利要求3所述的方法，其特征在于，所述将所述第一虚拟物体关于所述指定物体对称的位置确定为所述第二虚拟物体的位置，包括：

获取所述摄像头与所述指定物体之间的第一距离；

根据所述摄像头的位置和所述第一虚拟物体在真实环境中的位置，获取所述摄像头与所述第一虚拟物体之间的第二距离；

根据所述第一距离和所述第二距离，获取所述第一虚拟物体与所述指定物体之间的第三距离；

将经过所述第一虚拟物体的位置且与所述指定物体垂直的指定线段的延长线上，与所述指定物体的距离为所述第三距离的位置确定为所述第二虚拟物体的位置。

5.一种界面显示装置，其特征在于，所述装置包括：

获取模块，被配置为通过摄像头进行拍摄，获取包括真实物体的第一界面；

创建模块，被配置为当检测到所述第一界面包括具有反射能力的指定物体时，根据第一虚拟物体创建第二虚拟物体，所述第一虚拟物体和所述第二虚拟物体关于所述指定物体对称；

添加模块，被配置为根据所述摄像头、所述第二虚拟物体和所述指定物体的位置，将所述第二虚拟物体按照指向所述摄像头的方向，投影至所述指定物体上，得到位于所述指定物体所在的区域内的投影物体；

显示单元，被配置为在所述第一界面中显示所述投影物体，得到第二界面。

6.根据权利要求5所述的装置，其特征在于，所述装置还包括：

检测模块，被配置为对所述第一界面进行物体检测，确定所述第一界面中包括的真实物体；

确定模块，被配置为当确定所述第一界面中，第一真实物体所在的区域内还包括与第二真实物体相似的物体时，确定所述第一真实物体为所述具有反射能力的指定物体。

7.根据权利要求5所述的装置，其特征在于，所述创建模块包括：

物体获取单元，被配置为将所述第一虚拟物体绕竖直方向旋转180度且进行水平翻转，得到所述第二虚拟物体，所述第二虚拟物体与所述第一虚拟物体互为镜像；

位置确定单元，被配置为将所述第一虚拟物体关于所述指定物体对称的位置确定为所述第二虚拟物体的位置。

8.根据权利要求7所述的装置，其特征在于，所述位置确定单元，被配置为：

获取所述摄像头与所述指定物体之间的第一距离；

根据所述摄像头的位置和所述第一虚拟物体在真实环境中的位置，获取所述摄像头与所述第一虚拟物体之间的第二距离；

根据所述第一距离和所述第二距离，获取所述第一虚拟物体与所述指定物体之间的第三距离；

将经过所述第一虚拟物体的位置且与所述指定物体垂直的指定线段的延长线上，与所述指定物体的距离为所述第三距离的位置确定为所述第二虚拟物体的位置。

9.一种用于界面显示的电子设备，其特征在于，所述电子设备包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

通过摄像头进行拍摄，获取包括真实物体的第一界面；

当检测到所述第一界面包括具有反射能力的指定物体时，根据第一虚拟物体创建第二虚拟物体，所述第一虚拟物体和所述第二虚拟物体关于所述指定物体对称；

根据所述摄像头、所述第二虚拟物体和所述指定物体的位置，将所述第二虚拟物体按照指向所述摄像头的方向，投影至所述指定物体上，得到位于所述指定物体所在的区域内的投影物体；

在所述第一界面中显示所述投影物体，得到第二界面。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如权利要求1至4任一权利要求所述的界面显示方法中所执行的操作。

Images