CN111246118A - Ar元素的显示方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例提供一种AR元素的显示方法、装置、设备及存储介质，旨在提高手机拍照期间的交互性，提高拍摄者的交互乐趣。所述AR元素的显示方法应用于服务器，所述方法包括：接收手机终端发送的待拍摄图像和手机镜头参数，所述待拍摄图像是所述手机终端的手机镜头在对焦后，所述手机终端的屏幕中所呈现的图像；根据所述手机镜头参数，计算所述待拍摄图像的景深范围，并确定所述景深范围的远近程度；根据所述景深范围的远近程度，从多个候选AR策略中确定目标AR策略；根据所述目标AR策略和所述待拍摄图像，获取AR元素，并将获取的AR元素返回给所述手机终端，使所述手机终端的屏幕中呈现所述AR元素。

Description

AR元素的显示方法、装置、设备及存储介质

技术领域

本申请实施例涉及图像处理技术领域，具体而言，涉及一种AR元素的显示方法、装置、设备及存储介质。

背景技术

随着人们生活水平的逐渐提高和文化休闲活动的多样性发展，逐渐兴起了各种各样的旅游园区，例如主题公园、湿地公园、动物园、网红拍照基地等等。人们在进入旅游园区参观游览时，通常会利用手机拍摄旅游园区内的建筑、设施、景观、植物或动物等景点，从而通过照片记录参观游览的过程。

然而在单纯利用手机拍摄旅游园区内的景点时，拍摄者与被拍摄景点之间不具有交互性，拍摄方式单一，被拍摄景点难以为拍摄者提供交互乐趣。

发明内容

本申请实施例提供一种AR元素的显示方法、装置、设备及存储介质，旨在提高手机拍照期间的交互性，提高拍摄者的交互乐趣。

本申请实施例第一方面提供一种AR元素的显示方法，所述方法应用于服务器，所述方法包括：

接收手机终端发送的待拍摄图像和手机镜头参数，所述待拍摄图像是所述手机终端的手机镜头在对焦后，所述手机终端的屏幕中所呈现的图像；

根据所述手机镜头参数，计算所述待拍摄图像的景深范围，并确定所述景深范围的远近程度；

根据所述景深范围的远近程度，从多个候选AR策略中确定目标AR策略；

根据所述目标AR策略和所述待拍摄图像，获取AR元素，并将获取的AR元素返回给所述手机终端，使所述手机终端的屏幕中呈现所述AR元素。

本申请实施例第二方面提供一种AR元素的显示装置，所述装置应用于服务器，所述装置包括：

数据接收模块，用于接收手机终端发送的待拍摄图像和手机镜头参数，所述待拍摄图像是所述手机终端的手机镜头在对焦后，所述手机终端的屏幕中所呈现的图像；

远近程度确定模块，用于根据所述手机镜头参数，计算所述待拍摄图像的景深范围，并确定所述景深范围的远近程度；

AR策略确定模块，用于根据所述景深范围的远近程度，从多个候选AR策略中确定目标AR策略；

AR元素获取模块，用于根据所述目标AR策略和所述待拍摄图像，获取AR元素，并将获取的AR元素返回给所述手机终端，使所述手机终端的屏幕中呈现所述AR元素。

本申请实施例第三方面提供一种可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如本申请第一方面所述的方法中的步骤。

本申请实施例第四方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现本申请第一方面所述的方法的步骤。

采用本申请提供的AR元素的显示方法，服务器在接收手机终端发送的待拍摄图像和手机镜头参数后，根据接收到的手机镜头参数，计算待拍摄图像的景深范围，并确定该景深范围的远近程度。其中，如果景深范围较近，则说明拍摄者关注的是近处的局部景点，如果景深范围较远，则说明拍摄者关注的是远处的全局景点。然后服务器根据景深范围的远近程度，从多个候选AR策略中确定目标AR策略。换言之，如果拍摄者所关注的是局部景点，则服务器确定局部景点对应的目标AR策略，如果拍摄者所关注的是全局景点，则服务器确定全局景点对应的目标AR策略。可见，服务器针对用户关注范围的不同，会确定不同的目标AR策略，因此有利于提高拍摄的多样性和交互性。

此外，服务器还根据待拍摄图像和确定出的目标AR策略，获取AR元素，并将获取的AR元素返回给所述手机终端，使所述手机终端的屏幕中呈现所述AR元素。如此，拍摄者利用手机终端执行拍摄操作后，所得到的图像中不仅包括被拍摄的景点，还包括AR元素，这些AR元素与拍摄者的关注范围相关，也与被拍摄的景点相关。从而进一步提高了拍摄的多样性和交互性，也提高了拍摄者的交互乐趣。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提出的AR元素的显示方法的流程图；

图2是本发明一实施例提出的获取AR元素的流程图；

图3是本发明一实施例提出的标志物检测示意图；

图4是本发明一实施例提出的目标物检测示意图；

图5是本发明另一实施例提出的获取AR元素的流程图；

图6是本申请一实施例提出的AR元素的显示装置的示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

相关技术中，拍摄者单纯利用手机拍摄旅游园区内的景点时，拍摄者与被拍摄景点之间不具有交互性，拍摄方式单一，被拍摄景点难以为拍摄者提供交互乐趣。

为此，本发明通过以下实施例提出AR元素的显示方法、装置、设备及存储介质，旨在提高手机拍照期间的交互性，提高拍摄者的交互乐趣。

参考图1，图1是本发明一实施例提出的AR元素的显示方法的流程图，该方法应用于服务器（通常是旅游园区的服务器）。如图1所示，该方法包括以下步骤：

步骤S11：接收手机终端发送的待拍摄图像和手机镜头参数，所述待拍摄图像是所述手机终端的手机镜头在对焦后，所述手机终端的屏幕中所呈现的图像。

其中，手机镜头对焦是指：拍摄者在将手机镜头对准被拍摄物体，使手机屏幕中呈现出被拍摄物体的画面后，用户点击屏幕上的被拍摄物体，使得手机镜头的参数调整，从而使得屏幕上的被拍摄物体变得更清晰的过程。

需要说明的是，待拍摄图像是指：手机对焦之后和拍摄者点击快门按键之前，手机屏幕中呈现的画面。

具体实现时，手机终端可以在对焦后自动对屏幕中的画面进行截图操作，即获得一张待拍摄图像。然后手机终端将该张待拍摄图像发送给旅游园区的服务器，同时将对焦后的手机镜头参数发送给旅游园区的服务器。如此，旅游园区的服务器可以接收到手机终端发送的待拍摄图像和手机镜头参数。

在一些应用场景中，旅游园区可以预先设立服务器，并且编写可与该服务器通信的微信小程序，该微信小程序中包括相机软件，该相机软件可实现上述：对焦、自动截图、待拍摄图像发送、镜头参数发送等功能。旅游园区内的游客可打开微信中的所述微信小程序，并利用该微信小程序中的相机软件对旅游园区内的景点进行拍摄。

步骤S12：根据所述手机镜头参数，计算所述待拍摄图像的景深范围，并确定所述景深范围的远近程度。

其中，手机镜头参数包括但不限于：镜头的容许弥散圆直径δ、镜头焦距f、镜头的拍摄光圈值F、对焦距离L。在计算待拍摄图像的景深范围时，前景深ΔL1=(F×δ×L×L)/(f×f+ F×δ×L)，后景深ΔL2=(F×δ×L×L)/(f×f-F×δ×L)。景深范围为：前景深ΔL1至后景深ΔL2。

在确定景深范围的远近程度时，具体地，可以将景深范围的后景深ΔL2确定为景深范围的远近程度。为便于理解，假设待拍摄图像的景深范围是1.05m至4.97m，其中1.05m是前景深，4.97m是后景深。则待拍摄图像的景深范围的远近程度为4.97m。又假设待拍摄图像的景深范围是3.68m至无穷远，其中3.68m是前景深，无穷远是后景深。则待拍摄图像的景深范围的远近程度为无穷远。

本发明中，待拍摄图像的景深范围的远近程度，反映的是拍摄者的关注范围。如果景深范围偏近，则说明拍摄者关注的是近处的局部景点。如果景深范围偏远，则说明拍摄者关注的是远处的全局景点。

步骤S13：根据所述景深范围的远近程度，从多个候选AR策略中确定目标AR策略。

其中，AR是指Augmented Reality，即增强现实。AR策略是指显示AR元素的策略。

具体实现时，服务器内可存储多个候选AR策略，不同的候选AR策略对应不同远近程度的景深范围。换言之，针对远近程度不同的景深范围，需要采用不同的策略展示AR元素。

示例地，多个候选AR策略包括：第一候选AR策略和第二候选AR策略。其中，第一候选AR策略为：识别待拍摄图像中的目标物，获取与所述目标物对应的AR元素。第二候选AR策略为：确定待拍摄图像的拍摄地点，获取与所述拍摄地点对应的AR元素。

为了根据景深范围的远近程度，从多个候选AR策略中确定目标AR策略，可以执行以下子步骤：

子步骤S13-1：将所述景深范围的远近程度与预设远近程度比较。

子步骤S13-2：在所述景深范围的远近程度近于所述预设远近程度的情况下，将所述第一候选AR策略确定为目标AR策略。

子步骤S13-3：在所述景深范围的远近程度不近于所述预设远近程度的情况下，将所述第二候选AR策略确定为目标AR策略。

为便于理解，假设预设远近程度为10m，则将上述步骤S12中确定出的远近程度与10m比较。如果远近程度小于或等于10m，则将第一候选AR策略确定为目标AR策略。如果远近程度大于10m，则将第二候选AR策略确定为目标AR策略。

换言之，如果拍摄者关注的是近处的局部景点，则在下述步骤S14中，识别待拍摄图像中的目标物，获取与所述目标物对应的AR元素。如果拍摄者关注的是远处的全局景点，则在下述步骤S14中，确定待拍摄图像的拍摄地点，获取与所述拍摄地点对应的AR元素。

步骤S14：根据所述目标AR策略和所述待拍摄图像，获取AR元素，并将获取的AR元素返回给所述手机终端，使所述手机终端的屏幕中呈现所述AR元素。

其中AR元素是指：可以在手机终端的屏幕上与待拍摄图像一起显示的数据，包括但不限于图片、彩绘图像、简短动画、文字、地图等。具体实现时，服务器内可预先存储多种AR元素。服务器在执行上述步骤S14时，根据目标AR策略和待拍摄图像，从多种AR元素中获取与目标AR策略、待拍摄图像相关的AR元素，并将获取的AR元素返回给手机终端。

如果在上述步骤S13中，服务器将第一候选AR策略确定为目标AR策略，则服务器在执行上述步骤S14时，如图2所示，包括以下子步骤：

子步骤S14-1：确定所述待拍摄图像的拍摄范围。

其中，拍摄范围是指旅游园区内的各个景点区域。为便于理解，以休闲公园为例，休闲公园中包括：草本花卉园、木本花卉园、水鸟湖泊园、食草动物园等景点区域，每个景点区域对应一种拍摄范围。

该子步骤的目的在于：确定待拍摄图像的拍摄范围，也即确定待拍摄图像属于多个景点区域中的哪个景点区域。

具体实现时，服务器可以将待拍摄图像输入标志物检测模型，从而根据标志物检测模型的输出，确定待拍摄图像的拍摄范围。其中，标志物检测模型用于从图像中检测各个拍摄范围的标志物。为便于理解，仍以上述休闲公园为例，其中，草本花卉园的标志物为园中分布的亭子建筑，木本花卉园的标志物为林间分布的指引路牌，水鸟湖泊园的标志物为湖心小岛，食草动物园的标志物为园中假山。标志物检测模型专门用于检测待拍摄图像中是否包含亭子建筑、指引路牌、指引路牌、园中假山等标志物。

其中，标志物检测模型的结构可选用Faster R-CNN或MaskR-CNN等检测模型的结构，这些检测模型可以在给定一张图像后, 找出图中具有哪些对象,以及这些对象的位置和置信概率。需要补充说明的是，服务器可以预先利用样本图像，对Faster R-CNN模型或MaskR-CNN 模型进行训练，并将训练完成的Faster R-CNN模型或MaskR-CNN 模型作为标志物检测模型。其中，样本图像中包括亭子建筑、指引路牌、指引路牌、园中假山等标志物的图像。此外，每张样本图像还携带标记，该标记用于表征每个标志物在样本图像中的位置。

服务器在执行上述子步骤S14-1时，具体地，基于标志物检测模型，对所述待拍摄图像进行目标检测，以确定所述待拍摄图像中的至少一个标志物以及每个标志物各自对应的概率；从所述至少一个标志物中，确定概率最高的标志物，并根据该标志物，从多个候选的拍摄范围中，确定所述待拍摄图像的拍摄范围。

为便于理解，参考图3，图3是本发明一实施例提出的标志物检测示意图。如图3所示，将待拍摄图像输入标志物检测模型后，得到标志物检测模型输出的输出图像。该输出图像中具有两个矩形框，两个矩形框分别框示出两个标志物，即亭子建筑和湖心小岛。两个矩形框的上方均具有概率值和标志物名称，该概率值表征矩形框所框示内容属于标志物名称的概率。如图3所示，矩形框A上方的概率为0.99，表示矩形框A所框示的内容属于亭子建筑的概率为0.99，矩形框B上方的概率为0.87，表示矩形框B所框示的内容属于湖心小岛的概率为0.87。

由于待拍摄图像所包含的两种标志物中，亭子建筑的概率值最高，且由于亭子建筑是草本花卉园的标志物。因此根据亭子建筑，从草本花卉园、木本花卉园、水鸟湖泊园、食草动物园等候选的拍摄范围中，将草本花卉园确定为待拍摄图像的拍摄范围。

子步骤S14-2：根据所述拍摄范围，从多个候选的目标物检测模型中确定与该拍摄范围对应的目标物检测模型，其中，拍摄范围对应的目标物检测模型用于对所述拍摄范围内的物体进行检测。

具体实现时，每种拍摄范围对应一个目标物检测模型。例如草本花卉园对应第一目标物检测模型，第一目标物检测模型专门用于检测草本花卉园内的：郁金香、水仙花、格桑花、风车、小溪等目标物。

木本花卉园对应第二目标物检测模型，第二目标物检测模型专门用于检测木本花卉园内的：梅花、桃花、月季、蔷薇花、秋千、绿色长廊等目标物。

水鸟湖泊园对应第三目标物检测模型，第三目标物检测模型专门用于检测水鸟湖泊园内的：天鹅、鸳鸯、小船、荷花、拱桥等目标物。

食草动物园对应第四目标物检测模型，第四目标物检测模型专门用于检测食草动物园内的：斑马、梅花鹿、羊驼、小矮马、兔子等目标物。

其中，每个目标物检测模型的结构均可选用Faster R-CNN或MaskR-CNN等检测模型的结构。服务器可以预先利用样本图像，对Faster R-CNN模型或MaskR-CNN 模型进行训练，并将训练完成的Faster R-CNN模型或MaskR-CNN 模型作为一个目标物检测模型。以第一目标物检测模型为例，样本图像中包括郁金香、水仙花、格桑花、风车、小溪等目标物的图像。此外，每张样本图像还携带标记，该标记用于表征每个目标物在样本图像中的位置。

所述第一目标物检测模型、第二目标物检测模型、第三目标物检测模型以及第四目标物检测模型即是四个候选的目标物检测模型。假设经过上述子步骤S14-1后，确定的拍摄范围为草本花卉园，则执行上述子步骤S14-2时，从多个候选的目标物检测模型中，选出第一目标物检测模型，以执行下述子步骤S14-3。

需要说明的是，本发明应用于旅游园区内的拍照场景，由于旅游园区内的各种目标物太多，例如郁金香、水仙花、格桑花、风车、小溪、梅花、桃花、月季、蔷薇花、秋千、绿色长廊、天鹅、鸳鸯、小船、荷花、拱桥、斑马、梅花鹿、羊驼、小矮马、兔子等。如果利用一个目标物检测模型同时对多种目标物进行检测，则该目标物检测模型的训练难度较大，且检测准确性难以保证。

而本发明中，根据各个目标物的分布，将分布较近或分布在同处的多个目标物作为一组，并对应一个拍摄范围。如此，得到多个目标物分组。例如郁金香、水仙花、格桑花、风车、小溪等目标物作为第一组，对应的拍摄范围是草本花卉园。例如梅花、桃花、月季、蔷薇花、秋千、绿色长廊等目标物作为第二组，对应的拍摄范围是木本花卉园。例如天鹅、鸳鸯、小船、荷花、拱桥等目标物作为第三组，对应的拍摄范围是水鸟湖泊园。例如斑马、梅花鹿、羊驼、小矮马、兔子等目标物作为第四组，对应的拍摄范围是食草动物园。并且，每组目标物还对应一个标志物，例如第一组目标物对应的标志物是亭子建筑，例如第二组目标物对应的标志物是指引路牌，例如第三组目标物对应的标志物是湖心小岛，例如第四组目标物对应的标志物是园中假山。本发明首先利用标志物检测模型对待拍摄图像中的标志物进行检测，从而根据检测结果，确定待拍摄图像对应的拍摄范围，以缩小目标检测的范围。然后利用与该拍摄范围对应的目标物检测模型，对待拍摄图像中的目标物进行检测。

本发明在实现时，标志物检测模型和多个目标物检测模型的训练过程易于实现，并且具有更高的检测准确性。

子步骤S14-3：基于确定出的目标物检测模型，对所述待拍摄图像进行目标检测，以确定所述待拍摄图像中的目标物。

为便于理解，参考图4，图4是本发明一实施例提出的目标物检测示意图。如图4所示，沿用上述示例，将待拍摄图像输入确定出的第一目标物检测模型后，得到第一目标物检测模型输出的输出图像。如图4所示，该输出图像中具有四个矩形框，四个矩形框分别框示出四个目标物，即郁金香、水仙花、风车和小溪等目标物。四个矩形框的上方均具有概率值和目标物名称，该概率值表征矩形框所框示内容属于目标物名称的概率。如图4所示，矩形框W上方的概率为0.92，表示矩形框W所框示的内容属于郁金香的概率为0.93。矩形框X上方的概率为0.95，表示矩形框X所框示的内容属于水仙花的概率为0.95。矩形框Y上方的概率为0.99，表示矩形框Y所框示的内容属于风车的概率为0.99。矩形框Z上方的概率为0.86，表示矩形框Z所框示的内容属于小溪的概率为0.86。

考虑到待拍摄图像中的目标物数量较多，如果获取多个目标物各自对应的AR元素，并返回给手机终端显示，一方面则会造成AR元素的显示杂乱，导致图像缺乏中心主题。另一方面会增加数据传输量，增加网络传输压力。

又考虑到通常手机终端对焦的目标物是拍摄者所关注的目标物。为此，本发明中，在待拍摄图像中的目标物的数量为多个的情况下，可以根据所述多个目标物各自的位置和点击位置，确定所述多个目标物分别与所述点击位置之间的距离；将距离最近的目标物保留，将其余目标物剔除。

其中，点击位置是指：拍摄者在对手机终端进行对焦期间，点击手机屏幕时的点击位置，也即点击待拍摄图像的位置。例如拍摄者想拍摄草本花卉园中的风车，拍摄者将手机镜头对准风车后，手机终端的屏幕中呈现出风车的影像。由于手机镜头此时可能没有对焦在风车上，风车的影像不清晰。于是拍摄者可能会点触屏幕中的风车影像，从而使手机镜头对焦至风车上。

其中，点击位置可以作为一种手机镜头参数，由手机终端发送给服务器。

具体实现时，由于子步骤S14-3中的目标检测模型可以输出各个目标物的位置信息，即矩形框。如此，可以将矩形框的中心点作为目标物的位置。又由于服务器在步骤S11中已经接收到手机终端发送的点击位置信息，因此可以利用现有的距离算法，计算多个目标物分别与点击位置之间的距离。最后将距离点击位置最近的目标物保留，将其余目标物剔除。

子步骤S14-4：从多组候选AR元素中，获取与所述目标物对应的AR元素。

具体实现时，服务器中预先存储有每种目标物各自对应的AR元素。例如郁金香对应的AR元素包括：一片闪闪发亮的露珠、一群翩翩起舞的舞蝶等。又例如风车对应的AR元素包括：伴随风车飞舞的花瓣、击中风车的闪电等。再例如兔子对应的AR元素包括：月宫中的桂花树、胡萝卜漫画、表情狰狞的大灰狼漫画等等。上述这些AR元素作为多组候选AR元素。

假设在经过上述子步骤S14-3之后，将风车保留为目标物，则可以从风车对应的AR元素中，随机选出一种AR元素。具体地，从伴随风车飞舞的花瓣、击中风车的闪电等AR元素中，选出伴随风车飞舞的花瓣这一AR元素。

此外，在将选出的AR元素返回给手机终端之前，还可以根据目标物在该待拍摄图像中的位置，确定AR元素的显示位置。然后在将AR元素返回给手机终端时，具体是将获取的AR元素和该AR元素的显示位置信息，同时返回给所述手机终端。使得手机终端可以根据AR元素的显示位置信息，将AR元素显示在合适的位置上。

具体实现时，每个AR元素均携带有位置标识，该位置标识用于表征该AR元素与目标物之间的相对位置关系。例如风车对应的“伴随风车飞舞的花瓣”的位置标识为“中”，表示“伴随风车飞舞的花瓣”这一AR元素可以和风车重叠显示。又例如风车对应的“击中风车的闪电”的位置标识为“上”，表示“击中风车的闪电”这一AR元素应显示在风车的上方。

在为目标物确定AR元素后，首先根据目标物的矩形框的大小（也即目标物在待显示图像中的大小），确定AR元素的显示大小。通常目标物的矩形框越大，AR元素应显示得越大。然后根据目标物在待拍摄图像中的位置和AR元素均携带的位置标识，确定AR元素的显示位置。

为便于理解，假设风车在待显示图像中的大小为3200个像素，则可以将“伴随风车飞舞的花瓣”这一AR元素的显示大小确定为4000个像素，稍大于风车。又假设风车在待拍摄图像中的位置是：距离图像上边框132个像素，距离图像左边框85个像素，距离图像右边框124个像素，距离图像下边框68个像素。由于“伴随风车飞舞的花瓣”这一AR元素携带的位置标识是“中”，因此可以确定这一AR元素显示时，距离图像上边框122个像素，距离图像左边框80个像素，距离图像右边框94个像素，距离图像下边框60个像素。

综上，在将上述第一候选AR策略确定为目标AR策略的情况下，通过执行图2所示的子步骤，可以顺利获得AR元素。

此外，如果在上述步骤S13中，服务器将第二候选AR策略确定为目标AR策略，则服务器在执行上述步骤S14时，如图5所示，包括以下子步骤：

子步骤S14-A：将所述待拍摄图像与预设电子地图进行对比，以确定所述待拍摄图像的拍摄地点。

具体实现时，可以预先为旅游园区建立电子地图，并保存，作为所述预设电子地图。在接收到待拍摄图像后，可以将该待拍摄图像与预设电子地图进行对比，从而对拍摄者进行定位，也即确定所述待拍摄图像的拍摄地点。

其中，具体可通过机器人建立电子地图。机器人建立电子地图的方式，类似于扫地机器人建立室内地图的方式，采用SLAM同步定位与建图技术。其中，将待拍摄图像与预设电子地图进行对比，从而对拍摄者进行定位的实现手段，也可借助SLAM同步定位与建图技术。

子步骤S14-B：根据所述拍摄地点，得到与所述拍摄地点对应的AR元素，该AR元素中包括景区平面地图，该景区平面地图中标注有所述拍摄地点的位置。

其中，景区平面地图可以是黑白线条地图，也可以是彩绘地图。景区平面地图中通过十字标识、三角标识或者五星标识等，表示拍摄地点的位置。

通过执行上述包括步骤S11至步骤S14的AR元素的显示方法，服务器在接收手机终端发送的待拍摄图像和手机镜头参数后，根据接收到的手机镜头参数，计算待拍摄图像的景深范围，并确定该景深范围的远近程度。其中，如果景深范围较近，则说明拍摄者关注的是近处的局部景点，如果景深范围较远，则说明拍摄者关注的是远处的全局景点。然后服务器根据景深范围的远近程度，从多个候选AR策略中确定目标AR策略。换言之，如果拍摄者所关注的是局部景点，则服务器确定局部景点对应的目标AR策略，如果拍摄者所关注的是全局景点，则服务器确定全局景点对应的目标AR策略。可见，服务器针对用户关注范围的不同，会确定不同的目标AR策略，因此有利于提高拍摄的多样性和交互性。

此外，服务器还根据待拍摄图像和确定出的目标AR策略，获取AR元素，并将获取的AR元素返回给所述手机终端，使所述手机终端的屏幕中呈现所述AR元素。如此，拍摄者利用手机终端执行拍摄操作后，所得到的图像中不仅包括被拍摄的景点，还包括AR元素，这些AR元素与拍摄者的关注范围相关，也与被拍摄的景点相关。从而进一步提高了拍摄的多样性和交互性，也提高了拍摄者的交互乐趣。

基于同一发明构思，本发明一实施例提供一种AR元素的显示装置。参考图6，图6是本申请一实施例提出的AR元素的显示装置的示意图，该装置应用于服务器。如图6所示，该装置包括：

数据接收模块61，用于接收手机终端发送的待拍摄图像和手机镜头参数，所述待拍摄图像是所述手机终端的手机镜头在对焦后，所述手机终端的屏幕中所呈现的图像；

远近程度确定模块62，用于根据所述手机镜头参数，计算所述待拍摄图像的景深范围，并确定所述景深范围的远近程度；

AR策略确定模块63，用于根据所述景深范围的远近程度，从多个候选AR策略中确定目标AR策略；

AR元素获取模块64，用于根据所述目标AR策略和所述待拍摄图像，获取AR元素，并将获取的AR元素返回给所述手机终端，使所述手机终端的屏幕中呈现所述AR元素。

可选地，所述多个候选AR策略包括：第一候选AR策略和第二候选AR策略；其中，第一候选AR策略为：识别待拍摄图像中的目标物，获取与所述目标物对应的AR元素；第二候选AR策略为：确定待拍摄图像的拍摄地点，获取与所述拍摄地点对应的AR元素；

所述AR策略确定模块，具体用于将所述景深范围的远近程度与预设远近程度比较；在所述景深范围的远近程度近于所述预设远近程度的情况下，将所述第一候选AR策略确定为目标AR策略；在所述景深范围的远近程度不近于所述预设远近程度的情况下，将所述第二候选AR策略确定为目标AR策略。

可选地，所述AR元素获取模块，包括：

拍摄范围确定子模块，用于在将所述第一候选AR策略确定为目标AR策略的情况下，确定所述待拍摄图像的拍摄范围；

模型确定子模块，用于根据所述拍摄范围，从多个候选的目标物检测模型中确定与该拍摄范围对应的目标物检测模型，其中，拍摄范围对应的目标物检测模型用于对所述拍摄范围内的物体进行检测；

目标物检测子模块，用于基于确定出的目标物检测模型，对所述待拍摄图像进行目标检测，以确定所述待拍摄图像中的目标物；

AR元素获取子模块，用于从多组候选AR元素中，获取与所述目标物对应的AR元素。

可选地，所述拍摄范围确定子模块包括：

标志物检测单元，用于基于标志物检测模型，对所述待拍摄图像进行目标检测，以确定所述待拍摄图像中的至少一个标志物以及每个标志物各自对应的概率；

拍摄范围确定单元，用于从所述至少一个标志物中，确定概率最高的标志物，并根据该标志物，从多个候选的拍摄范围中，确定所述待拍摄图像的拍摄范围。

可选地，所述手机镜头参数中还包括拍摄者对焦期间点击手机屏幕时的点击位置信息；所述装置还包括：

目标物筛选子模块，用于在所述待拍摄图像中的目标物的数量为多个的情况下，根据所述多个目标物各自的位置和所述点击位置，确定所述多个目标物分别与所述点击位置之间的距离；将距离最近的目标物保留，将其余目标物剔除。

可选地，所述装置还包括：

显示位置确定模块，用于在将获取的AR元素返回给所述手机终端之前，根据所述目标物在所述待拍摄图像中的位置，确定所述AR元素的显示位置；

所述AR元素获取模块在将获取的AR元素返回给所述手机终端时，具体用于将获取的AR元素和所述AR元素的显示位置信息，同时返回给所述手机终端。

可选地，所述AR元素获取模块，包括：

拍摄地点确定子模块，用于在将所述第二候选AR策略确定为目标AR策略的情况下，将所述待拍摄图像与预设电子地图进行对比，以确定所述待拍摄图像的拍摄地点；

AR元素获取子模块，用于根据所述拍摄地点，得到与所述拍摄地点对应的AR元素，该AR元素中包括景区平面地图，该景区平面地图中标注有所述拍摄地点的位置。

基于同一发明构思，本申请另一实施例提供一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请上述任一实施例所述的AR元素的显示方法中的步骤。

基于同一发明构思，本申请另一实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现本申请上述任一实施例所述的AR元素的显示方法中的步骤。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本申请所提供的一种AR元素的显示方法、装置、设备及存储介质，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种AR元素的显示方法，其特征在于，所述方法应用于服务器，所述方法包括：

接收手机终端发送的待拍摄图像和手机镜头参数，所述待拍摄图像是所述手机终端的手机镜头在对焦后，所述手机终端的屏幕中所呈现的图像；

根据所述手机镜头参数，计算所述待拍摄图像的景深范围，并确定所述景深范围的远近程度；

根据所述景深范围的远近程度，从多个候选AR策略中确定目标AR策略；

根据所述目标AR策略和所述待拍摄图像，获取AR元素，并将获取的AR元素返回给所述手机终端，使所述手机终端的屏幕中呈现所述AR元素。

2.根据权利要求1所述的方法，其特征在于，所述多个候选AR策略包括：第一候选AR策略和第二候选AR策略；其中，第一候选AR策略为：识别待拍摄图像中的目标物，获取与所述目标物对应的AR元素；第二候选AR策略为：确定待拍摄图像的拍摄地点，获取与所述拍摄地点对应的AR元素；

所述根据所述景深范围的远近程度，从多个候选AR策略中确定目标AR策略的步骤，包括：

将所述景深范围的远近程度与预设远近程度比较；

在所述景深范围的远近程度近于所述预设远近程度的情况下，将所述第一候选AR策略确定为目标AR策略；

在所述景深范围的远近程度不近于所述预设远近程度的情况下，将所述第二候选AR策略确定为目标AR策略。

3.根据权利要求2所述的方法，其特征在于，在将所述第一候选AR策略确定为目标AR策略的情况下，所述根据所述目标AR策略和所述待拍摄图像，获取AR元素的步骤，包括：

确定所述待拍摄图像的拍摄范围；

根据所述拍摄范围，从多个候选的目标物检测模型中确定与该拍摄范围对应的目标物检测模型，其中，拍摄范围对应的目标物检测模型用于对所述拍摄范围内的物体进行检测；

基于确定出的目标物检测模型，对所述待拍摄图像进行目标检测，以确定所述待拍摄图像中的目标物；

从多组候选AR元素中，获取与所述目标物对应的AR元素。

4.根据权利要求3所述的方法，其特征在于，所述确定所述待拍摄图像的拍摄范围的步骤，包括：

基于标志物检测模型，对所述待拍摄图像进行目标检测，以确定所述待拍摄图像中的至少一个标志物以及每个标志物各自对应的概率；

从所述至少一个标志物中，确定概率最高的标志物，并根据该标志物，从多个候选的拍摄范围中，确定所述待拍摄图像的拍摄范围。

5.根据权利要求3所述的方法，其特征在于，所述手机镜头参数中还包括拍摄者对焦期间点击手机屏幕时的点击位置信息；在所述待拍摄图像中的目标物的数量为多个的情况下，所述方法还包括：

根据所述多个目标物各自的位置和所述点击位置，确定所述多个目标物分别与所述点击位置之间的距离；

将距离最近的目标物保留，将其余目标物剔除。

6.根据权利要求3所述的方法，其特征在于，在将获取的AR元素返回给所述手机终端之前，所述方法还包括：

根据所述目标物在所述待拍摄图像中的位置，确定所述AR元素的显示位置；

所述将获取的AR元素返回给所述手机终端的步骤，包括：

将获取的AR元素和所述AR元素的显示位置信息，同时返回给所述手机终端。

7.根据权利要求2所述的方法，其特征在于，在将所述第二候选AR策略确定为目标AR策略的情况下，所述根据所述目标AR策略和所述待拍摄图像，获取AR元素的步骤，包括：

将所述待拍摄图像与预设电子地图进行对比，以确定所述待拍摄图像的拍摄地点；

根据所述拍摄地点，得到与所述拍摄地点对应的AR元素，该AR元素中包括景区平面地图，该景区平面地图中标注有所述拍摄地点的位置。

8.一种AR元素的显示装置，其特征在于，所述装置应用于服务器，所述装置包括：

数据接收模块，用于接收手机终端发送的待拍摄图像和手机镜头参数，所述待拍摄图像是所述手机终端的手机镜头在对焦后，所述手机终端的屏幕中所呈现的图像；

远近程度确定模块，用于根据所述手机镜头参数，计算所述待拍摄图像的景深范围，并确定所述景深范围的远近程度；

AR策略确定模块，用于根据所述景深范围的远近程度，从多个候选AR策略中确定目标AR策略；

AR元素获取模块，用于根据所述目标AR策略和所述待拍摄图像，获取AR元素，并将获取的AR元素返回给所述手机终端，使所述手机终端的屏幕中呈现所述AR元素。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现如权利要求1至7任一所述的方法中的步骤。

10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现如权利要求1至7任一所述的方法的步骤。

Images