CN111640194A

CN111640194A - Ar场景图像展示控制方法、装置、电子设备及存储介质

Info

Publication number: CN111640194A
Application number: CN202010509099.3A
Authority: CN
Inventors: 王子彬; 孙红亮; 李炳泽; 张一�
Original assignee: Shanghai Sensetime Intelligent Technology Co Ltd
Current assignee: Shanghai Sensetime Intelligent Technology Co Ltd
Priority date: 2020-06-07
Filing date: 2020-06-07
Publication date: 2020-09-08

Abstract

本公开提供了一种AR场景图像展示控制方法、装置、电子设备及存储介质，该方法包括：获取AR设备拍摄的目标用户图像；从所述目标用户图像中，提取目标用户对应的服饰特征信息；基于所述服饰特征信息，确定与所述目标用户的服饰匹配的虚拟建筑物；并通过所述AR设备展示将所述虚拟建筑物融入现实场景中的AR场景图像。

Description

AR场景图像展示控制方法、装置、电子设备及存储介质

技术领域

本公开涉及增强现实技术领域，具体而言，涉及一种AR场景图像展示控制方法、装置、电子设备及存储介质。

背景技术

一般的，不同地区、或不同年代的建筑物具有不同的建筑风格，不同建筑风格的建筑物能够为人们带来不同的参观体验。用户可以到达建筑物对应的位置，对建筑物进行参观，并可以拍照留念。

但是，通过到达不同地点对不同建筑物进行观察的方式，用户的参观成本较高，且用户无法对参观的建筑物进行全方位的了解。

发明内容

有鉴于此，本公开至少提供一种AR场景图像展示控制方法、装置、电子设备及存储介质。

第一方面，本公开提供了一种AR场景图像展示控制方法，包括：

获取AR设备拍摄的目标用户图像；

从所述目标用户图像中，提取目标用户对应的服饰特征信息；

基于所述服饰特征信息，确定与所述目标用户的服饰匹配的虚拟建筑物；并通过所述AR设备展示将所述虚拟建筑物融入现实场景中的AR场景图像。

上述方法中，通过从获取的目标用户图像中，提取目标用户对应的服饰特征信息；基于服饰特征信息，确定与目标用户的服饰匹配的虚拟建筑物；并通过AR设备展示将虚拟建筑物融入现实场景中的AR场景图像，通过为穿着有不同服饰风格的用户，展示不同的虚拟建筑物，比如，若用户穿着有旗袍时，可以为用户展示旧上海石库门建筑物；这种方式下，由于用户的服饰特征体现了该用户的兴趣点，基于该服饰特征推送展示相关虚拟建筑物，可以更好地满足用户观览需求，提高了进行虚拟物展示的有效性。

一种可能的实施方式中，从所述目标用户图像中，提取目标用户对应的服饰特征信息，包括：

对所述目标用户图像进行识别，确定所述目标用户图像在多种服饰属性中每种服饰属性下的特征数据；

基于所述目标用户图像在每种服饰属性下的特征数据，确定所述目标用户的服饰特征信息。

上述实施方式中，从多种服饰属性下，获取目标用户的服饰特征信息，使得服饰特征信息能较准确的表征目标用户的服饰特征，进而为后续基于目标用户的服饰特征信息，确定与目标用户的服饰匹配的虚拟建筑物，提供了数据支持。

一种可能的实施方式中，所述多种服饰属性包括以下部分或全部：

年代属性、民族属性、性别属性、颜色属性、款式属性。

一种可能的实施方式中，基于所述服饰特征信息，确定与所述目标用户的服饰匹配的虚拟建筑物，包括：

基于所述服饰特征信息中每种服饰属性下的特征数据和各个虚拟建筑物分别对应的预先存储的特征数据，确定与所述目标用户的服饰匹配的虚拟建筑物。

一种可能的实施方式中，基于所述服饰特征信息中每种服饰属性下的特征数据和各个虚拟建筑物分别对应的预先存储的特征数据，确定与所述目标用户的服饰匹配的虚拟建筑物，包括：

基于所述服饰特征信息中每种服饰属性对应的权重、每种服饰属性下的特征数据，生成所述目标用户对应的服饰特征向量；

基于所述服饰特征向量、以及预先存储的每个虚拟建筑物的特征数据对应的特征向量，确定所述目标用户的服饰与该虚拟建筑物的匹配度；

基于各个虚拟建筑物对应的匹配度，确定与所述目标用户的服饰匹配的虚拟建筑物。

上述实施方式中，通过为服饰属性确定权重，并基于设置的权重生成对应的服饰特征向量，使得生成的服饰特征向量能较准确的表征目标用户的服饰特征，进而基于服饰特征向量和虚拟建筑物对应的特征向量，能较准确的计算得到的每个虚拟建筑物与目标用户的服饰之间的匹配度，使得虚拟建筑物的匹配较为准确。

一种可能的实施方式中，获取AR设备拍摄的目标用户图像，包括：

获取所述AR设备拍摄的初始图像，在所述AR设备拍摄的所述初始图像中包括多个用户时，从所述初始图像中，截取包括人脸正脸的全身图像，将截取到的所述全身图像，作为所述目标用户图像。

上述实施方式中，通过将截取到的全身图像，确定为目标用户图像，将初始图像中的除全身图像之外的其他图像筛掉，避免其他图像的信息对目标用户图像的服饰特征信息造成干扰。

以下装置、电子设备等的效果描述参见上述方法的说明，这里不再赘述。

第二方面，本公开提供了一种AR场景图像展示控制装置，包括：

获取模块，用于获取AR设备拍摄的目标用户图像；

提取模块，用于从所述目标用户图像中，提取目标用户对应的服饰特征信息；

确定模块，用于基于所述服饰特征信息，确定与所述目标用户的服饰匹配的虚拟建筑物；并通过所述AR设备展示将所述虚拟建筑物融入现实场景中的AR场景图像。

一种可能的实施方式中，所述提取模块，在从所述目标用户图像中，提取目标用户对应的服饰特征信息时，用于：

年代属性、民族属性、性别属性、颜色属性、款式属性。

一种可能的实施方式中，所述确定模块，在基于所述服饰特征信息，确定与所述目标用户的服饰匹配的虚拟建筑物时，用于：

一种可能的实施方式中，所述确定模块，在基于所述服饰特征信息中每种服饰属性下的特征数据和各个虚拟建筑物分别对应的预先存储的特征数据，确定与所述目标用户的服饰匹配的虚拟建筑物时，用于：

一种可能的实施方式中，所述获取模块，在获取AR设备拍摄的目标用户图像时，用于：

第三方面，本公开提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述第一方面或任一实施方式所述的AR场景图像展示控制方法的步骤。

第四方面，本公开提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述第一方面或任一实施方式所述的AR场景图像展示控制方法的步骤。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种AR场景图像展示控制方法的流程示意图；

图2示出了本公开实施例所提供的一种AR场景图像展示控制方法中，AR设备展示AR场景图像的界面示意图；

图3示出了本公开实施例所提供的一种AR场景图像展示控制装置的架构示意图；

图4示出了本公开实施例所提供的一种电子设备400的结构示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

一般的，不同地区、或不同年代的建筑物具有不同的建筑风格，而不同建筑风格的建筑物可以为人们带来不同的参观体验。用户可以到达建筑物对应的位置，对建筑物进行参观，并可以拍照留念。但是，通过到达不同地点对不同建筑物进行观察的方式，用户的参观成本较高，且用户无法对参观的建筑物进行全方位的了解。

为了解决上述问题，本公开实施例提供了一种AR场景图像展示控制方法，为穿着有不同风格服饰的不同用户展示不同的虚拟建筑物，提高了展示虚拟建筑物的多样性和灵活性。

本公开实施例提供的一种AR场景图像展示控制方法的执行主体可以为服务器，该服务器可以为本地服务器，也可以为云端服务器。

为便于对本公开实施例进行理解，首先对本公开实施例所公开的一种AR场景图像展示控制方法进行详细介绍。

参见图1所示，为本公开实施例所提供的一种AR场景图像展示控制方法的流程示意图，该方法包括S101-S103，其中：

S101，获取AR设备拍摄的目标用户图像。

S102，从目标用户图像中，提取目标用户对应的服饰特征信息。

S103，基于服饰特征信息，确定与目标用户的服饰匹配的虚拟建筑物；并通过AR设备展示将虚拟建筑物融入现实场景中的AR场景图像。

针对S101：

这里，AR设备为可以展示AR数据的任一设备，比如AR设备可以为智能手机、智能平板、AR眼睛等。具体实施时，用户可以点击AR设备上的拍照功能，拍摄得到目标用户图像。其中，目标用户图像中可以包括用户的服饰信息。

一种可选实施方式中，获取AR设备拍摄的目标用户图像，可以包括：获取AR设备拍摄的初始图像，在AR设备拍摄的初始图像中包括多个用户时，从初始图像中，截取包括人脸正脸的全身图像，将截取到的全身图像，作为目标用户图像。

这里，AR设备在对用户拍摄之后，可以得到初始图像。在具体实施时，可以先判断初始图像是否满足要求，在初始图像满足要求之后，再根据初始图像确定目标用户图像。比如，可以判断初始图像中的用户是否包括全身图像，若包括，则认为该初始图像满足设置的要求；若初始图像中的用户仅包括局部身体图像，比如只包括脸部图像时，则认为初始图像不满足设置的要求，并生成提示信息，提示用户重新获取初始图像。其中，初始图像的满足要求可以根据需要进行设置。

示例性的，在初始图像满足要求之后，若初始图像中只包括一个用户时，则可以将该初始图像确定为目标用户图像；若该初始图像中包括多个用户时，则可以从初始图像中，截取包括人脸正脸的全身图像，并将截取到的全身图像作为目标用户图像。比如，若初始图像中包括多个人脸正脸的全身图像，则可以从多个全身图像中，选择位于初始图像中心的全身图像，确定为目标用户图像。

针对S102：

这里，可以从目标用户图像中，提取目标用户对应的服饰特征信息。在具体实施时，可以利用训练的特征提取神经网络，从目标用户图像中提取目标用户对应的服饰特征信息。

一种可选实施方式中，从目标用户图像中，提取目标用户对应的服饰特征信息，可以包括：

一、对目标用户图像进行识别，确定目标用户图像在多种服饰属性中每种服饰属性下的特征数据。

二、基于目标用户图像在每种服饰属性下的特征数据，确定目标用户的服饰特征信息。

其中，多种服饰属性包括以下部分或全部：年代属性、民族属性、性别属性、颜色属性、款式属性。比如，年代属性可以为包括汉代、明代、清代、民国、现代等。民族属性可以包括：汉族、满足、蒙古族等。款式属性可以包括：旗袍、汉服等。其中，多种服饰属性可以根据实际需要进行选择，以及每种服饰属性也可以根据实际需要进行设置，此处仅为示例性说明。

这里，可以利用每种服饰属性对应的特征提取网络，从目标用户图像中提取该服饰属性下的特征数据。其中，特征数据可以为特征向量。比如，可以将目标用户图像输入至年代属性对应的特征提取网络中，得到年代属性对应的特征向量。进而，可以将各种服饰属性分别对应的特征数据，构成目标用户的服饰特征信息。

针对S103：

示例性的，可以将服饰特征信息输入至神经网络中，确定该服饰特征信息对应的服饰类型，并基于该服饰类型，确定匹配的虚拟建筑物的风格，基于确定的虚拟建筑物的风格，从存储的多个虚拟建筑物中，选择与该风格匹配的虚拟建筑物，将选择的该虚拟建筑物确定为与目标用户的服饰匹配的虚拟建筑物。比如，若服饰类型为旗袍，则确定与旗袍匹配的虚拟建筑物风格可以为民国风格，则可以从存储的多个虚拟建筑物中选择民国虚拟建筑物，将选择的民国虚拟建筑物确定为与目标用户的服饰匹配的虚拟建筑物。

一种可选实施方式中，基于服饰特征信息，确定与目标用户的服饰匹配的虚拟建筑物，包括：基于服饰特征信息中每种服饰属性下的特征数据和各个虚拟建筑物分别对应的预先存储的特征数据，确定与目标用户的服饰匹配的虚拟建筑物。

这里，可以预先为每个虚拟建筑物确定对应的特征数据，并将确定的特征数据与该虚拟建筑物关联存储。示例性的，可以获取与每个虚拟建筑物匹配的多张不同的服饰图像，将获取的多种服饰图像输入至特征提取网络中，得到该虚拟建筑物对应的特征数据。进而，可以根据每种服饰属性下的特征数据和各个虚拟建筑物分别对应的特征数据，确定与目标用户的服饰匹配的虚拟建筑物。

作为一可选实施方式，基于服饰特征信息中每种服饰属性下的特征数据和各个虚拟建筑物分别对应的预先存储的特征数据，确定与目标用户的服饰匹配的虚拟建筑物，包括：

步骤一、基于服饰特征信息中每种服饰属性对应的权重、每种服饰属性下的特征数据，生成目标用户对应的服饰特征向量。

步骤二、基于服饰特征向量、以及预先存储的每个虚拟建筑物的特征数据对应的特征向量，确定目标用户的服饰与该虚拟建筑物的匹配度。

步骤三、基于各个虚拟建筑物对应的匹配度，确定与目标用户的服饰匹配的虚拟建筑物。

针对步骤一，可以为每种服饰属性设置对应的权重，其中，各种服饰属性对应的权重之后可以为1。在具体实施时，可以基于各种服饰属性下的特征数据和对应的权重进行加权求和，得到目标用户对应的服饰特征向量。或者，也可以基于将各种服饰属性下的特征数据和对应的权重进行加权处理，得到各个服饰属性分别对应的加权后的特征数据，进而可以将各个服饰属性分别对应的加权后的特征数据进行级联，得到目标用户对应的服饰特征向量。

针对步骤二，示例性的，可以计算服饰特征向量和每个虚拟建筑物的特征数据对应的特征向量之间的余弦相似度，基于计算得到余弦相似度，确定目标用户的服饰与该虚拟建筑物的匹配度。或者，也可以将服饰特征向量和各个虚拟建筑物的特征数据对应的特征向量输入至匹配度确定神经网络中，确定每个虚拟建筑物与目标用户的服饰对应的匹配度。

针对步骤三，在具体实施时，可以将匹配度最高的虚拟建筑物，确定为与目标用户的服饰匹配的虚拟建筑物。或者，也可以设置匹配度阈值，将大于匹配度阈值的虚拟建筑物，确定为候选虚拟建筑物，在候选虚拟建筑物的数量为一个时，则该候选虚拟建筑物即为与目标用户的服饰匹配的虚拟建筑物；在候选虚拟建筑物的数量为多个时，则可以将多个候选虚拟建筑物的信息(可以包括名称、图像、建筑年代等信息)发送给用户，将用户选择的虚拟建筑物确定为与目标用户的服饰匹配的虚拟建筑物。

在确定了与服饰匹配的虚拟建筑物之后，可以将虚拟建筑物发送给AR设备，通过AR设备展示将虚拟建筑物融入现实场景中的AR场景图像。或者，也可以通过AR设备获取现实场景图像，并基于现实场景图像确定虚拟建筑物的融合位置，再基于该融合位置，生成将虚拟建筑物融入现实场景的展示数据，并将该展示数据发送给AR设备，通过AR设备展示该展示数据。

参见图2所示的一种AR场景图像展示控制方法中，AR设备展示AR场景图像的界面示意图，图中包括目标用户21和与该目标用户的服饰匹配的虚拟建筑物22。示例性的，该目标用户21对应的服饰为蒙古族服饰，则匹配的虚拟建筑物可以为蒙古建筑物。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于相同的构思，本公开实施例还提供了一种AR场景图像展示控制装置，参见图3所示，为本公开实施例提供的一种AR场景图像展示控制装置的架构示意图，包括获取模块301、提取模块302、确定模块303，具体的：

获取模块301，用于获取AR设备拍摄的目标用户图像；

提取模块302，用于从所述目标用户图像中，提取目标用户对应的服饰特征信息；

确定模块303，用于基于所述服饰特征信息，确定与所述目标用户的服饰匹配的虚拟建筑物；并通过所述AR设备展示将所述虚拟建筑物融入现实场景中的AR场景图像。

一种可能的实施方式中，所述提取模块302，在从所述目标用户图像中，提取目标用户对应的服饰特征信息时，用于：

年代属性、民族属性、性别属性、颜色属性、款式属性。

一种可能的实施方式中，所述确定模块303，在基于所述服饰特征信息，确定与所述目标用户的服饰匹配的虚拟建筑物，包括：

一种可能的实施方式中，所述确定模块303，在基于所述服饰特征信息中每种服饰属性下的特征数据和各个虚拟建筑物分别对应的预先存储的特征数据，确定与所述目标用户的服饰匹配的虚拟建筑物时，用于：

一种可能的实施方式中，所述获取模块301，在获取AR设备拍摄的目标用户图像时，用于：

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模板可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

基于同一技术构思，本公开实施例还提供了一种电子设备。参照图4所示，为本公开实施例提供的电子设备的结构示意图，包括处理器401、存储器402、和总线403。其中，存储器402用于存储执行指令，包括内存4021和外部存储器4022；这里的内存4021也称内存储器，用于暂时存放处理器401中的运算数据，以及与硬盘等外部存储器4022交换的数据，处理器401通过内存4021与外部存储器4022进行数据交换，当电子设备400运行时，处理器401与存储器402之间通过总线403通信，使得处理器401在执行以下指令：

获取AR设备拍摄的目标用户图像；

一种可能的设计中，处理器401执行的指令中，从所述目标用户图像中，提取目标用户对应的服饰特征信息，包括：

一种可能的设计中，处理器401执行的指令中，所述多种服饰属性包括以下部分或全部：

年代属性、民族属性、性别属性、颜色属性、款式属性。

一种可能的设计中，处理器401执行的指令中，基于所述服饰特征信息，确定与所述目标用户的服饰匹配的虚拟建筑物，包括：

一种可能的设计中，处理器401执行的指令中，基于所述服饰特征信息中每种服饰属性下的特征数据和各个虚拟建筑物分别对应的预先存储的特征数据，确定与所述目标用户的服饰匹配的虚拟建筑物，包括：

一种可能的设计中，处理器401执行的指令中，获取AR设备拍摄的目标用户图像，包括：

此外，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的AR场景图像展示控制方法的步骤。

本公开实施例所提供的AR场景图像展示控制方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的AR场景图像展示控制方法的步骤，具体可参见上述方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

Claims

1.一种AR场景图像展示控制方法，其特征在于，包括：

获取AR设备拍摄的目标用户图像；

2.根据权利要求1所述的方法，其特征在于，从所述目标用户图像中，提取目标用户对应的服饰特征信息，包括：

3.根据权利要求2所述的方法，其特征在于，所述多种服饰属性包括以下部分或全部：

年代属性、民族属性、性别属性、颜色属性、款式属性。

4.根据权利要求2所述的方法，其特征在于，基于所述服饰特征信息，确定与所述目标用户的服饰匹配的虚拟建筑物，包括：

5.根据权利要求4所述的方法，其特征在于，基于所述服饰特征信息中每种服饰属性下的特征数据和各个虚拟建筑物分别对应的预先存储的特征数据，确定与所述目标用户的服饰匹配的虚拟建筑物，包括：

6.根据权利要求1所述的方法，其特征在于，获取AR设备拍摄的目标用户图像，包括：

7.一种AR场景图像展示控制装置，其特征在于，包括：

获取模块，用于获取AR设备拍摄的目标用户图像；

8.根据权利要求7所述的装置，其特征在于，所述提取模块，在从所述目标用户图像中，提取目标用户对应的服饰特征信息时，用于：

9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至6任一所述的AR场景图像展示控制方法的步骤。

10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至6任一所述的AR场景图像展示控制方法的步骤。