CN111125400B - 虚拟现实与增强现实场景下基于关系约束的场景图谱优化方法 - Google Patents

Abstract

本发明为虚拟现实与增强现实场景下基于关系约束的场景图谱优化方法，涉及场景图谱领域；包括：输入场景图谱样本数据集，包括图像信息和对象关系组信息；利用对象关系组提取关系约束，包括1‑m关系约束、m‑1关系约束和1‑1关系约束；基于关系约束训练场景图谱生成模型；用目标检测模型检测出虚拟现实与增强现实场景图中包含的物体；基于检测出的物体用训练好的场景图谱生成模型生成虚拟现实与增强现实场景图的初始场景图谱；利用关系约束进一步优化初始场景图谱，去除违反关系约束的对象关系组，得到最终的场景图谱。本发明针对虚拟现实与增强现实场景下捕获的图像，首次提出基于关系约束优化模型生成的场景图谱，有效提高了场景图谱质量。

Description

虚拟现实与增强现实场景下基于关系约束的场景图谱优化 方法

技术领域

本发明涉及人工智能领域，更具体地，涉及虚拟现实与增强现实场景下基于关系约束的场景图谱优化方法。

背景技术

虚拟现实技术与增强现实技术，均是当代数字技术的代表。虚拟现实通过综合利用计算机图形系统和各种控制设备，可为用户生成可交互的三维环境。增强现实通过将计算机生成的虚拟物体、场景或信息叠加到真实场景，实现对现实的增强。为了使虚拟现实与增强现实下的场景更好地被人类感知，系统有必要理解场景，而构建场景图谱正是理解场景的关键步骤。

场景图谱是对图像所描绘场景的抽象的、结构化的表示。具体来说，场景图谱以对象关系组(主要对象、关系、关联对象)的方式记录了图像中的物体以及物体之间的关系，并且每个物体在图像中都有一个对应的框。场景图谱最先由Johnson等人提出，近来在计算机视觉和人工智能领域受到了广泛关注，并有相关的研究成果，例如：利用场景图谱检索图像；从外部语料库学习的词向量中检索对象的词向量来辅助视觉问答；利用物体检测器和关系检测器生成场景图谱等。

高质量的场景图谱对于理解虚拟现实与增强现实的场景有重要意义，因为场景图谱能有效提炼出场景中的重要信息，为后续的图像问答、图像描述生成提供支持，有助于虚拟世界与现实世界的交互。例如，在百度地图的实景导航中，场景图谱应用于语音提示能帮助行人更好地辨别方向，在虚拟现实游戏Blue Marble中，场景图谱应用于游戏描述生成有助于玩家更好地体验游戏，诸如此类还有很多其他应用场景，因此生成高质量的场景图谱是十分必要的。

但是目前还没有很好的技术方案能生成高质量的场景图谱，具体地：

(1)现有的场景图谱生成方法只利用了图像信息，导致生成的场景图谱包含很多相互冲突的对象关系组，实用性较差。

(2)场景图谱的对象关系组本身隐含着关系约束，这些关系约束能帮助提高场景图谱的质量，而现有的方法没有充分考虑和利用这些关系约束，限制了场景图谱的表达能力。

发明内容

为了解决现有技术所存在的问题，本发明提供了虚拟现实与增强现实场景下基于关系约束的场景图谱优化方法，该方法结合了图像信息和关系信息，充分利用了对象关系组中隐含的关系约束，能有效提高场景图谱生成的质量。

本发明采用如下技术方案来实现：虚拟现实与增强现实场景下基于关系约束的场景图谱优化方法，包括以下步骤：

S1、获取场景图谱样本数据集，初始化场景图谱生成模型；场景图谱样本数据集包括图像信息和对象关系组信息，其中对象关系组标记为(op,r,oa)，op表示主要对象，oa表示关联对象，r表示主要对象与关联对象之间的关系，对象包含标签c和对象框b；

S2、以场景图谱样本数据集中的对象关系组作为输入，提取关系约束；

S3、以提取出的关系约束和场景图谱样本数据集作为输入，对对象关系组中的对象与关系进行建模，训练场景图谱生成模型，得到训练好的场景图谱生成模型；

S4、捕获虚拟现实与增强现实场景下的图像，用目标检测模型提取出图像中包含的物体；

S5、以虚拟现实与增强现实场景下的图像和目标检测模型提取出的物体为输入，将物体两两组合成对象组，用训练好的场景图谱生成模型生成初始场景图谱；

S6、对初始场景图谱中的对象关系组进行检测，去除违反关系约束的对象关系组，得到最终的场景图谱。

与现有技术相比，本发明的有益效果是：

(1)本发明针对虚拟现实与增强现实场景下捕获的图像，首次提出基于关系约束优化模型生成的场景图谱，并验证了关系约束的有效性。

(2)本发明场景图谱优化方法不仅利用了场景图的图像信息和对象关系组的结构信息，还充分利用了对象关系组中隐藏的关系约束，利用关系约束改善场景图谱生成模型的训练过程，并在生成虚拟现实与增强现实的场景图谱后能有效过滤不符合约束的对象关系组，提高场景图谱的质量。

(3)本发明验证了关系约束对于优化场景图谱的有效性，具有良好的实用性。

附图说明

图1为本发明虚拟现实与增强现实场景下基于关系约束的场景图谱优化方法的整体流程图；

图2为本发明实施例提供的用于生成对象关系组的负样本的流程示意图；

图3为本发明实施例提供的用于在模型生成场景图谱后用关系约束进行优化的流程图。

具体实施方式

为使本发明的发明目的、技术方案和优点更加清楚、完整，下面将结合附图和实施例对本发明做进一步描述，但本发明的实施方式不限于此。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分。对于本领域普通技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明提供了虚拟现实与增强现实场景下基于关系约束的场景图谱优化方法。在本实施例中，场景图谱样本数据集的所有图像记为Imgs，场景图谱的集合记为G，对象类别集合记为C，关系类别集合记为R，图像im(im∈Imgs)的场景图谱记为g_im(g_im∈G)，场景图谱中的一条对象关系组标记为(op，r，oa)，(op，r，oa)∈g_i，其中op表示主要对象，oa表示关联对象，r(r∈R)表示主要对象与关联对象之间的关系，对象包含对象标签c(c∈C)和对象框b。

本实施例中，场景图谱优化方法结合图像信息以及关系约束完成场景图谱优化任务，如图1所示，包括以下步骤：

步骤1、获取场景图谱样本数据集，初始化场景图谱生成模型；场景图谱样本数据集包括图像信息和对象关系组信息，其中对象关系组标记为(op，r，oa)，其中op表示主要对象，oa表示关联对象，r表示主要对象与关联对象之间的关系，对象包含标签c和对象框b；

S11、获取场景图谱样本数据集；

S12、去除场景图谱样本数据集中不含有对象关系组的场景图；

S13、初始化场景图谱生成模型；

步骤2、以场景图谱样本数据集中的对象关系组作为输入，提取关系约束，关系约束包括1-m关系约束、m-1关系约束和1-1关系约束；

S21、提取场景图谱样本数据集中的对象关系组，在不考虑图像信息，即不考虑对象关系组中对象的对象框信息的情况下对对象关系组进行统计，计算每种关系的oppoa和oapop值，其中oppoa值表示平均每个关联对象会与多少个主要对象通过该关系相连，oapop值表示平均每个主要对象会与多少个关联对象通过该关系相连；

S22、基于每种关系的oppoa和oapop值，计算关系分别为4种关系类型的概率，4种关系类型分别为1-1关系类型、1-m关系类型、m-1关系类型和m-m关系类型；其中1-1关系类型限制同一个主要对象只能对应唯一一个关联对象，且同一个关联对象也只能对应唯一一个主要对象；1-m关系类型限制同一个关联对象只能对应唯一一个主要对象；m-1关系类型限制同一个主要对象只能对应唯一一个关联对象；m-m类型关系无约束；关系分别为4种关系类型的概率的计算方式如下：

P_1-1＝(1-sigmoid(oppoa-1.5))*(1-sigmoid(oapop-1.5))

P_1-m＝(1-sigmoid(oppoa-1.5))*sigmoid(oapop-1.5)

P_m-1＝sigmoid(oppoa-1.5)*(1-sigmoid(oapop-1.5))

P_m-m＝sigmoid(oppoa-1.5)*sigmoid(oapop-1.5)

P′_1-1，P′_1-m，P′_m-1，P′_m-m＝func(P_1-1，P_1-m，P_m-1，P_m-m)

其中，oppoa值表示平均每个关联对象会与多少个主要对象通过该关系相连，oapop值表示平均每个主要对象会与多少个关联对象通过该关系相连，P_1-1、P_1-m、P_m-1、P_m-m分别为关系属于1-1关系类型、1-m关系类型、m-1关系类型和m-m关系类型的初始概率，func表示归一化函数，经过以上公式计算后得到该关系分别为4种类型的最终概率P′_1-1、P′_1-m、P′_m-1、P′_m-m；

步骤3、以提取出的关系约束和场景图谱样本数据集作为输入，对对象关系组中的对象与关系进行建模，训练场景图谱生成模型，得到训练好的场景图谱生成模型；

S31、以场景图谱样本数据集中的图像和对象关系组的对象作为输入，将对象两两组合得到多组对象组，用场景图谱生成模型对对象组之间的关系进行预测，生成对象关系组的特征矩阵V，V的每一行表示一组对象组，V的每一列表示一种关系类型，V的每个位置(i，j)表示由第i个对象组和第j种关系类型组成的对象关系组，该位置的数值v_(i，j)表示该对象关系组成立的可能性大小；

S32、如图2所示，根据关系约束和特征矩阵V构造每个对象关系组的负样本；对于不同类型的关系，构造负样本的方式不同，具体方式为：

当对象关系组中的关系为1-m关系类型时，替换该对象关系组的主要对象op为图像中的其他对象得到多个对象关系组作为负样本；当对象关系组中的关系为m-1关系类型时，替换该对象关系组的关联对象oa为图像中的其他对象得到多个对象关系组作为负样本；当对象关系组中的关系为1-1关系类型时，替换该对象关系组的主要对象op和关联对象oa为图像中的其他对象得到多个对象关系组作为负样本；

S33、以对象关系组的主要对象和关联对象的对象框为输入，计算每个对象关系组主要对象和关联对象之间的距离d并进行max-min归一化，得到对象关系组的距离特征；然后计算对象关系组的关系分别属于1-m关系类型、m-1关系类型、1-1关系类型时替换主要对象和关联对象得到的特征值，将所有特征值进行加权得到对象关系组的最终得分，具体的计算方式如下：

v′_(i，j)＝v_(i，j)*w_v+d*w_d+P′_m-1*(max_op1*w_op11+mean_op1*w_op12)+P′_1-m

*(max_oa1*w_oa11+mean_oa1*w_oa12)+P′_1-1

*(max_op2*w_op21+mean_op2*w_op22+max_oa2*w_oa21+mean_oa2

*w_oa22)

其中v_(i，j)为对象关系组的原始特征值，w_v为特征值v_(i，j)的权重，d为对象关系组中主要对象与关联对象间的距离，w_d为特征值d的权重，max_op1和mean_op1分别为对象关系组的关系在为1-m关系类型的情况下由该对象关系组替换主要对象op得到的负样本特征的最大值和均值，w_op11和w_op12分别为max_op1和mean_op1的权重；max_oa1和mean_oa1分别为对象关系组的关系在为m-1关系类型的情况下由该对象关系组替换关联对象oa得到的负样本特征的最大值和均值，w_oa11和w_oa12分别为max_oa1和mean_oa1的权重；max_op2和mean_op2分别为对象关系组的关系在为1-1关系类型的情况下替换主要对象op得到的负样本特征的最大值和均值,w_op21和w_op22分别为max_op2和mean_op2的权重；max_oa2和均值mean_oa2分别为对象关系组的关系在为1-1关系类型的情况下替换关联对象oa得到的负样本特征的最大值和均值，w_t21和w_t22分别为max_oa2和均值mean_oa2的权重；所有权重均由模型学习，P′_1-1,P′_1-m,P′_m-1分别为关系属于1-1关系类型、1-m关系类型和m-1关系类型的概率，加权后的结果v′_(i,j)即该对象关系组的最终得分；

S34、根据对象关系组的最终得分用归一化函数归一化后计算损失，并通过最小化损失函数训练场景图谱生成模型。

步骤4、捕获虚拟现实与增强现实场景下的图像，用目标检测模型提取出图像中包含的物体；其中目标检测模型可以采用现有的目标检测模型；

S41、捕获虚拟现实与增强现实场景下的图像；

S42、用现有的目标检测模型检测出图像中包含的物体，确定每个物体的对象框b和物体的类别c；其中b＝(x_min,y_min,x_max,y_max)，其中(x_min,y_min)表示对象框b左上角的坐标，(x_max,y_max)表示对象框b右上角的坐标；

步骤5、以虚拟现实与增强现实场景下的图像和目标检测模型提取出的物体为输入，将物体两两组合成对象组，用训练好的场景图谱生成模型生成初始场景图谱；

步骤6、如图3所示，对初始场景图谱中的对象关系组进行检测，去除违反关系约束的对象关系组，得到最终的场景图谱；

S61、取包含相同关系的对象关系组为一组，根据每种关系属于4种关系类型的概率值，确定每种关系的类型为相应概率值最大的一种；

S62、以初始场景图谱和关系约束为输入，对每组对象关系组进行过滤，去除违反关系约束的对象关系组，在保证满足关系约束的前提下使得最后剩下对象关系组的得分加起来最大，得到的对象关系组即为最终的场景图谱。具体地：

如果关系为m-m关系类型的概率最大，则不做处理；如果关系为m-1关系类型或者1-m关系类型的概率最大，则保留该组对象关系组中得分最大的那个，过滤其余对象关系组；如果关系为1-1关系类型的概率最大，则用二分图的最大权匹配算法求出唯一一个对象关系组，过滤剩下的对象关系组，得到的对象关系组即为最终的场景图谱。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于本发明所属技术领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (9)

1.虚拟现实与增强现实场景下基于关系约束的场景图谱优化方法，其特征在于，包括以下步骤：

S1、获取场景图谱样本数据集，初始化场景图谱生成模型；场景图谱样本数据集包括图像信息和对象关系组信息，其中对象关系组标记为(op，r，oa)，op表示主要对象，oa表示关联对象，r表示主要对象与关联对象之间的关系，每个对象包含标签c和对象框b；

S2、以场景图谱样本数据集中的对象关系组作为输入，提取关系约束；

S3、以提取出的关系约束和场景图谱样本数据集作为输入，对对象关系组中的对象与关系进行建模，训练场景图谱生成模型，得到训练好的场景图谱生成模型；

S4、捕获虚拟现实与增强现实场景下的图像，用目标检测模型提取出图像中包含的物体；

S5、以虚拟现实与增强现实场景下的图像和目标检测模型提取出的物体为输入，将物体两两组合成对象组，用训练好的场景图谱生成模型生成初始场景图谱；

S6、对初始场景图谱中的对象关系组进行检测，去除违反关系约束的对象关系组，得到最终的场景图谱。

2.根据权利要求1所述的虚拟现实与增强现实场景下基于关系约束的场景图谱优化方法，其特征在于，所述步骤S1包括如下步骤：

S11、获取场景图谱样本数据集；

S12、去除场景图谱样本数据集中不含有对象关系组的场景图；

S13、初始化场景图谱生成模型。

3.根据权利要求1所述的虚拟现实与增强现实场景下基于关系约束的场景图谱优化方法，其特征在于，关系约束包括1-m关系约束、m-1关系约束和1-1关系约束，所述步骤S2包括以下步骤：

S21、提取场景图谱样本数据集中的对象关系组，在不考虑对象关系组中对象的对象框信息的情况下对对象关系组进行统计，计算每种关系的oppoa和oapop值，其中oppoa值表示平均每个关联对象会与多少个主要对象通过该关系相连，oapop值表示平均每个主要对象会与多少个关联对象通过该关系相连；

S22、基于每种关系的oppoa和oapop值，计算关系分别为4种关系类型的概率，4种关系类型分别为1-1关系类型、1-m关系类型、m-1关系类型和m-m关系类型；其中1-1关系类型限制同一个主要对象只能对应唯一一个关联对象，且同一个关联对象也只能对应唯一一个主要对象；1-m关系类型限制同一个关联对象只能对应唯一一个主要对象；m-1关系类型限制同一个主要对象只能对应唯一一个关联对象；m-m关系类型无约束。

4.根据权利要求3所述的虚拟现实与增强现实场景下基于关系约束的场景图谱优化方法，其特征在于，关系分别为4种关系类型的概率的计算方式如下：

P_1-1＝(1-sigmoid(oppoa-1.5))*(1-sigmoid(oapop-1.5))

P_1-m＝(1-sigmoid(oppoa-1.5))*sigmoid(oapop-1.5)

P_m-1＝sigmoid(oppoa-1.5)*(1-sigmoid(oapop-1.5))

P_m-m＝sigmoid(oppoa-1.5)*sigmoid(oapop-1.5)

P′_1-1，P′_1-m，P′_m-1，P′_m-m＝func(P_1-1，P_1-m，P_m-1，P_m-m)

其中，P_1-1、P_1-m、P_m-1、P_m-m分别为关系属于1-1关系类型、1-m关系类型、m-1关系类型和m-m关系类型的初始概率，func表示归一化函数，经过以上公式计算后得到该关系分别为4种类型的最终概率P′_1-1、P′_1-m、P′_m-1、P′_m-m。

5.根据权利要求3所述的虚拟现实与增强现实场景下基于关系约束的场景图谱优化方法，其特征在于，所述步骤S3包括如下步骤：

S31、以场景图谱样本数据集中的图像和对象关系组的对象作为输入，将对象两两组合得到多组对象组，用场景图谱生成模型对对象组之间的关系进行预测，生成对象关系组的特征矩阵V，V的每一行表示一组对象组，V的每一列表示一种关系，V的每个位置(i，j)表示由第i个对象组和第j种关系组成的对象关系组，该位置的数值v_(i，j)表示该对象关系组成立的可能性大小；

S32、根据关系约束和特征矩阵V构造每个对象关系组的负样本，对于不同类型的关系，构造负样本的方式不同；

S33、以对象关系组的主要对象和关联对象的对象框为输入，计算每个对象关系组主要对象和关联对象之间的距离d并进行max-min归一化，得到对象关系组的距离特征；然后计算对象关系组的关系分别属于1-m关系类型、m-1关系类型、1-1关系类型时替换主要对象和关联对象得到的特征值，将所有特征值进行加权得到对象关系组的最终得分，加权后的结果为该对象关系组的最终得分；

S34、根据对象关系组的最终得分用归一化函数归一化后计算损失，并通过最小化损失函数训练场景图谱生成模型。

6.根据权利要求5所述的虚拟现实与增强现实场景下基于关系约束的场景图谱优化方法，其特征在于，步骤S32构造负样本的具体方式为：

当对象关系组中的关系为1-m关系类型时，替换该对象关系组的主要对象op为图像中的其他对象得到多个对象关系组作为负样本；当对象关系组中的关系为m-1关系类型时，替换该对象关系组的关联对象oa为图像中的其他对象得到多个对象关系组作为负样本；当对象关系组中的关系为1-1关系类型时，替换该对象关系组的主要对象op和关联对象oa为图像中的其他对象得到多个对象关系组作为负样本。

7.根据权利要求1所述的虚拟现实与增强现实场景下基于关系约束的场景图谱优化方法，其特征在于，步骤S4包括如下步骤：

S41、捕获虚拟现实与增强现实场景下的图像；

S42、用目标检测模型检测出图像中包含的物体，确定每个物体的对象框b和物体的类别c；其中b＝(x_min，y_min，x_max，y_max)，其中(x_min，y_min)表示对象框b左上角的坐标，(x_max，y_max)表示对象框b右上角的坐标。

8.根据权利要求3所述的虚拟现实与增强现实场景下基于关系约束的场景图谱优化方法，其特征在于，步骤S6包括如下步骤：

S61、取包含相同关系的对象关系组为一组，根据每种关系属于4种类型的概率值，确定每种关系的类型为相应概率值最大的一种；

S62、以初始场景图谱和关系约束为输入，对每组对象关系组进行过滤，去除违反关系约束的对象关系组，在保证满足关系约束的前提下使得最后剩下对象关系组的得分加起来最大，得到的对象关系组即为最终的场景图谱。

9.根据权利要求8所述的虚拟现实与增强现实场景下基于关系约束的场景图谱优化方法，其特征在于，步骤S62具体为：

如果关系为m-m关系类型的概率最大，则不做处理；如果关系为m-1关系类型或者1-m关系类型的概率最大，则保留该组对象关系组中得分最大的那个，过滤其余对象关系组；如果关系为1-1关系类型的概率最大，则用二分图的最大权匹配算法求出唯一一个对象关系组，过滤剩下的对象关系组，得到的对象关系组即为最终的场景图谱。

Images