CN110378990B - 增强现实场景展现方法、装置及存储介质 - Google Patents

Abstract

本申请涉及一种增强现实场景展现的方法，包括：基于增强现实AR设备获取的真实场景画面数据，确定第一虚拟相机的当前位姿信息，其中，所述第一虚拟相机渲染的第一虚拟场景中包括窗体；在根据所述当前位姿信息确定所述第一虚拟相机位于所述窗体的第一设定方位的情况下，将所述窗体的材质基于第二虚拟相机采集的画面进行渲染；根据所述当前位姿信息，以及所述窗体的边长信息，配置所述第二虚拟相机的拍照参数；将所述第一虚拟相机采集的第一当前实时虚拟场景，以及所述第二虚拟相机采集的第二当前实时虚拟场景进行融合，并进行增强现实展现。可使得展现的窗体AR画面真实性较强，用户的接受度高。还公开了增强现实场景展现的装置以及计算机可读存储介质。

Description

增强现实场景展现方法、装置及存储介质

技术领域

本申请涉及人工智能技术领域，例如涉及增强现实场景展现方法、装置及存储介质。

背景技术

增强现实(Augmented Reality，AR)，把原本在现实世界的一定时间空间范围内很难体验到的实体信息例如，视觉信息、声音、味道或触觉等，通过科学技术模拟仿真后再叠加到现实世界被人类感官所感知，从而达到超越现实的感官体验，这种技术叫做增强现实技术，简称AR技术。

目前，AR技术发展的一个重要问题，是将虚拟对象与现实世界更好的融合在一起，让虚拟对象逐渐被现实世界接纳，因此，创造出更多与现实中的物体相似度较高的虚拟对象，成为亟需解决的问题。

发明内容

为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。

本公开实施例提供了一种增强现实场景展现的方法、装置、和计算机可读存储介质，以及进行增强现实展现的产品和计算机程序产品，以解决AR画面与现实环境不够匹配的技术问题。

在一些实施例中，所述方法包括：

基于增强现实AR设备获取的真实场景画面数据，确定第一虚拟相机的当前位姿信息，其中，所述第一虚拟相机渲染的第一虚拟场景中包括窗体；

在根据所述当前位姿信息确定所述第一虚拟相机位于所述窗体的第一设定方位的情况下，将所述窗体的材质基于第二虚拟相机采集的画面进行渲染；

根据所述当前位姿信息，以及所述窗体的边长信息，配置所述第二虚拟相机的拍照参数；

将所述第一虚拟相机采集的第一当前实时虚拟场景，以及所述第二虚拟相机采集的第二当前实时虚拟场景进行融合，并进行增强现实展现。

在一些实施例中，所述装置包括：

位姿确定模块，被配置为基于增强现实AR设备获取的真实场景画面数据，确定第一虚拟相机的当前位姿信息，其中，所述第一虚拟相机渲染的第一虚拟场景中包括窗体；

渲染处理模块，被配置为在根据所述当前位姿信息确定所述第一虚拟相机位于所述窗体的第一设定方位的情况下，将所述窗体的材质基于第二虚拟相机采集的画面进行渲染；

参数配置模块，被配置为根据所述当前位姿信息，以及所述窗体的边长信息，配置所述第二虚拟相机的拍照参数；

融合展现模块，被配置为将所述第一虚拟相机采集的第一当前实时虚拟场景，以及所述第二虚拟相机采集的第二当前实时虚拟场景进行融合，并进行增强现实展现。

在一些实施例中，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行时，使所述至少一个处理器执行上述的增强现实场景展现的方法。

在一些实施例中，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令设置为执行上述的增强现实场景展现方法。

在一些实施例中，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述的增强现实场景展现的方法。

本公开实施例提供的增强现实场景展现的方法、电子设备和计算机可读存储介质，以及增强现实场景展现装置、计算机程序产品，可以实现以下技术效果：

本公开实施例中，可将根据与真实场景画面数据匹配的第一虚拟相机的当前位姿信息，以及窗体的边长信息，确定第二虚拟相机的拍照参数，并将窗体的材质基于第二虚拟相机采集的画面进行渲染，这样，将第一虚拟相机采集的第一当前实时虚拟场景，以及所述第二虚拟相机采集的第二当前实时虚拟场景进行融合得到的AR场景中，窗体所展现的场景可随着第一虚拟相机与窗体之间相对位置不同而变化，构建出的窗体AR画面真实性较强，用户的接受度高，进一步提高了AR设备的功能和使用率。

以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。

附图说明

一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：

图1是本公开实施例提供的一种增强现实场景展现方法的流程示意图；

图2是本公开实施例提供的一种增强现实场景展现方法的流程示意图；

图3是本公开实施例提供的一种第二虚拟场景的示意图；

图4是本公开实施例提供的增强现实场景的示意图；

图5是本公开实施例提供的增强现实场景的示意图；

图6是本公开实施例提供的一种增强现实场景展现装置的结构示意图；

图7是本公开实施例提供的一种增强现实场景展现装置的结构示意图；

图8是本公开实施例提供的电子设备的结构示意图。

具体实施方式

为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或多个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展现。

本公开实施例中，可通过AR增强现实技术，将真实场景与虚拟场景进行无缝融合，并可在AR场景展现过程中，可随着与窗体之间相对位置不同，窗体所展现的虚拟场景不同，使得AR画面与现实环境比较匹配。

图1是本公开实施例提供的一种增强现实场景展现方法的流程示意图。如图1所示，增强现实场景展现的过程包括：

步骤101：基于增强现实AR设备获取的真实场景画面数据，确定第一虚拟相机的当前位姿信息。

本申请实施例中的AR设备可以是但不限于AR眼镜、AR头盔、具有AR功能的各类电子设备(例如，可穿戴设备、移动终端)等。AR设备可采集真实场景画面数据。真实场景为真实世界中需要进行拍摄的场景，例如：客厅、卧室、博物馆、商场、工厂、游乐园等等。AR设备可通过摄像头等图像采集装置获取真实场景画面数据。

本公开实施例中，可配置两个虚拟场景，分别对应两个虚拟相机，其中，第一虚拟相机用来渲染第一虚拟场景。第一虚拟场景中包括窗体，还可以包括其他与窗体所在环境匹配的虚拟对象，例如花瓶、电视、桌子、椅子、摆件等。第二虚拟相机用来渲染第二虚拟场景。

AR设备获取真实场景画面数据后，即可确定当前所在位置，而第一虚拟相机的位置是与AR设备的位置一致，因此，可根据当前所在位置，确定第一虚拟相机的当前位姿信息。在一些实施例中，确定第一虚拟相机的当前位姿信息包括：基于AR设备获取的真实场景画面数据，通过相机位姿估计(Perspective n Points，PNP)运算，得到第一虚拟相机的当前位姿信息。

步骤102：在根据当前位姿信息确定第一虚拟相机位于窗体的第一设定方位的情况下，将窗体的材质基于第二虚拟相机采集的画面进行渲染。

物理空间中，当人的眼睛处于不同位置观看窗体时，窗体会反馈给人不同的视野场景，例如，当人距离窗体远时，窗体所展现的视野小，而人走近窗体时，窗体展现的视野会随着与人的距离缩小而变大；当人从窗体的右侧，移动到左侧时，窗体展现的视野画面也会随着人的移动而从左侧平滑到右侧。而本公开实施例中，AR设备，或者说第一虚拟相机位于窗户的设定方向，例如前方时，第一虚拟相机渲染包括窗体的第一虚拟场景，而窗体中展现的场景则是第二虚拟相机渲染的第二虚拟场景，并且，展现的第二实时虚拟场景需随着第一虚拟相机相对窗体位置不同而改变，因此，在确定第一虚拟相机位于窗体的第一设定方位的情况下，需将窗体的材质基于第二虚拟相机采集的画面进行渲染。

当前位姿信息中包括了第一虚拟相机的第一当前位置信息了，而预设的窗体空间位置也是固定的，因此，可根据当前位姿信息确定第一虚拟相机与窗体之间的位置关系。当第一虚拟相机位于窗体的第一设定方位时，即可在窗体展现第二虚拟相机采集的场景，即将窗体的材质基于第二虚拟相机采集的画面进行渲染。

在一些实施例中，可预先设置每个虚拟场景中物体的渲染层级，第一虚拟场景中物体的层级设置为“default”，相应的第一虚拟相机可渲染的层级设置为default；第二虚拟场景中物体的渲染层级设置为“window”，相应的第二虚拟相机可渲染的层级设置为“window”。而通过创建一个创建“Quad”，作为窗体，使用Unilit/Texture作为其材质。

当确定第一虚拟相机位于窗体的第一设定方位时，将窗体对应的渲染纹理层放置在第二虚拟相机对应的目标纹理层上。包括：可创建一个窗体的渲染纹理层RenderTexture，分辨率设置为2048*2048(可调节)，然后，放置在第二虚拟相机的目标纹理层TargetTexture上，这样第二虚拟相机所采集到的画面会反馈在RenderTexture上面，接着将RenderTexture放置在窗体的材质上，这时，第二虚拟相机所采集到的画面，将会实时反馈在窗体上。

步骤103：根据当前位姿信息，以及窗体的边长信息，配置第二虚拟相机的拍照参数。

由于窗体展现第二虚拟相机采集的场景，并展现的场景需随着第一虚拟相机与窗体之间的距离，角度进行变化，因此，需实时配置第二虚拟相机的拍照参数，可包括：根据第一虚拟相机与第二虚拟相机之间的位置转换关系，确定与当前位姿信息中第一当前位置信息对应的第二当前位置信息，其中，位置转换关系是根据第一虚拟相机的第一初始位置信息，以及第二虚拟相机的第二初始位置确定的；根据当前位姿信息，以及窗体的边长信息，确定第二虚拟相机的当前拍摄角度信息；根据第二当前位置信息，当前拍摄角度信息，修改第二虚拟相机对应的拍照参数，并维持第二虚拟相机向着第二初始位置的朝向不变。

在配置两个虚拟场景，以及对应两个虚拟相机时，可确定每个相机的初始位置信息，以及窗体的初始位置信息，因此，可根据第一虚拟相机的第一初始位置信息，以及第二虚拟相机的第二初始位置，确定第一虚拟相机与第二虚拟相机之间的位置转换关系。

在一些实施例中，配置虚拟场景以及虚拟相机时，第一虚拟相机位于第一局部坐标系中的第一坐标位置，第二虚拟相机位于第二局部坐标系中的第二坐标位置，而每个局部坐标系都是预设的，因此，可根据第一局部坐标系中的第一坐标位置，以及第二局部坐标系中的第二坐标位置，确定第一虚拟相机与第二虚拟相机之间的位置转换矩阵。即本实施例中，位置转换关系为位置转换矩阵。

这样，可根据第一虚拟相机与第二虚拟相机之间的位置转换矩阵，确定与当前位姿信息中第一当前位置信息矩阵变换后得到的位置信息；然后，将矩阵变换后得到的位置信息进行向量归一处理，得到钳制在设定范围内的第二当前位置信息。例如：设定范围为{-1≤x≤1，-1≤y≤1，-1≤z≤1}，这样，若通过矩阵变换后得到的位置信息中，x＝2，也会将x赋值为1。

得到了第二虚拟相机对应的第二当前位置信息，还需确定第二虚拟相机的当前拍摄角度信息。第一虚拟相机与窗体的距离，决定了窗体中的视野大小，而窗体中的视野大小则可通过第二虚拟相机的FOV角来调节，FOV角越大，视野就会越大，反之亦然；但是FOV角度超过90度时，画面会有畸变，影响效果，因此，可将FOV角度锁定在0-90度之间。

在一些实施例中，可根据当前位姿信息，确定第一虚拟相机与窗体之间的相对距离信息；根据窗体的边长信息、以及相对距离信息进行正切运算，得到第二虚拟相机的当前拍摄角度信息。例如，可将窗体较长的边的一半值，与第一虚拟相机与窗体之间的相对距离值，求出的正切值，并作为窗外相机的FOV角。可见，如果FOV角为90度时，室内相机的位置正好处在窗体面上。

确定了第二当前位置信息，当前拍摄角度信息后，可修改第二虚拟相机对应的拍照参数，并维持第二虚拟相机向着第二初始位置的朝向不变。无论第二虚拟相机位置如何变化，无论FOV角多大，第二虚拟相机都需朝着第二起始位置。

步骤104：将第一虚拟相机采集的第一当前实时虚拟场景，以及第二虚拟相机采集的第二当前实时虚拟场景进行融合，并进行增强现实展现。

第二虚拟相机的拍照参数已根据第一虚拟相机与窗体之间的相对位置进行修改，并且，窗体的材质基于第二虚拟相机采集的画面进行渲染的，此时，可将第一虚拟相机采集的第一当前实时虚拟场景，以及第二虚拟相机采集的第二当前实时虚拟场景进行融合，并将融合后携带窗体AR模型的实时虚拟场景，叠加到真实场景画面数据上，生成AR视频流数据，从而，加载AR视频流数据进行展现。

可见，本公开实施例中，可将根据与真实场景画面数据匹配的第一虚拟相机的当前位姿信息，以及窗体的边长信息，确定第二虚拟相机的拍照参数，并将窗体的材质基于第二虚拟相机采集的画面进行渲染，这样，将第一虚拟相机采集的第一当前实时虚拟场景，以及第二虚拟相机采集的第二当前实时虚拟场景进行融合得到的AR场景中，窗体所展现的场景可随着第一虚拟相机与窗体之间相对位置不同而变化，与现实环境相似度较高，即AR画面与现实环境比较匹配，进一步提高了AR设备的功能和使用率。

第一虚拟相机位于窗体的第一设定方位的情况下，窗体所展现的场景是基于第二虚拟相机采集的第二当前实时虚拟场景。但是，若第二虚拟相机位于窗体的第二设定方位的情况下，则只需展现第二当前实时虚拟场景，其中，第一设定方位与第二设定方位分别位于窗体的两侧。例如：第一设定方位为窗体的前方，而第二设定方位为窗体后方。因此，在一些实施例中，在根据当前位姿信息确定第一虚拟相机位于窗体的第二设定方位的情况下，将第二虚拟相机对应的目标纹理层摘除，根据第二虚拟相机采集的第二当前实时虚拟场景进行增强现实显示。这样，进一步与真实视角匹配，进一步提高了用户体验。

下面将操作流程集合到具体实施例中，举例说明本发明实施例提供的控制方法。

本公开一实施例中，窗体叠加到室内的真实环境中，形成第一虚拟场景，对应配置渲染第一虚拟场景的第一虚拟相机；配置第二虚拟场景，以及渲染第二虚拟场景的第二虚拟相机，并且，第一虚拟相机的第一初始位置位于窗体的第一设定方位，这里可为前方，而第二虚拟相机的第二初始位置位于窗体的第二设定方位，可为后方；还可根据第一虚拟相机的第一初始位置信息，以及第二虚拟相机的第二初始位置确定了第一虚拟相机与第二虚拟相机之间的位置转换矩阵。

图2是本公开实施例提供的一种增强现实场景展现方法的流程示意图。如图2所示，增强现实场景展现的过程包括：

步骤201：基于增强现实AR设备获取的真实场景画面数据，确定第一虚拟相机的当前位姿信息。

步骤202：根据当前位姿信息，判断第一虚拟相机是否位于窗体的前方？若是，执行步骤203。否则，执行步骤210。

根据当前位姿信息，通过点乘公式进行计算，例如，Vector3.Dot(Window.forward,playerCamera.position–Window.postion)；若计算得出值大于0，则确定第一虚拟相机处于窗体的前方，执行步骤203，否则第一虚拟相机越过了窗体，位于窗体的后方，执行步骤210。

步骤203：将窗体的材质基于第二虚拟相机采集的画面进行渲染。

这里，可创建一个窗体的渲染纹理层RenderTexture，分辨率设置为2048*2048(可调节)，然后，放置在第二虚拟相机的目标纹理层TargetTexture上，这样第二虚拟相机所采集到的画面会反馈在RenderTexture上面，接着将RenderTexture放置在窗体的材质上，这时，第二虚拟相机所采集到的画面，将会实时反馈在窗体上。

步骤204：根据第一虚拟相机与第二虚拟相机之间的位置转换矩阵，确定与当前位姿信息中第一当前位置信息矩阵变换后得到的位置信息。

步骤205：将矩阵变换后得到的位置信息进行向量归一处理，得到钳制在设定范围内的第二当前位置信息。

步骤206：根据当前位姿信息，确定第一虚拟相机与窗体之间的相对距离信息。

步骤207：根据窗体的边长信息、以及相对距离信息进行正切运算，得到第二虚拟相机的当前拍摄角度信息。

步骤208：根据第二当前位置信息，当前拍摄角度信息，修改第二虚拟相机对应的拍照参数，并维持第二虚拟相机向着第二初始位置的朝向不变。

步骤209：将第一虚拟相机采集的第一当前实时虚拟场景，以及第二虚拟相机采集的第二当前实时虚拟场景进行融合，并进行增强现实展现。

第二虚拟相机的拍摄参数修改了，因此，将第一虚拟相机采集的第一当前实时虚拟场景，以及第二虚拟相机采集的第二当前实时虚拟场景进行融合，并将融合后携带窗体的实时虚拟场景，叠加到真实场景画面数据上，生成AR视频流数据，然后，加载AR视频流数据进行展现。

图3是本公开实施例提供的一种第二虚拟场景的示意图。而图4、5分别是第一虚拟相机位于不同位置，对应的增强现实场景的示意图。第二虚拟场景为虚拟星体场景，由于窗体的材质基于第二虚拟相机采集的画面进行渲染，因此，当第一虚拟相机与窗体之间的相对距离比较近时，窗体对应的AR场景中，星体比较大，只能观察到局部；而当第一虚拟相机与窗体之间的相对距离比较远时，窗体对应的AR场景中，星体比较小，可观察到整个星体。

步骤210：将第二虚拟相机对应的目标纹理层摘除，根据第二虚拟相机采集的第二当前实时虚拟场景进行增强现实显示。

第一虚拟相机位于窗体的第二设定方位了，即跨过窗体，为窗外了，此时，仅需展现第二当前实时虚拟场景了，即根据第二虚拟相机采集的第二当前实时虚拟场景进行增强现实显示。例如，可将第二虚拟相机的TargetTexture摘除，即可实现根据第二虚拟相机采集的第二当前实时虚拟场景进行增强现实显示。

可见，本实施例中，将根据与真实场景画面数据匹配的第一虚拟相机的当前位姿信息，以及窗体的边长信息，确定第二虚拟相机的拍照参数，并将窗体的材质基于第二虚拟相机采集的画面进行渲染，这样，将第一虚拟相机采集的第一当前实时虚拟场景，以及第二虚拟相机采集的第二当前实时虚拟场景进行融合得到的AR场景中，窗体所展现的场景可随着第一虚拟相机与窗体之间相对位置不同而变化，与现实环境相似度较高，即AR画面与现实环境比较匹配，进一步提高了AR设备的功能和使用率。并且，第一虚拟相机越过窗体时，只需根据第二虚拟相机采集的第二当前实时虚拟场景进行增强现实显示。这样，进一步与真实视角匹配，进一步提高了用户体验。

根据上述增强现实场景展现方法，可构建一种增强现实场景展现装置。

图6是本公开实施例提供的一种增强现实场景展现装置的结构示意图。如图6所示，增强现实场景展现装置包括：位姿确定模块100、渲染处理模块200、参数配置模块300以及融合展现模块。

位姿确定模块100，被配置为基于增强现实AR设备获取的真实场景画面数据，确定第一虚拟相机的当前位姿信息，其中，第一虚拟相机渲染的第一虚拟场景中包括窗体。

渲染处理模块200，被配置为在根据当前位姿信息确定第一虚拟相机位于窗体的第一设定方位的情况下，将窗体的材质基于第二虚拟相机采集的画面进行渲染。

参数配置模块300，被配置为根据当前位姿信息，以及窗体的边长信息，配置第二虚拟相机的拍照参数。

融合展现模块400，被配置为将第一虚拟相机采集的第一当前实时虚拟场景，以及第二虚拟相机采集的第二当前实时虚拟场景进行融合，并进行增强现实展现。

在一些实施例中，位姿确定模块100，具体被配置为基于AR设备获取的真实场景画面数据，通过相机位姿估计(PNP)运算，得到第一虚拟相机的当前位姿信息。

在一些实施例中，参数配置模块300包括：位置确定单元、角度确定单元以及配置单元。

位置确定单元，被配置为根据第一虚拟相机与第二虚拟相机之间的位置转换关系，确定与当前位姿信息中第一当前位置信息对应的第二当前位置信息，其中，位置转换关系是根据第一虚拟相机的第一初始位置信息，以及第二虚拟相机的第二初始位置确定的。

角度确定单元，被配置为根据当前位姿信息，以及窗体的边长信息，确定第二虚拟相机的当前拍摄角度信息。

配置单元，被配置为根据第二当前位置信息，当前拍摄角度信息，修改第二虚拟相机对应的拍照参数，并维持第二虚拟相机向着第二初始位置的朝向不变。

在一些实施例中，位置确定单元，具体被配置为根据第一虚拟相机与第二虚拟相机之间的位置转换矩阵，确定与当前位姿信息中第一当前位置信息矩阵变换后得到的位置信息；将矩阵变换后得到的位置信息进行向量归一处理，得到钳制在设定范围内的第二当前位置信息。

在一些实施例中，角度确定单元，具体被配置为根据当前位姿信息，确定第一虚拟相机与窗体之间的相对距离信息；根据窗体的边长信息、以及相对距离信息进行正切运算，得到第二虚拟相机的当前拍摄角度信息。

在一些实施例中，融合展现模块400，具体被配置为将融合后携带窗体AR模型的实时虚拟场景，叠加到真实场景画面数据上，生成AR视频流数据；加载AR视频流数据进行展现。

在一些实施例中，还包括：摘除展现模块，被配置为在根据当前位姿信息确定第一虚拟相机位于窗体的第二设定方位的情况下，将第二虚拟相机对应的目标纹理层摘除，根据第二虚拟相机采集的第二当前实时虚拟场景进行增强现实显示其中，第一设定方位与第二设定方位分别位于窗体的两侧。

下面对增强现实场景展现的装置进行具体的描述。

本公开一实施例中，配置包括窗体的第一虚拟场景，对应渲染第一虚拟场景的第一虚拟相机；配置第二虚拟场景，以及渲染第二虚拟场景的第二虚拟相机，并且，第一虚拟相机的第一初始位置位于窗体的第一设定方位，这里可为前方，而第二虚拟相机的第二初始位置位于窗体的第二设定方位，可为后方；还可根据第一虚拟相机的第一初始位置信息，以及第二虚拟相机的第二初始位置确定了第一虚拟相机与第二虚拟相机之间的位置转换矩阵。

图7是本公开实施例提供的一种增强现实场景展现装置的结构示意图。如图7所示，增强现实场景展现装置包括：位姿确定模块100、渲染处理模块200、参数配置模块300以及融合展现模块。还包括：摘除展现模块500。而参数配置模块300可包括：位置确定单元310、角度确定单元320以及配置单元330。

位姿确定模块100基于增强现实AR设备获取的真实场景画面数据，确定第一虚拟相机的当前位姿信息。这样，根据当前位姿信息，确定第一虚拟相机位于窗体的前方时，渲染处理模块200可将窗体的材质基于第二虚拟相机采集的画面进行渲染，即可创建一个窗体的渲染纹理层RenderTexture，然后，放置在第二虚拟相机的目标纹理层TargetTexture上，这样第二虚拟相机所采集到的画面会反馈在RenderTexture上面，接着将RenderTexture放置在窗体的材质上。

从而，参数配置模块300中的位置确定单元310可根据第一虚拟相机与第二虚拟相机之间的位置转换矩阵，确定与当前位姿信息中第一当前位置信息矩阵变换后得到的位置信息，并将矩阵变换后得到的位置信息进行向量归一处理，得到钳制在设定范围内的第二当前位置信息。角度确定单元320可根据当前位姿信息，确定第一虚拟相机与窗体之间的相对距离信息，并根据窗体的边长信息、以及相对距离信息进行正切运算，得到第二虚拟相机的当前拍摄角度信息。从而，配置单元330可根据第二当前位置信息，当前拍摄角度信息，修改第二虚拟相机对应的拍照参数，并维持第二虚拟相机向着第二初始位置的朝向不变。

修改了第二虚拟相机的拍摄参数后，融合展现模块400可将第一虚拟相机采集的第一当前实时虚拟场景，以及第二虚拟相机采集的第二当前实时虚拟场景进行融合，并进行增强现实展现。

当然，根据当前位姿信息，，确定第一虚拟相机位于窗体的后方时，摘除展现模块500可将第二虚拟相机对应的目标纹理层摘除，根据第二虚拟相机采集的第二当前实时虚拟场景进行增强现实显示。摘除展现模块500可将第二虚拟相机的TargetTexture摘除，即可实现根据第二虚拟相机采集的第二当前实时虚拟场景进行增强现实显示。

可见，本实施例中，AR场景展现装置将根据与真实场景画面数据匹配的第一虚拟相机的当前位姿信息，以及窗体的边长信息，确定第二虚拟相机的拍照参数，并将窗体的材质基于第二虚拟相机采集的画面进行渲染，这样，将第一虚拟相机采集的第一当前实时虚拟场景，以及第二虚拟相机采集的第二当前实时虚拟场景进行融合得到的AR场景中，窗体所展现的场景可随着第一虚拟相机与窗体之间相对位置不同而变化，与现实环境相似度较高，即AR画面与现实环境比较匹配，进一步提高了AR设备的功能和使用率。并且，第一虚拟相机越过窗体时，只需根据第二虚拟相机采集的第二当前实时虚拟场景进行增强现实显示。这样，进一步与真实视角匹配，进一步提高了用户体验。

本公开实施例提供了一种AR设备，包含上述的增强现实场景展现装置。

本公开实施例提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为执行上述增强现实场景展现方法。

本公开实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述增强现实场景展现方法。

上述的计算机可读存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。

本公开实施例提供了一种电子设备，其结构如图8所示，该电子设备包括：

至少一个处理器(processor)1000，图8中以一个处理器1000为例；和存储器(memory)1001，还可以包括通信接口(Communication Interface)1002和总线1003。其中，处理器1000、通信接口1002、存储器1001可以通过总线1003完成相互间的通信。通信接口1002可以用于信息传输。处理器1000可以调用存储器1001中的逻辑指令，以执行上述实施例的增强现实场景展现方法。

此外，上述的存储器1001中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

存储器1001作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令/模块。处理器1000通过运行存储在存储器1001中的软件程序、指令以及模块，从而执行功能应用以及数据处理，即实现上述方法实施例中的增强现实场景展现方法。

存储器1001可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器1001可以包括高速随机存取存储器，还可以包括非易失性存储器。

本公开实施例的技术方案可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括一个或多个指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开实施例所述方法的全部或部分步骤。而前述的存储介质可以是非暂态存储介质，包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。

以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。本公开实施例的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。当用于本申请中时，虽然术语“第一”、“第二”等可能会在本申请中使用以描述各元件，但这些元件不应受到这些术语的限制。这些术语仅用于将一个元件与另一个元件区别开。比如，在不改变描述的含义的情况下，第一元件可以叫做第二元件，并且同样第，第二元件可以叫做第一元件，只要所有出现的“第一元件”一致重命名并且所有出现的“第二元件”一致重命名即可。第一元件和第二元件都是元件，但可以不是相同的元件。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。

本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。所述技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。所述技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生，有时不同的操作或步骤之间不存在特定的顺序。例如，两个连续的操作或步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

Claims (9)

1.一种增强现实场景展现的方法，其特征在于，包括：

基于增强现实AR设备获取的真实场景画面数据，确定第一虚拟相机的当前位姿信息，其中，所述第一虚拟相机渲染的第一虚拟场景中包括窗体；

在根据所述当前位姿信息确定所述第一虚拟相机位于所述窗体的第一设定方位的情况下，将所述窗体的材质基于第二虚拟相机采集的画面进行渲染；

根据所述当前位姿信息，以及所述窗体的边长信息，配置所述第二虚拟相机的拍照参数；

将所述第一虚拟相机采集的第一当前实时虚拟场景，以及所述第二虚拟相机采集的第二当前实时虚拟场景进行融合，并进行增强现实展现；

所述配置所述第二虚拟相机的拍照参数包括：

根据第一虚拟相机与第二虚拟相机之间的位置转换关系，确定与所述当前位姿信息中第一当前位置信息对应的第二当前位置信息，其中，所述位置转换关系是根据所述第一虚拟相机的第一初始位置信息，以及所述第二虚拟相机的第二初始位置确定的；

根据所述当前位姿信息，以及所述窗体的边长信息，确定第二虚拟相机的当前拍摄角度信息；

根据所述第二当前位置信息，所述当前拍摄角度信息，修改所述第二虚拟相机对应的拍照参数，并维持所述第二虚拟相机向着所述第二初始位置的朝向不变。

2.根据权利要求1所述的方法，其特征在于，所述确定第一虚拟相机的当前位姿信息包括：

基于AR设备获取的真实场景画面数据，通过相机位姿估计PNP运算，得到第一虚拟相机的当前位姿信息。

3.根据权利要求2所述的方法，其特征在于，所述确定与所述当前位姿信息中第一当前位置信息对应的第二当前位置信息包括：

根据第一虚拟相机与第二虚拟相机之间的位置转换矩阵，确定与所述当前位姿信息中第一当前位置信息矩阵变换后得到的位置信息；

将所述矩阵变换后得到的位置信息进行向量归一处理，得到钳制在设定范围内的第二当前位置信息。

4.根据权利要求2所述的方法，其特征在于，所述确定第二虚拟相机的当前拍摄角度信息包括：

根据所述当前位姿信息，确定所述第一虚拟相机与所述窗体之间的相对距离信息；

根据所述窗体的边长信息、以及所述相对距离信息进行正切运算，得到所述第二虚拟相机的当前拍摄角度信息。

5.根据权利要求1所述的方法，其特征在于，所述进行增强现实展现包括：

将融合后携带窗体AR模型的实时虚拟场景，叠加到所述真实场景画面数据上，生成AR视频流数据；

加载所述AR视频流数据进行展现。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在根据所述当前位姿信息确定所述第一虚拟相机位于所述窗体的第二设定方位的情况下，将所述第二虚拟相机对应的目标纹理层摘除，根据所述第二虚拟相机采集的所述第二当前实时虚拟场景进行增强现实显示，其中，所述第一设定方位与所述第二设定方位分别位于所述窗体的两侧。

7.一种增强现实场景展现的装置，其特征在于，包括：

位姿确定模块，被配置为基于增强现实AR设备获取的真实场景画面数据，确定第一虚拟相机的当前位姿信息，其中，所述第一虚拟相机渲染的第一虚拟场景中包括窗体；

渲染处理模块，被配置为在根据所述当前位姿信息确定所述第一虚拟相机位于所述窗体的第一设定方位的情况下，将所述窗体的材质基于第二虚拟相机采集的画面进行渲染；

参数配置模块，被配置为根据所述当前位姿信息，以及所述窗体的边长信息，配置所述第二虚拟相机的拍照参数；

融合展现模块，被配置为将所述第一虚拟相机采集的第一当前实时虚拟场景，以及所述第二虚拟相机采集的第二当前实时虚拟场景进行融合，并进行增强现实展现；

所述参数配置模块，被配置为通过以下方式配置所述第二虚拟相机的拍照参数：

根据第一虚拟相机与第二虚拟相机之间的位置转换关系，确定与所述当前位姿信息中第一当前位置信息对应的第二当前位置信息，其中，所述位置转换关系是根据所述第一虚拟相机的第一初始位置信息，以及所述第二虚拟相机的第二初始位置确定的；

根据所述当前位姿信息，以及所述窗体的边长信息，确定第二虚拟相机的当前拍摄角度信息；

根据所述第二当前位置信息，所述当前拍摄角度信息，修改所述第二虚拟相机对应的拍照参数，并维持所述第二虚拟相机向着所述第二初始位置的朝向不变。

8.一种增强现实场景展现的装置，包括处理器和存储有程序指令的存储器，其特征在于，所述处理器被配置为在执行所述程序指令时，执行如权利要求1至6任一项所述的方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令设置为执行如权利要求1至6任一项所述的方法。

Images