CN116797624A - 遮挡关系的确定方法和装置 - Google Patents

Abstract

本发明实施例公开了一种遮挡关系的确定方法和装置，遮挡关系的确定方法包括：获取用户在AR终端上的选取动作以及选取动作选取的图像；依据选取动作生成提示信息；将提示信息和图像输入分割网络进行分割，得到空间中的前景与背景之间的遮挡关系。本发明提供的方案能够通过简单的交互能够灵活的得到前后景的关系，从而在增强现实应用中可以有真实的遮挡关系的技术效果。

Description

遮挡关系的确定方法和装置

技术领域

本发明涉及AR技术应用领域，尤其涉及一种遮挡关系的确定方法和装置。

背景技术

增强现实技术是在现实的基础上叠加虚拟的内容从而增加现实场景的信息量或者改善现实场景的外观。但是直接的在现实的场景上叠加虚拟内容，很容易导致增强的场景更混乱，比如在有些应用场景，需要渲染的虚拟内容出现在某个/些人的后面，直接叠加虚拟内容一般会将人挡住，视觉体验反而造成了负面影响。一般的解决方案是通过语义分割或者深度恢复方法来进行场景理解，从而得到人或者其他物体的mask和深度值，从而进行遮挡的判定。

现有技术的缺点是每个物体都需要训练一个网络来进行分割，而且不能灵活的进行物体遮挡的判定，比如，画面里有两个人，如果只想其中一个人作为前景，另一个作为背景或者擦除。如果使用语义分割网络是达不到这种效果的，如果使用实例分割，可以得到每个人的mask，但是也需要其他的方法进行前景的选择。

针对由于现有技术在获取前后景的选取过程中运算量复杂，无法灵活获取前后景，从而准确进行遮挡关系的判定的问题，目前尚未提出有效的解决方案。

发明内容

为解决上述技术问题，本发明实施例期望提供一种遮挡关系的确定方法和装置，以至少解决由于现有技术在获取前后景的选取过程中运算量复杂，无法灵活获取前后景，从而准确进行遮挡关系的判定的问题。

本发明的技术方案是这样实现的：

本发明实施例提供一种遮挡关系的确定方法，包括：获取用户在AR终端上的选取动作以及选取动作选取的图像；依据选取动作生成提示信息；将提示信息和图像输入分割网络进行分割，得到空间中的前景与背景之间的遮挡关系。

可选的，选取动作包括：点击、画框、划线、输入文本或语音。

进一步地，可选的，依据选取动作生成提示信息包括：在选取动作为点击的情况下，获取点击的点位置坐标，依据点位置坐标生成提示信息。

可选的，依据选取动作生成提示信息包括：在选取动作为画框的情况下，获取画框的顶点坐标，依据顶点坐标生成提示信息。

可选的，依据选取动作生成提示信息包括：在选取动作为划线的情况下，通过预设采样规则采集划线的点集合，依据点集合生成提示信息。

可选的，依据选取动作生成提示信息包括：在选取动作为语音的情况下，将语音进行转换，得到对应语音的文字；依据文字生成提示信息。

可选的，将提示信息和图像输入分割网络进行分割，得到空间中的前景与背景之间的遮挡关系包括：将提示信息和图像输入分割网络进行分割，得到空间中前景的掩膜值；依据前景的掩膜值确定背景；依据前景和背景，得到前景与背景之间的遮挡关系。

进一步地，可选的，该方法还包括：在AR终端上通过选取动作依据时间序列获取第一图像和第二图像的情况下，在获取到第一图像中前景与背景的遮挡关系后，依据第一图像中前景的掩膜值生成第二图像的提示信息，依据第二图像的提示信息和第二图像通过分割网络进行分割，得的第二图像中的前景与背景之间的遮挡关系。

本发明实施例提供一种遮挡关系的确定装置，包括：获取模块，用于获取用户在AR终端上的选取动作以及选取动作选取的图像；信息生成模块，用于依据选取动作生成提示信息；分割模块，用于将提示信息和图像输入分割网络进行分割，得到空间中的前景与背景之间的遮挡关系。

可选的，选取动作包括：点击、画框、划线、输入文本或语音。

本发明实施例提供了一种遮挡关系的确定方法和装置，通过获取用户在AR终端上的选取动作以及选取动作选取的图像；依据选取动作生成提示信息；将提示信息和图像输入分割网络进行分割，得到空间中的前景与背景之间的遮挡关系。从而能够通过简单的交互能够灵活的得到前后景的关系，从而在增强现实应用中可以有真实的遮挡关系的技术效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例提供的一种遮挡关系的确定方法的流程示意图；

图2为本发明实施例提供的另一种遮挡关系的确定方法中的示意图；

图3为本发明实施例提供的一种遮挡关系的确定方法中获取多帧图的遮挡关系的示意图；

图4为本发明实施例提供的一种遮挡关系的确定装置的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于限定特定顺序。

还需要说明是，本发明下述各个实施例可以单独执行，各个实施例之间也可以相互结合执行，本发明实施例对此不作具体限制。

本发明实施例提供一种遮挡关系的确定方法，图1为本发明实施例提供的一种遮挡关系的确定方法的流程示意图；如图1所示，应用于AR设备中，本申请实施例提供的遮挡关系的确定方法包括：

步骤S102，获取用户在AR终端上的选取动作以及选取动作选取的图像；

可选的，选取动作包括：点击、画框、划线、输入文本或语音。

步骤S104，依据选取动作生成提示信息；

进一步地，可选的，依据选取动作生成提示信息包括：在选取动作为点击的情况下，获取点击的点位置坐标，依据点位置坐标生成提示信息。

可选的，依据选取动作生成提示信息包括：在选取动作为画框的情况下，获取画框的顶点坐标，依据顶点坐标生成提示信息。

可选的，依据选取动作生成提示信息包括：在选取动作为划线的情况下，通过预设采样规则采集划线的点集合，依据点集合生成提示信息。

可选的，依据选取动作生成提示信息包括：在选取动作为语音的情况下，将语音进行转换，得到对应语音的文字；依据文字生成提示信息。

步骤S106，将提示信息和图像输入分割网络进行分割，得到空间中的前景与背景之间的遮挡关系。

可选的，将提示信息和图像输入分割网络进行分割，得到空间中的前景与背景之间的遮挡关系包括：将提示信息和图像输入分割网络进行分割，得到空间中前景的掩膜值；依据前景的掩膜值确定背景；依据前景和背景，得到前景与背景之间的遮挡关系。

综上，结合步骤S102至步骤S106，图2为本发明实施例提供的另一种遮挡关系的确定方法中的示意图；由于当用户打开增强现实的应用时，默认渲染的内容在最上层，从而会遮挡真实场景。那么在需要将某个真实物体置于最上层的时候，此时用户可以在屏幕上通过：点击、者划线、画框或语音的方式进行前景的选择(即，本申请实施例中的选取动作)，依据选取动作会生成提示信息，依据提示信息和选取动作选取的图像传输至分割网络。在本申请实施例中分割网络以SAM和/或SEEM为例进行说明，通过SAM和/或SEEM网络对提示信息和选取动作得到的图像进行分割处理，得到前景的掩膜值mask，从而得到满足用户需求的遮挡关系的AR显示。

如图2所示，当用户打开增强现实的应用时，默认虚拟内容都在最上层，从而遮挡了真实场景，此时用户可以在屏幕上通过点击、划线、画框或语音等方式进行前景的选择，依据交互动作(即，本申请实施例中的选取动作)会生成提示信息，传输至分割网络。

在生成提示信息的过程中由于选取操作的差异性，本申请实施例提供的遮挡关系的确定方法以如下方式实现：

当用户的交互可以是点击时，对于SAM类分割算法，点击的坐标位置可以作为提示信息传输至SAM类分割算法；

当用户的交互可以是画框交互时，画框的四个顶点坐标可以生成提示信息，传输至分割网络；

当用户的交互可以是划线交互时，先对划线进行采样成点，依据采样成点的点集合生成提示信息，将提示信息传输至分割网络，其中，采样的方法可以是均匀采样，也可以取中心点等。

当用户的交互可以是语音交互时，先通过语音转文字的方法转成文字，依据转换后的文字生成提示信息，将该提示信息传输至分割网络；

其中，对于SEEM类算法，视觉的提示可以直接通过视觉提示编码器进行处理。

在经过分割网络得到前景的掩膜值mask后，就可以通过前景的mask重置虚拟内容和真实场景的遮挡关系。

单帧的处理流程就如上。

本申请实施例提供的遮挡关系的确定方法可以通过交互得到真实的遮挡关系，进行AR拍照等应用。

进一步地，可选的，本申请实施例提供的遮挡关系的确定方法还包括：在AR终端上通过选取动作依据时间序列获取第一图像和第二图像的情况下，在获取到第一图像中前景与背景的遮挡关系后，依据第一图像中前景的掩膜值生成第二图像的提示信息，依据第二图像的提示信息和第二图像通过分割网络进行分割，得的第二图像中的前景与背景之间的遮挡关系。

具体的，如图3所示，图3为本发明实施例提供的一种遮挡关系的确定方法中获取多帧图的遮挡关系的示意图；其中，第一图像可以为t时刻图像，第二图像可以为t+1时刻图像，在本申请实施例中t时刻和t+1时刻可以为同时间序列的时刻；在获取t时刻图像中前景与背景之间遮挡关系的过程中，如步骤S102至步骤S106，在得到t时刻图像的前景掩码值mask的情况下，依据t时刻图像的前景掩码值mask生成t+1时刻图像的提示信息；

其中，t+1时刻图像的提示信息可以是基于选取动作的类型，在选取动作为点击操作的情况下，对t时刻图像的前景掩码值mask进行采样，得到点集作为提示；或，在选取动作为画框的情况下，通过求mask的包围框作为提示；或，直接用mask作为提示或者使用mask和包围框或者点的结合方式作为提示。

需要说明的是，本申请实施例中仅以t时刻图像和t+1时刻图像为例进行说明，在实际运行时，本申请实施例提供的遮挡关系的确定方法可以应用于前后帧图像循环执行获取连续图像间遮挡关系的方法，以实现本申请实施例提供的遮挡关系的确定方法为准，具体不做限定。

本申请实施例提供的遮挡关系的确定方法提出通过交互来进行灵活的前后景选取，从而进行遮挡关系的判定。在屏幕上，用户可以通过点击、划线或者画框/圆的方式指定前景，然后将交互的动作生成提示，连同当前帧的图像一起作为输入传输至通用分割网络，比如SAM或者SEEM类算法，得到前景的mask，然后这些mask都是作为前景，其他没有选中和分割的都可以作为背景。本申请实施例提供的遮挡关系的确定方法对任意新的前景物体不需要重新训练网络，直接通过交互即可得到前景mask。前一帧的mask可以作为提示，给到下一帧，从而后面每帧都有前景的mask用来作为每帧的遮挡判定，也可以单帧操作进行AR拍照。

本申请实施例提供的遮挡关系的确定方法通过交互能够灵活的得到前后景的关系，从而在增强现实应用中可以有真实的遮挡关系。本申请实施例提供的遮挡关系的确定方法通过交互可以灵活的分割前景，对于新增前景类别不需要重新训练。交互工程(即，本申请实施例中的选取操作)简单易操作，而且可以解决语义分割很难解决的前景选择问题，比如在想拍照的场景中有两个人，其中一个人不想被当做前景，如果用语义分割则，全部被当做前景，或者需要其他的交互方式选择前景，本申请实施例提供的遮挡关系的确定方法可以通过简单的交互，只点击或者在选中的人身上划线等操作，得到想要的前景，从而使得虚拟内容在想要的人的后面，并且遮挡不想要出现的人或物。

本发明实施例提供了一种遮挡关系的确定方法，通过获取用户在AR终端上的选取动作以及选取动作选取的图像；依据选取动作生成提示信息；将提示信息和图像输入分割网络进行分割，得到空间中的前景与背景之间的遮挡关系。从而能够通过简单的交互能够灵活的得到前后景的关系，从而在增强现实应用中可以有真实的遮挡关系的技术效果。

本发明实施例提供一种遮挡关系的确定装置，如图4所示，图4为本发明实施例提供的一种遮挡关系的确定装置的示意图；本申请实施例提供的遮挡关系的确定装置包括：获取模块42，用于获取用户在AR终端上的选取动作以及选取动作选取的图像；信息生成模块44，用于依据选取动作生成提示信息；分割模块46，用于将提示信息和图像输入分割网络进行分割，得到空间中的前景与背景之间的遮挡关系。

可选的，选取动作包括：点击、画框、划线、输入文本或语音。

本发明实施例提供了一种遮挡关系的确定装置，通过获取用户在AR终端上的选取动作以及选取动作选取的图像；依据选取动作生成提示信息；将提示信息和图像输入分割网络进行分割，得到空间中的前景与背景之间的遮挡关系。从而能够通过简单的交互能够灵活的得到前后景的关系，从而在增强现实应用中可以有真实的遮挡关系的技术效果。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (10)

1.一种遮挡关系的确定方法，其特征在于，包括：

获取用户在AR终端上的选取动作以及所述选取动作选取的图像；

依据所述选取动作生成提示信息；

将所述提示信息和所述图像输入分割网络进行分割，得到空间中的前景与背景之间的遮挡关系。

2.根据权利要求1所述的遮挡关系的确定方法，其特征在于，所述选取动作包括：点击、画框、划线、输入文本或语音。

3.根据权利要求2所述的遮挡关系的确定方法，其特征在于，所述依据所述选取动作生成提示信息包括：

在所述选取动作为点击的情况下，获取点击的点位置坐标，依据所述点位置坐标生成所述提示信息。

4.根据权利要求2所述的遮挡关系的确定方法，其特征在于，所述依据所述选取动作生成提示信息包括：

在所述选取动作为画框的情况下，获取所述画框的顶点坐标，依据所述顶点坐标生成所述提示信息。

5.根据权利要求2所述的遮挡关系的确定方法，其特征在于，所述依据所述选取动作生成提示信息包括：

在所述选取动作为划线的情况下，通过预设采样规则采集所述划线的点集合，依据所述点集合生成所述提示信息。

6.根据权利要求2所述的遮挡关系的确定方法，其特征在于，所述依据所述选取动作生成提示信息包括：

在所述选取动作为语音的情况下，将所述语音进行转换，得到对应所述语音的文字；依据所述文字生成所述提示信息。

7.根据权利要求1至6中任意一项所述的遮挡关系的确定方法，其特征在于，所述将所述提示信息和所述图像输入分割网络进行分割，得到空间中的前景与背景之间的遮挡关系包括：

将所述提示信息和所述图像输入分割网络进行分割，得到所述空间中所述前景的掩膜值；

依据所述前景的掩膜值确定所述背景；

依据所述前景和所述背景，得到前景与背景之间的遮挡关系。

8.根据权利要求7所述的遮挡关系的确定方法，其特征在于，所述方法还包括：

在所述AR终端上通过所述选取动作依据时间序列获取第一图像和第二图像的情况下，在获取到第一图像中前景与背景的遮挡关系后，依据所述第一图像中前景的掩膜值生成所述第二图像的提示信息，依据所述第二图像的提示信息和所述第二图像通过所述分割网络进行分割，得的第二图像中的前景与背景之间的遮挡关系。

9.一种遮挡关系的确定装置，其特征在于，包括：

获取模块，用于获取用户在AR终端上的选取动作以及所述选取动作选取的图像；

信息生成模块，用于依据所述选取动作生成提示信息；

分割模块，用于将所述提示信息和所述图像输入分割网络进行分割，得到空间中的前景与背景之间的遮挡关系。

10.根据权利要求9所述的遮挡关系的确定装置，其特征在于，所述选取动作包括：点击、画框、划线、输入文本或语音。