CN116468736A - 基于空间结构的前景图像分割方法、装置、设备、介质 - Google Patents

Abstract

本发明公开了一种基于空间结构的前景图像分割方法、装置、设备、介质，其中，方法包括：通过多张拍摄图像构建出目标三维模型；从目标三维模型中获取观测视角所对应的观测图像，从观测图像中确定候选区域；将候选区域反投影至三维空间得到各自对应的模型提取视椎，将多个模型提取视椎进行交运算确定目标区域；基于目标区域对待分割目标前景的目标图像进行渲染得到渲染图像，根据渲染图像确定目标图像的目标像素，将目标像素的集合确定为目标前景的图像。根据本实施例的技术方案，能够获取目标区域以表征目标前景的三维结构，再基于目标前景的三维结构从空间中对目标图像的目标前景进行分割，能够有效提高目标前景的分割效率。

Description

基于空间结构的前景图像分割方法、装置、设备、介质

技术领域

本申请涉及3D建模技术领域，具体涉及一种基于空间结构的前景图像分割方法、装置、设备、介质。

背景技术

图像分割旨在将图像的内容根据某种一致性分割成多个区域，例如根据语义一致性对图像的前景和背景进行分割。目前,图像分割的主要方法是在2D图像上依据像素之间的相似性关系进行分割，这就导致图像分割的准确性非常依赖于对像素相似性的定义，当需要对一系列相关图像进行前景分割，例如对同一个场景下从多个角度进行拍摄得到的图像进行分割时，图像之间的相关性信息也不容易挖掘，像素相似性的定义非常困难，前景分割的准确性得不到保障。

发明内容

本申请实施例提供一种基于空间结构的前景图像分割方法、装置、设备、介质，至少能保证，本申请方案能够在三维空间对图像进行分割，通过图像的三维空间结构确定目标前景的区域，能够简单有效地对前景图像进行分割。

第一方面，本申请实施例提供了一种基于空间结构的前景图像分割方法，所述方法包括：

通过多张拍摄图像构建出目标三维模型，所述拍摄图像包括目标前景，所述目标三维模型包括各张所述拍摄图像的所述目标前景的三维投影；

获取多个预设的观测视角，从所述目标三维模型中获取各个所述观测视角所对应的观测图像，从各个所述观测图像中确定候选区域，所述候选区域用于指示所述目标前景在对应的所述观测图像的投影；

将各个所述候选区域反投影至三维空间得到各自对应的模型提取视椎，将多个所述模型提取视椎进行交运算得到的空间区域确定为目标区域；

获取待分割目标前景的目标图像，基于所述目标区域对所述目标图像进行渲染得到渲染图像，根据所述渲染图像确定所述目标图像的目标像素，将所述目标像素的集合确定为所述目标前景的图像。

根据本发明的一些实施例，所述从各个所述观测图像中确定候选区域，包括：

获取所述观测图像中的框选边框，所述框选边框用于框选所述目标前景在所述观测图像中的投影；

将所述框选边框所对应的区域确定为所述候选区域。

根据本发明的一些实施例，所述目标三维模型为辐射场模型，所述通过多张拍摄图像构建出目标三维模型，包括：

根据多张所述拍摄图像构建出辐射场，其中，所述辐射场的每个辐射场像素沿辐射场观测方向的颜色积分是根据所述辐射场像素的不透明度确定的；

将所述辐射场中不透明度大于预设的不透明度阈值的区域所组成的几何结构确定为所述辐射场模型。

根据本发明的一些实施例，所述基于所述目标区域对所述目标图像进行渲染得到渲染图像，包括：

确定所述目标图像在所述辐射场模型的目标观测方向；

基于所述目标观测方向，确定所述目标图像的每个图像像素在所述辐射场模型的颜色积分的路径；

将所述颜色积分的路径与所述目标区域相交的所述图像像素确定为渲染像素，将所述渲染像素的集合确定为所述渲染图像。

根据本发明的一些实施例，所述根据所述渲染图像确定所述目标图像的目标像素，包括：

根据每个所述渲染像素的像素参数值确定所述渲染图像所对应的分割掩码；

根据所述分割掩码确定所述目标图像的所述目标像素。

根据本发明的一些实施例，所述将多个所述模型提取视椎进行交运算得到的空间区域确定为目标区域，包括：

当将多个所述模型提取视椎进行交运算得到多个空间区域，根据预设的膨胀参数对多个所述空间区域进行膨胀；

对膨胀后的多个所述空间区域进行连通运算，将连通运算得到的连通区域确定为所述目标区域。

根据本发明的一些实施例，所述将连通运算得到的连通区域确定为所述目标区域，包括：

当所述连通区域内包括孤立区域，将所述孤立区域从所述连通区域中删除；

将删除所述孤立区域后得到的所述连通区域确定为所述目标区域。

第二方面，本申请实施例提供了一种基于空间结构的前景图像分割装置，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如第一方面所述的基于空间结构的前景图像分割方法。

第三方面，本申请实施例提供了一种电子设备，包括第二方面所述的基于空间结构的前景图像分割装置。

第四方面，本申请实施例提供了一种计算机可读存储介质，存储有计算机可执行指令，计算机可执行指令用于执行如第一方面所述的基于空间结构的前景图像分割方法。

本申请至少具有以下有益效果：通过多张拍摄图像构建出目标三维模型，所述拍摄图像包括目标前景，所述目标三维模型包括各张所述拍摄图像的所述目标前景的三维投影；获取多个预设的观测视角，从所述目标三维模型中获取各个所述观测视角所对应的观测图像，从各个所述观测图像中确定候选区域，所述候选区域用于指示所述目标前景在对应的所述观测图像的投影；将各个所述候选区域反投影至三维空间得到各自对应的模型提取视椎，将多个所述模型提取视椎进行交运算得到的空间区域确定为目标区域；获取待分割目标前景的目标图像，基于所述目标区域对所述目标图像进行渲染得到渲染图像，根据所述渲染图像确定所述目标图像的目标像素，将所述目标像素的集合确定为所述目标前景的图像。根据本实施例的技术方案，能够在通过目标三维模型获取目标区域以表征目标前景的三维结构，再基于目标前景的三维结构从空间中对目标图像分割出目标前景，能够有效提高目标前景的分割效率。

附图说明

图1为本申请一实施例提出的基于空间结构的前景图像分割方法的流程图；

图2为本申请另一实施例提出的基于空间结构的前景图像分割方法中，通过框选边框确定候选区域的流程图；

图3为本申请另一实施例提出的基于空间结构的前景图像分割方法中，构建辐射场模型的流程图；

图4为本申请另一实施例提出的基于空间结构的前景图像分割方法中，进行图像渲染的流程图；

图5为本申请另一实施例提出的基于空间结构的前景图像分割方法中，通过分割掩码实现前景分割的流程图；

图6为本申请另一实施例提出的基于空间结构的前景图像分割方法中，对空间区域进行膨胀腐蚀的流程图；

图7为本申请另一实施例提出的基于空间结构的前景图像分割方法中，删除空间区域的孤立区域的流程图；

图8为本申请另一实施例提出的基于空间结构的前景图像分割装置的结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

在一些实施例中，虽然在系统示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于系统中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语第一、第二等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

在现有技术中,图像分割的主要方法是在2D图像上依据像素之间的相似性关系进行分割，这就导致图像分割的准确性非常依赖于对像素相似性的定义，当需要对一系列相关图像进行前景分割，例如对同一个场景下从多个角度进行拍摄得到的图像进行分割时，图像之间的相关性信息也不容易挖掘，像素相似性的定义非常困难，前景分割的准确性得不到保障。

为至少解决上述问题，本申请公开了一种基于空间结构的前景图像分割方法、装置、设备、介质，其中，通过本申请的基于空间结构的前景图像分割方法，通过多张拍摄图像构建出目标三维模型，所述拍摄图像包括目标前景，所述目标三维模型包括各张所述拍摄图像的所述目标前景的三维投影；获取多个预设的观测视角，从所述目标三维模型中获取各个所述观测视角所对应的观测图像，从各个所述观测图像中确定候选区域，所述候选区域用于指示所述目标前景在对应的所述观测图像的投影；将各个所述候选区域反投影至三维空间得到各自对应的模型提取视椎，将多个所述模型提取视椎进行交运算得到的空间区域确定为目标区域；获取待分割目标前景的目标图像，基于所述目标区域对所述目标图像进行渲染得到渲染图像，根据所述渲染图像确定所述目标图像的目标像素，将所述目标像素的集合确定为所述目标前景的图像。根据本实施例的技术方案，能够在通过目标三维模型获取目标区域以表征目标前景的三维结构，再基于目标前景的三维结构从空间中对目标图像分割出目标前景，能够有效提高目标前景的分割效率。

下面结合附图，对本申请实施例作进一步描述。

参考图1，图1为本申请一实施例提出的基于空间结构的前景图像分割方法的流程图，在一些实施例中，基于空间结构的前景图像分割方法，包括但不限于有以下步骤：

步骤S110，通过多张拍摄图像构建出目标三维模型，拍摄图像包括目标前景，目标三维模型包括各张拍摄图像的目标前景的三维投影。

在一些实施例中，拍摄图像可以是在同一个场景下拍摄的多张不同角度的图像，例如在桌子上放有一个苹果，以该苹果作为前景拍摄多张不同角度的照片，本实施例对拍摄图像的拍摄角度不做过多限定，能够具备同一个目标前景即可。

在一些实施例中，根据上述描述，拍摄图像为二维图像，在得到多张拍摄图像后，可以通过辐射场算法或者运动恢复结构(Structure from motion，SFM)算法构建目标三维模型。其中，辐射场模型是指由多张未被分割处理的拍摄图像生成的辐射场模型，辐射场模型中包括多个物体模型，例如上述所述以苹果为例的目标前景的物体模型，以及一些中景或者后景的物体模型，例如放置上述示例的苹果的如墙面、地面等拍原始图片中存在的背景结构，辐射场模型是一种新型的3D建模方法，通过某一场景下一系列的2D图像来对空间进行建模，具有不依赖于深度数据、渲染逼真等优势。其中，SFM是一种通过分析图像序列得到相机参数并进行三维重建的技术。本领域技术人员有动机根据实际需求选择所需要的算法进行三维模型的构建，本实施例对此不多做限定。

需要说明的是，通过构建目标三维模型，能够将二维的拍摄图像中的各部分内容以三维结构信息的方式体现，例如辐射场模型中，可以利用不透明度参数体现场景的几何结构，例如某个位置的不透明度参数较大，则可以确定该点所对应的位置被遮挡，可以是有物体的表面穿过，本实施例通过构建出目标三维模型，能够利用目标三维模型的三维结构信息对目标前景进行表征，能够根据目标前景的三维结构信息从待分割的目标图像中确定目标前景的大致区域，无需对像素一致性进行定义，能够以简单快捷的方式实现前景分割。

步骤S120，获取多个预设的观测视角，从目标三维模型中获取各个观测视角所对应的观测图像，从各个观测图像中确定候选区域，候选区域用于指示目标前景在对应的观测图像的投影。

在一些实施例中，观测视角可以通过图形用户界面获取用户的输入得到，或者在对应的算法(例如上述的辐射场算法或者SFM算法)中预先设置好多个观测视角，或者在得到目标三维模型后，从可选的观测视角中随机自动选取多个观测视角，观测视角的选取方式可以根据实际需求调整。

在一些实施例中，观测视角可以包括观测方向、观测距离、观测视角角度等信息，观测方向和观测距离用于确定目标三维模型外观测点的具体位置，观测方向代表观测点相对于目标三维模型中心的具体方向，观测距离代表观测点相对于目标三维模型中心的具体距离，观测点的具体位置和观测视角角度用于生成观测图像，观测视角角度代表在观测点处获取的观测图像的视野角度范围。

在一些实施例中，根据目标三维模型得到观测视角对应的观测图像，该观测图像为目标三维模型在观测视角上的投影图像，即目标三维模型为三维模型，根据观测视角对目标三维模型进行二维渲染，得到目标三维模型的二维图像表示，观测图像可以理解为相机或人眼在观测视角所观测到的目标三维模型得的拍摄或观测图片，其中，观测图像可以是目标三维模型对应的拍摄图像，也可以是目标三维模型根据观测视角生成的实时渲染图像。

需要说明的是，本实施例中得到多个观测视角，可以是逐次执行，以在渲染引擎的图形用户界面进行输入得到观测视角为例，在得到目标三维模型后，用户可以在渲染引擎中选择一个视角，得到一张二维的观测图像，在改观测图像中确定包括目标前景的候选区域后，执行步骤S130的反投影操作得到该观测视角所对应的模型提取视椎，然后再重复多次上述操作，从而得到多个观测视角所各自对应的多个候选区域，以及多个候选区域所对应的多个模型提取视椎，逐个执行能够减少渲染引擎同时生成多个模型提取视椎所造成的高资源消耗。当然，在资源充足的情况下，也可以同时获取多个观测图像，分别确定各个观测图像的候选区域后，再进行反投影得到模型提取视椎。本实施例对此不多做限定。

步骤S130，将各个候选区域反投影至三维空间得到各自对应的模型提取视椎，将多个模型提取视椎进行交运算得到的空间区域确定为目标区域。

本领域技术人员可以理解的是，若是通过相机拍摄得到的图像，通常具有相机光心这一光学特征，本实施例的反投影，是在确定候选区域并投影回三维空间后，以相机光心作为原点，与候选区域的投影区域所构成的视椎。

需要说明的是，虽然不同的拍摄图像是从不同的角度拍摄，目标前景在二维图像中的位置和角度存在一定的差异，但是目标前景的三维空间结构与背景之间有较大的间隔，因此候选区域选取了目标前景的情况下，通过反投影得到的模型提取视椎实际上是用于表征目标前景的视椎，但是由于一个视椎未必能够将整个目标前景全部选取，因此本实施例通过对多个模型提取视椎进行交运算，既能确保包括目标前景的全部三维结构，也能对候选区域中选取的背景部分进行滤除，以确保目标区域为目标前景在三维空间的表征。

需要说明的是，本实施例将候选区域反投影到三维空间后，候选区域在目标三维模型的三维建模空间内的三维坐标信息包括多个三维坐标点，多个三维坐标点以此连接形成候选区域的三维空间表示，候选区域对应的视锥定义为空间中一系列点的集合，这些点要求投影后落在候选区域内。具体的，根据候选区域进行反投影处理得到模型提取视椎，在确定候选区域在目标三维模型内的三维坐标信息的情况下，获取观测视角对应观测点，根据观测视角对应观测点在目标三维模型内的三维坐标信息和候选区域在目标三维模型的三维坐标信息确定模型提取视锥的范围，具体的，以观测视角对应观测点为原点，作观测视角对应观测点与候选框选边框对应的多个三维坐标点的多条射线，其中，多条射线即为模型提取视锥的多条边沿，即多条边沿所围成的锥形对应范围即为模型提取视锥对应范围。

步骤S140，获取待分割目标前景的目标图像，基于目标区域对目标图像进行渲染得到渲染图像，根据渲染图像确定目标图像的目标像素，将目标像素的集合确定为目标前景的图像。

在一些实施例中，由于上述候选区域的选取可以从渲染引擎的图形交互界面中选取，目标图像可以输入至渲染引擎进行输入输出(Input Output，IO)，获取相应的视角，由于目标区域是目标前景在三维空间结构上的表征，因此利用渲染引擎对目标图像中的目标区域进行渲染后，得到的渲染图像实质上为目标区域在目标图像中的大致区域，即目标前景在目标图像中的大致区域，再根据预设筛选规则从渲染图像中选取出目标像素，例如渲染图像中像素亮度超过阈值的作为目标像素，排除背景部分的干扰，将该目标像素从目标图像中选取出来，所得到的集合所组成的图像为目标前景的图像，实现对目标图像中目标前景的分割。

另外，在一实施例中，参照图2，图1所示实施例的步骤S120中，从各个观测图像中确定候选区域，还包括但不限于有以下步骤：

步骤S210，获取观测图像中的框选边框，框选边框用于框选目标前景在观测图像中的投影；

步骤S220，将框选边框所对应的区域确定为候选区域。

在一些实施例中，根据图1所示实施例的描述，观测图像可以从渲染引擎中选择视角之后得到，可以在渲染引擎的图形交互界面中显示观测图像，再由用户根据目标前景实际所处的区域进行框选，形成框选边框后，渲染引擎可以通过图形交互界面获取该框选边框的信息，将该框选边框对应的多边形将观测图像中的投影包围，进而将多边形信息对应的内部范围确定为候选区域。

需要说明的是，用户在图形交互界面进行框选，可以是拉取方框的形式得到，也可以是在观测图像中点选多个点后，渲染引擎将点选的相邻的点连接形成多边形边框，该多边形边框确定为框选边框，具体的框选方式可以根据实际需求制定，本实施例对此不多做限定。

需要说明的是，由于本实施例的技术方案需要多个候选区域，因此可以是每次在图形交互界面中显示一张观测图像，在完成框选边框的选取之后，渲染引擎自动执行后续的反投影操作，图形交互界面显示下一张观测拍摄图像供用户选取框选边框，以此类推进行多次重复操作，得到多个候选区域以及对应的模型提取视椎。

在一些实施例中，在通过图形用户界面确定框选边框的情况下，用户还可以通过图形交互界面对观测图像进行旋转或者缩放的图像操作，便于更好地确定目标前景所处的区域。

另外，在一实施例中，目标三维模型为辐射场模型，参照图3，图1所示实施例的步骤S110中，通过多张拍摄图像构建出目标三维模型，还包括但不限于有以下步骤：

步骤S310，根据多张拍摄图像构建出辐射场，其中，辐射场的每个辐射场像素沿辐射场观测方向的颜色积分是根据辐射场像素的不透明度确定的；

步骤S320，将辐射场中不透明度大于预设的不透明度阈值的区域所组成的几何结构确定为辐射场模型。

需要说明的是，图1所示的实施例对辐射场的定义作出了说明，在此不重复赘述。

需要说明的是，辐射场模型的核心是构建一个向量场，辐射场算法的简单可以表达为(o,c)＝F(p,v)，其中p代表图像的像素在空间中的坐标点，维度为3，v代表向量的方向，维度为2，o代表空间p点的不透明度，o通常为一个具体的数值，c代表从v方向观测p点的颜色，具有RGB三个分量，F是辐射场函数。

需要说明的是，在本实施例的辐射场模型中，空间的点x沿着某个方向d观测得到的颜色，为空间的点x作为原点沿d方向射出的射线上的颜色积分，该颜色积分满足以下表达式：

需要说明的是，上述颜色积分的表达式中引入了不透明度o，因此在根据拍摄图像构建辐射场时，能够考虑不透明度的遮挡作用，由于辐射场模型中不透明度参数通常体现了场景的集合结构，某个位置p上具有较大的o值通常代表有物体的表面穿过该位置，因此构建辐射场模型后，通过不透明度阈值对空间的点进行筛选，能够利用不透明度所体现的几何结构，对拍摄图像的内容进行三维表征，将前景和背景通过空间距离进行区分，确保得到的目标区域能够有效表征目标前景的三维结构信息，再通过渲染目标区域将目标前景投影到目标图像，以确定目标图像中目标前景的大致区域，有效提高前景分割的效率。

另外，在一实施例中，参照图4，图1所示实施例的步骤S140中，基于目标区域对目标图像进行渲染得到渲染图像，还包括但不限于有以下步骤：

步骤S410，确定目标图像在辐射场模型的目标观测方向；

步骤S420，基于目标观测方向，确定目标图像的每个图像像素在辐射场模型的颜色积分的路径；

步骤S430，将颜色积分的路径与目标区域相交的图像像素确定为渲染像素，将渲染像素的集合确定为渲染图像。

在一些实施例中，为了提取辐射场模型中的目标前景，以辐射场渲染引擎进行图像渲染为例，本实施例将目标图像在辐射场渲染引擎进行IO，将目标图像在辐射场模型的视角确定为目标观测方向，然后利用辐射场渲染引擎对目标观测方向的观测图像进行目标区域的渲染，由于目标区域是目标前景的三维表征，在渲染后得到的渲染图像实际上为目标观测方向的观测图像中的目标前景的部分，从而实现对目标前景的分割。

需要说明的是，由于辐射场模型的构建，是基于空间的点x作为原点沿d方向射出的射线上的颜色积分，因此图像像素的颜色积分的路径，实际上为上述描述的相机光心作为原点，沿d方向射出且经过空间的点x射线，即本实施例的渲染为控制图像像素在辐射场模型的颜色积分的路径在目标区域中。具体地，由于目标图像为相机拍摄的图像，因此该射线实际上为以相机光心作为原点，朝向空间的点x射出的射线，若该射线延长后与目标区域相交，则该图像像素为目标区域所对应的像素，将该像素确定为渲染像素，从而实现目标图像中目标区域的渲染。

另外，在一实施例中，参照图5，图1所示实施例的步骤S140中，根据渲染图像确定目标图像的目标像素，还包括但不限于有以下步骤：

步骤S510，根据每个渲染像素的像素参数值确定渲染图像所对应的分割掩码；

步骤S520，根据分割掩码确定目标图像的目标像素。

需要说明的是，根据上述实施例得到渲染图像后，背景图像的几何结构已经大部分被删除，体现在渲染图像中则为没有颜色值的点，基于此，本实施例可以对渲染图像进行进一步的优化处理，例如根据像素参数值进行筛选，以像素亮度为例，将背景图像被删除的渲染图像中，像素亮度超过一定阈值的像素确定为与目标前景所对应的像素，当然也可以采用其他像素参数值进行筛选，例如不透明度等，本实施例对此不多做限定。

需要说明的是，为了对目标像素进行标识，本实施例在通过像素参数值确定与目标前景所对应的像素后，可以根据这些像素生成对应的掩码，例如像素亮度大于阈值的像素的分割掩码设置为1，否则为0，在得到分割掩码之后，将分割掩码作用于目标图像的IO，即可从目标图像中分割出目标像素，进而将目标像素的集合确定为目标前景的图像。

需要说明的是，在得到分割掩码之后，本领域技术人员还有动机根据实际需求对分割掩码添加约束条件进行优化，在此不多做限定。

另外，在一实施例中，参照图6，图1所示实施例的步骤S130中，将多个模型提取视椎进行交运算得到的空间区域确定为目标区域，还包括但不限于有以下步骤：

步骤S610，当将多个所述模型提取视椎进行交运算得到多个空间区域，根据预设的膨胀参数对多个所述空间区域进行膨胀；

步骤S620，对膨胀后的多个所述空间区域进行连通运算，将连通运算得到的连通区域确定为所述目标区域。

需要说明的是，本实施例采用辐射场进行三维建模，而辐射场模型通常具有较多的噪点，噪点与实际的前景和背景并没有联系，很有可能本应连通的区域被噪点隔开，为了降低噪点的影响，本实施例对交运算得到的空间区域进行膨胀腐蚀，通过设置好的膨胀参数多空间区域进行膨胀，使得多个空间区域在膨胀后相互连通，形成连通区域，从而提高目标区域的准确性。

需要说明的是，膨胀参数可以是空间区域进行膨胀的尺寸，根据膨胀参数将空间区域扩大一定的尺寸；膨胀参数还可以是两个空间区域之间的距离阈值，当两个空间之间的距离小于该距离阈值，则可以确定两个空间区域实际上为连通的区域，将其膨胀至连通即可，具体的连通运算为本领域技术人员熟知的技术，在此不多做赘述。

另外，在一实施例中，参照图7，图6所示实施例的步骤S620，还包括但不限于有以下步骤：

步骤S710，当所述连通区域内包括孤立区域，将所述孤立区域从所述连通区域中删除；

步骤S720，将删除所述孤立区域后得到的所述连通区域确定为所述目标区域。

需要说明的是，根据上述实施例的描述，在空间区域进行膨胀腐蚀得到连通区域之后，还可能在连通区域内存在一定的孤立区域，例如膨胀腐蚀未能消除的噪点，在此基础上，为了剔除孤立区域，实现噪点的过滤，本实施例对连通区域内的孤立区域进行识别，若某个区域为小的零散区域，则可以认为是孤立于连通区域的孤立区域，则可以确定该孤立区域为噪点，将其剔除后得到的连通区域为目标区域。

如图8所示，图8是本发明一个实施例提供的基于空间结构的前景图像分割装置的结构图。本发明还提供了一种基于空间结构的前景图像分割装置，包括：

处理器801，可以采用通用的中央处理器(Central Processing Unit，CPU)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案；

存储器802，可以采用只读存储器(Read Only Memory，ROM)、静态存储设备、动态存储设备或者随机存取存储器(Random Access Memory，RAM)等形式实现。存储器802可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器802中，并由处理器801来调用执行本申请实施例的基于空间结构的前景图像分割方法；

输入/输出接口803，用于实现信息输入及输出；

通信接口804，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信；

总线805，在设备的各个组件(例如处理器801、存储器802、输入/输出接口803和通信接口804)之间传输信息；

其中处理器801、存储器802、输入/输出接口803和通信接口804通过总线805实现彼此之间在设备内部的通信连接。

本申请实施例还提供了一种电子设备，包括如上所述的基于空间结构的前景图像分割装置。

本申请实施例还提供了一种存储介质，存储介质为计算机可读存储介质，该存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述基于空间结构的前景图像分割方法。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，实现了以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包括计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的共享条件下还可作出种种等同的变形或替换，这些等同的变形或替换均包括在本发明权利要求所限定的范围内。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络节点上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机可读存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机可读存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机可读存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

以上是对本申请的较佳实施进行了具体说明，但本申请并不局限于上述实施方式，熟悉本领域的技术人员在不违背本申请精神的前提下还可作出种种等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种基于空间结构的前景图像分割方法，其特征在于，所述方法包括：

通过多张拍摄图像构建出目标三维模型，所述拍摄图像包括目标前景，所述目标三维模型包括各张所述拍摄图像的所述目标前景的三维投影；

获取多个预设的观测视角，从所述目标三维模型中获取各个所述观测视角所对应的观测图像，从各个所述观测图像中确定候选区域，所述候选区域用于指示所述目标前景在对应的所述观测图像的投影；

将各个所述候选区域反投影至三维空间得到各自对应的模型提取视椎，将多个所述模型提取视椎进行交运算得到的空间区域确定为目标区域；

获取待分割目标前景的目标图像，基于所述目标区域对所述目标图像进行渲染得到渲染图像，根据所述渲染图像确定所述目标图像的目标像素，将所述目标像素的集合确定为所述目标前景的图像。

2.根据权利要求1所述的基于空间结构的前景图像分割方法，其特征在于，所述从各个所述观测图像中确定候选区域，包括：

获取所述观测图像中的框选边框，所述框选边框用于框选所述目标前景在所述观测图像中的投影；

将所述框选边框所对应的区域确定为所述候选区域。

3.根据权利要求1所述的基于空间结构的前景图像分割方法，其特征在于，所述目标三维模型为辐射场模型，所述通过多张拍摄图像构建出目标三维模型，包括：

根据多张所述拍摄图像构建出辐射场，其中，所述辐射场的每个辐射场像素沿辐射场观测方向的颜色积分是根据所述辐射场像素的不透明度确定的；

将所述辐射场中不透明度大于预设的不透明度阈值的区域所组成的几何结构确定为所述辐射场模型。

4.根据权利要求3所述的基于空间结构的前景图像分割方法，其特征在于，所述基于所述目标区域对所述目标图像进行渲染得到渲染图像，包括：

确定所述目标图像在所述辐射场模型的目标观测方向；

基于所述目标观测方向，确定所述目标图像的每个图像像素在所述辐射场模型的颜色积分的路径；

将所述颜色积分的路径与所述目标区域相交的所述图像像素确定为渲染像素，将所述渲染像素的集合确定为所述渲染图像。

5.根据权利要求4所述的基于空间结构的前景图像分割方法，其特征在于，所述根据所述渲染图像确定所述目标图像的目标像素，包括：

根据每个所述渲染像素的像素参数值确定所述渲染图像所对应的分割掩码；

根据所述分割掩码确定所述目标图像的所述目标像素。

6.根据权利要求3所述的基于空间结构的前景图像分割方法，其特征在于，所述将多个所述模型提取视椎进行交运算得到的空间区域确定为目标区域，包括：

当将多个所述模型提取视椎进行交运算得到多个空间区域，根据预设的膨胀参数对多个所述空间区域进行膨胀；

对膨胀后的多个所述空间区域进行连通运算，将连通运算得到的连通区域确定为所述目标区域。

7.根据权利要求6所述的基于空间结构的前景图像分割方法，其特征在于，所述将连通运算得到的连通区域确定为所述目标区域，包括：

当所述连通区域内包括孤立区域，将所述孤立区域从所述连通区域中删除；

将删除所述孤立区域后得到的所述连通区域确定为所述目标区域。

8.一种基于空间结构的前景图像分割装置，其特征在于，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如权利要求1至7任一项所述的基于空间结构的前景图像分割方法。

9.一种电子设备，其特征在于，包括权利要求8所述的基于空间结构的前景图像分割装置。

10.一种计算机可读存储介质，存储有计算机可执行指令，计算机可执行指令用于执行如权利要求1至9中任意一项所述的基于空间结构的前景图像分割方法。