CN110084797A - 平面检测方法、装置、电子设备和存储介质 - Google Patents

Abstract

本公开涉及深度学习领域，尤其涉及一种平面检测的方法、装置、电子设备和存储介质。所述方法包括：在待检测的第一图像中进行检测，得到多个第一平面区域，以及在第一图像内确定多个第一平面区域包括的全部第一线段，对于每个第一平面区域，确定第一平面区域中最靠上的第一位置点、最靠下的第二位置点、最靠左的第三位置点和最靠右的第四位置点，从第一线段中，选择与第一位置点垂直距离最近的第四线段、与第二位置点垂直距离最近的第五线段、与所述第三位置点水平距离最近的第六线段和与第四位置点水平距离最近的第七线段，确定上述四个线段所在的四条直线的四个交点，根据四个交点和第一平面区域，确定目标平面区域。提高了检测的准确性。

Description

平面检测方法、装置、电子设备和存储介质

技术领域

本公开涉及深度学习领域，尤其涉及平面检测方法、装置、电子设备和存储介质。

背景技术

无论是室内场景或者室外场景、自然环境或者人工环境，都存在着丰富的平面结构，尤其是在建筑物场景中，平面结构更加丰富。基于透视投影，物理世界中的平面在不同的视点下的图像可以通过单应性相互关联。由于平面这种特殊的几何性质，平面检测被广泛的应用于图像拼接、障碍物检测、三维重建、场景分析以及增强现实等领域中。

目前平面检测的方法有很多种，一种是是先通过检测图像中的直线，然后根据直线的角度、消失点等信息对直线进行聚类，将直线分为多个类别，根据直线的类别，得到不同的平面区域，其中，属于同一类别的直线位于同一平面中；另一种是深度学习的方法，获取到图像的神经网络信息和平面分割信息，将上述信息输入网络模型，输出平面检测结果。

上述第一种方法存在的问题是，由于场景信息复杂，单纯地对图像中的直线进行聚类，容易受到干扰出现差错，从而不能正确的分割出平面区域，导致平面检测的准确性低；深度学习的方法存在的问题是，通过网络模型通常无法正确分割出不同的平面区域，尤其是在具有多个平面的建筑物场景中。

发明内容

本公开提供一种平面检测的方法、装置、电子设备和存储介质，能够克服单纯地对图像中的直线进行聚类，容易受到干扰出现差错，从而不能正确的分割出平面区域，导致平面检测的准确性低的问题。

根据本公开实施例的第一方面，提供一种平面检测的方法，包括：

在待检测的第一图像中进行检测，得到多个第一平面区域，以及在所述第一图像内确定所述多个第一平面区域包括的全部第一线段；

对于每个第一平面区域，确定所述第一平面区域中最靠上的第一位置点、最靠下的第二位置点、最靠左的第三位置点和最靠右的第四位置点；

从所述第一平面区域包括的全部第一线段中，选择与水平线之间的夹角不大于第一预设角度的多个第二线段以及与垂直线之间的夹角不大于第二预设角度的多个第三线段；

从所述多个第二线段中选择与所述第一位置点的垂直距离最近的第四线段，选择与所述第二位置点的垂直距离最近的第五线段，从所述多个第三线段中选择与所述第三位置点的水平距离最近的第六线段，选择与所述第四位置点的水平距离最近的第七线段；

确定所述第四线段、所述第五线段、所述第六线段和所述第七线段所在四条直线之间的交点，得到四个交点；

根据所述四个交点和所述第一平面区域，确定目标平面区域。

在一种可能的实现方式中，所述根据所述四个交点和所述第一平面区域，确定目标平面区域，包括：

将所述四个交点组成第二平面区域，将所述第一平面区域和所述第二平面区域的重叠区域，确定为所述目标平面区域。

在另一种可能的实现方式中，所述在待检测的第一图像中进行检测，得到多个第一平面区域，包括：

获取所述第一图像内的多个第三平面区域的位置信息和分割信息，对于每个第三平面区域，所述分割信息用于标识所述第三平面区域内的像素点是否属于同一平面；

根据所述多个第三平面区域的位置信息和分割信息，确定所述多个第一平面区域。

在另一种可能的实现方式中，所述获取所述第一图像内的多个第三平面区域的位置信息和分割信息，包括：

将所述第一图像输入第一神经网络，输出所述多个第三平面区域的位置信息和分割信息。

在另一种可能的实现方式中，所述获取所述第一图像内的多个第三平面区域的位置信息和分割信息，包括：

将所述第一图像输入第二神经网络，输出所述多个第三平面区域的位置信息和标注所述多个第三平面区域的第二图像；

将所述第二图像输入至第三神经网络，输出所述分割信息。

在另一种可能的实现方式中，所述根据所述多个第三平面区域位置信息和分割信息，确定所述多个第一平面区域，包括：

对于每个第三平面区域，根据所述第三平面区域的位置信息和分割信息，将所述第三平面区域内不属于同一平面的像素点过滤掉，得到第四平面区域；

根据膨胀算法，对所述第四平面区域进行扩大，得到第一平面区域。

在另一种可能的实现方式中，所述在所述第一图像内确定所述多个第一平面区域包括的全部第一线段，包括：

对所述第一图像进行直线检测，确定所述第一图像内的全部第六线段，从所述全部第六线段中选择所述多个第一平面区域包括的全部第一线段；或者，

对于每个第一平面区域，对所述第一平面区域进行直线检测，确定所述第一平面区域内包括的全部第一线段。

根据本公开实施例的第二方面，提供一种图像显示方法，包括：

确定目标平面区域中待映射区域，所述目标平面区域为以上第一方面所述的平面检测方法检测出的平面区域；

获取待映射图像；

将所述待映射图像映射到所述待映射区域上。

根据本公开实施例的第三方面，提供一种平面检测装置，包括：

检测模块，被配置为在待检测的第一图像中进行检测，得到多个第一平面区域，以及在所述第一图像内确定所述多个第一平面区域包括的全部第一线段；

第一确定模块，被配置为对于每个第一平面区域，确定所述第一平面区域中最靠上的第一位置点、最靠下的第二位置点、最靠左的第三位置点和最靠右的第四位置点；

第一选择模块，被配置为从所述第一平面区域包括的全部第一线段中，选择与水平线之间的夹角不大于第一预设角度的多个第二线段以及与垂直线之间的夹角不大于第二预设角度的多个第三线段；

第二选择模块，被配置为从所述多个第二线段中选择与所述第一位置点的垂直距离最近的第四线段，选择与所述第二位置点的垂直距离最近的第五线段，从所述多个第三线段中选择与所述第三位置点的水平距离最近的第六线段，选择与所述第四位置点的水平距离最近的第七线段；

第二确定模块，被配置为确定所述第四线段、所述第五线段、所述第六线段和所述第七线段所在四条直线之间的交点，得到四个交点；

第三确定模块，被配置为根据所述四个交点和所述第一平面区域，确定目标平面区域。

在一种可能的实现方式中，所述第三确定模块，还被配置为将所述四个交点组成第二平面区域，将所述第一平面区域和所述第二平面区域的重叠区域，确定为所述目标平面区域。

在另一种可能的实现方式中，所述检测模块，还被配置为获取所述第一图像内的多个第三平面区域的位置信息和分割信息，对于每个第三平面区域，所述分割信息用于标识所述第三平面区域内的像素点是否属于同一平面；根据所述多个第三平面区域的位置信息和分割信息，确定所述多个第一平面区域。

在另一种可能的实现方式中，所述检测模块，还被配置为将所述第一图像输入第一神经网络，输出所述多个第三平面区域的位置信息和分割信息。

在另一种可能的实现方式中，所述检测模块，还被配置为将所述第一图像输入第二神经网络，输出所述多个第三平面区域的位置信息和标注所述多个第三平面区域的第二图像；将所述第二图像输入至第三神经网络，输出所述分割信息。

在另一种可能的实现方式中，所述检测模块，还被配置为对于每个第三平面区域，根据所述第三平面区域的位置信息和分割信息，将所述第三平面区域内不属于同一平面的像素点过滤掉，得到第四平面区域；根据膨胀算法，对所述第四平面区域进行扩大，得到第一平面区域。

在另一种可能的实现方式中，所述在检测模块，还被配置为对所述第一图像进行直线检测，确定所述第一图像内的全部第六线段，从所述全部第六线段中选择所述多个第一平面区域包括的全部第一线段；或者，对于每个第一平面区域，对所述第一平面区域进行直线检测，确定所述第一平面区域内包括的全部第一线段。

根据本公开实施例的第四方面，提供一种图像显示装置，包括：

第四确定模块，被配置为确定目标平面区域中待映射区域，所述目标平面区域为以上第三方面所述的平面检测装置检测出的平面区域；

获取模块，被配置为获取待映射图像；

映射模块，被配置为将所述待映射图像映射到所述待映射区域上。

根据本公开实施例的第五方面，提供一种电子设备，包括一个或多个处理器；

用于存储所述一个或多个处理器可执行指令的易失性或非易失性存储器；

其中，所述一个或多个处理器被配置为执行上述第一方面所述的平面检测方法。

根据本公开实施例的第六方面，提供一种非临时性计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令被电子设备的处理器执行以实现上述第一方面所述的平面检测方法。

根据本公开实施例的第七方面，提供一种电子设备，包括一个或多个处理器；

用于存储所述一个或多个处理器可执行指令的易失性或非易失性存储器；

其中，所述一个或多个处理器被配置为执行上述第二方面所述的图像显示方法。

根据本公开实施例的第八方面，提供一种非临时性计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令被电子设备的处理器执行以实现上述第二方面所述的图像显示方法。

本公开的实施例提供的技术方案可以包括以下有益效果：

通过在待检测的第一图像中进行检测，得到多个第一平面区域，以及在第一图像内确定多个第一平面区域包括的全部第一线段，对于每个第一平面区域，确定第一平面区域中最靠上的第一位置点、最靠下的第二位置点、最靠左的第三位置点和最靠右的第四位置点，从第一平面区域包括的全部第一线段中，选择与水平线之间的夹角不大于第一预设角度的多个第二线段以及与垂直线之间的夹角不大于第二预设角度的多个第三线段，从多个第二线段中选择与第一位置点的垂直距离最近的第四线段，选择与第二位置点的垂直距离最近的第五线段，从多个第三线段中选择与第三位置点的水平距离最近的第六线段，选择与第四位置点的水平距离最近的第七线段，确定第四线段、第五线段、第六线段和第七线段所在四条直线之间的交点，得到四个交点，根据四个交点和第一平面区域，确定目标平面区域。第一平面区域是确定出的较为粗糙的平面区域，结合在直线中筛选出的满足特定条件的直线，将这些直线的交点确定的面与第一平面区域结合的方式来进行目标平面区域的确定，能够较为准确的确定出平面区域，提高了检测的准确性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据一示例性实施例示出的一种平面检测的方法的流程图。

图2是根据一示例性实施例示出的一种第一平面区域的示意图。

图3是根据一示例性实施例示出的一种图像显示方法的流程图。

图4是根据一示例性实施例示出的一种图像映射的示意图。

图5是根据一示例性实施例示出的一种平面检测装置的框图。

图6是根据一示例性实施例示出的一种图像显示装置的框图。

图7是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的一种平面检测的方法的流程图，如图1所示，该平面检测的方法用于电子设备中，包括以下步骤。

在步骤S101中，在待检测的第一图像中进行检测，得到多个第一平面区域。

待检测的第一图像可以为任一建筑物的图像；例如，待检测的第一图像可以为办公楼的图像、商场的图像或者居民楼的图像等。并且，第一图像可以为电子设备本地存储的图像，也可以为电子设备当前拍摄的图像，还可以为其他设备传输的图像，在本公开实施例中，对第一图像以及第一图像的来源不作具体限定。

在本公开实施例中，电子设备上安装有用于检测图像中的平面的应用程序，通过该应用程序对该第一图像中的平面进行检测。其中，待检测的第一图像中为建筑物的图像，因此，该第一图像中可能包含多个平面，在电子设备可以通过神经网络在该第一图像中检测出每个平面对应的第一平面区域，该第一平面区域为较为粗糙的区域与实际的平面区域有一定的误差。相应的，本步骤可以通过以下步骤(1)至(2)来实现：

(1)电子设备获取第一图像内的多个第三平面区域的位置信息和分割信息。

其中，上述第三平面区域可以为通过bounding box(包围盒)算法确定的平面区域，对于每个第三平面区域，分割信息用于标识该第三平面区域内的像素点是否属于同一平面。上述位置信息可以包括第三平面区域的顶点坐标信息或者第三平面区域内像素点的坐标信息。第三平面区域内像素点的坐标信息可以为第三平面区域内的每个像素点的坐标值，也可以为第三平面区域内的像素点的坐标范围。第三平面区域可以为规则图形也可以为不规则图形，当第三平面区域为规则图形时，该第三平面区域可以为矩形或者正方形。

其中，电子设备可以通过神经网络来获取第三平面区域的位置信息和分割信息，该神经网络可以为卷积神经网络。在本公开实施例中，电子设备可以通过一个神经网络来获取第三平面区域的位置信息和分割信息，也可以通过两个神经网络来分别获取第三平面区域的位置信息和第三平面区域的分割信息。

第一种方式，当电子设备通过一个神经网络来获取第三平面区域的位置信息和分割信息时，电子设备获取第一图像内的多个第三平面区域的位置信息和分割信息的步骤可以为：电子设备将待检测的第一图像输入第一神经网络，该第一神经网络输出多个第三平面区域的位置信息和分割信息，该第一神经网络用于基于图像确定平面区域的位置信息和分割信息。通过该种方式获取的第三平面区域的位置信息和分割信息的时间短，但是准确度较低。

需要说明的一点是，电子设备将待检测的第一图像输入第一神经网络之后，可以直接输出多个第三平面区域的位置信息和分割信息，还可以输出第三图像，该第三图像上标注有多个平面检测框和每个平面检测框对应的分割信息。

第二种方式，当电子设备通过两个神经网络获取第三平面区域的位置信息和分割信息时，电子设备获取第一图像内的多个第三平面区域的位置信息和分割信息的步骤可以为：电子设备将第一图像输入第二神经网络，第二神经网络输出多个第三平面区域的位置信息和标注多个第三平面区域的第二图像；电子设备将该第二图像输入至第三神经网络，第三神经网络输出分割信息，第二神经网络用于基于图像确定平面区域的位置信息，第三神经网络用于基于图像确定分割信息。通过该种方式获取的第三平面区域的位置信息和分割信息的准确度高，但是时间较长。

需要说明的是，本公开示例性的描述了两种获取第三平面区域的位置信息和分割信息方式，但获取第三平面区域的位置信息和分割信息的方式不限于本公开中描述的两种方式，本公开对上述获取第三平面区域的位置信息和分割信息不进行具体限制。

(2)电子设备根据多个第三平面区域的位置信息和分割信息，确定多个第一平面区域。

在一种可能的实现方式中，对于任一平面检测框，电子设备获取到该第三平面区域的位置信息和分割信息后，根据该第三平面区域的位置信息和分割信息，将该平面检测框中不属于同一平面的像素点过滤掉，将剩下的区域作为第一平面区域，从而得到多个第一平面区域。

在另一种可能的实现方式中，将对于任一平面检测框，电子设备获取到该第三平面区域的位置信息和分割信息后，根据该第三平面区域的位置信息和分割信息，将该第三平面区域内不属于同一平面的像素点过滤掉，将剩下的区域作为第四平面区域，从而得到多个第四平面区域。对于每个第四平面区域，根据膨胀算法，对该第四平面区域进行扩大，将扩大后的第四平面区域作为第一平面区域，从而得到多个第一平面区域。

需要说明的是，电子设备在过滤像素点之前，可以先确定需要被过滤的像素点的连续性，当需要被过滤的像素点为连续的点时，将该连续的像素点过滤，此时相当于从第三平面区域内过滤掉了一片区域；当需要被过滤的像素点为靠近第三平面区域中心且孤立的像素点时，该孤立的像素点可能为误判的点，不对该孤立的像素点进行过滤。经过像素点过滤后的区域较为粗糙，存在边缘不平滑，形状不规则等问题。

在本公开实施例中，电子设备将第三平面区域内不属于同一平面的像素点过滤掉，同时通过膨胀算法对过滤后的第四平面区域进行扩大，使得确定出的第一平面区域的范围较准确。这是由于在确定第三平面区域时，存在确定的第三平面区域小于实际平面或者仅覆盖了部分实际的平面的情况，将过滤后的第四平面区域进行扩大，能够使确定出的第一平面区域的范围较准确。

例如，参考图2所示，待检测的第一图像为包含建筑物的图像，图2中示例性的展示了五个第三平面区域，用阴影部分表示检测出的第一平面区域，该第一平面区域表示了第一图像中可能存在的建筑物平面区域。

在步骤S102中，在第一图像内确定多个第一平面区域包括的全部第一线段。

电子设备可以根据直线检测算法对第一图像进行直线检测，确定第一图像内的全部第六线段，从上述全部第六线段中选择多个第一平面区域包括的全部第一线段；电子设备还可以根据直线检测算法，对每个第一平面区域进行直线检测，确定该第一平面区域内包括的全部第一线段。例如，第一图像为建筑物的图像，电子设备在通过直线检测算法对建筑物的图像进行检测时，将建筑物的窗户的一个边框确定为一个直线段，从而得到多个直线段。

需要说明的是，在本公开中，对上述步骤S101和上述步骤S102的执行顺序不进行具体限制。可以先执行步骤S101再执行步骤S102，也可以先执行步骤S102再执行步骤S101，还可以同时执行步骤S101和步骤S102。

在步骤S103中，对于每个第一平面区域，确定第一平面区域中最靠上的第一位置点、最靠下的第二位置点、最靠左的第三位置点和最靠右的第四位置点。

对于每个第一平面区域，电子设备根据第三平面区域的位置信息和分割信息可以获取到每个第一平面区域的位置信息，根据任一第一平面区域的位置信息，可以确定该第一平面区域中最靠上的第一位置点、最靠下的第二位置点、最靠左的第三位置点和最靠右的第四位置点。

其中，电子设备可以根据第一平面区域内各像素点的坐标来确定上述第一位置点、第二位置点、第三位置点和第四位置点，第一位置点为第一平面区域内各像素点中纵坐标最大的点，第二位置点为第一平面区域内各像素点中纵坐标最小的点，第三位置点为第一平面区域内各像素点中横坐标最小的点，第四位置点为第一平面区域内各像素点中横坐标最大的点。需要说明的是当确定的像素点不止一个时，选取其中任意一个像素点即可。

在步骤S104中，从第一平面区域包括的全部第一线段中，选择与水平线之间的夹角不大于第一预设角度的多个第二线段以及与垂直线之间的夹角不大于第二预设角度的多个第三线段。

对于任一第一平面区域，电子设备可以先对该第一平面区域包括的全部第一线段进行分类，将与水平方向的夹角小于45°的直线分为水平线段类，将与垂直方向的夹角小于45°的直线分为垂直线段类，从水平线段类中选择与水平线之间的夹角不大于第一预设角度的多个第二线段，从垂直线段类中选择与垂直线之间的夹角不大于第二预设角度的多个第三线段。

电子设备还可以直接在该第一平面区域包括的全部第一线段中进行多个第二线段和多个第三线段的选择。本公开对此不进行具体限制。

需要说明的是，上述第一预设角度可以为3°、5°或者10°等，本公开对此不进行具体限制，第一预设角度的值越小，过滤后剩余的直线段越接近于水平方向。上述第二预设角度可以与第一预设角度相同，也可以与第一预设角度不同，本公开对此不进行具体限制，第二角度越小，过滤后剩余的直线段越接近于垂直方向。

在步骤S105中，从多个第二线段中选择与第一位置点的垂直距离最近的第四线段，选择与第二位置点的垂直距离最近的第五线段，从多个第三线段中选择与第三位置点的水平距离最近的第六线段，选择与第四位置点的水平距离最近的第七线段。

本步骤可以通过以下步骤(1)至(4)来实现。

(1)电子设备可以从第一位置点出发在垂直方向上向下做射线，将第二线段对应的直线中与该射线第一个相交的直线对应的线段，作为与第一位置点的垂直距离最近的第四线段。

(2)电子设备可以从第二位置点出发在垂直方向上向上做射线，将第二线段对应的直线中与该射线第一个相交的直线对应的线段，作为与第二位置点的垂直距离最近的第五线段。

(3)电子设备可以从第三位置点出发在水平方向上向右做射线，将第三线段对应的直线中与该射线第一个相交的直线对应的线段，作为与第三位置点的垂直距离最近的第六线段

(4)电子设备可以从第四位置点出发在水平方向上向左做射线，将第三线段对应的直线中与该射线第一个相交的直线对应的线段，作为与第四位置点的垂直距离最近的第七线段。

需要说明的是，上述步骤(1)至(4)仅是为了便于描述而进行的编号，不代表实际的执行顺序，在实际执行过程中，可以按照任意顺序执行上述步骤(1)至(4)。

在步骤S106中，确定第四线段、第五线段、第六线段和第七线段所在四条直线之间的交点，得到四个交点。

电子设备可以先确定第四线段所在的第一直线、第五线段所在的第二直线、第六线段所在的第三直线和第七线段所在的第四直线，确定第一直线、第二直线、第三直线和第四直线的四个交点。

在步骤S107中，根据上述四个交点和上述第一平面区域，确定目标平面区域。

电子设备可以根据上述四个交点确定该四个交点组成的第二平面区域，将上述第一平面区域和上述第二平面区域的重叠区域确定为目标平面区域。

在本公开实施例中，通过在待检测的第一图像中进行检测，得到多个第一平面区域，以及在第一图像内确定多个第一平面区域包括的全部第一线段，对于每个第一平面区域，确定第一平面区域中最靠上的第一位置点、最靠下的第二位置点、最靠左的第三位置点和最靠右的第四位置点，从第一平面区域包括的全部第一线段中，选择与水平线之间的夹角不大于第一预设角度的多个第二线段以及与垂直线之间的夹角不大于第二预设角度的多个第三线段，从多个第二线段中选择与第一位置点的垂直距离最近的第四线段，选择与第二位置点的垂直距离最近的第五线段，从多个第三线段中选择与第三位置点的水平距离最近的第六线段，选择与第四位置点的水平距离最近的第七线段，确定第四线段、第五线段、第六线段和第七线段所在四条直线之间的交点，得到四个交点，根据四个交点和第一平面区域，确定目标平面区域。第一平面区域是确定出的较为粗糙的平面区域，结合在直线中筛选出的满足特定条件的直线，将这些直线的交点确定的面与第一平面区域结合的方式来进行目标平面区域的确定，能够较为准确的确定出平面区域，提高了检测的准确性。

图3是根据一示例性实施例示出的一种图像显示方法的流程图，如图3所示，该图像检测方法包括以下步骤。

在步骤S301中，确定目标平面区域中待映射区域，该目标平面区域为以上平面检测方法中检测出的平面区域。

其中，该待映射图像可以是广告牌、新闻图片或者其他图像。电子设备确定多个目标平面区域后，对于任一个目标平面区域，电子设备还可以确定每个目标平面区域中待映射区域。该待映射区域可以是目标平面区域的整个区域，也可以是目标平面区域的部分区域。

在步骤S302中，获取待映射图像。

在步骤S303中，将待映射图像映射到待映射区域上。

电子设备在将待映射图像映射到目标平面区域中的待映射区域时，先确定目标平面区域中待映射区域的多个顶点的坐标，根据待映射区域的多个顶点坐标，确定该待映射区域的各像素点的坐标，将待映射图像的像素点一一对应的映射到待映射区域的各像素点上。

需要说明的是，电子设备可以映射一个待映射图像到任意一个目标平面区域的待映射区域上，也可以映射一个待映射图像到多个目标平面区域的待映射区域上，还可以映射多个待映射图像到多个目标平面区域的待映射区域上，还可以映射多个待映射图像到一个平面区域的多个待映射区域上，本公开对此不进行具体限制。

例如，参考图4所示，待检测的第一图像为包括建筑物的图像，图4中包括五个目标平面区域以及一个待映射的图像，将待映射的图像映射到其中三个目标平面区域的待映射区域上。三个待映射区域分别位于三个目标平面区域的不同位置。

在本公开实施例中，通过确定目标平面区域中待映射区域，获取待映射图像，将待映射图像映射到待映射区域上，可以根据需求设置待映射区域，并将待映射图像映射到待映射区域上，映射准确，展示效果好。

图5是根据一示例性实施例示出的一种平面检测装置的框图。参照图5，该平面检测装置包括：检测模块501、第一确定模块502、第一选择模块503、第二选择模块504、第二确定模块505和第三确定模块506。

检测模块501，被配置为在待检测的第一图像中进行检测，得到多个第一平面区域，以及在第一图像内确定多个第一平面区域包括的全部第一线段；

检测模块501处理的过程可以参考步骤S101和步骤S102，在此不再赘述。

第一确定模块502，被配置为对于每个第一平面区域，确定第一平面区域中最靠上的第一位置点、最靠下的第二位置点、最靠左的第三位置点和最靠右的第四位置点；

第一确定模块502处理的过程可以参考步骤S103，在此不再赘述。

第一选择模块503，被配置为从第一平面区域包括的全部第一线段中，选择与水平线之间的夹角不大于第一预设角度的多个第二线段以及与垂直线之间的夹角不大于第二预设角度的多个第三线段；

第一选择模块503处理的过程可以参考步骤S104，在此不再赘述。

第二选择模块504，被配置为从多个第二线段中选择与第一位置点的垂直距离最近的第四线段，选择与第二位置点的垂直距离最近的第五线段，从多个第三线段中选择与第三位置点的水平距离最近的第六线段，选择与第四位置点的水平距离最近的第七线段；

第二选择模块504处理的过程可以参考步骤S105，在此不再赘述。

第二确定模块505，被配置为确定第四线段、第五线段、第六线段和第七线段所在四条直线之间的交点，得到四个交点；

第二确定模块505处理的过程可以参考步骤S106，在此不再赘述。

第三确定模块506，被配置为根据四个交点和第一平面区域，确定目标平面区域。

第三确定模块506处理的过程可以参考步骤S107，在此不再赘述。

在一种可能的实现方式中，第三确定模块506，还被配置为将四个交点组成第二平面区域，将第一平面区域和第二平面区域的重叠区域，确定为目标平面区域。

在另一种可能的实现方式中，检测模块501，还被配置为获取第一图像内的多个第三平面区域的位置信息和分割信息，对于每个第三平面区域，分割信息用于标识第三平面区域内的像素点是否属于同一平面；根据多个第三平面区域的位置信息和分割信息，确定多个第一平面区域。

在另一种可能的实现方式中，检测模块501，还被配置为将第一图像输入第一神经网络，输出多个第三平面区域的位置信息和分割信息。

在另一种可能的实现方式中，检测模块501，还被配置为将第一图像输入第二神经网络，输出多个第三平面区域的位置信息和标注多个第三平面区域的第二图像；将第二图像输入至第三神经网络，输出分割信息。

在另一种可能的实现方式中，检测模块501，还被配置为对于每个第三平面区域，根据第三平面区域的位置信息和分割信息，将第三平面区域内不属于同一平面的像素点过滤掉，得到第四平面区域；根据膨胀算法，对第四平面区域进行扩大，得到第一平面区域。

在另一种可能的实现方式中，在检测模块501，还被配置为对第一图像进行直线检测，确定第一图像内的全部第六线段，从全部第六线段中选择多个第一平面区域包括的全部第一线段；或者，对于每个第一平面区域，对第一平面区域进行直线检测，确定第一平面区域内包括的全部第一线段。

在本公开实施例中，通过在待检测的第一图像中进行检测，得到多个第一平面区域，以及在第一图像内确定多个第一平面区域包括的全部第一线段，对于每个第一平面区域，确定第一平面区域中最靠上的第一位置点、最靠下的第二位置点、最靠左的第三位置点和最靠右的第四位置点，从第一平面区域包括的全部第一线段中，选择与水平线之间的夹角不大于第一预设角度的多个第二线段以及与垂直线之间的夹角不大于第二预设角度的多个第三线段，从多个第二线段中选择与第一位置点的垂直距离最近的第四线段，选择与第二位置点的垂直距离最近的第五线段，从多个第三线段中选择与第三位置点的水平距离最近的第六线段，选择与第四位置点的水平距离最近的第七线段，确定第四线段、第五线段、第六线段和第七线段所在四条直线之间的交点，得到四个交点，根据四个交点和第一平面区域，确定目标平面区域。第一平面区域是确定出的较为粗糙的平面区域，结合在直线中筛选出的满足特定条件的直线，将这些直线的交点确定的面与第一平面区域结合的方式来进行目标平面区域的确定，能够较为准确的确定出平面区域，提高了检测的准确性。

图6是根据一示例性实施例示出的一种图像显示装置的框图。参照图6，该平面检测装置包括：第四确定模块601、获取模块602和映射模块603.

第四确定模块601，被配置为确定目标平面区域中待映射区域，所述目标平面区域为以上平面检测装置检测出的平面区域；

第四确定模块601处理的过程可以参考步骤S301，在此不再赘述。

获取模块602，被配置为获取待映射图像；

映射模块603，被配置为将所述待映射图像映射到所述待映射区域上。

在本公开实施例中，通过确定目标平面区域中待映射区域，获取待映射图像，将待映射图像映射到待映射区域上，可以根据需求设置待映射区域，并将待映射图像映射到待映射区域上，映射准确，展示效果好。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图7是根据一示例性实施例示出的一种电子设备的框图。该电子设备700可以是便携式移动电子设备，比如：智能手机、平板电脑、MP3播放器(Moving Picture ExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。电子设备700还可能被称为用户设备、便携式电子设备、膝上型电子设备、台式电子设备等其他名称。

通常，电子设备700包括有：处理器701和存储器702。

处理器701可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器701可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器701也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器701可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器701还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器702可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器702还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器702中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器701所执行以实现本公开中方法实施例提供的平面检测方法或图像显示方法。

在一些实施例中，电子设备700还可选包括有：外围设备接口703和至少一个外围设备。处理器701、存储器702和外围设备接口703之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口703相连。具体地，外围设备包括：显示屏704、摄像头705、和电源706中的至少一种。

外围设备接口703可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器701和存储器702。在一些实施例中，处理器701、存储器702和外围设备接口703被集成在同一芯片或电路板上；在一些其他实施例中，处理器701、存储器702和外围设备接口703中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

显示屏704用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏705是触摸显示屏时，显示屏705还具有采集在显示屏705的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器701进行处理。此时，显示屏705还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。显示屏704可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(OrganicLight-Emitting Diode,有机发光二极管)等材质制备。

摄像头组件705用于采集图像或视频。可选地，摄像头组件705包括前置摄像头和后置摄像头。通常，前置摄像头设置在电子设备的前面板，后置摄像头设置在电子设备的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件705还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

电源706用于为电子设备700中的各个组件进行供电。电源706可以是交流电、直流电、一次性电池或可充电电池。当电源706包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。

本领域技术人员可以理解，图7中示出的结构并不构成对电子设备700的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

本公开实施例还提供了一种非临时性计算机可读存储介质，用于电子设备，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，该指令、该程序、该代码集或该指令集由处理器加载并执行时实现上述实施例的平面检测方法。

本公开实施例还提供了一种非临时性计算机可读存储介质，用于电子设备，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，该指令、该程序、该代码集或该指令集由处理器加载并执行时实现上述实施例的图像显示方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种平面检测方法，其特征在于，所述方法包括：

在待检测的第一图像中进行检测，得到多个第一平面区域，以及在所述第一图像内确定所述多个第一平面区域包括的全部第一线段；

对于每个第一平面区域，确定所述第一平面区域中最靠上的第一位置点、最靠下的第二位置点、最靠左的第三位置点和最靠右的第四位置点；

从所述第一平面区域包括的全部第一线段中，选择与水平线之间的夹角不大于第一预设角度的多个第二线段以及与垂直线之间的夹角不大于第二预设角度的多个第三线段；

从所述多个第二线段中选择与所述第一位置点的垂直距离最近的第四线段，选择与所述第二位置点的垂直距离最近的第五线段，从所述多个第三线段中选择与所述第三位置点的水平距离最近的第六线段，选择与所述第四位置点的水平距离最近的第七线段；

确定所述第四线段、所述第五线段、所述第六线段和所述第七线段所在四条直线之间的交点，得到四个交点；

根据所述四个交点和所述第一平面区域，确定目标平面区域。

2.根据权利要求1所述的方法，其特征在于，所述根据所述四个交点和所述第一平面区域，确定目标平面区域，包括：

将所述四个交点组成第二平面区域，将所述第一平面区域和所述第二平面区域的重叠区域，确定为所述目标平面区域。

3.根据权利要求1所述的方法，其特征在于，所述在待检测的第一图像中进行检测，得到多个第一平面区域，包括：

获取所述第一图像内的多个第三平面区域的位置信息和分割信息，对于每个第三平面区域，所述分割信息用于标识所述第三平面区域内的像素点是否属于同一平面；

根据所述多个第三平面区域的位置信息和分割信息，确定所述多个第一平面区域。

4.根据权利要求3所述的方法，其特征在于，所述获取所述第一图像内的多个第三平面区域的位置信息和分割信息，包括：

将所述第一图像输入第一神经网络，输出所述多个第三平面区域的位置信息和分割信息。

5.根据权利要求1至4任一权利要求所述的方法，其特征在于，所述在所述第一图像内确定所述多个第一平面区域包括的全部第一线段，包括：

对所述第一图像进行直线检测，确定所述第一图像内的全部第六线段，从所述全部第六线段中选择所述多个第一平面区域包括的全部第一线段；或者，

对于每个第一平面区域，对所述第一平面区域进行直线检测，确定所述第一平面区域内包括的全部第一线段。

6.一种图像显示方法，其特征在于，所述方法包括：

确定目标平面区域中待映射区域，所述目标平面区域为以上权利要求1-5任一项权利要求检测出的平面区域；

获取待映射图像；

将所述待映射图像映射到所述待映射区域上。

7.一种平面检测装置，其特征在于，所述装置包括：

检测模块，被配置为在待检测的第一图像中进行检测，得到多个第一平面区域，以及在所述第一图像内确定所述多个第一平面区域包括的全部第一线段；

第一确定模块，被配置为对于每个第一平面区域，确定所述第一平面区域中最靠上的第一位置点、最靠下的第二位置点、最靠左的第三位置点和最靠右的第四位置点；

第一选择模块，被配置为从所述第一平面区域包括的全部第一线段中，选择与水平线之间的夹角不大于第一预设角度的多个第二线段以及与垂直线之间的夹角不大于第二预设角度的多个第三线段；

第二选择模块，被配置为从所述多个第二线段中选择与所述第一位置点的垂直距离最近的第四线段，选择与所述第二位置点的垂直距离最近的第五线段，从所述多个第三线段中选择与所述第三位置点的水平距离最近的第六线段，选择与所述第四位置点的水平距离最近的第七线段；

第二确定模块，被配置为确定所述第四线段、所述第五线段、所述第六线段和所述第七线段所在四条直线之间的交点，得到四个交点；

第三确定模块，被配置为根据所述四个交点和所述第一平面区域，确定目标平面区域。

8.一种图像显示装置，其特征在于，所述装置包括：

第四确定模块，被配置为确定目标平面区域中待映射区域，所述目标平面区域为以上权利要求7检测出的平面区域；

获取模块，被配置为获取待映射图像；

映射模块，被配置为将所述待映射图像映射到所述待映射区域上。

9.一种电子设备，特征在于，包括：

一个或多个处理器；

用于存储所述一个或多个处理器可执行指令的易失性或非易失性存储器；

其中，所述一个或多个处理器被配置为执行权利要求1-5任一项所述的平面检测方法或权利要求6所述的图像显示方法。

10.一种非临时性计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令被电子设备的处理器执行以实现权利要求1-5任一项所述的平面检测方法或权利要求6所述的图像显示方法。