CN114529566B - 图像处理方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例提供一种图像处理方法、装置、设备及存储介质。在本申请实施例中，根据单目全景图像中的特定交界线，识别单目全景图像中的地面区域，将单目全景图像中地面区域的2D特征点转换为3D点云，基于3D点云计算在相机坐标系下单目摄像头与地面区域之间的第一高度信息，并计算在世界坐标系下单目摄像头与地面区域之间的第二高度信息，基于第一高度信息和第二高度信息确定单目全景图像的尺度信息。其中，基于单目全景图中的地面区域的3D点云，确定单目全景图像的尺度信息，可提高尺度信息计算的准确率，提高尺度信息在实际应用场景(如图像拼接场景)中的使用效果，相对于双目相机或深度相机获取尺度信息的方式，节省了使用成本。

Description

图像处理方法、装置、设备及存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、设备及存储介质。

背景技术

单目摄像头结构简单、成本低，被广泛的应用在相机或终端设备上。基于单目摄像头可以采集单目图像，基于单目图像估测出的尺寸与真实的尺寸之间相差一个因子，该因子即为尺度(scale)信息，单凭单目图像无法确定尺度信息，所以认为单目图像具有尺度不确定性。在一些应用场景中，尺度的不确定性可能会导致一些问题的发生，例如，图像拼接场景，尺度的不确定性可能导致拼接出的图像存在重叠、平行拉开等问题，因此，亟需一种获取单目图像尺度信息的图像处理方法。

发明内容

本申请的多个方面提供一种图像处理方法、装置、设备及存储介质，用以提高尺度信息计算的准确率。

本申请实施例提供一种图像处理方法，包括：获取单目摄像头在目标物理空间包括的多个空间对象中采集到的多张单目全景图像；针对每张单目全景图像，对单目全景图像进行特定交界线检测，并根据检测到的特定交界线分割出单目全景图像中的地面区域；根据单目全景图像中的地面区域包含的2D特征点，获取地面区域在相机坐标系下对应的3D点云；根据3D点云中各3D点在相机坐标系下的坐标信息，计算在相机坐标系下单目摄像头与地面区域之间的第一高度信息；根据第一高度信息和单目摄像头在拍摄单目全景图像时位于世界坐标下的第二高度信息，确定单目全景图像的尺度信息。

本申请实施例还提供一种图像处理装置，包括：获取模块、检测模块、分割模块、计算模块以及确定模块；获取模块，用于获取单目摄像头在目标物理空间包括的多个空间对象中采集到的多张单目全景图像；检测模块，用于针对每张单目全景图像，对单目全景图像进行特定交界线检测；分割模块，用于根据检测到的特定交界线分割出单目全景图像中的地面区域；获取模块，还用于根据单目全景图像中的地面区域包含的2D特征点，获取地面区域在相机坐标系下对应的3D点云；计算模块，用于根据3D点云中各3D点在相机坐标系下的坐标信息，计算在相机坐标系下单目摄像头与地面区域之间的第一高度信息；确定模块，用于根据第一高度信息和单目摄像头在拍摄单目全景图像时位于世界坐标下的第二高度信息，确定单目全景图像的尺度信息。

本申请实施例还提供一种图像处理设备，包括：存储器和处理器；存储器，用于存储计算机程序；处理器，与存储器耦合，用于执行计算机程序，以实现本申请实施例提供的图像处理方法中的步骤。

本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，当计算机程序被处理器执行时，致使处理器实现本申请实施例提供的图像处理方法中的步骤。

在本申请实施例中，根据单目全景图像中的特定交界线，识别单目全景图像中的地面区域，将单目全景图像中地面区域的2D特征点转换为3D点云，基于3D点云计算在相机坐标系下单目摄像头与地面区域之间的第一高度信息，并计算在世界坐标系下单目摄像头与地面区域之间的第二高度信息，基于第一高度信息和第二高度信息确定单目全景图像的尺度信息。其中，基于单目全景图中的地面区域的3D点云，确定单目全景图像的尺度信息，可提高尺度信息计算的准确率，提高尺度信息在实际应用场景(如图像拼接场景)中的使用效果，相对于双目相机或深度相机获取尺度信息的方式，节省了使用成本。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请示例性实施例提供的一种图像处理方法的流程示意图；

图2为本申请示例性实施例提供的一种生成尺度信息的流程示意图；

图3为本申请示例性实施例提供的一种图像处理装置的结构示意图；

图4为本申请示例性实施例提供的一种图像处理设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

针对现有技术中单目全景图像中尺度的不确定性问题，在本申请实施例中，根据单目全景图像中的特定交界线，识别单目全景图像中的地面区域，将单目全景图像中地面区域的2D特征点转换为3D点云，基于3D点云计算在相机坐标系下单目摄像头与地面区域之间的第一高度信息，并计算在世界坐标系下单目摄像头与地面区域之间的第二高度信息，基于第一高度信息和第二高度信息确定单目全景图像的尺度信息。其中，基于单目全景图中的地面区域的3D点云，确定单目全景图像的尺度信息，可提高尺度信息计算的准确率，提高尺度信息在实际应用场景(如图像拼接场景)中的使用效果，相对于双目相机或深度相机获取尺度信息的方式，节省了使用成本。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图1为本申请示例性实施例提供的一种图像处理方法的流程示意图。如图1所示，该方法包括：

101、获取单目摄像头在目标物理空间包括的多个空间对象中采集到的多张单目全景图像；

102、针对每张单目全景图像，对单目全景图像进行特定交界线检测，并根据检测到的特定交界线分割出单目全景图像中的地面区域；

103、根据单目全景图像中的地面区域包含的2D特征点，获取地面区域在相机坐标系下对应的3D点云；

104、根据3D点云中各3D点在相机坐标系下的坐标信息，计算在相机坐标系下单目摄像头与地面区域之间的第一高度信息；

105、根据第一高度信息和单目摄像头在拍摄单目全景图像时位于世界坐标下的第二高度信息，确定单目全景图像的尺度信息。

在本实施例中，目标物理空间指的是特定的空间区域，该空间区域中包含多个空间对象，换句话说，多个空间对象组成了目标物理空间。例如，目标物理空间是指一套住房，住房中包括的空间对象可以是厨房、卧室、客厅或卫生间等。其中，目标物理空间包含的多个空间对象之间存在交界线。例如，卧室的墙壁与客厅的墙壁之间交界线、厨房的墙壁与厨房的地面之间交界线，卫生间的墙壁与卫生间的天花板之间的交界线等等。

在本实施例中，单目摄像头可以是全景相机中的单目摄像头或者可以是终端设备上的单目摄像头等。单目摄像头可放置于多个空间对象中，每个空间对象中可以包含一个或多个拍摄点，在每个拍摄点都可以采集一张单目全景图，具体拍摄点的数量可视空间对象的大小而定。针对每张单目全景图像，对单目全景图像进行特定交界线检测，根据检测到的特定交界线分割出单目全景图像中的地面区域。例如，单目全景图像是采集卧室区域的特定交界线是指墙壁与地面之间的交界线，可以根据墙壁与地面之间的特定交界线，确定单目全景图像中的地面区域。

在本实施例中，单目全景图像中包含特征点，特征点指的是单目全景图像中灰度值发生剧烈变化的点或者在单目全景图像边缘上曲率较大的点(例如，不同边缘的交点)。特征点能够反映单目全景图像的特征，能够标识单目全景图像中区域。基于此，可以确定单目全景图像中地面区域包含的2D特征点；根据单目全景图像中的地面区域包含的2D特征点，获取地面区域在相机坐标系下对应的3D点云，3D点云中包括多个3D点，3D点可体现2D特征点对应空间点的坐标信息。例如，可以将单目全景图像输入至即时定位与地图构建(Simultaneous Localization And Mapping)系统中，由SLAM系统将单目全景图像中的地面区域包含的2D特征点，确定地面区域在相机坐标系下对应的3D点云。

在本实施例中，根据3D点云中各3D点在相机坐标系下的坐标信息，计算在相机坐标系下单目摄像头与地面区域之间的第一高度信息；根据第一高度信息和单目摄像头在拍摄单目全景图像时位于世界坐标下的第二高度信息，确定单目全景图像的尺度信息。例如，可以直接将第一高度信息与第二高度信息的比值作为单目全景图像的尺度信息。其中，第二高度信息的获取方式并不限定。例如，若单目摄像头实现为全景相机上的摄像头，则可以将全景相机固定在三脚架上，将三角架的高度作为第二高度信息。

在本申请实施例中，根据单目全景图像中的特定交界线，识别单目全景图像中的地面区域，将单目全景图像中地面区域的2D特征点转换为3D点云，基于3D点云计算在相机坐标系下单目摄像头与地面区域之间的第一高度信息，并计算在世界坐标系下单目摄像头与地面区域之间的第二高度信息，基于第一高度信息和第二高度信息确定单目全景图像的尺度信息。其中，基于单目全景图中的地面区域的3D点云，确定单目全景图像的尺度信息，可提高尺度信息计算的准确率，提高尺度信息在实际应用场景(如图像拼接场景)中的使用效果，相对于双目相机或深度相机获取尺度信息的方式，节省了使用成本。

在一可选实施例中，根据单目全景图像中的地面区域包含的2D特征点，获取地面区域在相机坐标系下对应的3D点云的实施方式，包括：对单目全景图像进行特征提取，得到单目全景图像包含的2D特征点，例如，2D特征点可以是单目全景图像中的角点；从单目全景图像包含的2D特征点中，获取地面区域中的2D特征点；根据单目摄像头在拍摄单目全景图像与上一单目全景图像之间的深度变化信息，对地面区域中的2D特征点进行空间映射，得到地面区域在相机坐标系下对应的3D点云。例如，可通过三角测量(Triangulation)或三角化的方法来，计算单目全景图像中2D特征点的深度信息。例如，根据上一单目全景图像的深度信息，以及单目全景图像与上一单目全景图像之间的深度变化信息，确定当前单目全景图像的深度信息，基于该深度信息，对地面区域中的2D特征点进行空间映射，得到地面区域在相机坐标系下对应的3D点云。

在一可选实施例中，对单目全景图像进行特定交界线检测的实施方式，包括：将单目全景图像输入交界线识别模型，提取单目全景图像的像素特征，其中，交界线识别模型是一种可以识别地面与墙壁之间交界线、墙角线或吊顶线等交界线的模型；针对单目全景图像中横向维度上的每一像素维度，将其在纵向维度上对应的像素特征进行压缩，得到单目全景图像对应的一维特征，该一维特征对应空间对象中的墙角点以及墙角点在横向维度上延伸形成的天花板线、地板线或墙壁之间的交界线等；根据该一维特征可以确定单目全景图像中的特定交界线，该特定交界线为地面与墙体之间的交界线。

在本实施例中，并不限定根据3D点云中各3D点在相机坐标系下的坐标信息，计算在相机坐标下单目摄像头与地面区域之间的第一高度信息的实施方式，例如可以通过高斯滤波、滑动窗口或者高斯滤波与滑动窗口相结合的方式，计算在相机坐标下单目摄像头与地面区域之间的第一高度信息。下面分情况进行详细介绍。

实施方式C1：通过高斯滤波的方式，根据3D点云中各3D点在相机坐标系下的坐标信息，计算在相机坐标下单目摄像头与地面区域之间的第一高度信息。具体地：计算3D点云中各3D点在相机坐标系下的高度信息的均值作为高斯滤波均值，基于高斯滤波均值对各3D点在相机坐标系下的高度信息进行高斯滤波，以得到多个目标3D点，例如，可以将高度信息是(u±δ)或(u±2δ)的3D点作为目标3D点，其中，u表示高斯滤波均值，δ表示高斯滤波的方差；根据多个目标3D点在相机坐标系下的高度信息，计算在相机坐标系下单目摄像头与地面区域之间的第一高度信息。其中，根据高斯滤波的方法对3D点云中各3D点进行筛选，得到多个目标3D点，可以将高度信息较低或者较高的值剔除，提高尺度信息计算结果的准确性。

实施方式C2：通过滑动窗口的方式，根据3D点云中各3D点在相机坐标系下的坐标信息，计算在相机坐标下单目摄像头与地面区域之间的第一高度信息。具体地：根据3D点云中各3D点在相机坐标系下的高度信息，将3D点云中的各3D点划分为N个特征组，不同特征组对应的高度范围不同，N是正整数，N可以根据3D点云中各3D点的数量来设定；根据高度范围的高低，由高到底对滑动窗口执行第一次滑动操作，从N个特征组中选择3D点的数量超过设定数量阈值的特征组，作为目标特征组，设定数量阈值并不限定，可以是7、10或15等。例如，3D点云中3D点的数量为50，特征组的数量为5，设定数量阈值可以是10，则在对滑动窗口执行第一次滑动操作时，可以从5个特征组中选择3D点的数量超过10的特征组，作为目标特征组，目标特征组的数量可以是1个，也可以是多个；根据目标特征组中第一3D点的高度范围，对滑动窗口执行第二次滑动操作，计算在相机坐标系下单目摄像头与地面区域之间的第一高度信息。例如，执行第二次滑动操作时，可以确定包含3D点数量最多的滑动窗口，计算该滑动窗口中第一3D点高度信息的均值，将该均值作为在相机坐标系下单目摄像头与地面区域之间的第一高度信息。在目标特征组为多个的情况下，将根据目标特征组中的第一3D点，计算出的第一高度信息取均值，将取均值后的第一高度信息作为在相机坐标系下单目摄像头与地面区域之间的第一高度信息。

实施方式C3：通过高斯滤波与滑动窗口结合的方式，根据3D点云中各3D点在相机坐标系下的坐标信息，计算在相机坐标下单目摄像头与地面区域之间的第一高度信息。具体地：计算3D点云中各3D点在相机坐标系下的高度信息的均值作为高斯滤波均值，基于高斯滤波均值对各3D点在相机坐标系下的高度信息进行高斯滤波，以得到多个目标3D点；根据多个目标3D点在相机坐标系下的高度信息，将多个目标3D点划分为N个特征组，不同特征组对应的高度范围不同，N是正整数；从N个特征组中选择目标3D点的数量超过设定数量阈值的特征组，作为目标特征组；根据目标特征组中第一3D点的高度范围，计算在相机坐标系下单目摄像头与地面区域之间的第一高度信息。详细介绍可参见实施方式C1或C2，在此不再赘述。其中，采用高斯滤波与滑动窗口结合的方式，先通过高斯滤波的方式对3D点云中的3D点进行筛选，得到目标3D点，进一步，再通过滑动窗口对目标3D点进行筛选，从而确定在相机坐标系下单目摄像头与地面区域之间的第一高度信息，从而可以逐步对高度信息较高或较低的3D点进行筛选，提高计算第一高度信息的准确率，进而提高计算尺度信息的准确率。

在一可选实施例中，如图2所示，在确定多张单目全景图像的尺度信息之后，还可以根据该尺度信息拼接目标物理空间对应的户型图，或者根据该尺度信息进行其它可扩展的输出，例如，计算目标物理空间中不同物体之间的距离。其中，在根据该尺度信息拼接目标物理空间对应的户型图的情况下，具体地：针对任意相邻的两张单目全景图像，计算单目摄像头在拍摄两张单目全景图像时的相对位置关系；根据相对位置关系、多张单目全景图像的尺度信息以及多张单目全景图像包含的特定交界线，生成目标物理空间对应的平面户型图。

在一可选实施例中，在将多张单目全景图像拼接成目标物理空间对应的户型图的情况下，可以采用增量式的方式分多次对单目全景图像进行拼接，每次拼接一张单目全景图像，得到目标物理空间对应的户型图。具体地：

将尚未参与户型图生成操作的单目全景图像称为第一单目全景图像，将第一单目全景图像的尺度信息作为第一尺度信息；将当前局部户型图对应的尺度信息称为第二尺度信息，第二尺度信息可以是当前局部户型图中的一张单目全景图像，也即生成当前局部户型图所用到其中一张单目全景图像对应的尺度信息，或者第二尺度信息可以是根据当前局部户型图中包含的多张单目全景图像，也即生成当前局部户型图所用到的多张单目全景图像的尺度信息计算得到的。另外，还可以将已参与户型图生成操作的单目全景图像中与第一单目全景图像相邻的图像，也即生成当前局部户型图所用到的多张单目全景图像中与第一单目全景图像相邻的单目全景图像，称为第二单目全景图像。其中的相邻可以根据采集时间或采集位置确定得到。

对于首次拼接操作，可以从多张单目全景图像中，选择相邻两张单目全景图像，将其中一张作为第一单目全景图像，将另一张作为第二单目全景图像，并将第一单目全景图像对应的尺度信息作为第一尺度信息，将第二单目全景图像对应的尺度信息作为第二尺度信息。分别利用第一尺度信息和第二尺度信息，结合第一单目全景图像和第二单目全景图像中包含的特定交界线，以及单目摄像头在拍摄第一单目全景图像和第二单目全景图像时的相对位置关系，得到第一尺度信息和第二尺度信息分别对应的第一户型图和第二户型图；根据第一户型图和第二户型图的质量参数，从中选择质量更好的户型图作为当前局部户型图；在目标物理空间对应的单目全景图像的数量为2的情况下，可直接将该当前局部户型图作为目标物理空间对应的平面户型图；在目标物理空间对应的单目全景图像的数量大于2的情况下，可基于当前局部户型图继续进行后续增量式拼接过程，即非首次拼接操作。

对于非首次拼接操作，可以从尚未参与户型图生成操作的单目全景图像中获取第一单目全景图像，将第一单目全景图像的尺度信息作为第一尺度信息，并将当前局部户型图对应的尺度信息作为第二尺度信息，将已参与户型图生成操作的单目全景图中与第一单目全景图像相邻的图像称为第二单目全景图像；分别利用第一尺度信息和第二尺度信息，结合第一单目全景图像和第二单目全景图像中包含的特定交界线，以及单目摄像头在拍摄第一单目全景图像和第二单目全景图像时的相对位置关系，在当前局部户型图上添加新的户型信息，得到第一尺度信息和第二尺度信息分别对应的第一户型图和第二户型图。

根据第一户型图和第二户型图的质量参数，从中选择质量更好的户型图作为新的当前局部户型图，以及继续执行从尚未参与户型图生成操作的单目全景图像中获取第一单目全景图像的操作，直至全部单目全景图像均参与户型图生成操作为止，将当前局部户型图作为目标物理空间对应的平面户型图。进一步还可以输出当前局部户型图对应的尺度信息，即平面户型图对应的尺度信息，将该尺度信息用于其它计算，例如，计算平面户型图中不同物体之间的距离。

其中，质量参数可以为任意一种可以表征户型图质量的指标参数，或多种指标参数的组合(例如加权和)，对此本发明实施例不加以限定。例如，可以户型图中线条的平滑度、物理空间内各子空间(例如各个房间)对应的户型区域的拼接完整度、清晰度等表征并生成户型图的质量参数。

在一可选实施例中，第一户型图和第二户型图至少包括两个户型区域，每个户型区域可基于一张或多张单目全景图像生成；分别根据第一户型图和第二户型图中不同户型区域的位置信息，计算第一户型图的质量参数和第二户型图的质量参数；其中，质量参数包括不同户型区域的重叠度、不同户型区域或者相同户型区域中相应户型线段的平行度、不同户型区域中相应户型线段的最短距离中的至少一种。当然，在第一户型图和第二户型图中仅包括一个户型区域的情况下，也可以其中相应户型线段的平行度等表征质量参数，例如在物理空间中不相邻的至少一组两条墙线的平行度，得到不同户型图的质量参数，对此本发明实施例不加以限定。

其中，户型区域的重叠度是指不同户型区域的重叠面积与不同户型区域总面积的比值，例如可以为户型图(第一户型图或第二户型图)中任意至少一组相邻两个户型区域的重叠面积与相应两个户型区域总面积的比值。平行度是指不同户型区域相应户型线段之间的平行程度。例如，户型区域J和户型区域K均为方形区域，均包含四条户型线段，其中，户型区域J中的户型线段J1与户型区域K中的户型线段K4，在目标物理空间中是平行的，此处可以计算在户型图中户型线段J1与户型区域K中的户型线段K4的平行度。户型区域中相应户型线段的最短距离是指不同户型区域之间的最短距离，若两个户型区域相邻，则表示该相邻的两个户型区域之间的最短距离为0，若两个户型区域处于相对位置，则可以计算两个户型区域中处于相对位置的户型线段之间的距离，将该距离作为最短距离。其中，在户型图的质量参数包括不同户型区域的重叠度、不同户型区域中相应户型线段的平行度和不同户型区域中相应户型线段的最短距离的情况下，可以为该重叠度、平行度或最短距离分配比例权重，根据该比例权重，计算户型图对应的质量参数。

需要说明的是，上述实施例所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。比如，步骤101至步骤103的执行主体可以为设备A；又比如，步骤101和102的执行主体可以为设备A，步骤103的执行主体可以为设备B；等等。

另外，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

图3为本申请示例性实施例提供的一种图像处理装置的结构示意图；如图3所示，该图像处理装置包括：获取模块31、检测模块32、分割模块33、计算模块34以及确定模块35。

获取模块31，用于获取单目摄像头在目标物理空间包括的多个空间对象中采集到的多张单目全景图像；

检测模块32，用于针对每张单目全景图像，对单目全景图像进行特定交界线检测；分割模块33，用于根据检测到的特定交界线分割出单目全景图像中的地面区域；

获取模块31，还用于根据单目全景图像中的地面区域包含的2D特征点，获取地面区域在相机坐标系下对应的3D点云；

计算模块34，用于根据3D点云中各3D点在相机坐标系下的坐标信息，计算在相机坐标系下单目摄像头与地面区域之间的第一高度信息；

确定模块35，用于根据第一高度信息和单目摄像头在拍摄单目全景图像时位于世界坐标下的第二高度信息，确定单目全景图像的尺度信息。

在一可选实施例中，获取模块31具体用于：对单目全景图像进行特征提取，得到单目全景图像包含的2D特征点；从单目全景图像包含的2D特征点中，获取地面区域中的2D特征点；根据单目摄像头在拍摄单目全景图像与上一单目全景图像之间的深度变化信息，对地面区域中的2D特征点进行空间映射，得到地面区域在相机坐标系下对应的3D点云。

在一可选实施例中，检测模块32具体用于：将单目全景图像输入交界线识别模型，提取单目全景图像的像素特征，并针对横向维度上的每一像素维度，将其在纵向维度上对应的像素特征进行压缩，得到单目全景图像对应的一维特征，根据一维特征确定单目全景图像中的特定交界线，特定交界线为地面与墙体之间的交界线。

在一可选实施例中，计算模块34具体用于：计算3D点云中各3D点在相机坐标系下的高度信息的均值作为高斯滤波均值，基于高斯滤波均值对各3D点在相机坐标系下的高度信息进行高斯滤波，以得到多个目标3D点；根据多个目标3D点在相机坐标系下的高度信息，计算在相机坐标系下单目摄像头与地面区域之间的第一高度信息。

在一可选实施例中，计算模块34具体用于：根据多个目标3D点在相机坐标系下的高度信息，将多个目标3D点划分为N个特征组，不同特征组对应的高度范围不同，N是正整数；从N个特征组中选择目标3D点的数量超过设定数量阈值的特征组，作为目标特征组；根据目标特征组中第一3D点的高度范围，计算在相机坐标系下单目摄像头与地面区域之间的第一高度信息。

在一可选实施例中，图像处理装置还包括生成模块；计算模块34还用于：针对任意相邻的两张单目全景图像，计算单目摄像头在拍摄两张单目全景图像时的相对位置关系；生成模块，用于根据相对位置关系、多张单目全景图像的尺度信息以及多张单目全景图像包含的特定交界线，生成目标物理空间对应的平面户型图。

在一可选实施例中，生成模块具体用于：从尚未参与户型图生成操作的单目全景图像中获取第一单目全景图像，将第一单目全景图像的尺度信息作为第一尺度信息，将当前局部户型图对应的尺度信息作为第二尺度信息，将已参与户型图生成操作的单目全景图像中与第一单目全景图像相邻的图像称为第二单目全景图像；分别利用第一尺度信息和第二尺度信息，结合第一单目全景图像和第二单目全景图像中包含的特定交界线，以及单目摄像头在拍摄第一单目全景图像和第二单目全景图像时的相对位置关系，在当前局部户型图上添加新的户型信息，得到第一尺度信息和第二尺度信息分别对应的第一户型图和第二户型图；根据第一户型图和第二户型图的质量参数，从中选择质量更好的户型图作为新的当前局部户型图，以及继续执行从尚未参与户型图生成操作的单目全景图像中获取第一单目全景图像的操作，直至全部单目全景图像均参与户型图生成操作为止，得到目标物理空间对应的平面户型图。

在一可选实施例中，计算模块34还用于：第一户型图和第二户型图至少包括两个户型区域，分别根据第一户型图和第二户型图中不同户型区域的位置信息，计算第一户型图的质量参数和第二户型图的质量参数；质量参数包括不同户型区域的重叠度、不同户型区域中相应户型线段的平行度或者不同户型区域中相应户型线段的最短距离中的至少一种。

本申请实施例提供的图像处理装置，根据单目全景图像中的特定交界线，识别单目全景图像中的地面区域，将单目全景图像中地面区域的2D特征点转换为3D点云，基于3D点云计算在相机坐标系下单目摄像头与地面区域之间的第一高度信息，并计算在世界坐标系下单目摄像头与地面区域之间的第二高度信息，基于第一高度信息和第二高度信息确定单目全景图像的尺度信息。其中，基于单目全景图中的地面区域的3D点云，确定单目全景图像的尺度信息，可提高尺度信息计算的准确率，提高尺度信息在实际应用场景(如图像拼接场景)中的使用效果，相对于双目相机或深度相机获取尺度信息的方式，节省了使用成本。

图4为本申请示例性实施例提供的一种图像处理设备的结构示意图。如图4所示，该设备包括：存储器44和处理器45。

存储器44，用于存储计算机程序，并可被配置为存储其它各种数据以支持在图像处理设备上的操作。这些数据的示例包括用于在图像处理设备上操作的任何应用程序或方法的指令。

存储器44可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

处理器45，与存储器44耦合，用于执行存储器44中的计算机程序，以用于：获取单目摄像头在目标物理空间包括的多个空间对象中采集到的多张单目全景图像；针对每张单目全景图像，对单目全景图像进行特定交界线检测，并根据检测到的特定交界线分割出单目全景图像中的地面区域；根据单目全景图像中的地面区域包含的2D特征点，获取地面区域在相机坐标系下对应的3D点云；根据3D点云中各3D点在相机坐标系下的坐标信息，计算在相机坐标系下单目摄像头与地面区域之间的第一高度信息；根据第一高度信息和单目摄像头在拍摄单目全景图像时位于世界坐标下的第二高度信息，确定单目全景图像的尺度信息。

在一可选实施例中，处理器45在根据单目全景图像中的地面区域包含的2D特征点，获取地面区域在相机坐标系下对应的3D点云时，具体用于：对单目全景图像进行特征提取，得到单目全景图像包含的2D特征点；从单目全景图像包含的2D特征点中，获取地面区域中的2D特征点；根据单目摄像头在拍摄单目全景图像与上一单目全景图像之间的深度变化信息，对地面区域中的2D特征点进行空间映射，得到地面区域在相机坐标系下对应的3D点云。

在一可选实施例中，处理器45在对单目全景图像进行特定交界线检测时，具体用于：将单目全景图像输入交界线识别模型，提取单目全景图像的像素特征，并针对横向维度上的每一像素维度，将其在纵向维度上对应的像素特征进行压缩，得到单目全景图像对应的一维特征，根据一维特征确定单目全景图像中的特定交界线，特定交界线为地面与墙体之间的交界线。

在一可选实施例中，处理器45在根据3D点云中各3D点在相机坐标系下的坐标信息，计算在相机坐标下单目摄像头与地面区域之间的第一高度信息时，具体用于：计算3D点云中各3D点在相机坐标系下的高度信息的均值作为高斯滤波均值，基于高斯滤波均值对各3D点在相机坐标系下的高度信息进行高斯滤波，以得到多个目标3D点；根据多个目标3D点在相机坐标系下的高度信息，计算在相机坐标系下单目摄像头与地面区域之间的第一高度信息。

在一可选实施例中，处理器45在根据多个目标3D点在相机坐标系下的高度信息，计算单目摄像头与地面区域之间在相机坐标系下的第一高度信息时，具体用于：根据多个目标3D点在相机坐标系下的高度信息，将多个目标3D点划分为N个特征组，不同特征组对应的高度范围不同，N是正整数；从N个特征组中选择目标3D点的数量超过设定数量阈值的特征组，作为目标特征组；根据目标特征组中第一3D点的高度范围，计算在相机坐标系下单目摄像头与地面区域之间的第一高度信息。

在一可选实施例中，处理器45还用于：针对任意相邻的两张单目全景图像，计算单目摄像头在拍摄两张单目全景图像时的相对位置关系；根据相对位置关系、多张单目全景图像的尺度信息以及多张单目全景图像包含的特定交界线，生成目标物理空间对应的平面户型图。

在一可选实施例中，处理器45在根据相对位置关系、多张单目全景图像的尺度信息及其包含的特定交界线，生成目标物理空间对应的平面户型图时，具体用于：从尚未参与户型图生成操作的单目全景图像中获取第一单目全景图像，将第一单目全景图像的尺度信息作为第一尺度信息，将当前局部户型图对应的尺度信息作为第二尺度信息，将已参与户型图生成操作的单目全景图像中与第一单目全景图像相邻的图像称为第二单目全景图像；分别利用第一尺度信息和第二尺度信息，结合第一单目全景图像和第二单目全景图像中包含的特定交界线，以及单目摄像头在拍摄第一单目全景图像和第二单目全景图像时的相对位置关系，在当前局部户型图上添加新的户型信息，得到第一尺度信息和第二尺度信息分别对应的第一户型图和第二户型图；根据第一户型图和第二户型图的质量参数，从中选择质量更好的户型图作为新的当前局部户型图，以及继续执行从尚未参与户型图生成操作的单目全景图像中获取第一单目全景图像的操作，直至全部单目全景图像均参与户型图生成操作为止，得到目标物理空间对应的平面户型图。

在一可选实施例中，处理器45还用于：第一户型图和第二户型图至少包括两个户型区域，分别根据第一户型图和第二户型图中不同户型区域的位置信息，计算第一户型图的质量参数和第二户型图的质量参数；质量参数包括不同户型区域的重叠度、不同户型区域中相应户型线段的平行度或者不同户型区域中相应户型线段的最短距离中的至少一种。

本申请实施例的图像处理设备，根据单目全景图像中的特定交界线，识别单目全景图像中的地面区域，将单目全景图像中地面区域的2D特征点转换为3D点云，基于3D点云计算在相机坐标系下单目摄像头与地面区域之间的第一高度信息，并计算在世界坐标系下单目摄像头与地面区域之间的第二高度信息，基于第一高度信息和第二高度信息确定单目全景图像的尺度信息。其中，基于单目全景图中的地面区域的3D点云，确定单目全景图像的尺度信息，可提高尺度信息计算的准确率，提高尺度信息在实际应用场景(如图像拼接场景)中的使用效果，相对于双目相机或深度相机获取尺度信息的方式，节省了使用成本。

进一步，如图4所示，该图像处理设备还包括：通信组件46、显示器47、电源组件48、音频组件49等其它组件。图4中仅示意性给出部分组件，并不意味着图像处理设备只包括图4所示组件。需要说明的是，图4中虚线框内的组件为可选组件，而非必选组件，具体可视图像处理设备的产品形态而定。

相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，当计算机程序被处理器执行时，致使处理器能够实现本申请实施例提供的图1所示方法中的各步骤。

上述图4中的通信组件被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络，如WiFi，2G、3G、4G/LTE、5G等移动通信网络，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

上述图4中的显示器包括屏幕，其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

上述图4中的电源组件，为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。

上述图4中的音频组件，可被配置为输出和/或输入音频信号。例如，音频组件包括一个麦克风(MIC)，当音频组件所在设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或经由通信组件发送。在一些实施例中，音频组件还包括一个扬声器，用于输出音频信号。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (9)

1.一种图像处理方法，其特征在于，包括：

获取单目摄像头在目标物理空间包括的多个空间对象中采集到的多张单目全景图像；

针对每张单目全景图像，对所述单目全景图像进行特定交界线检测，并根据检测到的特定交界线分割出所述单目全景图像中的地面区域；

根据所述单目全景图像中的地面区域包含的2D特征点，获取所述地面区域在相机坐标系下对应的3D点云；

根据所述3D点云中各3D点在相机坐标系下的坐标信息，计算在相机坐标系下所述单目摄像头与所述地面区域之间的第一高度信息；

根据所述第一高度信息和所述单目摄像头在拍摄所述单目全景图像时位于世界坐标下的第二高度信息，确定所述单目全景图像的尺度信息；

针对任意相邻的两张单目全景图像，计算所述单目摄像头在拍摄所述两张单目全景图像时的相对位置关系；

从尚未参与户型图生成操作的单目全景图像中获取第一单目全景图像，将所述第一单目全景图像的尺度信息作为第一尺度信息，将当前局部户型图对应的尺度信息作为第二尺度信息，将已参与户型图生成操作的单目全景图像中与所述第一单目全景图像相邻的图像称为第二单目全景图像；

分别利用所述第一尺度信息和第二尺度信息，结合所述第一单目全景图像和所述第二单目全景图像中包含的特定交界线，以及所述单目摄像头在拍摄所述第一单目全景图像和第二单目全景图像时的相对位置关系，在当前局部户型图上添加新的户型信息，得到所述第一尺度信息和第二尺度信息分别对应的第一户型图和第二户型图；

根据所述第一户型图和所述第二户型图的质量参数，从中选择质量更好的户型图作为新的当前局部户型图，以及继续执行从尚未参与户型图生成操作的单目全景图像中获取第一单目全景图像的操作，直至全部单目全景图像均参与户型图生成操作为止，得到所述目标物理空间对应的平面户型图。

2.根据权利要求1所述的方法，其特征在于，根据所述单目全景图像中的地面区域包含的2D特征点，获取所述地面区域在相机坐标系下对应的3D点云，包括：

对所述单目全景图像进行特征提取，得到所述单目全景图像包含的2D特征点；

从所述单目全景图像包含的2D特征点中，获取所述地面区域中的2D特征点；

根据所述单目摄像头在拍摄所述单目全景图像与上一单目全景图像之间的深度变化信息，对所述地面区域中的2D特征点进行空间映射，得到所述地面区域在相机坐标系下对应的3D点云。

3.根据权利要求1所述的方法，其特征在于，对所述单目全景图像进行特定交界线检测，包括：

将所述单目全景图像输入交界线识别模型，提取所述单目全景图像的像素特征，并针对横向维度上的每一像素维度，将其在纵向维度上对应的像素特征进行压缩，得到所述单目全景图像对应的一维特征，根据所述一维特征确定所述单目全景图像中的特定交界线，所述特定交界线为地面与墙体之间的交界线。

4.根据权利要求1所述的方法，其特征在于，根据所述3D点云中各3D点在相机坐标系下的坐标信息，计算在相机坐标下所述单目摄像头与所述地面区域之间的第一高度信息，包括：

计算所述3D点云中各3D点在相机坐标系下的高度信息的均值作为高斯滤波均值，基于所述高斯滤波均值对各所述3D点在相机坐标系下的高度信息进行高斯滤波，以得到多个目标3D点；

根据所述多个目标3D点在相机坐标系下的高度信息，计算在相机坐标系下所述单目摄像头与所述地面区域之间的第一高度信息。

5.根据权利要求4所述的方法，其特征在于，根据所述多个目标3D点在相机坐标系下的高度信息，计算所述单目摄像头与所述地面区域之间在相机坐标系下的第一高度信息，包括：

根据所述多个目标3D点在相机坐标系下的高度信息，将所述多个目标3D点划分为N个特征组，不同特征组对应的高度范围不同，N是正整数；

从所述N个特征组中选择目标3D点的数量超过设定数量阈值的特征组，作为目标特征组；

根据所述目标特征组中第一3D点的高度范围，计算在相机坐标系下所述单目摄像头与所述地面区域之间的第一高度信息。

6.根据权利要求1所述的方法，其特征在于，还包括：

所述第一户型图和所述第二户型图至少包括两个户型区域，分别根据所述第一户型图和第二户型图中不同户型区域的位置信息，计算所述第一户型图的质量参数和所述第二户型图的质量参数；所述质量参数包括不同户型区域的重叠度、不同户型区域中相应户型线段的平行度或者不同户型区域中相应户型线段的最短距离中的至少一种。

7.一种图像处理装置，其特征在于，包括：获取模块、检测模块、分割模块、计算模块、确定模块以及生成模块；

所述获取模块，用于获取单目摄像头在目标物理空间包括的多个空间对象中采集到的多张单目全景图像；

所述检测模块，用于针对每张单目全景图像，对所述单目全景图像进行特定交界线检测；所述分割模块，用于根据检测到的特定交界线分割出所述单目全景图像中的地面区域；

所述获取模块，还用于根据所述单目全景图像中的地面区域包含的2D特征点，获取所述地面区域在相机坐标系下对应的3D点云；

所述计算模块，用于根据所述3D点云中各3D点在相机坐标系下的坐标信息，计算在相机坐标系下所述单目摄像头与所述地面区域之间的第一高度信息；

所述确定模块，用于根据所述第一高度信息和所述单目摄像头在拍摄所述单目全景图像时位于世界坐标下的第二高度信息，确定所述单目全景图像的尺度信息；

所述计算模块还用于：针对任意相邻的两张单目全景图像，计算所述单目摄像头在拍摄所述两张单目全景图像时的相对位置关系；

所述生成模块，用于：从尚未参与户型图生成操作的单目全景图像中获取第一单目全景图像，将所述第一单目全景图像的尺度信息作为第一尺度信息，将当前局部户型图对应的尺度信息作为第二尺度信息，将已参与户型图生成操作的单目全景图像中与所述第一单目全景图像相邻的图像称为第二单目全景图像；分别利用所述第一尺度信息和第二尺度信息，结合所述第一单目全景图像和所述第二单目全景图像中包含的特定交界线，以及所述单目摄像头在拍摄所述第一单目全景图像和第二单目全景图像时的相对位置关系，在当前局部户型图上添加新的户型信息，得到所述第一尺度信息和第二尺度信息分别对应的第一户型图和第二户型图；根据所述第一户型图和所述第二户型图的质量参数，从中选择质量更好的户型图作为新的当前局部户型图，以及继续执行从尚未参与户型图生成操作的单目全景图像中获取第一单目全景图像的操作，直至全部单目全景图像均参与户型图生成操作为止，得到所述目标物理空间对应的平面户型图。

8.一种图像处理设备，其特征在于，包括：存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，与所述存储器耦合，用于执行所述计算机程序，以实现权利要求1-6任一项所述方法中的步骤。

9.一种存储有计算机程序的计算机可读存储介质，其特征在于，当所述计算机程序被处理器执行时，致使所述处理器实现权利要求1-6任一项所述方法中的步骤。

Images