CN112150529B - 一种图像特征点的深度信息确定方法及装置 - Google Patents

Abstract

公开了一种图像特征点的深度信息确定方法、装置、计算机可读存储介质和电子设备，该方法包括：判断当前帧图像是否满足第一预设条件，若满足第一预设条件，则根据深度预测模型，确定当前帧图像中的第一特征点对应的第一深度信息；获取当前帧图像对应的第一灰度信息和第一相机位姿；判断当前帧图像的后续帧图像是否满足第一预设条件，若当前帧图像的后续帧图像不满足第一预设条件，获取后续帧图像对应的第二灰度信息及第二相机位姿；根据第一灰度信息、第二灰度信息、第一相机位姿、第二相机位姿和第一深度信息，获取优化的第一深度信息。本申请通过深度预测模型获取图像特征点的深度信息，进一步获取优化的深度信息，该深度信息的准确性较高。

Description

一种图像特征点的深度信息确定方法及装置

技术领域

本申请涉及图像处理技术领域，且更具体地，涉及一种图像特征点的深度信息确定方法及装置。

背景技术

在对空间中的场景结构进行三维重建时，获取空间中的场景结构的相关信息是至关重要的，各种传感器被广泛的应用于采集场景结构的相关信息中，其中，相机因其低廉的价格和拍摄出的图像携带有丰富的场景结构的相关信息受到越来越多的关注。

而相机拍摄图像是将空间中的具有三维信息的空间点转换为图像中具有二维信息的像素点的过程，因此利用相机对场景结构的相关信息进行采集时会丢失空间点的一维信息即深度信息，而目前对于相机采集到的图像中的像素点对应的深度信息进行估计时常常带有尺度不确定性，从而导致确定出的图像特征点的深度信息准确性不高。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种图像特征点的深度信息确定方法、装置、计算机可读存储介质及电子设备，其通过深度预测模型得到图像特征点的深度信息，并基于图像的灰度信息对深度信息进行优化以得到优化的深度信息，该优化的深度信息准确性较高。

根据本申请的第一方面，提供了一种图像特征点的深度信息确定方法，包括：

判断当前帧图像是否满足第一预设条件，若满足所述第一预设条件，则根据预先获取的深度预测模型，确定所述当前帧图像中的第一特征点对应的第一深度信息；

获取所述当前帧图像对应的第一灰度信息和第一相机位姿；

判断所述当前帧图像的后续帧图像是否满足所述第一预设条件，若所述当前帧图像的后续帧图像不满足所述第一预设条件，获取所述后续帧图像对应的第二灰度信息及第二相机位姿；

根据所述第一灰度信息、第二灰度信息、第一相机位姿、第二相机位姿和所述第一深度信息，获取优化的第一深度信息。

根据本申请的第二方面，提供了一种图像特征点的深度信息确定装置，包括：

深度信息确定模块，用于判断当前帧图像是否满足第一预设条件，若满足所述第一预设条件，则根据预先获取的深度预测模型，确定所述当前帧图像中的第一特征点对应的第一深度信息；

第一获取模型，用于获取所述当前帧图像对应的第一灰度信息和第一相机位姿；

第二获取模型，用于判断所述当前帧图像的后续帧图像是否满足所述第一预设条件，若所述当前帧图像的后续帧图像不满足所述第一预设条件，获取所述后续帧图像对应的第二灰度信息及第二相机位姿；

优化模块，用于根据所述第一灰度信息、第二灰度信息、第一相机位姿、第二相机位姿和所述第一深度信息，获取优化的第一深度信息。

根据本申请的第三方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述的图像特征点的深度信息确定方法。

根据本申请的第四方面，提供了一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述的图像特征点的深度信息确定方法。

与现有技术相比，本申请提供的图像特征点的深度信息确定方法、装置、计算机可读存储介质及电子设备，至少包括以下有益效果：

一方面，本实施例通过利用深度预测模型获取图像特征点的深度信息，该深度信息具有绝对尺度，即可以反映出空间中结构场景的真实物理尺度，然后基于图像对应的灰度信息和相机位姿对图像特征点的深度信息进行优化，得到优化的深度信息，该优化的深度信息准确性较高。

另一方面，本实施例对采集到的图像进行判断，只有在采集到的图像满足预设条件时才会利用深度预测模型确定图像特征点的深度信息，避免对全部采集到的图像根据深度预测模型进行深度预测，可以有效地降低计算量，提高图像特征点的深度信息的确定效率。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是本申请一示例性实施例提供的图像特征点的深度信息确定方法的流程示意图；

图2是本申请一示例性实施例提供的图像特征点的深度信息确定方法步骤20前还包括的流程示意图；

图3是本申请一示例性实施例提供的图像特征点的深度信息确定方法中步骤20的流程示意图；

图4是本申请一示例性实施例提供的图像特征点的深度信息确定方法中步骤80的流程示意图；

图5是本申请一示例性实施例提供的图像特征点的深度信息确定方法中步骤801的流程示意图；

图6是本申请一示例性实施例提供的图像特征点的深度信息确定方法中步骤802后还包括的流程示意图；

图7是本申请第一种示例性实施例提供的图像特征点的深度信息确定装置的结构示意图；

图8是本申请第二种示例性实施例提供的图像特征点的深度信息确定装置的结构示意图；

图9是本申请第三种示例性实施例提供的图像特征点的深度信息确定装置的结构示意图；

图10是本申请第四种示例性实施例提供的图像特征点的深度信息确定装置的结构示意图；

图11是本申请第四种示例性实施例提供的图像特征点的深度信息确定装置中优化单元741的结构示意图；

图12是本申请第五种示例性实施例提供的图像特征点的深度信息确定装置的结构示意图；

图13是本申请第五种示例性实施例提供的图像特征点的深度信息确定装置中地图构建单元743的结构示意图；

图14是本申请一示例性实施例提供的电子设备的结构图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

申请概述

对空间中场景结构的相关信息的采集对实现三维重建是至关重要的，相机因其低廉的价格和拍摄出的图像携带有丰富的场景结构的相关信息引起了越来越多的人关注，而利用相机拍摄出的图像只能获取到图像空间信息，不能获取对应的深度信息。目前对图像空间信息对应的深度信息进行估计时，得到的深度信息带有尺度不确定性，从而导致确定出的图像特征点的深度信息准确性不高。

本实施例提供的图像特征点的深度信息确定方法，通过利用深度预测模型获取图像特征点的深度信息，该深度信息具有绝对尺度，即可以反映出空间中结构场景的真实物理尺度，以深度预测模型获取的图像特征点的深度信息为初始值，基于图像对应的灰度信息和相机位姿对该初始值进行优化，得到优化的深度信息，从而使得该优化的深度信息具有绝对尺度，即该优化的深度信息准确性较高。不仅如此，本实施例通过对采集到的图像进行判断，避免对全部采集到的图像根据深度预测模型进行深度预测，可以有效地降低计算量，从而提高图像特征点的深度信息确定效率。

在介绍本申请的基本构思之后，下面将结合附图来具体介绍本申请所述提供技术方案的各种非限制性实施例。

示例性方法

图1是本申请一示例性实施例提供的图像特征点的深度信息确定方法的流程示意图。

本实施例可应用在电子设备上，具体可以应用于服务器或一般计算机上。如图1所示，本申请一示例性实施例提供的图像特征点的深度信息确定方法至少包括如下步骤：

步骤20：判断当前帧图像是否满足第一预设条件，若满足第一预设条件，则根据预先获取的深度预测模型，确定当前帧图像中的第一特征点对应的第一深度信息。

本实施例中通过第一预设条件对当前帧图像进行判断，只有在当前帧图像满足第一预设条件时，才可以根据深度预测模型确定当前帧图像中的第一特征点对应的第一深度信息，避免对相机采集到的全部图像根据深度预测模型进行深度预测，可以有效地减少计算量，提高图像特征点的深度信息确定效率。

在一种可能的实现方式中，深度预测模型利用的是卷积神经网络技术，利用卷积神经网络对训练样本进行训练，根据输入的图像，获取图像中的像素点对应的深度信息，该深度信息具有绝对尺度，可以反映出空间中结构场景的真实物理尺度。

具体地，第一预设条件对应关键帧图像的生成条件，即若当前帧图像满足第一预设条件则确定当前帧图像为关键帧图像。例如，可以预设间隔帧数，每当当前帧图像与上一关键帧图像间的间隔帧数达到预设间隔帧数时，则当前帧图像满足第一预设条件；或可以根据当前帧图像对应的相机位姿与上一关键帧图像对应的相机位姿计算欧式距离，并与第一预设阈值进行比较，当计算得到的欧式距离大于第一预设阈值时，则当前帧图像满足第一预设条件；在本实施例中，还可以对当前帧图像进行语义分割，从而可以根据当前帧图像对应的语义信息和上一关键帧图像对应的语义信息间的光度差异判断是否确定当前帧图像为关键帧图像，当该光度差异大于第二预设阈值时，则当前帧图像满足第一预设条件。本实施例中对第一预设条件的内容不作限定，只要可以判断当前帧图像是否可以成为关键帧图像即可。

步骤40：获取当前帧图像对应的第一灰度信息和第一相机位姿。

相机采集到的图像通常为彩色图像，不利于计算机的识别和后续计算，因此通常需要对当前帧图像进行预处理，获取当前帧图像对应的第一灰度信息，根据当前帧图像的第一灰度信息可以确定当前帧图像对应的空间中场景结构的相关信息。

由于利用深度预测模型确定的第一深度信息的准确性较低，因此需要对第一深度信息进行优化。本实施例中基于多帧图像对应的相机位姿实现对第一深度信息的优化，因此需要获取当前帧图像对应的第一相机位姿。

步骤60：判断当前帧图像的后续帧图像是否满足第一预设条件，若当前帧图像的后续帧图像不满足第一预设条件，获取后续帧图像对应的第二灰度信息及第二相机位姿。

存在满足第一预设条件的当前帧图像，并确定了当前帧图像中的第一特征点对应的第一深度信息，因此在当前帧图像的后续帧图像不满足第一预设条件时，利用后续帧图像对第一深度信息进行优化，因此需要获取后续帧图像对应的第二灰度信息及第二相机位姿。

步骤80：根据第一灰度信息、第二灰度信息、第一相机位姿、第二相机位姿和第一深度信息，获取优化的第一深度信息。

在获取当前帧图像中的第一特征点对应的第一深度信息后，以该第一深度信息为第一特征点的深度信息的初始值，根据满足第一预设条件的当前帧图像对应的第一相机位姿和不满足第一预设条件的后续帧图像对应的第二相机位姿确定第一特征点的深度分布，以获取优化的第一深度信息。值得注意的是，在当前帧图像满足第一预设条件时，会有至少一帧当前帧图像的后续帧图像不满足第一预设条件，则会根据每一帧后续帧图像对当前帧图像中的第一特征点对应的第一深度信息进行优化，因此对第一深度信息的优化是不断进行的。

需要说明的是，相机采集到的任意一张图像都可以成为本实施例中提及的当前帧图像，例如，当前帧图像对应首帧图像时，当前帧图像满足第一预设条件，则确定首帧图像中的第一特征点对应的第一深度信息，则在第二帧图像和第三帧图像作为当前帧图像的后续帧图像，且第二帧图像和第三帧图像不满足第一预设条件时，分别利用第二帧图像和第三帧图像对第一深度信息进行优化。

在本实施例中，存在对当前帧图像进行判断时，发现当前帧图像不满足第一预设条件的情况，则此时获取当前帧图像对应的第一灰度信息和第一相机位姿，如果在当前帧图像前存在上一帧关键帧图像，且根据深度预测模型确定了上一帧关键帧图像中特征点对应的深度信息，因此利用不满足第一预设条件的当前帧图像对应的第一灰度信息和第一相机位姿对上一帧关键帧图像中的特征点对应的深度信息进行优化，即此时的当前帧图像作为上一帧关键帧图像的后续帧图像。还存在对当前帧图像的后续帧图像进行判断时，发现后续帧图像满足第一预设条件的情况，则根据预先获取的深度预测模型，确定满足第一预设条件的后续帧图像中的特征点对应的深度信息，并利用后续帧图像后的图像对后续帧图像中特征点对应的深度信息进行优化。

综上所述，在获取到一帧图像时，判断图像是否满足第一预设条件，若满足第一预设条件，则根据预先获取的深度预测模型，确定图像中的特征点对应的深度信息，并利用后续不满足第一预设条件的图像对得到的深度信息进行优化；若不满足第一预设条件，则根据图像的灰度信息和相机位姿对上一帧关键帧图像中特征点对应的深度信息进行优化，因此在获取到一帧图像后，该图像可能用于确定特征点的深度信息，或者用于对上一帧关键帧图像的深度信息进行优化，不断循环迭代。

本实施例提供的图像特征点的深度信息确定方法的有益效果至少在于：

一方面，本实施例通过利用深度预测模型获取图像特征点的深度信息，该深度信息具有绝对尺度，即可以反映出空间中结构场景的真实物理尺度，然后基于图像对应的灰度信息和相机位姿对图像特征点的深度信息进行优化，得到优化的深度信息，该优化的深度信息准确性较高。

另一方面，本实施例对采集到的图像进行判断，只有在采集到的图像满足预设条件时才会利用深度预测模型确定图像特征点的深度信息，避免对全部采集到的图像根据深度预测模型进行深度预测，可以有效地降低计算量，提高图像特征点的深度信息的确定效率。

图2示出了如图1所示的实施例中在判断当前帧图像是否满足第一预设条件前还包括的流程示意图。

如图2所示，在上述图1所示实施例的基础上，本申请一个示例性实施例中，步骤20所示的在判断当前帧图像是否满足第一预设条件步骤前，具体还可以包括如下步骤：

步骤101：获取先前帧图像的第三相机位姿，先前帧图像满足第一预设条件。

在利用不同帧图像对应的相机位姿对第一深度信息进行优化时，准确的相机位姿可以使得获取到的优化的第一深度信息准确性更高，因此在获取到当前帧图像时，需要确定较为准确的第一相机位姿，本实施例中以先前帧图像为关键帧图像，利用先前帧图像的第三相机位姿确定当前帧图像的第一相机位姿。

步骤102：确定先前帧图像的第二特征点，第二特征点为先前帧图像中灰度梯度满足第二预设条件的至少一个特征点。

本实施例基于光度不变假设确定当前帧图像对应的第一相机位姿，因此需要确定先前帧图像中的第二特征点即关键点，通常可以根据灰度梯度进行特征点的选取，设定第三预设阈值，在灰度梯度大于第三预设阈值时，确定该灰度梯度对应的像素点为特征点。需要说明是，因为先前帧图像满足第一预设条件，因此确定过先前帧图像中的特征点的深度信息，此处的第二特征点可以为确定了深度信息的特征点，则可以避免在同一帧图像中进行多次的特征点的选取。

步骤103：获取第二特征点的第三灰度信息，并获取第二特征点投影在当前帧图像上的第一投影点对应的第一灰度信息。

根据光度不变假设，即同一空间点在连续帧图像中的像素点的光度值相同，因此要确定当前帧图像对应的第一相机位姿，需要确定第二特征点的第三灰度信息，并完成第二特征点从先前帧图像到当前帧图像的投影，确定第一投影点对应的第一灰度信息。

步骤104：根据先前帧图像对应的第三相机位姿、第三灰度信息和第一投影点对应的第一灰度信息间的第一灰度误差函数，确定当前帧图像对应的第一相机位姿。

第二特征点和第一投影点对应的为同一个空间点，因此根据光度不变假设，理论上第二特征点对应的第三灰度信息和第一投影点对应的第一灰度信息应该是相同的，但实际中可能因为确定第一投影点的过程中利用的相机位姿准确性不高等问题，导致第二特征点对应的第三灰度信息和第一投影点对应的第一灰度信息往往存在较大的差距，因此构建第二特征点对应的第三灰度信息和第一投影点对应的第一灰度信息间的第一灰度误差函数，通过最小化第一灰度误差函数确定出当前帧图像对应的第一相机位姿，得到的第一相机位姿的相对较为准确，从而使得利用第一相机位姿获取的优化的第一深度信息的准确性较高。

在一种可能的实现方式中，获取当前帧图像对应的粗略相机位姿，该粗略相机位姿可以根据各种定位装置获取，如惯性测量单元和卫星定位装置，则以该粗略相机位姿为初始值，利用先前帧图像对应的第三相机位姿和最小灰度误差法对粗略相机位姿进行优化，以确定当前帧图像对应的第一相机位姿。

需要说明的是，在获取后续帧图像对应的第二相机位姿前，还包括：获取当前帧图像中的第一特征点投影在后续帧图像上的第三投影点对应的第二灰度信息；根据当前帧图像对应的第一相机位姿、第一特征点对应的第一灰度信息和第三投影点对应的第二灰度信息，确定后续帧图像对应的第二相机位姿。也就是说在获取到一帧图像后，可以首先根据上一帧关键帧图像确定图像对应的相机位姿。

本实施例中，在判断当前帧图像是否满足第一预设条件前，基于光度不变假设，利用先前帧图像的第三相机位姿完成第二特征点对应的第三灰度信息和第一投影点对应的第一灰度信息间的第一灰度误差函数的最小化，以确定出当前帧图像的第一相机位姿，该第一相机位姿的准确性相对较高，从而使得利用第一相机位姿获取到的优化的第一深度信息的准确性较高。

图3示出了如图1所示的实施例中根据预先获取的深度预测模型，确定当前帧图像中的第一特征点对应的第一深度信息的流程示意图。

如图3所示，在上述图1所示实施例的基础上，本申请一个示例性实施例中，步骤20所示的确定当前帧图像中的第一特征点对应的第一深度信息步骤，具体可以包括如下步骤：

步骤201：根据预先获取的深度预测模型，确定当前帧图像中的像素点的第一深度信息。

深度预测模型是基于卷积神经网络实现的深度预测，通过卷积神经网络对训练样本进行训练，根据输入的图像，输出图像中的像素点对应的深度信息，因此利用深度预测模型会确定出当前帧图像中的所有的像素点的第一深度信息，即会得到当前帧图像对应的深度图。

步骤202：根据当前帧图像中的像素点的灰度梯度，在像素点中选取出第一特征点。

虽然利用深度预测模型确定出的是当前帧图像中的所有像素点的第一深度信息，但是并不需要对所有像素点的第一深度信息进行优化，因此需要在像素点中进行选取，选取出第一特征点，可以根据当前图像中的像素点的灰度梯度对第一特征点进行选取，将灰度梯度大于第三预设阈值的像素点确定为第一特征点，进行第一特征点的选取可以有效地提高优化的第一深度信息的确定效率。

步骤203：确定第一特征点对应的第一深度信息。

在选取出第一特征点后，确定第一特征点对应的第一深度信息。

本实施例中，在利用深度预测模型确定了当前帧图像中的像素点的第一深度信息后，因为当前帧图像中并不是所有的像素点都对应有效信息，因此需要在当前帧图像中确定出第一特征点，从而保证当前帧图像中的有效信息进入到后续的进程，从而避免对全部像素点对应的第一深度信息进行优化，有利于提高第一深度信息的确定效率。

图4示出了如图1所示的实施例中根据第一灰度信息、第二灰度信息、第一相机位姿、第二相机位姿和第一深度信息，获取优化的第一深度信息的流程示意图。

如图4所示，在上述图1所示实施例的基础上，本申请一个示例性实施例中，步骤80所示的获取优化的第一深度信息步骤，具体可以包括如下步骤：

步骤801：根据第一灰度信息、第二灰度信息、第一相机位姿和第二相机位姿获取优化的第一相机位姿和优化的第二相机位姿。

在确定优化的第一深度信息时，利用的相机位姿的准确性会直接影响到确定的优化的第一深度信息的准确性，因此在确定优化的第一深度信息之前，先对第一相机位姿和第二相机位姿进行优化以得到优化的第一相机位姿和优化的第二相机位姿。

步骤802：根据优化的第一相机位姿、优化的第二相机位姿和第一深度信息，获取优化的第一深度信息。

在得到优化的第一相机位姿和优化的第二相机位姿后，通过不同相机位姿间的几何关系实现对第一深度信息的优化，以得到优化的第一深度信息。

本实施例中对第一相机位姿和第二相机位姿进行优化，得到优化的第一相机位姿和优化的第二相机位姿，从而保证利用优化的第一相机位姿和第二相机位姿确定的优化的第一深度信息的准确性较高。

图5示出了如图4所示的实施例中根据第一灰度信息、第二灰度信息、第一相机位姿和第二相机位姿，获取优化的第一相机位姿和优化的第二相机位姿的流程示意图。

如图5所示，在上述图4所示实施例的基础上，本申请一个示例性实施例中，步骤801所示的获取优化的第一相机位姿和优化的第二相机位姿步骤，具体可以包括如下步骤：

步骤8011：获取第一特征点投影在后续帧图像上的第二投影点对应的第二灰度信息。

本实施例基于光度不变假设实现对第一相机位姿和第二相机位姿的优化，并根据当前帧图像的第一相机位姿和后续帧图像的第二相机位姿完成当前帧图像中的第一特征点投影到后续帧图像的过程。具体地，确定第一特征点在当前帧图像中的像素坐标，根据相机的内部参数，完成从当前帧图像中的像素坐标到第一相机位姿对应的相机坐标系的转换，然后从第一相机位姿对应的相机坐标系转换到第二相机位姿对应的相机坐标系，再次根据相机的内部参数，完成从第二相机位姿对应的相机坐标系投影到后续帧图像中像素坐标的过程，从而获取到第二投影点对应的第二灰度信息。

步骤8012：根据第一特征点的第一灰度信息和第二投影点的第二灰度信息，建立第二灰度误差函数。

第一特征点和第二投影点对应的是同一空间点，因此建立第一特征点的第一灰度信息和第二投影点的第二灰度信息间的第二灰度误差函数。

步骤8013：根据第一相机位姿和第二相机位姿，确定第二灰度误差函数满足第三预设条件的优化的第一相机位姿和优化的第二相机位姿。

调整第一相机位姿和第二相机位姿使得第二灰度误差函数的值最小，此时对应的第一相机位姿和第二相机位姿即为优化的第一相机位姿和优化的第二相机位姿。

本实施例中，基于光度不变假设完成对第一相机位姿和第二相机位姿的优化，通过最小化第一特征点对应的第一灰度信息和第二投影点的第二灰度信息的第二灰度误差函数确定优化的第一相机位姿和优化的第二相机位姿，使得确定出的优化的第一相机位姿和优化的第二相机位姿的准确性较高，从而提高利用优化的第一相机位姿和优化的第二相机位姿确定的优化的第一深度信息的准确性。

图6示出了如图4所示的实施例中获取优化的第一深度信息后还包括的流程示意图。

如图6所示，在上述图4所示实施例的基础上，本申请一个示例性实施例中，步骤802所示的获取优化的第一深度信息后步骤后，具体还可以包括如下步骤：

步骤8031：确定至少一帧先前帧图像各自对应的第四相机位姿，先前帧图像满足第一预设条件。

本实施例要实现的是利用关键帧图像进行高精地图的构建，在通过相机对空间中的场景结构的相关信息进行采集时，会得到大量的图像，其中会存在有重复帧图像，例如，车辆行驶过程中遇见了红灯或拥堵等情况，因此并不需要利用所有帧图像进行高精地图的构建，从而可以根据第一预设条件在所有帧图像中选取出先前帧图像即关键帧图像，可以通过设置第一预设条件使得各帧先前帧图像对应的空间中的场景结构具有较多的差别，从而提高高精地图的构建效率。

在一种可能的实现方式中，在获取到各个第四相机位姿后，利用各个先前帧图像对应的第三特征点对应的第四灰度信息，基于光度不变假设，完成对先前帧图像对应的第四相机位姿的进一步优化更新，从而使得利用优化更新后的第四相机位姿进行高精地图的构建时，得到的高精地图的准确性更高。

步骤8032：确定至少一帧先前帧图像各自对应的第三特征点。

即使各个先前帧图像均为关键帧图像，在先前帧图像中也并不是所有的像素点均携带有有效信息，因此需要在各个先前帧图像中确定出各自对应的第三特征点。

步骤8033：获取第三特征点的第四灰度信息和第二深度信息。

因为所有的先前帧图像均满足第一预设条件，即所有的先前帧图像均根据深度预测模型，确定过先前帧图像中的第三特征点对应的第二深度信息，因此在确定了第三特征点后即可以获取到第三特征点对应的第二深度信息；在获取到第三特征点后，直接对第三特征点的像素坐标对应的灰度值进行读取即可以获取到第三特征点的第四灰度信息。在一种可能的实现方式中，在基于光度不变假设完成对各帧先前帧图像对应的第四相机位姿优化更新后，进一步利用优化更新后的第四相机位姿对各个第三特征点对应的第二深度信息进行优化，从而保证确定的第二深度信息更加准确性。在获取到第三特征点后，直接对第三特征点的像素坐标对应的灰度值进行读取即可以获取到第三特征点的第四灰度信息。

步骤8034：根据第三特征点的第四灰度信息、第二深度信息、第四相机位姿和第一特征点的第一灰度信息、优化的第一深度信息、优化的第一相机位姿，构建高精地图。

第三特征点和第一特征点分别为先前帧图像和当前帧图像的关键点，在获取了各个关键点对应的相机位姿、灰度信息和深度信息后即可以进行高精地图的构建。

在本实施例中，利用各关键帧中的关键点进行高精地图的构建可以有效地提高高精地图的构建效率；并且用于构建高精地图的第二深度信息和第一深度信息具有绝对尺度，使得构建出的高精地图具有绝对尺度，可以反映出空间中结构场景的真实物理尺度；同时用于构建高精地图各个第四相机位姿和优化的第一相机位姿均是对相机位姿进行了优化得到的，从而第四相机位姿和优化的第一相机位姿具有一定程度上的准确性，使得构建出的高精地图具有较高的准确性。

示例性装置

基于与本申请方法实施例相同的构思，本申请实施例还提供了一种图像特征点的深度信息确定装置

图7示出了本申请一示例性实施例提供的图像特征点的深度信息确定装置的结构示意图。

如图7所示，本申请一示例性实施例提供的图像特征点的深度信息确定装置，包括：

深度信息确定模块71，用于判断当前帧图像是否满足第一预设条件，若满足所述第一预设条件，则根据预先获取的深度预测模型，确定所述当前帧图像中的第一特征点对应的第一深度信息；

第一获取模块72，用于获取所述当前帧图像对应的第一灰度信息和第一相机位姿；

第二获取模块73，用于判断所述当前帧图像的后续帧图像是否满足所述第一预设条件，若所述当前帧图像的后续帧图像不满足所述第一预设条件，获取所述后续帧图像对应的第二灰度信息及第二相机位姿；

优化模块74，用于根据所述第一灰度信息、第二灰度信息、第一相机位姿、第二相机位姿和所述第一深度信息，获取优化的第一深度信息。

如图8所示，在一个示例性实施例中，图像特征点的深度信息确定装置还包括相机位姿确定模块70，所述相机位姿确定模块70包括：

第一获取单元701，用于获取先前帧图像的第三相机位姿，所述先前帧图像满足第一预设条件；

特征点确定单元702，用于确定所述先前帧图像的第二特征点，所述第二特征点为所述先前帧图像中灰度梯度满足第二预设条件的至少一个特征点；

第二获取单元703，用于获取所述第二特征点的第三灰度信息，并获取所述第二特征点投影在所述当前帧图像上的第一投影点对应的第一灰度信息；

相机位姿确定单元704，用于根据所述先前帧图像对应的第三相机位姿、所述第三灰度信息和所述第一投影点对应的第一灰度信息间的第一灰度误差函数，确定所述当前帧图像对应的第一相机位姿。

如图9所示，在一个示例性实施例中，深度信息确定模块71，包括：

第三获取单元711，用于根据预先获取的深度预测模型，确定当前帧图像中的像素点的第一深度信息；

特征点选取单元712，用于根据当前帧图像中的像素点的灰度梯度，在像素点中选取出第一特征点；

深度信息确定单元713，用于确定第一特征点对应的第一深度信息。

如图10所示，在一个示例性实施例中，优化模块74，包括：

优化单元741，用于根据第一灰度信息、第二灰度信息、第一相机位姿和第二相机位姿获取优化的第一相机位姿和优化的第二相机位姿；

第四获取单元742，用于根据优化的第一相机位姿、优化的第二相机位姿和第一深度信息，获取优化的第一深度信息。

如图11所示，在一个示例性实施例中，优化单元741，包括：

投影点获取子单元7411，用于获取第一特征点投影在后续帧图像上的第二投影点对应的第二灰度信息；

函数建立子单元7412，用于根据第一特征点的第一灰度信息和第二投影点的第二灰度信息，建立第二灰度误差函数；

优化子单元7413，用于根据第一相机位姿和第二相机位姿，确定第二灰度误差函数满足第三预设条件的优化的第一相机位姿和优化的第二相机位姿。

如图12及图13所示，在一个示例性实施例中，优化模块74还包括，地图构建单元743，所述地图构建单元743包括：

第一确定子单元7431，用于确定至少一帧先前帧图像各自对应的第四相机位姿，先前帧图像满足第一预设条件；

第二确定子单元7432，用于确定至少一帧先前帧图像各自对应的第三特征点；

获取子单元7433，用于获取第三特征点的第四灰度信息和第二深度信息；

地图构建子单元7434，用于根据第三特征点的第四灰度信息、第二深度信息、第四相机位姿和第一特征点的第一灰度信息、优化的第一深度信息、优化的第一相机位姿，构建高精地图。

示例性电子设备

图14图示了根据本申请实施例的电子设备的框图。

如图14所示，电子设备100包括一个或多个处理器101和存储器102。

处理器101可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备100中的其他组件以执行期望的功能。

存储器102可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器101可以运行所述程序指令，以实现上文所述的本申请的各个实施例的图像特征点的深度信息确定方法以及/或者其他期望的功能。

在一个示例中，电子设备100还可以包括：输入装置103和输出装置104，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

当然，为了简化，图14中仅示出了该电子设备100中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备100还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的图像特征点的深度信息确定方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的图像特征点的深度信息确定方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种图像特征点的深度信息确定方法，包括：

判断当前帧图像是否满足第一预设条件，若满足所述第一预设条件，则根据预先获取的深度预测模型，确定所述当前帧图像中的第一特征点对应的第一深度信息；

获取所述当前帧图像对应的第一灰度信息和第一相机位姿；

判断所述当前帧图像的后续帧图像是否满足所述第一预设条件，若所述当前帧图像的后续帧图像不满足所述第一预设条件，获取所述后续帧图像对应的第二灰度信息及第二相机位姿；

根据所述第一灰度信息、第二灰度信息、第一相机位姿、第二相机位姿和所述第一深度信息，获取优化的第一深度信息。

2.根据权利要求1所述的方法，其中，在所述判断当前帧图像是否满足第一预设条件前，还包括：

获取先前帧图像的第三相机位姿，所述先前帧图像满足第一预设条件；

确定所述先前帧图像的第二特征点，所述第二特征点为所述先前帧图像中灰度梯度满足第二预设条件的至少一个特征点；

获取所述第二特征点的第三灰度信息，并获取所述第二特征点投影在所述当前帧图像上的第一投影点对应的第一灰度信息；

根据所述先前帧图像对应的第三相机位姿、所述第三灰度信息和所述第一投影点对应的第一灰度信息间的第一灰度误差函数，确定所述当前帧图像对应的第一相机位姿。

3.根据权利要求1所述的方法，其中，所述根据所述第一灰度信息、第二灰度信息、第一相机位姿、第二相机位姿和所述第一深度信息，获取优化的第一深度信息，包括：

根据所述第一灰度信息、第二灰度信息、第一相机位姿和第二相机位姿，获取优化的第一相机位姿和优化的第二相机位姿；

根据所述优化的第一相机位姿、所述优化的第二相机位姿和所述第一深度信息，获取优化的第一深度信息。

4.根据权利要求3所述的方法，其中所述根据所述第一灰度信息、第二灰度信息、第一相机位姿和第二相机位姿获取优化的第一相机位姿和优化的第二相机位姿，包括：

获取所述第一特征点投影在所述后续帧图像上的第二投影点对应的第二灰度信息；

根据所述第一特征点的第一灰度信息和所述第二投影点的第二灰度信息，建立第二灰度误差函数；

根据所述第一相机位姿和所述第二相机位姿，确定所述第二灰度误差函数满足第三预设条件的优化的第一相机位姿和优化的第二相机位姿。

5.根据权利要求3所述的方法，所述获取优化的第一深度信息后，还包括：

确定至少一帧先前帧图像各自对应的第四相机位姿，所述先前帧图像满足所述第一预设条件；

确定所述至少一帧先前帧图像各自对应的第三特征点；

获取所述第三特征点的第四灰度信息和第二深度信息；

根据所述第三特征点的所述第四灰度信息、所述第二深度信息、所述第四相机位姿和所述第一特征点的所述第一灰度信息、所述优化的第一深度信息、所述优化的第一相机位姿，构建高精地图。

6.根据权利要求1-5任一项所述的方法，其中，所述根据预先获取的深度预测模型，确定所述当前帧图像中的第一特征点对应的第一深度信息，包括：

根据预先获取的深度预测模型，确定所述当前帧图像中的像素点的第一深度信息；

根据当前帧图像中的像素点的灰度梯度，在所述像素点中选取出第一特征点；

确定所述第一特征点对应的第一深度信息。

7.一种图像特征点的深度信息确定装置，包括：

深度信息确定模块，用于判断当前帧图像是否满足第一预设条件，若满足所述第一预设条件，则根据预先获取的深度预测模型，确定所述当前帧图像中的第一特征点对应的第一深度信息；

第一获取模型，用于获取所述当前帧图像对应的第一灰度信息和第一相机位姿；

第二获取模型，用于判断所述当前帧图像的后续帧图像是否满足所述第一预设条件，若所述当前帧图像的后续帧图像不满足所述第一预设条件，获取所述后续帧图像对应的第二灰度信息及第二相机位姿；

优化模块，用于根据所述第一灰度信息、第二灰度信息、第一相机位姿、第二相机位姿和所述第一深度信息，获取优化的第一深度信息。

8.根据权利要求7所述的装置，其中，还包括：相机位姿确定模块；

所述相机位姿确定模块，包括：

第一获取单元，用于获取先前帧图像的第三相机位姿，所述先前帧图像满足第一预设条件；

特征点确定单元，用于确定所述先前帧图像的第二特征点，所述第二特征点为所述先前帧图像中灰度梯度满足第二预设条件的至少一个特征点；

第二获取单元，用于获取所述第二特征点的第三灰度信息，并获取所述第二特征点投影在所述当前帧图像上的第一投影点对应的第一灰度信息；

相机位姿确定单元，用于根据所述先前帧图像对应的第三相机位姿、所述第三灰度信息和所述第一投影点对应的第一灰度信息间的第一灰度误差函数，确定所述当前帧图像对应的第一相机位姿。

9.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-6任一所述的图像特征点的深度信息确定方法。

10.一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-6任一所述的图像特征点的深度信息确定方法。