CN114898074A - 三维信息确定方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开是关于一种三维信息确定方法、装置及电子设备，其方法包括：获取目标视频；确定第一图像帧中外立面的第一平面信息；确定第一图像帧中外立面在第一坐标系中的第一三维信息；将第二图像帧与第一图像帧进行特征匹配，得到第二图像帧的第二三维信息；确定第二图像帧中外立面的第二平面信息，将第二平面信息与第一平面信息进行融合，得到融合后的平面信息，并确定新增的三维信息；将第二三维信息和新增的三维信息确定为第二图像帧在第一坐标系的目标三维信息。通过将跟踪结果与第一坐标系中第二图像帧相对于第一图像帧新增的三维信息相融合，得到第二图像帧中目标对象的三维信息，从而可以实现在运动过程中连续获取目标对象的三维信息。

Description

三维信息确定方法、装置、电子设备及存储介质

技术领域

本公开涉及图像处理技术领域，尤其涉及一种三维信息确定方法、装置、电子设备及存储介质。

背景技术

随着科技的不断发展和互联网的普及，在一些虚拟现实场景任务中，需获取对象的三维信息。例如，在AR领域，通常需要预测对象外立面相对于自身的位置以及对象形状等，来恢复对象外立面三维信息，以便更好的在对象上叠加虚拟效果，如实现向对象表面喷油漆等效果。

然而，相关技术在确定对象的三维信息时，通常分别将单个图像帧输入到神经网络，以预测每个图像帧中对象外立面的三维信息，在视频流中预测不稳定，预测结果不存在时间与空间上的连续性，即无法在运动过程中连续获取对象外立面的三维信息。

发明内容

为克服相关技术中存在的问题，本公开提供一种三维信息确定方法、装置、电子设备及存储介质。

根据本公开实施例的第一方面，提供了一种三维信息确定方法，包括：

获取目标视频，所述目标视频包括第一图像帧和第二图像帧，所述第一图像帧和所述第二图像帧均包括目标对象，所述第一图像帧在所述目标视频中对应的第一时刻早于所述第二图像帧在所述目标视频的第二时刻；

确定所述第一图像帧中所述目标对象的各个外立面的第一平面信息；

基于所述第一图像帧中目标对象的各个外立面的第一平面信息，确定所述第一图像帧中目标对象的各个外立面在第一坐标系中的第一三维信息，所述第一坐标系是以拍摄所述目标视频的拍摄设备为原点建立的坐标系；

将所述第二图像帧中各个外立面与所述第一图像帧中各个外立面进行特征匹配，并基于特征匹配结果以及所述第一三维信息，确定所述第二图像帧中各个外立面在所述第一坐标系中的第二三维信息；

确定所述第二图像帧中所述目标对象的各个外立面的第二平面信息，将所述第二平面信息与所述第一平面信息进行融合，得到融合后的平面信息，基于所述融合后的平面信息确定在所述第一坐标系中所述第二图像帧相对于所述第一图像帧新增的三维信息；

将所述第二三维信息和所述新增的三维信息进行融合，得到所述第二图像帧中目标对象的各个外立面在所述第一坐标系中的目标三维信息。

可选的，所述确定所述第一图像帧中所述目标对象的各个外立面的第一平面信息，包括：

将所述第一图像帧帧输入预先训练得到的第一神经网络，得到所述第一图像帧中所述目标对象所在的第一图像区域；

将所述第一图像区域输入预先训练得到的第二神经网络，得到所述第一图像区域对应的第一灰度图，所述第一图像区域中所述目标对象的外立面交线的端点在第二坐标系中的第一坐标，所述第一图像区域中所述目标对象的各个外立面在第一坐标系中的第一法向量，所述第二坐标系是以所述图像帧中的目标点为原点建立的坐标系。

可选的，所述基于所述第一图像帧中目标对象的各个外立面的第一平面信息，确定所述第一图像帧中目标对象的各个外立面在第一坐标系中的第一三维信息，包括：

计算所述第一图像帧中目标对象的第一外立面的第一中心点在所述第二坐标系中的坐标，所述第一中心点为所述第一外立面对应的灰度图的中心点；

基于所述第一中心点在所述第二坐标系中的坐标和所述第一中心点到所述拍摄设备的距离，通过针孔相机模型确定所述第一中心点在所述第一坐标系中的坐标；

基于所述第一外立面与第二外立面的交线的端点在第二坐标系中的坐标，以及所述第一外立面的三维信息，确定所述第二外立面的三维信息；

基于所述第一外立面在第一坐标系中的法向量以及所述第一中心点在所述第一坐标系中的坐标，计算所述第一外立面的特征点在所述第一坐标系中的坐标；基于所述第二外立面在第一坐标系中的法向量以及所述第二中心点在所述第一坐标系中的坐标，计算所述第二外立面的特征点在所述第一坐标系中的坐标。

可选的，所述将所述第二图像帧中各个外立面与所述第一图像帧中各个外立面进行特征匹配，并基于特征匹配结果以及所述第一三维信息，确定所述第二图像帧中各个外立面在所述第一坐标系中的的第二三维信息，包括：

提取所述第一图像帧中各个外立面的特征点以及所述第二图像帧中各个外立面的特征点；

将所述第二图像帧中各个外立面的特征点与所述第一图像帧中各个外立面的特征点进行特征匹配；每个外立面的特征点为该外立面的灰度图中的特征点；

对于所述第二图像帧中各个外立面的任一特征点，将所述第一图像帧中与该特征点匹配的目标特征点对应的第一三维信息，确定为该特征点在所述第一坐标系中的第二三维信息。

可选的，所述方法还包括：

对于所述第二图像帧中各个外立面的任一特征点，将该特征点对应的目标三维信息通过目标相机模型进行投影，得到对应的投影特征点在所述第二坐标系中的坐标：并计算该投影特征点在所述第二坐标系中的坐标与该特征点在所述第二坐标系中的坐标之间的误差；

基于所述误差确定拍摄设备拍摄所述第二图像帧和所述第一图像帧过程中产生的位姿信息，所述位姿信息包括旋转信息和平移信息。

可选的，所述将所述第二平面信息与所述第一平面信息进行融合，得到融合后的平面信息，基于所述融合后的平面信息确定在所述第一坐标系中所述第二图像帧相对于所述第一图像帧新增的三维信息，包括：

确定所述第二图像帧中的目标外立面，并计算所述目标外立面的特征点在所述第一图像帧对应的第一坐标系中的三维信息；所述目标外立面为所述第二图像帧中与所述第一图像帧相同的外立面；

将计算所得的所述三维信息投影到所述第一图像帧对应的第二坐标系中，得到多个投影点，基于多个投影点确定第二灰度图，并将所述第二灰度图与所述第一灰度图进行融合，计算融合后的投影点在所述第二图像帧对应的第一坐标系下的三维信息；

确定目标交线的端点在所述第二图像帧对应的第一坐标系下的三维信息，所述目标交线为所述目标外立面对应的第二平面信息所包括的交线；

将所述融合后的投影点在所述第二图像帧对应的第一坐标系下的三维信息，以及所述目标交线的端点在所述第二图像帧对应的第一坐标系下的三维信息，确定为所述第一坐标系中所述第二图像帧相对于所述第一图像帧新增的三维信息。

可选的，所述确定所述第二图像帧中的目标外立面，并计算所述目标外立面的特征点在所述第一图像帧对应的第一坐标系中的三维信息，包括；

通过所述位姿信息将所述第二平面信息所包括的第二法向量转换到所述第一图像帧所对应的第一坐标系中，得到转换后的法向量；

计算所述转换后的法向量与所述第一平面信息所包括的第一法向量之间的夹角，并基于所述夹角确定所述第二图像帧与所述第一图像帧中相同的外立面；

提取所述目标外立面的第二平面信息所包括的灰度图中的特征点，并基于所述特征点与所述目标外立面对应的第一中心点在所述第二坐标系中的坐标，以及所述目标外立面在第一坐标系中的第一法向量，计算得到所述特征点在所述第一图像帧对应的第一坐标系的三维信息；

通过所述位姿信息将计算所得的特征点的三维信息转换到第一图像帧对应的第一坐标系中，得到转换后的三维信息，作为所述目标外立面的特征点在所述第一图像帧对应的第一坐标系中的三维信息。

可选的，所述确定目标交线的端点在所述第二图像帧对应的第一坐标系下的三维信息，包括：

将目标交线的端点投影到所述第一图像帧的端点交线；所述端点交线是基于所述第一平面信息所包括的交线的端点在第二坐标系中的坐标确定的；

通过投影所得到的投影端点与所述目标外立面对应的第一中心点在所述第二坐标系中的坐标，以及所述目标外立面在第一坐标系中的第一法向量，确定所述目标交线的端点在所述第二图像帧对应的第一坐标系中的三维信息。

根据本公开实施例的第二方面，提供了一种三维信息确定装置，包括：

目标视频获取模块，被配置为执行获取目标视频，所述目标视频包括第一图像帧和第二图像帧，所述第一图像帧和所述第二图像帧均包括目标对象，所述第一图像帧在所述目标视频中对应的第一时刻早于所述第二图像帧在所述目标视频的第二时刻；

平面信息确定模块，被配置为执行确定所述第一图像帧中所述目标对象的各个外立面的第一平面信息；

第一三维信息确定模块，被配置为执行基于所述第一图像帧中目标对象的各个外立面的第一平面信息，确定所述第一图像帧中目标对象的各个外立面在所述第一坐标系中的第一三维信息，所述第一坐标系是以拍摄所述目标视频的拍摄设备为原点建立的坐标系；

第二三维信息确定模块，被配置为执行将所述第二图像帧中各个外立面与所述第一图像帧中各个外立面进行特征匹配，并基于特征匹配结果以及所述第一三维信息，确定所述第二图像帧中各个外立面在所述第一坐标系中的第二三维信息；

平面信息融合模块，被配置为执行确定所述第二图像帧中所述目标对象的各个外立面的第二平面信息，将所述第二平面信息与所述第一平面信息进行融合，得到融合后的平面信息，基于所述融合后的平面信息确定在所述第一坐标系中所述第二图像帧相对于所述第一图像帧新增的三维信息；

目标三维信息确定模块，被配置为执行将所述第二三维信息和所述新增的三维信息进行融合，得到所述第二图像帧中目标对象的各个外立面在所述第一坐标系中的目标三维信息。

可选的，所述第一平面信息确定模块，具体被配置为执行：

将所述第一图像帧帧输入预先训练得到的第一神经网络，得到所述第一图像帧中所述目标对象所在的第一图像区域；

将所述第一图像区域输入预先训练得到的第二神经网络，得到第一图像区域对应的第一灰度图，所述第一图像区域中所述目标对象的外立面交线的端点在第二坐标系中的第一坐标，所述第一图像区域中所述目标对象的各个外立面在第一坐标系中的第一法向量，所述第二坐标系是以所述图像帧中的目标点为原点建立的坐标系。

可选的，所述第一三维信息确定模块，具体被配置为执行：

计算所述第一图像帧中目标对象的第一外立面的第一中心点在所述第二坐标系中的坐标，所述第一中心点为所述第一外立面对应的灰度图的中心点；

基于所述第一中心点在所述第二坐标系中的坐标和所述第一中心点到所述拍摄设备的距离，通过针孔相机模型确定所述第一中心点在所述第一坐标系中的坐标；

基于所述第一外立面与第二外立面的交线的端点在第二坐标系中的坐标，以及所述第一外立面的三维信息，确定所述第二外立面的三维信息；

基于所述第一外立面在第一坐标系中的法向量以及所述第一中心点在所述第一坐标系中的坐标，计算所述第一外立面的特征点在所述第一坐标系中的坐标；基于所述第二外立面在第一坐标系中的法向量以及所述第二中心点在所述第一坐标系中的坐标，计算所述第二外立面的特征点在所述第一坐标系中的坐标。

可选的，所述第二三维信息确定模块，被配置为执行，包括：

提取所述第一图像帧中各个外立面的特征点以及所述第二图像帧中各个外立面的特征点；

将所述第二图像帧中各个外立面的特征点与所述第一图像帧中各个外立面的特征点进行特征匹配；该外立面的特征点为该外立面的灰度图中的特征点；

对于所述第二图像帧中各个外立面的任一特征点，将所述第一图像帧中与该特征点匹配的目标特征点对应的第一三维信息，确定为该特征点在所述第一坐标系中的第二三维信息。

可选的，所述装置还包括：

特征点投影模块，被配置为执行对于所述第二图像帧中各个外立面的任一特征点，将该特征点对应的目标三维信息通过目标相机模型进行投影，得到对应的投影特征点在所述第二坐标系中的坐标：并计算该投影特征点在所述第二坐标系中的坐标与该特征点在所述第二坐标系中的坐标之间的误差；

位姿信息确定模块，被配置为执行基于所述误差确定拍摄设备拍摄所述第二图像帧和所述第一图像帧过程中产生的位姿信息，所述位姿信息包括旋转信息和平移信息。

可选的，所述平面信息融合模块，包括：

第一三维信息确定单元，被配置为执行确定所述第二图像帧中的目标外立面，并计算所述目标外立面的特征点在所述第一图像帧对应的第一坐标系中的三维信息；所述目标外立面为所述第二图像帧中与所述第一图像帧相同的外立面；

第二三维信息确定单元，被配置为执行将计算所得的所述三维信息投影到所述第一图像帧对应的第二坐标系中，得到多个投影点，基于多个投影点确定第二灰度图，并将所述第二灰度图与所述第一灰度图进行融合，计算融合后的投影点在所述第二图像帧对应的第一坐标系下的三维信息；

第三三维信息确定单元，被配置为执行确定目标交线的端点在所述第二图像帧对应的第一坐标系下的三维信息，所述目标交线为所述目标外立面对应的第二平面信息所包括的交线；

平面信息融合单元，被配置为执行将所述融合后的投影点在所述第二图像帧对应的第一坐标系下的三维信息，以及所述目标交线的端点在所述第二图像帧对应的第一坐标系下的三维信息，确定为所述第一坐标系中所述第二图像帧相对于所述第一图像帧新增的三维信息。

可选的，所述第一三维信息确定单元，具体被配置为执行；

通过所述位姿信息将所述第二平面信息所包括的第二法向量转换到所述第一图像帧所对应的第一坐标系中，得到转换后的法向量；

计算所述转换后的法向量与所述第一平面信息所包括的第一法向量之间的夹角，并基于所述夹角确定所述第二图像帧与所述第一图像帧中相同的外立面；

提取所述目标外立面的第二平面信息所包括的灰度图中的特征点，并基于所述特征点与所述目标外立面对应的第一中心点在所述第二坐标系中的坐标，以及所述目标外立面在第一坐标系中的第一法向量，计算得到所述特征点在所述第一图像帧对应的第一坐标系的三维信息；

通过所述位姿信息将计算所得的特征点的三维信息转换到第一图像帧对应的第一坐标系中，得到转换后的三维信息，作为所述目标外立面的特征点在所述第一图像帧对应的第一坐标系中的三维信息。

可选的，所述第三三维信息确定单元，具体被配置为执行：

将目标交线的端点投影到所述第一图像帧的端点交线；所述端点交线是基于所述第一平面信息所包括的交线的端点在第二坐标系中的坐标确定的；

通过投影所得到的投影端点与所述目标外立面对应的第一中心点在所述第二坐标系中的坐标，以及所述目标外立面在第一坐标系中的第一法向量，确定所述目标交线的端点在所述第二图像帧对应的第一坐标系中的三维信息。

根据本公开实施例的第三方面，提供了一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行如第一方面所述的方法。

根据本公开实施例的第四方面，提供了一种计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如第一方面所述的方法。

根据本公开实施例的第五方面，提供了一种计算机程序产品，当其在计算机上运行时，使得所述计算机执行如第一方面所述的方法的步骤。

本公开实施例提供的技术方案，获取目标视频，目标视频包括第一图像帧和第二图像帧，第一图像帧和第二图像帧均包括目标对象，第一图像帧在目标视频中对应的第一时刻早于第二图像帧在目标视频的第二时刻；确定第一图像帧中目标对象的各个外立面的第一平面信息，基于第一图像帧中目标对象的各个外立面的第一平面信息，确定第一图像帧中目标对象的各个外立面在第一坐标系中的第一三维信息；将第二图像帧中各个外立面与第一图像帧中各个外立面进行特征匹配，并基于特征匹配结果以及第一三维信息，确定第二图像帧中各个外立面在第一坐标系中的第二三维信息；确定第二图像帧中目标对象的各个外立面的第二平面信息，将第二平面信息与第一平面信息进行融合，得到融合后的平面信息，基于融合后的平面信息确定在第一坐标系中第二图像帧相对于第一图像帧新增的三维信息；将第二三维信息和新增的三维信息进行融合，得到第二图像帧中目标对象的各个外立面在第一坐标系中的目标三维信息。

可见，通过本公开实施例提供的技术方案，在确定第二图像帧中目标对象的三维信息时，将第二图像帧中各个外立面与第一图像帧中各个外立面进行特征匹配，即实现了对第二图像帧中目标对象的三维信息的跟踪，得到跟踪结果，即得到第二图像帧中各个外立面在第一坐标系中的第二三维信息；并通过将跟踪结果与第一坐标系中第二图像帧相对于第一图像帧新增的三维信息相融合，得到第二图像帧中目标对象的三维信息，而不是重新单独确定第二图像帧的三维信息，从而可以实现在运动过程中连续获取目标对象的三维信息，提高了目标对象的三维信息的准确率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据一示例性实施例示出的一种三维信息确定方法的流程图；

图2是本公开实施例中提供的一种场景示意图；

图3是图1中步骤S120的流程图；

图4是图1中步骤S130的流程图；

图5是图1中步骤S150的流程图；

图6是根据一示例性实施例示出的一种具体实施方式的流程图；

图7是根据一示例性实施例示出的一种三维信息确定装置的框图；

图8是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在AR领域，通常需要预测对象外立面相对于自身的位置以及对象形状等，以便恢复对象外立面的三维信息，从而更好地在对象表面上叠加虚拟效果，如实现向对象表面喷油漆等效果。

相关技术在确定对象的三维信息时，通常分别将单个图像帧输入到神经网络，以预测每个图像帧中对象外立面的三维信息，在视频流中预测不稳定，预测结果不存在时间与空间上的连续性，即无法在运动过程中连续获取对象外立面的三维信息。

为此，本公开实施例提供了一种三维信息确定方法、装置、电子设备及存储介质。

第一方面，首先对本公开实施例提供的一种三维信息确定方法进行详细阐述。

如图1所示，本公开实施例提供的一种三维信息确定方法，可以包括如下步骤：

S110，获取目标视频。

其中，目标视频包括第一图像帧和第二图像帧，第一图像帧和第二图像帧均包括目标对象，第一图像帧在目标视频中对应的第一时刻早于第二图像帧在目标视频的第二时刻。

具体的，在实际应用中，目标视频可能包括多个图像帧。其中，第一图像帧可以是目标视频中包括目标对象的第一个图像帧。第二图像帧可以是第一个图像帧的下一个图像帧，或者，第二图像帧还可以是位于第一图像帧之后，与第一个图像帧间隔预设帧的图像帧，这都是合理的。当然，如果从目标视频的第N个图像帧确定目标对象的三维信息，第一图像帧还可以是目标视频的第N个图像帧，第二图像帧可以是第N+n个图像帧，其中，N和n都是正整数。本公开实施例对此不做具体限定。

S120，确定第一图像帧中目标对象的各个外立面的第一平面信息。

其中，每个外立面的第一平面信息可以包括：该外立面对应的灰度图，该外立面与其他外立面的交线的端点在第二坐标系中的坐标，以及，该外立面在第一坐标系中的法向量。，第一坐标系是以拍摄目标视频的拍摄设备为原点建立的坐标系，第二坐标系是以图像帧中的目标点为原点建立的坐标系。

在一种实施方式中，确定第一图像帧中目标对象的各个外立面的第一平面信息，如图3所示，可以包括如下两个步骤：

S121，将第一图像帧帧输入预先训练得到的第一神经网络，得到第一图像帧中目标对象所在的第一图像区域。

其中，第一神经网络可以为对象检测神经网络。可以将第一图像帧输入到对象检测神经网络中，得到第一图像帧中目标对象所在的第一图像区域，即得到第一图像帧中目标对象的位置(目标对象的矩形框)。

S122，将第一图像区域输入预先训练得到的第二神经网络，得到第一图像区域对应的第一灰度图，第一图像区域中目标对象的外立面交线的端点在第二坐标系中的第一坐标，第一图像区域中目标对象的各个外立面在第一坐标系中的第一法向量，第二坐标系是以图像帧中的目标点为原点建立的坐标系。

其中，第二神经网络可以为对象位姿估计神经网络。

对于第一图像帧，基于对象检测神经网络的结果，然后通过对象位姿估计神经网络预测得到以下三个信息：各个可见对象外立面的预测二维mask结果，即为与可见对象外立面原图大小相同的第一灰度图；对象外立面的交线两个端点在第第一坐标系即像素坐标系下的第一坐标P₁(x,y)，P₂(x,y)；以及，第一图像帧中目标对象的各个可见对象外立面在第一坐标系即相机坐标系下的第一法向量n_c1，表示为(n_x1,n1_y,n_z1)，如图2所示；其中，相机坐标系可以为以拍摄目标对象的相机为中心建立的坐标；像素坐标系可以为指的是以第一图像帧的左上角为中心建立的二维坐标系。

可见，本实施方式中，预先训练两个神经网络，分别为对象检测神经网络和对象位姿估计神经网络，在确定第一图像帧中目标对象的各个外立面的第一平面信息时，将第一图像帧先后输入对象检测神经网络和对象位姿估计神经网络，可以更加准确地得到第一图像帧中目标对象的各个外立面的第一平面信息。

S130，基于第一图像帧中目标对象的各个外立面的第一平面信息，确定第一图像帧中目标对象的各个外立面在第一坐标系中的第一三维信息。

为了后续步骤中，能够持续跟踪第一图像帧和第二图像帧的三维信息，可以基于第一图像帧中目标对象的各个外立面的平面信息，确定第一图像帧中目标对象的各个外立面的特征点在第一坐标系中的三维信息。即初始化第一图像帧中目标对象的三维信息，后续可以基于第一图像帧中目标对象的三维信息，来跟踪得到第二图像帧中目标对象的三维信息。

为了方案完整和描述清楚，将在下面实施例中对S130的具体实施方式进行详细阐述。

S140，将第二图像帧中各个外立面与第一图像帧中各个外立面进行特征匹配，并基于特征匹配结果以及第一三维信息，确定第二图像帧中各个外立面在第一坐标系中的第二三维信息。

其中，在第二图像帧中的第二位置与第一图像帧中的第一位置特征相匹配时，第二位置对应的第二三维信息与第一位置对应的第一三维信息相同。

具体的，特征匹配方法可以为光流法、特征点匹配等，本公开实施例对特征匹配方式不做具体限定。

在一种实施方式中，S140，将第二图像帧中各个外立面与第一图像帧中各个外立面进行特征匹配，并基于特征匹配结果以及第一三维信息，确定第二图像帧中各个外立面在第一坐标系中的的第二三维信息，可以包括如下步骤：

步骤a1，提取第一图像帧中各个外立面的特征点以及第二图像帧中各个外立面的特征点。

其中。特征点可以是具有突出纹理的角点。

步骤a2，将第二图像帧中各个外立面的特征点与第一图像帧中各个外立面的特征点进行特征匹配。

其中，一个外立面的特征点为该外立面的灰度图中的特征点。

步骤a3，对于第二图像帧中各个外立面的任一特征点，将第一图像帧中与该特征点匹配的目标特征点对应的第一三维信息，确定为该特征点在第一坐标系中的第二三维信息。

具体的，在将第二图像帧中各个外立面的特征点与第一图像帧中各个外立面的特征匹配后，第二图像帧中各个外立面的特征点对应第一图像帧中外立面的一个特征点，而第一图像帧中各个外立面的特征点在第一坐标系中的三维信息是通过上述步骤可以计算得到的，因此，可以通过第一图像帧中各个外立面的特征点在第一坐标系中的三维信息，确定第二图像帧中各个外立面的特征点在第一坐标系中的三维信息。

可见，通过本公开实施例提供的技术方案，通过将第二图像帧中各个外立面的特征点与第一图像帧中各个外立面的特征点进行特征匹配，并通过第一图像帧中相匹配的特征点的三维信息，确定为第二图像帧中各个外立面的特征点，从而实现了对对目标对象的三维信息的跟踪，进而有利于后续步骤中，将跟踪所得的三维信息与第二图像帧相对于第一图像帧新增的三维信息相融合，以实现在运动过程中连续获取目标对象的三维信息，提高目标对象的三维信息的准确率。

S150，确定第二图像帧中目标对象的各个外立面的第二平面信息，将第二平面信息与第一平面信息进行融合，得到融合后的平面信息，基于融合后的平面信息确定在第一坐标系中第二图像帧相对于第一图像帧新增的三维信息。

由上述描述可知，通过对第二图像帧中各个外立面与第一图像帧中各个外立面进行特征匹配，可以实现对目标对象的各个外立面的三维信息进行跟踪，即得到跟踪结果，为了更加准确并持续补全第二图像帧中目标对象的各个外立面的三维信息，可以将第二图像帧输入神经网络，得到第二图像帧中目标对象的各个外立面的第二平面信息，并将第二平面信息与第一平面信息进行融合，得到融合后的平面信息，基于融合后的平面信息确定在第一坐标系中第二图像帧相对于第一图像帧新增的三维信息。

其中，每个外立面的第二平面信息包括：该外立面对应的灰度图，该外立面与其他外立面的交线的端点在第二坐标系中的坐标，以及，该外立面在第一坐标系中的法向量。由于对获取第一图像帧中目标对象的各个外立面的第一平面信息的方式进行了详细阐述，在此，不再对获取第二图像帧中所述目标对象的各个外立面的第二平面信息的方式进行赘述。

为了方面描述清楚，将在下面实施例对S150的具体实施方式进行详细阐述。

本公开实施例提供的技术方案，获取目标视频，目标视频包括第一图像帧和第二图像帧，第一图像帧和第二图像帧均包括目标对象，第一图像帧在目标视频中对应的第一时刻早于第二图像帧在目标视频的第二时刻；确定第一图像帧中目标对象的各个外立面的第一平面信息，基于第一图像帧中目标对象的各个外立面的第一平面信息，确定第一图像帧中目标对象的各个外立面在第一坐标系中的第一三维信息；将第二图像帧中各个外立面与第一图像帧中各个外立面进行特征匹配，并基于特征匹配结果以及第一三维信息，确定第二图像帧中各个外立面在第一坐标系中的第二三维信息；确定第二图像帧中目标对象的各个外立面的第二平面信息，将第二平面信息与第一平面信息进行融合，得到融合后的平面信息，基于融合后的平面信息确定在第一坐标系中第二图像帧相对于第一图像帧新增的三维信息；将第二三维信息和新增的三维信息进行融合，得到第二图像帧中目标对象的各个外立面在第一坐标系中的目标三维信息。

可见，通过本公开实施例提供的技术方案，在确定第二图像帧中目标对象的三维信息时，将第二图像帧中各个外立面与第一图像帧中各个外立面进行特征匹配，即实现了对第二图像帧中目标对象的三维信息的跟踪，得到跟踪结果，即得到第二图像帧中各个外立面在第一坐标系中的第二三维信息；并通过将跟踪结果与第一坐标系中第二图像帧相对于第一图像帧新增的三维信息相融合，得到第二图像帧中目标对象的三维信息，而不是重新单独确定第二图像帧的三维信息，从而可以实现在运动过程中连续获取目标对象的三维信息，提高了目标对象的三维信息的准确率。

为了方案完整和描述清楚，将在下面实施例中对S130的具体实施方式进行详细阐述。

在一种实施方式中，S130，基于第一图像帧中目标对象的各个外立面的平面信息，确定第一图像帧中目标对象的各个外立面的特征点在第一坐标系中的第一三维信息，如图4所示，可以包括如下步骤：

S131，计算第一图像帧中目标对象的第一外立面的第一中心点在第二坐标系中的坐标。

其中，第一中心点为第一外立面对应的灰度图的中心点。

具体的，第一外立面可以为目标对象的其中一个对象外立面。在实际应用中，第一外立面可以为目标对象的任意一个可见外立面，本公开实施例对此不做具体限定。

在选取了第一外立面之后，将第一外立面作为基础外立面，计算该基础外立面的灰度图的中心点在第一坐标系中的二维坐标，可以记为O₁(u,v)，

S132，基于第一中心点在第二坐标系中的坐标和第一中心点到拍摄设备的距离，通过针孔相机模型确定第一中心点在第一坐标系中的坐标。

在确定了第一中心点在第一坐标系中的坐标和第一中心点到拍摄设备即相机的距离之后，可以通过针孔相机模型计算出第一中心点在第一坐标系中的坐标。其中，针孔相机模型的作用就是将第一坐标系即相机坐标系下的三维坐标点和以第一坐标系即屏幕坐标系的二维坐标点关联。

假设第一中心点在第一坐标系中的坐标为(u，v)，假设第一中心点到相机的距离为1，在第一坐标系中的坐标为(X，Y，Z)，那么，可以通过如下公式，将第一坐标系下的三维坐标点和以第一坐标系的二维坐标点关联。

其中，f_x，f_y，c_x，c_y均为相机的固有内参数，f_x指的是x轴方向的成像焦距，f_y指的是y轴方向的成像焦距；c_x为x轴方向的像中心偏移，c_y为y轴方向的成像中心偏移。

S133，基于第一外立面与第二外立面的交线的端点在第二坐标系中的坐标，以及第一外立面的三维信息，确定第二外立面的三维信息。

具体的，根据第一外立面与第二外立面的交线的端点在第二坐标系中的坐标，和第一外立面的三维信息即平面法向量n₁和平面中心点O在相机坐标系的坐标，以及当第二外立面的中心点O₂(u,v)，可以计算得到第二外立面的中心点在第一坐标系下的三维坐标Oc₂(x,y,z)。

S134，基于第一外立面在第一坐标系中的法向量以及第一中心点在第一坐标系中的坐标，计算第一外立面的特征点在第一坐标系中的坐标。基于第二外立面在第一坐标系中的法向量以及第二中心点在第一坐标系中的坐标，计算第二外立面的特征点在第一坐标系中的坐标。

具体的，在第一外立面提取多个特征点，并根据第一外立面的第一中心点在第一坐标系中的坐标和第一外立面在第一坐标系中的第一法向量，计算所提取的各个特征点的在第一坐标系下的坐标。在第而外立面提取多个特征点，并根据第二外立面的第二中心点在第一坐标系中的坐标和第二外立面在第一坐标系中的第二法向量，计算所提取的各个特征点的在第一坐标系下的坐标。其中，特征点如图2所示。

可见，通过本公开实施例提供的技术方案，可以准确地确定第一图像帧各个外立面中多个特征点在第一坐标系中的三维信息，并且，可以通过各个外立面中多个特征点在第一坐标系中的三维信息，得到第一图像帧中各个外立面在第一坐标系中的三维信息，第一图像帧中所有外立面在第一坐标系中的三维信息组成了第一图像帧中目标对象的三维信息，从而准确地确定了第一图像帧中目标对象的三维信息。

为了更加准确地确定第二图像帧中目标对象的三维信息，在一种实施方式中，该三维信息确定方法还可以包括如下步骤，分别为步骤b1和步骤b2：

步骤b1，对于第二图像帧中各个外立面的任一特征点，将该特征点对应的三维信息通过目标相机模型进行投影，得到对应的投影特征点在第一坐标系中的坐标：并计算该投影特征点在第二坐标系中的坐标与该特征点在第二坐标系中的坐标之间的误差。

步骤b2，基于误差确定拍摄设备拍摄第二图像帧和第一图像帧过程中产生的位姿信息，位姿信息包括旋转信息和平移信息。

具体的，在基于第一图像帧的三维信息确定第二图像帧的三维信息之后，可以将第二图像帧的三维信息投影到第二图像帧的第二坐标系下，得到一个二维特征点。而相机帧间跟踪也得到对应的特征点，这两个特征点的位置具有误差，进而可以基于误差确定拍摄设备拍摄第二图像帧和第一图像帧过程中产生的位姿信息，该位姿信息包括旋转信息和平移信息。后续可以通过非线性优化来调整该位姿信息。

可见，通过确定拍摄设备拍摄第二图像帧和第一图像帧过程中产生的位姿信息，以便后续步骤中，在对第二平面信息与第一平面信息进行融合时，可以避免因拍摄设备的位姿信息对融合结果造成影响，进而可以更加准确地对第二平面信息与第一平面信息进行融合。

为了方面描述清楚，将在下面实施例对S150的具体实施方式进行详细阐述。

S150，将第二平面信息与第一平面信息进行融合，得到融合后的平面信息，基于融合后的平面信息确定在第一坐标系中第二图像帧相对于第一图像帧新增的三维信息，如图5所示，可以包括如下步骤：

S151，确定第二图像帧中的目标外立面，并计算目标外立面的特征点在第一图像帧对应的第一坐标系中的三维信息。

其中，目标外立面为第二图像帧中与第一图像帧相同的外立面。

为了准确地实现将第二平面信息与第一平面信息进行融合，需要确定第一图像帧与第二图像帧中相同的外立面，并且，对于相同的外立面，需要确定第二图像帧中的目标外立面的特征点在第一图像帧对应的第一坐标系中的三维信息。

在一种实施方式中，S151，可以包括如下步骤，分别为步骤c1至c4：

步骤c1，通过位姿信息将第二平面信息所包括的第二法向量转换到第一图像帧所对应的第一坐标系中，得到转换后的法向量。

具体的，通过公式n_cj＝T_cicj·n_ci，将新预测的第二图像帧的第二平面信息所包括的第二法向量转换对第一图像帧所对应的第一坐标系。其中，n_cj为转换后的法向量，T_cicj为位姿信息，n_ci为第二法向量。

步骤c2，计算转换后的法向量与第一平面信息所包括的第一法向量之间的夹角，并基于夹角确定第二图像帧与第一图像帧中相同的外立面。

具体的，计算n_cj与第一法向量之间的夹角，如果夹角小于阈值，确定两个外立面对相同的外立面，否则，确定为不同的外立面。如果是相同的外立面，依然使用第一平面信息所包括的第一法向量作为该平面的法向量。

步骤c3，提取目标外立面的第二平面信息所包括的灰度图中的特征点，并基于特征点与目标外立面对应的第一中心点在第二坐标系中的坐标，以及目标外立面在第一坐标系中的第一法向量，计算得到特征点在第一图像帧对应的第一坐标系的三维信息。

具体的，对于相同的外立面，将该外立面的灰度图的轮廓点提取出来，得到一系列的二维轮廓点P_{m j}，使用该平面既有的平面中心与平面法向量，计算得到一系列第第一图像帧对应的第一坐标系下的轮廓点三维坐标。

步骤c4，通过位姿信息将计算所得的特征点的三维信息转换到第一图像帧对应的第一坐标系中，得到转换后的三维信息，作为目标外立面的特征点在第一图像帧对应的第一坐标系中的三维信息。

具体的，将第二图像帧的轮廓点P_mj通过如下公式P_mi＝T_cicj·P_mj转换到P_mi，并将P_mi转换到第二坐标系中，其中，T_cicj为位姿信息。得到转换后的三维信息，作为目标外立面的特征点在第一图像帧对应的第一坐标系中的三维信息。

可见，通过本实施方式提供的技术方案，在将第二平面信息所包括的第二法向量转换到第一图像帧所对应的第一坐标系时，考虑了拍摄设备拍摄第二图像帧和第一图像帧过程中产生的位姿信息，进而避免了因拍摄设备的移动所造成的影响，准确地将第二法向量转换到第一图像帧所对应的第一坐标系中。

S152，将计算所得的三维信息投影到第一图像帧对应的第二坐标系中，得到多个投影点，基于多个投影点确定第二灰度图，并将第二灰度图与第一灰度图进行融合，计算融合后的投影点在第二图像帧对应的第一坐标系下的三维信息。

具体的，在计算得到目标外立面的特征点在第一图像帧对应的第一坐标系中的三维信息后，可以将计算所得的三维信息投影到第一图像帧对应的第二坐标系中，得到多个投影点，这多个投影点组成了第一图像帧帧下的灰度图。将其与跟踪得到的灰度图进行融合，即对图像进行像素级别的与操作。最后将融合后得到的轮廓点计算至世界坐标系下。即计算融合后的投影点在第二图像帧对应的第一坐标系下的三维信息。

S153，确定目标交线的端点在第二图像帧对应的第一坐标系下的三维信息。

其中，目标交线为目标外立面对应的第二平面信息所包括的交线。

具体的，为了准确地实现第二平面信息与第一平面信息的融合，在将目标外立面的特征点投影到第一图像帧下的同时，还需要更新第二图像帧对应的第一坐标系下的三维信息交线端点的坐标。

在一种实施方式中，S153，可以包括如下两个步骤：

步骤d1，将目标交线的端点投影到第一图像帧的端点交线。

其中，端点交线是基于第一平面信息所包括的交线的端点在第二坐标系中的坐标确定的；

步骤d2，通过投影所得到的投影端点与目标外立面对应的第一中心点在第二坐标系中的坐标，以及目标外立面在第一坐标系中的第一法向量，确定目标交线的端点在第二图像帧对应的第一坐标系中的三维信息。

具体的，将新预测的第二图像帧的交线端点垂直投影至跟踪的第一图像帧的交线上，并使用平面中心与法向量计算交线端点在第二图像帧对应的相机坐标系下的坐标。从而更新第一坐标系下交线端点的坐标。

可见，通过本实施方式提供的技术方案，通过将第二图像帧的交线端点投影至跟踪的第一图像帧的交线上，并计算可以投影所得的交线端点在第二图像帧对应的相机坐标系下的坐标，从而实现准确地更新第一坐标系下交线端点的坐标，即使得第一坐标系下交线端点的坐标更加准确。

S154，将融合后的投影点在第二图像帧对应的第一坐标系下的三维信息，以及目标交线的端点在第二图像帧对应的第一坐标系中的三维信息，确定为第一坐标系中第二图像帧相对于第一图像帧新增的三维信息。

具体的，第一坐标系中第二图像帧相对于第一图像帧新增的三维信息可以包括两部分，第一部分为将融合后的投影点在第二图像帧对应的第一坐标系下的三维信息，另一部分为目标交线的端点在第二图像帧对应的第一坐标系中的三维信息。

可见，通过本实施例，通过将第一图像帧的平面信息与第二图像帧的平面信息的融合，并将融合后的投影点在第二图像帧对应的第一坐标系下的三维信息，以及目标交线的端点在第二图像帧对应的第一坐标系下的三维信息，确定为第一坐标系中第二图像帧相对于第一图像帧新增的三维信息，可以实现持续地获取到第二图像帧相对于第一图像帧来说，新增加的外立面的三维信息，从而可以不断增加新拍摄的外立面的三维信息。

为了方面描述清楚，下面将结合一个具体实施例对本公开的技术方案进行详细阐述。

如图6所示，是本公开实施例提供的另一种三维信息确定方法，可以包括如下步骤：

S610，获取目标视频。

其中，目标视频包括第一图像帧和第二图像帧，第一图像帧和第二图像帧均包括目标对象，第一图像帧在目标视频中对应的第一时刻早于第二图像帧在目标视频的第二时刻。

S620，将第一图像帧依次输入预先训练得到的第一神经网络的第二神经网络，得到第一图像帧中目标对象的各个外立面的第一平面信息。

其中，第一平面信息包括第一图像区域对应的第一灰度图，第一图像区域中目标对象的外立面交线的端点在第二坐标系中的第一坐标，第一图像区域中目标对象的各个外立面在第一坐标系中的第一法向量。

S630，通过第一图像帧中目标对象的各个外立面的第一平面信息，确定第一图像帧中目标对象的各个外立面在第一坐标系中的第一三维信息。

具体步骤可以是：计算第一图像帧中目标对象的第一外立面的第一中心点在第二坐标系中的坐标，第一中心点为第一外立面对应的灰度图的中心点；

基于第一中心点在第二坐标系中的坐标和第一中心点到拍摄设备的距离，通过针孔相机模型确定第一中心点在第一坐标系中的坐标；

基于第一外立面与目标对象的第二外立面的交线的端点在第二坐标系中的坐标，以及第一外立面的三维信息，确定第二外立面的三维信息；

基于第一外立面在第一坐标系中的法向量以及第一中心点在第一坐标系中的坐标，计算第一外立面的特征点在第一坐标系中的坐标；基于第二外立面在第一坐标系中的法向量以及第二中心点在第一坐标系中的坐标，计算第二外立面的特征点在第一坐标系中的坐标，第二中心点为第二外立面对应的灰度图的中心点。

S640，将第一图像帧与第二图像帧进行特征点匹配，对于第二图像帧中的每一特征点，确定第一图像帧中与该特征点相匹配的目标特征点，并将目标特征点在第一坐标系中的三维信息确定为该特征点在第一坐标系中的三维信息。

具体的，该步骤可以分为如下三个子步骤：

第一个子步骤，提取第一图像帧中各个外立面的特征点以及第二图像帧中各个外立面的特征点。其中，特征点可以是具有突出纹理的角点。

第二个子步骤，将第二图像帧中各个外立面的特征点与第一图像帧中各个外立面的特征点进行特征匹配。其中，每个个外立面的特征点为该外立面的灰度图中的特征点。

第三个子步骤，对于第二图像帧中各个外立面的任一特征点，将第一图像帧中与该特征点匹配的目标特征点对应的第一三维信息，确定为该特征点在第一坐标系中的第二三维信息。

S650，将第二图像帧的每个特征点在第一坐标系中的三维信息投影到第二坐标系，得到对应的投影特征点在第二坐标系中的坐标，并基于投影特征点在第二坐标系中的坐标与该特征点在第二坐标系中的坐标之间的误差计算拍摄设备的位姿信息。

具体的，该步骤可以分为如下两个子步骤，分别为：

第一个子步骤为：对于第二图像帧中各个外立面的任一特征点，将该特征点对应的三维信息通过目标相机模型进行投影，得到对应的投影特征点在第一坐标系中的坐标：并计算该投影特征点在第二坐标系中的坐标与该特征点在第二坐标系中的坐标之间的误差。

第二个子步骤为：基于误差确定拍摄设备拍摄第二图像帧和第一图像帧过程中产生的位姿信息，位姿信息包括旋转信息和平移信息。

S660，将第二图像帧依次输入预先训练得到的第一神经网络的第二神经网络，得到第二图像帧中目标对象的各个外立面的第二平面信息；基于上一步计算所得的位姿信息，对第二平面信息与第一平面信息进行融合，得到融合后的平面信息；并基于融合后的平面信息确定第二图像帧相对于第一图像帧新增的三维信息。

该步骤可以分为如下四个子步骤，分别为：

第一个子步骤为：确定第二图像帧中的目标外立面，并计算目标外立面的特征点在第一图像帧对应的第一坐标系中的三维信息。

第二个子步骤为：将计算所得的三维信息投影到第一图像帧对应的第二坐标系中，得到多个投影点，基于多个投影点确定第二灰度图，并将第二灰度图与第一灰度图进行融合，计算融合后的投影点在第二图像帧对应的第一坐标系下的三维信息。

第三个子步骤为：确定目标交线的端点在第二图像帧对应的第一坐标系下的三维信息。

第四个子步骤为：将融合后的投影点在第二图像帧对应的第一坐标系下的三维信息，以及目标交线的端点在第二图像帧对应的第一坐标系中的三维信息，确定为第一坐标系中第二图像帧相对于第一图像帧新增的三维信息。

S670，将第二三维信息和新增的三维信息确定为第二图像帧中目标对象的各个外立面在第一坐标系中的目标三维信息。

由于上述S610到S670在上述实施例中均已详细阐述，在此不再赘述。

可见，通过本公开实施例提供的技术方案，在确定第二图像帧中目标对象的三维信息时，将第二图像帧中各个外立面与第一图像帧中各个外立面进行特征匹配，即实现了对第二图像帧中目标对象的三维信息的跟踪，得到跟踪结果，即得到第二图像帧中各个外立面在第一坐标系中的第二三维信息；并通过将跟踪结果与第一坐标系中第二图像帧相对于第一图像帧新增的三维信息相融合，得到第二图像帧中目标对象的三维信息，而不是重新单独确定第二图像帧的三维信息，从而可以实现在运动过程中连续获取目标对象的三维信息，提高了目标对象的三维信息的准确率。

在本公开实施例中，还提供了一种三维信息确定装置，如图7所示，该装置包括：

目标视频获取模块710，被配置为执行获取目标视频，所述目标视频包括第一图像帧和第二图像帧，所述第一图像帧和所述第二图像帧均包括目标对象，所述第一图像帧在所述目标视频中对应的第一时刻早于所述第二图像帧在所述目标视频的第二时刻；

平面信息确定模块720，被配置为执行确定所述第一图像帧中所述目标对象的各个外立面的第一平面信息；

第一三维信息确定模块730，被配置为执行基于所述第一图像帧中目标对象的各个外立面的第一平面信息，确定所述第一图像帧中目标对象的各个外立面在所述第一坐标系中的第一三维信息，所述第一坐标系是以拍摄所述目标视频的拍摄设备为原点建立的坐标系；

第二三维信息确定模块740，被配置为执行将所述第二图像帧中各个外立面与所述第一图像帧中各个外立面进行特征匹配，并基于特征匹配结果以及所述第一三维信息，确定所述第二图像帧中各个外立面在所述第一坐标系中的第二三维信息；

平面信息融合模块750，被配置为执行确定所述第二图像帧中所述目标对象的各个外立面的第二平面信息，将所述第二平面信息与所述第一平面信息进行融合，得到融合后的平面信息，基于所述融合后的平面信息确定在所述第一坐标系中所述第二图像帧相对于所述第一图像帧新增的三维信息；

目标三维信息确定模块760，被配置为执行将所述第二三维信息和所述新增的三维信息进行融合，得到所述第二图像帧中目标对象的各个外立面在所述第一坐标系中的目标三维信息。

可见，通过本公开实施例提供的技术方案，在确定第二图像帧中目标对象的三维信息时，将第二图像帧中各个外立面与第一图像帧中各个外立面进行特征匹配，即实现了对第二图像帧中目标对象的三维信息的跟踪，得到跟踪结果，即得到第二图像帧中各个外立面在第一坐标系中的第二三维信息；并通过将跟踪结果与第一坐标系中第二图像帧相对于第一图像帧新增的三维信息相融合，得到第二图像帧中目标对象的三维信息，而不是重新单独确定第二图像帧的三维信息，从而可以实现在运动过程中连续获取目标对象的三维信息，提高了目标对象的三维信息的准确率。

可选的，所述第一平面信息确定模块，具体被配置为执行：

将所述第一图像帧帧输入预先训练得到的第一神经网络，得到所述第一图像帧中所述目标对象所在的第一图像区域；

将所述第一图像区域输入预先训练得到的第二神经网络，得到第一图像区域对应的第一灰度图，所述第一图像区域中所述目标对象的外立面交线的端点在第二坐标系中的第一坐标，所述第一图像区域中所述目标对象的各个外立面在第一坐标系中的第一法向量，所述第二坐标系是以所述图像帧中的目标点为原点建立的坐标系。

可选的，所述第一三维信息确定模块，具体被配置为执行：

计算所述第一图像帧中目标对象的第一外立面的第一中心点在所述第二坐标系中的坐标，所述第一中心点为所述第一外立面对应的灰度图的中心点；

基于所述第一中心点在所述第二坐标系中的坐标和所述第一中心点到所述拍摄设备的距离，通过针孔相机模型确定所述第一中心点在所述第一坐标系中的坐标；

基于所述第一外立面与第二外立面的交线的端点在第二坐标系中的坐标，以及所述第一外立面的三维信息，确定所述第二外立面的三维信息；

基于所述第一外立面在第一坐标系中的法向量以及所述第一中心点在所述第一坐标系中的坐标，计算所述第一外立面的特征点在所述第一坐标系中的坐标；基于所述第二外立面在第一坐标系中的法向量以及所述第二中心点在所述第一坐标系中的坐标，计算所述第二外立面的特征点在所述第一坐标系中的坐标。

可选的，所述第二三维信息确定模块，被配置为执行，包括：

提取所述第一图像帧中各个外立面的特征点以及所述第二图像帧中各个外立面的特征点；

将所述第二图像帧中各个外立面的特征点与所述第一图像帧中各个外立面的特征点进行特征匹配；该外立面的特征点为该外立面的灰度图中的特征点；

对于所述第二图像帧中各个外立面的任一特征点，将所述第一图像帧中与该特征点匹配的目标特征点对应的第一三维信息，确定为该特征点在所述第一坐标系中的第二三维信息。

可选的，所述装置还包括：

特征点投影模块，被配置为执行对于所述第二图像帧中各个外立面的任一特征点，将该特征点对应的目标三维信息通过目标相机模型进行投影，得到对应的投影特征点在所述第二坐标系中的坐标：并计算该投影特征点在所述第二坐标系中的坐标与该特征点在所述第二坐标系中的坐标之间的误差；

位姿信息确定模块，被配置为执行基于所述误差确定拍摄设备拍摄所述第二图像帧和所述第一图像帧过程中产生的位姿信息，所述位姿信息包括旋转信息和平移信息。

可选的，所述平面信息融合模块，包括：

第一三维信息确定单元，被配置为执行确定所述第二图像帧中的目标外立面，并计算所述目标外立面的特征点在所述第一图像帧对应的第一坐标系中的三维信息；所述目标外立面为所述第二图像帧中与所述第一图像帧相同的外立面；

第二三维信息确定单元，被配置为执行将计算所得的所述三维信息投影到所述第一图像帧对应的第二坐标系中，得到多个投影点，基于多个投影点确定第二灰度图，并将所述第二灰度图与所述第一灰度图进行融合，计算融合后的投影点在所述第二图像帧对应的第一坐标系下的三维信息；

第三三维信息确定单元，被配置为执行确定目标交线的端点在所述第二图像帧对应的第一坐标系下的三维信息，所述目标交线为所述目标外立面对应的第二平面信息所包括的交线；

平面信息融合单元，被配置为执行将所述融合后的投影点在所述第二图像帧对应的第一坐标系下的三维信息，以及所述目标交线的端点在所述第二图像帧对应的第一坐标系下的三维信息，确定为所述第一坐标系中所述第二图像帧相对于所述第一图像帧新增的三维信息。

可选的，所述第一三维信息确定单元，具体被配置为执行；

通过所述位姿信息将所述第二平面信息所包括的第二法向量转换到所述第一图像帧所对应的第一坐标系中，得到转换后的法向量；

计算所述转换后的法向量与所述第一平面信息所包括的第一法向量之间的夹角，并基于所述夹角确定所述第二图像帧与所述第一图像帧中相同的外立面；

提取所述目标外立面的第二平面信息所包括的灰度图中的特征点，并基于所述特征点与所述目标外立面对应的第一中心点在所述第二坐标系中的坐标，以及所述目标外立面在第一坐标系中的第一法向量，计算得到所述特征点在所述第一图像帧对应的第一坐标系的三维信息；

通过所述位姿信息将计算所得的特征点的三维信息转换到第一图像帧对应的第一坐标系中，得到转换后的三维信息，作为所述目标外立面的特征点在所述第一图像帧对应的第一坐标系中的三维信息。

可选的，所述第三三维信息确定单元，具体被配置为执行：

将目标交线的端点投影到所述第一图像帧的端点交线；所述端点交线是基于所述第一平面信息所包括的交线的端点在第二坐标系中的坐标确定的；

通过投影所得到的投影端点与所述目标外立面对应的第一中心点在所述第二坐标系中的坐标，以及所述目标外立面在第一坐标系中的第一法向量，确定所述目标交线的端点在所述第二图像帧对应的第一坐标系中的三维信息。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图8是根据一示例性实施例示出的一种三维信息确定装置800的框图。例如，装置800是一种电子设备，具体可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图8，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电力组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件817。

处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。

多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件817发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。

I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件817被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件817经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件818还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述三维信息确定方法。

在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

根据本公开实施例的第四方面，提供了一种计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行第一方面所述的方法。

可见，通过本公开实施例提供的技术方案，在确定第二图像帧中目标对象的三维信息时，将第二图像帧中各个外立面与第一图像帧中各个外立面进行特征匹配，即实现了对第二图像帧中目标对象的三维信息的跟踪，得到跟踪结果，即得到第二图像帧中各个外立面在第一坐标系中的第二三维信息；并通过将跟踪结果与第一坐标系中第二图像帧相对于第一图像帧新增的三维信息相融合，得到第二图像帧中目标对象的三维信息，而不是重新单独确定第二图像帧的三维信息，从而可以实现在运动过程中连续获取目标对象的三维信息，提高了目标对象的三维信息的准确率。

根据本公开实施例的第五方面，提供了一种计算机程序产品，当其在计算机上运行时，使得所述计算机执行第一方面所述的方法的步骤。

可见，通过本公开实施例提供的技术方案，在确定第二图像帧中目标对象的三维信息时，将第二图像帧中各个外立面与第一图像帧中各个外立面进行特征匹配，即实现了对第二图像帧中目标对象的三维信息的跟踪，得到跟踪结果，即得到第二图像帧中各个外立面在第一坐标系中的第二三维信息；并通过将跟踪结果与第一坐标系中第二图像帧相对于第一图像帧新增的三维信息相融合，得到第二图像帧中目标对象的三维信息，而不是重新单独确定第二图像帧的三维信息，从而可以实现在运动过程中连续获取目标对象的三维信息，提高了目标对象的三维信息的准确率。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本公开实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、DSL(Digital Subscriber Line，数字用户线))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD(Digital Versatile Disc，数字多功能光盘))、或者半导体介质(例如SSD(Solid StateDisk，固态硬盘))等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种三维信息确定方法，其特征在于，包括：

获取目标视频；所述目标视频包括第一图像帧和第二图像帧，所述第一图像帧和所述第二图像帧均包括目标对象，所述第一图像帧在所述目标视频中对应的第一时刻早于所述第二图像帧在所述目标视频的第二时刻；

确定所述第一图像帧中所述目标对象的各个外立面的第一平面信息；

基于所述第一图像帧中目标对象的各个外立面的第一平面信息，确定所述第一图像帧中目标对象的各个外立面在第一坐标系中的第一三维信息，所述第一坐标系是以拍摄所述目标视频的拍摄设备为原点建立的坐标系；

将所述第二图像帧中各个外立面与所述第一图像帧中各个外立面进行特征匹配，并基于特征匹配结果以及所述第一三维信息，确定所述第二图像帧中各个外立面在所述第一坐标系中的第二三维信息；

确定所述第二图像帧中所述目标对象的各个外立面的第二平面信息，将所述第二平面信息与所述第一平面信息进行融合，得到融合后的平面信息，基于所述融合后的平面信息确定在所述第一坐标系中所述第二图像帧相对于所述第一图像帧新增的三维信息；

将所述第二三维信息和所述新增的三维信息进行融合，得到所述第二图像帧中目标对象的各个外立面在所述第一坐标系中的目标三维信息。

2.根据权利要求1所述的方法，其特征在于，所述确定所述第一图像帧中所述目标对象的各个外立面的第一平面信息，包括：

将所述第一图像帧帧输入预先训练得到的第一神经网络，得到所述第一图像帧中所述目标对象所在的第一图像区域；

将所述第一图像区域输入预先训练得到的第二神经网络，得到所述第一图像区域对应的第一灰度图，所述第一图像区域中所述目标对象的外立面交线的端点在第二坐标系中的第一坐标，所述第一图像区域中所述目标对象的各个外立面在第一坐标系中的第一法向量，所述第二坐标系是以所述第一图像帧中的目标点为原点建立的坐标系。

3.根据权利要求1所述的方法，其特征在于，所述基于所述第一图像帧中目标对象的各个外立面的第一平面信息，确定所述第一图像帧中目标对象的各个外立面在第一坐标系中的第一三维信息，包括：

计算所述第一图像帧中目标对象的第一外立面的第一中心点在所述第二坐标系中的坐标，所述第一中心点为所述第一外立面对应的灰度图的中心点；

基于所述第一中心点在所述第二坐标系中的坐标和所述第一中心点到所述拍摄设备的距离，通过针孔相机模型确定所述第一中心点在所述第一坐标系中的坐标；

基于所述第一外立面与所述目标对象的第二外立面的交线的端点在第二坐标系中的坐标，以及所述第一外立面的三维信息，确定所述第二外立面的三维信息；

基于所述第一外立面在第一坐标系中的法向量以及所述第一中心点在所述第一坐标系中的坐标，计算所述第一外立面的特征点在所述第一坐标系中的坐标；基于所述第二外立面在第一坐标系中的法向量以及第二中心点在所述第一坐标系中的坐标，计算所述第二外立面的特征点在所述第一坐标系中的坐标，所述第二中心点为所述第二外立面对应的灰度图的中心点。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述将所述第二图像帧中各个外立面与所述第一图像帧中各个外立面进行特征匹配，并基于特征匹配结果以及所述第一三维信息，确定所述第二图像帧中各个外立面在所述第一坐标系中的的第二三维信息，包括：

提取所述第一图像帧中各个外立面的特征点以及所述第二图像帧中各个外立面的特征点；

将所述第二图像帧中各个外立面的特征点与所述第一图像帧中各个外立面的特征点进行特征匹配；每个外立面的特征点为该外立面的灰度图中的特征点；

对于所述第二图像帧中各个外立面的任一特征点，将所述第一图像帧中与该特征点匹配的目标特征点对应的第一三维信息，确定为该特征点在所述第一坐标系中的第二三维信息。

5.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：

对于所述第二图像帧中各个外立面的任一特征点，将该特征点对应的目标三维信息通过目标相机模型进行投影，得到对应的投影特征点在所述第二坐标系中的坐标：并计算该投影特征点在所述第二坐标系中的坐标与该特征点在所述第二坐标系中的坐标之间的误差；

基于所述误差确定拍摄设备拍摄所述第二图像帧和所述第一图像帧过程中产生的位姿信息，所述位姿信息包括旋转信息和平移信息。

6.根据权利要求5所述的方法，其特征在于，所述将所述第二平面信息与所述第一平面信息进行融合，得到融合后的平面信息，基于所述融合后的平面信息确定在所述第一坐标系中所述第二图像帧相对于所述第一图像帧新增的三维信息，包括：

确定所述第二图像帧中的目标外立面，并计算所述目标外立面的特征点在所述第一图像帧对应的第一坐标系中的三维信息；所述目标外立面为所述第二图像帧中与所述第一图像帧相同的外立面；

将计算所得的所述三维信息投影到所述第一图像帧对应的第二坐标系中，得到多个投影点，基于多个投影点确定第二灰度图，并将所述第二灰度图与所述第一灰度图进行融合，计算融合后的投影点在所述第二图像帧对应的第一坐标系下的三维信息；

确定目标交线的端点在所述第二图像帧对应的第一坐标系下的三维信息，所述目标交线为所述目标外立面对应的第二平面信息所包括的交线；

将所述融合后的投影点在所述第二图像帧对应的第一坐标系下的三维信息，以及所述目标交线的端点在所述第二图像帧对应的第一坐标系下的三维信息，确定为所述第一坐标系中所述第二图像帧相对于所述第一图像帧新增的三维信息。

7.一种三维信息确定装置，其特征在于，包括：

目标视频获取模块，被配置为执行获取目标视频，所述目标视频包括第一图像帧和第二图像帧，所述第一图像帧和所述第二图像帧均包括目标对象，所述第一图像帧在所述目标视频中对应的第一时刻早于所述第二图像帧在所述目标视频的第二时刻；

平面信息确定模块，被配置为执行确定所述第一图像帧中所述目标对象的各个外立面的第一平面信息；

第一三维信息确定模块，被配置为执行基于所述第一图像帧中目标对象的各个外立面的第一平面信息，确定所述第一图像帧中目标对象的各个外立面在所述第一坐标系中的第一三维信息，所述第一坐标系是以拍摄所述目标视频的拍摄设备为原点建立的坐标系；

第二三维信息确定模块，被配置为执行将所述第二图像帧中各个外立面与所述第一图像帧中各个外立面进行特征匹配，并基于特征匹配结果以及所述第一三维信息，确定所述第二图像帧中各个外立面在所述第一坐标系中的第二三维信息；

平面信息融合模块，被配置为执行确定所述第二图像帧中所述目标对象的各个外立面的第二平面信息，将所述第二平面信息与所述第一平面信息进行融合，得到融合后的平面信息，基于所述融合后的平面信息确定在所述第一坐标系中所述第二图像帧相对于所述第一图像帧新增的三维信息；

目标三维信息确定模块，被配置为执行将所述第二三维信息和所述新增的三维信息进行融合，得到所述第二图像帧中目标对象的各个外立面在所述第一坐标系中的目标三维信息。

8.一种电子设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行如权利要求1-6任一项所述的方法。

9.一种计算机可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1-6任一项所述的方法的步骤。

10.一种计算机程序产品，其特征在于，当其在计算机上运行时，使得所述计算机能够执行如权利要求1-6任一所述的方法的步骤。

Images