CN109741245A - 平面信息的插入方法及装置 - Google Patents

Abstract

本发明提供了一种平面信息的插入方法及装置，首先提取视频的各相邻帧中相互匹配的二维特征点建立初始帧，获取相机的初始空间位置后，可以根据各相邻帧中相互匹配的二维特征点预估所述初始帧之后每帧中相机的预估空间位置，通过数据重建，重建各帧的二维特征点与三维特征点的关系，以将相机移动过程中拍摄到的全部二维特征点形成完整的三维特征点集，然后在任一帧中的三维特征点中任选相邻的三个三维特征点建立一二维平面，并在所述二维平面中插入平面信息，在后续的每一帧中，根据三点相匹配的三维特征点从而确定所述平面信息的平面位置，从而使得插入的平面信息随着视频移动动态变化，视觉效果上呈现平面信息和整体视频融为一体，提高了真实感。

Description

平面信息的插入方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种平面信息的插入方法及装置。

背景技术

在现有的视频图像处理过程中，通常需要在视频中的三维空间插入平面信息，例如字体、图片或者视频，但是采用现有的平面信息的插入方法在视频中的三维空间插入平面信息非常困难，且效果及真实感均不好。

发明内容

本发明的目的在于提供一种平面信息的插入方法及装置，以使插入的平面信息完全融入视频的三维空间中。

为了达到上述目的，本发明提供了一种平面信息的插入方法，用于在一视频的三维空间中插入平面信息，包括：

提取所述视频的各相邻帧中相互匹配的二维特征点；

根据各相邻帧中相互匹配的二维特征点建立初始帧，并根据所述初始帧获取相机的初始空间位置；

根据所述相机的初始空间位置及各相邻帧中相互匹配的二维特征点获取所述初始帧之后每帧中相机的预估空间位置，以将所述初始帧及所述初始帧之后的每帧的二维特征点转换为三维特征点；

对所述视频的每帧进行数据重建，以将所述视频的每帧中的二维特征点均转换为三维特征点；

在任一帧中选取三个三维特征点建立一二维平面，并在所述二维平面中插入平面信息。

可选的，提取所述视频的各相邻帧中相互匹配的二维特征点的步骤包括：

提取所述视频中各帧的二维特征点；

将各相邻帧的二维特征点进行匹配，以提取各相邻帧中相互匹配的二维特征点。

可选的，提取各帧的所有二维特征点的方法包括ORB算法，将各相邻帧的二维特征点进行匹配的方法包括粗暴匹配或邻近搜索。

可选的，建立所述初始帧的步骤包括：

将顺次计算的各相邻帧的投影误差总和与一第一阈值进行比较，出现投影误差总和小于所述第一阈值的相邻帧的前一帧即为所述初始帧，并停止计算后续相邻帧中的投影误差总和，其中，计算各相邻帧中前一帧的三维特征点投影到后一帧平面的投影位置与后一帧中匹配的二维特征点的实际位置，两者之间的连线距离即为投影误差，将全部相互匹配的二维特征点的连线距离相加即为投影误差总和。

可选的，所述相邻帧的投影误差总和的计算方法包括：

根据所述相邻帧中相互匹配的二维特征点分别计算出所述相邻帧的基础矩阵及单应矩阵；

通过所述基础矩阵及单应矩阵分别计算出各相邻帧中前一帧匹配的二维特征点的空间位置，以将前一帧中匹配的二维特征点转换为三维特征点；

获取各相邻帧中前一帧的三维特征点投影到后一帧后的投影位置和后一帧中匹配的二维特征点的实际位置，以分别计算出第一投影误差总和及第二投影误差总和；

选取利用所述基础矩阵及单应矩阵分别计算而得到的所述第一投影误差总和与所述第二投影误差总和的较小值作为所述投影误差总和。

可选的，将所述初始帧及所述初始帧之后的每帧的二维特征点转换为三维特征点之前，还将各相邻帧中匹配的二维特征点中预估的空间位置与其实际位置之间的连线距离大于一第二阈值的二维特征点删除，并将每帧中剩余的匹配的二维特征点转换为三维特征点，以在每帧中建立稀疏三维空间；

以及，在将所述初始帧及所述初始帧之后的每帧的二维特征点转换为三维特征点之后，根据每帧中建立的稀疏三维空间利用姿态优化算法对所述视频的每帧进行数据重建，并将每帧中的二维特征点均转换为三维特征点，以在每帧中建立稠密三维空间。

可选的，相机镜头的朝向始终垂直于当前帧的二维平面。

可选的，所述平面信息包括文字、图片及视频中的一种或多种。

本发明还提供了一种平面信息的插入装置，包括：

提取模块，用于提取一视频的各相邻帧中相互匹配的二维特征点；

计算模块，根据各相邻帧中相互匹配的二维特征点建立初始帧，并根据所述初始帧获取相机的初始空间位置；

位置估计模块，根据所述相机的初始空间位置及各相邻帧中相互匹配的二维特征点获取所述初始帧之后每帧中相机的预估空间位置，以将所述初始帧及所述初始帧之后的每帧的二维特征点转换为三维特征点

三维重建模块，对所述视频的每帧进行数据重建，以将所述视频的每帧中的二维特征点均转换为三维特征点；

插入模块，在任一帧中选取三个三维特征点建立一二维平面，并在所述二维平面中插入所述平面信息。

在本发明提供的平面信息的插入方法及装置中，首先提取视频的各相邻帧中相互匹配的二维特征点建立初始帧，获取相机的初始空间位置后，可以根据各相邻帧中相互匹配的二维特征点预估所述初始帧之后每帧中相机的预估空间位置，通过数据重建，重建各帧的二维特征点与三维特征点的关系，以将相机移动过程中拍摄到的全部二维特征点形成完整的三维特征点集，然后在任一帧中的三维特征点中任选相邻的三个三维特征点建立一二维平面，并在所述二维平面中插入平面信息，在后续的每一帧中，根据三点相匹配的三维特征点从而确定所述平面信息的平面位置，从而使得插入的平面信息随着视频移动动态变化，视觉效果上呈现平面信息和整体视频融为一体，提高了真实感。

附图说明

图1为本发明实施例提供的平面信息的插入方法的流程图；

图2为本发明实施例提供的平面信息的插入装置的结构示意图；

其中，附图标记为：1-提取模块；2-计算模块；3-位置估计模块；4-三维重建模块；5-插入模块。

具体实施方式

下面将结合示意图对本发明的具体实施方式进行更详细的描述。根据下列描述和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。

图1为本实施例提供的平面信息的插入方法的流程图。如图1所示，所述平面信息的插入方法用于在一视频的三维空间中插入平面信息，包括：

S1：提取所述视频的各相邻帧中相互匹配的二维特征点；

S2：根据各相邻帧中相互匹配的二维特征点建立初始帧，并根据所述初始帧获取相机的初始空间位置；

S3：根据所述相机的初始空间位置及各相邻帧中相互匹配的二维特征点获取所述初始帧之后每帧中相机的预估空间位置，以将所述初始帧及所述初始帧之后的每帧的二维特征点转换为三维特征点；

S4：对所述视频的每帧进行数据重建，以将所述视频的每帧中的二维特征点均转换为三维特征点；

S5：在任一帧中选取三个三维特征点建立一二维平面，并在所述二维平面中插入平面信息。

本文中，所述视频由所述相机在移动的过程中拍摄而出，且所述视频由若干帧组成，每相邻的两帧构成相邻帧，例如帧1与帧2、帧2与帧3、帧3与帧4.....。

具体的，首先采用ORB算法快速找到所述视频中各帧的所有二维特征点并提取，所述二维特征点不会随着相机的移动、旋转或者光照的变化而变化。接着将各相邻帧的二维特征点进行匹配，以提取各相邻帧中相互匹配的二维特征点。所述二维特征点由两部分构成：关键点(Keypoint)和描述子(Descriptor)，关键点指的是该二维特征点在图像中的位置，有些还具有方向、尺度信息；描述子通常是一个向量，按照人为的设计的方式，描述关键点周围像素的信息。通常描述子是按照外观相似的特征应该有相似的描述子设计的，因此，在匹配的时候，只要两个二维特征点的描述子在向量空间的距离相近，就可以认为它们是相互匹配的特征点。本实施例中，在匹配时，提取各相邻帧中的关键点，根据关键点的位置计算出各二维特征点的描述子，根据所述描述子进行匹配，以提取出各相邻帧中相互匹配的二维特征点。当然所述二维特征点还有其他方式，例如粗暴匹配或邻近搜索等，此处不再一一举例。

可以理解的是，三位场景中的同一个三维特征点在不同视角下的二维特征点存在着一种约束关系：对极约束，基础矩阵是这种约束关系的代数表示，并且这种约束关系独立与场景的结构，只依赖与相机的内参和外参(相对位姿)，对于相互匹配的二维特征点p₁、p₂以及基础矩阵F有如下关系：

其中，K为相机的内参数，也就是说，仅通过相互匹配的二维特征点对(最少7对)可以计算出各相邻帧的基础矩阵F，然后再从F中分解得到相机的选择矩阵R和平移向量t，也就得到了相机的空间位置。

进一步，单应矩阵H能够对各相邻帧提供更多的约束，当相机在只有旋转而没有平移的情况下取得同一场景的两帧图像，两视图的对极约束就不再适用，可以使用单应矩阵H来描述这两帧图像之间的关系。可见基础矩阵F和单应矩阵H均能够表征两针图像的约束关系，但是两者有各自适用的场景，对于整个视频来说，各相邻帧之间的约束关系可能适用的矩阵不同(基础矩阵表示对极约束，需要相机的位置有旋转和平移，单应矩阵需要相机只有旋转而无平移)，本实施例中，对于各相邻帧均计算出其基础矩阵F和单应矩阵H并评估成绩，根据成绩使用相应的算法建立初始帧。

具体的，根据各相邻帧中相互匹配的二维特征点选取最先符合控制要求的相邻帧建立初始帧，并根据所述初始帧获取相机的初始空间位置，以此确定空间尺度。首先根据各相邻帧中相互匹配的二维特征点计算出各相邻帧的基础矩阵和单应矩阵，并通过各相邻帧的基础矩阵和单应矩阵分别计算出各相邻帧中前一帧的匹配二维特征点的空间位置，将所述前一帧中匹配的二维特征点转换为三维特征点后，获取前一帧的三维特征点投影到后一帧后的投影位置与后一帧的匹配的二维特征点的实际位置，两者之间的连线距离即为投影误差，将全部连线距离相加即为投影误差总和，其中，通过各相邻帧的基础矩阵和单应矩阵分别得到的是第一投影误差总和及第二投影误差总和。接着，选取所述第一投影误差总和与所述第二投影误差总和中的较小值作为投影误差总和去判断是否符合控制要求，本实施例中设定有第一阈值，当所述投影误差总和小于所述第一阈值时满足控制要求，反之，当所述投影误差总和大于等于所述第一阈值时不满足控制要求，则可以据此确定各相邻帧中投影误差总和最先小于所述第一阈值的相邻帧的前一帧作为初始帧。

以相邻帧为帧4和帧5举例，通过帧4和帧5中相互匹配的二维特征点，分别计算得到基础矩阵和单应矩阵，通过两个矩阵的矩阵计算分别得到帧4中的二维特征点的空间位置，将所述帧4中二维特征点转换为三维特征点，并计算出帧4中各三维特征点投影到帧5中平面的投影位置，接着获取帧5中匹配的二维特征点的实际位置，计算出投影位置和实际位置之间的连线距离即为投影误差，其中采用基础矩阵计算出的三维特征点得出的投影误差为第一投影误差，将帧4和帧5中所有相互匹配的二维特征点的第一投影误差叠加后得到所述第一投影误差总和，采用基础矩阵计算出三维特征点得出的投影误差为第二投影误差，将帧4和帧5中所有相互匹配的二维特征点的第二投影误差叠加后得到所述第二投影误差总和，最后可依据第一投影误差总和与第二投影误差总和的具体值，选取两者中的较小值作为投影误差总和。可以理解的是，各相邻帧的投影误差总和是顺次计算的(例如先计算帧1和帧2，再计算帧2和帧3…..)，直至找到符合控制要求的相邻帧后，后续的相邻帧可以不必再计算投影误差总和，例如，最先符合控制要求的相邻帧为帧4和帧5即帧4为设定帧，则帧4和帧5之后的相邻帧可不用计算投影误差总和。

接下来将详细介绍8点法计算各相邻帧的基础矩阵的过程：

首先假设一对相互匹配的二维特征点p₁＝[u₁，v₁，1]^T，p₂＝[u₂，v₂，1]^T，带入公式1中，得到：

然后将基础矩阵F的各个元素当作一个向量处理，f＝[f₁，f₂，f₃，f₄，f₅，f₆，f₇，f₈，f₉]，那么公式(2)可以写为：

[u₁u₂，u₁v₂，u₁，v₁u₂，v₁v₂，v₁，u₂，v₂，1]·f＝0 (3)

对于其他的二维特征点对也使用同样的表示方法，这样将得到的所有方程放到一起，得到如下所示的线性方程组[u_i，v_i]，i表示第i个二维特征点。

求解公式(4)就可以得到基础矩阵F的各个元素了，当然这只是理想中的情况，由于噪声、数值的舍入误差和错误的匹配二维特征点的影响，仅仅求解上面的线性方程组得到的基础矩阵F非常的不稳定，因此在8点法的基础上有各种改进方法，此处不再一一详述。

接下来，将详细介绍4点法计算各相邻帧的单应矩阵的过程：

首先设两帧图像上的二维特征点p₁(x₁，y₁)、p₂(x₂，y₂)是一对相互匹配的二维特征点对，其单应矩阵为H，则：

将矩阵的乘法展开，即可得到：

为了方便求解，可以将上面等式变换为Ax＝0的形式，做如下变换：

x₂(H₃₁x₁+H₃₂y₁+H₃₃)＝H₁₁x₁+H₁₂y₁+H₁₃

y₂(H₃₁x₁+H₃₂y₁+H₃₃)＝H₂₁x₁+H₂₂y₁+H₂₃ (7)

将式子的右边变为0得到：

x₂(H₃₁x₁+H₃₂y₁+H₃₃)-H₁₁x₁+H₁₂y₁+H₁₃＝0

y₂(H₃₁x₁+H₃₂y₁+H₃₃)-H₂₁x₁+H₂₂y₁+H₂₃＝0 (8)

将上面的等式改写为向量积的形式，h＝(H₁₁，H₁₂，H₁₃，H₂₁，H₂₂，H₂₃，H₃₁，H₃₂，1)^T，单应矩阵H是一个齐次矩阵，可以将其最后一个元素归一化为1。则公式(8)化简为：

a_xh＝0

a_yh＝0 (9)

其中，

a_x＝(-x₁，-y₁，0，0，0，x₂x₁，x₂y₁，x₂)^T，a_y＝(0，0，0，-x₁，-y₁，-1，y₂x₁，y₂y₁，y₂)^T；

一对相互匹配的二维特征点对，可以得到上述等式，H有8个未知量，也就说最少4对相互匹配的二维特征点(任意3点不共线)，就可以求出两帧图像的单应矩阵H。但是通常来说，相互匹配的二维特征点对要超过4对，设得到了n对匹配的点对，可以得到如下的等式：

最后首先将图像坐标归一化，然后使用最小二乘法或者随机采样一致性(RANSAC)法估计得到单应矩阵H。

建立所述初始帧后，可以根据所述初始帧得到所述相机的初始空间位置(相机的镜头朝向始终垂直于当前帧的二维平面)。然后根据所述相机的初始位置及各相邻帧中相互匹配的二维特征点，可以得到所述初始帧之后每帧中相机的预估空间位置，即所述初始帧之后每帧中相机的空间位置均可以预估出，然后根据所述相机的初始位置及所述相机的预估空间位置将所述初始帧及所述初始帧之后每帧中的二维特征点全部转换为三维特征点，形成三维空间。

本实施例中，在将所述初始帧及所述初始帧之后每帧中的二维特征点转换为三维特征点之前，还可以将各相邻帧中相互匹配的二维特征点中预估的空间位置与其实际位置之间的连线距离大于一第二阈值的二维特征点删除(删除匹配较差或匹配错误的二维特征点)，使得三维空间更加形象可用，提高了三维空间建立的准确度。由于删除了匹配较差的二维特征点，使得各相邻帧中相互匹配的二维特征点数量变少，丢失了较多的特征数据，所以每帧中重建的三维空间是稀疏三维空间(包含部分特征点)。本实施例中，利用了姿态优化算法对每一帧视频(包括初始帧之间的帧及初始帧之后被删除的特征点或帧)进行数据重建，重建每帧中二维特征点与空间中一三维特征点的关系，以将整个视频中每帧的所有的二维特征点均转换为三维特征点，形成稠密三维空间(包含全部特征点)。以获得所述相机移动过程中拍摄到的全部三维特征点形成完整的三维空间特征点集，因为每帧都对相机的空间位置进行了计算，从而使得三维特征点在三维空间内的位置更加准确。

接下来，需要进行平面信息插入时，获取任一帧中的全部三维特征点，任选相邻三个三维特征点建立二维平面，例如选取的任意三点首次出现于某帧中，由于三点可以确定一个平面，因此可以建立所述二维平面并在所述二维平面中插入平面信息内容，在后续的每帧中，根据这三个点相匹配的三维特征点确定所述平面信息的平面位置，从而使得插入的平面信息随着所述视频移动动态变化，视觉效果上呈现所述平面信息和整体视频融为一体。

基于此，如图2所示，本实施例还提供了一种平面信息的插入装置，包括：

提取模块1，用于提取一视频的各相邻帧中相互匹配的二维特征点；

计算模块2，根据各相邻帧中相互匹配的二维特征点建立初始帧，并根据所述初始帧获取相机的初始空间位置；

位置估计模块3，根据所述相机的初始空间位置及各相邻帧中相互匹配的二维特征点获取所述初始帧之后每帧中相机的预估空间位置，以将所述初始帧及所述初始帧之后的每帧的二维特征点转换为三维特征点

三维重建模块4，对所述视频的每帧进行数据重建，以将所述视频的每帧中的二维特征点均转换为三维特征点；

插入模块5，在任一帧中选取三个三维特征点建立一二维平面，并在所述二维平面中插入所述平面信息。

综上，在本发明实施例提供的平面信息的插入方法及装置中，首先提取视频的各相邻帧中相互匹配的二维特征点建立初始帧，获取相机的初始空间位置后，可以根据各相邻帧中相互匹配的二维特征点预估所述初始帧之后每帧中相机的预估空间位置，通过数据重建，重建各帧的二维特征点与三维特征点的关系，以将相机移动过程中拍摄到的全部二维特征点形成完整的三维特征点集，然后在任一帧中的三维特征点中任选相邻的三个三维特征点建立一二维平面，并在所述二维平面中插入平面信息，在后续的每一帧中，根据三点相匹配的三维特征点从而确定所述平面信息的平面位置，从而使得插入的平面信息随着视频移动动态变化，视觉效果上呈现平面信息和整体视频融为一体，提高了真实感。

上述仅为本发明的优选实施例而已，并不对本发明起到任何限制作用。任何所属技术领域的技术人员，在不脱离本发明的技术方案的范围内，对本发明揭露的技术方案和技术内容做任何形式的等同替换或修改等变动，均属未脱离本发明的技术方案的内容，仍属于本发明的保护范围之内。

Claims (9)

1.一种平面信息的插入方法，用于在一视频的三维空间中插入平面信息，其特征在于，包括：

提取所述视频的各相邻帧中相互匹配的二维特征点；

根据各相邻帧中相互匹配的二维特征点建立初始帧，并根据所述初始帧获取相机的初始空间位置；

根据所述相机的初始空间位置及各相邻帧中相互匹配的二维特征点获取所述初始帧之后每帧中相机的预估空间位置，以将所述初始帧及所述初始帧之后的每帧的二维特征点转换为三维特征点；

对所述视频的每帧进行数据重建，以将所述视频的每帧中的二维特征点均转换为三维特征点；

在任一帧中选取三个三维特征点建立一二维平面，并在所述二维平面中插入平面信息。

2.如权利要求1所述的平面信息的插入方法，其特征在于，提取所述视频的各相邻帧中相互匹配的二维特征点的步骤包括：

提取所述视频中各帧的二维特征点；

将各相邻帧的二维特征点进行匹配，以提取各相邻帧中相互匹配的二维特征点。

3.如权利要求2所述的平面信息的插入方法，其特征在于，提取各帧的所有二维特征点的方法包括ORB算法，将各相邻帧的二维特征点进行匹配的方法包括粗暴匹配或邻近搜索。

4.如权利要求1所述的平面信息的插入方法，其特征在于，建立所述初始帧的步骤包括：

将顺次计算的各相邻帧的投影误差总和与一第一阈值进行比较，出现投影误差总和小于所述第一阈值的相邻帧的前一帧即为所述初始帧，并停止计算后续相邻帧中的投影误差总和，其中，计算各相邻帧中前一帧的三维特征点投影到后一帧平面的投影位置与后一帧中匹配的二维特征点的实际位置，两者之间的连线距离即为投影误差，将全部相互匹配的二维特征点的连线距离相加即为投影误差总和。

5.如权利要求4所述的平面信息的插入方法，其特征在于，所述相邻帧的投影误差总和的计算方法包括：

根据所述相邻帧中相互匹配的二维特征点分别计算出所述相邻帧的基础矩阵及单应矩阵；

通过所述基础矩阵及单应矩阵分别计算出各相邻帧中前一帧匹配的二维特征点的空间位置，以将前一帧中匹配的二维特征点转换为三维特征点；

获取各相邻帧中前一帧的三维特征点投影到后一帧平面的投影位置和后一帧中匹配的二维特征点的实际位置，以分别计算出第一投影误差总和及第二投影误差总和；

选取利用所述基础矩阵及单应矩阵分别计算而得到的所述第一投影误差总和与所述第二投影误差总和的较小值作为所述投影误差总和。

6.如权利要求1所述的平面信息的插入方法，其特征在于，将所述初始帧及所述初始帧之后的每帧的二维特征点转换为三维特征点之前，还将各相邻帧中匹配的二维特征点中预估的空间位置与其实际位置之间的连线距离大于一第二阈值的二维特征点删除，并将每帧中剩余的匹配的二维特征点转换为三维特征点，以在每帧中建立稀疏三维空间；

以及，在将所述初始帧及所述初始帧之后的每帧的二维特征点转换为三维特征点之后，根据每帧中建立的稀疏三维空间利用姿态优化算法对所述视频的每帧进行数据重建，并将每帧中的二维特征点均转换为三维特征点，以在每帧中建立稠密三维空间。

7.如权利要求1-6中任一项所述的平面信息的插入方法，其特征在于，相机镜头的朝向始终垂直于当前帧的二维平面。

8.如权利要求1-6中任一项所述的平面信息的插入方法，其特征在于，所述平面信息包括文字、图片及视频中的一种或多种。

9.一种平面信息的插入装置，其特征在于，包括：

提取模块，用于提取一视频的各相邻帧中相互匹配的二维特征点；

计算模块，根据各相邻帧中相互匹配的二维特征点建立初始帧，并根据所述初始帧获取相机的初始空间位置；

位置估计模块，根据所述相机的初始空间位置及各相邻帧中相互匹配的二维特征点获取所述初始帧之后每帧中相机的预估空间位置，以将所述初始帧及所述初始帧之后的每帧的二维特征点转换为三维特征点

三维重建模块，对所述视频的每帧进行数据重建，以将所述视频的每帧中的二维特征点均转换为三维特征点；

插入模块，在任一帧中选取三个三维特征点建立一二维平面，并在所述二维平面中插入所述平面信息。