CN106488143A

CN106488143A - 一种生成视频数据、标记视频中物体的方法、系统及拍摄装置

Info

Publication number: CN106488143A
Application number: CN201510531330.8A
Authority: CN
Inventors: 刘进; 陶重芝
Original assignee: 刘进
Current assignee: Wuhan Xiong Chu Gao Jing Technology Co., Ltd.
Priority date: 2015-08-26
Filing date: 2015-08-26
Publication date: 2017-03-08
Anticipated expiration: 2035-08-26
Also published as: CN106488143B

Abstract

本发明适用于视频领域，提供了一种生成视频数据、标记视频中物体的方法、系统及拍摄装置。所述生成视频数据的方法包括：获取拍摄装置拍摄每一帧视频画面时的姿态数据；将拍摄装置拍摄每一帧视频画面时的姿态数据绑定至对应帧视频画面的数据中，生成携带有拍摄每一帧视频画面时的姿态数据的视频数据。本发明使不同的视频帧画面对应拍摄装置的不同姿态仍然能合成正确的全景视频。或者在测绘领域中，由这些视频帧画面能正确地进行三维重建。

Description

一种生成视频数据、标记视频中物体的方法、系统及拍摄装置

技术领域

本发明属于视频领域，尤其涉及一种生成视频数据、标记视频中物体的方法、系统及拍摄装置。

背景技术

现有技术的拍摄装置将拍摄的视频直接生成视频数据进行保存或传送至其他设备。由于拍摄装置拍摄视频时，不可能一直保持相同的姿态，因此不同的视频帧画面可能是对应拍摄装置的不同姿态。如果由这些视频帧画面合成全景视频，则会导致合成的全景视频不正确。或者在测绘领域中，由这些视频帧画面进行三维重建时，会导致重建的三维视频不正确。

另外，现有技术标记视频中物体时，是通过人为判断现有技术的拍摄装置拍摄的视频中的物体的位置，然后在该位置上标记该物体的名称，当摄像头的姿态改变时，该物体在视频中的位置也会相应改变，然而，如果不是通过人为再次判断并标记的话，则该物体的标记仍然在姿态改变前拍摄的视频中的物体的位置，因此导致标记错误。

发明内容

本发明的目的在于提供一种生成视频数据、标记视频中物体的方法、系统及拍摄装置，旨在解决现有技术生成的视频数据合成的全景视频不正确，或者重建的三维视频不正确的问题以及现有技术标记视频中物体会导致标记错误的问题。

第一方面，本发明提供了一种生成视频数据的方法，所述方法包括：

获取拍摄装置拍摄每一帧视频画面时的姿态数据；

将拍摄装置拍摄每一帧视频画面时的姿态数据绑定至对应帧视频画面的数据中，生成携带有拍摄每一帧视频画面时的姿态数据的视频数据。

第二方面，本发明提供了一种生成视频数据的系统，所述系统包括：

获取模块，用于获取拍摄装置拍摄每一帧视频画面时的姿态数据；

生成模块，用于将拍摄装置拍摄每一帧视频画面时的姿态数据绑定至对应帧视频画面的数据中，生成携带有拍摄每一帧视频画面时的姿态数据的视频数据。

第三方面，本发明提供了一种拍摄装置，所述拍摄装置包括上述的生成视频数据的系统。

第四方面，本发明提供了一种标记视频中物体的方法，所述方法包括：

采用上述的生成视频数据的方法生成视频数据；

接收在任一帧视频画面中手动标记视频画面中物体的标记操作；

当所述物体所在的另一帧视频画面中对应的姿态数据与已标记物体的帧视频画面对应的姿态数据不同时，根据另一帧视频画面中对应的姿态数据、已标记物体的帧视频画面对应的姿态数据和已标记物体的帧视频画面中物体的位置，得到另一帧视频画面中物体的位置；

在另一帧视频画面中物体的位置处标记该物体。

第五方面，本发明提供了一种标记视频中物体的系统，所述系统包括：

上述的生成视频数据的系统；

接收模块，用于接收在任一帧视频画面中手动标记视频画面中物体的标记操作；

位置更新模块，用于当所述物体所在的另一帧视频画面中对应的姿态数据与已标记物体的帧视频画面对应的姿态数据不同时，根据另一帧视频画面中对应的姿态数据、已标记物体的帧视频画面对应的姿态数据和已标记物体的帧视频画面中物体的位置，得到另一帧视频画面中物体的位置；

标记模块，用于在另一帧视频画面中物体的位置处标记该物体。

在本发明中，由于将拍摄装置拍摄每一帧视频画面时的姿态数据绑定至对应帧视频画面的数据中，生成携带有拍摄每一帧视频画面时的姿态数据的视频数据。即使不同的视频帧画面对应拍摄装置的不同姿态仍然能合成正确的全景视频。或者在测绘领域中，由这些视频帧画面能正确地进行三维重建。

另外，由于生成的视频数据携带有拍摄每一帧视频画面时的姿态数据，当物体所在的另一帧视频画面中对应的姿态数据与已标记物体的帧视频画面对应的姿态数据不同时，根据另一帧视频画面中对应的姿态数据、已标记物体的帧视频画面对应的姿态数据和已标记物体的帧视频画面中物体的位置，得到另一帧视频画面中物体的位置；在另一帧视频画面中物体的位置处标记该物体。因此即使拍摄装置的姿态改变，该物体在视频中的位置相应改变了，但该物体的标记仍然能标记在正确的位置。

附图说明

图1是本发明实施例一提供的生成视频数据的方法流程图。

图2是本发明实施例二提供的生成视频数据的系统功能模块框图。

图3是本发明实施例三提供的标记视频中物体的方法流程图。

图4是本发明实施例四提供的标记视频中物体的系统功能模块框图。

具体实施方式

为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一：

请参阅图1，本发明实施例一提供的生成视频数据的方法包括以下步骤：

S101、获取拍摄装置拍摄每一帧视频画面时的姿态数据；

在本发明实施例一中，S101具体为：通过拍摄装置中的磁力计、重力计传感器等测姿态器件计算得到拍摄装置拍摄每一帧视频画面时的姿态矩阵R在i行j列的值r_ij。

S101具体也可以为：通过拍摄装置中的磁力计、重力计传感器等测姿态器件计算得到拍摄装置拍摄每一帧视频画面时的姿态矩阵R的姿态4元数q₀、q₁、q₂和q₃。

姿态矩阵R是相对于地球坐标系的姿态矩阵。地球坐标系的X轴朝东，Y轴朝北，Z轴朝天。

其中，r_ij表示拍摄装置的姿态矩阵R在i行j列的值，q₀、q₁、q₂和q₃是与姿态矩阵R对应的4元数。

S102、将拍摄装置拍摄每一帧视频画面时的姿态数据绑定至对应帧视频画面的数据中，生成携带有拍摄每一帧视频画面时的姿态数据的视频数据。

在本发明实施例一中，S102具体为：将姿态矩阵中的r_ij或姿态4元数数据{q₀、q₁、q₂、q₃}绑定到对应帧视频画面的数据中，生成携带有拍摄每一帧视频画面时的姿态矩阵的视频数据。

携带的拍摄每一帧视频画面时的姿态数据也可以仅包括q₁、q₂和q₃，q₀可以由q₁、q₂和q₃推算出来，

生成的携带有拍摄每一帧视频画面时的姿态矩阵的视频数据中还可以包括GPS信息、高度信息、各种传感器信息等。

在本发明实施例一中，S102之后，所述方法还包括：

按以下公式解析得到携带有拍摄每一帧视频画面时的姿态数据的视频数据中的拍摄每一帧视频画面对应的姿态数据矩阵R。

通过本发明实施例一生成的携带有拍摄每一帧视频画面时的姿态矩阵的视频数据保存或者传输给其他设备后，用于各种领域的后期处理。例如测绘领域中利用拍摄装置姿态矩阵进行正射影像纠正，得到垂直于地面的拼接图像，进行三维重建；也可以进行实时视频纠正，能得到画面水平轴始终是地平线的视频图象；还可以利用每一帧视频画面对应的姿态数据，实现全景视频合成，可合成3D全景视频。

在本发明实施例一中，由于将拍摄装置拍摄每一帧视频画面时的姿态数据绑定至对应帧视频画面的数据中，生成携带有拍摄每一帧视频画面时的姿态数据的视频数据。即使不同的视频帧画面对应拍摄装置的不同姿态仍然能合成正确的全景视频。或者在测绘领域中，由这些视频帧画面能正确地进行三维重建。

实施例二：

请参阅图2，本发明实施例二提供的生成视频数据的系统包括：

获取模块11，用于获取拍摄装置拍摄每一帧视频画面时的姿态数据；

生成模块12，用于将拍摄装置拍摄每一帧视频画面时的姿态数据绑定至对应帧视频画面的数据中，生成携带有拍摄每一帧视频画面时的姿态数据的视频数据。

在本发明实施例二中，获取模块11具体用于：通过拍摄装置中的测姿态器件计算得到拍摄装置拍摄每一帧视频画面时的姿态矩阵R在i行j列的值r_ij；或者，

通过拍摄装置中的测姿态器件计算得到拍摄装置拍摄每一帧视频画面时的姿态矩阵R的姿态4元数q₀、q₁、q₂和q₃；

其中

r_ij表示拍摄装置的姿态矩阵R在i行j列的值，q₀、q₁、q₂和q₃是与姿态矩阵R对应的4元数。

在本发明实施例二中，生成模块12具体用于：

将姿态矩阵中的r_ij或姿态4元数数据{q₀、q₁、q₂、q₃}或{q₁、q₂、q₃}绑定到对应帧视频画面的数据中，生成携带有拍摄每一帧视频画面时的姿态矩阵的视频数据。

本发明还提供了包括本发明实施例二提供的生成视频数据的系统的拍摄装置。

实施例三：

请参阅图3，本发明实施例三提供的标记视频中物体的方法包括以下步骤：

S201、获取拍摄装置拍摄每一帧视频画面时的姿态数据；

在本发明实施例三中，S201具体为：通过拍摄装置中的磁力计、重力计传感器等测姿态器件计算得到拍摄装置拍摄每一帧视频画面时的姿态矩阵R在i行j列的值r_ij。

S201具体也可以为：通过拍摄装置中的磁力计、重力计传感器等测姿态器件计算得到拍摄装置拍摄每一帧视频画面时的姿态矩阵R的姿态4元数q₀、q₁、q₂和q₃。

S202、将拍摄装置拍摄每一帧视频画面时的姿态数据绑定至对应帧视频画面的数据中，生成携带有拍摄每一帧视频画面时的姿态数据的视频数据。

在本发明实施例三中，S202具体为：将姿态矩阵中的r_ij或姿态4元数数据{q₀、q₁、q₂、q₃}绑定到对应帧视频画面的数据中，生成携带有拍摄每一帧视频画面时的姿态矩阵的视频数据。

在本发明实施例三中，携带的拍摄每一帧视频画面时的姿态数据也可以仅包括q₁、q₂和q₃，q₀可以由q₁、q₂和q₃推算出来，

S203、接收在任一帧视频画面中手动标记视频画面中物体的标记操作，该物体在该帧视频画面中的像坐标为u,v；

依据小孔成像公式

对矢量单位化得到保存下来

其中f_x，f_y是拍摄装置焦距，c_x，c_y是主点，可预先测定，R是该帧视频画面对应的姿态矩阵。

S204、当所述物体所在的另一帧视频画面中对应的姿态数据R₂与已标记物体的帧视频画面对应的姿态数据不同时，根据另一帧视频画面中对应的姿态数据、已标记物体的帧视频画面对应的姿态数据和已标记物体的帧视频画面中物体的位置，得到另一帧视频画面中物体的位置。

具体为，依据小孔成像公式

其中是S203步骤中保存下来的目标单位矢量，解出所述物体所在的另一帧视频画面中对应的姿态数据R₂情况下的像坐标u₂,v₂。

S205、在另一帧视频画面中物体的位置处标记该物体。

在本发明实施例三中，由于生成的视频数据携带有拍摄每一帧视频画面时的姿态数据，当物体所在的另一帧视频画面中对应的姿态数据与已标记物体的帧视频画面对应的姿态数据不同时，根据另一帧视频画面中对应的姿态数据、已标记物体的帧视频画面对应的姿态数据和已标记物体的帧视频画面中物体的位置，得到另一帧视频画面中物体的位置；在另一帧视频画面中物体的位置处标记该物体。因此即使拍摄装置的姿态改变，该物体在视频中的位置相应改变了，但该物体的标记仍然能标记在正确的位置。

实施例四：

请参阅图4，本发明实施例四提供的一种标记视频中物体的系统包括：

本发明实施例二提供的生成视频数据的系统21；

接收模块22，用于接收在任一帧视频画面中手动标记视频画面中物体的标记操作，该物体在该帧视频画面中的像坐标为u，v；

依据小孔成像公式

对矢量单位化得到保存下来

位置更新模块23，用于当所述物体所在的另一帧视频画面中对应的姿态数据与已标记物体的帧视频画面对应的姿态数据不同时，根据另一帧视频画面中对应的姿态数据、已标记物体的帧视频画面对应的姿态数据和已标记物体的帧视频画面中物体的位置，得到另一帧视频画面中物体的位置；

具体为，依据小孔成像公式

其中是前面保存下来的目标单位矢量，解出所述物体所在的另一帧视频画面中对应的姿态数据R₂情况下的像坐标u₂,v₂。

标记模块24，用于在另一帧视频画面中物体的位置处标记该物体。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种生成视频数据的方法，其特征在于，所述方法包括：

获取拍摄装置拍摄每一帧视频画面时的姿态数据；

2.如权利要求1所述的方法，其特征在于，所述获取拍摄装置拍摄每一帧视频画面时的姿态数据具体为：

通过拍摄装置中的测姿态器件计算得到拍摄装置拍摄每一帧视频画面时的姿态矩阵R在i行j列的值r_ij；或者，

其中

R = [\begin{matrix} r_{11} & r_{12} & r_{13} \\ r_{21} & r_{22} & r_{23} \\ r_{31} & r_{32} & r_{33} \end{matrix}] = [\begin{matrix} {q_{0}}^{2} + {q_{1}}^{2} - {q_{2}}^{2} - {q_{3}}^{2} & 2 (q_{1} q_{2} + q_{0} q_{3}) & 2 (q_{1} q_{3} - q_{0} q_{2}) \\ 2 (q_{1} q_{2} - q_{0} q_{3}) & {q_{0}}^{2} - {q_{1}}^{2} + {q_{2}}^{2} - {q_{3}}^{2} & 2 (q_{2} q_{3} + q_{0} q_{1}) \\ 2 (q_{1} q_{3} + q_{0} q_{2}) & 2 (q_{2} q_{3} - q_{0} q_{1}) & {q_{0}}^{2} - {q_{1}}^{2} - {q_{2}}^{2} + {q_{3}}^{2} \end{matrix}],

3.如权利要求2所述的方法，其特征在于，所述将拍摄装置拍摄每一帧视频画面时的姿态数据绑定至对应帧视频画面的数据中，生成携带有拍摄每一帧视频画面时的姿态数据的视频数据具体为：

4.一种生成视频数据的系统，其特征在于，所述系统包括：

5.如权利要求4所述的系统，其特征在于，所述获取模块具体用于：通过拍摄装置中的测姿态器件计算得到拍摄装置拍摄每一帧视频画面时的姿态矩阵R在i行j列的值r_ij；或者，

其中

R = [\begin{matrix} r_{11} & r_{12} & r_{13} \\ r_{21} & r_{22} & r_{23} \\ r_{31} & r_{32} & r_{33} \end{matrix}] = [\begin{matrix} {q_{0}}^{2} + {q_{1}}^{2} - {q_{2}}^{2} - {q_{3}}^{2} & 2 (q_{1} q_{2} + q_{0} q_{3}) & 2 (q_{1} q_{3} - q_{0} q_{2}) \\ 2 (q_{1} q_{2} - q_{0} q_{3}) & {q_{0}}^{2} - {q_{1}}^{2} + {q_{2}}^{2} - {q_{3}}^{2} & 2 (q_{2} q_{3} + q_{0} q_{1}) \\ 2 (q_{1} q_{3} + q_{0} q_{2}) & 2 (q_{2} q_{3} - q_{0} q_{1}) & {q_{0}}^{2} - {q_{1}}^{2} - {q_{2}}^{2} + {q_{3}}^{2} \end{matrix}],

6.如权利要求5所述的系统，其特征在于，所述生成模块具体用于：

7.一种拍摄装置，其特征在于，所述拍摄装置包括权利要求4至6任一项所述的生成视频数据的系统。

8.一种标记视频中物体的方法，其特征在于，所述方法包括：

采用权利要求1至3任一项所述的生成视频数据的方法生成视频数据；

在另一帧视频画面中物体的位置处标记该物体。

9.如权利要求8所述的方法，其特征在于，在所述接收在任一帧视频画面中手动标记视频画面中物体的标记操作之后，

依据小孔成像公式

对矢量

{(K R)}^{- 1} [\begin{matrix} u_{i} \\ v_{i} \\ 1 \end{matrix}]

单位化得到并保存；

其中u，v为该物体在该帧视频画面中的像坐标，

K = [\begin{matrix} f_{x} & 0 & c_{x} \\ 0 & f_{y} & c_{y} \\ 0 & 0 & 1 \end{matrix}],

f_x，f_y是拍摄装置焦距，c_x，c_y是主点，R是该帧视频画面对应的姿态矩阵；

所述根据另一帧视频画面中对应的姿态数据、已标记物体的帧视频画面对应的姿态数据和已标记物体的帧视频画面中物体的位置，得到另一帧视频画面中物体的位置具体为：

依据小孔成像公式解出所述物体所在的另一帧视频画面中对应的姿态数据R₂情况下的像坐标u₂，v₂。

10.一种标记视频中物体的系统，其特征在于，所述系统包括：

权利要求4至6任一项所述的生成视频数据的系统；