CN103716611B - 具有运动传感器的用于立体视频的设备和方法 - Google Patents

Abstract

提供一种具有运动传感器的用于立体视频的设备和方法。所述设备包括：相机单元，具有用于捕获视频的一个镜头；视频编码器/解码器，用于对捕获的视频进行编码；运动传感器，用于捕获与捕获的视频相应的视频捕获装置的运动数据；控制器，用于控制视频编码器/解码器对捕获的视频与捕获的运动数据一起进行编码。

Description

具有运动传感器的用于立体视频的设备和方法

技术领域

本发明涉及一种具有运动传感器的用于立体视频的设备和方法。更具体地讲，本发明涉及一种通过使用运动传感器来产生用于产生立体视频的数据，以产生立体视频的设备和方法。

背景技术

移动终端提供用户之间的无线通信，以及为用户提供数据服务和移动网络接入。随着技术的进步，现在移动终端提供简单的电话交谈以外的很多额外功能。例如，移动终端现在能够提供额外功能，诸如闹铃、短消息服务（SMS）、多媒体消息服务（MMS）、电子邮件，游戏，短距离通信的远程控制、使用包括在移动电话中的数字相机的静止图像捕获功能和/或视频捕获功能、用于提供音频和视频内容的多媒体功能、日程安排功能以及可在移动终端上执行的很多其它功能。使用现在提供的多个功能，移动终端在用户的日常生活中被经常使用。

随着移动终端的使用的增加，移动终端的图像捕获功能和/或视频捕获功能的使用已增加。另外，用于提供3维（3D）影像和视频的立体成像的使用已增加，用于为用户显示3D影像和3D视频的显示器普遍可用。例如，自动立体3D显示器允许在不使用特殊头盔或眼镜的情况下可观看三维图像的显示。即使由平面装置产生图像，这些方法也使观看者产生深度感知。存在若干用于自动立体3D显示器的技术。目前，大多数平板解决方案采用透镜镜头或视差光栅。如果观看者将他们的头部定位在特定观看位置，则用户将用每个眼镜感知不同图像，结果形成提供深度感的立体图像。

图1是示出根据现有技术的立体图像的显示和图像的原始场景的示图。

图2是示出根据现有技术的图1的立体图像的原始场景的示图。

参照图1和图2，立体图像经由立体视觉提供深度感，其中，用户用两眼利用双眼视觉来观看场景，从而观看到相同场景的两个不同图像（即，立体图像）。通过立体眼镜观看的两个不同图像（左眼视图和右眼视图）具有与观看在2维（2D）中存在的相同场景的两个不同参考点之间的距离相应的双眼视差，因此，得到深度感并产生3D视频。换句话说，当两眼中的每一只观看相同场景的各个图像时，由于相同场景的各个图像的不同视角，相同场景的两个图像之间的双眼视差导致深度感，其中，不同视角与观看相同场景的两个不同参考点相应。

因此，相同场景的视角的差导致立体视觉，从而当观看2D场景的两个不同视角时，给观看者提供深度的印象。因此，用于显示3D视频的显示器利用立体视觉为用户提供场景的立体视图。例如，当为用户显示场景时，可为用户提供两个图像，一个图像给用户的左眼，另一图像给用户的右眼，其中，两个图像具有一个场景的各自视角。因此，当用户经由具有相同场景的各自视角的两个图像观看相同场景时，用户感知3D的场景。

可使用用于记录相同场景的在各个位置的不同相机或具有多个镜头的一个相机来产生相同场景的不同图像。然而，移动终端可仅包括一个用于产生2D图像和视频的摄像头。另外，即使移动终端可包括多于一个的摄像头，移动终端在每侧可仅具有一个数字摄像头。换句话说，移动终端可具有一个前置摄像头和一个后置摄像头。因此，存在使用利用单个镜头相机的移动终端来产生立体视频的需要。

发明内容

本发明的各方面在于解决至少上述问题和/或缺点，并提供至少下面描述的优点。因此，本发明的一方面在于提供一种用于通过使用运动传感器来产生用于产生立体视频的数据，以产生立体视频的设备和方法。

根据本发明的另一方面，提供一种具有运动传感器的用于记录3维（3D）立体视频的视频捕获装置。所述视频捕获装置包括：相机单元，具有用于捕获视频的一个镜头；视频编码器/解码器，用于对捕获的视频进行编码；运动传感器，用于捕获与捕获的视频相应的视频捕获装置的运动数据；控制器，用于控制视频编码器/解码器对捕获的视频与捕获的运动数据一起进行编码。

根据本发明的一方面，提供一种用于使用视频捕获装置记录3维（3D）视频的方法。所述方法包括：初始化3D视频的记录；将视频数据捕获为视频帧，同时捕获视频捕获装置的运动的运动数据；对运动数据和捕获的视频帧进行相关；根据相关性对捕获的视频帧的各个帧与各自运动数据一起进行编码；将编码的3D视频存储为记录的3D视频。

根据本发明的一方面，提供一种用于使用视频显示装置再现3D视频的方法。所述方法包括：确定3D视频是否将被再现；确定3D视频的左眼视图和右眼视图的显示的相关距离；根据相关距离和3D视频的各个帧的运动数据，针对左眼视图和右眼视图选择3D视频的各个帧；同时显示分别针对左眼视图和右眼视图选择的帧。

从下面结合附图的详细描述，本发明的其它方面、优点和显著特征对本领域的技术人员将变得更加清楚，其中，所述附图公开本发明的示例性实施例。

附图说明

通过下面结合附图的描述，本发明的特定示例性实施例的上述和其它方面、特征和优点将更加明显，其中，

图1是示出根据现有技术的立体图像的显示和图像的原始场景的示图；

图2是示出根据现有技术的图1的立体图像的原始场景的示图；

图3示出根据本发明的示例性实施例的视频捕获装置；

图4示出根据本发明的示例性实施例的3维（3D）视频的记录；

图5示出根据本发明的示例性实施例的记录3D视频的方法；

图6示出根据本发明的示例性实施例的再现3D视频的方法。

在整个附图中，应该注意，相同的标号用于描述相同或相似的元件、特征和结构。

具体实施方式

提供下面参照附图的描述以帮助全面理解由权利要求及其等同物所限定的本发明的示例性实施例。所述描述包括各种具体细节以帮助理解，但是这些具体细节将被认为仅仅是示例性的。因此，本领域的普通技术人员将认识到，在不脱离本发明的范围和精神的情况下，可以对这里所描述的实施例进行各种改变和修改。此外，为了清楚和简明，省略对公知功能和构造的描述。

下面的描述和权利要求中所使用的术语和词语不局限于书面含义，而仅仅被发明人使用以使本发明得以清楚和一致的理解。因此，本领域的技术人员应该清楚，提供下面对本发明示例性实施例的描述仅是为了说明的目的，而不是为了限制本发明的目的，其中，本发明由权利要求和它们的等同物所限定。

应当理解，除非上下文清楚地另有指示，否则单数形式包括复数指示物。因此，例如，提及“组件表面”包括提及一个或多个这样的表面。

术语“基本上”是指所陈述的特征、参数或值不需要精确地获得，但偏差或变化（包括例如，公差、测量误差、测量精度限制和本技术领域的技术人员公知的其它因素）可发生不排除特征意图提供的效果的量。

本发明的示例性实施例包括具有运动传感器的用于立体视频的设备和方法。

图3示出根据本发明的示例性实施例的视频捕获装置。

参照图3，视频捕获装置300包括控制器301、相机单元302、视频编码/解码单元303、存储单元304、运动传感器单元305和显示单元306。然而，视频捕获装置300可以是任意适合的便携式电子装置，包括但不限于移动电话、个人数字助理、数字媒体播放器、平板计算机、个人计算机，以及包括用于捕获视频的相机单元的任意其它合适的和/或类似的便携式电子装置。另外，在视频捕获装置300是移动电话或任意其它类似移动通信装置的情况下，尽管未示出，但是视频捕获装置300可包括用于执行无线通信的射频（RF）收发器307和用于接收GPS信号并计算GPS位置的全球定位系统（GPS）接收器308。另外，其它示例性实施例可包括适合于便携式电子装置的附加模块，并且包括在视频捕获装置300中的两个或两个以上的模块的功能可被集成为单个组件。

控制器301控制视频捕获装置300的操作，包括发送信号、接收信号和在包括在视频捕获装置300的组件之间交换信号，并且还控制视频捕获装置300的组件的操作。相机单元302用于捕获静止图像和视频，并可以是任意适合于便携式电子装置的相机。视频编码/解码单元303对存储在存储单元304上的由相机单元302捕获的静止图像和视频进行编码，并对存储在存储单元304上和/或经由RF收发器307接收到的静止图像和视频进行解码，以在显示单元306上显示静止图像和视频。运动传感器单元305检测视频捕获装置300的运动，并可以是加速度计、指南针、磁强计、陀螺仪和/或用于确定运动的任意其它合适的装置中的至少一个。

根据本发明的示例性实施例，控制器301控制视频编码/解码单元303对从相机单元302接收到的视频数据进行编码。视频捕获装置300的用户可通过激活视频捕获装置300的视频记录功能来初始化视频的记录。用户可使用视频捕获装置300的输入单元（未示出）来初始化视频记录功能，其中，输入单元可以是用于将用户命令输入到视频捕获装置300的触摸屏、输入键和/或任意其它合适的输入装置中的至少一个。在初始化视频记录功能之后，用户可初始化视频的记录，以使相机单元302捕获提供到视频编码/解码单元303的视频数据。视频编码/解码单元303是可对捕获的视频数据进行编码的任意合适的视频编解码器（诸如，运动图像专家组（MPEG）编解码器、H.264编解码器、Windows媒体视频（WMV）编解码器、QuickTime编解码器）和/或任意其它合适的数字视频编解码器，并还可对编码的视频数据进行解码，用于在显示单元306上显示。

视频编码/解码单元303可在存储单元304上存储编码的视频数据。根据由运动传感器单元305感测到的运动数据，存储的视频数据可包括位置数据和运动数据中的至少一个。例如，当相机单元302正捕获提供给视频编码/解码单元303的视频数据时，控制器301可激活运动传感器单元305，以同时捕获视频捕获装置300的运动或移动的运动数据。换句话说，控制器301可在控制运动传感器单元305同时捕获视频捕获装置300的运动数据的同时，控制相机单元302捕获视频数据。捕获的运动数据可被提供到视频编码/解码单元303，使得编码的视频数据的各个帧包括与每个各自帧相应的运动数据。

因此，每当针对参考帧捕获视频帧时，运动传感器单元305捕获与运动的量相应的运动数据。另外，运动传感器单元305可捕获与捕获的视频的每一帧相应的数据，或可捕获与周期或预定量的时间相应的数据。例如，运动传感器单元305可捕获与每个第N帧相应的数据，其中，N是整数，或可按照周期率或时间捕获数据。

图4示出根据本发明的示例性实施例的3维（3D）视频的记录。

参照图4，当用户在记录已记录的对象的3D视频的同时，移动视频捕获装置300时，控制器301控制相机单元302和运动传感器单元305来同时记录数据。因此，运动传感器单元305在3D视频的记录期间，记录与视频捕获装置300的运动相应的数据。控制器301确定在3D视频的各个帧的记录之间的运动的量（即，视频捕获装置300移动的距离）。例如，如果用户在围绕对象旋转视频捕获装置300时，产生对象的视频记录，并且所述视频记录包括帧F0到帧F12，则控制器301可确定两个或两个以上记录的帧之间的运动的量。在视频捕获装置300在帧FO和帧F3的捕获之间移动的情况下，则运动传感器单元305确定已从帧F0的捕获到帧F3的捕获移动了距离D0（也可被称为距离数据D0）。

因此，当对捕获的视频进行编码时，视频编码/解码单元303接收与距离D0相应的数据，并将帧F0和帧F3之间的第一运动量存储为距离D0，使得该数据被存储以便与帧F3相应。视频编码/解码单元303可对与距离D0相应的数据和帧F3的编码的数据一起进行编码，使得帧F3被标记为对于帧F0的距离D0，在当前情况下，帧F0是参考帧。在当前情况下，运动传感器单元305可还将视频捕获装置300在帧F3和帧F6之间移动的距离量确定为距离D1，在帧F6和帧F9之间移动的距离量确定为距离D2，以及在帧F9和帧F12之间移动的距离量确定为距离D3。因此，视频编码/解码单元303可对帧F0到F12的视频数据进行编码，使得帧F3被标记有距离D0，帧F6被标记有距离D1，帧F9被标记有距离D2，帧F12被标记有距离D3。

因此，针对具有帧F0到帧F12的3D视频的捕获，记录视频捕获装置300的移动量，并将其存储在存储单元304上。可按照任意适当的方式存储运动数据D0、D1、D2和D3，从而与各个帧F3、F6、F9和F12相应。换句话说，记录的帧F3、F6、F9和F12可被分别标记有运动数据D0、D1、D2和D3，使得运动数据D0-D3与记录的帧F3、F6、F9和F12的帧数据一起被编码。然而，本示例性实施例不限于此，运动数据D0-D3可与各自帧分开存储，或可按照任意适当的方式被存储或记录，使得运动数据与各自记录的帧相应。

另外，视频编码/解码单元303可还对帧F0到F12的视频数据进行编码，使得其包括视角。视角可以是与各自右眼视图和左眼视图相应的相机的两个各自视图的观看方向之间的角度。因此，视角还与观看者的眼睛之间的距离相应，由于观看者的右眼和左眼分别与右眼视图和左眼视图相应，因此，视角是在与人眼的视角相应的预定范围内。可在相同时间将视角捕获为运动数据，视角可与视频数据和运动数据的记录一起由视频捕获装置300记录。因此，除了对帧F0到帧F12的视频数据进行编码以外，视频编码/解码单元303可还对与帧F0到F12的任意两个的观看方向之间的角度相应的视角进行编码。换句话说，视频编码/解码单元303与帧F0到帧F12的编码一起对视角进行编码，其中，视角是帧F0到帧F12的预定对或任意其它适当对的观看方向之间的角距。

为了显示根据上述示例性实施例记录的3D视频，控制器301控制显示单元305根据左眼视图和右眼视图为观看3D视频的用户显示帧。在本示例性实施例中，显示单元305被用于显示3D视频。然而，3D视频可被显示在显示单元305或任意其它合适的显示单元上，其中，所述任意其它合适的显示单元可在视频捕获装置300的内部或外部，并适合于显示3D视频的左眼视图和右眼视图。3D视频被显示，使得左眼视图和右眼视图之间的差与用户的左眼和右眼之间的距离相应。更具体地，用户的左眼和右眼之间的距离被用于根据运动数据D0-D3来确定同时显示给用户的帧F0-F12之中的左眼视图的帧和右眼视图的帧。

换句话说，在再现3D视频中，根据用户的眼睛之间的距离来确定相关距离，从而选择离彼此特定距离处记录并同时显示给用户以产生深度感的帧。可根据观看3D视频的用户的人工输入和/或调整来确定相关距离，可根据在显示3D视频的显示装置和观看3D视频的用户之间感测到的距离自动确定相关距离，相关距离可以是预定值。然而，本发明不限于此，可根据任意合适的方法和/手段来确定相关距离。另外，可结合存储的帧F0-F12中的一对的视角来使用相关距离，使得视角与选择的帧F0-F12的一对的视角相应，其中，所述选择的帧F0-F12的一对被显示为各自左眼视图和右眼视图。

更具体地，在用户的眼睛之间的距离与距离D0相关的情况下，随后在帧F3（其被记录在到帧F0的记录距离D0处）被显示为右眼视图的同时，帧F0可被显示为左眼视图。从而，显示单元305通过同时显示记录在离彼此距离D0的各自位置处的两个帧来提供深度感，其中，距离D0与用户的眼睛之间的距离相应。另外，关于显示的3D视频的用户的眼睛的视角可被用于选择帧F0到F12的一对的相应视角，使得帧F0到帧F12的一对的视角与用户的眼睛的视角相应。换句话说，显示单元305通过同时显示使用单眼镜头（或换句话说，视频捕获装置300的单个镜头相机）在不同位置处记录的帧，将使用单眼镜头记录的视频显示为使用双眼镜头记录的视频。

图5示出根据本发明的示例性实施例的记录3D视频的方法。

参照图5，在步骤501，视频捕获装置300确定用户是否初始化视频捕获功能。在初始化视频捕获功能之后，在步骤502，视频捕获装置300确定用户是否选择3D视频的记录。如果用户未选择3D视频的记录，则在步骤500，视频捕获装置300进行捕获2D视频。如果在步骤502，用户选择了3D视频的记录，则视频捕获装置300进行到步骤503，以初始化运动传感器单元305。接下来，在步骤504，视频捕获装置300确定用户是否开始记录3D视频。在用户开始3D视频的记录时，在步骤505，视频捕获装置300同时获取视频数据和运动数据，其中，所述运动数据可包括视角。

在获取视频数据和相应的运动数据之后，在步骤506，视频捕获装置300将运动数据和各自记录的视频帧进行相关。接下来，在步骤507，视频捕获装置300根据在步骤506完成的相关对各个视频帧与各自运动数据一起进行编码。在步骤507对3D视频进行编码之后，在步骤508，视频捕获装置300存储编码的3D视频。

图6示出根据本发明的示例性实施例的再现3D视频的方法。

参照图6，在步骤601，可以是任意适合于显示立体3D视频的装置的视频显示装置确定用户是否已初始化3D视频的重放（即，再现）。接下来，在步骤602，视频显示装置根据确定的距离、感测到的输入和用户的输入中的至少一个来确定相关距离。接下来，在步骤603，视频显示装置根据各个帧的相关距离和运动数据来为左眼视图和右眼视图选择3D视频的各个帧。更详细地，视频显示装置可根据帧F0-F12之中的任意对的帧的视角来选择3D视频的各个帧，其中，帧F0-F12之中的多对帧的视角被包括在编码的3D视频数据和/或编码的3D视频的运动数据中。可在3D视频的解码时选择3D视频的各个帧，或可根据标记有3D视频的各个帧的运动数据，在编码的3D视频的解码之前选择3D视频的各个帧。然而，本发明不限于此，可根据使用运动数据和相关距离的任意合适方法来分别为左眼视图和右眼视图选择各个帧。接下来，在步骤604，视频显示装置同时显示分别为用户的左眼视图和右眼视图选择的帧。用户可佩带立体眼睛，以正确地观看由视频显示装置显示的左眼视图和右眼视图。

虽然已经参照本发明的特定示例性实施例示出并描述了本发明，但是本领域的技术人员将理解，在不脱离由权利要求及其等同物限定的本发明的精神和范围的情况下，可在其中进行形式和细节上的各种改变。

Claims (22)

1.一种具有运动传感器的用于记录3D视频的视频捕获装置，所述视频捕获装置包括：

相机单元，具有用于捕获视频的一个镜头；

视频编码器，用于对捕获的视频进行编码；

运动传感器，用于捕获与捕获的视频相应的视频捕获装置的运动数据；

控制器，用于基于捕获的运动数据来确定视频捕获装置在捕获的视频的第一帧和第二帧之间运动的距离，并控制视频编码器对捕获的视频与确定的距离一起进行编码，

其中，视频编码器用所述确定的距离来标记捕获的视频的第二帧，其中，视频捕获装置在第一帧和第二帧之间运动了所述确定的距离，

其中，3D视频通过基于第二帧的标记中包括的信息选择捕获的视频的多个帧的子组被再现。

2.如权利要求1所述的视频捕获装置，其中，运动传感器是加速度计、指南针、磁强计和陀螺仪中的至少一个。

3.如权利要求1所述的视频捕获装置，其中，控制器同时控制相机单元捕获视频，同时控制运动传感器捕获运动数据。

4.如权利要求1所述的视频捕获装置，其中，控制器对捕获的视频的各个帧和捕获的各个运动数据进行相关。

5.如权利要求4所述的视频捕获装置，其中，捕获的各个运动数据是在捕获各个帧的同一时间被捕获的。

6.一种用于使用视频捕获装置来记录3D视频的方法，所述方法包括：

初始化3D视频的记录；

将视频数据捕获为视频帧，同时捕获视频捕获装置的运动的运动数据；

对运动数据和捕获的视频帧进行相关；

根据相关性对捕获的视频帧的各个视频帧与各自的运动数据一起进行编码；

将编码的3D视频存储为记录的3D视频，

其中，对运动数据和捕获的视频帧进行相关的步骤包括：基于运动数据来确定视频捕获装置在捕获的视频帧的第一视频帧和第二视频帧之间运动的距离，

其中，对捕获的视频帧的各个视频帧进行编码的步骤包括：用确定的距离来标记捕获的视频的第二视频帧，其中，视频捕获装置在第一视频帧和第二视频帧之间运动了所述确定的距离，

其中，3D视频通过基于第二视频帧的标记中包括的信息选择捕获的视频的多个帧的子组被再现。

7.如权利要求6所述的方法，其中，初始化3D视频的记录的步骤包括：

初始化视频捕获功能；

确定用户是否选择3D视频的记录；

初始化运动传感器。

8.如权利要求6所述的方法，其中，同时捕获视频数据和运动数据的步骤包括：当视频捕获装置正将视频数据捕获为视频帧时，捕获视频捕获装置的运动的运动数据。

9.如权利要求6所述的方法，其中，视频捕获装置运动的距离是视频捕获装置在记录参考视频帧时的位置和视频捕获装置在记录3D视频的各个视频帧时的位置之间的距离。

10.如权利要求6所述的方法，其中，将运动数据和捕获的视频帧进行相关的步骤包括：对捕获的一对视频帧之间的视角进行相关，

其中，对视角进行相关的步骤包括：

确定在捕获的视频帧的第一视频帧和第二视频帧之间的视角；

将与第一视频帧和第二视频帧之间的视角相关的信息编码在捕获的视频帧的第二视频帧中。

11.如权利要求10所述的方法，其中，视角是在记录捕获的所述一对视频帧中的参考帧时视频捕获装置的观看方向和在记录捕获的所述一对视频帧中的另一帧时视频捕获装置的观看方向之间的角度距离。

12.如权利要求6所述的方法，其中，针对记录的3D视频的捕获的视频帧中的每一个，发生对运动数据和捕获的视频帧的相关。

13.如权利要求6所述的方法，其中，根据预定时间段，发生对运动数据和捕获的视频帧的相关。

14.如权利要求6所述的方法，其中，在3D视频的每个第N帧，发生对运动数据和捕获的视频帧的相关，其中，N是整数值。

15.一种用于使用视频显示装置来再现3D视频的方法，所述方法包括：

基于用于对在视频显示装置接收的视频回放功能进行初始化的指示来确定3D视频是否将被再现；

在接收到用于对视频回放功能进行初始化的指示之后检测用户与视频显示装置之间的距离；

基于检测到的用户与视频显示装置之间的距离来确定用于3D视频的左眼视图和右眼视图的显示的相关距离；

根据3D视频的各个帧的相关距离和运动数据，针对左眼视图和右眼视图选择3D视频的各个帧；

同时显示分别针对左眼视图和右眼视图选择的帧，

其中，选择3D视频的各个帧的步骤包括：根据3D视频的各个帧的相关距离和运动数据，针对左眼视图选择多个3D视频帧中的第一帧，并针对右眼视图选择所述多个3D视频帧中的与第一帧不同的第二帧，

其中，3D视频包括仅通过相机单元的一个镜头捕获的视频数据，

其中，所述多个3D视频帧包括三个或更多个3D视频帧。

16.如权利要求15所述的方法，其中，同时显示针对左眼视图和右眼视图选择的帧的操作与由观看3D视频的用户佩带的立体眼镜相应。

17.如权利要求15所述的方法，其中，在对3D视频进行解码后完成对3D视频的各个帧的选择。

18.如权利要求15所述的方法，其中，根据标记有3D视频的各个帧的运动数据，在3D视频的解码之前，完成对3D视频的各个帧的选择。

19.如权利要求15所述的方法，其中，确定相关距离的步骤包括：用户调整相关距离，使得3D视频的左眼视图和右眼视图为用户提供深度感。

20.如权利要求15所述的方法，其中，确定相关距离的步骤包括：从预定相关距离之中选择相关距离。

21.如权利要求15所述的方法，其中，根据3D视频的各个帧的相关距离和运动数据针对左眼视图和右眼视图选择3D视频的各个帧的步骤包括：选择具有与相关距离相应的视角的一对帧。

22.如权利要求21所述的方法，其中，视角是在记录所述一对帧中的参考帧时视频捕获装置的观看方向和在记录所述一对帧中的另一帧时视频捕获装置的观看方向之间的角度距离。