CN103905806A - 利用单摄像头实现3d拍摄的系统和方法 - Google Patents

Abstract

本发明提供一种利用单摄像头实现3D拍摄的系统和方法。所述系统包括：设置子系统，用于选择3D模式以及设置3D图像的特定参数；数据采集子系统，根据设置子系统提供的特定参数通知图像传感器采集原始图像数据；数据合成子系统，根据用户选择的3D模式下相应的数据处理方法处理拍摄的原始图像数据，从而模拟出左眼图像数据和右眼图像数据，然后对左眼图像数据和右眼图像数据进行合帧操作；数据编码子系统，对数据合成子系统合帧后的数据进行编码、封装。根据本发明的拍摄3D图像的系统和方法具有如下技术效果：仅仅利用单摄像头，就可实现3D影像的摄制；提供多种3D模式来让用户选择，参数自由调整，让用户可以随心所欲拍摄。

Description

利用单摄像头实现3D拍摄的系统和方法

技术领域

本发明涉及一种3D拍摄方法，特别涉及一种利用单摄像头实现3D拍摄的系统和方法。

背景技术

随着人们对多媒体欣赏要求的提高，3D电影变得越来越普及，目前用户主要接触3D多媒体的方式一般为到3D影院观看3D电影，或者在家庭用3D电视机上观看从网络或其他途径获得一些3D片源。由于3D片源的技术性要求高，拍摄成本高，3D片源是比一般2D媒体数量少的多。在3D拍摄方面，个别厂商也推出了一些具有双摄像头的相机和手机终端，但大部分都是成本高，价格贵，而且拍摄效果一般。

现有的移动终端的3D技术包含两个方面，一个是3D多媒体显示，一个是3D多媒体制作。

当前的3D拍摄装置主要分为两大类，分别是多摄像头拍摄装置和单摄像头拍摄装置。在多摄像头拍摄装置中，通常采用两个摄像头模拟人的眼睛来实现3D影像的拍摄，然而，采用这种拍摄装置时，很难保证多个摄像头的光轴完全平行，而且在拍摄近距离小视差景物时，固有的摄像头导致摄像头之间的间距不能调到较小的数值，从而无法拍摄得到合适视差的3D图像。在单摄像头拍摄装置中，都是通过对摄像头做出物理结构或者拍摄状态的变化来实现3D拍摄，即要么是加光开关，要么是镜头左右来回移动或旋转拍摄的，但运动镜头在拍摄高速运动的物体时得到的影像将不足够清晰。

发明内容

为了解决上述问题，本发明提供了一种单摄像头终端拍摄3D视频或图片的一种解决方案，可以让用户更为便利的拍摄出具有3D效果的图片和录像。

根据本发明的一方面，提供一种利用单摄像头的3D图像产生系统，所述系统包括：设置子系统，用于选择3D模式以及设置3D图像的特定参数；数据采集子系统，根据设置子系统提供的特定参数通知图像传感器采集原始图像数据；数据合成子系统，根据用户选择的3D模式下相应的数据处理方法处理拍摄的原始图像数据，从而模拟出左眼图像数据和右眼图像数据，然后对左眼图像数据和右眼图像数据进行合帧操作；数据编码子系统，对数据合成子系统合帧后的数据进行编码、封装。

设置子系统提供下面的3D模式中的至少两种供用户选择：仅入屏模式、由近到远模式、由近到远且加强出屏模式、由近到远且加强入屏模式、中心出屏模式、深度图通用模式。

所述3D图像产生系统还包括：实时操作指南子系统，向用户实时提供对各种3D模式的说明，并且给出操作指南。

实时操作指南子系统提示用户如何调节当前3D模式下的曲线参数以获得更佳3D效果，且实时操做指南子系统提供让用户调节曲线参数的界面。

所述3D图像的特定参数包括分辨率、fps中的至少一种。

所述3D图像的特定参数包括分辨率、fps、封装格式、存储格式、输出质量。

在仅入屏模式中，数据合成子系统分别进行模拟左眼图像数据和右眼图像数据的处理，在模拟左眼图像数据或右眼图像数据的数据处理过程中，将原始图像数据帧按行进行单方向平移。

在行号随着屏幕由上到下而增加且列号随着屏幕由左到右增加的屏幕中，在模拟左眼图像数据的数据处理过程中，随着行号的增加进行递减左移，递减模型为线性或指数曲线；在模拟右眼图像数据的数据处理过程中，随着行号的增加进行递减右移，递减模型为与左眼图像数据的递减模型对应的线性或指数曲线。

在由近到远模式中，数据合成子系统分别进行模拟左眼图像数据和右眼图像数据的处理，在模拟左眼图像数据或右眼图像数据的数据处理过程中，以基准线为基准，将基准线上方的原始图像数据和基准线下方的原始图像数据按行进行不同方向的平移。

在模拟左眼图像数据的数据处理过程中，使基准线之上的部分随着行号的增加进行递减左移，递减模型为指数曲线，使基准线之下的部分随着行号的增加进行递增右移，递增模型为指数曲线；在模拟右眼图像数据的数据处理过程中，使基准线之上的部分随着行号的增加进行递减右移，递减模型为指数曲线，使基准线之下的部分随着行号的增加进行递增左移，递增模型为指数曲线。

如果行号随着屏幕由上到下而增加，则在由近到远且加强出屏模式中，使基准线的行号小于预定值。

所述预定值对应于屏幕的高度的一半的位置。

如果行号随着屏幕由上到下而增加，则在由近到远且加强入屏模式中，使基准线的行号大于预定值。

所述预定值对应于屏幕的高度的一半的位置。

用户能够调节基准线的位置。

在中心出屏模式下，当前帧的每个像素点将根据距离中心点的距离进行对数型曲线平移。

在深度图通用模式下，先提取当前帧的深度图，根据深度图的值去调整每一个像素点的位移量，以获得最佳3D效果。

数据编码子系统采用MVC视频编码技术进行编码，并封装以及存储。

根据本发明的另一方面，提供一种利用单摄像头产生3D图像的方法，所述方法包括：利用单个摄像头获得原始图像数据；然后对原始图像数据进行数据处理，根据用户选择的3D模式生成左眼图像数据和右眼图像数据，并且进行合帧；最后通过对3D数据进行压缩编码和封装处理。

根据本发明的拍摄3D图像的系统和方法具有如下技术效果：仅仅利用单摄像头，就可实现3D影像的摄制；提供多种3D模式来让用户选择，参数自由调整，让用户可以随心所欲拍摄。

在不增加硬件成本，用户只要持有原有的单摄像头传感器移动终端，就可以拍出3D图像和3D视频的解决方案，该发明将大大增加移动终端摄像头传感器的利用率，增加用户对于3D的认知度和接触，让普通用户也可以拍出3D视频，有利于3D技术的普及和推广。

附图说明

通过下面结合示例性地示出一例的附图进行的描述，本发明的上述和其他目的和特点将会变得更加清楚，其中：

图1示意性示出了根据本发明的实施例的利用单摄像头的3D图像产生系统利用单镜头生成3D图像的过程；

图2示意性示出了根据本发明的实施例的利用单摄像头的3D图像产生系统的框图。

具体实施方式

以下，参照附图来详细说明本发明的实施例。

图2示意性示出了根据本发明的实施例的利用单摄像头的3D图像产生系统的框图。

如图2所示，根据本发明的实施例的利用单摄像头的3D图像产生系统主要包括：设置子系统、数据采集子系统、数据合成子系统以及数据编码子系统。根据本发明的实施例的利用单摄像头的3D图像产生系统还可包括实时操作指南子系统，实时操作指南子系统用于向用户介绍各种3D模式的功能，在单摄像头3D拍摄系统可以没有实时操作指南子系统。

图1示意性示出了根据本发明的实施例的利用单摄像头的3D图像产生系统利用单镜头生成3D图像的过程。如图1所示，根据本发明的实施例的利用单摄像头的3D图像产生系统首先通过数据采集子系统获得原始图像数据，然后通过数据合成子系统对原始图像数据进行处理，生成左眼图像数据和右眼图像数据，并且进行合帧，最后通过数据编码子系统对3D数据进行压缩编码等处理。

下面首先介绍根据本发明的实施例的利用单摄像头的3D图像产生系统中的设置子系统。由于3D图像产生系统只采集到一个摄像头的数据，所以必须对原始图像数据进行数据处理，以模拟出左眼图像数据和右眼图像数据。根据本发明的实施例的3D模式包括：仅入屏、由近到远、由近到远(加强出屏)、由近到远(加强入屏)、中心出屏、深度图通用。根据本发明的实施例的利用单摄像头的3D图像产生系统根据常见3D模式设计一系列算法来模拟相应模式下的左眼图像数据和右眼图像数据。而设置子系统主要用于选择3D录制或拍摄的模式以及设置常见参数。

综上，设置子系统可提供如下3D模式中的至少两种供用户选择，用户选择其中一种来产生具有相应的3D效果的3D图像。

1、仅入屏模式，适用于绝大部分场景，拍出的视频只有入屏效果，人眼观看舒适度较好。2、由近到远模式，由近到远模式适用于场景布局为由近到远(即，画面的下部的像素对应于较近的场景，画面的上部的像素对应较远的场景)，具备出屏效果。3、由近到远(加强出屏)模式，适用于场景布局为由近到远，且加强出屏效果。4、由近到远(加强入屏)模式，适用于场景布局为由近到远，且加强入屏效果。5、中心出屏模式，特别适用于拍摄最近物体接近图像中间的场景。6、深度图通用模式，利用现有的深度图提取技术(深度图中记录着每个像素中的物体的景深)，对原始图像数据模拟，基本适用于所有场景，但处理速度较前几种场景慢。

另外，设置子系统可允许用户对参数进行设置，包括分辨率、输出格式(可包括封装格式、存储格式)、输出质量、fps(帧率)等参数。

下面介绍根据本发明的实施例的利用单摄像头的3D图像产生系统中的实时操作指南子系统。

实时操作指南子系统向用户提供对各种3D模式的说明以及该模式适合拍摄的场景，并且给出操作指南，让用户获取最佳拍摄效果。每种3D模式都有其相应算法模型，且系统提取出一些关键算法参数提供给用户调节，以获得不同的3D效果。具体地说，在各种3D模式下，实时操做指南子系统当前模式的适用范围，以及提示用户如何调节当前3D模式下的曲线参数以获得更佳3D效果，且实时操做指南子系统提供让用户调节曲线参数的界面。例如，在当前3D模式被选择为中心出屏模式时，实时操做指南子系统介绍该模式具有的3D效果，并且提示用户该3D模式可适用于诸如人物的拍摄对象处于画面中心位置的场景；在用户选择由近到远(加强入屏)模式时，用户可调节基准线的位置。

下面介绍根据本发明的实施例的利用单摄像头的3D图像产生系统中的数据采集子系统。

数据采集子系统根据设置子系统提供的分辨率、fps等参数来通知诸如CCD之类的图像传感器采集图像数据。

下面介绍根据本发明的实施例的利用单摄像头的3D图像产生系统中的数据合成子系统。

数据合成子系统，数据合成子系统根据用户选择的3D模式下的相应的算法处理拍摄的原始图像数据，从而模拟出左眼图像和右眼图像。根据不同的3D模式，数据合成子系统将会采用不同的数据处理方法：

对于仅入屏模式，数据合成子系统分别进行模拟左眼图像数据和右眼图像数据的处理，在模拟左眼图像数据或右眼图像数据的数据处理过程中，将一帧原始图像数据按行进行单方向平移，例如，在原始图像数据中，画面最左上角的像素点的坐标为(0，0)，然后向右列号增加，向下行号增加。假设某个像素在画面上的坐标为(A，B)，那么对其进行模拟左眼图像数据的处理后，该像素数据的坐标变为(A，B₁)，对其进行模拟右眼图像数据的处理后，该像素数据的坐标变为(A，B₂)，如果B₂＞B＞B₁，则该像素的数据在屏幕上将具有入屏效果，如果B₁＞B＞B₂，则该像素的数据在屏幕上将具有出屏效果。因此，在仅入屏模式下，B₂＞B＞B₁。相机预览界面在通常情况下从屏幕上到下所对应的景物为远到近，所以根据当前数据帧的行号进行线性或指数曲线单方向平移。线性或曲线模型的关键系数被提供给用户在UI上调节，可实现程度不同的入屏效果，进而适应于拍摄不同距离的场景。

对于由近到远模式：最常见的拍摄场景为拍摄空间从近到远的空间布局，对应在手机预览屏上就是由下到上。该场景选取屏的中值线作为基准线，中值线即入屏效果和出屏效果的分界线，即在中值线上的像素给人的感觉就是其正好落在屏幕平面上。对于左眼图像数据，使基准线(中值线)之上的部分随着行号的增加进行指数级别的递减左移，使基准线之下的部分随着行号的增加进行指数级别的递增右移；对于右眼图像数据，使基准线之上的部分随着行号的增加进行指数级别的递减右移，使基准线之下的部分随着行号的增加进行指数级别的递增左移，这样模拟出的左眼图像数据和右眼图像数据合并后将会得到具备基准线之下出屏和基准线之上入屏的3D效果。同样，提取出平移曲线的关键系数供用户调节，以调整3D效果。

对于由近到远(加强出屏)模式以及由近到远(加强入屏)模式的数据处理方法的原理类似于由近到远场景，不同的只是出屏入屏的基准线，加强出屏的基准线更靠屏的上面，出屏效果更好，加强入屏的基准线更靠屏下方，视觉更轻松。两者的基准线都在一个适合的范围供用户调节，以实现不同的出屏和入屏效果。

对于中心出屏模式：适用于拍摄主体处于屏幕中心。当前帧的每个像素点将根据距离中心点的距离进行对数型平移。拍摄出3D效果为凸显中心主体。提取其移动曲线模型关键系数供用户调节。

对于深度图通用模式：深度图提取技术部分是依赖于硬件支持，依赖软件处理的技术比较耗时。当设备处理性能优秀的时候，可以采用深度图通用模式摄制3D多媒体文件。可先提取当前帧的深度图，根据深度图的值去调整每一个像素点的位移量可以获得最佳3D效果。

在用户微调之后，数据合成子系统得到模拟后的左右眼数据。然后数据合成子系统进行合帧操作，将左眼图像数据和右眼图像数据合并为3D图像数据。

下面介绍根据本发明的实施例的利用单摄像头的3D图像产生系统中的数据编码子系统。

数据编码子系统将对数据合成子系统合帧后的数据进行编码、封装，最终生成3D视频。可以采用设备自身支持的编码器，也可以采用蓝光3D最新采纳的MVC视频编码技术进行编码。

下面提供一个实施例：

在设置子系统中，选取中心出屏模式。实时操作指南子系统提示用户当前3D模式适合拍摄的场景的说明，并且给出操作指南。用户根据操作指南调整实时参数。数据合成子系统根据用户输入参数以及内置曲线模型，模拟出左眼图像数据和右眼图像数据，然后执行合帧。合帧后的数据被数据编码子系统编码、封装，并且最终存储为3D多媒体文件。

根据本发明的实施例，提供了一种利用单摄像头产生3D图像的方法，所述方法包括：利用单个摄像头获得原始图像数据；然后对原始图像数据进行数据处理，根据用户选择的3D模式生成左眼图像数据和右眼图像数据，并且进行合帧；最后通过对3D数据进行压缩编码和封装处理。

根据本发明的实施例的拍摄3D图像的方法具有如下技术效果：仅仅利用单摄像头，终端就可实现3D多媒体文件的制作并拍摄3D多媒体录像和照片；提供多种3D模式来让用户选择，参数自由调整，让用户可以随心所欲拍摄。

出于促进对本发明的原理的理解的目的，已经对附图中示出的优选实施例进行了说明，并已经使用了特定的语言来描述这些实施例。然而，该特定的语言并非意图限制本发明的范围，本发明应被解释成包括对于本领域普通技术人员而言通常会出现的所有实施例。此外，除非元件被特别地描述为“必不可少的”或“关键的”，否则没有元件或模块对本发明的实施是必不可少的。

虽然上面已经详细描述了本发明的示例性实施例，但本发明所属技术领域中具有公知常识者在不脱离本发明的精神和范围内，可对本发明的实施例做出各种的修改、润饰和变型。但是应当理解，在本领域技术人员看来，这些修改、润饰和变型仍将落入权利要求所限定的本发明的示例性实施例的精神和范围内。

最后，除非这里指出或者另外与上下文明显矛盾，否则这里描述的所有方法的步骤可以以任意合适的顺序执行。

Claims (19)

1.一种利用单摄像头的3D图像产生系统，所述系统包括：

设置子系统，用于选择3D模式以及设置3D图像的特定参数；

数据采集子系统，根据设置子系统提供的特定参数通知图像传感器采集原始图像数据；

数据合成子系统，根据用户选择的3D模式下相应的数据处理方法处理拍摄的原始图像数据，从而模拟出左眼图像数据和右眼图像数据，然后对左眼图像数据和右眼图像数据进行合帧操作；

数据编码子系统，对数据合成子系统合帧后的数据进行编码、封装。

2.根据权利要求1所述的利用单摄像头的3D图像产生系统，其中，设置子系统提供下面的3D模式中的至少两种供用户选择：

仅入屏模式、由近到远模式、由近到远且加强出屏模式、由近到远且加强入屏模式、中心出屏模式、深度图通用模式。

3.根据权利要求1或2所述的利用单摄像头的3D图像产生系统，所述3D图像产生系统还包括：

实时操作指南子系统，向用户实时提供对各种3D模式的说明，并且给出操作指南。

4.根据权利要求3所述的利用单摄像头的3D图像产生系统，其中，

实时操作指南子系统提示用户如何调节当前3D模式下的曲线参数以获得更佳3D效果，且实时操做指南子系统提供让用户调节曲线参数的界面。

5.根据权利要求1至3中任一项所述的利用单摄像头的3D图像产生系统，其中，

所述3D图像的特定参数包括分辨率、fps中的至少一种。

6.根据权利要求5所述的利用单摄像头的3D图像产生系统，其中，

所述3D图像的特定参数包括分辨率、fps、封装格式、存储格式、输出质量。

7.根据权利要求2所述的利用单摄像头的3D图像产生系统，其中，

在仅入屏模式中，数据合成子系统分别进行模拟左眼图像数据和右眼图像数据的处理，在模拟左眼图像数据或右眼图像数据的数据处理过程中，将原始图像数据帧按行进行单方向平移。

8.根据权利要求7所述的利用单摄像头的3D图像产生系统，其中，在行号随着屏幕由上到下而增加且列号随着屏幕由左到右增加的屏幕中，

在模拟左眼图像数据的数据处理过程中，随着行号的增加进行递减左移，递减模型为线性或指数曲线；

在模拟右眼图像数据的数据处理过程中，随着行号的增加进行递减右移，递减模型为与左眼图像数据的递减模型对应的线性或指数曲线。

9.根据权利要求2所述的利用单摄像头的3D图像产生系统，其中，

在由近到远模式中，数据合成子系统分别进行模拟左眼图像数据和右眼图像数据的处理，在模拟左眼图像数据或右眼图像数据的数据处理过程中，以基准线为基准，将基准线上方的原始图像数据和基准线下方的原始图像数据按行进行不同方向的平移。

10.根据权利要求9所述的利用单摄像头的3D图像产生系统，其中，

在模拟左眼图像数据的数据处理过程中，使基准线之上的部分随着行号的增加进行递减左移，递减模型为指数曲线，使基准线之下的部分随着行号的增加进行递增右移，递增模型为指数曲线；

在模拟右眼图像数据的数据处理过程中，使基准线之上的部分随着行号的增加进行递减右移，递减模型为指数曲线，使基准线之下的部分随着行号的增加进行递增左移，递增模型为指数曲线。

11.根据权利要求2所述的利用单摄像头的3D图像产生系统，其中，

如果行号随着屏幕由上到下而增加，则在由近到远且加强出屏模式中，使基准线的行号小于预定值。

12.根据权利要求11所述的利用单摄像头的3D图像产生系统，其中，

所述预定值对应于屏幕的高度的一半的位置。

13.根据权利要求2所述的利用单摄像头的3D图像产生系统，其中，

如果行号随着屏幕由上到下而增加，则在由近到远且加强入屏模式中，使基准线的行号大于预定值。

14.根据权利要求13所述的利用单摄像头的3D图像产生系统，其中，

所述预定值对应于屏幕的高度的一半的位置。

15.根据权利要求11-14中任一项所述的利用单摄像头的3D图像产生系统，其中，

用户能够调节基准线的位置。

16.根据权利要求2所述的利用单摄像头的3D图像产生系统，其中，

在中心出屏模式下，当前帧的每个像素点将根据距离中心点的距离进行对数型曲线平移。

17.根据权利要求2所述的利用单摄像头的3D图像产生系统，其中，

在深度图通用模式下，先提取当前帧的深度图，根据深度图的值去调整每一个像素点的位移量，以获得最佳3D效果。

18.根据权利要求1或2所述的利用单摄像头的3D图像产生系统，数据编码子系统采用MVC视频编码技术进行编码，并封装以及存储。

19.一种利用单摄像头产生3D图像的方法，所述方法包括：

利用单个摄像头获得原始图像数据；

然后对原始图像数据进行数据处理，根据用户选择的3D模式生成左眼图像数据和右眼图像数据，并且进行合帧；

最后通过对3D数据进行压缩编码和封装处理。

Images