CN106998457A - 立体摄像装置及利用此的图像处理方法 - Google Patents

Abstract

本发明公开一种立体摄像装置及利用此的图像处理方法。根据本发明的一技术方案的立体摄像装置可以包括：第一摄像头，以第一帧率(Frame rate)而从投影到第一图像传感器的第一图像生成奇数字段数据；第二摄像头，以第一帧率而从投影到第二图像传感器的第二图像生成偶数字段数据；图像处理部，以第二帧率工作，在每一帧中利用所述奇数字段数据和所述偶数字段数据而生成输出图像。所述第二帧率可以对应于所述第一帧率的倍数。

Description

立体摄像装置及利用此的图像处理方法

技术领域

本发明涉及一种立体摄像装置及利用此的图像处理方法。

背景技术

最近，随着摄像技术的发展，在多种电子设备中应用着摄像装置。例如，在智能手机、平板电脑、笔记本电脑等多种电子设备中融合有摄像装置。

电子设备中应用的摄像装置需要被小型化，因此其功能被拍摄、视频录像等最优化。

即，现有的摄像装置有着如下的限制：难以实际实现摄像头的特殊功能，例如，难以实现以高帧数进行拍摄而提供慢镜头的超高速摄像机功能等的限制。

[现有技术文献]

[专利文献]

(专利文献1)韩国公开专利公报第2012-0109182号

(专利文献2)日本公开专利公报第2014-0108852号

发明内容

根据本发明的一实施形态的目的在于，提供一种能够通过获得高帧图像而进行超高速图像处理的立体摄像装置及利用此的图像处理方法。

本发明的一技术方案提供一种立体摄像装置。所述立体摄像装置可以包括：第一摄像头，以第一帧率(Frame rate)而从投影到第一图像传感器的第一图像生成奇数字段数据；第二摄像头，以第一帧率而从投影到第二图像传感器的第二图像生成偶数字段数据；图像处理部，以第二帧率工作，在每一帧中利用所述奇数字段数据和所述偶数字段数据而生成输出图像。所述第二帧率可以对应于所述第一帧率的倍数。

本发明的另一技术方案提供一种图像处理方法。所述图像处理方法可以包括以下步骤：以第一帧率(Frame rate)而从投影到第一图像传感器的第一图像中生成奇数字段数据；以第一帧率而从投影到第二图像传感器的第二图像中生成偶数字段数据；在第二帧率的每一帧，利用所述奇数字段数据和偶数字段数据而生成输出图像。所述第二帧率可以对应于所述第一帧率的倍数。

所述课题的解决方案没有列出本发明的所有特征。可以参照以下的详细说明的具体实施形态而更详细地理解用于解决本发明的课题的多种单元

根据本发明的一实施形态的立体摄像装置及利用此的图像处理方法可以通过获得高帧图像而进行超高速图像处理。

附图说明

图1是示出应用根据本发明的一实施例的立体摄像装置的移动终端的一示例的图。

图2是示出根据本发明的一实施例的立体摄像装置的模块构成图。

图3是示出图像的一示例的图。

图4是说明关于图像的奇数字段的数据的一示例的图。

图5是说明关于图像的偶数字段的数据的一示例的图。

图6是示出图2中示出的图像处理部的处理操作的一示例的图。

图7是说明图2中示出的图像处理部的重复处理操作的一示例的图。

图8是说明根据本发明的一实施例的图像处理方法的一示例的顺序图。

符号说明

10：移动终端 100：立体摄像装置

110：第一摄像头 120：第二摄像头

130：图像处理部

具体实施方式

以下，参照附图对本发明的优选实施形态进行说明。

但是，本发明的实施形态可以变形成其他多种形态，本发明的范围不限于以下说明的实施形态。并且，本发明的实施形态为了给在本技术领域中具有一般知识的人员更完整地说明本发明而被提供。

本说明书中，当提到某个构成要素“连接”到其他构成要素时，可能直接连接到所述其他构成要素，但是应当理解为，在中间可能存在其他构成要素。相反，当提到某个构成要素“直接连接”到其他构成要素时，应理解为，中间不存在其他构成要素。另外，用于说明构成要素之间的关系的术语，即，“在…之间”与“在…正中间”以及“与…相邻”与“与…直接相邻”应以同样的方式得到解释。

图1是示出应用根据本发明的一实施例的立体摄像装置的移动终端的一示例的图。

参照图1，移动终端10采用立体摄像装置100。

移动终端10可以是智能手机、平板电脑等多种电子设备。

立体摄像装置100包括两个摄像头，且可以利用从两个摄像头提供的数据而生成输出图像。

立体摄像装置100的各个摄像头利用分别拍摄到的图像的一部分而生成数据，并可以将通过上述方法从两个摄像头提供的数据混合利用而增加输出图像的数量。从而，立体摄像装置100可以以比摄像头的帧率(Frame rate)更高的帧率生成输出图像，因此可以确保更高的帧率而提供超高速拍摄等功能。

以下，参照图2至图7而对立体摄像装置100进行更详细的说明。

图2是示出根据本发明的一实施例的立体摄像装置的模块构成图。

参照图2，立体摄像装置100可以包括：第一摄像头110、第二摄像头120和图像处理部130。

第一摄像头110可以以第一帧率而从投影(foucused)到第一图像传感器的第一图像中生成奇数字段数据。

第二摄像头120可以以第二帧率而从投影到第二图像传感器的第二图像中生成偶数字段数据。

即，第一摄像头110和第二摄像头120可以从分别投影的图像中分别生成彼此不同字段数据。第一摄像头110和第二摄像头120可以以相同的帧率工作。

根据实施例，第一摄像头110和第二摄像头120可以同步或者交替工作。

第一摄像头110可以包括：透镜(未示出)、第一图像传感器(未示出)和第一接口111。

第一图像传感器可以生成来自到达第一图像传感器的光的第一图像。透镜和图像传感器可以应用多种技术，所以本说明书中不用特定的方式进行限制。

第一图像传感器可以利用排列成格子的多个单元中的奇数列(或者奇数行)的输出而生成所述奇数字段数据。即，第一图像传感器可以按每一所述第一帧率来利用第一图像的奇数列数据而生成所述奇数字段数据。

第一接口111可以电连接所述第一图像传感器和图像处理部130。即，从第一图像传感器输出的所述奇数字段数据可以通过第一接口111而被传递至图像处理部130。例如，第一接口111可以是基于MIPI(移动产业处理器接口；Mobile Industry ProcessorInterface)协议等的接口。

第一接口111的带宽可以对应于所述奇数字段数据的大小。因此，可以提高从第一摄像头110传递至图像处理部130的数据的传输速度，据此可以顺利地支持来自图像处理部130的高速处理。

第二摄像头120也可以与第一摄像头110相同地包括：透镜(未示出)、第二图像传感器(未示出)以及第一接口111，可以从上述说明中理解对它的说明。

图像处理部130可以以第二帧率工作，并在每一帧率利用所述奇数字段数据和所述偶数字段数据而生成输出图像。所述第二帧率可以相当于所述第一帧率的倍数。

例如，第一摄像头110可以与第二摄像头120交替工作，所述第二帧率可以是所述第一帧率的2倍。

以下，参照图2至图5对图像处理部130的操作进行更详细的说明。

图3示出投影到图像传感器的图像的一示例。

第一摄像头110与第二摄像头120相隔预定距离，因此投影到各个摄像头的图像可能存在图像视差(Disparity)。但是，由于是在立体摄像头之间的间距狭窄的移动终端环境中拍摄，并且拍摄的是中距离或远距离的被摄体，所以本发明中的图像视差足够小或者可以忽略。

因此，图3中示出图像可以被理解是投影到第一摄像头110的第一图像传感器的第一图像，同时也是投影到第二摄像头120的第二图像传感器的第二图像。

所示出的图像将投射到摄像头的图像传感器的图像表示为虚拟图像。一示例中，第一摄像头110或第二摄像头120并非在生成图示的图像之后输出奇数字段数据或偶数字段数据，而是从投影的图像中只获取奇数字段或偶数字段的数据，从而生成奇数字段数据或偶数字段数据。

图4是说明关于从第一摄像头110输出的第一图像的奇数字段的数据的一示例的图。

第一摄像头110可以从第一图像中生成包括奇数字段的奇数字段数据，图4的示例相当于这种奇数字段数据的图像化。

图5是说明关于图像的偶数字段的数据的一示例的图。第二摄像头120可以从第二图像生成包括偶数字段的偶数字段数据，图5的示例相当于这种偶数字段数据的图像化。

图4和图5中示出的示例中以列为基准而生成数据，但是根据实施例可以将行作为基准而生成数据。

图6是示出图2中示出的图像处理部的处理操作的一示例的图。图示的附图中，横轴表示时间的流逝。

参照图2和图6，对图像处理部130的处理进行说明。

如图所示，第一摄像头110以第一帧率生成奇数字段数据(0dd1至0dd4)；第二摄像头120以第一帧率生成偶数字段数据(Even1至Even4)。

图像处理部130被输入奇数字段数据(0dd1至0dd4)及偶数字段数据(Even1至Even4)。图像处理部130以第二帧率进行工作，并且在每一帧利用奇数字段数据和所述偶数字段数据而生成输出图像。

例如，图像处理部130可以将在第一时刻生成的第一奇数字段数据Odd1和在第二时刻生成的第一偶数字段数据Even1反交错(deinterlace)，从而在所述第二时刻生成第一输出图像(Odd1+Even1)。

并且，图像处理部130可以将在第三时刻生成的第二奇数字段数据Odd2和所述第一偶数字段数据Even1反交错，从而在所述第三时刻生成第二输出图像(Odd2+Even1)。

如上所述，图像处理部130可以利用更新后的奇数字段数据或者偶数字段数据而以第二帧率生成输出图像。

因此，图像处理部130可以以相当于第一摄像头和第二摄像头的帧率的2倍的速度生成输出图像。因此，即使不配备专门的帧数增加单元，也可以通过图像合成而增加帧率，并且可以据此具有超高速拍摄性能。

一实施例中，所述奇数字段数据可以包括奇数标识符，所述偶数字段数据可以包括偶数标识符。图像处理部130可以通过确认奇数标识符或偶数标识符而识别接收到的字段数据的种类。

图6中示出的示例中，第一摄像头110与第二摄像头120交替工作，但这仅仅是示例。因此，第一摄像头110可以与第二摄像头120同步工作，在此情况下，图像处理部130也可以与上述说明相同地，以对应于摄像头的倍数的帧率生成输出图像。

图7是说明图2中示出的图像处理部的重复处理操作的一示例的图。

如图7所示，在遗漏第三奇数字段数据的情况下，图像处理部130会连续接收第三偶数字段数据Even3和第四偶数字段数据Even4。

如上所述，在图像处理部130连续接收所述奇数字段数据或者所述偶数字段数据的情况下，可以重新输出上一帧中生成的输出图像(0dd2+Even3)。

相同地，图像处理部130在以第一帧率接收的奇数字段数据未被接收的情况下，可以重新输出上一帧中生成的输出图像(0dd2+Even3)。

图8是说明根据本发明的一实施例的图像处理方法的一示例的顺序图。

以下要说明的图像处理方法涉及参照图2至图7而在上文中说明的立体摄像头的图像处理。因此，可以参照图2至图7并根据上述内容而容易地理解。

参照图8，立体摄像装置可以以第一帧率而从投影到第一图像传感器的第一图像中生成奇数字段数据(S810)。

并且，立体摄像装置可以以第一帧率而从投影到第二图像传感器的第二图像中生成偶数字段数据(S820)。

立体摄像装置可以按第二帧率的每一帧来利用所述奇数字段数据和偶数字段数据而生成输出图像(S830)。其中，所述第二帧率可以对应于所述第一帧率的倍数。

虽然在图示的示例中表示为在执行S810步骤以后执行S820步骤，但是可以根据实施例而同时执行S810步骤和S820步骤。

一实施例中，S810步骤和S820步骤被交替执行，所述第二帧率可以对应于所述第一帧率的2倍。

在针对S810步骤的实施例中，立体摄像装置可以对所述奇数字段数据添加奇数标识符。

在针对S830步骤的一例中，立体摄像装置可以将在第一时刻生成的第一奇数字段数据和在第二时刻生成的第一偶数字段数据反交错，从而在所述第二时刻生成第一输出图像。

并且，立体摄像装置可以将在第三时刻生成的第二奇数字段数据和所述第一偶数字段数据反交错，从而在所述第三时刻生成第二输出图像。

在针对S830步骤的一实施例中，立体摄像装置确认所述奇数字段数据或者所述偶数字段数据是否被连续接收，在连续接收时，可以重新输出生成于上一帧的输出图像。

以上，根据具体构成要素等特定事项和限定的实施例及附图而对本发明进行了说明，但这只为了有助于本发明的整体理解而被提供，本发明不限于所述实施例，在本发明的所属技术领域中具有一般知识的人员可以从上述记载中联想到多种修改和变形。

因此，本发明的思想不应局限于上文中说明的实施例，并且权利要求书以及它的等同或等价的变形都应属于本发明思想的范围内。

Claims (14)

1.一种立体摄像装置，包括：

第一摄像头，以第一帧率而从投影到第一图像传感器的第一图像生成奇数字段数据；

第二摄像头，以第一帧率而从投影到第二图像传感器的第二图像生成偶数字段数据；

图像处理部，以第二帧率工作，在每一帧中利用所述奇数字段数据和所述偶数字段数据而生成输出图像，

其中，所述第二帧率对应于所述第一帧率的倍数。

2.如权利要求1所述的立体摄像装置，其中，

所述第一摄像头与所述第二摄像头交替工作，

所述第二帧率相当于所述第一帧率的两倍。

3.如权利要求1所述的立体摄像装置，其中，

所述奇数字段数据包含所述第一图像的奇数列数据，

所述偶数字段数据包含所述第二图像的偶数列数据。

4.如权利要求1所述的立体摄像装置，其中，

所述图像处理部将在第一时刻生成的第一奇数字段数据和在第二时刻生成的第一偶数字段数据反交错，从而在所述第二时刻生成第一输出图像。

5.如权利要求4所述的立体摄像装置，其中，

所述图像处理部将在第三时刻生成的第二奇数字段数据和所述第一偶数字段数据反交错，从而在所述第三时刻生成第二输出图像。

6.如权利要求1所述的立体摄像装置，其中，

所述奇数字段数据包含奇数标识符，

所述偶数字段数据包含偶数标识符，

所述图像处理部通过确认所述奇数标识符或者所述偶数标识符，来识别接受的字段数据的种类。

7.如权利要求6所述的立体摄像装置，其中，

所述第一摄像头与所述第二摄像头交替工作，

所述图像处理部在连续接收两个以上的所述奇数字段数据或者所述偶数字段数据时，将连续接收到的所述奇数字段数据和所述偶数字段数据中的一个舍弃，重新输出上一帧中生成的输出图像。

8.如权利要求1所述的立体摄像装置，其中，

所述第一摄像头包括：

第一图像传感器，以第一帧率而从所述第一图像中输出所述奇数字段数据，

接口，将所述第一图像传感器和所述图像处理部电连接，

所述接口的带宽对应于所述奇数字段数据的大小。

9.一种图像处理方法，包括以下步骤：

以第一帧率而从投影到第一图像传感器的第一图像中生成奇数字段数据；

以第一帧率而从投影到第二图像传感器的第二图像中生成偶数字段数据；

在第二帧率的每一帧，利用所述奇数字段数据和偶数字段数据而生成输出图像；

其中，所述第二帧率对应于所述第一帧率的倍数。

10.如权利要求9所述的图像处理方法，其中，

生成所述奇数字段数据的步骤与生成所述偶数字段数据的步骤彼此交替进行，所述第二帧率对应于所述第一帧率的2倍。

11.如权利要求9所述的图像处理方法，其中，

生成所述奇数字段数据的步骤包括以下步骤：

对所述奇数字段数据添加奇数标识符。

12.如权利要求9所述的图像处理方法，其中，

生成所述输出图像的步骤包括以下步骤：

将在在第一时刻生成的第一奇数字段数据和在第二时刻生成的第一偶数字段数据反交错，从而在所述第二时刻生成第一输出图像。

13.如权利要求12所述的图像处理方法，其中，

生成所述输出图像的步骤包括以下步骤：

将在第三时刻生成的第二奇数字段数据和所述第一偶数字段数据反交错，从而在所述第三时刻生成第二输出图像。

14.如权利要求9所述的图像处理方法，其中，

生成所述输出图像的步骤包括以下步骤：

确认所述奇数字段数据或所述偶数字段数据是否被连续接收；

当连续接收时，重新输出在上一帧中生成的输出图像。