CN103685880A

CN103685880A - 图像处理装置及使用该装置的摄像机模块

Info

Publication number: CN103685880A
Application number: CN201310429938.0A
Authority: CN
Inventors: 尹指铉
Original assignee: LG Innotek Co Ltd
Current assignee: LG Innotek Co Ltd
Priority date: 2012-09-18
Filing date: 2013-09-18
Publication date: 2014-03-26
Anticipated expiration: 2033-09-18
Also published as: EP2709367A2; KR20140036697A; US20140078262A1; KR101917224B1; CN103685880B; EP2709367A3; US9736453B2

Abstract

本发明提供了一种图像处理装置和使用该图像处理装置的摄像机模块，所述摄像机模块包括：第一感测单元和第二感测单元，第一感测单元和第二感测单元的每一个输出左图像和右图像；图像处理单元，配置为同时将从所述左图像和右图像生成的深度图像和色彩图像进行编码。本发明的图像处理装置和使用该图像处理装置的摄像机模块能够将分离数目的位分配给色彩图像和深度图像，使色彩图像和深度图像能够被同时传送至主机系统。

Description

图像处理装置及使用该装置的摄像机模块

技术领域

本公开文本的方案涉及图像处理装置及使用该装置的摄像机模块。

背景技术

通常，立体摄像机系统使用两个摄像机通过拍摄左图像和右图像以生成深度图像，并且将深度图像和色彩图像的两种图像数据传送至主机系统（hostsystem）。

在超过1M像素的高分辨率摄像机应用于立体摄像机系统的情况下，深度图像和色彩图像会生成不同的图像分辨率和输出格式。例如，左图像和右图像的色彩图像可以具有以16位的YCbCr输出格式的1280×960的分辨率，并且深度图像可以具有以8位的Y输出格式的640×480的分辨率。

因此，在色彩图像和深度图像的图像分辨率和输出格式中的任意一个是不同的情况下，会产生图像不能被同时传送至主机系统的问题。

发明内容

本公开文本的示例性方案将基本上至少解决上述的问题和/或缺点，并且将至少提供下面所述的优点。因此，本公开文本旨在提供一种图像处理装置和使用该图像处理装置的摄像机模块，该图像处理装置配置为同时传送在尺寸和格式方面具有一个或多个差异的深度图像和色彩图像。

在本公开文本的一个通常方案中，提供一种摄像机模块，所述摄像机模块包括：第一感测单元和第二感测单元，所述第一感测单元和第二感测单元每一个输出左图像和右图像；以及图像处理单元，配置为同时将从所述左图像和右图像生成的深度图像和色彩图像进行编码。

在本发明的一些示例性实施例中，所述摄像机模块还包括：预处理单元，配置为将从所述第一感测单元和第二感测单元输出的左图像和右图像的亮度信息和色度信息进行分离。

在本发明的一些示例性实施例中，所述图像处理单元可包括第一生成单元，配置为从所述左图像和右图像生成所述深度图像；第二生成单元，配置为从所述左图像和右图像生成所述色彩图像；以及编码单元，配置为同时对所述深度图像和所述色彩图像进行编码。

在本发明的一些示例性实施例中，所述图像处理单元还包括同步单元，配置为将所述第一生成单元和所述第二生成单元的输出进行同步。

在本发明的一些示例性实施例中，所述图像处理单元还包括调整单元，配置为调整通过所述第一生成单元生成的深度图像的尺寸。

在本发明的一些示例性实施例中，所述第二生成单元可包括配置为将左图像和右图像进行合成的合成单元。

在本发明的一些示例性实施例中，所述图像处理单元还包括传送单元，配置为传送由编码单元编码的图像数据、像素时钟和同步信号。

在本发明的一些示例性实施例中，所述编码单元通过将第一位分配给所述色彩图像和将第二位分配给所述深度图像来同时对所述色彩图像和所述深度图像进行编码。

在本发明的一些示例性实施例中，所述编码单元以这样的方式编码，即四个像素时钟为所述色彩图像形成两个像素，并且每个像素分配第一位的数据。

在本发明的一些示例性实施例中，所述编码单元以这样的方式编码，即四个像素时钟为所述深度图像形成一个像素，并且每个像素时钟分配第二位的数据。

在本发明的一些示例性实施例中，所述编码单元通过将第一位分配给所述色彩图像和将第二位分配给所述深度图像来同时所述色彩图像和所述深度图像进行编码。

在本发明的一些示例性实施例中，所述编码单元以这样的方式编码，即四个像素时钟为所述色彩图像形成两个像素，并且每个像素时钟分配第一位的数据。

在本发明的一些示例性实施例中，所述编码单元以这样的方式编码，即四个像素时钟为所述深度图像形成一个像素，并且每个像素时钟分配第二位的数据，并且虚拟数据被编码直到所述色彩图像的编码完成。

在本公开文本的另一个通常方案中，提供一种图像处理装置，所述装置包括：第一生成单元，配置为从左图像和右图像生成深度图像；第二生成单元，配置为从所述左图像和右图像生成色彩图像；以及编码单元，配置为同时将所述深度图像和所述色彩图像进行编码。

在本发明的一些示例性实施例中，所述装置还包括同步单元，配置为将所述第一生成单元和所述第二生成单元的输出进行同步。

在本发明的一些示例性实施例中，所述装置还包括：调整单元，配置为调整由第一生成单元生成的深度图像的尺寸。

在本发明的一些示例性实施例中，所述装置还包括传送单元，配置为传送由所述编码单元编码的图像数据、像素时钟和同步信号。

在本发明的一些示例性实施例中，所述编码单元通过将第一位分配给所述色彩图像和将第二位分配给所述深度图像来同时将所述色彩图像和所述深度图像进行编码。

在本发明的一些示例性实施例中，所述编码单元以这样的方式编码，即四个像素时钟为所述深度图像形成一个像素，每个像素时钟分配第二位的数据。

本公开文本具有的有益效果在于分离数目的位被分配给色彩图像和深度图像，进行编码以生成一个图像数据，色彩图像和深度图像被同时传送至主机系统。

附图说明

图1是示出根据本公开文本的第一示例性实施例的摄像机模块的框图。

图2是示出根据本公开文本的示例性实施例的图1的色彩图像生成单元的框图。

图3是示出根据本公开文本的另一示例性实施例的图1的色彩图像生成单元的详细框图。

图4是示出根据本公开文本的第二示例性实施例的摄像机模块的框图。

图5是解释根据本公开文本的示例性实施例的编码的示例性视图。

图6是解释根据本公开文本的示例性实施例的编码的示例性视图。

具体实施方式

通过参考下面的示例性实施例和附图的详细描述可以更容易地理解本公开文本的优点和特征。因此，本公开文本不限于下面将描述的示例性实施例，而是可以以其他形式被实施，相应地，详细的方案旨在包括那些所有落入本公开文本的范围和新颖构思内的变更、改型和变化。

现在，将参考附图详细地描述本公开文本的示例性实施例。

参考图1，根据本公开文本的第一示例性实施例的摄像机模块可以包括摄像机单元1、预处理单元2和图像处理单元3，其中通过图像处理单元3处理的图像可以被传送至主机系统（未示出）。

因为目前使用的主机系统（未示出）被设计为接收10位的图像数据，并且通过摄像机单元1获得的图像被设计为接收16位图像数据，将在下文中解释16位图像数据的摄像机单元1。但是，应该明白的是本公开文本的示例性实施例不限于这样解释的主机系统和位的数目。

摄像机单元1包括第一感测单元11和第二感测单元12。第一和第二感测单元11和12被以预定间隔互相远离而设置，并且第一和第二感测单元11和12中的每一个获取立体图像中的一个。例如，第一感测单元11可以获取左图像并且第二感测单元12可以获取右图像。另一方面，第一感测单元11可以获取右图像并且第二感测单元12可以获取左图像。为便于说明，在本公开文本的示例性实施例中，将提供第一感测单元11获取左图像并且第二感测单元12获取右图像的效果的解释。

例如，第一感测单元11和第二感测单元12可以是包括CCD（电荷耦合器件）和CMOS（互补金属氧化物半导体）的摄像机感测，但是本公开文本不限于此，可以使用执行类似功能的其它器件。

第一感测单元11和第二感测单元12可以输出8位的RGB图像。

预处理单元2可以将第一和第二感测单元11和12输出的8位的RGB图像转换成16位的YCbCr图像。此时，预处理单元2可以顺序地输出8位的Y信号和8位的Cb和Cr信号中的每一个（即，Y→Cb→Y→Cb）。也就是说，能够理解的是16位的数据被分配为8位，其细节对本领域技术人员是已知的，因此，下文中省略了详细的描述。此外，在本公开文本的示例性实施例中解释的位的数目是示例性的，应该明白的是本公开文本的示例性实施例不限于此。

更进一步地，尽管本公开文本的示例性实施例已经解释了摄像机单元1和预处理单元2被分离地设置，摄像机单元1的第一和第二感测单元11和12可以直接输出16位的YCbCr图像。第一和第二感测单元11和12可以输出RGB图像，以及可以输出YCbCr图像。此时，Y确定亮度等级，并且CbCr确定色度信息（chrominance information），其细节对于本领域技术人员是已知的，其详细解释在下文中省略。

再次参考图1，根据本公开文本的示例性实施例的图像处理单元3可以包括深度图像生成单元31、编码单元32、传送单元33、色彩图像生成单元34和同步单元35。

深度图像生成单元31可以从自摄像机单元1接收的左图像和右图像生成深度图像。第一和第二感测单元11，12具有相对于水平方向的预定的基线，使得从第一和第二感测单元11和12输出的图像具有差异，深度图像生成单元31采用两图像的差异的差值生成深度图像。

例如深度图像生成单元31可以采用立体匹配生成深度图像，但本公开文本不限于此，可以使用各种能够生成深度图像的方法。

在本公开文本的第一示例性实施例中，由深度图像生成单元31生成的深度图像的尺寸与由摄像机单元1获得的左图像和右图像的尺寸相同，但是其格式可以不同。也就是说，当具有预定尺寸的16位的左YCbCR图像和右YCbCR图像被输入进图像处理单元3时，深度图像生成单元31可以生成具有相同尺寸的8位的Y深度图像。

色彩图像生成单元34可以通过将左图像和右图像进行合成来输出色彩图像，或者通过旁路（bypass）所输入的左图像和右图像中的一个而输出色彩图像。

图2和图3是示出图1的色彩图像生成单元34的详细框图，其中图2是示出将3-D（三维）图像作为色彩图像传送的色彩图像生成单元的框图，图3是示出将2-D（二维）图像作为色彩图像传送的色彩图像生成单元的框图。

参考图2，根据本公开文本的示例性实施例的色彩图像生成单元34可以包括合成单元21和缓冲器22。

合成单元21将输入的左图像和右图像进行合成。由合成单元21对左图像和右图像进行合成的类型可以是并排（side-by-side）型，可以是上下（up-down）型，并且本公开文本不限于任意一种方法。

在合成单元21通过采用并排型合成色彩图像的情况下，应当明白的是，合成的色彩图像的尺寸与左图像和右图像相比是两倍的横向长度。此外，在合成单元21通过采用上下型合成色彩图像的情况下，应当明白的是，合成的色彩图像的尺寸与左图像和右图像相比是两倍的纵向长度。

缓冲器22可以接收通过合成单元21合成的色彩图像，暂时存储和输出合成的色彩图像。缓冲器22可以是帧缓冲器，或者可以是行缓冲器（linebuffer）。

此外，如图3所示，根据本公开文本的示例性实施例的色彩图像生成单元34可以包括缓冲器23。在这种情况下，缓冲器23可以将左图像和右图像中的任意一个作为色彩图像输出。缓冲器23也可以是帧缓冲器，或者可以是行缓冲器。

因为通过深度图像生成单元31生成深度图像的时间和通过色彩图像生成单元34生成色彩图像的时间不相同，同步单元35可以执行深度图像和色彩图像的同步。也就是说，因为色彩图像的生成时间长于深度图像的生成时间，同步单元35可以通过延迟预定时间将色彩图像输出至编码单元。可以考虑到通过色彩图像生成单元34的色彩图像生成时间和通过深度图像生成单元31的深度图像生成时间，来确定通过同步单元35延迟色彩图像的时间，并且可以预先设定。

编码单元32可以以预定的位数同时将色彩图像和深度图像编码。例如，如上所解释，在从预处理单元2接收的左图像和右图像分别是8位，且主机系统接收10位的图像数据的情况下，用于色彩图像和深度图像的位数是8位。

在这种情况下，编码单元32可以将8位分配给色彩图像，将2位分配给深度图像，并且将色彩图像和深度图像编码成10位的图像数据。但是，上述位数是在本公开文本的示例性实施例中限定的，将不同的位数分配给色彩图像和深度图像可以采用不同方法。也就是说，通过计算从主机系统可接收的位数，与原始图像相同的位数可以被分配给色彩图像，除了给色彩图像的之外的位数可以被分配给深度图像。

尽管本公开文本的示例性实施例已经解释和说明了编码单元32同时将色彩图像和深度图像编码，本公开文本不限于此，色彩图像和深度图像中的任意一个可以被编码。

根据本公开文本的示例性实施例的编码单元32的编码方法将参考附图以后详细解释。

传送单元33可以将通过编码单元32编码的图像数据连同时钟和同步信号传送至主机系统（未示出）。此时，时钟可以确定像素数据（像素时钟）的处理标准，并且同步信号可以包括：第一同步信号（H同步），配置为表示在传送中图像数据中的一个扫描线已经完成；以及第二同步信号（V同步），表示在传送中一帧已经完成。

传送单元33可以根据通信方法将以各种类型限定的信号传送至主机系统。也就是说，例如传送单元33可以并行传送图像数据，或者可以以串行方法传送图像数据。

参考图4，根据本公开文本的第二示例性实施例的摄像机模块可以包括摄像机单元1、预处理单元2和图像处理单元3，其中通过图像处理单元3处理的图像可以被传送至主机系统（未示出）。

除了图1的第一示例性实施例的配置之外，在图4中示出的本公开文本的第二示例性实施例的图像处理单元3还可以包括尺寸调整单元36。其它的配置几乎与第一示例性实施例的相同，使得解释将集中在图像处理单元3的尺寸调整单元36上。

尺寸调整单元36可以调整从深度图像生成单元31输出的深度图像。例如尺寸调整单元36可以将深度图像的尺寸缩小1/2或缩小1/4。

尽管在第二示例性实施例中通过深度图像生成单元31生成的深度图像的尺寸与通过摄像机单元1获得的左图像和右图像相同，但是其格式不同，深度图像的尺寸通过尺寸调整单元36被调整。也就是说，在具有预定尺寸（例如1280×960）的16位的左YCbCR图像和右YCbCR图像被输入到图像处理单元3的情况下，深度图像生成单元31可以生成具有640×480（1/2）的尺寸或320×240（1/4）的尺寸的8位Y深度图像。

编码单元32可以同时或分别对尺寸改变的深度图像和色彩图像编码。

现在，将采用实例解释编码单元32的编码。

图5是解释根据本公开文本的示例性实施例的编码的示意图，其中左图像和右图像和深度图像的尺寸相同，都是1280×960。也就是说，图5示出通过图1的摄像机模块编码的方法。

1280×960的图像尺寸是指帧的尺寸是1280×960，并且也是指帧包括1280像素和960扫描线。传送YCbCr图像的1280像素需要两倍像素的时钟（2560像素）。

参考图5（c），根据本公开文本的示例性实施例的编码单元32可以以这样的方式将色彩图像编码，1个时钟的8位Y、1个时钟的8位Cb、1个时钟的8位Y和1个时钟的8位Cb来形成2个像素。也就是说，编码可以以4个像素时钟形成2个像素这样的方式执行。每个象素时钟可以被形成来分配8位数据。色彩图像是用左图像和右图像合成的图像，使得表示一个扫描线的H同步可以由5120个像素时钟形成。

同时，深度图像也可以由每像素8位的Y信号形成，并且根据本公开文本的示例性实施例的编码单元32可以以这样的方式编码，将8位的Y信号和2位数据一起分配给每像素时钟，如图5（d）所示。也就是说，执行编码以允许1个时钟的2位Y、1个时钟的2位Y、1个时钟的2位Y和1个时钟的2位Y来形成一个像素。也就是说，编码可以以4个时钟像素形成一个像素的方式来执行。

在根据图5（a）和5（b）中所示的描述的编码，从左图像和右图像合成的色彩图像采用5120个像素时钟形成一个扫描线的情况下，因为使编码允许4个像素时钟形成深度图像中的一个像素，色彩图像和深度图像能够被同步。

图6是解释根据本公开文本的示例性实施例的编码方法的示例性视图，其中左图像和右图像的每一个的尺寸是1280×960，深度图像的尺寸是640×480。也就是说，图4的第二示例性实施例中的尺寸调整单元36的深度图像被缩小至1/2。

能够从图6示出的本公开文本的示例性实施例注意的是，图6与图5仅有的不同是深度图像的编码。也就是说，图5中4像素时钟形成深度图像中的一个像素并且2位数据被分配给每个像素时钟，其中在图6示出的示例性实施例中，针对640像素，1个像素能够构成4个像素时钟，这是因为深度图像的尺寸被减少1/2。因此，通过将2位数据分配至每个像素时钟，深度图像的虚拟数据能够被编码，直到相关扫描线的色彩图像的编码完成，由此实现同步。

尽管图6中示出的示例性实施例已经解释了尺寸调整单元36减少深度图像1/2的情况，在尺寸调整单元36减少深度图像1/4的情况下，通过针对320像素以4个像素时钟形成1个像素，将2位数据分配置给每个像素时钟，深度图像的虚拟数据可以被编码，直到相关扫描线的色彩图像的编码完成。

接收根据这样解释的本公开文本的示例性实施例所传送的数据的主机系统能够参考前述的格式执行解码。也就是说，通过针对所接收的10位的图像数据将8位解码成色彩图像，并且将2位解码成深度图像，所解码的数据能够被提供至图像处理装置。

尽管已经参考多个说明性实施例描述了示例性实施例，应该理解的是，能够被本领域技术人员设计的多个其他的改型和实施例将落入本公开文本的原理的精神和范围之内。更具体地，在本公开文本、附图和所附的权利要求之内，主要组合安排的组件和/或布局的各种变化和改型是可能的。

Claims

1.一种摄像机模块，包括：

第一感测单元和第二感测单元，所述第一感测单元和第二感测单元的每一个输出左图像和右图像；以及

图像处理单元，配置为同时将从所述左图像和右图像生成的深度图像和色彩图像进行编码。

2.如权利要1所述的摄像机模块，还包括：

预处理单元，配置为将从所述第一感测单元和第二感测单元输出的所述左图像和右图像的亮度信息和色度信息分离。

3.如权利要求1所述的摄像机模块，其中所述图像处理单元包括：

第一生成单元，配置为从所述左图像和右图像生成所述深度图像；

第二生成单元，配置为从所述左图像和右图像生成所述色彩图像；以及

编码单元，配置为同时将所述深度图像和所述色彩图像进行编码。

4.如权利要求3所述的摄像机模块，其中所述图像处理单元还包括：

同步单元，配置为将所述第一生成单元的输出和所述第二生成单元的输出同步。

5.如权利要求3所述的摄像机模块，其中所述图像处理单元还包括：

调整单元，配置为调整通过所述第一生产单元生成的深度图像的尺寸。

6.如权利要求3所述的摄像机模块，其中所述第二生成单元包括配置为将所述左图像和右图像进行合成的合成单元。

7.如权利要求3所述的摄像机模块，其中所述图像处理单元还包括：

传送单元，配置为传送通过编码单元编码的图像数据、像素时钟和同步信号。

8.如权利要求3所述的摄像机模块，其中所述编码单元通过将第一位分配给所述色彩图像和将第二位分配给所述深度图像来同时对所述色彩图像和所述深度图像进行编码。

9.如权利要求8所述的摄像机模块，其中所述编码单元以这样的方式编码，即四个像素时钟为所述色彩图像形成两个像素，并且每个像素时钟分配第一位的数据。

10.如权利要求9所述的摄像机模块，其中所述编码单元以这样的方式编码，即四个像素时钟为所述深度图像形成一个像素，并且每个像素时钟分配第二位的数据。

11.如权利要求5所述的摄像机模块，其中所述编码单元通过将第一位分配给所述色彩图像和将第二位分配给所述深度图像同时对所述色彩图像和所述深度图像进行编码。

12.如权利要求11所述的摄像机模块，其中所述编码单元以这样的方式编码，即四个像素时钟为所述色彩图像形成两个像素，并且每个像素时钟分配第一位的数据。

13.如权利要求12所述的摄像机模块，其中所述编码单元以这样的方式编码，即四个像素时钟为所述深度图像形成一个像素，并且每个像素时钟分配第二位的数据，并且虚拟数据被编码直到所述色彩图像的编码被完成。

14.一种图像处理装置，所述装置包括：

第一生成单元，配置为从左图像和右图像生成深度图像；

第二生成单元，配置为从所述左图像和右图像生成色彩图像；以及

15.如权利要求14所述的装置，还包括：

同步单元，配置为将所述第一生成单元的输出和所述第二生成单元的输出进行同步。

16.如权利要求14所述的装置，还包括：

调整单元，配置为调整通过所述第一生成单元生成的深度图像的尺寸。

17.如权利要求14所述的装置，还包括：

传送单元，配置为传送通过所述编码单元编码的图像数据、像素时钟和同步信号。

18.如权利要求14所述的装置，其中所述编码单元通过将第一位分配给所述色彩图像和将第二位分配给所述深度图像同时对所述色彩图像和所述深度图像进行编码。

19.如权利要求18所述的装置，其中所述编码单元以这样的方式编码，即四个像素时钟为所述色彩图像形成两个像素，并且每个像素时钟分配第一位的数据。

20.如权利要求19所述的装置，其中所述编码单元以这样的方式编码，即四个像素时钟为所述深度图像形成一个像素，并且每个像素时钟分配第二位的数据。