CN102170571A - 一种支持双通道cmos传感器的数码相机架构 - Google Patents

Abstract

本申请公开了一种支持双通道CMOS传感器的数码相机(Digital Still Camera，DSC)架构。通道1是从传感器通道，CMOS传感器使用内建的数字图像处理单元(Image Signal Processing，ISP)对CMOS传感器阵列捕获的Bayer型Raw RGB图像数据进行处理，输出YUV图像数据作为通道1的输入；通道2是主传感器通道，CMOS传感器直接输出Bayer型Raw RGB图像数据作为通道2的输入。通道2的输入经过主芯片内部集成的高性能的ISP处理输出YUV图像数据，与通道1输入的YUV图像数据进行超分辨率图像合成。图像后处理单元对合成图像的亮度、对比度、色度和饱和度进行增强和进行各种图像效果处理，并将合成的高分辨率图像数据压缩成JPEG格式输出存储到系统存储单元。

Description

一种支持双通道CMOS传感器的数码相机架构

技术领域：

本申请涉及支持双通道CMOS传感器的数码相机(DSC)系统架构，更具体的，本申请涉及通过采用超分辨率图像重建技术，从两个低分辨率CMOS传感器捕获的低分辨率图像合成一副高分辨率图像的双通道CMOS传感器的数码相机系统架构。

背景技术：

目前市场上可以提供的CMOS图像传感器主要有两大类：其中一类内部集成了简单的图像处理单元(Image Signal Processing，ISP)，可以完成自动聚焦(Auto Focus，AF)、自动曝光(Auto Exposure，AE)以及自动白平衡(Auto White Balance，AWB)等图像处理过程，并输出经过处理得到的YUV图像数据；另一类内部不集成ISP，输出未经过处理的Bayer型Raw RGB图像数据。

超分辨率技术利用多幅图像之间的信息互补来重建高分辨率图像。超分辨率重建过程就是获得比单幅图像所能提供的更多的额外信息，然后通过某种方式把信息融合到图像中，获得高质量的图像。数字图像的超分辨率技术主要分为基于重建的和基于学习的两大类。

基于重建的超分辨率技术按照特定的退化模型，通过输入的低分辨率图像来估计高分辨率图像。通常，增加输入图像的数量可以使放大倍数进一步提高，但是放大倍数有一定上限，分辨率无法进一步提高。基于重建的超分辨率技术通常包含以下步骤：1)图像的预处理，包括配准等；2)图像的退化模型的建立；3)图像的恢复与重建，包括取噪声、取模糊、高分辨率图像估计等。

图像配准是将同一场景的、取自不同时间、不同视角、不同传感器的两幅或多幅图像在空间上进行对准的过程。通常，可以把图像配准分为4个基本的步骤：特征检测、特征匹配、变换模型估计、图像重采样和变换。

建立图像的退化模型，其作用是模拟原始高分辨率图像如何经过一系列复杂的过程而退化呈低分辨率降质图像。通常认为最重要的图像退化因素有噪声、大气扰动、模糊、采样过程的降质等。

图像配准和建立图像的退化模型后，可以通过频域或者空域的方法重建高分辨率的图像。

系统存储单元用于存储数码相机拍摄的图像。

发明内容：

本发明的目的在于提供一种用于支持双通道CMOS传感器的数码相机系统架构，该架构通过采用超分辨率图像重建技术，从两个低分辨率CMOS传感器捕获的低分辨率图像合成一副高分辨率图像。

下面详细介绍本发明的具体技术方案：

根据本发明的实施例的数码相机系统支持双通道CMOS传感器，分别是主传感器和从传感器，分别支持Bayer型Raw RGB图像数据输入和YUV图像数据输入；

根据本发明的实施例的数码相机主芯片内建一条ISP流水线，其输入为主传感器输出的Bayer型Raw RGB图像数据；

根据本发明的实施例的数码相机主芯片内建超分辨率合成单元，主传感器输出的Bayer型Raw RGB图像数据经过主芯片内建ISP处理后得到的YUV图像数据与从传感器输出的YUV图像数据在超分辨率合成单元通过采用超分辨率合成技术合成高分辨率图像；

根据本发明的实施例的数码相机主芯片内建图像后处理单元，超分辨率合成单元合成的高分辨率图像经过图像后处理单元进一步强化和添加各种图像效果，并最终压缩成JPEG格式图像存入系统存储器。

其特征在于：

本发明所述系统架构在采用双通道CMOS传感器输入时，可以从低分辨率图像合成高分辨率图像，即可以采用两个较低分辨率的CMOS传感器获得与较高分辨率传感器等同的效果；在仅采用主传感器输入时，本发明所述系统架构可以等效于传统的数码相机的系统架构。

本发明所述系统架构内建一条高性能的ISP流水线处理主传感器通道输入的Bayer型Raw RGB图像数据，同时从传感器采用传感器内建ISP处理得到的YUV图像数据作为从传感器的输出，即作为从传感器通道的输入，从而在相机系统主芯片片内仅仅实现了一条ISP流水线，降低了支持双通道CMOS传感器的相机系统主芯片的设计复杂度和芯片面积，节省了成本。

本发明所述系统架构内建超分辨率合成单元，通过对典型超分辨率合成算法进行分解，对运算密集的基本运算单元采用专有硬件实现，从而加速了超分辨率合成算法在本发明所述系统架构下的运算速度。

本发明所述系统架构内建图像后处理单元，对经过超分辨率合成单元合成的高分辨率图像的亮度、对比度、色度和饱和度进行强化，添加各种不同的图像效果，并将经过处理的图像数据压缩呈JPEG格式图像数据进行存储，可以减少对数据存储空间的需求。

附图说明：

图1是显示根据本发明的实施例的数码相机系统的示例性结构的框图；

图2是显示根据本发明的实施例的数码相机主芯片内建ISP的示例性结构的框图；

图3是显示根据本发明的实施例的数码相机主芯片内建超分辨率合成单元的示例性结构的框图；

图4是显示根据本发明的实施例的数码相机主芯片内建图像后处理单元的示例性结构的框图。

具体实施方式：

接下来参考附图，描述根据本发明的实施例的数码相机系统。如图1所示，根据本发明的实施例的数码相机系统由次CMOS传感器101、主CMOS传感器102、数码相机主芯片103和系统存储单元104构成。连接在次CMOS传感器101和数码相机主芯片103之间的是次CMOS传感器接口总线107。连接在主传感器102和数码相机主芯片103之间的是主CMOS传感器接口总线108。连接在数码相机主芯片103和系统存储器104之间的是存储器总线114。

次CMOS传感器101具有CMOS传感器阵列105以及集成ISP流水线106，CMOS传感器阵列105输出的Bayer型Raw RGB图像数据经过集成ISP流水线106处理得到YUV图像数据，并通过次CMOS传感器接口总线107送入数码相机主芯片103。

数码相机主芯片103具有：集成高性能ISP流水线109，其输入Bayer型Raw RGB图像数据连接至主CMOS传感器接口108；超分辨率合成单元110，其两个输入总线分别连接至次CMOS传感器接口总线107和集成高性能ISP流水线109的YUV图像输出总线112；图像后处理单元111，其输入连接至超分辨率合成单元的输出图像总线113，其输出连接至存储器总线114。

如图2所示，数码相机主芯片103内部集成的高性能ISP流水线109主要具有以下功能单元：像素坏点校201(Bad Pixels Correction，BPC)，零值调整202(Black Level Adjustment，BLA)，镜头阴影校203(Lens Shade Correction，LSC)，色偏校正204(Chromatic Aberration Correction， CAC)，彩色插值和滤波205(Color Interpolation&Filtering，CI&F)，自动白平衡206(Auto White Balance，AWB)，自动曝光和自动聚焦207(Auto Exposure&Auto Focus，AE&AF)，色彩空间转换208(Color Space Conversation，CSC)，以及伽马校209(Gamma Correction，GC)。

如图3所示，数码相机主芯片103内部集成的超分辨率合成单元110主要具有以下功能单元：角点特征检测301、302，分别针对从两个不同输入接口输入的YUV图像数据进行角点特征检测；图像配准303，根据检测得到的角点特征进行特征匹配、变换模型估计、图像重采样和变换；建立退化模型304和重建高分辨率图像305。在本发明所述系统中，由于主次两个传感器的位置一经设定就不发生改变，并且两者同时受同一个电子快门脉冲的控制，拍摄到的是同一时间的场景，所以只需要在校正传感器位置的时候计算一次变换模型，而在平时的数码相机使用中可以由预设的变换模型对配准图像进行重采样和变换。

如图4所示，数码相机主芯片103内部集成的图像后处理单元111主要具有以下功能单元：亮度、对比度、色度、饱和度强化401(Enhancement of Brightness，Contrast，Hue and Saturation，Enh)，根据不同的设定对合成的高分辨率图像的亮度、对比度、色度、饱和度进行调整以达到更好的显示效果；图像效果402(Image Effects，IE)，根据不同的设定，在合成高分辨率图像上添加不同的图像效果；图层叠加403(Super Imposed，SI)，在合成高分辨率图像上叠加不同的图层，实现相框效果等；图像缩放404(Scaling)，可以对图像进行缩放，实现数码变焦的功能；行缓存405(Line Buffer)，在进行图像缩放时需要缓存几行的图像数据；JPEG图像编码406(JPEG Encoder，JE)，对经过处理的图像进行JPEG格式压缩编码；彩色空间转换407(Color Space Conversation for LCD，CSC for LCD)，将YUV图像数据转换到RGB空间并在数码相机自带的LCD显示屏上显示；存储图像数据408(Save)，将JPEG图像编码得到的JPEG格式图像文件通过存储器总线114存储到系统存储器104中。

上述计算和操作过程是本发明所述方法的一种典型的实施方式，对于本领域的一般技术人员，在上述实施例的基础上可以做多种变化，同样能够实现本发明的目的。但是，这种变化显然应该在本发明的权利要求书的保护范围内。

Claims (2)

1.一种支持双通道CMOS传感器的DSC主芯片架构，其特征在于：

(1)DSC主芯片支持双通道CMOS传感器输入，分别是主传感器输入和从传感器输入；

(2)主传感器输入支持RAW RGB图像数据输入或者YUV图像数据输入；

(3)从传感器输入支持YUV图像数据输入；

(4)DSC主芯片内建一条完整的ISP流水线，主传感器输入的RAW RGB图像数据经过ISP流水线处理得到YUV图像数据；

(5)主传感器输入的YUV图像数据或经过步骤(4)得到的YUV图像数据与从传感器输入的YUV图像数据经过超分辨率技术处理，得到高分辨率的图像数据。

2.根据权利要求1所述的一种支持双通道CMOS传感器的DSC主芯片架构，其特征在于：

(1)DSC具有两个独立的CMOS传感器，分别是主传感器和从传感器；

(2)主传感器一般选择RAW RGB图像数据输出，经过DSC主芯片内建的ISP流水线处理得到相关的镜头控制反馈信号对主传感器对应的镜头进行控制；

(3)从传感器选择YUV图像数据输出，从传感器内部集成了简单的ISP流水线，可以完成白平衡、曝光、聚焦等基本操作；

(4)主传感器一般选择高像素分辨率、高成像质量的图像传感器，DSC芯片内建的ISP流水线也具备比从传感器集成的ISP流水线更强的性能；

(5)采用超分辨率合成技术，可以从两个传感器同时对同一场景拍摄得到的低分辨率图像合成得到高分辨图像。

Images