CN1909591A

CN1909591A - 一种便携式数码设备的图像处理方法

Info

Publication number: CN1909591A
Application number: CN 200610062093
Authority: CN
Inventors: 潘于
Original assignee: SHENZHEN ANYKA MICROELECTRONICS TECHNOLOGY Co Ltd
Current assignee: SHENZHEN ANYKA MICROELECTRONICS TECHNOLOGY Co Ltd
Priority date: 2006-08-10
Filing date: 2006-08-10
Publication date: 2007-02-07

Abstract

本发明公开了一种便携式数码设备的图像处理方法，其图像传感器的数据输出速度低于图像处理芯片处理数据速度；在进行图像处理同时，保存原始数据，依次有以下步骤：(1)对传感器输入的数据进行图像剪裁、缩放预处理；(2)将图像数据通过直接存储器存取数据传送方式从适配卡传递到内存、外接的存储设备，或从内存、外接的存储设备取回进行下一步的图像处理；(3)由用户根据自己的需要将保存的原始数据导出至电脑采用专业软件和RGB/YUV域图像处理模块做特殊处理。本发明方法可以使便携式数码设备处理的图像达到专业数码相机的标准，还可以显著降低成本，尤其是能方便不同层次的用户，特别是图像处理专业用户按照自己的方式对图像进行高效实时处理。

Description

一种便携式数码设备的图像处理方法

技术领域

本发明涉及图像数据处理，尤其是涉及一种便携式数码设备的图像处理方法。

背景技术

现有图像传感器包括电荷耦合装置(Charge Coupled Device，简称CCD)和互补型金属氧化物半导体(ComplementaryMetal-Oxide-Semiconductor Transistor，简称CMOS)，它们将采集到光学信号转换成电信号后再通过模拟-数字转换电路输出数据流，数据流的格式包括Bayer、YCbCr 4∶2∶2格式、RGB格式。在诸如数码相机、移动电话机、PDA、MP4播放机等需要显示图像数据的便携式数码设备中，通过纯软件或硬件方式对图像传感器输出的原始数据进行图像处理，以满足人们对高质量图像的需求。

所述纯软件方式能够达到较高的图像处理效果，但占用微处理器资源过多，而且不能满足实时性和快速反应性的要求，例如部分照相机的快门快速反应性太差。而前述采用的已有的硬件解决方案没有区别实时性和快速型的，造成高成本的硬件浪费，尤其体现在硬件局部缓存的大小受到图像大小制约上。

所述硬件是局部缓存器和系统内部存储器，将CMOS图像传感器感应的原始RGB像素若干行放入局部缓存器，进行实时图像转换和增强处理后再放入系统内部存储器，其硬件成本太高，而且局部缓存器的大小受到图像大小制约，尤其是由外部图像传感器输出的二进制图像数据流直接进入芯片组成的图像质量，受到缩小设备体积以及降低系统成本的影响，不能保存图像原始数据，不能方便不同层次的用户，特别是图像处理专业用户按照自己的方式对图像进行处理。

发明内容

本发明要解决的技术问题是弥补现有技术的缺陷，提出一种节约硬件资源、降低系统成本的便携式数码设备的图像处理方法。对便携式数码设备的图像传感器的原始输出信号进行高效实时处理，处理图像达到专业数码相机的标准，还能方便地实现照相和录像功能，尤其是能方便不同层次的用户，特别是图像处理专业用户按照自己的方式对图像进行处理。

本发明的技术问题通过以下技术方案予以解决。

这种便携式数码设备的图像处理方法的特点是：

图像传感器的数据输出速度低于图像处理芯片处理数据速度。

在进行图像处理同时，保存原始数据，以方便不同层次的用户特别是图像处理专业用户按照自己的方式对图像进行处理，依次有以下步骤：

(1)对传感器输入的数据进行图像剪裁、缩放预处理；

(2)将图像数据通过直接存储器存取数据传送方式(DirectMemory Access，简称DMA)从适配卡传递到内存、外接的存储设备，或从内存、外接的存储设备取回进行下一步的图像处理，上传和下载同时进行，不需要CPU的参与，以保证实时性；

(3)由用户根据自己的需要将保存的原始数据导出至电脑采用专业软件和RGB/YUV域图像处理模块做特殊处理，所述特殊处理包括对色素转换后输出的RGB格式的图像数据依次进行实时的RGB域图像处理和YUV域图像处理，以及对色素转换后输出的YUV格式的图像数据依次进行实时的YUV域图像处理和RGB域图像处理。

本发明的技术问题通过以下进一步的技术方案予以解决。

优选的是，所述图像传感器的数据输出速度等于图像处理芯片处理数据速度的1/3。因为图像处理都是基于RGB域和YUV域，图像传感器每3个时钟周期送进一个象素，图像处理芯片可以在第一个周期处理R，第二个周期处理G，第三个周期处理B。这样既节约成本又可以保证处理速度符合要求。

所述图像处理方式包括录像模式、视频流浏览模式和照相模式。

所述录像模式、视频流浏览模式和照相模式共用同一个数据通道，灵活地处理不同尺寸、不同速度的图像。

本发明的技术问题还通过以下进一步的技术方案予以解决。

所述RGB域图像处理模块和YUV域图像处理模块，分别包括至少两个相互独立的图像处理单元，每个图像处理单元分别由各自的逻辑开关电路控制，采用选择拆分、组合方式对图像数据进行RGB/YUV域图像处理，以满足用户要求的性能指标。

所述图像处理单元被控制打开时，对经过的图像数据进行处理；所述图像处理单元被控制关闭时，只是传输图像数据，不对经过的图像数据进行处理。用户要求高速度传输图像数据或要求降低功耗增加电池使用时间，就控制关闭部分图像处理单元，在满足图像质量要求的前提下，节约硬件成本。

本发明方法与现有技术对比的有益效果和优点是：

本发明方法可以使便携式数码设备处理的图像达到专业数码相机的标准，还可以显著降低成本，尤其是能方便不同层次的用户，特别是图像处理专业用户按照自己的方式对图像进行高效实时处理。采用CMOS图像传感器的数百万像素便携式数码照相机，30fps的连续图像录制和浏览分辨率为352×288象素，照相快门反应时间在2秒以内。本发明方法特别适用于需要显示图像数据的便携式数码设备，包括数码相机、移动电话机、PDA以及MP4播放机。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细说明。

图1是本发明具体实施方式的图像信号处理电路模板组成方框图；

图2是本发明具体实施方式的录像模式、视频流浏览模式下的图像处理流程示意图；

图3是本发明具体实施方式的照相模式下的图像处理流程示意图。

具体实施方式

一种200万像素的便携式数码照相机，采用市面上通用的CMOS图像传感器，输出连续图像信号的参考时钟频率为27MHz，其图像信号处理电路模板组成方框图如图1所示，电路的工作参考时钟频率为60MHz，图像传感器的数据输出速度等于图像处理芯片处理数据速度的1/3。录像模式、视频流浏览模式，以及照相模式下的图像处理流程示意分别如图2、3所示。

本具体实施方式的录像模式、视频流浏览模式，突出视频图片流的实时性，即图像处理实时性，以适应便携式设备显示屏尺寸偏小的特点，相对放宽对图像质量和尺寸的要求，其图像处理过程如下：

(1)先对图像传感器送来的图像数据，进行预处理剪裁、缩放；

(2)再对图像数据分别进行RGB域图像处理和YUV域图像处理，所述RGB域图像处理包括白平衡、伽马校正，所述YUV域图像处理包括边缘增强；

(3)图像输入单元和输出单元之间相互独立，同时并行工作，可选择部分打开或者关闭，送入的图像数据在图像输入单元和输出单元之间传送时，不必相互等待，在接收图像传感器送来的图像数据的同时，进行数据处理，以明显缩短数据处理的时间，使录像和视频流浏览的画面流畅，清晰。

本具体实施方式的照相模式，重点突出静止图像的高进度性，以适应人们对图像质量的高要求，其图像处理过程如下：

(1)先对图像传感器送来的图像数据，进行预处理剪裁、缩放以及坏点检测；

(2)再对图像数据进行黑平衡预处理，消除环境因素以及图像传感器本身参数在图像数据中造成的坏点和错点；

(3)接着将图像数据划分为若干个“垂直带”，逐个送入局部缓存中：

(4)最后对图像数据分别进行完整的RGB域图像处理域和YUV域图像处理，处理单元更多，处理精度更高，图像质量更好；

所述完整的RGB域图像处理包括自适应滤波、自动白平衡处理、伽马校正、颜色校正和自适应对比度增强处理。

所述完整的RGB域的图像处理单元包括以下相互独立的图像处理单元：

自适应滤波器：采用5×5矩阵形式的自适应算法，对于每个象素进行噪声消除；

自动白平衡处理单元：统计2×2矩阵的象素特性进行白平衡处理；

伽马校正单元：采用32段分段直线代替伽马曲线进行校正；

颜色校正单元：根据图像本身的特点，采用分段处理的方法有选择地进行校正；

自适应对比度增强处理单元：统计每幅图像的直方图特性进行对比度增强。

所述完整的YUV域图像处理包括边缘滤波、边缘增强处理、饱和度增强处理和自动聚焦。

所述完整的YUV域的图像处理单元包括以下相互独立的图像处理单元：

边缘滤波单元：对于UV分量做5×5矩阵的平均处理；

边缘增强处理单元：采用反锐化掩模算法进行增强处理；

饱和度增强处理单元：对UV分量做线性处理，增加图像的饱和度；

自动聚焦单元：计算Y分量的ACM值，通过求ACM峰值找到对应的位置。

测试数据表明，本具体实施方式的30fps的连续图像录制和浏览分辨率为352×288象素，照相快门反应时间在2秒以内。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其架构形式能够灵活多变，可以派生系列产品。只是做出若干简单推演或替换，都应当视为属于本发明由所提交的权利要求书确定的专利保护范围。

Claims

1.一种便携式数码设备的图像处理方法，其特征在于：

图像传感器的数据输出速度低于图像处理芯片处理数据速度；

在进行图像处理同时，保存原始数据，依次有以下步骤：

(1)对传感器输入的数据进行图像剪裁、缩放预处理；

(2)将图像数据通过直接存储器存取数据传送方式从适配卡传递到内存、外接的存储设备，或从内存、外接的存储设备取回进行下一步的图像处理，上传和下载同时进行；

2.如权利要求1所述的便携式数码设备的图像处理方法，其特征在于：

所述图像传感器的数据输出速度等于图像处理芯片处理数据速度的1/3。

3.如权利要求1或2所述的便携式数码设备的图像处理方法，其特征在于：

4.如权利要求3所述的便携式数码设备的图像处理方法，其特征在于：

所述录像模式、视频流浏览模式和照相模式共用同一个数据通道。

5.如权利要求4所述的便携式数码设备的图像处理方法，其特征在于：

所述RGB域图像处理模块和YUV域图像处理模块，分别包括至少两个相互独立的图像处理单元，每个图像处理单元分别由各自的逻辑开关电路控制，采用选择拆分、组合方式对图像数据进行RGB/YUV域图像处理。

6.如权利要求5所述的便携式数码设备的图像处理方法，其特征在于：

所述图像处理单元被控制打开时，对经过的图像数据进行处理；所述图像处理单元被控制关闭时，只是传输图像数据，不对经过的图像数据进行处理。

7.如权利要求6所述的便携式数码设备的图像处理方法，其特征在于：

所述录像模式、视频流浏览模式的图像处理过程如下：

(2)再对图像数据分别进行RGB域图像处理和YUV域图像处理，所述RGB域图像处理包括白平衡处理、伽马校正，所述YUV域图像处理包括边缘增强处理；

(3)图像输入单元和输出单元之间相互独立，同时并行工作，可选择部分打开或者关闭。

8.如权利要求7所述的便携式数码设备的图像处理方法，其特征在于：

所述照相模式的图像处理过程如下：

(4)最后对图像数据分别进行完整的RGB域图像处理域和YUV域图像处理，所述完整的RGB域图像处理包括自适应滤波、自动白平衡处理、伽马校正、颜色校正和自适应对比度增强处理，所述完整的YUV域图像处理包括边缘滤波、边缘增强处理、饱和度增强处理和自动聚焦。

9.如权利要求8所述的便携式数码设备的图像处理方法，其特征在于：

所述完整的RGB域的图像处理单元包括相互独立的自适应滤波器、自动白平衡处理单元、伽马处理单元、颜色校正单元和自适应对比度增强处理单元。

10.如权利要求9所述的便携式数码设备的图像处理方法，其特征在于：

所述完整的YUV域的图像处理单元包括相互独立的边缘滤波单元、边缘增强处理单元、饱和度增强处理单元和自动聚焦单元。