CN101472062A - 一种实现摄像头功能的移动终端装置及其方法 - Google Patents

Abstract

本发明涉及一种实现摄像头功能的移动终端装置及其方法。此装置及方法的目的是解决在不影响多媒体功能和质量的前提下，用基带芯片代替完成多媒体处理器的视频信号的编解码功能。本发明通过基带处理器对传感器的控制、进行数据采集和处理，实现专业多媒体芯片的功能，简化了硬件结构，在不损失图像质量和多媒体功能下大幅降低成本，有益于产品利润最大化，也有益于用户以更低价格享受同等质量的多媒体服务。

Description

一种实现摄像头功能的移动终端装置及其方法

技术领域

本发明涉及一种实现摄像头功能的移动终端装置及其方法。

背景技术

如今，无线通信技术被广泛应用到人们的日常生活中，移动电话终端因其使用的便利性也得到普及。随着经济的发展和科技的进步，人们的生活水平大大提高，低端移动电话终端多媒体技术已经无法满足人们的需要，具有音乐和视频功能的多媒体手机越来越受到人们的追捧。目前，主流的多媒体手机硬件设计上普遍采用传统的基带处理芯片(BaseBand Processor，简称BB)+多媒体处理芯片(DSP，Digital Signal Processor，即数字信号芯片)硬件结构实现。这种设计结构，成本较高，硬件结构比较复杂，使多媒体手机，特别是低端市场的压力越来越大。

随着微电子技术日新月异，现有基带处理芯片多采用ARM9内核，拥有更快的工作频率以及更精细的制作工艺，极大提升了综合处理能力，也提供了更为丰富的接口模式，为多媒体手机设计提供了另一种可能性，即在不影响多媒体功能和质量的前提下，多媒体处理器的视频信号的编解码功能由基带芯片代替完成。从而，简化硬件结构、大幅度降低多媒体手机制造成本，提高核心竞争能力。

发明内容

本发明的目的就在于提供一种实现摄像头功能的移动终端装置及其方法，在不影响多媒体功能和质量的前提下，用基带芯片代替完成多媒体处理器的视频信号的编解码功能，简化硬件结构、降低成本。

本发明一种实现摄像头功能的移动终端装置包括：用于采集图像和音频信号的图像传感器、保存处理后信号的存储设备、显示最终图像或录像的液晶显示屏，和接受、处理图像传感器所采集信号、实现控制其他部件的基带处理器，基带处理器分别同图像传感器、存储设备和液晶显示屏相连。

基于上述装置来实现摄像头功能的方法包括以下步骤：

①基带处理器根据预览或照相或摄像的要求，通过图像传感器进行图像和音频数据采集；

②基带处理器对图像传感器采集的数据根据不同要求进行相应处理。

所述步骤①还包括对传感器的硬件初始化。其中，对传感器的硬件初始化，为基带处理芯片为传感器提供主时钟和所需电源，使传感器处于工作状态。

所述步骤①还包括对传感器的软件初始化，它包括为输出帧率，工作频率，输出极性和图像参数设置：包括白平衡(钨丝灯/阴天/太阳光/白炽灯等)、特效(暖色/冷色/底片/负色/浮雕等)、图像大小、晚间模式、数字变焦、旋转和镜像、锯齿消除、曝光控制、噪声消除。

所述图像数据格式为YUV。

所述步骤②中还包括初始化DMA(Direct Memory Access，直接存储器存取)控制器和配置DMA中断向量。

所述步骤②中的预览情况下的数据处理为预览处理：图像数据转换成RGB，存入LCD缓存，进行显示；

所述步骤②中的拍照情况下的数据处理为拍照处理：设置输出图像大小，传感器输出图像，基带采样多帧，丢弃无用帧，保留最后一帧，并进行编码，输出JPG格式图像至存储设备进行保存；同时，对JPG图像进行解码，输出RGB，存入LCD缓存，进行显示；

所述步骤②中的摄像情况下的数据处理为摄像处理：设置输出图像大小，传感器输出图像，基带采样多帧，丢弃无用帧，保留最后一帧，并进行编码、加入索引控制，形成Motion JPG文件，同时，基带处理芯片的基带音频编码、解码器对音频部分进行录音，将音频信息保存于视频文件地步，加入索引控制，整合成视频文件输出至存储设备进行保存；同时，将传感器输出的YUV格式图像数据转换成RGB格式，存入LCD缓存，进行显示；

上述步骤中涉及YUV格式图像转换成RGB格式时，使用移位处理替代浮点运算。

上述步骤中对于数据采集，是根据图像传感器输出的像素时钟信号，行同步信号以及帧同步信号来实现。

所述步骤②中数据处理还包括屏上显示OSD(On Screen Display，菜单功能)，OSD包括普通菜单和背景像框设置。对于OSD，通过菜单图像与图像数据比较关键色填充生成新的显示数据来实现。

本发明一种在移动设备上摄像头功能的实现方法，通过基带处理器对传感器的控制、进行数据采集和处理，实现专业多媒体芯片的功能，简化了硬件结构，在不损失图像质量和多媒体功能下大幅降低成本，有益于产品利润最大化，也有益于用户以更低价格享受同等质量的多媒体服务。

附图说明

下面结合附图和具体实施例对本发明进行阐述。

图1是摄像头功能装置结构图；

图2是摄像头功能方法实现流程图；

图3是信号采样流程图；

图4是基带处理器行中断产生的流程图；

图5是基带处理器桢中断产生的流程图；

图6是基带处理器中断处理的流程图；

图7是预览动作的数据处理流程图；

图8是拍照动作的数据处理流程图；

图9是摄像动作的数据处理流程图。

图1摄像头功能装置中 1.基带处理器 2.图像传感器 3.液晶显示屏 4.存储设备 11.传感器接口 12.IIC接口 13.系统时钟输出模块 14.通用输入输出接口15.声音软编解码模块 16.图像软编解码模块 17.直接内存访问

具体实施方式

下面结合附图和实施例对本发明进一步说明。

图1是本发明的装置系统结构方框图。本装置包括1基带处理器、2图像传感器、3液晶显示屏和4存储设备，基带处理器1分别同图像传感器2、液晶显示屏3和存储设备4相连。其中，基带处理器1包括图像传感器接口(Sensorinterface，简称SI)11，IIC接口12，系统时钟输出端(简称XOUT)13，通用输入输出接口(General Purpose Input Output，简称GPIO)14，声音软编解码模块(Audio Codec)15，图像软编解码模块(Image Codec)以及直接内存访问控制器(Direct Access Controller，简称DMAC)。基带处理器首先通过XOUT模块、SI和GPIO分别为图像传感器提供时钟信号、电源和复位信号，并通过IIC控制传感器，令其初始化、实现寄存器读写操作，同时利用DMAC通过传感器接口所获得的像素时钟信号、桢同步以及行同步信号，并依据采样极性，进行数据采样。采样完毕后，基带处理器对通过LCD(Liquid Crystal Display，液晶显示屏)端的片选、写数据命令输入，选择信号控制LCD输出实现预览。考虑到数据总线通常为16位带宽，LCD接口采用8位数据线控制和传输，数据分两次传输动作进行。如实现拍照功能，则在完成数据采样后，相关数据信息根据需求通过Image Codec(图像软编码模块)保存至存储设备，从而实现拍照功能。如实现摄像功能，则在实现拍照功能的基础上，在采集图像信息数据的同时，Audio Codec(声音软编码模块)同步进行音频处理并整合保存至视频文件，从而实现摄像功能。

实施例1：下面结合图1至图7详细表述，基于上述去除多媒体处理芯片结构的移动设备，实现摄像头进行预览功能的方法，具体过程如图2所示，包括以下步骤：

1.基带处理器对图像传感器进行硬件初始化，具体包括以下步骤：

a)基带处理器通过XOUT接口为图像传感器提供主时钟信号，频率通常在24M-32M范围内；

b)基带处理器通过SI接口为图像传感器提供2.8V数字电压和1.8V模拟电压，尽量保证单独低漏失电压调压器(LDO)供电，确保电源干扰和峰峰值在可接受范围内；

c)根据所选用图像传感器输出，设置采样极性(或高有效或低有效)；

d)根据所选用图像传感器的硬件设计，相应的拉低或拉高PowerDown脚使能图像传感器，使图像传感器处于工作状态。

2.复位图像传感器，图像传感器端进行软件代码初始化动作，具体包括以下步骤：

a)复位图像传感器，传感器端进行软件代码初始化动作

b)根据存储设备中保存的参数值设置白平衡，特效，图像大小，是否夜晚模式等参数。

3.图像传感器输出YUV原始图像数据。

4.基带处理器端初始化DMAC和配置DMA中断向量：

a)DMA中断包括帧中断和行中断；

b)DMA最大传输数据量；

c)考虑到最大传输效率以达到最速帧率，DMA应初始化双缓存。

5.DMAC根据时钟和同步信号进行图像数据采集，数据采集完毕后，被送往存储器，转化成显示屏可接受的RGB数据，过程如图3所示，具体包括以下步骤：

a)当基带处理器收到图像传感器的帧同步信号时，由于自动白平衡需要时间，基带处理器抛弃前几桢图像数据，不做处理。

b)在图像传感器输出稳定后，依据像素时钟信号，在接收到行同步信号第一个下降或上升沿开始接收第一帧图像第一行的第一个像素YUV数据(16bit)。

c)行中断到来时，第一行数据采样完成。存入DMA缓存，以保证采样不间断。判断所采集数据是否符合规定像素格式，即通常按照VGA(640*480)的分辨率，即640个像素点640*2位字节数据，如果不是则标记为坏帧。

d)下一个行同步边沿信号开始时，进行下一行采样。同时按照已采样行数决定是否对第一个DMA缓存器进行批量数据转化处理(通常YUV至YUV422)和简单高低位互换操作(8位传输方式)，同时决定第二个DMA缓存器是否准备接收下行数据。

e)行采样完毕。如帧中断到来(即按照VGA是480行数据)，则整帧数据采样完毕，判断图像数据行列数是否匹配，如是则送入存储器。否则标记为坏帧丢弃；如坏桢数比率超过预期期望，则要考虑基带处理器的核心工作频率以及采样频率，如果与传感器输出频率相差太大，则考虑配置传感器加大空行数或增加空像素操作以放宽行列的取样时间，或者直接降频拉低输出时钟，这些做法都会明显降低桢率，所以这需要一个折中，也需要一个较长的调试适应过程。

以下对终端产生和终端处理操作进行具体描述：

i.在步骤5过程中所述行中断的生成流程如图4所示：依据图像传感器提供的像素时钟信号，基带处理器通过DMA控制采样有效像素，直到传感器的行同步信号下一个边沿信号到来，DMA行中断即产生。

ii.在步骤5过程中所述帧中断的生成流程如图5所示：采样过程中判断是否收到帧同步信号，同时计算已采集行数，如没收到则继续采样行数据并进行批量行数据转化YUV422处理，当采样到指定行数或者收到图像传感器的行同步信号时，DMA控制器产生帧中断。

iii.在步骤5过程中相应所述行中断或帧终端的中断处理流程：针对图3产生的行中断之后的处理流程是对行数据进行相应的色域转化和换位操作；针对图5产生的桢中断的处理流程是校验数据完整性并送入工作缓存区；具体如图6所示：如是预览动作，行中断处理流程细化为转化成显示器适应的RGB图像格式，比如RGB565或者RGB555，考虑到通用性，这里传感器输出的是YUV数据，即Ycrcb数据，参考转化公式：

R＝Y+1.4075×(V-128)

G＝Y-0.3455×(U-128)-0.7169×(V-128)

B＝Y+1.779×(U-128)

一般移动设备中基带处理器不支持浮点运算，所以利用移位处理得到转化算法。

6.基带处理器从存储器获得图像数据，进行必要的数据处理，送入屏显缓存显示，预览实现，具体过程如图7所示，包括以下步骤：

a)进行必要的校验工作，如检查缓存数据(RGB)的完整性。

b)将数据送入屏显缓存区。

c)判断是否进行OSD填充：如不需要进入下一步；否则，将数据与基带缓存器中OSD菜单图像数据进行关键色比对，非关键色则填充为OSD菜单数据，更新屏显缓存器。

d)如果需要所见即所得的全屏无裁减显示，屏显缓冲区进行旋转90度或270度的操作；最后送入显示RAM通过DMA刷屏显示，预览功能完成。

实施例2：通过上述装置实现摄像头的拍照功能，其方法流程步骤和实施例1雷同，不再赘述，仅在中断处理操作iii和基带处理器对采样后的数据处理，即步骤6，同实施例1有所区别：对于中断处理操作iii，由于图像软编解码控制器是将YUV格式转为JPG格式，中断处理流程中只进行简单换位动作，得到YUV格式数据；对于数据处理步骤6，具体过程如图8显示，包括以下步骤：

a)桢中断到来后，整桢YUV图像采样完成，进行必要的检验操作；

b)数据送入编解码缓存区；

c)进行编码操作(YUV422->JPG)，同时设置相应的编码质量因子(Qfactor)；

d)编码完成数据保存至存储设备获得图片文件；

e)对图片进行解码操作(JPG->YUV422)，同样设置解码质量因子；

f)将YUV格式的图片转化为显示屏可显示的RGB格式；

g)解码完成数据送入屏显缓存区匹配OSD菜单进行回显，其方法流程步骤同实施例1步骤6。

实施例3：通过上述装置实现摄像头的摄像功能，其方法流程步骤和实施例2雷同，不再赘述，但在此基础上需添加音频部分的步骤，包括音频采样、音频处理、和生成视频文件，涉及步骤5和步骤6：步骤5中，基带处理器除通过图像处理器采样图像信息，还通过软编码器进行录音采样音频数据；步骤6的步骤如图9所示，包括以下步骤：

a)桢中断到来后，整桢YUV图像采样完成，进行必要的检验操作

b)图像数据流程分为两部分，回显进程和图像音频编码进程，分别送入对应缓存区

c)回显进程，YUV数据转化为RGB数据送入屏显缓存区，之后方法流程步骤同实施例1步骤6。

d)图像编码进程同实施例2，注意质量因子的设置，通常考虑到摄像的帧速，编码质量不宜过高。

e)每桢图片数据整合索引头和大小信息字节保存入预先在存储设备创建的视频文件的图像区域，并且生成图像索引表，包括每桢文件大小，偏移量，头标志以及是否关键桢的标记位，然后写入文件尾部。

f)基带处理器通过Audio Codec以每秒20帧的速率采集Mic(麦克)端音频数据，采样内容(一般为AMR格式)保存至预先在存储设备创建的临时音频文件。

g)当摄像动作主动或被动停止，音频文件中音频数据写入视频文件的音频区域整合成新的视频文件，并且生成音频索引表，包括音频数据总大小，偏移量，以及头标志字符串，写入视频文件尾部。

h)根据图像分辨率，帧速，音频格式，总文件大小等各种视频信息生成视频文件头，写入视频文件头部。视频文件完成。

i)删除临时音频文件，摄像动作完成。

综上所述仅为发明的较佳实施例而已，并非用来限定本发明的实施范围。即凡依本发明申请专利范围的内容所作的等效变化与修饰，都应为本发明的技术范畴。

Claims (15)

1.一种实现摄像头功能的移动终端装置，其特征在于，包括：用于采集图像和音频信号的图像传感器(2)、显示最终图像或录像的液晶显示屏(3)和保存处理后信号的存储设备(4)，和接受、处理图像传感器所采集信号、实现控制其他部件的基带处理器(1)，基带处理器分别同图像传感器(2)、液晶显示屏(3)和存储设备(4)相连。

2.一种根据权利要求1所述装置来实现摄像头功能的方法，其特征在于所述方法包括以下步骤：

①基带处理器根据预览或照相或摄像的要求，通过图像传感器进行图像和音频数据采集；

②基带处理器对图像传感器采集的数据根据不同要求进行相应处理。

3.根据权利要求2所述的实现摄像头功能的方法，其特征在于：所述步骤①还包括对传感器的硬件初始化。

4.根据权利要求3所述的实现摄像头功能的方法，其特征在于：所述对传感器的硬件初始化，为基带处理芯片为传感器提供主时钟和所需电源，使传感器处于工作状态。

5.根据权利要求2所述的实现摄像头功能的方法，其特征在于：所述步骤①还包括对传感器的软件初始化。

6.根据权利要求5所述的实现摄像头功能的方法，其特征在于：所述对传感器的软件初始化，为输出帧率，工作频率，输出极性和图像参数设置。

7.根据权利要求6所述的实现摄像头功能的方法，其特征在于：所述图像参数包括白平衡(钨丝灯/阴天/太阳光/白炽灯等)、特效(暖色/冷色/底片/负色/浮雕等)、图像大小、晚间模式、数字变焦、旋转和镜像、锯齿消除、曝光控制、噪声消除。

8.根据权利要求2所述的实现摄像头功能的方法，其特征在于：所述图像数据格式为YUV。

9.根据权利要求2所述的实现摄像头功能的方法，其特征在于：所述步骤②中还包括初始化DMA(Direct Memory Access，直接存储器存取)控制器和配置DMA中断向量。

10.根据权利要求2所述的实现摄像头功能的方法，其特征在于：所述步骤②中的预览情况下的数据处理为预览处理：图像数据转换成RGB，存入LCD缓存，进行显示。

11.根据权利要求2所述的实现摄像头功能的方法，其特征在于：所述步骤②中的拍照情况下的数据处理为拍照处理：设置输出图像大小，传感器输出图像，基带采样多帧，丢弃无用帧，保留最后一帧，并进行编码，输出JPG格式图像至存储设备进行保存；同时，对JPG图像进行解码，输出RGB，存入LCD缓存，进行显示。

12.根据权利要求2所述的实现摄像头功能的方法，其特征在于：

所述步骤②中的摄像情况下的数据处理为摄像处理：设置输出图像大小，传感器输出图像，基带采样多帧，丢弃无用帧，保留最后一帧，并进行编码、加入索引控制，形成Motion JPG文件，同时，基带处理芯片的基带音频编码、解码器对音频部分进行录音，将音频信息保存于视频文件地步，加入索引控制，整合成视频文件输出至存储设备进行保存；同时，将传感器输出的YUV格式图像数据转换成RGB格式，存入LCD缓存，进行显示。

13.根据权利要求10或11或12所述的实现摄像头功能的方法，其特征在于：YUV格式图像转换成RGB格式时，使用移位处理替代浮点运算。

14.根据权利要求2或8或9或10或11或12或13所述的实现摄像头功能的方法，其特征在于：对于数据采集，根据图像传感器输出的像素时钟信号，行同步信号以及帧同步信号来实现。

15.根据权利要求1所述的移动终端摄像头功能的实现方法，其特征在于：所述步骤②中数据处理还包括屏上显示OSD(On Screen Display，菜单功能)，OSD包括普通菜单和背景像框设置。对于OSD，通过菜单图像与图像数据比较关键色填充生成新的显示数据来实现。

Images