CN100551008C - 进行视频处理的装置和方法 - Google Patents

Abstract

本发明提供了一种进行视频处理的装置和方法，该装置主要包括：图像传感器、VIU(视频接口单元)和ARM(先进精简指令集微处理器)。该方法主要包括：图像传感器按照配置的数据传送方式，将采集到的图像数据传递给VIU；所述VIU按照配置的数据传送方式，通过数据总线将接收到的所述图像数据输出。利用本发明所述装置和方法，可以减小图象处理系统对CPU的资源的占用，使图象处理系统的图象处理速度快、功耗低。

Description

进行视频处理的装置和方法

技术领域

本发明涉及通讯领域，尤其涉及一种进行视频处理的装置和方法。

背景技术

各种多功能的移动终端是近几年无线通讯领域的发展热点，而摄像又是现代移动终端非常重要的一个功能。目前，带有摄像功能的手机一般同时具有手机微处理器SOC(片上系统)芯片和图像传感器SOC芯片。

图像传感器SOC芯片一般集成了图像传感器、图像原始数据处理、图像输出格式调整等功能，它们都由专用厂商提供。图像传感器SOC芯片提供了视频接口，该视频接口根据一定的视频协议向手机微处理器SOC芯片输出数字图像。

手机微处理器SOC芯片一方面必须提供专门的接口以接收图像传感器SOC芯片传递过来的数字图像信号，另一方面必须要提供良好的显示方案，用以快速、有效地将接收到的数字图像信号显示在手机屏幕上，或者存储在存储器中，以完成拍照功能。

现有技术中一种多模移动终端进行视频处理的方案为：ARM(先进精简指令集微处理器)视频处理方案。实现该方案的系统的结构示意图如图1所示。采用ARM公司提供的PXP(PrimeXsys Platform)开发包提供的架构，该架构只含有液晶显示控制器，没有专门的视频输入模块。因此该方案必须全部采用ARM处理器来完成图像输入和图像处理。

图1所示的系统采用GPIO(通用输入/输出)接收图像传感器(比如CMOS/CCD sensor，即camera)传递过来的图像数据，GPIO将接收到的图像数据交给ARM处理。ARM处理完毕后，将需要进行显示的图象数据交给LCD(液晶显示器)控制器，LCD控制器控制LCD面板显示图像；将需要进行存储的图象数据交给RAM控制器，RAM控制器将该图像数据写入RAM进行保存。RAM可以是非挥发性的，如：Flash(快闪存储器)RAM等。

上述现有技术中的方案的缺点为：

1、显示流程采用软件方式，占用CPU的资源大，处理速度慢、功耗大，系统整体性能低；

2、图像处理能力不强，支持的图像像素低，不能支持200万像素以上的业务，不能很好地支持MPEG4、H.263等媒体功能；

3、摄像接口功能单一，难以支持一些特殊的视频协议，如ITU(国际电信联盟)-R BT.656/601等类型的视频协议，无法应用到某些特殊场合，如视频电话、电视图像等。

发明内容

鉴于上述现有技术所存在的问题，本发明的目的是提供一种进行视频处理的装置和方法，从而可以减小终端的图象处理装置对CPU的资源的占用，使图象处理装置的图像处理速度快、功耗低。

本发明的目的是通过以下技术方案实现的：

一种进行视频处理的装置，包括：图像传感器、视频接口单元VIU、先进精简指令集微处理器ARM和随机存取存储器RAM控制器，其中：

图像传感器：用于采集数字图像数据，根据ARM配置的三原色RGB数据传送方式，将采集到的RGB图像数据传递给VIU，根据ARM配置的分量YUV数据传送方式，将采集到的YUV图像数据传递给VIU；

VIU：用于根据ARM配置的RGB数据传送方式，接收图像传感器传递过来的RGB图像数据，根据ARM配置的YUV数据传送方式，接收图像传感器传递过来的YUV图像数据；将接收到的需要显示的RGB数据通过数据总线传递给显示控制器或RAM控制器，将接收到的需要存储的YUV数据通过数据总线传递给RAM控制器，向RAM控制器传递每帧或者部分帧的RGB数据或YUV数据完成后，通过ARM_DAHB控制总线向ARM发出中断信号；所述VIU在图像处理上采用乒乓机制，所述乒乓机制的具体的处理流程包括：

采用两块容量为一帧的空间：空间A、空间B来接收和存储数据，

1、配置VIU的数据存储地址为空间A，启动VIU工作；

2、VIU接收完一帧数据后，此时空间A被写满，软件配置VIU下一帧数据的起始存储地址为空间B，同时ARM处理器或图像硬件加速单元处理空间A中的一帧数据；

3、在VIU通过空间B接收完下一帧数据之前，若软件已经完成空间A中的一帧数据的处理，则配置VIU的数据存储地址为空间A，继续通过空间A来接收数据；

当在VIU通过空间B接收完下一帧数据之后，但是软件仍然没有完成空间A中的一帧数据的处理，则软件既可以丢弃当前处理的空间A中的一帧数据转而处理空间B中的一帧数据，也可以丢弃空间B中的一帧数据让VIU继续接收下一帧数据，或者等待空间A中的一帧数据处理完以后，再去处理空间B中的一帧数据，同时配置VIU继续通过空间A接收数据。

ARM：配置图像传感器和VIU的数据传送方式，根据VIU传递过来的中断信号，对VIU输出的需要存储的YUV图像数据进行处理后通过ARM_DAHB控制总线传递给存储装置，对VIU输出的需要显示的RGB图像数据进行处理后通过ARM_DAHB控制总线传递给显示装置，对VIU输出的需要存储的RGB图像数据转换为YUV图像数据后再进行数据处理，将处理后的图像数据通过数据总线传递给存储装置，对VIU输出的需要显示的YUV图像数据转换为RGB图像数据后再进行数据处理，将处理后的图像数据通过数据总线传递给显示装置。

RAM控制器：接收并且控制VIU输出的RGB图像数据或YUV图像数据，将该RGB图像数据或YUV图像数据传递给RAM进行缓存，所述RAM控制器在图像处理上也采用所述乒乓机制。

还包括：

显示控制器：接收ARM利用RAM控制器读取，并经过处理后的或VIU传递过来的RGB图像数据，将该RGB数据进行显示；

非易失性存储器：接收ARM利用RAM控制器读取，并经过处理后的YUV图像数据，将该YUV图像数据进行存储。

所述的显示控制器为：液晶显示LCD控制器或液晶显示模组。

所述的非易失性存储器为：快闪存储器Flash RAM或多媒体存储卡MMC或微硬盘或磁盘。

一种进行视频处理的方法，包括步骤：

A、图像传感器按根据ARM配置的三原色RGB数据传送方式，将采集到的RGB图像数据传递给VIU，根据ARM配置的分量YUV数据传送方式，将采集到的YUV图像数据传递给VIU；

B、所述VIU根据ARM配置的RGB数据传送方式，接收图像传感器传递过来的RGB图像数据，根据ARM配置的YUV数据传送方式，接收图像传感器传递过来的YUV图像数据，将接收到的需要显示的RGB数据通过数据总线传递给显示控制器或随机存取存储器RAM控制器，将接收到的需要存储的YUV数据通过数据总线传递给RAM控制器，向RAM控制器传递每帧或者部分帧的RGB数据或YUV数据完成后，通过ARM_DAHB控制总线向ARM发出中断信号；所述VIU在图像处理上采用乒乓机制，所述乒乓机制的具体的处理流程包括：

采用两块容量为一帧的空间：空间A、空间B来接收和存储数据，

1、配置VIU的数据存储地址为空间A，启动VIU工作；

2、VIU接收完一帧数据后，此时空间A被写满，软件配置VIU下一帧数据的起始存储地址为空间B，同时ARM处理器或图像硬件加速单元处理空间A中的一帧数据；

3、在VIU通过空间B接收完下一帧数据之前，若软件已经完成空间A中的一帧数据的处理，则配置VIU的数据存储地址为空间A，继续通过空间A来接收数据；

当在VIU通过空间B接收完下一帧数据之后，但是软件仍然没有完成空间A中的一帧数据的处理，则软件既可以丢弃当前处理的空间A中的一帧数据转而处理空间B中的一帧数据，也可以丢弃空间B中的一帧数据让VIU继续接收下一帧数据，或者等待空间A中的一帧数据处理完以后，再去处理空间B中的一帧数据，同时配置VIU继续通过空间A接收数据；

所述ARM配置图像传感器和VIU的数据传送方式，根据VIU传递过来的中断信号，对VIU输出的需要存储的YUV图像数据进行处理后通过ARM_DAHB控制总线传递给存储装置，对VIU输出的需要显示的RGB图像数据进行处理后通过ARM_DAHB控制总线传递给显示装置，对VIU输出的需要存储的RGB图像数据转换为YUV图像数据后再进行数据处理，将处理后的图像数据通过数据总线传递给存储装置，对VIU输出的需要显示的YUV图像数据转换为RGB图像数据后再进行数据处理，将处理后的图像数据通过数据总线传递给显示装置；

所述的RAM控制器：接收并且控制VIU输出的RGB图像数据或YUV图像数据，将该RGB图像数据或YUV图像数据传递给RAM进行缓存，所述RAM控制器在图像处理上也采用所述乒乓机制。

所述的步骤B具体包括：

VIU根据ARM配置的RGB数据传送方式，通过数据总线将接收到的RGB图像数据传递给LCD控制器，LCD控制器将该RGB数据进行显示。

所述的步骤B还包括：

LCD控制器将接收到的RGB图像数据缓存，ARM将所述RGB图像数据读出并转换成YUV图像数据，再进行数据处理，将处理后的YUV图像数据通过数据总线输出给非易失性存储器，非易失性存储器将该YUV图像数据保存。

所述的数据处理包括：联合图像专家组JPEG压缩或活动图象专家组MPEG压缩。

所述的步骤B还包括：

ARM将所述RAM中缓存的RGB图像数据读出，并进行数据处理，将处理后的RGB图像数据通过数据总线输出给LCD控制器，LCD控制器将该RGB图像数据进行显示。

所述的步骤B还包括：

ARM将所述RAM中缓存的VIU图像数据读出，并进行数据处理，将处理后的VIU图像数据通过数据总线输出给非易失性存储器，非易失性存储器将该处理后的VIU图像数据进行保存。

所述的步骤B还包括：

ARM将所述RAM中缓存的YUV图像数据读出，并将读出的YUV图像数据转换成RGB图像数据，并进行数据处理，将处理后的RGB图像数据通过数据总线输出给LCD控制器，LCD控制器将该处理后的RGB图像数据进行显示。

由上述本发明提供的技术方案可以看出，本发明通过采用VIU(视频接口单元)来处理图像传感器传递过来的图像数据，和现有技术相比，具有如下优点：

1、本发明设计了一个VIU模块来替代GPIO，设计了软件与硬件协同操作的显示流程，减小了用户终端的图象处理系统对CPU的资源的占用，处理速度快、功耗低，用户终端的整体性能高。

2、大大增强了用户终端的图像处理能力，用户终端可处理的像素最高达500万，处理速度可达15fps，可以支持MPEG4、H.263、H.264等媒体功能。

3、可扩展用户终端的摄像接口功能，可以使用户终端支持一些特殊的视频协议，如ITU-R BT.656/601等类型的视频协议，该特殊的视频协议可以应用到某些特殊场合，如视频电话、电视图像等。

附图说明

图1为现有技术中的实现ARM视频处理方案的系统的结构示意图；

图2为本发明所述装置的实施例1的结构示意图；

图3为本发明所述用户终端进行视频处理的方法的实施例的具体处理流程图；

图4为本发明所述装置的实施例2的实现原理图；

图5为本发明所述装置的实施例3的实现原理图；

图6为本发明所述装置的实施例4的实现原理图；

图7为本发明所述装置的实施例5的实现原理图；

图8为应用本发明所述装置的带有摄像功能的多模移动终端的结构示意图；

图9为图8所示多模移动终端的中的VIU的结构示意图。

具体实施方式

本发明提供了一种进行视频处理的装置和方法，本发明的核心为：采用VIU按照ARM配置的数据传送方式，处理图像传感器传递过来的图像数据。

下面结合附图来详细描述本发明所述装置，本发明所述装置的实施例的结构示意图如图2所示。包括：VIU、ARM、LCD控制器、RAM控制器和图像传感器。

图像传感器：用于采集数字图像数据，支持RGB(三原色)和YUV(分量)数据输出传送方式。根据ARM配置的数据传送方式(RGB或YUV)，将采集到的RGB或YUV数字图像数据传递给VIU。

VIU：用于接收图像传感器传递过来的RGB或YUV数字图像数据，支持四种工作模式：直接camera(照相)方式、Raw Data(原始数据)方式、ITU-R BT.656和ITU-R BT.601方式。

VIU支持接受RGB和YUV数据。将接收到的需要显示的RGB数据通过CAM_AHB总线传递给LCD控制器或通过RAM控制器存储于RAM中，将接收到的需要存储的YUV数据通过CAM_AHB总线和RAM控制器存储于RAM中。VIU向RAM控制器传递每帧或者部分帧的RGB数据或YUV数据完成后，通过ARM_DAHB控制总线向ARM发出中断信号。

RAM控制器：接收VIU传递过来的RGB数据或YUV数据，将该RGB数据或YUV数据存储于RAM中，该RGB数据或YUV数据可由ARM通过ARM_DAHB控制总线读出。RAM控制器可以是静态RAM存储(SRAM)控制器，也可以是动态RAM存储(DRAM)控制器。

ARM处理器：配置图像传感器和VIU的数据传送方式。根据VIU传递过来的中断信号，利用RAM控制器将RAM中存储的RGB数据或YUV数据读出，进行相应的数据处理，如格式调整、压缩等。然后，将处理后的需要显示的RGB数据通过ARM_DAHB传递给LCD控制器，将处理后的需要存储的YUV数据通过ARM_DAHB传递给非易失性存储器。

一般RGB数据由camera和VIU处理，VIU直接将RGB数据输出至LCD控制器用以显示而不经过ARM处理器。YUV数据则需要经过JPEG、MPEG压缩处理，这个过程可以由ARM处理器的软件完成，也可以另外的硬件加速模块完成，ARM处理器或硬件加速模块将压缩后的数据，写入非易失性存储器，如MMC(Multi Media Card，多媒体存储卡)等。

LCD控制器：接收ARM或VIU传递过来的需要显示的RGB数据，将该RGB数据传递给LCD面板进行显示。在实际应用中，可以使用其它显示装置，比如，LCM(LCD Module，液晶显示模组)来代替上述LCD控制器。LCM中集成了LCD控制器和驱动器，这时系统需要一个LCD接口用以传输LCD显示的RGB数据，ARM或VIU传递过来的需要显示的RGB数据将通过该LCD接口传输至LCM。

非易失性存储器：接收ARM传递过来的处理后的YUV数据，将该YUV数据进行存储。该非易失性存储器可以为：Flash RAM(Nand Flash或NorFlash)、MMC、微硬盘、磁盘等存储介质。

下面结合附图来详细描述本发明所述方法，基于上述装置，本发明所述进行视频处理的方法的实施例的具体处理流程如图3所示，包括如下步骤：

步骤3-1、VIU接收图像传感器传递过来的数字图像数据，并将该数字图像数据输出给RAM控制器或LCD控制器。

首先，图像传感器进行数字图像数据的采集，根据ARM配置的RGB或YUV数据传送方式，将采集到的RGB图象数据或YUV图象数据传递给VIU。

VIU根据ARM配置的RGB或VIU数据传送方式，通过选择的工作模式(直接camera方式、Raw Data方式、ITU-R BT.656方式或ITU-R BT.601方式)，将接收到的需要存储的YUV数据或需要显示的RGB数据通过CAM_AHB总线传递给RAM控制器。

VIU向RAM控制器传递每帧或者部分帧的RGB数据或YUV数据完成后，向ARM发出中断，通知ARM当前帧(或者部分帧、若干行为处理单位)的RGB数据或YUV数据传递完毕，ARM可以从RAM中读取数据。

上述VIU和RAM控制器在图像处理上采用乒乓机制，VIU和RAM控制器需要分配两块容量为一帧的空间(比如空间A和空间B)，以VIU为例，上述乒乓机制的具体的处理流程如下：

(1)、配置VIU的数据存储地址为空间A，启动VIU工作；上述配置VIU的数据存储地址的操作可以通过软件来实现。

(2)、VIU接收完一帧数据后，此时空间A被写满，软件配置VIU下一帧数据的起始存储地址为空间B，同时ARM处理器或图像硬件加速单元处理空间A中的一帧数据；

(3)、在VIU通过空间B接收完下一帧数据之前，若软件已经完成空间A中的一帧数据的处理，则配置VIU的数据存储地址为空间A，继续通过空间A来接收数据；

当在VIU通过空间B接收完下一帧数据之后，但是软件仍然没有完成空间A中的一帧数据的处理，则软件既可以丢弃当前处理的空间A中的一帧数据转而处理空间B中的一帧数据，也可以丢弃空间B中的一帧数据让VIU继续接收下一帧数据，或者等待空间A中的一帧数据处理完以后，再去处理空间B中的一帧数据，同时配置VIU继续通过空间A接收数据。重复执行步骤1。

步骤3-2、RAM控制器将接收到的RGB或VIU图象数据传递给RAM进行缓存。

步骤3-3、ARM将RAM中缓存的RGB或VIU图象数据读出，并进行数据处理后，传递给非易失性存储器或LCD控制器。

在进行图像显示时，ARM根据接收到的VIU传递过来的相应的中断信号，通过ARM_DAHB控制总线将RAM中缓存的当前帧的RGB数据读出，并作相应的数据处理，如格式调整等。然后，将处理后的RGB数据通过ARM_DAHB传输至LCD控制器(或者ARM不处理RGB数据，而是由VIU直接将RGB数据通过AHB_DAHB总线传输至LCD控制器)，LCD控制器将该RGB数据传递给LCD面板进行显示。

在进行图像存储时，ARM根据接收到的VIU传递过来的相应的中断信号，将RAM中缓存的当前帧的YUV数据读出，并作相应的数据处理，如JPEG(联合图像专家组)压缩或MPEG(活动图象专家组)压缩等。然后将处理后的YUV数据通过ARM_DAHB传输至非易失性存储器，如Flash RAM(Nand Flash或Nor Flash)、MMC、微硬盘、磁盘等存储介质，该非易失性存储器将该YUV数据进行存储。

完成拍照功能时，系统将在图像显示和图像存储之间切换。图像显示用于预览，图像存储用于抓拍照片。

完成摄像功能时，预览过程同拍照预览，摄像过程除了图像存储，还需要在LCD屏幕上显示当前正在存储的录像，因此ARM处理器(或者图像硬件处理加速单元)实时将RAM中的YUV数据读出，转换成RGB图像数据，输出到LCD控制器中用于显示。

在实际应用中，所述的ARM_DAHB数据总线还可以为：AXI(先进可扩展接口)或Wishbone(芯片内部互连总线)。

本发明还提供了上述本发明所述装置的另外4个实施例，其中实施例2主要采用由ARM软件完成YUV-RGB的转换，其实现原理如图4所示。具体处理过程如下：

VIU和图像传感器始终采用YUV数据传送方式，VIU将图像传感器传递过来的YUV数据通过总线输出给RAM控制器。

VIU向RAM控制器传递每帧(或者部分帧、若干行为处理单位)的YUV数据完成后，向ARM发出中断，通知ARM当前帧(或者部分帧、若干行为处理单位)的YUV数据传递完毕，ARM可以从RAM中读取数据。

ARM根据接收到的中断信号，利用RAM控制器将RAM中缓存的当前行YUV数据读出，如果需要将该YUV数据进行存储，则ARM将该YUV数据压缩后，存储至非易失性存储器。

如果需要将该YUV数据进行显示，则由ARM软件完成YUV-RGB的转换；如果此时已经执行了存储命令，则ARM将YUV数据通过RAM控制器由RAM中读出，由ARM软件完成YUV-RGB的转换。ARM将转换得到的RGB数据，传送至LCD控制器，LCD控制器将该RGB数据传递给LCD面板进行显示。

实施例3主要采用由硬件完成YUV-RGB的转换，其实现原理图如图5所示。具体处理过程如下：

VIU和图像传感器始终采用YUV数据传送方式，VIU将图像传感器传递过来的YUV数据通过总线输出给RAM控制器。

VIU向RAM控制器传递每帧(或者部分帧、若干行为处理单位)的YUV数据完成后，向ARM发出中断，通知ARM当前帧(或者部分帧、若干行为处理单位)的YUV数据传递完毕，ARM可以从RAM中读取数据。

ARM根据接收到的中断信号，利用RAM控制器将RAM中缓存的当前行YUV数据读出，如果需要将该YUV数据进行存储，则ARM将该YUV数据压缩后，存储至非易失性存储器。

如果需要将该YUV数据进行显示，则由硬件转换器完成YUV-RGB的转换，该硬件转换器的结构主要是一个乘加器，可能根据需要再一些视频处理功能，如Y/C伸张等。然后，硬件转换器将转换得到的RGB数据传递给ARM，ARM将该RGB数据传送至LCD控制器，LCD控制器将该RGB数据传递给LCD面板进行显示。

实施例4的实现原理如图6所示。具体处理过程如下：

VIU和图像传感器始终采用RGB数据传送方式，VIU将图像传感器传递过来的RGB数据通过总线输出给LCD控制器。VIU输出的数据的格式与LCD控制器要求的输入数据的格式必须保持一致。LCD控制器将该RGB数据传递给LCD面板进行显示。

VIU向LCD控制器传递每帧(或者部分帧、若干行为处理单位)的YUV数据完成后，向ARM发出中断，通知ARM当前帧(或者部分帧、若干行为处理单位)的RGB数据传递完毕，ARM可以从LCD控制器读取数据。

如果需要执行运算功能，则ARM根据接收到的中断信号，将LCD控制器中的当前行RGB数据读出，通过RAM控制器在RAM中完成计算，ARM将计算结果存储于非易失性存储器中。

实施例5的实现原理图如图7所示，具体处理过程如下：

当需要将图象数据进行显示时，ARM配置图像传感器和VIU的数据传送方式为RGB，VIU将图像传感器传递过来的RGB数据通过总线输出给LCD控制器，LCD控制器将该RGB数据传递给LCD面板进行显示。

VIU向LCD控制器传递每帧(或者部分帧、若干行为处理单位)的RGB数据完成后，向ARM发出中断，通知ARM当前帧(或者部分帧、若干行为处理单位)的RGB数据传递完毕，ARM可以从LCD控制器读取数据。或者不发出中断，VIU重复这一显示的过程。

当需要将图象数据进行存储时，ARM配置图像传感器和VIU的数据传送方式为YUV，VIU将图像传感器传递过来的YUV数据通过总线输出给RAM控制器，VI U向RAM控制器传递每帧(或者部分帧、若干行为处理单位)的YUV数据完成后，向ARM发出中断，通知ARM当前帧(或者部分帧、若干行为处理单位)的YUV数据传递完毕。

ARM根据接收到的中断信号，利用RAM控制器从RAM中读出图像数据，将数据压缩后存储于非易失性存储器完成图像存储。

一个应用了本发明所述装置的带有摄像功能的移动终端的结构如图8所示。

该终端采用了Micron公司的MT系列camera芯片，采用GPIO对该芯片的串行接口(SDA、SCLK)进行配置，也可以采用其它专用接口(如I²C)对该芯片的串行接口进行配置。

该芯片的视频接口信号与VIU相接，VIU接收该芯片输出的数字图像信号。VIU的中断信号接到了矢量中断控制器VIC上，由VIC控制其中断。终端SOC芯片中的图像处理流程与上述本发明所述方法的处理流程相同。

上述VIU的结构示意图如图9所示。VIU有四类接口：Video Input(VI)、AHB Master、AHB Slave、中断接口。VI接口用于接收CCD/CMOS图像传感器输出的视频数据，也可以接受ITU-R BT.656/601协议的视频数据，传输协议由软件配置。AHB Master接口用于输出图像数据至AHB总线，这层AHB总线可以采用DMA方式，直接挂接在存储器上，实现图像数据存储。AHB Slave接口用于系统配置VIU内部寄存器。中断信号用于向微处理器的请求中断，获得高速处理响应。

VI接口实时捕捉CMOS sensor的行列同步信号，将视频数据通过comp_data存储至VIU内部的FIFO。FIFO大小为64×32bit，分为4组，每组有16个32bit的数据。每当存储完一组数据，FIFO Controller通过buf_trans_req向IMAC发出读数据请求。IMAC根据请求类型req_type，向AHB Master模块发送AHB读请求控制信号req和突发传送类型信号burst。IMAC还根据内部计数器产生start_addr。

AHB Master只有写操作。CAM总线空闲时，AHB Master向IMAC发送req_ack信号，每完成一帧burst传输，发出响应信号ready，IMAC根据该响应信号ready，向FIFO Controller发送FIFO读使能buf_rd_en和读地址buf_rd_addr[5:0]，控制FIFO读出数据。VI接口为camera时钟域，其余部分为总线时钟域，两者由FIFO和CAS模块进行同步。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (11)

1、一种进行视频处理的装置，其特征在于，包括：图像传感器、视频接口单元VIU、先进精简指令集微处理器ARM和随机存取存储器RAM控制器，其中：

图像传感器：用于采集数字图像数据，根据ARM配置的三原色RGB数据传送方式，将采集到的RGB图像数据传递给VIU，根据ARM配置的分量YUV数据传送方式，将采集到的YUV图像数据传递给VIU；

VIU：用于根据ARM配置的RGB数据传送方式，接收图像传感器传递过来的RGB图像数据，根据ARM配置的YUV数据传送方式，接收图像传感器传递过来的YUV图像数据；将接收到的需要显示的RGB数据通过数据总线传递给显示控制器或RAM控制器，将接收到的需要存储的YUV数据通过数据总线传递给RAM控制器，向RAM控制器传递每帧或者部分帧的RGB数据或YUV数据完成后，通过ARM_DAHB控制总线向ARM发出中断信号；所述VIU在图像处理上采用乒乓机制，所述乒乓机制的具体的处理流程包括：

采用两块容量为一帧的空间：空间A、空间B来接收和存储数据，

1、配置VIU的数据存储地址为空间A，启动VIU工作；

2、VIU接收完一帧数据后，此时空间A被写满，软件配置VIU下一帧数据的起始存储地址为空间B，同时ARM处理器或图像硬件加速单元处理空间A中的一帧数据；

3、在VIU通过空间B接收完下一帧数据之前，若软件已经完成空间A中的一帧数据的处理，则配置VIU的数据存储地址为空间A，继续通过空间A来接收数据；

当在VIU通过空间B接收完下一帧数据之后，但是软件仍然没有完成空间A中的一帧数据的处理，则软件既可以丢弃当前处理的空间A中的一帧数据转而处理空间B中的一帧数据，也可以丢弃空间B中的一帧数据让VIU继续接收下一帧数据，或者等待空间A中的一帧数据处理完以后，再去处理空间B中的一帧数据，同时配置VIU继续通过空间A接收数据。

ARM：配置图像传感器和VIU的数据传送方式，根据VIU传递过来的中断信号，对VIU输出的需要存储的YUV图像数据进行处理后通过ARM_DAHB控制总线传递给存储装置，对VIU输出的需要显示的RGB图像数据进行处理后通过ARM_DAHB控制总线传递给显示装置，对VIU输出的需要存储的RGB图像数据转换为YUV图像数据后再进行数据处理，将处理后的图像数据通过数据总线传递给存储装置，对VIU输出的需要显示的YUV图像数据转换为RGB图像数据后再进行数据处理，将处理后的图像数据通过数据总线传递给显示装置；

RAM控制器：接收并且控制VIU输出的RGB图像数据或YUV图像数据，将该RGB图像数据或YUV图像数据传递给RAM进行缓存，所述RAM控制器在图像处理上也采用所述乒乓机制。

2、根据权利要求1所述的装置，其特征在于，还包括：

显示控制器：接收ARM利用RAM控制器读取，并经过处理后的或VIU传递过来的RGB图像数据，将该RGB数据进行显示；

非易失性存储器：接收ARM利用RAM控制器读取，并经过处理后的YUV图像数据，将该YUV图像数据进行存储。

3、根据权利要求2所述的装置，其特征在于，所述的显示控制器为：液晶显示LCD控制器或液晶显示模组。

4、根据权利要求2所述的装置，其特征在于，所述的非易失性存储器为：快闪存储器Flash RAM或多媒体存储卡MMC或微硬盘或磁盘。

5、一种进行视频处理的方法，其特征在于，包括步骤：

A、图像传感器按根据ARM配置的三原色RGB数据传送方式，将采集到的RGB图像数据传递给VIU，根据ARM配置的分量YUV数据传送方式，将采集到的YUV图像数据传递给VIU；

B、所述VIU根据ARM配置的RGB数据传送方式，接收图像传感器传递过来的RGB图像数据，根据ARM配置的YUV数据传送方式，接收图像传感器传递过来的YUV图像数据，将接收到的需要显示的RGB数据通过数据总线传递给显示控制器或随机存取存储器RAM控制器，将接收到的需要存储的YUV数据通过数据总线传递给RAM控制器，向RAM控制器传递每帧或者部分帧的RGB数据或YUV数据完成后，通过ARM_DAHB控制总线向ARM发出中断信号；所述VIU在图像处理上采用乒乓机制，所述乒乓机制的具体的处理流程包括：

采用两块容量为一帧的空间：空间A、空间B来接收和存储数据，

1、配置VIU的数据存储地址为空间A，启动VIU工作；

2、VIU接收完一帧数据后，此时空间A被写满，软件配置VIU下一帧数据的起始存储地址为空间B，同时ARM处理器或图像硬件加速单元处理空间A中的一帧数据；

3、在VIU通过空间B接收完下一帧数据之前，若软件已经完成空间A中的一帧数据的处理，则配置VIU的数据存储地址为空间A，继续通过空间A来接收数据；

当在VIU通过空间B接收完下一帧数据之后，但是软件仍然没有完成空间A中的一帧数据的处理，则软件既可以丢弃当前处理的空间A中的一帧数据转而处理空间B中的一帧数据，也可以丢弃空间B中的一帧数据让VIU继续接收下一帧数据，或者等待空间A中的一帧数据处理完以后，再去处理空间B中的一帧数据，同时配置VIU继续通过空间A接收数据；

所述ARM配置图像传感器和VIU的数据传送方式，根据VIU传递过来的中断信号，对VIU输出的需要存储的YUV图像数据进行处理后通过ARM_DAHB控制总线传递给存储装置，对VIU输出的需要显示的RGB图像数据进行处理后通过ARM_DAHB控制总线传递给显示装置，对VIU输出的需要存储的RGB图像数据转换为YUV图像数据后再进行数据处理，将处理后的图像数据通过数据总线传递给存储装置，对VIU输出的需要显示的YUV图像数据转换为RGB图像数据后再进行数据处理，将处理后的图像数据通过数据总线传递给显示装置；

所述的RAM控制器：接收并且控制VIU输出的RGB图像数据或YUV图像数据，将该RGB图像数据或YUV图像数据传递给RAM进行缓存，所述的RAM控制器在图像处理上也采用所述乒乓机制。

6、根据权利要求5所述的方法，其特征在于，所述的步骤B具体包括：

VIU根据ARM配置的RGB数据传送方式，通过数据总线将接收到的RGB图像数据传递给LCD控制器，LCD控制器将该RGB数据进行显示。

7、根据权利要求6所述的方法，其特征在于，所述的步骤B还包括：

LCD控制器将接收到的RGB图像数据缓存，ARM将所述RGB图像数据读出并转换成YUV图像数据，再进行数据处理，将处理后的YUV图像数据通过数据总线输出给非易失性存储器，非易失性存储器将该YUV图像数据保存。

8、根据权利要求7所述的方法，其特征在于，所述的数据处理包括：联合图像专家组JPEG压缩或活动图象专家组MPEG压缩。

9、根据权利要求5所述的方法，其特征在于，所述的步骤B还包括：

ARM将所述RAM中缓存的RGB图像数据读出，并进行数据处理，将处理后的RGB图像数据通过数据总线输出给LCD控制器，LCD控制器将该RGB图像数据进行显示。

10、根据权利要求5所述的方法，其特征在于，所述的步骤B还包括：

ARM将所述RAM中缓存的VIU图像数据读出，并进行数据处理，将处理后的VIU图像数据通过数据总线输出给非易失性存储器，非易失性存储器将该处理后的VIU图像数据进行保存。

11、根据权利要求10所述的方法，其特征在于，所述的步骤B还包括：

ARM将所述RAM中缓存的YUV图像数据读出，并将读出的YUV图像数据转换成RGB图像数据，并进行数据处理，将处理后的RGB图像数据通过数据总线输出给LCD控制器，LCD控制器将该处理后的RGB图像数据进行显示。

Images