CN100531311C - 一种实现图像数据采集的装置、方法及芯片和手机 - Google Patents

一种实现图像数据采集的装置、方法及芯片和手机 Download PDF

Info

Publication number
CN100531311C
CN100531311C CNB2006100613326A CN200610061332A CN100531311C CN 100531311 C CN100531311 C CN 100531311C CN B2006100613326 A CNB2006100613326 A CN B2006100613326A CN 200610061332 A CN200610061332 A CN 200610061332A CN 100531311 C CN100531311 C CN 100531311C
Authority
CN
China
Prior art keywords
image data
fifo
view data
image
configuration information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CNB2006100613326A
Other languages
English (en)
Other versions
CN1901708A (zh
Inventor
季渊
陈庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CNB2006100613326A priority Critical patent/CN100531311C/zh
Publication of CN1901708A publication Critical patent/CN1901708A/zh
Application granted granted Critical
Publication of CN100531311C publication Critical patent/CN100531311C/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Input (AREA)

Abstract

本发明提供的一种实现图像数据采集的装置,包括:图像输入接口,接收输入的图像数据;FIFO单元,暂存图像数据;FIFO控制单元,将图像数据存入所述FIFO单元,并根据总线空闲情况读出所述图像数据,从而完成时钟域转换;通道控制器,从所述FIFO单元中读取图像数据,并对图像数据的传送选择合适信道;先进高性能总线主接口,将图像数据通过先进高性能总线输出;寄存器堆,对所述图像输入接口、所述FIFO单元、所述FIFO控制器单元及所述通道控制器进行控制和功能选择;先进高性能总线从接口,对所述寄存器堆中的寄存器进行配置。此外,本发明还提供了实现图像数据采集的方法,集成有实现图像数据采集装置的芯片以及配置有该芯片的移动电话。

Description

一种实现图像数据采集的装置、方法及芯片和手机
技术领域
本发明涉及图像处理技术,确切地说,涉及一种Camera(摄像头)中视频接口装置及其实现方法。
背景技术
目前越来越多手机开始支持摄像功能,手机系统的摄像处理单元架构一般包括图像处理子系统和图像传感器SOC(System On Chip,片上系统)芯片。
图像传感器SOC芯片一般集成了图像传感器、图像原始数据处理(如RGB和YUV之间的转换,Y/C伸张,γ校正等)、图像输出格式调整等功能,此外图像传感器SOC芯片还提供了视频接口,它根据一定的视频协议输出数字图像。
图像处理子系统要求完成Camera图像数据的接收与处理,它包含图像数据接口与能够提供图像应用软件处理器。图像应用软件处理器可以由手机中的一片或多片SOC完成,而图像数据接口一般集成于某一片SOC芯片中。
图1给出了一种现有的图像处理系统,该系统中图像处理子系统与视频接口(Camera接口)模块设计在一个SOC中。视频接口采集图像传感器(Camera Sensor)输出的图像数据,按照一定的数据格式及总线传送规范,将图像数据传送给图像处理子系统,而该技术方案对微处理器的依赖程度较高,需要依靠软件或者DMA(直接存储器存取)方式来接受图像数据,因而总线负载较重,实时处理能力不强,导致处理速度较慢,此外能够接受图像的最大像素也受限制,只能接受较少类型的camera,适用性较差,功耗较大。
发明内容
本发明目的在于提供一种实现图像数据采集的装置、方法,加强图像接收能力和处理能力,减轻处理器负担和总线负载。
本发明又一目的在于进一步提供集成有所述实现图像数据采集装置的芯片及使用该芯片的移动电话。
本发明提供的实现图像数据采集的装置,包括:图像输入接口,接收输入的图像数据;FIFO单元,存储图像数据;FIFO控制单元,将图像数据存入所述FIFO单元,并转换时钟域;通道控制器,从所述FIFO单元中读取图像数据,并对图像数据的传送选择合适信道;先进高性能总线主接口,将图像数据通过先进高性能总线输出;寄存器堆,对所述图像输入接口、所述FIFO单元、所述FIFO控制器单元及所述通道控制器进行控制和功能选择;先进高性能总线从接口,对所述寄存器堆中的寄存器进行配置。
所述视频接口装置还包括:图像处理单元,接收所述寄存器堆的控制,对所述图像输入接口接收的图像数据进行处理,并将处理后的图像数据通过FIFO控制单元存储在所述FIFO单元中。
所述视频接口装置还包括:中断处理单元,接收所述寄存器堆的控制,处理多种中断。
所述图像输入接口位于摄像头时钟域,所述通道控制器、AHB Master接口、寄存器堆及AHB Slave接口位于先进高性能总线时钟域。
所述通道控制器包括:数据流控制器,读取所述FIFO单元中的图像数据,对所述图像数据进行突发传送处理;多路选择器,对图像数据的传送进行信道仲裁。
所述数据流控制器包括:数据流控制器Y、数据流控制器U和数据流控制器V,分别读取所述FIFO单元中的Y通道、U通道和V通道的图像数据,并进行突发传送处理。
所述FIFO单元包括:Y FIFO、U FIFO及V FIFO,分别存储Y通道、U通道和V通道的图像数据;所述FIFO控制单元包括:Y FIFO控制器,将Y通道图像数据存入Y FIFO;U FIFO控制器,将U通道图像数据存入U FIFO;VFIFO控制器,将V通道图像数据存入V FIFO。
本发明提供的一种实现图像数据采集的方法,包括以下步骤:先进高性能总线从接口对寄存器堆中的多个寄存器进行配置;图像输入接口根据配置结果接收输入的图像数据;FIFO控制单元根据配置结果将图像数据存储在FIFO单元中;通道控制器根据配置结果从FIFO单元中读取图像数据,并选择合适的通道进行传送;先进高性能总线主接口将图像数据输出。
所述通道包括Y通道、U通道和V通道,所述选择合适的通道具体为:在Y通道、U通道和V通道设置为固定优先级模式的情况下,根据图像数据不同的存储方式按照设置的优先级顺序进行通道选择;或者在Y通道、U通道和V通道设置为循环优先级模式的情况下,基于不同的策略选择优先级最高的通道。
所述策略为根据通道内数据量进行选择,数据量最多的通道占有最高的优先级;或者所述策略为根据通道最近使用的顺序进行选择,等待最久的通道占有最高的优先级。
所述图像输入接口根据配置结果接收输入的图像数据具体为:中断处理单元检测到寄存器更新中断;对输入的图像数据帧进行信息配置;接收信息配置后的图像数据帧。
在图像输入接口根据配置结果接收输入的图像数据之后还包括:图像处理单元对所述图像输入接口接收的图像数据进行处理。
本发明提供的一种芯片,所述芯片中集成有实现图像数据采集的装置,所述实现图像数据采集的装置包括:图像输入接口,接收输入的图像数据;FIFO单元,存储图像数据;FIFO控制单元,将图像数据存入所述FIFO,并转换时钟域;通道控制器,从所述FIFO单元中读取图像数据进行突发传送处理,并对图像数据的传送进行信道仲裁;先进高性能总线主接口,将所述通道控制器突发传送处理后的图像数据通过先进高性能总线输出;寄存器堆,对所述图像输入接口、所述FIFO单元、所述FIFO控制器单元及所述通道控制器进行控制和功能选择;先进高性能总线从接口,对所述寄存器堆中的寄存器进行配置。
本发明提供的一种移动电话,所述移动电话使用的芯片中至少有一个芯片集成有实现图像数据采集的装置,所述实现图像数据采集的装置包括:图像输入接口,接收输入的图像数据;FIFO单元,存储图像数据;FIFO控制单元,将图像数据存入所述FIFO,并转换时钟域;通道控制器,从所述FIFO单元中读取图像数据进行突发传送处理,并对图像数据的突发传送进行信道仲裁;先进高性能总线主接口,将所述通道控制器突发传送处理后的图像数据通过先进高性能总线输出;寄存器堆,对所述图像输入接口、所述FIFO单元、所述FIFO控制器单元及所述通道控制器进行控制和功能选择;先进高性能总线从接口,对所述寄存器堆中的寄存器进行配置。
本发明方案通过对寄存器堆中的寄存器进行配置,可以实现对图像输入接口、FIFO单元、FIFO控制器单元及通道控制器的控制和功能选择,能够支持Y、U、V三通道数据传输,优化了图像数据传输机制,减小了总线等待负载。
本发明提供了一个图像输入接口装置和一套图像接受机制,可非常方便地接受camera输出的多种格式的图像数据,完成图像存储、图像预览等功能。
本发明通过提供三路FIFO图像数据通道,大大增强了图像数据处理带宽,优化了图像数据传输机制,提高了图像接受能力,减小了总线负载,可以接受更高像素的图像,可以支持1600万以上的图像像素。
本发明内置了数字图像处理单元,可完成图像任意比例缩放、图像YUV数据转换为RGB数据、Y/C伸张、图像亮度、色度、对比度调整、图像伽玛校正、图像抖动处理、图像alpha混合、图像锐化、图像钝化等图像算法,提升了图像处理能力。
本发明通过内置的专用图像处理单元,可以对输入图像进行实时处理,而不必要先将图像数据存储到存储器后,然后由微处理器或其他专用图像处理单元读出所述图像数据进行图像处理,从而避免了对整幅图像存储一次再读出一次,减小了存储器的数据负载,显著提升系统性能。
本发明通过提供不同的接受通道优先级配置,减少了接受图像数据的溢出可能,增强了使图像接受的连续性和可靠性。
另外,本发明集成了多种寄存器配置,提供了丰富的camera接口类型,可以支持多种camera。
附图说明
图1是现有技术图像处理系统示意图;
图2是本发明第一实施例及第二实施例中实现图像数据采集装置的接口信号框图;
图3是本发明第一实施例中实现图像数据采集装置的框图;
图4是本发明第二实施例中实现图像数据采集装置的框图;
图5是YUV模式下数据存放方式示意图;
图6是本发明中信道仲裁示意图;
图7是本发明中图像接口单元硬件工作原理图;
图8是本发明中图像接口单元软件工作流程图;
图9是本发明集成有实现图像数据采集装置的芯片的一个实施例;
图10是图9所示芯片工作的行时序图;
图11是图9所示芯片工作的帧时序图;
图12是本发明配置有图9所示芯片的移动电话的一个实施例。
具体实施方式
本发明为了优化图像数据传输机制,减小总线等待负载,利用先进高性能总线从接口对寄存器堆中的多个寄存器进行配置;图像输入接口根据配置结果接收输入的图像数据;FIFO控制单元根据配置结果将图像数据存储在FIFO单元中;通道控制器根据配置结果从FIFO单元中读取图像数据,选择合适的通道进行突发传送处理;先进高性能总线主接口将突发传送处理后的图像数据输出。
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
请参阅图2所示,本发明第一实施例及第二实施例中实现图像数据采集的装置即视频接口装置(AVIU)主要包括四类接口:图像输入接口、先进高性能总线主接口(AHB Master接口)、先进高性能总线从接口(AHB Slave接口)以及中断接口。图像输入接口用于接收图像数据,包括行、列同步信号、数据信号、主从模式选择信号等;先进高性能总线主接口用于将图像数据输出至AHB总线;先进高性能总线从接口用于访问视频接口装置内部寄存器;中断接口为中断输出信号,可以是组合中断输出,也可以是分开的独立中断输出。
请参阅图3所示,本发明第一实施例中视频接口装置中包括图像输入接口、图像处理单元、FIFO单元、FIFO控制单元、数据流控制器(IMAC)、多路选择器(MUX)、包含多个寄存器的寄存器堆、先进高性能总线主接口、先进高性能总线从接口及中断处理单元。其中FIFO单元进一步包括YFIFO、U FIFO及V FIFO,与此相对应,FIFO控制单元包括Y FIFO控制器、U FIFO控制器及V FIFO控制器,数据流控制器也相应地包括Y IMAC、UIMAC及V IMAC。其中图像输入接口和图像处理单元位于图像时钟域(camera时钟域),Y IMAC、U IMAC及V IMAC、多路选择器、AHB Master接口、AHB Slave接口、寄存器堆及中断处理单元位于先进高性能总线时钟域。
图像输入接口接收图像传感器(图中没有表示出来)输出的图像数据,也就是VI接口信号,将图像数据送至图像处理单元;此外图像输入接口中有一个状态机,该状态机将输入图像中需要存储的图像窗口部分存储(crop)下来,简单地说,该状态机中有一个行地址计数器和一个列地址计数器,当计数值落在目标图像之中时,状态机就会把数据存储下来,如果计数值超过了目标窗口的行坐标X和列坐列Y时,这些超出部分的图像数据被丢弃。图像处理单元对输入的图像数据进行处理,如图像任意比例缩放、图像YUV数据转换为RGB数据、Y/C伸张、图像亮度、色度、对比度调整、图像伽玛校正、图像抖动处理、图像alpha混合、图像锐化、图像钝化等图像算法,其处理过程已为现有技术所揭示,这里不再详述;FIFO控制单元将经过图像处理单元处理后图像数据存入FIFO单元,并根据总线空闲情况读出所述图像数据,从而进行图像时钟域和先进高性能总线时钟域的转换,这种转换已有多种技术方案可以实现,此处也不再详述。数据流控制器(IMAC)读取FIFO单元中的图像数据,选择合适的传输方式如突发传输方式对图像数据进行传送处理;多路选择器(MUX)对图像数据的突发传送进行信道仲裁;先进高性能总线主接口(AHB MASTER接口)将突发传送处理及仲裁后的图像数据通过先进高性能总线(AHB MASTER)输出;寄存器堆,包含多个寄存器,对图像输入接口、图像处理单元、FIFO单元、FIFO控制器单元,数据流控制器及多路选择器进行控制和功能选择;先进高性能总线从接口,接收CPU(图中未表示出来)发送的信号对寄存器堆中的多个寄存器进行配置。
本实施例中视频接口装置可以支持三种数据存储方式:RGB模式、YUV模式、YC模式。RGB模式下,仅一个数据通道Y通道有效,此时所有数据将连续存储在一片内存空间,也就是Y FIFO中、该模式适用于LCD显示、原始数据(Raw data)处理等图像数据连续存储的场合。YUV模式下,Y、U、V三个数据通道都有效,所有数据,如图5所示按planar IMC1、IMC2、IMC3或IMC4方式,存储在三片内存空间,也就是Y FIFO、U FIFO及V FIFO中,该模式适用于JPEG压缩、MPEG压缩等图像数据处理。YC模式下,亮度Y和色度C将占用其中的两个通道,如Y通道和U通道,如图5所示按planarIMC1、IMC2、IMC3、IMC4、YV12存储在三片内存空间,对应地为Y FIFO、U FIFO和V FIFO或者按planar NV12方式,存储在两片内存空间,对应地为Y FIFO和U FIFO。由于图5中所示存储方式已为现有技术所揭示,此处不再具体介绍。
在YUV模式下,Y、U、V这三个通道可以独立工作,其控制信号由图像输入接口发送,图像数据由图像处理单元发送。每个通道被使能后,都将捕捉视频流中的有效数据也就是,保存到各自对应的FIFO后,并通过对应的FIFO控制器同步到系统先进高性能总线时钟域。每当FIFO中存储满额定量的数据,对应的IMAC就将向先进高性能总线发送数据传输请求。
请参阅图4所示,本发明第二实施例中视频接口装置中包括图像输入接口、图像处理单元、FIFO单元、FIFO控制单元、数据流控制器(IMAC)、多路选择器(MUX)、寄存器堆、先进高性能总线主接口、先进高性能总线从接口及中断处理单元。其中FIFO单元进一步包括Y FIFO、U FIFO及VFIFO,与此相对应,FIFO控制单元包括Y FIFO控制器、U FIFO控制器及VFIFO控制器。其中图像输入接口和图像处理单元位于图像时钟域(camera时钟域),数据流控制器、多路选择器、先进高性能总线主接口、先进高性能总线从接口、寄存器堆及中断处理单元位于先进高性能总线时钟域。
与第一实施例相比,本实施例中数据流控制器没有拆分成三个,且数据流控制器位于多路选择器之后,先进高性能总线主接口之前。由于视频接口装置中各个模块功能没有发生变化,此处不再详述。
不难理解,也可以将第一实施例及第二实施例中Y FIFO、U FIFO及VFIFO合并为一个FIFO单元,并设计一个较为复杂的FIFO控制单元来合并YFIFO控制单元、U FIFO控制单元及V FIFO控制单元的功能。
本发明提供的视频接口装置的实现方法,主要包括以下步骤:
先进高性能总线从接口接收CPU发送的信号对寄存器堆中的多个寄存器进行配置。
图像输入接口根据寄存器堆配置结果去接收图像传感器输入的图像数据。
FIFO控制单元根据寄存器堆配置结果将图像数据存储在FIFO单元中。
多路选择器根据寄存器堆配置结果选择合适的通道。
数据流控制器,读取FIFO单元中的图像数据。
先进高性能总线主接口将突发传送处理后的图像数据输出。
请参阅图6所示,图6揭示了本发明第一实施例及第二实施例中多路选择器进行信道仲裁过程,也就是选择合适通道的过程,多路选择器设有仲裁状态机,通过判断通道请求的优先级决定当前先进高性能总线主接口由哪个通道占用。通常仲裁状态机具有固定优先级(图中用数字表示)和轮循优先级(图中用字母表示)两种工作状态。
在固定优先级时,仲裁状态机复位后处于空闲状态。仲裁状态机依据不同的数据存储方式,采用不同的状态转换机制。
在YUV模式下,Y、U、V三个通道均有效。状态机按照1→2→3→4的顺序进行状态切换。V通道数据传送结束后,为了节省时钟周期,Y通道立刻发送数据传送请求,则状态机按照1→2→3→5的顺序进行。
在YC模式下,Y、U两个通道均有效,Y通道用于存放亮度数据,U通道用作存放色度数据。状态机按照1→2→6的顺序进行状态切换。U通道数据传送结束后,为了节省时钟周期,Y通道立刻发送数据传送请求,则状态机按照1→2→7的顺序进行。
在RGB模式下,仅Y通道有效。状态机按照1→8的顺序进行。
在轮循优先级时,仲裁状态机复位后处于空闲状态。Y、U、V三个通道的优先级具有轮换特性。轮换选择有两种策略:一种是按通道FIFO内的数据量排序,另一种是按通道最近使用的顺序排序。
接通道FIFO内的数据量排序策略,是当前哪个通道FIFO内的数据量最多,该通道就占有最高的数据请求优先级,例如当Y FIFO内的数据量最多时,仲裁状态机就选择Y通道占用先进高性能总线主接口。
按通道最近使用的顺序排序策略是,某一个通道发生请求后,该通道的优先级降为最低,原先次优先级的通道的优先级升为最高也就是等待最久的通道占有最高的优先级。例如原来的优先级为U、V、Y,则U通道数据传送结束后,优先级降为最低,V通道由于等待时间最久,优先级变成最高,优先级排序变为V、Y、U。
本发明在进行通道优先级排序时,先按照通道FIFO内的数据量排序策略进行选择,在数据量相同时再按照通道最近使用的顺序排序策略进行选择。由于通过不停地自动切换优先级,使每个数据通道的优先级尽可能相等,因而能够充分利用每一个通道的FIFO,降低了某一个通道因为数据带宽过小而引起的数据溢出风险,特别是极端情况下某一个通道的FIFO内的数据已经溢出,而另一个通道的FIFO却为空的可能。
请参阅图7所示,图7揭示了视频接口装置中图像接口单元接收图像数据的硬件工作原理。
图像输入接口被使能后,等待帧同步信号的到来;当接收到帧同步信号后,判断寄存器更新位是否被更新,若否,进入睡眠状态继续等待帧同步信号;若是,寄存器堆利用CPU传送过来的配置信息对多个寄存器进行更新,并将更新后的寄存器值即配置信息传送给图像输入接口;图像输入接口接收配置信息后,根据配置信息开始接收camera sensor传送过来的图像数据,并判断是否出现异常;若是,进行异常处理,若否,等当前帧图像数据接收完毕后产生数据接收完成中断;然后判断是否继续接收下一帧图像,若是,继续进行接收,否则接收过程结束。
请参阅图8所示,图8揭示了视频接口装置中图像接口单元软件工作流程。
处理器首先配置camera sensor,也就是对图像传感器进行初始化。
接着对图像接口单元进行初始化,具体包括:配置时钟和复位、配置控制寄存器、配置图像属性寄存器、配置图像存储地址及设置寄存器更新位。
CPU等待中断,并判断中断类型。
如果是寄存器更新中断,表示寄存器被更新,CPU判断下一帧图像的配置信息(主要包括图像存储地址和图像大小)与当前帧是否相同,若相同,直接配置下一帧图像的存储地址;若不相同,先配置下一帧的传输模式和图像属性,再配置下一帧图像的存储地址;然后对寄存器更新位再次进行设置并继续等待中断。
如果是异常中断,进行异常中断处理;
如果是数据接受完成中断,表示一帧正常接收完成,CPU处理当前帧的图像数据;然后判断是否接收下一帧图像,若是,继续等待中断;若否,关闭图像输入接口(camera IF);结束图像数据传输。
其中异常中断包括AHB总线错误中断:图像超出了有效地址范围,可以重新指定存储首地址,或分配更大的图像存储空间;
帧数据丢失中断:全部丢弃当前帧;
FIFO溢出中断:包括FIFO数据溢出中断和FIFO请求信号溢出中断。这两种FIFO溢出均表明内部数据的平均带宽不能满足实时传输要求。适当提高CAM_CLK(具体含义请参见表1),减小数据量、增加行列消隐时间、或者提高内部总线带宽,可以避免FIFO溢出;
行间溢出中断:一行数据未存储完毕,新的一行数据到来。新行的数据将覆盖前一行数据。适当增加行间消隐信号,或者降低CAM_CLK,可以避免行间溢出中断。
对工作中断,除了上述的寄存器更新中断和数据接受完成中断,还包括帧起始中断,用于指示检测到帧同步信号,新的一帧开始,以及行起始中断,用于指示检测到指定行。
表1视频接口装置管脚说明
  管脚名称   方向   含义
CAM_DATA[9:0] Input   AVIU的10位图像数据输入。数据兼容8位数据总线。高8位或低8位兼容由寄存器配置。
  CAM_PCLK   Input   AVIU的时钟输入。
  CAM_HSYNC   Input   AVIU的水平同步信号输入。
  CAM_VSYNC   Input   AVIU的垂直同步信号输入。
CAM_CLK Output   SystemController的CAM时钟输出,可采用系统总线时钟的1-32分频时钟输出。
请参阅图9所示,虚线框内为本发明集成有视频接口装置的芯片的一个实施例,该芯片至少包括5个引脚,其中四个为输入引脚,一个为输出引脚(具体含义请见表1)。图中AVIU指视频接口装置;camerasensor指图像传感器,产生图像像素时钟CAM_PCLK、图像帧同步信号CAM_VSYNC,图像行同步信号CAM_HSYNC,图像数据CAM_DATA[9:0],图像数据是10位或者8位,这里采用10位。芯片内部还包括系统控制器(SystemController),用于提供camera sensor的工作时钟CAM_CLK。
请参阅图10所示,图10揭示了本发明集成有视频接口装置的芯片工作的行时序图。Blanking是消隐数据,P0、P1......Pn是每行的图像数据。在CAM_HSYNC有效时,图像接口装置在CAM_PCLK的上升沿采样CAM_DATA的数据即每行的图像数据。CAM_HSYNC的有效电平可以由控制寄存器配置,图中为高电平有效。
请参阅图11所示,图11揭示了本发明集成有视频接口装置的芯片工作的帧时序图。CAM_VSYNC有效时,内部信号FramePulse将产生一个时钟周期宽度的帧同步信号,表示一帧开始。PreB和PostB分别是帧前消隐时间和帧后消隐时间,LTIME是行有效时间,LBLK是行间消隐时间,FBLK是帧间消隐时间,这五个参数由图像传感器输入信号决定。CAM_VSYNC的有效边沿可由控制寄存器配置,图中为上升沿有效。
请参阅图12所示,图12提供了配置有图8所示芯片的移动电话的一个实施例以及该移动电话图像处理过程。该移动电话包括图像传感器(Camera sensor)、视频接口装置(AVIU)、ARM处理器、LCD控制器、LCD、RAM控制器及RAM,此外还包括ARM_DAHB总线和CAM_AHB总线。图像处理过程具体如下,
步骤①,ARM处理器配置图像传感器和视频接口装置的数据传送方式为RGB,视频接口装置通过CAM_AHB总线,将RGB数据传输至RAM控制器,如MPMC、SSMC等;
步骤②,每帧RGB数据存储完成后,视频接口装置发出中断,通知ARM当前帧接受完毕;
步骤③,ARM处理器读出RAM控制器中当前帧的RGB数据,并作相应的数据处理,如格式调整等;如果不作处理,则在步骤①中将图像数据直接写入LCD控制器,如EMI;
步骤④,将处理后的RGB数据通过ARM_DAHB传输至LCD控制器用于显示;
步骤⑤,执行拍照功能(图像存储)时,ARM处理器配置图像传感器和视频接口装置的数据传送方式为YUV,视频接口装置通过CAM_AHB总线,将YUV数据传输至RAM控制器;
步骤⑥,每帧YUV数据存储完成后,视频接口装置发出中断,通知ARM当前帧接受完毕;
步骤⑦,ARM处理器读出RAM控制器中当前帧的YUV数据,并作相应的数据处理,如JPEG压缩等;
步骤⑧,ARM将处理完毕后的图像数据存储于非易失性存储器如Flash ROM等。
本发明方案提供的视频接口装置能够带来如下有益效果:
1、本发明提供了一个图像输入接口装置和一套图像接受机制,可非常方便地接受camera输出的多种格式的图像数据,完成图像存储、图像预览等功能。
2、提供了多种数据存储方式,可对输入数据进行packed(压缩方式)和planar(空间分散方式)存储方式,有利于不同系统的软件或硬件模块处理图像数据;
3、通过集成了内置图像处理单元可完成图像任意比例缩放、图像YUV数据转换为RGB数据、Y/C伸张、图像亮度、色度、对比度调整、图像伽玛校正、图像抖动处理、图像alpha混合、图像锐化、图像钝化等图像算法,提升了图像处理能力。
4、本发明通过提供三路FIFO图像数据通道,大大增强了图像数据处理带宽,优化了图像数据传输机制,提高了图像接受能力,减小了总线负载,可以接受更高像素的图像,并通过提供不同的接受通道优先级配置,减少了接受图像数据的溢出可能,增强了使图像接受的连续性和可靠性。
5、本发明内置了数字图像处理单元,本发明通过内置的专用图像处理单元,可以对输入图像进行实时处理,而不必要先将图像数据存储到存储器后,然后由微处理器或其他专用图像处理单元读出所述图像数据进行图像处理,从而避免了对整幅图像存储一次再读出一次,减小了存储器的数据负载,显著提升系统性能。
另外,本发明集成了多种寄存器配置,提供了丰富的camera接口类型,可以支持多种camera。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (16)

1、一种实现图像数据采集的装置,其特征在于,包括:
先进高性能总线从接口,用以传送CPU的配置信息;
寄存器堆,包括多个寄存器,分别用于接收CPU通过所述先进高性能总线从接口传送过来的配置信息;
图像输入接口,用于根据所述配置信息接收输入的图像数据;
FIFO单元,用于根据所述配置信息暂存所述图像数据;
FIFO控制单元,用于根据所述配置信息将所述图像数据存入所述FIFO单元,并根据先进高性能总线空闲情况读出所述图像数据,从而进行第一时钟域和第二时钟域之间的转换;
通道控制器,根据所述配置信息从所述FIFO单元中读取图像数据,并为图像数据的传送选择信道和传送方式;
先进高性能总线主接口,将通过所述选择的信道传送过来的图像数据利用先进高性能总线输出;
其中,所述图像输入接口位于第一时钟域,所述通道控制器、先进高性能总线主接口、寄存器堆及先进高性能总线从接口位于第二时钟域。
2、如权利要求1所述的实现图像数据采集的装置,其特征在于,所述装置还包括:
图像处理单元,根据所述配置信息对所述图像输入接口接收的图像数据进行处理,并通过所述FIFO控制单元将处理后的图像数据存储在所述FIFO单元中。
3、如权利要求1所述的实现图像数据采集的装置,其特征在于,所述装置还包括:
中断处理单元,根据所述配置信息,产生多种中断并发送给CPU。
4、如权利要求1或2或3所述的实现图像数据采集的装置,其特征在于,所述通道控制器包括:
多路选择器,对所述图像数据的传送进行信道仲裁,选择合适的通道;
数据流控制器,读取所述FIFO单元中的图像数据,并通过所述多路选择器选择的通道对所述图像数据进行突发传送处理。
5、如权利要求4所述的实现图像数据采集的装置,其特征在于,所述数据流控制器包括:数据流控制器Y、数据流控制器U和数据流控制器V,分别用于读取所述FIFO单元中的Y通道、U通道和V通道的图像数据,并进行突发传送处理。
6、如权利要求1或2或3所述的实现图像数据采集的装置,其特征在于,
所述FIFO单元包括:Y FIFO单元、U FIFO单元及V FIFO单元,分别用于存储Y通道、U通道和V通道的图像数据;
所述FIFO控制单元包括:
Y FIFO控制器,用于将Y通道图像数据存入Y FIFO;
U FIFO控制器,用于将U通道图像数据存入U FIFO;
V FIFO控制器,用于将V通道图像数据存入V FIFO。
7、一种实现图像数据采集的方法,其特征在于,包括以下步骤:
CPU通过先进高性能总线从接口对寄存器堆中的多个寄存器发送配置信息;
图像输入接口根据寄存器堆接收的配置信息接收输入的图像数据;
FIFO控制单元根据寄存器堆的配置信息将图像数据存储在FIFO单元中;
通道控制器根据寄存器堆的配置信息从FIFO单元中读取图像数据,并选择合适的信道进行传送;
先进高性能总线主接口将通过所述合适的信道传送过来的图像数据利用先进高性能总线输出。
8、如权利要求7所述的实现图像数据采集的方法,其特征在于,所述信道包括Y通道、U通道和V通道,所述通道控制器选择合适的信道具体为:
在Y通道、U通道和V通道设置为固定优先级模式的情况下,根据图像数据不同的存储方式按照设置的优先级顺序进行通道选择;或者
在Y通道、U通道和V通道设置为循环优先级模式的情况下,基于不同的策略选择优先级最高的通道。
9、如权利要求8所述的实现图像数据采集的方法,其特征在于,所
述策略为根据通道内数据量进行选择,数据量最多的通道占有最高的
优先级;或者
所述策略为根据通道最近使用的顺序进行选择,等待最久的通道占有最高的优先级。
10、如权利要求7或8或9所述的实现图像数据采集的方法,其特征在于,所述图像输入接口根据寄存器堆的配置结果接收输入的图像数据具体包括:
图像输入接口等待到帧同步信号;
图像输入接口接收寄存器堆中多个寄存器更新后的寄存器值;
图像输入接口根据所述多个寄存器更新后的寄存器值接收输入的图像数据;
图像输入接口完成当前帧的接收并产生中断。
11、如权利要求10所述的实现图像数据采集的方法,其特征在于,所述图像输入接口接收寄存器堆中多个寄存器更新后的值之前还包括:
寄存器堆检测到寄存器更新位被刷新,对所述多个寄存器的配置信息进行更新。
12、如权利要求7或8或9所述的实现图像数据采集的方法,其特征在于,所述图像输入接口根据寄存器堆的配置信息接收输入的图像数据之后还包括:
图像处理单元对所述图像输入接口接收的图像数据进行数字图像处理。
13、一种芯片,其特征在于,所述芯片中设置有实现图像数据采集的装置,所述实现图像数据采集的装置包括:
先进高性能总线从接口,用以传送CPU的配置信息;
寄存器堆,包括多个寄存器,接受CPU通过所述先进高性能总线从接口传送过来的配置信息;
图像输入接口,根据所述配置信息接收输入的图像数据;
FIFO单元,根据所述配置信息存储所述图像数据;
FIFO控制单元,根据所述配置信息将所述图像数据存入所述FIFO单元,并根据总线空闲情况读出所述图像数据,从而进行第一时钟域和第二时钟域之间的转换;
通道控制器,根据所述配置信息从所述FIFO单元中读取图像数据,并为图像数据的传送选择信道和传送方式;
先进高性能总线主接口,将通过所述合适信道传送过来的图像数据利用先进高性能总线输出;
其中,所述图像输入接口位于第一时钟域,所述通道控制器、先进高性能总线主接口、寄存器堆及先进高性能总线从接口位于第二时钟域。
14、如权利要求13所述的芯片,其特征在于,所述实现图像数据采集的装置还包括:
根据所述配置信息对所述图像输入接口接收的图像数据进行数字图像处理,并通过FIFO控制单元将处理后的图像数据存储在所述FIFO单元中。
15、如权利要求13或14所述的芯片,其特征在于,实现图像数据采集的装置还包括:
中断处理单元,根据所述配置信息,产生多种中断并发送给CPU。
16、一种移动电话,其特征在于,所述移动电话至少设置有一个实现图像数据采集的装置,所述实现图像数据采集的装置包括:
先进高性能总线从接口,用以传送CPU的配置信息;
寄存器堆,包括多个寄存器,接受CPU通过所述先进高性能总线从接口传送过来的配置信息;
图像输入接口,根据所述配置信息接收输入的图像数据;
FIFO单元,根据所述配置信息存储所述图像数据;
FIFO控制单元,根据所述配置信息将所述图像数据存入所述FIFO单元,并根据总线空闲情况读出所述图像数据,从而进行第一时钟域和第二时钟域之间的转换;
通道控制器,根据所述配置信息从所述FIFO单元中读取图像数据,并为图像数据的传送选择信道和传送方式;
先进高性能总线主接口,将通过所述合适信道传送过来的图像数据利用先进高性能总线输出;
其中,所述图像输入接口位于第一时钟域,所述通道控制器、先进高性能总线主接口、寄存器堆及先进高性能总线从接口位于第二时钟域。
CNB2006100613326A 2006-06-26 2006-06-26 一种实现图像数据采集的装置、方法及芯片和手机 Active CN100531311C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNB2006100613326A CN100531311C (zh) 2006-06-26 2006-06-26 一种实现图像数据采集的装置、方法及芯片和手机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNB2006100613326A CN100531311C (zh) 2006-06-26 2006-06-26 一种实现图像数据采集的装置、方法及芯片和手机

Publications (2)

Publication Number Publication Date
CN1901708A CN1901708A (zh) 2007-01-24
CN100531311C true CN100531311C (zh) 2009-08-19

Family

ID=37657406

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2006100613326A Active CN100531311C (zh) 2006-06-26 2006-06-26 一种实现图像数据采集的装置、方法及芯片和手机

Country Status (1)

Country Link
CN (1) CN100531311C (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101930348B (zh) * 2010-08-09 2016-04-27 无锡中感微电子股份有限公司 一种刷图方法及刷图系统
CN102438117B (zh) * 2010-09-29 2014-06-11 联芯科技有限公司 手持终端上的摄像头图像数据采集方法及手持终端
CN102446500B (zh) * 2010-10-04 2014-03-05 宏碁股份有限公司 图像显示方法以及图像显示系统
CN103402055A (zh) * 2013-07-29 2013-11-20 广东欧珀移动通信有限公司 移动终端用摄像头芯片、带摄像功能的移动终端及其拍照方法和装置
CN103957390A (zh) * 2014-05-23 2014-07-30 江苏友上科技实业有限公司 一种使用高清相机的图像采集系统
CN104394416A (zh) * 2014-12-01 2015-03-04 北京思比科微电子技术股份有限公司 一种实现mipi csi-2多通道低频传输的方法
CN105760922B (zh) * 2014-12-17 2018-12-21 联芯科技有限公司 射频接口控制的方法和数字射频接口控制器
CN105550976B (zh) * 2015-12-15 2019-03-15 上海华力创通半导体有限公司 用于总线带宽偶发性不足的图像数据实时接收容错方法
CN108200149B (zh) * 2017-12-29 2021-01-05 神华集团有限责任公司 机车图像仲裁装置
WO2021008262A1 (zh) * 2019-07-15 2021-01-21 珠海奔图电子有限公司 扫描设备、图像形成装置、扫描方法及存储介质
CN111193873B (zh) * 2019-12-25 2021-07-20 新大陆数字技术股份有限公司 一种图像快速调光系统及方法
CN111601019B (zh) * 2020-02-28 2021-11-16 北京爱芯科技有限公司 图像数据处理模组及电子设备
CN112422835B (zh) * 2020-12-16 2022-08-26 深圳市六合智能感知系统科技有限公司 图像的高速采集方法、系统、设备及存储介质
CN117998028B (zh) * 2024-02-02 2024-08-09 中科芯集成电路有限公司 一种基于硬件同步的图像采集控制器结构

Also Published As

Publication number Publication date
CN1901708A (zh) 2007-01-24

Similar Documents

Publication Publication Date Title
CN100531311C (zh) 一种实现图像数据采集的装置、方法及芯片和手机
CN1655593B (zh) 用直接存储器访问翻转或旋转数字图像的相机接口和方法
US7948520B1 (en) Image sensor interface
JP3720268B2 (ja) 画像処理装置
US20080292219A1 (en) Method And System For An Image Sensor Pipeline On A Mobile Imaging Device
JP2011234360A (ja) シャッターラグを回避する画像キャプチャモジュール及び画像キャプチャ方法
US9703731B2 (en) Data transfer apparatus and data transfer method
JP2011234360A5 (zh)
US6446155B1 (en) Resource bus interface
WO2024051674A1 (zh) 图像处理电路和电子设备
US12111778B2 (en) Image processing accelerator
US20080292216A1 (en) Method and system for processing images using variable size tiles
US10997688B1 (en) Multi-modal warp filter to reduce memory bandwidth
US7849277B2 (en) Bank controller, information processing device, imaging device, and controlling method
CN100551008C (zh) 进行视频处理的装置和方法
CN101521744A (zh) 视频捕捉控制器
KR102611722B1 (ko) 이미지 처리 장치 및 이미지 처리 방법
EP2012535B1 (en) Direct interface of camera module to general purpose i/o port of digital baseband processor
KR100663380B1 (ko) 촬상 장치 및 영상 신호 생성 방법
US8982398B2 (en) Image forming apparatus that allows for a multi-operation
CN101202880A (zh) 一种具有摄像功能的移动终端
CN106385556B (zh) 一种箭载ccd图像采集压缩系统
KR100776943B1 (ko) 고성능 비디오 캡쳐 카드 및 다채널 비디오 캡쳐 방법
US20080292132A1 (en) Method And System For Inserting Software Processing In A Hardware Image Sensor Pipeline
CN201846416U (zh) 图像传感器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant