附图说明
参考以下各图描述本发明的非限制性及非详尽实施例,其中在所有各视图中相似参考编号指代相似部件,除非另有规定。
图1是展示根据本发明的教示的图像感测系统的一部分的实例的图。
图2是展示根据本发明的教示的图像感测系统的一部分的另一实例的图。
图3是展示根据本发明的教示耦合到多相位转移通道的实例性像素单元的示意图。
图4是展示根据本发明的教示的实例性多相位转移信号及全局快门信号的时序图。
图5A是展示根据本发明的教示耦合到多相位转移通道的另一实例性像素单元的示意图。
图5B是展示根据本发明的教示耦合到多相位转移通道的又一实例性像素单元的示意图。
图5C是展示根据本发明的教示耦合到多相位转移通道的再一实例性像素单元的示意图。
图6是展示根据本发明的教示从图像传感器读取图像数据的实例性方法的流程图。
图7A是展示包含在待使用根据本发明的教示的读出技术旋转的像素单元的阵列中的多个像素单元的实例的图。
图7B是展示由包含在待使用根据本发明的教示的读出技术旋转的像素单元的阵列中的多个像素单元产生的所得图像的实例的图。
图8A是展示包含在存储用鱼眼镜头捕获的失真图像的图像数据且待使用根据本发明的教示的技术读出的像素单元的阵列中的多个像素单元的实例的图。
图8B是展示来自由鱼眼镜头捕获的失真图像的使用根据本发明的教示的技术从像素单元阵列读出的所得图像的实例的图。
在图式的所有数个视图中,对应参考字符指示对应组件。所属领域的技术人员将了解,图中的元件是为简单及清晰起见而图解说明的,且未必按比例绘制。举例来说,为了有助于改进对本发明的各种实施例的理解,图中的元件中的一些元件的尺寸可能相对于其它元件放大。此外,通常未描绘在商业上可行的实施例中有用或必需的常见而众所周知的元件以便促进对本发明的这各种实施例的较不受阻挡的观察。
具体实施方式
在以下描述中,陈述众多特定细节以便提供对本发明的透彻理解。然而,所属领域的技术人员将明了,不需要采用所述特定细节来实践本发明。在其它实例中,为了避免使本发明模糊,未详细描述众所周知的材料或方法。
在本说明书通篇中对“一个实施例”、“一实施例”、“一个实例”或“一实例”的提及意指结合所述实施例或实例所描述的特定特征、结构或特性包含于本发明的至少一个实施例中。因此,在本说明书通篇的各个位置中短语“在一个实施例中”、“在一实施例中”、“一个实例”或“一实例”的出现未必全部指代同一实施例或实例。此外,所述特定特征、结构或特性可以任何适合组合及/或子组合而组合于一个或一个以上实施例或实例中。特定特征、结构或特性可包含于集成电路、电子电路、组合逻辑电路或提供所要功能性的其它适合组件中。另外,应了解,随本文提供的图是出于向所属领域的技术人员解释的目的且图式未必按比例绘制。
根据本发明的教示的实例描述一种用于从图像传感器读取图像数据的实例性方法及设备。通常,逐行地从CMOS图像传感器读出整个行的图像数据。如将论述,根据本发明的教示,耦合到CMOS像素单元的多相位转移通道使得能够在从图像传感器的一列的一个或一个以上读出循环期间从可变数目个像素单元输出图像数据。换句话说,可在一个时钟循环期间输出少于整个行的像素,其中可将针对每一列输出的像素选择为被存储或忽略。在一个实例中,根据本发明的教示,在一个时钟循环中从每一列读出的像素单元的数目可独立于从其它列读出的像素单元的数目。
举例来说,如下文将更详细地论述,实例性图像感测系统包含布置成多个行及多个列的像素单元阵列。多个多相位转移通道耦合到所述像素单元阵列,使得所述多个多相位转移通道中的每一者耦合到所述像素单元阵列的所述多个列中的相应一者。读出电路耦合到所述多个多相位转移通道以从所述像素单元阵列读出图像数据。列控制电路经耦合以单独地产生多个组的多相位转移信号,所述多相位转移信号耦合到对应多相位转移通道中的晶体管。根据本发明的教示,响应于所述多相位信号而沿着多相位转移通道晶体管到晶体管地转移来自选定列的可变数目个像素单元的图像数据并将其输出到读出电路。
如将展示,在一个实例中,可针对每一列单独地产生多相位转移信号。在一个时钟循环期间,可选择一个或一个以上列以响应于多相位转移信号的一个循环而输出一个像素电荷。其中未断言多相位转移信号的列将不输出像素电荷。
为了说明,图1是展示根据本发明的教示的实例图像感测系统100的一部分的图。如在所描绘的实例中所展示,图像感测系统100包含像素阵列104,所述像素阵列包含布置成多个行及多个列的多个像素106。在所描绘的实例中,列控制电路102经耦合以单独地产生多个组的多相转移信号112A、112B、…、112N,在一个实例中,所述多相转移信号经耦合而由像素阵列104接收。在一个实例中,多相转移通道也经耦合以接收对应组的多相位转移信号112A、112B、…、112N,以将图像数据从像素阵列104的像素单元106输出到读出电路108。如在所描绘的实例中所展示,读出电路108包含多个列读出电路108A、108B、…、108N,所述列读出电路经耦合以读出从像素阵列104的多个列中的相应一者输出的图像数据。在所说明的实例中,由读出电路108产生的输出为图像数据110,如所展示。
如在图1中所描绘的实例中所展示,列控制电路102经耦合以响应于控制信号114而单独地产生多个组的多相转移信号112A、112B、…、112N。在一个实例中,可从与列控制电路102分离的外部控制电路接收控制信号114。在一个实例中,每一组多相位转移信号112A、112B、…、112N经耦合以独立地控制图像数据从像素阵列104的每一列的输出。如此,根据本发明的教示,可从像素阵列104的每一选定列输出来自可变数目个像素单元106的图像数据。换句话说,根据本发明的教示,可从每一列串行输出的像素单元106的可变数目可与可从其它列串行输出的像素单元106的不同可变数目无关。
应了解,在能够单独地或独立于其它列控制图像数据从每一列的输出的灵活性的情况下,可独立地从像素阵列104的每一列的不同可变数目个像素单元串行输出图像数据。因此,可实现存储器的节省,因为如果在任何特定时间需要一行或一列图像数据的仅一部分,那么不需要一次输出全部行或全部列的图像数据。
举例来说,用鱼眼镜头拍摄的失真图像朝向像素阵列104的拐角具有其中不存在图像数据的区域。因此,根据本发明的教示,可输出并忽略朝向像素阵列104的拐角的像素的图像数据,且使用图像感测系统100执行鱼眼镜头失真校正可需要较少存储器。
类似地,应了解,当执行(举例来说)对从像素阵列104读出的原始图像数据的JPEG压缩时,可间接地从像素阵列104以(举例来说)8×8宏块等的形式读出图像数据,而不具有必须从像素阵列104一次读出整个行或列的图像数据的限制。如此,根据本发明的教示,可用较少存储器实现JPEG压缩。
图2是展示根据本发明的教示的图像感测系统200的一部分的另一实例的图。如在所描绘的实例中所展示,图像感测系统200包含布置成多个行及多个列的多个像素206。在所描绘的实例中,成像系统200还包含多个多相位转移通道216A、216B、…、216N。多个多相位转移通道216A、216B、…、216N中的每一者耦合到相应列的像素206。多个多相位转移通道216A、216B、…、216N中的每一者还经耦合以接收相应组的多相位转移信号212A、212B、…、212N。另外,图2中的实例图解说明,在一个实例中,存在包含多个缓冲电路208A、208B、…、208N的读出电路,所述缓冲电路中的每一者耦合到多个多相位转移通道216A、216B、…、216N中的相应一者。在一个实例中,从多个缓冲电路208A、208B、…、208N输出图像数据210,如所展示。在一个实例中,多个缓冲电路208A、208B、…、208N包含放大器电路,所述放大器电路经耦合以放大对从多个缓冲电路208A、208B、…、208N转移的图像电荷做出响应的信号以产生图像数据210。
图3是展示根据本发明的教示耦合到多相位转移通道316的一部分的实例性像素单元306的增加的细节的示意图。在一个实例中,应了解,像素单元306为图1的像素单元106或图2的像素单元206的实例中的一者。类似地,应了解,图3中所图解说明的多相位转移通道316的所述部分为图2的多个多相位转移通道216A、216B、…、216N中的任一者的部分的一个实例,且多相位转移信号Va312A、Vb312B及Vc312C为包含于图1的一组多相位转移信号112A、112B及112C中或包含于图2的一组多相位转移信号212A、212B及212C中的实例。因此,应了解,下文所提及的类似命名及编号的元件如上文所描述而耦合及发挥作用。
返回参考图3中所描绘的实例,像素单元306包含耦合到全局快门晶体管322及转移晶体管324的光敏元件320。多相位转移通道316包含串联耦合的多个晶体管,包含晶体管318A、318B及318C,其为多相位转移通道316的多个晶体管的一部分。在所描绘的实例中,晶体管318A、318B及318C经耦合以分别响应于多相位转移信号Va312A、Vb312B及Vc312C而被控制,如所展示。
在操作中,将表示图像的一部分的光334引导到像素单元306上。在一个实例中,根据本发明的教示,可从透镜聚焦光334,所述透镜经光学耦合以接收从正用图像传感器成像的物体引导的光334。在所述实例中,全局快门晶体管322经耦合以接收全局快门信号GS326,其在被激活时致使光敏元件320响应于光334而积累图像电荷。
现在假设将输出来自包含像素单元306的图像传感器的图像数据,则响应于转移信号Va312A而激活转移晶体管324,所述转移信号致使通过晶体管324将在光敏元件320中积累的图像电荷转移到多相位转移通道316的晶体管318A,如图3中所展示。如上文所提及,在一个实例中,转移信号Va312A为经耦合而分别由多相位转移通道316的多个晶体管318A、318B及318C接收的多个多相位转移信号312A、312B及312C中的一者,如所展示。
如将进一步详细地论述,多个多相位转移信号312A、312B及312C彼此异相。如此,根据本发明的教示,响应于多个多相位转移信号312A、312B及312C而控制多相位转移通道316的多个晶体管318A、318B及318C以通过多相位转移通道316沿着串联耦合的多个晶体管318A、318B及318C晶体管到晶体管地转移所积累图像电荷。举例来说,响应于多相位转移信号312A及312B而将存储于晶体管318A中的图像电荷晶体管到晶体管地转移到晶体管318B。在一个实例中,所述图像电荷可存储于相应晶体管的栅极下方的位阱中。响应于多相位转移信号312C及312A而将存储于晶体管318C中的图像电荷晶体管到晶体管地转移到晶体管318A。响应于多相位转移信号312B及312C而将存储于晶体管318B中的图像电荷晶体管到晶体管地转移到像素阵列的下一行的对应晶体管。类似地,响应于多相位转移信号312C及312B而将存储于像素阵列的前一行的对应晶体管中的图像电荷转移到晶体管318C。
在一个实例中,可针对多相位转移信号的每一完整循环通过多相位转移通道316转移来自图像传感器的一列的每一像素单元306的所积累图像电荷。因此,在一个实例中,根据本发明的教示,可对多相位转移通道316的多个晶体管中的每一者应用多相位转移信号的可变数目个循环以从每一列的可变数目个像素单元306输出所积累图像电荷。在一个实例中,所述可变数目可大于或等于零。在一个实例中,根据本发明的教示,从一个列串行输出的像素单元的可变数目可独立于从另一列串行输出的像素单元的可变数目。
图4是展示根据本发明的教示的实例性多相位转移信号及全局快门信号的时序图。在一个实例中,应了解,多相位转移信号Va412A、Vb412B及Vc412C为图1的一组多相位转移信号112A、112B及112C或图2的一组多相位转移信号212A、212B及212C或图3的多相位转移信号Va312A、Vb312B及Vc312C的实例,全局快门信号GS426为图3的全局快门信号GS326的实例。因此,应了解,下文所提及的类似命名及编号的元件如上文所描述而耦合及发挥作用。
现在返回参考图4中所描绘的时序图实例,在时间t0与t1之间激活全局快门信号GS426。在此点处,图像电荷的积累在光敏元件(例如图3的光敏元件320)中开始。在时间t2处,将多相位转移信号Va412A设定为3V,在所描绘的实例中,此导致通过转移晶体管324将已在光敏元件320中积累的图像电荷转移到多相位转移通道316的晶体管318A。在所述实例中,注意,针对像素单元阵列中的所有像素单元将多相位转移信号Va412A设定为3V,使得像素阵列中的所有像素单元的所积累图像电荷均被转移到对应多相位转移通道中的对应晶体管。
如在图4的实例中可观察到,多相转移信号Va412A、Vb412B及Vc412C为彼此异相且经耦合以控制一起耦合于多相转移通道(例如图3的多相转移通道316)中的多个晶体管的多个控制信号。为了说明,在时间t3处,在于时间t4处将多相转移信号Va412A去活之前的时间处激活多相转移信号Vb412B。因此,在t3与t4之间的时间期间,将先前转移到晶体管318A的所积累图像电荷从晶体管318A晶体管到晶体管地转移到晶体管318B。类似地,在时间t5处,在于时间t6处将多相转移信号Vb412B去活之前的时间处激活多相转移信号Vc412C。因此,在t5与t6之间的时间期间,将先前转移到晶体管318B的所积累图像电荷从晶体管318B晶体管到晶体管地转移到耦合到晶体管318B的下一晶体管,在所述实例中,响应于多相转移信号Vc412C而控制所述下一晶体管。特定来说,返回参考图3的实例,应了解,存在响应于多相转移信号Vb312B而控制的串联耦合到晶体管318C的另一晶体管,且存在响应于多相转移信号Vc312C而控制的串联耦合到晶体管318B的另一晶体管。
返回参考图4中所展示的实例,多相转移信号Va412A、Vb412B及Vc412C的模式如上文所描述而在时间t7、t8、t9、t10处及之后类似地继续,这导致沿着多相转移通道(例如图3的多相转移通道316)晶体管到晶体管地转移所积累图像电荷。在一个实例中,根据本发明的教示,所述模式继续达可变数目个时钟循环,直到将可变数目个所积累图像电荷从多相转移通道输出到对应读出电路为止。
图5A是展示根据本发明的教示耦合到多相转移通道516的一部分的另一实例性像素单元506的示意图。应了解,图5A中所说明的像素单元506及多相转移通道516的所述部分与图3中所说明的像素单元306及多相转移通道316的所述部分共享许多相似性。因此,应了解,下文所提及的类似命名及编号的元件如上文所描述而耦合及发挥作用。
图5A的像素单元506与图3的像素单元306之间的一个差异为,图5A的像素单元506包含耦合于光敏元件520与多相位转移通道516的晶体管518A之间的转移晶体管524,响应于转移信号Tx528而非多相位转移信号Va512A而控制转移晶体管524。因此,在图5A中所描绘的实例中,所积累图像电荷从光敏元件520到多相位转移通道516的晶体管518A的转移可独立于多相位转移信号Va512A。
图5B是展示根据本发明的教示耦合到多相位转移通道516的又一实例性像素单元506的示意图。应了解,图5B中所图解说明的像素单元506及多相位转移通道516的所述部分与图5A中所图解说明的像素单元506及多相位转移通道516的所述部分且与图3中所图解说明的像素单元306及多相位转移通道316的所述部分共享许多相似性。因此,应了解,下文所提及的类似命名及编号的元件如上文所描述而耦合及发挥作用。
图5B的像素单元506与图5A的像素单元506之间的一个差异为,图5B的像素单元506包含耦合于转移晶体管524与多相位转移通道516的晶体管518A之间的额外输出晶体管530。在图5B中所描绘的实例中,响应于输出栅极信号OG532而控制输出晶体管530。因此,在图5B中所描绘的实例中,进一步响应于输出栅极信号OG532的激活而执行所积累图像电荷从像素单元506到多相位转移通道516的晶体管518A的转移。
图5C是展示根据本发明的教示耦合到多相位转移通道516的一部分的再一实例性像素单元506的示意图。应了解,图5C中所图解说明的像素单元506及多相位转移通道516的所述部分与图5A中所图解说明的像素单元506及多相位转移通道516的所述部分共享许多相似性。因此,应了解,下文所提及的类似命名及编号的元件如上文所描述而耦合及发挥作用。
图5C的像素单元506与图5A的像素单元506之间的一个差异为,图5C的像素单元506包含多个光敏元件520A及520B以及多个转移晶体管524A及524B,如所展示。因此,在所图解说明的实例中,应了解,多个光敏元件520A及520B中的每一者包含于共享架构中,其中光敏元件520A及520B两者分别通过转移晶体管524A及524B耦合到多相位转移通道516的晶体管518A。在所描绘的实例中,分别响应于转移信号Tx1528A及Tx2528B而控制转移晶体管524A及524B。在一个实例中,根据本发明的教示,举例来说,可以组合形式利用多个光敏元件520A及520B来实现具有增加的敏感度及/或增加的动态范围的像素单元506的架构。
图6是展示根据本发明的教示从图像传感器读取图像数据的实例性过程650的流程图。应了解,图6中所图解说明的过程可提及上文关于图1到5C所描述的结构及/或功能。因此,应了解,下文所提及的类似命名及编号的元件如上文所描述而耦合及发挥作用。
如在所描绘的实例中所展示,过程650以过程框652开始,在此时间处激活快门。在一个实例中,所述快门可为全局快门。过程框654展示接着在图像传感器的像素单元中积累图像电荷。在一个实例中,所述像素单元可包含在布置成多个行及多个列的像素阵列中。过程框656展示接着将所积累图像电荷转移到多相位转移通道。
过程框658展示产生多相位转移信号。过程框660展示可接着选择一个或一个以上列。在一个实例中,可独立于先前选择的列而选择所述选定列。在另一实例中,所述选定列可为列的序列中的下一列。过程框662展示可接着输出选定列的可变数目个像素单元的所积累图像电荷。在一个实例中,响应于多相位转移信号而从选定列串行输出可变数目个像素单元的所积累图像电荷。在一个实例中,通过沿着多相位转移通道晶体管到晶体管地转移而串行输出所积累图像电荷,直到响应于多相位转移信号向读出电路输出可变数目个图像电荷为止。过程框664展示从读出电路读出图像数据。
决策框665展示如果存在更多待读取的图像数据,那么处理循环回到过程框660使得可选择另外的一个或一个以上列。如先前所提及,可独立于先前选择的列而选择下一选定列。在另一实例中,所述选定列可为列的序列中的下一列。另外,应了解,在处理框662中从下一选定列输出的像素单元的可变数目可与从先前选择的列输出的像素单元的先前可变数目相同。在另一实例中,应了解,在处理框662中从下一选定列输出的像素单元的可变数目可与从先前选择的列输出的像素单元的先前可变数目不同。
当然,应了解,根据本发明的教示,上文描述所述过程框的次序可未必以与所描述的相同的顺序发生且所述过程框中的一些过程框可同时发生。
根据本发明的教示从图像传感器读取图像数据的方法可用于包含图像处理应用(例如图像旋转)的多种应用。为了图解说明,图7A是展示多个像素单元700的实例的图。像素单元700表示图1的图像感测系统100中的像素阵列的一部分且布置成列C1到C4及行R1到R4。在多相位转移信号的第一完整循环(其也可称为读出循环T1)期间,读出列C1及行R4(C1,R4)处的像素。在第二读出循环T2期间,读出(C1,R3)及(C2,R4)处的像素。在第三读出循环T3期间,读出(C1,R2)、(C2,R3)及(C3,R4)处的像素。类似地,沿跨越像素阵列的对角线读出后续读出循环中的像素。可从所述图像感测系统输出像素,使得所得图像相对于如在图7B中所见的图像成角度。根据本发明的教示,通过使用此从图像传感器读取图像数据的方法,可需要较少的图像处理步骤及/或较少的存储器来获取经旋转的所得图像。
如先前所提及,如本发明中所描述的从图像传感器读取图像数据的方法可应用于校正鱼眼失真的应用。图8A是展示包含布置成列C1到C5及行R1到R4的24个像素的简化实例性像素阵列800的图。如果在像素阵列800中捕获了鱼眼失真图像,那么像素阵列800中的一些像素将不含有可从像素阵列中读出的图像信息且被舍弃。此些像素在图8A中由阴影表示。在第一读出循环T1期间,从像素阵列800中读出列1、行4(C1,R5)及(C6,R5)处的像素,来自这些特定像素的图像数据可从像素阵列800输出并被舍弃,因为这些特定像素由于鱼眼镜头失真而不含有图像信息。分别在后续第二读出循环T2及第三读出循环T3期间从像素阵列800输出的图像数据从像素阵列800输出并被舍弃,因为这些特定像素不含有图像信息,如图8A中所展示。直到第四(及后续)读出循环T4时才从像素阵列800读取并在所得图像中输出来自像素(C1,R2)、(C2,R3)、(C3,R4)、(C4,R4)、(C5,R3)及(C6,R2)的图像数据,如图8B中所展示,其展示读出循环T4及T5的结果。确实,如图8B中所展示,在图8A中所展示的实例中可见的鱼眼镜头失真通过根据本发明的教示读出图像数据而在图8B中得以校正。
包含发明摘要中所描述内容的本发明的所图解说明实例的以上描述并非打算为穷尽性或限制于所揭示的精确形式。尽管出于说明性目的而在本文中描述本发明的特定实施例及实例,但可在不背离本发明的较宽广精神及范围的情况下做出各种等效修改。
可根据以上详细描述对本发明的实例做出这些修改。所附权利要求书中所使用的术语不应理解为将本发明限制于说明书及权利要求书中所揭示的特定实施例。相反,范围将完全由所附权利要求书来确定,所述权利要求书将根据所创建的权利要求解释原则来加以理解。因此,应将本说明书及图视为说明性而非限制性。