CN105430302B - 单通道cmos图像传感器及其数据传输方法 - Google Patents

单通道cmos图像传感器及其数据传输方法 Download PDF

Info

Publication number
CN105430302B
CN105430302B CN201510999431.8A CN201510999431A CN105430302B CN 105430302 B CN105430302 B CN 105430302B CN 201510999431 A CN201510999431 A CN 201510999431A CN 105430302 B CN105430302 B CN 105430302B
Authority
CN
China
Prior art keywords
signal
frame
analog
pixel unit
digital
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510999431.8A
Other languages
English (en)
Other versions
CN105430302A (zh
Inventor
李琛
任铮
刘浩
蒋宇
温建新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai IC R&D Center Co Ltd
Chengdu Image Design Technology Co Ltd
Original Assignee
Shanghai Integrated Circuit Research and Development Center Co Ltd
Chengdu Image Design Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Integrated Circuit Research and Development Center Co Ltd, Chengdu Image Design Technology Co Ltd filed Critical Shanghai Integrated Circuit Research and Development Center Co Ltd
Priority to CN201510999431.8A priority Critical patent/CN105430302B/zh
Publication of CN105430302A publication Critical patent/CN105430302A/zh
Application granted granted Critical
Publication of CN105430302B publication Critical patent/CN105430302B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/766Addressed sensors, e.g. MOS or CMOS sensors comprising control or output lines used for a plurality of functions, e.g. for pixel output, driving, reset or power
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明公开了一种单通道CMOS图像传感器,包括由多个像素单元组成的像素阵列和数据处理单元。数据处理单元包括模数转换模块,图像处理模块和控制模块。控制模块可识别出连续两帧图像发生较大变化的区域,并控制模数转换模块在后续帧时只对图像变化区域进行模数转换,由此可以大幅减小在片模拟数字信号转换、在片图像处理、高速数据接口等各方面的压力。

Description

单通道CMOS图像传感器及其数据传输方法
技术领域
本发明涉及图像传感器领域,特别涉及一种单通道CMOS图像传感器及其数据传输方法。
背景技术
图像传感器是组成数字摄像头的重要组成部分。根据元件的不同,可分为CCD和CMOS两大类。CMOS传感器获得广泛应用的一个前提是其所拥有的较高灵敏度、较短曝光时间和日渐缩小的像素尺寸。
通常来说,一个CMOS图像传感器的帧率取决于后方数字信号处理器(DSP)的能力,目前来看,通常的数字信号处理器具备1080p全高清视频流下每秒钟30帧(30fps)或60帧(fps)的处理能力,这一帧率足以达到高清视频流所需的帧率能力。
但是对于某些特殊应用来说,每秒钟30帧或60帧的视频流帧率却远远不能满足其要求。例如,对于某些科学应用相机来说,通常需要拍摄超高速运动的物体,比如拍摄超高速运动的子弹、百米运动员冲刺等,因此要求其图像传感器能够具备高帧率的图像采集能力。一般来说,超高帧率的图像传感器需要具备1080p全高清视频流下每秒钟200帧以上的数据流能力。
由于CMOS工艺具备高度集成的特点,可以在一颗芯片上集成像素部分和数字处理电路部分,因此非常适用于有效提高图像传感器的帧率。所以,高帧率的CMOS图像传感器是目前高帧率传感器技术领域研究的重点。有的高帧率的CMOS图像传感器通常是采用单通道数据输出架构,然而,对于有效像素在1600万像素以上的大像素CMOS图像传感器来说,如果要满足全高清视频流所要求的数据流能力,数据接口的数据流也是很可观的,将会对高速数据接口带来极大的压力。
发明内容
本发明的主要目的在于克服现有技术的缺陷,提供一种大幅减小单通道数据流,提高帧率的CMOS图像传感器及其数据传输方法。
为达成上述目的,本发明提供一种单通道CMOS图像传感器,包括:由多个像素单元组成的像素阵列,所述像素单元用于将光信号转换为模拟电信号;数据处理单元,其包括:模数转换模块,用于响应第一控制信号以将所述像素阵列全部所述像素单元所输出的模拟电信号转换为数字信号或响应第二控制信号以仅将所述像素阵列中局部区域的像素单元输出的模拟电信号转换为数字信号;在片图像处理模块,用于对所述模数转换模块所输出的数字信号进行图像处理并输出图像信号;控制模块,用于发出所述第一控制信号和所述第二控制信号,其中所述第二控制信号指定所述局部区域;其中,所述控制模块在第1+nT和第2+nT帧开始前发出所述第一控制信号至所述模数转换模块使所述模数转换模块在第1+nT和第2+nT帧时将所述像素阵列全部所述像素单元所输出的模拟电信号转换为数字信号,n为整数,在其余帧开始之前,所述控制模块判断当前帧及前一帧所述模数转换模块是否均将所述像素阵列输出的全部模拟电信号转换为数字信号,若判断结果为是则对当前帧及前一帧所述在片图像处理模块所输出的图像信号进行比较,若比较结果为存在一图像变化区域,则将该图像变化区域确定为所述像素阵列中的局部区域并在下一帧开始之前发出所述第二控制信号使得所述模数转换模块仅将该局部区域的所述像素单元的模拟电信号转换为数字信号,若比较结果为不存在所述图像变化区域,则在下一帧开始前发出所述第一控制信号至所述模数转换模块使得所述模数转换模块将所述像素阵列全部的所述像素单元的模拟电信号转换为数字信号;若判断结果为否,则在下一帧开始之前发出与当前帧相同的控制信号至所述模数转换模块使得所述模数转换模块将与当前帧相同范围的所述像素单元的模拟电信号转换为数字信号;其中T为大于1的正整数。
优选地,所述单通道CMOS图像传感器还包括高速数据接口,用于将所述在片图像处理模块输出的图像信号传输至外部;所述控制模块包括寄存器,用于将所述模数转换模块连续两次响应所述第一控制信号所输出的数字信号经图像处理后的图像信号暂存以进行比较。
优选地,在除了第1+nT和第2+nT帧的其它帧中,若所述控制模块判断第k帧和第k帧之前连续m帧均不存在所述图像变化区域,则所述控制模块在第k+1帧之前发出所述第一控制信号至所述模数转换模块,使得所述模数转换模块在第k+1帧时将所述像素阵列全部的所述像素单元的模拟电信号转换为数字信号,m为大于等于2的整数,且k-m≠1+nT,k-m≠2+nT。
根据本发明的另一方面,提供了一种单通道CMOS图像传感器,包括:由多个像素单元组成的像素阵列,所述像素单元用于将光信号转换为模拟电信号;数据处理单元,其包括:模数转换模块,用于响应第一控制信号以将所述像素阵列输出的全部模拟电信号转换为数字信号或响应第二控制信号以仅将所述像素阵列中局部区域的像素单元输出的模拟电信号转换为数字信号;在片图像处理模块,用于对所述模数转换模块所输出的数字信号进行图像处理并输出图像信号;控制模块,用于发出所述第一控制信号和所述第二控制信号,其中所述第二控制信号指定所述局部区域;其中,所述控制模块在第1+nT和第2+nT帧开始前发出所述第一控制信号至所述模数转换模块使所述模数转换模块在第1+nT和第2+nT帧时将所述像素阵列全部所述像素单元所输出的模拟电信号转换为数字信号,n为整数,在其余帧开始前,所述控制模块判断当前帧及前一帧所述模数转换模块进行处理的像素单元的范围是否相同,若相同则对当前帧及前一帧所述在片图像处理模块所输出的图像信号进行比较,若比较结果为存在一图像变化区域,则将该图像变化区域确定为所述像素阵列中的局部区域并在下一帧开始前发出所述第二控制信号使得所述模数转换模块仅将该局部区域的所述像素单元的模拟电信号转换为数字信号,若比较结果为不存在所述图像变化区域,则在下一帧开始前发出与当前帧相同的控制信号至所述模数转换模块使得所述模数转换模块将与当前帧相同范围的所述像素单元的模拟电信号转换为数字信号;若当前帧及前一帧所述模数转换模块进行处理的像素单元的范围不同,则在下一帧开始前发出与当前帧相同的控制信号至所述模数转换模块使得所述模数转换模块将与当前帧相同范围的所述像素单元的模拟电信号转换为数字信号;其中T为大于1的正整数。
优选地,所述单通道CMOS图像传感器还包括高速数据接口,用于将所述在片图像处理模块输出的图像信号传输至外部;所述控制模块包括寄存器,用于将所述模数转换模块连续两次响应所述第一控制信号或连续两次响应相同的所述第二控制信号所输出的数字信号经图像处理后的图像信号暂存以进行比较。
优选地,在除了第1+nT和第2+nT帧的其它帧中,若所述控制模块判断第k帧和第k帧之前连续m帧的模数转换处理的像素单元范围均相同且均不存在所述图像变化区域,则所述控制模块在第k+1帧之前发出新的控制信号,该新的控制信号所指定的像素单元范围与第k-m-1帧时模数转换模块所处理的像素单元的范围一致,m为大于等于2的整数,且k-m≠1+nT,k-m≠2+nT。
根据本发明的另一方面,还提供了一种单通道CMOS图像传感器的数据传输方法,所述单通道CMOS图像传感器包括由多个像素单元组成的像素阵列,所述数据传输方法包括以下步骤:将所述像素单元的模拟电信号转换为数字信号;对所述数字信号进行图像处理并输出图像信号;其中,在第1+nT和第2+nT帧时将所述像素阵列输出的全部模拟电信号转换为数字信号,n为整数,在其余帧开始前,判断当前帧及前一帧是否均将所述像素阵列全部像素单元输出的模拟电信号转换为数字信号,若判断结果为是则对当前帧及前一帧所输出的图像信号进行比较,若比较结果为存在一图像变化区域,则将该图像变化区域确定为局部区域并在下一帧时仅将该局部区域的所述像素单元的模拟电信号转换为数字信号,若比较结果为不存在所述图像变化区域,则下一帧时仍将所述像素阵列输出的全部模拟电信号转换为数字信号;若判断结果为否则在下一帧时将与当前帧相同范围的所述像素单元的模拟电信号转换为数字信号,其中T为大于1的正整数。
优选地,在除了第1+nT和第2+nT帧的其它帧中,若第k帧和第k帧之前连续m帧均不存在所述图像变化区域,则在第k+1帧时将所述像素阵列全部的所述像素单元的模拟电信号转换为数字信号,m为大于等于2的整数,且k-m≠1+nT,k-m≠2+nT。
根据本发明的另一方面,还提供了一种单通道CMOS图像传感器的数据传输方法,所述单通道CMOS图像传感器包括由多个像素单元组成的像素阵列,所述数据传输方法包括以下步骤:将所述像素单元的模拟电信号转换为数字信号;对所述数字信号进行图像处理并输出图像信号;其中,在第1+nT和第2+nT帧时将所述像素阵列输出的全部模拟电信号转换为数字信号,n为整数,在其余帧开始前,判断当前帧及前一帧进行模数转换处理的像素单元的范围是否相同,若判断为相同则对当前帧及前一帧所输出的图像信号进行比较,若比较结果为存在一图像变化区域,则将该图像变化区域确定为所述像素阵列中的局部区域并在下一帧时仅将该局部区域的所述像素单元的模拟电信号转换为数字信号,若比较结果为不存在所述图像变化区域,则在下一帧时将与当前帧相同范围的所述像素单元的模拟电信号转换为数字信号;若判断为不同,则在下一帧时将与当前帧相同范围的所述像素单元的模拟电信号转换为数字信号,其中T为大于1的正整数。
优选地,在除了第1+nT和第2+nT帧的其它帧中,若判断第k帧和第k帧之前连续m帧的模数转换处理的像素单元范围均相同且均不存在所述图像变化区域,则在第k+1帧时将与第k-m-1帧时将相同范围的所述像素单元的模拟电信号转换为数字信号,m为大于等于2的整数,且k-m≠1+nT,k-m≠2+nT。
本发明的优点在于通过控制模块识别出连续两帧图像发生较大变化的区域,并控制模数转换模块在后续帧时只对图像变化区域进行模数转换,由此可以大幅减小在片模拟数字信号转换、在片图像处理、高速数据接口等各方面的压力,进一步减小芯片功耗;此外,由于数据通道的数据流减小,帧率也得以提高。
附图说明
图1所示为本发明一实施例的CMOS图像传感器的方块图;
图2所示为本发明一实施例的CMOS图像传感器对第一至第三帧数据传输的示意图;
图3所示为本发明一实施例的CMOS图像传感器对第一至第六帧数据传输的示意图。
具体实施方式
为使本发明的内容更加清楚易懂,以下结合说明书附图,对本发明的内容作进一步说明。当然本发明并不局限于该具体实施例,本领域内的技术人员所熟知的一般替换也涵盖在本发明的保护范围内。
实施例1
请参考图1和图2,本实施例的单通道CMOS图像传感器包括由多个像素单元组成的像素阵列1,数据处理单元2以及高速数据接口3。其中,像素单元用于将光信号转换为模拟电信号,数据处理单元2用于将像素单元的模拟电信号转换为图像信号,经转换的图像信号经高速数据接口3输出至外部。数据处理单元2包括模数转换模块21、在片图像处理模块22和控制模块23。模数转换模块21可响应第一控制信号S1或第二控制信号S2以执行模拟信号转换为数字信号的动作,具体来说,模数转换模块21根据第一控制信号S1将像素阵列1全部像素单元所输出的全部模拟电信号转换为数字信号,而根据第二控制信号S2仅将像素阵列中局部区域的像素单元输出的模拟电信号转换为数字信号。在片图像处理模块22对模数转换模块21所输出的数字信号进行图像处理并输出图像信号,该图像处理包括但不限于色彩片换、去噪处理、白平衡等。控制模块23则根据当前帧和前一帧模数转换模块以及在片图像处理模块的处理结果,在下一帧开始前相应发出第一控制信号S1或第二控制信号S2以控制下一帧时模数转换模块和在片图像处理模块的动作,其中第二控制信号S2指定了像素阵列的局部区域。具体来说,首先,控制模块在第一帧、第二帧以及从第一、二帧起的每隔T帧开始之前会发出第一控制信号S1给模数转换模块21,即,在第1+nT和第2+nT帧时发出第一控制信号S1,n为整数。而在其余帧开始之前,控制模块23会判断当前帧及前一帧模数转换模块21是否均将像素阵列全部像素单元所输出的模拟电信号转换为数字信号,如果判断为是的话则对当前帧及前一帧在片图像处理模块23所输出的图像信号进行比较,若比较结果发现两帧间存在一个图像变化区域,那么就将该图像变化区域确定为像素阵列中的局部区域,并在下一帧开始前发出第二控制信号S2使得模数转换模块21在下一帧时仅将该局部区域的像素单元的模拟电信号转换为数字信号,若比较结果为不存在图像变化区域,则在下一帧开始前发出第一控制信号S1至模数转换模块21使得模数转换模块21仍将像素阵列中全部像素单元的模拟电信号转换为数字信号;如果判断为当前帧或前一帧至少其中一帧传输时模数转换模块21未将像素阵列全部像素单元所输出的模拟电信号转换为数字信号,那么在下一帧开始之前发出与当前帧相同的控制信号至模数转换模块21使得模数转换模块21将与当前帧相同范围的像素单元的模拟电信号转换为数字信号。其中,控制模块23可包括寄存器,用于将模数转换模块21连续两次响应第一控制信号S1所输出的数字信号经图像处理模块22处理后的图像信号暂存以进行比较。
接下来将结合图2进一步详细说明本实施例的CMOS图像传感器。
如图2所示,像素阵列包括6k*4k个像素单元,在第一帧开始前,控制模块发出第一控制信号S1至模数转换模块,使得第一帧时2400万(6k*4k)个像素单元的模拟电信号按传统方式读出,即模数转换模块将所有2400万个模拟电信号转换为数字信号,在片图像处理模块同时处理这2400万个数字信号以形成图像信号,之后24M*10*12=240M*12bps的图像信号数据经过高速数据接口输出。当在片图像处理模块处理2400万个数字信号时,会将图像信号通过控制模块的寄存器进行寄存。在第二针开始前,控制模块仍然发出第一控制信号S1至模数转换模块,使得第二帧传输时模数转换模块的动作与第一帧类似,将所有2400万个模拟电信号转换为数字信号,再由在片图像处理模块处理并通过高速数据接口输出。当在片图像处理模块处理第二帧的2400万个数字信号时,会将图像信号通过控制模块的寄存器进行寄存。此时,控制模块判断第一帧和第二帧均将像素阵列的全部模拟电信号进行模数转换,进而将第一帧与第二帧的图像信号进行比较,选择出两帧间的变化区域(例如为2k*1k=200万像素的小区域),将这些变化区域编码后,形成第二控制信号在第三帧开始前发送给模数转换模块,该第二控制信号指定了200万像素的小区域作为第三帧传输时的局部区域。当第三帧传输时,模拟数字信号的转换仅在上述变化区域进行,在片图像处理模块也仅对上述变化区域进行图像处理,高速数据接口需要传输的数据量为2M*10*12=20M*12bps,由此可见该数据量大幅减小了,而且可以把帧率提高至30fps,即帧率为30fps时高速数据接口需要传输的数据量为2M*30*12=60M*12bps,仍然远小于原来的24M*10*12=240M*12bps。由于第三帧模数转换模块仅将局部区域(变化区域)的模拟电信号转换为数字信号,控制模块判断第三帧和第二帧时并不都是将整个像素阵列进行模数转换,因此在第四帧开始前会发出与第三帧相同的第二控制信号,使得第四帧传输时模数转换模块仍然对变化区域(例如为2k*1k=200万像素的小区域)进行模数转换。后续帧的传输方法也与上述方式类似。然而,上述方式一旦产生变化区域,后续帧传输时模数转换、图像处理及图像数据输出也仅针对该变化区域的像素单元,若图像发生新的变化区域,则无法识别。为避免该问题,控制模块会周期性地发送第一控制信号至模数转换模块,以定期切换到全画幅2400万(6k*4k)像素进行模拟数字信号转换、在片图像处理与高速接口输出。另一方面,假设第二帧时控制模块没有发现第一第二帧的图像变化区域,那么在第三帧开始前会发出第一控制信号使得第三帧传输时模数转换模块仍然对像素阵列全部像素单元进行模数转换。之后当第三帧传输时控制模块判断第三帧和第二帧均将像素阵列的全部模拟电信号进行模数转换,进而将第三帧与第二帧的图像信号进行比较,选择出两帧间的变化区域,将变化区域编码后,形成第二控制信号在第四帧开始前发送给模数转换模块。此外需要说明的是,变化区域可通过图像信号发生变化的像素单元的数量是否大于等于一设定值来进行判断,如果图像信号发生变化的像素单元占到整个像素阵列的一定比例,那么认为这些像素单元构成图像变化区域,否则则认为这些像素单元并未构成图像变化区域,由此可以避免图像变化区域过小而导致误判。
本实施例的CMOS图像传感器的数据传输方法,其包括将像素单元的模拟电信号转换为数字信号;以及对数字信号进行图像处理并输出图像信号。具体地,在第1+nT和第2+nT帧时将像素阵列输出的全部模拟电信号转换为数字信号,n为整数,在其余帧开始前,判断当前帧及前一帧是否均将像素阵列全部像素单元输出的模拟电信号转换为数字信号,若判断结果为是则对当前帧及前一帧所输出的图像信号进行比较,若比较结果为存在一图像变化区域,则将该图像变化区域确定为局部区域并在下一帧时仅将该局部区域的所述像素单元的模拟电信号转换为数字信号,若比较结果为不存在图像变化区域,则下一帧时仍将像素阵列输出的全部模拟电信号转换为数字信号;若判断结果为否则在下一帧时将与当前帧相同范围的像素单元的模拟电信号转换为数字信号,其中T为大于1的正整数。
进一步地,在模数转换范围相同的情况下如果控制模块连续多帧无法找到图像变化区域,那意味着图像可能在别处产生了变化,而有必要扩大模数转换的像素单元的范围,在这种情况下控制模块可重新发出第一控制信号。具体来说,在除了第1+nT和第2+nT帧的其它帧中,如果第k帧和第k帧之前的连续m帧的模数转换处理范围均相同且判定为不存在图像变化区域,则控制模块判定需要扩大模数转换范围,其在第k+1帧之前发出第一控制信号,使得模数转换模块在第k+1帧时将像素阵列全部的像素单元的模拟电信号转换为数字信号。假设第三、四、五帧模数转换模块均对2k*1k=200万像素的小区域进行模数转换,且控制模块判定第三和第四帧之间,以及第四和第五帧之间都不存在图像变化区域,那么在第六帧之前,控制模块会重新发出第一控制信号,使得第六帧时模数转换模块对整个像素阵列的模拟信号进行模数转换。这样的好处是,可以根据实际情况切换到全画幅像素进行模拟数字信号转换而不需要等到特定时间。
实施例2
请参考图1和图3,本实施例的单通道CMOS图像传感器包括由多个像素单元组成的像素阵列1,数据处理单元2以及高速数据接口3。其中,像素单元用于将光信号转换为模拟电信号,数据处理单元2用于将像素单元的模拟电信号转换为图像信号,经转换的图像信号经高速数据接口3输出至外部。数据处理单元2包括模数转换模块21、在片图像处理模块22和控制模块23。模数转换模块21可响应第一控制信号S1或第二控制信号S2以执行模拟信号转换为数字信号的动作,具体来说,模数转换模块21根据第一控制信号S1将像素阵列1全部像素单元所输出的全部模拟电信号转换为数字信号,而根据第二控制信号S2仅将像素阵列中局部区域的像素单元输出的模拟电信号转换为数字信号。在片图像处理模块22对模数转换模块21所输出的数字信号进行图像处理并输出图像信号,该图像处理包括但不限于色彩片换、去噪处理、白平衡等。控制模块23则根据当前帧和前一帧模数转换模块以及在片图像处理模块的处理结果,在下一帧开始前相应发出第一控制信号S1或第二控制信号S2以控制下一帧时模数转换模块和在片图像处理模块的动作,其中第二控制信号S2指定了像素阵列的局部区域。具体来说,首先,控制模块在第一帧、第二帧以及从第一、二帧起的每隔T帧开始之前会发出第一控制信号S1给模数转换模块21,即,在第1+nT和第2+nT帧时发出第一控制信号S1,n为整数。而在其余帧开始之前,控制模块23会判断当前帧及前一帧模数转换模块21进行处理的像素单元的范围是否相同,如果判断为相同的话则对当前帧及前一帧在片图像处理模块所输出的图像信号进行比较,若比较结果发现两帧间存在一个图像变化区域,那么就将该图像变化区域确定为像素阵列中的局部区域,并在下一帧开始前发出第二控制信号S2使得模数转换模块21在下一帧时仅将该局部区域的像素单元的模拟电信号转换为数字信号,若比较结果为不存在图像变化区域,则在下一帧开始前发出与当前帧相同的控制信号至模数转换模块21使得模数转换模块21将与当前帧相同范围的像素单元的模拟电信号转换为数字信号;如果判断为当前帧及前一帧模数转换模块21处理的像素单元的范围不同,那么在下一帧开始之前发出与当前帧相同的控制信号至模数转换模块21使得模数转换模块21将与当前帧相同范围的像素单元的模拟电信号转换为数字信号。其中,控制模块23可包括寄存器,用于将模数转换模块21连续两次响应第一控制信号S1或连续两次响应相同的第二控制信号S2(即指定的局部区域相同)所输出的数字信号经图像处理模块22处理后的图像信号暂存以进行比较。
接下来将结合图3进一步详细说明本实施例的CMOS图像传感器。
如图3所示,像素阵列包括6k*4k个像素单元,在第一帧开始前,控制模块发出第一控制信号至模数转换模块,使得第一帧时2400万(6k*4k)个像素单元的模拟电信号按传统方式读出,即模数转换模块将所有2400万个模拟电信号转换为数字信号,在片图像处理模块同时处理这2400万个数字信号以形成图像信号,之后24M*10*12=240M*12bps的图像信号数据经过高速数据接口输出。当在片图像处理模块处理2400万个数字信号时,会将图像信号通过控制模块的寄存器进行寄存。在第二针开始前,控制模块仍然发出第一控制信号至模数转换模块,使得第二帧传输时模数转换模块的动作与第一帧类似,将所有2400万个模拟电信号转换为数字信号,再由在片图像处理模块处理并通过高速数据接口输出。当在片图像处理模块处理第二帧的2400万个数字信号时,会将图像信号通过控制模块的寄存器进行寄存。此时,控制模块判断第一帧和第二帧进行模数转换的像素单元范围为相同(均为整个像素阵列的全部像素单元),进而将第一帧与第二帧的图像信号进行比较,选择出两帧间的变化区域(例如为5k*1k=500万像素的小区域),将这些变化区域编码后,形成第二控制信号在第三帧开始前发送给模数转换模块。而第三帧传输时,模拟数字信号的转换仅在上述变化区域进行,在片图像处理模块也仅对上述变化区域进行图像处理,高速数据接口需要传输的数据量为5M*10*12=50M*12bps。由于第三帧模数转换模块仅将局部区域(变化区域)的模拟电信号转换为数字信号,控制模块判断第三帧和第二帧时发现两帧的模数转换处理范围不同,因此在第四帧开始前会发出与第三帧相同的第二控制信号(即指定的局部区域也相同),使得第四帧传输时模数转换模块也对5k*1k=500万像素的小区域进行模数转换。而当第五帧开始前,控制模块判断第三帧和第四帧进行模数转换的像素单元范围为相同(均为500万像素的小区域),进而将第三帧与第四帧的图像信号进行比较,选择出两帧间的变化区域(例如为2k*1k=200万像素的小区域),将这些变化区域编码后,形成新的第二控制信号在第五帧开始前发送给模数转换模块。在第五帧传输时,模拟数字信号的转换仅在上述200万像素的变化区域进行,在片图像处理模块也仅对上述变化区域进行图像处理,高速数据接口需要传输的数据量为2M*10*12=20M*12bps。后续帧的传输方法也与上述方式类似。然而,由于上述方式一旦产生变化区域,后续帧时变化区域只会越来越小,模数转换、图像处理及图像数据输出也仅针对该变化区域的像素单元,若图像发生新的变化区域,则无法识别。为避免该问题,控制模块会周期性地发送第一控制信号至模数转换模块,以定期切换到全画幅2400万(6k*4k)像素进行模拟数字信号转换、在片图像处理与高速接口输出。另一方面,假设第三帧和第四帧的图像信号完全相同,那么在第五帧开始前控制模块判断第三、第四帧两者间不存在图像变化区域,会在第五帧开始前发出与第四帧相同的控制信号(即指定的局部区域与第四帧相同)使得第五帧传输时模数转换模块仍然对与第四帧相同范围的像素单元进行模数转换。通过上述数据传输方法,可以不断缩小模数转换模块需进行处理的像素单元的范围,也就能够不断减小模数转换模块、在片图像处理模块以及高速数据接口的压力。本实施例中,也可通过图像信号发生变化的像素单元的数量是否大于等于一设定值来进行判断前后两帧是否产生图像变化区域,在此不另加赘述。
本实施例的CMOS图像传感器的数据传输方法,其包括将像素单元的模拟电信号转换为数字信号;以及对数字信号进行图像处理并输出图像信号。具体地,在第1+nT和第2+nT帧时将像素阵列输出的全部模拟电信号转换为数字信号,n为整数,在其余帧开始前,判断当前帧及前一帧进行模数转换处理的像素单元的范围是否相同,若判断为相同则对当前帧及前一帧所输出的图像信号进行比较,若比较结果为存在一图像变化区域,则将该图像变化区域确定为所述像素阵列中的局部区域并在下一帧时仅将该局部区域的像素单元的模拟电信号转换为数字信号,若比较结果为不存在图像变化区域,则下一帧时将与当前帧相同范围的像素单元的模拟电信号转换为数字信号;若判断结果为不同则在下一帧时将与当前帧相同范围的像素单元的模拟电信号转换为数字信号,其中T为大于1的正整数。
进一步地,在模数转换范围相同的情况下如果控制模块连续多帧无法找到图像变化区域,那意味着图像可能在别处产生了变化,而有必要扩大模数转换的像素单元的范围,在这种情况下控制模块可重新指定局部区域并发出新的第二控制信号或重新发出第一控制信号。具体来说,在除了第1+nT和第2+nT帧的其它帧中,如果第k帧和第k帧之前的连续m帧的模数转换处理范围均相同且判定为不存在图像变化区域,则控制模块判定需要扩大模数转换范围,其在第k+1帧之前发出新的控制信号,该新的控制信号所指定的像素单元范围应与第k-m-1帧时模数转换处理的像素单元范围一致。假设第三、四、五帧模数转换模块均对5k*1k=500万像素的小区域进行模数转换,且控制模块判定第三和第四帧之间,以及第四和第五帧之间都不存在图像变化区域,那么在第六帧之前,控制模块会重新发出与第二帧相同的控制信号,即第一控制信号,使得第六帧时模数转换模块对整个像素阵列的模拟信号进行模数转换。这样的好处是,不需要等到特定时间才切换到全画幅像素进行模拟数字信号转换,而是可以根据实际情况对模数转换范围进行调整。
虽然本发明已以较佳实施例揭示如上,然所述诸多实施例仅为了便于说明而举例而已,并非用以限定本发明,本领域的技术人员在不脱离本发明精神和范围的前提下可作若干的更动与润饰,本发明所主张的保护范围应以权利要求书所述为准。

Claims (10)

1.一种单通道CMOS图像传感器,其特征在于,包括:
由多个像素单元组成的像素阵列,所述像素单元用于将光信号转换为模拟电信号;
数据处理单元,其包括:
模数转换模块,用于响应第一控制信号以将所述像素阵列全部所述像素单元所输出的模拟电信号转换为数字信号或响应第二控制信号以仅将所述像素阵列中局部区域的像素单元输出的模拟电信号转换为数字信号;
在片图像处理模块,用于对所述模数转换模块所输出的数字信号进行图像处理并输出图像信号;
控制模块,用于发出所述第一控制信号和所述第二控制信号,其中所述第二控制信号指定所述局部区域;
其中,所述控制模块在第1+nT和第2+nT帧开始前发出所述第一控制信号至所述模数转换模块使所述模数转换模块在第1+nT和第2+nT帧时将所述像素阵列全部所述像素单元所输出的模拟电信号转换为数字信号,n为正整数,在除第1+nT和第2+nT帧以外的其余帧开始之前,所述控制模块判断当前帧及前一帧所述模数转换模块是否均将所述像素阵列输出的全部模拟电信号转换为数字信号,若判断结果为是,则对当前帧及前一帧所述在片图像处理模块所输出的图像信号进行比较,若比较结果为存在一图像变化区域,则将该图像变化区域确定为所述像素阵列中的局部区域并在下一帧开始之前发出所述第二控制信号使得所述模数转换模块仅将该局部区域的所述像素单元的模拟电信号转换为数字信号,若比较结果为不存在所述图像变化区域,则在下一帧开始前发出所述第一控制信号至所述模数转换模块使得所述模数转换模块将所述像素阵列全部的所述像素单元的模拟电信号转换为数字信号;若判断结果为否,则在下一帧开始之前发出与当前帧相同的控制信号至所述模数转换模块使得所述模数转换模块将与当前帧相同范围的所述像素单元的模拟电信号转换为数字信号;其中T为大于1的正整数。
2.根据权利要求1所述的单通道CMOS图像传感器,其特征在于,还包括高速数据接口,用于将所述在片图像处理模块输出的图像信号传输至外部;所述控制模块包括寄存器,用于将所述模数转换模块连续两次响应所述第一控制信号所输出的数字信号经图像处理后的图像信号暂存以进行比较。
3.根据权利要求1所述的单通道CMOS图像传感器,其特征在于,在除了第1+nT和第2+nT帧的其它帧中,若所述控制模块判断第k帧和第k帧之前连续m帧均不存在所述图像变化区域,则所述控制模块在第k+1帧之前发出所述第一控制信号至所述模数转换模块,使得所述模数转换模块在第k+1帧时将所述像素阵列全部的所述像素单元的模拟电信号转换为数字信号,m为大于等于2的整数,且k-m≠1+nT,k-m≠2+nT。
4.一种单通道CMOS图像传感器,其特征在于,包括:
由多个像素单元组成的像素阵列,所述像素单元用于将光信号转换为模拟电信号;
数据处理单元,其包括:
模数转换模块,用于响应第一控制信号以将所述像素阵列输出的全部模拟电信号转换为数字信号或响应第二控制信号以仅将所述像素阵列中局部区域的像素单元输出的模拟电信号转换为数字信号;
在片图像处理模块,用于对所述模数转换模块所输出的数字信号进行图像处理并输出图像信号;
控制模块,用于发出所述第一控制信号和所述第二控制信号,其中所述第二控制信号指定所述局部区域;
其中,所述控制模块在第1+nT和第2+nT帧开始前发出所述第一控制信号至所述模数转换模块使所述模数转换模块在第1+nT和第2+nT帧时将所述像素阵列全部所述像素单元所输出的模拟电信号转换为数字信号,n为正整数,在除第1+nT和第2+nT帧以外的其余帧开始前,所述控制模块判断当前帧及前一帧所述模数转换模块进行处理的像素单元的范围是否相同,若相同,则对当前帧及前一帧所述在片图像处理模块所输出的图像信号进行比较,若比较结果为存在一图像变化区域,则将该图像变化区域确定为所述像素阵列中的局部区域并在下一帧开始前发出所述第二控制信号使得所述模数转换模块仅将该局部区域的所述像素单元的模拟电信号转换为数字信号,若比较结果为不存在所述图像变化区域,则在下一帧开始前发出与当前帧相同的控制信号至所述模数转换模块使得所述模数转换模块将与当前帧相同范围的所述像素单元的模拟电信号转换为数字信号;若当前帧及前一帧所述模数转换模块进行处理的像素单元的范围不同,则在下一帧开始前发出与当前帧相同的控制信号至所述模数转换模块使得所述模数转换模块将与当前帧相同范围的所述像素单元的模拟电信号转换为数字信号;其中T为大于1的正整数。
5.根据权利要求4所述的单通道CMOS图像传感器,其特征在于,还包括高速数据接口,用于将所述在片图像处理模块输出的图像信号传输至外部;所述控制模块包括寄存器,用于将所述模数转换模块连续两次响应所述第一控制信号或连续两次响应相同的所述第二控制信号所输出的数字信号经图像处理后的图像信号暂存以进行比较。
6.根据权利要求4所述的单通道CMOS图像传感器,其特征在于,在除了第1+nT和第2+nT帧的其它帧中,若所述控制模块判断第k帧和第k帧之前连续m帧的模数转换处理的像素单元范围均相同且均不存在所述图像变化区域,则所述控制模块在第k+1帧之前发出新的控制信号,该新的控制信号所指定的像素单元范围与第k-m-1帧时模数转换模块所处理的像素单元的范围一致,m为大于等于2的整数,且k-m≠1+nT,k-m≠2+nT。
7.一种单通道CMOS图像传感器的数据传输方法,所述单通道CMOS图像传感器包括由多个像素单元组成的像素阵列,其特征在于,包括以下步骤:
将所述像素单元的模拟电信号转换为数字信号;
对所述数字信号进行图像处理并输出图像信号;
其中,在第1+nT和第2+nT帧时将所述像素阵列输出的全部模拟电信号转换为数字信号,n为正整数,在除第1+nT和第2+nT帧以外的其余帧开始前,判断当前帧及前一帧是否均将所述像素阵列全部像素单元输出的模拟电信号转换为数字信号,若判断结果为是,则对当前帧及前一帧所输出的图像信号进行比较,若比较结果为存在一图像变化区域,则将该图像变化区域确定为局部区域并在下一帧时仅将该局部区域的所述像素单元的模拟电信号转换为数字信号,若比较结果为不存在所述图像变化区域,则下一帧时仍将所述像素阵列输出的全部模拟电信号转换为数字信号;若判断结果为否则在下一帧时将与当前帧相同范围的所述像素单元的模拟电信号转换为数字信号,其中T为大于1的正整数。
8.根据权利要求7所述的数据传输方法,其特征在于,在除了第1+nT和第2+nT帧的其它帧中,若第k帧和第k帧之前连续m帧均不存在所述图像变化区域,则在第k+1帧时将所述像素阵列全部的所述像素单元的模拟电信号转换为数字信号,m为大于等于2的整数,且k-m≠1+nT,k-m≠2+nT。
9.一种单通道CMOS图像传感器的数据传输方法,所述单通道CMOS图像传感器包括由多个像素单元组成的像素阵列,其特征在于,包括以下步骤:
将所述像素单元的模拟电信号转换为数字信号;
对所述数字信号进行图像处理并输出图像信号;
其中,在第1+nT和第2+nT帧时将所述像素阵列输出的全部模拟电信号转换为数字信号,n为正整数,在除第1+nT和第2+nT帧以外的其余帧开始前,判断当前帧及前一帧进行模数转换处理的像素单元的范围是否相同,若判断为相同,则对当前帧及前一帧所输出的图像信号进行比较,若比较结果为存在一图像变化区域,则将该图像变化区域确定为所述像素阵列中的局部区域并在下一帧时仅将该局部区域的所述像素单元的模拟电信号转换为数字信号,若比较结果为不存在所述图像变化区域,则在下一帧时将与当前帧相同范围的所述像素单元的模拟电信号转换为数字信号;若判断为不同,则在下一帧时将与当前帧相同范围的所述像素单元的模拟电信号转换为数字信号,其中T为大于1的正整数。
10.根据权利要求9所述的数据传输方法,其特征在于,在除了第1+nT和第2+nT帧的其它帧中,若判断第k帧和第k帧之前连续m帧的模数转换处理的像素单元范围均相同且均不存在所述图像变化区域,则在第k+1帧时将与第k-m-1帧时将相同范围的所述像素单元的模拟电信号转换为数字信号,m为大于等于2的整数,且k-m≠1+nT,k-m≠2+nT。
CN201510999431.8A 2015-12-28 2015-12-28 单通道cmos图像传感器及其数据传输方法 Active CN105430302B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510999431.8A CN105430302B (zh) 2015-12-28 2015-12-28 单通道cmos图像传感器及其数据传输方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510999431.8A CN105430302B (zh) 2015-12-28 2015-12-28 单通道cmos图像传感器及其数据传输方法

Publications (2)

Publication Number Publication Date
CN105430302A CN105430302A (zh) 2016-03-23
CN105430302B true CN105430302B (zh) 2018-10-16

Family

ID=55508203

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510999431.8A Active CN105430302B (zh) 2015-12-28 2015-12-28 单通道cmos图像传感器及其数据传输方法

Country Status (1)

Country Link
CN (1) CN105430302B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104284111B (zh) * 2014-10-30 2018-01-02 北京思比科微电子技术股份有限公司 Cmos图像传感器双通道数据传输结构及方法
JP6832155B2 (ja) 2016-12-28 2021-02-24 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、及び画像処理システム
CN107635086A (zh) * 2017-10-25 2018-01-26 深圳地平线机器人科技有限公司 固态图像传感器和图像感测方法
CN109287052A (zh) * 2018-11-07 2019-01-29 泉州思力科电子科技有限公司 一种灯具开关芯片及该灯具开关芯片的控制方法
CN114245048B (zh) * 2021-12-27 2023-07-25 上海集成电路装备材料产业创新中心有限公司 信号传输电路及图像传感器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2257048A1 (en) * 2009-05-29 2010-12-01 Samsung Electronics Co., Ltd. Camera unit and a multimedia information appliance
CN103281494A (zh) * 2013-05-03 2013-09-04 上海集成电路研发中心有限公司 Cmos图像传感器及其图像数据的传输方法
CN103402063A (zh) * 2013-08-16 2013-11-20 上海集成电路研发中心有限公司 Cmos图像传感器及其图像数据的传输方法
CN104054327A (zh) * 2012-01-20 2014-09-17 全视科技有限公司 具有集成周围光检测的图像传感器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2257048A1 (en) * 2009-05-29 2010-12-01 Samsung Electronics Co., Ltd. Camera unit and a multimedia information appliance
CN104054327A (zh) * 2012-01-20 2014-09-17 全视科技有限公司 具有集成周围光检测的图像传感器
CN103281494A (zh) * 2013-05-03 2013-09-04 上海集成电路研发中心有限公司 Cmos图像传感器及其图像数据的传输方法
CN103402063A (zh) * 2013-08-16 2013-11-20 上海集成电路研发中心有限公司 Cmos图像传感器及其图像数据的传输方法

Also Published As

Publication number Publication date
CN105430302A (zh) 2016-03-23

Similar Documents

Publication Publication Date Title
CN105430302B (zh) 单通道cmos图像传感器及其数据传输方法
CN103873781B (zh) 一种宽动态摄像机实现方法及装置
CN106488203B (zh) 图像处理方法、图像处理装置、成像装置及电子装置
CN103139492B (zh) 摄像装置、摄像方法以及监视系统
CN206042072U (zh) 一种双摄像头装置及终端
CN102063610A (zh) 影像辨识系统及方法
KR20190126232A (ko) 영상 처리 장치 및 방법
US9979935B2 (en) Image sensor device with macropixel processing and related devices and methods
US20150296173A1 (en) Method and device for implementing analog high-definition image capturing
CN103685926A (zh) 面部区域的影像处理方法以及使用此方法的电子装置
CN102300104A (zh) 3d电视机及其菜单处理的方法
CN104243834A (zh) 高清相机的图像分流控制方法及其装置
CN100420274C (zh) 一种摄像头和数据处理装置
CN102647595A (zh) 一种基于avs的亚像素运动估计的装置
CN205510224U (zh) 数字图像处理器
CN109639984A (zh) 服务数量控制平台
CN102186015A (zh) 多图像传感器的图像处理设备及图像处理方法
US11523071B1 (en) Disparity-preserving binning for phase detection autofocus in digital imaging systems
CN113837937B (zh) 多媒体处理芯片、电子设备图像融合方法和图像裁剪方法
CN111523350B (zh) 图像识别方法及装置、存储介质、终端、图像识别系统
CN106713842A (zh) 影像处理方法及其摄影机
CN111193901B (zh) 一种图像的传输方法、成像设备、系统及车辆
CN105578015A (zh) 对象追踪图像处理方法及其系统
CN202153766U (zh) 多图像传感器的图像处理设备
CN103489149B (zh) 一种图像获取的方法及一种电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant