CN109829866A - 列噪声检测方法、装置、介质及系统 - Google Patents
列噪声检测方法、装置、介质及系统 Download PDFInfo
- Publication number
- CN109829866A CN109829866A CN201910103469.0A CN201910103469A CN109829866A CN 109829866 A CN109829866 A CN 109829866A CN 201910103469 A CN201910103469 A CN 201910103469A CN 109829866 A CN109829866 A CN 109829866A
- Authority
- CN
- China
- Prior art keywords
- column
- pixel
- noise
- image
- frame image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
Abstract
本申请涉及一种列噪声检测方法，包括，接收来自CMOS图像传感器的图像序列，该图像序列中每一帧图像包括N列像素，其中N为正整数；对于图像，从N列像素中取M列，分别检测该帧图像中的M列中的每一列的水平频率响应，以分别确定M列中的每一列是否存在列噪声，并且，在不同图像中检测的像素列互不相同，其中M为正整数,且M＜N；以及将图像中的测得M列像素中的每一列是否存在列噪声的信息缓存到存储器中。与现有技术相比，本申请通过减少在每一帧时间中检测的像素列的数量，节省了用于缓存列噪声信息的片上存储空间。此外，本申请还涉及一种列噪声检测装置、介质及系统。
Description
技术领域
本申请涉及一种列噪声检测方法、装置、介质及系统。
背景技术
CMOS图像传感器近年来已经广泛应用于移动通信、多媒体娱乐、医疗、安防、航天等领域。目前CMOS图像传感器系统主流的处理结构是采用列共用处理电路，即每列像素共用一套信号处理电路。在这种结构中，由于相邻列ADC(模拟数字转换器)之间的差异， CMOS传感器中会出现噪声，称为列固定模式噪声(Column Fixed Pattern Noise，CFPN，以下简称“列噪声”)，在图像上表现为明暗不一的“竖线”，影响图像品质。相对于随机噪声，列噪声对于图像质量的影响更大，因此有关列噪声的问题一直是业界研究的重点。
发明内容
本申请的目的在于提供一种新的列噪声检测方案，以节省检测列噪声所需的片上存储空间。
本申请的一些方面提供了一种列噪声检测方法，包括，
接收来自CMOS图像传感器的图像序列，该图像序列中每一帧图像包括N列像素，其中N为正整数；
对于图像，从N列像素中取M列，分别检测该帧图像中的M列中的每一列的水平频率响应，以分别确定M列中的每一列是否存在列噪声，并且，在不同图像中检测的像素列互不相同，其中M为正整数,且M＜N；以及
将图像中的测得M列像素中的每一列是否存在列噪声的信息缓存到存储器中。
与现有技术相比，本申请通过减少在每一帧时间中检测的像素列的数量，节省了用于缓存列噪声信息的片上存储空间。
本申请的一些方面提供了一种噪声检测装置，包括，
图像接收单元，被配置为接收来自CMOS图像传感器的图像序列，该图像序列中每一帧图像包括N列像素，其中N为正整数；
列噪声检测单元，被配置为对于图像，从N列像素中取M列，分别检测该帧图像中的M列中的每一列的水平频率响应，以分别确定M列中的每一列是否存在列噪声，并且，在不同图像中检测的像素列互不相同，其中M为正整数,且M＜N；和
缓存单元，被配置为将图像中的测得M列像素中的每一列是否存在列噪声的信息缓存到存储器中。
本申请的一些方面提供了一种机器可读介质，该机器可读介质中存储了指令，该指令被机器运行时，机器执行前述第一方面或第一方面的任一实现方式提供的方法。
本申请的一些方面提供了一种系统，该系统包括处理器和存储器，存储器中包含要被处理器执行的指令，处理器用于读取存储器中的指令，以执行前述方法。
本申请用处理时间换取片上存储空间，将列噪声的检测过程分到多帧中进行，有效减少了片上缓存空间，有利于图像处理器的小型化。
附图说明
图1是根据本申请的实施例的列噪声检测方法的流程图。
图2A是根据传统方法检测列噪声的示意图。
图2B是根据本申请的实施例在第1-N帧中分别检测第1-N列的列噪声的过程的示意图。
图3是根据本申请的实施例的列噪声检测装置框图。
图4是根据本申请的实施例的图像信号处理器的架构示例。
图5A是示出根据本申请实施例的示例性处理器流水线的框图。
图5B是示出根据本申请实施例的将包括在处理器中的架构核的框图。
图5C是根据本申请实施例的可具有超过一个核的处理器的框图。
图6是根据本申请实施例的系统的框图。
图7是根据本申请实施例的一种片上系统(SoC)的框图。
具体实施方式
本公开的说明性实施例包括但不限于列噪声检测的方法、系统和装置。
以下由特定的具体实施例说明本申请的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本申请的其他优点及功效。虽然本申请的描述将结合较佳实施例一起介绍，但这并不代表此发明的特征仅限于该实施方式。恰恰相反，结合实施方式作发明介绍的目的是为了覆盖基于本申请的权利要求而有可能延伸出的其它选择或改造。为了提供对本申请的深度了解，以下描述中将包含许多具体的细节。本申请也可以不使用这些细节实施。此外，为了避免混乱或模糊本申请的重点，有些具体细节将在描述中被省略。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
此外，各种操作将以最有助于理解说明性实施例的方式被描述为多个离散操作；然而，描述的顺序不应被解释为暗示这些操作必须依赖于顺序。特别是，这些操作不需要按呈现顺序执行。
除非上下文另有规定，否则术语“包含”，“具有”和“包括”是同义词。短语“A/B”表示“A或B”。短语“A和/或B”表示“(A和B)或者(A或B)”。
如这里所使用的，术语“模块”或“单元”可以指代、是或者包括：专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的(共享、专用或组)处理器和/或存储器、组合逻辑电路和/或提供所描述的功能的其他合适的组件。
在一些情况下，所公开的实施例可以以硬件、固件、软件或其任何组合来实现。所公开的实施例还可以被实现为由一个或多个暂时或非暂时性机器可读(例如，计算机可读)存储介质承载或存储在其上的指令，其可以由一个或多个处理器读取和执行。例如，指令可以通过网络或通过其他计算机可读介质的途径分发。因此，机器可读介质可以包括用于以机器(例如，计算机)可读的形式存储或传输信息的任何机制、但不限于、软盘、光盘、光盘、只读存储器(CD-ROM)、磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、磁卡或光卡、闪存、或用于通过电、光、声或其他形式的传播信号(例如，载波、红外信号、数字信号等)通过因特网传输信息的有形的机器可读存储器。因此，机器可读介质包括适合于以机器(例如，计算机)可读的形式存储或传输电子指令或信息的任何类型的机器可读介质。
在附图中，以特定布置和/或顺序示出一些结构或方法特征。然而，应该理解，可以不需要这样的特定布置和/或排序。在一些实施例中，这些特征可以以不同于说明性附图中所示的方式和/或顺序来布置。另外，在特定图中包含结构或方法特征并不意味着暗示在所有实施例中都需要这样的特征，并且在一些实施例中，可以不包括这些特征或者可以与其他特征组合。
应注意的是，在本说明书中，相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请的实施方式作进一步地详细描述。
对于CMOS图像传感器，传统的CFPN(列固定模式噪声，Column Fixed PatternNoise) 检测通常会在一帧的时间内检测所有列C1,…,CN，如图2A所示，从而得到列噪声存在的区域，并对其进行相应的处理。在这种情况下，图像处理器需要开辟一个完整的行缓冲区 201来存储所有列C1,…,CN是否有噪声的信息。
而本申请在此提供一种新的CFPN检测方案，将列噪声的检测过程分到多帧图像中进行，使图像处理器不再需要开辟一个完整的行缓冲区来存储所有列是否有噪声的信息，节省CFPN检测所需的片上存储器。
根据本申请的一个实施例，提供一种列噪声检测方法，如图1所示，包括以下步骤：
步骤S101，接收来自CMOS图像传感器的图像序列，该图像序列中每一帧图像均包括N列像素，其中N为正整数，其中N的具体数值取决于图像传感器的结构。
随后，步骤S102，对于图像，从N列像素中取M列，分别检测该帧图像中的M列中的每一列的水平频率响应，即使用数字滤波器对图像进行处理后，得出的关于图像中的每一列所包含的频率成分的信息，当图像中出现明显列噪声时，水平频率响应值较大，例如，可以将空域高通滤波器作用于图像上，例如将算子(-1，2，-1)作用于水平的相邻像素上，当图像中出现明显列噪声时，算子的响应值很大，其他情况下响应值较小。以分别确定这 M列中的每一列是否存在列噪声，并且，在不同图像中检测的像素列互不相同，其中M为正整数,且M＜N。以及，随后，步骤S103，将该图像中的测得的M列像素中的每一列是否存在列噪声的信息缓存到存储器中。
在一种实施方式中，对于包含N列像素的图像，接收的图像序列可以包括例如N帧图像，随后，可以分别在每一帧中分别检测一列像素的水平频率响应，确定该像素列是否存在列噪声，这样在每一帧图像中检测一列像素，经过N帧图像，可以检测完所有的像素列。在这种实施方式中，只需要提供1比特来缓存该列是否是噪声的信息即可。
例如，如图2B所示，可以依次在图像序列的第i(其中0＜i＜N，且i为自然数)帧图像中检测第i列像素的水平频率响应，即，在第1帧图像中检测第1列，在第2帧图像中检测第2列……依次检测到第N列。这样，在片上可以只提供1比特的缓冲区202，用于缓存第i列(即图2B中的Ci)是否有噪声的信息。
在列噪声的检测中，可以采用一阶差分算法或二阶差分算法来利用像素列的水平频率响应确定像素列是否存在列噪声，举例来说，在CMOS图像传感器采集完图像向图像处理器传输时，通常按像素行依次传输，图像处理器接收到一个像素行后，假设该行中第i列的像素的频率响应为pi，与第i列相邻的第i-1和i+1列的水平频率响应分别为pi-1和pi+1，那么，可以预先设定一个阈值T，并分别计算第i列与两边的第i-1和i+1列的差值，并在收到所有像素行的图像后，按照像素列的方向来求和，如得到的结果Δpi超过阈值，则说明该列存在列噪声。Δpi的计算公式如下：
Δpi＝∑(|pi-pi-1|+|pi-pi+1|)
其中Σ为沿列方向求和，||为绝对值计算符，假设预设阈值为T1，若Δpi>T1，则说明第i列存在列噪声。
在另一种实施方式中，也可以根据第i列的像素的频率响应为pi以及与第i列相邻的第i-1和i+1列的水平频率响应pi-1和pi+1，采用二阶差分算法来判断是否存在列噪声，即：
Δpi＝∑(2×pi-pi+1-pi-1)
同样，其中的Σ为沿列方向求和，此时同样可以预设阈值T2，若Δpi>T2，则说明第i列存在列噪声。
以上关于列噪声的两种计算方法仅仅是举例说明，本领域的技术人员还可以采用其他方式来从每列的水平频率响应中得到列噪声信息。
在以上实施例中，结合图2B详细说明了在一帧的时间内只检测一列，即，M＝1；然后依次通过N帧检测完所有列的方案，需要注意的是，以上的顺序性说明等等仅仅是举例，并不是对本申请的限制。在其他实施方式中，本领域技术人员可以按照不同顺序检测不同像素列的列噪声，例如，在N帧图像的第1帧中检测第N列，在第2帧中检测第N-1列……
此外，除了上述的每帧检测一列(M＝1)的方式，而在一些其他实施例中，也可以在一帧中检测多列，只要不在一帧的时间内检测所有列，就能够达到节省片上存储空间的效果。例如，对于包含N列像素的图像，可以只采集(N/2向上取整)帧图像用于列噪声的检测，每帧检测2列(即，M＝2)，在第1帧中检测第1至2列，在第2帧中检测第 3至4列……这样，片上缓存空间只需要2比特即可。或者，在另一个实施例中，可以只采集两帧图像，用第1帧完成所有奇数列的检测，用第2帧完成所有偶数列的检测，那么图像处理器只需要开辟(即，)行的缓冲区来存储一半像素列是否有噪声的信息，相比于传统检测方式中需要开辟一个完整的行缓冲区来存储列噪声信息的方法，同样可以达到节省片上存储空间的效果。
以上描述了本申请的一些示例性实施例，在一些实施方式中，还可以具有未包括在附图或以上说明中的其他附加步骤。
在本申请中，将列噪声的检测过程分到多帧中进行，牺牲一些处理时间换取了片上存储空间，将列噪声的检测过程分到多帧中进行，有效减少了片上缓存空间，有利于图像处理器的小型化。虽然相对于传统的检测方法耗时较长，但是，这仅对第一次检测处理过程影响较大，在第一次检测之后，可以将所有像素列的列噪声检测结果存储到诸如flash等的非易失性存储器中，并在下次列图像采集时直接调用，这样，只有在第一次上电采集图像时会由于检测时间长导致列噪声处理时间的延长，在后面的噪声处理过程中，可以直接载入前一次的检测结果，从而快速地处理列噪声问题。
根据本申请的另一个实施例，还提供了一种列噪声检测装置30，包括图像接收单元 301、列噪声检测单元302和输出单元303。其中图像接收单元301被配置为接收来自CMOS图像传感器的图像序列，该图像序列中每一帧图像包括N列像素，其中N为正整数；列噪声检测单元302被配置对于图像，从N列像素中取M列，分别检测该帧图像中的M列中的每一列的水平频率响应，以分别确定M列中的每一列是否存在列噪声，并且，在不同图像中检测的像素列互不相同，其中M为正整数,且M＜N；缓存单元303被配置为将图像中的测得M列像素中的每一列是否存在列噪声的信息缓存到存储器中。该列噪声检测装置 30能够执行如图1所示的列噪声检测方法。
以上列噪声装置可以被实现为图像信号处理器或实现在图像信号处理器中。在一种实施方式中，该列噪声装置还可以包括CMOS图像传感器，用于采集图像序列并发送给图像接收单元，也就是说，CMOS图像传感器可以和图像处理器一体设置，也可以分开设置。
图4示出了根据本申请的实施例的图像信号处理器的架构示例。图像信号处理器通常由一些相对独立的模块顺序连接而成，视频数据能够在串联的模块中以数据流的方式顺序流动。例如，如图4所示，典型的图像信号处理器10可以包括：数字增益模块、缺陷像素校正模块、降噪模块、黑度校正模块、镜头阴影校正模块、白平衡增益模块、色调映射模块、色彩校正模块以及列噪声检测与处理模块等，本申请的实施例所提供的列噪声检测装置可以被实现在列噪声检测与处理模块中，或者作为列噪声检测与处理模块的补充。需要注意的是，图4中示出的架构仅仅是举例说明，并不构成对本申请的限制，在不同的实施方式中，以上模块可以被合并、拆分或者任意组合，或者可以仅包括一部分模块，或者可以包括更多的模块。
图5A是示出根据本申请的实施例的一种处理器流水线。图5B是示出根据本申请的实施例的将包括在处理器中的一种架构核。
在图5A中，处理器流水线1000包括，但不局限于，指令取出级1010、指令解码级1020、指令执行和存储器访问级1030、写回/写入级1040、指令引退级1050，和/或其他流水线级，等等。虽然图5A示例地示出了一种有序流水线，本技术领域的人员应理解其他技术可以对图5A所示的处理器流水线实现其他实施方案。例如，处理器流水线1000可以包含其他或者不同的处理级，诸如寄存器重命名、无序发布/执行流水线等。具体而言，处理器流水线1000还可以包括，但是不局限于，对取出指令进行长度解码的长度解码级(未示出)；对已解码的指令进行分配级(未示出)、寄存器重命名级(未示出)、调度级(也称为分派或发布级)(未示出)；异常处理级和提交级(未示出)，等等的无序发布/执行流水线。
在图5B中，处理器核1100包括，但不局限于，L1指令高速缓存单元1110、指令取出和解码单元1120、寄存器1130、执行单元1140、载入/存出单元1150、L1数据高速缓存单元1160，和/或其他单元。处理器核1100可以是精简指令集计算(RISC)核、复杂指令集计算(CISC)核、超长指令字(VLIW)核或混合或期待核类型。作为另一选项，处理器核1100可以是专用核，诸如网络或通信核、压缩引擎、协处理器核、通用计算图形处理器单元(GPGPU)核、或图形核等等。
根据本申请的一些实施例，指令取出和解码单元1120从L1指令高速缓存1110中获取指令并实现指令解码功能，从而生成从原始指令解码出的、或以其他方式反映原始指令的、或从原始指令导出的一个或多个微操作、微代码进入点、微指令、其他指令、或其他控制信号作为输出。指令解码单元1120可使用各种不同的机制来实现。合适的机制的示例包括，但不限于，查找表、硬件实现、可编程逻辑阵列(PLA)、微代码只读存储器(ROM) 等。在一个实施例中，核1100包括用于存储某些宏指令的微代码的微代码ROM或其他介质。指令解码单元1120可以通过寄存器单元1130耦合到执行单元1140和/或载入/存出单元1150。寄存器单元1130包括一个或多个寄存器，其中不同的寄存器存储一种或多种不同的数据类型，术语标量整数、标量浮点、打包整数、打包浮点、向量整数、向量浮点、状态(作为要执行的下一个指令的地址的指令指针)等。
本申请领域的技术人员应该可以理解，其他技术可以实施本申请的其他方面。例如，指令解码单元1120还可以不通过寄存器单元1130耦合到执行单元1140和/或载入/存出单元1150(未示出)。
执行单元1140和载入/存出单元1150实施处理器流水线中的执行功能。根据本申请的一些实施例，一个或多个执行单元1140的集合和一个或多个载入/存出单元1150的集合可以构成处理器的执行引擎。执行单元1140可以对各种类型的数据(例如，标量浮点、打包整数、打包浮点、向量整型、向量浮点)执行各种操作(例如，移位、加法、减法、乘法)。相应的，执行单元1140可以包括，但不局限于，标量算术逻辑运算单元、矢量算术逻辑运算单元、固定功能单元(fix function unit)、和/或类似单元等。尽管一些实施例可以包括，但不局限于，专用于特定功能或功能集合的多个执行单元，但其他实施例可包括，但不局限于，全部执行所有功能的仅一个执行单元或多个执行单元。寄存器单元1130和L1数据高速存储器单元1160实现了流水线中的写回/写入以及指令引退功能。
应当理解，其他技术可以对图5B的处理器核构架实现其他的实施方案。例如，处理器核1100还可包括，但不局限于，执行长度解码级的指令取出单元1120；耦合在解码单元1120和寄存器单元1130之间的寄存器重命名/分配单元(未示出)和调度单元(未示出)，其中，寄存器重命名/分配单元执行寄存器重命名级/分配级以及调度单元执行调度级；各单元可涉及到异常处理级，等等的无序发布/执行核构架。
在本申请的一些实施例中，处理器核1100耦合到L2存储器单元1170，该存储器单元包括，但不局限于，二级(L2)高速缓存单元(未示出)，该L2高速缓存单元还可进一步被耦合到一个或多个其他级的高速缓存，并最终耦合到主存储器(未示出)。
应当理解，核1100可支持多线程化(执行两个或更多个并行的操作或线程的集合)，并且可以按各种方式来完成该多线程化，此各种方式包括，但不局限于，时分多线程化、同步多线程化(其中单个物理核为物理核正在同步多线程化的各线程中的每一个线程提供逻辑核)、或其组合。
尽管在无序执行的上下文中描述了寄存器重命名，但应当理解，可以在有序架构中使用寄存器重命名。尽管所示出的处理器的实施例还包括，但不局限于，分开的指令和数据高速缓存单元1110/1160以及共享L2高速缓存单元1170，但替代实施例可以具有用于指令和数据两者的单个内部高速缓存，诸如例如一级(L1)内部高速缓存或多个级别的内部高速缓存。在一些实施例中，该系统可包括，但不局限于，内部高速缓存和外部高速缓存的组合，其中外部高速缓存是在核外和/或处理器外部。或者，所有高速缓存都可以在核内和 /或处理器的外部。
图5C是根据本申请实施例的可具有超过一个核的处理器的框图。在一个实施例中，处理器1200可包括，但不局限于，一个或多个处理器核1202A-1202N。其中，每个处理器核1202A-1202N可包括，但不局限于，高速缓存单元1204A-1204N以及寄存器单元 1206A-1206N。应理解，根据另一实施例，处理器核1202A-1202N还可包括其他处理器核单元，但是为了简化描述，这里就不一一重复了。
应理解，其他技术可以对图5C所示的处理器核构架实现其他的实施方案。例如，处理器1200还可包括系统代理单元(未示出)、一个或多个总线控制器单元(未示出)，等等。根据一个实施例，处理器核1202A-1202N中的一个或多个可以是通用核(例如，通用的有序核、通用的无序核、这两者的组合)；也可以是，主要用于图形和/或科学(吞吐量) 的专用核。因此，处理器1200可以是通用处理器、协处理器或专用处理器，诸如网络或通信处理器、压缩引擎、图形处理器、GPGPU(通用图形处理单元)、高吞吐量的集成众核 (MIC)协处理器、或嵌入式处理器等。该处理器可以被实现在一个或多个芯片上。处理器 1200可以是一个或多个衬底的一部分，和/或可以使用诸如BiCMOS、CMOS或NMOS等的多个加工技术中的任何一个技术将处理器1200实现在一个或多个衬底上。
处理器的存储器层次结构包括在各核内的一个或多个级别的高速缓存(例如，高速缓存单元1204A-1204N)，以及一个或多个共享高速缓存单元的集合(未示出)。该共享高速缓存单元的集合可以包括一个或多个中间级高速缓存，诸如二级(L2)、三级(L3)、四级(L4)或其他级别的高速缓存、末级高速缓存(LLC)、和/或其组合。在一个实施例中，处理器1200还可包括基于环的互连单元(未示出)将专用逻辑、共享高速缓存单元的集合 (未示出)以及上述系统代理单元(未示出)互连，但替代实施例可使用任何数量的公知技术来将这些单元互连。
在一些实施例中，核1202A-N中的一个或多个核能够多线程化。上述系统代理单元(未示出)包括，但不局限于，协调和操作核1202A-N的组件，例如功率控制单元(PCU)和显示单元。PCU可以是或包括用于调整核1202A-N和/或上述专用逻辑(未示出)的功率状态所需的逻辑和组件。显示单元用于驱动一个或多个外部连接的显示器。
核1202A-N在架构指令集方面可以是同构的或异构的；即，这些核1202A-N中的两个或更多个核可能能够执行相同的指令集，而其他核可能能够执行该指令集的仅仅子集或不同的指令集。
根据本申请的另一个实施例，还提供了一种机器可读介质，该介质中存储了指令，该指令被机器运行时，机器能够执行前面结合图2或3所描述的方法。
图6是根据本申请实施例的系统的框图。该系统包括，但不局限于，膝上型设备、台式机、手持PC、个人数字助理、工程工作站、服务器、网络设备、网络集线器、交换机、嵌入式处理器、数字信号处理器(DSP)、图形设备、视频游戏设备、机顶盒、微控制器、蜂窝电话、便携式媒体播放器、手持设备以及各种其他电子设备的其他系统。一般地，能够包含本文中所公开的处理器和/或其它执行逻辑的多个系统和电子设备一般都是合适的。
现在参见图6，所示为根据本申请的一个实施例的系统1300的框图。系统1300可以包括耦合到控制器中枢1303的一个或多个处理器1301。在一个实施例中，控制器中枢1303包括，但不局限于，图形存储器控制器中枢(GMCH)(未示出)和输入/输出中枢(IOH) (其可以在分开的芯片上)(未示出)，其中GMCH包括存储器和图形控制器并与IOH耦合。系统1300还可以包括耦合到控制器中枢1303的协处理器1302和存储器1304。或者，存储器和GMCH中的一个或两者可以被集成在处理器内(如本文中所描述的)，存储器1304 和协处理器1302直接耦合到处理器1301以及控制器中枢1303，控制器中枢1303与IOH 处于单个芯片中。
附加处理器1302的任选性质用虚线表示在图6中。处理器1301可包括本文中描述的处理核中的一个或多个，并且可以是处理器1200的某一版本。
存储器1304可以是例如动态随机存取存储器(DRAM)、相变存储器(PCM)或这两者的组合。对于至少一个实施例，控制器中枢1303经由诸如前端总线(FSB)之类的多分支总线、诸如快速通道互连(QPI)之类的点对点接口、或者类似的连接1306与处理器1301 进行通信。
在一个实施例中，处理器1301执行控制一般类型的数据处理操作的指令。协处理器指令可嵌入在这些指令中。处理器1301将这些协处理器指令识别为应当由附连的协处理器1302执行的类型。因此，处理器1301在协处理器总线或者其他互连上将这些协处理器指令(或者表示协处理器指令的控制信号)发布到协处理器1302。协处理器1302接受并执行所接收的协处理器指令。
现在参考图7，所示为根据本申请的一实施例的SoC1400的框图。其中，应用处理器1410和/或协处理器1420可包括本文中描述的处理核中的一个或多个，并且可以是处理器1200的某一版本。在图7中，互连单元1450被耦合至应用处理器1410；系统代理单元1480；总线控制器单元1490；集成存储器控制器单元1440；一组或一个或多个协处理器1420，其可包括集成图形逻辑、图像处理器、音频处理器和视频处理器；静态随机存取存储器 (SRAM)单元143；直接存储器存取(DMA)单元1460。在一个实施例中，协处理器1420 包括专用处理器，诸如例如网络或通信处理器、压缩引擎、GPGPU、高吞吐量MIC处理器、或嵌入式处理器等等。
本文公开的机制的各实施例可以被实现在硬件、软件、固件或这些实现方法的组合中。本申请的实施例可实现为在可编程系统上执行的计算机程序或程序代码，该可编程系统包括至少一个处理器、存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。
可将程序代码应用于输入指令，以执行本文描述的各功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本申请的目的，处理系统包括具有诸如例如数字信号处理器(DSP)、微控制器、专用集成电路(ASIC)或微处理器之类的处理器的任何系统。
程序代码可以用高级程序化语言或面向对象的编程语言来实现，以便与处理系统通信。在需要时，也可用汇编语言或机器语言来实现程序代码。事实上，本文中描述的机制不限于任何特定编程语言的范围。在任一情形下，该语言可以是编译语言或解释语言。
至少一个实施例的一个或多个方面可以由存储在机器可读介质上的表示性指令来实现，指令表示处理器中的各种逻辑，指令在被机器读取时使得该机器制作用于执行本文所述的技术的逻辑。被称为“IP核”的这些表示可以被存储在有形的机器可读介质上，并被提供给多个客户或生产设施以加载到实际制造该逻辑或处理器的制造机器中。
这样的机器可读存储介质可以包括但不限于通过机器或设备制造或形成的物品的非瞬态的有形安排，其包括存储介质，诸如：硬盘任何其它类型的盘，包括软盘、光盘、紧致盘只读存储器(CD-ROM)、紧致盘可重写(CD-RW)以及磁光盘；半导体器件，例如只读存储器(ROM)、诸如动态随机存取存储器(DRAM)和静态随机存取存储器(SRAM) 之类的随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、闪存、电可擦除可编程只读存储器(EEPROM)；相变存储器(PCM)；磁卡或光卡；或适于存储电子指令的任何其它类型的介质。
因此，本申请的各实施例还包括非瞬态的有形机器可读介质，该介质包含指令或包含设计数据，诸如硬件描述语言(HDL)，它定义本文中描述的结构、电路、装置、处理器和/或系统特征。这些实施例也被称为程序产品。
上面结合附图对本申请的实施例做了详细说明，但本申请技术方案的使用不仅仅局限于本专利实施例中提及的各种应用，各种结构和变型都可以参考本申请技术方案轻易地实施，以达到本文中提及的各种有益效果。在本领域普通技术人员所具备的知识范围内，在不脱离本申请宗旨的前提下做出的各种变化，均应归属于本申请专利涵盖范围。
本申请可以包括以下公开的各种实施例示例或其组合：
示例1可以包括一种列噪声检测方法，该方法包括，
接收来自CMOS图像传感器的图像序列，该图像序列中的每一帧图像包括N列像素，其中N为正整数；对于图像，从N列像素中取M列，分别检测该帧图像中的M列中的每一列的水平频率响应，以分别确定M列中的每一列是否存在列噪声，并且，在不同图像中检测的像素列互不相同，其中M为正整数,且M＜N；以及将图像中的测得的M列像素中的每一列是否存在列噪声的信息缓存到存储器中。
示例2可以包括示例1的主旨，并且可选择地，其中，图像序列包含N帧图像，在N 帧图像的每一帧图像中分别检测一列像素的水平频率响应，以确定这一列是否存在列噪声，其中，在每一帧图像中检测的像素列均彼此不同。
示例3可以包括示例1-2的主旨，并且可选择地，其中，图像序列包含N帧图像，在图像序列的第i帧图像中检测第i列像素的水平频率响应，其中，i为正整数，且i＜N。
示例4可以包括示例1-3的主旨，并且可选择地，其中，测得像素列的水平频率响应后，采用一阶差分算法或二阶差分算法确定像素列是否存在列噪声。
示例5可以包括示例1-4的主旨，并且可选择地，其中，可以将所有像素列的列噪声检测结果存储到非易失性存储器中，并在下次接收图像序列时直接调用。
示例6可以包括一种噪声检测装置，该装置包括，
图像接收单元，被配置为接收来自CMOS图像传感器的图像序列，图像序列中每一帧图像包括N列像素，其中N为正整数；列噪声检测单元，被配置为对于图像，从N列像素中取M列，分别检测该帧图像中的M列中的每一列的水平频率响应，以分别确定M列中的每一列是否存在列噪声，并且，在不同图像中检测的像素列互不相同，其中M为正整数,且M＜N；和缓存单元，被配置为将图像中的测得的M列像素中的每一列是否存在列噪声的信息缓存到存储器中。
示例7可以包括示例6的主旨，并且可选择地，其中，图像序列包含N帧图像，列噪声检测单元进一步被配置为，在N帧图像的每一帧图像中分别检测一列像素的水平频率响应，以确定这一列是否存在列噪声，其中，在每一帧图像中检测的像素列均彼此不同。
示例8可以包括示例6-7的主旨，并且可选择地，其中，图像序列包含N帧图像，列噪声检测单元进一步被配置为，在图像序列的第i帧图像中检测第i列像素的水平频率响应，其中，i为正整数，且i＜N。
示例9可以包括示例6-8的主旨，并且可选择地，其中，列噪声检测单元进一步被配置为，检测该帧图像中的M列中的每一列的水平频率响应，通过一阶差分算法或二阶差分算法确定像素列是否存在列噪声。
示例10可以包括示例6-9的主旨，并且可选择地，还可以包括存取单元，被配置为将所有像素列的列噪声检测结果存储到非易失性存储器中，并在下次接收图像序列时直接调用。
示例11可以包括示例6-10的主旨，并且可选择地，还可以包括CMOS图像传感器，用于采集图像序列，并发送给图像接收单元。
示例12可以包括一种机器可读介质，该机器可读介质中存储有指令，该指令被机器运行时，机器执行示例1-5提供的方法。
示例13可以包括一种系统，该系统包括：
存储器，存储器中包含要被处理器执行的指令；和
处理器，用于读取存储器中的指令，以执行示例1-5提供的方法。
Claims (13)
1.一种噪声检测方法，其特征在于，包括，
接收来自CMOS图像传感器的图像序列，所述图像序列中每一帧图像包括N列像素，其中N为正整数；
对于所述图像，从所述N列像素中取M列，分别检测该帧图像中的所述M列中的每一列的水平频率响应，以分别确定所述M列中的每一列是否存在列噪声，并且，在不同图像中检测的像素列互不相同，其中M为正整数,且M＜N；以及
将所述图像中的测得的所述M列像素中的每一列是否存在列噪声的信息缓存到存储器中。
2.根据权利要求1所述的噪声检测方法，其特征在于，
所述图像序列包含N帧图像，在所述N帧图像的每一帧图像中分别检测一列像素的水平频率响应，以确定这一列是否存在列噪声，其中，在每一帧图像中检测的像素列均彼此不同。
3.根据权利要求2所述的噪声检测方法，其特征在于，
在所述图像序列的第i帧图像中检测第i列像素的水平频率响应，其中，i为正整数，且i＜N。
4.根据权利要求1所述的噪声检测方法，其特征在于，测得所述像素列的水平频率响应后，采用一阶差分算法或二阶差分算法确定所述像素列是否存在列噪声。
5.根据权利要求1所述的噪声检测方法，其特征在于，将所有像素列的列噪声检测结果存储到非易失性存储器中，并在下次接收图像序列时直接调用。
6.一种噪声检测装置，其特征在于，包括，
图像接收单元，被配置为接收来自CMOS图像传感器的图像序列，所述图像序列中每一帧图像包括N列像素，其中N为正整数；
列噪声检测单元，被配置为对于所述图像，从所述N列像素中取M列，分别检测该帧图像中的所述M列中的每一列的水平频率响应，以分别确定所述M列中的每一列是否存在列噪声，并且，在不同图像中检测的像素列互不相同，其中M为正整数,且M＜N；和
缓存单元，被配置为将所述图像中的测得的所述M列像素中的每一列是否存在列噪声的信息缓存到存储器中。
7.根据权利要求6所述的噪声检测装置，其特征在于，所述图像序列包含N帧图像，所述列噪声检测单元进一步被配置为，在所述N帧图像的每一帧图像中分别检测一列像素的水平频率响应，以确定这一列是否存在列噪声，其中，在每一帧图像中检测的像素列均彼此不同。
8.根据权利要求7所述的噪声检测装置，其特征在于，所述列噪声检测单元进一步被配置为，在所述图像序列的第i帧图像中检测第i列像素的水平频率响应，其中，i为正整数，且i＜N。
9.根据权利要求6所述的噪声检测装置，其特征在于，所述列噪声检测单元进一步被配置为，检测该帧图像中的所述M列中的每一列的水平频率响应，通过一阶差分算法或二阶差分算法确定所述像素列是否存在列噪声。
10.根据权利要求6所述的噪声检测装置，其特征在于，还包括存取单元，被配置为将所有像素列的列噪声检测结果存储到非易失性存储器中，并在下次接收图像序列时直接调用。
11.根据权利要求6所述的噪声检测装置，其特征在于，还包括，
CMOS图像传感器，用于采集图像序列，并发送给所述图像接收单元。
12.一种机器可读介质，其特征在于，所述机器可读介质中存储了指令，该指令被机器运行时，所述机器执行如权利要求1-5中任一项所述的方法。
13.一种系统，其特征在于，包括：
存储器，所述存储器中包含要被所述处理器执行的指令，和
处理器，用于读取所述存储器中的指令，以执行如权利要求1-5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910103469.0A CN109829866B (zh) | 2019-02-01 | 2019-02-01 | 列噪声检测方法、装置、介质及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910103469.0A CN109829866B (zh) | 2019-02-01 | 2019-02-01 | 列噪声检测方法、装置、介质及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109829866A true CN109829866A (zh) | 2019-05-31 |
| CN109829866B CN109829866B (zh) | 2021-02-19 |
Family
ID=66863291
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910103469.0A Active CN109829866B (zh) | 2019-02-01 | 2019-02-01 | 列噪声检测方法、装置、介质及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109829866B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1719878A (zh) * | 2004-07-07 | 2006-01-11 | 索尼公司 | 图像摄取装置和信号处理方法 |
| CN101184159A (zh) * | 2007-12-14 | 2008-05-21 | 北京中星微电子有限公司 | 一种降低帧内噪声的方法和设备 |
| CN101635790A (zh) * | 2008-07-23 | 2010-01-27 | 佳能株式会社 | 摄像系统及其控制方法 |
| EP1475957B1 (en) * | 2003-05-08 | 2010-11-03 | STMicroelectronics (Research & Development) Limited | Method and apparatus for removing column fixed pattern noise in solid state image sensors |
| CN102148941A (zh) * | 2010-02-08 | 2011-08-10 | 佳能株式会社 | 固态图像拾取装置 |
| CN102306307A (zh) * | 2011-07-11 | 2012-01-04 | 宁波大学 | 一种彩色显微图像序列中固点噪声的定位方法 |
| CN102348047A (zh) * | 2010-07-26 | 2012-02-08 | 索尼公司 | 用于视频信号的适应性噪声测量的方法和装置 |
| WO2014153098A1 (en) * | 2013-03-14 | 2014-09-25 | Pelican Imaging Corporation | Photmetric normalization in array cameras |
| CN104735449A (zh) * | 2015-02-27 | 2015-06-24 | 成都信息工程学院 | 一种基于矩形分割隔列扫描的图像传输方法及系统 |
| US20160358338A1 (en) * | 2015-06-05 | 2016-12-08 | Canon Kabushiki Kaisha | Image recognition apparatus, image recognition method, and recording medium |
| US20170142358A1 (en) * | 2015-11-12 | 2017-05-18 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| CN107454349A (zh) * | 2017-09-29 | 2017-12-08 | 天津工业大学 | 一种基于sCMOS相机的固定噪声自适应检测与校正方法 |
| CN107818547A (zh) * | 2016-09-14 | 2018-03-20 | 北京航空航天大学 | 一种面向微光图像序列中椒盐和高斯混合噪声的去除方法 |
| US10038867B2 (en) * | 2015-10-12 | 2018-07-31 | Samsung Electronics Co., Ltd. | Certification device and method using image sensor |
-
2019
- 2019-02-01 CN CN201910103469.0A patent/CN109829866B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1475957B1 (en) * | 2003-05-08 | 2010-11-03 | STMicroelectronics (Research & Development) Limited | Method and apparatus for removing column fixed pattern noise in solid state image sensors |
| CN1719878A (zh) * | 2004-07-07 | 2006-01-11 | 索尼公司 | 图像摄取装置和信号处理方法 |
| CN101184159A (zh) * | 2007-12-14 | 2008-05-21 | 北京中星微电子有限公司 | 一种降低帧内噪声的方法和设备 |
| CN101635790A (zh) * | 2008-07-23 | 2010-01-27 | 佳能株式会社 | 摄像系统及其控制方法 |
| CN102148941A (zh) * | 2010-02-08 | 2011-08-10 | 佳能株式会社 | 固态图像拾取装置 |
| CN102348047A (zh) * | 2010-07-26 | 2012-02-08 | 索尼公司 | 用于视频信号的适应性噪声测量的方法和装置 |
| CN102306307A (zh) * | 2011-07-11 | 2012-01-04 | 宁波大学 | 一种彩色显微图像序列中固点噪声的定位方法 |
| WO2014153098A1 (en) * | 2013-03-14 | 2014-09-25 | Pelican Imaging Corporation | Photmetric normalization in array cameras |
| CN104735449A (zh) * | 2015-02-27 | 2015-06-24 | 成都信息工程学院 | 一种基于矩形分割隔列扫描的图像传输方法及系统 |
| US20160358338A1 (en) * | 2015-06-05 | 2016-12-08 | Canon Kabushiki Kaisha | Image recognition apparatus, image recognition method, and recording medium |
| US10038867B2 (en) * | 2015-10-12 | 2018-07-31 | Samsung Electronics Co., Ltd. | Certification device and method using image sensor |
| US20170142358A1 (en) * | 2015-11-12 | 2017-05-18 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| CN107818547A (zh) * | 2016-09-14 | 2018-03-20 | 北京航空航天大学 | 一种面向微光图像序列中椒盐和高斯混合噪声的去除方法 |
| CN107454349A (zh) * | 2017-09-29 | 2017-12-08 | 天津工业大学 | 一种基于sCMOS相机的固定噪声自适应检测与校正方法 |
Non-Patent Citations (3)
| Title |
|---|
| YEONSEONG HWANG 等: "Design of a CMOS Image Sensor with a 10-bit Two-Step Single-Slope A/D Converter and a Hybrid Correlated Double Sampling", 《2014 10TH CONFERENCE ON PH.D. RESEARCH IN MICROELECTRONICS AND ELECTRONICS (PRIME)》 * |
| 吴参毅: "计算机视觉算法在视频质量诊断技术中的应用", 《中国安防》 * |
| 王玥玥 等: "《数字电视技术原理与应用》", 30 June 2013, 北京邮电大学出版社 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109829866B (zh) | 2021-02-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8756404B2 (en) | Cascaded delayed float/vector execution pipeline | |
| US6671797B1 (en) | Microprocessor with expand instruction for forming a mask from one bit | |
| CN104903867B (zh) | 用于将寄存器的内容广播到另一个寄存器的数据元素位置的系统、装置和方法 | |
| CN109643228A (zh) | 用于浮点乘加运算的低能耗尾数乘法 | |
| US20160283111A1 (en) | Read operations in memory devices | |
| KR101558069B1 (ko) | 범용 그래픽스 프로세싱 유닛에서의 컴퓨테이션 리소스 파이프라이닝 | |
| Li et al. | Accelerating binarized neural networks via bit-tensor-cores in turing gpus | |
| WO2012174128A1 (en) | General purpose digital data processor, systems and methods | |
| US10095623B2 (en) | Hardware apparatuses and methods to control access to a multiple bank data cache | |
| WO2017166269A1 (en) | System and method to accelerate reduce operations in graphics processor | |
| CN109858449A (zh) | 图像处理方法、装置、介质及系统 | |
| KR20190082079A (ko) | 원격 원자 연산들의 공간적 및 시간적 병합 | |
| CN104246692B (zh) | 用于实时指令跟踪的系统和方法 | |
| US20080072024A1 (en) | Predicting instruction branches with bimodal, little global, big global, and loop (BgGL) branch predictors | |
| CN104937568B (zh) | 用于多页尺寸转换后备缓冲器(tlb)的装置和方法 | |
| US20110249744A1 (en) | Method and System for Video Processing Utilizing N Scalar Cores and a Single Vector Core | |
| US6341300B1 (en) | Parallel fixed point square root and reciprocal square root computation unit in a processor | |
| US20190196789A1 (en) | Apparatus and method for processing fractional reciprocal operations | |
| CN108369571A (zh) | 用于偶数和奇数向量get操作的指令和逻辑 | |
| US20110185151A1 (en) | Data Processing Architecture | |
| CN112559037B (zh) | 一种指令执行方法、单元、装置及系统 | |
| Cadenas et al. | Parallel pipelined array architectures for real-time histogram computation in consumer devices | |
| CN109829866A (zh) | 列噪声检测方法、装置、介质及系统 | |
| Minnella et al. | Design and Optimization of Residual Neural Network Accelerators for Low-Power FPGAs Using High-Level Synthesis | |
| US20200073635A1 (en) | Systems, apparatuses, and methods for vector-packed fractional multiplication of signed words with rounding, saturation, and high-result selection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |