CN101778192B - 图像处理方法和图像处理装置 - Google Patents
图像处理方法和图像处理装置 Download PDFInfo
- Publication number
- CN101778192B CN101778192B CN2010101252302A CN201010125230A CN101778192B CN 101778192 B CN101778192 B CN 101778192B CN 2010101252302 A CN2010101252302 A CN 2010101252302A CN 201010125230 A CN201010125230 A CN 201010125230A CN 101778192 B CN101778192 B CN 101778192B
- Authority
- CN
- China
- Prior art keywords
- frame
- row
- mean value
- unit
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
图像处理方法包括：步骤S1，提供图像；步骤S2，获取慢速变化的连续的理想帧；步骤S3，获取理想行平均值；步骤S4，获取第n+1帧的行平均值；步骤S5，以理想行平均值为基础，对第n+1帧进行运动检测，运动检测过程包括判定第n+1帧是否为慢速变化帧的步骤；若第n+1帧为慢速变化帧，则以理想帧的第2帧至第n+1帧作为新的慢速变化的连续的理想帧，并参考步骤S3获取新的理想行平均值；若第n+1帧为快速变化帧，则参考步骤S2，从第n+2帧开始，重新获取新的慢速变化的连续的理想帧，并参考步骤S3、S4、S5进行处理。以此类推，直至所有帧被处理完毕。所述方法去噪效果好，易于单片集成。
Description
技术领域
本发明涉及图像处理，特别涉及图像处理方法和图像处理装置。
背景技术
摄像机、数码相机和数码摄像机等数字彩色成像装置的光学传感器通常采用CCD(Charge-coupled device，电荷耦合器件)或CMOS(Complementary Metal Oxide Semiconductror，互补性氧化金属半导体)技术。采用CMOS技术的光学传感器以其功耗小、成本低、易于在标准的生产线生产等优点成为主流。
采用CMOS技术的光学传感器包括横竖两个方向密集排列的感光元件，所述感光元件组成一个二维矩阵，所述感光元件只能感应所在像素点的光信号的亮度信息，不能感应光信号的色彩信息，因此，需要使用色彩滤波阵列(Color Filtered Array，CFA)确保每个像素单元的感光元件输出与滤波片颜色对应的光信号的一种颜色分量，所述颜色分量通常是红(R)、绿(G)、蓝(B)三种颜色中的一种，因此，每个像素单元输出形成红色像素、绿色像素、蓝色像素中的一种。
所述色彩滤波阵列可以采用不同的格式，通常使用的是贝尔(Bayer)格式。贝尔格式的色彩滤波阵列包括由红色和绿色滤波片组成的行以及绿色和蓝色滤波片组成的行，所述行交替排列。因此，使用贝尔格式的色彩滤波阵列获得的图像的绿色像素单元的数目为红色像素单元和蓝色像素单元数目之和。图1是采用贝尔格式的色彩滤波阵列获得的图像的像素单元分布示意图。请参考图1，所述图像包含若干帧。所述图像在时间轴T上依次出现，所述图像每一帧的像素单元在沿x轴方向和y轴方向呈矩阵分布。每个像素单元的 像素值对应所输入的光信号的一个颜色分量，如图1所示，所述红色像素单元周围为绿色像素单元，蓝色像素单元周围也是绿色像素单元，而绿色像素单元周围交替出现红色像素单元和绿色像素单元，所述图像在在时间轴上依次输出。
所述CMOS图像传感器的缺点是输出图像具有噪声。所述噪声包括水平噪声(随机噪声)和垂直噪声(固定模式噪声)。所述垂直噪声是由于在像素复位过程中复位电压波动引起的，因此可以通过相关双采样电路减小和消除。例如申请号为03101595.6的中国专利申请公开了一种相关双采样电路，所述相关双采样电路复位后光信号收集前的像素输出电压和光信号收集后的像素输出电压，将所述电压作差，得到像素电压，消除复位电压波动给像素带来的噪声。相比之下，所述水平噪声是由于图像传感器的电源电压波动和像素工艺过程中的寄生参数的影响而产生的。所述水平噪声的特点是图像输出亮暗不均匀的横向条带，并且所述横向条带的幅度和宽度不固定，以及所述横向条带出现在图像上的位置不固定，具有随机性。所述水平噪声在低照度的情况下尤其明显，破坏了图像传感器的成像质量，必须加以去除。
相关技术人员一直致力解决所述图像水平噪声问题。现有的去除水平噪声的方法包括二维(2D)去噪方法和三维(3D)去噪方法。二维去噪方法的缺点是去噪效果不够理想；三维去噪法的缺点是对硬件的要求高，需要足够大的缓冲区来缓冲中间处理数据，而且需要复杂的运算保证准确性，不适合专用单片集成电路(Application Specific Integrated Circuit)的图像传感器。
因此，需要一种简单有效的去除图像水平噪声的方法，所述方法适合于专用单片集成电路的CMOS图像传感器。
发明内容
本发明解决的问题是提供一种图像处理方法，所述方法简单且能够有效 去除慢速变化的图像的水平噪声，特别适合于专用单片集成电路的CMOS图像传感器。
为解决上述问题，本发明提供一种图像处理方法，包括：
步骤S1，提供图像，所述图像包括至少一帧，每帧包括至少一行，每行包括至少一个像素单元；
步骤S2，获取慢速变化的连续的理想帧，所述慢速变化的连续的理想帧的帧数为n，理想帧的每帧具有行平均值；
步骤S3，将n帧理想帧的行平均值根据行对n求平均值，获取理想行平均值；
步骤S4，获取第n+1帧的行平均值；
步骤S5，以理想行平均值为基础，对第n+1帧进行运动检测，所述运动检测过程包括：判定第n+1帧是否为慢速变化帧的步骤；若第n+1帧为慢速变化帧，则以理想帧中的第2帧至第n+1帧作为新的慢速变化的连续的理想帧，并再次执行步骤S3、S4、S5对第n+2帧进行相应处理；若第n+1帧为快速变化帧，则从第n+2帧开始，再次执行步骤S2重新获取新的慢速变化的连续的理想帧，并执行步骤S3、S4、S5对第n+2帧及其以后的帧进行处理。
以此类推，直至所有帧被处理完毕。
可选地，所述步骤S2的获取慢速变化的连续的理想帧具体包括：
步骤S21，获取第1帧的行平均值；
步骤S22，获取第2帧的行平均值；
步骤S23，将第2帧的行平均值与第1帧的行平均值作差，获取行差值，与行对应；
步骤S231，若行差值大于阈值的行数超过预定值，判定第2帧为快速变化帧并输出，则从第3帧开始，参考步骤S21至S23进行处理，直至获取慢速变化的连续的理想帧；
步骤S232，若行差值大于阈值的行数未超过预定值，判定第2帧为慢速变化帧，获取第3帧的行平均值，将第3帧与第2帧的行平均值作差，获取其行差值并根据行差值情况，分别对应执行步骤S231或S232对第3帧进行判定和处理，以此类推，直至获取慢速变化的连续的理想帧。
可选地，所述步骤S5的判定第n+1帧是否为慢速变化帧进一步包括：
步骤S51，将第n+1帧的行平均值与理想行平均值作差，获取与行对应的行差值；
步骤S52，若有任一行的行差值大于阈值，则直接输出该行，若有任一行的行差值小于阈值，则对该行的所有像素单元修正后输出，直至输出第n+1帧的最后1行；若行差值大于阈值的行数未超过预定值，则判定第n+1帧为慢速变化帧，若行差值大于阈值的行数超过预定值，则判定第n+1帧为快速变化帧。
可选地，所述修正步骤包括将像素单元的像素值与该像素单元所在行的行差值作差，作为像素单元的修正后的像素值并替代原有的像素值。
可选地，所述行平均值为每行的像素单元中的绿色像素单元的像素值的平均值。
一种使用所述图像处理方法的图像处理装置，用于处理图像传感器输出的图像，包括：
像素数据存放单元，用于存放图像传感器输出的图像的每帧的每行的每个像素单元的像素值，并将像素值输出至平均值计算单元；
平均值计算单元，用于计算行平均值并发送至平均值存放单元；
平均值存放单元，用于存放行平均值，并根据行计算理想行平均值；
控制单元，用于控制平均值计算单元、像素数据存放单元、平均值存放单元、图像传感器，所述控制单元获取慢速变化的连续的理想帧，所述理想帧的帧数为n，所述控制单元用于判定第n+1帧是否为慢速变化帧，若第n+1 帧是慢速变化帧，则控制平均值存放单元获取所述理想帧中的第2帧至第n+1帧的理想行平均值；若第n+1帧是快速变化帧，则重新获取新的慢速变化的连续的理想帧，并控制平均值计算单元、平均值存放单元、像素数据存放单元将图像传感器的所有帧处理和输出完毕。
可选地，所述控制单元内设定有预定值、阈值、第一指针、第二指针、理想帧数n，所述第一指针、第二指针预置数为0。
可选地，所述控制单元包括控制子单元，所述控制子单元控制图像传感器输出图像并控制图像传感器将每帧的每行的每个像素单元的像素值存入像素数据存放单元；
所述控制子单元控制平均值计算单元获取第1帧的行平均值，并控制平均值计算单元将所述行平均值存入平均值存放单元；
所述控制子单元控制平均值计算单元获取第2帧的行平均值，并控制平均值计算单元将所述行平均值存入平均值存放单元；
所述控制单元还包括运动检测单元，所述控制子单元控制所述运动检测单元将第2帧与第1帧的行平均值作差，获取行差值，所述行差值与行对应，并将行差值与阈值相比，若每有一行的行差值大于阈值，则发送信号至控制子单元，控制子单元控制图像传感器输出该行，并将第二指针加1；若每有一行的行差值小于阈值，则发送信号至控制子单元，控制子单元控制图像传感器输出该行，直至第2帧所有行处理和输出完毕；
将第2帧所有行处理和输出完毕后，若第二指针大于等于预定值，则控制子单元控制像素数据存放单元、平均值计算单元、平均值存放单元、运动检测单元处理下一帧直至第一指针的数值到达所述理想帧数n；
若第二指针小于预定值，则控制子单元将第一指针加1，并控制控制图像传感器输出下一帧的像素值存入像素数据存放单元，所述控制子单元控制平均值计算单元、平均值存放单元、运动检测单元处理下一帧，以此类推，直 至第一指针的数值到达所述理想帧数n。
可选地，所述运动检测单元还将第n+1帧的行平均值与理想行平均值作差，获取与行对应的行差值，若有任一行的行差值大于阈值，则发送信号至控制子单元，控制子单元控制图像传感器输出该行，将第二指针加1，若有任一行的行差值小于阈值，则发送信号至控制子单元，控制子单元控制运动检测单元修正该行的像素值，并替换原有像素值输出，接着，所述控制子单元控制运动检测单元对下一行进行如上述处理，直至将第n+1帧中的所有行处理完毕，若第二指针大于预定值，则判定第n+1帧为快速变化帧，若第二指针小于预定值，则判定第n+1帧为慢速变化帧。
可选地，所述行平均值为每行的像素单元中的绿色像素单元的像素值的平均值。
可选地，所述阈值、预定值、连续的理想帧的数目n均为根据图像传感器的像素、应用场合、图像水平噪声的情况设置的固定数值。
与现有技术相比，本发明具有以下优点：通过获取慢速变化的连续的n帧理想行平均值，以所述理想行平均值为基础，对第n+1帧进行运动检测，所述运动检测包含判断所述第n+1帧是否为慢速变化帧，并且对第n+1帧的每行像素进行修正或者直接输出。慢速变化的连续的n帧的每一帧的对应行的绿色像素值之间具有相关性，利用所述相关性作为第n+1帧运动检测的基础，可以有效去除水平噪声；若第n+1帧为慢速变化帧，则根据第2帧至第n+1帧可以获得新的连续的慢速变化的n帧理想行平均值，对第n+2帧进行处理，依此类推，能够保证每一帧被有效去除水平噪声。
所述行平均值为每一行绿色像素单元的绿色像素值的平均值，对第n+1帧图像的修正是所有像素均修正，利用了同一行绿色像素值的差值与红色像素值的差值、蓝色像素值的差值接近，节约了系统处理红色像素值的差值、蓝色像素值的差值的内存资源，本方案需的存储空间与现有技术相比大大减 小，便于图像传感器的专用单片集成。
附图说明
图1是采用贝尔格式的色彩滤波阵列获得的图像的像素单元分布示意图。
图2是本发明的图像处理装置示意图。
具体实施方式
发明人发现，现有二维去噪方法主要依据是图像的一帧内像素单元的像素值与周围相同颜色像素单元的像素值接近，即所述像素值与周围像素值具有相关性。但是如果图像水平噪声较大时，所述相关性被破坏，这样所述二维去噪方法不仅不能去噪，还会破坏原有图像。因而二维去噪方法去噪的效果并不理想。而采用现有的三维去噪方法进行处理，需要较大的缓冲区来存放多帧的数据，且需要复杂的运算保证帧累计的准确性。在图像慢速变化的情况下，不利于图像传感器的专用单片集成。
本发明所述慢速变化的图像是指：该图像的帧的每一行的行平均值与前一帧每一行的行平均值的差值大于阈值的数目小于一个预定值的情况，所述预定值为根据图像传感器的像素、应用场合、图像水平噪声的情况设置的固定数值，比如可以为5；若已经获得连续的慢速变化的n帧(通常将这n帧称作理想帧，所述n为根据图像传感器的像素、应用场合、图像水平噪声的情况设置的固定数值，比如可以为5)，则第n+1帧是否为慢速变化则是以n帧的理想行平均值作为基础参照上述方法比较判断的，第n+1帧是否为慢速变化则是以n帧中的第2帧与第n+1帧作为理想帧的理想行平均值作为基础参照上述方法比较判断的。所述理想行平均值是指对理想帧中的n帧的行平均值的对n取平均，获得的数值。上述定义适用于全文，特此说明。
例如预定值为5，理想帧的帧数为5，阈值为3，则对于包括10帧的图像，如果第2帧至第5帧每一帧的每一行的行平均值与前一帧的每一行的行平均 值的差值大于3的数目小于5，则所述图像第1帧至第5帧为连续的慢速变化的5帧；根据所述第1帧至第5帧的理想行平均值为基础判断第6帧是否为慢速变化；若第6帧为慢速变化，则可以根据第2帧至第6帧判断第7帧是否为慢速变化。
发明人还发现，图像的水平噪声通常出现在x轴(行)方向上，在慢速变化的情况下，多帧图像的y轴坐标相同(相同列)的方向上不同行的相同颜色像素单元的像素值具有相关性。因此发明人提供一种方法，利用所述相关性，减小了图像传感器的水平噪声，并实现了图像传感器的专用单片集成。
所述方法包括：
步骤S1，提供图像，所述图像包括至少一帧，每帧包括至少一行，每行包括至少一个像素单元；
步骤S2，获取慢速变化的连续的理想帧，所述慢速变化的连续的理想帧的帧数为n，理想帧的每帧具有行平均值；
步骤S3，将n帧理想帧的行平均值根据行对n求平均值，获取理想行平均值；
步骤S4，获取第n+1帧的行平均值；
步骤S5，以理想行平均值为基础，对第n+1帧进行运动检测，所述运动检测过程包括：判定第n+1帧是否为慢速变化帧的步骤；若第n+1帧为慢速变化帧，则以理想帧中的第2帧至第n+1帧作为新的慢速变化的连续的理想帧，并再次执行步骤S3、S4、S5对第n+2帧进行相应处理；若第n+1帧为快速变化帧，则从第n+2帧开始，再次执行步骤S2重新获取新的慢速变化的连续的理想帧，并执行步骤S3、S4、S5对第n+2帧及其以后的帧进行处理。
以此类推，直至所有帧被处理完毕。
下面将结合具体实施例对本发明的技术方案进行详细地说明。
首先，执行步骤S1，提供图像，所述图像包括至少一帧，每帧包括至少 一行，每行包括至少一个像素单元。所述的图像来自于图像处理数据采集前端即CMOS图像传感器，所述图像处理数据采集前端可以是数码相机或数码摄像头。作为一个实施例，所述图像为贝尔格式图像。所述图像包括若干帧，每帧包括M行，每行包含N个像素单元。所述像素单元排列与贝尔格式的色彩滤波片的排列一致(即包括GRBG或者GBRG)格式。作为一个实施例，每行包括绿色像素单元、红色像素单元或绿色像素单元和蓝色像素单元。在同一帧内，所述绿色(G)像素单元、蓝色(B)像素单元、红色(R)像素单元的比例为2∶1∶1。可替代的，所述图像还可以为RGB格式图像，所述图像包括若干帧，每帧包括若干行，每行包括N个像素单元。所述像素单元的排列与RGB格式的色彩滤波片的排列一致。作为一个实施例，所述行包括红色像素单元、绿色像素单元和蓝色像素单元。
接着执行步骤S2，获取慢速变化的连续的理想帧，所述慢速变化的连续的理想帧的帧数为n，理想帧的每帧具有行平均值。所述理想帧的帧数n为根据图像传感器的像素、应用场合、图像水平噪声的情况设置的固定数值。慢速变化的连续的理想帧的同一行的红色像素值之间、蓝色像素值之间、绿色像素值之间具有相关性。
本领域技术人员知晓，图像的水平噪声可以看作是图像灰度上的噪声。所述灰度由红色像素值(R)、蓝色像素值(B)、绿色像素值(G)共同决定，并且所述三种颜色像素值对灰度的影响参考Y＝0.288*R+0.587*G+0.144*B，其中Y表示灰度，可以看出绿色像素值对灰度的影响最大。因此，绿色像素的噪声对灰度的噪声(也就是水平噪声)影响也最大，如果能够将水平噪声中的绿色像素噪声去除，将会大幅度减少水平噪声。又由于水平噪声的在同一帧同一行的红色像素(R)噪声、蓝色像素(B)噪声与绿色像素(G)噪声接近，因此，可以参考绿色像素(G)噪声的处理对红色像素(R)噪声、蓝色像素(B)噪声进行处理，以便于节省处理红色像素(R)噪声、蓝色像 素(B)噪声的资源，节约内存。
作为一个实施例，步骤S2具体包括：
首先执行步骤S21，获取并缓存第1帧第1行的所有像素单元，并同时计算所述第1帧第1行绿色像素单元的像素值的行平均值A11；然后将所述行平均值A11缓存，并将所述第1帧第1行输出；接着获取并缓存第1帧第2行的所有像素单元，并同时计算所述第1帧第2行绿色像素单元的像素值的行平均值A12；然后将所述行平均值A12缓存，并将所述第1帧第2行输出；以此类推，获取并缓存第1帧第3行至第1帧第M行的绿色像素单元的像素值的行平均值A13，A14，...A1M，同时将所述第1帧第3行至第M行直接输出；
接着执行步骤S22，获取并缓存第2帧第1行的所有像素单元，并同时计算所述第2帧第1行绿色像素单元的像素值的行平均值A21；然后将所述行平均值A21缓存，并将所述第2帧第1行输出；接着获取并缓存第2帧第2行的所有像素单元，并同时计算所述第2帧第2行绿色像素单元的像素值的行平均值A22，将所述行平均值A22缓存，将所述第2帧第2行输出；依次类推，获取并缓存第2帧第3行至第2帧第M行的绿色像素单元的像素值的行平均值A23，A24，...A2M，同时将所述第2帧第3行至第M行直接输出；
接着，执行步骤S23，将第2帧的行平均值与第1帧的行平均值作差，获取行差值，所述行差值与行对应。
作为一个优选实施例，在执行步骤S22的同时执行步骤S23，以提高对图像的处理速度。具体的做法是：在缓存所述第2帧第1行的行平均值A21的同时，所述行平均值A21与第1帧第1行的行平均值A11相减，获得行差值O21＝A21-A11；在缓存所述第2帧第2行的行平均值A22的同时，所述行平均值A22与第1帧第2行的行平均值A12相减，获得行差值O22＝A22-A12；依次类推，直至缓存所述第2帧第M行的行平均值A2M的同时，所述行平均值A2M与第1帧第M行的行平均值A1M相减，获得行差值O2M＝A2M-A1M；
可替代的，步骤S22执行完成后在执行步骤S23，方法与本实施例相同，在此不做详述；
至此，第2帧处理完毕，判定所述行差值O21，O22，O23，O24，...O2M大于阈值的行的数目，若所述数目超过预定值，执行步骤S231，判定第2帧为快速变化帧，则再次执行步骤S21至S23对第3帧及其后面的帧进行处理，直至获取慢速变化的连续的理想帧；
若所述数目未超过预定值，则执行步骤S232，判定第2帧为慢速变化帧，获取第3帧的绿色像素单元的像素值的行平均值A31，A32，A33，A34，...A3M，作为一个实施例，同时将所述第3帧的行平均值A31，A32，A33，A34，...A3M与所述第2帧的行平均值A21，A22，A23，A24，...A2M作差，获取其与行对应的行差值，并根行差值情况分别执行步骤S231或S232，若第3帧为快速变化帧，则执行步骤S231，直至获取慢速变化的连续的理想帧；若第3帧为慢速变化帧，则执行步骤S232并依此类推，直至获取慢速变化的连续的理想帧。
接着执行步骤S3，将n帧理想帧的行平均值根据行对n求平均值，获取理想行平均值。作为一个实施例，所述方法具体包括：计算并缓存n帧理想帧第1行的行平均值A11，A21，A31...An1的平均值C1，所述C1＝(A11+A21+A31+...+An1)/n，；计算并缓存n帧理想帧第2行的平均值A12，A22，A32...An2的平均值C2，所述C2＝(A12+A22+A32+...+An2)/n；计算并缓存n帧理想帧的第3行的行平均值A13，A23，A33...An3的平均值C3...依次类推，直至计算并缓存n帧理想帧第M行的平均值A1M，A2M，A3M...AnM的平均值CM。
接着执行步骤S4，获取第n+1帧的行平均值。所述获取第n+1帧的行平均值。
然后执行步骤S5，以理想行平均值为基础，对第n+1帧进行运动检测。所述运动检测过程包括：判定第n+1帧是否为慢速变化帧的步骤；若第n+1帧为慢速变化帧，则以理想帧第2帧至第n+1帧作为新的慢速变化的连续的 理想帧，并再次执行步骤S3获取新的理想行平均值；若第n+1帧为快速变化帧，则再次执行步骤S2，从第n+2帧开始，重新获取新的慢速变化的连续的理想帧，并再次执行步骤S3、S4、S5对第n+2帧及其以后的帧进行处理。
作为一个优选实施例，步骤S4与步骤S5同时执行，即在获取第n+1帧的第1行至第M行绿色像素单元的像素值的行平均值A(n+1)1，A(n+1)2，A(n+1)3，A(n+1)4，...，A(n+1)M的过程中同时对第n+1帧进行运动检测。
所述运动检测步骤进一步包括：判定第n+1帧是否为慢速变化帧的步骤。所述步骤包括：
在获取并缓存第n+1帧第1行的绿色像素单元的像素值的行平均值A(n+1)1之后，将所述行平均值A(n+1)1与理想行平均值C(n+1)1作差，获取行差值On1，若所述行差值On1大于所述阈值，则将所述第1行直接输出；若行差值On1小于阈值，则对所述第1行的所有像素单元进行修正；所述修正具体包括：将所有像素单元的像素值减去行差值On1得到新的像素值，所述新的像素值经过钳位后代替原有像素值输出，所述钳位技术包括：若新的像素值大于等于255，则钳位后的像素值为255；若新的像素值小于等于0，则钳位后的像素值为0；若新的像素值大于0小于255，则钳位后像素值不变；
接着，获取并缓存第n+1帧第2行的绿色像素单元的像素值的行平均值A(n+1)2之后，将所述行平均值A(n+1)2与理想行平均值C(n+1)2作差，获取行差值On2，若所述行差值On2大于所述阈值，则将所述第1行直接输出；若行差值On1小于阈值，则对所述第1行的所有像素单元进行修正；
依次类推，直至获取并缓存第n+1帧第M行的绿色像素单元的像素值的行平均值A(n+1)M之后，将所述行平均值A(n+1)M与理想行平均值C(n+1)M作差，获取行差值OnM，若所述行差值OnM大于阈值，则将所述第1行直接输出；若行差值On1小于阈值，则对所述第1行的所有像素单元进行修正；
所述第n+1帧处理完毕，接着进行判定第n+1帧是否为缓慢变化帧的步 骤。所述步骤具体包括：统计第n+1帧第1行至第M行的差值大于阈值的行数，若差值大于阈值的行数未超过预定值，则判定第n+1帧为慢速变化帧，若差值大于阈值的行数超过预定值，则判定第n+1帧为快速变化帧；
若第n+1帧为快速变化帧，则参考步骤S2，从第n+2帧开始，重新获取新的慢速变化的连续的理想帧，并参考S3、S4、S5进行处理。
以此类推，直至将图像被处理完毕。
本发明所述的阈值和预定值均为根据图像传感器的像素、应用场合、图像水平噪声的情况设置的固定数值。本领域相关技术人员可以优化阈值和预定值的具体数值，以更好的去除水平噪声。
作为一个具体的实施例，对于30万像素的监控摄像头，如果所述理想帧帧数n为5，阈值为3，预定值为5。获取第1帧的行平均值并缓存所述行平均值，将第1帧输出；获取第2帧的行平均值并缓存所述行平均值，将第2帧输出；将第2帧的行平均值与第1帧的行平均值作差，获得行差值，与行对应；将所述行差值与3相比，如果所述行差值大于3的数目大于等于5，则判定第2帧为快速变化帧，然后从第3帧开始参考步骤S21至S23进行处理，直至获取慢速变化的连续的5帧；如果所述行差值大于3的数目小于5，则判定第2帧为慢速变化帧，然后获取第3帧的行平均值，并缓存所述行平均值，然后将第3帧输出，将第3帧的行平均值与第2帧的行平均值作差，获得行差值，与行对应，将所述行差值与3相比；如果所述行差值大于3的数目大于等于5，则判定第3帧为快速变化帧，则参考步骤S231，直至获取慢速变化的连续的5帧；所述行差值大于3的数目小于5，则判定第3帧为慢速变化帧，然后参考步骤S232并以此类推，直至获取慢速变化的连续的5帧，并将这5帧作为理想帧。
此处假设第1～5帧为慢速的，接着，获取慢速变化的连续的5帧的理想行平均值，获取第6帧的行平均值，将第6帧的行平均值与理想行平均值根 据行对应比较，若第6帧任一行的行平均值小于阈值，则对该行进行修正，并输出，若第6帧任一行的行平均值大于阈值，则直接输出该行，最后统计第6帧行平均值的超过阈值的行数，若小于阈值，则以第2帧至第6帧作为新的理想帧，获取新的理想帧的理想行平均值，然后对第7帧进行处理，包括获取第7帧行平均值，将第7帧的行平均值与新的理想行平均值根据行对应比较等等步骤，直至进行到最后一帧的最后一行。
综上，本发明提供一种图像处理方法，所述方法适用于图像慢速变化的情况。所述方法首先经过判定，获取慢速变化的连续的帧数为n的理想帧，保证了理想帧的不同帧同一行的颜色相同的像素单元之间的相关性，然后根据所述理想帧的行平均值获取第n+1帧的理想行平均值，以所述理想行平均值为基础，对第n+1帧的所有像素进行运动检测，所述运动检测包含判定所述n+1帧是否为慢速变化帧、对第n+1帧所有像素进行修正后输出或者直接输出，若n+1帧为慢速变化帧，则第2至第n+1帧具有相关性，可以保证对第n+2帧处理的准确性；若第n+1帧为快速变化帧，则第n+2帧开始，重新获取新的慢速变化的连续的理想帧，并对理想帧的下一帧进行相应处理，具有良好的去噪效果；对被修正的一行来说，由于红色像素、蓝色像素的差值与绿色像素值的差值接近，因此根据绿色像素单元的像素值与理想像素值的差值，对所有像素单元进行处理，减少了对蓝色像素值、红色像素值的处理。
以理想帧数为n，每帧包含M行，每行包含N个像素单元的图像而言，根据本技术方案的实施例需要的存储空间为：图像每帧包含的列的数目+图像一帧的行数*n+运动统计的数目，即N+n*M+1，相比之下，现有三维去噪法需要的存储空间为像素的帧数*行数*列数，即M*N*n，本发明的技术方案大大地减小了所需存储空间，适用于专用单片集成的图像传感器。
相应地，本发明提供一种图像处理装置。请参考图2，图2是本发明的图像处理装置示意图，所述装置包括：
像素数据存放单元，用于存放图像传感器输出的图像的每帧的每行的每个像素单元的像素值，并将像素值输出至平均值计算单元；
平均值计算单元，用于计算行平均值并发送至平均值存放单元；
平均值存放单元，用于存放行平均值，并根据行计算理想行平均值；
控制单元，用于控制平均值计算单元、像素数据存放单元、平均值存放单元、图像传感器，所述控制单元获取慢速变化的连续的理想帧，所述理想帧的帧数为n，所述控制单元对图像的各帧进行运动检测，并判定第n+1帧是否为慢速变化帧，若第n+1帧是慢速变化帧，则控制平均值存放单元获取所述理想帧中的第2帧至第n+1帧的理想行平均值；若第n+1帧是快速变化帧，则重新获取新的慢速变化的连续的理想帧，并控制平均值计算单元、平均值存放单元、像素数据存放单元将图像传感器的所有帧处理和输出完毕。
下面将结合所述图像处理装置对本发明的技术方案进行详细说明。
本发明所述的控制单元存放预定值、阈值、第一指针、第二指针、理想帧数n，所述第一指针、第二指针预置数为0。
所述控制单元包括控制子单元，所述控制子单元控制图像传感器输出图像并控制其将图像传感器的图像的每帧的每行的每个像素单元的像素值存入像素数据存放单元。所述预定值、阈值、理想帧数为图像传感器的像素、应用场合、图像水平噪声的情况设置的固定数值。相关技术人员可以对所述预定值、阈值、理想帧数进行优化设置，优化所述装置去处水平噪声的效果。
具体地，所述控制单元获取所述连续的慢速变化的理想帧的工作过程包括：
作为一个优选的实施例，所述控制子单元控制图像传感器输出第1帧的每行的每个像素单元的像素值至像素数据存放单元，并控制所述像素数据存放单元将所述像素值输出至平均值计算单元；所述控制子单元控制平均值计算单元获取第1帧的每行的行平均值，并控制平均值计算单元将所述行平均 值存入平均值存放单元，同时所述控制子单元控制图像传感器输出第1帧；
所述控制子单元控制图像传感器输出第2帧的每行的每个像素单元的像素值至像素数据存放单元，并控制所述像素数据存放单元将所述像素值输出至平均值计算单元；所述控制子单元控制平均值计算单元获取第2帧的行平均值，并将所述行平均值存入平均值存放单元；
所述控制子单元控制所述运动检测单元将第2帧与第1帧的行平均值作差，获取行差值，与行对应，并将行差值与阈值相比，若每有一行的行差值大于阈值，则发送信号至控制子单元，控制子单元控制图像传感器输出该行，并将第二指针加1；若每有一行的行差值小于阈值，则发送信号至控制子单元，控制子单元控制图像传感器输出该行，直至第2帧所有行处理和输出完毕；
若第二指针大于等于预定值，则判定第2帧为快速变化帧，控制子单元重新获取连续的慢速变化的理想帧。具体地，控制子单元控制平均值计算单元、平均值存放单元、像素数据存放单元按照上述依次工作直至第一指针的数值到达所述理想帧数n；
若第二指针小于预定值，则第2帧为慢速变化帧，控制子单元将第一指针加1，并控制平均值计算单元获取第3帧的行平均值，并将所述行平均值存入平均值存放单元；
控制子单元控制所述运动检测单元将第3帧与第2帧的行平均值作差，获取行差值，所述行差值与行对应，并将行差值与阈值相比，若每有一行的行差值大于阈值，则发送信号至控制子单元，控制子单元控制图像传感器输出该行，并将第二指针加1；若每有一行的行差值小于阈值，则发送信号至控制子单元，控制子单元控制图像传感器输出该行，直至第3帧所有行处理和输出完毕；
控制子单元根据第二指针的情况，控制子单元控制平均值计算单元、平均值存放单元、像素数据存放单元按照上述步骤工作直至第一指针的数值到 达所述理想帧数n。
所述控制单元控制平均值存放单元计算所述行平均值与行对应的平均值，存放在平均值存放单元中。
作为一个实施例，所述控制子单元控制图像传感器输出第n+1帧的第1行每个像素单元的像素值至像素数据存放单元，并将所述像素至输出至平均值计算单元。
所述控制子单元控制所述平均值计算单元计算第n+1帧的第1行每个像素单元的像素值的平均值，并控制其将所述平均值输入平均值存放单元。
所述控制子单元控制所述运动检测单元将所述平均值与理想行平均值相减，获得差值，若差值大于阈值，则发送信号至控制子单元，所述控制子单元控制图像传感器输出所述第n+1帧第1行，并且将第二指针加1；若差值小于阈值，则发送信号至控制子单元，所述控制子单元控制运动检测单元将像素数据存放单元中的第n+1帧第1行所有像素单元的像素值与差值相减，得到新的像素值。作为一个实施例，所述控制子单元可以控制运动检测单元将新的像素值对应的图像直接输出。作为另一个实施例，所述控制子单元控制运动检测单元将所述新的像素值输出至像素数据存放单元，并控制所述像素数据存放单元将其对应的图像输出。
所述控制子单元控制所述平均值计算单元计算第n+1帧的第2行每个像素单元的像素值的平均值，并控制其将所述平均值输入平均值存放单元。
所述控制子单元控制所述运动检测单元将所述平均值与理想行平均值相减，获得差值，若差值大于阈值，则发送信号至控制子单元，所述控制子单元控制图像传感器输出所述第n+1帧第2行，并且将第二指针加1；若差值小于阈值，则发送信号至控制子单元，所述控制子单元控制运动检测单元将像素数据存放单元中的第n+1帧第2行所有像素单元的像素值与差值相减，得到新的像素值，所述新的像素值输出值像素数据存放单元，并控制所述像素 数据存放单元输出。
依次类推，直至所述控制子单元控制图像传感器输出第n+1帧最后1行至像素数据存放单元，并输出至平均值计算单元；
所述控制子单元控制平均值计算单元计算第n+1帧的最后1行每个像素单元的像素值的平均值，并将所述平均值输入平均值存放单元；
所述控制子单元控制所述运动检测单元将所述平均值与理想行平均值相减，获得差值，若差值大于阈值，则发送信号至控制子单元，所述控制子单元控制图像传感器输出所述第n+1帧最后1行，并且将第二指针加1；若差值小于阈值，则发送信号至控制子单元，所述控制子单元控制运动检测单元将像素数据存放单元中的第n+1帧第n+1行所有像素单元的像素值与差值相减，得到新的像素值，所述新的像素值输出值像素数据存放单元，并输出。
控制子单元对第n+1帧图像处理和输出完成后，所述第二指针小于预定值，则判定第n+1帧为慢速变化帧，控制平均值存放单元获取所述理想帧的第2帧至第n+1帧的理想行平均值，并且控制单元控制运动检测单元、像素数据存放单元、平均值计算单元、平均值存放单元循环工作直至将图像传感器的所有帧处理和输出完毕；
所述第二指针大于预定值，则第n+1帧为快速变化帧，控制平均值存放单元获取新的慢速变化的连续的理想帧，并控制平均值计算单元、平均值存放单元、像素数据存放单元将图像传感器处理和输出完毕。
所述行平均值为每行的像素单元中的绿色像素单元的像素值的平均值，所述装置在获取理想行平均值时处理绿色像素值，节约了系统资源；对蓝色像素值、红色像素值的处理与绿色像素值的处理相同，具有较好的去除水平噪声的效果。
本发明虽然以较佳实施例公开如上，但其并不是用来限定本发明，任何领域技术人员在不脱离本发明的精神和范围内，都可以作出可能的变动和修 改，因此本发明的保护范围应当以本发明权利要求所界定的范围为准。
Claims (11)
1.一种图像处理方法，其特征在于，包括：
步骤S1，提供图像，所述图像包括至少一帧，每帧包括至少一行，每行包括至少一个像素单元；
步骤S2，获取慢速变化的连续的理想帧，所述慢速变化的连续的理想帧的帧数为n，理想帧的每帧具有行平均值；
步骤S3，将n帧理想帧的行平均值根据行对n求平均值，获取理想行平均值；
步骤S4，获取第n+1帧的行平均值；
步骤S5，以理想行平均值为基础，对第n+1帧进行运动检测，所述运动检测过程包括：判定第n+1帧是否为慢速变化帧的步骤；若第n+1帧为慢速变化帧，则以理想帧中的第2帧至第n+1帧作为新的慢速变化的连续的理想帧，并再次执行步骤S3、S4、S5对第n+2帧进行相应处理；若第n+1帧为快速变化帧，则从第n+2帧开始，再次执行步骤S2重新获取新的慢速变化的连续的理想帧，并执行步骤S3、S4、S5对第n+2帧及其以后的帧进行处理；
以此类推，直至所有帧被处理完毕。
2.根据权利要求1所述的图像处理方法，其特征在于，所述步骤S2的获取慢速变化的连续的理想帧具体包括：
步骤S21，获取第1帧的行平均值；
步骤S22，获取第2帧的行平均值；
步骤S23，将第2帧的行平均值与第1帧的行平均值作差，获取行差值，与行对应；
步骤S231，若行差值大于阈值的行数超过预定值，判定第2帧为快速变化帧并输出，则从第3帧开始，参考步骤S21至S23进行处理，直至获取慢 速变化的连续的理想帧；
步骤S232，若行差值大于阈值的行数未超过预定值，判定第2帧为慢速变化帧，获取第3帧的行平均值，将第3帧与第2帧的行平均值作差，获取其行差值并根据行差值情况，分别对应执行步骤S231或S232对第3帧进行判定和处理，以此类推，直至获取慢速变化的连续的理想帧。
3.根据权利要求1所述的图像处理方法，其特征在于，所述步骤S5的判定第n+1帧是否为慢速变化帧进一步包括：
步骤S51，将第n+1帧的行平均值与理想行平均值作差，获取与行对应的行差值；
步骤S52，若有任一行的行差值大于阈值，则直接输出该行，若有任一行的行差值小于阈值，则对该行的所有像素单元修正后输出，直至输出第n+1帧的最后1行；若行差值大于阈值的行数未超过预定值，则判定第n+1帧为慢速变化帧，若行差值大于阈值的行数超过预定值，则判定第n+1帧为快速变化帧。
4.根据权利要求3所述的图像处理方法，其特征在于，所述修正步骤包括将像素单元的像素值与该像素单元所在行的行差值作差，作为像素单元的修正后的像素值并替代原有的像素值。
5.根据权利要求1至4中任意一项所述的图像处理方法，其特征在于，所述行平均值为每行的像素单元中的绿色像素单元的像素值的平均值。
6.一种使用权利要求1的图像处理方法的图像处理装置，用于处理图像传感器输出的图像，其特征在于，包括：
像素数据存放单元，用于存放图像传感器输出的图像的每帧的每行的每个像素单元的像素值，并将像素值输出至平均值计算单元；
平均值计算单元，用于计算行平均值并发送至平均值存放单元；
平均值存放单元，用于存放行平均值，并根据行计算理想行平均值；
控制单元，用于控制平均值计算单元、像素数据存放单元、平均值存放单元、图像传感器，所述控制单元获取慢速变化的连续的理想帧，所述理想帧的帧数为n，所述控制单元用于判定第n+1帧是否为慢速变化帧，若第n+1帧是慢速变化帧，则控制平均值存放单元获取所述理想帧中的第2帧至第n+1帧的理想行平均值；若第n+1帧是快速变化帧，则重新获取新的慢速变化的连续的理想帧，并控制平均值计算单元、平均值存放单元、像素数据存放单元将图像传感器的所有帧处理和输出完毕。
7.根据权利要求6所述的图像处理装置，其特征在于，所述控制单元内设定有预定值、阈值、第一指针、第二指针、理想帧数n，所述第一指针、第二指针预置数为0。
8.根据权利要求7所述的图像处理装置，其特征在于，所述控制单元包括控制子单元，所述控制子单元控制图像传感器输出图像并控制图像传感器将每帧的每行的每个像素单元的像素值存入像素数据存放单元；
所述控制子单元控制平均值计算单元获取第1帧的行平均值，并控制平均值计算单元将所述行平均值存入平均值存放单元；
所述控制子单元控制平均值计算单元获取第2帧的行平均值，并控制平均值计算单元将所述行平均值存入平均值存放单元；
所述控制单元还包括运动检测单元，所述控制子单元控制所述运动检测单元将第2帧与第1帧的行平均值作差，获取行差值，所述行差值与行对应，并将行差值与阈值相比，若每有一行的行差值大于阈值，则发送信号至控制子单元，控制子单元控制图像传感器输出该行，并将第二指针加1；若每有一行的行差值小于阈值，则发送信号至控制子单元，控制子单元控制图像传感器输出该行，直至第2帧所有行处理和输出完毕；
将第2帧所有行处理和输出完毕后，若第二指针大于等于预定值，则控制子单元控制像素数据存放单元、平均值计算单元、平均值存放单元、运动 检测单元处理下一帧直至第一指针的数值到达所述理想帧数n；
若第二指针小于预定值，则控制子单元将第一指针加1，并控制控制图像传感器输出下一帧的像素值存入像素数据存放单元，所述控制子单元控制平均值计算单元、平均值存放单元、运动检测单元处理下一帧，以此类推，直至第一指针的数值到达所述理想帧数n。
9.根据权利要求8所述的图像处理装置，其特征在于，所述运动检测单元还将第n+1帧的行平均值与理想行平均值作差，获取与行对应的行差值，若有任一行的行差值大于阈值，则发送信号至控制子单元，控制子单元控制图像传感器输出该行，将第二指针加1，若有任一行的行差值小于阈值，则发送信号至控制子单元，控制子单元控制运动检测单元修正该行的像素值，并替换原有像素值输出，接着，所述控制子单元控制运动检测单元对下一行进行如上述处理，直至将第n+1帧中的所有行处理完毕，若第二指针大于预定值，则判定第n+1帧为快速变化帧，若第二指针小于预定值，则判定第n+1帧为慢速变化帧。
10.根据权利要求6所述的图像处理装置，其特征在于，所述行平均值为每行的像素单元中的绿色像素单元的像素值的平均值。
11.根据权利要求7所述的图像处理装置，其特征在于，所述阈值、预定值、连续的理想帧的数目n均为根据图像传感器的像素、应用场合、图像水平噪声的情况设置的固定数值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2010101252302A CN101778192B (zh) | 2010-02-25 | 2010-02-25 | 图像处理方法和图像处理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2010101252302A CN101778192B (zh) | 2010-02-25 | 2010-02-25 | 图像处理方法和图像处理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101778192A CN101778192A (zh) | 2010-07-14 |
| CN101778192B true CN101778192B (zh) | 2012-02-01 |
Family
ID=42514511
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2010101252302A Active CN101778192B (zh) | 2010-02-25 | 2010-02-25 | 图像处理方法和图像处理装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101778192B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9628711B2 (en) | 2011-12-15 | 2017-04-18 | Apple Inc. | Motion sensor based virtual tripod method for video stabilization |
| CN102695005B (zh) * | 2012-05-29 | 2014-12-10 | 昆山锐芯微电子有限公司 | 噪声因子的编码、噪声的抑制方法和装置及图像传感器 |
| CN109889712B (zh) * | 2019-03-11 | 2020-11-10 | 维沃移动通信（杭州）有限公司 | 一种像素电路、图像传感器、终端设备及信号的控制方法 |
| JP7439667B2 (ja) | 2020-07-13 | 2024-02-28 | 株式会社Ｊｖｃケンウッド | 映像信号処理装置および映像信号処理方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1627804A (zh) * | 2003-12-09 | 2005-06-15 | 乐金电子（沈阳）有限公司 | 数字电视接收机的频道均衡装置 |
| CN1878297A (zh) * | 2005-06-07 | 2006-12-13 | 浙江工业大学 | 全方位视觉装置 |
| CN1893671A (zh) * | 2005-07-06 | 2007-01-10 | 浙江工业大学 | 具有全景摄像功能的数码摄像设备 |
| US7418037B1 (en) * | 2002-07-15 | 2008-08-26 | Apple Inc. | Method of performing rate control for a compression system |
-
2010
- 2010-02-25 CN CN2010101252302A patent/CN101778192B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7418037B1 (en) * | 2002-07-15 | 2008-08-26 | Apple Inc. | Method of performing rate control for a compression system |
| CN1627804A (zh) * | 2003-12-09 | 2005-06-15 | 乐金电子（沈阳）有限公司 | 数字电视接收机的频道均衡装置 |
| CN1878297A (zh) * | 2005-06-07 | 2006-12-13 | 浙江工业大学 | 全方位视觉装置 |
| CN1893671A (zh) * | 2005-07-06 | 2007-01-10 | 浙江工业大学 | 具有全景摄像功能的数码摄像设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101778192A (zh) | 2010-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9036050B2 (en) | Image processing device, image processing method, and program | |
| US9979896B2 (en) | Image processing apparatus, image processing method, electronic equipment and program | |
| KR20090061927A (ko) | 불량 화소 및 잡음 제거 방법 | |
| JP2009212909A (ja) | 固体撮像装置、固体撮像装置のフリッカ検出方法、制御プログラム、可読記録媒体および電子情報機器 | |
| CN101160956A (zh) | 用于图像传感器的多点相关取样 | |
| CN101715049B (zh) | 噪声消除处理电路、噪声消除处理方法及固体摄像装置 | |
| CN101778192B (zh) | 图像处理方法和图像处理装置 | |
| KR20080088451A (ko) | 고정 패턴 노이즈 제거 회로, 고정 패턴 노이즈 제거 방법,프로그램 및 촬상 장치 | |
| CN1263282C (zh) | 在图象传感器和图象处理器之间进行接口的装置和方法 | |
| CN105160657A (zh) | 基于fpga的红外成像非均匀性校正系统 | |
| CN104717474A (zh) | 图像处理方法与模块 | |
| CN113068011B (zh) | 图像传感器、图像处理方法及系统 | |
| CN102905087A (zh) | 固态成像装置和模数转换输出位计数控制方法 | |
| KR20220030877A (ko) | 다양한 인트라-프레임 아날로그 비닝을 사용하는 이미지 센서 | |
| CN113301278A (zh) | 校准图像传感器的方法和校准图像传感器的设备 | |
| CN100499825C (zh) | 消除由内插产生的彩色噪声的方法及系统 | |
| JP5110289B2 (ja) | ノイズ低減装置およびデジタルカメラ | |
| CN104639842A (zh) | 影像处理装置及曝光控制方法 | |
| CN107635086A (zh) | 固态图像传感器和图像感测方法 | |
| TWI556643B (zh) | Image adjustment method | |
| US8339481B2 (en) | Image restoration devices adapted to remove artifacts from a restored image and associated image restoration methods | |
| CN203522898U (zh) | 固体摄像装置 | |
| JP3711402B2 (ja) | 撮像装置及びカラー撮像信号の処理方法 | |
| US11689823B2 (en) | Image sensing device and operating method thereof | |
| CN117671464B (zh) | 一种基于边缘计算的设备物联网数据管理系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: Room 508-511, building a, Modern Plaza, No. 18, Weiye Road, Kunshan Development Zone, Suzhou, Jiangsu Patentee after: Ruixin Microelectronics Co., Ltd Address before: Room 508-511, block A, Modern Plaza, 18 Albert Road, Kunshan Development Zone, Jiangsu, 215300 Patentee before: BRIGATES MICROELECTRONICS (KUNSHAN) Co.,Ltd. |
|
| CP03 | Change of name, title or address |