CN115802181A - 图像处理装置及其操作方法 - Google Patents

Abstract

本申请涉及图像处理装置及其操作方法。一种图像处理装置包括目标像素检测器，其被配置为检测图像传感器中所包括的多个像素当中的产生噪声的多个目标像素。图像处理装置还包括目标像素校正器，其被配置为通过使用基于多个目标像素中的每一个的位置而在预设范围内所包括的相邻像素的平均像素值，来改变多个目标像素的目标像素值。图像处理装置还包括目标像素补偿器，其被配置为使用通过累积与平均像素值的十进制小数部分相对应的值而获得的累积值，来补偿目标像素值。

Description

图像处理装置及其操作方法

技术领域

本公开涉及图像处理系统，更具体地，涉及图像处理系统及其操作方法。

背景技术

图像传感器是使用对光起反应的半导体来捕获图像的装置。近来，随着计算机行业和通信行业的发展，对于诸如智能电话、数码相机、游戏装置、物联网、机器人、安全相机和医疗微型相机之类的各种产品，对具有改进性能的图像传感器的需求日益增加。

图像传感器一般可以分类为电荷耦合器件(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器。CCD图像传感器具有比CMOS图像传感器更少的噪声和更好的图像质量。然而，CMOS图像传感器具有简单的驱动方法并且可以被实现用于各种扫描方法。另外，因为CMOS图像传感器可以与信号处理电路一起集成在单个芯片上，所以产品易于小型化，功耗非常低，而且因为可以互换地使用CMOS工艺技术，所以制造成本低。近来，CMOS图像感测系统已越来越多地用于移动装置。

发明内容

本公开的实施方式提供了用于即使在去除图像中产生的噪声之后也能保持图像的平均像素值的图像处理系统及其操作方法。

根据本公开的实施方式，一种图像处理装置可以包括：目标像素检测器，其被配置为检测图像传感器中包括的多个像素当中的产生噪声的多个目标像素；目标像素校正器，其被配置为通过使用基于多个目标像素中的每一个的位置而在预设范围内所包括的相邻像素的平均像素值，来改变作为多个目标像素的像素值的目标像素值；以及目标像素补偿器，其被配置为使用通过累积与平均值的十进制小数部分相对应的值而获得的累积值，来补偿目标像素值。

根据本发明的一个实施方式，一种图像处理装置可以包括：目标像素检测器，其被配置为检测图像传感器中包括的多个像素当中的产生噪声的多个目标像素；目标像素校正器，其被配置为通过使用基于多个目标像素中的每一个的位置而在水平方向上接触的接触像素的平均像素值，来改变作为多个目标像素的像素值的目标像素值；以及目标像素补偿器，其被配置为基于接触像素的像素值的和值，来补偿目标像素值。

根据本公开的实施方式，一种操作图像处理装置的方法可以包括：接收指示图像的多个像素的像素值；通过使用多个像素当中的产生噪声的第一目标像素的预定范围内所包括的相邻像素的平均像素值，来改变第一目标像素的像素值；获得第一十进制小数值，该第一十进制小数值为对应于与第一目标像素相对应的平均像素值的十进制小数部分的值；通过使用在多个像素当中的产生噪声的第二目标像素的预定范围内所包括的相邻像素的平均像素值，来改变第二目标像素的像素值；生成通过累积第二十进制小数值和第一十进制小数值而获得的累积值，第二十进制小数值是对应于与第二目标像素相对应的平均像素值的十进制小数部分的值；以及基于累积值来补偿第一目标像素的像素值或第二目标像素的像素值。

根据本公开的实施方式，一种操作图像处理装置的方法可以包括：接收指示图像的多个像素的像素值；检测多个像素当中的产生噪声的多个目标像素；计算基于多个目标像素中的每一个的位置而在垂直方向上接触的接触像素的像素值的和值；通过使用和值的相应平均像素值，来改变作为多个目标像素的像素值的目标像素值；响应于和值当中的奇数和值而生成增加了一(1)的累积值；将多个目标像素当中的对应于通过使累积值从奇数增加到偶数而获得的和值的目标像素确定为补偿像素；以及将预定补偿值加至补偿像素的像素值。

根据本公开的实施方式，一种图像处理装置可以包括：图像传感器，其被配置为传输指示图像的第一像素的像素值；目标像素检测器，其被配置为基于第一像素的像素值检测第一像素当中的产生噪声的第二像素；目标像素校正器，其被配置为通过使用根据第二像素在图像中的位置分别确定的第三像素的平均像素值，来改变作为第二像素的像素值的目标像素值；目标像素补偿器，其被配置为使用通过累积与平均值的十进制小数部分相对应的值而获得的累积值，来补偿目标像素值；以及输出管理器，其被配置为输出包括像素值被补偿的第二像素的第一像素的像素值。

根据本公开的实施方式，可以提供一种即使去除了图像中产生的噪声之后也保持图像的平均像素值的图像处理系统。

附图说明

图1是例示了根据本公开的实施方式的图像处理系统的图。

图2是例示了根据本公开的实施方式的图1的图像传感器的图。

图3是例示了根据本公开的实施方式的在图像中生成的噪声的图。

图4是例示了根据本公开的实施方式的在相位检测自动对焦像素中生成的噪声的图。

图5是例示了根据本公开的实施方式的图像处理系统的框图。

图6是例示了根据本公开的实施方式的目标像素和相邻像素的图。

图7是例示了根据本公开的实施方式的目标像素和与目标像素相邻的像素的图。

图8是例示了根据本公开的实施方式的随机确定的补偿值的图。

图9是例示了根据本公开的实施方式的补偿基于累积值而改变的目标像素的像素值的方法的流程图。

图10是例示了根据本公开的实施方式的确定补偿值的方法的流程图。

图11是例示了根据本公开的另一实施方式的补偿基于累积值而改变的目标像素的像素值的方法的流程图。

图12是例示了根据本公开的又一实施方式的补偿目标像素的像素值的方法的流程图。

图13是例示了根据本公开的实施方式的包括图像传感器的计算系统的框图。

具体实施方式

根据本说明书或本申请中所公开的概念的实施方式的具体结构或功能描述仅是为了描述根据本公开的概念的实施方式而例示的。根据本公开的概念的实施方式可以以各种形式来实施并且不应被解释为限于在本说明书或本申请中描述的实施方式。

在下文中，为了充分详细地描述本公开以使本公开所属领域的普通技术人员能够实现本公开的技术精神，将参照附图描述本公开的实施方式。

图1是例示了根据本公开的实施方式的图像处理系统的图。

参照图1，图像处理系统10可以包括图像传感器100和图像处理装置200。

图像处理系统10可以获得图像。另外，图像处理系统10可以存储、显示通过处理图像所获得的输出图像，或者将输出图像输出到外部装置。图像处理系统10可以根据主机的请求而将输出图像输出到主机。

在实施方式中，图像处理系统10可以以封装模块、部件等的形式来实现。在这种情况下，图像处理系统10可以安装在主机上。主机可以实现为各种电子装置之一。例如，主机可以实现为数码相机、移动装置、智能电话、个人计算机(PC)、平板PC、笔记本电脑、个人数字助理(PDA)、企业数字助理(EDA)、便携式多媒体播放器(PMP)、可穿戴装置、黑匣子、机器人、自主驾驶车辆等。

在另一实施方式中，图像处理系统10可以实现为与主机分离的电子装置。例如，图像处理系统10可以实现为成像装置、数码相机、便携式摄像机、闭路电视(CCTV)、网络摄像头、安全相机、工业视觉相机、移动装置、智能电话、PC、平板PC、笔记本电脑、PDA、EDA、PMP、可穿戴装置、黑匣子、机器人、自主驾驶车辆、车载视觉相机、机顶盒、游戏控制台、电子词典、电子书阅读器、台式电脑、服务器、MP3播放器、智能医疗装置、电视机、数字影碟(DVD)播放器、音响、冰箱、空调、吸尘器、烤箱、微波炉、洗衣机、空气净化器、智能镜子、智能窗户、电子钥匙、电子相框、数字广告牌、安全控制面板等。这里，可穿戴装置可以是智能手表、戒指、手镯、脚链、项链、眼镜、隐形眼镜、头戴式装置(HMD)、护皮垫、纹身、生物移植型电路等。

图像传感器100可以实现为电荷耦合器件(CCD)图像传感器和互补金属氧化物半导体(CMOS)图像传感器。图像传感器100可以为通过透镜(未示出)输入(或捕获)的对象(未示出)生成图像数据。透镜(未示出)可以包括形成光学系统的至少一个透镜。

图像传感器100可以包括多个像素。图像传感器100可以在多个像素中生成与捕获的图像相对应的多个像素值DPX。由图像传感器100生成的多个像素值DPX可以被发送给图像处理装置200。也就是说，图像传感器100可以生成与单个帧相对应的多个像素值DPX。

图像处理装置200可以执行用于提高从图像传感器100接收的像素数据的图像质量的处理，并输出处理后的图像数据。这里，处理可以是电子图像稳定(EIS)、插值、色调校正、图像质量校正、尺寸调整等。

在图1中，图像处理装置200可以实现为独立于图像传感器100的芯片。在这种情况下，图像传感器100的芯片和图像处理装置200的芯片可以实现为一个封装件，例如，多芯片封装件。在本公开的另一实施方式中，图像处理装置200可以作为图像传感器100的一部分而被包括，以实现为单个芯片。

在实施方式中，图像处理系统10还可以包括存储器。存储器可以实现为非易失性存储器元件。例如，存储器可以由诸如以下的各种存储器元件来配置：仅可以读取数据的只读存储器(ROM)、仅可以写入一次的一次性可编程(OTP)存储器、可以擦除和写入存储的数据的可擦除可编程ROM(EPROM)、NAND闪存和NOR闪存。

图2是例示了根据本公开的实施方式的图1的图像传感器100的图。

参照图2，图像传感器100可以包括像素阵列110、行解码器120、时序发生器130和信号转换器(或信号换能器)140。

像素阵列110可以包括根据实施方式的滤色器阵列111、以及形成于滤色器阵列111下方并且包括与滤色器阵列111的每个像素对应的多个光电转换元件的光电转换层113。像素阵列110可以包括用于输出入射光中包含的颜色信息的多个像素。多个像素中的每一个可以输出与穿过对应滤色器阵列111的入射光相对应的像素信号。

滤色器阵列111可以包括仅使入射到每个像素的光中的特定波长(例如，红、蓝或绿)通过的滤色器。在本公开中，滤色器可以表示为颜色通道。由于滤色器阵列111，每个像素的像素数据可以指示与特定波长的光的强度对应的值。

具体地，多个像素中的每一个可以累积根据入射光产生的光电荷，并生成与累积的光电荷相对应的像素信号。每个像素可以包括将光信号转换为电信号的光电转换元件(例如，光电二极管、光电晶体管、光电门或钉扎光电二极管)、以及用于处理电信号的至少一个晶体管。

像素阵列110可以包括在行方向和列方向上布置的多个像素。像素阵列110可以针对每行生成多个像素信号VPX。多个像素信号VPX中的每一个可以是模拟像素信号VPX。

行解码器120可以响应于从时序发生器130输出的地址和控制信号而选择像素阵列110中的布置有多个像素的多个行当中的一行。

信号转换器140可以将多个模拟像素信号VPX转换成多个数字像素值DPX。可以以各种模式输出多个数字像素值DPX。信号转换器140可以响应于从时序发生器130输出的控制信号而对从像素阵列110输出的每个信号执行相关双采样(CDS)，并且对执行了CDS的每个信号执行模数转换，以输出每个数字信号。每个数字信号可以是与穿过对应滤色器阵列111的入射光的波长的强度相对应的信号。

信号转换器140可以包括CDS块和模数转换器(ADC)块。CDS块可以依次采样并保持提供给像素阵列110中所包括的多条列线中的每条列线的参考信号和图像信号组。也就是说，CDS块可以采样并保持对应于各列的参考信号和图像信号的电平。ADC块可以输出通过将从CDS块输出的针对各列的CDS信号转换为数字信号而获得的像素数据。为此，ADC块可以包括对应于各列的比较器和计数器。

此外，根据本公开的实施方式的图像传感器100还可以包括输出缓冲器150。输出缓冲器150可以被实现为存储从信号转换器140输出的数字信号的多个缓冲器。具体地，输出缓冲器150可以锁存并输出从信号转换器140提供的每列的像素数据。输出缓冲器150可以临时存储从信号转换器140输出的像素数据，并在时序发生器130的控制下依次输出像素数据。根据本公开的实施方式，可以省略输出缓冲器150。

图3是例示了根据本公开的实施方式的图像中产生的噪声的图。

参照图3，在包括多个像素的图像300中可以产生噪声。在多个像素当中，与相邻像素的像素值相差预定阈值或更大的像素可被确定为产生噪声的像素。图3可以例示产生了噪声的图像。

包括多个像素的图像300可以包括与相邻像素不保持线性特性的相位检测自动对焦(PDAF)像素310、320、330和340。PDAF像素310、320、330和340可以是光电二极管(PD)像素。PD像素可能与相邻像素不保持线性特性，因为像素的特性根据位置而变化。也就是说，PDAF像素310、320、330和340的像素值可以被确定为噪声。

包括多个像素的图像300可以包括多个缺陷像素350和360。多个缺陷像素350和360可以是由于各种原因而产生的。例如，CMOS图像传感器中所包括的多个像素中的每一个可以累积根据入射光产生的光电荷并且生成与所累积的光电荷相对应的像素信号。可以根据多个像素之间的距离产生干涉光。当干涉光和入射光入射到CMOS图像传感器上时，在CMOS图像传感器的输出处可以产生噪声。

产生噪声的像素的像素值与相邻像素的像素值之间的差可以大于或等于预定阈值。图像处理装置可以将像素值与相邻像素的像素值相差预定阈值或更大的像素确定为产生噪声的像素。例如，图像处理装置可以确定在PDAF像素310、320、330和340以及缺陷像素350和360中产生了噪声。

固定图案噪声可以是由CMOS图像传感器生产过程中产生的非均匀性而引起的。由于非均匀性导致的固定图案噪声可以是垂直方向或水平方向上的条带形式的噪声。CMOS图像传感器中所包括的缺陷像素或PDAF像素可能导致固定图案噪声。

图4是例示了根据本公开的实施方式的PDAF像素中产生的噪声的图。

参照图4，可以放置使光入射到像素上的片上透镜(OCL)。OCL的尺寸可以改变以对应于位于OCL下方的像素。

一个OCL 420可以对应于一个正常像素421。当光通过一个OCL 420入射时，可以从一个正常像素421输出像素值。

PDAF像素310和320可以对应于一个OCL 410。由于光通过一个OCL 410入射到PDAF像素310和320上，所以PDAF像素310和320的像素值可以与一个正常像素421的像素值不同。

当PDAF像素310和320的像素值与一个正常像素421的像素值之间的差大于或等于预定阈值时，图像处理装置可以确定PDAF像素310和320是产生噪声的像素。由于OCL的不同，在PDAF像素310和320中可以产生噪声。

图5是例示了根据本公开的实施方式的图像处理系统的框图。

参照图5，图像处理装置200可以从包括多个像素的图像传感器100接收多个像素值。图像处理装置200可以基于接收到的多个像素值来去除噪声。图像处理装置200可以包括目标像素检测器210、目标像素校正器220和目标像素补偿器230。目标像素检测器210、目标像素校正器220和目标像素补偿器230中的每一个可以实现为硬件、软件、或者硬件和软件的组合。例如，目标像素检测器210可以是根据算法操作的目标像素检测电路和/或执行目标像素检测代码的处理器。目标像素校正器220可以是根据算法操作的目标像素校正电路和/或执行目标像素校正代码的处理器。目标像素补偿器230可以是根据算法操作的目标像素补偿电路和/或执行目标像素补偿代码的处理器。

目标像素检测器210可以检测图像传感器100中所包括的多个像素当中的产生噪声的多个目标像素。目标像素检测器210可以将与和相邻像素的像素值相差预定阈值或更大的像素值对应的像素检测为目标像素。缺陷像素的像素值或PDAF像素的像素值与相邻像素的像素值之间的差可以大于预定阈值。目标像素检测器210可以将缺陷像素或PDAF像素检测为目标像素。

目标像素校正器220可以通过使用基于多个目标像素中的每一个目标像素的位置而在预设范围内所包括的相邻像素的平均像素值来改变作为多个目标像素的像素值的目标像素值。目标像素校正器220可以将目标像素值改变为整数值，整数值是对应于分别与多个目标像素相对应的平均像素值的整数部分的值。由于目标像素校正器220在校正多个目标像素的像素值时仅使用平均像素值的整数值，因此对应于平均像素值的十进制小数部分的十进制小数值可以不被使用。由于不使用十进制小数值，因此在校正多个目标像素之后的图像的总平均像素值可以小于在校正多个目标像素之前的图像的总平均像素值。

当目标像素的排列规则时，在图像中可以减小包括目标像素的行或列的平均像素值。当行或列的平均像素值减小时，可以产生具有规则排列的固定图案噪声。图像中产生的固定图案噪声可以与图像中所包括的目标像素的密度对应地增加。当图像中包括PDAF像素时，目标像素的排列可以是规则的。

目标像素补偿器230可以使用通过将与平均像素值的十进制小数部分对应的值进行累积而获得的累积值，来补偿目标像素值。目标像素补偿器230可以将补偿值加至目标像素值。在本公开的实施方式中，补偿值可以为0或1。

目标像素补偿器230还可以包括累积值管理器231、传感器232和补偿确定器233。也称为累积管理器的累积值管理器231可以生成通过累积十进制小数值而获得的累积值，十进制小数值为对应于分别与多个目标像素相对应的平均像素值的十进制小数部分的值。传感器232可以在平均像素值和平均像素值的整数值彼此不同时感测到十进制小数值的出现。补偿确定器233可以基于累积值确定要加至目标像素值的每个补偿值。

每当目标像素校正器220改变目标像素的像素值时，累积值管理器231可以生成通过将平均像素值的十进制小数值进行累积而获得的累积值。累积值管理器231可以累积平均像素值的没有用于改变目标像素的像素值的十进制小数值。随着其像素值被改变的目标像素的数量增加，累积值可以增加。

补偿确定器233可以响应于十进制小数值的出现而将累积值与预定参考值进行比较。当累积值大于或等于预定参考值时，补偿确定器233可以将补偿值确定为1。累积值管理器231可以响应于被确定为1的补偿值而从累积值中减去参考值。目标像素补偿器230可以将被确定为1的补偿值加至目标像素的被改变为整数值的像素值。也就是说，目标像素的像素值可以增加1。当累积值小于参考值时，补偿确定器233可以将补偿值确定为0。补偿值为0的目标像素的像素值可以被保持。

在本公开的另一实施方式中，补偿确定器233可以将与目标像素检测器210所检测到的多个目标像素当中的其位置被预先确定的目标像素的像素值相对应的补偿值确定为1。例如，PDAF像素可以是其位置被预先确定的目标像素。

在本公开的另一实施方式中，补偿确定器233可以将与目标像素检测器210所检测到的目标像素当中的其位置随机的目标像素的像素值相对应的补偿值确定为1。例如，缺陷像素可以是其位置随机的目标像素。

累积值管理器231可以响应于被确定为1的补偿值而从累积值中减去参考值。当补偿值被确定为1时，累积值可以减小。在本公开的实施方式中，累积值可以保持在一定范围内。

在本公开的实施方式中，预定参考值可以是1。当对第一目标像素的像素值进行校正时，可以生成平均像素值的十进制小数值。此时，累积值可以是与第一目标像素相对应的十进制小数值。由于累积值小于预定参考值1，因此可以将与第一目标像素相对应的补偿值确定为0。由于与第一目标像素相对应的补偿值为0，因此可以保持第一目标像素的被改变为整数值的像素值。当对多个目标像素的像素值进行校正时，累积值可以增加。当累积值大于或等于1时，目标像素的被改变为整数值的像素值可以增加1。当补偿值被确定为1时，累积值管理器231可从累积值中减去1。

在本公开的另一实施方式中，补偿确定器233可以响应于十进制小数值的出现而随机地将补偿值确定为0或1。当平均像素值和平均像素值的整数值彼此不同时，传感器232可以感测到出现了十进制小数值。例如，当对第一目标像素的像素值进行校正时，可以生成平均像素值的十进制小数值。此时，累积值可以是与第一目标像素相对应的十进制小数值。补偿确定器233可以响应于十进制小数值的出现而将补偿值确定为1。

补偿确定器233可以根据基于累积值而确定的比率将补偿值确定为0或1。被确定为1的补偿值的数量可以根据累积值而变化。例如，目标像素的数量可以是10。响应于10个目标像素当中的累积值，要被确定为1的补偿值的数量可以是三个。在目标像素当中，可以随机地选择其补偿值被确定为1的目标像素，但数量可以与3相同。

在本公开的又一实施方式中，图像处理装置200可以去除图像传感器100获得的图像中产生的噪声。图像处理装置200可以包括目标像素检测器210、目标像素校正器220和目标像素补偿器230。

目标像素校正器220可以通过使用基于多个目标像素中的每一个目标像素的位置而在水平方向上彼此接触的接触像素的平均像素值，来改变作为多个目标像素的像素值的目标像素值。接触像素可以是基于多个目标像素中的每一个目标像素的位置，在水平方向或垂直方向上彼此接触的两个像素。目标像素校正器220可以将目标像素值改变为整数值，该整数值是对应于分别与多个目标像素相对应的平均像素值的整数部分的值。

目标像素补偿器230可以基于接触像素的像素值的和值来补偿目标像素值。和值可以是通过将在水平方向上与目标像素相邻的两个像素的像素值求和而获得的值，或者可以是通过将在垂直方向上与目标像素相邻的两个像素的像素值相加而获得的值。

目标像素补偿器230还可以包括累积值管理器231、传感器232和补偿确定器233。累积值管理器231可以响应于和值当中为奇数的和值而生成增加1的累积值。传感器232可以感测累积值的增加。补偿确定器233可以基于累积值来确定多个目标像素当中的添加预定补偿值的至少一个补偿像素。

补偿确定器233可以确定与使累积值从奇数增加到偶数的和值相对应的目标像素为补偿像素。只有当和值为奇数时，才可以增加累积值。补偿确定器233可以确定多个目标像素当中的使累积值增加到偶数的目标像素为补偿像素。目标像素补偿器230可以将作为预定补偿值的1加至补偿像素的像素值。在本公开的实施方式中，累积值在响应于和值而增加的同时可以是偶数或奇数。在多个目标像素当中可以根据累积值来确定补偿像素。补偿像素的像素值可以增加1。

在本公开的另一实施方式中，补偿确定器233可以根据基于累积值确定的比率随机地确定补偿像素。可以将预定的补偿值1加至补偿像素的像素值。可以在多个目标像素当中随机地确定补偿像素，但是多个目标像素当中被确定为补偿像素的比率可以是恒定的。

图6是例示了根据本公开的实施方式的目标像素和相邻像素的图。

参照图6，图像的一部分600可以包括目标像素610和位于目标像素610周围的相邻像素620。相邻像素620的范围可以变化。校正图6的目标像素610的像素值的方法可以与图5的描述对应。

例如，可以假设相邻像素620的像素值为10、11、11、12、13、10、10和15。目标像素校正器220可以计算相邻像素620的平均像素值。具体地，平均像素值可以是11.5。目标像素校正器220可以将目标像素610的像素值从先前值改变为11。平均像素值的整数值11可以变为目标像素的像素值，而平均像素值的十进制小数值0.5可以由累积值管理器231来累积。

可以假设存在累积值管理器231中累积的值0.25。累积值管理器231可以通过将0.25和平均像素值的十进制小数值0.5相加来生成0.75作为累积值。传感器232可以感测到平均像素值的十进制小数值0.5的出现。当传感器232感测到十进制小数值0.5的出现时，补偿确定器233可以将累积值0.75与预定参考值1进行比较。由于累积值0.75小于参考值1，因此补偿确定器233可以将补偿值确定为0。由于补偿值为0，因此目标像素的像素值可以保持为11。

可以假设在累积值管理器231中存在累积值0.75。累积值管理器231可以通过将0.75加至平均像素值的十进制小数值0.5，来生成1.25作为累积值。传感器232可以感测到平均像素值的十进制小数值0.5的出现。当传感器232感测到十进制小数值0.5的出现时，补偿确定器233可以将累积值1.25与预定参考值1进行比较。由于累积值1.25大于参考值1，所以补偿确定器233可以将补偿值确定为1。

目标像素补偿器230可以将补偿值1加至目标像素的像素值11上。加上补偿值的目标像素的像素值可以变为12。当补偿确定器233将补偿值确定为1时，累积值管理器231可以从累积值1.25中减去1。在累积值管理器231中累积的值可以为0.25。

在本发明的另一实施方式中，可以假设存在累积值管理器231中累积的值0.75，并且目标像素610的十进制小数值为0.5。累积值管理器231可以通过将0.75加至平均像素值的十进制小数值0.5来生成1.25作为累积值。补偿确定器233可以将目标像素610确定为补偿像素。目标像素补偿器230可以将补偿值加至补偿像素的像素值。

图7是例示了根据本公开的实施方式的目标像素和与目标像素相邻的像素的图。

参照图7，图像的一部分700可以包括目标像素710、在垂直方向上与目标像素710相邻的像素720和730、以及在水平方向上与目标像素710相邻的像素740和750。与目标像素710在垂直方向上相邻的像素720和730的像素值可以分别为11和15，而与目标像素710在水平方向上相邻的像素740和750的像素值可以为13和14。

目标像素校正器220可以基于与目标像素710在垂直方向上相邻的像素720和730的像素值，来校正目标像素710的像素值。通过将与目标像素710在垂直方向上相邻的像素720和730的像素值相加而获得的和值可以是26。目标像素校正器220可以将目标像素710的像素值改变为作为和值26的平均像素值的13。由于和值26是偶数，因此可以不校正目标像素710的像素值。

目标像素校正器220可以基于与目标像素710在水平方向上相邻的像素740和750的像素值，来校正目标像素710的像素值。通过将与目标像素710在水平方向上相邻的像素740和750的像素值相加而获得的和值可以为27。此时，和值的平均像素值可以是13.5。目标像素校正器220可以将目标像素710的像素值改变为作为平均像素值的整数值的13。由于和值27是奇数，因此累积值管理器231可以生成通过将1加到已经累积的值而获得的累积值。当已累积的值为1时，累积值可以变为2。

由于和值27为奇数，因此传感器232可以感测到累积值的增加。由于累积值2是偶数而不是0，因此补偿确定器233可以将补偿值确定为1。目标像素补偿器230可以将补偿值1加至目标像素710的像素值13。加上了补偿值的目标像素710的值可以是14。在本公开的实施方式中，目标像素710的像素值可以响应于用于像素值校正的像素而改变。

在本公开的另一实施方式中，可以假设在累积值管理器231中累积的值是奇数并且目标像素710的和值为27。和值27可以使累积值从奇数增加到偶数。补偿确定器233可以将目标像素710确定为补偿像素。目标像素补偿器230可以将补偿值加至补偿像素的像素值。

图8是例示了根据本公开的实施方式的随机确定的补偿值的图。

参照图8，图像的一部分800可以包括六个目标像素810、820、830、840、850和860。在六个目标像素810、820、830、840、850和860当中，810、820、850和860可以对应于PDAF像素。在六个目标像素810、820、830、840、850和860当中，830和840可以对应于缺陷像素。图8中确定补偿值的方法可以对应于图5的描述。

当相邻像素的像素值的平均像素值为整数值时，可以不向目标像素添加补偿值。当在相邻像素的像素值的平均像素值中包含十进制小数值时，目标像素补偿器230可以向目标像素添加补偿值。当传感器232感测到十进制小数值的出现时，补偿确定器233可以将要加至目标像素的补偿值随机地确定为0或1。

具体地，与六个目标像素810、820、830、840、850和860当中的810、820、830和840相对应的平均像素值中可以包含十进制小数。与六个目标像素810、820、830、840、850和860当中的850和860相对应的平均像素值可以是整数值。可以不向目标像素850和860添加补偿值。

补偿确定器233可以确定与目标像素810、820、830和840相对应的补偿值。补偿值可以为0或1。补偿值可以是随机地确定的，但是被确定为1的补偿值的数量可以提前确定。例如，被确定为1的补偿值的数量可以为1。当与目标像素810、820、830和840当中的目标像素820相对应的补偿值被确定为1时，与其余的目标像素810、830和840相对应的补偿值可以被确定为0。类似地，当与目标像素810、820和830相对应的补偿值全部为0时，与目标像素840相对应的补偿值被确定为1。

补偿确定器233可以根据基于累积值而确定的比率，将补偿值确定为0或1。响应于由累积值管理器231生成的累积值而被确定为1的补偿值的数量可以不同。例如，当累积值为3时，被确定为1的补偿值的数量可以为3。

在本公开的另一实施方式中，补偿确定器233可以在目标像素810、820、830和840当中确定被添加补偿值的补偿像素。补偿像素可以是随机地确定的，但是补偿像素的数量可以提前确定。目标像素补偿器230可以将补偿值加至补偿像素的像素值。

在本公开的又一实施方式中，补偿确定器233可以将与由目标像素检测器210检测到的目标像素当中的、其位置被预先确定的目标像素的像素值相对应的补偿值确定为1。PDAF像素可以是位置被预先确定的目标像素。补偿确定器233可以将位置被预先确定的目标像素810、820、850和860的补偿值确定为1。

在本公开的又一实施方式中，补偿确定器233可以将与由目标像素检测器210检测到的目标像素当中的、其位置随机的目标像素的像素值相对应的补偿值确定为1。缺陷像素可以是位置随机的目标像素。补偿确定器233可以将位置随机的目标像素830和840的补偿值确定为1。

图9是例示了根据本公开的实施方式的补偿基于累积值改变的目标像素的像素值的方法的流程图。

参照图9，图像处理装置200可以去除图像中产生的噪声。

在步骤S910中，目标像素检测器210可以检测图像传感器中所包括的多个像素当中的产生噪声的多个目标像素。目标像素检测器210可以将对应于与相邻像素的像素值相差预定阈值或更大的像素值的像素检测为目标像素。缺陷像素的像素值或PDAF像素的像素值与相邻像素的像素值之间的差可以大于预定阈值。目标像素检测器210可以将缺陷像素或PDAF像素检测为目标像素。

在步骤S920中，目标像素校正器220可以通过使用基于多个目标像素中的每一个目标像素的位置而在预设范围内所包括的相邻像素的平均像素值，来改变作为多个目标像素的像素值的目标像素值。目标像素校正器220可以将目标像素值改变为整数值，该整数值是对应于分别与多个目标像素相对应的平均像素值的整数部分的值。由于目标像素校正器220在对多个目标像素的像素值进行校正时仅使用平均像素值的整数值，因此与平均像素值的十进制小数部分相对应的十进制小数值可以不被使用。由于不使用十进制小数值，因此在对多个目标像素进行校正之后的图像的总平均像素值可以小于在对多个目标像素进行校正之前的图像的总平均像素值。

在步骤S930中，目标像素补偿器230可以使用通过累积与平均像素值的十进制小数部分相对应的值而获得的累积值，来补偿目标像素值。目标像素补偿器230可以将基于累积值而确定的补偿值加至每个目标像素值。在本公开的另一实施方式中，目标像素补偿器230可以确定多个目标像素当中的被添加预定补偿值的至少一个补偿像素。

图10是例示了根据本公开的实施方式的确定补偿值的方法的流程图。

参照图10，补偿确定器233可以基于累积值将与目标像素相对应的补偿值确定为0或1。

在步骤S1010中，累积值管理器231可以生成通过累积十进制小数值而获得的累积值，十进制小数值是对应于分别与多个目标像素相对应的平均像素值的十进制小数部分的值。累积值管理器231可以累积平均像素值的在改变目标像素的像素值时未使用的十进制小数值。随着像素值被改变的目标像素的数量增加，累积值可以增加。

在步骤S1020中，补偿确定器233可以响应于十进制小数值的出现而将累积值与预定参考值进行比较。在本公开的实施方式中，预定参考值可以为1。

在步骤S1030中，补偿确定器233可以在累积值大于或等于预定参考值时将补偿值确定为1。目标像素补偿器230可以将被确定为1的补偿值加至目标像素的被改变为整数值的像素值。也就是说，目标像素的像素值可以增加1。

在步骤S1040中，累积值管理器231可以响应于被确定为1的补偿值而从累积值中减去参考值。当补偿值被确定为1时，可以减小累积值。在本公开的实施方式中，累积值可以保持在一定范围内。

在步骤S1050中，补偿确定器233可以在累积值小于参考值时将补偿值确定为0。补偿值为0的目标像素的像素值可以被保持。

例如，在对第一目标像素的像素值进行校正时，可以生成平均像素值的十进制小数值。此时，累积值可以是与第一目标像素相对应的十进制小数值。由于累积值小于预定参考值1，因此补偿值可以为0，并且可以保持第一目标像素的被改变为整数值的像素值。当对多个目标像素的像素值进行校正时，累积值可以增加。当累积值大于或等于1时，目标像素的被改变为整数值的像素值可以增加1。

图10的确定补偿值的方法可以对应于图6的描述。

图11是例示了根据本公开的另一实施方式的补偿基于累积值而改变的目标像素的像素值的方法的流程图。

参照图11，补偿确定器233可以基于累积值确定多个目标像素当中的被添加补偿值的至少一个补偿像素。

在步骤S1110中，目标像素检测器210可以检测图像传感器100中所包括的多个像素当中的产生噪声的多个目标像素。目标像素检测器210可以将对应于与相邻像素的像素值相差预定阈值或更大的像素值的像素检测为目标像素。

在步骤S1120中，可以使用基于多个目标像素中的每一个目标像素的位置而在水平方向上彼此接触的接触像素的平均像素值，来改变作为多个目标像素的像素值的目标像素值。接触像素可以是基于多个目标像素中的每一个目标像素的位置，在水平方向或垂直方向上彼此接触的两个像素。目标像素校正器220可以将目标像素值改变为整数值，该整数值是对应于分别与多个目标像素相对应的平均像素值的整数部分的值。

在步骤S1130中，累积值管理器231可以通过使用接触像素的和值来生成累积值。累积值管理器231可以响应于和值当中的作为奇数的和值而生成增加了1的累积值。

在步骤S1140中，补偿确定器233可以基于累积值确定多个目标像素当中的被添加预定补偿值的至少一个补偿像素。补偿确定器233可以将与使累积值从奇数增加到偶数的和相对应的目标像素确定为补偿像素。仅当和值为奇数时，累积值才可以增加。

在步骤S1150中，目标像素补偿器230可以将作为预定补偿值的1加至补偿像素的像素值。在本公开的实施方式中，累积值在对应于和值增加的同时可以为偶数或奇数。在多个目标像素当中可以根据累积值来确定补偿像素。补偿像素的像素值可以增加1。

图11的确定补偿值的方法可以对应于图7的描述。

图12是例示了根据本公开的又一实施方式的补偿目标像素的像素值的方法的流程图。

参照图12，可以补偿第一目标像素值或第二目标像素值。

在步骤S1210中，目标像素校正器220可以通过使用多个像素当中的产生噪声的第一目标像素的预定范围内所包括的相邻像素的平均像素值，来改变第一目标像素的像素值。目标像素校正器220可以计算第一目标像素的预定范围内所包括的相邻像素的平均像素值，并将第一目标像素的像素值改变为平均像素值的整数值。

在步骤S1220中，目标像素校正器220可以通过使用多个像素当中的产生噪声的第二目标像素的预定范围内所包括的相邻像素的平均像素值，来改变第二目标像素的像素值。目标像素校正器220可以计算第二目标像素的预定范围内所包括的相邻像素的平均像素值，并将第二目标像素的像素值改变为平均像素值的整数值。

在步骤S1230中，累积值管理器231可以生成通过累积第一十进制小数值和第二十进制小数而获得的累积值，第一十进制小数值是对应于与第一目标像素相对应的平均像素值的十进制小数部分的值，而第二十进制小数值是对应于与第二目标像素相对应的平均像素值的十进制小数部分的值。

在步骤S1240中，目标像素补偿器230可以基于累积值补偿第一目标像素的像素值或第二目标像素的像素值。补偿确定器233可以选择第一目标像素和第二目标像素中的一个。当累积值大于或等于预定参考值时，补偿确定器233可以将1加至所选择的任何一个目标像素的像素值。累积值管理器231可以从累积值中减去1。在本公开的实施方式中，当累积值小于参考值时，补偿确定器233可以将0加至所选择的任何一个目标像素的像素值。

当累积值小于参考值时，目标像素补偿器230可以补偿多个像素当中的产生噪声的第三目标像素的像素值。具体地，目标像素校正器220可以通过使用第三目标像素的预定范围内所包括的相邻像素的平均像素值，来改变第三目标像素的像素值。累积值管理器231可生成通过将第三十进制小数值和累积值进行累积而获得的附加累积值，第三十进制小数值是对应于与第三目标像素相对应的平均像素值的十进制小数部分的值。目标像素补偿器230可以将基于累积值所确定的补偿值加至第三目标像素的像素值。

图13是例示了包括根据本公开的实施方式的图像传感器2010的计算系统2000的框图。

参照图13，计算系统2000包括图像传感器2010、处理器2020、储存装置2030、存储器装置2040、输入/输出装置2050和显示装置2060。虽然图13中未示出，但是计算系统2000还可以包括能够与视频卡、声卡、存储卡、USB装置等通信或与其它电子装置通信的端口。

图像传感器2010可以生成对应于入射光的图像数据。显示装置2060可以显示图像数据。储存装置2030可以存储图像数据。处理器2020可以控制图像传感器2010、显示装置2060和储存装置2030的操作。

处理器2020可以执行某些计算或任务。根据本公开的实施方式，处理器2020可以是微处理器或中央处理单元(CPU)。处理器2020可以通过地址总线、控制总线和数据总线连接到储存装置2030、存储器装置2040和输入/输出装置2050以执行通信。根据本公开的实施方式，处理器2020还可以连接至扩展总线，诸如外围组件互连(PCI)总线。

储存装置2030可以包括闪存装置、固态驱动器(SSD)、硬盘驱动器(HDD)、CD-ROM、所有类型的非易失性存储器装置等。

存储器装置2040可以存储计算系统2000的操作所需的数据。例如，存储器装置2040可以包括诸如动态随机存取存储器(DRAM)和静态随机存取存储器(SRAM)之类的易失性存储器装置、以及诸如可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)和闪存装置之类的非易失性存储器装置。

输入/输出装置2050可以包括诸如键盘、小键盘和鼠标之类的输入装置、以及诸如打印机和显示器之类的输出装置。

图像传感器2010可以通过总线或其它通信链路连接至处理器2020，以执行通信。

图像传感器2010可以对从像素阵列中所包括的多个像素生成的多个像素数据执行合并(binning)，以生成均匀分布在像素阵列中的合并的像素数据。

图像传感器2010可以以各种类型的封装件来实现。例如，图像传感器2010的至少一些配置可以使用诸如以下的封装件来实现：封装体叠层(PoP)、球栅阵列(BGA)、芯片级封装(CSP)、塑料引线芯片载体(PLCC)、塑料双列直插式封装(PDIP)、华夫包中晶片、晶圆形式晶片、板上芯片(COB)、陶瓷双列直插式封装(CERDIP)、塑料公制四方扁平封装(MQFP)、薄型四方扁平包(TQFP)、小轮廓(SOIC)、收缩型小轮廓封装(SSOP)、薄型小轮廓(TSOP)、系统级封装(SIP)、多芯片封装(MCP)、晶圆级制造封装(WFP)或晶圆级加工层叠封装(WSP)等。

根据实施方式，图像传感器2010可以与处理器2020一起集成在一个芯片中，或者图像传感器2010和处理器2020可以分别集成在不同的芯片中。

此外，计算系统2000应解释为使用图像传感器2010的所有计算系统。例如，计算系统2000可以包括数码相机、移动电话、PDA、PMP、智能电话等。

由于本公开可以在不改变其技术精神或本质特征的情况下以其它具体形式实现，因此本公开所属领域的普通技术人员应理解，上述实施方式是示例性的，并非在所有方面进行限制。本公开的范围由所附权利要求而不是详细描述来表示，并且由权利要求书的含义和范围及其等同概念所得到的所有改变或修改应理解为包含在本公开的范围内。

相关申请的交叉引用

本申请要求于2021年9月9日在韩国知识产权局提交的韩国专利申请No.10-2021-0120293的优先权，该韩国专利申请的全部公开内容通过引用并入本文中。

Claims (22)

1.一种图像处理装置，该图像处理装置包括：

目标像素检测器，该目标像素检测器检测图像传感器中所包括的多个像素当中的产生噪声的多个目标像素；

目标像素校正器，该目标像素校正器通过使用所述多个目标像素中的每一个目标像素的相邻像素的平均像素值，来改变所述多个目标像素的目标像素值；以及

目标像素补偿器，该目标像素补偿器通过使用通过累积与所述平均像素值的十进制小数部分相对应的值而获得的累积值，来补偿所述目标像素值。

2.根据权利要求1所述的图像处理装置，其中，所述目标像素校正器根据预设值确定所述相邻像素的范围。

3.根据权利要求2所述的图像处理装置，其中，所述目标像素校正器将所述目标像素值转换为所述平均像素值的整数部分。

4.根据权利要求2所述的图像处理装置，其中，所述目标像素补偿器包括：

累积值管理器，该累积值管理器通过累积十进制小数值来生成所述累积值，所述十进制小数值是与所述平均像素值的十进制小数部分相对应的值；以及

补偿确定器，该补偿确定器基于所述累积值确定所述多个目标像素当中的对像素值添加补偿值的补偿像素，并且分别确定所述补偿值。

5.根据权利要求4所述的图像处理装置，其中，所述目标像素补偿器还包括传感器，该传感器感测所述十进制小数值的出现。

6.根据权利要求4所述的图像处理装置，其中，所述补偿确定器响应于所述十进制小数值的出现而将所述累积值与预定的参考值进行比较，并且在所述累积值大于或等于所述参考值时将所述补偿值确定为1，并且

所述累积值管理器响应于被确定为1的补偿值而从所述累积值中减去所述参考值。

7.根据权利要求6所述的图像处理装置，其中，所述补偿确定器在所述累积值小于所述参考值时，将所述补偿值确定为0。

8.根据权利要求5所述的图像处理装置，其中，所述补偿确定器响应于所述十进制小数值的出现而将所述补偿值随机地确定为0或1。

9.根据权利要求8所述的图像处理装置，其中，所述补偿确定器根据基于所述累积值而确定的比率，将所述补偿值确定为0或1。

10.根据权利要求2所述的图像处理装置，其中，所述目标像素补偿器将1加至所述多个目标像素当中的位置被预先确定的目标像素的像素值。

11.根据权利要求2所述的图像处理装置，其中，所述目标像素补偿器将1加至所述多个目标像素当中的具有随机位置的目标像素的像素值。

12.一种图像处理装置，该图像处理装置包括：

目标像素检测器，该目标像素检测器检测图像传感器中所包括的多个像素当中的产生噪声的多个目标像素；

目标像素校正器，该目标像素校正器通过使用基于所述多个目标像素中的每一个目标像素的位置而在水平方向上接触的接触像素的平均像素值，来改变所述多个目标像素的目标像素值；以及

目标像素补偿器，该目标像素补偿器基于所述接触像素的像素值的和值，来补偿所述目标像素值。

13.根据权利要求12所述的图像处理装置，其中，所述目标像素校正器将所述目标像素值改变为平均像素值的整数部分。

14.根据权利要求12所述的图像处理装置，其中，所述目标像素补偿器包括：

累积值管理器，该累积值管理器响应于所述和值当中的奇数和值而生成增加了1的累积值；

传感器，该传感器感测所述累积值的增加；以及

补偿确定器，该补偿确定器基于所述累积值确定所述多个目标像素当中的被添加预定补偿值的至少一个补偿像素。

15.根据权利要求14所述的图像处理装置，其中，所述补偿确定器将与用于使所述累积值从奇数增加到偶数的和值相对应的目标像素确定为所述补偿像素。

16.根据权利要求14所述的图像处理装置，其中，所述补偿确定器根据基于所述累积值所确定的比率，随机地确定所述补偿像素。

17.一种操作图像处理装置的方法，该方法包括以下步骤：

接收指示图像的多个像素的像素值；

通过使用所述多个像素当中的产生噪声的第一目标像素的预定范围内所包括的相邻像素的平均像素值，来改变所述第一目标像素的像素值；

获得第一十进制小数值，该第一十进制小数值为对应于与所述第一目标像素相对应的平均像素值的十进制小数部分的值；

通过使用所述多个像素当中的产生噪声的第二目标像素的预定范围内所包括的相邻像素的平均像素值，来改变所述第二目标像素的像素值；

生成通过累积第二十进制小数值和所述第一十进制小数值而获得的累积值，所述第二十进制小数值是对应于与所述第二目标像素相对应的平均像素值的十进制小数部分的值；以及

基于所述累积值来补偿所述第一目标像素的像素值或所述第二目标像素的像素值。

18.根据权利要求17所述的方法，其中，补偿所述第一目标像素的像素值或所述第二目标像素的像素值的步骤包括以下步骤：

选择所述第一目标像素和所述第二目标像素中的任一个目标像素；以及

当所述累积值大于或等于预定的参考值时，将1加至所选择的任一个目标像素的像素值，并从所述累积值中减去1。

19.根据权利要求18所述的方法，其中，选择所述第一目标像素和所述第二目标像素中的任一个目标像素的步骤包括以下步骤：当所述累积值小于所述参考值时，将0加至所选择的任一个目标像素的像素值。

20.根据权利要求19所述的方法，该方法还包括以下步骤：

当所述累积值小于所述参考值时，补偿所述多个像素当中的产生噪声的第三目标像素的像素值，

其中，补偿所述第三目标像素的像素值的步骤包括以下步骤：

通过使用在所述第三目标像素的预定范围内所包括的相邻像素的平均像素值，来改变所述第三目标像素的所述像素值；

生成通过累积第三十进制小数值和所述累积值而获得的附加累积值，所述第三十进制小数值是对应于与所述第三目标像素相对应的平均像素值的十进制小数部分的值；以及

将基于所述累积值而确定的补偿值加至所述第三目标像素的像素值。

21.一种操作图像处理装置的方法，该方法包括以下步骤：

接收指示图像的多个像素的像素值；

检测所述多个像素当中的产生噪声的多个目标像素；

计算基于所述多个目标像素中的每一个目标像素的位置而在垂直方向上接触的接触像素的像素值的和值；

通过使用所述和值的相应平均像素值，来改变目标像素值；

响应于所述和值当中的奇数和值而生成增加了1的累积值；

将所述多个目标像素当中的与通过使所述累积值从奇数增加到偶数而获得的和值相对应的目标像素确定为补偿像素；以及

将预定补偿值加至所述补偿像素的像素值。

22.一种图像处理装置，该图像处理装置包括：

图像传感器，该图像传感器传输指示图像的第一像素的像素值；

目标像素检测器，该目标像素检测器基于所述第一像素的像素值检测所述第一像素当中的产生噪声的第二像素；

目标像素校正器，该目标像素校正器通过使用根据所述第二像素在所述图像中的位置而分别确定的第三像素的平均像素值，来改变目标像素值；

目标像素补偿器，该目标像素补偿器使用通过累积与所述平均像素值的十进制小数部分相对应的值而获得的累积值，来补偿所述目标像素值；以及

输出管理器，该输出管理器输出包括像素值被补偿的所述第二像素的所述第一像素的像素值。

Images