CN112734719B - 一种图像传感器的坏点检测方法、存储介质以及拍摄装置 - Google Patents

一种图像传感器的坏点检测方法、存储介质以及拍摄装置 Download PDF

Info

Publication number
CN112734719B
CN112734719B CN202110014533.5A CN202110014533A CN112734719B CN 112734719 B CN112734719 B CN 112734719B CN 202110014533 A CN202110014533 A CN 202110014533A CN 112734719 B CN112734719 B CN 112734719B
Authority
CN
China
Prior art keywords
image
unit
memory
contrast
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110014533.5A
Other languages
English (en)
Other versions
CN112734719A (zh
Inventor
陈炜
池国泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rockchip Electronics Co Ltd
Original Assignee
Rockchip Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rockchip Electronics Co Ltd filed Critical Rockchip Electronics Co Ltd
Priority to CN202110014533.5A priority Critical patent/CN112734719B/zh
Publication of CN112734719A publication Critical patent/CN112734719A/zh
Application granted granted Critical
Publication of CN112734719B publication Critical patent/CN112734719B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Abstract

一种坏点检测方法,包括:获取连续拍摄的多帧图像、以及提供第一存储器和第二存储器,所述第一存储器和第二存储器包括N个相互对应的单元;依次判断各个图像中的各个单元中是否有真实坏点,包括:将所述待检测帧的N个单元的对比度与所述第一存储器中对应单元的值相比较;对所述待检测帧中各单元的对比度与所述第一存储器对应单元的对比度之差的绝对值大于第一阈值的单元进行疑似坏点检测,并获取所述待检测帧中对应单元的疑似坏点坐标集合;确定所述待检测帧中对应单元的疑似坏点坐标集合与所述第二存储器的相应单元中的疑似坏点坐标集合的交集为真实坏点坐标集合;重复上述步骤,以获得其他帧图像的真实坏点坐标集合。

Description

一种图像传感器的坏点检测方法、存储介质以及拍摄装置
技术领域
本发明涉及图像传感器技术领域,特别涉及一种图像传感器的坏点检测方法、存储介质以及拍摄装置。
背景技术
图像传感器是一种能将反映图像信息的光信号转换成电信号的传感器芯片,分为CCD结构与CMOS结构两大类。图像传感器通常存在一定数量的缺陷像元,称为坏点。坏点是由于在图像传感器制造过程中晶圆的缺陷、不均匀性等原因造成的。坏点不能真实反映所拍摄的场景,导致所拍摄的图像上具有过亮或过暗的点。
坏点可以分为两类,一类是静态坏点,其坐标是固定的,不随时间和场景变化;另一类是动态坏点,坏点的像素值会随落在其上的光线强弱而变化,但增益与其周围像素有明显差别。动态坏点呈概率性出现,可能会在某些场景下出现,在另一些场景下正常。
针对静态坏点,一般采用静态坏点检测和校正技术,在相机/摄像机出厂前进行检测和校正。针对动态坏点,一般是在相机/摄像机使用过程中实时进行检测和校正。例如针对照片或视频的一帧,分析比较每个像素与其周围像素平均值的差别大小,如果差别较大,则判断当前像素为坏点。这类方法具有实时性好的优点,对于新出现的坏点同样有效。缺点是容易将某些图像内容误判为坏点。例如,拍摄书本上的文字,当精确聚焦时,一些图像内容有时只占据一个像素,例如冒号中的点“:”,问号下面的点“?”,叹号下面的点“!”,英文的句号“.”,以及一些字母和汉字的笔画等,这些像素与周围像素的像素值差别很大,呈现突变的特点,因此经常会被误判为坏点,造成图像细节的损失,影像图像质量。如果采集两幅图像,并将这两幅图像中均出现的疑似坏点确认为真正的坏点,可以大大提高坏点检测的准确性,保护图像细节。然而如果这两帧图像是在相机或者摄像机固定良好、聚焦相同、被拍摄物体静止的情况下连续拍摄的两帧图像,极有可能拍摄到一模一样的图像,这时两帧会出现同样的误判。本发明意在解决上述问题,对场景不完全相同的两帧图像进行动态坏点检测,提高动态坏点检测的准确性。
发明内容
本发明要解决的技术问题为:提供一种图像传感器的坏点检测方法、存储介质以及拍摄装置,对场景不完全相同的两帧图像进行动态坏点检测,提高动态坏点检测的准确性。
为解决上述问题,本发明实施例提供了一种坏点检测方法,包括:
获取连续拍摄的多帧图像、以及提供第一存储器和第二存储器,所述第一存储器、和第二存储器包括N个相互对应的单元,所述N为自然数;
依次判断各个图像中的各个单元中是否有真实坏点,包括:
将多帧图像中的一帧划分成N个单元,该帧图像为待检测帧,将该待检测帧的N个单元的对比度与第一存储器中对应单元存储的值相比较,所述第一存储器中的每个单元存储一个在待检测帧之前的某帧图像的对应单元的对比度,所述第一存储器各个单元存储的对比度可以来自不同帧图像;
对所述待检测帧中各单元的对比度与所述第一存储器对应单元的对比度之差的绝对值大于第一阈值的单元进行疑似坏点检测,并获取所述待检测帧中对应单元的疑似坏点坐标集合;
确定所述待检测帧中对应单元的疑似坏点坐标集合与所述第二存储器的相应单元中存储的疑似坏点坐标集合的交集为真实坏点坐标集合;
重复上述步骤,对其他帧图像进行操作,以获得其他帧图像的真实坏点坐标集合。
可选地,所述坏点检测方法还包括:获取多帧图像中的第一图像,并将其划分成N个单元,获取所述第一图像的N个单元的对比度;若所述第一存储器的各个单元未存储有值,将所述第一图像的N个单元的对比度,对应存储于所述第一存储器的各个单元;对所述第一图像的N个单元进行疑似坏点检测,并将检测出的疑似坏点坐标集合存入所述第二存储器的对应单元内。
可选地,所述依次判断各个图像中的各个单元中是否有真实坏点,包括:获取所述第一图像的第m个单元的对比度,m为1-N的自然数;若第m个单元的对比度与第一存储器中对应单元的值之差的绝对值大于第一阈值,则对该单元进行疑似坏点检测,并获取该单元内疑似坏点坐标集合;确定所述第一图像中第m个单元内的疑似坏点坐标集合与第二存储器对应单元内的疑似坏点坐标集合的交集为真实坏点坐标集合,继续对所述第一图像的下一个单元进行判断操作,直至遍历所述第一图像的所有单元。
可选地,所述坏点检测方法还包括:若所述待检测帧的第m个单元的对比度与第一存储器中对应单元的值之差的绝对值大于第一阈值,将存储于所述第一存储器的对应单元的对比度替换为所述待检测帧对应单元的对比度。
可选地,所述坏点检测方法还包括:提供第三存储器,所述第三存储器被划分为N个单元,所述坏点检测方法还包括:将所述待检测帧确定的真实坏点坐标集合存储于第三存储器的对应单元;将所述待检测帧中对应单元的疑似坏点坐标集合写入所述第二存储器的对应单元。
可选地,所述坏点检测方法还包括:对所述真实坏点进行修复操作。
可选地,获取图像的各个单元的对比度包括:
计算所述图像的第m个单元的像素的直方图B(i),i=0,…255,m为1至N中任一自然数,其中B(i)表示所述图像的第m个单元中亮度属于第i个灰阶的像素数;
根据直方图B(i)计算所述图像的第m个单元的对比度Dm
其中/>
可选地,当所述图像为单色图像(黑白图像)时,使用所述图像的像素值来计算直方图B(i);当所述图像为彩色图像时,使用图像的亮度分量来计算直方图B(i)。
可选地,当所述图像为彩色图像时,使用彩色图像YUV中的Y分量来计算直方图B(i)。
本发明实施例还提供了一种坏点检测方法,包括:
获取第一图像、以及提供第一存储器和第二存储器;
将所述第一图像、第一存储器和第二存储器分别划分成N个相互对应的单元,所述N为自然数;
获得所述第一图像的N个单元的对比度,对应存储于所述第一存储器的各个单元;
对所述第一图像的N个单元进行疑似坏点检测,获取所述N个单元内的疑似坏点坐标集合,并将其存入第二存储器的对应单元内;
获取第二图像,所述第二图像后于所述第一图像被拍摄;
对所述第二图像进行检测,以获得其真实坏点坐标集合,所述检测包括:
将所述第二图像划分为对应的N个单元;
获取所述第二图像的第m个单元的对比度,m为1-N的自然数;
若第m个单元的对比度与第一存储器中对应单元的值之差的绝对值大于第一阈值,则对该单元进行疑似坏点检测,并获取该单元内的疑似坏点坐标集合;
确定所述第二图像中第m个单元内的疑似坏点坐标集合与第二存储器对应单元的疑似坏点坐标集合的交集为真实坏点坐标集合,继续对所述第二图像的下一个单元进行检测直至遍历完第二图像的所有单元;
依次对所述第二图像之后的图像进行检测,以获得图像坏点的坐标集合。
可选地,所述坏点检测方法还包括:若所述第二图像中第m个单元的对比度与第一图像中对应单元的对比度的差值的绝对值超出第一阈值,将存储于所述第一存储器的对应单元的对比度替换为所述第二图像第m个单元的对比度。
可选地,所述坏点检测方法还包括:提供第三存储器,所述第三存储器被划分为N个单元,所述坏点检测方法还包括:将所述第二图像中确定的真实坏点坐标集合存储于第三存储器的对应单元;将所述第二图像中第m个单元的疑似坏点坐标集合写入所述第二存储器的对应单元。
可选地,若所述第二图像中第m个单元被确定具有真实坏点,还包括:对所述第二图像中第m个单元中的真实坏点进行修复操作。
可选地,获取各个单元对比度包括:
计算所述图像的第m个单元的像素的直方图B(i),i=0,…255,其中B(i)表示所述图像的第m个单元中亮度属于第i个灰阶的像素数;
根据直方图B(i)计算所述图像的第m个单元的对比度Dm
其中/>
可选地,当所述图像为单色图像(黑白图像)时,使用所述图像的像素值来计算直方图B(i);当所述图像为彩色图像时,使用图像的亮度分量来计算直方图B(i)。
可选地,当所述图像为彩色图像时,使用彩色图像YUV中的Y分量来计算直方图B(i)。
本发明实施例还提供的一种存储介质,其上存储有计算机指令,所述计算机指令运行时执行上述坏点检测方法。
本发明实施例还提供的一种拍摄装置,包括镜头、图像传感器,还包括:处理器和存储介质,其中,所述存储介质适于存储各种数据以及能够在所述处理器上运行的计算机指令;所述处理器运行所述计算机指令时执行上述坏点检测方法。
综上所述,本发明实施例提供的坏点检测方法,将待检测帧划分成N个单元,依次对N个单元进行坏点检测。同时,用待检测帧的第m个单元的对比度和第一存储器对应单元中存储的待检测帧之前某帧的对应单元的对比度进行比较,比较两者的差值的绝对值是否大于第一阈值,然后根据比较的结果决定是否对该单元进行疑似坏点检测。可以避免前后拍摄的两帧图像相同而出现两帧均误判的情况,提高坏点检测的准确性,保护图像细节。
进一步地,相对于计算整幅图像的对比度,可能出现在镜头聚焦的过程中,聚焦的目标区域的对比度提高了,其它区域的对比度下降了,但整幅图像的对比度不变或者变化很小的情况下,导致坏点坐标集合一直无法更新的情况。而本发明实施例中的坏点检测方法,将待检测帧划分成N个单元,依次对N个单元进行坏点检测,可以有效解决这一问题。
进一步地,当视频场景的背景不变,而有运动物体存在时,例如视频监控经常遇到的情况就是如此,如果不划分单元,运动物体的出现可能导致两帧整幅图像的对比度变化大于第一阈值,从而使这两帧整幅图像的疑似坏点坐标集合重合的部分,被当作真实坏点,而实际上大部分背景区域是静止的,对于背景区域来说,是无法通过这两帧图像来减少坏点误判的,这就导致了将未经减少误判的坏点坐标当作真实坏点,无法减少对静止背景的坏点误判。而将图像划分为N个单元可以解决这一问题。划分为单元之后,只有运动物体所在单元的对比度改变了,而其余静止背景对应单元的对比度是不变的,因此与静止背景对应的单元的真实坏点坐标集合不会被更新,仍然可以保持住之前的已经减少误判的真实坏点坐标集合。
进一步地,计算整帧图像的对比度,需要在获得该帧图像之后。如果想要利用对比度信息来检测和校正该帧图像的坏点,就使视频图像至少延迟一帧输出,不适用于实时性要求高的场合。但是采用本发明实施例中的方案,可以在获得一个单元的图像之后,就对该单元进行对比度计算和坏点检测、坏点校正,而不需要整幅图像,这大大减少了图像输出的延时。
附图说明
图1是本发明实施例提供的一种坏点检测方法的流程示意图;
图2是图1所示S2的一种具体实施方式的流程示意图;
图3是图1中坏点检测方法针对第一图像时的一种具体实施方式的流程示意图;
图4是本发明实施例提供的一种对待检测帧、第一存储器、第二存储器以及第三存储器进行单元划分的方法示意图;以及
图5是本发明另一实施例提供的一种坏点检测方法的流程示意图。
具体实施方式
如背景技术所言,现有对图像传感器动态坏点的检测,如果采集两幅图像,将这两幅图像中均出现的疑似坏点确认为真正的坏点,可以提高坏点检测的准确性,保护图像细节。然而,如果这两帧图像是在相机或者摄像机固定良好、聚焦相同、被拍摄物体静止的情况下连续拍摄的两帧图像,极有可能拍摄到一模一样的图像,这时两帧会出现同样的误判。
因此,本发明实施例提供了一种图像传感器的坏点检测方法,能够实现对场景不完全相同的两帧图像进行动态坏点检测,并将两幅图像中均出现的疑似坏点确认为真实坏点,进而提高动态坏点检测的准确性。
为使本发明的上述目的、特征和有益效果能够更为明显易懂,下面结合附图对本发明的具体实施例做详细的说明。
图1是本发明实施例提供的一种图像传感器的坏点检测方法的流程示意图。本发明实施例的坏点检测方法可以用于各种拍摄装置,比如相机、摄像机、视频监控设备、行车记录仪、手机摄像头等。
如图1所示,所述坏点检测方法包括:
S1:获取连续拍摄的多帧图像、以及提供第一存储器和第二存储器,所述第一存储器、和第二存储器包括N个相互对应的单元,所述N为自然数;
S2:依次判断各个图像中的各个单元中是否有真实坏点。
图2是图1所示S2的一种具体实施方式的流程示意图。参考图2,所述S2依次判断各个图像中的各个单元中是否有真实坏点,包括:
S21:将多帧图像中的一帧划分成N个单元,该帧图像为待检测帧,将该待检测帧的N个单元的对比度与第一存储器中对应单元存储的值相比较,所述第一存储器中的每个单元存储一个在待检测帧之前的某帧图像的对应单元的对比度,所述第一存储器各个单元存储的对比度可以来自不同帧图像;
S22:对所述待检测帧中各单元的对比度与所述第一存储器对应单元的对比度之差的绝对值大于第一阈值的单元进行疑似坏点检测,并获取所述待检测帧中对应单元的疑似坏点坐标集合;
S23:确定所述待检测帧中对应单元的疑似坏点坐标集合与所述第二存储器的相应单元中存储的疑似坏点坐标集合的交集为真实坏点坐标集合;
S24:重复上述步骤,对其他帧图像进行操作,以获得其他帧图像的真实坏点坐标集合。
图3是图1中坏点检测方法针对第一图像时的一种具体实施方式的流程示意图。参考图3,当所述待检测帧为第一图像时,所述坏点检测方法还包括:
S201:获取多帧图像中的第一图像,并将其划分成N个单元,获取所述第一图像的N个单元的对比度;
S202:若所述第一存储器的各个单元未存储有值,将所述第一图像的N个单元的对比度,对应存储于所述第一存储器的各个单元;
S203:对所述第一图像的N个单元进行疑似坏点检测,并将检测出的疑似坏点坐标集合存入所述第二存储器的对应单元内。
需要指出的是,本实施例中各个步骤的序号并不代表对各个步骤的执行顺序的限定。
在一实施例中,提供第一存储器M1、第二存储器M2和第三存储器M3,所述第一存储器M1和第二存储器M2包括N个相互对应的单元,所述N为自然数。第一存储器M1的每个单元用存储器M1m表示,其中m=1,2,…,N,存储器M1m用来存储图像第m个单元的对比度信息。第二存储器M2的每个单元用存储器M2m表示,其中m=1,2,…,N,存储器M2m用来存储图像第m个单元的疑似坏点坐标集合。第三存储器M3的每个单元用存储器M3m表示,其中m=1,2,…,N,存储器M3m用来存储图像第m个单元的真实坏点坐标集合。
获取连续拍摄的多帧图像,取所述连续拍摄的多帧图像中的一帧图像为待检测帧P1,所述待检测帧P1划分成N个单元(例如5x8、9x16或12x16),所述N为自然数,blkm表示待检测帧P1的第m个单元,m=1,2,…,N。图4是本发明实施例提供的一种对待检测帧、第一存储器、第二存储器以及第三存储器进行单元划分的方法示意图。参考图4,本发明实施例中,以把待检测帧P1、第一存储器M1、第二存储器M2和第三存储器M3划分成5x7(即N=35)个单元为例进行说明。
若所述待检测帧P1为第一帧图像,且第一存储器M1中无数据,则计算待检测帧P1的N个单元的对比度Dmj(m=1,2,…,N),且将所述待检测帧P1的N个单元的对比度Dmj对应存储于所述第一存储器M1的各个单元。具体来说,所述待检测帧P1的第1个单元的对比度D1j存储于第一存储器M1的单元M11内,所述待检测帧P1的第2个单元的对比度D2j存储于第一存储器M1的单元M12内,以此类推,所述待检测帧P1的第m个单元的对比度Dmj存储于第一存储器M1的单元M1m内。然后,对所述待检测帧P1的N个单元进行疑似坏点检测,并将检测出的疑似坏点坐标集合存入第二存储器M2的对应单元内。若所述待检测帧P1的第m个单元没有检测出疑似坏点,则所述待检测帧P1的第m个单元的疑似坏点坐标集合为空集,将该空集写入所述第二存储器M2的对应单元。具体来说,若所述待检测帧P1的第1个单元被检测出具有疑似坏点,则将该单元内检测出的疑似坏点坐标集合存储于第二存储器M2的单元M21内;若所述待检测帧P1的第2个单元被检测出具有疑似坏点,则将该单元内检测出的疑似坏点坐标集合存储于第二存储器M2的单元M22内;以此类推,若所述待检测帧P1的第m个单元被检测出具有疑似坏点,则将该单元内检测出的疑似坏点坐标集合存储于第二存储器M2的单元M2m内。坏点检测的方法可以参考现有技术,这里不再赘述。
在一实施例中,所述待检测帧P1的第m个单元的对比度Dmj采用如下方法计算:先计算所述待检测帧P1的第m个单元的直方图B(i),i=0,…255,其中B(i)指该单元当中亮度属于第i个灰阶的像素数,共有256个灰阶。在具体的实施例中,当所述图像为单色图像(黑白图像)时,使用所述图像的像素值来计算直方图B(i);当所述图像为彩色图像时,使用图像的亮度分量来计算直方图B(i),例如,使用彩色图像YUV中的Y分量来计算直方图B(i)。
然后计算该直方图B(i)的标准差,用该标准差来表示所述待检测帧P1的第m个单元的对比度Dmj(m=1,2,…,N),在本发明的实施例中,N=35。直方图B(i)的标准差越大,表明所述待检测帧P1的第m个单元的对比度Dmj越高。以直方图B(i)的标准差来表示的对比度Dmj的计算方法为:
本领域技术人员可以理解的是,单元直方图的标准差是表示对比度Dmj的一种方式,但对比度Dmj并不限定于仅此一种表示方式。
在一具体实施例中,所述检测待检测帧P1的各个单元的对比度Dmj以及将待检测帧P1的各个单元的对比度Dmj存入第一存储器M1的对应单元中的操作为遍历式,即先计算所述检测待检测帧P1的第一个单元的对比度D1j,将所述对比度D1j存入第一存储器M1的对应单元M11中;然后计算所述检测待检测帧P1的第二个单元的对比度D2j,将所述对比度D2j存入第一存储器M1的对应单元M12中;计算所述检测待检测帧P1的第m个单元的对比度Dmj,将所述对比度Dmj存入第一存储器M1的对应单元M1m中;以此类推,直至遍历所述检测待检测帧P1的所有单元。
若所述待检测帧P1不是第一帧图像,则第一存储器M1中已有数据,也就是说,所述第一存储器M1中的每个单元已经存储了一个在待检测帧之前的某帧图像的对应单元的对比度,用Dmk表示,其中m=1,2,…,N,所述第一存储器M1各个单元存储的对比度可以来自不同帧图像。则计算所述待检测帧P1的N个单元的对比度Dmj(m=1,2,…,N),并将所述待检测帧P1的N个单元的对比度Dmj和第一存储器M1各个单元中已经存储的对比度Dmk进行比较。具体地,若待检测帧P1中某单元的对比度Dmj与第一存储器M1对应单元的对比度Dmk之差的绝对值大于第一阈值Dth,即:
abs(Dmj-Dmk)>Dth (3)
则对所述待检测帧P1相应的单元进行疑似坏点检测,并获取所述待检测帧P1中对应单元的疑似坏点坐标集合。确定所述待检测帧P1中对应单元的疑似坏点坐标集合与第二存储器M2的相应单元中的疑似坏点坐标集合的交集为真实坏点坐标集合。本领域技术人员可以理解的是,所述第一阈值Dth与待检测图像的像素、单元的划分、比特深度等因素相关,所述第一阈值Dth的选取可以通过实验确定。所述第一阈值Dth的选取应保证可使两帧图像的对应单元不完全重合,在此前提下,第一阈值应足够小,以免两帧图像的对应单元不重合时仍难以满足式(3)。
参考图4,在一具体实施例中,将所述待检测帧P1、第一存储器M1、第二存储器M2和第三存储器M3划分成5x7(即N=35)个单元为例进行说明。所述依次判断所述待检测帧P1的各个单元中是否有真实坏点,包括:
获取所述待检测帧P1的第m个单元的对比度Dmj,m为1-N的自然数;
若第m个单元的对比度Dmj与第一存储器M1中对应单元的值Dmk之差的绝对值大于第一阈值Dth,即abs(Dmj-Dmk)>Dth,则对所述待检测帧P1的第m个单元进行疑似坏点检测,并获取该单元内疑似坏点坐标集合;
确定所述待检测帧P1中第m个单元内的疑似坏点坐标集合与第二存储器M2的第m个单元M2m中的疑似坏点坐标集合的交集为真实坏点坐标集合,继续对所述待检测帧P1的下一个单元进行判断操作,直至遍历所述待检测帧P1的所有单元。
在一实施例中,所述坏点检测方法还包括:若所述待检测帧P1中第m个单元的对比度Dmj与第一存储器M1中对应单元的值Dmk之差大于第一阈值Dth,即abs(Dmj-Dmk)>Dth,将存储于所述第一存储器M1的对应单元的对比度Dmk替换为待检测帧P1对应单元的对比度Dmj
参考图4,在一实施例中,所述坏点检测方法还包括:将所述待检测帧P1的确定的真实坏点坐标集合存储于第三存储器M3的对应单元;将待检测帧P1中对应单元中的疑似坏点坐标集合写入所述第二存储器的对应单元。在一具体实施例中,若所述待检测帧P1的第m个单元的对比度Dmj与所述第一存储器第m个单元M1m中的值之差的绝对值大于所述第一阈值Dth,则检测所述待检测帧P1的第m个单元内的疑似坏点,并获取所述待检测帧P1的第m个单元内的疑似坏点坐标集合;确定所述待检测帧P1的第m个单元内的疑似坏点坐标集合与第二存储器第m个单元M2m中的疑似坏点坐标集合的交集为真实坏点坐标集合,将所述真实坏点坐标集合存入第三存储器M3的相应单元M3m中,并把第二存储器第m个单元M2m中的疑似坏点坐标集合替换为检测出的所述待检测帧P1的第m个单元的疑似坏点坐标集合。
在一实施例中,所述坏点检测方法还包括:依据第三存储器M3中的真实坏点坐标集合,对所述真实坏点进行修复操作。在具体实施中,所述对真实坏点的修复操作可以是针对当前待检测帧P1的,也可以是针对当前待检测帧P1的下一帧的。所述针对真实坏点的修复操作可以是在对当前待检测帧P1的所有单元的坏点检测都完成之后,也可以是在完成对当前待检测帧P1的第m个单元的坏点检测之后,可以根据实际应用对图像输出的延时的具体要求设定。
图5是本发明另一实施例提供的一种坏点检测方法的流程示意图。参考图5,所述坏点检测方法包括:
S31:获取第一图像、以及提供第一存储器和第二存储器;
S32:将所述第一图像、第一存储器和第二存储器划分成N个相互对应的单元,所述N为自然数;
S33:获得所述第一图像的N个单元的对比度,对应存储于所述第一存储器的各个单元;
S34:对所述第一图像的N个单元进行疑似坏点检测,获取所述N个单元内的疑似坏点坐标集合,并将其存入第二存储器的对应单元内;
S35:获取第二图像,所述第二图像后于所述第一图像被拍摄;
S36:对第二图像进行检测,以获得其真实坏点坐标集合,所述检测包括:
将所述第二图像划分为对应的N个单元;
获取所述第二图像的第m个单元的对比度,m为1-N的自然数;
若第m个单元的对比度与第一存储器中对应单元的值之差的绝对值大于第一阈值,则对该单元进行疑似坏点检测,并获取该单元内的疑似坏点坐标集合;
确定所述第二图像中第m个单元内的疑似坏点坐标集合与第二存储器对应单元的疑似坏点坐标集合的交集为真实坏点坐标集合,继续对所述第二图像的下一个单元进行检测直至遍历完第二图像的所有单元;
S37:依次对第二图像之后的图像进行所述检测操作,以获得图像坏点的坐标集合。
需要指出的是,步骤S31、S32以及S33的具体实施中,对第一图像、第一存储器和第二存储器的划分,以及计算所述图像的第m个单元的对比度均可以参考前述实施例中提供的对应单元的划分方法以及对比度的计算方法,此处不再赘述。
在步骤S34的具体实施中,对第一图像的N个单元的疑似坏点检测可以参考现有技术,此处不再赘述。
在步骤S35的具体实施中,所述第二图像可以为紧跟着第一图像拍摄的一帧图像,也可以为晚于第一图像若干帧之后拍摄的一帧图像。
在步骤S36的具体实施中,对第二图像单元的划分方法、各个单元对比度的计算方法以及对第二图像进行坏点检测以及获得第二图像中真实坏点坐标集合的具体方法均可以参考前述实施例中的方案,在此不再赘述。
在一具体实施例中,所述坏点检测方法还包括:若所述第二图像中第m个单元的对比度与第一图像中对应单元的对比度的差值的绝对值超出第一阈值,将存储于所述第一存储器的对应单元的对比度替换为第二图像第m个单元的对比度。
在一具体实施例中,所述坏点检测方法还包括:提供第三存储器,所述第三存储器被划分为N个单元,所述坏点检测方法还包括:将所述第二图像中确定的真实坏点坐标集合存储于第三存储器的对应单元;将第二图像中第m个单元中的疑似坏点坐标集合写入所述第二存储器的对应单元。
在一具体实施例中,所述坏点检测方法还包括:若所述第二图像中第m个单元被确定具有真实坏点,还包括:对所述第二图像中第m个单元中的真实坏点进行修复操作。在具体实施中,所述对真实坏点的修复操作可以是针对所述第二图像的,也可以是针对第二图像的下一帧的。所述针对真实坏点的修复操作可以是在对第二图像的所有单元的坏点检测都完成之后,也可以是在对第二图像的第m个单元的坏点检测完成之后,可以根据实际应用对图像输出的延时的具体要求设定。
本发明实施例还提供了一种存储介质,其上存储有计算机指令,所述计算机指令运行时执行上述坏点检测方法。
本发明实施例还提供了一种拍摄装置,包括镜头、图像传感器,还包括:处理器和存储介质,其中,所述存储介质适于存储各种数据以及能够在所述处理器上运行的计算机指令;所述处理器运行所述计算机指令时执行上述坏点检测方法。
综上所述,本发明实施例提供的坏点检测方法,将待检测帧划分成N个单元,依次对N个单元进行坏点检测。同时,用待检测帧的第m个单元的对比度和第一存储器对应单元中存储的待检测帧之前某帧的对应单元的对比度进行比较,比较两者的差值的绝对值是否大于第一阈值,然后根据比较的结果决定是否对该单元进行疑似坏点检测。可以避免前后拍摄的两帧图像相同而出现两帧均误判的情况,提高坏点检测的准确性,保护图像细节。
进一步地,相对于计算整幅图像的对比度,可能出现在镜头聚焦的过程中,聚焦的目标区域的对比度提高了,其它区域的对比度下降了,但整幅图像的对比度不变或者变化很小的情况下,导致坏点坐标集合一直无法更新的情况。而本发明实施例中的坏点检测方法,将待检测帧划分成N个单元,依次对N个单元进行坏点检测,可以有效解决这一问题。
进一步地,当视频场景的背景不变,而有运动物体存在时,例如视频监控经常遇到的情况就是如此,如果不划分单元,运动物体的出现可能导致两帧整幅图像的对比度变化大于第一阈值,从而使这两帧整幅图像的疑似坏点坐标集合重合的部分,被当作真实坏点,而实际上大部分背景区域是静止的,对于背景区域来说,是无法通过这两帧图像来减少坏点误判的,这就导致了将未经减少误判的坏点坐标当作真实坏点,无法减少对静止背景的坏点误判。而将图像划分为N个单元可以解决这一问题。划分为单元之后,只有运动物体所在单元的对比度改变了,而其余静止背景对应单元的对比度是不变的,因此与静止背景对应的单元的真实坏点坐标集合不会被更新,仍然可以保持住之前的已经减少误判的真实坏点坐标集合。
进一步地,计算整帧图像的对比度,需要在获得该帧图像之后。如果想要利用对比度信息来检测和校正该帧图像的坏点,视频图像就需要至少延迟一帧输出,不适用于实时性要求高的场合。但是采用本发明实施例中的方案,可以在获得一个单元的图像之后,就对该单元进行对比度计算和坏点检测、校正,而不需要整幅图像,这大大减少了图像输出的延时。
虽然本发明披露如上,但本发明并非限定于此。任何本领域技术人员,在不脱离本发明的精神和范围内,均可作各种更动与修改,因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (20)

1.一种坏点检测方法,其特征在于,包括:
获取连续拍摄的多帧图像、以及提供第一存储器和第二存储器,所述第一存储器和第二存储器包括N个相互对应的单元,所述N为自然数;
依次判断各个图像中的各个单元中是否有真实坏点,包括:
将多帧图像中的一帧划分成N个单元,该帧图像为待检测帧,将该待检测帧的N个单元的对比度与第一存储器中对应单元存储的值相比较,所述第一存储器中的每个单元存储一个在待检测帧之前的某帧图像的对应单元的对比度;所述第一存储器各个单元存储的对比度来自不同帧图像,或者,所述第一存储器各个单元存储的对比度来自同一帧图像;
对所述待检测帧中各单元的对比度与所述第一存储器对应单元的对比度之差的绝对值大于第一阈值的单元进行疑似坏点检测,并获取所述待检测帧中对应单元的疑似坏点坐标集合;
确定所述待检测帧中对应单元的疑似坏点坐标集合与所述第二存储器的相应单元中存储的疑似坏点坐标集合的交集为真实坏点坐标集合;
重复上述步骤,对其他帧图像进行操作,以获得其他帧图像的真实坏点坐标集合。
2.如权利要求1所述的坏点检测方法,其特征在于,还包括:
获取多帧图像中的第一图像,并将其划分成N个单元,获取所述第一图像的N个单元的对比度;
若所述第一存储器的各个单元未存储有值,将所述第一图像的N个单元的对比度,对应存储于所述第一存储器的各个单元;
对所述第一图像的N个单元进行疑似坏点检测,并将检测出的疑似坏点坐标集合存入所述第二存储器的对应单元内。
3.如权利要求2所述的坏点检测方法,其特征在于,所述依次判断各个图像中的各个单元中是否有真实坏点,包括:
获取所述第一图像的第m个单元的对比度,m为1-N的自然数;
若第m个单元的对比度与第一存储器中对应单元的值之差的绝对值大于第一阈值,则对该单元进行疑似坏点检测,并获取该单元内疑似坏点坐标集合;
确定所述第一图像中第m个单元内的疑似坏点坐标集合与第二存储器对应单元内的疑似坏点坐标集合的交集为真实坏点坐标集合,继续对所述第一图像的下一个单元进行判断操作,直至遍历所述第一图像的所有单元。
4.如权利要求3所述的坏点检测方法,其特征在于,还包括:
若所述待检测帧的第m个单元的对比度与第一存储器中对应单元的值之差的绝对值大于第一阈值,将存储于所述第一存储器的对应单元的对比度替换为所述待检测帧对应单元的对比度。
5.如权利要求3所述的坏点检测方法,其特征在于,还包括:提供第三存储器,所述第三存储器被划分为N个单元,所述坏点检测方法还包括:
将所述待检测帧确定的真实坏点坐标集合存储于第三存储器的对应单元;
将所述待检测帧中对应单元的疑似坏点坐标集合写入所述第二存储器的对应单元。
6.如权利要求3所述的坏点检测方法,其特征在于,还包括:
对所述真实坏点进行修复操作。
7.如权利要求1-6中任一项所述的坏点检测方法,其特征在于,获取图像的各个单元的对比度包括:
计算所述图像的第m个单元的像素的直方图B(i),i=0,...255,m为1至N中任一自然数,其中B(i)表示所述图像的第m个单元中亮度属于第i个灰阶的像素数;
根据直方图B(i)计算所述图像的第m个单元的对比度Dm:
其中/>
8.如权利要求7所述的坏点检测方法,其特征在于,当所述图像为单色图像时,使用所述图像的像素值来计算直方图B(i);当所述图像为彩色图像时,使用图像的亮度分量来计算直方图B(i)。
9.如权利要求8所述的坏点检测方法,其特征在于,当所述图像为彩色图像时,使用彩色图像YUV中的Y分量来计算直方图B(i)。
10.一种坏点检测方法,其特征在于,包括:
获取第一图像、以及提供第一存储器和第二存储器;
将所述第一图像、第一存储器和第二存储器分别划分成N个相互对应的单元,所述N为自然数;
获得所述第一图像的N个单元的对比度,对应存储于所述第一存储器的各个单元;
对所述第一图像的N个单元进行疑似坏点检测,获取所述N个单元内的疑似坏点坐标集合,并将其存入第二存储器的对应单元内;
获取第二图像,所述第二图像后于所述第一图像被拍摄;
对所述第二图像进行检测,以获得其真实坏点坐标集合,所述检测包括:将所述第二图像划分为对应的N个单元;
获取所述第二图像的第m个单元的对比度,m为1-N的自然数;
若第m个单元的对比度与第一存储器中对应单元的值之差的绝对值大于第一阈值,则对该单元进行疑似坏点检测,并获取该单元内的疑似坏点坐标集合;
确定所述第二图像中第m个单元内的疑似坏点坐标集合与第二存储器对应单元的疑似坏点坐标集合的交集为真实坏点坐标集合,继续对所述第二图像的下一个单元进行检测直至遍历完第二图像的所有单元;
依次对所述第二图像之后的图像进行检测,以获得图像坏点的坐标集合。
11.如权利要求10所述的坏点检测方法,其特征在于,还包括:
若所述第二图像中第m个单元的对比度与第一图像中对应单元的对比度的差值的绝对值超出第一阈值,将存储于所述第一存储器的对应单元的对比度替换为所述第二图像第m个单元的对比度。
12.如权利要求11所述的坏点检测方法,其特征在于,还包括:提供第三存储器,所述第三存储器被划分为N个单元,所述坏点检测方法还包括:
将所述第二图像中确定的真实坏点坐标集合存储于第三存储器的对应单元;
将所述第二图像中第m个单元的疑似坏点坐标集合写入所述第二存储器的对应单元。
13.如权利要求12所述的坏点检测方法,其特征在于,若所述第二图像中第m个单元被确定具有真实坏点,还包括:
对所述第二图像中第m个单元中的真实坏点进行修复操作。
14.如权利要求10-13中任一所述的坏点检测方法,其特征在于,获取各个单元对比度包括:
计算所述图像的第m个单元的像素的直方图B(i),i=0,...255,其中B(i)表示所述图像的第m个单元中亮度属于第i个灰阶的像素数;
根据直方图B(i)计算所述图像的第m个单元的对比度Dm:
其中/>
15.如权利要求14所述的坏点检测方法,其特征在于,当所述图像为单色图像时,使用所述图像的像素值来计算直方图B(i);当所述图像为彩色图像时,使用图像的亮度分量来计算直方图B(i)。
16.如权利要求15所述的坏点检测方法,其特征在于,当所述图像为彩色图像时,使用彩色图像YUV中的Y分量来计算直方图B(i)。
17.一种存储介质,其上存储有计算机指令,其特征在于,所述计算机指令运行时执行如权利要求1-9任一项所述的坏点检测方法。
18.一种拍摄装置,包括镜头、图像传感器,其特征在于,还包括:处理器和存储介质,其中,所述存储介质适于存储各种数据以及能够在所述处理器上运行的计算机指令;所述处理器运行所述计算机指令时执行如权利要求1-9任一项所述的坏点检测方法。
19.一种存储介质,其上存储有计算机指令,其特征在于,所述计算机指令运行时执行如权利要求10-16任一项所述的坏点检测方法。
20.一种拍摄装置,包括镜头、图像传感器,其特征在于,还包括:处理器和存储介质,其中,所述存储介质适于存储各种数据以及能够在所述处理器上运行的计算机指令;所述处理器运行所述计算机指令时执行如权利要求10-16任一项所述的坏点检测方法。
CN202110014533.5A 2021-01-06 2021-01-06 一种图像传感器的坏点检测方法、存储介质以及拍摄装置 Active CN112734719B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110014533.5A CN112734719B (zh) 2021-01-06 2021-01-06 一种图像传感器的坏点检测方法、存储介质以及拍摄装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110014533.5A CN112734719B (zh) 2021-01-06 2021-01-06 一种图像传感器的坏点检测方法、存储介质以及拍摄装置

Publications (2)

Publication Number Publication Date
CN112734719A CN112734719A (zh) 2021-04-30
CN112734719B true CN112734719B (zh) 2023-08-11

Family

ID=75591378

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110014533.5A Active CN112734719B (zh) 2021-01-06 2021-01-06 一种图像传感器的坏点检测方法、存储介质以及拍摄装置

Country Status (1)

Country Link
CN (1) CN112734719B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116193281A (zh) * 2021-11-25 2023-05-30 武汉高德智感科技有限公司 一种校正坏点的方法、装置、终端及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018156563A (ja) * 2017-03-21 2018-10-04 Kddi株式会社 照合装置、照合システム、及び照合方法
WO2019196009A1 (zh) * 2018-04-10 2019-10-17 深圳市大疆创新科技有限公司 图像传感器坏点检测方法、拍摄装置、无人机及存储介质
CN110650334A (zh) * 2019-10-29 2020-01-03 昆山锐芯微电子有限公司 坏点检测、校正方法及装置、存储介质、终端
CN110830795A (zh) * 2020-01-09 2020-02-21 武汉精立电子技术有限公司 一种图像传感器坏点检测方法、装置及电子设备
CN111741244A (zh) * 2020-08-05 2020-10-02 锐芯微电子股份有限公司 图像传感器像素结构
KR20200141808A (ko) * 2019-06-11 2020-12-21 국방과학연구소 데드픽셀 검출 방법 및 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018156563A (ja) * 2017-03-21 2018-10-04 Kddi株式会社 照合装置、照合システム、及び照合方法
WO2019196009A1 (zh) * 2018-04-10 2019-10-17 深圳市大疆创新科技有限公司 图像传感器坏点检测方法、拍摄装置、无人机及存储介质
KR20200141808A (ko) * 2019-06-11 2020-12-21 국방과학연구소 데드픽셀 검출 방법 및 장치
CN110650334A (zh) * 2019-10-29 2020-01-03 昆山锐芯微电子有限公司 坏点检测、校正方法及装置、存储介质、终端
CN110830795A (zh) * 2020-01-09 2020-02-21 武汉精立电子技术有限公司 一种图像传感器坏点检测方法、装置及电子设备
CN111741244A (zh) * 2020-08-05 2020-10-02 锐芯微电子股份有限公司 图像传感器像素结构

Also Published As

Publication number Publication date
CN112734719A (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
CN102098410B (zh) 信息处理设备和方法及包括光学显微镜的成像设备
CN109993086B (zh) 人脸检测方法、装置、系统及终端设备
CN109741307B (zh) 摄像模组的杂光检测方法、杂光检测装置及杂光检测系统
US8310553B2 (en) Image capturing device, image capturing method, and storage medium having stored therein image capturing program
US20100141810A1 (en) Bad Pixel Detection and Correction
US7796806B2 (en) Removing singlet and couplet defects from images
CN111175318A (zh) 屏幕划痕碎裂检测方法及设备
WO2010089836A1 (ja) 画像処理装置
CN112734719B (zh) 一种图像传感器的坏点检测方法、存储介质以及拍摄装置
CN113344826A (zh) 图像处理方法、装置、电子设备及存储介质
TWI501653B (zh) 用於偵測、校正影像感測器中之壞像素之方法
CN110740314B (zh) 彩色线阵相机坏点校正方法及系统
US20110085026A1 (en) Detection method and detection system of moving object
CN113140186A (zh) 显示面板的补偿方法及显示装置
US8547430B2 (en) System and method for marking discrepancies in image of object
CN111626145A (zh) 一种简捷有效的残缺表格识别及跨页拼接方法
CN1992916A (zh) 影像清晰检测方法
CN114529500A (zh) 显示基板的缺陷检查方法
CN113888509A (zh) 一种图像清晰度的评价方法、装置、设备及存储介质
US20210337143A1 (en) Image-Sensing System and Detection and Correction Method for Defective Pixel
JP2010020602A (ja) 画像マッチング装置、およびカメラ
CN110428391B (zh) 用以去除鬼影假象的图像融合方法及装置
US7551213B2 (en) Method for detecting vertical transfer defects in image sensors
US8417019B2 (en) Image correction system and method
JP2006121642A (ja) 画像検知装置および画素検知データ修正方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant