CN114095721B - 视频坏点检测的方法和装置、计算机可读介质 - Google Patents

视频坏点检测的方法和装置、计算机可读介质 Download PDF

Info

Publication number
CN114095721B
CN114095721B CN202010862824.5A CN202010862824A CN114095721B CN 114095721 B CN114095721 B CN 114095721B CN 202010862824 A CN202010862824 A CN 202010862824A CN 114095721 B CN114095721 B CN 114095721B
Authority
CN
China
Prior art keywords
image
point
points
brightness
filtering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010862824.5A
Other languages
English (en)
Other versions
CN114095721A (zh
Inventor
朱丹
段然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202010862824.5A priority Critical patent/CN114095721B/zh
Priority to PCT/CN2021/104492 priority patent/WO2022042040A1/zh
Priority to US17/771,941 priority patent/US20220377265A1/en
Publication of CN114095721A publication Critical patent/CN114095721A/zh
Application granted granted Critical
Publication of CN114095721B publication Critical patent/CN114095721B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Abstract

本公开实施例提供了一种视频坏点检测的方法，该方法包括：对视频中依次且连续的第一帧图像、第二帧图像、第三帧图像分别进行最值滤波，分别得到第一滤波图像、第二滤波图像、第三滤波图像；其中，所述最值滤波为最大值滤波和最小值滤波中的一种；根据所述第一滤波图像、第二滤波图像、第三滤波图像确定第一差值图像和第二差值图像；根据所述第一差值图像和第二差值图像确定候选图像；确定所述第二帧图像中至少部分与候选图像中的有效点对应的点为坏点。本公开实施例还提供了一种视频坏点检测的装置、计算机可读介质。

Description

视频坏点检测的方法和装置、计算机可读介质
技术领域
本公开实施例涉及视频处理技术领域，特别涉及视频坏点检测的方法和装置、计算机可读介质。
背景技术
由于数据损坏等原因，视频中可能出现坏点，即显示内容不正确的点，从而降低视频质量。通常的坏点是某帧图像中比相邻帧图像中的对应点偏亮(偏白点)或偏暗(偏黑点)的点。
但是，由于视频是动态的，故相邻帧图像中有很多对应点在正常情况下亮度就是不同的(如因景物运动导致亮度不同)，而现有视频坏点检测的方法难以将这些正常的点区分出来，检测不准确。
发明内容
本公开实施例提供一种视频坏点检测的方法和装置、计算机可读介质。
第一方面，本公开实施例提供一种视频坏点检测的方法，其包括：
对视频中依次且连续的第一帧图像、第二帧图像、第三帧图像分别进行最值滤波，分别得到第一滤波图像、第二滤波图像、第三滤波图像；其中，所述最值滤波为最大值滤波和最小值滤波中的一种；
根据所述第一滤波图像、第二滤波图像、第三滤波图像确定第一差值图像和第二差值图像；所述最值滤波为最大值滤波时，所述第一差值图像中每个点的亮度为其在第二滤波图像中对应点的亮度与其在第一滤波图像中对应点的亮度的差，所述第二差值图像中每个点的亮度为其在第二滤波图像中对应点的亮度与其在第三滤波图像中对应点的亮度的差；所述最值滤波为最小值滤波时，所述第一差值图像中每个点的亮度为其在第一滤波图像中对应点的亮度与其在第二滤波图像中对应点的亮度的差，所述第二差值图像中每个点的亮度为其在第三滤波图像中对应点的亮度与其在第二滤波图像中对应点的亮度的差；
根据所述第一差值图像和第二差值图像确定候选图像；所述候选图像中，在第一差值图像中对应点的亮度超过第一阈值且在第二差值图像中对应点的亮度均超过第二阈值的点为有效点，其余点为无效点；
确定所述第二帧图像中至少部分与候选图像中的有效点对应的点为坏点。
在一些实施例中，所述对视频中依次且连续的第一帧图像、第二帧图像、第三帧图像分别进行最值滤波包括：
将所述第一帧图像、第二帧图像、第三帧图像分别转换为灰度图像，所述灰度图像的每个点的亮度通过一个灰度值表示；
对所述第一帧图像的灰度图像、第二帧图像的灰度图像、第三帧图像的灰度图像分别进行最值滤波。
在一些实施例中，所述对视频中依次且连续的第一帧图像、第二帧图像、第三帧图像分别进行最值滤波包括：
对所述第一帧图像、第二帧图像、第三帧图像中的每一个，分别用长度依次降低的多个窗口，进行多次最值滤波。
在一些实施例中，所述根据所述第一差值图像和第二差值图像确定候选图像包括：
根据所述第一差值图像确定第一二值化图像，根据所述第二差值图像确定第二二值化图像；所述第一二值化图像中，对应第一差值图像中对应点的亮度超过第一阈值的点为第一有效点，所述第二二值化图像中，对应第二差值图像中对应点的亮度超过第二阈值的点为第二有效点；
根据所述第一二值化图像和第二二值化图像确定候选图像；所述候选图像中，在第一二值化图像中对应点是第一有效点且在第二二值化图像中对应点是第二有效点的点为有效点，其余点为无效点。
在一些实施例中，在所述根据所述第一差值图像确定第一二值化图像，根据所述第二差值图像确定第二二值化图像前，还包括：
以第一差值图像中亮度最大的点的亮度为1，以最低亮度为0，将其中所有点的亮度归一化为大于或等于0，且小于或等于1的数；以第二差值图像中亮度最大的点的亮度为1，以最低亮度为0，将其中所有点的亮度归一化为大于或等于0，且小于或等于1的数；
所述第一阈值T1通过以下公式计算：T1＝(1-minN1)*facter；
所述第二阈值T2通过以下公式计算：T2＝(1-minN2)*facter；
其中，minN1为第一差值图像中亮度最小的点归一化后的亮度，minN2为第二差值图像中亮度最小的点归一化后的亮度，facter为大于0且小于1的预设系数。
在一些实施例中，所述facter大于或等于0.1，且小于或等于0.5。
在一些实施例中，所述确定所述第二帧图像中至少部分与候选图像中的有效点对应的点为坏点包括：
去除所述候选图像中离散的有效点；
确定所述第二帧图像中与候选图像中剩余的有效点对应的点为坏点。
在一些实施例中，所述去除所述候选图像中离散的有效点包括：
以有效点为前景，无效点为背景，对所述候选图像进行腐蚀处理；
以有效点为前景，无效点为背景，对所述候选图像进行膨胀处理。
在一些实施例中，所述腐蚀处理的结构元素为正方形，所述正方形的边长大于或等于7，且小于或等于15；
所述膨胀处理的结构元素为正方形，所述正方形的边长大于或等于7，且小于或等于15。
第二方面，本公开实施例提供一种视频坏点检测的装置，其包括：
输入模块，配置为接收视频；
输出模块，配置为输出检测到的视频坏点；
一个或多个处理器；
存储器，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任意一种的视频坏点检测的方法；
一个或多个I/O接口，连接在所述处理器与存储器之间，配置为实现所述处理器与存储器的信息交互。
第三方面，本公开实施例提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任意一种的视频坏点检测的方法。
附图说明
附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。通过参考附图对详细示例实施例进行描述，以上和其它特征和优点对本领域技术人员将变得更加显而易见，在附图中：
图1为本公开实施例提供的一种视频坏点检测的方法的流程图；
图2为本公开实施例提供的视频坏点检测的方法中三帧待处理图像的示意图；
图3为本公开实施例提供的一种视频白点检测的方法的流程图；
图4为本公开实施例提供的一种视频白点检测的方法中图像的处理过程示意图；
图5为本公开实施例提供的一种视频白点检测的方法中三幅滤波图像的示意图；
图6为本公开实施例提供的一种视频白点检测的方法中两幅差值图像的示意图；
图7为本公开实施例提供的一种视频白点检测的方法中两幅归一化后的差值图像的示意图；
图8为本公开实施例提供的一种视频白点检测的方法中两幅二值化图像的示意图；
图9为本公开实施例提供的一种视频白点检测的方法中候选图像的示意图；
图10为本公开实施例提供的一种视频白点检测的方法中候选图像经过腐蚀处理和膨胀处理后的示意图；
图11为本公开实施例提供的一种视频白点检测的方法中确定的坏点的示意图；
图12为本公开实施例提供的一种视频黑点检测的方法的流程图；
图13为本公开实施例提供的一种视频黑点检测的方法中图像的处理过程示意图；
图14为本公开实施例提供的一种视频黑点检测的方法中三幅滤波图像的示意图；
图15为本公开实施例提供的一种视频黑点检测的方法中两幅差值图像的示意图；
图16为本公开实施例提供的一种视频黑点检测的方法中两幅归一化后的差值图像的示意图；
图17为本公开实施例提供的一种视频黑点检测的方法中两幅二值化图像的示意图；
图18为本公开实施例提供的一种视频黑点检测的方法中候选图像的示意图；
图19为本公开实施例提供的一种视频黑点检测的方法中候选图像经过腐蚀处理和膨胀处理后的示意图；
图20为本公开实施例提供的一种视频黑点检测的方法中确定的坏点的示意图；
图21为本公开实施例提供的另一种视频坏点检测的装置的组成框图；
图22为本公开实施例提供的一种计算机可读介质的组成框图。
具体实施方式
为使本领域的技术人员更好地理解本公开实施例的技术方案，下面结合附图对本公开实施例提供的视频坏点检测的方法和装置、计算机可读介质进行详细描述。
在下文中将参考附图更充分地描述本公开实施例，但是所示的实施例可以以不同形式来体现，且不应当被解释为限于本公开阐述的实施例。反之，提供这些实施例的目的在于使本公开透彻和完整，并将使本领域技术人员充分理解本公开的范围。
本公开实施例可借助本公开的理想示意图而参考平面图和/或截面图进行描述。因此，可根据制造技术和/或容限来修改示例图示。
在不冲突的情况下，本公开各实施例及实施例中的各特征可相互组合。
本公开所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本公开所使用的术语“和/或”包括一个或多个相关列举条目的任何和所有组合。如本公开所使用的单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。如本公开所使用的术语“包括”、“由……制成”，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组。
除非另外限定，否则本公开所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本公开明确如此限定。
本公开实施例不限于附图中所示的实施例，而是包括基于制造工艺而形成的配置的修改。因此，附图中例示的区具有示意性属性，并且图中所示区的形状例示了元件的区的具体形状，但并不是旨在限制性的。
第一方面，参照图1至图20，本公开实施例提供一种视频坏点检测的方法。
本公开实施例的方法用于将视频中的坏点检测出来。其中，坏点是指因为数据损坏等原因导致的显示内容不正确的点。
通常而言，在视频的任意一帧图像，坏点可分为比相邻帧图像的对应点明显偏亮的“偏白点”，以及比相邻帧图像的对应点明显偏暗的“偏黑点”。
其中，视频是由多帧图像按照顺序组成的，每帧图像相当于一幅静态的“图片”，由多个“点(或称像素)”组成，每个点具有一定的颜色和亮度(例如用灰度值表示)。
本公开实施例中，所有图像都具有相同的尺寸和形状，即其中“点”的设置都是相同的，而不同图像中处于相同的相对位置的点即互为“对应点”。
参照图1，本公开实施例的视频坏点检测的方法包括以下步骤：
S001、对视频中依次且连续的第一帧图像、第二帧图像、第三帧图像分别进行最值滤波，分别得到第一滤波图像、第二滤波图像、第三滤波图像。
其中，最值滤波为最大值滤波和最小值滤波中的一种。
本步骤中，对第一帧图像、第二帧图像、第三帧图像分别进行最值滤波处理而得到第一滤波图像、第二滤波图像、第三滤波图像；该最值滤波具体为最大值滤波或者最小值滤波。其中，最大值滤波或者最小值滤波是两种图像滤波的方式，其具体意义后续介绍。
其中，最值滤波的具体种类根据所要检测的坏点类型确定：若进行最大值滤波，则后续检测的是视频中的白点；而若进行最小值滤波，则后续检测的是视频中的黑点。
本步骤中的第一帧图像、第二帧图像、第三帧图像是在视频中按顺序排列的任意三帧图像，即第一帧图像后立即为第二帧图像，第二帧图像后立即为第三帧图像。
例如，本步骤中的第一帧图像f1、第二帧图像f2、第三帧图像f3具体可参照图2所示；应当理解，由于专利附图没有颜色，故图2中的附图均为灰度图像，但应当理解，实际的第一帧图像、第二帧图像、第三帧图像可以是彩色的。
应当理解，以上第一帧图像、第二帧图像、第三帧图像是指视频中任意三帧连续的图像，而不一定是整个视频的前三帧图像。即，本公开实施例的方法用于视频中的任意三帧图像时，该三帧图像中最前的为第一帧图像，最后的为第三帧图像，中间的为第二帧图像。
本公开实施例中，通过对每帧图像进行最大值滤波或最小值滤波，可增大图像中有相对较亮的点(可能是白点)的局部范围的亮度，或降低有相对较暗的点(可能是黑点)的局部范围的亮度，从而使坏点(白点或黑点)区域与其它帧图像的差别更明显，使坏点更容易被检测出来。
S002、根据第一滤波图像、第二滤波图像、第三滤波图像确定第一差值图像和第二差值图像。
最值滤波为最大值滤波时，第一差值图像中每个点的亮度为其在第二滤波图像中对应点的亮度与其在第一滤波图像中对应点的亮度的差，第二差值图像中每个点的亮度为其在第二滤波图像中对应点的亮度与其在第三滤波图像中对应点的亮度的差。
最值滤波为最小值滤波时，第一差值图像中每个点的亮度为其在第一滤波图像中对应点的亮度与其在第二滤波图像中对应点的亮度的差，第二差值图像中每个点的亮度为其在第三滤波图像中对应点的亮度与其在第二滤波图像中对应点的亮度的差。
本步骤中，将以上三帧连续的图像中，每两相邻帧图像中的对应点(即处于相同的相对位置的点)的亮度相减，以分别得到代表第一帧图像(第一滤波图像)与第二帧图像(第二滤波图像)间的亮度差异的第一差值图像，以及代表第二帧图像(第二滤波图像)与第三帧图像(第三滤波图像)间的亮度差异的第二差值图像，即“差值图像”中的每个点的亮度为两帧相邻图像(滤波图像)中对应点的亮度的差别。
而差值图像中每个点的亮度的计算方法根据最值滤波方式的不同确定：
当最值滤波为最大值滤波(即检测白点)时，差值图像中每个点的亮度，是由第二滤波图像中对应点的亮度，减去第一滤波图像或第三滤波图像中对应点的亮度得到的；即，差值图像中每个点的亮度，是第二滤波图像中的点比相邻滤波图像中的对应点“更亮”的程度；
当最值滤波为最小值滤波(即检测黑点)时，差值图像中每个点的亮度，是由第一滤波图像或第三滤波图像中对应点的亮度，减去第二滤波图像中对应点的亮度得到的；即，差值图像中每个点的亮度，是第二滤波图像中的点比相邻滤波图像中的对应点“更暗”的程度。
可见，以上步骤主要确定出了第二帧图像比其相邻帧图像中“更亮”或“更暗”的点，即确定出在第二帧图像中很亮或很暗，而在相邻帧图像中亮度适中的点。而这些点可能是在相邻帧图像中“正常”，而在第二帧图像中因数据损坏等导致亮度“异常”的点，也就是这些点有较大可能是坏点(白点或黑点)。
应当理解，对第一帧图像、第二帧图像、第三帧图像中的任意一者，其中任意点的最小亮度可为0(即“不亮”，但“不亮”也是点的亮度属性的一种)，最大亮度则为当前视频格式对应的最大值(如255灰阶)。
应当理解，在进行差值计算时，直接用亮度相减得到的结果可能是“负值”。显然，亮度为负值时是没有实际意义的(亮度可为0，但不可能为负)，故从运算简便的角度考虑，若计算得到的差值图像中某点的亮度为负值，则可统一计作亮度为0。
S003、根据第一差值图像和第二差值图像确定候选图像。
候选图像中，在第一差值图像中对应点的亮度超过第一阈值且在第二差值图像中对应点的亮度均超过第二阈值的点为有效点，其余点为无效点。
在得到第一差值图像和第二差值图像后，可继续根据它们确定出候选图像。候选图像中的每个点，在第一差值图像和第二差值图像中均具有对应点，若这两个对应点的亮度均超过预定值(第一阈值、第二阈值)，则候选图像中的该点为“有效点”，例如将有效点的值计为“1”；而若第一差值图像和第二差值图像中的对应点不都超过预定值(如只在一个差值图像中的对应点超过预定值，或是两差值图像中的对应点都未超过预定值)，则候选图像中的该点为“无效点”，例如将无效点的值计为“0”。
由此可见，候选图像中的有效点，实际代表第二帧图像中与相邻两帧图像相比亮度都差别符合预定方向(偏亮或偏暗)，且差别值较大的点，即：
当最值滤波为最大值滤波(即检测白点)时，候选图像中的有效点代表第二帧图像中的对应点，比第一帧图像和第三帧图像中的对应点都明显“更亮”；
当最值滤波为最小值滤波(即检测黑点)时，候选图像中的有效点代表第二帧图像中的对应点，比第一帧图像和第三帧图像的对应点都明显“更暗”。
因此，候选图像中的有效点有较大可能是视频中(具体是第二帧图像中)的坏点。
S004、确定第二帧图像中至少部分与候选图像中的有效点对应的点为坏点。
进一步的，可确定第二帧图像中，与以上候选图像中的有效点对应的所有点中，有至少一部分是第二帧图像的坏点(或视频中的坏点)，即因为数据损坏而导致显示内容不正确的点。
而在确定出坏点后，可继续根据这些确定出的坏点可进行视频修复、视频质量评价等，在此不再详细描述。
可见，本公开实施例的方法实际是检测出了单帧图像(第二帧图像)中的白点或黑点(即相对其相邻帧图像偏亮或偏暗的点)，而被检测的图像(第二帧图像)应是三帧连续图像中的中间帧图像，即本公开实施例还需要被检测的图像的前一帧图像(第一帧图像)和后一帧图像(第三帧图像)来实现检测。
显然，对一段视频，被检测的图像(第二帧图像)可以是除其中最前和最后帧图像的任意图像，即视频中除了最前和最后帧图像，其它图像都可作为第二帧图像用本公开实施例的方法进行检测。
在一些实施例中，参照图3至图11，当需要检测视频中的白点时，本公开实施例的视频坏点检测的方法可包括以下步骤：
S100、将第一帧图像、第二帧图像、第三帧图像分别转换为灰度图像。
其中，灰度图像的每个点的亮度通过一个灰度值表示。
许多视频都是彩色的，即其中每帧图像中每个点的亮度需通过多个不同颜色的亮度分量共同表示，例如，通过红色、绿色、蓝色三种颜色的亮度分量共同表示，而这样的亮度表示方式在后续过程中运算比较复杂。
为此，可参照图4，将视频中彩色的第一帧图像f1、第二帧图像f2、第三帧图像f3，分别转换为仅有灰度而无色彩的灰度图像G1、G2、G3，即每个点的亮度仅用一个值(灰度值)表示的图像。
应当理解，由于专利中的附图没有颜色，故灰度图像形式的第一帧图像G1、第二帧图像G2、第三帧图像G3和彩色形式的第一帧图像f1、第二帧图像f2、第三帧图像f3在专利附图中看起来是相同的，例如均可参照图2。
其中，将彩色图像转变为灰度图像的具体方式是已知的。
例如，若彩色的图像中每个点的红色、绿色、蓝色颜色的亮度分量(如相应颜色的灰度值)分别为R、G、B，则其转换后的亮度(如灰度值)Gray可通过以下公式计算：Gray＝R*0.299+G*0.587+B*0.114。
当然，应当理解，本步骤是可选的。
例如，当视频中的各帧图像原本就是灰度图像时，则不必进行本步骤。
或者，即使对彩色图像，也可不进行本步骤，只是后续计算亮度时，需要通过各颜色的亮度分量共同计算总的亮度。
S101、对第一帧图像的灰度图像、第二帧图像的灰度图像、第三帧图像的灰度图像分别进行最大值滤波，分别得到第一滤波图像、第二滤波图像、第三滤波图像。
由于要检测白点，故参照图4，对第一帧图像的灰度图像G1、第二帧图像的灰度图像G2、第三帧图像的灰度图像G3，分别进行最大值滤波，得到第一滤波图像F1、第二滤波图像F2、第三滤波图像F3，具体可参照图5所示。
其中，最大值滤波是对图像的一种滤波处理方法，其是用一定形状的窗口遍历整个图像的各个位置，并在每个位置，将窗口预定位置对应的点的亮度(如灰度值)，替换为窗口范围内的所有点的亮度的最大值。
在一些实施例中，预定位置是窗口的中心。
作为一种方式，可用窗口的中心作为以上预定位置，即可对窗口的几何中心对应的点的亮度进行替换。
在一些实施例中，窗口是边长为奇数的正方形，预定位置为该正方形的中心。
作为一种方式，窗口可是边长为奇数的正方形(窗口长度就是其边长)，此时预定位置则为该正方形的中心。
例如，当图像为5*4的矩形时，若要用3*3的正方形的窗口对其进行最大值滤波，则应使正方形窗口的中心位置分别位于图像的每个位置(即共有5*4＝20个位置)；当正方形位于每个位置时，均将其中心对应的点的亮度替换为其所有位置对应的点中的最大亮度。
可见，当正方形位于图像的部分位置时，正方形可能有一部分“超出”图像之外，则正方形的这部分可视为“没有对应点”；或者，也可通过一些算法对以上图像进行“扩展”，即在图像的最外侧增加“一圈”点，以使正方形位于任何位置时全都部对应有点；或者，也可以是不让正方形处于“超出”图像的位置，当然，这样正方形所处的位置的个数会减小，所得到的图像也会“缩小”。
在一些实施例中，本步骤(S101)具体包括：对第一帧图像、第二帧图像、第三帧图像中的每一个，分别用长度依次降低的多个窗口，进行多次最值滤波(最大值滤波)。
在一些实施例中，窗口为正方形；窗口的长度(正方形边长)为大于或等于3，且小于或等于9的奇数；进一步的，窗口的长度为7和5。
其中，窗口的长度的单位，是图像中的点的“个数”。
为改善滤波效果，本公开实施例中，对同一幅图像可用长度(或称窗长)依次降低的多个窗口分别进行多次最大值滤波。
例如，最大值滤波具体可为依次用边长为7的正方形和边长为5的正方形进行两次最大值滤波，且每次均对正方形中心对应的点的亮度进行替换。经过反复验证，这样的最大值滤波是效果最好的。
S102、根据第一滤波图像、第二滤波图像、第三滤波图像确定第一差值图像和第二差值图像。
其中，第一差值图像中每个点的亮度为其在第二滤波图像中对应点的亮度与其在第一滤波图像中对应点的亮度的差，第二差值图像中每个点的亮度为其在第二滤波图像中对应点的亮度与其在第三滤波图像中对应点的亮度的差。
参照图4，用第二滤波图像F2中每个点的亮度(灰度值)减去第一滤波图像F1中对应点的亮度，得到第一差值图像Err21中对应点的亮度，也就是得到第一差值图像Err21。也就是说，第一差值图像Err21中每个点的亮度，代表第二滤波图像F2中对应点比第一滤波图像F1中对应点“更亮”的程度。
类似的，用第二滤波图像F2中每个点的亮度(灰度值)减去第三滤波图像F3中对应点的亮度，得到第二差值图像Err23中对应点的亮度，也就是得到第二差值图像Err23。也就是说，第二差值图像Err23中每个点的亮度，代表第二滤波图像F2中对应点比第三滤波图像F3中对应点“更亮”的程度。
显然，亮度为负值时是没有实际意义的，故从运算简便的角度考虑，若计算得到的差值图像中某点的亮度为负值，则可统一计作亮度为0。
具体的第一差值图像Err21和第二差值图像Err23可参照图6。
S103、以第一差值图像中亮度最大的点的亮度为1，以最低亮度为0，将其中所有点的亮度归一化为大于或等于0，且小于或等于1的数；以第二差值图像中亮度最大的点的亮度为1，以最低亮度为0，将其中所有点的亮度归一化为大于或等于0，且小于或等于1的数。
参照图4，为方便后续的处理，可对第一差值图像Err21和第二差值图像Err23分别进行归一化处理，即将差值图像中最大的亮度归一化为1，而将差值图像可能具有的最低亮度(如0灰阶)归一化为0，从而将其中所有点的亮度归一化为0～1之间的值，得到归一化的第一差值图像N1和第二差值图像N2。
具体的归一化的第一差值图像N1和第二差值图像N2可参照图7，为了清楚，图7中以亮度为1的点具有最大亮度(如255灰阶)进行表示。
示例性的，归一化后的差值图像中每个点的亮度值N可通过以下公式计算：N＝E/M；其中，E为归一化前的差值图像中该点的亮度值，M为归一化前的差值图像中的最大亮度值。
显然，由于是以归一化前实际存在的最大的亮度值为基准(归一化为1)，故在任意归一化后的差值图像中，最大的亮度值必然都为1；相对的，差值图像中可能具有的最低亮度为0(如0灰阶)，但由于差值图像中实际不一定有亮度为0的点，故虽然归一化后的差值图像中理论上最小的亮度值是0，但不一定每幅归一化后的差值图像中都会出现亮度为0的点。
S104、根据第一差值图像确定第一二值化图像，根据第二差值图像确定第二二值化图像。
第一二值化图像中，对应第一差值图像中对应点的亮度超过第一阈值的点为第一有效点，第二二值化图像中，对应第二差值图像中对应点的亮度超过第二阈值的点为第二有效点。
参照图4，分别将第一差值图像和第二差值图像“二值化”，即将每个图像中所有的点分为“两类”，从而根据将第一差值图像得到第一二值化图像B1，根据第二差值图像得到第二二值化图像B2。
具体的，本步骤是分析第一差值图像中的各点的亮度，并得到对应的第一二值化图像；其中，若第一差值图像中的某个点的亮度超过第一阈值，则在对应的第一二值化图像中，对应的点(处于相同位置的点)是第一有效点；反之，若第一差值图像中的某个点的亮度未超过第一阈值，则在对应的第一二值化图像中，对应的点(处于相同位置的点)是第一无效点；也就是说，第一二值化图像是第一差值图像通过二值化处理后得到的只有两个值的图像(第一二值化图像B1)。
类似的，分析第二差值图像中的各点的亮度，并得到对应的第二二值化图像；其中，若第二差值图像中的某个点的亮度超过第二阈值，则在对应的第二二值化图像中，对应的点(处于相同位置的点)是第二有效点；反之，若第二差值图像中的某个点的亮度未超过第二阈值，则在对应的第二二值化图像中，对应的点(处于相同位置的点)是第二无效点；也就是说，第二二值化图像是第二差值图像通过二值化处理后得到的只有两个值的图像(第二二值化图像B2)。
其中，示例性的，将第一二值化图像中的第一有效点用1表示，而第一无效点用0表示；而将第二二值化图像中的第二有效点用1表示，而第二无效点用0表示。
具体的第一二值化图像B1和第二二值化图像B2参照图8，为了清楚，图8中将第一有效点或第二有效点用白点表示，第一无效点或第二无效点用黑点表示。
在一些实施例中，第一阈值T1通过以下公式计算：T1＝(1-minN1)*facter；第二阈值T2通过以下公式计算：T2＝(1-minN2)*facter；
其中，minN1为第一差值图像中亮度最小的点归一化后的亮度，minN2为第二差值图像中亮度最小的点归一化后的亮度，facter为大于0且小于1的预设系数。
在一些实施例中，facter大于或等于0.1，且小于或等于0.5。
当按照以上方式进行归一化后，每个差值图像中的最大亮度必然为1，而最小亮度为minN1或minN2，从而(1-minN1)或(1-minN2)即代表差值图像中实际存在的最大亮度与最小亮度的差。
二值化判断中用的阈值，可通过将最大亮度与最小亮度的差乘以一个预设的系数facter得到，该系数facter必然大于0且小于1，更优选在0.1～0.5之间，经研究发现，这样的参数范围可以获得比较适中的处理效果，比较准确的得出有效点(潜在的坏点)。
S105、根据第一二值化图像和第二二值化图像确定候选图像。
候选图像中，在第一二值化图像中对应点是第一有效点且在第二二值化图像中对应点是第二有效点的点为有效点，其余点为无效点。例如，将有效点的值计为“1”；而候选图像中的其余点为无效点，例如将无效点的值计为“0”。
参照图4，以上第一二值化图像B1和第二二值化图像B2中分别有一些有效点(第一有效点或第二有效点)，故可根据它们确定出候选图像M；在候选图像中，若某点在第一二值化图像的对应点是第一有效点，且在第二二值化图像中的对应点是第二有效点，则该点为候选图像的有效点；若候选图像中的某一点在第一二值化图像中的对应点和在第二二值化图像中的对应点中，有至少有一个不是有效点(第一有效点或第二有效点)，则该点为候选图像的无效点。
具体的候选图像M可参照图9，为了清楚，图9中将有效点用白点表示，无效点用黑点表示。
具体的，当第一二值化图像中的第一有效点和第二二值化图像中的第二有效点用1表示，当第一二值化图像中的第一无效点和第二二值化图像中的第二无效点用0表示时，则本步骤可通过将第一二值化图像与第二二值化图像“相乘”实现，即用第一二值化图像中每个点的值(1或0)乘以第二二值化图像中对应点的值(1或0)，作为候选图像中对应点的值(1或0)。
显然，在候选图像中，只有当一个点在第一二值化图像与第二二值化图像中对应点的值都为1(即分别为第一有效点和第二有效点)，候选图像中的该点的值才为1，也就是才为有效点；而在候选图像中其它的点的值均为0，均为无效点。
当然，应当理解，以上归一化、二值化、将图像相乘等步骤都是可选的。
例如，可不进行归一化，相应的，可直接设定具体的亮度值为第一阈值和第二阈值(示例性的，具体可根据依据插值图片的亮度的最大值、最小值设定第一阈值和第二阈值)，从而可根据该具体的亮度值直接进行二值化。
再如，也可不进行归一化、二值化，而是直接逐一判断第一差值图像和第二差值图像中每个点的亮度(灰阶值)是否超过第一阈值和第二阈值，进而判断候选图像中哪些点为有效点，哪些点为无效点。
再如，二值化后的有效点(第一有效点、第二有效点)、无效点(第一无效点、第二无效点)的值也可不用1、0表示，从而也可不通过图像相乘的方式确定候选图像；例如，二值化后的有效点(第一有效点、第二有效点)、无效点(第一无效点、第二无效点)的值可分别用2和1表示，且通过将第一二值化图像和第二二值化图像中对应点的值相加的方式得到候选图像，并以相加后值为4的点为有效点，其余为无效点。
应当理解，由于从数学上实现以上处理过程的不同具体方式是多样的，故在此不再详细描述。
S106、去除候选图像中离散的有效点。
即通过一些手段，将候选图像中相对独立的、面积小的有效点去除掉，因为这些小面积的有效点通常是由景物的运动引起的，而不是视频中实际的坏点。
在一些实施例中，本步骤(S106)包括：
S1061、以有效点为前景，无效点为背景，对候选图像进行腐蚀处理。
参照图4，以有效点(或者说1)为前景，无效点(或者说0)为背景，对候选图像M进行腐蚀处理，得到经过腐蚀处理的候选图像M’。
具体的经腐蚀处理的候选图像M’可参照图10，为了清楚，图10中将有效点用白点表示，无效点用黑点表示。
其中，腐蚀处理(或腐蚀算法)的原理为：用结构元素(滤波核)遍历图像的每一个点，结构元素在每个位置时，将结构元素与其当前覆盖的所有点的进行“与操作(或者说卷积)”，并将结构元素中间的点的值替换为“与操作”后得到的最小值。由此，当有结构元素位于前景(即有效点，或者说1)图形边缘时，其可将前景图形的边缘点变为背景(即从有效点变为无效点，或者说从1变为0)，从而腐蚀处理相当于将前景(即有效点)图形“缩小”了一圈；由此，对于离散的有效点，其中所有的点均为前景图形的边缘，从而腐蚀处理可将其彻底除去。
S1062、以有效点为前景，无效点为背景，对候选图像进行膨胀处理。
参照图4，继续对经过腐蚀处理的候选图像M’进行膨胀处理，得到膨胀处理的候选图像M”。
具体的经膨胀处理的候选图像M”可参照图10。
其中，膨胀处理(膨胀算法)是腐蚀处理的逆操作，其具体是将结构元素中心的点的值替换为“与操作”后得到的最大值，从而膨胀处理相当于将前景(即有效点)图形“胀大”一圈，从而可“恢复”在腐蚀处理中“被缩小”的前景(即有效点)图形。
但是，对于以上离散的有效点，由于其在腐蚀处理中已经被完全除去了，故在膨胀处理中就无法被恢复。
由此，通过一次进行腐蚀处理和膨胀处理，相当于候选图像中离散的有效点除去，而保留了面积较大的有效点图形。
在一些实施例中，腐蚀处理的结构元素为正方形，正方形的边长大于或等于7，且小于或等于15；膨胀处理的结构元素为正方形，正方形的边长大于或等于7，且小于或等于15。经过研究表明，以上结构元素可较好的消除离散的有效点，但将实际的坏点对应的有效点保留。
具体的，腐蚀处理和膨胀处理中使用的结构元素(滤波核)也可均为正方形，正方形的边长在7～15。
其中，正方形的边长的单位为图像中的点的个数。
当然，应当理解，除候选图像中离散的有效点的过程也可通过其它的算法实现，例如计算连续的有效点图形的面积，而将面积小于预定值的有效点图形中的有效点除去。
S107、确定第二帧图像中与候选图像中剩余的有效点对应的点为坏点。
参照图4，在除去离散的有效点后，即可确定候选图像中剩余的有效点都是对应坏点(白点)的，即确定第二帧图像中对应候选图像中有效点的点为坏点。
具体的，最终确定的第二帧图像中的坏点的分布图mask可参照图11，图11中的坏点用白点表示，非坏点用黑点表示。
在一些实施例中，参照图12至图20，当需要检测视频中的黑点时，本公开实施例的视频坏点检测的方法可包括以下步骤：
S200、将第一帧图像、第二帧图像、第三帧图像分别转换为灰度图像。
其中，灰度图像的每个点的亮度通过一个灰度值表示。
S201、对第一帧图像的灰度图像、第二帧图像的灰度图像、第三帧图像的灰度图像分别进行最小值滤波，分别得到第一滤波图像、第二滤波图像、第三滤波图像。
由于要检测黑点，故参照图13，对第一帧图像的灰度图像G1、第二帧图像的灰度图像G2、第三帧图像的灰度图像G3，分别进行最小值滤波，得到第一滤波图像F1、第二滤波图像F2、第三滤波图像F3，具体可参照图14所示。
其中，最小值滤波是对图像的一种滤波处理方法，其是用一定形状的窗口遍历整个图像的各个位置，并在每个位置，将窗口预定位置对应的点的亮度(如灰度值)，替换为窗口范围内的所有点的亮度的最小值。
在一些实施例中，预定位置是窗口的中心。
在一些实施例中，窗口是边长为奇数的正方形，预定位置为该正方形的中心。
在一些实施例中，本步骤(S201)具体包括：对第一帧图像、第二帧图像、第三帧图像中的每一个，分别用长度依次降低的多个窗口，进行多次最值滤波(最小值滤波)。
在一些实施例中，窗口为正方形；窗口的长度(正方形边长)为大于或等于3，且小于或等于9的奇数；进一步的，窗口的长度为7和5。
其中，窗口的长度的单位，是图像中的点的“个数”。
S202、根据第一滤波图像、第二滤波图像、第三滤波图像确定第一差值图像和第二差值图像。
其中，第一差值图像中每个点的亮度为其在第一滤波图像中对应点的亮度与其在第二滤波图像中对应点的亮度的差，第二差值图像中每个点的亮度为其在第三滤波图像中对应点的亮度与其在第二滤波图像中对应点的亮度的差。
参照图13，用第一滤波图像F1中每个点的亮度(灰度值)减去第二滤波图像F2中对应点的亮度，得到第一差值图像Err12中对应点的亮度，也就是得到第一差值图像Err12。也就是说，第一差值图像Err12中每个点的亮度，代表第二滤波图像F2中对应点比第一滤波图像F1中对应点“更暗”的程度。
类似的，用第三滤波图像F3中每个点的亮度(灰度值)减去第二滤波图像F2中对应点的亮度，得到第二差值图像Err32中对应点的亮度，也就是得到第二差值图像Err32。也就是说，第二差值图像Err32中每个点的亮度，代表第二滤波图像F2中对应点比第三滤波图像F3中对应点“更暗”的程度。
显然，亮度为负值时是没有实际意义的，故从运算简便的角度考虑，若计算得到的差值图像中某点的亮度为负值，则可统一计作亮度为0。
具体的第一差值图像Err21和第二差值图像Err32可参照图15。
S203、以第一差值图像中亮度最大的点的亮度为1，以最低亮度为0，将其中所有点的亮度归一化为大于或等于0，且小于或等于1的数；以第二差值图像中亮度最大的点的亮度为1，以最低亮度为0，将其中所有点的亮度归一化为大于或等于0，且小于或等于1的数。
参照图13，为方便后续的处理，可对第一差值图像Err21和第二差值图像Err23分别进行归一化处理，即将差值图像中最大的亮度归一化为1，而将差值图像可能具有的最低亮度(如0灰阶)归一化为0，从而将其中所有点的亮度归一化为0～1之间的值，得到归一化的第一差值图像N1和第二差值图像N2。
具体的归一化的第一差值图像N1和第二差值图像N2可参照图16，为了清楚，图16中以亮度为1的点具有最大亮度(如255灰阶)进行表示。
S204、根据第一差值图像确定第一二值化图像，根据第二差值图像确定第二二值化图像。
第一二值化图像中，在第一差值图像中对应点的亮度超过第一阈值的点为第一有效点，第二二值化图像中，在第二差值图像中对应点的亮度超过第二阈值的点为第二有效点。
参照图13，分别将第一差值图像和第二差值图像“二值化”，即将每个图像中所有的点分为“两类”，从而根据将第一差值图像得到第一二值化图像B1，根据第二差值图像得到第二二值化图像B2。
其中，示例性的，将第一二值化图像中的第一有效点用1表示，而第一无效点用0表示；而将第二二值化图像中的第二有效点用1表示，而第二无效点用0表示。
具体的第一二值化图像B1和第二二值化图像B2参照图17，为了清楚，图17中将第一有效点或第二有效点用白点表示，第一无效点或第二无效点用黑点表示。
在一些实施例中，第一阈值T1通过以下公式计算：T1＝(1-minN1)*facter；第二阈值T2通过以下公式计算：T2＝(1-minN2)*facter；
其中，minN1为第一差值图像中亮度最小的点归一化后的亮度，minN2为第二差值图像中亮度最小的点归一化后的亮度，facter为大于0且小于1的预设系数。
在一些实施例中，facter大于或等于0.1，且小于或等于0.5。
S205、根据第一二值化图像和第二二值化图像确定候选图像。
候选图像中，在第一二值化图像中对应点是第一有效点且在第二二值化图像中对应点是第二有效点的点为有效点，其余点为无效点。例如，将有效点的值计为“1”；而候选图像中的其余点为无效点，例如将无效点的值计为“0”。
参照图13，以上第一二值化图像B1和第二二值化图像B2中分别有一些有效点(第一有效点或第二有效点)，故可根据它们确定出候选图像M；在候选图像中，若某点在第一二值化图像的对应点是第一有效点，且在第二二值化图像中的对应点也是第二有效点，则该点为候选图像的有效点；若候选图像中的某一点在第一二值化图像中的对应点和在第二二值化图像中的对应点中，有至少有一个不是有效点(第一有效点或第二有效点)，则该点为候选图像的无效点。
具体的候选图像M可参照图18，为了清楚，图18中将有效点用白点表示，无效点用黑点表示。
具体的，当第一二值化图像中的第一有效点和第二二值化图像中的第二有效点用1表示，当第一二值化图像中的第一无效点和第二二值化图像中的第二无效点用0表示时，则本步骤可通过将第一二值化图像与第二二值化图像“相乘”实现，即用第一二值化图像中每个点的值(1或0)乘以第二二值化图像中对应点的值(1或0)，作为候选图像中对应点的值(1或0)。
S206、去除候选图像中离散的有效点。
即通过一些手段，将候选图像中相对独立的、面积小的有效点去除掉，因为这些小面积的有效点通常是由景物的运动引起的，而不是视频中实际的坏点。
在一些实施例中，本步骤(S206)包括：
S2061、以有效点为前景，无效点为背景，对候选图像进行腐蚀处理。
参照图13，以有效点(或者说1)为前景，无效点(或者说0)为背景，对候选图像M进行腐蚀处理，得到经过腐蚀处理的候选图像M’。
具体的经腐蚀处理的候选图像M’可参照图19，为了清楚，图19中将有效点用白点表示，无效点用黑点表示。
S2062、以有效点为前景，无效点为背景，对候选图像进行膨胀处理。
参照图13，继续对经过腐蚀处理的候选图像M’进行膨胀处理，得到膨胀处理的候选图像M”。
具体的经膨胀处理的候选图像M”可参照图19。
在一些实施例中，腐蚀处理的结构元素为正方形，正方形的边长大于或等于7，且小于或等于15；膨胀处理的结构元素为正方形，正方形的边长大于或等于7，且小于或等于15。
具体的，腐蚀处理和膨胀处理中使用的结构元素(滤波核)也可均为正方形，正方形的边长在7～15。
其中，正方形的边长的单位为图像中的点的个数。
S207、确定第二帧图像中与候选图像中剩余的有效点对应的点为坏点。
参照图13，在除去离散的有效点后，即可确定候选图像中剩余的有效点都是对应坏点(黑点)的，即确定第二帧图像中对应候选图像中有效点的点为坏点。
具体的，最终确定的第二帧图像中的坏点的分布图mask可参照图20，图20中的坏点用白点表示，非坏点用黑点表示。
可见，以上检测黑点的方法与检测白点的方法是对应的，二者的实际区别在于检测黑点时，对第一帧图像、第二帧图像、第三帧图像分别进行的时最小值滤波；以及在第一差值图像(或第二差值图像)中，每个点的亮度是第一滤波图像(或第三滤波图像)中对应点的亮度减去第三滤波图像对应点的亮度所得的值。
第二方面，参照图21，本公开实施例提供一种视频坏点检测的装置。
本公开实施例的视频坏点检测的装置，可实现以上的视频坏点检测的方法，其包括：
输入模块，配置为接收视频；
输出模块，配置为输出检测到的视频坏点；
一个或多个处理器；
存储器，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现根据上述任意一种的视频坏点检测的方法；
一个或多个I/O接口，连接在处理器与存储器之间，配置为实现处理器与存储器的信息交互。
其中，输入模块是指任意可通过某些方式获得待检测的视频的器件。例如，输入模块具体可为与存储介质或其它电子设备连接的接口(如USB接口、网络接口)，视频采集设备等。
其中，输出模块是指任意能将检测到的坏点输出以供他人知晓的器件。例如，输出模块具体可为显示器、音频播放设备、打印机等，也可为与存储介质或其它电子设备连接的接口(如USB接口、网络接口)，视频采集设备等。
其中，处理器为具有数据处理能力的器件，其包括但不限于中央处理器(CPU)、可编程序逻辑控制器(FPGA)等；存储器为具有数据存储能力的器件，其包括但不限于随机存取存储器(RAM，更具体如SDRAM、DDR等)、只读存储器(ROM)、带电可擦可编程只读存储器(EEPROM)、闪存(FLASH)；I/O接口(读写接口)连接在处理器与存储器间，能实现存储器与处理器的信息交互，其包括但不限于数据总线(Bus)等。
第三方面，参照图22，本公开实施例提供一种计算机可读介质，其上存储有计算机程序，程序被处理器执行时实现根据上述任意一种的视频坏点检测的方法。
一个或多个处理器；
存储器，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述任意一种的视频坏点检测的方法；
一个或多个I/O接口，连接在处理器与存储器之间，配置为实现处理器与存储器的信息交互。
本领域普通技术人员可以理解，上文中所公开的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。
某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器(CPU)、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其它数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于随机存取存储器(RAM，更具体如SDRAM、DDR等)、只读存储器(ROM)、带电可擦可编程只读存储器(EEPROM)、闪存(FLASH)或其它磁盘存储器；只读光盘(CD-ROM)、数字多功能盘(DVD)或其它光盘存储器；磁盒、磁带、磁盘存储或其它磁存储器；可以用于存储期望的信息并且可以被计算机访问的任何其它的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其它传输机制之类的调制数据信号中的其它数据，并且可包括任何信息递送介质。
本公开已经公开了示例实施例，并且虽然采用了具体术语，但它们仅用于并仅应当被解释为一般说明性含义，并且不用于限制的目的。在一些实例中，对本领域技术人员显而易见的是，除非另外明确指出，否则可单独使用与特定实施例相结合描述的特征、特性和/或元素，或可与其它实施例相结合描述的特征、特性和/或元件组合使用。因此，本领域技术人员将理解，在不脱离由所附的权利要求阐明的本公开的范围的情况下，可进行各种形式和细节上的改变。

Claims (11)

1.一种视频坏点检测的方法，其包括：
对视频中依次且连续的第一帧图像、第二帧图像、第三帧图像分别进行最值滤波，分别得到第一滤波图像、第二滤波图像、第三滤波图像；其中，所述最值滤波为最大值滤波和最小值滤波中的一个；
根据所述第一滤波图像、第二滤波图像、第三滤波图像确定第一差值图像和第二差值图像；所述最值滤波为最大值滤波时，所述第一差值图像中每个点的亮度为其在第二滤波图像中对应点的亮度与其在第一滤波图像中对应点的亮度的差，所述第二差值图像中每个点的亮度为其在第二滤波图像中对应点的亮度与其在第三滤波图像中对应点的亮度的差；所述最值滤波为最小值滤波时，所述第一差值图像中每个点的亮度为其在第一滤波图像中对应点的亮度与其在第二滤波图像中对应点的亮度的差，所述第二差值图像中每个点的亮度为其在第三滤波图像中对应点的亮度与其在第二滤波图像中对应点的亮度的差；
根据所述第一差值图像和第二差值图像确定候选图像；所述候选图像中，在第一差值图像中对应点的亮度超过第一阈值且在第二差值图像中对应点的亮度均超过第二阈值的点为有效点，其余点为无效点；
确定所述第二帧图像中至少部分与候选图像中的有效点对应的点为坏点。
2.根据权利要求1所述的方法，其中，所述对视频中依次且连续的第一帧图像、第二帧图像、第三帧图像分别进行最值滤波包括：
将所述第一帧图像、第二帧图像、第三帧图像分别转换为灰度图像，所述灰度图像的每个点的亮度通过一个灰度值表示；
对所述第一帧图像的灰度图像、第二帧图像的灰度图像、第三帧图像的灰度图像分别进行最值滤波。
3.根据权利要求1所述的方法，其中，所述对视频中依次且连续的第一帧图像、第二帧图像、第三帧图像分别进行最值滤波包括：
对所述第一帧图像、第二帧图像、第三帧图像中的每一个，分别用长度依次降低的多个窗口，进行多次最值滤波。
4.根据权利要求1所述的方法，其中，所述根据所述第一差值图像和第二差值图像确定候选图像包括：
根据所述第一差值图像确定第一二值化图像，根据所述第二差值图像确定第二二值化图像；所述第一二值化图像中，对应第一差值图像中对应点的亮度超过第一阈值的点为第一有效点，所述第二二值化图像中，对应第二差值图像中对应点的亮度超过第二阈值的点为第二有效点；
根据所述第一二值化图像和第二二值化图像确定候选图像；所述候选图像中，在第一二值化图像中对应点是第一有效点且在第二二值化图像中对应点是第二有效点的点为有效点，其余点为无效点。
5.根据权利要求4所述的方法，其中，在所述根据所述第一差值图像确定第一二值化图像，根据所述第二差值图像确定第二二值化图像前，还包括：
以第一差值图像中亮度最大的点的亮度为1，以最低亮度为0，将其中所有点的亮度归一化为大于或等于0，且小于或等于1的数；以第二差值图像中亮度最大的点的亮度为1，以最低亮度为0，将其中所有点的亮度归一化为大于或等于0，且小于或等于1的数；
所述第一阈值T1通过以下公式计算：T1＝(1-minN1)*facter；
所述第二阈值T2通过以下公式计算：T2＝(1-minN2)*facter；
其中，minN1为第一差值图像中亮度最小的点归一化后的亮度，minN2为第二差值图像中亮度最小的点归一化后的亮度，facter为大于0且小于1的预设系数。
6.根据权利要求5所述的方法，其中，
所述facter大于或等于0.1，且小于或等于0.5。
7.根据权利要求1所述的方法，其中，所述确定所述第二帧图像中至少部分与候选图像中的有效点对应的点为坏点包括：
去除所述候选图像中离散的有效点；
确定所述第二帧图像中与候选图像中剩余的有效点对应的点为坏点。
8.根据权利要求7所述的方法，其中，所述去除所述候选图像中离散的有效点包括：
以有效点为前景，无效点为背景，对所述候选图像进行腐蚀处理；
以有效点为前景，无效点为背景，对所述候选图像进行膨胀处理。
9.根据权利要求8所述的方法，其中，
所述腐蚀处理的结构元素为正方形，所述正方形的边长大于或等于7，且小于或等于15；
所述膨胀处理的结构元素为正方形，所述正方形的边长大于或等于7，且小于或等于15。
10.一种视频坏点检测的装置，其包括：
输入模块，配置为接收视频；
输出模块，配置为输出检测到的视频坏点；
一个或多个处理器；
存储器，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据权利要求1至9中任意一项所述的视频坏点检测的方法；
一个或多个I/O接口，连接在所述处理器与存储器之间，配置为实现所述处理器与存储器的信息交互。
11.一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现根据权利要求1至9中任意一项所述的视频坏点检测的方法。
CN202010862824.5A 2020-08-25 2020-08-25 视频坏点检测的方法和装置、计算机可读介质 Active CN114095721B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010862824.5A CN114095721B (zh) 2020-08-25 2020-08-25 视频坏点检测的方法和装置、计算机可读介质
PCT/CN2021/104492 WO2022042040A1 (zh) 2020-08-25 2021-07-05 视频坏点检测的方法和装置、计算机可读介质
US17/771,941 US20220377265A1 (en) 2020-08-25 2021-07-05 Method and device for detecting bad points in video and computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010862824.5A CN114095721B (zh) 2020-08-25 2020-08-25 视频坏点检测的方法和装置、计算机可读介质

Publications (2)

Publication Number Publication Date
CN114095721A CN114095721A (zh) 2022-02-25
CN114095721B true CN114095721B (zh) 2023-04-28

Family

ID=80295787

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010862824.5A Active CN114095721B (zh) 2020-08-25 2020-08-25 视频坏点检测的方法和装置、计算机可读介质

Country Status (3)

Country Link
US (1) US20220377265A1 (zh)
CN (1) CN114095721B (zh)
WO (1) WO2022042040A1 (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002216112A (ja) * 2001-01-18 2002-08-02 Sumitomo Chem Co Ltd 網点印刷検査装置及び方法
CN101299799A (zh) * 2008-06-13 2008-11-05 北京中星微电子有限公司 图像检测、修复方法和图像检测、修复装置
CN101459765A (zh) * 2007-12-13 2009-06-17 广达电脑股份有限公司 用以校正影像讯号中坏点的方法及电路
RU2013104817A (ru) * 2013-02-05 2014-08-10 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Южно-Российский государственный университет экономики и сервиса" (ФГБОУ ВПО "ЮРГУЭС") Способ и устройство обнаружения дефектов на видеосигналах
CN104463891A (zh) * 2014-12-22 2015-03-25 西安电子科技大学 一种基于最小中值梯度滤波的坏点检测及校正方法
CN106210712A (zh) * 2016-08-11 2016-12-07 上海大学 一种图像坏点检测及处理方法
CN107948634A (zh) * 2017-11-22 2018-04-20 深圳开阳电子股份有限公司 一种图像坏点检测方法、装置和图像处理芯片
CN110009607A (zh) * 2019-03-25 2019-07-12 深圳市洲明科技股份有限公司 显示屏坏点检测方法、装置、计算机设备和存储介质
CN110288599A (zh) * 2019-07-10 2019-09-27 浙江大华技术股份有限公司 一种坏点检测方法、装置、电子设备及存储介质
CN110458827A (zh) * 2019-08-12 2019-11-15 深圳蓝韵医学影像有限公司 医学影像坏点的检测方法、装置、设备及介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101060643B (zh) * 2006-04-17 2011-12-28 北京大学深圳研究生院 一种用于数字摄像的自适应坏点去除方法
KR101354669B1 (ko) * 2007-03-27 2014-01-27 삼성전자주식회사 이미지 센서의 불량 화소 검출 방법 및 장치, 이미지센서로부터의 이미지 획득 방법 및 장치
US8164660B2 (en) * 2008-10-28 2012-04-24 Omnivision Technologies, Inc. Single row based defective pixel correction
CN101895786B (zh) * 2010-07-15 2012-07-25 杭州海康威视软件有限公司 一种图像传感器的检测方法及装置
CN103475828B (zh) * 2013-10-10 2016-09-07 旗瀚科技股份有限公司 一种图像坏点校正方法及图像传感器
CN105430385B (zh) * 2015-12-14 2017-06-30 上海富瀚微电子股份有限公司 一种图像传感器坏点检测和校正的方法及装置
US10158815B2 (en) * 2016-07-18 2018-12-18 Samsung Electronics Co., Ltd. Method and system for bad pixel correction in image sensors
CN109299632A (zh) * 2017-07-25 2019-02-01 上海中科顶信医学影像科技有限公司 皮肤检测方法、系统、设备及存储介质
WO2019196009A1 (zh) * 2018-04-10 2019-10-17 深圳市大疆创新科技有限公司 图像传感器坏点检测方法、拍摄装置、无人机及存储介质
CN111242884B (zh) * 2018-11-12 2022-07-15 展讯通信（上海）有限公司 图像坏点检测、校正方法及装置、存储介质、摄像设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002216112A (ja) * 2001-01-18 2002-08-02 Sumitomo Chem Co Ltd 網点印刷検査装置及び方法
CN101459765A (zh) * 2007-12-13 2009-06-17 广达电脑股份有限公司 用以校正影像讯号中坏点的方法及电路
CN101299799A (zh) * 2008-06-13 2008-11-05 北京中星微电子有限公司 图像检测、修复方法和图像检测、修复装置
RU2013104817A (ru) * 2013-02-05 2014-08-10 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Южно-Российский государственный университет экономики и сервиса" (ФГБОУ ВПО "ЮРГУЭС") Способ и устройство обнаружения дефектов на видеосигналах
CN104463891A (zh) * 2014-12-22 2015-03-25 西安电子科技大学 一种基于最小中值梯度滤波的坏点检测及校正方法
CN106210712A (zh) * 2016-08-11 2016-12-07 上海大学 一种图像坏点检测及处理方法
CN107948634A (zh) * 2017-11-22 2018-04-20 深圳开阳电子股份有限公司 一种图像坏点检测方法、装置和图像处理芯片
CN110009607A (zh) * 2019-03-25 2019-07-12 深圳市洲明科技股份有限公司 显示屏坏点检测方法、装置、计算机设备和存储介质
CN110288599A (zh) * 2019-07-10 2019-09-27 浙江大华技术股份有限公司 一种坏点检测方法、装置、电子设备及存储介质
CN110458827A (zh) * 2019-08-12 2019-11-15 深圳蓝韵医学影像有限公司 医学影像坏点的检测方法、装置、设备及介质

Also Published As

Publication number Publication date
CN114095721A (zh) 2022-02-25
US20220377265A1 (en) 2022-11-24
WO2022042040A1 (zh) 2022-03-03

Similar Documents

Publication Publication Date Title
US6985180B2 (en) Intelligent blemish control algorithm and apparatus
US11600025B2 (en) Image processing method, image processing apparatus, image processing system, and learnt model manufacturing method
EP2357799B1 (en) Apparatus and method for removing defective pixels
KR20170087278A (ko) 비디오 압축 영상을 위한 거짓 등고선 검출과 제거 방법 및 장치
CN110197180B (zh) 字符缺陷检测方法、装置及设备
JP4764903B2 (ja) テキストマップの中からライン構造を検出する方法および画像処理装置
CN114095721B (zh) 视频坏点检测的方法和装置、计算机可读介质
US7646892B2 (en) Image inspecting apparatus, image inspecting method, control program and computer-readable storage medium
US9578320B1 (en) Methods and apparatus for defect correction in image sensor outputs
CN115797327A (zh) 一种缺陷检测方法、装置、终端设备及存储介质
CN111696064B (zh) 图像处理方法、装置、电子设备及计算机可读介质
US8351729B2 (en) Apparatus, method, and program for image correction
CN115527023A (zh) 图像检测方法、装置、电子设备及存储介质
CN110580706A (zh) 一种视频背景模型的提取方法及装置
CN111986176B (zh) 一种裂纹图像识别方法、系统、终端及可读存储介质
US7570812B2 (en) Super precision for smoothly changing area based on segmentation and low-pass filtering
RU2405200C2 (ru) Способ и устройство быстрого фильтрования шума цифровых изображений
CN111325658A (zh) 一种彩色图像自适应去色方法
KR100575444B1 (ko) 이미지 센서의 결함픽셀 보정 장치 및 그 방법
CN112614078A (zh) 一种图像降噪方法和存储介质
KR20100037339A (ko) 불량화소 보정 장치 및 방법
KR101751750B1 (ko) X선 의료 영상에서의 디펙트 보정 방법
CN112801112B (zh) 一种图像二值化处理方法、装置、介质及设备
CN108133475B (zh) 一种局部聚焦模糊图像的检测方法
JP7251426B2 (ja) 付着物検出装置および付着物検出方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant