CN107431771B - 用于异常像素检测的系统和方法 - Google Patents

用于异常像素检测的系统和方法 Download PDF

Info

Publication number
CN107431771B
CN107431771B CN201680014209.0A CN201680014209A CN107431771B CN 107431771 B CN107431771 B CN 107431771B CN 201680014209 A CN201680014209 A CN 201680014209A CN 107431771 B CN107431771 B CN 107431771B
Authority
CN
China
Prior art keywords
pixel
pixels
frame
image frame
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680014209.0A
Other languages
English (en)
Other versions
CN107431771A (zh
Inventor
J·科斯切娃
N·霍根斯特恩
T·R·赫尔特
S·麦克纳利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Teledyne Flir LLC
Original Assignee
Flir Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Flir Systems Inc filed Critical Flir Systems Inc
Publication of CN107431771A publication Critical patent/CN107431771A/zh
Application granted granted Critical
Publication of CN107431771B publication Critical patent/CN107431771B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本文公开的系统和方法用于检测捕获的图像帧中展现异常行为的像素。在一些示例中，可以识别时间异常行为，例如，在从帧到帧快速变化的像素值上展现大量级改变的闪烁像素。在一些示例中，可以识别空间异常行为，例如，与其他邻域像素比较展现与预期的线性相应偏离的值的像素。

Description

用于异常像素检测的系统和方法
相关申请的交叉引用
本申请要求2015年3月6日提交且题为“ANOMALOUS PIXEL DETECTION”的美国临时专利申请No.62/129,685的优先权和权益，通过引用将上述申请的全部内容并入本文中。
技术领域
本发明总体上涉及图像处理，并且更特别地涉及图像缺陷的检测。
背景技术
各种类型的成像设备用于响应于从期望的感兴趣的场景接收的电磁辐射来捕获图像(例如，图像帧)。一般地，这些成像设备包括布置成多个行和列的传感器，其中每个传感器提供捕获的图像帧的对应像素。
时不时地，由于硬件缺陷、制造公差和/或其他原因，一个或多个像素可能展现异常行为。例如，一些像素可能看上去从一帧到另一帧闪烁。作为另一示例，一些像素与其他像素相比可能偏离预期响应。这样的异常可能是令人分心的并且提供被成像的场景的误导性表示。
尽管有时能够由正在观看产生的图像帧的人来识别异常像素，但是依赖于人检测基本上是不实际且繁琐的。另外，现有的基于机器的方法在以高效和快速方式实现对异常像素的可靠检测方面经常不令人满意。
发明内容
在一种实施方式中，一种方法包括：接收包括多个像素的第一和第二图像帧；选择第一和第二图像帧的核，其中，每个核包括中心像素和多个邻域像素；将中心像素的帧到帧的改变与邻域像素的帧到帧的改变比较；以及基于所述比较选择性地将中心像素中的至少一个检测为时间上异常的闪烁像素。
在另一种实施方式中，一种方法包括：接收包括多个像素的图像帧；选择图像帧的核，其中，所述核包括中心像素和多个邻域像素；基于中心像素和邻域像素确定多个线性度测量；以及基于线性度测量选择性地将中心像素检测为空间上异常的像素。
在另一种实施方式中，一种系统包括：存储器部件，其包括多个可执行指令；以及处理部件，其适于执行指令以执行包括下述步骤的方法：接收包括多个像素的第一和第二图像帧，选择第一和第二图像帧的核，其中，每个核包括中心像素和多个邻域像素，将中心像素的帧到帧的改变与邻域像素的帧到帧的改变比较，以及基于所述比较选择性地将中心像素中的至少一个检测为时间上异常的闪烁像素。
在另一种实施方式中，一种系统包括：存储器部件，其包括多个可执行指令；以及处理部件，其适于执行指令以执行包括下述步骤的方法：接收包括多个像素的图像帧，选择图像帧的核，其中，所述核包括中心像素和多个邻域像素，基于中心像素和邻域像素确定多个线性度测量，以及基于线性度测量选择性地将中心像素检测为空间上异常的像素。
本发明的范围由权利要求限定，通过引用将权利要求合并至本部分中。通过考虑下文中一个或多个实施方式的详细说明，将给本领域技术人员提供对本公开文本的实施方式的更全面理解及其额外优势的实现。下文将参考附图，首先简要地介绍附图。
附图说明
图1示出了根据本公开实施方式的成像系统的框图。
图2示出了根据本公开实施方式的图像捕获部件的框图。
图3示出了根据本公开实施方式的图像帧。
图4示出了根据本公开实施方式的异常像素响应。
图5示出了根据本公开实施方式的与阵列的平均响应相比的另一异常像素响应。
图6示出了根据本公开实施方式的由图1的系统执行的图像处理的框图。
图7示出了根据本公开实施方式的检测异常像素的过程。
图8A-E示出了根据本公开实施方式的在图7的过程期间执行的示例像素值计算。
图9示出了根据本公开实施方式的检测异常像素的另一过程。
图10、11A-B和12A-B示出了根据本公开实施方式的在图9的过程期间执行的示例像素值计算。
通过参阅下文的详细说明将最佳地理解本发明的实施方式及其优势。应该意识到，类似的附图标记用于标识一个或多个附图中的类似元件。
具体实施方式
提供技术用于识别在捕获的图象帧(例如静态图象帧和/或视频图像帧)中展现异常行为的像素。可以响应于一种或多种波段(例如热红外、近红外、可见光和/或从场景接收的其他波长范围)的辐照捕获这样的图象帧。在一些实施方式中，可以识别时间异常行为，例如在像素值上展现非常迅速(例如从帧到帧)的大量级改变的闪烁像素。在一些实施方式中，可以识别空间异常行为，例如像素展现与其他邻域像素相偏离期望线性响应的值(例如像素值在多大程度上匹配邻域像素值的斜率)。
图1示出根据本公开实施方式的成像系统100的框图。成像系统100可以用于根据本文描述的各种技术捕获和处理根图像帧。在一实施方式中，成像系统100的各个部件可以设置在壳体101内，例如摄像机、个人电子设备(例如移动电话)或其他系统的壳体内。在另一实施方式中，成像系统100的一个或多个部件可以分布式方式彼此远离地实施(例如网络连接或其他方式)。
在一实施方式中，成像系统100包括处理部件110、存储器部件120、图像捕获部件130、光学部件132(例如一个或多个配置为通过壳体101内的光圈134接收电磁辐射并将该电磁辐射传至图像捕获部件130的透镜)、显示部件140、控制部件150、通信部件152、模式感测部件160和感测部件162。
在各种实施方式中，成像系统100可以实施为成像设备，例如摄像机，来捕获例如场景170(例如视场)的图象帧。成像系统100可以表示任何类型的摄像机系统，所述摄像机系统例如检测电磁辐射(例如辐照)并提供表示数据(例如一个或多个静态图像帧或视频图像帧)。例如，成像系统100可以表示引导成检测一个或多个范围(例如波段)的电磁辐射并提供相关的图像数据的摄像机。成像系统100可以包括便携式设备，并且可以实施为例如手持设备和/或在其他示例中通过一个或多个底座耦接至各种类型的载具(例如，陆基车辆、船只、航空器、航天器或其他载具)或各种类型的固定位置(例如家庭安全底座、营地或户外底座或其他位置)。在另一示例中，成像系统100可以集成为提供待存储和/或显示的图像帧的不移动装置的一部分。
处理部件110可以包括例如微处理器、单核处理器、多核处理器、微控制器、逻辑器件(例如配置为执行处理操作的可编程逻辑器件)、数字信号处理(DSP)器件、用于存储可执行指令(例如软件、固件或其他指令)的一个或多个存储器，和/或处理设备和/或存储器的任何其他合适组合，以执行指令来执行本文描述的各种操作中的任意一个。处理部件110适于与部件120、130、140、150、160和162连接并通信以执行本文描述的方法和处理步骤。处理部件110可以包括一个或多个模式模块112A-112N，以操作在一个或多个操作模式中(例如，根据本文公开的各种实施方式中的任意一个来操作)。在一实施方式中，模式模块112A-112N适于限定处理和/或显示操作，所述处理和/或显示操作可以嵌入在处理部件110内或存储在存储器部件120上，用于被处理部件110访问和执行。在另一方面，处理部件110可以适于执行本文描述的各种类型的图像处理技术。
在各种实施方式中，应当明白每个模式模块112A-112N可以集成在软件和/或硬件中作为处理部件110一部分，或者与每个模式模块112A-112N相关的每个操作模式的代码中，该代码可以存储在存储器部件120中。本文公开的模式模块112A-112N(即操作模式)的实施方式可以通过机器可读介质113(例如存储器、硬盘驱动器、紧凑式盘、数字视频盘或快闪存储器)以非暂态方式存储，以由计算机(例如基于逻辑或处理器的系统)执行来执行本文公开的各种方法。
在各种实施方式中，机器可读介质113可以作为成像系统100的一部分被包括和/或与成像系统100分离，其中通过将机器可读介质113耦接至成像系统100和/或通过成像系统100从机器可读介质(例如包含非暂态信息)下载(例如通过有线或无线链接)模式模块112A-112N而将存储的模式模块112A-112N提供至成像系统100。在本文描述的各种实施方式中，模式模块112A-112N为实时应用提供改进的摄像机处理技术，其中用户或操作者可以根据具体的应用，例如越野应用、海事应用、航空应用、航天应用或其他应用，改变操作模式。
在一实施方式中，存储部件120包括一个或多个存储数据和信息的存储器设备(例如一个或多个存储器)。一个或多个存储器设备可以包括各种类型的存储器，包括易失性和非易失性存储器设备，例如RAM(随机存取存储器)、ROM(只读存储器)、EEPROM(电可擦除只读存储器)、快闪存储器或其他类型的存储器。在一实施方式中，处理部件110适于执行存储在存储器部件120和/或机器可读介质113中的软件来以本文描述的方式执行各种方法、过程和操作模式。
在一实施方式中，图像捕获部件130包括一个或多个用于捕获表示场景170的图像的图像信号的传感器(例如任何类型的可见光、红外或其他类型的检测器，包括实施为焦平面阵列的一部分的检测器)。在一实施方式中，图像捕获部件130的传感器提供将捕获的场景170的热图像信号表示(转换)为数字数据(例如通过包括为传感器的一部分或与传感器分离作为成像系统100的一部分的模数转换器)。
处理部件110可以适于从图像捕获部件130接收图像信号、处理图像信号(例如提供经处理的图像数据)、将图像信号或图像数据存储在存储器部件120中和/或从存储器部件120中获取存储的图像信号。处理部件110可以适于处理存储在存储器部件120中的图像信号以向显示部件140提供图像数据(例如捕获和/或经处理的图像数据)用于用户观察。
在一实施方式中，显示部件140包括图像显示设备(例如液晶显示器(LCD))或各种其他类型的一般熟知的视频显示器或监视器。处理部件110可以适于在显示部件140上显示图像数据和信息。处理部件110可以适于从存储器部件120中获取图像数据和信息并在显示部件140上显示任何所获取的图像数据和信息。显示部件140可以包括显示电子器件，其可以被处理部件110利用以显示图像数据和信息。显示部件140可以通过处理部件110直接从图像捕获部件130接收图像数据和信息，或所述图像数据和信息可以通过处理部件110从存储器部件120转移。
在一实施方式中，处理部件110可以初始以与模式模块112A-112N对应的一种模式处理捕获的热图像帧且呈现经处理的图像帧，且在用户输入控制部件150之后，处理部件110可以将当前模式切换为不同的模式用于以不同的模式在显示部件140上观察经处理的图像帧。这种切换可以称为针对实时应用应用模式模块112A-112N的摄像机处理技术，其中当在显示部件140上观察图像帧时用户或操作者可以基于用户对控制部件150的输入改变模式。在各方面，如本文所描述的，显示部件140可以远程地定位，并且处理部件110可以适于通过与显示部件140的有线或无线通信在显示部件140上远程地显示图像数据和信息。
在一实施方式中，控制部件150包括用户输入和/或接口设备，其具有一个或多个适于生成一个或多个用户致动的输入控制信号的用户致动的部件，例如一个或多个按钮、滑杆、可旋旋钮或键盘。控制部件150可以适于被集成为显示部件140的一部分，以作为用户输入设备和显示设备二者来操作，例如适于从触摸显示屏的不同部分的用户接收输入信号的触摸屏设备。处理部件110可以适于感测来自控制部件150的控制输入信号并响应任何所感测的从控制部件150接收的控制输入信号。
在一实施方式中，控制部件150可以包括控制面板单元(例如有线或无线手持控制单元)，该控制面板单元具有适于与用户连接并接收用户输入控制信号的一个或多个用户激活的机构(例如按钮、旋钮、滑杆或其他机构)。在各种实施方式中，所述控制面板单元的一个或多个用户激活的机构可以用于在本文描述的关于模式模块112A-112N的各种操作模式之间选择。在其他实施方式中，应当明白控制面板单元可以适于包括一个或多个其他用户激活的机构，以提供成像系统100的各种其他控制操作，例如自动对焦、选项使能和选择、视场(FOV)、亮度、对比度、增益、补偿、空间、时间和/或各种其他特征和/或参数。在其他实施方式中，可变增益信号可以由用户或操作者基于所选的操作模式来调节。
在另一实施方式中，控制部件150可以包括图形用户界面(GUI)，其集成为显示部件140(例如用户致动的触摸屏)的一部分，该图形用户界面具有用户激活的机构(例如按钮、旋钮、滑杆或其他机构)的一个或多个图像，其适于与用户连接并通过显示部件140接收用户输入的控制信号。作为本文进一步讨论的一个或多个实施方式的示例，显示部件140和控制部件150可以表示智能电话、平板、个人数字助手(例如无线移动设备)、膝上型计算机、台式计算机或其他类型的设备的适当部分。
在一实施方式中，模式感测部件160包括适于根据所感测的应用(例如打算的使用或实施方式)自动感测操作的模式，并向处理部件110提供相关的信息的应用传感器。在各种实施方式中，应用传感器可以包括机械触发机构(夹具、夹、钩、开关、按钮或其他机构)、电子触发机构(例如电子开关、按钮、电信号、电连接或其他机构)、机电触发机构、电磁触发机构或其的某个组合。例如对于一个或多个实施方式，模式感测部件160基于用户已经将成像系统100(例如图像捕获部件130)耦接至其的底座(例如配件或固定装置)的类型来感测与成像系统100的打算的应用对应的操作模式。可选地，操作模式可以由成像系统100的用户通过控制部件150(例如，通过具有触摸屏或表示控制部件150的其他用户输入的显示部件140无线地)提供。
进一步地根据一个或多个实施方式，例如当模式感测部件160没有感测特定操作模式(例如没有感测到底座或没有提供用户选择)时，可以提供默认操作模式。例如，成像系统100可以用在自由形态模式中(例如没有底座，手持)并且默认操作模式可以设置到手持操作，其中图像帧以无线方式提供至无线显示器(例如另一具有显示器的手持设备，例如智能电话或载具的显示器)。
在一实施方式中，模式感测部件160可以包括适于将成像系统100固定至载具或其部分上的机械锁定机构，并且可以包括适于在成像系统100被安装或固定到载具上时向处理部件110提供感测信号的传感器。在一实施方式中，模式感测部件160可以适于接收电信号和/或感测电连接类型和/或机械安装类型，并向处理部件110提供感测信号。可选地或另外地，如本文所述，对于一个或多个实施方式，用户可以通过控制部件150(例如显示部件140的无线触摸屏)提供用户输入以指定成像系统100的期望模式(例如应用)。
处理部件110可以适于与模式感测部件160(例如，通过从模式感测部件160接收传感器信息)和图像捕获部件130(例如，通过接收来自图像捕获部件130的数据和信息并向和/或自成像系统100的其他部件提供和/或接收命令、控制和/或其他信息)通信。
在各种实施方式中，模式感测部件160适于提供与系统应用相关的数据和信息，所述系统应用包括与各种类型的载具(例如路基车辆、船只、航空器、航天器或其他载具)或静止应用(例如固定位置，例如在结构上)关联的手持实现方式和/或耦接实现方式。在一实施方式中，模式感测部件160可以包括通过无线通信向处理部件110中继信息的通信设备。例如，模式感测部件160可以适于通过卫星、通过本地广播传输(例如射频)、通过移动或蜂窝网络和/或通过基础设施(例如运输或公路信息信标基础设施)中的信息信标或其他各种有线或无线技术(例如使用各种局域或广域无线标准)来接收和/或提供信息。
在另一实施方式中，根据感测的应用或实现方式，成像系统100可以包括一个或多个其他类型的感测部件162，包括环境和/或操作传感器，其向处理部件110提供信息(例如通过从每个感测部件162接收传感器信息)。在各种实施方式中，其他感测部件162可以适于提供与环境状况相关的数据和信息，例如内部和/或外部温度状况、光照状况(例如白天、夜晚、黄昏和/或黎明)、湿度水平、特定的天气状况(例如晴天、下雨和/或下雪)、距离(例如激光测距仪)和/或是否已经进入或离开隧道、室内停车库或某些类型的封围结构。因而，其他感测部件160可以包括本领域技术人员熟知的用于监测各种对图像捕获部件130提供的数据(例如对图像外观)有影响的状况(例如环境状况)的一个或多个常规传感器。
在一些实施方式中，其他感测部件162可以包括通过无线通信向处理部件110中继信息的设备。例如，每个感测部件162可以适于从卫星、通过本地广播(例如射频)传输、通过移动或蜂窝网络和/或通过基础设施(例如运输或公路信息信标基础设施)中的信息信标或其他各种有线或无线技术来接收和信息。
在各种实施方式中，成像系统100的部件可以按期望或根据应用要求组合和/或实施或不实施，其中成像系统100表示系统的各个操作框。例如，处理部件110可以与存储器部件120、图像捕获部件130、显示部件140和/或模式感测部件160组合。在另一实施方式中，处理部件110可以与图像捕获部件130组合，其中处理部件110的仅某些操作由图像捕获部件130内的电路(例如处理器、微处理器、微控制器、逻辑器件或其他电路)来执行。在又一实施方式中，控制部件150可以与一个或多个其他部件组合或通过有线或无线控制设备远程连接到至少一个其他部件，例如处理部件110，以向其提供控制信号。
在一实施方式中，通信部件152可以实施为适于与网络(包括在网络中的其他设备)通信的网络接口部件(NIC)。在各种实施方式中，通信部件152可以包括无线通信部件，例如基于IEEE802.11标准的无线局域网(WLAN)部件、无线宽带部件、移动蜂窝部件、无线卫星部件或各种其他类型的无线通信部件，包括适于与网络通信的射频(RF)、微波频率(MWF)和/或红外频率(IRF)部件。因此，通信部件152可以包括耦接到其上的用于无线通信目的的天线。在其他实施方式中，通信部件152适于与DSL(例如数字用户线)调制解调器、PSTN(共用电话交换网)调制解调器、以太网设备和/或各种其他类型的适于与网络通信的有线和/或无线网络通信设备连接。
在各种实施方式中，网络可以实施为单个网络或多个网络的组合。例如，在各种实施方式中，网络包括因特网和/或一个或多个企业内部网、地上通信网、无线网络和/或其他合适类型的通信网络。在另一实施方式中，网络可以包括适于与其他通信网络例如因特网通信的无线电信网络(例如蜂窝电话网络)。因此，在各种实施方式中，成像系统100可以特定网络链接(例如URL(统一资源定位符)、IP(互联网协议)地址和/或移动电话号)关联。
图2示出根据本公开实施方式的图像捕获部件130的框图。在该示意实施方式中，图像捕获部件130是包括单元232的阵列和读出集成电路(ROIC)202的焦平面阵列(FPA)。每个单元232可以提供有红外检测器(例如微热辐射计或其他合适的传感器)和关联电路以提供所捕获的热图像帧的像素的图像数据。在这点上，时间多路复用的电信号可以由单元232提供至ROIC 202。
ROIC 202包括偏置生成和定时控制电路204、列放大器205、列多路复用器206、行多路复用器208和输出放大器210。由单元232的红外传感器捕获的图像帧可以由输出放大器210提供至处理部件110和/或任何其他合适的部件以执行本文描述的各种处理技术。尽管在图2中示出8×8阵列，但是任意期望的阵列结构可以用于其他实施方式。ROIC和红外传感器(例如微热辐射计电路)的进一步描述可以在2000年2月22日授权的第6,028,309号美国专利中找到，其通过引用全部并入本文中。
图3示出根据本公开实施方式由图像捕获部件130提供的图像帧300。尽管图像帧300表示为16×16的像素的图像帧，但是任何期望的大小都可以使用。如所示的，图像帧300包括按行列布置的多个像素305。根据本文的异常检测技术，可以识别各组(例如集合)像素，它们称为核。例如图3识别包括具有中心像素320和8个邻域像素330的像素栅格305的3×3像素核310。图3还识别包括具有中心像素360和24个邻域像素370的像素栅格305的5×5像素核350。
如讨论的，本公开提供各种技术来识别在捕获的图像帧(例如图像帧300)中展现异常行为的像素。这种异常行为可以例如由缺陷、校准误差和/或与异常像素关联的FPA内的特定单元232的其他问题导致。图4和图5示出几种异常行为。
例如，图4示出在多个图像帧上与单个像素(例如像素320)关联的像素值的绘图400。如所示，对于大部分图像帧，像素320展现的值(例如特定数量的计数)在范围410内(例如5665至5670计数)。然而，对于部分图像帧，该像素值突然偏移至不同的范围420(例如5700至5705计数)。这是与闪烁像素关联的时间异常行为(例如，突然的像素值偏移可以表现为当用户观察或机器处理时在连续捕获的图像帧中的闪烁像素)。
图5示出响应各种辐照度水平所捕获的多个图像帧300中的所有像素(例如与FPA的所有单元232关联的像素305)(例如全部256个像素305)的平均像素值(例如计数)的绘图510。如绘图510所示，平均像素值响应于增加的辐照度水平以特定斜率增加。
图5还示出与多个图像帧中的特定一个像素(例如像素360)关联的像素值的绘图520。如绘图520所示，像素360对于中等辐照度水平522展现与平均像素值绘图510大致重叠，但是对于低辐照度水平524和高辐照度水平526与绘图510偏离。这是空间异常行为(例如与响应相同或类似辐照度的邻域像素相比展现异常行为的像素)。
图6示出根据本公开实施方式由图1的系统执行的图像处理操作的框图600。在一些实施方式中，框图600中表示的操作可以由处理部件110执行，并且框图600中表示的数据可以由存储器部件120和/或设置在其他部件内的存储器(例如实施为处理部件110一部分的存储器)存储。
如所示，框图600包括时间异常像素检测块610和空间异常像素检测块620。框图600进一步包括线缓冲器602和604、差分块606、替换块608、图像帧缓冲器640和650(例如在某些实施方式中使用直接存储存取(DMA)实施)、输入端口601、噪声减小块690和输出端口699。
由图像捕获部件130提供的当前图像帧300在输入端口601处接收并提供至线缓冲器602。根据图6处理过的先前图像帧存储在帧缓冲器640中并提供至线缓冲器604。在一些实施方式中，线缓冲器602和604存储分别提供的图像帧的五线(例如五行或五列)。这些线在块606中进行差分以提供缓冲的线的对应像素的差值。例如，在缓冲的线包括核310的情形中，当前图像帧和先前处理过的图像帧的对应像素310/330之间的差值被提供至处理块610和620。当前图像帧300和先前图像帧的另外的线可以顺序地传入线缓冲器602和604中以处理图像帧的所有像素。
在时间检测块610中，处理部件110检测展现如本文关于图7和其他示例进一步讨论的时间异常行为的一个或多个闪烁像素。如果检测到时间上异常的像素，那么在进一步的异常像素检测操作期间随后使用的块608中替换其值(例如指定与当前图像帧或先前图像帧的一个或多个像素关联的值或从当前图像帧或先前图像帧的一个或多个像素计算的值)。当前像素值或替换像素值提供至帧缓冲器640中存储。
在一些实施方式中，块608中提供的替换像素值仅是时间替换值，用于进一步异常像素检测操作(例如当中心像素320变成其他核310内的邻域像素330时)。就这点而言，额外的替换操作可以由处理部件110在提供至输出端口699的产生的图像帧上执行。
在空间检测块620中，处理部件110检测展现关于图9和各种示例在本文进行进一步讨论的空间异常行为的一个或多个像素。就这方面而言，空间检测块620基于根据估计和实际像素值确定的线性度测量来确定当前图像帧的每个像素的异常分数。这些异常分数存储在空间检测块620使用的帧缓冲器650中以在处理连续的图像帧时检测空间异常像素。如果检测到空间上异常的像素，那么在帧缓冲器640中识别该像素(例如，作为坏点像素)用于后续替换或其他处理。
通过经过时间检测块610和空间检测块620处理所有像素305，可以将经处理的图像帧存储在帧缓冲器640中，在该经处理的图像帧中已经替换了时间上异常的像素(例如，闪烁的像素)并且已经识别了空间上异常的像素(例如，响应于相同或相似的辐照度与邻域像素相比展现异常行为的像素)。
在噪声减小块690中，当前图像帧和先前图像帧(例如，被时间检测块610和空间检测块620处理)分别被衰减和一起平均以减小时间噪声。在一些实施方式中，这样的时间噪声处理可以使用块606提供的核差分(kernel difference)。可以将产生的噪声减小的图像帧提供到输出端口699供处理器部件110进一步处理、由显示部件140显示和/或其他用途。例如，在一些实施方式中，提供到输出端口699的图像帧可以被处理部件110进一步处理以替换时间上异常的像素、空间上异常的像素和/或被识别为坏点或不正常的其他像素。
在一些实施方式中，空间检测块的操作可以视噪声减小块690检测到的移动而定。例如，噪声减小块690可以基于先前与当前帧邻域差值(例如，由差分块606提供)大于可编程的移动阈值而在逐像素的基础上确定在捕获的图像中存在移动。噪声减小块690可以针对当前处理的中心像素350向空间检测块620提供移动检测标记(图6中所示)。在一些实施方式中，可以仅在已经检测到移动时才由空间检测块620更新中心像素350异常分数(本文会进一步讨论)。
图7示出了根据本公开实施方式的检测时间上异常的像素的过程。图8A-E示出了根据本公开实施方式的在图7的过程期间执行的各种示例像素值计算。
在框705中，图像捕获部件130捕获场景170的当前图像帧300，当前图像帧300被提供至处理部件110(例如，通过输入端口601提供至线缓冲器602)。
在框710中，处理部件110选择针对可能的时间异常行为要被分析的当前图像帧300的像素320。在框715中，处理部件110选择包括像素320(例如，也称为核310的中心像素)的核310(例如，3乘3的核)。
在框720中，处理部件110确定当前图像帧300的核310和存储在帧缓冲器640中并被提供到线缓冲器604的先前经处理的图像帧的对应核之间的像素值差值。例如，在一些实施方式中，可以通过差分块606执行框720的操作。
参考图8A-E，核图810、820、830、840和850示意了针对不同的当前和先前图像帧在框720中确定的像素差值。特别地，图810、820、830、840和850中的每一个识别针对核310的中心像素320确定的差值和针对核310的邻域像素330确定的8个差值。
在框725中，处理部件110确定先前在框720中计算的领域像素差值的平均值。例如，图810、820、830、840和850的平均邻域像素差值分别为0、0、-2、-8和12。
在框730中，处理部件110确定邻域像素330中的每一个像素方差。在框730中计算的像素方差值提供每个邻域像素330的帧到帧的改变与其他邻域像素330的总体帧到帧的改变偏离多少的测量。
像素方差可以通过从邻域像素差值(例如，在框720中确定)中的每一个减去邻域像素差值的平均值(例如，在框725中确定)然后取所述结果的绝对值来确定。例如，再次参考图8A-E，核图815、825、835、845和855识别针对邻域像素330中的每一个确定的像素方差。
在框735中，处理部件110确定平均像素方差(例如，在框730中确定的像素方差的平均值)。平均像素方差值提供了邻域像素330当中帧到帧的改变的总体偏离的测量。在一些实施方式中，0的计算的平均像素方差可以用0.5的最小值替代。例如，图815、825、835、845和855的平均像素方差分别为1、1、10、0.5和2。
在框740中，处理部件110确定先前在框720中计算的中心像素差值的标准化值。标准化中心像素值提供了被邻域像素的平均差值补偿(例如，以说明核310中的总体改变)的中心像素320的帧到帧的差值的测量。
标准化中央像素差值可以通过从中心像素差值(例如，在框720中确定)减去邻域像素差值平均值(例如，在框725中确定)并且取所述结果的绝对值来确定。例如，图815、825、835、845和855的中心像素320的标准化值分别为3、24、26、4和32。
在框745中，处理部件110将标准化中心像素320差值(例如，在框740中确定)与平均像素方差(例如，在框735中确定)比较。在一些实施方式中，框745可以通过评估下述式1是否为真来执行：
|标准化差值|>平均方差*时间因子 (式1)
在式1中，将标准化中心像素320差值(“标准化差值”)的绝对值与平均像素方差(“平均方差”)与时间因子(“时间因子”)的乘积比较。时间因子可以用于调整在逐帧的基础上在式1中执行的确定(例如，由用户、系统100或通过其他方式提供)。例如，时间因子可以用于基于实验数据调节时间异常像素检测的结果以提供一致地合意的评估(例如，防止太多闪烁像素的评估的假肯定或假否定)。
如果式1评估为真，则中心像素被确定为展现时间异常行为(例如，闪烁)。就这方面而言，如果中心像素帧到帧差值比邻域像素330的像素方差大得多，则其被确定为行为异常并且会被替换。
下面的表1识别使用20的时间因子值将式1应用于图8A-E中的例子的结果。还可以预想到时间因子的其他值(例如，12)：
表1
Figure GDA0002614931390000151
这样，在图8B的示例中将会检测到时间上异常的闪烁像素(例如，中心像素的帧到帧的差值比其邻域像素的像素方差大得多，即便在像素方差被时间因子校正过时)。图8A和8C-E涉及的中心像素将不会被检测为时间上异常。
在框750中，处理部件110基于在框745中执行的比较选择性地将中心像素320标记为时间上异常。另外在框750中，如果中心像素被标记为时间上异常，则处理部件110还用另一值来替换中心像素的值(例如在讨论的操作608中)。在框755中，如讨论地，将产生的中心像素值(例如，原始值或替换值)存储在帧缓冲器640中。
在框760中，如果尚留额外的像素要针对时间上异常的行为进行评估，则图7的过程回到框710，其中图像帧300的另一像素被识别为中心像素320以进行评估。因而，处理部件110可以对于图像帧300的所有像素重复操作710到760。结果，可以针对闪烁像素评估整个图像帧，并且这些确定的结果可以被标记和存储(例如，在帧缓冲器640中)进行所需的进一步的处理。在图像帧300的所有像素被评估之后，图7的过程回到框705，其中对下一帧进行考虑。
图9示出了根据本公开实施方式的检测空间异常像素的另一过程。图10、11A-B和12A-B示出了根据本公开实施方式的在图9的过程期间执行的示例像素值计算。
在框905中，图像捕获部件130捕获当前图像帧300，如关于框705所描述。在框910中，处理部件110选择针对可能的空间异常行为要被分析的当前图像帧300的像素360。在框915中，处理部件110选择包括像素360(例如，也称为核360的中心像素)的核350(例如，5乘5的核)。
在框920中，处理部件110确定选择的核350的各个像素的估计的像素值。例如，图10示出了具有中心像素360和邻域像素370的核350。图10还识别8个向量1010A-H，每一个向量在外邻域像素370处开始并且延伸过包括中心像素360的4个像素。例如，向量1010A在第一像素(标为3,1)处开始，并且延伸通过第二像素(标为3,2)、第三像素(标为3,3，对应于中心像素360)和第四像素(标为3,4)。
另外，在框920中，处理部件基于对于对应的第一和第二像素的已知值的线性插值(例如，利用第一和第二像素值限定的斜率)计算向量1010A-H中的每一个的第三和第四像素的估计的值。
在一些实施方式中，估计的第三像素值P3est可以通过下述式2来确定，其中，P1val和P2val是第一像素和第二像素的已知值：
P3est＝-1*P1val+2*P2val (式2)
在一些实施方式中，可以通过下述式3来确定估计的第四像素值P4est：
P4est＝-2*P1val+3*P2val (式3)
在框925中，处理部件110基于在框920中确定的估计的像素值来确定向量1010A-G中的每一个的线性度测量(例如，值)。例如，对于给定向量1010的线性度测量可以通过下述式4来确定，其中，P3val和P4val是第三像素和第四像素的已知值：
线性度＝|P3val-P3est|-|P4val–P4est| (式4)
这样，在式4中，每个向量的线性度测量对应于估计的第三和第四像素值如何接近实际的第三和第四像素值。(例如，第三和第四像素的实际值偏离预期的线性插值值的程度)。就这方面而言，正线性度测量与具有比第四像素大的偏离的第三像素关联，而负线性度测量与具有比第三像素大的偏离的第四像素关联。
图11A-B示出了根据本公开实施方式的在图9的过程期间执行的示例像素值计算。特别地，图11A示出了核350的像素的一组示例实际值。图11B示出了图11A的向量1010A的实际和估计的像素值，以及第三和第四像素的实际和估计的值之间的差值。将式4应用到图11A-B中示出的值产生向量1010A的26的线性度测量(例如，|140-109|-|116–111|)。
表2示出了第三和第四像素值以及在被应用到图11A中示出的示例值时向量1010A-H中的每一个的产生的线性度测量。
表2
向量 P3<sub>val</sub> P3<sub>est</sub> P4<sub>val</sub> P4<sub>est</sub> 线性度
1010A 140 109 116 111 26
1010B 140 108 110 108 30
1010C 140 116 98 109 13
1010D 140 104 106 96 26
1010E 140 112 107 108 27
1010F 140 108 108 106 30
1010G 140 106 123 114 25
1010H 140 112 112 118 22
图12A-B示出了根据本公开实施方式的在图9的过程期间执行的附加示例像素值计算。特别地，图12A示出了核350的像素的另一组示例实际值。图12B示出了图12A的向量1010A的实际和估计的像素值，以及第三和第四像素的实际和估计的值之间的差值。将式4应用到图12A-B中示出的值产生向量1010A的-14的线性度测量(例如，|140-139|-|130–145|)。
表3示出了第三和第四像素值以及在被应用到图12A中示出的示例值时向量1010A-H中的每一个的产生的线性度测量。
表3
向量 P3<sub>val</sub> P3<sub>est</sub> P4<sub>val</sub> P4<sub>est</sub> 线性度
1010A 140 139 130 145 -14
1010B 140 141 137 147 -9
1010C 140 142 128 150 -20
1010D 140 136 130 143 -9
1010E 140 140 133 150 -17
1010F 140 142 135 147 -10
1010G 140 141 136 154 -17
1010H 140 141 129 152 -22
在框930中，处理部件110将线性度测量与一个或多个阈值比较。例如，在一些实施方式中，可以使用三个阈值(例如，低、中等和高)，每个阈值均位于0-32的范围内(例如，分别为10、20和25)。在其他实施方式中可以使用更多或更少阈值。处理部件110将超过三个阈值中的每一个的线性度测量的数量加和(例如，以对于三个阈值中的每一个获得最多达8的计数)。
在一些实施方式中，如果坏点像素存在于其关联的像素中则可以从阈值加和选择性地排除线性度测量(例如，在当前图像帧300中或在存储在帧缓冲器640中的先前图像帧中先前被检测为时间上异常、空间上异常和/或其他方面不正常的像素；如图6所示，坏点像素的识别可以从线缓冲器604传送到空间检测块620)。例如，如果坏点像素存在于其关联的向量中则从高和中间阈值加和排除线性度测量。在另一示例中，可以在低阈值加和中包括与具有一个或多个坏点像素的向量关联的多达三个线性度测量。
在框935中，处理部件110基于超过各个阈值的线性度测量的数量更新异常分数并且将更新的异常分数存储在帧缓冲器650中。如讨论，空间检测块620确定当前图像帧300的每个像素的异常分数。在一些实施方式中，可以根据下述式5来更新异常分数：
newScore＝((32-df)*updateValue+df*prevScore)/32(式5)
在式5中，newScore是范围在0-255的更新的异常分数，df是范围在0-32的衰减因子，updateValue是具有255或0的值的分数因子，并且prevScore是范围在0-255的先前异常分数。
处理部件110基于计算的线性度测量来选择衰减因子和分数因子的值。就这方面而言，处理部件110加和超过三个阈值中的每一个的线性度测量的数量(例如，以对于三个阈值中的每一个获得最多达8的计数)，并且基于加和选择衰减因子和分数因子的值。例如，表4识别针对超过各个高、中等和低阈值的各个线性度测量加和所选择的衰减因子和分数因子。
表4
Figure GDA0002614931390000191
如表4所示，第三像素(例如，核350的中心像素360)展现的非线性度的度可以通过各个阈值计数来确定，其导致不同的值被指定给式5中使用的衰减因子和分数因子。例如，在较大的非线性度的情况下，衰减因素的低值将倾向于将更新的异常分数newScore朝255的分数因子更新值向上拉。然而，在其他情况下，衰减因子df的高值将倾向于将将更新的异常分数newScore向下拉。
在框940中，处理部件110基于更新的异常分数选择性地将中心像素360标记为空间上异常。就这方面而言，处理部件110将更新的异常分数与异常分数阈值(例如，在0-255范围中的阈值，比如在一些实施方式中为217)比较。如果更新的异常分数超过异常分数阈值，则中心像素360将被视为空间上异常。在框945中，将该确定存储在帧缓冲器640中。与中心像素360关联的异常分数(并且因此空间异常确定)可以随时间改变，因为连续的图像帧被评估并且基于在核350的实际的和估计的像素值上执行的线性度测量异常分数被拉高和拉低。
在一些实施方式中，在进行时间上异常的像素确定之前处理的连续的图像帧的数量可以取决于被成像的场景(例如，场景170)的线性度。例如，场景越线性，非线性中心像素360能够通过高线性度测量计算被识别越确定。就这方面而言，如果中心像素360一致地展现关于邻域像素370的非线性行为，则更新的异常分数可能被快速地拉高于异常分数阈值之上。对于较不限定的场景，可能需要较多数量的图像帧和/或对中心像素360的较大的补偿以将更新的异常分数拉高于异常分数阈值。
在框950中，如果尚留额外的像素要针对空间上异常的行为进行评估，则图9的过程回到框910，其中图像帧300的另一中心像素360被选择。因而，处理部件110可以对于图像帧300的所有像素重复操作910到950。结果，可以针对空间上异常的像素评估整个图像帧，并且这些确定的结果可以被标记和存储(例如，在帧缓冲器640中)进行进一步的像素替换操作或其他处理。在图像帧300的所有像素被评估之后，图9的过程回到框905，其中对下一帧进行考虑。
在适用的情况下，可以利用硬件、软件或硬件和软件的组合来实施本公开提供的各种实施方式。同样在适用的情况下，本文列出的各种硬件元件和/或软件元件可以组合到复合元件中，该复合元件包括软件、硬件和/或二者，而不脱离本公开文本的精神。在适用的情况下，本文列出的各种硬件元件和/或软件元件可以分离成子部件，包括软件、硬件或二者，而不脱离本公开文本的精神。此外，在适用的情况下，可以预期的是，软件元件可以实施为硬件元件，反之亦然。
根据本公开，软件(例如程序代码和/或数据)可以存储在一个或多个计算机可读介质上。还可以预期的是，本文认同的软件可以利用一个或多个通用或专用的计算机和/或计算机系统、网络和/或其他方式实现。在适用的情况下，本文描述的各种步骤的顺序可以发生变化、组合到复合步骤和/或分割成若干子步骤以提供本文描述的特征。
上文描述的实施方式是示例性的，并非限制本发明。应该理解，根据本发明的原理，众多修改和变化是可能的。因此，本发明的范围仅由随附权利要求限定。

Claims (16)

1.一种系统，包括：
存储器部件，所述存储器部件包括多个可执行指令；以及
处理部件，所述处理部件适于执行实现包括下述步骤的方法的指令：
接收包括多个像素的第一图像帧和第二图像帧，其中，所述第一图像帧和所述第二图像帧是热图像帧，
选择第一图像帧和第二图像帧的核，其中，每个核包括中心像素和多个邻域像素，
将中心像素的帧到帧的改变与邻域像素的帧到帧的改变比较，其中所述比较包括将中心像素的标准化差值与邻域像素的平均方差比较以及
基于所述比较选择性地将中心像素中的至少一个检测为时间上异常的闪烁像素。
2.根据权利要求1所述的系统，其中，所述方法还包括利用中心像素的帧到帧的改变和邻域像素的帧到帧的改变来计算标准化差值。
3.根据权利要求1所述的系统，其中，所述方法还包括根据与邻域像素关联的多个方差值计算平均方差。
4.根据权利要求3所述的系统，其中，所述方法还包括利用邻域像素的帧到帧的改变计算方差值。
5.根据权利要求1所述的系统，其中，所述核是三像素乘三像素的网格。
6.根据权利要求1所述的系统，其中，所述方法还包括响应于所述检测向图像帧中的至少一个的中心像素指定替换值。
7.根据权利要求1所述的系统，其中，所述方法还包括对于第一图像帧和第二图像帧的多个不同核重复所述选择、比较和检测，以针对时间上异常的闪烁像素行为考虑对应的多个中心像素。
8.一种系统，包括：
存储器部件，所述存储器部件包括多个可执行指令；以及
处理部件，所述处理部件适于执行实现包括下述步骤的方法的指令：
接收包括多个像素的图像帧，
选择图像帧的核，其中，所述核包括中心像素和多个邻域像素，
基于中心像素和邻域像素确定多个线性度测量，
基于线性度测量更新空间异常分数；以及
通过比较空间异常分数和空间异常分数阈值，选择性地将中心像素检测为空间上异常的像素。
9.根据权利要求8所述的系统，其中，所述确定包括：
利用邻域像素的多个对应的子集计算中心像素的多个估计值；以及
将估计值与一个或多个线性度阈值比较以确定线性度测量。
10.根据权利要求8所述的系统，其中，所述确定包括：
识别每个均包括中心像素和邻域像素的对应的子集的多个向量；
对于每个向量，利用邻域像素的对应的子集计算中心像素的估计值；以及
将估计值与一个或多个线性度阈值比较以确定线性度测量。
11.根据权利要求8所述的系统，其中，所述方法还包括对于多个图像帧重复所述方法以响应于每个图像帧更新空间异常分数。
12.根据权利要求8所述的系统，其中，所述核是五像素乘五像素的网格。
13.根据权利要求8所述的系统，其中，所述方法还包括响应于所述检测向中心像素指定替换值。
14.根据权利要求8所述的系统，其中，所述方法还包括对于图像帧的多个不同核重复所述选择、确定和检测，以针对空间上异常的像素行为考虑图像帧的对应的多个中心像素。
15.根据权利要求8所述的系统，其中，所述图像帧为热图像帧。
16.一种用于操作根据权利要求1-15中任一项所述的系统的方法，包括：
操作处理部件以执行所述指令。
CN201680014209.0A 2015-03-06 2016-03-03 用于异常像素检测的系统和方法 Active CN107431771B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562129685P 2015-03-06 2015-03-06
US62/129,685 2015-03-06
PCT/US2016/020783 WO2016144712A2 (en) 2015-03-06 2016-03-03 Anomalous pixel detection

Publications (2)

Publication Number Publication Date
CN107431771A CN107431771A (zh) 2017-12-01
CN107431771B true CN107431771B (zh) 2020-12-04

Family

ID=55910331

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680014209.0A Active CN107431771B (zh) 2015-03-06 2016-03-03 用于异常像素检测的系统和方法

Country Status (4)

Country Link
US (2) US10425603B2 (zh)
EP (2) EP3660782B1 (zh)
CN (1) CN107431771B (zh)
WO (1) WO2016144712A2 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6763172B2 (ja) * 2016-03-28 2020-09-30 日本電気株式会社 赤外線装置及び方法
KR102282472B1 (ko) * 2017-09-11 2021-07-27 한화테크윈 주식회사 감시 시스템 및 그 동작 방법
US20210056426A1 (en) * 2018-03-26 2021-02-25 Hewlett-Packard Development Company, L.P. Generation of kernels based on physical states
CN110674622B (zh) * 2018-07-03 2022-12-20 百度在线网络技术（北京）有限公司 可视化图表生成方法、系统、存储介质及电子设备
US10417497B1 (en) 2018-11-09 2019-09-17 Qwake Technologies Cognitive load reducing platform for first responders
US11890494B2 (en) 2018-11-09 2024-02-06 Qwake Technologies, Inc. Retrofittable mask mount system for cognitive load reducing platform
US10896492B2 (en) 2018-11-09 2021-01-19 Qwake Technologies, Llc Cognitive load reducing platform having image edge enhancement
US11931207B2 (en) 2018-12-11 2024-03-19 Eko.Ai Pte. Ltd. Artificial intelligence (AI) recognition of echocardiogram images to enhance a mobile ultrasound device
US12001939B2 (en) 2018-12-11 2024-06-04 Eko.Ai Pte. Ltd. Artificial intelligence (AI)-based guidance for an ultrasound device to improve capture of echo image views
US11446009B2 (en) 2018-12-11 2022-09-20 Eko.Ai Pte. Ltd. Clinical workflow to diagnose heart disease based on cardiac biomarker measurements and AI recognition of 2D and doppler modality echocardiogram images
US11301996B2 (en) 2018-12-11 2022-04-12 Eko.Ai Pte. Ltd. Training neural networks of an automatic clinical workflow that recognizes and analyzes 2D and doppler modality echocardiogram images
CN109767441B (zh) * 2019-01-15 2021-11-02 电子科技大学 一种自动检测盲元标记方法
CN109859126B (zh) * 2019-01-17 2021-02-02 浙江大华技术股份有限公司 一种视频降噪方法、装置、电子设备及存储介质
US10915786B2 (en) * 2019-02-28 2021-02-09 Sap Se Object detection and candidate filtering system
WO2021041990A1 (en) 2019-08-28 2021-03-04 Qwake Technologies, Llc Wearable assisted perception module for navigation and communication in hazardous environments
US11660135B2 (en) * 2019-12-05 2023-05-30 Biosense Webster (Israel) Ltd. Generating and interleaving of irreversible-electroporation and radiofrequnecy ablation (IRE/RFA) waveforms
US11508143B2 (en) * 2020-04-03 2022-11-22 Disney Enterprises, Inc. Automated salience assessment of pixel anomalies
FR3118558B1 (fr) * 2020-12-24 2023-03-03 Safran Electronics & Defense Procédé d’étalonnage d’une matrice de photodétecteurs, dispositif d’étalonnage et système d’imagerie associés
US20220210399A1 (en) * 2020-12-30 2022-06-30 Flir Commercial Systems, Inc. Anomalous pixel detection systems and methods
US11915394B2 (en) * 2021-05-11 2024-02-27 Teledyne Flir Commercial Systems, Inc. Selective processing of anomalous pixels systems and methods

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090322879A1 (en) * 2006-08-29 2009-12-31 Petko Faber Method and device for the detection of defective pixels of an image recording sensor, preferably in a driver assistance system
EP2450849A1 (en) * 2010-11-05 2012-05-09 Raytheon Company First-in-first-out (fifo) buffered scene-based non-uniformity correction method
CN103164852A (zh) * 2011-08-31 2013-06-19 奥林巴斯株式会社 图像处理装置以及图像处理方法
US20130182934A1 (en) * 2012-01-13 2013-07-18 Carestream Health, Inc. Self correcting portable digital radiography detector, methods and systems for same

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6028309A (en) 1997-02-11 2000-02-22 Indigo Systems Corporation Methods and circuitry for correcting temperature-induced errors in microbolometer focal plane array
US7009644B1 (en) * 1999-12-15 2006-03-07 Logitech Europe S.A. Dynamic anomalous pixel detection and correction
US6965395B1 (en) * 2000-09-12 2005-11-15 Dialog Semiconductor Gmbh Methods and systems for detecting defective imaging pixels and pixel values
JP3928424B2 (ja) * 2001-12-26 2007-06-13 コニカミノルタビジネステクノロジーズ株式会社 動画におけるフリッカ補正
US7359004B2 (en) * 2003-05-23 2008-04-15 Microsoft Corporation Bi-level and full-color video combination for video communication
JP4631611B2 (ja) * 2005-08-30 2011-02-16 ソニー株式会社 フリッカ検出装置とフリッカ除去装置と撮像装置およびフリッカ検出方法
TWI323606B (en) * 2006-02-22 2010-04-11 Huper Lab Co Ltd Image noise reduction method based on local correlation
US8189050B1 (en) * 2006-07-19 2012-05-29 Flir Systems, Inc. Filtering systems and methods for infrared image processing
US8144978B2 (en) * 2007-08-01 2012-03-27 Tandent Vision Science, Inc. System and method for identifying complex tokens in an image
US20100002131A1 (en) * 2008-07-03 2010-01-07 Ying-Ru Chen Flicker reduction for 2-dimensional de-interlacing
JP5697353B2 (ja) * 2010-03-26 2015-04-08 キヤノン株式会社 画像処理装置、画像処理装置の制御方法及びプログラム
US20110255786A1 (en) * 2010-04-20 2011-10-20 Andrew Hunter Method and apparatus for determining flicker in the illumination of a subject
US9462194B2 (en) * 2012-12-04 2016-10-04 Hanwha Techwin Co., Ltd. Apparatus and method for calculating flicker-evaluation value
CN105659583B (zh) * 2013-12-04 2019-11-19 索尼半导体解决方案公司 图像处理装置、图像处理方法、电子设备及计算机可读存储介质
WO2016022374A1 (en) * 2014-08-05 2016-02-11 Seek Thermal, Inc. Local contrast adjustment for digital images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090322879A1 (en) * 2006-08-29 2009-12-31 Petko Faber Method and device for the detection of defective pixels of an image recording sensor, preferably in a driver assistance system
EP2450849A1 (en) * 2010-11-05 2012-05-09 Raytheon Company First-in-first-out (fifo) buffered scene-based non-uniformity correction method
CN103164852A (zh) * 2011-08-31 2013-06-19 奥林巴斯株式会社 图像处理装置以及图像处理方法
US20130182934A1 (en) * 2012-01-13 2013-07-18 Carestream Health, Inc. Self correcting portable digital radiography detector, methods and systems for same

Also Published As

Publication number Publication date
US20190373193A1 (en) 2019-12-05
EP3265994B1 (en) 2020-01-15
WO2016144712A3 (en) 2016-11-03
US20170374305A1 (en) 2017-12-28
EP3660782B1 (en) 2022-08-10
WO2016144712A2 (en) 2016-09-15
EP3660782A1 (en) 2020-06-03
CN107431771A (zh) 2017-12-01
EP3265994A2 (en) 2018-01-10
US11012648B2 (en) 2021-05-18
US10425603B2 (en) 2019-09-24

Similar Documents

Publication Publication Date Title
CN107431771B (zh) 用于异常像素检测的系统和方法
US10033944B2 (en) Time spaced infrared image enhancement
US20140247365A1 (en) Techniques for selective noise reduction and imaging system characterization
EP2936799B1 (en) Time spaced infrared image enhancement
US9635285B2 (en) Infrared imaging enhancement with fusion
US11010878B2 (en) Dynamic range compression for thermal video
US11227365B2 (en) Image noise reduction using spectral transforms
EP2898670B1 (en) Row and column noise reduction in thermal images
CN211825673U (zh) 成像装置
US9875556B2 (en) Edge guided interpolation and sharpening
WO2014100786A1 (en) Selective image correction for infrared imaging devices
US9102776B1 (en) Detection and mitigation of burn-in for thermal imaging systems
US11474030B2 (en) Dynamic determination of radiometric values using multiple band sensor array systems and methods
US11915394B2 (en) Selective processing of anomalous pixels systems and methods
CN110168602B (zh) 使用频谱变换的图像降噪
US20240087095A1 (en) Adaptive detail enhancement of images systems and methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant