CN110249616A - 用于跟踪、敌方火力指示、闪烁抑制以及其他应用的基于像素的事件检测 - Google Patents

用于跟踪、敌方火力指示、闪烁抑制以及其他应用的基于像素的事件检测 Download PDF

Info

Publication number
CN110249616A
CN110249616A CN201780085503.5A CN201780085503A CN110249616A CN 110249616 A CN110249616 A CN 110249616A CN 201780085503 A CN201780085503 A CN 201780085503A CN 110249616 A CN110249616 A CN 110249616A
Authority
CN
China
Prior art keywords
counter
pixel
event
value
detector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780085503.5A
Other languages
English (en)
Other versions
CN110249616B (zh
Inventor
M.R.哈里斯
E.J.博维莱
J.S.科斯塔
C.M.博姆勒
M.A.马西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Raytheon Co
Original Assignee
Raytheon Sarcos LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Raytheon Sarcos LLC filed Critical Raytheon Sarcos LLC
Publication of CN110249616A publication Critical patent/CN110249616A/zh
Application granted granted Critical
Publication of CN110249616B publication Critical patent/CN110249616B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/02—Details
    • G01J1/0266—Field-of-view determination; Aiming or pointing of a photometer; Adjusting alignment; Encoding angular position; Size of the measurement area; Position tracking; Photodetection involving different fields of view for a single detector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/04—Systems determining the presence of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01T—MEASUREMENT OF NUCLEAR OR X-RADIATION
    • G01T1/00—Measuring X-radiation, gamma radiation, corpuscular radiation, or cosmic radiation
    • G01T1/16—Measuring radiation intensity
    • G01T1/17—Circuit arrangements not adapted to a particular type of detector
    • G01T1/171—Compensation of dead-time counting losses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H04N1/4092—Edge or detail enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Molecular Biology (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)

Abstract

一种方法（500）包括：基于在成像系统（100）的像素处接收到的照明来生成强度值（216）。通过在第一时间段期间使用检测器（200）的第一计数器（210）对值进行积分（506）来生成强度值。该方法还包括：使用检测器的第二计数器（212）、在第一时间段内的较小的第二时间段期间对值重复地积分（508）。第二计数器具有比第一计数器更低的位分辨率。该方法进一步包括：针对第二时间段中的每一个来重置第二计数器。此外，该方法包括响应于第二计数器输出指定值来生成（510）像素事件指示符（218）。该方法还可以包括：确定（512）一个或多个相邻检测器（200）是否也生成一个或多个像素事件指示符，并且在一个或多个相邻检测器也生成一个或多个像素事件指示符时，生成（514）事件指示符（226）。

Description

用于跟踪、敌方火力指示、闪烁抑制以及其他应用的基于像素 的事件检测
技术领域
本公开一般涉及成像系统。更具体地，本公开涉及用于跟踪、敌方火力指示、闪烁抑制和其他应用的基于像素的事件检测。
背景技术
典型的成像系统或“成像器”可以以指定的帧速率捕获一系列图像帧。令人遗憾的是，成像器的时间带宽受到所捕获的图像帧的帧速率的限制。如果发生亮度很强但比帧速率短的事件，则由于成像器的时间分辨率较差，可能丢失识别事件发生时间的信息。事件的明亮强度还可以限制成像器来识别场景中的空间信息的能力。可能影响成像器的各种明亮事件包括：来自反射对象的闪烁、来自武器的枪口闪光或火箭推进榴弹发射。
解决该问题的一种常规方法包括：使用模拟峰值和导数过滤（derivativefiltering）。然而，这种方法通常会消耗大量功率，并且与先进的数字成像系统不兼容，该数字成像系统诸如那些使用互补金属氧化物半导体（CMOS）像素的系统。另一种常规方法是增加成像器的总体帧速率和后处理图像帧以定位事件，但是这种方法降低了成像器的灵敏度并且大大增加了整个系统所消耗的功率量。
发明内容
本公开提供了用于跟踪、敌方火力指示、闪烁抑制和其他应用的基于像素的事件检测。
在第一实施例中，一种方法包括：基于在成像系统的像素处接收到的照明来生成强度值。通过在第一时间段期间使用检测器的第一计数器对值进行积分来生成强度值。该方法还包括：使用检测器的第二计数器、在第一时间段内的较小的第二时间段期间对值重复地积分。第二计数器具有比第一计数器更低的位分辨率。该方法进一步包括：针对第二时间段中的每一个来重置第二计数器。另外，该方法包括：响应于第二计数器输出指定值来生成像素事件指示符（indicator）。
在第二实施例中，一种装置包括：检测器，其被配置成测量在像素处接收到的照明强度，并且使用接收到的照明来检测事件。该检测器包括：第一计数器，其被配置成基于在像素处接收到的照明、通过在第一时间段期间对值进行积分来生成强度值。该检测器还包括：第二计数器，其被配置成在第一时间段内的较小的第二时间段期间对值重复地积分。第二计数器具有比第一计数器更低的位分辨率，并且被配置成针对第二时间段中的每一个进行重置。该检测器进一步包括：锁存器，其被配置成响应于第二计数器输出指定值来生成像素事件指示符。
在第三实施例中，一种系统包括：具有多个像素的焦平面阵列，以及对于至少一些像素中的每一个，检测器被配置成测量在该像素处接收到的照明强度，并且使用接收到的照明来检测事件。每个检测器包括：第一计数器，其被配置成基于在像素处接收到的照明、通过在第一时间段期间对值进行积分来生成强度值。每个检测器还包括：第二计数器，其被配置成在第一时间段内的较小的第二时间段期间对值重复地积分，其中第二计数器具有比第一计数器更低的位分辨率，并且被配置成针对第二时间段中的每一个进行重置。每个检测器进一步包括：锁存器，其被配置成响应于第二计数器输出指定值来生成像素事件指示符。
根据下面的附图、描述和权利要求，其他的技术特征对本领域技术人员可以是容易显而易见的。
附图说明
为了更完整地理解本公开，结合附图，对下面的描述进行参考，在附图中：
图1图示了根据本公开的支持基于像素的事件检测的示例系统；
图2图示了根据本公开的示例基于像素的事件检测器；
图3图示了根据本公开的与基于像素的事件检测器的操作相关联的示例时序图；
图4图示了根据本公开的基于像素的事件检测器的示例使用；以及
图5图示了根据本公开的基于像素的事件检测的示例方法。
具体实施方式
下面所描述的图1至图5，以及在本专利文档中被用来描述本发明的原理的各种实施例仅作为说明，并且不应该以任何方式解释为限定本发明的范围。本领域技术人员将理解的是，可以在任何类型的适当布置的设备或系统中实现本发明的原理。
图1图示了根据本公开的支持基于像素的事件检测的示例系统100。如图1所示，系统100包括：聚焦系统102、焦平面阵列104和处理系统106。聚焦系统102通常进行操作以将来自场景的照明聚焦到焦平面阵列104上。聚焦系统102可以具有被引导到焦平面阵列104上的任何合适的视场，例如60°×60°的视场。聚焦系统102包括用于聚焦照明的任何合适的（一个或多个）结构，诸如一个或多个透镜、反射镜或其他光学设备。
焦平面阵列104通常进行操作以捕获场景的图像。焦平面阵列104包括：生成表示场景的电信号的像素的矩阵或其他集合。焦平面阵列104可以用任何合适的一个或多个光谱来捕获图像，诸如以可见光谱、红外光谱或紫外光谱。焦平面阵列104也可以具有任何合适的分辨率，诸如在焦平面阵列104包括近似8000像素乘近似8000像素的集合的时候。焦平面阵列104包括捕获图像的任何合适的像素集合。焦平面阵列104还可以包括：便于从像素接收和输出信息的附加组件，诸如读出集成电路（ROIC）。
如下面更详细描述的，焦平面阵列104包括：基于像素的事件检测器，其与数字像素一起被用来辨别具有所选强度的事件。可以使用低分辨率计数器（诸如一位或几位计数器）和频率参考来形成每个检测器中的过滤器。低分辨率计数器可以通过比较器递增，并且在由频率参考定义的周期性时间间隔后被重置。如果低分辨率计数器在单个周期性时间间隔内前进到阈值，则由像素测量的强度已经超过指定的强度，因此表示关注的事件。
因此，每个基于像素的事件检测器的输出可以被用作已经发生高强度事件的指示符。为了减少错误警报（诸如来自闪烁或闪光灯），检测器也可以支持本地过滤。该本地过滤允许一个检测器使用来自相邻检测器的输出来验证已经检测到实际事件。
该方法支持用以获得高分辨率时间信息而无需处理大量图像帧的能力。它还提供了在事件发生时利用基于像素的检测器来处理实时信息，以便恢复从明亮事件丢失的动态范围的能力。除此之外，检测器可以被用来抑制闪烁、实行枪口闪光的本地检测、或跟踪对象。下面提供关于基于像素的检测器的附加细节。
处理系统106接收来自焦平面阵列104的输出并且处理信息。例如，处理系统106可以处理由焦平面阵列104生成的图像数据，以便生成可视图像以供诸如在显示器108上呈现给一个或多个人员。处理系统106还可以处理来自焦平面阵列104中的基于像素的检测器的信息，以确定基于像素的检测器是否已经检测到任何关注的事件。如果已经检测到事件，则处理系统106可以采取任何合适的动作。例如，处理系统106可以在显示器108上呈现与检测到的事件相关联的信息，或者触发预警指示符110。显示器108可以呈现关于检测到的事件的任何合适的信息，诸如与事件相关联的一个或多个图像。预警指示符110可以表示任何合适类型的指示符，诸如可听或视觉警报。
处理系统106包括：用于处理来自焦平面阵列或包含基于像素的检测器的其他成像系统的信息的任何合适的结构。例如，处理系统106可以包括一个或多个处理设备，诸如一个或多个微处理器、微控制器、数字信号处理器、现场可编程门阵列、专用集成电路或离散逻辑设备。显示器108包括用于以图形方式呈现信息的任何合适的设备。预警指示符110包括向一个或多个人员提供输出的任何合适的结构。
尽管图1图示了支持基于像素的事件检测的系统100的一个示例，但是可以对图1进行各种改变。例如，可以将图1中的各种组件组合、进一步细分、重新布置或省略，并且可以根据特定需要来添加附加组件。而且，图1图示了一种示例类型的系统，其中基于像素的检测器可以被用来识别关注的事件。然而，该功能可以被用在任何其他合适的设备或系统中。
图2图示了根据本公开的示例基于像素的事件检测器200。为了易于解释，检测器200被描述为在图1的系统100中的焦平面阵列104内使用。检测器200可以与焦平面阵列104的全部像素一起使用，或者检测器200可以与焦平面阵列104的像素的子集一起使用。然而，注意的是，检测器200可以被用于任何其他合适的设备中和任何其他合适的系统中。
如图2所示，检测器200与像素202结合地使用。像素202基于由像素202接收到的传入照明的强度来生成电信号，诸如电压信号。像素202包括用于基于照明来生成信号的任何合适的结构，诸如光电检测器。像素202可以例如表示焦平面阵列104中的像素之一。
电容器204与像素202串联耦合并且与开关206并联耦合。电容器204基于像素202的输出来存储电荷。电容器204也可以通过耦合到地面的开关206放电。打开开关206允许来自像素202的电能对电容器204充电，并且闭合开关206使电容器204放电。电容器204包括具有期望电容的任何合适的结构。开关206包括：被配置成选择性地形成电连接的任何合适的结构，诸如晶体管。
比较器208将存储在电容器204上的电压（图2中表示为VIntegration）与参考电压进行比较，并且基于该比较来生成输出。当存储在电容器204上的电压低于参考电压时，比较器208的输出具有一个值，而当存储在电容器204上的电压高于参考电压时，比较器208的输出具有另一个值。比较器208的输出可以被用来控制开关206，这意味着比较器208可以通过闭合开关206来使电容器204放电（在电容器的电压达到指定水平之后），并且可以通过打开开关206来允许电容器204充电。比较器208包括用于比较电信号的任何合适的结构。
比较器208还将其输出提供给强度计数器210和过滤计数器（filter counter）212，其中的每一个在由频率参考定义的周期性时间间隔期间对比较器的输出进行积分。强度计数器210表示计数器，其在每次比较器208的输出指示存储在电容器204上的电压已达到指定水平（诸如大于参考电压的水平）时，递增或递减计数器值。强度计数器210可以在每个周期性时间间隔期间对比较器208的输出进行积分。强度计数器210也可以在当前周期性时间间隔结束时以及下一个周期性时间间隔开始时被重置，以便可以发生另一个积分。因此，强度计数器210生成计数器值，该计数器值指示在周期性时间间隔期间由像素202接收到的照明强度。
虽然强度计数器210可以在每个周期性时间间隔期间有效地测量强度，但是强度计数器210可能无法有效地指示在时间间隔的一小部分期间（快于成像器的帧速率）发生极快明亮事件的时间。因为强度计数器210在整个时间间隔期间对强度积分，所以在另外的黑暗时间间隔中的快速明亮事件的强度可能由于积分而被丢失。例如，平均强度时间间隔的积分强度可以等同于具有快速明亮事件的另外的黑暗时间间隔的积分强度。强度计数器210的输出不一定指示已经发生了快速明亮事件。
过滤计数器212通过对与强度计数器210相同的值进行积分但以较低的位分辨率进行积分来帮助解决这个问题。过滤计数器212表示计数器，其在每次比较器208的输出指示存储在电容器204上的电压已经达到指定水平（即，参考电压）时，递增或递减计数器值。过滤计数器212可以在每个周期性时间间隔期间对比较器208的输出进行积分。过滤计数器212也可以在当前周期性时间间隔结束时以及下一个周期性时间间隔开始时被重置。然而，因为过滤计数器212具有比强度计数器210更低的位分辨率，所以过滤计数器212还以比强度计数器210快得多的速率“翻滚（roll over）”其计数器值（诸如从最大值到最小值，或反之亦然）。因此，当对相同的值进行积分时，强度计数器210每翻滚其计数器值一次，过滤计数器212可以翻滚其计数器值n次（其中n>1）。
计数器210和212中的每一个表示用于递增或递减计数器值的任何合适的结构。用于计数器的各种设计在本领域中是已知的，诸如使用多个触发器（flip-flop）的设计。而且，计数器210和212中的每一个可以具有任何合适的分辨率。例如，过滤计数器212可以输出三位计数器值，而强度计数器210可以输出均具有多于三位的计数器值。
将过滤计数器212的输出提供给锁存器214，其基于过滤计数器212是否输出阈值来生成信号。例如，当过滤计数器212的输出全为“1”时，锁存器214可以输出高逻辑信号，并且当过滤计数器212的输出具有任何其他值时，锁存器214可以输出低逻辑信号。在该示例中，锁存器214因此识别过滤计数器212输出最大计数器值的时间，但是可以使用其他方法（诸如无论何时过滤计数器212输出最小计数器值时发信号）。锁存器214包括：用于检测计数器值何时具有指定值的任何合适的结构，诸如数字比较器。
因为过滤计数器212具有比强度计数器210更低的位分辨率，所以过滤计数器212被用来识别发生明亮强度事件的时间，即使该事件极短。例如，如果事件发生在周期性时间间隔的一小部分期间，并且在该时间间隔的剩余部分期间几乎没有或没有照明，则强度计数器210将有效地平均整个时间间隔长度上的强度，从而丢失关于该事件的大部分或全部信息。因为过滤计数器212具有较低的位分辨率，所以过滤计数器212可以在事件期间一次或多次达到阈值。因此，锁存器214将指示过滤计数器212已经达到阈值的一次或多次，从而指示事件已经发生（即使事件显著短于时间间隔，并且使用强度计数器210的输出将不可辨别该事件）。
如图2所示，检测器200输出包含强度值的信号216，其可以表示由强度计数器210生成的计数器值。检测器200还输出像素事件指示符信号218，其由锁存器214生成并且指示锁存器214从过滤计数器212检测到阈值的时间。检测器200可以可选地输出包含由比较器208输出的值的残余信号220。
图3中示出了检测器200的这些组件的示例操作。图3图示了根据本公开的与基于像素的事件检测器200的操作相关联的示例时序图300。在图3中，VIntegration电压302表示由像素202存储在电容器204上的电压。这里还示出了全局时间参考信号304和全局时间计数器值306。全局时间参考信号304定义检测器200的频率参考，其中全局时间参考信号304中的脉冲定义了重复时间间隔。全局时间计数器值306表示那些时间间隔的计数。
计数器值308包括：来自过滤计数器212的输出，信号310包括：来自锁存器214的输出（作为像素事件指示符信号218），并且计数器值312包括：来自信号216中的强度计数器210的输出。当处理图3中所示的VIntegration电压302时，生成这些值。
在该特定示例中，电容器204上的VIntegration电压302可以增加到最大值，在该点处比较器208闭合开关206以重置电容器204上的电压。每当VIntegration电压302击中其最大值，强度计数器210递增其计数器值312。每当VIntegration电压302击中其最大值，过滤计数器212类似地递增其计数器值308。然而，过滤计数器212（具有其较低的位分辨率）可以比强度计数器210更频繁地“翻滚”其计数器值308，并且在全局时间参考信号304中的每个脉冲处（每个时间间隔）重置过滤计数器212，而强度计数器210仅针对不同的帧间隔来被重置。
在图3中的时间间隔314期间，没有发生明亮事件。结果，强度计数器210在全局时间参考信号304的每个周期期间输出单个计数器值312。而且，过滤计数器212从不对足够数量的值进行计数来击中阈值，所以锁存器214并不改变其输出信号310中的值。
在时间间隔316期间，正在发生明亮事件。这使得电容器204击中其最大负荷并且迅速得多地放电。强度计数器210在这些时间间隔316期间重复地递增其计数器值312，但是由于强度计数器210具有较高的位数，因此从不翻滚（当然，它可以翻滚一次，这取决于事件开始时的计数器值312）。与此相反，过滤计数器212在这些时间间隔316期间重复地递增其计数器值308，并且翻滚多次，因为过滤计数器212具有较低的位数。在该示例中，无论何时过滤计数器212击中值“111”（该值在时间间隔316期间出现两次），锁存器214就将其输出信号310脉冲为高。
在时间间隔318期间，没有发生明亮事件。结果，强度计数器210在全局时间参考信号304的每个周期期间输出单个计数器值312。而且，过滤计数器212从不（never）对足够数量的值进行计数来击中阈值，所以锁存器214并不改变其输出信号310中的值。
如图3中可以看到的，过滤计数器212和锁存器214进行操作以识别强度增加，即使它在较短的时间量内发生。强度计数器210的输出（即，计数器值312）可能不足以指示发生了事件。即使其发生了，由于强度计数器210的时间分辨率较差，信息也可能丢失。例如，图3中的强度计数器210的输出仅指示电容器204在六个时间间隔内击中其最大负荷21次。这可能不会在系统100中被记录为明亮事件，在这种情况下，系统100将无法检测到强度在部分时间期间迅速增加。
由于过滤计数器212具有比强度计数器210更低的分辨率，因此明亮事件使得过滤计数器212重复地达到阈值，在该阈值处，锁存器214脉冲其输出信号310。因此，即使明亮事件比单帧间隔更快地发生，过滤计数器212的输出信号310也可以被用作明亮事件的指示符。此外，输出信号310中的脉冲可以提供关于在两个图像帧之间何时发生事件的时间信息。
返回图2，为了减少错误警报，检测器200包括相邻像素过滤器和事件标志生成器222。相邻像素过滤器和事件标志生成器222接收来自检测器200的锁存器214的像素事件指示符信号218，以及来自一个或多个相邻检测器的一个或多个像素事件指示符信号224。相邻像素过滤器和事件标志生成器222确定（一个或多个）相邻检测器是否检测到与检测器200相同的事件，并且如果是，则在事件指示符信号226中生成脉冲。结果，只有当足够数量的检测器200检测到相同的事件时，才可以识别实际事件。单个检测器处的照明中的随机波动或单个检测器中的故障可能不会触发事件指示符。
相邻像素过滤器和事件标志生成器222可以从任何合适的相邻检测器（诸如来自单个近邻、近邻子集或全部近邻）接收像素事件指示符信号224。在一些实施例中，每个检测器200中的相邻像素过滤器和事件标志生成器222从正交相邻的检测器（诸如在该检测器220的正上方、正下方、正右侧和正左侧的相邻检测器）接收像素事件指示符信号224。然而，也可以使用检测器200的其他关联。相邻像素过滤器和事件标志生成器222包括：用于确定多个检测器是否识别事件的任何合适的结构。作为特定示例，可以使用被布置和配置成只有在全部输入都指示已经检测到事件时才输出指定逻辑值的一个或多个AND门来实现相邻像素过滤器和事件标志生成器222。
图4中示出了如何在成像器中使用多个具有相邻过滤的检测器200的示例。图4图示了根据本公开的基于像素的事件检测器200的示例使用。如图4所示，聚焦系统102将来自明亮事件的光聚焦到焦平面阵列104的一部分402上。圆圈404表示来自明亮事件的光击中焦平面阵列104的位置，并且星形406表示明亮事件在聚焦于焦平面阵列104上的场景内的实际位置。如在这里可以看到的，由于来自事件的明亮照明的光学“盛开（blooming）”，圆圈404比实际事件大得多。
图4中的各种菱形408被用来表示检测器200的联接。这意味着每个检测器200中的相邻像素过滤器和事件标志生成器222被配置成接收来自四个正交定位的相邻检测器（除了沿焦平面阵列104的边缘定位的那些检测器之外）的像素事件指示符信号224。这还意味着每个检测器200将其像素事件指示符信号218提供给四个正交定位的相邻检测器（除了沿焦平面阵列104的边缘定位的那些检测器之外）。
假设每个检测器200中的相邻像素过滤器和事件标志生成器222需要全部四个正交检测器200来检测事件，该事件也在生成事件指示符信号226中的脉冲之前被该检测器200检测到。在该配置中，将根据焦平面阵列104中的仅一小像素子集410来在事件指示符信号226中生成脉冲。在图4所示的示例中，从焦平面阵列104的部分402中的90个像素当中，只有四个像素在其事件指示符信号226中生成脉冲。
因此，检测器200以非常迅速的方式进行操作以检测明亮事件，即使是具有非常小的持续时间的事件。检测器200还可以在比焦平面阵列104的帧速率高得多的频率下进行操作。这允许检测器200提供事件的指示，而无需使用增加的帧速率（尽管仍然可以与焦平面阵列104一起使用高于正常的帧速率）。作为特定示例，检测器200可以在一千赫兹或多千赫兹的频率下进行操作，而焦平面阵列104以60赫兹的帧速率来捕获图像。此外，通过支持“相邻”过滤，可以非常快地识别与明亮事件相关联的实际区域，同时提供用以抑制由于不正确的检测器操作或错误检测器所致的错误警报的能力。有效地，检测器200是允许强度测量的频率鉴别器，并且总体架构支持大规模并行的基于像素的事件检测，其中具有通过相邻过滤进行的局部区域抑制和有限事件报告二者。
当检测到事件时，处理系统106或其他系统可以使用来自检测器200的信息获得任何合适的信息。例如，处理系统106或其他系统可以使用来自检测器200的事件指示符信号226来识别焦平面阵列104中的检测像素的X-Y坐标、检测到的事件的中心位置、从那些像素测量的强度以及事件的时间戳（或此信息的任何子集）。然后，该信息可以被用来在显示器108上呈现信息、触发预警指示符110或实行其他功能。
该检测器功能可以在许多应用中找到用途。例如，该功能可以被用来为军队或其他人员提供传入的敌方火力的预警指示符。作为特定示例，火箭推进榴弹的发射通常包括两个光的闪光，一个是在火箭推进榴弹从其管中发射时，而另一个是在火箭推进榴弹中的推进剂点燃时。处理系统106可以确定焦平面阵列104快速连续检测到多个闪光的时间，并且为飞行员或其他人员触发预警指示符110。也可以使用检测到的闪光来估计榴弹的行进方向。使用来自检测器200的数据可能发生的其他处理操作包括：检测来自武器射击的枪口闪光或基于来自对象的闪烁或其他反射来跟踪对象。
作为另一示例，处理系统106或其他系统可以使用来自检测器200的锁存器214的输出，以从如由检测器200的强度计数器210测量的强度中减去如由检测器200的过滤计数器212测量的强度。这从与整个场景相关的强度测量中有效地去除了与快速明亮事件相关的强度测量，这可以帮助抑制闪光、闪烁或可能以其他方式干扰场景成像的其他照明。作为第三示例，可以检测来自关注的对象的闪烁或其他反射，并将其用来跟踪该对象。基于迅速明亮事件的知识（诸如关于事件强度、事件位置或事件时序的知识），还可以发生许多其他功能。
虽然图2图示了基于像素的事件检测器200的一个示例，并且图3和4图示了关于检测器200的使用的示例细节，但是可以对图2至图4进行各种改变。例如，可以将图2中的各种组件组合、进一步细分、重新布置或省略，并且可以根据特定需要来添加附加组件。而且，图3假设当计数器212的输出为“111”时，计数器210和212将它们的计数器值增加1并且锁存器214触发脉冲。然而，计数器210和212可以实行任何合适的递增或递减操作以对强度进行积分，并且锁存器214可以被配置成从计数器212检测任何合适的阈值。此外，图4假设相邻像素过滤器和事件标志生成器222被配置成从四个正交相邻的检测器200接收像素事件指示符信号224，但是也可以使用其他类型的像素事件指示符过滤。
图5图示了根据本公开的基于像素的事件检测的示例方法500。为了易于解释，方法500被描述为在图1的焦平面阵列104中由图2的检测器200以及由图1的处理系统106来实行。然而，注意的是，方法500可以与任何其他合适的（一个或多个）设备一起使用并且用在任何其他合适的系统中。
如图5所示，在步骤502处，基于由像素感测到的照明，在检测器的电容器上生成电压。这可以包括，例如，像素202生成电信号，以及电容器204存储电压。在步骤504处，将存储在电容器上的电压与参考电压进行比较。这可以包括，例如，比较器208将存储在电容器204上的电压与参考电压进行比较，以及基于该比较来输出信号。当存储在电容器204上的电压低于参考电压时，该信号可以具有一个值，而当存储在电容器204上的电压高于参考电压时，该信号可以具有另一个值。来自比较器208的信号可以被用来控制开关206，以便一旦电容器的电压达到参考水平就重置电容器204上的电压。
在步骤506处，使用检测器的第一计数器对比较结果进行积分，以便生成强度测量值。这可以包括，例如，每当比较器208指示存储在电容器204上的电压达到参考电压时，强度计数器210递增或递减其计数器值312。可以在任何合适的时间长度之后重置强度计数器210，诸如对于每个被捕获的图像帧一次。
在步骤508处，还使用检测器的第二计数器对比较结果进行积分，该第二计数器具有比第一计数器更低的位分辨率。这可以包括，例如，每当比较器208指示存储在电容器204上的电压达到参考电压时，过滤计数器212递增或递减其计数器值308。可以在任何合适的时间长度之后重置过滤计数器210，诸如在全局时间参考信号304的每个脉冲之后。在一些实施例中，过滤计数器212是三位计数器，而强度计数器210支持多于三位。
取决于像素接收到的照明，在步骤510处，在某个点做出第二计数器获得阈值的确定，在该点处生成像素事件指示。这可以包括，例如，锁存器214确定来自过滤计数器212的计数器值308具有指定的阈值，诸如全部为“1”。这还可以包括锁存器214在其输出信号310中生成脉冲，该信号还可以表示像素事件指示符信号218。
在步骤512处，对一个或多个相邻检测器是否同时或接近同时检测到事件做出确定。这可以包括，例如，检测器200中的相邻像素过滤器和事件标志生成器222确定是否在来自一个或多个相邻检测器200的像素事件指示符信号224中接收到脉冲。如上文提到的，相邻像素过滤器和事件标志生成器222可以接收来自四个正交相邻的检测器的信号，尽管可以使用其他实施例。而且，相邻像素过滤器和事件标志生成器222可以被配置成验证相邻检测器中的一个、一些或全部是否检测到同一事件。
如果足够数量（一个、一些或全部）的相邻检测器检测到同一事件（在步骤512处为是），则在步骤514处生成事件指示符。这可以包括，例如，相邻像素过滤器和事件标志生成器222在事件指示符信号226中生成脉冲。否则（在步骤512处为否），在步骤516处，过滤并忽略像素事件指示符。
在步骤518处，输出由检测器生成的数据。这可以包括，例如，检测器200向一个或多个相邻检测器（诸如四个正交检测器或（一个或多个）其他检测器）提供任何像素事件指示符。这还可以包括检测器200向处理系统106提供强度测量和任何事件指示符。在步骤520处，可以用任何合适的方式使用和处理数据。取决于应用，确切的处理可能会不同。如上文提到的，许多潜在的应用可以使用这种检测技术，以便实行传入的敌方火力检测、枪口闪光检测或者闪烁或闪光抑制。
尽管图5图示了用于基于像素的事件检测的方法500的一个示例，但是可以对图5进行各种改变。例如，图5中的各个步骤可以重叠、并行发生、以不同的次序发生或者发生任何次数。作为特定示例，图5中的各个步骤可以使用检测器200的不同组件并行发生。
在一些实施例中，本专利文档中描述的各种功能通过计算机程序来实现和支持，该计算机程序由计算机可读程序代码形成并且被体现在计算机可读介质中。短语“计算机可读程序代码”包括：任何类型的计算机代码，其包括源代码、目标码和可执行代码。短语“计算机可读介质”包括能够由计算机访问的任何类型的介质，诸如只读存储器（ROM）、随机存取存储器（RAM）、硬盘驱动器、紧凑盘（CD）、数字视频光盘（DVD），或任何其他类型的存储器。“非暂时性”计算机可读介质排除传输暂时性电信号或其他信号的有线、无线、光学或其他通信链路。非暂时性计算机可读介质包括：可以永久存储数据的介质和可以存储数据并随后被重写的介质，诸如可重写光盘或可擦除存储器设备。
阐述贯穿本专利文档所使用的某些词语和短语的定义可以是有利的。术语“应用”和“程序”指代一个或多个计算机程序、软件组件、指令集、程序、功能、对象、类、实例、相关的数据、或者其适于以合适的计算机代码（包括源代码、目标代码或可执行代码）实现的一部分。术语“通信”及其派生词涵盖直接通信和间接通信二者。术语“包括”和“包含”及其派生词意指包括而没有限制。术语“或者”是包括的，意味着和/或。术语“与……相关联”及其派生词可以意指包括、被包括在内、与……互连、包含、被包含在内、连接到或与……相连接、耦合到或与……耦合、与……可通信的、与……合作、交错、并列、近似于、绑定到或与……绑定、具有、具有……的属性、与……有关系或与之关联等等。当与项目列表一起使用时，短语“……中的至少一个”意指可以使用所列项目中的一个或多个的不同组合，并且可能需要列表中的仅一个项目。例如，“A、B和C中的至少一个”包括以下任何组合：A、B、C、A和B、A和C、B和C，以及A和B和C。
本专利文档中的描述不应该被解读为暗示任何特定元件、步骤或功能是必须包括在权利要求范围内的必要或关键元件。此外，没有权利要求在所附权利要求或权利要求要素中的任何方面意图援引35 U.S.C.§112（f），除非在特定权利要求中明确使用了确切词语“用于......的部件”或“用于......的步骤”，接着标识功能的分词短语。在权利要求内，诸如（但不限于）“机制”、“模块”、“设备”、“单元”、“组件”、“元件”、“构件”、“装置”、“机器”、“系统”、“处理器”、“处理设备”或“控制器”之类的术语的使用被理解并且意图指代相关领域的技术人员已知的结构，如权利要求本身的特征进一步修改或增强的，并且不意图援引35 U.S.C.§112(f)。
虽然本公开已经描述了某些实施例和一般相关联的方法，但是这些实施例和方法的变更和置换对本领域技术人员来说将是显而易见的。因此，示例实施例的以上描述不定义或约束本公开。在不偏离如由所附权利要求所限定的本公开的精神和范围的情况下，其他改变、替换和变更也是可能的。

Claims (20)

1.一种方法，其包括：
基于在成像系统的像素处接收到的照明来生成强度值，所述强度值通过在第一时间段期间使用检测器的第一计数器对值进行积分来生成；
使用所述检测器的第二计数器、在所述第一时间段内的较小的第二时间段期间对所述值重复地积分，所述第二计数器具有比所述第一计数器更低的位分辨率；
针对所述第二时间段中的每一个来重置所述第二计数器；以及
响应于所述第二计数器输出指定值来生成像素事件指示符。
2.根据权利要求1所述的方法，进一步包括：
确定一个或多个相邻检测器是否也生成一个或多个像素事件指示符；以及
在所述一个或多个相邻检测器也生成所述一个或多个像素事件指示符时，生成事件指示符。
3.根据权利要求2所述的方法，其中所述一个或多个相邻检测器包括四个相邻检测器，所述四个相邻指示器相对于所述检测器正交。
4.根据权利要求1所述的方法，进一步包括：
在多个第一时间段期间重复生成强度值；
在所述第一时间段中的每一个内的较小的第二时间段期间对所述值重复地积分；以及
响应于所述第二计数器输出所述指定值的多个实例来生成多个像素事件指示符。
5.根据权利要求4所述的方法，其中以比所述强度值更高的时间分辨率来生成所述像素事件指示符。
6.根据权利要求1所述的方法，进一步包括：
基于在所述像素处接收到的照明来对电容器重复地充电和放电；以及
将存储在所述电容器上的电压与参考电压进行比较，以产生比较结果；
其中被积分的值包括所述比较结果。
7.根据权利要求1所述的方法，其中当第一和第二计数器对相同值进行积分时，所述第二计数器输出比由所述第一计数器输出的计数器值翻滚更频繁的计数器值。
8.一种装置，其包括：
检测器，其被配置成测量在像素处接收到的照明强度，并且使用接收到的照明来检测事件，所述检测器包括：
第一计数器，其被配置成基于在所述像素处接收到的照明、通过在第一时间段期间对值进行积分来生成强度值，
第二计数器，其被配置成在所述第一时间段内的较小的第二时间段期间对所述值重复地积分，所述第二计数器具有比所述第一计数器更低的位分辨率，并且被配置成针对所述第二时间段中的每一个进行重置，
锁存器，其被配置成响应于所述第二计数器输出指定值来生成像素事件指示符。
9.根据权利要求8所述的装置，其中所述检测器进一步包括过滤器，其被配置成：
确定一个或多个相邻检测器是否也生成一个或多个像素事件指示符；以及
在所述一个或多个相邻检测器也生成所述一个或多个像素事件指示符时，生成事件指示符。
10.根据权利要求8所述的装置，其中：
所述第一计数器被配置成在多个第一时间段期间重复生成强度值；
所述第二计数器被配置成在所述第一时间段中的每一个内的较小的第二时间段期间对所述值重复地积分；以及
所述锁存器被配置成响应于所述第二计数器输出所述指定值的多个实例来生成多个像素事件指示符。
11.根据权利要求8所述的装置，进一步包括：
电容器，其被配置成存储由所述像素生成的电能；
开关，其被配置成选择性地闭合以使所述电容器放电；以及
比较器，其被配置成将存储在所述电容器上的电压与参考电压进行比较，以产生比较结果；
其中被积分的值包括所述比较结果。
12.一种系统，其包括：
包括多个像素的焦平面阵列；以及
对于至少一些像素中的每一个，检测器被配置成测量在所述像素处接收到的照明的强度，并且使用接收到的照明来检测事件，每个检测器包括：
第一计数器，其被配置成基于在所述像素处接收到的照明、通过在第一时间段期间对值进行积分来生成强度值，
第二计数器，其被配置成在所述第一时间段内的较小的第二时间段期间对所述值重复地积分，所述第二计数器具有比所述第一计数器更低的位分辨率，并且被配置成针对所述第二时间段中的每一个进行重置，
锁存器，其被配置成响应于所述第二计数器输出指定值来生成像素事件指示符。
13.根据权利要求12所述的系统，其中每个检测器进一步包括过滤器，其被配置成：
确定一个或多个相邻检测器是否也生成一个或多个像素事件指示符；以及
在所述一个或多个相邻检测器也生成所述一个或多个像素事件指示符时，生成事件指示符。
14.根据权利要求12所述的系统，其中，在每个检测器中：
所述第一计数器被配置成在多个第一时间段期间重复生成强度值；
所述第二计数器被配置成在所述第一时间段中的每一个内的较小的第二时间段期间对所述值重复地积分；以及
所述锁存器被配置成响应于所述第二计数器输出所述指定值的多个实例来生成多个像素事件指示符。
15.根据权利要求12所述的系统，其中每个检测器进一步包括：
电容器，其被配置成存储由所述像素生成的电能；
开关，其被配置成选择性地闭合以使所述电容器放电；以及
比较器，其被配置成将存储在所述电容器上的电压与参考电压进行比较，以产生比较结果；
其中被积分的值包括所述比较结果。
16.根据权利要求12所述的系统，进一步包括：
处理系统，其被配置成接收和处理来自所述焦平面阵列的信息。
17.根据权利要求16所述的系统，其中：
所述处理系统被配置成以第一速率接收和显示由所述焦平面阵列捕获的图像；以及
所述第二计数器和所述检测器被配置成以高于所述第一速率的第二速率进行操作。
18.根据权利要求16所述的系统，其中所述处理系统被进一步配置成下述各项中的至少一个：
响应于检测到的事件来触发警告；以及
显示与所述事件相关联的信息。
19.根据权利要求16所述的系统，其中所述处理系统被进一步配置成下述各项中的至少一个：
基于所述检测到的事件来触发传入的敌方火力的警告；
基于所述检测到的事件来跟踪对象。
20.根据权利要求16所述的系统，其中所述处理系统被进一步配置成从由所述第一计数器输出的强度值中减去由所述第二计数器输出的积分值，以在一个或多个图像中提供闪烁或闪光抑制。
CN201780085503.5A 2017-02-03 2017-10-06 用于跟踪、敌方火力指示、闪烁抑制以及其他应用的基于像素的事件检测的方法、装置及系统 Active CN110249616B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/424509 2017-02-03
US15/424,509 US10242268B2 (en) 2017-02-03 2017-02-03 Pixel-based event detection for tracking, hostile fire indication, glint suppression, and other applications
PCT/US2017/055506 WO2018144076A1 (en) 2017-02-03 2017-10-06 Pixel-based event detection for tracking, hostile fire indication, glint suppression, and other applications

Publications (2)

Publication Number Publication Date
CN110249616A true CN110249616A (zh) 2019-09-17
CN110249616B CN110249616B (zh) 2021-09-14

Family

ID=60201659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780085503.5A Active CN110249616B (zh) 2017-02-03 2017-10-06 用于跟踪、敌方火力指示、闪烁抑制以及其他应用的基于像素的事件检测的方法、装置及系统

Country Status (7)

Country Link
US (2) US10242268B2 (zh)
EP (1) EP3577892B1 (zh)
JP (1) JP6785978B2 (zh)
KR (1) KR102229306B1 (zh)
CN (1) CN110249616B (zh)
IL (1) IL266449B (zh)
WO (1) WO2018144076A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10540733B2 (en) * 2017-11-16 2020-01-21 The Boeing Company Frameless random-access image sensing
IT201900007225A1 (it) * 2019-05-24 2020-11-24 Fond Bruno Kessler Sensore di immagine a stato solido con fotomoltiplicatore distribuito ad elevata risoluzione spaziale
US11588987B2 (en) * 2019-10-02 2023-02-21 Sensors Unlimited, Inc. Neuromorphic vision with frame-rate imaging for target detection and tracking
US11467964B1 (en) * 2020-03-09 2022-10-11 Marvell Asia Pte Ltd Mergeable counter system and method
US11379370B1 (en) 2020-04-08 2022-07-05 Marvell Asia Pte Ltd System and methods for reducing global coherence unit snoop filter lookup via local memories
WO2022010456A1 (en) * 2020-07-06 2022-01-13 Hewlett-Packard Development Company, L.P. Event-based thermal camera system
BE1028950B9 (nl) * 2020-12-23 2023-10-09 Voxelsensors Srl Buurtgebonden geschakelde pixel-sensor
IL303703A (en) 2020-12-23 2023-08-01 Voxelsensors Srl Pixel sensor with switching gates in the neighborhood
US11496701B2 (en) 2021-03-29 2022-11-08 Raytheon Company Digital pixel comparator with bloom transistor frontend
US11894670B2 (en) 2021-09-21 2024-02-06 Raytheon Company High-energy suppression for infrared imagers or other imaging devices
US11843355B2 (en) 2022-02-04 2023-12-12 Raytheon Company High-energy suppression for capacitor transimpedance amplifier (CTIA)-based imagers or other imaging devices

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5200623A (en) * 1991-12-04 1993-04-06 Grumman Aerospace Corp. Dual integration circuit
JP2001333328A (ja) * 2000-05-18 2001-11-30 Sony Corp 撮像装置及び露光制御方法
US20070268396A1 (en) * 2006-05-11 2007-11-22 Seiko Epson Corporation Image pickup device and image pickup apparatus
US20080099689A1 (en) * 2006-10-31 2008-05-01 Einar Nygard Photon counting imaging detector system
US20100226495A1 (en) * 2007-10-29 2010-09-09 Michael Kelly Digital readout method and apparatus
US20100237252A1 (en) * 2009-03-20 2010-09-23 Liang Jin Method of high-energy particle imaging by computing a difference between sampled pixel voltages
CN101877768A (zh) * 2009-04-30 2010-11-03 索尼公司 固态成像装置及其驱动方法以及成像设备
CN101909157A (zh) * 2009-06-05 2010-12-08 比亚迪股份有限公司 在图像传感器中获得高动态范围图像的方法及图像传感器
CN102300050A (zh) * 2010-06-24 2011-12-28 索尼公司 图像处理装置、图像拾取装置、图像处理方法和程序
CN102740009A (zh) * 2012-07-16 2012-10-17 上海中科高等研究院 图像传感器及其像素读出方法
EP2582131A2 (en) * 2011-10-11 2013-04-17 Raytheon Company Method and apparatus for integrated sensor to provide higher resolution, lower frame rate and lower resolution, higher frame rate imagery simultaneously
CN103635828A (zh) * 2011-06-21 2014-03-12 皇家飞利浦有限公司 用传感器进行鲁棒且快速的存在检测的方法
CN103813110A (zh) * 2012-11-07 2014-05-21 恒景科技股份有限公司 超低读出噪声架构
US20150036005A1 (en) * 2013-07-31 2015-02-05 Michael W. Kelly Methods and apparatus for true high dynamic range imaging
US20150312464A1 (en) * 2014-04-25 2015-10-29 Himax Imaging Limited Multi-exposure imaging system and method for eliminating rolling shutter flicker

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5585942A (en) * 1991-06-20 1996-12-17 Canon Kabushiki Kaisha Image pickup apparatus
US6618117B2 (en) * 1997-07-12 2003-09-09 Silverbrook Research Pty Ltd Image sensing apparatus including a microcontroller
US7289154B2 (en) * 2000-05-10 2007-10-30 Eastman Kodak Company Digital image processing method and apparatus for brightness adjustment of digital images
US7349574B1 (en) * 2002-10-11 2008-03-25 Sensata Technologies, Inc. System and method for processing non-linear image data from a digital imager
US8179296B2 (en) * 2005-09-30 2012-05-15 The Massachusetts Institute Of Technology Digital readout method and apparatus
US7732769B2 (en) * 2005-11-08 2010-06-08 General Atomics Apparatus and methods for use in flash detection
US8354650B2 (en) * 2006-03-22 2013-01-15 Endicott Interconnect Technologies, Inc. Multi-window signal processing electronics architecture for photon counting with multi-element sensors
GB2439098A (en) * 2006-06-12 2007-12-19 Sharp Kk Image sensor and display
US20080218616A1 (en) * 2007-03-08 2008-09-11 Nokia Corporation Method and apparatus for video acquisition
JP4996323B2 (ja) * 2007-04-27 2012-08-08 株式会社東芝 ２次元デジタルデータ取得素子およびホログラフィックストレージ装置
US8285046B2 (en) * 2009-02-18 2012-10-09 Behavioral Recognition Systems, Inc. Adaptive update of background pixel thresholds using sudden illumination change detection
WO2013006188A1 (en) * 2011-07-01 2013-01-10 Schultz Kenneth I Methods and apparatus for in-pixel filtering in focal plane arrays
JP5917071B2 (ja) * 2011-09-30 2016-05-11 株式会社東芝 放射線測定器
JP6374869B2 (ja) * 2012-10-05 2018-08-15 ラムバス・インコーポレーテッド 条件付きリセットのマルチビット読み出しイメージセンサ
EP3047647B1 (en) * 2013-09-16 2020-05-27 Prophesee Dynamic, single photodiode pixel circuit and operating method thereof
JP6302350B2 (ja) * 2014-05-13 2018-03-28 日本放送協会 信号電荷のａ／ｄ変換回路、信号読み出し回路及び固体撮像素子

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5200623A (en) * 1991-12-04 1993-04-06 Grumman Aerospace Corp. Dual integration circuit
JP2001333328A (ja) * 2000-05-18 2001-11-30 Sony Corp 撮像装置及び露光制御方法
US20070268396A1 (en) * 2006-05-11 2007-11-22 Seiko Epson Corporation Image pickup device and image pickup apparatus
US20080099689A1 (en) * 2006-10-31 2008-05-01 Einar Nygard Photon counting imaging detector system
US20100226495A1 (en) * 2007-10-29 2010-09-09 Michael Kelly Digital readout method and apparatus
US20100237252A1 (en) * 2009-03-20 2010-09-23 Liang Jin Method of high-energy particle imaging by computing a difference between sampled pixel voltages
CN101877768A (zh) * 2009-04-30 2010-11-03 索尼公司 固态成像装置及其驱动方法以及成像设备
CN101909157A (zh) * 2009-06-05 2010-12-08 比亚迪股份有限公司 在图像传感器中获得高动态范围图像的方法及图像传感器
CN102300050A (zh) * 2010-06-24 2011-12-28 索尼公司 图像处理装置、图像拾取装置、图像处理方法和程序
CN103635828A (zh) * 2011-06-21 2014-03-12 皇家飞利浦有限公司 用传感器进行鲁棒且快速的存在检测的方法
EP2582131A2 (en) * 2011-10-11 2013-04-17 Raytheon Company Method and apparatus for integrated sensor to provide higher resolution, lower frame rate and lower resolution, higher frame rate imagery simultaneously
CN102740009A (zh) * 2012-07-16 2012-10-17 上海中科高等研究院 图像传感器及其像素读出方法
CN103813110A (zh) * 2012-11-07 2014-05-21 恒景科技股份有限公司 超低读出噪声架构
US20150036005A1 (en) * 2013-07-31 2015-02-05 Michael W. Kelly Methods and apparatus for true high dynamic range imaging
US20150312464A1 (en) * 2014-04-25 2015-10-29 Himax Imaging Limited Multi-exposure imaging system and method for eliminating rolling shutter flicker

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孙忠岩: "《像素内两次曝光组合的宽动态范围CMOS图像传感器》", 《万方数据》 *

Also Published As

Publication number Publication date
KR102229306B1 (ko) 2021-03-17
WO2018144076A1 (en) 2018-08-09
IL266449A (en) 2019-06-30
CN110249616B (zh) 2021-09-14
JP2020507974A (ja) 2020-03-12
EP3577892A1 (en) 2019-12-11
IL266449B (en) 2022-02-01
US10839229B2 (en) 2020-11-17
KR20190085960A (ko) 2019-07-19
US20190180113A1 (en) 2019-06-13
EP3577892B1 (en) 2020-09-30
JP6785978B2 (ja) 2020-11-18
US20180225521A1 (en) 2018-08-09
US10242268B2 (en) 2019-03-26

Similar Documents

Publication Publication Date Title
CN110249616A (zh) 用于跟踪、敌方火力指示、闪烁抑制以及其他应用的基于像素的事件检测
CN101726357B (zh) 烟检测装置
US7683934B2 (en) System and method for automatic camera health monitoring
JP5518359B2 (ja) 煙検出装置
KR100834763B1 (ko) 동적 촬영 대역의 확장을 위한 이미지 센서 및 화소에수광된 광량을 측정하는 방법
JP4729610B2 (ja) 煙検出装置
CN105409204B (zh) 用于避免像素饱和的方法
US9172913B1 (en) Automatic counter-surveillance detection camera and software
CN102510457A (zh) 一种保护视力的方法
US10445998B2 (en) Motion sensor for occupancy detection and intrusion detection
US10819914B2 (en) Illuminance sensor, proximity sensor, electronic device, and surveillance system
WO2021254673A3 (en) Object detection for event cameras
US20070230798A1 (en) Image Processing Apparatus and Method
JP5235718B2 (ja) 映像監視システム
CN103813138B (zh) 监视方法和摄像机
KR20140108789A (ko) 영상 감시 장치 및 영상 감시 방법
US20110304467A1 (en) Image monitoring device and method
JP2012084009A (ja) 画像センサ
US20150129745A1 (en) Structured lighting applications with high speed sampling
JP5063479B2 (ja) 不審物監視装置
Akutsu et al. Hierarchical Image Gathering Technique for Browsing Surveillance Camera Images
Kim et al. Study on Assessment Zone Setup Methodology for CCTV Systems at the Nuclear Power Plants
HU185567B (en) Method and circuit arrangement for eliminating faulty alarm caused by illumination or change of light,in particular to video motion sensors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant