CN109285124B - 相对于视频影像中的前景目标抑制背景杂波的装置和方法 - Google Patents
相对于视频影像中的前景目标抑制背景杂波的装置和方法 Download PDFInfo
- Publication number
- CN109285124B CN109285124B CN201810764663.9A CN201810764663A CN109285124B CN 109285124 B CN109285124 B CN 109285124B CN 201810764663 A CN201810764663 A CN 201810764663A CN 109285124 B CN109285124 B CN 109285124B
- Authority
- CN
- China
- Prior art keywords
- image
- clutter
- current image
- clutter suppression
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 195
- 230000008569 process Effects 0.000 claims abstract description 150
- 230000001629 suppression Effects 0.000 claims abstract description 136
- 238000012545 processing Methods 0.000 claims abstract description 23
- 230000004044 response Effects 0.000 claims abstract description 23
- 230000003111 delayed effect Effects 0.000 claims description 9
- 230000000977 initiatory effect Effects 0.000 claims 1
- 238000001914 filtration Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 16
- 238000001514 detection method Methods 0.000 description 12
- 230000010354 integration Effects 0.000 description 10
- 230000004807 localization Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Picture Signal Circuits (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
本申请公开了相对于视频影像中的前景目标抑制背景杂波的装置和方法。抑制包括前景目标和背景杂波的场景的视频影像中的背景杂波的方法包括:将视频影像的连续图像应用到杂波抑制处理,从而产生其中抑制了背景杂波的导出场景的视频影像。该过程包括处理当前图像以去除与照相机关联的固定模式噪声,以及将当前图像空间上重新配准到连续图像的参考图像中场景的固定地理位置或已知杂波模式。处理还包括使当前图像的独立副本经过具有不同时间常数的两个无限脉冲响应滤波器,以产生滤波的时间延迟的图像,并且差分滤波图像以减少背景杂波,由此产生当前图像的杂波抑制版本,在杂波抑制版本中,相对于前景目标抑制了背景杂波。
Description
技术领域
本公开总体上涉及成像和跟踪,并且具体地涉及视频影像中的背景杂波的抑制。
背景技术
成像和跟踪系统通常包括用于识别和跟踪物体的传感器。例如,某些传感器(诸如雷达系统)发出从物体反射并被系统接收的信号。其他传感器(诸如电光传感器)接收来自物体本身的电磁辐射信号。该领域的改进旨在改进这些传感器以使其更精准。
特别地,电光传感器通常使用望远镜以及检测红外(IR)辐射的焦平面阵列。用于在具有杂波的环境中进行自主光学检测的许多方法依赖于签名增强、形状匹配和运动检测的组合。这些方法试图利用在给定条件和场景下呈现的感兴趣物体与背景之间的差异。例如,大气、陆地背景和物体之间的大的温度差异可允许对连续检测器输出阵列进行自适应取阈(thresholding,门限)以产生一致的超过数,然后可以将这些超过数关联到高概率目标检测。性能均衡性(trade)产生有关检测和错误报警率概率相对传感器硬件、处理器架构和数据分析算法的要求。
在空间陆地监视的情况下,采用特定IR波段以最优地匹配已知的目标签名响应,同时抑制背景的那些响应。在某些情况下,使用多个波段来利用它们之间的响应差异,从而创建多通道数据集,基于多通道数据集将感兴趣物体与不需要的背景杂波区分开。
在低地球轨道范围下寻找小型(非分辨的)模糊(背景有限)目标的成本有效监视系统要求以目标信号积分、最大背景辐射水平和任务时间轴规定的帧速率进行不间断的扫描处理。要求通常受视线(LOS)速率和投影像素大小或地面样本距离(GSD)驱使。与这些类型的系统关联的检测限制效应涉及静态视场模式或固定噪声模式(FPN)、时间噪声(例如,热、光子散粒、数字读出等)和IR传感器中的检测器像素缺陷(不可操作像素),以及抑制与目标签名竞争的局部背景杂波结构。
在现有方法中,去除FPN要求校准步骤,在校准步骤中,估计当前模式。这通常涉及在没有输入的情况下产生“暗帧”,从而产生仅存在FPN分量的帧。由于FPN模式可以在大于检测处理间隔的时间范围内漂移,因此需要进行周期性FPN校准。在空间应用中,可以通过将传感器LOS指向空白空间并收集帧集合来产生暗帧,所述帧集合然后被平均为当前FPN的估计。该过程具有影响时间线连续性和操纵资源的效应。
检测器中的时间噪声通常通过帧积分来处理,帧积分趋于平均噪声,同时加强相对恒定的目标签名。有效的帧积分需要配准过程来关联恒定的背景模式。配准过程可以基于图像帧互相关或由导航单元数据进行。积分间隔(以及因此帧加法的次数)被设置为使得周期内的目标运动将其保持在其中可以累积其签名的配准像素内。结果将是已经降低了像素噪声的目标加背景图像帧。
目标签名现在必须与背景模式分离。这是通过减去没有目标的情况下出现在相同的配准和积分帧中的背景的局部估计来完成的。在实际情况中,第二积分帧是在稍微不同的时间处产生的,其中目标稍微将它们的位置移位到不同的像素中。差异帧现在指示存在移动目标作为由残余背景杂波环绕的共位双脉冲。
检测性能的关键是将残余杂波抑制到产生适合于检测和误报率要求的信噪比(SNR)的点。
发明内容
本公开的示例实现方式致力于用于相对于视频影像中的前景目标抑制背景杂波的改进的装置、方法和计算机可读存储介质。示例实现方式提供将静态结构解卷积与无限脉冲响应(IIR)帧积分和不可操作的像素抑制相结合地使用来模糊杂波中的目标检测的解决方案。在一些示例中,第一阶段以非常高的精度估计和去除FPN,作为消除对周期性暗帧校准的徐需要的正在进行的过程。IIR积分产生监视场景的像素噪声抑制估计以用于运动检测差分。基于在系统积分期间从检测器阵列测量的恒定不良像素图(bad pixel map,BPM),使用加权平均技术从估计过程去除不可操作的像素。
本公开的示例实现方式相比于现有技术在去除杂波影像中的FPN方面表现得更好。同样,与现有技术相比,运动补偿的IIR滤波在帧积分期间使用少得多的存储器,并且允许平行操作的不同积分时间常数,其分别集中于隔离图像的背景(杂波)、前景(目标)和FPN分量。其他方法使用更多的存储器并且不使用不同的时间常数以增强目标、背景和FPN的分离。此外,结合形态滤波使用统计过程而不是依靠要求外部校准的非均匀性校正(NUC),来识别并从图像中去除各个不良像素。对于IR照相机,校准随时间漂移,因此需要反复校准。示例实现方式是自动校准的,并且规避了对外部校准的需要。
本公开因此包括但不限于以下示例实现方式。
一些示例实现方式提供一种相对于视频影像中的前景目标抑制背景杂波的方法,所述方法包括:从移动平台上的照相机接收视频影像,所述视频影像是包括前景目标和背景杂波的场景,所述前景目标相对于背景杂波移动;将所述视频影像的连续帧的连续图像应用到杂波抑制处理,并从而产生导出场景的视频影像,在所述导出场景中,相对于所述前景目标抑制了所述背景杂波,所述杂波抑制处理包括:对于每个图像,当作为所述连续图像的当前图像时,处理所述视频影像的所述当前图像以去除与所述照相机关联的固定模式噪声;将所述当前图像空间上重新配准到所述连续图像的参考图像中的所述场景的固定地理位置或已知杂波模式;其后,使所述当前图像的独立副本经过具有不同时间常数的两个无限脉冲响应(IIR)滤波器,以产生相对于彼此时间延迟的滤波图像;对所述滤波图像进行差分以减少所述背景杂波,由此产生所述当前图像的杂波抑制版本,其中相对于所述前景目标抑制所述背景杂波;以及渲染所述导出场景的所述视频影像,包括所述连续图像的杂波抑制版本。
在先前或任何随后示例实现方式的方法的一些示例实现方式中或其任何组合中,处理所述当前图像包括确定所述固定模式噪声以用于从所述当前图像去除,并且确定所述固定模式噪声包括:使直到并包括所述当前图像的多个所述连续图像经过IIR低通滤波器以产生IIR滤波图像,其中所述背景杂波被平滑成区域局部化的平均值,其中所述固定模式噪声不变,所述IIR滤波图像包括所述当前图像的IIR滤波版本;利用空间卷积运算从所述IIR滤波图像和所述当前图像去除所述区域局部化的平均值;从所述当前图像的所述IIR滤波版本去除所述DC分量,以产生所述当前图像的DC去除的IIR滤波版本;以及将所述IIR滤波图像和所述当前图像与由此去除的所述区域局部化的平均值组合,从而产生缩放因子;以及使用所述缩放因子对所述当前图像的所述DC去除的IIR滤波版本进行标准化,以产生至少部分匹配所述当前图像中的所述固定模式噪声的所述固定模式噪声的无偏性估计。
在任何先前或任何随后示例实现方式的方法的一些示例实现方式中或其任何组合,处理所述当前图像包括:执行从所述当前图像中逐像素地减去所述固定模式噪声,并从而产生包含所述前景目标和所述背景杂波的经处理的图像,所述图像具有减少的固定模式噪声或没有固定模式噪声。
在任何先前或任何随后示例实现方式的方法的一些示例实现方式中或其任何组合,所述杂波抑制处理进一步包括将不良像素图应用到所述当前图像,以从其中的任何不良像素去除无效图像数据,作为所述当前图像的所述独立副本来应用的所述不良像素图经过所述两个IIR滤波器。
在任何先前或任何随后示例实现方式的方法的一些示例实现方式中或其任何组合,所述连续图像以规则间隔被应用到所述杂波抑制处理,并且对于所述连续图像中的每个,所述方法进一步包括通过所述场景的特定地理位置初始化所述杂波抑制处理,由此建立所述当前图像空间上重新配准到的所述参考图像和所述固定地理位置或已知杂波模式。
在任何先前或任何随后示例实现方式的方法的一些示例实现方式中或其任何组合,所述杂波抑制处理是相同但在不同时间交替初始化的两个平行杂波抑制处理中的一个,并且将所述连续图像应用到所述杂波抑制处理包括将所述连续图像分别和独立地应用到所述两个杂波抑制处理中的每个,以及其中所述方法进一步包括通过在所述两个杂波抑制处理之间交替切换来构造所述导出场景的所述视频影像。
在任何先前或任何随后示例实现方式或任何其组合的方法的一些示例实现方式中,以所述视频影像的多个帧的相应规则间隔将所述连续图像应用到所述两个杂波抑制处理,所述相应规则间隔具有所述帧数的分数的偏移,以及其中当所述两个杂波抑制处理中的任何一个初始化时,所述连续图像的所述杂波抑制版本的构造切换到所述两个杂波抑制处理中的另一个,在另一个中,所述两个IIR滤波器已经达到稳定状态。
一些示例实现方式提供一种用于相对于视频影像中的前景目标抑制背景杂波的装置,所述装置包括处理器,所述处理器被配置为使所述装置执行多个操作,包括使所述装置至少执行任何先前的示例实现方式的方法或其任何组合。
一些示例实现方式提供一种用于相对于视频影像中的前景目标抑制背景杂波的计算机可读存储介质,所述计算机可读存储介质是非暂时性的并且具有存储在其中的计算机可读程序代码部分,所述计算机可读程序代码部分响应于由处理器的执行,使装置至少执行任何先前的示例实现方式的方法或其任何组合。
通过阅读以下详细描述以及下面简要描述的附图,本公开的这些和其他特征、方面和优点将变得显而易见。本公开包括在本公开中阐述的两个、三个、四个或更多个特征或要素的任何组合,而不管这些特征或要素是否在本文描述的特定示例实现方式中被明确地组合或另外引用。本公开旨在从整体上阅读,使得在其方面和示例实现方式的任一个中本公开的任何可分离特征或元素应被视为可组合,除非本公开的上下文明确指出不同。
因此,应该理解,提供本发明内容仅仅是为了总结一些示例实现方式的目的,以便提供对本公开的一些方面的基本理解。因此,应该理解,上述示例实现方式仅仅是示例,并且不应该被解释为以任何方式缩小本公开的范围或精神。根据以下结合附图进行的详细描述,其他示例实现方式、方面和优点将变得显而易见,所述附图通过示例示出了一些描述的示例实现方式的原理。
附图说明
已经以一般术语描述了本公开的示例实现方式,现在将参考附图,所述附图不一定按比例绘制,并且其中:
图1示意性示出根据本公开的示例实现方式的杂波抑制系统;
图2是根据一些示例实现方式的杂波抑制处理的功能框图;
图3是包括相同但在不同时间交替初始化的两个平行杂波抑制处理的另一个示例实现方式的功能框图;
图4示出根据一些示例实现方式的图3的两个杂波抑制处理之间的定时;
图5示出根据一些示例实现方式包括相对于视频影像中的前景目标抑制背景杂波的方法的各种操作的流程图;以及
图6示出根据一些示例实现方式的可对应于计算装置的装置。
具体实施方式
现在将在下文中参考附图更全面地描述本公开的一些实现方式,其中示出本公开的一些但不是全部的实现方式。实际上,本公开的各种实现方式可以以许多不同的形式来体现,并且不应该被解释为限于在本文阐述的实现方式;相反,提供这些示例实现方式以使得本公开是详尽的和完整的,并且将本公开的范围完整地传达给本领域技术人员。例如,除非另外指明,否则将某物引用为第一、第二等不应被解释为暗示特定的顺序。此外,例如,可以在本文参考定量度量、值、关系等。除非另有说明,否则这些中的任何一个或多个(如果不是全部的话)的这种陈述可以是绝对的或近似的,以说明可发生的可接受的变化,诸如由于工程公差等引起的变化。此外,应该理解,在一些示例中执行的步骤、操作或功能可以是任选的,或者甚至在其他示例中可以省略。相同的附图标记始终指代相同的元件。
本公开的示例实现方式致力于成像和跟踪,并且具体地涉及抑制视频影像中的杂波,并且由此使得能够检测以其他方式非常模糊或以其他方式被杂波遮蔽的难以检测的目标。示例实现方式是自动校准的,并且从而避免对照相机的外部校准的需要。在一些应用中,诸如基于空间的监视应用,这可以极大地节省专用于照相机校准的时间和资源。此外,示例实现方式利用了这样的计算方法,其需要比其他移动目标指示符(MTI)方法少得多的存储器,并且可以在现有空间适用的硬件上实现。这种存储器利用优点可以在基于空间的应用中大大节省尺寸、重量和功率(SWaP)。
图1示意性示出根据本公开的示例实现方式的杂波抑制系统100。如所示出,在一些示例中,杂波抑制系统包括固定安装到可移动平台104的图像感测设备,诸如焦平面阵列(FPA)102。合适的可移动平台的示例包括交通工具,诸如陆地交通工具(地面交通工具)、轨道交通工具、飞机(空中交通工具)、航天器、船只等。合适的可移动平台的其他示例包括卫星、导弹、高级杀伤交通工具等。
在一些示例中,FPA 102是照相机106的部件或者是还包括一组光学器件108的其他光学传感器。例如,一组光学器件可以是望远镜的一部分并且包括一个或多个透镜、反射器等。FPA可以包括检测器的物理阵列,所述阵列被配置为检测通过一组光学器件聚焦的红外或其他波长,并且生成焦平面阵列数据,或者更具体地指示所述焦平面阵列数据的视频影像。例如,焦平面阵列的检测器可以包括长波段检测器和/或短波段检测器,但是也可以使用其他类型的检测器,诸如可见光检测器。
还如所示,在一些示例中,杂波抑制系统100包括与照相机106通信的计算装置110,并且通常被配置为相对于来自照相机的视频影像中的前景目标抑制背景杂波。计算装置被配置为产生导出场景的视频影像,在导出场景中,相对于前景目标抑制了背景杂波,并且计算装置提供导出场景的视频影像以供目标检测处理器112接收,由显示器114呈现和/或存储在非易失性存储器116中,显示器114和/或非易失性存储器116中的任何一个或多个可以与计算装置集成或与计算装置分离。计算装置包括一个或多个部件(诸如处理器118)中的每个的一个或多个,其一个合适的示例是现场可编程门阵列(FPGA)。下面将更详细地描述根据各种示例实现方式的合适的计算装置。
根据本公开的示例实现方式,处理器118被配置为使计算装置110(有时更简单地称为“装置”)执行多个操作。就这一点而言,使装置从可移动(或移动)平台104上的照相机106接收视频影像。视频影像是包括前景目标和背景杂波的场景,所述前景目标相对于背景杂波移动。使得装置将视频影像的连续帧的连续图像应用到杂波抑制处理,并从而产生导出场景的视频影像,在导出场景中,相对于前景目标抑制背景杂波。并且使得装置提供导出场景的视频影像,包括连续图像的杂波抑制版本。
图2是根据本公开的一些示例实现方式的杂波抑制处理200的功能框图。在一些示例中,照相机106被配置成以运动扫描场景的已知恒定帧速率生成图像帧,所述运动扫描场景包括前景目标;背景杂波,其中前景相对于背景移动;以及由以图像帧作为参照物固定的恒定几何强度模式组成的不期望的固定模式噪声(FPN)。根据示例实现方式,杂波抑制处理包括对于每个图像,当作为连续图像的当前图像时,使得装置110至少处理视频影像的当前图像202以去除与照相机关联的FPN 204。这可以包括使装置执行从当前图像逐个像素地减去206FPN,并从而产生包含前景目标和背景杂波的经处理的图像,所述图像不具有FPN。
还如图所示,杂波抑制处理200包括使装置110对当前图像进行空间上重新配准208到连续图像的参考图像中场景的固定地理位置或已知杂波模式(pattern,样式),在一些示例中已知杂波模式是对应于固定地理位置的地形。在一些示例中,连续图像以规则间隔被应用到杂波抑制处理,并且对于每个规则间隔,进一步使装置110通过场景的特定地理位置初始化杂波抑制处理200,并由此在当前图像空间上重新配准208到的固定地理位置或已知杂波模式处建立参考图像。可以在初始化(或重新初始化)杂波抑制处理时,通过线性移位内插将当前图像(去除FPN的图像)重新配准到惯性帧。可以使用来自可移动平台104的引导信息和图像相关性的组合来执行该移位配准处理,以实现维持未解析的前景目标的空间完整性所需的准确的子像素配准。
在空间重新配准208之后,杂波抑制处理200包括使得装置110让当前图像的独立副本经过具有不同时间常数τ1,τ2的两个无限脉冲响应(IIR)滤波器210a、210b,以产生相对于彼此时间延迟的滤波图像。以这种方式,当前图像的独立副本之间的背景杂波可以几乎相同,而前景目标的位置在副本之间具有位置稍微偏移。在一些示例中,杂波抑制处理进一步包括使得装置110将不良像素图(BPM)212应用到当前图像,以移除来自其中的任何不良像素的无效图像数据。在这些示例中,随着当前图像的独立副本经过两个IIR滤波器,应用BPM。进一步使得装置对滤波图像进行差分214以减少背景杂波,并由此产生当前图像的杂波抑制版本216,在杂波抑制版本216中,相对于前景目标抑制了背景杂波。在一些示例中,以逐个像素方式对两个IIR滤波图像进行差分从而消去背景杂波,同时使位置移位的前景目标不变。
在一些示例中,使得装置110处理当前图像202以去除FPN 204包括使装置确定FPN以从当前图像去除。更具体地,在一些示例中,使得装置确定FPN包括使装置让直到并包括当前图像的多个连续图像至少通过IIR低通滤波器以产生IIR滤波图像,在IIR滤波图像中,背景杂波被平滑成区域局部化平均值,其中FPN不变。IIR滤波图像包括当前图像的IIR滤波版本。
在以上示例中,确定FPN还包括使得装置110利用空间卷积运算从IIR滤波图像和当前图像去除区域局部化平均值。进一步使得装置从当前图像的IIR滤波版本去除DC分量,以产生当前图像的DC去除的IIR滤波版本。在一些示例中,空间卷积利用根据FPN的已知几何结构选择的卷积核。使得装置将IIR滤波图像和当前图像与如此去除的区域局部化平均值组合,从而产生缩放因子。使得装置使用缩放因子对当前图像的DC去除的IIR滤波版本进行标准化,以产生至少部分(如果不是最佳)匹配(在最小平方意义上)当前图像中的FPN的FPN的无偏差性估计。
由于当前图像在IIR滤波器实现的过程中被重新配准208到单个静态地理位置,所以杂波抑制处理200可以具有有限的有效持续时间。为了考虑平台104的移动,在一些另外的示例中,杂波抑制处理200是相同的但在不同时间交替初始化的两个平行杂波抑制处理中的一个。这在图3中示出,图3示出包括平行杂波抑制处理200a、200b的示例实现方式300。在这些另外的示例中,促使装置110将连续图像应用到杂波抑制处理包括使装置将连续图像分别和独立地应用到两个杂波抑制处理中的每个。此外,在这些示例中,处理器118进一步被配置为促使装置通过在两个杂波抑制处理之间交替切换302来构造导出场景的视频影像。
在一些另外的示例中,以视频影像的多个帧的各个规则间隔将连续图像应用于两个杂波抑制处理200a、200b,所述各个规则间隔具有帧数的分数的偏移。在一些另外的示例中,当两个杂波抑制处理中的任何一个初始化304时,则使得构造连续图像的杂波抑制版本的装置110包括到两个杂波抑制处理中的另一个的开关302,其中210a或210b内的两个IIR滤波器已经达到稳定状态。
以上交替切换在图3中通过相反相位定时标志306示出,所述相反相位定时标志306由帧数触发并相反地使得两个杂波抑制处理200a、200b中的一个重新初始化,并且使得两个杂波抑制处理中的另一个(具有稳定状态IIR滤波器)输出连续图像的杂波抑制版本以用于提供。那么,在一些示例中,两个杂波抑制处理中的每个具有N个帧的持续时间(例如,N=150)。两个处理中的每个在N个帧之后重新初始化,但是相反相位定时标志清除并且在N的某个分数(例如,N/2)之后经由处理切换重新初始化两个处理中的一个。以这种方式,两个处理中切换到输出的一个已经实现了用于当前场景提供的稳定状态IIR操作。
为了进一步示出以上的示例实现方式,图4示出两个杂波抑制处理之间的定时,两个杂波抑制处理中的一个重新初始化并将其IIR滤波器构建为稳定状态(有效),而两个杂波抑制处理中的另一个已经实现了稳定状态(有效)并输出用于提供的杂波抑制版本,根据一些示例,从移动(可移动)平台104上的照相机106接收两个图像。
图5示出根据本公开的一些示例实现方式的包括相对于视频影像中的前景目标抑制背景杂波的方法500的各种操作的流程图。如在方框502处示出,方法包括从移动平台104上的照相机106接收视频影像。视频影像是包括前景目标和背景杂波的场景,所述前景目标相对于背景杂波移动。如在504处示出,方法包括将视频影像的连续帧的连续图像应用到杂波抑制处理,从而产生导出场景的视频影像,在导出场景中,相对于前景目标抑制背景杂波。如在方框506处示出,方法包括渲染导出场景的视频影像,导出场景包括连续图像的杂波抑制版本。
在504处的杂波抑制处理包括对于每个图像,当图像是连续图像的当前图像时,处理视频影像的当前图像以去除与照相机关联的固定模式噪声,如在方框508处所示。处理包括将当前图像空间上重新配准到连续图像的参考图像中的场景的固定地理位置或已知杂波模式(例如,对应于场景的固定地理位置的地形),如在方框510处所示。此后,处理包括使当前图像的独立副本经过具有不同时间常数的两个无限脉冲响应(IIR)滤波器,以产生相对于彼此时间延迟的滤波图像,如在方框512处所示。处理包括对滤波图像进行差分以减少背景杂波,由此产生当前图像的杂波抑制版本,在当前图像的杂波抑制版本中,相对于前景目标抑制背景杂波,如在方框514处所示。
如以上所解释,计算装置110包括一个或多个部件(诸如处理器118)中的各个的一个或多个,处理器的一个合适的示例是FPGA。在一些示例中,针对大部分图像处理使用FPGA实现处理器,这是因为它们具备快速和有效地执行许多图像处理操作的能力。这种类型的硬件实现方式非常适合高速视频影像中的实时杂波抑制,但它不是唯一可能的硬件实现方式。实际上,可以通过各种方式实现计算装置,包括以硬件形式、单独地或在来自计算机可读存储介质的一个或多个计算机程序的引导下。在一些示例实现方式中,计算装置包括并广泛使用图形处理单元(GPU),所述图形处理单元被设计为并行处理许多坐标变换并因此是自然适合的。
在一些示例中,可以提供一个或多个装置,所述装置被配置为用作或以其他方式实现在本文示出和描述的计算装置110。在涉及多于一个装置的示例中,各个装置可以以多种不同的方式(诸如经由有线或无线网络等直接地或间接地)连接到彼此或者可以另外地彼此通信。
图6更具体地示出在一些示例中可对应于计算装置110的装置600。通常,本公开的示例实现方式的装置可以包括、包含或实施在一个或多个固定或便携式电子设备中。合适的电子设备的示例包括智能电话、平板计算机、膝上型计算机、台式计算机、工作站计算机、服务器计算机等。装置可以包括多个部件中的各个的一个或多个,诸如连接到存储器604(例如,存储设备)的处理器602(例如,处理器118)。
处理器602通常是能够处理信息的任何计算机硬件,信息诸如以数据、计算机程序和/或其他合适电子信息为例。处理器由电子电路的集合组成,电子电路中的一些可被封装为集成电路或多个互连集成电路(集成电路有时更通常地被称为“芯片”)。处理器可以被配置为执行计算机程序,所述计算机程序可被存储在处理器上或以其他方式存储在(相同或另一个装置的)存储器604中。
处理器602可以是多个处理器、多处理器核或一些其他类型的处理器,这取决于特定实现方式。进一步地,可以使用多个异构处理器系统实现处理器,其中主处理器与一个或多个辅助处理器位于单个芯片上。作为另一个说明性示例,处理器可以是包含相同类型的多个处理器的对称多处理器系统。在又一个示例中,处理器可被实现为或者以其他方式包括一个或多个专用集成电路(ASIC)、FPGA等。因此,尽管处理器能够执行计算机程序以执行一个或多个功能,但是各种示例的处理器能够在不借助于计算机程序的情况下执行一个或多个功能。
存储器604通常是能够临时和/或永久存储信息的任何计算机硬件,信息诸如以数据、计算机程序(例如,计算机可读程序代码606)和/或其它合适信息为例。存储器可以包括易失性和/或非易失性存储器,并且可以是固定的或可移除的。合适的存储器的示例包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘驱动器、闪存、拇指驱动器、可移除计算机磁盘、光盘、磁带或上述的某种组合。光盘可以包括光盘只读存储器(CD-ROM)、光盘读/写(CD-R/W)、DVD等。在各种情况下,存储器可以被称为计算机可读存储介质。计算机可读存储介质是能够存储信息的非暂时性设备,并且可与计算机可读传输介质(诸如能够将信息从一个位置传送到另一个位置的电子暂时信号)区分开。如本文描述的计算机可读介质通常可以指计算机可读存储介质或计算机可读传输介质。
除了存储器之外,处理器还可以连接到用于显示、传输和/或接收信息的一个或多个接口。接口可以包括通信接口608(例如,通信单元)和/或一个或多个用户接口。通信接口可被配置为传输和/或接收信息,诸如将信息传输到其他装置(多个装置)、网络(多个网络)等和/或自其他装置(多个装置)、网络(多个网络)等接收信息。通信接口可被配置为通过物理(有线)和/或无线通信链路传输和/或接收信息。合适的通信接口的示例包括网络接口控制器(NIC)、无线NIC(WNIC)等。
用户接口可以包括显示器610(例如,显示器114)和/或一个或多个用户输入接口612(例如,输入/输出单元)。显示器可被配置为向用户呈现或以其他方式显示信息,所述显示器的合适示例包括液晶显示器(LCD)、发光二极管显示器(LED)、等离子显示面板(PDP)等。
用户输入接口612可以是有线或无线的,并且可被配置为将来自用户的信息接收到装置中,诸如用于处理、存储和/或显示。用户输入接口的合适示例包括麦克风、图像或视频捕获设备、键盘或小键盘、操纵杆、触敏表面(与触摸屏分离或集成到触摸屏)、生物传感器等。用户接口还可以包括用于与外围设备(诸如打印机、扫描仪等)进行通信的一个或多个接口。
如上所述,程序代码指令可被存储在存储器中,并且由处理器执行,以实现本文描述的系统、子系统和它们各自的元件的功能。应该理解,可以从计算机可读存储介质将任何合适的程序代码指令加载到计算机或其他可编程装置上以产生特定的机器,使得特定的机器成为用于实现本文所说明的功能的装置。这些程序代码指令还可被存储在计算机可读存储介质中,所述计算机可读存储介质可以引导计算机、处理器或其他可编程装置以特定方式运行以产生特定的机器或特定的制造物品。存储在计算机可读存储介质中的指令可以产生制造物品,其中制造物品成为用于实现本文描述的功能的装置。可以从计算机可读存储介质检索程序代码指令并将其加载到计算机、处理器或其他可编程装置中,以将计算机、处理器或其他可编程装置配置为执行将在计算机、处理器或其他可编程装置上执行或由计算机、处理器或其他可编程装置执行的操作。
可以顺次地执行程序代码指令的检索、加载和执行,使得一次检索、加载和执行一个指令。在一些示例实现方式中,可以并行地执行检索、加载和/或执行,使得多个指令的检索、加载和/或执行一起进行。程序代码指令的执行可以引起计算机实现的过程,使得由计算机、处理器或其他可编程装置执行的指令提供用于实现在本文中描述的功能的操作。
通过处理器执行放入指令或者存储在计算机可读存储介质中的指令支持用于执行指定功能的操作的组合。以这种方式,装置600可以包括处理器602以及耦接到处理器的计算机可读存储介质或存储器604,其中处理器被配置为执行存储在存储器中的计算机可读程序代码606。还将理解的是,可以通过执行指定功能的基于专用硬件的计算机系统和/或处理器,或者专用硬件和程序代码指令的组合实现一个或多个功能以及功能的组合。
进一步地,本公开包括根据以下项的实施例:
项1一种用于相对于视频影像中的前景目标抑制背景杂波的装置,所述装置包括:
处理器,所述处理器被配置为至少:
从移动平台上的照相机接收视频影像,所述视频影像是包括前景目标和背景杂波的场景,所述前景目标相对于所述背景杂波移动;
将所述视频影像的连续帧的连续图像应用到杂波抑制处理,并从而产生相对于所述前景目标抑制了所述背景杂波的导出场景的视频影像,其中,所述杂波抑制处理包括:对于每个图像,当为所述连续图像的当前图像时,所述处理器被配置为至少:
处理所述视频影像的所述当前图像以去除与所述照相机关联的固定模式噪声;
将所述当前图像空间上重新配准到所述连续图像的参考图像中的所述场景的固定地理位置或已知杂波模式;其后,
使所述当前图像的独立副本经过具有不同时间常数的两个无限脉冲响应(IIR)滤波器,以产生相对于彼此时间延迟的滤波图像;
对经滤波的图像进行差分以减少所述背景杂波,由此产生所述当前图像的杂波抑制版本,在所述杂波抑制版本中,相对于所述前景目标抑制所述背景杂波;以及
提供包括所述连续图像的杂波抑制版本的所述导出场景的所述视频影像。
项2根据项1所述的装置,其中所述处理器被配置为处理所述当前图像包括所述处理器被配置为确定用于从所述当前图像去除的所述固定模式噪声,并且所述处理器被配置为确定所述固定模式噪声包括被配置为至少:
使直到并包括所述当前图像的多个所述连续图像经过IIR低通滤波器以产生IIR滤波图像,在所述IIR滤波图像中,所述背景杂波被平滑成区域局部化的平均值,其中所述固定模式噪声不变,所述IIR滤波图像包括所述当前图像的IIR滤波版本;
利用空间卷积运算从所述IIR滤波图像和所述当前图像去除所述区域局部化的平均值;
从所述当前图像的所述IIR滤波版本去除所述DC分量,以产生所述当前图像的DC去除的IIR滤波版本;以及
将所述IIR滤波图像和所述当前图像与如此去除的所述区域局部化的平均值组合,从而产生缩放因子;以及
使用所述缩放因子对所述当前图像的所述DC去除的IIR滤波版本标准化,以产生至少部分匹配所述当前图像中的所述固定模式噪声的所述固定模式噪声的无偏差估计。
项3根据项1-2中任一项所述的装置,其中所述处理器被配置为处理所述当前图像包括被配置为从所述当前图像逐像素地减去所述固定模式噪声,从而产生包含所述前景目标和所述背景杂波的经处理的图像,所述图像具有减少的固定模式噪声或没有固定模式噪声。
项4根据项1-3中任一项所述的装置,其中所述杂波抑制处理进一步包括所述处理器被配置为将不良像素图应用到所述当前图像,以从其中的任何不良像素去除无效图像数据,作为所述当前图像的所述独立副本应用的所述不良像素图经过所述两个IIR滤波器。
项5根据项1-4中任一项所述的装置,其中,所述连续图像以规则间隔应用到所述杂波抑制处理,并且对于所述连续图像中的每个,所述处理器进一步被配置为通过所述场景的特定地理位置初始化所述杂波抑制处理,由此建立所述参考图像和所述固定地理位置或已知杂波模式,其中所述当前图像空间上重新配准到所述参考图像和所述固定地理位置或已知杂波模式。
项6根据项5所述的装置,其中,所述杂波抑制处理是相同但在不同时间交替初始化的两个平行杂波抑制处理中的一个,并且所述处理器被配置为将所述连续图像应用到所述杂波抑制处理包括被配置为将所述连续图像分别和独立地应用到所述两个杂波抑制处理中的每个,以及
其中,所述处理器进一步被配置为通过在所述两个杂波抑制处理之间交替切换来构造(compose)所述导出场景的所述视频影像。
项7根据项6所述的装置,其中,以所述视频影像的多个帧的相应规则间隔将所述连续图像应用到所述两个杂波抑制处理,所述相应规则间隔具有所述帧数的分数的偏移,以及
其中,当所述两个杂波抑制处理中的任何一个初始化时,处理器被配置为构造所述连续图像的所述杂波抑制版本包括切换到所述两个IIR滤波器已经达到稳定状态的所述两个杂波抑制处理中的另一个。
项8一种相对于视频影像中的前景目标抑制背景杂波的方法,所述方法包括:
从移动平台上的照相机接收视频影像,所述视频影像是包括前景目标和背景杂波的场景,所述前景目标相对于所述背景杂波移动;
将所述视频影像的连续帧的连续图像应用到杂波抑制处理,从而产生导出场景的视频影像,在导出场景中,相对于所述前景目标抑制了所述背景杂波,所述杂波抑制处理包括:对于每个图像,当为所述连续图像的当前图像时,
处理所述视频影像的所述当前图像以去除与所述照相机关联的固定模式噪声;
将所述当前图像空间上重新配准到所述连续图像的参考图像中的所述场景的固定地理位置或已知杂波模式;其后,
使所述当前图像的独立副本经过具有不同时间常数的两个无限脉冲响应(IIR)滤波器,以产生相对于彼此时间延迟的滤波图像;
对所述滤波图像进行差分以减少所述背景杂波,由此产生所述当前图像的杂波抑制版本,在杂波抑制版本中,相对于所述前景目标抑制所述背景杂波;以及
提供包括所述连续图像的杂波抑制版本的所述导出场景的所述视频影像。
项9根据项8所述的方法,其中,处理所述当前图像包括确定所述固定模式噪声以用于从所述当前图像去除,并且确定所述固定模式噪声包括:
使直到并包括所述当前图像的多个所述连续图像经过IIR低通滤波器以产生IIR滤波图像,在IIR滤波图像中,所述背景杂波被平滑成区域局部化的平均值,其中所述固定模式噪声不变,所述IIR滤波图像包括所述当前图像的IIR滤波版本;
利用空间卷积运算从所述IIR滤波图像和所述当前图像去除所述区域局部化的平均值;
从所述当前图像的所述IIR滤波版本去除所述DC分量,以产生所述当前图像的DC去除的IIR滤波版本;以及
将所述IIR滤波图像和所述当前图像与如此去除的所述区域局部化的平均值组合,从而产生缩放因子;以及
使用所述缩放因子对所述当前图像的所述DC去除的IIR滤波版本标准化,以产生至少部分匹配所述当前图像中的所述固定模式噪声的所述固定模式噪声的无偏差估计。
项10根据项8-9中任一项所述的方法,其中,处理所述当前图像包括执行从所述当前图像逐像素减去所述固定模式噪声,并从而产生包含所述前景目标和所述背景杂波的经处理的图像,所述经处理的图像具有减少的固定模式噪声或没有固定模式噪声。
项11根据项8-10中任一项所述的方法,其中,所述杂波抑制处理进一步包括将不良像素图应用到所述当前图像,以从其中的任何不良像素去除无效图像数据,作为所述当前图像的所述独立副本应用的所述不良像素图经过所述两个IIR滤波器。
项12根据项8-11中任一项所述的方法,其中,所述连续图像以规则间隔被应用到所述杂波抑制处理,并且对于所述连续图像中的每个,所述方法进一步包括通过所述场景的特定地理位置初始化所述杂波抑制处理,由此建立所述当前图像空间上重新配准到的所述参考图像和所述固定地理位置或已知杂波模式。
项13根据项12所述的方法,其中,所述杂波抑制处理是相同但在不同时间交替初始化的两个平行杂波抑制处理中的一个,并且将所述连续图像应用到所述杂波抑制处理包括将所述连续图像分离和独立地应用到所述两个杂波抑制处理中的每个,以及
其中,所述方法进一步包括通过在所述两个杂波抑制处理之间交替切换来构造所述导出场景的所述视频影像。
项14根据项13所述的方法,其中,以所述视频影像的多个帧的相应规则间隔将所述连续图像应用到所述两个杂波抑制处理,所述相应规则间隔具有所述帧数的分数的偏移,以及
其中,当所述两个杂波抑制处理中的任何一个初始化时,构造所述连续图像的所述杂波抑制版本切换到所述两个IIR滤波器已经达到稳定状态的所述两个杂波抑制处理中的另一个。
项15一种用于相对于视频影像中的前景目标抑制背景杂波的计算机可读存储介质,所述计算机可读存储介质是非暂时性的并且具有存储在其中的计算机可读程序代码部分,所述计算机可读程序代码部分响应于处理器的执行,使得装置至少:
从移动平台上的照相机接收视频影像,所述视频影像是包括前景目标和背景杂波的场景,所述前景目标相对于所述背景杂波移动;
将所述视频影像的连续帧的连续图像应用到杂波抑制处理,并从而产生导出场景的视频影像,在导出场景中,相对于所述前景目标抑制所述背景杂波,所述杂波抑制处理包括:对于每个图像,当为所述连续图像的当前图像时,使得所述装置至少:
处理所述视频影像的所述当前图像以去除与所述照相机关联的固定模式噪声;
将所述当前图像空间上重新配准到所述连续图像的参考图像中的所述场景的固定地理位置或已知杂波模式;其后,
使所述当前图像的独立副本经过具有不同时间常数的两个无限脉冲响应(IIR)滤波器,以产生相对于彼此时间延迟的滤波图像;
对所述滤波图像进行差分以减少所述背景杂波,由此产生所述当前图像的杂波抑制版本,在所述杂波抑制版本中,相对于所述前景目标抑制所述背景杂波;以及
提供包括所述连续图像的杂波抑制版本的所述导出场景的所述视频影像。
项16根据项15所述的计算机可读存储介质,其中,使得所述装置处理所述当前图像包括使得所述装置确定所述固定模式噪声以从所述当前图像去除,并且使得所述装置确定所述固定模式噪声包括使得至少:
使直到并包括所述当前图像的多个所述连续图像经过IIR低通滤波器以产生IIR滤波图像,其中所述背景杂波被平滑成区域局部化的平均值,其中所述固定模式噪声不变,所述IIR滤波图像包括所述当前图像的IIR滤波版本;
利用空间卷积运算从所述IIR滤波图像和所述当前图像去除所述区域局部化的平均值;
从所述当前图像的所述IIR滤波版本去除所述DC分量,以产生所述当前图像的DC去除的IIR滤波版本;以及
将所述IIR滤波图像和所述当前图像与如此去除的所述区域局部化的平均值组合,从而产生缩放因子;以及
使用所述缩放因子对所述当前图像的所述DC去除的IIR滤波版本标准化,以产生至少部分匹配所述当前图像中的所述固定模式噪声的所述固定模式噪声的无偏差估计。
项17根据项15-16中任一项所述的计算机可读存储介质,其中使得所述装置处理所述当前图像包括使得执行从所述当前图像逐像素减去所述固定模式噪声,并从而产生包含所述前景目标和所述背景杂波的经处理的图像,所述图像具有减少的固定模式噪声或没有固定模式噪声。
项18根据权利要求15-17中任一项所述的计算机可读存储介质,其中,所述杂波抑制处理进一步包括使得所述装置将不良像素图应用到所述当前图像,以从其中的任何不良像素去除无效图像数据,作为所述当前图像的所述独立副本应用的所述不良像素图经过所述两个IIR滤波器。
项19根据项15-18中任一项所述的计算机可读存储介质,其中所述连续图像以规则间隔被应用到所述杂波抑制处理,并且对于所述连续图像中的每个,进一步使得所述装置通过所述场景的特定地理位置初始化所述杂波抑制处理,由此建立所述当前图像空间上重新配准到的所述参考图像和所述固定地理位置或已知杂波模式。
项20根据项19所述的计算机可读存储介质,其中,所述杂波抑制处理是相同但在不同时间交替初始化的两个平行杂波抑制处理中的一个,并且使得所述装置将所述连续图像应用到所述杂波抑制处理包括使得将所述连续图像分离和独立地应用到所述两个杂波抑制处理中的每个,以及
其中所述计算机可读存储介质具有存储在其中的计算机可读程序代码部分,所述计算机可读程序代码部分响应于所述处理器的执行而使所述装置通过在所述两个杂波抑制处理之间交替地切换来进一步构造所述导出场景的视频影像。
项21根据项20所述的计算机可读存储介质,其中,以所述视频影像的多个帧的相应规则间隔将所述连续图像应用到所述两个杂波抑制处理,所述相应规则间隔具有所述帧数的分数的偏移,以及
其中,当所述两个杂波抑制处理中的任何一个初始化时,使得所述装置构造所述连续图像的所述杂波抑制版本包括到所述两个IIR滤波器已经达到稳定状态的所述两个杂波抑制处理中的另一个的切换。
受益于前述说明书和相关附图中呈现的教导的本公开所属领域的技术人员将想到本文阐述的本公开的许多修改和其他实现。因此,应该理解是,本公开不限于所公开的具体实现,并且修改和其他实现旨在被包括在所附权利要求的范围内。此外,尽管前述描述和相关附图在元件和/或功能的某些示例组合的上下文中描述了示例实现方式,但应当理解,可在不脱离所附权利要求范围的情况下通过替代实施来提供元件和/或功能的不同组合。就这一点而言,例如,还可以考虑不同于以上明确描述的那些的元件和/或功能的组合,如可在所附权利要求的一些中阐述的。尽管在本文使用了特定术语,但它们仅在概括和描述意义上而非出于限制目的被使用。
Claims (12)
1.一种用于相对于视频影像中的前景目标抑制背景杂波的装置,所述装置包括:
处理器,所述处理器被配置为至少:
从移动平台上的照相机接收视频影像,所述视频影像是包括前景目标和背景杂波的场景,所述前景目标相对于所述背景杂波移动;
将所述视频影像的连续帧的连续图像应用到杂波抑制处理,从而产生导出场景的视频影像,在所述导出场景中,相对于所述前景目标抑制了所述背景杂波,所述杂波抑制处理包括:
对于每个图像,当为所述连续图像的当前图像时,所述处理器被配置为至少:
处理所述视频影像的所述当前图像以去除与所述照相机关联的固定模式噪声;
将所述当前图像空间上重新配准到所述连续图像的参考图像中所述场景的固定地理位置或已知杂波模式;之后,
使所述当前图像的独立副本经过具有不同时间常数的两个无限脉冲响应(IIR)滤波器,以产生相对于彼此时间延迟的滤波图像;
对所述滤波图像进行差分以减少所述背景杂波,由此产生所述当前图像的杂波抑制版本,在所述杂波抑制版本中,相对于所述前景目标抑制了所述背景杂波;以及
提供包括所述连续图像的杂波抑制版本的所述导出场景的所述视频影像,
其中,所述连续图像以规则间隔应用到所述杂波抑制处理,并且对于所述连续图像中的每个,所述处理器进一步被配置为通过所述场景的特定地理位置初始化所述杂波抑制处理,由此建立所述当前图像空间上重新配准到的所述固定地理位置或所述已知杂波模式,
其中,所述杂波抑制处理是相同但在不同时间交替初始化的两个平行杂波抑制处理中的一个,并且所述处理器被配置为将所述连续图像应用到所述杂波抑制处理包括被配置为将所述连续图像分离和独立地应用到所述两个平行杂波抑制处理中的每个,以及
其中,所述处理器进一步被配置为通过在所述两个平行杂波抑制处理之间交替切换来构造所述导出场景的所述视频影像。
2.根据权利要求1所述的装置,其中,所述处理器被配置为处理所述当前图像包括被配置为执行从所述当前图像逐像素减去所述固定模式噪声,从而产生包含所述前景目标和所述背景杂波的经处理的图像,所述经处理的图像具有减少的固定模式噪声或没有固定模式噪声。
3.根据权利要求1所述的装置,其中,所述杂波抑制处理进一步包括所述处理器被配置为将不良像素图应用到所述当前图像,以从其中的任何不良像素去除无效图像数据,作为所述当前图像的所述独立副本应用的所述不良像素图经过所述两个无限脉冲响应滤波器。
4.根据权利要求1所述的装置,其中,以所述视频影像的多个帧的相应规则间隔将所述连续图像应用到所述两个平行杂波抑制处理,所述相应规则间隔具有帧数量的分数的偏移,以及
其中,当所述两个平行杂波抑制处理中的任何一个初始化时,所述处理器被配置为构造所述连续图像的所述杂波抑制版本包括切换到所述两个无限脉冲响应滤波器已经达到稳定状态的所述两个平行杂波抑制处理中的另一个。
5.一种相对于视频影像中的前景目标抑制背景杂波的方法,所述方法包括:
从移动平台上的照相机接收视频影像,所述视频影像是包括前景目标和背景杂波的场景,所述前景目标相对于所述背景杂波移动;
将所述视频影像的连续帧的连续图像应用到杂波抑制处理,从而产生导出场景的视频影像,在所述导出场景中,相对于所述前景目标抑制了所述背景杂波,所述杂波抑制处理包括:对于每个图像,当为所述连续图像的当前图像时,
处理所述视频影像的所述当前图像以去除与所述照相机关联的固定模式噪声;
将所述当前图像空间上重新配准到所述连续图像的参考图像中所述场景的固定地理位置或已知杂波模式;之后,
使所述当前图像的独立副本经过具有不同时间常数的两个无限脉冲响应(IIR)滤波器,以产生相对于彼此时间延迟的滤波图像;
差分所述滤波图像以减少所述背景杂波,由此产生所述当前图像的杂波抑制版本,在所述杂波抑制版本中,相对于所述前景目标抑制了所述背景杂波;以及
提供所述导出场景的所述视频影像,所述导出场景包括所述连续图像的杂波抑制版本,
其中,所述连续图像以规则间隔被应用到所述杂波抑制处理,并且对于所述连续图像中的每个,所述方法进一步包括通过所述场景的特定地理位置初始化所述杂波抑制处理,由此建立所述当前图像空间上重新配准到的所述固定地理位置或所述已知杂波模式,
其中,所述杂波抑制处理是相同但在不同时间交替初始化的两个平行杂波抑制处理中的一个,并且将所述连续图像应用到所述杂波抑制处理包括将所述连续图像分离和独立地应用到所述两个平行杂波抑制处理中的每个,以及
其中,所述方法进一步包括通过在所述两个平行杂波抑制处理之间交替切换来构造所述导出场景的所述视频影像。
6.根据权利要求5所述的方法,其中,处理所述当前图像包括执行从所述当前图像逐像素减去所述固定模式噪声,从而产生包含所述前景目标和所述背景杂波的经处理的图像,所述经处理的图像具有减少的固定模式噪声或没有固定模式噪声。
7.根据权利要求5所述的方法,其中,所述杂波抑制处理进一步包括将不良像素图应用到所述当前图像,以从其中的任何不良像素去除无效图像数据,作为所述当前图像的所述独立副本应用的所述不良像素图经过所述两个无限脉冲响应滤波器。
8.根据权利要求5所述的方法,其中,以所述视频影像的多个帧的相应规则间隔将所述连续图像应用到所述两个平行杂波抑制处理,所述相应规则间隔具有帧数量的分数的偏移,以及
其中,当所述两个平行杂波抑制处理中的任何一个初始化时,构造所述连续图像的所述杂波抑制版本切换到所述两个无限脉冲响应滤波器已经达到稳定状态的所述两个平行杂波抑制处理中的另一个。
9.一种计算机可读存储介质,用于相对于视频影像中的前景目标抑制背景杂波,所述计算机可读存储介质是非暂时性的并且具有存储在其中的计算机可读程序代码部分,所述计算机可读程序代码部分响应于处理器的执行,使得装置至少:
从移动平台上的照相机接收视频影像,所述视频影像是包括前景目标和背景杂波的场景,所述前景目标相对于所述背景杂波移动;
将所述视频影像的连续帧的连续图像应用到杂波抑制处理,从而产生导出场景的视频影像,在所述导出场景中,相对于所述前景目标抑制了所述背景杂波,所述杂波抑制处理包括:对于每个图像,当为所述连续图像的当前图像时,使得所述装置至少:
处理所述视频影像的所述当前图像以去除与所述照相机关联的固定模式噪声;
将所述当前图像空间上重新配准到所述连续图像的参考图像中所述场景的固定地理位置或已知杂波模式;之后,
使所述当前图像的独立副本经过具有不同时间常数的两个无限脉冲响应(IIR)滤波器,以产生相对于彼此时间延迟的滤波图像;
差分所述滤波图像以减少所述背景杂波,由此产生所述当前图像的杂波抑制版本,在所述杂波抑制版本中,相对于所述前景目标抑制了所述背景杂波;以及
提供所述导出场景的所述视频影像,所述导出场景包括所述连续图像的杂波抑制版本,
其中所述连续图像以规则间隔被应用到所述杂波抑制处理,并且对于所述连续图像中的每个,进一步使得所述装置通过所述场景的特定地理位置初始化所述杂波抑制处理,由此建立所述当前图像空间上重新配准到的所述固定地理位置或所述已知杂波模式,
其中,所述杂波抑制处理是相同但在不同时间交替初始化的两个平行杂波抑制处理中的一个,并且使得所述装置将所述连续图像应用到所述杂波抑制处理包括使得将所述连续图像分离和独立地应用到所述两个平行杂波抑制处理中的每个,以及
其中,所述计算机可读程序代码部分响应于所述处理器的执行而使所述装置通过在所述两个平行杂波抑制处理之间交替地切换来构造所述导出场景的所述视频影像。
10.根据权利要求9所述的计算机可读存储介质,其中使得所述装置处理所述当前图像包括使得执行从所述当前图像逐像素减去所述固定模式噪声,并从而产生包含所述前景目标和所述背景杂波的经处理的图像,所述经处理的图像具有减少的固定模式噪声或没有固定模式噪声。
11.根据权利要求9所述的计算机可读存储介质,其中,所述杂波抑制处理进一步包括使得所述装置将不良像素图应用到所述当前图像,以从其中的任何不良像素去除无效图像数据,作为所述当前图像的所述独立副本应用的所述不良像素图经过所述两个无限脉冲响应滤波器。
12.根据权利要求9所述的计算机可读存储介质,其中,以所述视频影像的多个帧的相应规则间隔将所述连续图像应用到所述两个平行杂波抑制处理,所述相应规则间隔具有帧数的分数的偏移,以及
其中,当所述两个平行杂波抑制处理中的任何一个初始化时,使得所述装置将构造所述连续图像的所述杂波抑制版本切换到所述两个无限脉冲响应滤波器已经达到稳定状态的所述两个平行杂波抑制处理中的另一个。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/656,614 US10453187B2 (en) | 2017-07-21 | 2017-07-21 | Suppression of background clutter in video imagery |
US15/656,614 | 2017-07-21 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109285124A CN109285124A (zh) | 2019-01-29 |
CN109285124B true CN109285124B (zh) | 2023-06-06 |
Family
ID=62909345
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810764663.9A Active CN109285124B (zh) | 2017-07-21 | 2018-07-12 | 相对于视频影像中的前景目标抑制背景杂波的装置和方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10453187B2 (zh) |
EP (1) | EP3432257B1 (zh) |
JP (1) | JP7207875B2 (zh) |
CN (1) | CN109285124B (zh) |
Families Citing this family (63)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2536650A (en) | 2015-03-24 | 2016-09-28 | Augmedics Ltd | Method and system for combining video-based and optic-based augmented reality in a near eye display |
US11740321B2 (en) * | 2017-11-30 | 2023-08-29 | Apple Inc. | Visual inertial odometry health fitting |
US11980507B2 (en) | 2018-05-02 | 2024-05-14 | Augmedics Ltd. | Registration of a fiducial marker for an augmented reality system |
US11766296B2 (en) | 2018-11-26 | 2023-09-26 | Augmedics Ltd. | Tracking system for image-guided surgery |
JP7255316B2 (ja) * | 2019-04-02 | 2023-04-11 | 株式会社三洋物産 | 遊技機 |
JP7255310B2 (ja) * | 2019-04-02 | 2023-04-11 | 株式会社三洋物産 | 遊技機 |
JP7255306B2 (ja) * | 2019-04-02 | 2023-04-11 | 株式会社三洋物産 | 遊技機 |
JP7255308B2 (ja) * | 2019-04-02 | 2023-04-11 | 株式会社三洋物産 | 遊技機 |
JP7255302B2 (ja) * | 2019-04-02 | 2023-04-11 | 株式会社三洋物産 | 遊技機 |
JP7255312B2 (ja) * | 2019-04-02 | 2023-04-11 | 株式会社三洋物産 | 遊技機 |
JP7255309B2 (ja) * | 2019-04-02 | 2023-04-11 | 株式会社三洋物産 | 遊技機 |
JP7255303B2 (ja) * | 2019-04-02 | 2023-04-11 | 株式会社三洋物産 | 遊技機 |
JP7255307B2 (ja) * | 2019-04-02 | 2023-04-11 | 株式会社三洋物産 | 遊技機 |
JP7255313B2 (ja) * | 2019-04-02 | 2023-04-11 | 株式会社三洋物産 | 遊技機 |
JP7255315B2 (ja) * | 2019-04-02 | 2023-04-11 | 株式会社三洋物産 | 遊技機 |
JP7255314B2 (ja) * | 2019-04-02 | 2023-04-11 | 株式会社三洋物産 | 遊技機 |
JP7255317B2 (ja) * | 2019-04-02 | 2023-04-11 | 株式会社三洋物産 | 遊技機 |
JP7255304B2 (ja) * | 2019-04-02 | 2023-04-11 | 株式会社三洋物産 | 遊技機 |
JP7255318B2 (ja) * | 2019-04-02 | 2023-04-11 | 株式会社三洋物産 | 遊技機 |
JP7255311B2 (ja) * | 2019-04-02 | 2023-04-11 | 株式会社三洋物産 | 遊技機 |
JP7255305B2 (ja) * | 2019-04-02 | 2023-04-11 | 株式会社三洋物産 | 遊技機 |
JP7272089B2 (ja) * | 2019-04-24 | 2023-05-12 | 株式会社三洋物産 | 遊技機 |
JP7272086B2 (ja) * | 2019-04-24 | 2023-05-12 | 株式会社三洋物産 | 遊技機 |
JP7272090B2 (ja) * | 2019-04-24 | 2023-05-12 | 株式会社三洋物産 | 遊技機 |
JP7272087B2 (ja) * | 2019-04-24 | 2023-05-12 | 株式会社三洋物産 | 遊技機 |
JP7272088B2 (ja) * | 2019-04-24 | 2023-05-12 | 株式会社三洋物産 | 遊技機 |
JP7272095B2 (ja) * | 2019-04-25 | 2023-05-12 | 株式会社三洋物産 | 遊技機 |
JP7307320B2 (ja) * | 2019-04-25 | 2023-07-12 | 株式会社三洋物産 | 遊技機 |
JP7272093B2 (ja) * | 2019-04-25 | 2023-05-12 | 株式会社三洋物産 | 遊技機 |
JP7272092B2 (ja) * | 2019-04-25 | 2023-05-12 | 株式会社三洋物産 | 遊技機 |
JP7272094B2 (ja) * | 2019-04-25 | 2023-05-12 | 株式会社三洋物産 | 遊技機 |
JP7275914B2 (ja) * | 2019-06-27 | 2023-05-18 | 株式会社三洋物産 | 遊技機 |
JP7275916B2 (ja) * | 2019-06-27 | 2023-05-18 | 株式会社三洋物産 | 遊技機 |
JP7275913B2 (ja) * | 2019-06-27 | 2023-05-18 | 株式会社三洋物産 | 遊技機 |
JP7275910B2 (ja) * | 2019-06-27 | 2023-05-18 | 株式会社三洋物産 | 遊技機 |
JP7275908B2 (ja) * | 2019-06-27 | 2023-05-18 | 株式会社三洋物産 | 遊技機 |
JP7275911B2 (ja) * | 2019-06-27 | 2023-05-18 | 株式会社三洋物産 | 遊技機 |
JP7275915B2 (ja) * | 2019-06-27 | 2023-05-18 | 株式会社三洋物産 | 遊技機 |
JP7275912B2 (ja) * | 2019-06-27 | 2023-05-18 | 株式会社三洋物産 | 遊技機 |
JP7275909B2 (ja) * | 2019-06-27 | 2023-05-18 | 株式会社三洋物産 | 遊技機 |
CN110456362B (zh) * | 2019-07-17 | 2021-07-06 | 北京大学 | 一种基于脉冲对发射的目标声成像及测速方法与系统 |
US11980506B2 (en) | 2019-07-29 | 2024-05-14 | Augmedics Ltd. | Fiducial marker |
JP7302372B2 (ja) * | 2019-08-22 | 2023-07-04 | 株式会社三洋物産 | 遊技機 |
JP7302374B2 (ja) * | 2019-08-22 | 2023-07-04 | 株式会社三洋物産 | 遊技機 |
JP7302377B2 (ja) * | 2019-08-22 | 2023-07-04 | 株式会社三洋物産 | 遊技機 |
JP7302373B2 (ja) * | 2019-08-22 | 2023-07-04 | 株式会社三洋物産 | 遊技機 |
JP7302375B2 (ja) * | 2019-08-22 | 2023-07-04 | 株式会社三洋物産 | 遊技機 |
JP7307330B2 (ja) * | 2019-08-22 | 2023-07-12 | 株式会社三洋物産 | 遊技機 |
JP7302376B2 (ja) * | 2019-08-22 | 2023-07-04 | 株式会社三洋物産 | 遊技機 |
JP7302378B2 (ja) * | 2019-08-22 | 2023-07-04 | 株式会社三洋物産 | 遊技機 |
JP7307331B2 (ja) * | 2019-08-23 | 2023-07-12 | 株式会社三洋物産 | 遊技機 |
JP7302379B2 (ja) * | 2019-08-23 | 2023-07-04 | 株式会社三洋物産 | 遊技機 |
US10869011B1 (en) * | 2019-09-30 | 2020-12-15 | Sony Corporation | Blind legacy video artifact reduction |
JP7342588B2 (ja) * | 2019-10-03 | 2023-09-12 | 株式会社三洋物産 | 遊技機 |
JP7342589B2 (ja) * | 2019-10-03 | 2023-09-12 | 株式会社三洋物産 | 遊技機 |
JP7342587B2 (ja) * | 2019-10-03 | 2023-09-12 | 株式会社三洋物産 | 遊技機 |
JP7342584B2 (ja) * | 2019-10-03 | 2023-09-12 | 株式会社三洋物産 | 遊技機 |
JP7342585B2 (ja) * | 2019-10-03 | 2023-09-12 | 株式会社三洋物産 | 遊技機 |
JP7342586B2 (ja) * | 2019-10-03 | 2023-09-12 | 株式会社三洋物産 | 遊技機 |
US11382712B2 (en) | 2019-12-22 | 2022-07-12 | Augmedics Ltd. | Mirroring in image guided surgery |
CA3137651A1 (en) | 2020-12-19 | 2022-06-19 | The Boeing Company | Combined multi-spectral and polarization sensor |
CN113449850A (zh) * | 2021-07-05 | 2021-09-28 | 电子科技大学 | 一种海面监视雷达杂波智能抑制方法 |
US11896445B2 (en) | 2021-07-07 | 2024-02-13 | Augmedics Ltd. | Iliac pin and adapter |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4504908A (en) * | 1982-03-15 | 1985-03-12 | General Electric Company | Matched filter for X-ray temporal subtraction |
US5150426A (en) * | 1990-11-20 | 1992-09-22 | Hughes Aircraft Company | Moving target detection method using two-frame subtraction and a two quadrant multiplier |
US6353753B1 (en) * | 1998-05-05 | 2002-03-05 | Stephen Thomas Flock | Optical imaging of deep anatomic structures |
CN102415091A (zh) * | 2009-03-02 | 2012-04-11 | 弗莱尔系统公司 | 用于处理红外图像的系统和装置 |
US9449371B1 (en) * | 2014-03-06 | 2016-09-20 | Pixelworks, Inc. | True motion based temporal-spatial IIR filter for video |
Family Cites Families (59)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5025143A (en) * | 1982-07-06 | 1991-06-18 | The United States Of America As Represented By The Secretary Of The Navy | Enhanced clutter suppression apparatus for use with an infrared search and surveillance system |
US5341142A (en) | 1987-07-24 | 1994-08-23 | Northrop Grumman Corporation | Target acquisition and tracking system |
US5257121A (en) * | 1990-08-29 | 1993-10-26 | The Johns Hopkins University | Multi-resolution spatial integration signal processor and method |
US5317395A (en) | 1993-03-31 | 1994-05-31 | The United States Of America As Represented By The Secretary Of The Army | Focal plane array dual processing system and technique |
US5400161A (en) | 1993-10-04 | 1995-03-21 | Raytheon Company | Optical system including focus-defocus focal plane array compensation technique using liquid crystal phased array |
DE69525495T2 (de) | 1994-07-22 | 2002-10-31 | Hughes Electronics Corp | Satellitenkamera mit Bildebenenarray |
US5894323A (en) | 1996-03-22 | 1999-04-13 | Tasc, Inc, | Airborne imaging system using global positioning system (GPS) and inertial measurement unit (IMU) data |
US5798786A (en) | 1996-05-07 | 1998-08-25 | Recon/Optical, Inc. | Electro-optical imaging detector array for a moving vehicle which includes two axis image motion compensation and transfers pixels in row directions and column directions |
WO1998020301A1 (en) | 1996-11-05 | 1998-05-14 | Lockheed Martin Corporation | Electro-optical reconnaissance system with forward motion compensation |
US6108032A (en) | 1996-11-05 | 2000-08-22 | Lockheed Martin Fairchild Systems | System and method for image motion compensation of a CCD image sensor |
US5903659A (en) | 1997-04-17 | 1999-05-11 | Raytheon Company | Adaptive non-uniformity compensation algorithm |
US6714240B1 (en) | 1998-06-23 | 2004-03-30 | Boeing North American, Inc. | Optical sensor employing motion compensated integration-device and process |
US6211515B1 (en) | 1998-10-19 | 2001-04-03 | Raytheon Company | Adaptive non-uniformity compensation using feedforward shunting and wavelet filter |
US6590999B1 (en) * | 2000-02-14 | 2003-07-08 | Siemens Corporate Research, Inc. | Real-time tracking of non-rigid objects using mean shift |
KR100327385B1 (en) * | 2000-07-18 | 2002-03-13 | Lg Electronics Inc | Spatio-temporal three-dimensional noise filter |
US7110455B2 (en) * | 2001-08-14 | 2006-09-19 | General Instrument Corporation | Noise reduction pre-processor for digital video using previously generated motion vectors and adaptive spatial filtering |
US7305145B2 (en) * | 2003-05-23 | 2007-12-04 | Lockheed Martin Corporation | Method and apparatus for filtering an image |
US8553113B2 (en) | 2003-08-20 | 2013-10-08 | At&T Intellectual Property I, L.P. | Digital image capturing system and method |
US7437013B2 (en) * | 2003-12-23 | 2008-10-14 | General Instrument Corporation | Directional spatial video noise reduction |
US7742077B2 (en) | 2004-02-19 | 2010-06-22 | Robert Bosch Gmbh | Image stabilization system and method for a video camera |
US20090073170A1 (en) * | 2004-10-26 | 2009-03-19 | Koninklijke Philips Electronics, N.V. | Disparity map |
FR2882160B1 (fr) | 2005-02-17 | 2007-06-15 | St Microelectronics Sa | Procede de capture d'images comprenant une mesure de mouvements locaux |
WO2006105655A1 (en) * | 2005-04-06 | 2006-10-12 | March Networks Corporation | Method and system for counting moving objects in a digital video stream |
US7656428B2 (en) | 2005-05-05 | 2010-02-02 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Imaging device employing optical motion sensor as gyroscope |
US20090041297A1 (en) * | 2005-05-31 | 2009-02-12 | Objectvideo, Inc. | Human detection and tracking for security applications |
US9298014B2 (en) | 2005-07-01 | 2016-03-29 | Flir Systems, Inc. | Image stabilization system |
US7639309B2 (en) * | 2005-12-20 | 2009-12-29 | Broadcom Corporation | Method and system for analog video noise reduction by blending FIR and IIR filtering |
US7877209B2 (en) * | 2006-09-26 | 2011-01-25 | Harris Steven M | Radar collison warning system for rooftop mounted cargo |
US20080118104A1 (en) | 2006-11-22 | 2008-05-22 | Honeywell International Inc. | High fidelity target identification and acquisition through image stabilization and image size regulation |
JP5337818B2 (ja) * | 2008-01-18 | 2013-11-06 | デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド | 画像処理方法および装置 |
US8306293B2 (en) * | 2008-05-15 | 2012-11-06 | University Of Virginia Patent Foundation | Reduction of echo decorrelation facilitating motion estimation |
US9105081B2 (en) * | 2008-09-08 | 2015-08-11 | Ati Technologies Ulc | Protection filter for image and video processing |
JP4893758B2 (ja) * | 2009-01-23 | 2012-03-07 | ソニー株式会社 | 画像処理装置、画像処理方法および撮像装置 |
US8767127B2 (en) * | 2009-04-17 | 2014-07-01 | General Instrument Corporation | System for reducing noise in video processing |
US8497914B2 (en) * | 2009-08-10 | 2013-07-30 | Wisconsin Alumni Research Foundation | Vision system and method for motion adaptive integration of image frames |
JP2011124694A (ja) | 2009-12-09 | 2011-06-23 | Sony Corp | 画像処理装置と画像処理方式および撮像装置 |
WO2011151821A1 (en) * | 2010-05-31 | 2011-12-08 | Dvp Technologies Ltd. | Inspection of region of interest |
US8611586B1 (en) * | 2010-11-19 | 2013-12-17 | Exelis, Inc. | Fast target extraction from thermal imagery |
US9147260B2 (en) * | 2010-12-20 | 2015-09-29 | International Business Machines Corporation | Detection and tracking of moving objects |
US8849054B2 (en) * | 2010-12-23 | 2014-09-30 | Samsung Electronics Co., Ltd | Digital image stabilization |
JP2012227791A (ja) | 2011-04-20 | 2012-11-15 | Sony Corp | 画像処理装置および方法、プログラム、並びに記録媒体 |
US9407819B2 (en) * | 2011-06-30 | 2016-08-02 | Dvp Technologies Ltd. | System and method for multidirectional imaging |
EP2549759B1 (en) * | 2011-07-19 | 2016-01-13 | Axis AB | Method and system for facilitating color balance synchronization between a plurality of video cameras as well as method and system for obtaining object tracking between two or more video cameras |
JP5790933B2 (ja) | 2011-08-15 | 2015-10-07 | セイコーエプソン株式会社 | ノイズ除去装置、電子機器 |
US8611600B2 (en) * | 2011-10-12 | 2013-12-17 | Raytheon Company | Three-frame difference moving target acquisition system and method for target track identification |
WO2013084233A1 (en) * | 2011-12-04 | 2013-06-13 | Digital Makeup Ltd | Digital makeup |
US8811757B2 (en) * | 2012-01-05 | 2014-08-19 | Texas Instruments Incorporated | Multi-pass video noise filtering |
US9402028B2 (en) | 2012-03-15 | 2016-07-26 | Honeywell International Inc. | Image stabilization and tracking system |
US10009579B2 (en) * | 2012-11-21 | 2018-06-26 | Pelco, Inc. | Method and system for counting people using depth sensor |
US9165345B2 (en) * | 2013-03-14 | 2015-10-20 | Drs Network & Imaging Systems, Llc | Method and system for noise reduction in video systems |
WO2014170886A1 (en) * | 2013-04-17 | 2014-10-23 | Digital Makeup Ltd | System and method for online processing of video images in real time |
US9685056B2 (en) * | 2014-03-21 | 2017-06-20 | Qognify Ltd. | Robust change-detection system and method |
US9584814B2 (en) * | 2014-05-15 | 2017-02-28 | Intel Corporation | Content adaptive background foreground segmentation for video coding |
US11170313B2 (en) * | 2014-10-10 | 2021-11-09 | Analog Devices International Unlimited Company | Pipelining and parallelism for implementing a mixture model |
SE1550006A1 (sv) * | 2015-01-07 | 2016-06-14 | Viscando Ab | Method and system for categorization of a scene |
US9646388B2 (en) | 2015-01-09 | 2017-05-09 | The Boeing Company | Integrated image distortion correction with motion compensated integration |
US9501839B1 (en) * | 2015-05-27 | 2016-11-22 | The Boeing Company | Methods and systems for detecting moving objects in a sequence of image frames produced by sensors with inconsistent gain, offset, and dead pixels |
US9648261B2 (en) * | 2015-08-26 | 2017-05-09 | Apple Inc. | Account for clipped pixels in auto-focus statistics collection |
US10074282B1 (en) * | 2017-07-31 | 2018-09-11 | The Boeing Company | Display of flight interval management data |
-
2017
- 2017-07-21 US US15/656,614 patent/US10453187B2/en active Active
-
2018
- 2018-06-26 EP EP18179935.4A patent/EP3432257B1/en active Active
- 2018-06-26 JP JP2018120680A patent/JP7207875B2/ja active Active
- 2018-07-12 CN CN201810764663.9A patent/CN109285124B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4504908A (en) * | 1982-03-15 | 1985-03-12 | General Electric Company | Matched filter for X-ray temporal subtraction |
US5150426A (en) * | 1990-11-20 | 1992-09-22 | Hughes Aircraft Company | Moving target detection method using two-frame subtraction and a two quadrant multiplier |
US6353753B1 (en) * | 1998-05-05 | 2002-03-05 | Stephen Thomas Flock | Optical imaging of deep anatomic structures |
CN102415091A (zh) * | 2009-03-02 | 2012-04-11 | 弗莱尔系统公司 | 用于处理红外图像的系统和装置 |
US9449371B1 (en) * | 2014-03-06 | 2016-09-20 | Pixelworks, Inc. | True motion based temporal-spatial IIR filter for video |
Non-Patent Citations (2)
Title |
---|
Moving target classification and tracking from real-time video;A.J. Lipton 等;《Proceedings Fourth IEEE Workshop on Applications of Computer Vision. WACV"98 (Cat. No.98EX201)》;19981021;第1-6页 * |
基于自适应滤波器的地雷背景噪声抑制;吴建斌 等;《电子测量技术》;20080731;第31卷(第7期);第155-158页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109285124A (zh) | 2019-01-29 |
JP2019024198A (ja) | 2019-02-14 |
JP7207875B2 (ja) | 2023-01-18 |
EP3432257B1 (en) | 2021-05-12 |
US20190026867A1 (en) | 2019-01-24 |
US10453187B2 (en) | 2019-10-22 |
EP3432257A1 (en) | 2019-01-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109285124B (zh) | 相对于视频影像中的前景目标抑制背景杂波的装置和方法 | |
US8929601B2 (en) | Imaging detecting with automated sensing of an object or characteristic of that object | |
US10977808B2 (en) | Three-frame difference target acquisition and tracking using overlapping target images | |
EP2894842B1 (en) | Moving object detection method | |
CN117378212A (zh) | 用于单光子雪崩二极管影像中的暗电流补偿的系统和方法 | |
CN117355768A (zh) | 用于使用单光子雪崩二极管来获得彩色图像的系统和方法 | |
JP2008232837A (ja) | 欠陥強調・欠陥検出の方法および装置、プログラム | |
US20200090364A1 (en) | Cluttered background removal from imagery for object detection | |
CN118119966A (zh) | 用于获得暗电流图像的系统和方法 | |
Stoveken et al. | Algorithms for the optical detection of space debris objects | |
Mochizuki et al. | Separation of multi-path components in sweep-less time-of-flight depth imaging with a temporally-compressive multi-aperture image sensor | |
US9900509B2 (en) | Frame registration for imaging sensors in motion | |
US20220191411A1 (en) | Spectral image capturing using infrared light and color light filtering | |
JP7128671B2 (ja) | ビデオ画像のクラッタの再帰的抑制 | |
Dao et al. | Track-before-detect algorithm for faint moving objects based on random sampling and consensus | |
Ackermann et al. | COTS Options for Low-Cost SSA. | |
Helferty | Performance Prediction Modelling of Low SNR Tracking Algorithms | |
WO2020191427A1 (en) | Method and system to detect orbiting objects | |
WO2023200511A1 (en) | Sunlit orbital debris search using hierarchical processing | |
JP5842647B2 (ja) | 探知装置 | |
Mehta et al. | Geometric separation of superimposed images | |
CN115457383A (zh) | 利用聚类算法的大视场望远镜高轨目标快速检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |