CN103583035B - 空间变化的闪烁检测 - Google Patents

空间变化的闪烁检测 Download PDF

Info

Publication number
CN103583035B
CN103583035B CN201280027803.5A CN201280027803A CN103583035B CN 103583035 B CN103583035 B CN 103583035B CN 201280027803 A CN201280027803 A CN 201280027803A CN 103583035 B CN103583035 B CN 103583035B
Authority
CN
China
Prior art keywords
frame
frequency
module
picture frame
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201280027803.5A
Other languages
English (en)
Other versions
CN103583035A (zh
Inventor
马修·L·特朗勃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pelco Inc
Original Assignee
Pelco Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pelco Inc filed Critical Pelco Inc
Publication of CN103583035A publication Critical patent/CN103583035A/zh
Application granted granted Critical
Publication of CN103583035B publication Critical patent/CN103583035B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

一种成像系统包括：图像模块，其被配置为以帧速率F产生图像帧，该图像模块被配置为在不同时间捕获图像帧的每个的第一部分和第二部分；频率确定模块，其被通信地耦合到图像模块，被配置以确定与在N个、多个图像帧上的第一部分和第二部分相关联的频率分量；以及闪烁分析模块，其被通信地耦合到频率确定模块，被配置成确定第一部分和第二部分的任何频率分量是否指示可察觉的闪烁。

Description

空间变化的闪烁检测
技术领域
本发明涉及成像系统和闪烁检测系统。
背景技术
图像捕获设备用在包括各种相机的各种各样的设备中。例如，固定位置相机和摇摄/倾斜/变焦相机使用图像捕获设备。图像捕获设备有各种各样的形式，包括“全局快门”捕获设备和“卷帘快门”捕获设备。全局快门捕获设备同时获取整个帧，而卷帘快门设备通常滚动帧的像素行，连续行的捕获通常及时地部分重叠。
应用卷帘快门捕获设备，可能发生图像闪烁，这是由于周期性照射或者直接照射到捕获设备或通过在捕获设备的视域中物体的反射。当滚动各行时，不同的行将包括周期性照射的周期的不同部分。因此，将产生相对亮的像素的条纹和相对暗的像素的条纹。条纹将趋向于逐帧移动，除非图像捕获频率匹配照明周期的倍数。
各种技术已经被提出来检测这种闪烁。例如，可以通过在连续帧中获取相同行的亮度的差异，然后观察其在垂直帧上的差异，检测闪烁。通过发现帧的高度上的差异的峰和谷的数目，确定闪烁的频率。可选地，可以通过对每一行中的像素进行求和，和根据帧周期与在每图像帧的周期中的交流线路频率的积确定频率，来确定闪烁。另外可选地，可以通过以下来确定闪烁：对连续帧的行的像素强度进行求和，从其它帧减去一个帧的行和，以及分析所产生的周期数据以确定闪烁的频率。进一步地，单独的光传感器可以用于检查光强度并识别闪烁。
发明内容
一种成像系统的一个示例包括：图像模块，其被配置为以帧速率F产生图像帧，该图像模块配置为在不同时间捕获图像帧的每一个的第一部分和第二部分；频率确定模块，其被通信地耦合到图像模块，被配置成确定与在多个(N个)图像帧上的第一部分和第二部分相关联的频率分量；以及闪烁分析模块，其被通信地耦合到频率确定模块，被配置成确定第一部分和第二部分的任何频率分量是否指示可察觉的闪烁。
这样的成像系统的实施可以包括一个或多个以下特征。该系统还包括：累加模块，其被通信地耦合到图像模块，被配置为累加与N个图像帧相关联的多组(N组)信息，其中频率确定模块被通信地耦合到累加模块，并且被配置成将一个傅立叶变换应用于N组信息来确定与N个图像帧的第一部分和第二部分相关联的频率分量。该系统还包括空间下采样模块，其被通信地耦合到图像模块和累加模块，被配置成空间下采样图像帧的每个以产生所述组信息。该空间下采样模块被配置为在每个图像帧的多个区域上平均像素值以产生与N个图像帧相关联的N组信息，其中区域中的不同区域分别包括第一部分和第二部分。
另外地或者可选地，这样的成像系统的实施可以包括一个或多个以下特征。闪烁分析模块被配置为分析与图像帧的第一部分相关联的至少一个频率分量，以确定该至少一个频率分量是否具有(1)与所关注的光源频率相关的至少一个闪烁频率相对应的频率，和(2)具有相对于闪烁幅度阈值的不期望的关系的幅度。闪烁分析模块被配置为仅当所述至少一个频率分量对应于与帧的第一部分相关联的主要信号时确定至少一个频率分量是否满足条件(1)和(2)。至少一个闪烁频率为在使用具有N个样本和采样频率为F的傅利叶变换时与50hz、60hz、100hz或120hz中至少一个混叠的频率。
一种示例性闪烁检测系统包括：图像模块，其被配置为以帧速率F产生图像帧，图像模块被配置为在不同时间捕获图像帧的每一个的第一部分和第二部分；下采样装置，其被通信地耦合到图像模块，用于空间下采样图像帧以产生下采样的图像帧，这些下采样的图像帧中的每一个分别具有包括第一部分和第二部分的第三和第四不同的区域；频率确定装置，其被通信地耦合到下采样装置，用于将傅立叶变换应用于多个(N个)下采样的图像帧，以产生第三和第四部分的频率分量的指示；和闪烁分析装置，其被通信地耦合到频率确定装置，用于分析频率分量的指示以便确定任何的频率分量是否对应于各个区域中的主要信号，是否对应于至少一个所关注的频率，以及会被观看图像帧的人可察觉。
这种闪烁检测系统的实施可包括一个或多个以下特征。该系统还包括累加装置，其被通信地耦合到下采样装置和频率确定装置，用于累加N个下采样的帧。下采样装置被配置成平均每个不同的区域上的像素值。至少一个所关注的频率为当使用具有N个样本和采样频率为F的傅利叶变换时时与50hz、60hz、100hz或120hz中至少一个混叠的频率。
驻留在非暂时性处理器可读介质上的示例性计算机程序产品包括被配置为引起处理器进行以下操作的指令：以帧速率F产生图像帧，每个图像帧的第一部分和第二部分在不同的时间被捕获；确定与在多个(N个)图像帧上的第一部分和第二部分相关联的频率分量；以及确定或者第一或者第二部分中的任何频率分量是否各自指示可察觉的闪烁。
这种计算机程序产品的实施可以包括一个或多个以下特征。计算机程序产品还包括被配置为引起处理器进行以下操作的指令：空间下采样多个(N个)图像帧的每个以产生N组信息；并且将傅立叶变换应用于N组信息来确定与N个图像帧的第一部分和第二部分相关联的频率分量。被配置成促使处理器确定或者第一或者第二部分中的任何一个任何频率分量是否各自指示可察觉的闪烁的指令被配置为促使处理器分析与图像帧的第一部分相关联的至少一个第一频率分量，以确定第一频率分量是否(1)具有对应于与所关注的光源频率相关联的至少一个闪烁频率，(2)具有相对于闪烁幅度阈值的不期望的关系的幅度，和(3)对应于与图像帧的第一部分相关联的主要信号。
示例性的在图像帧中闪烁检测的方法包括：以帧速率F产生图像帧，在不同的时间捕获每个图像帧的第一部分和第二部分；确定与在多个(N个)图像帧上的第一部分和第二部分相关联的频率分量；和确定第一部分的第一频率分量或第二部分的第二频率分量中的至少一个是否指示可察觉的闪烁。
这样的一种方法的实施可以包括一个或多个以下特征。该方法还包括：空间下采样多个(N个)图像帧中的每一个以产生N组信息；并且将傅立叶变换应用于N组信息来确定与N个图像帧的第一部分和第二部分相关联的频率分量。确定第一部分的第一频率分量或第二部分的第二频率分量中的至少一个是否指示可察觉的闪烁包括确定第一频率分量是否(1)具有对应于与所关注的光源频率相关联的至少一个闪烁频率的频率，(2)具有相对于闪烁幅度阈值的不期望的关系的幅度(3)对应于与图像帧的第一部分相关联的主要信号。
本文描述的项目和/或技术可以提供一个或多个下面的功能，以及未提及的其它功能。图像中空间变化的局部闪烁能够被检测出，以便于其减少或消除。宽动态范围中的闪烁能够被卷帘快门的成像系统检测出，以便于其减少或消除。如上提到的效果可以通过除了提到的之外的装置达到，而提到的项目/技术可能未必产生提到的效果。进一步地讲，本文所讨论的或从本文中的讨论所推导出的至少某些实施可能不提供一个或多个所讨论的功能。
通过下面的详细说明，其他的功能和应用将变得明显。
附图概述
图1是视频系统的简化示意图。
图2是图1所示的相机的框图。
图3是由图2所示的处理器实施的闪烁检测模块的功能框图。
图4是图1所示的相机捕获的帧的曝光时间图。
图5是拼接图1所示的相机捕获的不同曝光时间的多个帧以产生单个图像帧的图解流程图。
图6是多个空间分割的图像帧的简化示意图。
图7是检测空间变化的闪烁的过程的方框流程图。
具体实施方式
公开了用于检测捕获图像中的空间变化的闪烁的技术。例如，卷帘快门成像系统使用不同捕获时间用于捕获图像的不同部分。由成像系统提供的图像的部分可能显示或含有闪烁，而其它部分没有。多个帧的每个都被进行空间下采样，且下采样的帧被分析以确定它们的频率分量(例如，采用傅立叶变换)。频率分量被分析，以确定它们中的任何一个是否对应于闪烁频率，以及是否有足够幅度可被一个正在观看帧的人觉察到。其它技术都在本发明的范围之内。
参照图1，视频系统10包括相机12、对象14和光源16。相机12被配置为在它的视域中捕获任何事物的图像帧，这里是对象14。光源16是周期性光源，产生强度随时间变化的光，例如具有例如50赫兹、60赫兹、100赫兹、120赫兹等的频率的荧光灯。
相机12被配置成产生图像，其中空间分隔的像素具有不同的曝光持续时间，即，能够接收不同时间量的光，且其中空间分隔的像素具有不同的曝光时间，即在不同的时间接收光。这里，相机12是宽动态范围(WDR)的卷帘快门相机。因此，相机12被配置为捕获各种曝光持续时间的和在不同时间的像素行，而相机可同时捕获一个以上的像素行(见图4)。
再参看图2，相机12包括光学组件20、存储器22、处理器24和电机26。电机26被配置成驱动相机12以进行摇动和倾斜。可选地，可以使用固定位置相机或仅沿一个轴移动的相机(例如，摇动或倾斜，但不是两者)。光学组件20包括一个或多个透镜以及卷帘快门，比便将相机12聚焦和捕获光，将所捕获的光转换成数字电信号，并将电信号传送到存储器22。处理器24优选是一个智能设备，例如由公司或制造的那些中央处理单元(CPU)、微控制器、专用集成电路(ASIC)等。存储器22包括随机存取存储器(RAM)和只读存储器(ROM)，并且还可以包括一个或多个磁盘驱动器，其包括硬盘驱动器、CD-ROM驱动器和/或压缩驱动器等。存储器22包括处理器可读、处理器可执行的软件代码28，其包含用于控制处理器24的指令以执行下面所述的功能(尽管该描述可以读出软件28执行功能)。这些功能实施闪烁检测和校正系统。软件28可以通过，经由网络连接下载、从磁盘上传等，被加载到存储器22。进一步地，软件28可能并不是可直接执行的，例如在执行之前需要编译。
再参看图3，处理器24和软件28实施闪烁检测模块40。闪烁检测模块40包括图像模块41、空间下采样/分割模块46、累加模块48、频率确定模块50和闪烁分析模块52。图像模块41包括图像捕获模块42和拼接模块44以捕获多个候选图像帧和根据多个图像帧候选形成合成图像帧。图像模块41可被通信地耦合到空间下采样/分割模块46，空间下采样/分割模块46被通信地耦合至累加模块48，累加模块48被通信地耦合到频率确定模块50，频率确定模块50被通信地耦合到闪烁分析模块52。闪烁检测模块40被配置成确定被相机12捕获的图像中可察觉的闪烁的存在和频率，使得闪烁可以被考虑例如使用已知技术进行校正或者是减少。
图像捕获模块42被配置为控制光学组件20和电机26以获取候选图像帧，这些图像帧中的每一个包括二维阵列的像素。图像捕获模块42被配置成控制电机26按期望地移动相机和控制光学组件20为不同的像素行顺序打开快门(例如，行对应于像素的电荷耦合器件(CCD)的)。
再参看图4，图像捕获模块42实施卷帘快门的宽动态范围技术。如图所示，模块42使光学组件20在总收集持续时间60上捕获候选图像帧中的像素的每一行的数据(即，一组像素行)。在持续时间60期间，模块42可以在几个点处采样所收集的光数据，以产生多个曝光持续时间的数据，或，如这里，促使光学组件20连续地收集多个持续时间621-62m的每一个的数据。尽管持续时间62被实施如图所示依次从最长到最短，但持续时间62可以以任何顺序获得。多个行的数据同时被收集，但如图4所示，图像帧中的所有行并不都同时曝光(即，使得它们的数据被收集)。因此，图像帧的不同空间部分的光数据在不同时间被收集。进一步地，每一像素的多个曝光/数据收集持续时间是可用的并且存储在存储器22中。每个持续时间62所收集数据在存储器22中被存储为候选图像帧。以帧速率F(例如每秒30帧)收集各帧的数据。
再参看图5，图像捕获模块42的拼接模块44被配置为根据N个候选图像帧72组装合成图像帧70。拼接模块44分析图像帧候选72并提取适当曝光的每个帧候选72的部分。在存在其中相同的部分被适当曝光的多个候选72时，模块44确定具有来自相应的候选的最佳曝光的部分。如图5所示，在候选图像721中的部分741被适当曝光，而部分761过度曝光(例如，在持续时间621内太亮)，收集过多的光用于部分761，从而导致图像质量差(这里，被洗掉)。然而，在图像候选72m中，部分74m是曝光不足的，产生差的图像质量(在相应的持续时间62m内这里是太暗了)，而部分76m被适当曝光。对于该实例，拼接模块44将来自图像候选721的部分741与来自图像候选72m的部分76m拼接在一起从而形成合成图像帧70，整个帧可适当曝光。因此，图像帧70的不同空间部分可以具有与它们的像素相关联的不同的曝光持续时间62(只要多于一个的候选图像72被用于形成合成图像70，尽管图像70可以是图像72的单独一个)。因此，尽管持续时间621可以足够长，50赫兹、60赫兹、100赫兹或120赫兹的光源将不诱导明显的闪烁，如果持续时间62m不足够长，那么闪烁效应是可诱导的，可以仅在图像帧70的部分(或多个部分)上被诱导。然后，这些效果在连续观看多个帧70时可以被感知。因此，当周期性/振荡光可以入射在相机12的透镜的全部或主要部分上时，闪烁效应可以是局部的，即，在小于周期/振荡光入射的区域上诱导或察觉。因此，在图像帧70中闪烁可以是不均匀的，在一个或多个区域中存在/可察觉，在一个或多个其它区域中不存在/可察觉。
参见图3和6，空间下采样/分割模块46被配置以空间下采样图像帧70。模块46将帧70的每个分成片80，这里是矩形网格、相同大小的片80，然而其它形状可以被使用，不同尺寸的片可以被用在帧70内。例如，对于具有1280×960像素的帧70的64×下采样，模块46将帧70分为片80的20×15网格。模块46还被配置为产生单一值R，以表示每个片80的像素强度。这里，模块46被配置成平均像素强度，以产生帧n列q、行p的每个片80的值可选地，其它值可以被使用，例如像素强度的总和等等。
累加模块48被配置成关联多个存储的合成图像帧70。累加模块48累积/关联一组82的一定量(N)的帧70，如下所述用于检测空间变化的闪烁，即，闪烁出现少于图像帧70中的所有的像素。为了避免例如在整个帧上应用闪烁校正，这可能是重要的，这可能在它存在的地方校正闪烁，但在之前没有存在闪烁地方诱导反向闪烁。
频率确定模块50被配置为分析累加帧70以确定片80的频率分量。模块50将傅立叶变换(例如，快速傅立叶变换(FFT))应用到一组n个分割的帧的片80。FFT的结果将是片80的频率分量的指示。
闪烁分析模块52被配置成确定每个片80的主要频率分量是否指示将诱导闪烁的所关注的频率(例如50、60、100或120赫兹)。因为很难(如果不是不可能)检测超过采样频率的一半的频率分量，并且，因为这里所关注的频率(例如，50、60、100、120赫兹)超过30赫兹的采样频率，模块52查找所关注的频率相对应的混叠的频率分量。该模块查找混叠的频率，根据如下：
Fa＝|Fd-N*Fs| (1)
其中：Fa是混叠的频率；
Fs是采样频率；
Fd是所关注的频率；和
N＝round(Fd/Fs)。
因此，混叠频率Fa可以确定用于每个所关注的频率Fd。模块52确定每个片80的主要频率分量(即，最高强度的分量)是否对应于所关注的频率Fd中的一个对应(表示)的一个混叠频率Fa。
模块52还被配置为确定所关注的频率是否具有将被人类观察者可察觉到的幅度。对于其主要频率分量对应于一个所关注的混叠频率分量的任何片80，模块52确定片80的这个分量的幅度是否具有相对于例如超过与可见察觉的人相关联的阈值的不期望的关系。模块52确定是否：
Ip，q>Tp (2)
其中：Tp＝Ta*Tm (3)
Ta＝观察到的常数
其中Ip，q是在片80p，q的n帧70上所关注的混叠频率的分量的强度，Tp是人可察觉的闪烁的阈值，Ta是观察到的幅度阈值(根据观察图像和关注闪烁区域的人的实验结果来确定)，而Tm是阈值修改量。对于Tm，使用在n帧上给定片的光的所有频率分量的平均像素强度。最大范围是用于特定图像的最大值，例如用于8位图像的255。如果模块52确定Ip，q超过阈值Tp，那么模块52将触发片80p，q的闪烁消除(校正)。
可察觉的闪烁阈值Tp的值取决于当前使用的色调映射压缩和帧70所示的场景中的动态范围。阈值Tp的值取决于使用多少压缩，因为这影响可察觉的闪烁的幅度。这被计入阈值修改量Tm。
参见图7，并进一步参照图1-6，检测和校正空间变化的闪烁的过程110包括显示的步骤。然而，过程110仅是示例，并不是限制性的。过程110可以被改变，例如通过以下步骤：增加、移出、重新布置、组合和/或同时执行。
在步骤112，图像帧70被产生。图像捕获模块42捕获使用不同的曝光持续时间62的候选图像帧72的数据。使用来自一个或多个候选图像帧72的适当曝光部分，拼接模块44分析候选图像帧72并将合成的图像帧70拼接在一起。
在步骤114，多个合成帧70的不同部分的频率分量被确定。合成帧70被空间下采样/分割模块46分割。模块46将帧70分为多组片80，和确定用于指示各个片80的像素强度的每个片的下采样值R。累加模块48累加用于频率分析的多个(N个)合成帧70。频率确定模块50作用于N个累加帧70以确定各片80的每个相对应的相机12的射入光的频率分量。这里，模块50将FFT应用到分片信息来确定频率分量。
在步骤116，确定各个空间不同的片80的主要频率分量是否指示可察觉的闪烁。闪烁分析模块确定每个片80的主要频率分量。根据式(1)，模块52确定主要频率分量是否对应于所关注的混叠频率。对于相对应这些混叠频率的频率分量，模块52通过估算等式(2)确定分量是否可被人类观察者察觉。如果主要频率分量是与有关频率相关的频率的，并且其幅度使得人类观察者将能够在一组帧70中察觉闪烁，那么模块52检测到相应的片80具有闪烁。
在步骤118，闪烁被校正。模块52识别具有闪烁的片80以及闪烁的一个(或多个)幅度和频率。已知的技术可以通过处理器24根据在软件28中的指令被应用于减少或消除在合成帧70(相对于下采样的帧)中的闪烁，或者至少减弱到人类观察者不能察觉到它的程度。
其它考虑
在不背离本公开内容或权利要求的范围的情况下，可以对给定的具体实施例进行变化和修改。本文所公开的具体实施例不是限制后面的权利要求。例如，虽然上述说明描述了两个相位的补偿作和合成波形的幅度作为步进电机速度的功能，但实施方式也可通过移除上述各个分量用于补偿相位或幅度，但不是两者。
其它实施例和实施方式将落入本公开内容和所附权利要求的范围和精神。例如，由于软件的性质，上述功能可使用由处理器、硬件、固件、硬连线或任何这些的组合执行的软件实现。实现功能特征也可以在物理上位于不同的位置，包括被分布成使得部分功能在不同的物理位置上实现。而且，如本文所用，包括在权利要求书中，在项目列表中使用的“或者”前加“至少一个”指示分离性列表，使得例如，“A、B、或C中至少一个”的列表表示A或B或C或AB或AC或BC或ABC(即，A和B和C)。
所描述的配置的实质性变化可以根据特定要求做出。例如，定制的硬件也可以使用，和/或特定的元件可以用硬件、软件(包括可移植软件，例如小应用程序等)或两者实现。进一步，可以采用与其它计算设备(例如网络输入/输出设备)的连接。
如本文所使用的术语“机器可读介质”和“处理器可读介质”是指参与提供使得机器以特定方式运行的数据的任何介质。在使用计算机系统实现的实施例中，各种计算机可读介质可以是参与向处理器提供指令/代码，用于执行和/或可能用于存储和/或装载这样的指令/代码(例如，作为信号)。在许多实施例中，计算机可读介质是非暂时性的、物理和/或有形存储介质。这样的介质可以采用多种形式，包括但不限于，非易失性介质、易失性介质和传输介质。非易失性介质包括，例如，光学的和/或磁盘。易失性介质包括但不限于动态存储器。传输介质包括，但不限于同轴电缆、铜线和光纤。因此，传输介质也可以采取波的形式(包括但不限于无线电波、声波和/或光波，例如在无线电波和红外数据通信期间生成的那些)。
普通形式的物理的和/或有形的计算机可读介质包括，例如，软盘、柔性盘、硬盘、磁带、或任何其它磁性介质、CD-ROM、任何其它光介质、穿孔卡、纸带、任何其它具有孔图案的物理介质、随机存取存储器、可编程序只读存储器、可擦可编程只读存储器、快擦编程只读存储器、任何其它存储器芯片或盒式磁带、下文中描述的载波、或计算机可从其读取指令和/或代码的任何其它介质。
上述方法、系统和设备是示例。各种配置可以适当地省略、替代或增加各种流程或组件。例如，在可替代的配置中，该方法可以以不同于所描述的顺序进行，并且各种步骤均可以增加、省略或组合。另外，针对特定配置所描述的特征可以在各种其它配置中组合。配置的不同方面和元件可以以类似的方式组合。同时技术也在发展，因此，许多元件是示例，并不限制本公开内容或权利要求的范围。
在说明中给出具体细节以帮助全面理解示例配置(包括实施方式)。然而，配置也可以在没有这些具体细节的情况下实施。例如，没有所示出的公知的电路、过程、算法、结构和技术的不必要的细节，以免混淆这些配置。该描述仅仅提供了示例配置，并不限制权利要求的范围、适用性或配置。而是，前面描述的配置将向本领域技术人员提供能够用于实现所述技术的描述。可以在元件的功能和布置中进行各种改变，而不偏离本发明的精神或范围。
进一步地，前面的描述给出了安防相机系统的细节。然而，本文所描述的系统和方法可以一般地适用于其它形式的相机系统或其它系统。
此外，所述方法的实施例可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或它们的任何组合来实施。当以软件、固件、中间件或微代码实现时，执行任务的程序代码或代码段可以存储在非暂时性计算机可读介质(如存储介质)中。处理器可以执行所描述的任务。
进一步地，可能公开了一个以上的发明。

Claims (14)

1.一种成像系统，包括：
图像模块，其被配置为以帧速率F产生图像帧，所述图像模块配置为捕获每个所述图像帧的第一部分和第二部分，所述第一部分和所述第二部分中的每个包括具有多个水平像素和多个垂直像素的二维阵列的像素，所述第一部分与所述第二部分分隔，所述图像帧包括具有不同的曝光持续时间的多个候选图像；
频率确定模块，其被通信地耦合到所述图像模块，被配置成在多个图像帧上确定与所述第一部分和所述第二部分相关联的频率分量，所述多个图像帧为N个图像帧；
闪烁分析模块，其被通信地耦合到所述频率确定模块，被配置成确定与所述第一部分或所述第二部分相关联的任何所述频率分量是否指示可察觉的闪烁，使得所述闪烁分析模块能够在小于所述图像帧的整个区域上确定指示可察觉的闪烁的频率分量；以及
拼接模块，其配置成使用来自所述多个候选图像的第二图像帧的第一部分替换来自所述多个候选图像的第一图像帧的第一部分，所述第一图像帧的第一部分对应于所述第二图像帧的第一部分，所述第一图像帧的第一部分被曝光不足或被曝光过度，且所述第二图像帧的第一部分被适当曝光。
2.根据权利要求1所述的系统，还包括累加模块，该累加模块被通信地耦合到所述图像模块，并被配置为累加与所述N个图像帧相关联的多组信息，所述多组信息为N组信息，其中所述频率确定模块被通信地耦合至所述累加模块，并且被配置成将傅立叶变换应用于所述N组信息来确定与所述N个图像帧的所述第一部分和所述第二部分相关联的所述频率分量。
3.根据权利要求2所述的系统，还包括空间下采样模块，该空间下采样模块被通信地耦合到所述图像模块和所述累加模块，并被配置成空间下采样每个所述图像帧以产生所述多组信息。
4.根据权利要求3所述的系统，其中所述空间下采样模块被配置为对每个所述图像帧的多个区域上的像素值进行平均，以产生与所述N个图像帧相关联的所述N组信息，其中所述区域中的不同区域分别包括所述图像帧的所述第一部分和所述第二部分。
5.根据权利要求1所述的系统，其中所述闪烁分析模块被配置为分析与所述图像帧的所述第一部分相关联的所述频率分量中的至少一个，以确定所述频率分量中的所述至少一个是否具有(1)与所关注的光源频率相关的至少一个闪烁频率相对应的频率，和(2)具有相对于闪烁幅度阈值的不期望的关系的幅度。
6.根据权利要求5所述的系统，其中，所述闪烁分析模块被配置为，仅当所述频率分量中的所述至少一个对应于与所述图像帧的所述第一部分相关联的主要信号时，所述闪烁分析模块才确定所述频率分量的所述至少一个是否满足条件(1)和(2)。
7.根据权利要求5所述的系统，其中，所述至少一个闪烁频率为当使用具有N个样本和采样频率为F的快速傅利叶变换时与50hz、60hz、100hz或120hz中至少一个混叠的频率。
8.一种闪烁检测系统，包括：
图像模块，其被配置为以帧速率F产生图像帧，所述图像模块配置为捕获每个所述图像帧的第一部分和第二部分，所述第一部分和所述第二部分中的每个包括具有多个水平像素和多个垂直像素的二维阵列的像素，所述第一部分与所述第二部分分隔，所述图像帧包括具有不同的曝光持续时间的多个候选图像；
下采样装置，其被通信地耦合到所述图像模块，用于空间下采样所述图像帧以产生下采样的图像帧，这些下采样的图像帧中的每一个分别具有包括所述第一部分和所述第二部分的第三区域和第四区域，所述第三区域和所述第四区域为不同的区域，所述第三区域和所述第四区域中的每个对应于小于所有的相应图像帧；
频率确定装置，其被通信地耦合到所述下采样装置，用于将傅立叶变换应用于多个下采样的图像帧，以便产生所述第三区域和所述第四区域的频率分量的指示，所述多个下采样的图像帧为N个下采样的图像帧；
闪烁分析装置，其被通信地耦合到所述频率确定装置，用于分析所述频率分量的指示，以便确定所述频率分量中的任何频率分量是否对应于在相应区域中的主要信号、是否对应于至少一个所关注的频率，以及是否将会被观看所述图像帧的人察觉；以及
拼接装置，其用于使用来自所述多个候选图像的第二图像帧的第一部分替换来自所述多个候选图像的第一图像帧的第一部分，所述第一图像帧的第一部分对应于所述第二图像帧的第一部分，所述第一图像帧的第一部分被曝光不足或被曝光过度，且所述第二图像帧的第一部分被适当曝光。
9.根据权利要求8所述的系统，还包括累加装置，该累加装置被通信地耦合到所述下采样装置和所述频率确定装置，用于累加所述N个下采样的图像帧。
10.根据权利要求8所述的系统，其中所述下采样装置被配置成对每个所述不同的区域上的像素值进行平均。
11.根据权利要求8所述的系统，其中，所述至少一个所关注的频率为当使用具有N个样本和采样频率为F的快速傅利叶变换时与50hz、60hz、100hz或120hz中至少一个混叠的频率。
12.一种检测图像帧中闪烁的方法，所述方法包括：
以帧速率F产生所述图像帧，且每个所述图像帧的第一部分和第二部分被捕获，所述第一部分和所述第二部分中的每个包括具有多个水平像素和多个垂直像素的二维阵列的像素，所述第一部分与所述第二部分分隔，所述图像帧包括具有不同的曝光持续时间的多个候选图像；
使用来自所述多个候选图像的第二图像帧的第一部分替换来自所述多个候选图像的第一图像帧的第一部分，所述第一图像帧的第一部分与所述第二图像帧的第一部分相对应，所述第一图像帧的第一部分被曝光不足或被曝光过度，且所述第二图像帧的第一部分被适当曝光；
在多个图像帧上确定与所述第一部分和所述第二部分相关联的频率分量，其中所述多个图像帧为N个图像帧；以及
确定与所述第一部分或所述第二部分相关联的任何频率分量是否各自指示可察觉的闪烁，以便在小于所述图像帧的整个区域上确定指示可察觉的闪烁的频率分量。
13.根据权利要求12所述的方法，还包括：
空间下采样个数为N的所述多个图像帧中的每个图像帧以产生N组信息；以及
将傅立叶变换应用于所述N组信息来确定与所述N个图像帧的所述第一部分和所述第二部分相关联的所述频率分量。
14.根据权利要求12所述的方法，其中确定与所述第一部分或所述第二部分相关联的任何频率分量是否各自指示可察觉的闪烁包括确定所述任何频率分量是否(1)具有对应于与所关注的光源频率相关联的至少一个闪烁频率的频率，(2)具有相对于闪烁幅度阈值的不期望的关系的幅度，以及(3)对应于所述图像帧的各个区域的主要信号。
CN201280027803.5A 2011-04-06 2012-04-04 空间变化的闪烁检测 Expired - Fee Related CN103583035B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/081,144 2011-04-06
US13/081,144 US9088727B2 (en) 2011-04-06 2011-04-06 Spatially-varying flicker detection
PCT/US2012/032057 WO2012138687A2 (en) 2011-04-06 2012-04-04 Spatially-varying flicker detection

Publications (2)

Publication Number Publication Date
CN103583035A CN103583035A (zh) 2014-02-12
CN103583035B true CN103583035B (zh) 2017-05-31

Family

ID=46969779

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280027803.5A Expired - Fee Related CN103583035B (zh) 2011-04-06 2012-04-04 空间变化的闪烁检测

Country Status (5)

Country Link
US (1) US9088727B2 (zh)
EP (1) EP2695373B1 (zh)
CN (1) CN103583035B (zh)
AU (1) AU2012240331B2 (zh)
WO (1) WO2012138687A2 (zh)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103108197A (zh) 2011-11-14 2013-05-15 辉达公司 一种用于3d视频无线显示的优先级压缩方法和系统
US9829715B2 (en) 2012-01-23 2017-11-28 Nvidia Corporation Eyewear device for transmitting signal and communication method thereof
KR101919479B1 (ko) * 2012-05-02 2018-11-19 삼성전자주식회사 카메라 모듈에서 플리커를 검출하는 장치 및 방법
US9578224B2 (en) 2012-09-10 2017-02-21 Nvidia Corporation System and method for enhanced monoimaging
US20140071245A1 (en) * 2012-09-10 2014-03-13 Nvidia Corporation System and method for enhanced stereo imaging
US9293500B2 (en) 2013-03-01 2016-03-22 Apple Inc. Exposure control for image sensors
US9276031B2 (en) 2013-03-04 2016-03-01 Apple Inc. Photodiode with different electric potential regions for image sensors
KR20140109668A (ko) * 2013-03-06 2014-09-16 삼성전자주식회사 플리커를 검출하기 위한 방법 및 시스템
US9741754B2 (en) 2013-03-06 2017-08-22 Apple Inc. Charge transfer circuit with storage nodes in image sensors
US9549099B2 (en) 2013-03-12 2017-01-17 Apple Inc. Hybrid image sensor
US9319611B2 (en) 2013-03-14 2016-04-19 Apple Inc. Image sensor with flexible pixel summing
JP6108946B2 (ja) * 2013-05-10 2017-04-05 キヤノン株式会社 撮像装置、制御方法、プログラム及び記憶媒体
JP6220225B2 (ja) 2013-10-30 2017-10-25 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム、及び記録媒体
US9596423B1 (en) 2013-11-21 2017-03-14 Apple Inc. Charge summing in an image sensor
US9596420B2 (en) 2013-12-05 2017-03-14 Apple Inc. Image sensor having pixels with different integration periods
US9473706B2 (en) * 2013-12-09 2016-10-18 Apple Inc. Image sensor flicker detection
US10935788B2 (en) 2014-01-24 2021-03-02 Nvidia Corporation Hybrid virtual 3D rendering approach to stereovision
US10285626B1 (en) 2014-02-14 2019-05-14 Apple Inc. Activity identification using an optical heart rate monitor
US9277144B2 (en) 2014-03-12 2016-03-01 Apple Inc. System and method for estimating an ambient light condition using an image sensor and field-of-view compensation
US9232150B2 (en) 2014-03-12 2016-01-05 Apple Inc. System and method for estimating an ambient light condition using an image sensor
US9584743B1 (en) 2014-03-13 2017-02-28 Apple Inc. Image sensor with auto-focus and pixel cross-talk compensation
US9497397B1 (en) 2014-04-08 2016-11-15 Apple Inc. Image sensor with auto-focus and color ratio cross-talk comparison
US10070067B2 (en) * 2014-04-15 2018-09-04 Sony Corporation Systems, methods, and media for extracting information and a display image from two captured images
US9538106B2 (en) 2014-04-25 2017-01-03 Apple Inc. Image sensor having a uniform digital power signature
US9686485B2 (en) 2014-05-30 2017-06-20 Apple Inc. Pixel binning in an image sensor
JP6525715B2 (ja) * 2015-05-08 2019-06-05 キヤノン株式会社 撮像装置、光量変化の検出方法及びプログラム
JP6304605B2 (ja) * 2015-11-12 2018-04-04 カシオ計算機株式会社 撮像装置、フリッカ検出方法及びプログラム
US9906981B2 (en) 2016-02-25 2018-02-27 Nvidia Corporation Method and system for dynamic regulation and control of Wi-Fi scans
US9912883B1 (en) 2016-05-10 2018-03-06 Apple Inc. Image sensor with calibrated column analog-to-digital converters
CN109716525B (zh) 2016-09-23 2020-06-09 苹果公司 堆叠式背面照明spad阵列
US10656251B1 (en) 2017-01-25 2020-05-19 Apple Inc. Signal acquisition in a SPAD detector
WO2018140522A2 (en) 2017-01-25 2018-08-02 Apple Inc. Spad detector having modulated sensitivity
US10962628B1 (en) 2017-01-26 2021-03-30 Apple Inc. Spatial temporal weighting in a SPAD detector
CN111194460A (zh) * 2017-05-16 2020-05-22 泰克年研究发展基金会公司 电网的计算成像
US10622538B2 (en) 2017-07-18 2020-04-14 Apple Inc. Techniques for providing a haptic output and sensing a haptic input using a piezoelectric body
US10440301B2 (en) 2017-09-08 2019-10-08 Apple Inc. Image capture device, pixel, and method providing improved phase detection auto-focus performance
US11284011B2 (en) * 2017-09-11 2022-03-22 Signify Holding B.V. Detecting coded light with rolling-shutter cameras
GB2568924B (en) 2017-11-30 2022-07-20 Apical Ltd Method of flicker reduction
US11991808B2 (en) * 2018-07-12 2024-05-21 Apple Inc. Electronic device with ambient light flicker sensor
US10848693B2 (en) 2018-07-18 2020-11-24 Apple Inc. Image flare detection using asymmetric pixels
US11019294B2 (en) 2018-07-18 2021-05-25 Apple Inc. Seamless readout mode transitions in image sensors
US11233966B1 (en) 2018-11-29 2022-01-25 Apple Inc. Breakdown voltage monitoring for avalanche diodes
JP7302410B2 (ja) * 2019-09-25 2023-07-04 株式会社Ｊｖｃケンウッド 画像認識装置、画像認識システム、画像認識方法及びプログラム
DE102019128219A1 (de) * 2019-10-18 2021-04-22 Connaught Electronics Ltd. Ein Bildverarbeitungsverfahren
US11563910B2 (en) 2020-08-04 2023-01-24 Apple Inc. Image capture devices having phase detection auto-focus pixels
US11776238B2 (en) * 2020-09-04 2023-10-03 The Government Of The United States Of America, As Represented By The Secretary Of The Navy Exploiting camera rolling shutter to detect high frequency signals
CN112887629B (zh) * 2021-01-27 2022-08-23 维沃移动通信有限公司 频率检测方法、装置、电子设备及存储介质
US11546532B1 (en) 2021-03-16 2023-01-03 Apple Inc. Dynamic correlated double sampling for noise rejection in image sensors
US12069384B2 (en) 2021-09-23 2024-08-20 Apple Inc. Image capture devices having phase detection auto-focus pixels

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1292623A (zh) * 1999-10-08 2001-04-25 松下电器产业株式会社 照明闪烁检测、补偿装置和交流电源频率检测装置及其方法
CN1315110A (zh) * 1998-07-28 2001-09-26 英特尔公司 用于在流水线式数字视频捕获期间减少来自放电灯的闪变效应的方法和设备
CN1437389A (zh) * 2001-12-27 2003-08-20 夏普公司 闪烁校正装置、闪烁校正方法及存贮闪烁校正程序的记录介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6040858A (en) * 1994-11-18 2000-03-21 Canon Kabushiki Kaisha Method and apparatus for expanding the dynamic range of sensed color images
DK0835585T3 (da) 1995-06-26 1999-05-17 Phase One Denmark A S Fremgangsmåde og system til billedoptagelse med et digitalt kamera
US5793886A (en) 1996-12-19 1998-08-11 Eastman Kodak Company Method of adjusting image pixel values within an image sequence by interpolation of target cumulative histograms for images to be adjusted
US6295085B1 (en) 1997-12-08 2001-09-25 Intel Corporation Method and apparatus for eliminating flicker effects from discharge lamps during digital video capture
US6271884B1 (en) 1999-09-28 2001-08-07 Conexant Systems, Inc. Image flicker reduction with fluorescent lighting
US7298401B2 (en) 2001-08-10 2007-11-20 Micron Technology, Inc. Method and apparatus for removing flicker from images
JP3823314B2 (ja) 2001-12-18 2006-09-20 ソニー株式会社 撮像信号処理装置及びフリッカ検出方法
JP2004112403A (ja) * 2002-09-19 2004-04-08 Hitachi Kokusai Electric Inc 撮像装置
JP4423889B2 (ja) 2002-11-18 2010-03-03 ソニー株式会社 フリッカ低減方法、撮像装置およびフリッカ低減回路
US7782384B2 (en) * 2004-11-05 2010-08-24 Kelly Douglas J Digital camera having system for digital image composition and related method
KR100908028B1 (ko) * 2004-12-23 2009-07-15 노키아 코포레이션 전자 장치들을 위한 멀티 카메라 솔루션
JP2006287362A (ja) * 2005-03-31 2006-10-19 Eastman Kodak Co デジタルカメラおよびホワイトバランス調整方法
JP4207926B2 (ja) 2005-05-13 2009-01-14 ソニー株式会社 フリッカ補正方法、フリッカ補正装置及び撮像装置
JP4335849B2 (ja) 2005-06-13 2009-09-30 富士通マイクロエレクトロニクス株式会社 フリッカ検出可能な撮像装置
JP2007174537A (ja) 2005-12-26 2007-07-05 Victor Co Of Japan Ltd 撮像装置
US7565077B2 (en) * 2006-05-19 2009-07-21 Seiko Epson Corporation Multiple exposure regions in a single frame using a rolling shutter
US7911505B2 (en) 2008-08-20 2011-03-22 Eastman Kodak Company Detecting illuminant flicker
US8441551B2 (en) 2008-11-14 2013-05-14 Ati Technologies Ulc Flicker detection circuit for imaging sensors that employ rolling shutters
US20110255786A1 (en) * 2010-04-20 2011-10-20 Andrew Hunter Method and apparatus for determining flicker in the illumination of a subject

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1315110A (zh) * 1998-07-28 2001-09-26 英特尔公司 用于在流水线式数字视频捕获期间减少来自放电灯的闪变效应的方法和设备
CN1292623A (zh) * 1999-10-08 2001-04-25 松下电器产业株式会社 照明闪烁检测、补偿装置和交流电源频率检测装置及其方法
CN1437389A (zh) * 2001-12-27 2003-08-20 夏普公司 闪烁校正装置、闪烁校正方法及存贮闪烁校正程序的记录介质

Also Published As

Publication number Publication date
AU2012240331B2 (en) 2016-08-11
WO2012138687A2 (en) 2012-10-11
US20120320232A1 (en) 2012-12-20
EP2695373A2 (en) 2014-02-12
AU2012240331A1 (en) 2013-10-31
EP2695373A4 (en) 2014-11-12
EP2695373B1 (en) 2019-10-02
US9088727B2 (en) 2015-07-21
CN103583035A (zh) 2014-02-12
WO2012138687A3 (en) 2013-02-21

Similar Documents

Publication Publication Date Title
CN103583035B (zh) 空间变化的闪烁检测
JP6257840B2 (ja) ライブ性分析のためのシステムおよび方法
US8179466B2 (en) Capture of video with motion-speed determination and variable capture rate
CN101605209B (zh) 摄像装置及图像再生装置
KR101052207B1 (ko) 물체의 속도에 따른 카메라 모듈의 영상 녹화 속성 조절 방법 및 장치
KR20130010875A (ko) 화상 조정 파라미터를 결정하기 위한 방법 및 카메라
JP2012134663A (ja) 撮像装置および撮像方法
JP7263626B2 (ja) 画像における複数の光源のフリッカ現象の低減
CN106559623A (zh) 摄像装置和闪烁检测方法
CN112995545B (zh) 多传感器高动态范围成像
JP2012120132A (ja) 撮像装置およびプログラム
JP2019103031A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
CN108875477B (zh) 曝光控制方法、装置和系统及存储介质
JP5106283B2 (ja) ビデオカメラ
KR101941266B1 (ko) 초저조도용 cctv 영상 제공 시스템
CN111726543A (zh) 一种提高图像动态范围的方法、摄像机
Coria et al. Automatic stereoscopic 3D video reframing
JP5383886B2 (ja) 画像処理装置、画像処理方法、プログラム及び記憶媒体
WO2023001373A1 (en) Device and method for processing image data
KR101864318B1 (ko) 감시 이미지 처리 장치 및 방법
CN118250564A (zh) 拍摄控制方法、拍摄控制装置、存储介质与电子设备
JP2009105694A (ja) 電子カメラ
JP2017097612A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2016158004A (ja) 信号処理装置、信号処理方法、及び、プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170531

Termination date: 20200404