CN111339817A - 用于增强由热相机捕获的图像中的改变的方法、设备及系统 - Google Patents

用于增强由热相机捕获的图像中的改变的方法、设备及系统 Download PDF

Info

Publication number
CN111339817A
CN111339817A CN201911307846.9A CN201911307846A CN111339817A CN 111339817 A CN111339817 A CN 111339817A CN 201911307846 A CN201911307846 A CN 201911307846A CN 111339817 A CN111339817 A CN 111339817A
Authority
CN
China
Prior art keywords
image
pixels
intensity values
function
intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911307846.9A
Other languages
English (en)
Other versions
CN111339817B (zh
Inventor
托马斯·温泽尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of CN111339817A publication Critical patent/CN111339817A/zh
Application granted granted Critical
Publication of CN111339817B publication Critical patent/CN111339817B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及用于增强由热相机捕获的图像中的改变的方法、设备及系统。提供了一种用于增强由热相机(102)捕获的图像序列(103)的图像(103a)中的改变的设备(104)及系统(100)。接收(S02)作为所述图像序列(103)的一部分的图像(103a)，并且识别(S04)所述图像中的相对所述序列中的另一图像(103b)改变的像素(408)。基于识别的像素的强度值，确定(S06)用来重新分布所述图像中的改变以及未改变的像素的强度值的函数(212，212a，212b，212c，212d，212e)。所述函数对于识别的像素的强度值的范围(514)内的第一强度值(602)具有最大值(601)，并且随增加的与所述第一强度值的距离衰减。

Description

用于增强由热相机捕获的图像中的改变的方法、设备及系统
技术领域
本发明涉及处理热图像的领域。具体地址，本发明涉及一种用于增强由热相机捕获的图像序列的图像中的改变的方法、设备及系统。
背景技术
热相机现在通常用作监控目的。热相机是能够用来远距离且在困难条件下检测并分类目标的非常好检测器，通常比可见光相机好得多。然而，因热相机相较于可见光相机通常较低的分辨率，此检测潜力难以用于诸如自动运动检测系统之类的自动系统。因较低的分辨率，场景中小或远的目标可能仅覆盖所捕获的热图像的一个或一些像素。当从热图像检测到场景中的运动时，该小或远的目标可能因此易被误认为噪声，而不是被检测为移动目标。另外，大多数运动检测引擎针对视觉相机图像进行优化，而不为热相机图像进行优化。
EP3016383 A1意识到这些问题。在那一文档中，提出增强图像序列中图像的、自图像序列中前一图像起已改变的像素。以那种方式，场景中小或远的移动目标将在图像中显得较大。也就是说，该目标将覆盖图像中数量增多的像素。它因此不太可能被误认为噪声，而更可能被检测为移动目标。
EP3016383 A1采用通过给像素值增加或增添偏移、增强自前一帧起已改变的像素的过分简化的方法。然而，为了进一步改进从热图像序列正确检测移动目标的可能性，需要一种更进一步增强热图像序列中的改变的方法。
发明内容
鉴于上文，本发明的目标因而为减轻上面的问题，并且进一步改进热图像序列中的改变的增强。
根据第一方面，上面的目标由一种用于增强由热相机捕获的图像序列的图像中的改变的方法实现。该方法包括：
接收作为由热相机捕获的图像序列的一部分的图像，
通过将该图像与图像序列中的另一图像比较，来识别该图像中的相对图像序列中的另一图像改变的像素，
基于识别的像素的强度值，确定用于重新分布图像中的像素的强度值的函数，其中该函数对于识别的像素的强度值的范围内的第一强度值具有最大值，并且随着与第一强度值的距离增加而衰减，以使得该函数赋予该范围外的强度值的值低于赋予该第一强度值的值，并且
通过使用所确定的函数，重新分布该图像中的相对另一图像改变的像素的强度值和该图像中的相对另一图像未改变的像素的强度值，从而增强图像中的改变。
利用此方法，识别自该序列中的另一图像起已改变的像素。基于识别的像素的强度值，确定在重新分布该图像中强度值时后来使用的函数。通过这样做，该函数可在图像中的改变的像素的强度值后裁剪，以使得在执行重新分布动作时，以期望的方式加强图像中的这些强度值。
该函数用来重新分布图像中的改变以及未改变的像素的强度值。换言之，重新分布相对另一图像改变的像素及相对另一图像未改变的像素的强度值。这可包含图像中的所有像素，或至少图像中的大部分像素。该函数因其形状而具有改变的像素的强度值的范围内的最大值以及随着与最大值的距离增加而衰减，从而服务于数个目的。更具体地，它不仅倾向于给与改变的像素的像素强度相对应的像素强度较高的权重，还倾向于抑制不在改变的像素的强度的范围内的像素强度。以那种方式，增加具有在改变的像素的强度范围内的强度值的像素与具有在那个强度范围外的强度值的像素之间的对比度。结果，相较于原始图像，移动目标较易在增强的图像中辨别并检测，例如，通过使用随后应用于图像处理的运动检测器。
识别的像素的强度值的范围通常意指识别的像素的最小强度值与最大强度值之间强度值的间隔。
用于重新分布图像中的像素的强度值的函数是将像素中的强度值映射到加权因子的函数。该函数可因此还被视于给图像中的像素的强度值加权的函数。该函数可用来通过用该函数赋予强度值的加权因子给图像中的每个像素的强度值加权，重新分布图像中所有像素的强度值。
该函数随增加的距离衰减意指函数随增加的距离而减小。该减小可以是严格或非严格的。然而，因函数给范围外的强度值赋予比赋予范围内的第一强度值的值较低的值，所以至少对于识别的像素的强度值的范围的一部分，该函数严格地随距离减小。
函数的衰减速率可基于识别的像素的强度值的变化确定，其中较高的变化给出较低的衰减速率。以此方式，该函数可适配改变的像素的强度值的变化。更具体地，可以避免衰减速率相对识别的像素的强度值的变化变得太快，因为那会使一些改变的像素不适当地增强。相反，可以避免衰减速率相对识别的像素的强度值的变化太慢，因为那会导致具有在改变的像素的强度范围内的强度值的像素与具有那个强度范围外的强度值的像素之间糟糕的对比度。举例来说，假如识别的像素的强度值显示为直方图中的窄峰值，相较于假如改变的像素的强度值显示为直方图中较宽的峰值，可使用较快的衰减函数。
识别的像素的强度值的变化可基于识别的像素的强度值的范围的宽度来确定。或者，识别的像素的强度值的变化可基于识别的像素的强度值的标准差来计算。
该函数的衰减速率可进一步基于图像中未被识别为相对另一图像改变的像素的强度值的变化，其中图像中未被识别为相对另一图像改变的像素的强度值的较高变化给出较低的衰减速率。而且在此情况下，该改变可基于范围的宽度或相关像素的强度值的标准差来计算。以这种方式，不仅考虑改变的像素的强度值的变化，还考虑未改变的像素的强度值的变化。例如，设置函数的衰减速率时，可考虑未改变的像素和改变的像素的强度值的变化之间的关系。假如未改变的像素的强度值的变化相对改变的像素的改变大，它可能譬如有利于具有衰减速率较低的函数。当仅一些像素被识别为相对另一图像改变时，此类情况可能发生。发现通过估计来自那些改变的像素的变化(如果可能)，可以达到太快、以致于不允许图像中的改变的适当增强的衰减速率。通过还考虑未改变像素的变化，反而可以得出具有较低衰减速率的函数，从而改进图像中的改变的增强。
可采用不同方法来选择第一强度值，确定的函数关于该第一强度值具有最大值。
在一种方法中，第一强度值与识别的像素的强度值的模式相对应。该模式为识别的像素的最常见的强度值。该模式可从强度值的直方图提取。
在另一方法中，第一强度值与识别的像素的强度值的范围的中点相对应。这是设置无需直方图计算的第一强度值的简单方法。
在另一方法中，第一强度值与识别的像素的强度值的均值相对应。这也提供了设置第一强度值的简单方法。
进一步的方法包括识别的像素的强度值的分布的中值或重心。
在特定情况下选择哪种方法可例如取决于识别的像素的强度值的分布形状。对于对称的分布形状，均值可行，而对于更复杂的分布形状，可优选模式或范围的中点。在一些情况下，该选择可取决于识别的像素的强度值在强度刻度上所处的位置。例如，假如改变的像素的强度值的范围位于强度刻度的上端，将第一强度值设为处于改变的像素的强度值的范围的低端可能是有利的，反之亦然。
该函数可以是关于第一强度值对称的。假如识别的像素的强度值的分布近似对称，这可能是适当的。
或者，该函数可以是关于第一强度值偏斜的。函数偏斜意指它的其中一个尾部比其他尾部更重。使用偏斜函数的理由是它允许比起低于第一强度值的强度值、更加强高于第一强度值的强度值，或反之亦然。
例如，该函数可以是偏斜的，以使得较高的强度值具有比较低的强度值更重的尾部。这可譬如用于处理在比人或动物的体温冷的环境中检测人或动物的应用。使较高的强度值具有更重的尾部则会允许与人相关联的强度值相比较于与背景相关联的强度值更强。
在将要检测到处于较暖环境的人或动物的相反情况下，较低的强度值反而可位于较重的尾部。
实践中，例如位于热相机内的温度传感器能够用来确定周围温度，并且偏斜的侧可基于测量的周围温度来确定。假如周围温度低于感兴趣目标的典型温度，则函数的偏斜可设为较高的强度值比较低的强度值具有更重的尾部，并且反之亦然。周围温度可使用热相机中测辐射热计类型的热检测器来测量。
该函数可为参数函数。例如，该函数可为高斯函数(在对称情况下)或偏态高斯函数(在非对称情况下)。这是有利的，因为该函数易于可根据从识别的像素的强度值提取的一些参数来确定。
识别图像中的相对图像序列中的另一图像改变的像素的步骤可包括识别图像中具有与图像序列中的另一图像的对应像素的强度值相差超过阈值的强度值的像素。通过应用阈值，可排除小且微不足道的改变(例如噪声)。
根据第二方面，提供了一种用于增强由热相机捕获的图像序列的图像中的改变的设备，包括：
接收器，被配置为接收作为由热相机捕获的图像序列一部分的图像，
改变检测器，被配置为通过将该图像与图像序列中的另一图像比较，来识别图像中的相对图像序列中的另一图像改变的像素，
重新分布函数确定器，被配置为基于识别的像素的强度值，确定用于重新分布图像中的像素的强度值的函数，其中该函数对于识别的像素的强度值的范围内的第一强度值具有最大值，并且随着与第一强度值的距离增加而衰减，以使得该函数赋予该范围外的强度值的值低于赋予第一强度值的值，以及
强度值重新分布器，被配置为通过使用所确定的函数，重新分布图像中的相对另一图像改变的像素的强度值和图像中的相对另一图像未改变的像素的强度值，从而增强图像中的改变。
根据第三方面，提供了一种用于增强由热相机捕获的图像序列的图像中的改变的系统，包括：
热相机，被配置为捕获图像序列，
根据第二方面的设备，被布置为接收由热相机捕获的图像序列的图像。
根据第四方面，提供了一种具有其上存储的计算机代码指令的计算机可读存储介质，所述计算机代码指令由处理器执行时，使处理器执行第一方面的方法。计算机可读存储介质可为非暂时性计算机可读存储介质。
第二、三及四方面可通常具有与第一方面相同的特征及优点。进一步注意到，除非另外明确规定，本发明涉及特征的所有可能组合。
附图说明
参考附图，通过下面本发明实施方式的说明性及非限制性的详细描述，本发明的上面以及额外的目标、特征及优点将更好理解，在附图中，相同的引用编号将用于类似的元件，其中：
图1根据实施方式，示意性图示了用于增强由热相机捕获的图像序列中的改变的系统。
图2根据实施方式，示意性图示了用于增强由热相机捕获的图像序列中的改变的设备。
图3为根据实施方式的、用于增强由热相机捕获的图像序列中的改变的方法。
图4根据实施方式，示意性图示了如何识别当前图像中的相对另一图像改变的像素。
图5a示出了当前图像的强度值的直方图的示例。
图5b示出了当前图像的相对另一图像改变的强度值的直方图的示例。
图5c示出了改变已增强的图像的强度值的直方图的示例。
图6根据实施方式，示意性图示了可用于重新分布图像中的像素的强度值的函数的各种示例。
具体实施方式
现在，下文将参考示出了本发明的实施方式的附图，更充分地描述本发明。
图1图示了系统100。系统100可用于增强由热相机102捕获的图像序列的图像的改变。系统100包括热相机102和图像增强设备104。系统100还可包括运动检测器106。图像增强设备104可为热相机102的主要部分。例如，图像增强设备104可集成在热相机102的图像处理管线中。这样，它无需是热相机的隔离的部件，但它可与热相机的其它部分共享组件，譬如处理器。或者，且如图1所示，可与热相机102分立地提供图像增强设备104。
系统100可用于监测或监控目的。热相机可因此为监测相机。系统100可例如用于大部分时间静止的场景中的运动检测，诸如周界监控。用于此类目的时，系统100用来通过增强图像中的改变，提高运动检测的性能，从而使它们对于运动检测器106更可见、且更易于检测。
热相机102利用热传感器来可视化场景内的热差异。如本领域公知的，热传感器检测场景中目标发射的热能，并将检测到的热能转换为电信号，以产生热图像或热视频，即热图像序列103。如此产生的图像的像素的强度值因而指示场景中目标发射的热能，这转而取决于发射目标的温度。热相机102可因此提供热图像序列103，其中温暖的目标，诸如人或动物之类，在周围较冷的环境中突出，或反之亦然。本发明可用于的其它目标的示例为不同类型的机动交通工具，诸如轿车或无人驾驶飞机。举例来说，图5a示意性示出了描绘较冷背景中人的热图像的强度值的直方图500。人显示为直方图中的峰值502。
系统100能够增强图像序列103的图像中的改变，无论热相机102是否是绝对校准的。对于绝对校准的热相机，热图像103的强度值是相对温度刻度校准的。这表明温度可直接从热图像103的强度值读出。
热相机102被布置为给图像增强设备104提供热图像序列103。在图像增强设备104与热相机102分立的情况下，热图像序列103可通过电缆或在网络上无线地从热相机102传送到设备104。图像增强设备104转而处理图像序列103的图像以产生增强的图像的序列105，其中图像中的改变被增强。作为处理结果，图像中的改变将被增强，为的是更清楚地从周围背景突出。例如，该处理使改变的像素与图像中的背景之间的对比度增强。图像增强设备104可位于热相机的处理链或管线早期。在一些实施方式中，图像增强设备104甚至对图像原始数据进行操作。在处理链早期，图像数据通常以高分辨率表示，诸如以高空间分辨率和/或高比特分辨率(每像素更多比特)之类。在处理链后期(诸如在运动检测之前)，图像数据的分辨率可按比例降低，例如通过减小空间分辨率和/或比特分辨率。通过在早期阶段以较高的分辨率增强改变，还可检测并增强否则因按比例下降而损失的改变。以那种方式，如果在处理链中早期进行，则改变的增强具有较高的影响。
在一些情况下，这可以用来改进由热相机102捕获的图像序列103中移动目标的检测。更具体地，增强的图像序列105可输入至运动检测器106。运动检测器106可为标准的、商业可用的、实现公知的运动检测算法的运动检测器。运动检测器106无需特别适配为处理热图像。相反，运动检测器106可设计为检测由可见光相机捕获的图像中的运动。因图像中的改变在增强的图像序列105中增强，所以相较于假如反而在运动检测器106的输入提供原始图像序列103，它们对于原始图像序列103来说较易检测。例如，且如上所述，改进了检测场景内仅覆盖热图像中一个或一些像素的小或远的移动目标的可能性。图像增强设备104执行的处理可因而在一些情况下被视为先于运动检测的、热图像序列103的预处理。
在其它情况下，图像中的改变的增强可用来改进图像序列103中移动目标的识别，诸如通过执行形状检测之类。系统100可因此包括形状检测器，代替或补充运动检测器106。通过使用形状检测器，可能不仅检测运动，还识别什么种类的目标在移动。
图2更具体地图示了图像增强设备104。图像增强设备104包括接收器202、改变检测器204、重新分布函数确定器206以及强度值重新分布器208。
图像增强设备104因而包括被配置为实现设备104的功能的各种组件202、204、206、208。尤其是，每个图示的组件与设备104的一个功能相对应。通常，设备104可包括被配置为实现组件202、204、206、208、且更具体地它们的功能的电路。
在硬件实施例中，组件202、204、206、208的每一个可与专用的、且特别设计成提供该组件的功能的电路相对应。该电路可以一个或多个集成电路的形式，诸如一个或多个专用集成电路或一个或多个场可编程门阵列之类。举例来说，改变检测器204可因而包括使用时、识别图像中的相对图像序列中的另一图像改变的像素的电路。
在软件实施例中，该电路可代替以处理器的形式，诸如微处理器之类，其与诸如非易失性存储器之类的(非暂时性)计算机可读介质上存储的计算机代码指令联合使设备104执行本文公开的任一方法。非易失性存储器的示例包括只读存储器、闪存、铁电RAM、磁性计算机存储设备、光盘等。在软件情况下，组件202、204、206、208可因而每一个与计算机可读介质上存储的计算机代码指令的一部分相对应，该部分由处理器执行时，使设备104执行该组件的功能。
要理解的是还可能使硬件和软件实施例的组合，意指组件202、204、206、208的一些的功能以硬件实现，且其它以软件实现。
现在将参考图1、图2以及图3的流程图来描述图像增强设备104对由热相机102捕获的图像序列103的图像中的改变进行增强时的操作。
在图3的步骤S02中，图像增强设备104的接收器202接收由热相机102捕获的图像序列103。随着序列103的图像由热相机102捕获，可顺序地接收它们。具体地，接收器202接收将要增强的当前图像103a以及序列103的另一图像103b。另一图像103b可先于图像序列103中的当前图像103a，或它可晚于图像序列103中的当前图像103a。另一图像103b可在序列103中的与当前图像103相邻。例如，它可以是序列103中紧接在当前图像103a之前的图像。然而，它原则上可以是序列103中任一较早或较晚的图像。
举例来说，图4图示了序列103中当前103a及先前103b图像。先前图像103b和当前图像103a的每一个描述了第一目标402、第二目标404和背景406。在该示例中，目标402、404被图示为人。第一目标402在先前帧103b和当前帧103a之间移动，而第二目标404是静止的。为了图示此事实，通过虚线在当前图像103a中指示先前帧103b中第一目标402的位置。
当前图像103a和另一图像103b输入至改变检测器204。在步骤S04中，改变检测器204识别图像103a中的相对另一图像103b改变的像素。出于那一目的，改变检测器204可逐像素地比较当前图像103a和当前图像103b，以查看哪些像素已改变。以那种方式，图像103a中的改变可迅速识别。为了确定哪些像素已改变，改变检测器204可应用阈值。具有自先前帧起已改变超过阈值的强度值的像素可被识别为改变的像素。其它像素被识别为未改变的像素。阈值的值可取决于在热传感器的噪声的易变性来设置。具体地，对于热相机，该阈值可与作为热相机的信噪比的噪声等效温差(Noise Equivalent Temperature Difference,NETD)相关。例如，可使用等于传感器噪声的标准差的两倍的阈值。以那种方式，改变检测器204所识别的图像103a中的大多数改变将与场景中的改变相对应，而不是噪声结果。
替代地或另外，改变检测器204可从识别的像素集移除隔离的像素或小的相邻像素组。例如，假如像素组中相邻像素的数目小于阈值,改变检测器204可从识别的像素集移除像素组。以那种方式，在每个组中相邻像素的数目大于或等于阈值的情况下，识别的像素的集仅包括相邻像素组。
改变检测器204还可比较多于两个图像，诸如三个图像之类。在每对连续图像间改变的像素可被识别为改变的像素。
改变检测器204可给重新分布函数确定器206发送当前图像103a中哪些像素相对另一图像103b改变的指示210。该指示可例如以掩膜的形式，该掩膜对于被发现已改变的像素取一个值(诸如值“1”之类)，而对于未被发现已改变的像素取另一个值(诸如值“0”之类)。
返回图4的示例，改变检测器204将在步骤S04中发现当前图像103a中的与定位为处于当前图像103a或先前图像103b时的第一目标402相对应的像素已改变。改变检测器204将进一步发现当前图像103a中的与第二目标404或背景406相对应的像素未改变，因第二目标404以及背景是静止的。基于它的发现，且如图4所示，改变检测器204可生成哪些像素408自先前图像起已改变的指示210。改变的像素408在图4中用黑色图示。图4的示例简化为图示本发明的原理。在现实世界情况下，不是第一目标402内部的所有像素都被识别为已改变，因为目标402内部的许多像素基本上具有相同的温度，即便该目标移动，目标内部的像素的值也因此基本相同。然而，目标402边界处的大多数像素被识别为已改变，因这些像素表示从背景像素到目标像素的改变，且反之亦然。
在上面的示例中，改变检测器204识别当前图像103a中的相对另一图像103b改变超过阈值的所有像素为改变的像素。在其它实施方式中，改变检测器204还可考虑改变方向。例如，改变检测器204可仅将当前图像103a中的相对另一图像103b增加超过阈值的像素识别为改变的像素。当对比背景暖的目标感兴趣时，这可能是相关的。或者，改变检测器204可仅将当前图像103b中的相对另一图像103b减少超过阈值的像素识别为改变的像素。当对比背景冷的目标感兴趣时，这可能是相关的。
已发现在识别改变的像素时不必考虑改变方向(强度值的增或减)。在图4所示的所有改变的像素无论改变方向都被识别为改变的像素的情况下，本发明仍然工作令人满意。当已知比背景暖或冷的目标是否有兴趣时，这可能尤其有用。这些改变的像素的一些将原则上属于当前图像103中的背景。然而，现实情况是目标因为衍射而没有锋利的轮廓。这意味着处于目标轮廓的像素将是背景及目标像素的混合。只要两个帧之间的移动处于与衍射(通常为在每个方向的一些像素，诸如2至3个像素)相同的量级，识别改变的像素时，不必考虑改变方向。处于目标轮廓的改变的像素将无论如何都是目标及背景像素的混合，并且可能包含好的结果。
在步骤S06中，重新分布函数确定器206继续确定重新分布当前图像103a中像素的强度值时可使用的函数212。函数212的确定基于改变检测器204所识别的改变的像素408的强度值。为了这样做，重新分布函数确定器206可使用改变检测器204生成的指示210从当前图像103a提取改变像素408的强度值。例如，在指示210被提供为掩膜的情况下，这可由掩膜过程执行。
图5a示意性图示了当前图像103a中所有像素的强度值的直方图500。直方图500示出当前图像103a中像素的强度值如何分布。直方图500具有在强度刻度的较低部分的第一峰值501和在强度刻度的较高部分的第二峰值502。第一峰值501与场景中的背景406发射的热能相关联，并且第二峰值502与第一目标402及第二目标404发射的热能相关联。这因此是目标402及404比背景406暖的示例。然而，理解可能有相反的情况，即目标比背景冷。图5b图示了当前图像103a的改变的像素408的强度值的直方图510。直方图510示出了当前图像103a中的改变的像素408的强度值如何分布。在此情况下，直方图510具有与第一目标402(移动的目标)发射的热能最对应的单个峰值512。如能从直方图510看出的，改变的像素408的强度值取最小强度值“Imin”与最大强度值“Imax”之间的范围514内的值。
重新分布函数确定器206可通常分析改变的像素408的强度值，诸如强度值的分布或其属性之类，以确定函数212。图6通过5个示例性函数212a、212b、212c、212d、212e图示了函数212可能是什么样的。直方图510的形状也在图6中示出，仅为参考。它不是按比例绘制的。
函数212a、212b、212c、212d、212e具有数个共同的特性。首先，它们具有在关于第一强度值的最大值601，该第一强度值在改变的像素408的强度值的范围514内。最大值601可取值1，意指该函数给第一强度值赋值1。最大值601可位于范围514内，且不处于它的端点之一，诸如上端点“Imax”。假如范围514接近强度刻度的上端，这尤其有利，因为否则在使用函数212重新分布时，范围514内的强度有饱和的风险。对于函数212c及212e，最大值601不是对于单个第一强度值获取的、而是对于范围514的子范围内的强度值获取的。
第二，函数212a、212b、212c、212d、212e随增加的与第一强度值602的强度方面的距离衰减，从第一强度值602。对于函数212a、212b、212d，该衰减是严格的，而对于函数212c及212e，该衰减对于强度子范围不是严格的。
第三，比起第一强度值602，函数212a、212b、212c、212d、212e给范围514外的强度值赋较低的值。比起范围内的每个强度值，函数212a、212b、212d、212e给范围514外的强度值赋较低的值。然而，对于函数212d，情况并非如此。
函数212可通常在这些共同特性设置的界限内改变，并且可考虑比图6所示的那些多得多的示例。举例来说，函数212可以是关于第一强度值602对称的(参见函数212a、212b、212c、212e)，或它可以是关于第一强度值不对称的(参见函数212d)。例如，函数212可以是关于第一强度值602偏斜的。如示例性函数212d所图示的，函数212对于较高的强度值可具有比对于较低的强度值的值更重的尾部。比起较低的强度值，这将用来更多强调较高的强度值。这可能在图像描绘比背景暖的目标的情况下是相关的。在感兴趣的目标比背景冷的相反情况下，诸如热带草原上的动物之类，该尾部可能反而对于较低的强度较重。函数212可以是连续(参见函数212a、212b、212c、212d)或不连续(函数212e)的。进一步地，函数212可以是光滑(诸如可微分的之类，参见函数212a、212b、212d)或不光滑的(参见函数121e)。
为了确定具有上面描述的共同特性的函数212，重新分布函数确定器206可使用参数函数。参数函数可例如为高斯函数或偏态高斯函数。函数212a及212b示意性图示了高斯函数，而函数212d示意性图示了偏态高斯函数。参数函数完全由一组参数定义。重新分布函数确定器206可基于改变的像素408的强度值(诸如基于改变的像素408的分布的各种属性)，来确定参数函数的参数。这些属性可包括强度值的均值、强度值的模式、强度值的范围的中点和强度值的可变性的一个或多个。例如，函数最大值的位置可基于强度值的均值、强度值的模式或强度值的范围的中点确定。进一步地，函数宽度(与函数的衰减速率逆相关)可取决于改变的像素408的强度值的可变性来设置，并且在一些情况下，还取决于当前图像103a中未改变的像素的可变性。
为了例示，高斯函数具有形式：
Figure BDA0002323644570000111
它具有三个参数：增益参数a，位置参数b以及控制曲线宽度(1/c因此曲线的衰减速率)的参数c。增益参数a可设为等于1，尽管这不是必要的要求。
对于x＝b，高斯函数具有它的最大值。据此，位置参数b与第一强度值602相对应。重新分布函数确定器206可将位置参数b设为等于改变的像素408的强度值的模式(即，在直方图510具有它的最大值情况下的强度值)、改变的像素408的强度值的均值和范围514的中点(即，Imin+(Imax-Imin)/2)中的一个。
函数宽度、即参数c可取决于改变的参数408的强度值的变化来设置。通常，强度值的变化越高，函数的宽度越宽。可根据改变的像素408的强度值的标准差、或根据改变的像素408的强度值的范围514的宽度来确定改变的像素的强度值的变化。例如，对于特定因数d，重新分布函数确定器206可将宽度参数c设为c＝d(Imax-Imin)。参考图6的函数212a、212b，因数d被设为对于函数212a比对于函数212b更大。
因数d可具有经验上被发现适合特定应用的固定值。或者，因数d可取决于当前图像103a中未被识别为改变的像素的强度的可变性来设置。例如，因数d可与未改变像素的强度值的可变性成比例。可通过计算标准差或通过计算相关强度值的范围宽度，再估计该可变性。
根据图3中的步骤S08，一旦确定了函数212，强度值重新分布器208使用函数212来重新分布当前图像103a中像素的强度值，为的是生成增强的图像序列105。换言之，函数212用来重新分布改变的像素408和未改变像素中的强度值。强度值的重新分布应用于当前图像103a中的大多数像素，并且优选地应用于当前图像103a中的所有像素。
更具体地，函数212可用来计算当前图像103a中像素的加权因子。通过评估用于像素中强度值的函数212，计算像素的加权因子。增强的图像序列105接着通过将像素中的强度值乘以它们对应的加权因子来确定。例如，用I表示像素中的强度值，并且用f表示函数212，增强的图像序列105中像素的强度值被计算为I·f(I)。
因上面描述的函数212的属性，比起范围514外的强度值，函数212将通常给范围514内的强度值赋较大的加权因子。具体地，比起背景406的强度值，较大的加权因子将应用于与第一移动目标402相对应的改变像素的强度值。结果，第一目标402与背景406之间的对比度增强。尤其是，比起背景406，也将给第二目标404(类似于第一目标402，人)较大的加权因子，因为它的强度值通常在范围514内。
应用函数212的效果因而是图像中的强度值重新分布。换言之，强度值的分布从第一分布变为第二分布。这进一步在图5a及图5c中例示。图5a图示了当前图像103a的直方图500，而图5c图示了序列105的增强图像的直方图520，即在当前图像103a中强度值的重新分布后。从图5c看出背景的强度值(与峰值512相对应)朝较低强度移动，这样它们进一步与目标402、404的强度(与峰值522相对应)分立。
在上面的示例中，场景中仅有一类目标，即人402及404。取决于应用，场景中可有数类目标。不同类型的目标可与不同温度相关联，因而可显示为强度值的直方图中的不同峰值。尤其是，直方图中可有与改变的像素的强度值相关联的数个不同峰值。换言之，该直方图可为多模式的。在此类情况下，直方图中的不同峰值可互相分开考虑。更具体地，可以上面解释的方式确定直方图中每个峰值的函数。每个函数将因而具有与峰值之一相关联的范围内的强度的最大值，并且随着与那个距离的距离增加而衰减，以使得其赋予范围外的强度值的值低于赋予到达最大值的强度的值。不同峰值可被给予相互关联的不同权重。权重间的关系可例如表示峰值间的强度比。可通过允许上面描述的增益参数a对于不同峰值是不同的，实现不同的权重。确定的函数因而可合并为单个函数，例如通过取每个强度值的函数的最大值。理解对于将多个函数合并为单个函数，有其它选项。这包括在强度值的函数重叠的情况下取它们的均值，取与改变的像素相对应的强度值的函数的最大值，并且取与未改变像素相对应的强度值的函数的最小值。该单个函数可接着用来根据上文、重新分布图像中所有像素的强度值。
要理解本领域技术人员能够以许多方式更改上面描述的实施方式，且仍然利用上面实施方式所示的本发明的优点。因此，本发明应该不限于所示的实施方式，而应该仅为所附的权利要求所限。另外，如本领域技术人员理解的，可组合所示的实施方式。

Claims (15)

1.一种用于增强由热相机(102)捕获的图像序列(103)的图像(103a)中的改变的方法，包括：
接收(S02)作为由热相机(102)捕获的图像序列(103)的一部分的图像(103a)，
通过将所述图像(103a)与所述图像序列(103)中的另一图像(103b)比较，来识别(S04)所述图像(103a)中的相对所述图像序列(103)中的所述另一图像(103b)改变的像素(408)；
基于识别的像素(408)的强度值，确定(S06)用于重新分布所述图像(103a)中的像素的强度值的函数(212，212a，212b，212c，212d，212e)，其中所述函数(212，212a，212b，212c，212d，212e)对于所述识别的像素(408)的强度值的范围(514)内的第一强度值(602)具有最大值(601)，并且随着与所述第一强度值(601)的距离增加而衰减，以使得所述函数赋予所述范围(514)外的强度值的值低于赋予所述第一强度值(602)的值，并且
通过使用所确定的函数(212，212a，212b，212c，212d，212e)，重新分布(S08)所述图像(103a)中的相对所述另一图像(103b)改变的像素的强度值和所述图像(103a)中的相对所述另一图像(103b)未改变的像素的强度值。
2.根据权利要求1所述的方法，其中基于所述识别的像素(408)的强度值的变化，确定所述函数(212，212a，212b，212c，212d，212e)的衰减速率，其中较高的变化给出较低的衰减速率。
3.根据权利要求2所述的方法，其中基于所述识别的像素(408)的强度值的范围(514)的宽度，确定所述识别的像素(408)的所述强度值的变化。
4.根据权利要求2或3所述的方法，其中所述函数(212，212a，212b，212c，212d，212e)的衰减速率进一步基于所述图像(103a)中未被识别为相对所述另一图像(103b)改变的像素的强度值的变化，其中所述图像(103a)中未被识别为相对所述另一图像(103b)改变的像素的强度值的较高变化给出较低的衰减速率。
5.根据权利要求1所述的方法，其中所述第一强度值(602)与所述识别的像素(408)的强度值的模式相对应。
6.根据权利要求1所述的方法，其中所述第一强度值(602)与所述识别的像素(408)的强度值的所述范围(514)的中点相对应。
7.根据权利要求1所述的方法，其中所述第一强度值(602)与所述识别的像素(408)的强度值的均值相对应。
8.根据权利要求1所述的方法，其中所述函数(212，212a，212b，212c，212d，212e)是关于所述第一强度值(602)对称的。
9.根据权利要求1所述的方法，其中所述函数(212，212d)是关于所述第一强度值(602)偏斜的。
10.根据权利要求9所述的方法，其中所述函数(212，212d)是偏斜的，以使得较高的强度值比较低的强度值具有更重的尾部。
11.根据权利要求1所述的方法，其中所述函数(212，212a，212b，212d)为高斯函数或偏态高斯函数。
12.根据权利要求1所述的方法，其中识别(S04)所述图像(103a)中的相对所述图像序列(103)中的另一图像(103b)改变的像素的步骤包括：识别所述图像(103a)中具有与所述图像序列(103)中的所述另一图像(103b)的对应像素的强度值相差超过阈值的强度值的像素。
13.一种用于增强由热相机(102)捕获的图像序列(103)的图像(103a)中的改变的设备(104)，包括：
接收器(202)，被配置为接收作为由热相机(102)捕获的图像序列(103)的一部分的图像(103a)，
改变检测器(204)，被配置为通过将所述图像(103a)与所述图像序列(103)中的另一图像(103b)比较，来识别所述图像(103a)中的相对所述图像序列(103)中的所述另一图像(103b)改变的像素(408)，
重新分布函数确定器(206)，被配置为基于识别的像素(408)的强度值，确定用于重新分布所述图像(103a)中的像素的强度值的函数(212，212a，212b，212c，212d，212e)，其中所述函数(212，212a，212b，212c，212d，212e)对于所述识别的像素(408)的强度值的范围(514)内的第一强度值(602)具有最大值(601)，并且随着与第一强度值(602)的距离增加而衰减，以使得所述函数赋予所述范围(514)外的强度值的值低于赋予所述第一强度值(602)的值，以及
强度值重新分布器(208)，被配置为通过使用所确定的函数(212，212a，212b，212c，212d，212e)，重新分布所述图像(103a)中的相对所述另一图像(103b)改变的像素的强度值和所述图像(103a)中的相对所述另一图像(103b)未改变的像素的强度值，从而增强所述图像(103a)中的改变。
14.一种用于增强由热相机(102)捕获的图像序列(103)的图像(103a)中的改变的系统，包括：
热相机(102)，被配置为捕获图像序列(103)，
根据权利要求13所述的设备(104)，被布置为接收由所述热相机(102)捕获的图像序列(103)的图像(103a，103b)。
15.一种计算机可读存储介质，在所述计算机可读存储介质上存储有计算机代码指令，所述计算机代码指令在由处理器执行时使所述处理器执行权利要求1所述的方法。
CN201911307846.9A 2018-12-18 2019-12-18 用于增强由热相机捕获的图像中的改变的方法、设备及系统 Active CN111339817B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18213427.0 2018-12-18
EP18213427.0A EP3671625B1 (en) 2018-12-18 2018-12-18 Method, device, and system for enhancing changes in an image captured by a thermal camera

Publications (2)

Publication Number Publication Date
CN111339817A true CN111339817A (zh) 2020-06-26
CN111339817B CN111339817B (zh) 2021-07-20

Family

ID=64744635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911307846.9A Active CN111339817B (zh) 2018-12-18 2019-12-18 用于增强由热相机捕获的图像中的改变的方法、设备及系统

Country Status (6)

Country Link
US (1) US10789688B2 (zh)
EP (1) EP3671625B1 (zh)
JP (1) JP6929923B2 (zh)
KR (1) KR102206815B1 (zh)
CN (1) CN111339817B (zh)
TW (1) TWI751460B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4361940A1 (en) * 2022-10-31 2024-05-01 Axis AB A method and a device for reducing a dynamic range of an image

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101027896A (zh) * 2004-07-30 2007-08-29 惠普开发有限公司 用所希望的增益和因数调节像素
US20140340427A1 (en) * 2012-01-18 2014-11-20 Logos Technologies Llc Method, device, and system for computing a spherical projection image based on two-dimensional images
CN104203110A (zh) * 2012-03-26 2014-12-10 毛伊图像公司 用于通过应用加权因子来提高超声图像品质的系统和方法
US20160125618A1 (en) * 2014-11-03 2016-05-05 Axis Ab Method, device, and system for pre-processing a video stream for subsequent motion detection processing
CN106296618A (zh) * 2016-09-19 2017-01-04 河南工业大学 一种基于高斯函数加权直方图规定化的彩色图像去雾方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0879632A (ja) * 1994-08-30 1996-03-22 Mitsubishi Electric Corp 赤外線撮像装置
US5949918A (en) 1997-05-21 1999-09-07 Sarnoff Corporation Method and apparatus for performing image enhancement
JP2008300980A (ja) 2007-05-29 2008-12-11 Canon Inc 画像処理装置および画像処理方法
WO2011074413A1 (ja) * 2009-12-14 2011-06-23 日本電気株式会社 画像生成装置、画像生成方法、画像生成プログラム
CN105009568B (zh) 2012-12-21 2018-12-18 菲力尔系统公司 用于处理可见光谱图像和红外图像的系统、方法及非易失性机器的可读介质
JP5811228B2 (ja) 2013-06-24 2015-11-11 大日本印刷株式会社 画像処理装置、表示装置並びに画像処理方法及び画像処理用プログラム
US20150009355A1 (en) 2013-07-05 2015-01-08 Himax Imaging Limited Motion adaptive cmos imaging system
US9947086B2 (en) * 2014-12-02 2018-04-17 Seek Thermal, Inc. Image adjustment based on locally flat scenes
EP3046319A1 (en) 2015-01-19 2016-07-20 Thomson Licensing Method for generating an HDR image of a scene based on a tradeoff between brightness distribution and motion
EP3142355B1 (en) * 2015-09-08 2017-10-25 Axis AB Method and apparatus for enhancing local contrast in a thermal image
CN108376391B (zh) * 2018-01-29 2022-04-05 江苏宇特光电科技股份有限公司 一种智能化红外图像场景增强方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101027896A (zh) * 2004-07-30 2007-08-29 惠普开发有限公司 用所希望的增益和因数调节像素
US20140340427A1 (en) * 2012-01-18 2014-11-20 Logos Technologies Llc Method, device, and system for computing a spherical projection image based on two-dimensional images
CN104203110A (zh) * 2012-03-26 2014-12-10 毛伊图像公司 用于通过应用加权因子来提高超声图像品质的系统和方法
US20160125618A1 (en) * 2014-11-03 2016-05-05 Axis Ab Method, device, and system for pre-processing a video stream for subsequent motion detection processing
CN106296618A (zh) * 2016-09-19 2017-01-04 河南工业大学 一种基于高斯函数加权直方图规定化的彩色图像去雾方法

Also Published As

Publication number Publication date
JP6929923B2 (ja) 2021-09-01
EP3671625B1 (en) 2020-11-25
TWI751460B (zh) 2022-01-01
EP3671625A1 (en) 2020-06-24
KR102206815B1 (ko) 2021-01-22
CN111339817B (zh) 2021-07-20
US20200193574A1 (en) 2020-06-18
KR20200075734A (ko) 2020-06-26
US10789688B2 (en) 2020-09-29
JP2020115323A (ja) 2020-07-30
TW202038186A (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
TWI750498B (zh) 視訊流的處理方法和裝置
US10872262B2 (en) Information processing apparatus and information processing method for detecting position of object
US10452922B2 (en) IR or thermal image enhancement method based on background information for video analysis
Nonaka et al. Evaluation report of integrated background modeling based on spatio-temporal features
JP6482195B2 (ja) 画像認識装置、画像認識方法及びプログラム
JPH07302328A (ja) 背景差分による動物体領域抽出方法
KR101735025B1 (ko) 후속 움직임 검출 프로세싱을 위해 비디오 스트림을 사전-프로세싱하기 위한 방법, 디바이스, 및 시스템
US20200250840A1 (en) Shadow detection method and system for surveillance video image, and shadow removing method
KR102474837B1 (ko) 전경 추출 방법 및 장치
KR101750094B1 (ko) 영상의 실시간 모니터링을 통한 비정상 집단행동 분류 방법
KR20160037643A (ko) 객체 인식을 위한 객체 후보영역 설정방법 및 장치
JP2015201209A (ja) デジタル画像における関心点の検出方法
WO2013102797A1 (en) System and method for detecting targets in maritime surveillance applications
US9147115B2 (en) Method and device for detecting an object in an image
CN111339817B (zh) 用于增强由热相机捕获的图像中的改变的方法、设备及系统
CA2964966A1 (en) Video stabilization system and method
JP7163049B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP4751871B2 (ja) 撮像対象検出装置および方法
CN106951831B (zh) 一种基于深度摄像机的行人检测跟踪方法
KR20160000533A (ko) 증강 현실에서 물체의 정보 제공을 위한 지역 특징점을 이용한 오브젝트 다중 검출, 추적 방법 및 그 시스템
Rabha Background modelling by codebook technique for automated video surveillance with shadow removal
KR101381260B1 (ko) 해상 표적 탐지장치 및 그의 제어방법
KR101595368B1 (ko) 적외선 이미지에서 특징추적을 위한 고온 공기 제거방법
CN104537693A (zh) 基于切比雪夫像素估计的多目标检测算法
Yeom et al. Face detection at a distance with AdaBoost filtering and color-shape information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant