CN108605102B - 一种改进图像质量的方法和热成像装置 - Google Patents

一种改进图像质量的方法和热成像装置 Download PDF

Info

Publication number
CN108605102B
CN108605102B CN201680080890.9A CN201680080890A CN108605102B CN 108605102 B CN108605102 B CN 108605102B CN 201680080890 A CN201680080890 A CN 201680080890A CN 108605102 B CN108605102 B CN 108605102B
Authority
CN
China
Prior art keywords
image
metric
thermal
frame rate
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680080890.9A
Other languages
English (en)
Other versions
CN108605102A (zh
Inventor
U·韦德柳斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Flir Systems AB
Teledyne Flir LLC
Original Assignee
Flir Systems AB
Flir Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Flir Systems AB, Flir Systems Inc filed Critical Flir Systems AB
Publication of CN108605102A publication Critical patent/CN108605102A/zh
Application granted granted Critical
Publication of CN108605102B publication Critical patent/CN108605102B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/393—Arrangements for updating the contents of the bit-mapped memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/23—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435—Change or adaptation of the frame rate of the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Studio Devices (AREA)

Abstract

一种热成像装置和一种改进成像场景的热图像视频序列中的图像质量的方法，确定一个或多个捕获的热图像的图像细节水平、图像运动程度和/或图像信号水平中的一个或多个；基于图像细节水平、图像运动程度和/或图像信号水平中的一个或多个，确定用于捕获视频序列的一个或多个后续热图像的适应帧速率；以适应帧速率捕获一个或多个后续热图像以改进视频序列中的图像质量。

Description

一种改进图像质量的方法和热成像装置
相关申请的交叉引用
本申请要求2015年12月9日提交的名称为“DYNAMIC FRAME RATE CONTROLLEDTHERMAL IMAGING SYSTEMS AND METHODS”的美国临时专利申请No.62/265,214的优先权和权益，其全部内容通过引用并入本文。
技术领域
本公开一般涉及热成像技术，并且特别涉及用于在场景中以变化的成像条件和变化的运动水平对场景进行成像的系统和方法。
背景技术
场景的热(诸如红外(IR))图像通常用于例如监测、检查和/或维护目的和监视。通常，提供热成像装置(例如以诸如IR相机的热成像设备的形式)来捕获热图像序列并产生热视频序列，其中热图像包括具有表示从观察到的现实世界场景发出的热辐射的数据值的像素。
传统热成像设备的问题在于，对具有低对比度的场景的成像(例如在从远距离监测场景或在寒冷或潮湿的天气条件期间监测场景时进行成像) 可能产生很难解译的低分辨率和通常低质量的热图像。进一步地，当对涉及运动的场景进行成像时，可能发生运动模糊，例如由于热成像设备的移动或者在场景中的移动对象引起。
需要提供一种克服上述问题的改进的热成像装置。
发明内容
本公开包括可以解决或至少降低上述问题的实施例。
本公开的实施例解决了不同的热图像质量方面，例如低分辨率、运动模糊和细节表示。这种热图像质量方面可能受到在捕获视频序列中的热图像时使用的帧速率的影响。然而，适合于一个质量方面的帧速率可能不适合于一个或多个其他质量方面。一个或多个实施例通过使帧速率适应成像场景和/或当前用例来实现整体图像质量的改进。
本公开的实施例通过确定一个或多个捕获的热图像的图像细节水平、图像运动程度和/或图像信号水平中的一个或多个来实现使用热成像系统捕获的热图像的视频序列中的图像质量的改进。基于确定的图像细节水平、确定的图像运动程度和/或确定的图像信号水平中的一个或多个，确定用于捕获用于视频序列的一个或多个后续热图像的适应帧速率，并且以适应帧速率捕获一个或多个后续热图像，以改进视频序列中的图像质量。
在本公开的实施例中，确定图像细节水平包括确定图像细节度量，确定图像运动程度包括确定图像运动度量；确定图像信号水平包括确定图像信号水平度量；以及确定用于捕获一个或多个后续热图像的适应帧速率是基于图像细节度量、图像运动度量和图像信号水平度量中的一个或多个。
在实施例中，确定图像细节度量包括确定边缘检测度量。可以基于 Prewitt算子或Sobel算子确定边缘检测度量。
在实施例中，确定图像运动度量是基于差分图像计算和/或基于图像清晰度度量和/或图像模糊度量中的一个或多个。
在一个或多个实施例中，确定图像信号水平度量是基于以下中的一个或多个：基于至少一个热图像的像素值的最大像素值；和/或基于至少一个热图像的像素值的最小像素值；和/或基于至少一个热图像的像素值的平均像素值。在一个或多个实施例中，确定图像信号水平度量包括基于至少一个热图像的像素值生成直方图并基于直方图确定图像信号水平度量。
一个或多个实施例进一步包括：经由用户参数输入接口接收用户参数；基于所接收的用户参数，控制图像细节度量、图像运动度量、图像信号水平度量和/或适应帧速率中的一个或多个的确定。
在一个或多个实施例中，确定适应帧速率包括：基于一组规则并且基于图像细节度量、运动度量和/或图像信号度量中的一个或多个来确定用于捕获用于成像场景的热图像的积分时间；基于确定的积分时间确定适应帧速率。
在一个或多个实施例中，确定适应帧速率包括：基于图像细节度量、图像运动度量和/或图像信号水平度量中的一个或多个，确定是否满足帧速率步进条件；如果满足负步进条件，则将当前帧速率减少步进值 delta_frame_rate以达到适应帧速率；如果满足正步进条件，则将当前帧速率增加步进值delta_frame_rate以达到适应帧速率。
一个或多个实施例进一步包括将以适应帧速率捕获的热图像序列配置成具有输出视频帧速率的输出视频序列。
进一步的实施例包括非暂时性机器可读介质，其上存储有机器可读代码，当由热成像装置的处理器执行该机器可读代码时，使得处理器执行本公开的任何方法实施例。进一步的实施例包括计算机程序产品，其具有配置为控制处理器以执行本公开的任何方法实施例的计算机程序代码部分。
本公开的实施例包括热成像装置，其被配置为改进捕获的热图像的视频序列中的图像质量。这样的实施例包括：热成像系统，其被配置为捕获用于成像场景的视频序列的一个或多个热图像；和处理器，其通信地耦接到热成像系统并且被配置为确定一个或多个捕获的热图像的图像细节水平、图像运动程度和/或图像信号水平中的一个或多个；基于图像细节水平、图像运动程度和/或图像信号水平中的一个或多个来确定用于捕获用于视频序列的一个或多个后续热图像的适应帧速率，并以适应帧速率捕获一个或多个后续热图像，以改进视频序列中的图像质量。
本公开的实施例通过确定一个或多个捕获的热图像的图像细节水平、图像运动程度和/或图像信号水平中的一个或多个来实现在使用热成像系统捕获的热图像的视频序列中的图像质量的改进。基于确定的图像细节水平、确定的图像运动程度和/或确定的图像信号水平中的一个或多个，确定用于捕获视频序列的一个或多个后续热图像的适应帧速率，并且以适应帧速率捕获一个或多个后续热图像，以改进视频序列中的图像质量。
在一个或多个实施例中，处理器被进一步配置为：通过确定图像细节度量来确定图像细节水平，以通过确定图像运动度量来确定图像运动程度；以通过确定图像信号水平度量来确定图像信号水平；并且基于图像细节度量、图像运动度量和图像信号水平度量中的一个或多个来确定用于捕获一个或多个后续热图像的适应帧速率。
在热成像装置的进一步实施例中，处理器进一步配置为执行本公开的任何方法实施例。
本发明的范围由权利要求限定，这些权利要求通过引用结合到本部分中。通过考虑一个或多个实施例的以下详细描述，本领域技术人员将能够更加全面地理解本发明的实施例，以及实现其附加优点。将参考将首先简要描述的附图。
附图说明
图1示出了根据本公开的一个或多个实施例的热成像装置的示意图。
图2示出了具有功能框图的热成像装置的示意图，该功能框图示出了根据本公开的一个或多个实施例的热成像装置的处理器中包括的或由其执行的功能组件。
图3示出了根据本公开的一个或多个实施例的方法的流程图。
图4A示出了根据本公开的一个或多个实施例的来自捕获的热图像序列的IR图像的形式中的低对比度热图像的示例。
图4B示出了根据本公开的一个或多个实施例的以适应帧速率捕获的高对比度IR图像形式的序列中的后续热图像的示例。
通过参考下面的详细描述，可以最好地理解本发明的实施例及其优点。应该理解，相同的附图标记用于标识在一个或多个附图中示出的相同元件。
具体实施方式
介绍
借助于热成像系统捕获的视频序列中的热图像(诸如红外(IR)图像) 可能遭受由低对比度、运动模糊或含糊不清的细节引起的低质量。例如，这可能是由于低图像信号或用于捕获图像的低帧速率。由热成像系统捕获的热图像可以例如在被称为图像帧或图像数据帧的数据结构的实例中表示，该图像帧或图像数据帧包括表示从场景发射或反射并由热辐射探测器接收的热辐射的图像数据值的像素。在该背景下，热图像捕获帧速率是指借助于热辐射检测器在序列中捕获图像或图像帧的速率。
热图像视频序列中的图像质量可以取决于成像场景中的条件，例如场景中的运动或移动的发生或程度、由于光照或颜色条件引起的低对比度场景、冷场景或热场景、干燥或潮湿场景。图像质量还可以取决于操作热成像装置的用例应用或条件，例如监视或检查的用例应用、在到场景的短或长视距处成像、用手持或固定安装的热成像装置成像或当热成像装置受到振动影响时成像。
在描绘主要静止场景的热图像中，可能需要允许较长积分时间的较低图像捕获帧速率。在热图像捕获中，一些热成像装置的积分时间可以包括在其期间将接收的光子相加(例如，累积和/或积分)以形成图像信号水平的时间，所述图像信号水平从热成像装置中的热辐射检测器输出(诸如，例如在IR相机中的红外(IR)光电检测器(例如，量子阱IR光电检测器或“QWIP”)的情况下)并且被捕获作为捕获的热图像中的一个或多个像素值。一些热成像装置的积分时间可以包括以下时间，在该时间期间由热辐射检测器产生的中间信号(例如在测辐射热计的情况下)被积分、放大和/或平均以产生IR相机中的热辐射检测器的图像信号水平并且被捕获为捕获的热图像中的一个或多个像素值。图像帧的最长可能积分时间受帧速率的限制，并且因此描绘场景的热图像中的最大可获得信号水平也受帧速率的限制。在涉及移动对象或大量细节的场景的热成像中，可能需要更高的图像捕获帧速率。
在热成像装置中，可以根据设置或设计参数来限制操作帧速率或可用帧速率的范围。在热成像装置中，热图像捕获帧速率可以与输出视频帧速率相关，该热图像捕获帧速率例如是热成像系统捕获热图像序列并读出到处理器的速率，该输出视频帧速率例如是用于将热图像视频序列输出到输出设备(例如到存储装置、到演示显示器或到其接口)的输出帧速率。
本公开的系统和方法的实施例通过以图像捕获帧速率控制视频序列的热图像的捕获来改进热图像视频序列中的图像质量，该图像捕获帧速率基于为捕获的热图像确定的质量方面适于成像场景和/或适于当前用例应用。在实施例中，独立于通信接口的输出视频帧速率控制用于捕获热图像的帧速率，从而允许更自由地调整图像捕获帧速率。在一个或多个实施例中，这是通过基于视频序列的一个或多个捕获的热图像的图像细节水平、图像运动程度和/或图像信号水平形式的质量方面，确定捕获视频序列的一个或多个后续热图像的帧速率来实现的。在成像场景和某些用例应用中的条件引起对热图像的捕获的相互矛盾的要求的情况下，本公开的实施例进一步实现了平衡的图像质量。
图1示出了根据本公开的一个或多个实施例的热成像装置110的示意图。在实施例中，热成像装置110包括热成像系统113，例如以红外(IR) 相机中的红外(IR)成像系统的形式。热成像系统113被配置为捕获热图像(例如红外(IR)图像)，其以表示从场景发射的热辐射(例如红外辐射)的热图像数据值的像素的形式表示。热成像系统113进一步通信地耦接到处理器112，通信耦接在图1中示为通信线120、122。处理器112可以用任何适当的架构实现，例如用ASIC、用通用中央处理单元(CPU)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、微控制器、数字信号处理器(DSP)或硬件和软件处理功能的组合。在这些和其他实施例中，处理器112可以在适当的地方配有其他组件或通信地耦接到其他组件，例如易失性或非易失性存储器、一个或多个接口(例如热辐射检测器接口、存储设备接口或图像演示显示器接口)。
在实施例中，热成像系统113进一步配置为经由通信线122从处理器 112接收控制数据或控制信号。例如，热成像系统113可以被配置为响应于来自处理器112的这种控制数据或控制信号，触发对场景的热图像的捕获。在实施例中，热成像系统113进一步被配置为经由通信线120将信号帧中多个像素(例如以作为捕获的热图像的热图像数据值的热图像帧的形式)传送给处理器112。在实施例中，可以向处理器112提供专门设计的适于控制处理器112或被配置为执行本文描述的本公开的实施例的步骤、功能和/或方法的编程或程序代码部分。在实施例中，热成像装置110进一步包括至少一个存储器115，其配置为存储从处理器112接收的程序代码部分和/或数据值和/或参数并且如所示的由通信线124通信地耦接到处理器112，用于检索和/或存储数据。
在实施例中，热成像装置110进一步包括通信接口116，该通信接口 116如所示的由通信线126通信地耦接到处理器112，并且被配置为向处理器112发送数据值或参数或者从处理器112接收数据值或参数，或者向包含在热成像装置中或在热成像装置外部的单元或传感器发送数据值或参数或从该单元或传感器接收数据值或参数。在一个或多个实施例中，热成像装置110进一步包括输入设备117，该输入设备117如所示的由通信线 128通信地耦接到处理器112并且被配置为从用户接收输入或指示，例如构成控制命令的输入或指示。在一个或多个实施例中，热成像装置110进一步包括显示器118，该显示器118如所示的由通信线130通信地耦接到处理器112并且被配置为将从处理器112接收的图像数据显示为显示的图像，例如以向热成像装置110的用户显示视频序列中的热图像或热图像序列的视觉表现。在实施例中，显示器118与用户输入装置117集成并被配置为显示图像和接收来自用户的输入或指示，例如通过在被配置为向处理器112发送信号或数据或从处理器112接收信号或数据的显示器中应用触摸屏功能。在操作中，显示器118以输出视频帧速率从处理器112接收热图像数据，并且根据显示通信协议，经由通信线130与处理器112通信。在具有触摸屏功能的显示器的实施例中，显示器还可以根据触摸屏通信协议与处理器112进行通信。在如图1所示的示例中，热成像系统113包括光学系统1131，例如包括透镜、变焦功能和聚焦功能以及相对应的热辐射检测器1132，诸如红外(IR)检测器，例如包括微测辐射热计焦平面阵列或QWIP焦平面阵列。在一个或多个实施例中，热辐射包括红外波段中的电磁辐射，诸如700nm－1mm。
图2示意性地示出了一框图，该框图示出了根据本文表示的一个或多个实施例由包括在热成像装置中的处理器112所包括的或由该处理器112 执行的功能组件。所示出的功能组件包括本文公开的方法的实施例，并且可以借助于软件、硬件或软件和硬件的组合来实现。在一个或多个实施例中，处理器112被配置为执行功能组件的方法。功能组件通信地耦接，包括如图2中的箭头线所示的通信的耦接。由图2中以断续线示意性示出的热成像系统113捕获的热图像序列200被输入到输入热图像界面202，例如包括中间帧缓存器。在实施例中，可以例如从热成像系统113、从外部存储器(未示出)或从包括在如图1所示的热成像系统中的存储器115接收IR图像。
热图像处理
在热图像处理组件204中接收和处理捕获的热图像，例如包括通过对准器(未示出)对准接收的图像、组合连续的热图像、计算热图像平均值、应用时域热图像滤波和/或提供具有伪彩色的图像用于演示给人类观察者和/或将捕获的热图像配置成视频序列，并且此后经由输出视频序列接口206输出该捕获的热图像作为输出热图像视频序列212。如结合图1所描述的，输出热图像视频序列212可以例如传送到视频存储设备或演示显示器。
当捕获热图像序列时执行对准以补偿在随后的热图像的捕获之间的热成像装置的微小移动。在这种情况下，从略微不同的位置和/或方向捕获热图像。因此，围绕光轴的偏移、方向和旋转可能略微不同，导致序列中的后续热图像之间的视差误差。这样的视差误差可能使得图像处理操作 (诸如本文示例的那些)变得困难，因为具有相同像素坐标的后续热图像中的像素值可以表示观察场景的不同对象或场景子集。视差误差可以包括视差距离误差、视差指向误差和视差旋转误差。为了组合序列中的热图像，例如为了辨别场景中的运动是什么，可以对准图像使得至少在序列中共同的图像部分代表场景的相同部分。该处理称为图像配准或空间对准，即通过坐标变换将与后续热图像有关的不同数据集变换为一个坐标系的过程，导致来自热图像的像素在不同时间点被捕获并且使得相同的像素坐标表示场景中的相同对象或场景的相同子集。从而获得了降低的用于处理热图像的复杂性。可以根据本领域技术人员已知的任何方法进行配准或对准，例如使用线性或弹性变换的基于强度、基于特征的配准。
在操作中，在热图像处理组件204中接收的捕获的热图像可以具备时间指数，例如具有升序，使得当前热图像具有比随后捕获的热图像更高的时间指数，从而表示在之后的时间点捕获之后的热图像。例如，利用本文使用的这种符号，具有时间指数Tn的热图像可以与具有时间指数Tn-1的先前捕获的IR图像对准。在一个或多个实施例中，热图像处理组件204可以被配置为基于当前热图像和一组先前捕获的热图像生成热图像时间平均值。在一个示例中，在具有时间指数Tn的当前热图像中具有相关联的像素坐标的第一像素值与具有时间指数Tn-1的先前捕获的热图像中具有相同的相关联的像素坐标的第二像素值进行组合，以形成具有相同的相关联的像素坐标的热图像时间平均像素值。这可以表示为例如：
时间平均像素值＝0.5*第一像素值+0.5*第二像素值
在实施例中，然后可以针对IR图像时间平均值的所有像素坐标重复该组合。
热图像评估
从热图像处理组件204，将接收的热图像和/或处理的热图像和/或从捕获的热图像计算或导出的图像数据传送到热图像评估器组件208，该热图像评估器组件208被配置为关于图像质量方面评估接收的热图像，该图像质量方面例如图像细节水平、图像运动程度、图像信号水平和/或参数，该参数诸如指示当捕获各个接收的图像时的当前成像场景和/或在手边的当前用例应用的用户输入参数。为此目的，热图像评估器组件208包括以下中的一个或多个：细节度量确定器210，其被配置为确定图像细节度量；运动度量确定器212，其被配置为确定图像运动度量；图像信号水平度量确定器214，其被配置为确定图像信号水平度量；和/或用户参数输入接口216，其被配置为接收一个或多个用户输入参数218，用于控制图像细节度量、图像运动度量、图像信号水平度量和/或适应帧速率中的一个或多个的确定。度量和/或参数被传送到帧速率控制器220，该帧速率控制器220被配置为基于度量和/或参数中的一个或多个来确定适应图像捕获帧速率。为此目的，热图像评估器组件208和/或细节度量确定器 210和/或运动度量确定器212和/或信号水平确定器214和/或用户参数输入接口216可通信地耦接到热图像装置帧速率控制器220，并配置为将图像信号度量和/或用户参数传送到该热图像装置帧速率控制器220。帧速率控制器220进一步通信地耦接到热成像系统113，并且被配置为控制以确定的适应图像捕获帧速率对热图像进行捕获。适应帧速率可以改变，例如增加或减少，或不从之前的帧速率改变。
图3示出了说明借助于热成像装置执行的方法实施例的流程图，如本文在以上和以下描述和附图中呈现和示例的。如图3所示，使用热成像系统捕获的热图像的视频序列中的图像质量的改进方法的实施例包括：
在框310处，以当前帧速率捕获热图像序列。
在框320处，确定一个或多个捕获的热图像的图像细节水平、图像运动程度和/或图像信号水平中的一个或多个。确定图像细节水平可以包括确定图像细节度量。确定图像运动程度可以包括确定图像运动度量。确定图像信号水平可以包括确定图像信号度量。
在框330处，基于图像细节水平、图像运动程度和/或图像信号水平中的一个或多个，确定用于捕获视频序列的一个或多个后续热图像的适应帧速率。在实施例中，确定适应帧速率基于确定的图像信号水平度量、图像运动度量和图像细节水平度量中的一个或多个，用于捕获一个或多个后续热图像。热图像捕获帧速率可以依据这些度量的值和用于调整下面进一步描述的帧速率的预定规则从先前帧速率改变或保持不变(改变或未改变)。
在框340处，以确定的帧速率捕获视频序列的一个或多个后续热图像，以改进视频序列中的图像质量。以确定的、可能适应的帧速率捕获的后续一个或多个热图像用于框350中的视频序列输出。热图像的输出视频序列可以以选择的或标准的帧速率存储或传送，用于显示或存储。如图3中所示，热图像的捕获如框310中那样继续，并且如框320中那样进行处理。
参考图1和图2描述根据一个或多个实施例的方法的进一步示例和可选变体。
细节度量确定
当捕获描绘观察场景的热图像序列时，每个热图像可以包括各种数量的细节或特征，例如角落或边缘。一个或多个实施例被配置为通过控制将以较低帧速率执行并且因此具有较长的积分时间的热图像的捕获来提供这些特征的更好表示。例如，在当前环境和当前帧速率呈现低对比度图像时，可能希望更多细节是可见的。相反，可以通过使用更高的帧速率来控制图像中包括的细节数量的降低，并且从而缩短用于捕获热图像的积分时间。例如，当大量细节使得难以辨别重要对象时(例如在监视应用中)，可能需要图像中较少的细节。
细节度量确定器210被配置为确定表示当前热图像中的细节或特征的数量的图像细节度量。在如图2所示的实施例中，细节度量确定器210被配置为将图像细节度量传送到帧速率控制器220。
在实施例中，图像细节度量可以例如基于为热图像处理组件204中的当前热图像生成的时间热图像平均值。在示例中，可以基于边缘检测技术估计由图像细节度量表示的图像中的细节的出现或数量，以检测热图像中边缘的出现和/或数量，以产生边缘检测度量，下面也用缩写EDM表示。例如，如技术人员将理解的，确定边缘检测度量EDM可以包括应用Prewitt 算子或Sobel算子。在实施例中，通过确定当前处理的热图像的像素的逐像素边缘检测度量(例如对于当前热图像的每个或所有像素)来确定图像细节度量。
在实施例中，可以基于当前热图像和先前捕获的热图像来确定热图像的图像细节度量。图像细节度量可以例如被确定为：
图像细节度量＝k*和(EDM(热图像N)与EDM(热图像N-1))
在该关系中，和函数对热图像中的元素的所有元素或像素值进行求和；k是用于缩放和函数的结果的预定常数，例如1/number_of_pixels(1 /像素的数量)，其中number_of_pixels指的是热图像中的像素的数量，当前热图像具有第一时间指数Tn并且先前捕获的热图像具有第二时间指数 Tn-1。在其他实施例中，可以基于每个像素上的和运算或者可以基于从当前图像的直方图提取的值来确定图像细节度量。
运动度量确定
当捕获描绘观察场景的热图像序列时，每个热图像可能受到运动的影响。热图像中的运动效应可以例如是由于场景内存在移动对象或者由于热成像装置相对于观察场景的相对移动。例如，当图像捕获帧速率低并且积分时间长时，这种运动可能导致捕获图像中的运动模糊。一个或多个实施例被配置为通过借助于帧速率控制器220控制要以更高图像捕获帧速率执行的热图像的捕获来改进图像质量并降低运动模糊。在这样的实施例中，运动度量确定器212被配置为接收当前热图像并确定表示当前热图像中的运动程度的图像运动度量，并将图像运动度量传送到帧速率控制器220。
在一个或多个实施例中，图像运动度量确定可以基于图像中的运动并且包括通过差分图像计算(即，计算两个或更多个后续图像之间的差分) 检测图像中的运动效应。基于差分图像确定图像运动度量需要低计算复杂度。这样的实施例将包括基于当前热图像和捕获的热图像序列的一个或多个先前热图像生成一个或多个差分图像。可以基于这样的序列中的后续的、可能连续的热图像来生成差分图像。例如，可以使用三个或更多个热图像来生成一个或多个差分图像和/或差分图像的组合，以确定图像运动度量。
在使用差分图像的一个实施例中，运动度量可以生成为：
第一差分图像
＝EDM(热图像像素值N-1)
-EDM(热图像像素值N-2))
第二差分图像
＝EDM(热图像像素值N)
-EDM(热图像像素值N-1))
组合的差分图像
＝第一差分图像像素值
-第二差分图像像素值
在该关系中，N、N-1和N-2表示视频序列中的图像的时间指数。EDM 是如上关于细节度量确定器210所描述的边缘检测度量函数或关系。像素值N(PixelValuesN)表示当前热图像的像素值，像素值N-2(PixelValuesN-2) 表示先前热图像的像素值，并且像素值N-3(PixelValuesN-3)表示再之前的热图像的像素值。其中“-”是负操作符的差分“-”函数以逐像素方式应用于具有相同的或相对应的像素坐标的像素值，例如，其中相对应的坐标由像素坐标变换函数或视差函数确定。
在实施例中，图像运动度量可以例如基于组合的差分图像来确定，例如：
图像运动度量＝k*和(组合的差分图像像素值)
在该关系中，和函数对所有元素或像素值求和；k是用于缩放和函数的结果的预定常数，例如1/number_of_pixels(1/像素的数量)，其中 number_of_pixels指的是热图像中的像素的数量。
在实施例中，运动度量可以例如被设置为在当前图像中检测到运动效应时指示检测到运动，并且否则运动度量被设置为指示没有检测到运动，类似于0或1状态指示。在其他实施例中，图像运动度量可以被设置为选定范围上的值，例如在0和1之间，以指示当前热图像中的运动效应程度。
在进一步的实施例中，确定图像运动度量可以基于例如图像清晰度或图像模糊度量，例如基于峭度、涉及边缘宽度计算的基于导数的方法、基于方差、基于直方图、基于功率谱的度量和基于小波的技术，如本领域技术人员所理解的。
图像信号度量确定器
当以序列捕获描绘观察场景的热图像时，序列中的每个热图像可以包括表示入射热辐射的变化信号水平或强度水平的像素。信号水平可以例如取决于应用的热成像系统113的积分时间、天气条件和/或环境空气温度。一个或多个实施例被配置为通过控制热成像装置以合适的帧速率操作并且将信号水平保持在适合于成像场景和/或用例应用的期望跨度内来改进图像质量。在这样的实施例中，信号度量确定器230被配置为接收热图像并确定表示热图像中的信号水平或强度水平的图像信号度量。用于成像的场景和/或用例应用的合适帧速率和适当信号水平的关系可以例如由熟练的操作员选择并且预设或存储在查找表中。
将信号水平控制到期望的跨度或范围是基于如下理解：如果信号水平太高或者传感器/检测器1132中的传感器元件饱和，则将捕获具有降低的图像质量的热图像。对于在这种情况下捕获的热图像，将不再能够区分高于饱和水平的热辐射强度。在实施例中，通过控制热成像系统113来解决该饱和，以通过增加图像捕获帧速率来降低IR成像系统113的积分时间。进一步，如果来自场景中的对象的图像信号水平太低，则这还将导致捕获具有降低的图像质量的热图像的效果。对于在这些情况下捕获的热图像，将难以区分捕获或描绘的场景中的对象与背景。在实施例中，通过增加IR 成像系统113的传感器/检测器1132的积分时间来解决低图像信号水平的问题。
在实施例中，基于以下中的一个或多个确定图像信号度量：
－至少一个热图像的最大像素值。例如，可以将图像信号度量设置为确定的最大像素值。
－至少一个热图像的最小像素值。例如，可以将图像信号度量设置为确定的最小像素值。
－至少一个热图像的平均像素值。例如，可以将图像信号度量设置为确定的平均像素值。
可以例如针对序列中的当前热图像以及可能的一个或多个先前捕获的和/或随后捕获的热图像来确定各个最大、最小和/或平均像素值。在实施例中，图像信号度量可以例如被设置为可能乘以缩放因子的最大、最小和/或平均像素值，设置为最小、最大和/或平均像素值的组合，设置为最小、最大和/或平均像素值中的一个或多个之间的差或者设置为基于最小、最大和/或平均像素值中的一个或多个计算的值。
在一个或多个实施例中，替代地或者进一步地确定图像信号度量包括基于热图像的像素值生成直方图，以及基于直方图确定图像信号度量。在实施例中，直方图包括下尾部的直方、中部直方和上尾部的直方。下尾部表示选择表示热图像中的或一个或多个热图像的时间平均值中的像素值的最低图像信号值的连续直方。上尾部表示选择热图像中的或一个或多个热图像的时间平均值中的像素值的最高图像信号值的连续直方。中部直方表示选择表示未包括在下尾部或上尾部中的热图像中的或时间平均值的像素值的图像信号值的连续直方。在一些实施例中，当基于直方图确定图像信号度量并且例如可以仅仅基于中部直方确定图像信号度量时，排除直方图的上和/或下尾部。在实施例中，图像信号度量被确定为与直方图的最小、最大或平均直方相关联的信号值。在一个示例中，热图像的像素值被分配给直方图中的直方，最高直方和最低直方被拒绝，并且基于剩余的直方确定平均像素值。图像信号度量可以例如设置为平均像素值。
用户参数输入
用户参数接口216是在一个或多个实施例中被配置为在热图像评估器 208中接收用户输入。这样的用户输入可以包括控制命令、参数或设置，例如指示特定用例或指示观察场景的条件。在一个或多个实施例中，这种用户输入用于控制细节度量确定器210和/或运动度量确定器212或信号水平确定器214和/或帧速率控制器220的操作。用户输入可以例如是包括或选择诸如在图像细节确定器、运动度量确定器、信号水平确定器和/ 或帧速率控制器中的一个或多个中使用的阈值的参数。
适应帧速率控制器
如上所述，热成像装置110操作以特定帧速率捕获热图像序列。热成像系统113的热辐射检测器1132的可用积分时间受帧速率的限制。在一个或多个实施例中，通过动态调整图像捕获帧速率来控制积分时间并由此控制热图像质量。帧速率控制器220被配置为基于接收的度量和/或用户输入参数中的一个或多个来确定适应的图像捕获帧速率，并且被配置为控制热成像系统113的热图像捕获帧。
在一个或多个实施例中，图像捕获帧速率控制器220被配置为自动控制热成像系统113以根据确定的图像捕获帧速率进行操作。在其他实施例中，确定的图像捕获帧速率被呈现给热成像装置110的用户作为用于进一步手动输入的推荐设置，以控制热成像装置110的图像捕获帧速率控制器。
在一个或多个实施例中，图像捕获帧速率控制器220包括通过确定适合于对场景成像的热图像的捕获的积分时间来确定或配置为确定适应帧速率，其中基于一组或多组规则以及基于图像细节度量、图像运动度量和 /或图像信号度量中的一个或多个来确定积分时间。然后基于确定的积分时间确定帧速率。可选地，确定积分时间还可以或替代地基于可能的用户输入参数。然后确定导致被确定为适合于当前场景的积分时间的帧速率，并且用于捕获后续的热图像。在实施例中，当可以计算出图像细节度量、图像运动度量和图像信号度量条件形式的图像质量方面被满足时，找到适当的积分时间。例如，可以确定图像捕获帧速率以导致积分时间等于用于积分时间的最小和/或最大阈值。阈值可以基于各个确定的度量的值来计算，或者可以从预先存储的阈值中选择，预先存储的阈值例如存储在存储器115中的查找表中，或者从经由用户输入接口216手动输入的参数中选择。在一个示例中，确定相对低的图像细节度量，并且因此将积分时间确定为最大积分时间阈值。在另一示例中，确定相对高的图像细节度量，并且因此将积分时间确定为最小积分时间阈值。然后基于确定的积分时间确定(例如计算或借助查找表)相对应的图像捕获帧速率，。
在一个或多个实施例中，以逐步方式确定适应的图像捕获帧速率。在这样的实施例中，在确定更新的帧速率时，图像捕获帧速率控制器220的行为由步进条件来调节，以用于升高或减少图像捕获帧速率。步进条件反映图像信号水平、图像细节水平和场景中对象的运动或热成像装置110相对于场景的运动的不同方面。如果满足一个或多个预定义的步进条件，则帧速率通过图像捕获帧速率步进(本文称为delta_frame_rate(delta_帧_速率)，表示为ΔFR，具有预设或可预置的大小)逐步升高或减少。帧速率步进delta_frame_rateΔFR可以例如存储在存储器115中并且可用于图像捕获帧速率控制器220。在实施例中，确定适应帧速率包括：基于图像细节度量、图像运动度量和/或图像信号水平度量中的一个或多个来确定是否满足帧速率步进条件。如果满足负步进条件(例如，适合于通过某步进减少帧速率的条件)，则以将当前帧速率减少步进值delta_frame_rate以达到适应帧速率。如果满足正步进条件(例如，适合于通过某步进增加帧速率的条件)，则以将当前帧速率增加步进值delta_frame_rate以达到适应帧速率。
例如，在控制关于图像信号水平的图像捕获帧速率中，可能希望捕获热图像，其保持最大像素值Smax低于最大像素值阈值Ths-high、最小像素值Smin高于最小像素值阈值Ths-low和/或平均像素值Saverage在例如平均像素值阈值Ths-average附近的加/减(±)delta_average_pixel_valueΔ Saverage的范围内。在示例中，图像信号水平度量指示最大像素值高于最大像素值阈值Ths-high，这表示存在热辐射检测器1132饱和以及捕获的热图像中的质量差的风险。因此满足正步进条件并且控制图像捕获帧速率增加 delta_frame_rateΔFR，以用于捕获后续热图像。在另一示例中，被评估的当前热图像的图像信号水平被确定为低于最小信号水平阈值Ths-low。因此满足负步进条件并且将图像捕获帧速率减少delta_frame_rateΔFR，以用于捕获后续热图像。这也可以被描述为用于控制适应的图像捕获帧速率的一组规则的示例：当满足正步进条件时，将当前热图像的图像捕获帧速率更新为frame_rateN+1＝frame_rateN+ΔFR；或者当满足负步进条件时，将当前热图像的图像捕获帧速率更新为frame_rateN+1＝frame_rateN-ΔFR，其中frame_rateN表示用于捕获具有时间指数N的当前热图像的当前帧速率，并且frame_rateN+1表示为为捕获具有时间指数N+1的后续热图像而确定的帧速率。
在进一步的示例中，根据图像信号水平和图像细节水平来控制图像捕获帧速率。如果信号水平在最小和最大阈值内并且IR图像中存在高水平的细节，则可以通过增加图像捕获帧速率来改进图像质量。用于增加图像捕获帧速率的步进条件在该示例中可以被描述为：
如果最小信号阈值Ths-low≤图像信号水平度量S≤最大信号阈值 Ths-high；并且图像细节度量S≥高细节阈值Thk-high，则增加图像捕获帧速率。
在另一示例中，关于图像信号水平、图像细节水平和图像中的运动程度来控制图像捕获帧速率。如果图像信号水平在最小和最大阈值内，则图像细节水平在最小和最大阈值内并且在热图像中存在检测的运动或高水平的运动，可以通过增加图像捕获帧速率来改进图像质量。用于增加图像捕获帧速率的步进条件在该示例中可以被描述为：
如果最小信号阈值Ths-low≤图像信号水平度量S≤最大信号阈值 Ths-high；并且低细节阈值Thk-low≤图像细节度量≤高细节阈值 Thk-high；和运动阈值Ths图像运动≤运动度量，则增加图像捕获帧速率。
在其他示例中，例如当图像信号水平低于最小阈值时，可以通过减少图像捕获帧速率来改善图像质量。用于减少图像捕获帧速率的步进条件在该示例中可以被描述为：
如果图像信号水平度量≤最小信号阈值Ths-low，则减少图像捕获帧速率。
在另一示例中，例如当图像信号水平在最小和最大阈值内并且在热图像中存在低水平的细节时，可以通过降低帧速率来改进图像质量。用于减少图像捕获帧速率的步进条件在该示例中可以被描述为：
如果最小信号阈值Ths-low≤图像信号水平度量≤最大信号阈值 Ths-high；并且图像细节度量≥低细节阈值Ths-low，则减少图像捕获帧速率。
输出热图像视频序列
在一个或多个实施例中，独立于用于输出热图像视频序列的帧速率控制用于捕获热图像的帧速率。再次参考图2中的示例性图示，在这样的实施例中，以适应帧速率捕获的热图像序列200通过热图像处理204阶段被配置为具有输出视频帧速率的输出热图像视频序列212。输出视频帧速率可以与输出热图像视频接口206或用于视频呈现的(未示出的)显示器匹配或由其所要求。在一个示例中，输出热图像视频序列212可以以选定的输出视频帧速率存储在存储器上。例如，输出视频帧速率可以是30或60 赫兹(Hz)。适应控制的图像捕获帧速率可以在例如0到120赫兹(Hz) 之间的范围内，或者如在另一个示例中甚至高达1200赫兹(Hz)。图像捕获帧速率的可用范围取决于热成像装置的电路以及以什么速度可以从热辐射检测器向处理组件读出像素值。
图4A示出了来自在没有用本公开的适应捕获帧速率捕获的热图像序列的IR图像形式的低对比度热图像410的示例。如在图4A中可以看到的，热图像410的低对比度特性使得难以在捕获的所描绘的场景中将对象与背景区分开。可以进一步看出存在低水平的图像细节，然而不可能看到场景中是否存在运动。在本文应用于热图像410的方法和系统的一个或多个实施例中，热图像评估将导致细节度量具有低值，信号水平度量具有低值，并且在这种情况下由于场景缺乏可感知的运动发生，运动度量也具有低值。然后，在该示例中，热图像捕获将适于以减少的帧速率操作，并且因此具有增加的积分时间，以用于捕获进一步的后续热图像。图4B示出了利用适应的热图像捕获帧速率捕获的后续热图像412、在捕获的热图像序列中在时间上稍后的帧中的一个或多个的示例。从图4B中可以看出的，得到的热图像显示出更高的对比度热图像特性，其使得可以更容易地将捕获或描绘的场景中的对象与背景区分开。可以进一步看出，在得到的热图像中存在更高水平的图像细节。
进一步的实施例
根据实施例，提供了一种计算机可读介质，其上存储有配置为控制处理器以执行本文描述的本发明的任何步骤或功能的非暂时性信息。根据实施例，提供了一种计算机程序产品，包括适于控制处理器以执行本文描述的本发明的任何步骤或功能的代码部分。
根据本公开的软件(例如程序代码和/或数据)可以以非暂时形式存储在一个或多个机器可读介质上。还预期本文中识别的软件可以使用一个或多个通用或专用计算机和/或计算机系统、联网和/或以其他方式实现。
在适用的情况下，可以使用硬件、软件或硬件和软件的组合来实现本公开提供的各种实施例。同样在适用的情况下，在不脱离本公开的精神的情况下，本文阐述的各种硬件组件和/或软件组件可以组合成包括软件、硬件和/或两者的复合组件。在适用的情况下，在不脱离本公开的精神的情况下，可以将本文阐述的各种硬件组件和/或软件组件分成包括软件、硬件或两者的子组件。另外，在适用的情况下，预期软件组件可以实现为硬件组件，反之亦然。在适用的情况下，可以将本文描述的各种步骤的顺序进行改变、组合成复合步骤和/或分成子步骤以提供本文描述的特征。
前述公开内容并非旨在将本发明限制于所公开的精确形式或特定使用领域。可以预期，无论本文中明确描述或暗示的，根据本公开对本发明的各种替代实施例和/或修改是可能的。因此，本发明的范围仅由权利要求限定。

Claims (24)

1.一种改进使用热成像系统捕获的热图像的视频序列中的图像质量的方法，包括：
确定一个或多个捕获的热图像的图像细节水平和图像信号水平，其中，确定图像细节水平包括确定图像细节度量，并且其中，确定图像信号水平包括确定图像信号水平度量；
基于所确定的图像细节度量和所确定的图像信号度量中的一个或多个，确定用于捕获用于所述视频序列的一个或多个后续热图像的适应帧速率，其中，基于所述图像细节度量与细节阈值的比较并且至少在图像信号水平度量位于第一信号阈值和第二信号阈值之间时调节所述适应帧速率；和
以所述适应帧速率捕获一个或多个后续热图像以改进所述视频序列中的所述图像质量。
2.根据权利要求1所述的方法，还包括确定所述一个或多个捕获的热图像的图像运动程度，其中：
确定图像运动程度包括确定图像运动度量；
确定用于捕获一个或多个后续热图像的适应帧速率是基于所述图像细节度量、所述图像运动度量和所述图像信号水平度量中的一个或多个。
3.根据权利要求1所述的方法，还包括：
确定所述一个或多个捕获的热图像的第一热图像的第一边缘检测度量；以及
确定所述一个或多个捕获的热图像的、在时间上与所述第一热图像相邻的第二热图像的第二边缘检测度量；
其中，所述图像细节度量基于所述第一边缘检测度量和所述第二边缘检测度量的总和。
4.根据权利要求3所述的方法，其中，基于Prewitt算子或Sobel算子确定所述第一边缘检测度量。
5.根据权利要求2所述的方法，其中，确定图像运动度量是基于差分图像计算。
6.根据权利要求2所述的方法，其中，确定图像运动度量是基于图像清晰度度量和/或图像模糊度量中的一个或多个。
7.根据权利要求1所述的方法，其中，确定所述图像信号水平度量是基于以下中的一个或多个：
基于至少一个热图像的像素值的最大像素值；和/或
基于至少一个热图像的像素值的最小像素值；和/或
基于至少一个热图像的像素值的平均像素值。
8.根据权利要求1所述的方法，其中，确定图像信号水平度量包括基于至少一个热图像的像素值生成直方图，并基于所述直方图确定所述图像信号水平度量，其中：
所述直方图包括与所述一个或多个捕获的热图像的低图像信号值相关的第一组直方，与所述一个或多个捕获的热图像的高图像信号值相关的第二组直方，以及与第一组直方的低图像信号值和第二组直方的高图像信号值之间的图像信号值相关的第三组直方；以及
确定所述图像信号水平度量是基于所述第三组直方，而非基于所述第一组直方和第二组直方。
9.根据权利要求2所述的方法，进一步包括：
经由用户参数输入接口接收用户参数；和
基于所接收的用户参数，控制所述图像细节度量、所述图像运动度量、所述图像信号水平度量和/或所述帧速率中的一个或多个的确定。
10.根据权利要求2所述的方法，其中，确定适应帧速率包括：
基于一组规则并且基于所述图像细节度量、所述运动度量和/或所述图像信号度量中的一个或多个，确定用于捕获用于成像场景的热图像的积分时间；和
基于所确定的积分时间确定所述适应帧速率。
11.根据权利要求2所述的方法，其中，确定适应帧速率包括：
基于所述图像细节度量、所述图像运动度量和/或所述图像信号水平度量中的一个或多个，确定是否满足帧速率步进条件；
如果满足负步进条件，则将当前帧速率减少步进值delta_frame_rate以达到所述适应帧速率；和
如果满足正步进条件，则将当前帧速率增加步进值delta_frame_rate以达到所述适应帧速率。
12.根据权利要求1所述的方法，进一步包括将所捕获的热图像序列配置成具有输出视频帧速率的输出视频序列，其中，至少在图像信号水平度量位于所述第一信号阈值和所述第二信号阈值之间时并且在所述图像细节度量大于所述细节阈值时，调节所述适应帧速率。
13.一种非暂时性机器可读介质，其上存储有机器可读代码，当由热成像装置的处理器执行所述机器可读代码时，使所述处理器执行如权利要求1所述的方法。
14.一种热成像装置，包括：
热成像系统，所述热成像系统被配置为捕获用于成像场景的视频序列的一个或多个热图像；
处理器，所述处理器通信地耦接到所述热成像系统，所述处理器被配置为：
确定一个或多个捕获的热图像的图像细节水平和图像信号水平，其中，确定图像细节水平包括确定图像细节度量，并且其中，确定图像信号水平包括确定图像信号水平度量；
基于所确定的图像细节度量和所确定的图像信号度量中的一个或多个，确定用于捕获用于所述视频序列的一个或多个后续热图像的适应帧速率，其中，基于所述图像细节度量与细节阈值的比较并且至少在图像信号水平度量位于第一信号阈值和第二信号阈值之间时调节所述适应帧速率；和
以所述适应帧速率捕获一个或多个后续热图像，以改进所述视频序列中的图像质量。
15.根据权利要求14所述的装置，其中：
所述处理器还被配置为确定所述一个或多个捕获的热图像的图像运动程度；
确定图像运动程度包括确定图像运动度量；
确定用于捕获一个或多个后续热图像的适应帧速率是基于所述图像细节度量、所述图像运动度量和图像信号水平度量中的一个或多个；以及
至少在所述图像信号水平度量位于所述第一信号阈值和所述第二信号阈值之间、所述图像细节度量位于第一细节阈值和第二细节阈值之间、并且所述图像运动度量大于运动阈值时，调节所述适应帧速率。
16.根据权利要求14所述的热成像装置，其中，确定图像细节度量包括确定边缘检测度量。
17.根据权利要求16所述的热成像装置，其中，基于Prewitt算子或Sobel算子确定边缘检测度量。
18.根据权利要求15所述的热成像装置，其中，确定图像运动度量是基于差分图像计算。
19.根据权利要求14所述的热成像装置，其中，确定图像信号水平度量基于以下中的一个或多个：
基于至少一个热图像的像素值的最大像素值；和/或
基于至少一个热图像的像素值的最小像素值；和/或
基于至少一个热图像的像素值的平均像素值。
20.根据权利要求14所述的热成像装置，其中，确定图像信号水平度量包括：基于至少一个热图像的像素值生成直方图，并基于所述直方图确定所述图像信号水平度量。
21.根据权利要求15所述的热成像装置，其中，所述处理器被配置为：
经由用户参数输入接口接收用户参数；和
基于所接收的用户参数，控制所述图像细节度量、所述图像运动度量、所述图像信号水平度量和/或所述适应帧速率中的一个或多个的确定。
22.根据权利要求15所述的热成像装置，其中，确定适应帧速率包括：
基于一组规则并且基于所述图像细节度量、所述运动度量和/或所述图像信号度量中的一个或多个，确定用于捕获用于成像所述场景的热图像的积分时间；和
基于所确定的积分时间确定所述适应帧速率。
23.根据权利要求15所述的热成像装置，其中，确定适应帧速率包括：
基于所述图像细节度量、所述图像运动度量和/或所述图像信号水平度量中的一个或多个，确定是否满足帧速率步进条件；
如果满足负步进条件，则将当前帧速率减少步进值delta_frame_rate以达到所述适应帧速率；
如果满足正步进条件，则将当前帧速率增加步进值delta_frame_rate以达到所述适应帧速率。
24.根据权利要求14所述的热成像装置，其中，所述处理器进一步被配置为将所捕获的热图像的序列配置为具有输出视频帧速率的输出视频序列，其中，所述第一信号阈值是最小像素值阈值，并且第二信号阈值是最大像素值阈值，并且其中，所述适应帧速率被调节以保持所述一个或多个后续热图像的最大像素值低于所述最大像素值阈值、所述一个或多个后续热图像的最小像素值高于所述最小像素值阈值、和/或所述一个或多个后续热图像的平均像素值在平均像素值阈值附近的范围内。
CN201680080890.9A 2015-12-09 2016-12-09 一种改进图像质量的方法和热成像装置 Active CN108605102B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562265214P 2015-12-09 2015-12-09
US62/265,214 2015-12-09
PCT/US2016/066002 WO2017100696A1 (en) 2015-12-09 2016-12-09 Dynamic frame rate controlled thermal imaging systems and methods

Publications (2)

Publication Number Publication Date
CN108605102A CN108605102A (zh) 2018-09-28
CN108605102B true CN108605102B (zh) 2021-11-23

Family

ID=57796977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680080890.9A Active CN108605102B (zh) 2015-12-09 2016-12-09 一种改进图像质量的方法和热成像装置

Country Status (3)

Country Link
US (1) US10834337B2 (zh)
CN (1) CN108605102B (zh)
WO (1) WO2017100696A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10600164B2 (en) 2014-12-02 2020-03-24 Seek Thermal, Inc. Image adjustment based on locally flat scenes
US10867371B2 (en) 2016-06-28 2020-12-15 Seek Thermal, Inc. Fixed pattern noise mitigation for a thermal imaging system
CN109886942A (zh) * 2019-01-25 2019-06-14 淮阴师范学院 一种基于图像峭度的聚焦测度实现方法
US11346938B2 (en) 2019-03-15 2022-05-31 Msa Technology, Llc Safety device for providing output to an individual associated with a hazardous environment
US11276152B2 (en) 2019-05-28 2022-03-15 Seek Thermal, Inc. Adaptive gain adjustment for histogram equalization in an imaging system
CN115278042B (zh) * 2021-04-30 2023-11-28 西门子股份公司 图像处理中帧速率的设置方法、装置和计算机可读介质
US20230088882A1 (en) * 2021-09-22 2023-03-23 Samsung Electronics Co., Ltd. Judder detection for dynamic frame rate conversion
CN116187294B (zh) * 2023-04-24 2023-07-07 开元华创科技(集团)有限公司 信息化检测实验室电子文件快速生成方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003077552A1 (en) * 2002-02-13 2003-09-18 Reify Corporation Method and apparatus for acquisition, compression, and characterization of spatiotemporal signals
CN201789553U (zh) * 2010-06-13 2011-04-06 苏州捷泰科信息技术有限公司 适用于低照度条件下的图像和视频采集装置
CN102629975A (zh) * 2011-02-03 2012-08-08 株式会社腾龙 动态影像拍摄用摄像机
CN104024827A (zh) * 2011-11-02 2014-09-03 株式会社理光 图像处理装置、图像捕捉方法和车辆

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7495220B2 (en) * 1995-10-24 2009-02-24 Bae Systems Information And Electronics Systems Integration Inc. Uncooled infrared sensor
US7177447B2 (en) * 1999-02-23 2007-02-13 Lockheed Martin Corporation Real-time multi-stage infrared image-based tracking system
US7394053B2 (en) * 2004-09-09 2008-07-01 Beth Israel Deaconess Medical Center, Inc. Systems and methods for multi-modal imaging having a spatial relationship in three dimensions between first and second image data
US20070103543A1 (en) * 2005-08-08 2007-05-10 Polar Industries, Inc. Network panoramic camera system
ATE509296T1 (de) * 2006-03-09 2011-05-15 Gentex Corp Fahrzeugrückspiegelanordnung mit anzeige von hoher intensität
JP2008067219A (ja) * 2006-09-08 2008-03-21 Sony Corp 撮像装置、撮像方法
JP5014168B2 (ja) * 2008-01-15 2012-08-29 キヤノン株式会社 撮像システム及び撮像システムの制御方法
US8266333B1 (en) * 2009-05-29 2012-09-11 Z Microsystems, Inc. System and method for parallel image processing and routing
US8116527B2 (en) * 2009-10-07 2012-02-14 The United States Of America As Represented By The Secretary Of The Army Using video-based imagery for automated detection, tracking, and counting of moving objects, in particular those objects having image characteristics similar to background
JP5741447B2 (ja) * 2009-12-14 2015-07-01 日本電気株式会社 画像生成装置、画像生成方法、画像生成プログラム
US20120133776A1 (en) * 2010-02-24 2012-05-31 Nova Research, Inc. Low contrast midwave flir implementation
CA2797234A1 (en) * 2010-05-01 2011-11-10 Core Technology Limited Process execution components
SE536252C2 (sv) * 2011-10-14 2013-07-16 Flir Systems Ab Förfarande för inställning av integrationstid för en IR-detektor, samt IR-kamera för utförande av förfarandet
US20130321627A1 (en) * 2012-05-31 2013-12-05 John C. Turn, JR. Road departure sensing and intelligent driving systems and methods
DE102013203425A1 (de) * 2013-02-28 2014-08-28 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Digitale Filmkamera
US9521335B2 (en) * 2014-06-17 2016-12-13 Xerox Corporation Detecting febrile seizure with a thermal video camera
US10459615B2 (en) * 2014-12-11 2019-10-29 Rdi Technologies, Inc. Apparatus and method for analyzing periodic motions in machinery

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003077552A1 (en) * 2002-02-13 2003-09-18 Reify Corporation Method and apparatus for acquisition, compression, and characterization of spatiotemporal signals
CN201789553U (zh) * 2010-06-13 2011-04-06 苏州捷泰科信息技术有限公司 适用于低照度条件下的图像和视频采集装置
CN102629975A (zh) * 2011-02-03 2012-08-08 株式会社腾龙 动态影像拍摄用摄像机
CN104024827A (zh) * 2011-11-02 2014-09-03 株式会社理光 图像处理装置、图像捕捉方法和车辆

Also Published As

Publication number Publication date
US20180288339A1 (en) 2018-10-04
CN108605102A (zh) 2018-09-28
WO2017100696A1 (en) 2017-06-15
US10834337B2 (en) 2020-11-10

Similar Documents

Publication Publication Date Title
CN108605102B (zh) 一种改进图像质量的方法和热成像装置
CN110651297B (zh) 使用引导图像对合成的长曝光图像进行可选增强
WO2019105154A1 (en) Image processing method, apparatus and device
JP7077395B2 (ja) 多重化高ダイナミックレンジ画像
CN108419028B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN107948517B (zh) 预览画面虚化处理方法、装置及设备
US20190199898A1 (en) Image capturing apparatus, image processing apparatus, control method, and storage medium
CN107851311B (zh) 对比度增强的结合图像生成系统和方法
WO2009088080A1 (ja) プロジェクタ
CN107395991B (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
US10110929B2 (en) Method of pre-processing digital images, and digital image preprocessing system
US8643728B2 (en) Digital photographing device, method of controlling the digital photographing device, and computer-readable storage medium for determining photographing settings based on image object motion
JP2013502558A (ja) 空間光パターンに基づく深さデータの生成
CN107820019B (zh) 虚化图像获取方法、装置及设备
KR20200041371A (ko) 더블 카메라 기반 이미징 방법 및 장치
US20130265412A1 (en) Image processing apparatus and control method therefor
US9338354B2 (en) Motion blur estimation and restoration using light trails
JP7297406B2 (ja) 制御装置、撮像装置、制御方法およびプログラム
US20210125318A1 (en) Image processing method and apparatus
JP2018191178A (ja) 画像処理装置、画像処理方法およびプログラム
US20100303355A1 (en) Image processing apparatus, image processing method, and image processing program
KR101920369B1 (ko) 열화상 카메라의 영상처리장치 및 영상처리방법
JP2012003584A (ja) 動画像強調処理システムおよび方法
JP7442989B2 (ja) 撮像装置、該撮像装置の制御方法、及びプログラム
JP2018160024A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant