CN109792489B - 用于摄像机、尤其是手持式热成像摄像机的噪声优化的方法 - Google Patents

用于摄像机、尤其是手持式热成像摄像机的噪声优化的方法 Download PDF

Info

Publication number
CN109792489B
CN109792489B CN201780061844.9A CN201780061844A CN109792489B CN 109792489 B CN109792489 B CN 109792489B CN 201780061844 A CN201780061844 A CN 201780061844A CN 109792489 B CN109792489 B CN 109792489B
Authority
CN
China
Prior art keywords
camera
images
detected
characteristic parameter
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780061844.9A
Other languages
English (en)
Other versions
CN109792489A (zh
Inventor
M.弗兰克
D.马夸特
A.伦贝格
M.尤利希
P.迈尔
T.巴布基纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN109792489A publication Critical patent/CN109792489A/zh
Application granted granted Critical
Publication of CN109792489B publication Critical patent/CN109792489B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/23—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6815—Motion detection by distinguishing pan or tilt from motion
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2217/00—Details of cameras or camera bodies; Accessories therefor
    • G03B2217/005—Blur detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Studio Devices (AREA)

Abstract

本发明以一种用于摄像机（10）、尤其是手持式热成像摄像机（12）的噪声优化的方法为出发点，其中在至少一个方法步骤（62）中，借助于摄像机（10）检测图像；其中在至少一个方法步骤（64）中，借助于摄像机（10）的至少一个传感器单元（22）检测至少一个运动特征参数；以及其中在至少一个方法步骤（68）中，借助于摄像机（10）的计算单元（56）对所检测的图像的图像数据进行求平均。提出：在至少一个方法步骤（66）中，借助于摄像机（10）的计算单元（56）至少根据所检测的运动特征参数的强度、尤其是变化率确定至少多个待求平均的图像。

Description

用于摄像机、尤其是手持式热成像摄像机的噪声优化的方法
背景技术
用于摄像机、尤其是手持式热成像摄像机的噪声优化的方法已经是已知的，其中在已知的方法情况下，在至少一个方法步骤中，借助于摄像机检测图像，其中在至少一个方法步骤中，借助于摄像机的至少一个传感器单元检测至少一个运动特征参数，以及其中在至少一个方法步骤中，借助于摄像机的计算单元对所检测的图像的图像数据进行求平均。
发明内容
本发明以一种用于摄像机、尤其是手持式热成像摄像机的噪声优化的方法为出发点，其中借助于摄像机在至少一个方法步骤中检测图像，其中在至少一个方法步骤中借助于摄像机的至少一个传感器单元检测至少一个运动特征参数，并且其中在至少一个方法步骤中，借助于摄像机的计算单元对所检测的图像的图像数据进行求平均。
提出，在至少一个方法步骤中，至少根据所检测的运动特征参数的强度、尤其是变化率借助于摄像机的计算单元确定至少多个待求平均的图像。由此可以有利地实现与摄像机的运动有关的噪声降低。有利地，尤其是在摄像机的小的运动情况下，可以实现改善的图像质量。可以有利地实现用于噪声降低的低计算耗费。
优选地，摄像机具有至少一个图像检测单元，所述图像检测单元被设置用于检测环境和/或对象的至少一个图像、尤其是热图像。“被设置”应该尤其是被理解为被专门编程、被设计和/或被装备。针对特定功能设置对象尤其是应该被理解为，对象在至少一个应用状态和/或运行状态中满足和/或实施该特定功能。特别优选地，至少一个图像检测单元包括至少一个红外图像传感器、尤其是焦平面阵列（Focal Plane Array （FPA））。优选地，图像检测单元被设置用于探测至少一个电磁辐射。优选地，图像检测单元被设置用于探测光、尤其是红外光、优选地来自780 nm至50000nm的波长范围中的红外光。优选地，所述图像检测单元具有至少一个成像光学元件、尤其是透镜、物镜、菲涅耳透镜或对于本领域技术人员而言表现为有意义的其他成像光学元件。优选地，所述成像光学元件被设置用于将环境和/或对象的入射到所述成像光学元件上的电磁辐射、尤其是红外光成像到红外图像传感器上。优选地，所述红外图像传感器将入射到所述红外图像传感器上的、尤其所成像的电磁辐射、尤其是红外光在环境和/或对象的图像中转换成相应的图像数据、尤其是转换成电子图像数据。
“传感器单元”在该上下文中尤其是应该被理解为被设置用于记录至少一个特征参数和/或物理特性的单元，其中记录可以主动地、诸如尤其是通过产生和发送电测量信号，和/或被动地、诸如尤其通过检测传感器构件的特性变化来发生。优选地，传感器单元具有至少一个传感器元件，所述传感器元件被设置用于检测至少一个运动特征参数。优选地，传感器单元在至少一个运动状态中使用图像检测单元作为用于检测运动特征参数的附加传感器元件。优选地，图像检测单元至少部分地与传感器单元单件式地来实施。“至少部分地单件式地”在该上下文中尤其应该被理解为：至少一个对象的至少一个构件和/或至少一个第一对象与至少一个其他对象的至少一个构件单件式地来构造和/或与至少一个其他对象单件式地来构造。尤其是所检测的运动特征参数优选地被构造为空间位置、空间方位（räumliche Lage）、速度、加速度、温度变化、亮度变化或对于本领域技术人员而言看起来有意义的其他运动特征参数。优选地，至少一个运动特征参数表征摄像机的运动、尤其是平移、旋转、摇摆和/或振动、尤其是相对于环境和/或相对于对象的运动、优选地相对于借助于图像检测单元要检测的环境和/或借助于图像检测单元要检测的对象的运动。优选地，运动特征参数、尤其是运动特征参数的强度以可量化的方式来构造。特别优选地，运动特征参数、尤其是运动特征参数的强度作为数值、尤其是数字值以可量化的方式来构造。“特征参数的强度”尤其应该被理解为特征参数的定量规模、量值（Betrag）、数量级、度量值或对于本领域技术人员而言看起来有意义的其他定量特性。
优选地，摄像机具有至少一个计算单元，所述计算单元被设置用于处理环境和/或对象的至少一个借助于图像检测单元、尤其是借助于红外图像传感器检测的图像、尤其是热图像，尤其是处理用以噪声优化。所述计算单元优选地被设置用于处理图像数据、尤其是电子图像数据用以噪声优化、尤其是用以求平均。“计算单元”尤其是应该被理解为具有信息输入、信息处理和信息输出的单元。有利地，所述计算单元具有至少一个处理器、存储器、输入和输出装置、其他电构件、运行程序、调节例程、控制例程和/或计算例程。优选地，所述计算单元的构件布置在共同的电路板上和/或有利地布置在共同的壳体中。优选地，所述计算单元被设置用于分析尤其是借助于传感器单元检测的运动特征参数。优选地，计算单元确定所述运动特征参数的强度。特别优选地，所述计算单元至少根据运动特征参数、尤其是运动特征参数的强度确定用于对至少两个借助于摄像机、尤其是图像检测单元检测的图像、尤其是图像数据求平均的至少一个平均功能。优选地，可以借助于计算单元实施用于对至少两个借助于摄像机、尤其是图像检测单元检测的图像、尤其是图像数据求平均的平均功能。特别优选地，计算单元在至少一个运行状态中根据运动特征参数、尤其是运动特征参数的强度确定平均功能。优选地，所述平均功能包括至少一个功能步骤，所述功能步骤用于计算至少两个待求平均的图像、尤其是至少两个待求平均的图像的图像数据的平均、滑动平均值、加权平均值或对于本领域技术人员而言看起来有意义的其他平均值。特别优选地，在至少一个方法步骤中，借助于摄像机检测的图像、尤其是借助于平均功能被求平均，其中所检测的图像的总数目等于待求平均的图像的数目。可设想的是，至少一个平均功能可以由摄像机的操作者、尤其是借助于摄像机的操作单元预先给定和/或实施。
此外提出：在至少一个方法步骤中，在所检测的运动特征参数的强度变化的情况下，尤其是自动地改变待求平均的图像的数目。由此有利地，可以实现运动自适应噪声降低。可以有利地实现与摄像机的运动有关的噪声降低。优选地，从运动特征参数的强度、尤其是运动特征参数的强度的变化来计算待求平均的图像的数目，尤其是借助于计算单元来计算，优选地借助于计算单元自动地来计算。可设想的是，待求平均的图像的数目从运动特征参数的强度的变化的坡度（Anstieg）、梯度、变化率、变化速度或对于本领域技术人员而言看起来有意义的其他量度来计算。优选地，待求平均的图像的数目在运动特征参数的强度增高的情况下尤其是从大于一的数目出发被减少，尤其是减少到一。待求平均的图像的数目在运动特征参数的强度下降的情况下尤其是从至少为一的数目出发被增加，尤其是增加到二或大于二的整数。例如，可设想的是，与运动特征参数的被构造为摄像机空间位置的强度的变化率成比例地来确定待求平均的图像的数目，使得尤其是对于摄像机的空间位置的每秒每个变化增加待求平均的图像的数目。例如，对于摄像机的空间位置的每秒每个变化，使待求平均的图像数目增加一。从运动特征参数的强度确定待求平均的图像的数目的其他构型是可设想的，尤其是，这里描绘的本发明不应局限于上述示例。可替代地或附加地可设想的是，根据运动特征参数的强度超过和/或未超过至少一个阈值来确定待求平均的图像的数目。可设想的是，待求平均的图像的数目在运动特征参数的强度超过至少一个阈值的情况下尤其是从大于一的数目出发被减少，尤其是减少到一。此外，可设想的是，待求平均的图像的数目在所述运动特征参数的强度未超过至少一个阈值的情况下尤其是从至少为一的数目出发被增加，尤其是增加到二或大于二的整数。例如，可设想的是，如果运动特征参数的被构造为摄像机的速度的量值的强度未超过1m/s的阈值，则待求平均的图像的数目从一被增加到二。例如，此外可设想的是，如果运动特征参数的被构造为摄像机的速度的量值的强度超过1m/s的阈值，则待求平均的图像的数目被减少到一。尤其是至少一个阈值的其他构型是可设想的，尤其是这里描绘的本发明不应局限于上述示例。
此外提出，在至少一个方法步骤中，根据运动特征参数确定摄像机的尤其是显示单元和/或传感器单元的至少一个帧速率。由此，可以有利地实现借助于摄像机检测的图像的低噪声表示。可以有利地实现与摄像机的运动有关的噪声降低。“摄像机的帧速率”尤其是应该被理解为以下速率、优选地频率：摄像机以所述速率、优选地频率检测图像和/或显示所检测的、尤其是求平均的图像。优选地，该帧速率具有大于10 Hz、优选地大于25 Hz、特别优选地大于50 Hz的值。可设想的是，摄像机的显示单元具有与摄像机的传感器单元的帧速率不同的帧速率。可替代地，可设想的是，显示单元和传感器单元具有相同的帧速率。优选地，显示单元和/或传感器单元的帧速率根据运动特征参数的强度来确定。优选地，显示单元和/或传感器单元的帧速率借助于运动特征参数的强度来计算。优选地，显示单元的帧速率在运动特征参数的强度下降的情况下从大于10 Hz的值出发被减小，尤其是减小到10Hz。优选地，在运动特征参数的强度增高情况下，显示单元的帧速率被增加。可设想的是，在运动特征参数的强度下降的情况下，传感器单元的帧速率被减小。此外，可设想的是，传感器单元的帧速率在运动特征参数的强度增高的情况下被增加。
此外提出，传感器单元具有至少一个光传感器元件、尤其是在可见和/或红外光谱中工作的摄像机，所述光传感器元件被设置用于检测被构造为在至少两个借助于摄像机检测的图像之间的光学差异、尤其是像素位移的运动特征参数。由此可以有利地根据所检测的图像来识别摄像机的运动用以进行运动自适应噪声优化。可以有利地实现与摄像机的运动有关的噪声降低。优选地，光传感器元件被构造为至少一个其他摄像机、尤其是在可见和/或红外光谱中工作的其他摄像机。可设想的是，光传感器元件与图像检测单元被构造为单元。优选地，光传感器元件被设置用于对尤其是摄像机的环境、优选地借助于图像检测单元检测的摄像机环境的至少一个空间区域进行位置分辨成像。特别优选地，光传感器元件和图像检测单元分别至少基本上同时地检测环境的图像。“基本上同时地”尤其应该被理解为，光传感器元件的图像的检测时间点与图像检测单元的图像的检测时间点的时间间隔优选地小于10 ms、优选地小于2 ms、特别优选地小于1 ms。“至少基本上”在该上下文中尤其应该被理解为，与预给定值的偏差尤其小于预给定值的25％、优选小于10％以及特别优选小于5％。优选地，光传感器元件的图像的检测时间点与图像检测单元的图像的检测时间点相同。传感器单元优选地将光传感器的图像传送给计算单元用以分析。优选地，所述计算单元实施至少一个图像特征的特征识别，所述图像特征尤其是光传感器元件的图像的边、角、图案、面（Fläche）、颜色或对于本领域技术人员而言看起来有意义的其他图像特征。优选地，所述计算单元相对于图像特征在光传感器元件的另一图像中的位置来确定图像特征在光传感器元件的该图像中的至少一个位置，其中所述另一图像在时间上在所述光传感器元件的该图像之间被检测。特别优选地，所述计算单元确定所述图像特征在光传感器元件的该图像中的位置与图像特征在光传感器元件的另一图像中的位置的空间间隔，所述另一图像尤其是在时间上在光传感器元件的该图像之前被检测。优选地，空间间隔被构造为像素位移。
此外提出，传感器单元具有至少一个温度传感器元件、尤其是热电堆，所述温度传感器元件被设置用于检测被构造为至少一个温度变化的运动特征参数。由此可以有利地识别摄像机相对于热源和/或散热片的运动用以进行运动自适应噪声优化。可以有利地实现与摄像机的运动有关的噪声降低。可设想的是，温度传感器元件被构造为焦平面阵列、热电偶、温度计或对于本领域技术人员而言看起来有意义的其他温度传感器元件。温度传感器元件优选地被构造为热电堆。优选地，温度传感器元件检测温度的至少一个时间变化过程、尤其是温度变化。优选地，计算单元借助于温度变化确定待求平均的图像的数目。可设想的是，计算单元与温度变化成比例地或成反比例地或根据对于本领域技术人员而言看起来有意义的与温度变化的其他数学相关性来改变待求平均的图像的数目。
此外提出，传感器单元具有至少一个亮度传感器元件、尤其是在可见光谱中工作的摄像机，所述亮度传感器元件被设置用于检测至少一个被构造为至少一个亮度变化的运动特征参数。由此可以有利地识别摄像机相对于发射光或吸收光的对象的运动用以进行运动自适应噪声优化。可以有利地实现与摄像机的运动有关的噪声降低。可设想的是，亮度传感器元件被构造为附加摄像机、尤其是在可见光谱中工作的附加摄像机，被构造为光敏像素或被构造为对于本领域技术人员而言看起来有意义的其他亮度传感器元件。此外，可设想的是，亮度传感器元件被实施为具有图像检测单元和/或光传感器元件的单元。此外，可设想的是，图像检测单元和/或光传感器元件可以被用作亮度传感器元件。优选地，亮度传感器元件检测亮度的至少一个时间变化过程、尤其是亮度变化。优选地，计算单元借助于亮度变化确定待求平均的图像的数目。可设想的是，所述计算单元与亮度变化成比例地或反比例地或根据对于本领域技术人员而言看起来有意义的与亮度变化的其他数学相关性来改变待求平均的图像的数目。
此外提出，传感器单元具有至少一个位置传感器元件和/或运动传感器元件、尤其是GPS传感器、速度传感器元件、惯性传感器元件和/或旋转速率传感器元件，其被设置用于检测至少一个被构造为摄像机的至少一个空间位置、速度、旋转速率和/或加速度的运动特征参数。由此可以有利地直接测量摄像机的运动用以进行运动自适应噪声优化。有利地，可以实现与摄像机的运动有关的噪声降低。
此外提出摄像机、尤其是手持式热成像摄像机，所述摄像机具有至少一个图像检测单元，所述图像检测单元被设置用于检测环境的至少一个图像、尤其是热图像；具有至少一个传感器单元，所述传感器单元被设置用于检测至少一个运动特征参数，以及具有至少一个计算单元，所述计算单元被设置用于处理所述至少一个运动特征参数用以进行噪声优化，其中借助于计算单元至少根据运动特征参数的强度、尤其是变化率确定至少多个借助于摄像机检测的待求平均的图像。由此可以有利地提供摄像机，所述摄像机允许与摄像机的运动有关的噪声降低。可以有利地尤其是在摄像机的小运动情况下提供具有改善的图像质量的摄像机。可以有利地提供具有简单地要计算的噪声降低功能的摄像机。
此外提出，至少一个传感器单元具有至少一个惯性传感器元件，该惯性传感器元件被设置用于检测被构造为加速度和/或旋转速率的运动特征参数。由此可以有利地借助于惯性传感器元件直接测量摄像机的运动用以进行运动自适应噪声优化。可以有利地提供摄像机，所述摄像机允许与摄像机的运动有关的噪声降低。
此外提出，所述至少一个传感器单元具有至少一个磁场传感器元件，所述磁场传感器元件被设置用于检测被构造为相对于磁场、尤其是地磁场的空间方位变化的运动特征参数。由此可以有利地借助于磁场传感器元件测量摄像机相对于磁场的运动用以进行运动自适应噪声优化。可以有利地提供摄像机，所述摄像机允许与摄像机的运动有关的噪声降低。
根据本发明的方法和/或根据本发明的摄像机在此情况下不应局限于上面描述的应用和实施方式。尤其是，根据本发明的方法和/或根据本发明的摄像机为了履行在这里描述的作用原理可以具有与单独元件、构件和单元以及方法步骤的这里所提及的数目不同的数目。此外，根据本发明的摄像机的所公开的特征也可以以类似的方式根据所述方法来理解。另外，在本公开中说明的值范围情况下，位于所提及的界限内的值也应被认为是公开的以及任意可使用的。
附图说明
从以下附图描述中得到其他优点。在附图中示出了本发明的实施例。附图、说明书和权利要求书以组合的方式包含许多特征。本领域技术人员也将适宜地单独考虑所述特征并联合成有意义的其他组合。
图1以示意图示出摄像机的透视前视图，
图2以示意图示出图1的摄像机的透视后视图，以及
图3示出用于摄像机的噪声优化的方法的流程图。
具体实施方式
在图1和2中示出了摄像机10的实施例。摄像机10被构造为手持式热成像摄像机12。摄像机10具有图像检测单元14，所述图像检测单元在至少一个运行状态中检测摄像机10的环境的图像、尤其是热图像。图像检测单元14包括红外图像传感器16。红外图像传感器16被构造为焦平面阵列（Focal Plane Array）。
摄像机10具有显示单元18。显示单元18被构造为显示器20。显示单元18在至少一个运行状态中显示图像、尤其是热图像。显示单元18在至少一个运行状态中显示平均图像、尤其是平均热图像。显示单元18以大于10 Hz的帧速率（Bildwiederholrate）显示图像、尤其是热图像。
摄像机10具有传感器单元22。传感器单元22在至少一个运行状态中检测运动特征参数。传感器单元22在至少一个运行状态中至少基本上与借助于图像检测单元14检测图像同时地检测运动特征参数。传感器单元22在至少一个运行状态中连续地检测运动特征参数。
传感器单元22具有光传感器元件24。光传感器元件24被构造为在可见光谱中工作的VIS摄像机26。光传感器元件24在至少一个运行状态中检测被构造为在至少两个借助于摄像机10检测的图像之间的光学差异、尤其是像素位移的运动特征参数。传感器单元22与图像检测单元14连接用于借助于电连接、尤其是电子数据连接传输尤其是所检测的图像、尤其是热图像。
传感器单元22具有温度传感器元件28。温度传感器元件28被构造为热电堆30。温度传感器元件28在至少一个运行状态中检测被构造为温度变化的运动特征参数。
传感器单元22具有亮度传感器元件32。亮度传感器元件32被构造为光敏像素34。亮度传感器元件32在至少一个运行状态中检测被构造为亮度变化的运动特征参数。
传感器单元22具有位置传感器元件36。位置传感器元件36被构造为GPS传感器38。位置传感器元件36在至少一个运行状态中检测被构造为空间位置的运动特征参数。
传感器单元22具有另外的位置传感器元件40。另外的位置传感器元件40被构造为磁场传感器元件42。该另外的位置传感器元件40在至少一个运行状态中检测被构造为相对于磁场、尤其是地磁场的空间方位变化的运动特征参数。
传感器单元22具有运动传感器元件44。运动传感器元件44被构造为速度传感器元件46。运动传感器元件44在至少一个运行状态中检测被构造为速度的运动特征参数。
传感器单元22具有另外的运动传感器元件48。该另外的运动传感器元件48被构造为惯性传感器元件50。该另外的运动传感器元件48在至少一个运行状态中检测被构造为加速度和/或旋转速率（Drehrate）的运动特征参数。
传感器单元22具有附加运动传感器元件52。附加运动传感器元件52被构造为旋转速率传感器元件54。附加运动传感器元件48在至少一个运行状态中检测被构造为旋转速率的运动特征参数。
摄像机10具有计算单元56。计算单元56在至少一个运行状态中处理所检测的运动特征参数用以对摄像机10进行噪声优化。计算单元56在至少一个运行状态中根据运动特征参数的强度、尤其是变化率确定至少多个借助于摄像头10检测的待求平均的图像。计算单元56与传感器单元22连接，用于借助于电连接、尤其是电子数据连接传输传感器数据。计算单元56在至少一个运行状态中分析由传感器单元22检测的运动特征参数和/或由图像检测单元14检测的图像、尤其是热图像。计算单元56在至少一个运行状态中根据由传感器单元22检测的运动特征参数和/或由图像检测单元14检测的图像、尤其是热图像来确定用于对图像数据求平均的至少一个平均功能。计算单元56在至少一个运行状态中实施至少一个平均功能。
摄像机10具有操作单元58。操作单元58包括操作元件60。操作元件60被构造为操作区。借助于操作单元58，可以实施至少一个平均功能。借助于操作单元58可以存储尤其是检测的和/或求平均的图像、尤其是热图像。
在图3中示出了用于摄像机10的噪声优化的方法的流程图。在至少一个方法步骤62中，借助于摄像机10检测图像、尤其是热图像。
在至少一个方法步骤64中，借助于摄像机10的传感器单元22检测至少一个运动特征参数。传感器单元22将所检测的运动特征参数传送给计算单元56用以分析。计算单元56确定所检测的运动特征参数的强度。计算单元56根据所检测的运动特征参数确定用于对借助于摄像机10检测的图像求平均的平均功能（Mittelungsfunktion）。计算单元56根据所检测的运动特征参数的强度确定用于对借助于摄像机10检测的图像求平均的平均功能。
在至少一个方法步骤74中，借助于光传感器元件24检测被构造为在至少两个借助于摄像机10检测的图像之间的光学差异、尤其是像素位移的运动特征参数。传感器单元22将被构造为光学差异的所检测的运动特征参数传送给计算单元56用以分析。计算单元56确定被构造为光学差异的所检测的运动特征参数的强度，所述强度被构造为像素位移的量值。计算单元56根据所检测的光学差异确定用于对借助于摄像机10检测的图像求平均的平均功能。计算单元56根据像素位移的量值确定用于对借助于摄像机10检测的图像求平均的平均功能。
在至少一个方法步骤76中，借助于温度传感器元件28检测被构造为至少一个温度变化的运动特征参数。传感器单元22将所检测的温度变化传送给计算单元56用以分析。计算单元56确定所检测的运动特征参数的强度，所述强度被构造为温度变化的量值。计算单元56根据所检测的温度变化确定用于对借助于摄像机10检测的图像求平均的平均功能。计算单元56根据温度变化的量值确定用于对借助于摄像机10检测的图像求平均的平均功能。
在至少一个方法步骤78中，借助于亮度传感器元件32检测被构造为至少一个亮度变化的运动特征参数。传感器单元22将所检测的亮度变化传送给计算单元56用以分析。计算单元56确定所检测的运动特征参数的强度，所述强度被构造为亮度变化的量值。计算单元56根据所检测的亮度变化确定用于对借助于摄像机10检测的图像求平均的平均功能。计算单元56根据亮度变化的量值确定用于对借助于摄像机10检测的图像求平均的平均功能。
在至少一个方法步骤80中，借助于尤其是另外的位置传感器元件36、40检测被构造为摄像机10的空间位置的运动特征参数。传感器单元22将摄像机10的所检测的空间位置传送给计算单元56用以分析。计算单元56确定所检测的运动特征参数的强度，所述强度被构造为摄像机10的空间位置的变化。计算单元56根据摄像机10的所检测的空间位置确定用于对借助于摄像机10检测的图像求平均的平均功能。计算单元56根据空间位置的时间变化确定用于对借助于摄像机10检测的图像求平均的平均功能。
在至少一个方法步骤82中，借助于运动传感器元件44检测被构造为摄像机10的速度的运动特征参数。传感器单元22将所检测的速度传送给计算单元56用以分析。计算单元56确定所检测的运动特征参数的强度，所述强度被构造为速度的量值。计算单元56根据所检测的速度确定用于对借助于摄像机10检测的图像求平均的平均功能。计算单元56根据速度的量值确定用于对借助于摄像机10检测的图像求平均的平均功能。
在至少一个方法步骤84中，借助于尤其是另外的或附加的运动传感器元件48、52检测被构造为摄像机10的旋转速率的运动特征参数。传感器单元22将所检测的旋转速率传送给计算单元56用以分析。计算单元56确定所检测的运动特征参数的强度，所述强度被构造为旋转速率的量值。计算单元56根据所检测的旋转速率确定用于对借助于摄像机10检测的图像求平均的平均功能。计算单元56根据旋转速率的量值确定用于对借助于摄像机10检测的图像求平均的平均功能。
在至少一个方法步骤86中，借助于尤其是另外的运动传感器元件44、48检测被构造为摄像机10的加速度的运动特征参数。传感器单元22将所检测的加速度传送给计算单元56用以分析。计算单元56确定所检测的运动特征参数的强度，所述强度被构造为加速度的量值。计算单元56根据所检测的加速度确定用于对借助于摄像机10检测的图像求平均的平均功能。计算单元56根据加速度的量值确定用于对借助于摄像机10检测的图像求平均的平均功能。
在至少一个方法步骤66中，根据所检测的运动特征参数的强度、尤其是变化率借助于摄像机10的计算单元56确定至少多个待求平均的图像。计算单元56借助于所检测的运动特征参数的强度来计算待求平均的图像的数目。计算单元56与所检测的运动特征参数的强度的变化、尤其是变化率成比例地计算待求平均的图像的数目。
在至少一个方法步骤70中，待求平均的图像的数目在所检测的运动特征参数的强度变化的情况下自动地被改变。在运动特征参数的强度增高的情况下，计算单元56从大于一的数目出发减少待求平均的图像的数目。在运动特征参数的强度的值为零的情况下，计算单元56将待求平均的图像的数目减少到一。在运动特征参数的强度下降的情况下，计算单元56将待求平均的图像的数目从至少为一的数目出发增加到大于一的整数。在由运动特征参数的强度超过阈值时，计算单元56将待求平均的图像的数目从大于一的数目出发减少。在运动特征参数的强度未超过另一阈值时，计算单元56将待求平均的图像的数目从至少为一的数目出发增加到大于一的整数。
在至少一个方法步骤68中，借助于摄像机10的计算单元56对所检测的图像的图像数据进行求平均。计算单元56对于所述多个待求平均的图像中的图像实施根据所检测的运动特征参数确定的平均功能。平均功能包括至少一个用于对所述多个待求平均的图像中的图像尤其以加权的方式形成平均值的功能步骤。计算单元56存储平均功能的结果、尤其是平均图像和/或平均热图像。计算单元56将平均图像和/或平均热图像传送给显示单元18用以输出。
在至少一个方法步骤72中，确定摄像机10的显示单元18和/或传感器单元22的帧速率。计算单元56根据运动特征参数的强度确定显示单元18的帧速率。在运动特征参数的强度下级的情况下，计算单元56从大于10Hz的值出发降低减小单元18的帧速率。在运动特征参数的强度升高的情况下，计算单元56从至少10Hz的值出发增加显示单元18的帧速率。显示单元18以帧速率显示借助于摄像机10检测的图像。显示单元18以帧速率显示借助于摄像机10检测的和借助于计算单元56求平均的图像。传感器单元22具有恒定的帧速率。
鉴于用于摄像机10的噪声优化的方法的其他方法步骤可以参照摄像机10的上述描述，这是因为所述描述类似地也可以根据该方法来理解，并且因此鉴于摄像机10的所有特征关于用于摄像机10的噪声优化的方法也被认为是公开的。

Claims (24)

1.一种用于摄像机（10）的噪声优化的方法，其中借助于所述摄像机（10）在至少一个方法步骤（62）中检测图像，其中在至少一个方法步骤（64）中，借助于所述摄像机（10）的至少一个传感器单元（22）检测至少一个运动特征参数，并且其中在至少一个方法步骤（68）中，借助于所述摄像机（10）的计算单元（56）对所检测的图像的图像数据进行求平均，其中所述图像数据包括多个待求平均的图像，其特征在于，在至少一个方法步骤（66）中，至少根据所检测的运动特征参数的强度借助于所述摄像机（10）的计算单元（56）至少确定待求平均的图像的数目。
2.根据权利要求1所述的方法，其特征在于，所述摄像机（10）是手持式热成像摄像机（12）。
3.根据权利要求1所述的方法，其特征在于，在至少一个方法步骤（66）中，至少根据所检测的运动特征参数的变化率借助于所述摄像机（10）的计算单元（56）至少确定待求平均的图像的数目。
4.根据权利要求1所述的方法，其特征在于，在至少一个方法步骤（70）中，在所述所检测的运动特征参数的强度变化情况下改变待求平均的图像的数目。
5.根据权利要求4所述的方法，其特征在于，自动地改变待求平均的图像的数目。
6.根据前述权利要求1至5中任一项所述的方法，其特征在于，在至少一个方法步骤（72）中，根据所述运动特征参数确定所述摄像机（10）的至少一个帧速率。
7.根据权利要求6所述的方法，其特征在于，确定所述摄像机（10）的显示单元（18）和/或传感器单元（22）的至少一个帧速率。
8.根据前述权利要求1至5中任一项所述的方法，其特征在于，所述传感器单元（22）具有至少一个光传感器元件（24），所述光传感器元件被设置用于检测被构造为在至少两个借助于所述摄像机（10）检测的图像之间的光学差异的运动特征参数。
9.根据权利要求8所述的方法，其特征在于，所述传感器单元（22）具有在可见和/或红外光谱中工作的摄像机（26）。
10.根据权利要求8所述的方法，其特征在于，所述光传感器元件被设置用于检测被构造为在至少两个借助于所述摄像机（10）检测的图像之间的像素位移的运动特征参数。
11.根据前述权利要求1至5中任一项所述的方法，其特征在于，所述传感器单元（22）具有至少一个温度传感器元件（28），所述温度传感器元件被设置用于检测被构造为至少一个温度变化的运动特征参数。
12.根据权利要求11所述的方法，其特征在于，所述传感器单元（22）具有热电堆（30）。
13.根据前述权利要求1至5中任一项所述的方法，其特征在于，所述传感器单元（22）具有至少一个亮度传感器元件（32），其被设置用于检测至少一个被构造为至少一个亮度变化的运动特征参数。
14.根据权利要求13所述的方法，其特征在于，所述传感器单元（22）具有在可见光谱中工作的摄像机。
15.根据前述权利要求1至5中任一项所述的方法，其特征在于，所述传感器单元（22）具有至少一个位置传感器元件（36，40）和/或运动传感器元件（44，48，52），其被设置用于检测至少一个被构造为所述摄像机（10）的至少一个空间位置、速度、旋转速率和/或加速度的运动特征参数。
16.根据权利要求15所述的方法，其特征在于，所述传感器单元（22）具有GPS传感器（38）、速度传感器元件（46 ）、惯性传感器元件（50）和/或旋转速率传感器元件（54）。
17.摄像机，具有至少一个图像检测单元（14），其被设置用于检测环境的至少一个图像；具有至少一个传感器单元（22），其被设置用于检测至少一个运动特征参数，并且具有至少一个计算单元（56），其被设置用于处理所述至少一个运动特征参数，用以进行噪声优化，其特征在于，借助于所述计算单元（56）至少根据所述运动特征参数的强度来至少确定借助于所述摄像机（10）检测的待求平均的图像的数目。
18.根据权利要求17所述的摄像机，其特征在于，所述摄像机是手持式热成像摄像机（12）。
19.根据权利要求17所述的摄像机，其特征在于，所述图像检测单元（14）被设置用于检测热图像。
20.根据权利要求17所述的摄像机，其特征在于，所述计算单元（56）被设置用于按照根据权利要求1至16中任一项所述的方法处理所述至少一个运动特征参数来进行噪声优化。
21.根据权利要求17所述的摄像机，其特征在于，借助于所述计算单元（56）至少根据所述运动特征参数的变化率来至少确定借助于所述摄像机（10）检测的待求平均的图像的数目。
22.根据权利要求17所述的摄像机，其特征在于，所述至少一个传感器单元（22）具有至少一个惯性传感器元件（50），其被设置用于检测被构造为加速度和/或旋转速率的运动特征参数。
23.根据权利要求17至22中任一项所述的摄像机，其特征在于，所述至少一个传感器单元（22）具有至少一个磁场传感器元件（42），其被设置用于检测被构造为相对于磁场的空间方位变化的运动特征参数。
24.根据权利要求23所述的摄像机，其特征在于，所述磁场传感器元件（42）被设置用于检测被构造为相对于地磁场的空间方位变化的运动特征参数。
CN201780061844.9A 2016-10-06 2017-08-08 用于摄像机、尤其是手持式热成像摄像机的噪声优化的方法 Active CN109792489B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102016219391.0 2016-10-06
DE102016219391.0A DE102016219391A1 (de) 2016-10-06 2016-10-06 Verfahren zu einer Rauschoptimierung einer Kamera, insbesondere einer handgehaltenen Wärmebildkamera
PCT/EP2017/070059 WO2018065143A1 (de) 2016-10-06 2017-08-08 Verfahren zu einer rauschoptimierung einer kamera, insbesondere einer handgehaltenen wärmebildkamera

Publications (2)

Publication Number Publication Date
CN109792489A CN109792489A (zh) 2019-05-21
CN109792489B true CN109792489B (zh) 2021-10-15

Family

ID=59702675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780061844.9A Active CN109792489B (zh) 2016-10-06 2017-08-08 用于摄像机、尤其是手持式热成像摄像机的噪声优化的方法

Country Status (5)

Country Link
US (1) US11539889B2 (zh)
EP (1) EP3523954B1 (zh)
CN (1) CN109792489B (zh)
DE (1) DE102016219391A1 (zh)
WO (1) WO2018065143A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023205144A1 (en) * 2022-04-19 2023-10-26 Dolby Laboratories Licensing Corporation Metadata-aided removal of film grain

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1641246A1 (en) * 2003-06-17 2006-03-29 Matsushita Electric Industrial Co., Ltd. Information generating apparatus, image pickup apparatus and image pickup method
CN101919236A (zh) * 2008-01-19 2010-12-15 特斯托股份公司 热成像摄像机
CN107005808A (zh) * 2014-12-09 2017-08-01 罗伯特·博世有限公司 系统，尤其是手持式工具机系统

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5475420A (en) * 1993-06-09 1995-12-12 Origin Medsystems, Inc. Video imaging system with image processing optimized for small-diameter endoscopes
WO2005023098A2 (en) * 2003-09-09 2005-03-17 General Electric Company Motion adaptive frame averaging for ultrasound doppler color flow imaging
JP2005348178A (ja) * 2004-06-03 2005-12-15 Canon Inc 動画記録再生装置、画像表示方法、及びプログラム
US7840031B2 (en) * 2007-01-12 2010-11-23 International Business Machines Corporation Tracking a range of body movement based on 3D captured image streams of a user
JP4733068B2 (ja) * 2007-05-17 2011-07-27 富士フイルム株式会社 撮影装置および方法並びにプログラム
US8018649B2 (en) * 2008-01-22 2011-09-13 Flir Systems Ab IR camera
DE102010013377B4 (de) * 2010-03-30 2012-02-02 Testo Ag Bildverarbeitungsverfahren und Wärmebildkamera
WO2012067282A1 (ko) * 2010-11-17 2012-05-24 (주)이지템 체온을 포함하는 휴대용 열화상 온도측정 장치 및 방법
DE102010053458B4 (de) * 2010-12-03 2023-06-22 Testo SE & Co. KGaA Verfahren zur Aufbereitung von IR-Bildern und korrespondierende Wärmebildkamera
US10965889B2 (en) * 2011-06-20 2021-03-30 Fluke Corporation Thermal imager that analyzes temperature measurement calculation accuracy
US20130155249A1 (en) * 2011-12-20 2013-06-20 Fluke Corporation Thermal imaging camera for infrared rephotography
US20130155248A1 (en) * 2011-12-20 2013-06-20 Fluke Corporation Thermal imaging camera for infrared rephotography
US20130162835A1 (en) * 2011-12-23 2013-06-27 Fluke Corporation Thermal imaging camera for infrared rephotography
US9438825B2 (en) * 2012-12-10 2016-09-06 Fluke Corporation Infrared sensor amplification techniques for thermal imaging
US20140267757A1 (en) * 2013-03-15 2014-09-18 Fluke Corporation Parallax correction in thermal imaging cameras
US10728468B2 (en) * 2013-07-17 2020-07-28 Fluke Corporation Activity and/or environment driven annotation prompts for thermal imager
US20150062346A1 (en) * 2013-09-04 2015-03-05 Jacob Fraden Mobile thermal imaging device
EP2919142B1 (en) * 2014-03-14 2023-02-22 Samsung Electronics Co., Ltd. Electronic apparatus and method for providing health status information
US9990730B2 (en) * 2014-03-21 2018-06-05 Fluke Corporation Visible light image with edge marking for enhancing IR imagery
US9342871B2 (en) * 2014-05-30 2016-05-17 Apple Inc. Scene motion correction in fused image systems
WO2016028755A1 (en) * 2014-08-20 2016-02-25 Seek Thermal, Inc. Adaptive adjustment of operating bias of an imaging system
US9807339B2 (en) * 2015-06-12 2017-10-31 Sharp Laboratories Of America, Inc. Frame rate conversion system
US10152811B2 (en) * 2015-08-27 2018-12-11 Fluke Corporation Edge enhancement for thermal-visible combined images and cameras
US20190328238A1 (en) * 2018-04-30 2019-10-31 Washington University Digitally enhanced and stimulated thermal imaging

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1641246A1 (en) * 2003-06-17 2006-03-29 Matsushita Electric Industrial Co., Ltd. Information generating apparatus, image pickup apparatus and image pickup method
CN101919236A (zh) * 2008-01-19 2010-12-15 特斯托股份公司 热成像摄像机
CN107005808A (zh) * 2014-12-09 2017-08-01 罗伯特·博世有限公司 系统，尤其是手持式工具机系统

Also Published As

Publication number Publication date
DE102016219391A1 (de) 2018-04-12
EP3523954B1 (de) 2020-10-07
EP3523954A1 (de) 2019-08-14
CN109792489A (zh) 2019-05-21
US20200045231A1 (en) 2020-02-06
US11539889B2 (en) 2022-12-27
WO2018065143A1 (de) 2018-04-12

Similar Documents

Publication Publication Date Title
KR101949950B1 (ko) 구조화 조명 및 비행 시간을 사용한 깊이 맵핑
US9372120B2 (en) Camera, computer program and method for measuring thermal radiation and thermal rates of change
US20200210733A1 (en) Enhanced video-based driver monitoring using phase detect sensors
EP2530442A1 (en) Methods and apparatus for thermographic measurements.
CN107864375B (zh) 带对准分析的成像设备
KR20060105569A (ko) 안전한 눈 검출
CN109916517B (zh) 热影像处理系统及方法
KR20150085710A (ko) 디스플레이 장치 및 그 제어 방법
US11754717B2 (en) Distance measurement device having external light illuminance measurement function and external light illuminance measurement method
CN114830624A (zh) 弱光环境下的曝光变化控制
KR20140076413A (ko) 시선 추적 제어 장치 및 방법
US20110033085A1 (en) Image processing apparatus and image processing method
CN109792489B (zh) 用于摄像机、尤其是手持式热成像摄像机的噪声优化的方法
US11624660B1 (en) Dynamic radiometric thermal imaging compensation
CN106898014B (zh) 一种基于深度相机的入侵检测方法
JP5262148B2 (ja) ランドマーク検出装置および方法ならびにプログラム
KR100751096B1 (ko) 광흐름을 이용한 속도 측정 장치 및 그 방법
KR101229088B1 (ko) Ｌｅｄ 조명을 이용한 적외선 카메라에 의한 거리 측정 및 손 동작 추적 장치 및 방법
JP6169446B2 (ja) 視線検出装置
JP2021026623A (ja) 画像処理装置
CN109669553B (zh) 用于检测指示器在三个维度中的移动的设备和方法
US9154715B2 (en) Method and device for estimating a fly screen effect of an image capture unit
Sutaj Vision and electro-optic sensors for robots
CN112665734A (zh) 一种基于参考标定的测温方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant