CN103250407B - 用于在非可见光谱范围内提供图像的方法和相应的照相机和测量设备 - Google Patents
用于在非可见光谱范围内提供图像的方法和相应的照相机和测量设备 Download PDFInfo
- Publication number
- CN103250407B CN103250407B CN201180058098.0A CN201180058098A CN103250407B CN 103250407 B CN103250407 B CN 103250407B CN 201180058098 A CN201180058098 A CN 201180058098A CN 103250407 B CN103250407 B CN 103250407B
- Authority
- CN
- China
- Prior art keywords
- image
- visible light
- light image
- point spread
- spread function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 89
- 238000005259 measurement Methods 0.000 title description 4
- 238000012545 processing Methods 0.000 claims description 25
- 238000006243 chemical reaction Methods 0.000 claims description 21
- 238000012360 testing method Methods 0.000 claims description 19
- 238000005457 optimization Methods 0.000 claims description 14
- 238000012634 optical imaging Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000001228 spectrum Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 230000004907 flux Effects 0.000 claims description 3
- 230000003595 spectral effect Effects 0.000 claims description 2
- 238000001514 detection method Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 77
- 230000008859 change Effects 0.000 description 7
- 238000013459 approach Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 230000004297 night vision Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4061—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by injecting details from different spectral ranges
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
- H04N23/23—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
本发明涉及一种热图像照相机（1），其中设定：在该热图像照相机（1）随机移动期间拍摄红外图像（4）的红外图像数据流（5）并且将这些红外图像（4）组合为更高分辨率的红外图像（9）。
Description
技术领域
本发明涉及一种用于提供非可见光图像的方法和相应的照相机和相应的测量设备。
背景技术
作为这样的用于在非可见光谱范围内拍摄的照相机的示例已知有热图像照相机。
在已知的热图像照相机中经常期望的是，改善可用现有的探测器单元获得的分辨率。
一种原则上改善可获得的分辨率的可能性是，提高探测器单元的像素数。然而，这在结构上是复杂的并且以不期望的方式提高热图像照相机的制造成本。
此外也已知紫外照相机、兆赫照相机、μ波照相机以及其他用于在非可见光谱范围内拍摄非可见光图像的照相机，其具有类似的问题。
由WO 2009/126445已知一种用于改善短波红外图像的方法，其使用超分辨率技术和局部处理技术，其中通过最近邻插值法、双线性插值法或双三次插值法产生较高分辨率的图像。
由作者为MOHAMMAD S ALAM等的“使用多个平移移动的锯齿视频帧的红外图像配准和高分辨率重建(Infrared Image Registration and High-Resolution Reconstruction Using Multiple Translationally Shifted Aliased Video Frames)”(IEEE SERVICE CENTER,美国纽约皮斯卡塔韦，第49卷，第5期，2000年10月1日)已知一种用于通过使用多个平移移动的锯齿干扰的视频帧进行红外图像配准和高分辨率重建的方法，其中使用基于梯度的配准算法，以实现各拍摄帧之间的移动的估算，并且使用加权的最近邻方程，以将各帧安置在统一的网格中，从而获得高分辨率的图像。
由作者为MIN KYU PARK等的“超分辨率的图像重建：技术概览
(Super-resolution image reconstruction:a technical overview)”(IEEE SERVICE CENTER,美国纽约皮斯卡塔韦，第20卷，第3期，2003年5月1日)已知关于超分辨率图像重建的技术概览。
由作者为EUNCHEOL CHOI等的“用于克服成像传感器的物理限制的超分辨率方法：概览(Super-resolution approach to overcome physical limitations of imaging sensors:an overview)”(INTERNATIONAL JOURNAL OF IMAGING SYSTEMS AND TECHNOLOGY,WILEY AND SONS,NEW YOUR,美国，第14卷，第2期，2004年1月1日，第36-46页)已知关于用于克服图像拍摄传感器的物理限制的超分辨率方法的概览。
由作者为BAKER S等的“有关超分辨率的限制以及如何克服这些限制(Limits on super-resolution and how to break them)”(IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE,IEEE SERVICE CENTER，美国加州洛斯阿拉莫斯，第24卷，第9期，2002年9月1日，第1167-1183页)已知在高分辨率重建时将高斯函数用作点扩散函数。
由作者为FILIP SROUBEK等的“向超分辨率和多通道盲反褶积的统一逼近(A Unified Approach to Superresolution and Multichannel Blind Deconvolution)”(IEEE TRANSACTIONS ON IMAGE PROCESSING,IEEE SERVICE CENTER,美国纽约皮斯卡塔韦，第16卷，第9期，2007年9月1日)已知一种向超分辨率和多通道盲反褶积的统一逼近，其中在优化方法中递归地计算以成像过程为特征的点扩散函数。
由作者为Steven W.Smith的“关于数字信号处理的科学家和工程师导引，第24章：线性图像处理(the Scientist and Engineer’s Guide to Digital Signal Processing,Chapter 24:Linear Image Processing)”(1997年1月1日，第397-422页)已知用于在可见光谱范围内处理图像的线性图像处理方法，其中描述了用于减少为实施所需的时间的两个技术：通过可分性卷积和FFT卷积。
由作者为ZOMET A等的“稳健超分辨率(Robust super-resolution)”(PROCEEDINGS 2001IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION.CVPR 2001.，夏威夷考艾岛，2001年12月8-14日；[PROCEEDINGS OF THE IEEE COMPUTER CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION]，加州洛斯阿拉莫斯，IEEE COMP.SOC,美国，第1卷，2001年12月8日，第645-650页)已知一种用于稳健超分辨率的方法，其中将稳健的中位数估计量结合在迭代法中，以获得超分辨率算法，其中该方法也可在具有异常值的区域中提高图像分辨率，其中其他超分辨率方法实际上有损于图像。
由作者为RUSSELL C HARDIE等的“使用一系列欠采样的图像的联合MAP配准和高分辨率图像评估(Joint MAP Registration and High-Resolution Image Estimation Using a Sequence of Undersampled Images)”(IEEE TRANSACTIONS ON IMAGE PROCESSING,IEEE SERVICE CENTER,美国纽约皮斯卡塔韦，第6卷，第12期，1997年12月1日)已知一种用于最大后验概率(MAP)配准和高分辨率图像评估的方法，其中使用一系列欠采样的图像。
由作者为ELAD M等的“快速和稳健的多帧超分辨率(Fast and Robust Multiframe Super Resolution)”(IEEE TRANSACTIONS ON IMAGE PROCESSING,IEEE SERVICE CENTER,美国纽约皮斯卡塔韦，第13卷，第10期，2004年10月1日，第1327-1344页)已知一种用于快速和稳健的多帧超分辨率的方法，其中在与点扩散函数卷积之前移动高分辨率的试验性地制成的图像。
由作者为Michael E.Tipping等的“贝叶斯定理的图像超分辨率(Bayesian Image Super-Resolution)”(Advances in Neural Information Processing Systems，2012年1月1日，第1303-1310页)已知一种用于贝叶斯定理的图像超分辨率的方法，其中评估一种未知的点扩散函数。
发明内容
因此，作为本发明的基础的任务在于，以其他方式改善在热图像照相机中或在其他用于在非可见(NON-VIS)光谱范围内拍摄非可见光图像的照相机中可获得的分辨率。
按照本发明，为了解决该任务，提供一种用于提供非可见光图像以提高图像分辨率的方法，其中，在用于在非可见光谱范围内拍摄非可见光图像的照相机随机移动期间和/或该照相机随机移动前后，或者在移动的、带有用于在非可见光谱范围内拍摄非可见光图像的照相机的、导致该照相机随机移动的车辆随机移动期间和/或该车辆随机移动前后，拍摄具有拍摄图像分辨率的非可见光图像的非可见光图像数据流，并且通过组合所拍摄的非可见光图像制成所提供的具有输出图像分辨率的SR图像，其中所述输出图像分辨率高于所述拍摄图像分辨率；其中，在组合所拍摄的非可见光图像之前，对于每个非可见光图像求得一个变换，通过所述变换使非可见光图像相互间或者关于基准进行亚像素精度地配准；为每个非可见光图像配设一个选自点扩散函数的准备好的测试集的点扩散函数，其中所述测试集的点扩散函数模拟照相机对于不同的拍摄方向和/或不同的拍摄地点的光学成像过程，其中为每个所拍摄的非可见光图像配设与相应求得的变换对应的点扩散函数；其中，在测试集中准备好可分的点扩散函数；为了组合所拍摄的非可见光图像，优化能量函数，其中所述能量函数基于试验性地组合为SR图像的非可见光图像进行分析；在优化所述能量函数期间改变所述SR图像，并且在优化所述能量函数期间，通过移动相应的点扩散函数的中心改变配设给所述非可见光图像的点扩散函数；逐像素地求得所述亚像素精度的配准，并且在相应的非可见光图像中屏蔽与预定的阈值相比更大程度上偏离相应求得的配准的像素值。因此特别是建议：在用于在非可见光谱范围内拍摄非可见光图像的照相机随机移动期间和/或之前和之后，拍摄具有拍摄图像分辨率的非可见光图像的非可见光图像数据流，并且通过组合所拍摄的非可见光图像而制成具有输出图像分辨率的所提供的SR图像，其中所述输出图像分辨率高于所述拍摄图像分辨率。由此按照本发明的方法提供具有相对于各个非可见光图像提高的图像分辨率的SR图像。该经加 工的图像在此可以包含探测器的所有测量值或所述测量值的子集。
非可见光图像是指测量值的一维、二维、三维或多维数组，其例如给出测量值的空间关系或空间时间关系。对于本发明特别有利的是，所述非可见光图像是测量值的二维数组。
在此，照相机例如可以用于在红外、紫外、兆赫和/或μ波光谱范围内拍摄非可见光图像。
所述随机移动可以以多样的方式产生。例如，该照相机可以手持式操作，从而所述随机移动通过手的不由自主的移动而产生。
也可以设定，将所述照相机安装在车辆上。在这种情况下，所述随机移动可以由移动的带有所述照相机的车辆的移动产生。
所述随机移动也可以由其他方式产生。
图像数据流的概念一般表示图像的累积或顺序，这些图像不必一定存在于连续的数据流中。
一种优越的应用情况在于，照相机构造用于在红外光谱范围内拍摄，并且因此该照相机是热图像照相机。在这种情况下，非可见光图像作为以红外图像数据流形式的红外图像存在。那么按照本发明，在用于提供具有提高的分辨率的红外图像的方法中设定：在优选手持式的热图像照相机随机移动期间和/或之前和之后，或者在移动的、带有热图像照相机且将其随身携带的车辆随机移动期间和/或之前和之后，拍摄具有拍摄图像分辨率的红外图像的红外图像数据流，并且通过组合拍摄的红外图像而制成具有输出图像分辨率的所提供的SR红外图像，其中所述输出图像分辨率高于所述拍摄图像分辨率。因此本发明利用如下认知：通过在热图像照相机移动期间或所述移动之前和之后以红外图像数据流的形式拍摄多个红外图像而准备好用于再处理的红外图像，这些红外图像相互间略微不同并且因此允许在一个组合中通过热图像照相机的探测器单元的像素降低对图像分辨率的限制。为了制成图像数据流，可以使在当今的热图像照相机中经常已经存在的功能用于拍摄图像序列。为制成更高分辨率的SR红外图像所需的拍摄时间间隔相对于单次拍摄仅仅略微提高，这是因为少量的红外图像的组合已经显示了令人满意的结果。简单 地说，通过热图像照相机的探测器单元的随机移动，在红外图像数据流的单个红外图像的拍摄之间错开一段距离，该距离小于探测器单元的像素间距。
所利用的移动是随机的，亦即移动方向和移动距离对于方法的实施是未知的。在此一种典型的应用情况是一种手持式的(热图像)照相机，其基于手不由自主的移动而不断地进行随机移动。
另一种应用情况是这样的(热图像)照相机，即其在交通工具中、例如在陆上交通工具如客车、货车、两轮车、链轮车等中、在空中交通工具和/或在水上交通工具中用作用于支持驾驶员的夜视装置。本发明在这些情况下利用的是，刚性地安装在车辆上的(热图像)照相机自身在交通工具移动期间经受随机的不由自主的移动，该移动可以用于按照本发明的方法。因此本发明的SR(红外)图像可以作为改善的夜视图像提供。
可以设定，为了组合所拍摄的非可见光图像，优化能量选择，其中所述能量函数基于试验性地组合为所述SR图像的非可见光图像进行分析。能量函数的使用提供一种简单可操作的规范，其可在执行所述优化和整个方法中在计算单元中应用并可进一步处理。借助于该评估规范可以如下改变试验性地制成的SR图像，即实现一个优化的规范，例如最大或最小。代替优化也可以力求一种状态，在该状态下能量函数仅仅还略微地、例如在预定的阈值内改变。
可以设定，在组合所拍摄的非可见光图像之前，为每个非可见光图像求得一个变换，通过所述变换使所述非可见光图像相互间或者关于基准进行配准、特别是进行亚像素精度地配准。由此已经明显地限制了所拍摄的非可见光图像的可能的组合的数量，由此可以这样减小为了实施所述优化所需的计算能力、特别是存储需求和/或计算时间，使得所述方法也可以基于在当今的热图像照相机中已经存在的计算单元实施。
为了评估试验性地制成的SR图像和/或为了制成SR图像可以设定，在组合所拍摄的非可见光图像之前，为每个非可见光图像配设一个选自点扩散函数的准备好的测试集的点扩散函数，其中所述测试集的点扩散 函数模拟热图像照相机对于不同的拍摄方向和/或不同的拍摄地点的光学成像特性。所述测试集可以由不同的点扩散函数和/或通过点扩散函数的不同的参数值构成。在此，本发明在数学描述光学成像过程时利用点扩散函数的本身已知的应用。优选地，为非可见光图像数据流的每个非可见光图像配设这样的点扩散函数，即其最佳地描述在相应的非可见光图像的拍摄时间点由热图像照相机占据的拍摄地点。因此可以使用在配准时计算的移动，以便移动所述点扩散函数，使得其刚好将移动的非可见光图像填入到SR图像的网格中。
在此，在拍摄时间点实际的拍摄地点或拍摄方向不需要是已知的，而是可以将这样的点扩散函数配设给每个拍摄的非可见光图像，即该点扩散函数对应于在配准时相应求得的变换。在此使用对于实施按照本发明的方法需要的、在求得的变换的参数中包含的、关于在相应的非可见光图像的拍摄时间点的拍摄地点或拍摄方向的信息。
如果在测试集中准备好描述不同相对图像移动的点扩散函数，那么产生用于描述可用的变换的、对于多个应用足够的较小的参数空间。因此，节省资源地执行按照本发明的方法是可能的。特别是，盲反卷积是不需要的。
在这种情况下可以通过所配设的图像移动将点扩散函数参数化。在此所述图像移动可以是平移和/或旋转和/或拉伸和压缩。如果在测试集中准备好可以通过纯平移相互转变的点扩散函数，那么产生特别小的参数空间。如果二维点扩散函数是对称的和/或可分的，亦即可表示为两个一维函数的积，那么产生在计算技术上的极大简化。特别有利的是，所述点扩散函数通过delta函数定义。在此可以以简单的方式将delta函数的中心位置用于描述相对图像移动。
为了优化可以设定，所述能量函数评估所拍摄的非可见光图像与用相应地也就是对于每个非可见光图像选择的点扩散函数描绘的、试验性的SR图像的偏差。优选地，通过减法和求绝对值计算该偏差。通过这种方式可以实现，当SR图像尽可能小地偏离以非可见光图像数据流拍摄的场景时，能量函数采用一个优化的值。在数学上这如下实现，即用 于选择的点扩散函数的优化的SR图像最佳地给出实际在非可见光图像数据流中拍摄的非可见光图像。
作为优化所述能量函数的开始点，所述输出图像分辨率的测试像素矩阵可以用所述非可见光图像的图像值根据相应求得的变换和/或相应配设的点扩散函数填充并且用作试验性地制成的SR图像。通过这种方式可以对于多数应用情况实现，所述开始点已经位于最优附近，由此又可以节省计算资源。
作为用于配准的基准，可以从所述非可见光图像数据流中选择一个非可见光图像作为非可见光基准图像。
如果需要连续地、即持续地实施所述方法，那么可以设定，所述方法以一个在连续的非可见光图像数据流内随之移动的非可见光基准图像实施。在此有利的是，非可见光图像的通过热图像照相机的随机移动引起的图像移动关于基准不会太大。在限制对于按照本发明的方法需要的存储区域之前，可以设定，所述方法以在连续的非可见光图像数据流内随之移动的选择的非可见光图像连续地实施。一旦在时间位于后面的拍摄的非可见光图像对于高分辨率的SR图像的当前计算不再需要，那么因此将在时间位于后面的拍摄的非可见光图像摒弃。如果所述SR图像的输出图像分辨率是所述非可见光图像的图像分辨率的SRF倍，那么在按照本发明的方法步骤中选择并且分析至少或者正好SRF 2+1个非可见光图像。对于多种情况，SRF 2个非可见光图像或甚至SRF个非可见光图像既已足够。
可以设定，在优化所述能量函数期间改变所述SR图像，例如通过梯度法来改变。
备选地或附加地可以设定，在优化所述能量函数期间改变配设给所述非可见光图像的点扩散函数，例如通过移动相应的点扩散函数的中心来改变。
附加地可以节省计算资源的是，对于每个非可见光图像所述亚像素精度的配准在两步法中求得，其中在第一方法步骤中求得一个粗配准并且在第二方法步骤中借助于光通量求得所述亚像素精度的配准。所述粗 配准产生非可见光图像相互间以大约探测器单元的像素间距的精度的配准，并且所述粗配准可以例如借助于相位相关方法或通过其他方式求得。通过分为两个方法步骤可以限制用于亚像素精度的配准的计算成本。
有利地，逐像素地求得所述亚像素精度的配准。在此可以设定，在相应的非可见光图像中对与预定的阈值相比在更大程度上偏离相应求得的配准、特别是偏离方向的平均值和移动的绝对值的像素值进行屏蔽。通过这种方式可以阻止，拍摄光学器件的所谓的异常值或成像错误不必要地给优化方法造成负担或者甚至导致错误的结果。
为了在数学上给出成像过程、特别是在分析能量函数时可以设定，在以选择的点扩散函数描绘所述SR图像时，计算相应的SR图像与相应的点扩散函数的卷积。
为了解决所述任务，按照本发明的方法应该应用在一种热图像照相机中，其具有：用于生成非可见光图像的非可见光图像数据流的探测器单元、用于处理所述非可见光图像数据流的图像处理单元以及用于输出所提供的SR图像设立的输出单元，其中，所述图像处理单元例如通过对计算单元进行编程而用于实施按照本发明的方法，并且其中，所述拍摄图像分辨率由所述探测器单元给定，并且所述输出图像分辨率大于所述拍摄图像分辨率。可以设定，所述输出图像分辨率通过输出单元、例如输出单元的技术可能性预定。该输出单元因此提供这样的分辨率，其允许所提供的SR图像或其一部分的输出。
该输出可以例如通过数据接口或通过显示器实现。
为了解决所述任务，按照本发明的方法也可以应用在一种测量设备中，其包括用于在非可见光谱范围内拍摄非可见光图像的照相机、特别是热图像照相机，其中所述照相机包括：用于生成非可见光图像的非可见光图像数据流的探测器单元、用于处理所述非可见光图像数据流的图像处理单元以及用于输出所提供的SR图像的输出单元，并且此外其特征在于，所述图像处理单元用于实施按照本发明的方法，其中所述拍摄图像分辨率由所述探测器单元预定，并且所述输出图像分辨率大于所述拍摄图像分辨率。所述图像处理单元在此可以集成到所述照相机中或者 与其分开地构成。所述图像处理单元可以在所述照相机的操作时间期间或者继其之后被操作。
附图说明
现在根据实施例详细描述本发明，但是本发明并不限于该实施例。其他实施例通过权利要求的单个或多个特征相互间的和/或与该实施例的单个或多个特征的组合产生。
为了简化，在阐明的实施例中假定，所述照相机作为热图像照相机存在。在其他实施例中，也可以使用用于在其他非可见光谱范围内拍摄的照相机，例如用于在紫外、兆赫和/或μ波光谱范围内拍摄图像的照相机。
在实施例的描述中，为了阐明本发明，将非可见光图像称为红外图像，将非可见光图像数据流称为红外图像数据流，将用于在非可见光谱范围内拍摄的照相机称为热图像照相机，将探测器单元称为红外探测器单元，并且将SR图像称为SR红外图像。
附图示出：
图1 按照本发明的热图像照相机的从前方观看的斜视图；
图2 按照图1的热图像照相机的从后方观看的斜视图；
图3 按照本发明的方法的流程图；以及
图4 按照本发明的方法的原理示意图。
具体实施方式
在图1和图2中示出的整体以1表示的热图像照相机具有以本身已知的方式设置和构造在红外光学器件2后方的红外探测器单元3。
红外探测器单元3用于连续地以红外图像数据流5的形式拍摄红外图像4，所述红外图像在图4中示意地示出。为了阐明红外图像4的像素，通过棋盘图案代替相应的图像内容。
热图像照相机1构成为手持式装置，并且为了手持式操作而设有把手6，在该把手中可拆卸地设置蓄能器7以操作热图像照相机1。
热图像照相机还具有构成为显示器的输出单元8，其用于给出在图4 中示意地示出的、具有相对于红外图像4提高的输出图像分辨率的SR红外图像9。该较高的输出图像分辨率通过棋盘图案的较多数量的方格表明。
在热图像照相机1的内部，不进一步明显可见的图像处理单元10以计算单元的形式实现，其用于实施随后根据图4 描述的按照本发明的方法。
在热图像照相机1随机移动期间或至少之前和之后，用红外探测器单元3拍摄一个场景的红外图像的红外图像数据流5。红外图像4具有通过红外探测器单元的像素间距11给定的拍摄图像分辨率。
在配准方法13的第一方法步骤12中，使红外图像数据流5的选择用于计算SR红外图像9的红外图像4参照红外图像数据流5的选择作为红外基准图像14的第一红外图像4被粗配准。在所述的实施例中，这通过相位相关方法实现，然而在其他实施例中所述粗配准也可以通过其他方式计算。
在配准方法13的第二方法步骤15中，计算红外图像4相互间以及关于红外基准图像14的亚像素精度的配准，其方式是以本身已知的方式逐像素地求得在各红外图像4之间的光通量。
因此结果是，对于每个红外图像4存在变换的参数集，通过所述变换可以使红外图像4相互间以及关于红外基准图像14进行亚像素精度地配准。在此，亚像素精度意味着比通过像素间距11预定的值精细的配准。所述变换在数学上描述红外图像的变化，该变化可以通过拍摄条件的改变而引起，特别是变换、旋转、拉伸和压缩。
在图像处理单元10的存储器中准备好点扩散函数17的测试集16。
点扩散函数17在数学上描述用于使热图像照相机1的光路不同地定向的红外光学器件2的和/或红外探测器单元3的光学成像特性。
因此可以以类似的方式为不同的点扩散函数17配设所述变换的参数。
根据该本身已知的数学描述，对于代表所述场景的二维函数，借助于红外探测器单元3拍摄的红外图像4通过该函数与表征实际拍摄条件 的点扩散函数17的卷积产生。
在图4中为了简化，可使用的点扩散函数17作为一维的delta函数给出，其中实际应用的二维点扩散函数17作为两个一维的delta函数的积生成。这些delta函数通过其中心18的位置(亦即其数学承载子)表征。因此中心18的不同位置对应于不同的图像移动。因此，点扩散函数17可以通过平移相互转变。
通过可分地表示作为两个delta函数的积的点扩散函数17，点扩散函数是自动对称的。在其他实施例中使用其他的同样对称的但不可分的函数。对于可分的点扩散函数17，作为附加的优点可以简化地计算二维卷积积分。该计算优选借助于快速傅里叶变换(FFT)实现。通过简化点扩散函数，甚至可以在位置空间中执行该计算。
在根据图3的按照本发明的方法中，现在，在配设步骤19中，为红外图像数据流5的每个红外图像4配设选自测试集16的属于在配准方法13中计算出的变换的点扩散函数17。
借助于当前已有的信息和数据，现在可以实施按照本发明的将红外图像数据流5的红外图像4组合20为SR红外图像9。
对此首先，具有SR红外图像9的输出图像分辨率的测试像素矩阵用红外图像4的图像值24填充，使得由红外图像4填充的像素的像素位置至少接近地给出所涉及的红外图像4相对于红外基准图像14的图像移动。
该经填充的测试像素矩阵形成优化方法21的开始点，在该优化方法中计算优化的SR红外图像9。在优化方法21中在循环22中改变SR红外图像9，并且在分析步骤23中对于每个循环过程分析一个能量函数。对于能量函数的分析，将当前在循环22中为每个红外图像4提供的SR红外图像9与所配设的点扩散函数17进行卷积并且与红外图像4进行比较。通过这种方式求得：哪个红外图像对于试验性地在循环22中制成的SR红外图像9已经在配准方法13中确定的拍摄条件下产生。该未经证明的红外图像与实际拍摄的红外图像4的偏差随后通过减法和求绝对值进行评估并且对于红外图像4在能量函数中进行求和。
所述能量函数可以具有另外的项，这些项在光学成像中模拟附加的影响，例如噪声和/或红外光学器件2的或探测器单元3的影像错误。
例如可以使用根据作者为J.Flusser等的“向超分辨率和多通道盲反褶积的统一逼近(A Unified Approach to Superresolution and Multichannel Blind Deconvolution)”(IEEE TRANSACTIONS ON IMAGE PROCESSING，第16卷，第9期，2007年9月，第2322页至2332页)的能量函数。借助于在此提出的简化的方法，SR红外图像和点扩散函数的变型是不需要的，两者之一既已足够。
一旦优化方法21已经求得优化的SR红外图像9，则将其在热图像照相机1的输出单元8上输出并示出。
按照本发明的方法进一步连续地进行，其中红外图像数据流5的各个选择用于计算SR红外图像9的红外图像4从在红外图像数据流5的时间过程中随之移动的窗户中选择。
因此，通过连续地实施按照本发明的方法，在输出单元8上同样准备好具有提高的分辨率的SR红外图像9的图像数据流。在热图像照相机1中设定：在热图像照相机1随机移动期间，拍摄红外图像4的红外图像数据流5，并且将该红外图像4组合为较高分辨率的SR红外图像9。
Claims (16)
1.一种用于提供非可见光图像(4)以提高图像分辨率的方法，其中，在用于在非可见光谱范围内拍摄非可见光图像(4)的照相机随机移动期间和/或该照相机随机移动前后，或者在移动的、带有用于在非可见光谱范围内拍摄非可见光图像的照相机的、导致该照相机随机移动的车辆随机移动期间和/或该车辆随机移动前后，拍摄具有拍摄图像分辨率的非可见光图像(4)的非可见光图像数据流(5)，并且通过组合(20)所拍摄的非可见光图像(4)制成所提供的具有输出图像分辨率的SR图像(9)，其中所述输出图像分辨率高于所述拍摄图像分辨率；其中，在组合(20)所拍摄的非可见光图像(4)之前，对于每个非可见光图像(4)求得一个变换，通过所述变换使非可见光图像(4)相互间或者关于基准(14)进行亚像素精度地配准；并且为每个非可见光图像(4)配设一个选自点扩散函数(17)的准备好的测试集(16)的点扩散函数(17)，其中所述测试集(16)的点扩散函数(17)模拟照相机(1)对于不同的拍摄方向和/或不同的拍摄地点的光学成像过程，其中为每个所拍摄的非可见光图像(4)配设与相应求得的变换对应的点扩散函数(17)，
其特征在于，在测试集(16)中准备好可分的点扩散函数(17)；为了组合(20)所拍摄的非可见光图像(4)，优化能量函数，其中所述能量函数基于试验性地组合为SR图像(9)的非可见光图像(4)进行分析；在优化(21)所述能量函数期间改变所述SR图像(9)，并且在优化(21)所述能量函数期间，通过移动相应的点扩散函数(17)的中心(18)改变配设给所述非可见光图像(4)的点扩散函数(17)；逐像素地求得所述亚像素精度的配准，并且在相应的非可见光图像(4)中屏蔽与预定的阈值相比更大程度上偏离相应求得的配准的像素值。
2.如权利要求1所述的方法，其特征在于，所述照相机是手持式的照相机。
3.如权利要求1所述的方法，其特征在于，所述照相机用于在红外、紫外、兆赫和/或μ波光谱范围内拍摄非可见光图像(4)。
4.如权利要求1所述的方法，其特征在于，在测试集(16)中准备好这样的点扩散函数(17)，即通过所述点扩散函数描述不同的相对图像移动，和/或所述点扩散函数能够通过平移相互转变，和/或所述点扩散函数是对称的。
5.如权利要求4所述的方法，其特征在于，在所述点扩散函数是对称的情况下，所述点扩散函数通过delta函数定义。
6.如权利要求1至5之一所述的方法，其特征在于，所述能量函数评估所拍摄的非可见光图像(4)与用相应选择的点扩散函数(17)描绘的试验性地在所述优化的循环中制成的SR图像(9)的偏差。
7.如权利要求1至5之一所述的方法，其特征在于，作为优化(21)所述能量函数的开始点，所述输出图像分辨率的测试像素矩阵用所述非可见光图像(4)的图像值(24)根据相应求得的变换和/或相应配设的点扩散函数(17)填充并且用作试验性地制成的SR图像(9)。
8.如权利要求1至5之一所述的方法，其特征在于，从所述非可见光图像数据流(5)中选择一个非可见光图像(4)作为非可见光基准图像，并且以一个在连续的非可见光图像数据流(5)内随该非可见光图像数据流移动的非可见光基准图像(14)或以在连续的非可见光图像数据流(5)内随该非可见光图像数据流移动的选择的非可见光图像(4)连续地实施该方法。
9.如权利要求1至5之一所述的方法，其特征在于，所述SR图像(9)的输出图像分辨率是所述非可见光图像(4)的图像分辨率的SRF倍，并且待选择的非可见光图像(4)的预定的数量至少等于SRF或至少等于SRF 2或至少等于SRF 2+1。
10.如权利要求1至5之一所述的方法，其特征在于，对于每个非可见光图像(4)所述亚像素精度的配准在两步法(13)中求得，其中在第一方法步骤(12)中求得粗配准，和/或其中在第二方法步骤(15)中借助于光通量求得所述亚像素精度的配准。
11.如权利要求10所述的方法，其特征在于，在第一方法步骤(12)中借助于相位相关方法求得粗配准。
12.如权利要求1至5之一所述的方法，其特征在于，在以选择的点扩散函数(17)描绘所述SR图像(9)时计算相应的SR图像(9)与相应的点扩散函数(17)的卷积。
13.一种用于在非可见光谱范围内拍摄非可见光图像(4)的照相机，具有：用于生成非可见光图像(4)的非可见光图像数据流(5)的探测器单元(3)、用于处理所述非可见光图像数据流(5)的图像处理单元(10)以及用于输出所提供的SR图像的输出单元(9)，其特征在于，所述图像处理单元(10)用于实施根据权利要求1至12之一所述的方法，其中拍摄图像分辨率由所述探测器单元(3)预定，并且输出图像分辨率大于拍摄图像分辨率。
14.如权利要求13所述的照相机，其特征在于，所述照相机是热图像照相机(1)。
15.一种测量设备，包括用于在非可见光谱范围内拍摄非可见光图像(4)的照相机，其中所述照相机具有：用于生成非可见光图像(4)的非可见光图像数据流(5)的探测器单元(3)、用于处理所述非可见光图像数据流(5)的图像处理单元(10)以及用于输出所提供的SR图像的输出单元(9)，其特征在于，所述图像处理单元(10)用于实施根据权利要求1至12之一所述的方法，其中拍摄图像分辨率由所述探测器单元(3)预定，并且输出图像分辨率大于拍摄图像分辨率。
16.如权利要求15所述的测量设备，其特征在于，所述照相机是热图像照相机(1)。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102010053458.7 | 2010-12-03 | ||
| DE102010053458.7A DE102010053458B4 (de) | 2010-12-03 | 2010-12-03 | Verfahren zur Aufbereitung von IR-Bildern und korrespondierende Wärmebildkamera |
| PCT/EP2011/002717 WO2012072151A1 (de) | 2010-12-03 | 2011-06-01 | Verfahren zur aufbereitung von bildern in nicht-sichtbaren spektralbereichen und korrespondierende kamera und messanordnung |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103250407A CN103250407A (zh) | 2013-08-14 |
| CN103250407B true CN103250407B (zh) | 2016-09-28 |
Family
ID=44310104
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201180058098.0A Active CN103250407B (zh) | 2010-12-03 | 2011-06-01 | 用于在非可见光谱范围内提供图像的方法和相应的照相机和测量设备 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US9386238B2 (zh) |
| JP (1) | JP5822937B2 (zh) |
| CN (1) | CN103250407B (zh) |
| DE (1) | DE102010053458B4 (zh) |
| RU (1) | RU2570506C2 (zh) |
| WO (1) | WO2012072151A1 (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10965889B2 (en) * | 2011-06-20 | 2021-03-30 | Fluke Corporation | Thermal imager that analyzes temperature measurement calculation accuracy |
| US9282259B2 (en) | 2012-12-10 | 2016-03-08 | Fluke Corporation | Camera and method for thermal image noise reduction using post processing techniques |
| CN107431791B (zh) * | 2015-03-31 | 2019-08-13 | 株式会社尼康 | 拍摄装置 |
| USD807374S1 (en) * | 2015-07-21 | 2018-01-09 | Symbol Technologies, Llc | Bezel component for a mobile computer device |
| USD781860S1 (en) * | 2015-07-21 | 2017-03-21 | Symbol Technologies, Llc | Mobile computer device |
| DE102016219391A1 (de) * | 2016-10-06 | 2018-04-12 | Robert Bosch Gmbh | Verfahren zu einer Rauschoptimierung einer Kamera, insbesondere einer handgehaltenen Wärmebildkamera |
| USD844005S1 (en) * | 2016-12-23 | 2019-03-26 | Novadaq Technologies ULC | Device for illumination and imaging of a target |
| RU2684749C1 (ru) * | 2018-05-22 | 2019-04-12 | Акционерное общество "Государственный Рязанский приборный завод" | Способ совмещения цифровых изображений различных спектральных диапазонов |
| USD918210S1 (en) | 2019-04-04 | 2021-05-04 | Zebra Technologies Corporation | Data capture device |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1863272A (zh) * | 2006-02-14 | 2006-11-15 | 华为技术有限公司 | 一种视频图像超分辨率重构方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7142723B2 (en) * | 2003-07-18 | 2006-11-28 | Microsoft Corporation | System and process for generating high dynamic range images from multiple exposures of a moving scene |
| JP3832455B2 (ja) * | 2003-07-31 | 2006-10-11 | 日産自動車株式会社 | 車輌周囲表示装置 |
| JP4311668B2 (ja) | 2004-11-15 | 2009-08-12 | オリンパス株式会社 | 撮像装置と撮像システムおよび画像の撮影方法 |
| US7505607B2 (en) * | 2004-12-17 | 2009-03-17 | Xerox Corporation | Identifying objects tracked in images using active device |
| US7340162B2 (en) * | 2005-02-23 | 2008-03-04 | Flir Systems, Inc. | Infrared camera systems and methods |
| JP2009059132A (ja) | 2007-08-31 | 2009-03-19 | Daihatsu Motor Co Ltd | 物体認識装置 |
| JP2009126445A (ja) * | 2007-11-27 | 2009-06-11 | Kyowa Sangyo Kk | 車両用サンバイザ |
| US8655614B2 (en) * | 2007-11-30 | 2014-02-18 | The Boeing Company | Position only fit, POF, algorithm for blur spot target tracking and discrimination |
| US8200046B2 (en) * | 2008-04-11 | 2012-06-12 | Drs Rsta, Inc. | Method and system for enhancing short wave infrared images using super resolution (SR) and local area processing (LAP) techniques |
| KR101733443B1 (ko) | 2008-05-20 | 2017-05-10 | 펠리칸 이매징 코포레이션 | 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리 |
-
2010
- 2010-12-03 DE DE102010053458.7A patent/DE102010053458B4/de active Active
-
2011
- 2011-06-01 US US13/991,235 patent/US9386238B2/en active Active
- 2011-06-01 CN CN201180058098.0A patent/CN103250407B/zh active Active
- 2011-06-01 JP JP2013541222A patent/JP5822937B2/ja active Active
- 2011-06-01 WO PCT/EP2011/002717 patent/WO2012072151A1/de active Application Filing
- 2011-06-01 RU RU2013126732/07A patent/RU2570506C2/ru active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1863272A (zh) * | 2006-02-14 | 2006-11-15 | 华为技术有限公司 | 一种视频图像超分辨率重构方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103250407A (zh) | 2013-08-14 |
| WO2012072151A1 (de) | 2012-06-07 |
| US20130321638A1 (en) | 2013-12-05 |
| DE102010053458A1 (de) | 2012-03-08 |
| RU2013126732A (ru) | 2015-01-10 |
| JP2014505389A (ja) | 2014-02-27 |
| JP5822937B2 (ja) | 2015-11-25 |
| US9386238B2 (en) | 2016-07-05 |
| RU2570506C2 (ru) | 2015-12-10 |
| DE102010053458B4 (de) | 2023-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103250407B (zh) | 用于在非可见光谱范围内提供图像的方法和相应的照相机和测量设备 | |
| Zhao et al. | Hierarchical regression network for spectral reconstruction from RGB images | |
| Kronander et al. | A unified framework for multi-sensor HDR video reconstruction | |
| KR101664123B1 (ko) | 필터링에 기반하여 고스트가 없는 ｈｄｒｉ를 생성하는 장치 및 방법 | |
| ES2847348T3 (es) | Procedimiento y aparato para dar seguimiento a un objeto | |
| Deng et al. | Objective image-quality assessment for high-resolution photospheric images by median filter-gradient similarity | |
| US8903195B2 (en) | Specification of an area where a relationship of pixels between images becomes inappropriate | |
| US20110268334A1 (en) | Apparatus for Improving Image Resolution and Apparatus for Super-Resolution Photography Using Wobble Motion and Point Spread Function (PSF), in Positron Emission Tomography | |
| US20170206633A1 (en) | Method and apparatus for up-scaling an image | |
| Dai et al. | Dictionary-based multiple frame video super-resolution | |
| US11962922B2 (en) | Systems and methods for dark current compensation in single photon avalanche diode imagery | |
| Zhao et al. | A novel infrared image super-resolution method based on sparse representation | |
| JP5765893B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
| Shoeiby et al. | Pirm2018 challenge on spectral image super-resolution: Dataset and study | |
| CN104217412B (zh) | 一种机载超分辨率图像重建装置及重建方法 | |
| Li et al. | Space–time super-resolution with patch group cuts prior | |
| Sun et al. | FL-MISR: fast large-scale multi-image super-resolution for computed tomography based on multi-GPU acceleration | |
| Gaidhani | Super-resolution | |
| Hardie | Super-resolution using adaptive Wiener filters | |
| Qi et al. | A super-resolution fusion video imaging spectrometer based on single-pixel camera | |
| CN108665410B (zh) | 一种图像超分辨率重构方法、装置及系统 | |
| JP2013069012A (ja) | 多眼撮像装置 | |
| Villanueva et al. | Medical diagnosis improvement through image quality enhancement based on super-resolution | |
| Khan et al. | LBKENet: Lightweight Blur Kernel Estimation Network for Blind Image Super-Resolution | |
| US11831996B2 (en) | High dynamic range image acquisition using temporal filtering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CB03 | Change of inventor or designer information |
Inventor after: Stratmann Martin Dr Inventor after: Jane FRISO - Evers - senna Inventor after: Schmieder Matthias Inventor after: Flusser Jan Pro Inventor after: ThirskRobecq F Inventor before: Stratmann Martin Dr Inventor before: Evers-Senne Jan-Friso Dr Inventor before: Schmieder Matthias Inventor before: Flusser Jan Pro Inventor before: ThirskRobecq F |
|
| COR | Change of bibliographic data | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: No. 1 (79853), lentsky, West Germany. Patentee after: Limited Partnership On shares Address before: Germany Lenzkirch Patentee before: Testo AG |