CN104867123B - 利用融合的红外线分辨率与对比度增强 - Google Patents
利用融合的红外线分辨率与对比度增强 Download PDFInfo
- Publication number
- CN104867123B CN104867123B CN201510182418.3A CN201510182418A CN104867123B CN 104867123 B CN104867123 B CN 104867123B CN 201510182418 A CN201510182418 A CN 201510182418A CN 104867123 B CN104867123 B CN 104867123B
- Authority
- CN
- China
- Prior art keywords
- image
- visual picture
- resolution ratio
- picture
- combination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title abstract description 10
- 230000000007 visual effect Effects 0.000 claims abstract description 126
- 238000000034 method Methods 0.000 claims abstract description 69
- 238000003384 imaging method Methods 0.000 claims description 98
- 238000001914 filtration Methods 0.000 claims description 63
- 230000008859 change Effects 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 8
- 230000001965 increasing effect Effects 0.000 claims description 8
- 230000002708 enhancing effect Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims 3
- 230000001105 regulatory effect Effects 0.000 claims 2
- 238000004364 calculation method Methods 0.000 claims 1
- 238000005070 sampling Methods 0.000 description 17
- 230000003287 optical effect Effects 0.000 description 11
- 230000006641 stabilisation Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000011105 stabilization Methods 0.000 description 7
- 235000013350 formula milk Nutrition 0.000 description 6
- 239000002609 medium Substances 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004566 IR spectroscopy Methods 0.000 description 3
- 238000012952 Resampling Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000011230 binding agent Substances 0.000 description 1
- 239000004568 cement Substances 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000012120 mounting media Substances 0.000 description 1
- 238000010899 nucleation Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
本公开内容涉及利用融合的红外线分辨率与对比度增强。根据一种实施方式的方法包括：接收场景的可见图像和红外线(IR)图像；从所述可见图像提取高空间频率内容；以及组合从所述可见图像所提取出的高空间频率内容和所述IR图像，以产生组合的图像，其中用于可见图像和IR图像的分辨率是大致相同的。
Description
本申请是申请日为2011年4月21日、申请号为201180000582.8、发明名称为“利用融合的红外线分辨率与对比度增强”的发明专利申请的分案申请。
技术领域
本公开内容涉及用于改进红外线(“IR”)图像的方法、成像设备、软件与系统。
背景技术
在图像处理领域中，包括一个或多个物体的场景的IR图像可以通过与来自可见图像的图像信息的组合来增强，所述组合称为融合。当试图实现这种组合与增强时，出现了多个技术问题。
一般来说，提供照相机形式的成像设备来捕获可见图像和IR图像并处理这些图像，使得它们可以一起显示。在利用来自IR图像的IR数据识别物体的温度变化同时显示来自可见图像的足够多的数据、从而为使用该成像设备的用户简化所产生的图像中物体的取向与识别的方面，这种组合是有利的。
由于IR图像和可见图像的捕获可以由成像设备的不同组件来执行，因此成像部件之间的光轴可能彼此有一定距离，并且造成称为视差的光学现象。为了消除这种视差和由于光轴之间的角度所造成的误差，图像必须对准。
当组合IR图像与可见图像时，有多种不同的方法是已知的。最常用的称为阈值融合和画中画融合(picture-in-picture fusion)。
在用于执行图像的阈值融合的方法中，捕获相同场景的可见图像和IR图像。在IR图像中，选择一个温度间隔，而且只有对应于所选间隔之内温度的那些图像像素才被选择并与来自所有其它像素的信息数据一起显示。除可以检测到所选间隔之内温度的那些区域之外，所产生的组合图像显示可见图像，并且在这些像素中改为显示来自IR图像的数据。例如，当要检测墙上湿的污点时，可以使用阈值融合，通过将温度阈值设置成造成该污点的液体温度附近的间隔来确定湿度范围。墙的其它部分将更接近室温并将在屏幕上显示为可见数据，使得可以确定污点的确切位置。通过查看墙的纹理，例如壁纸的图案，可以进一步以非常精确的方式确定该污点的位置。
当执行画中画融合时，捕获显示包含一个或多个物体的相同场景的可见图像和IR图像，并且预定区域(通常是方形形式的)内的像素是根据IR图像显示的，而组合图像的其余部分示为可见数据。例如，当检测假定为具有大致相同温度的一行物体中的偏差时，方形可以围绕多个物体创建并移动，直到在正确活动物体之外捕获到出错的物体，而且不同之处也将很容易发现。通过在这个方形之外显示来自可见图像的元素，例如文字或者图案，具有特定温度的物体的精确位置可以更加容易和可靠地确定。
用于阈值融合和画中画融合的方法全都将组合图像的选定区显示为IR数据，而将其余部分示为可见数据。这样做的缺点是，当显示该同一区域的IR图像时，可见图像中可见的细节丢失了。同样，来自IR图像的温度数据不能与由同一区域的可见图像所给出的形状和纹理一起显示。
存在一些在同一图像中混合IR数据和可见数据的方法。但是，由于来自IR图像的温度数据与可见图像的彩色数据混合到了一起，其中所述温度数据显示为与调色板不同的颜色或者不同的灰度级，因此该结果通常是难以解释的而且对于用户来说是混乱的。因此，例如，不可能辨别红色物体与热物体或者蓝色物体与冷物体之间的不同。通常，当将IR图像与可见图像混合时，图像的辐射度量或者其它IR相关的方面，即来自调色板或者灰度级的颜色的重要性，受到损失。
因此，需要一起提供包括来自IR图像的数据和来自可见图像的数据的组合图像的改进方式。
相关技术
以下出版物示出了相关技术的例子：
用于对准IR图像与可见光图像的方法在WO2009/008812 A1(Flir Systems AB)中公开，其中图像是基于聚焦电动机的位置对准的，该聚焦电动机用于确定到由成像部分捕获的物体的距离。
文献US20020113210 A1公开了用于利用近红外线辐射显微镜化学成像的系统与方法。
由Xue Z.等人所写的文献“Fusion of Visual and IR Images for ConcealedWeapon Detection”示出了用于可见光图像和IR图像的图像融合的方法。
以上列出的相关技术没有任何一个教导了本发明的特征与创新技术。
发明内容
本公开内容的一种或多种实施方式可以解决或者至少最小化以上提到的问题。这是通过根据权利要求所述的方法、成像设备和/或非暂时性计算机程序产品实现的，其中IR图像与可见图像的高空间频率内容(content)组合到一起，产生组合图像。组合是通过可见图像的高空间频率内容与IR图像的叠加来执行的，或者可选地将IR图像叠加到可见图像的高空间频率内容上。因此，来自可见图像的对比度可以插入到显示温度变化的IR图像中，由此组合两种图像类型的优点，而不会损失所产生的图像的清晰度和可解释性。
以下解释本公开内容的实施方式的更具体的方面。
根据本发明实施方式的方法包括确保要组合的图像的分辨率大致是相同的，即确保可见图像和IR图像的分辨率大致是相同的。在第一种示例实施方式中，这可以通过配置具有IR传感器和可见图像传感器的成像设备使得IR传感器和可见图像传感器具有大致相同的分辨率来实现。在另一种可选实施方式中，成像传感器的分辨率事先已知不是大致相同的，例如相差超过预定的差异阈值。在又一种可选实施方式中，如果成像传感器的分辨率不是事先已知的，则所发明的方法可以包括检查所接收到的图像的分辨率是否大致相同的步骤。检查可以通过比较所接收到的图像的分辨率来执行，其中关于图像的分辨率的信息可以从单独的成像传感器获得，或者可以从所接收到的图像获取/基于其计算。通过事先对传感器分辨率的了解或者通过分辨率的检查，如果发现分辨率不是大致相同的，则确保分辨率大致相同还包括对所接收到的图像中的至少一个进行重新采样。
由于IR图像的分辨率通常比可见图像的分辨率小得多，这是由于IR成像设备相比于可见成像设备的属性造成的，因此IR图像的分辨率可以增加采样(up-sample)到大致与可见图像的分辨率相同。因此，可以实现提高的细节级别，并且可以呈现给用户更容易分析的组合图像。在另一个例子中，可见图像可以减少采样(down-sample)到大致与IR图像的分辨率相同。
在进一步的例子中，如果合适的话，两个图像可以采样为符合第三分辨率。两个图像最初可以具有大致相同的分辨率，或者图像的分辨率可以不同。但是在重新采样到符合第三分辨率之后，两个图像将具有大致相同的分辨率。这使得图像可以方便且合适的方式被组合，而不管它们要如何显示。在一个例子中，第三分辨率可以是要显示组合图像的显示屏幕的分辨率。
此外，可以优选地执行可见图像中高空间频率内容的提取和IR图像的去噪声和/或模糊。一般来说，这是通过使用跨图像一个像素一个像素移动的空间滤波器对可见图像进行高通滤波和对IR图像进行低通滤波来实现的。对本领域技术人员来说，很显然其它众所周知的图像处理方法也可以用于得到相同的结果。作为对IR图像执行滤波的结果，与原始的IR图像相比，IR图像可以变得平滑和/或包含减少数量的噪声。此外，从可见图像提取出的高空间频率内容包含关于可见图像中大对比度的信息，即，关于例如物体轮廓的尖锐边缘位于可见图像中什么位置的信息。对IR图像执行滤波的步骤是可选的。即使没有对IR图像的滤波，用于本发明实施方式的方法也对向用户示出的所产生的图像给出了有益的效果，并且用户将能够清楚地辨别场景中的一个或多个物体及与成像场景关联的温度信息。但是，由于原始IR图像中可见的尖锐边缘和噪声在滤波过程中被除去或者至少减少了，因此所产生的图像的可见性可以通过对IR图像的滤波进一步提高，而且组合图像中在IR图像和可见图像未对准的地方显示双边缘的危险也减小了。
除了高通滤波，用于提取图像中高空间频率内容的方法的例子还可以包括提取描绘相同场景的两个图像之间的差异(通常称为差异图像)，其中第一个图像是在一个时刻捕获的，而第二个图像是在第二个时刻捕获的，其中第二个时刻优选地在时间上接近第一个时刻。这两个图像一般是一个图像帧序列中的两个连续的图像帧。除非成像的场景从第一个时刻到第二个时刻完全没变而且成像传感器保持完全静止，否则表示场景中物体边缘与轮廓的高空间频率内容将出现在差异图像中。由于成像场景中的光的变化或者所描绘物体的移动，场景可以例如从一个帧变化到下一个帧。而且，在几乎每一种情况下，成像传感器都将不会保持完全静止。如果成像设备是手持式的，那么很显然将存在由于成像设备的用户造成的移动。如果照相机是固定的，例如在一个架子上，则成像设备的振动或者周围环境可能造成成像传感器的移动。成像设备的振动可以例如是由于图像稳定系统造成的，所述图像稳定系统通常用在可见成像设备中，以便补偿成像设备的移动。实现图像稳定的不同方式在本领域中是众所周知的。在具有图像稳定系统的成像设备中，成像传感器可以放到使得能够响应所测量到的成像设备的移动而移动成像传感器的元件上。如果成像传感器的移动被控制成对应于连续的图像帧之间的某个预先定义的差异，则这种构造可以用于捕获差异图像中的边缘/轮廓。在这种情况下，差异还可以对应于差异图像的边缘/轮廓的特定宽度，该宽度是根据环境选择的。获得可以从其得出差异图像的图像的另一种方式是使用成像设备的聚焦电动机来移动成像设备的一个或多个透镜。用于移动成像设备中的透镜的聚焦电动机的使用在本领域中是众所周知的。在这种情况下，当焦点稍微未对准时，由成像设备捕获到的图像将是可以直接对应于低通滤波图像的平滑且去噪声的图像。在重新设置成像设备的焦点之后，可以捕获聚焦的图像，并且可以通过从该聚焦图像减去焦点未对准的图像来获得该聚焦图像的高空间频率内容。利用成像设备中一个或多个透镜的重新聚焦的图像传感器的振动的方法还不必要求任何数字图像处理，并且因此可以与模拟成像设备一起使用。就像对本领域技术人员显然的那样，由于在相减之后只剩下了低空间频率内容，因此通过从图像减去由以上所述任何方法获得的所提取出的高空间频率内容，获得图像的对应低通滤波版本。当组合图像时，将可见图像的高通滤波或提取出的高空间频率内容加到IR图像，给IR图像增加了轮廓和对比度，但不会改变它。因此，由图像捕获到的物体的边界和边缘可以在组合图像中清晰地看出，而且同时还保持了高级别的辐射度量或者其它相关的IR信息。
在一个例子中，为了保存IR图像的彩色或者灰度级调色板，只有滤波后可见图像的亮度分量可以添加到IR图像。因此，颜色没有改变，而且原始IR调色板的属性也保持了，同时添加了期望的对比度。由于辐射度量或者其它相关的IR信息可以贯穿处理保持而且由此可以方便用户对组合图像的解释，因此贯穿处理和显示的所有阶段保持IR调色板是有益的。
当组合可见图像的亮度与IR图像时，因子α可以用于确定两个图像之间的平衡。这个因子可以由成像设备或者成像系统本身利用用于确定从可见图像创建好图像所需的轮廓级别的合适参数来决定，但是也可以通过用户向成像设备或者成像系统给出输入来决定。该因子还可以在以后的阶段(例如当图像存储在系统中或者PC等中时)改变，而且可以调整成适合用户的任何需求。
在向用户显示所产生的组合图像之前，高分辨率噪声可以添加到图像，以便产生高分辨率的印象和增加的细节，并且使图像更容易让用户解释。
附图说明
图1示出了根据示例实施方式的方法的流程图。
图2示出了具有根据示例实施方式的方法的不同阶段的图像的示意图。
图3a示出了半色调的IR图像。
图3b示出了低通滤波后的半色调的图3a的IR图像。
图3c示出了半色调的可见图像的提取出的高空间频率内容，其中在这个例子中高空间频率内容是通过高通滤波获得的。
图3d示出了半色调的图3b的低通滤波IR图像和图3c的高通滤波可见图像的组合。
图4示出了用于执行根据示例实施方式的方法的图像处理系统的示例实施方式。
图5a示出了不同温度区域用不同图案标记的图3a的IR图像。
图5b示出了不同温度区域用不同图案标记的图3b的图像。
图5c示出了图3c的图像。
图5d示出了不同温度区域用不同图案标记的图3d的图像。
图6a示出了一个场景的低分辨率IR图像。所示图像具有32×32像素的分辨率。
图6b示出了在IR图像被重新采样、处理并与描绘相同场景的可见图像的提取出的高空间频率内容组合之后的图6a的IR图像。
具体实施方式
在图1中，可以看到根据本公开内容实施方式的示例方法。在块101捕获可见图像并且在块102捕获IR图像。可见图像和IR图像可以分别由光学传感器和IR传感器来捕获。在捕获之后，可见图像和IR图像可以在块103对准，以便补偿光轴之间的视差，该视差通常是由于用于捕获所述图像的传感器放置的差异和在这些轴之间产生的角度造成的，其中光轴之间的角度是由于机械容限造成的，所述机械容限通常阻碍光轴精确地平行安装。
块101、102可以同时执行或者一个接一个地执行。在一个例子中，图像可以同时或者以尽可能小的时间差捕获，因为这将减小由于捕获可视和IR图像的成像设备单元移动造成的对准差的危险。
在块103对准之后，确保可见图像分辨率和IR图像分辨率大致相同是在块110执行的。在第一种示例实施方式中，这可以通过配置具有IR传感器和可见图像传感器的成像设备使得IR传感器和可见图像传感器具有大致相同的分辨率来实现。在另一种示例实施方式中，成像传感器的分辨率事先已知不是大致相同的，例如差异超过预定的差异阈值。在又一种示例实施方式中，如果成像传感器的分辨率不是事先已知的，则该发明方法可以包括在块109检查所接收的图像的分辨率是否大致相同的步骤。检查可以通过比较所接收的图像的分辨率来执行，其中关于图像的分辨率的信息可以从独立的成像传感器获得或者可以从所接收的图像获取或者基于其计算。通过事先对传感器分辨率的了解或者通过分辨率的检查，如果发现分辨率不是大致相同的，则确保分辨率大致相同还包括在块104对所接收的图像中至少一个的重新采样。
在一种示例实施方式中，IR图像可以被重新采样，以便增加或者减小其分辨率。一般来说，所捕获的IR图像的分辨率具有与所捕获的可见图像不同的分辨率；通常IR图像具有比可见图像低的分辨率。用于IR图像的普通分辨率可以是例如320×240像素，而用于可见图像的普通分辨率可以是大约5M像素。如果要组合的图像的分辨率不是大致相同的，则它们中的至少一个可以改变其分辨率来匹配另一个，以便补偿差异并且更成功地组合图像。在一个例子中，这可以通过插值以增加采样IR图像到可见图像的分辨率来实现。还有可能配置具有IR传感器和可见图像传感器的成像设备具有大致相同的分辨率。
作为增加采样IR图像的可选方案，可见图像可以减少采样，来符合IR图像的分辨率，或者两个图像可以都采样到符合第三分辨率。两个图像最初可以具有大致相同的分辨率，或者图像的分辨率可以不同。但是，在重新采样到符合第三分辨率之后，两个图像将具有大致相同的分辨率。这使得能够以方便而合适的方式组合图像，而不管它们要如何显示。
如果所组合的图像要被具有高分辨率的IR照相机、PC或者其它设备存储和显示到例如图像数据结构和/或图像显示装置，那么增加采样IR图像以符合可见图像通常更高的分辨率是方便的。但是，如果组合图像要由具有低得多的分辨率的系统显示，则减少采样可见图像以符合这个需求可能更合适。根据示例实施方式，第三分辨率可以选择成要呈现组合图像的显示屏幕的分辨率。两个图像最初可以具有大致相同的分辨率，或者图像的分辨率可以不同。但是，在图像组合之前如果可见图像和IR图像各自的分辨率大致相同是有益的，使得可以执行用于图像每个像素的数据的合适匹配。
在块105，例如通过利用空间滤波器对可见图像高通滤波，可以提取可见图像的高空间频率内容。除高通滤波之外，用于提取图像中高空间频率内容的方法的例子可以包括提取描绘相同场景的两个图像之间的差异(通常称为差异图像)，其中第一个图像是在一个时刻捕获的，而第二个图像是在第二个时刻捕获的，其中第二个时刻优选地在时间上靠近第一个时刻。这两个图像一般可以是一个图像帧序列中的两个连续的图像帧。除非成像的场景从第一个时刻到第二个时刻完全没变而且成像传感器保持完全静止，否则代表场景中物体边缘和轮廓的高空间频率内容将出现在差异图像中。由于成像场景中光的变化或者所示物体的移动，场景可以例如从一个帧变化到下一个帧。而且，在几乎每一种情况下，成像传感器都将不会保持完全静止。如果成像设备是手持式的，很显然将存在由于成像设备的用户造成的移动。如果照相机是固定的，例如在架子上，则成像设备的振动或者周围环境可能造成成像传感器的移动。成像设备的振动可以例如是由于图像稳定系统造成的，所述图像稳定系统通常用在可见成像设备中，以便补偿成像设备的移动。实现图像稳定的不同方式在本领域中是众所周知的。在具有图像稳定系统的成像设备中，成像传感器可以放到使得能够响应于所测量到的成像设备的移动而移动成像传感器的元件上。如果成像传感器的移动被控制成对应于连续图像帧之间的某个预先定义的差异，则这种构造可以用于捕获差异图像中的边缘/轮廓。在这种情况下，差异还可以对应于差异图像的边缘/轮廓的特定宽度，所述宽度是根据环境选择的。获得可以从其得出差异图像的图像的另一种方式是使用成像设备的聚焦电动机来移动成像设备的一个或多个透镜。用于移动成像设备中的透镜的聚焦电动机的使用在本领域中是众所周知的。在这种情况下，当其焦点稍微未对准时，由成像设备捕获的图像将是可以直接对应到低通滤波图像的平滑且去噪声的图像。在重新设置成像设备的焦点之后，可以捕获聚焦的图像，并且可以通过从该聚焦图像减去焦点未对准的图像获得该聚焦图像的高空间频率内容。利用成像设备中的一个或多个透镜重新聚焦的图像传感器的振动的方法还不必要求任何数字图像处理，并且因此可以与模拟成像设备一起使用。就像对本领域技术人员显然的那样，由于在相减之后只剩下了较低的空间频率内容，因此通过从图像减去由以上所述任何方法获得的所提取的高空间频率内容，获得图像的对应低通滤波版本。
在块106，例如通过空间低通滤波器的使用，可以处理IR图像，从而减少图像中的噪声和/或模糊图像。低通滤波可以通过对于图像的每个像素设置空间核心并通过使用相邻像素中的值和所述空间核心的系数为所述像素计算新值来执行。在另一个例子中，图像可以单独利用软件来滤波。
空间低通滤波核心可以是在每个位置具有系数1的3×3滤波器核心，并且滤波后的像素值可以通过将原始像素值和八个相邻像素中每一个乘以其滤波器系数、把它们加到一起，然后除以9来计算。在对IR图像中的每个像素执行这个操作之后，可以产生具有更平滑外观的低通滤波图像。为了对IR图像进行高通滤波，可以使用相同的滤波器系数，从而以本领域中众所周知的方式，通过每次一个像素地从原始图像减去低通滤波图像形成高通滤波图像。但是，应当指出，滤波器核心的系数可以设置成不同的值，并且滤波器核心的大小可以与以上所述的3×3滤波器核心不同。
所产生的处理后的可见图像和可能进行处理的IR图像可以在块107组合到一起。在显示所产生的组合图像之前，可以在块108添加高分辨率噪声，例如高分辨率时间噪声。
在块106执行IR图像滤波的步骤是可选的。即使没有IR图像的滤波，用于本发明实施方式的方法也对向用户示出的所产生的图像给出了有益的效果，并且用户将能够清楚地辨别成像场景中的物体及成像场景的温度信息。在块106执行的低通滤波的目的是从在块102捕获到的原始IR图像中存在的噪声平滑掉IR图像的不均衡。由于原始IR图像中可见的尖锐边缘和噪声在滤波过程中被除去或者至少减少了，因此所产生的图像的可见性通过IR图像的滤波进一步提高了，而且在组合图像中IR图像和可见图像未对准的地方显示双边缘的危险也减小了。
高通滤波是为了提取图像中的高空间频率内容而执行的，换句话说是为了定位对比区域，即，相邻像素的值显示很大差异的区域(例如尖锐的边缘)而执行的。所产生的高通滤波图像可以通过从原始图像减去低通滤波图像(一个像素一个像素地计算)来获得，如以下将具体描述的。
图2示出了在图1所说明方法的不同块所产生的图像的示例实施方式。在块101捕获的可见图像301和在块102捕获的IR图像302用作处理303过程中增加采样和滤波的输入，其中处理303对应于块103、104、105、106。
在处理303之后，显示可见图像的提取出的高空间频率内容304，其中可以看到在原始可见图像301中存在的物体的轮廓。根据本发明的示例实施方式，IR图像302处理成低通滤波且增加采样的图像305。增加采样增加了图像的分辨率，现在成像场景中的每个物体都可以更清楚地看到，而没有显示出形式为低通滤波图像305中的模糊或颗粒的太多噪声。从可见图像304的提取出的高空间频率内容和低通滤波IR图像305(现在可以描述为处理过的图像304、305)开始的箭头指示用于形成组合图像307的这些图像304、305的组合，其中显示成像场景中平滑温度分布的处理过的IR图像305与显示原始可见图像301的物体的轮廓边缘的处理过的可见图像304组合到一起。因此，组合后的图像307显示了IR图像302的优点，其中跨物体的任何温度差异都被示出，还有来自处理过的可见图像304的轮廓，从而更清楚地示出每个物体的形状。这种组合优选地是通过在IR图像上叠加可见图像的高空间频率内容或者可选地在可见图像的高空间频率内容叠加IR图像来实现的。
根据本发明的示例实施方式，IR图像可以利用非常低分辨率的IR成像设备来捕获，分辨率例如低到64×64或者32×32像素，但是，如本领域技术人员容易理解的，许多其它分辨率也是同样适用的。32×32像素的IR图像本身包含非常少的信息，而且观看者很难解释图像中的信息。具有32×32像素的分辨率的IR图像的例子在图6a中示出。本发明人发现如果将边缘和轮廓(高空间频率)信息从可见图像添加到组合图像，则非常低分辨率的IR图像的使用将仍然给出用户可以清楚地区分所示物体和关于它们的温度或其它IR信息的组合图像。图6b示出了在IR图像重新采样并且与描绘相同场景的可见图像的提取的高空间频率内容组合之后的图6a的IR图像。这使得实施方式的发明方法能够与非常小且便宜的图像检测器组合使用，仍然给出非常有利的结果。
根据另一种示例实施方式，IR图像可以利用高分辨率IR成像设备捕获。随着技术的发展，IR成像设备继续获得更高的分辨率。如今，高分辨率IR成像设备将具有例如640×640像素的分辨率。用这种高分辨率成像设备捕获到的IR图像本身就可能足以向观看者显示边缘和轮廓信息。通过组合这种高分辨率IR图像和对应可见图像的高空间频率内容可以使观看者能够看到在IR图像中未示出的可见图像的更多细节。例如，被识别出水渍的区域可以用笔在墙上画出/勾勒出。这种信息对于与所测量出的温度信息组合是有利的。在另一个例子中，图像中可能有序列号或者其它标识字母或数字，其可能有助于识别所示场景或者场景中的物体。高分辨率IR图像可以有利地较大程度地减少采样和/或去噪声/低通滤波，由此，当得到所示场景的温度信息时，所产生的处理后的IR图像及包含非常低程度的噪声，但仍然具有非常高的灵敏度。
对应于块108，高分辨率噪声306可以添加到组合图像307，以便向观看者更清楚地给出所产生的图像并且减少由于原始IR图像302中的噪声而可能存在的污点等的印象，其中噪声在所述IR图像302的低通滤波过程中被保留了下来。
图3a示出了紧接着在块102捕获之后的IR图像302。成像场景表示书柜，结合体(binder)按行布置，并且书架在某个高度安装。如可以看到的，场景中的物体处于不同的温度(示为不同的区)，其中图像最上面的部分和放在中间书架上的结合体比下面的书架或者结合体旁边或上面的区域更热。所示物体的真正形状是难以辨别的，因为除不同温度之间的线条之外没有显示物体的轮廓。因此，对于仅仅面对这个图像的用户来说，很难识别某个温度的特定物体。通过向滤波后的信号添加颜色，IR图像根据所选择的色彩空间(以下进一步描述)着色。
在本发明的示例实施方式中，所捕获的IR图像通过低通滤波进行处理。图3b示出了低通滤波的IR图像305。空间滤波平滑掉了所捕获的IR图像302中的不均衡，由此使得更容易区分场景中的不同物体。而且，滤波还从图像302中除去了噪声。而且，这些物体之间的边缘已经被平滑掉了。由于轮廓要从滤波后的可见图像304添加，而且图像之间的任何对准误差将导致可能使观看者分心的双轮廓，因此可以这么做。
在本发明的示例实施方式中，所捕获的可见图像的高空间频率内容通过可见图像的高通滤波来提取。这种作为所捕获的可见图像301高通滤波的结果的高通滤波的可见图像304在图3c中示出。在高通滤波的可见图像304中，主要是可以看到在原始可见图像301中成像的场景中的物体的轮廓和边缘。物体之间的轮廓和边缘及例如结合体上的文字或书的图案的线是可见的。
图3d示出了在原始IR图像302增加采样、低通滤波并且与相同场景的高通滤波可见图像组合之后的组合图像307。不同温度的区域仍然可以看到，但它们之间的边界变得更加清晰，而且结合体和书架的轮廓线已经添加，这些轮廓线来自高通滤波的可见图像并且显示了在IR图像中无法看到的细节，例如文字或者其它可见图案。增加的清晰度还来自IR图像的低通滤波，其中更大不同温度区域中的噪声像素已经被平滑掉，从而形成更相似的更大区域。因此，至少一部分可能由于捕获原始图像的环境造成的噪声可以消除。
图5a-5d描绘了以上所述的图3a-3d的图像，但是采用不同温度区域由不同图案而不是半色调标记的方式。因此，参考图3a-3d所述的一切都可以分别直接应用到图5a-5d。
对IR图像302执行的低通滤波可以通过使用具有合适的滤波器核心的空间滤波器来执行，以便依赖先前的值和周围像素的值来为每个像素计算新值。高通滤波通常是通过应用低通滤波器并从原始图像减去所产生的低通滤波图像来执行的，在高通滤波的图像中只留下线条和边缘可以看到。如前面所提到的，应用空间滤波器的方法在本领域中是众所周知的，并且任何这样的方法都可以使用。
当选择调色板时，例如根据YCbCr色彩空间族，Y分量(即，亮度)可以选择成在整个调色板中是常量。在一个例子中，Y分量可以选择成最大亮度的0.5倍。因此，当组合基于所选调色板的IR图像和可见图像时，处理后的可见图像304的Y分量可以添加到处理后的IR图像305，并产生期望的对比度，而不会改变处理后的IR图像305的颜色。由此，在原始IR图像302的处理过程中，保持了颜色的特定细微差别的重要性。
当计算颜色分量时，对于Y分量来自高通滤波的可见图像304而Cr和Cb分量来自IR图像305的信号的组合图像307，以下公式可以用于确定分量Y、Cr和Cb。
hp_y_vis＝highpass(y_vis)
(y_ir,cr_ir,cb_ir)＝colored(lowpass(ir_signal_linear))
其在另一种表示法中可以写成：
hpyvis＝highpass(yvis)
(yir,crir,cbir)＝colored(lowpass(irsignal linear))
当然，除YCbCr之外的其它色彩空间也可以与本公开内容的实施方式一起使用。不同色彩空间(例如RGB、YCbCr、HSV、CIE 1931XYZ或者CIELab)的使用，及色彩空间之间的变换，对本领域技术人员来说是众所周知的。例如，当使用RGB色彩模型时，亮度可以作为所有颜色分量的均值来计算，而且通过将计算亮度的公式从一个色彩空间变换到另一个色彩空间，为每个色彩空间确定用于确定亮度的新表达式。
在一种实施方式中，组合处理过的可见图像304和处理过的IR图像305的块107可以只利用来自处理过的可见图像304的亮度分量Y来执行。
应当指出，根据一种或多种实施方式，如果合适的话，以上所述方法的块可以不同的次序执行。
图4示出了用于执行根据本公开内容的方法的图像处理系统的实施方式的示意图。成像设备单元1可以包括具有可见传感器的可见成像设备11和具有IR传感器的IR成像设备12，安装成使得可见成像设备11的可见传感器的光轴与IR成像设备12的IR传感器相距距离d。可见成像设备可以是任何已知类型的可见成像设备，例如CCD成像设备、EMCCD成像设备、CMOS成像设备或者sCMOS成像设备。IR成像设备可以是能够检测至少在例如0.7至20μm之间的间隔中的电磁辐射的任何类型的成像设备。可见成像设备具有大约53°的视野α，而IR成像设备具有大约24°的视野β。本领域普通技术人员应当认识到，例如通过使用可替换光学元件或者包括光学元件的镜头，其它的视角也可以使用。对于IR成像设备，可替换光学元件或者包括光学元件的镜头可以例如给出15-45°的视野。块101、102，即，可见图像301和IR图像302的捕获，可以通过成像设备单元1来执行，并且所捕获的图像发送到处理单元2，也称为处理器，在那里执行其余的块。根据另一种实施方式，图1的块106中的可选步骤，即，减小噪声并模糊所捕获的IR图像，可以通过成像设备中所结合的图像处理装置或者图像处理器来执行，在可见图像和处理过的IR图像发送到处理单元2之后，在那里执行图1的其余块的方法步骤。所述处理单元2可以是例如通用或者专用处理引擎的处理器，例如微处理器、微控制器或者其它控制逻辑或FPGA(现场可编程门阵列)，其包括存储在计算机可读存储介质上的固定成执行某些任务的代码区，以及存储在计算机可读存储介质上的可以在使用过程中改变的其它代码区。这种可以改变的区可以包括要用作各种任务的输入的参数，其中，所述各种任务例如IR成像设备12的校准、可见成像设备11和IR成像设备12的对准、采样速率或者用于图像空间滤波的滤波器。
在本文档中，术语“计算机程序产品”和“计算机可读存储介质”通常可以用于指代非临时性的介质，例如存储器41、处理单元2的存储介质或者控制单元42的存储介质。这些和其它形式的计算机可读存储介质可以用于向处理单元2提供要执行的指令。这种指令，总体上称为“计算机程序代码”或者计算机程序代码部分(可以以计算机程序或者其它分组的形式来分组)，适于控制数据处理系统执行发明方法的步骤和功能。因此，当执行时，该计算机程序代码部分使成像设备单元1或者计算机能够执行当前技术的实施方式的特征或者功能。而且，如在此所使用的，处理逻辑或者逻辑可以包括硬件、软件、固件或者其组合。
处理单元2与存储器41通信，在存储器中这种参数准备好以便由处理单元2使用，而且如果用户期望的话，由处理单元2处理的图像可以保存在存储器41中。存储器41可以是随机存取存储器(RAM)、寄存器存储器、处理器高速缓冲存储器、硬盘驱动器、软盘驱动器、磁带驱动器、光盘驱动器、CD或DVD驱动器(R或者RW)或者其它可拆卸或固定介质驱动器。存储器41又与控制单元42通信，其中所述参数源自该控制单元42，例如通过来自可以从制造商提供的校准文件43文件的输入、通过由图像处理系统本身提供的参数，例如来自传感器等的关于从成像设备单元1到捕获其图像的物体的距离的数据，或者通过由用户提供的参数。控制单元42可以是可编程的单元，并且确定执行示例方法所需的参数和这种参数应当如何与处理单元2交互并且为了方便处理单元2的获取而将这些参数存储到存储器41中。
在处理单元2执行对准图像(块103)、增加采样原始IR图像302以便生成增加采样的IR图像(块104)、对原始可见图像301的高通滤波以便生成处理过的可见图像304(块105)、对增加采样的IR图像的低通滤波以便生成处理过的IR图像305(块106)、组合处理过的可见图像304和处理过的IR图像305以便生成组合图像307(块107)并向所述组合图像307添加高频噪声(块108)的操作之后，所产生的图像在显示单元3中呈现，以便由图像处理系统的用户观看。如果期望，用户可以将组合图像307或者对应于不同方法步骤的任何其它图像保存到存储器41中，以便以后观看或者传送到另一个单元，例如计算机，用于进一步的分析和存储。
在可选实施方式中，所公开的方法可以由例如PC的计算设备来实现，其中PC可以包含特别适于执行本发明的一种或多种实施方式的方法步骤的FPGA单元的功能或者包含根据联系图4所述的通用处理单元2。该计算设备还可以包括存储器41和控制单元42，还可以包括显示单元3。可以以直播方式使用所公开的方法，即用于可以作为电影记录和重放的例如30Hz的实时滤波与组合的图像流集合，但是也可以使用静止的图片。
在一个例子中，可以允许用户改变正因子α，以便确定例如通过使用以下的公式要用于与IR图像302、305组合的来自可见图像301、304的亮度有多少。组合图像307的亮度Y是通过将处理过的IR图像305的亮度加上高通滤波的可见图像的亮度乘以因子α来实现的。组合的分量Cr和Cb直接取自IR图像302、305，因此不受该处理的影响。如果使用另一种色彩空间，则在使用之前当然要变换公式。
comb_y＝y_ir+α×hp_y_vis
comb_cr＝cr_ir
comb_cb＝cb_ir
其在另一种表示法中将写为：
comby＝yir+α×hpyvis
combcr＝crir
combcb＝cbir
因此，α的变化给了用户决定在组合图像中需要多少对比度的机会。当α接近零时，将单独显示IR图像，但对于非常高的α，在组合图像中可以看到非常尖锐的轮廓。理论上讲，α可以是无限大的数，但实践当中限制将有可能是必需的，以便将可以选择的α的大小限制到当前应用中方便的值。
在块104对IR图像302的分辨率的增加采样可以另选地作为对可见图像301的减少采样来执行，以便匹配IR图像302的分辨率，或者实际上是IR图像302的增加采样和可见图像301的减少采样的组合，达到不是图像301、302中任何一个原始具有的分辨率，只要结果是在采样步骤之后IR图像302和可见图像301具有相同的分辨率即可。依赖要显示组合图像307的显示区域，例如显示单元3，来确定分辨率并采样图像301、302以便匹配最适合显示单元3的分辨率可能是方便的。
应当认识到，为了清晰，以上描述参考不同的功能单元和处理器描述了技术的实施方式。但是，很显然，在不偏离该技术的情况下，不同功能单元、处理器或者领域之间功能的任何适当分布都可以使用。例如，例示为由分立的处理器或控制器执行的功能可以由同一处理器或控制器执行。由此，对特定功能单元的参考只能看作是对用于提供所述功能的合适装置的参考，而不是指示严格的逻辑或者物理结构或组织。
如本领域技术人员很容易理解的，本公开内容不应当看作是被以上所述的实施方式限制的，而是可以在权利要求的范围内变化。
Claims (25)
1.一种利用可见图像增强红外线IR图像的方法，所述方法包括：
接收场景的可见图像和IR图像，其中所述IR图像根据温度以不同的灰度级或者来自调色板的不同颜色表示；
从所述可见图像提取高空间频率内容以获得所述可见图像中的物体的轮廓和边缘；以及
组合从所述可见图像提取出的所述高空间频率内容和所述IR图像，以产生包括所述IR图像的未改变的颜色或者灰度级分量的组合图像。
2.如前述权利要求所述的方法，还包括确保用于可见图像和IR图像的分辨率是大致相同的。
3.如前面任何一项权利要求所述的方法，还包括检查用于可见图像和IR图像的分辨率是否大致相同；并且其中，如果用于可见图像和IR图像的分辨率不是大致相同的，则改变可见图像的分辨率和/或IR图像的分辨率，使得用于可见图像和IR图像的分辨率大致相同。
4.如权利要求1所述的方法，还包括改变所述可见图像的分辨率和所述IR图像的分辨率中的至少一个，使得可见图像和IR图像具有大致相同的分辨率。
5.如权利要求1所述的方法，还包括增加采样所述IR图像的分辨率到大致所述可见图像的分辨率和/或减少采样所述可见图像的分辨率到大致所述IR图像的分辨率。
6.如权利要求1所述的方法，还包括将所述可见图像的分辨率和所述IR图像的分辨率改变成大致与第三分辨率相同。
7.如权利要求1所述的方法，其中所接收的IR图像的分辨率是64×64像素或者更小。
8.如权利要求1所述的方法，其中所接收的IR图像的分辨率是32×32像素或者更小。
9.如权利要求1-2、4-8中任何一项所述的方法，其中从所述可见图像提取高空间频率内容是通过利用至少一个空间滤波器的高通滤波来进行的。
10.如权利要求1-2、4-8中任何一项所述的方法，还包括处理所述IR图像，以减少该IR图像中的噪声和/或平滑该IR图像。
11.如权利要求1-2、4-8中任何一项所述的方法，还包括在组合之前对所述IR图像进行低通滤波。
12.如权利要求1-2、4-8中任何一项所述的方法，还包括在组合之前通过使用空间滤波器来对所述IR图像进行低通滤波。
13.如权利要求1-2、4-8中任何一项所述的方法，其中组合包括将从所述可见图像提取出的所述高空间频率内容叠加到所述IR图像上。
14.如权利要求1-2、4-8中任何一项所述的方法，其中组合包括将所述IR图像叠加到从所述可见图像提取出的所述高空间频率内容上。
15.如权利要求1-2、4-8中任何一项所述的方法，其中组合还包括将所述可见图像的亮度分量添加到所述IR图像。
16.如权利要求1-2、4-8中任何一项所述的方法，其中组合还包括将乘以一个因子的所述可见图像的亮度分量添加到所述IR图像。
17.如权利要求16所述的方法，其中所述因子是能够基于从来自用户的输入接收的控制参数变化的。
18.如权利要求1-2、4-8中任何一项所述的方法，还包括向所述组合图像添加高分辨率噪声。
19.如权利要求1-2、4-8中任何一项所述的方法，还包括对所述IR图像和/或对所述组合图像保持IR调色板。
20.如权利要求1-2、4-8中任何一项所述的方法，还包括捕获场景的可见图像和IR图像，并且其中由包括IR图像捕获设备和可见图像捕获设备的成像设备执行如权利要求1所述的方法。
21.如权利要求1-2、4-8中任何一项所述的方法，所述方法在适于接收场景的可见图像和IR图像的计算机中执行。
22.一种用于利用可见图像增强红外线IR图像的非临时性计算机可读存储介质，该计算机可读存储介质包括计算机程序代码部分，所述计算机程序代码部分被设计成控制数据处理系统执行以下操作，包括：
接收场景的可见图像和IR图像，其中所述IR图像根据温度以不同的灰度级或者来自调色板的不同颜色表示；
从所述可见图像提取高空间频率内容以获得所述可见图像中的物体的轮廓和边缘；以及
组合从所述可见图像提取出的所述高空间频率内容和所述IR图像，以产生包括所述IR图像的未改变的颜色或者灰度级分量的组合图像。
23.如前面权利要求所述的计算机可读存储介质，还包括被设计成控制数据处理系统执行如权利要求2-21中任何一项所述的方法的计算机程序代码部分。
24.一种用于利用可见图像增强红外线IR图像的成像设备，所述成像设备包括：
可见图像传感器，用于捕获可见图像；
IR图像传感器，用于捕获IR图像，其中所述IR图像根据温度以来自调色板的不同颜色或者不同的灰度级表示；以及
处理单元，适于从所述可见图像提取高空间频率内容以获得所述可见图像中的物体的轮廓和边缘，以及组合从所述可见图像提取出的所述高空间频率内容和所述IR图像，以产生包括所述IR图像的未改变的颜色或者灰度级分量的组合图像。
25.如权利要求24所述的成像设备，还包括适于执行如权利要求2-21中任何一项所述的方法的处理器。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US12/766,739 | 2010-04-23 | ||
| US12/766,739 US8520970B2 (en) | 2010-04-23 | 2010-04-23 | Infrared resolution and contrast enhancement with fusion |
| US201161473207P | 2011-04-08 | 2011-04-08 | |
| US61/473,207 | 2011-04-08 | ||
| CN201180000582.8A CN102334141B (zh) | 2010-04-23 | 2011-04-21 | 利用融合的红外线分辨率与对比度增强 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201180000582.8A Division CN102334141B (zh) | 2010-04-23 | 2011-04-21 | 利用融合的红外线分辨率与对比度增强 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104867123A CN104867123A (zh) | 2015-08-26 |
| CN104867123B true CN104867123B (zh) | 2019-02-19 |
Family
ID=44815837
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510182418.3A Active CN104867123B (zh) | 2010-04-23 | 2011-04-21 | 利用融合的红外线分辨率与对比度增强 |
Country Status (4)
| Country | Link |
|---|---|
| US (2) | US8520970B2 (zh) |
| EP (3) | EP2381417B1 (zh) |
| CN (1) | CN104867123B (zh) |
| WO (1) | WO2011131758A1 (zh) |
Families Citing this family (133)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8866920B2 (en) | 2008-05-20 | 2014-10-21 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
| CN102037717B (zh) | 2008-05-20 | 2013-11-06 | 派力肯成像公司 | 使用具有异构成像器的单片相机阵列的图像拍摄和图像处理 |
| US11792538B2 (en) | 2008-05-20 | 2023-10-17 | Adeia Imaging Llc | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
| US9635285B2 (en) * | 2009-03-02 | 2017-04-25 | Flir Systems, Inc. | Infrared imaging enhancement with fusion |
| US9208542B2 (en) | 2009-03-02 | 2015-12-08 | Flir Systems, Inc. | Pixel-wise noise reduction in thermal images |
| US9843742B2 (en) | 2009-03-02 | 2017-12-12 | Flir Systems, Inc. | Thermal image frame capture using de-aligned sensor array |
| US10757308B2 (en) | 2009-03-02 | 2020-08-25 | Flir Systems, Inc. | Techniques for device attachment with dual band imaging sensor |
| US9451183B2 (en) | 2009-03-02 | 2016-09-20 | Flir Systems, Inc. | Time spaced infrared image enhancement |
| US9171361B2 (en) | 2010-04-23 | 2015-10-27 | Flir Systems Ab | Infrared resolution and contrast enhancement with fusion |
| US9235876B2 (en) | 2009-03-02 | 2016-01-12 | Flir Systems, Inc. | Row and column noise reduction in thermal images |
| US10044946B2 (en) | 2009-06-03 | 2018-08-07 | Flir Systems Ab | Facilitating analysis and interpretation of associated visible light and infrared (IR) image information |
| US10091439B2 (en) | 2009-06-03 | 2018-10-02 | Flir Systems, Inc. | Imager with array of multiple infrared imaging modules |
| EP2502115A4 (en) | 2009-11-20 | 2013-11-06 | Pelican Imaging Corp | RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER |
| KR101824672B1 (ko) | 2010-05-12 | 2018-02-05 | 포토네이션 케이맨 리미티드 | 이미저 어레이 구조 및 어레이 카메라 |
| US8878950B2 (en) | 2010-12-14 | 2014-11-04 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using super-resolution processes |
| US9245332B2 (en) * | 2011-03-09 | 2016-01-26 | Alcatel Lucent | Method and apparatus for image production |
| WO2012155119A1 (en) | 2011-05-11 | 2012-11-15 | Pelican Imaging Corporation | Systems and methods for transmitting and receiving array camera image data |
| US9143703B2 (en) | 2011-06-10 | 2015-09-22 | Flir Systems, Inc. | Infrared camera calibration techniques |
| CN103748867B (zh) | 2011-06-10 | 2019-01-18 | 菲力尔系统公司 | 低功耗和小形状因子红外成像 |
| KR101778353B1 (ko) | 2011-06-10 | 2017-09-13 | 플리어 시스템즈, 인크. | 적외선 이미징 장치용 불균일성 교정 기술 |
| US20130265459A1 (en) | 2011-06-28 | 2013-10-10 | Pelican Imaging Corporation | Optical arrangements for use with an array camera |
| WO2013043761A1 (en) | 2011-09-19 | 2013-03-28 | Pelican Imaging Corporation | Determining depth from multiple views of a scene that include aliasing using hypothesized fusion |
| WO2013049699A1 (en) | 2011-09-28 | 2013-04-04 | Pelican Imaging Corporation | Systems and methods for encoding and decoding light field image files |
| US9143704B2 (en) | 2012-01-20 | 2015-09-22 | Htc Corporation | Image capturing device and method thereof |
| US9412206B2 (en) | 2012-02-21 | 2016-08-09 | Pelican Imaging Corporation | Systems and methods for the manipulation of captured light field image data |
| CN104364800A (zh) * | 2012-03-30 | 2015-02-18 | 前视红外系统股份公司 | 促进关联的可视光和红外线(ir)图像信息的分析和解释 |
| US8994845B2 (en) * | 2012-04-27 | 2015-03-31 | Blackberry Limited | System and method of adjusting a camera based on image data |
| US9210392B2 (en) | 2012-05-01 | 2015-12-08 | Pelican Imaging Coporation | Camera modules patterned with pi filter groups |
| CN104508681B (zh) | 2012-06-28 | 2018-10-30 | Fotonation开曼有限公司 | 用于检测有缺陷的相机阵列、光学器件阵列和传感器的系统及方法 |
| US20140002674A1 (en) | 2012-06-30 | 2014-01-02 | Pelican Imaging Corporation | Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors |
| CN102800079B (zh) * | 2012-08-03 | 2015-01-28 | 西安电子科技大学 | 基于scdpt变换及其幅相结合的多模态图像融合方法 |
| CN104662589B (zh) | 2012-08-21 | 2017-08-04 | 派力肯影像公司 | 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法 |
| CN104685513B (zh) | 2012-08-23 | 2018-04-27 | 派力肯影像公司 | 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计 |
| US20140092281A1 (en) | 2012-09-28 | 2014-04-03 | Pelican Imaging Corporation | Generating Images from Light Fields Utilizing Virtual Viewpoints |
| WO2014078443A1 (en) | 2012-11-13 | 2014-05-22 | Pelican Imaging Corporation | Systems and methods for array camera focal plane control |
| TWI465702B (zh) * | 2012-12-03 | 2014-12-21 | Ind Tech Res Inst | 非接觸式溫度量測方法 |
| CN105009568B (zh) * | 2012-12-21 | 2018-12-18 | 菲力尔系统公司 | 用于处理可见光谱图像和红外图像的系统、方法及非易失性机器的可读介质 |
| WO2014115144A1 (en) * | 2013-01-28 | 2014-07-31 | Opgal Optronic Industries Ltd. | Enhancing infrared measurement accuracy in a specified area |
| US9462164B2 (en) | 2013-02-21 | 2016-10-04 | Pelican Imaging Corporation | Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information |
| US9253380B2 (en) | 2013-02-24 | 2016-02-02 | Pelican Imaging Corporation | Thin form factor computational array cameras and modular array cameras |
| WO2014138697A1 (en) | 2013-03-08 | 2014-09-12 | Pelican Imaging Corporation | Systems and methods for high dynamic range imaging using array cameras |
| US8866912B2 (en) | 2013-03-10 | 2014-10-21 | Pelican Imaging Corporation | System and methods for calibration of an array camera using a single captured image |
| WO2014164909A1 (en) | 2013-03-13 | 2014-10-09 | Pelican Imaging Corporation | Array camera architecture implementing quantum film sensors |
| US9519972B2 (en) | 2013-03-13 | 2016-12-13 | Kip Peli P1 Lp | Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies |
| US9106784B2 (en) | 2013-03-13 | 2015-08-11 | Pelican Imaging Corporation | Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing |
| US9124831B2 (en) | 2013-03-13 | 2015-09-01 | Pelican Imaging Corporation | System and methods for calibration of an array camera |
| WO2014159779A1 (en) | 2013-03-14 | 2014-10-02 | Pelican Imaging Corporation | Systems and methods for reducing motion blur in images or video in ultra low light with array cameras |
| US9100586B2 (en) | 2013-03-14 | 2015-08-04 | Pelican Imaging Corporation | Systems and methods for photometric normalization in array cameras |
| US9497370B2 (en) | 2013-03-15 | 2016-11-15 | Pelican Imaging Corporation | Array camera architecture implementing quantum dot color filters |
| WO2014145856A1 (en) | 2013-03-15 | 2014-09-18 | Pelican Imaging Corporation | Systems and methods for stereo imaging with camera arrays |
| US9497429B2 (en) * | 2013-03-15 | 2016-11-15 | Pelican Imaging Corporation | Extended color processing on pelican array cameras |
| US9445003B1 (en) | 2013-03-15 | 2016-09-13 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information |
| US10122993B2 (en) | 2013-03-15 | 2018-11-06 | Fotonation Limited | Autofocus system for a conventional camera that uses depth information from an array camera |
| WO2014171897A1 (en) * | 2013-04-19 | 2014-10-23 | Microlight Sensors Pte. Ltd. | Apparatus, system and method for remote detection of vehicle exhaust |
| KR20150021353A (ko) * | 2013-08-20 | 2015-03-02 | 삼성테크윈 주식회사 | 영상 융합 시스템 및 그 방법 |
| WO2015048694A2 (en) | 2013-09-27 | 2015-04-02 | Pelican Imaging Corporation | Systems and methods for depth-assisted perspective distortion correction |
| CN104574330A (zh) * | 2013-10-18 | 2015-04-29 | 中国航天科工集团第三研究院第八三五八研究所 | 一种可应对高动态范围红外图像的数字细节增强实现方法 |
| US9552629B2 (en) | 2013-10-21 | 2017-01-24 | Bae Systems Information And Electronic Systems Integration Inc. | Medical thermal image processing for subcutaneous detection of veins, bones and the like |
| US9185276B2 (en) | 2013-11-07 | 2015-11-10 | Pelican Imaging Corporation | Methods of manufacturing array camera modules incorporating independently aligned lens stacks |
| WO2015074078A1 (en) | 2013-11-18 | 2015-05-21 | Pelican Imaging Corporation | Estimating depth from projected texture using camera arrays |
| EP3075140B1 (en) | 2013-11-26 | 2018-06-13 | FotoNation Cayman Limited | Array camera configurations incorporating multiple constituent array cameras |
| US11297264B2 (en) | 2014-01-05 | 2022-04-05 | Teledyne Fur, Llc | Device attachment with dual band imaging sensor |
| US10089740B2 (en) | 2014-03-07 | 2018-10-02 | Fotonation Limited | System and methods for depth regularization and semiautomatic interactive matting using RGB-D images |
| US9990730B2 (en) | 2014-03-21 | 2018-06-05 | Fluke Corporation | Visible light image with edge marking for enhancing IR imagery |
| CN109893084A (zh) | 2014-06-20 | 2019-06-18 | 拉姆伯斯公司 | 用于有透镜和无透镜的光学感测的系统和方法 |
| US10002434B2 (en) * | 2014-07-31 | 2018-06-19 | Hewlett-Packard Development Company, L.P. | Document region detection |
| CN104184962A (zh) * | 2014-08-12 | 2014-12-03 | 中国科学院上海微系统与信息技术研究所 | 一种基于dsp及图像处理的全天候图像获取系统 |
| CN104200450B (zh) * | 2014-08-25 | 2017-08-25 | 华南理工大学 | 一种红外热图像清晰度增强方法 |
| US10602082B2 (en) | 2014-09-17 | 2020-03-24 | Fluke Corporation | Triggered operation and/or recording of test and measurement or imaging tools |
| EP3201877B1 (en) | 2014-09-29 | 2018-12-19 | Fotonation Cayman Limited | Systems and methods for dynamic calibration of array cameras |
| US10271020B2 (en) | 2014-10-24 | 2019-04-23 | Fluke Corporation | Imaging system employing fixed, modular mobile, and portable infrared cameras with ability to receive, communicate, and display data and images with proximity detection |
| WO2016109585A1 (en) | 2014-12-31 | 2016-07-07 | Flir Systems, Inc. | Image enhancement with fusion |
| US9942474B2 (en) | 2015-04-17 | 2018-04-10 | Fotonation Cayman Limited | Systems and methods for performing high speed video capture and depth estimation using array cameras |
| WO2016176370A1 (en) | 2015-04-27 | 2016-11-03 | Flir Systems, Inc. | Moisture measurement device with thermal imaging capabilities and related methods |
| CN107851311B (zh) | 2015-06-15 | 2023-01-13 | 前视红外系统股份公司 | 对比度增强的结合图像生成系统和方法 |
| US10152811B2 (en) * | 2015-08-27 | 2018-12-11 | Fluke Corporation | Edge enhancement for thermal-visible combined images and cameras |
| US10530977B2 (en) | 2015-09-16 | 2020-01-07 | Fluke Corporation | Systems and methods for placing an imaging tool in a test and measurement tool |
| US10310580B2 (en) * | 2015-10-09 | 2019-06-04 | Sandisk Technologies Llc | Voltage level detection and analog circuit arrangements for memory systems |
| WO2017070629A1 (en) | 2015-10-23 | 2017-04-27 | Fluke Corporation | Imaging tool for vibration and/or misalignment analysis |
| CN108780569B (zh) | 2016-01-08 | 2023-05-05 | 特利丹菲力尔有限责任公司 | 用于图像分辨率增强的系统和方法 |
| CN105913040B (zh) * | 2016-04-27 | 2019-04-23 | 重庆邮电大学 | 暗视觉条件下的双摄像头实时行人检测系统 |
| CN106462957B (zh) * | 2016-05-19 | 2019-03-08 | 深圳大学 | 一种红外图像中条纹噪声的去除方法及系统 |
| US10518900B2 (en) | 2016-06-14 | 2019-12-31 | Micasense, Inc. | Thermal calibration of an infrared image sensor |
| WO2018017904A1 (en) | 2016-07-21 | 2018-01-25 | Flir Systems Ab | Fused image optimization systems and methods |
| CN108205829A (zh) * | 2016-12-20 | 2018-06-26 | 乐视汽车（北京）有限公司 | 一种行车记录仪的图像处理方法、装置及电子设备 |
| US10890490B2 (en) | 2016-12-20 | 2021-01-12 | Seek Thermal, Inc. | Thermography process for converting signal to temperature in a thermal imaging system |
| US10605668B2 (en) | 2016-12-20 | 2020-03-31 | Seek Thermal, Inc. | Thermography process for converting signal to temperature in a thermal imaging system |
| US11113791B2 (en) | 2017-01-03 | 2021-09-07 | Flir Systems, Inc. | Image noise reduction using spectral transforms |
| CN108419062B (zh) * | 2017-02-10 | 2020-10-02 | 杭州海康威视数字技术股份有限公司 | 图像融合设备和图像融合方法 |
| CN110582721B (zh) * | 2017-05-01 | 2022-09-20 | 金泰克斯公司 | 具有可切换的白天和夜晚模式的成像装置 |
| GB2577646B (en) | 2017-06-03 | 2022-09-14 | Teledyne FLIR LLC | Extensible architecture for surveillance and targeting imaging systems and methods |
| KR20200143666A (ko) * | 2017-06-20 | 2020-12-24 | 포토니카, 아이엔씨. | 착용식 개선현실 시각화 |
| US10482618B2 (en) | 2017-08-21 | 2019-11-19 | Fotonation Limited | Systems and methods for hybrid depth regularization |
| US10504221B2 (en) | 2017-09-28 | 2019-12-10 | Intel Corporation | Methods, apparatus and systems for monitoring devices |
| DE102017010151A1 (de) | 2017-11-02 | 2019-05-02 | Dräger Safety AG & Co. KGaA | lnfrarot-optische Gasmessvorrichtung |
| JP7019442B2 (ja) * | 2018-02-09 | 2022-02-15 | キヤノン株式会社 | 撮像装置およびその制御方法 |
| CN110136183B (zh) | 2018-02-09 | 2021-05-18 | 华为技术有限公司 | 一种图像处理的方法、装置以及摄像装置 |
| CN108537766B (zh) * | 2018-04-25 | 2022-03-01 | 江苏北方湖光光电有限公司 | 一种通用多波段融合ip核 |
| CN108765324A (zh) * | 2018-05-16 | 2018-11-06 | 上海爱优威软件开发有限公司 | 一种基于红外的图像处理方法及系统 |
| US10841516B2 (en) | 2018-06-27 | 2020-11-17 | Snap-On Incorporated | Methods and systems for thermal image display |
| CN108932721A (zh) * | 2018-06-28 | 2018-12-04 | 上海电力学院 | 一种用于巡检机器人的红外图像分割与融合方法 |
| CN110873606B (zh) * | 2018-08-29 | 2021-09-28 | 浙江宇视科技有限公司 | 一种非均匀性校正方法及装置 |
| US10417497B1 (en) | 2018-11-09 | 2019-09-17 | Qwake Technologies | Cognitive load reducing platform for first responders |
| US11890494B2 (en) | 2018-11-09 | 2024-02-06 | Qwake Technologies, Inc. | Retrofittable mask mount system for cognitive load reducing platform |
| US10896492B2 (en) | 2018-11-09 | 2021-01-19 | Qwake Technologies, Llc | Cognitive load reducing platform having image edge enhancement |
| WO2020113407A1 (zh) * | 2018-12-04 | 2020-06-11 | 深圳市大疆创新科技有限公司 | 一种图像处理方法、设备、无人机、系统及存储介质 |
| EP3899621A4 (en) * | 2018-12-21 | 2022-09-28 | Scopio Labs Ltd. | COMPRESSED RECORDING OF MICROSCOPIC IMAGES |
| WO2020205541A1 (en) | 2019-03-29 | 2020-10-08 | Flir Systems Ab | Infrared and visible light imaging module arrangement for improved image processing |
| KR20210006106A (ko) * | 2019-07-08 | 2021-01-18 | 삼성전자주식회사 | 다이내믹 비젼 센서의 이벤트 보정 방법 및 이를 수행하는 이미지 센서 장치 |
| CN112243149B (zh) * | 2019-07-19 | 2022-05-27 | 福建星网视易信息系统有限公司 | 一种超宽画面显示的方法、装置和系统 |
| US11915376B2 (en) | 2019-08-28 | 2024-02-27 | Qwake Technologies, Inc. | Wearable assisted perception module for navigation and communication in hazardous environments |
| US10819905B1 (en) * | 2019-09-13 | 2020-10-27 | Guangdong Media Kitchen Appliance Manufacturing Co., Ltd. | System and method for temperature sensing in cooking appliance with data fusion |
| WO2021055585A1 (en) | 2019-09-17 | 2021-03-25 | Boston Polarimetrics, Inc. | Systems and methods for surface modeling using polarization cues |
| WO2021067677A1 (en) * | 2019-10-02 | 2021-04-08 | Chemimage Corporation | Fusion of molecular chemical imaging with rgb imaging |
| CN114766003B (zh) | 2019-10-07 | 2024-03-26 | 波士顿偏振测定公司 | 用于利用偏振增强传感器系统和成像系统的系统和方法 |
| EP4066001A4 (en) | 2019-11-30 | 2024-01-24 | Boston Polarimetrics Inc | SYSTEMS AND METHODS FOR TRANSPARENT OBJECT SEGMENTATION USING POLARIZATION GUIDES |
| CN111311530B (zh) * | 2020-01-22 | 2022-03-04 | 西安电子科技大学 | 基于方向滤波器及反卷积神经网络的多聚焦图像融合方法 |
| KR20220132620A (ko) | 2020-01-29 | 2022-09-30 | 인트린식 이노베이션 엘엘씨 | 물체 포즈 검출 및 측정 시스템들을 특성화하기 위한 시스템들 및 방법들 |
| JP2023511747A (ja) | 2020-01-30 | 2023-03-22 | イントリンジック イノベーション エルエルシー | 偏光画像を含む異なる撮像モダリティで統計モデルを訓練するためのデータを合成するためのシステムおよび方法 |
| CN111405160B (zh) * | 2020-03-26 | 2021-09-03 | 维沃移动通信有限公司 | 一种摄像头模组及电子设备 |
| EP4127874A1 (en) | 2020-03-31 | 2023-02-08 | Flir Systems AB | Thermal imaging asset inspection systems and methods |
| US11953700B2 (en) | 2020-05-27 | 2024-04-09 | Intrinsic Innovation Llc | Multi-aperture polarization optical systems using beam splitters |
| CN111601052A (zh) * | 2020-06-22 | 2020-08-28 | 仉尚航 | 一种短波红外成像系统及其成像方法 |
| US20220057269A1 (en) * | 2020-08-21 | 2022-02-24 | Analog Devices, Inc. | Multi-sensor using a thermal camera |
| US11954886B2 (en) | 2021-04-15 | 2024-04-09 | Intrinsic Innovation Llc | Systems and methods for six-degree of freedom pose estimation of deformable objects |
| US11290658B1 (en) | 2021-04-15 | 2022-03-29 | Boston Polarimetrics, Inc. | Systems and methods for camera exposure control |
| US11930264B2 (en) * | 2021-05-18 | 2024-03-12 | Magna Electronics Inc. | Vehicular driver monitoring system with camera view optimization |
| US11689813B2 (en) | 2021-07-01 | 2023-06-27 | Intrinsic Innovation Llc | Systems and methods for high dynamic range imaging using crossed polarizers |
| CN114002846B (zh) * | 2021-10-28 | 2024-01-19 | 中国兵器工业集团第二一四研究所苏州研发中心 | 一种基于emccd的微光成像辅助驾驶系统 |
| CN114494084B (zh) * | 2022-04-14 | 2022-07-26 | 广东欧谱曼迪科技有限公司 | 一种图像颜色均化方法、装置、电子设备及存储介质 |
| CN116320783B (zh) * | 2022-09-14 | 2023-11-14 | 荣耀终端有限公司 | 一种录像中抓拍图像的方法及电子设备 |
| WO2024073746A1 (en) | 2022-09-30 | 2024-04-04 | Flir Systems Ab | Camera alignment using reference image for asset inspection systems and methods |
| CN115311173B (zh) * | 2022-10-09 | 2023-01-13 | 山东瑞驰至臻环境科技有限公司 | 用于气体污染识别的视觉增强方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1545064A (zh) * | 2003-11-27 | 2004-11-10 | 上海交通大学 | 红外与可见光图像融合方法 |
| CN101339653A (zh) * | 2008-01-30 | 2009-01-07 | 西安电子科技大学 | 基于彩色传递及熵信息的红外与彩色可见光图像融合方法 |
| CN101546428A (zh) * | 2009-05-07 | 2009-09-30 | 西北工业大学 | 基于区域分割的序列红外与可见光图像融合 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB8317407D0 (en) * | 1983-06-27 | 1983-07-27 | Rca Corp | Image transform techniques |
| US5140416A (en) * | 1990-09-18 | 1992-08-18 | Texas Instruments Incorporated | System and method for fusing video imagery from multiple sources in real time |
| US5325449A (en) * | 1992-05-15 | 1994-06-28 | David Sarnoff Research Center, Inc. | Method for fusing images and apparatus therefor |
| DE59806868D1 (de) | 1998-07-06 | 2003-02-13 | Siemens Building Tech Ag | Bewegungsmelder |
| US6734962B2 (en) | 2000-10-13 | 2004-05-11 | Chemimage Corporation | Near infrared chemical imaging microscope |
| US7620265B1 (en) | 2004-04-12 | 2009-11-17 | Equinox Corporation | Color invariant image fusion of visible and thermal infrared video |
| US7876973B2 (en) * | 2006-01-12 | 2011-01-25 | Integrity Applications Incorporated | Edge ringing artifact suppression methods and apparatuses |
| GB2442512A (en) * | 2006-09-09 | 2008-04-09 | David Hostettler Wain | Motion detector using video frame differences with noise filtering and edge change accentuation |
| US7809258B2 (en) | 2007-07-06 | 2010-10-05 | Flir Systems Ab | Camera and method for use with camera |
| CN100557633C (zh) | 2007-12-18 | 2009-11-04 | 西安电子科技大学 | 基于梳状波和拉普拉斯塔形分解的多源图像融合方法 |
| CN101404084A (zh) | 2008-11-14 | 2009-04-08 | 哈尔滨工业大学 | 基于Wavelet和Curvelet变换的红外图像背景抑制方法 |
-
2010
- 2010-04-23 US US12/766,739 patent/US8520970B2/en active Active
-
2011
- 2011-04-21 CN CN201510182418.3A patent/CN104867123B/zh active Active
- 2011-04-21 EP EP11163417A patent/EP2381417B1/en active Active
- 2011-04-21 EP EP12189621.1A patent/EP2570989B1/en active Active
- 2011-04-21 WO PCT/EP2011/056432 patent/WO2011131758A1/en active Application Filing
- 2011-04-21 EP EP12189618.7A patent/EP2570988A3/en not_active Ceased
- 2011-05-11 US US13/105,765 patent/US8565547B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1545064A (zh) * | 2003-11-27 | 2004-11-10 | 上海交通大学 | 红外与可见光图像融合方法 |
| CN101339653A (zh) * | 2008-01-30 | 2009-01-07 | 西安电子科技大学 | 基于彩色传递及熵信息的红外与彩色可见光图像融合方法 |
| CN101546428A (zh) * | 2009-05-07 | 2009-09-30 | 西北工业大学 | 基于区域分割的序列红外与可见光图像融合 |
Non-Patent Citations (4)
| Title |
|---|
| Optimizing the High-Pass Filter Addition Technique for Image Fusion;Ute G. Gangkofner et al.;《PHOTOGRAMMETRIC ENGINEERING & REMOTE SENSING》;20080930;全文 |
| 基于小波变换的红外图像序列增强;闫记香;《中国优秀硕士学位论文全文数据库信息科技辑》;20090115(第01期);论文摘要、第5章第5.1节、5.2.3节 |
| 基于感知颜色空间的灰度可见光与红外图像融合算法;王加 等;《光电子.激光》;20080930;第19卷(第9期);论文第2节 |
| 基于提升小波变换的红外图像融合算法研究;陈浩 等;《激光与红外》;20090131;第39卷(第1期);论文摘要、第3-4节 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2011131758A1 (en) | 2011-10-27 |
| EP2570989A3 (en) | 2013-09-04 |
| CN104867123A (zh) | 2015-08-26 |
| EP2570988A3 (en) | 2013-08-28 |
| EP2381417A1 (en) | 2011-10-26 |
| EP2570988A2 (en) | 2013-03-20 |
| EP2570989A2 (en) | 2013-03-20 |
| US8565547B2 (en) | 2013-10-22 |
| US20110262053A1 (en) | 2011-10-27 |
| EP2381417B1 (en) | 2012-10-24 |
| US8520970B2 (en) | 2013-08-27 |
| US20110261207A1 (en) | 2011-10-27 |
| EP2570989B1 (en) | 2019-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104867123B (zh) | 利用融合的红外线分辨率与对比度增强 | |
| US11514563B2 (en) | Infrared resolution and contrast enhancement with fusion | |
| CN102334141B (zh) | 利用融合的红外线分辨率与对比度增强 | |
| CN104079839B (zh) | 用于利用视差校正的多光谱成像的设备和方法 | |
| US20170287190A1 (en) | Image enhancement with fusion | |
| US20150279121A1 (en) | Active Point Cloud Modeling | |
| US10148895B2 (en) | Generating a combined infrared/visible light image having an enhanced transition between different types of image information | |
| JP5281972B2 (ja) | 撮像装置 | |
| JPH05501184A (ja) | 連続画像の内容変更を行う方法および装置 | |
| WO2010041584A1 (en) | Imaging system and method | |
| CN109360235A (zh) | 一种基于光场数据的混合深度估计方法 | |
| CN108154514A (zh) | 图像处理方法、装置及设备 | |
| WO2016205419A1 (en) | Contrast-enhanced combined image generation systems and methods | |
| CN108377374A (zh) | 用于产生与图像相关的深度信息的方法和系统 | |
| CN105869115B (zh) | 一种基于kinect2.0的深度图像超分辨率方法 | |
| Böhm | Multi-image fusion for occlusion-free façade texturing | |
| EP2873229A1 (en) | Correction of image distortion in ir imaging | |
| EP2975850A1 (en) | Method for correcting motion estimation between at least two frames of a video sequence, corresponding device, computer program and non-transitory computer-readable medium | |
| Thüring et al. | Silhouette‐based motion capture for interactive VR‐systems including a rear projection screen | |
| Herwig et al. | Spatial Gaussian filtering of Bayer images with applications to color segmentation | |
| JP2014216783A (ja) | 画像処理装置、方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| EXSB | Decision made by sipo to initiate substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |