CN104427245A - 图像融合系统和方法 - Google Patents

图像融合系统和方法 Download PDF

Info

Publication number
CN104427245A
CN104427245A CN201410412571.6A CN201410412571A CN104427245A CN 104427245 A CN104427245 A CN 104427245A CN 201410412571 A CN201410412571 A CN 201410412571A CN 104427245 A CN104427245 A CN 104427245A
Authority
CN
China
Prior art keywords
image
camera
selection
unit
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410412571.6A
Other languages
English (en)
Other versions
CN104427245B (zh
Inventor
吴哉仑
李准性
朴永绪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hanhua Vision Co ltd
Original Assignee
Samsung Techwin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Techwin Co Ltd filed Critical Samsung Techwin Co Ltd
Publication of CN104427245A publication Critical patent/CN104427245A/zh
Application granted granted Critical
Publication of CN104427245B publication Critical patent/CN104427245B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

提供了一种图像融合系统和方法。所述系统包括：多个相机，被配置为分别产生多个图像；图像融合单元，被配置为将所述多个图像融合成单个图像。

Description

图像融合系统和方法
本申请要求于2013年8月20日在韩国知识产权局提交的10-2013-0098609号韩国专利申请的优先权，该申请的公开通过引用全部合并于此。
技术领域
本发明构思的一个或更多个示例性实施例涉及一种基于多个不同类型的相机的图像融合系统和方法。
背景技术
与其他类型的相机相比，用于监控系统的可见光相机(例如，电荷耦合器件(CCD)相机)技术先进，并被应用于各个领域。然而，由于CCD相机仅可在有光的地方执行监控功能，因此在没有光的情况下可能不在监控系统中使用CCD相机。热成像相机可被用于黑暗环境中的监控，并被用于与热辐射相关的各种领域(诸如检测对象的热损耗或分析电路板)。热成像相机可仅可在具有热源的环境中执行监控功能，而不能在没有任何热辐射的环境中执行监控功能。
发明内容
本发明构思的一个或更多个实施例提供一种能够通过对由多个不同类型的相机捕获并随后进行融合的图像进行监控，来执行最优监控的图像融合系统和方法。
各个方面将在下面的描述中部分地阐明，并且从描述中部分是清楚的，或者通过提供的实施例的实施可以被理解。
根据示例性实施例的一方面，提供了一种图像融合系统，所述图像融合系统可包括：图像选择单元，被配置为从由多个不同类型的相机捕获的多个图像中选择至少两个图像；第一匹配单元，被配置为通过基于关于选择的图像的变焦信息，将选择的图像的宽高比调整为与参考宽高比相同，来对选择的图像进行匹配，其中，选择的图像的宽高比根据用于捕获选择的图像的视场(FOV)被分别确定；第二匹配单元，被配置为通过将选择的图像的分辨率调整为与参考分辨率相同，来对选择的图像进行匹配；第三匹配单元，被配置为通过应用选择的图像之间的相互几何关系来对选择的图像进行匹配；融合单元，被配置为对经过第一匹配单元到第三匹配单元匹配的选择的图像进行融合，从而产生融合图像。
第二匹配单元可被配置为对宽高比被调整为与所述参考宽高比相同的选择的图像的分辨率进行调整，第三匹配单元可被配置为将所述相互几何关系应用到分辨率被调整为与所述参考分辨率相同的选择的图像。
所述多个不同类型的相机可包括：多个摇摄倾斜变焦(PTZ，pan-tilt-zoom)相机，每个PTZ相机以各自的FOV捕获同一拍摄区域；多个全方位相机，以预定间隔排列使得由全方位相机中的两个相邻相机捕获的拍摄区域的相邻部分重叠。
所述多个PTZ相机可包括：可见光相机，被配置为产生可见光图像；热成像相机，被配置为产生热图像；红外线相机，被配置为产生红外图像。
图像选择单元可从由所述多个PTZ相机捕获的多个图像和通过从全景图像中裁剪出与所述多个图像相应的区域而产生的裁剪图像中，选择所述至少两个图像，其中，全景图像是通过使用由所述多个全方位相机捕获的图像而产生的。
关于选择的图像的变焦信息可包括关于裁剪图像的变焦信息，其中，关于裁剪图像的变焦信息是从裁剪图像的尺寸转换的数字变焦比。
第一匹配单元可对选择的图像的左边和右边进行裁剪或者对选择的图像执行零填充。
第三匹配单元可包括：特征提取单元，被配置为检测选择的图像的特征；特征匹配单元，被配置为将选择的图像中的一个图像确定为参考图像，并检测所述参考图像的特征和除所述参考图像之外的至少一个图像的特征之间的匹配特征；转换函数估计单元，被配置为基于检测到的匹配特征，来估计除所述参考图像之外的所述至少一个图像的转换函数。
融合单元可通过将权重应用于选择的图像中的每个图像来调整选择的图像的透明度。
所述系统还可包括复用器，其中，复用器被配置为输出所述多个图像和融合图像中的至少一个图像。
根据另一示例性实施例的一方面，提供了一种图像融合系统，所述图像融合系统可包括：多个相机，被配置为分别产生多个图像；图像融合单元，被配置为将所述多个图像融合成单个图像，其中，所述多个相机的视场(FOV)被设置为大体上相同。
所述多个相机可包括可见光相机、热成像相机和红外线相机中的至少两个相机。
图像融合单元可包括：调整尺寸单元，被配置为控制所述多个图像使得所述多个图像的各自的尺寸是相同的；信息融合单元，被配置为提取未显示在可见光图像中但显示在热图像中的对象以及未显示在可见光图像和热图像中但显示在红外图像中的对象，并将热图像和红外图像重叠在可见光图像上，以使得提取出的对象被显示在可见光图像上，其中，可见光图像由可见光相机捕获，热图像由热成像相机捕获，红外图像由红外线相机捕获。
根据另一示例性实施例的一方面，提供了一种图像融合方法，所述方法可包括：从由多个不同类型的相机捕获的多个图像中选择至少两个图像；通过基于关于选择的图像的变焦信息，将选择的图像的宽高比调整为与参考宽高比相同，来对选择的图像进行第一匹配，其中，选择的图像的宽高比根据用于捕获选择的图像的视场(FOV)被分别确定；通过将选择的图像的分辨率调整为与参考分辨率相同，来对选择的图像进行第二匹配；通过应用选择的图像之间的相互几何关系，来对选择的图像进行第三匹配；对经过第一匹配、第二匹配和第三匹配这三个匹配步骤被匹配的选择的图像进行融合，以产生融合图像。
可通过对宽高比被调整为与所述参考宽高比相同的选择的图像的分辨率进行调整，来执行第二匹配，可通过将所述相互几何关系应用到分辨率被调整为与所述参考分辨率相同的选择的图像来执行第三匹配。
所述多个不同类型的相机可包括：PTZ相机，每个PTZ相机以各自的FOV捕获同一拍摄区域；多个全方位相机，以预定间隔排列使得由全方位相机中的两个相邻相机捕获的拍摄区域的相邻部分重叠，其中，所述多个PTZ相机可包括产生可见光图像的可见光相机、产生热图像的热成像相机以及产生红外图像的红外线相机。
选择所述至少两个图像的步骤可包括：从由所述多个PTZ相机捕获的多个图像和通过从全景图像中裁剪出与所述多个图像相应的区域而产生的裁剪图像中，选择所述至少两个图像，其中，全景图像是通过使用由所述多个全方位相机捕获的图像而产生的。
关于选择的图像的变焦信息包括关于裁剪图像的变焦信息，其中，关于裁剪图像的变焦信息是从裁剪图像的尺寸转换的数字变焦比。
调整宽高比的步骤可包括：对选择的图像的左边和右边进行裁剪或对选择的图像进行零填充。
第三匹配的步骤可包括：检测选择的图像的特征；将选择的图像中的一个图像确定为参考图像，并检测所述参考图像的特征和除所述参考图像之外的至少一个图像的特征之间的匹配特征；基于检测到的匹配特征来估计除所述参考图像之外的所述至少一个图像的转换函数。
融合的步骤可包括：通过将权重应用于选择的图像中的每个图像，来调整选择的图像的透明度。
所述系统还可包括输出所述多个图像和融合图像中的至少一个图像。
根据另一示例性实施例的一方面，提供了一种图像融合方法，所述方法可包括：通过使用可见光相机以第一FOV产生显示对象的亮度分布的可见光图像；通过使用热成像相机来产生显示关于对象的温度信息的热图像，其中，热成像相机被控制使得热成像相机的FOV与可见光相机的FOV相同；通过使用红外线相机来产生通过将红外线发射到对象上而接收到的红外图像，其中，红外线相机被控制使得红外线相机的FOV与可见光相机和热成像相机的FOV相同；将可见光图像、热图像和红外图像融合成单个图像。
融合图像的步骤可包括：控制可见光图像、热图像和红外图像，使得可见光图像、热图像和红外图像的各自的尺寸相同。
融合图像的步骤可包括：提取未显示在可见光图像中但显示在热图像中的对象；提取未显示在可见光图像和热图像中但显示在红外图像中的对象；将热图像和红外图像重叠在可见光图像上，以使得提取出的对象被显示在可见光图像上。
附图说明
从下面结合附图进行的示例性实施例的描述中，这些和/或其他方面将变得明显和更易于理解，其中：
图1是根据示例性实施例的图像融合系统的框图；
图2是根据示例性实施例的图像融合单元的框图；
图3是根据示例性实施例的图像融合屏幕的示图；
图4是根据示例性实施例的图像融合方法的流程图；
图5是根据另一示例性实施例的图像融合系统的框图；
图6是根据示例性实施例的图5的图像融合单元的框图；
图7是根据示例性实施例的图6的全景图像产生单元的框图；
图8和图9是用于描述根据示例性实施例的产生全景图像的方法的示图；
图10是将由图像选择单元根据图像选择信号选择的图像的组合的示例；
图11是用于描述根据示例性实施例的调整宽高比的示例的示图；
图12是根据示例性实施例的第三匹配单元的框图；
图13是将由复用器根据图像选择信号选择的图像的组合的示例；
图14是根据示例性实施例的图像融合方法的流程图。
具体实施方式
尽管本发明构思允许各种改变和众多实施例，但将在附图中示出并在撰写的说明书中详细描述特定示例性实施例。然而，这不意在将本发明构思限制于特定的实施模式，并且将理解不脱离本发明构思的精神和技术范围的所有改变、等同物和替代物包括在本申请中。在示例性实施例的描述中，当认为相关领域的某些详细解释可能不必要地模糊本发明构思的本质时，省略相关领域的某些详细解释。
尽管诸如“第一”、“第二”等的术语可被用于描述各种组件，但这样的组件一定不限于以上术语。以上术语仅用于区分一个组件与另一组件。
本说明书中使用的术语仅用于描述特定示例性实施例，并不意在限制本发明构思。除非以单数形式使用的表述在上下文中具有明显不同的意思，否则以单数形式使用的表述包括复数的表述。在本说明书中，将理解诸如“包括”、“具有”、“包含”的术语意在指示存在说明书中公开的特征、数量、步骤、动作、组件、部件或上述项的组合，而不意在排除可存在或可添加一个或更多个其他特征、数量、步骤、动作、组件、部件或上述项的组合的可能性。
可依据功能块组件和各种处理步骤来描述示例性实施例。这样的功能块可通过许多被配置为用于执行指定功能的硬件和/或软件组件来实现。例如，示例性实施例可采用各种集成电路(IC)组件(例如，存储器元件、处理元件、逻辑元件、查找表等)，其中，所述集成电路组件可在一个或更多个微处理器或其它控制装置的控制下实现多种功能。类似地，在使用软件编程或软件元素来实现示例性实施例的元件时，可使用任意编程或脚本语言(诸如C、C++、Java、汇编语言等)，使用各种算法来实现本发明，其中，用数据结构、对象、处理、例行程序或其它编程元素的任意组合来实现所述算法。可按照在一个或更多个处理器上执行的算法来实现各功能方面。此外，示例性实施例可采用许多用于电子配置、信号处理和/或控制、数据处理等的传统技术。词语“机械结构”、“元件”、“装置”和“配置”可被广泛使用，并且不限于机械或物理实施例，而是可包括与处理器等相关联的软件程序。
在下文中，现在将详细参照示例性实施例，其中，在整个示例性实施例中相同的标号表示相同的元件。诸如“…中的至少一个”的表述出现在一列元素之后时，修饰整列元素，而不是修饰这一列中的单独元素。
图1是根据示例性实施例的图像融合系统1的框图。
参照图1，根据本实施例的图像融合系统1包括摇摄倾斜变焦(PTZ，pan-tilt-zoom)相机单元100、PTZ控制器200、图像融合单元400和显示单元500。
PTZ相机单元100包括可见光相机100a、热成像相机100b和包括红外灯110的红外线相机100c。可见光相机100a、热成像相机100b和红外线相机100c可通过使用内置摇摄马达(未示出)来摇摄(即，水平旋转360°)，通过使用内置倾斜马达(未示出)来倾斜(即，垂直旋转90°或更大角度)，并变焦(即，放大或缩小对象的图像)。可见光相机100a、热成像相机100b和红外线相机100c的摇摄、倾斜和变焦操作可通过PTZ控制器200来控制。
PTZ控制器200可控制变焦镜头使得可见光相机100a、热成像相机100b和红外线相机100c捕获同一拍摄区域。可以以相同的视场(FOV)执行通过这三种相机对同一拍摄区域的拍摄。也就是说，这三种相机可针对同一拍摄区域具有相同的FOV。然而，由于这三种相机可能不会同时被放置在完全相同的位置处，所以针对同一拍摄区域的FOV可能不完全相同，但是，针对同一拍摄区域的FOV可大体上足够相同，只要足以针对同一拍摄区域产生如后所述的融合图像。
可见光相机100a是通过检测光来获得图像信息，从而根据对象的亮度分布来产生可见光图像的监控相机。可见光相机100a被用于像人眼一样监控可见光区域中的对象。例如，可见光相机100a可以是使用电荷耦合器件(CCD)作为成像器件的CCD相机。可见光相机100a可被安装在需要被监控的公共设施(诸如办公室、住宅、医院或银行)的内部或外部，因而可被用于控制访问或安全。根据可见光相机100a安装的位置和使用的目的，可见光相机100a可具有各种形式(诸如，直线形式或圆顶状形式)。在这里描述的示例性实施例中，“对象”是包括背景和主体的术语。
在给定的拍摄条件下，可见光相机100a提供良好的灵敏度和高分辨率图像。与其他传感器相比，可见光相机100a的图像传感器具有相对宽的动态范围。
热成像相机100b检测以红外线波长形式从对象发射的辐射能(热能)，估计热能的强度，从而根据热能的强度产生不同颜色的热图像，其中，红外线波长形式是电磁波的一种类型。在热图像中，根据表面的温度，对象的表面被映射和显示为不同的颜色。
尽管热成像相机100b即使在没有光的环境中也可捕获对象的图像，但因为热成像相机100b的分辨率低于可见光相机100a的分辨率，因此难以识别由热成像相机100b捕获的图像中的对象。
红外线相机100c检测大约300nm到大约700nm之间的光区域，因而包括检测不能被人眼识别的红外线区域的光传感器。因此，红外线相机100c可捕获黑暗的地方或穿过薄材料进行捕获。红外线相机100c通过使红外灯110(例如，红外发光二极管(IR-LED))发光，并随后接收从对象反射的红外线，来捕获对象。
PTZ控制器200控制变焦镜头使得可见光相机100a、热成像相机100b和红外线相机100c以相同的FOV捕获图像。由于传感器的大小和变焦镜头的每个变焦部分的焦距可能在每个相机中不同，所以有必要准确地控制变焦镜头使得由可见光相机100a、热成像相机100b和红外线相机100c捕获的图像具有相同的FOV。
图像融合单元400执行信号处理(即，将接收到的图像信号输出为满足显示标准的信号)。图像融合单元400对从可见光相机100a输出的可见光图像、从热成像相机100b输出的热图像以及从红外线相机100c输出的红外图像进行融合。可见光相机100a不可以显示黑暗地方中的对象，热成像相机100b可显示发热的对象，但不可以显示没有光的地方中的不发热的对象，红外线相机100c可显示没有光的地方中的不发热的对象。图像融合单元400可通过适当地利用可见光相机100a、热成像相机100b和红外线相机100c的优点和缺点，来显示对象的图像。
图像融合单元400对从可见光相机100a输出的可见光图像、从热成像相机100b输出的热图像以及从红外线相机100c输出的红外图像进行融合。图像融合单元400对可见光图像和热图像进行比较，从而提取未显示在可见光图像中但显示在热图像中的对象。此外，图像融合单元400对可见光图像、热图像和红外图像进行比较，从而提取未显示在可见光图像和热图像中但显示在红外图像中的对象。图像融合单元400将热图像和红外图像重叠在可见光图像上，以使得提取出的对象被显示在可见光图像中。当提取对象时，图像融合单元400可确定对象的各自的大小和位置。
显示单元500对通过对可见光图像、热图像和红外图像进行融合从图像融合单元输出的视频信号进行处理，从而向用户提供视频信号，使得用户可监控显示的图像。显示单元500显示通过将热图像和红外图像重叠在可见光图像上而产生的融合图像。显示单元500可被配置为液晶显示器(LCD)面板、有机发光显示器(OLED)面板或电泳显示(EPD)面板。显示单元500可被配置为触摸屏使得用户可通过触摸进行输入，因此显示单元500可用作用户输入界面。
在本实施例中，PTZ相机单元100包括三种不同类型的相机(即，可见光相机100a、热成像相机100b和红外线相机100c)。然而，本发明构思不限于该实施例。根据另一示例性实施例，PTZ相机单元100可包括大于或小于三种不同类型的相机。
图2是根据示例性实施例的图像融合单元400的框图。
参照图2，图像融合单元400包括可见光图像处理单元410、热图像处理单元420、红外图像处理单元430、信息融合单元440、编解码器450、图像输出单元460和输出控制器470。
可见光图像处理单元410包括模/数(A/D)转换器412、预处理单元414和调整尺寸单元416。
A/D转换器412处理从可见光相机接收到的模拟可见光图像信号，以便去除噪声和调整幅度，并随后将模拟可见光图像信号转换为数字图像数据。
预处理单元414执行用于处理图像的预处理(诸如数字图像数据的归一化)。
调整尺寸单元416调整可见光图像的尺寸，使得可见光图像和热图像具有相同的尺寸并可相互匹配。调整尺寸单元416执行像素插值来调整尺寸。各种方法(诸如线性插值方法)可被用于执行像素插值。
热图像处理单元420包括A/D转换器422、预处理单元424和调整尺寸单元426。
A/D转换器422处理从热成像相机接收到的模拟热图像信号，以便去除噪声和调整幅度，并随后将模拟热图像信号转换为数字图像数据。
预处理单元424执行用于处理图像的预处理(诸如数字图像数据的归一化)。
调整尺寸单元426调整热图像的尺寸，使得可见光图像和热图像具有相同的尺寸并可相互匹配。调整尺寸单元426执行像素插值来调整尺寸。各种方法(诸如线性插值方法)可被用于执行像素插值。由于热图像的像素的数量通常小于可见光图像的像素的数量，因此可对热图像的像素进行插值，使得热图像具有与可见光图像相同的尺寸。
红外图像处理单元430包括A/D转换器432、预处理单元434和调整尺寸单元436。
A/D转换器432处理从红外线相机接收到的模拟红外图像信号，以便去除噪声和调整幅度，并随后将模拟红外图像信号转换为数字图像数据。
预处理单元434执行用于处理图像的预处理(诸如数字图像数据的归一化)。
调整尺寸单元436调整红外图像的尺寸，使得可见光图像、热图像和红外图像具有相同的尺寸并可相互匹配。调整尺寸单元436执行像素插值来调整尺寸。各种方法(诸如线性插值方法)可被用于执行像素插值。
信息融合单元440对具有相同尺寸的数字可见光图像、数字热图像和数字红外图像进行融合。信息融合单元440对可见光图像和热图像进行比较，从而提取未显示在可见光图像中但显示在热图像中的对象。此外，信息融合单元440对可见光图像、热图像和红外图像进行比较，从而提取未显示在可见光图像和热图像中但显示在红外图像中的对象。随后，信息融合单元440将热图像和红外图像重叠在可见光图像上，以使得提取出的对象被显示在可见光图像中。
编解码器450对在信息融合单元中通过对可见光图像、红外图像和热图像进行融合而产生的视频信号进行编码，并将编码后的作为单个图像的视频信号输出到图像输出单元。
输出控制器470控制由信息融合单元440输出的图像(即，视频信号)的类型。此外，输出控制器470控制可见光相机100a、热成像相机100b和红外线相机100c的输出。
图3是根据示例性实施例的图像融合屏幕的示图。
图3示出由可见光相机100a捕获的并显示被光照射的对象310的图像、由热成像相机100b捕获的并显示发热的对象320的图像、由红外线相机100c捕获并显示发出反射的红外线的对象330的图像。
图像融合单元400提取分别显示在可见光图像、热图像和红外图像中的对象310、320和330，将热图像和红外图像重叠在可见光图像上，从而产生显示的对象310、320和330的融合图像，并随后通过使用图1显示的显示单元500来输出融合图像。
最优监控通过对由可见光相机、热成像相机和红外相机以相同的FOV捕获的图像进行融合和监控来实现，从而不存在未被拍摄的区域。
在下文中，将参照图4描述根据示例性实施例的图像融合方法。根据示例性实施例的图像融合方法可在如图1和图2所示的图像融合系统中执行。将不再描述已参照图1到图3描述的特征。
参照图4，可见光相机100a以给定的FOV产生显示对象的亮度分布的可见光图像(S410)。
热成像相机100b被控制使得它的FOV与可见光相机100a的FOV相同，并产生显示关于对象的温度信息的热图像(S420)。
红外线相机100c被控制使得它的FOV与可见光相机100a和热成像相机100b的FOV相同，并产生红外图像，其中，通过将红外线发射到对象上，并随后从对象接收反射的红外线来产生红外图像(S430)。
图像融合单元400接收并随后对可见光图像、热图像和红外图像进行融合(S440)。图像融合单元400将可见光图像、热图像和红外图像转换为数字图像数据；执行用于处理图像的预处理(诸如归一化)；并随后调整可见光图像、热图像和红外图像的尺寸，使得它们具有相同的尺寸并可相互匹配。随后，图像融合单元400对可见光图像和热图像进行比较，从而提取未显示在可见光图像中但显示在热图像中的对象；此外，对可见光图像、热图像和红外图像进行比较，从而提取未显示在可见光图像和热图像中但显示在红外图像中的对象。当提取对象时，图像融合单元400可确定对象的各自的大小和位置。图像融合单元400将热图像和红外图像重叠在可见光图像上，以使得提取出的对象被显示在可见光图像中。
图5是根据另一示例性实施例的图像融合系统2的框图。
参照图5，根据本实施例的图像融合系统2包括PTZ相机单元100、PTZ控制器200、全方位相机单元300、图像融合单元400b和显示单元500b。
图5中显示的实施例与图1中显示的实施例的不同之处在于：额外包括全方位相机单元300，并且PTZ相机单元100中的PTZ相机的各自的FOV是不同的。在下文中，将主要描述图1的实施例和图5的实施例之间的不同。
PTZ相机单元100包括可见光相机100a、热成像相机100b以及包括红外灯110的红外线相机100c。
PTZ控制器200可控制变焦镜头，使得可见光相机100a、热成像相机100b和红外线相机100c以分别确定的FOV来捕获同一拍摄区域。因此，分别由可见光相机100a、热成像相机100b和红外线相机100c捕获的图像可具有不同的FOV。可见光相机100a、热成像相机100b和红外线相机100c以分别确定的FOV捕获图像，并将具有与分别确定的FOV相应的宽高比和分辨率的图像输出到图像融合单元400b。
全方位相机单元300可包括多个第一相机到第n相机。多个第一相机到第n相机设置在保护装置(壳体)中，并被水平地和环形地布置(即，以预定间隔分隔开并以放射形式排列)。多个第一相机到第n相机被固定在保护装置中，并仅捕获预定区域的前部。如果必要，则可在没有保护装置的情况下设置有多个第一相机到第n相机。
多个第一相机到第n相机以分别确定的FOV捕获前部。可根据分别确定的FOV来确定用于在所有方向(即，360°)上捕获的第一相机到第n相机的数量。在这种情况下，相邻的相机的FOV被确定，使得FOV相互重叠预定区域。多个第一相机到第n相机将以分别确定的FOV捕获的图像输出到图像融合单元400b。
图像融合单元400b可对以下图像中的至少两个图像进行融合：从可见光相机100a输出的可见光图像、从热成像相机100b输出的热图像、从红外线相机100c输出的红外图像以及通过从全方位相机单元300输出的图像而产生的全景图像。
显示单元500b可向用户提供从图像融合单元400b输出的可见光图像、热图像、红外图像、全景图像和融合图像中的至少一个，以使得用户可监控显示的图像。
图6是根据示例性实施例的图5的图像融合单元400b的框图。图7是根据示例性实施例的图6的全景图像产生单元401的框图。图8和图9是用于描述根据示例性实施例的产生全景图像的方法的示图。
参照图6，图像融合单元400b可包括全景图像产生单元401、图像裁剪单元402、图像选择单元403、第一匹配单元404、第二匹配单元405、第三匹配单元406、信息融合单元407和复用器408。
另外参照图7，全景图像产生单元401可包括特征提取单元411、特征匹配单元431、转换函数估计单元451和图像合成单元471。
特征提取单元411从全方位相机单元300的多个第一相机到第n相机接收捕获的图像P1到图像Pn，并从每个捕获的图像中提取特征。
特征匹配单元431从两个相邻的捕获的图像中检测各自的特征。
转换函数估计单元451通过使用两个相邻的捕获的图像的各自的特征，来估计转换函数。
图像合成单元471通过使用估计出的转换函数，对捕获的图像P1到图像Pn之中的两个相邻的捕获图像进行变形并随后进行合成，从而产生全景图像P。例如，如图8中所示，图像合成单元471可通过使用转换函数对彼此相邻的第一捕获图像P1和第二捕获图像P2进行变形，并对第一捕获图像P1和第二捕获图像P2进行合成，使得存在重叠区域P12。可如上所述通过顺序地对捕获的图像P1到图像Pn进行变形和合成，来产生全方位图像(即，全景图像P)。
图像裁剪单元402可在全景图像P中裁剪出期望的区域。PTZ控制器200基于PTZ相机单元100的摇摄和倾斜信息来产生位置选择控制信号S1。如在图9中所示，位置选择控制信号S1包括将被裁剪的全景图像P中的开始点S(x1,y1)和结束点E(x2,y2)的坐标。图像裁剪单元402接收位置选择控制信号S1，裁剪出与开始点的坐标和结束点的坐标相应的块，并随后输出裁剪图像Pc。
图像选择单元403从图像裁剪单元402接收裁剪图像Pc，并分别从可见光相机100a、热成像相机100b和红外线相机100c分别接收可见光图像V、热图像T和红外图像R。
图像选择单元403接收图像选择信号S2，并根据图像选择信号S2从可见光图像V、热图像T、红外图像R和裁剪图像Pc中选择将被融合的图像。图10是将由图像选择单元403根据图像选择信号S2选择的图像的组合的示例。图10的示例显示四种类型的输入图像中的一种到四种选择的图像的组合。当仅一种图像被选择时，选择的图像可不进行融合处理就被显示在显示单元500b上。可从图像融合系统2的控制器(未示出)提供图像选择信号S2。
在图像选择单元403中接收到的可见光图像V、热图像T和红外图像R以及在全景图像产生单元401中接收到的捕获图像P1到图像Pn可以是如图2中所示的通过使用A/D转换器进行A/D转换并通过使用预处理单元进行预处理的图像。
第一匹配单元404使由图像选择单元403输出的选择的图像的FOV相等。第一匹配单元404可基于选择的图像的变焦信息Z检测每个图像的FOV。关于可见光图像V、热图像T和红外图像R的变焦信息可包括变焦镜头的变焦比和数字变焦比。关于裁剪图像Pc的变焦信息可包括从裁剪图像Pc的尺寸转换的数字变焦比。可根据FOV确定图像的宽高比。可从连接到PTZ控制器200和全方位相机单元300的图像融合系统2的控制器(未示出)提供变焦信息Z。
第一匹配单元404可将与检测到的FOV相应的每个图像的宽高比调整为与参考宽高比相同。当选择的图像的宽高比大于参考宽高比时，第一匹配单元404可裁剪选择的图像的左边和右边，以使得选择的图像的宽高比与参考宽高比相匹配。当选择的图像的宽高比小于参考宽高比时，第一匹配单元404可执行插值或零填充，以使得选择的图像的宽高比与参考宽高比相匹配。参考宽高比可以是选择的图像中的任何一个图像的宽高比，或由用户确定的预定宽高比。
图11是用于描述根据示例性实施例的调整宽高比的示例的示图。参照图11，选择的图像为可见光图像V和红外图像R，参考宽高比为红外图像R的宽高比。红外图像R的宽高比为4:3，而可见光图像V的宽高比为16:9。第一匹配单元404可通过将可见光图像V的左边和右边裁剪掉裁剪长度Cl，来将可见光图像V的宽高比调整为等于4:3。
基于变焦信息Z，第二匹配单元405使选择的图像的分辨率相等，其中，选择的图像具有相等的FOV(或宽高比)，并由第一匹配单元404输出。第二匹配单元405可将选择的图像的分辨率调整为与参考分辨率相同。参考分辨率可以是选择的图像中的任何一个图像的分辨率，或由用户确定的预定分辨率。第二匹配单元405可通过使选择的图像的分辨率相等，来调整选择的图像的尺寸以使选择的图像具有相同的尺寸，从而选择的图像的像素可与另一选择的图像的像素以1:1相匹配。第二匹配单元405可与图2的调整尺寸单元相应。当最小分辨率被确定为参考分辨率时，可高速执行分辨率转换，并可使用较少的资源。
第三匹配单元406通过使用相互几何关系，对基于参考分辨率被调整的选择的图像进行匹配。可通过使用转换函数来表示相互几何关系。图12是根据示例性实施例的第三匹配单元406的框图。第三匹配单元406可包括特征提取单元416、特征匹配单元436和转换函数估计单元456。
特征提取单元416检测选择的图像的特征。可单独地为每个可融合的图像提供特征提取单元416(例如，用于检测可见光图像V、热图像T、红外图像R和裁剪图像Pc的各自的特征的四个特征提取单元)。可选地，特征选择单元416可被整体提供，从而可顺序或并行地检测选择的图像的特征。特征提取单元416可通过使用尺度不变特征变换(SIFT)算法、HARRIS角点检测算法、SUSAN算法等，来从第一图像和第二图像中提取角点、边缘、轮廓、线交叉点等作为特征。根据本实施例，特征提取算法不限于上述示例，并且可使用各种特征提取算法。
特征匹配单元436可检测选择的图像的各自的特征之间的匹配特征。特征匹配单元436可将选择的图像中的一个图像确定为参考图像，并检测参考图像和除参考图像之外的图像之间的匹配特征。特征匹配单元436可通过使用归一化互信息和梯度方向信息作为参数，来确定特征中的相似性，从而检测匹配特征。通过对显示两个概率变量之间的统计相关性的互信息进行归一化来获得归一化互信息。由于可通过使用本领域的算法和公知的方法来估计归一化互信息和梯度方向信息，所以将在本实施例的详细描述中省略估计互信息和梯度方向信息的详细描述。
转换函数估计单元456可基于检测到的匹配特征来估计转换函数H。如在公式1中，转换函数估计单元456可通过使用随机抽样一致(RANSAC)算法或局部优化RANSAC(LO-RANSAC)算法来估计转换函数H。转换函数估计单元456可估计参考图像与除参考图像之外的图像之间的转换函数。
H = h 11 h 12 h 13 h 21 h 22 h 23 h 31 h 32 h 33 . . . ( 1 )
转换函数H的元素(h11到h13)包括关于旋转角度的旋转信息；关于在x、y和z方向上的移动距离的平移信息；以及关于在x、y和z方向上的缩放程度的缩放信息。
信息融合单元407可通过对匹配的图像进行融合来产生融合图像F。信息融合单元407可对选择的图像进行重叠，并调整每个图像的强度(透明度)。信息融合单元407可通过将强度权重应用于每个图像或每个图像的像素来调整透明度。
复用器408可选择并输出融合图像F、可见光图像V、热图像T、红外图像R和裁剪图像Pc中的至少一个。复用器408接收图像选择信号S3，并根据图像选择信号S3选择融合图像F、可见光图像V、热图像T、红外图像R和裁剪图像Pc中的至少一个。图13是将由复用器408根据图像选择信号S3选择的图像的组合的示例。图13的示例显示五种类型的输入图像中的一种到五种选择的图像的组合。可将选择的图像显示在显示单元500b上。可从图像融合系统2的控制器(未示出)提供图像选择信号S2。
尽管未示出，但信息融合单元407可通过使用如图2中显示的编解码器对融合图像进行编码。
在本实施例中，按照第一匹配单元404到第三匹配单元406的顺序，在第一匹配单元404到第三匹配单元406中对在图像选择单元403中选择的图像进行匹配。然而，本发明构思不限于此，因而根据示例性实施例，图像匹配可按照不同的顺序在第一匹配单元404到第三匹配单元406中执行。
图14是根据示例性实施例的图像融合方法的流程图。
可见光相机100a以第一FOV产生显示对象的亮度分布的可见光图像(S11)。热成像相机100b以第二FOV产生显示关于对象的温度信息的热图像(S12)。红外线相机100c以第三FOV产生红外图像，其中，通过将红外线发射到对象上，并随后从对象接收反射的红外线来产生红外图像(S13)。图像融合单元400b通过对从包括多个第一相机到第n相机的全方位相机单元300接收到的图像进行合成，来产生全景图像，并通过对与由可见光相机100a、热成像相机100b和红外线相机100c捕获的区域相应的区域进行裁剪，来产生全景图像的裁剪图像(S14)。
图像融合单元400b可从可见光图像、热图像、红外图像和裁剪图像中选择至少两个图像进行融合(S15)。当仅一种图像被选择时，选择的图像可不进行融合处理就被显示。
图像融合单元400b可调整选择的图像的FOV(S16)。图像融合单元400b可基于选择的图像的变焦信息来检测选择的图像的FOV，并将与选择的图像的FOV相应的宽高比调整为与参考宽高比相同。变焦信息可包括变焦镜头的变焦比、数字变焦比和从图像尺寸转换的变焦比。
图像融合单元400b可调整选择的图像的分辨率(S17)。基于变焦信息，图像融合单元400b可调整根据参考宽高比被调整的选择的图像的尺寸，从而选择的图像的分辨率可被调整为与参考分辨率相同。因此，选择的图像的像素的数量可以是相同的。
图像融合单元400b可通过使用相互几何关系，对基于参考分辨率被调整的选择的图像进行匹配(S18)。图像融合单元400b可通过对选择的图像的特征进行匹配来估计转换函数，并且通过使用估计出的转换函数，图像融合单元400b可针对参考图像布置除参考图像之外的图像，并随后对图像进行变形。
图像融合单元400b可通过对匹配的图像进行融合来产生融合图像(S19)。在融合图像中，可通过将权重应用于每个图像来调整选择的图像中的每个图像的透明度。
图像融合单元400b可选择融合图像、可见光图像、热图像、红外图像和裁剪图像中的至少一个，并将选择的图像输出到显示单元500b(S20)。
根据上述实施例的图像融合系统和方法可被用于各种目的，诸如监控如普通军事基地(GOP)的安全区域，监控有必要进行24小时监控的区域(例如，在山中监控火灾)，监控具有低光量或无光的建筑物和居民区的非法侵入，跟踪山中失踪的人或罪犯，以及医疗成像。
如上所述，根据上述示例性实施例，可通过对来自于由多个不同类型的相机捕获的图像的融合图像进行监控来执行最优监控。
本发明构思还可被实现为计算机可读记录介质上的计算机可读代码。计算机可读记录介质是可存储可随后由计算机系统读取的数据的任何数据存储装置。
计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘、光学数据存储装置等。计算机可读记录介质还可被分布在联网的计算机系统上，从而计算机可读代码以分布的方式被存储和执行。此外，本发明构思所属领域中的技术程序员可容易地解释用于实现本发明的功能程序、代码和代码段。
应该理解这里描述的示例性实施例应该被视为仅具有描述性的意义而不是为了限制的目的。每个实施例中的特征或方面的描述一般应该被视为可用于其他实施例中的其他相似特征或方面。
尽管已参照示图描述了一个或更多个实施例，但本领域中的普通技术人员将理解，在不脱离由权利要求限定的本发明构思的精神和范围的情况下，可对其形式和细节进行各种改变。

Claims (20)

1.一种图像融合系统，包括：
图像选择单元，被配置为从由多个不同类型的相机捕获的多个图像中选择至少两个图像；
第一匹配单元，被配置为通过基于关于选择的图像的变焦信息，将选择的图像的宽高比调整为与参考宽高比相同，来对选择的图像进行匹配，其中，选择的图像的宽高比根据用于捕获选择的图像的视场(FOV)被分别确定；
第二匹配单元，被配置为通过将选择的图像的分辨率调整为与参考分辨率相同，来对选择的图像进行匹配；
第三匹配单元，被配置为通过应用选择的图像之间的相互几何关系来对选择的图像进行匹配；
融合单元，被配置为对经过第一匹配单元到第三匹配单元匹配的选择的图像进行融合，从而产生融合图像。
2.如权利要求1所述的系统，其中，第二匹配单元被配置为对宽高比被调整为与所述参考宽高比相同的选择的图像的分辨率进行调整，
其中，第三匹配单元被配置为将所述相互几何关系应用到分辨率被调整为与所述参考分辨率相同的选择的图像。
3.如权利要求1所述的系统，其中，所述多个不同类型的相机包括：
多个摇摄倾斜变焦(PTZ)相机，每个PTZ相机以各自的FOV捕获同一拍摄区域；
多个全方位相机，以预定间隔排列使得由全方位相机中的两个相邻相机捕获的拍摄区域的相邻部分重叠。
4.如权利要求3所述的系统，其中，所述多个PTZ相机包括：
可见光相机，被配置为产生可见光图像；
热成像相机，被配置为产生热图像；
红外线相机，被配置为产生红外图像。
5.如权利要求3所述的系统，其中，图像选择单元从由所述多个PTZ相机捕获的多个图像和通过从全景图像中裁剪出与所述多个图像相应的区域而产生的裁剪图像中，选择所述至少两个图像，其中，全景图像是通过使用由所述多个全方位相机捕获的图像而产生的。
6.如权利要求5所述的系统，其中，关于选择的图像的变焦信息包括关于裁剪图像的变焦信息，其中，关于裁剪图像的变焦信息是从裁剪图像的尺寸转换的数字变焦比。
7.如权利要求1所述的系统，其中，第一匹配单元对选择的图像的左边和右边进行裁剪或者对选择的图像执行零填充。
8.如权利要求1所述的系统，其中，第三匹配单元包括：
特征提取单元，被配置为检测选择的图像的特征；
特征匹配单元，被配置为将选择的图像中的一个图像确定为参考图像，并检测所述参考图像的特征和除所述参考图像之外的至少一个图像的特征之间的匹配特征；
转换函数估计单元，被配置为基于检测到的匹配特征来估计除所述参考图像之外的所述至少一个图像的转换函数。
9.如权利要求1所述的系统，其中，融合单元通过将权重应用于选择的图像中的每个图像来调整选择的图像的透明度。
10.如权利要求1所述的系统，还包括：复用器，被配置为输出所述多个图像和融合图像中的至少一个图像。
11.一种图像融合系统，包括：
多个相机，被配置为分别产生多个图像；
图像融合单元，被配置为将所述多个图像融合成单个图像，
其中，所述多个相机的视场(FOV)被设置为大体上相同。
12.如权利要求11所述的系统，其中，所述多个相机包括可见光相机、热成像相机和红外线相机中的至少两个相机。
13.如权利要求12所述的系统，其中，图像融合单元包括：
调整尺寸单元，被配置为控制所述多个图像使得所述多个图像的各自的尺寸是相同的；
信息融合单元，被配置为提取未显示在可见光图像中但显示在热图像中的对象和未显示在可见光图像和热图像中但显示在红外图像中的对象，并将热图像和红外图像重叠在可见光图像上，以使得提取出的对象被显示在可见光图像上，其中，可见光图像由可见光相机捕获，热图像由热成像相机捕获，红外图像由红外线相机捕获。
14.一种图像融合方法，包括：
从由多个不同类型的相机捕获的多个图像中选择至少两个图像；
通过基于关于选择的图像的变焦信息，将选择的图像的宽高比调整为与参考宽高比相同，来对选择的图像进行第一匹配，其中，选择的图像的宽高比根据用于捕获选择的图像的视场(FOV)被分别确定；
通过将选择的图像的分辨率调整为与参考分辨率相同，来对选择的图像进行第二匹配；
通过应用选择的图像之间的相互几何关系，来对选择的图像进行第三匹配；
对经过第一匹配、第二匹配和第三匹配这三个匹配步骤被匹配的选择的图像进行融合，以产生融合图像。
15.如权利要求14所述的方法，其中，通过对宽高比被调整为与所述参考宽高比相同的选择的图像的分辨率进行调整，来执行第二匹配，
其中，通过将所述相互几何关系应用到分辨率被调整为与所述参考分辨率相同的选择的图像来执行第三匹配。
16.如权利要求14所述的方法，其中，所述多个不同类型的相机包括：
多个摇摄倾斜变焦(PTZ)相机，每个PTZ相机以各自的FOV捕获同一拍摄区域；
多个全方位相机，以预定间隔排列使得由全方位相机中的两个相邻相机捕获的拍摄区域的相邻部分重叠，
其中，所述多个PTZ相机包括产生可见光图像的可见光相机、产生热图像的热成像相机以及产生红外图像的红外线相机。
17.如权利要求16所述的方法，其中，选择所述至少两个图像的步骤包括：从由所述多个PTZ相机捕获的多个图像和通过从全景图像中裁剪出与所述多个图像相应的区域而产生的裁剪图像中，选择所述至少两个图像，其中，全景图像是通过使用由所述多个全方位相机捕获的图像而产生的。
18.如权利要求17所述的方法，其中，关于选择的图像的变焦信息包括关于裁剪图像的变焦信息，其中，关于裁剪图像的变焦信息是从裁剪图像的尺寸转换的数字变焦比。
19.如权利要求14所述的方法，其中，第三匹配的步骤包括：
检测选择的图像的特征；
将选择的图像中的一个图像确定为参考图像，并检测所述参考图像的特征和除所述参考图像之外的至少一个图像的特征之间的匹配特征；
基于检测到的匹配特征来估计除所述参考图像之外的所述至少一个图像的转换函数。
20.如权利要求14所述的方法，其中，融合的步骤包括：通过将权重应用于选择的图像中的每个图像，来调整选择的图像的透明度。
CN201410412571.6A 2013-08-20 2014-08-20 图像融合系统和方法 Active CN104427245B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20130098609A KR20150021353A (ko) 2013-08-20 2013-08-20 영상 융합 시스템 및 그 방법
KR10-2013-0098609 2013-08-20

Publications (2)

Publication Number Publication Date
CN104427245A true CN104427245A (zh) 2015-03-18
CN104427245B CN104427245B (zh) 2019-04-19

Family

ID=52480450

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410412571.6A Active CN104427245B (zh) 2013-08-20 2014-08-20 图像融合系统和方法

Country Status (3)

Country Link
US (1) US9369612B2 (zh)
KR (1) KR20150021353A (zh)
CN (1) CN104427245B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108353128A (zh) * 2015-10-27 2018-07-31 富士胶片株式会社 摄像系统以及对象检测装置及其工作方法
CN108429886A (zh) * 2017-02-13 2018-08-21 中兴通讯股份有限公司 一种拍照方法及终端
CN108604096A (zh) * 2016-01-28 2018-09-28 三星电子株式会社 显示图像的方法及其电子设备
CN108737745A (zh) * 2017-04-21 2018-11-02 杭州海康威视数字技术股份有限公司 视频融合方法及装置
CN109951646A (zh) * 2017-12-20 2019-06-28 杭州海康威视数字技术股份有限公司 图像融合方法、装置、电子设备及计算机可读存储介质
CN110022431A (zh) * 2017-11-10 2019-07-16 佳能株式会社 摄像装置、摄像方法、显示装置和显示方法
CN110169044A (zh) * 2017-01-06 2019-08-23 富士胶片株式会社 图像处理装置、图像处理方法及程序
CN111083381A (zh) * 2019-12-31 2020-04-28 深圳市道通智能航空技术有限公司 一种图像融合的方法、装置及双光相机、无人机
CN111345026A (zh) * 2018-08-27 2020-06-26 深圳市大疆创新科技有限公司 图像处理及呈现
CN112801850A (zh) * 2019-11-14 2021-05-14 手持产品公司 用于中间帧图像处理的装置和计算机实现的方法

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8724910B1 (en) * 2010-08-31 2014-05-13 Google Inc. Selection of representative images
US9392189B2 (en) * 2014-02-28 2016-07-12 Intel Corporation Mechanism for facilitating fast and efficient calculations for hybrid camera arrays
EP3157410B1 (en) * 2014-06-20 2020-05-06 Rambus Inc. System for lensed and lensless optical sensing
US9876954B2 (en) 2014-10-10 2018-01-23 Iec Infrared Systems, Llc Calibrating panoramic imaging system in multiple dimensions
SG10201407100PA (en) * 2014-10-30 2016-05-30 Nec Asia Pacific Pte Ltd System For Monitoring Event Related Data
CN110830779B (zh) * 2015-08-28 2022-06-03 杭州海康威视数字技术股份有限公司 一种图像信号的处理方法和系统
CN105809640B (zh) * 2016-03-09 2019-01-22 长春理工大学 基于多传感器融合的低照度视频图像增强方法
CN106796720B (zh) * 2016-04-12 2020-11-13 深圳市华盛昌科技实业股份有限公司 图像融合方法、装置和红外热像设备
CN109478315B (zh) * 2016-07-21 2023-08-01 前视红外系统股份公司 融合图像优化系统和方法
KR102547104B1 (ko) * 2016-09-06 2023-06-23 삼성전자주식회사 전자 장치 및 복수의 영상을 처리하는 방법
US20180089972A1 (en) * 2016-09-26 2018-03-29 Mobotix Ag System and method for surveilling a scene comprising an allowed region and a restricted region
JPWO2018079372A1 (ja) * 2016-10-28 2019-09-12 京セラ株式会社 撮像装置、撮像システム、移動体、及び撮像方法
CN106803940A (zh) * 2017-03-06 2017-06-06 广州英卓电子科技有限公司 一种远红外智能监控系统
DE102017104777A1 (de) 2017-03-07 2018-09-13 Rheinmetall Defence Electronics Gmbh Kamerakranz zur Erstellung eines Panoramabildes
US10778910B2 (en) 2017-03-22 2020-09-15 Humaneyes Technologies Ltd. System and methods for correcting overlapping digital images of a panorama
CN108496138B (zh) 2017-05-25 2022-04-22 深圳市大疆创新科技有限公司 一种跟踪方法及装置
CN107610240A (zh) * 2017-08-09 2018-01-19 广东欧珀移动通信有限公司 头像替换方法、装置和移动终端
TWI637352B (zh) * 2017-08-23 2018-10-01 緯創資通股份有限公司 影像處理裝置和方法
CN108093240A (zh) * 2017-12-22 2018-05-29 成都先锋材料有限公司 3d深度图获取方法及装置
TWM568359U (zh) * 2017-12-28 2018-10-11 宇博先進電子工業有限公司 標示物體溫度的穿戴式裝置
ES2681571A1 (es) * 2018-03-22 2018-09-13 Álvaro GIMÉNEZ GARCÍA-COURTOY Sistema para vigilancia para fincas cinegéticas y procedimiento para dicho sistema
WO2019231861A1 (en) * 2018-05-28 2019-12-05 Greenwave Systems PTE Ltd. Area monitoring and communication
CN110796690B (zh) * 2018-08-01 2023-04-07 株式会社理光 图像匹配方法和图像匹配装置
CN109474786B (zh) * 2018-12-24 2021-07-23 维沃移动通信有限公司 一种预览图像生成方法及终端
CN110082355A (zh) * 2019-04-08 2019-08-02 安徽驭风风电设备有限公司 一种风电叶片探测系统
CN110378861B (zh) * 2019-05-24 2022-04-19 浙江大华技术股份有限公司 一种图像融合方法及装置
US11423510B2 (en) 2019-10-28 2022-08-23 Samsung Electronics Co., Ltd System and method for providing dolly zoom view synthesis
CN110866889A (zh) * 2019-11-18 2020-03-06 成都威爱新经济技术研究院有限公司 一种监控系统中的多相机数据融合方法
KR102235127B1 (ko) * 2019-12-18 2021-04-01 세종대학교산학협력단 멀티모달 영상의 적응적 융합 방법 및 그 장치
CN111340746A (zh) * 2020-05-19 2020-06-26 深圳应急者安全技术有限公司 一种基于物联网的消防方法及消防系统
CN111681195B (zh) * 2020-06-09 2023-06-30 中国人民解放军63811部队 红外图像和可见光图像的融合方法、装置及可读存储介质
TWI815759B (zh) * 2020-07-28 2023-09-11 鈺立微電子股份有限公司 電子系統及其影像合併方法
CN112017111B (zh) * 2020-08-28 2023-08-04 杭州海康威视数字技术股份有限公司 一种全景图的合成方法、装置及电子设备
TWI768709B (zh) * 2021-01-19 2022-06-21 福邦科技國際股份有限公司 雙影像融合方法與裝置
CN113570617B (zh) * 2021-06-24 2022-08-23 荣耀终端有限公司 图像处理方法、装置和电子设备
CN113822831B (zh) * 2021-09-03 2023-06-16 郑州大学 一种基于空间变换的红外与可见光融合方法
US11972525B2 (en) 2022-02-21 2024-04-30 International Business Machines Corporation Generating training data through image augmentation
CN114418920B (zh) * 2022-03-30 2022-06-28 青岛大学附属医院 一种内窥镜多焦点图像融合方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020015536A1 (en) * 2000-04-24 2002-02-07 Warren Penny G. Apparatus and method for color image fusion
CN1794783A (zh) * 2004-12-22 2006-06-28 索尼株式会社 图像处理装置、图像处理方法及摄像装置
US20070177819A1 (en) * 2006-02-01 2007-08-02 Honeywell International Inc. Multi-spectral fusion for video surveillance
CN101111748A (zh) * 2004-12-03 2008-01-23 红外线解决方案公司 具有激光指示器的可见光和ir组合的图像照相机
CN101742102A (zh) * 2009-12-09 2010-06-16 广州科易光电技术有限公司 一种可见光摄像机与红外热像仪的一体机
CN201927079U (zh) * 2011-03-07 2011-08-10 山东电力研究院 一种对于可见光图像和红外图像的快速实时融合处理系统
US20110261207A1 (en) * 2010-04-23 2011-10-27 Flir Systems Ab Infrared resolution and contrast enhancement with fusion
WO2013052383A1 (en) * 2011-10-07 2013-04-11 Flir Systems, Inc. Smart surveillance camera systems and methods
CN103179353A (zh) * 2011-12-20 2013-06-26 弗卢克公司 用于红外重摄的热成像相机
CN103188990A (zh) * 2010-08-27 2013-07-03 密尔沃基电动工具公司 热检测系统、方法和设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6982743B2 (en) * 2002-01-31 2006-01-03 Trustees Of The University Of Pennsylvania Multispectral omnidirectional optical sensor and methods therefor
JP2005249723A (ja) 2004-03-08 2005-09-15 T & D:Kk 温度分布を含む画像の出力装置およびその制御方法
US7206136B2 (en) * 2005-02-18 2007-04-17 Eastman Kodak Company Digital camera using multiple lenses and image sensors to provide an extended zoom range
KR100709780B1 (ko) 2005-03-02 2007-04-19 김배훈 영상 조합기를 이용한 감시 카메라 장치
KR100777428B1 (ko) 2005-07-26 2007-11-20 한국원자력연구원 화상처리 장치 및 방법
JP2009105764A (ja) 2007-10-24 2009-05-14 Skymap Kk カメラシステム
US8600193B2 (en) * 2008-07-16 2013-12-03 Varian Medical Systems, Inc. Image stitching and related method therefor
KR100972360B1 (ko) 2008-08-08 2010-07-26 뷰-하이텍주식회사 전방위 감시 카메라 시스템
KR101314259B1 (ko) 2011-03-24 2013-10-02 삼성테크윈 주식회사 영상 융합 시스템 및 그 방법
US9629523B2 (en) * 2012-06-27 2017-04-25 Camplex, Inc. Binocular viewing assembly for a surgical visualization system

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020015536A1 (en) * 2000-04-24 2002-02-07 Warren Penny G. Apparatus and method for color image fusion
CN101111748A (zh) * 2004-12-03 2008-01-23 红外线解决方案公司 具有激光指示器的可见光和ir组合的图像照相机
CN1794783A (zh) * 2004-12-22 2006-06-28 索尼株式会社 图像处理装置、图像处理方法及摄像装置
US20070177819A1 (en) * 2006-02-01 2007-08-02 Honeywell International Inc. Multi-spectral fusion for video surveillance
CN101742102A (zh) * 2009-12-09 2010-06-16 广州科易光电技术有限公司 一种可见光摄像机与红外热像仪的一体机
US20110261207A1 (en) * 2010-04-23 2011-10-27 Flir Systems Ab Infrared resolution and contrast enhancement with fusion
CN103188990A (zh) * 2010-08-27 2013-07-03 密尔沃基电动工具公司 热检测系统、方法和设备
CN201927079U (zh) * 2011-03-07 2011-08-10 山东电力研究院 一种对于可见光图像和红外图像的快速实时融合处理系统
WO2013052383A1 (en) * 2011-10-07 2013-04-11 Flir Systems, Inc. Smart surveillance camera systems and methods
CN103179353A (zh) * 2011-12-20 2013-06-26 弗卢克公司 用于红外重摄的热成像相机

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108353128B (zh) * 2015-10-27 2020-05-19 富士胶片株式会社 摄像系统以及对象检测装置及其工作方法
CN108353128A (zh) * 2015-10-27 2018-07-31 富士胶片株式会社 摄像系统以及对象检测装置及其工作方法
CN108604096A (zh) * 2016-01-28 2018-09-28 三星电子株式会社 显示图像的方法及其电子设备
CN108604096B (zh) * 2016-01-28 2021-11-05 三星电子株式会社 显示图像的方法及其电子设备
CN110169044A (zh) * 2017-01-06 2019-08-23 富士胶片株式会社 图像处理装置、图像处理方法及程序
CN108429886A (zh) * 2017-02-13 2018-08-21 中兴通讯股份有限公司 一种拍照方法及终端
CN108737745A (zh) * 2017-04-21 2018-11-02 杭州海康威视数字技术股份有限公司 视频融合方法及装置
CN110022431B (zh) * 2017-11-10 2021-10-22 佳能株式会社 摄像装置、摄像方法、显示装置和显示方法
CN110022431A (zh) * 2017-11-10 2019-07-16 佳能株式会社 摄像装置、摄像方法、显示装置和显示方法
US11463624B2 (en) 2017-11-10 2022-10-04 Canon Kabushiki Kaisha Imaging device, imaging method, display device, and display method that capture a particular capturing region corresponding to a selected cutout image
CN109951646A (zh) * 2017-12-20 2019-06-28 杭州海康威视数字技术股份有限公司 图像融合方法、装置、电子设备及计算机可读存储介质
CN111345026A (zh) * 2018-08-27 2020-06-26 深圳市大疆创新科技有限公司 图像处理及呈现
US11212436B2 (en) 2018-08-27 2021-12-28 SZ DJI Technology Co., Ltd. Image processing and presentation
US11778338B2 (en) 2018-08-27 2023-10-03 SZ DJI Technology Co., Ltd. Image processing and presentation
CN112801850A (zh) * 2019-11-14 2021-05-14 手持产品公司 用于中间帧图像处理的装置和计算机实现的方法
CN111083381A (zh) * 2019-12-31 2020-04-28 深圳市道通智能航空技术有限公司 一种图像融合的方法、装置及双光相机、无人机
CN111083381B (zh) * 2019-12-31 2021-10-22 深圳市道通智能航空技术股份有限公司 一种图像融合的方法、装置及双光相机、无人机
US11805220B2 (en) 2019-12-31 2023-10-31 Autel Robotics Co., Ltd. Image fusion method and bifocal camera

Also Published As

Publication number Publication date
CN104427245B (zh) 2019-04-19
KR20150021353A (ko) 2015-03-02
US20150055886A1 (en) 2015-02-26
US9369612B2 (en) 2016-06-14

Similar Documents

Publication Publication Date Title
CN104427245A (zh) 图像融合系统和方法
US20160180169A1 (en) Iris recognition device, iris recognition system including the same and method of operating the iris recognition system
KR101314259B1 (ko) 영상 융합 시스템 및 그 방법
EP2345994B1 (en) Comparison of infrared images
US7924312B2 (en) Infrared and visible-light image registration
KR102144394B1 (ko) 영상 정합 장치 및 이를 이용한 영상 정합 방법
US10078899B2 (en) Camera system and image registration method thereof
CN105701756A (zh) 图像处理装置和图像处理方法
TW201301897A (zh) 監視系統
JP6731097B2 (ja) 人体行動分析方法、人体行動分析装置、機器及びコンピュータ可読記憶媒体
CN104216117A (zh) 显示设备
CN107066962A (zh) 用于通过光学成像进行的对象检测和表征的增强对比度
CN101513078A (zh) 识别和校准全景光学系统的方法和装置
US20130100266A1 (en) Method and apparatus for determination of object topology
WO2019163212A1 (ja) 監視システムおよび監視システムの制御方法
US20230079693A1 (en) Elevated temperature screening systems and methods
KR101625471B1 (ko) 보급형 열화상 카메라의 해상도 향상 방법 및 장치
KR102083926B1 (ko) 영상 융합 시스템 및 그 방법
JP2006184065A (ja) 物体検出装置
JP2022038287A (ja) 機械学習装置及び画像処理装置
CN109753930B (zh) 人脸检测方法及人脸检测系统
US8953899B2 (en) Method and system for rendering an image from a light-field camera
CN110572576A (zh) 一种拍摄可见光和热成像重叠图的方法、系统及电子设备
KR101702452B1 (ko) 증강 현실이 적용된 cctv 영상을 제공하기 위한 방법 및 cctv 영상 제공 시스템
KR102311435B1 (ko) 3차원 열화상 카메라

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: Gyeongnam Changwon City, South Korea

Applicant after: HANWHA TECHWIN Co.,Ltd.

Address before: Gyeongnam Changwon City, South Korea

Applicant before: Samsung Techwin Co.,Ltd.

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: SAMSUNG TAI KEWEI CO., LTD. TO: HANWHA TECHWIN CO., LTD.

Free format text: CORRECT: ADDRESS; FROM:

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Gyeongnam Changwon City, South Korea

Applicant after: HANWHA AEROSPACE Co.,Ltd.

Address before: Gyeongnam Changwon City, South Korea

Applicant before: HANWHA TECHWIN Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190227

Address after: Gyeonggi Do city of South Korea

Applicant after: HANWHA TECHWIN Co.,Ltd.

Address before: Gyeongnam Changwon City, South Korea

Applicant before: HANWHA AEROSPACE Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Gyeonggi Do city of South Korea

Patentee after: Hanhua Vision Co.,Ltd.

Address before: Gyeonggi Do city of South Korea

Patentee before: HANWHA TECHWIN Co.,Ltd.

CP01 Change in the name or title of a patent holder