CN108449555A - 图像融合方法及系统 - Google Patents
图像融合方法及系统 Download PDFInfo
- Publication number
- CN108449555A CN108449555A CN201810423902.4A CN201810423902A CN108449555A CN 108449555 A CN108449555 A CN 108449555A CN 201810423902 A CN201810423902 A CN 201810423902A CN 108449555 A CN108449555 A CN 108449555A
- Authority
- CN
- China
- Prior art keywords
- image
- infrared
- visible
- video
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000004927 fusion Effects 0.000 claims abstract description 37
- 238000002156 mixing Methods 0.000 claims abstract description 31
- 230000009466 transformation Effects 0.000 claims abstract description 16
- 238000003780 insertion Methods 0.000 claims description 12
- 230000037431 insertion Effects 0.000 claims description 12
- 238000005516 engineering process Methods 0.000 claims description 11
- 238000012544 monitoring process Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 5
- 238000003709 image segmentation Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 4
- 238000000354 decomposition reaction Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种图像融合方法及系统，包括获取对同一目标同步采集的红外视频和可见光视频；依次将红外图像、可见光图像存储到缓存空间；从缓存空间当前缓存的队列中依次取出一组图像作为当前处理的图像，进行融合处理：对第一红外图像进行阈值分割得到第二红外图像；将第一可见光图像转换成灰度图像；对所述灰度图像进行小波变换得到近似图像和高频细节图像；将第二红外图像与近似图像进行像素融合，得到初步融合图像；将初步融合图像与所述高频细节图像进行小波逆变换得到最终融合图像。本申请降低了融合后图像红外信息损失，将融合图像方法建立在智能终端的Android系统中，具有方便携带，实用性强等。
Description
技术领域
本申请涉及图像融合处理技术领域，尤其是一种图像融合方法及系统。
背景技术
由于传感器自身物理特性、成像机理和观察视角等各个方面的种种限制，单一的图像传感器往往不能够从场景中提取足够的信息，以至于很难甚至无法独立获得对一幅场景的全面描述。因此开始展开多源图像融合研究。红外图像和可见光图像分别是通过红外成像传感器和可见光成像传感器获得的，由于两个传感器的原理不同，性能也不同。红外图像能较好的反应图像的热目标特性，但对场景亮度变化特征不敏感，且图像清晰度较低；可见光图像能够较好的反应目标所在场景的细节信息，且清晰度较高。红外和可见光图像融合能有效地综合红外图像目标特征信息和可见光图像的场景细节信息，得到信息更全面的融合图像。
相关技术中，在图像融合应用方面，图像融合技术主要针对医疗、遥感等专业领域，在图像融合算法方面，不仅复杂度高，还会出现在可见光图像光照强度好的情况下，图像红外信息损失的问题。因此，将图像融合拓展到日常生活中，并对现有算法不足进行改进研究成为相关技术人员亟需解决的问题。
发明内容
为至少在一定程度上克服相关技术中存在的问题，本申请提供图像融合方法及系统。
第一方面，本申请提供一种图像融合方法，包括：
获取对同一目标同步采集的红外视频和可见光视频，所述红外视频包括多帧红外图像，所述可见光视频包括多帧可见光图像；
依次将多组图像存储到缓存空间，并对多组图像中的各组图像按时间顺序排列成队列，其中，每组图像包括同一时刻的一帧红外图像和一帧可见光图像；从缓存空间当前缓存的队列中依次取出一组图像作为当前处理的图像，并对当前处理的图像进行如下融合处理：
对第一红外图像进行阈值分割得到第二红外图像，所述第一红外图像为当前处理的图像中的红外图像；
将第一可见光图像转换成灰度图像，所述第一可见光图像为当前处理的图像中的可见光图像；
对所述灰度图像进行小波变换得到近似图像和高频细节图像，所述高频细节图像包括：水平方向上的高频细节图像、垂直方向上的高频细节图像和对角方向上的高频细节图像；
将第二红外图像与近似图像进行像素融合，得到初步融合图像；
将初步融合图像与所述高频细节图像进行小波逆变换得到最终融合图像。
进一步的，当所述方法应用在Android系统中，所述方法还包括：
采用预先定义的接收器类接收到Android系统广播的插入事件后，根据所述插入事件获取外接设备信息，所述插入事件是Android系统检测到外接设备插入时广播的；
采用预先定义的过滤器类，根据所述外接设备信息判断所述外接设备是否属于视频采集类；
在外接设备属于视频采集类时，采用预先定义的设备连接类与连接函数，向用户显示外接设备信息，并提示用户连接；
在用户选择连接后，触发Android系统的摄像头驱动程序启动，以便摄像头驱动程序启动后触发外接设备启动，所述外接设备包括红外摄像头和可见光摄像头，以获取所述红外视频和可见光视频。
进一步的，所述摄像头驱动程序为UVC驱动程序，所述Android系统的内核为集成了UVC驱动程序的linux内核。
进一步的，所述对第一红外图像进行阈值分割得到第二红外图像，包括：
将第一红外图像分割成高温突出区域和目标环境区域，将所述高温突出区域和目标环境区域组成第二红外图像，其中，所述高温突出区域是第一红外图像中像素点灰度值大于预设阈值的像素点所在区域，所述目标环境区域是第一红外图像中除了高温突出区域之外的区域。
进一步的，所述将第二红外图像与近似图像进行像素融合，得到初步融合图像，包括：
选取第二红外图像中高温突出区域的像素点灰度值作为初步融合图像中相应像素点的灰度值；
将第二红外图像中目标环境区域的像素点灰度值与近似图像中相应像素点的灰度值的加权平均值作为初步融合图像中相应像素点的灰度值。
进一步的，当所述方法应用在Android系统中，所述方法还包括：
所述融合处理之前，监测到用户点击融合模式按钮后，初始化播放组件，所述播放组件用于分屏显示红外图像和可见光图像；
所述融合处理之后，将最终融合图像渲染到画板上通过伪彩处理后进行图像显示；
监测到用户点击结束融合模式按钮后，销毁播放组件。
进一步的，所述图像显示，包括：
在位图对象缓存池中的第一队列中申请未使用的位图对象，以及，在申请成功后将申请的位图对象标记为已使用，并从第一队列中取出后放入到位图对象缓存池中的第二队列中；
采用申请的位图对象显示图像，并在显示图像后，将图像所采用的位图对象标记为未使用并从第二队列中取出后放入到第一队列中。
第二方面，本申请提供图像融合系统，包括：
智能终端、数据线、集线器、可见光摄像头、红外摄像头、视频采集卡、支架面板；
所述智能终端具有数据线连接接口，通过所述数据线与所述集线器连接；
所述集线器分别与所述可见光摄像头、红外摄像头连接；
所述可见光摄像头、红外摄像头被固定在所述支架面板上。
进一步的，所述可见光摄像头、红外摄像头为支持UVC协议的USB摄像头；所述数据线为OTG标准连接线；所述集线器为OTG标准、USB接口集线器；所述视频采集卡支持UVC通讯协议。
进一步的，所述支架面板包括连接轴，通过所述连接轴所述支架面板可前后、左右或上下移动，用于手动校准图像。
本申请的实施例提供的技术方案可以包括以下有益效果：
通过对第一红外图像进行阈值分割得到第二红外图像，将第二红外图像与近似图像进行像素融合，得到初步融合图像，可以在图像融合时降低红外信息损失，从而增强图像信息，另外，通过对图像进行缓存，对当前缓存的图像进行融合，可以在智能终端内存较小的场景下依然适用，拓展了应用领域，方便人们日常生活使用。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是本申请一个实施例提供的一种图像融合系统的结构示意图。
图2是本申请一个实施例提供的一种图像融合方法流程图。
图3是本申请另一个实施例提供的一种图像融合方法流程图。
图4是本申请另一个实施例提供的图像融合方法的流程示意图。
图5是本申请另一个实施例提供的图像融合方法的流程示意图。
图6是本申请另一个实施例提供的图像融合方法的流程示意图。
图7是本申请另一个实施例提供的图像融合方法的流程示意图。
具体实施方式
下面结合附图和实施例对本发明进行详细的描述。
图1是本申请一个实施例提供的一种图像融合系统的结构示意图。
如图1所示，本实施例的系统包括：
智能终端11、数据线12、集线器13、可见光摄像头14、红外摄像头15、视频采集卡16、支架面板17；
所述智能终端11具有数据线连接接口，通过所述数据线12与所述集线器3连接；
所述集线器13分别与所述可见光摄像头14、红外摄像头15连接；
所述可见光摄像头14、红外摄像头15被固定在所述支架面板17上。
所述智能终端11是指具有独立的操作系统，独立的运行空间，可以胜任图像融合过程的所需计算的设备，例如为智能手机，所述智能手机扩展性好，适配性强，可连接多种型号摄像头，同时智能手机具有体积小、计算平台硬件成本低等特点。
所述智能终端11内部搭载所述Android系统，所述Android系统的版本需5.0及以上版本，基于Linux内核，由于linux内核已经集成了UVC(USB video class)驱动，所以可以直接将UVC摄像头连接到Android系统而无需安装驱动程序。
所述数据线12为OTG(On-The-Go)数据线，应用于各种不同的设备或移动设备间的连接，进行数据交换。因此，所述智能手机可直接通过OTG数据线与USB摄像头连接。
所述集线器13的主要功能是对接收到的信号进行再生整形放大，以扩大网络的传输距离，同时把所有节点集中在以它为中心的节点上。
所述可见光摄像头14、红外摄像头15为USB摄像头，通过USB接口连接线与所述集线器连接，所述集线器支持OTG标准，因此所述集线器可通过OTG数据线与所述智能手机连接，从而将所述可见光摄像头、红外摄像头获取的图像数据传送至所述智能终端。同时，所述数据线在传送数据时为两个摄像头平分带宽。
所述视频采集卡16、所述可见光摄像头14、红外摄像头15均支持UVC通讯协议，所述可见光摄像头14可直接获取视频信号，并依据UVC通讯协议将采集的视频信号发送至所述智能终端，所述红外摄像头15可采集、获取电视信号，所述视频采集卡16将电视信号转为视频信号依据UVC通讯协议发送所述智能终端。
所述支架面板17包括连接轴，通过所述连接轴所述支架面板17可前后、左右或上下移动，用来手动校准图像，所述红外摄像头15和可见光摄像头14对准统一场景后被固定在同一面板上，固定方式例如为用螺丝固定。
本实施例中，所述智能终端内搭载Android系统，所述Android基于Linux内核，linux内核已经集成了UVC驱动，所以可以直接将UVC摄像头连接到Android系统从而可以省略安装驱动程序，简化使用步骤，图像融合方法与Android系统结合，以使能够在智能终端上应用，拓展图像融合方法应用领域，方便人们日常生活使用与推广。
图2是本申请一个实施例提供的图像融合方法的流程示意图。
如图2所示，本实施例的方法包括：
S21：获取对同一目标同步采集的红外视频和可见光视频，所述红外视频包括多帧红外图像，所述可见光视频包括多帧可见光图像。
例如，采用图1所示的系统，由红外摄像头和可见光摄像头同步对同一目标进行拍摄后可以得到红外视频和可见光视频。
S22：依次将多组图像存储到缓存空间，并对多组图像中的各组图像按时间顺序排列成队列，其中，每组图像包括同一时刻的一帧红外图像和一帧可见光图像。
以智能手机为例，可以在智能手机的内存中预先划分一部分内存作为缓存空间，缓存空间的容量是有限的，比如能够存储20帧图像。由于每组图像包括两帧图像，那么缓存空间每次最多存储10组图像。在存储10组图像时可以按照拍摄时间从先到后的顺序对每组图像进行排序，组成队列。
在处理时，依次对缓存空间当前存储的10组图像进行处理，当缓存空间内存储的一组图像处理完毕后，清空这组图像所在的缓存空间，所有清空的缓存空间依据清空顺序再次排列成队，供再次存储新图像使用，依此类推，将视频中的所有图像全部处理完毕。
通过将图像分组存储到缓存空间，并在处理后重新存储新的图像，可以在内存空间小的场景下依然能够处理较多的图像，适用于手机等智能终端。
S23：从缓存空间当前缓存的队列中依次取出一组图像作为当前处理的图像，并对当前处理的图像进行融合处理。
比如，缓存空间中存储有10组图像，那么先取出队首的第一组图像进行融合处理，再取出第二组图像进行融合处理，直至10组图像分别进行了融合处理。
进一步的，如图3所示，上述的融合处理包括：
S31：对第一红外图像进行阈值分割得到第二红外图像，所述第一红外图像为当前处理的图像中的红外图像；
S32：将第一可见光图像转换成灰度图像，所述第一可见光图像为当前处理的图像中的可见光图像；
S33：对所述灰度图像进行小波变换得到近似图像和高频细节图像，所述高频细节图像包括：水平方向上的高频细节图像、垂直方向上的高频细节图像和对角方向上的高频细节图像；
S34：将第二红外图像与近似图像进行像素融合，得到初步融合图像；
S35：将初步融合图像与所述高频细节图像进行小波逆变换得到最终融合图像。
在拍摄视频前，需对摄像头进行配准处理，通过前后、上下或左右移动摄像头的方式，使两个摄像头对准同一待处理图像场景。
所述第一红外图像为红外摄像头获取的电视信号经视频采集卡转换而成的视频图像并进行去噪处理后得到；所述第一可见光图像由可见光摄像头采集的原始图像经过噪处理后得到。去噪处理是指减少数字图像中噪声的过程，例如使用均值滤波器进行去噪处理，可以理解的是，本申请使用的去噪处理方法与现有技术相同，这里不详细介绍。
对第一红外图像进行阈值分割，阈值分割采用均值滤波器方法，依据图像的灰度特征，将图像象素点分为若干组成部分，例如像素点灰度阈值为130，高于所述阈值的像素点被划分为高温突出区域，其余划分为目标环境区域。
将第一可见光图像转成灰度图像，所述灰度图像各像素点灰度值计算公式为：
灰度值H＝(R+G+B)/3(1)
式(1)中R、G、B为可见光图像R、G、B三种通道中色彩亮度值。
对所述灰度图像进行小波变换处理，小波变换采用多分辨率分解方法将图片信息通过低通和高通滤波器一层一层分解剥离，由于图像数据为二维数据，而小波变换针对一维数据做卷积处理，因此需要对行、列两个方向分别卷积，在行列两个方向都通过低通滤波器卷积后得到的是近似图像，在行方向上先通过低通滤波器再在列方向上通过高通滤波器得到的是水平细节图像，在列方向上先通过低通滤波器再在行方向上通过高通滤波器得到的是垂直细节图像，在行列两个方向都通过高通滤波器卷积后得到的是对角细节图像，近似图像显示可见光灰度分布信息，细节图像显示纹理信息。因此，对第一可见光图像进行小波变换一层分解后可得到近似图像以及水平、垂直、对角三个方向上的高频细节图像。
利用像素融合方法对第一红外图像进行阈值分割后得到的高温突出区域和目标环境区域与第一可见光图像进行小波变换得到的近似图像进行融合，选取第二红外图像中高温突出区域的像素点灰度值作为初步融合图像中像素灰度值；选取第二红外图像中目标环境区域的像素点灰度值为红外图像与近似图像对应像素点灰度值的加权平均值作为初步融合图像中像素灰度值，得到初步融合图像。
将初步融合图像与小波变换得到的水平、垂直、对角三个方向上的高频细节图像进行小波逆变换得到最终融合图像，小波逆变换的过程与小波变换过程相反。
最终融合图像通过伪彩处理后进行显示，所述伪彩处理是指根据一定准则给灰度值赋予彩色值的处理。
可以理解的是，本申请采用的均值滤波器方法、小波变换、小波逆变换以及伪彩处理方法均与现有技术相同，在此不做详述。
本实施例中，通过对第一红外图像进行阈值分割得到第二红外图像；对第一可见光图像进行小波分解得到得到近似图像和水平、垂直、对角三个方向上的高频细节图像，保留图像有效信息的同时，提高了融合图像的红外目标与环境的对比，进一步的，通过对可见光图像进行一层分解，之后利用得到的近似图像与红外图像进行融合，降低了算法的时间复杂度。
图4是本申请另一个实施例提供的图像融合方法的流程示意图。
本实施例以应用程序执行为例，如图4所示，包括：
S41：初始化用户操作界面；
S42：调用设备管理模块触发摄像头启动；
S43：调用视频采集模块采集视频图像；
S44：调用显示与融合模块进行图像融合与显示。
其中所述设备管理模块流程如图5所示：
S51：USB外接设备连接到Android系统；
S52：Android系统广播插入事件；
S53：应用程序采用预先定义的接收器类接收到Android系统广播的插入事件后，根据所述插入事件获取外接设备信息，所述插入事件是Android系统检测到外接设备插入时广播的；
S54：应用程序采用预先定义的过滤器类，根据所述外接设备信息判断所述外接设备是否属于视频采集类；
S55：应用程序在外接设备属于视频采集类时，采用预先定义的设备连接类与连接函数，向用户显示外接设备信息，并提示用户连接；
S56：应用程序在用户选择连接后，触发Android系统的摄像头驱动程序启动，以便摄像头驱动程序启动后获取所述红外视频和可见光视频，所述摄像头驱动程序为UVC驱动程序，所述Android系统的内核为集成了UVC驱动程序的linux内核，所述外接设备包括红外摄像头和可见光摄像头。
在广播接收器接收到USB摄像头的连接事件时，通过定义独立的类与函数实现模块间解耦，使得各软件模块间耦合低，内聚高，简化设计。
其中，视频采集模块软件流程如图6所示：
S61：打开摄像头驱动程序，查询驱动功能；
S62：设置视频格式，所述视频为融合处理后的每帧图像集合；
S63：申请每帧缓存空间，并将缓存空间映射到物理存储空间；
S64：将每个缓存空间排列成队；
S65：启动视频采集；
S66：采集结束，关闭摄像头驱动程序。
所述视频采集模块分为底层和应用层，底层与设备管理模块连接，从而连接摄像头设备，应用层与显示与融合模块连接，由于连接摄像头设备程序代码使用C++语言编写，而应用层程序使用JAVA语言编写，由于JAVA语言不能直接调用C++语言代码，因此，使用本地开发工具集NDK(Native Development Kit)将底层代码进行封装并形成本地开发接口jni(Java Native Interface)，以使应用层可直接访问摄像头设备，从而获取图像视频。NDK内的工具可以快速开发C或C++动态库，并自动将动态库封装。Jni是一个协议，这个协议用来沟通java代码和外部的本地代码(c/c++)，通过这个协议，java代码就可以调用外部的c/c++，代码外部的c/c++代码也可以调用java代码。
通过使用JAVA NDK开发视频采集模块，并封装成jni接口供Android系统应用层访问，以使应用程序能够直接访问摄像头设备，方便用户使用。
其中，显示与融合模块流程图如图7所示：
S71：图像融合处理之前，监测到用户点击融合模式按钮后，初始化播放组件，所述播放组件用于分屏显示红外图像和可见光图像；
S72：在位图对象缓存池中的第一队列中申请未使用的位图对象，以及，在申请成功后将申请的位图对象标记为已使用，并从第一队列中取出后放入到位图对象缓存池中的第二队列中；
S73：图像融合处理之后，将最终融合图像渲染到画板上，并进行伪彩处理；
S74：采用申请的位图对象显示图像，并在显示图像后，将图像所采用的位图对象标记为未使用并从第二队列中取出后放入到第一队列中。
S75：监测到用户点击结束融合模式按钮后，销毁播放组件。
所述位图对象为用于处理由像素数据定义的图像的对象，在图像融合过程中，通过建立帧图像缓存池，帧图像缓存池可提前申请固定存储空间供融合模式显示使用，缓存池中创建两个队列，将帧图像缓存在缓存池对啦中，并逐一对每帧图像进行处理，避免频繁的创建和回收对象消耗大量计算资源。
针对移动设备内存有限、计算能力有限等问题，提出了位图对象缓存池的设计，从而减少因为帧图像对象的频繁创建和销毁，以及大量对象的引用触发JAVA GC操作导致的系统延迟较高，系统资源浪费等问题。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
需要说明的是，本发明不局限于上述最佳实施方式，本领域技术人员在本发明的启示下都可得出其他各种形式的产品，但不论在其形状或结构上作任何变化，凡是具有与本申请相同或相近似的技术方案，均落在本发明的保护范围之内。
Claims (10)
1.一种图像融合方法，其特征在于，包括：
获取对同一目标同步采集的红外视频和可见光视频，所述红外视频包括多帧红外图像，所述可见光视频包括多帧可见光图像；
依次将多组图像存储到缓存空间，并对多组图像中的各组图像按时间顺序排列成队列，其中，每组图像包括同一时刻的一帧红外图像和一帧可见光图像；
从缓存空间当前缓存的队列中依次取出一组图像作为当前处理的图像，并对当前处理的图像进行如下融合处理：
对第一红外图像进行阈值分割得到第二红外图像，所述第一红外图像为当前处理的图像中的红外图像；
将第一可见光图像转换成灰度图像，所述第一可见光图像为当前处理的图像中的可见光图像；
对所述灰度图像进行小波变换得到近似图像和高频细节图像，所述高频细节图像包括：水平方向上的高频细节图像、垂直方向上的高频细节图像和对角方向上的高频细节图像；
将第二红外图像与近似图像进行像素融合，得到初步融合图像；
将初步融合图像与所述高频细节图像进行小波逆变换得到最终融合图像。
2.根据权利要求1所述的方法，其特征在于，当所述方法应用在Android系统中，所述方法还包括：
采用预先定义的接收器类接收到Android系统广播的插入事件后，根据所述插入事件获取外接设备信息，所述插入事件是Android系统检测到外接设备插入时广播的；
采用预先定义的过滤器类，根据所述外接设备信息判断所述外接设备是否属于视频采集类；
在外接设备属于视频采集类时，采用预先定义的设备连接类与连接函数，向用户显示外接设备信息，并提示用户连接；
在用户选择连接后，触发Android系统的摄像头驱动程序启动，以便摄像头驱动程序启动后触发外接设备启动，所述外接设备包括红外摄像头和可见光摄像头，以获取所述红外视频和可见光视频。
3.根据权利要求2所述的方法，其特征在于，所述摄像头驱动程序为UVC驱动程序，所述Android系统的内核为集成了UVC驱动程序的linux内核。
4.根据权利要求1所述的方法，其特征在于，所述对第一红外图像进行阈值分割得到第二红外图像，包括：
将第一红外图像分割成高温突出区域和目标环境区域，将所述高温突出区域和目标环境区域组成第二红外图像，其中，所述高温突出区域是第一红外图像中像素点灰度值大于预设阈值的像素点所在区域，所述目标环境区域是第一红外图像中除了高温突出区域之外的区域。
5.根据权利要求4所述的方法，其特征在于，所述将第二红外图像与近似图像进行像素融合，得到初步融合图像，包括：
选取第二红外图像中高温突出区域的像素点灰度值作为初步融合图像中相应像素点的灰度值；
将第二红外图像中目标环境区域的像素点灰度值与近似图像中相应像素点的灰度值的加权平均值作为初步融合图像中相应像素点的灰度值。
6.根据权利要求1所述的方法，其特征在于，当所述方法应用在Android系统中，所述方法还包括：
所述融合处理之前，监测到用户点击融合模式按钮后，初始化播放组件，所述播放组件用于分屏显示红外图像和可见光图像；
所述融合处理之后，将最终融合图像渲染到画板上通过伪彩处理后进行图像显示；
监测到用户点击结束融合模式按钮后，销毁播放组件。
7.根据权利要求6所述的方法，其特征在于，所述图像显示，包括：
在位图对象缓存池中的第一队列中申请未使用的位图对象，以及，在申请成功后将申请的位图对象标记为已使用，并从第一队列中取出后放入到位图对象缓存池中的第二队列中；
采用申请的位图对象显示图像，并在显示图像后，将图像所采用的位图对象标记为未使用并从第二队列中取出后放入到第一队列中。
8.一种图像融合系统，其特征在于，包括：
智能终端、数据线、集线器、可见光摄像头、红外摄像头、视频采集卡、支架面板；
所述智能终端具有数据线连接接口，通过所述数据线与所述集线器连接；
所述集线器分别与所述可见光摄像头、红外摄像头连接；
所述可见光摄像头、红外摄像头被固定在所述支架面板上。
9.根据权利要求8所述的方法，其特征在于，所述可见光摄像头、红外摄像头为支持UVC协议的USB摄像头；所述数据线为OTG标准连接线；所述集线器为OTG标准、USB接口集线器；所述视频采集卡支持UVC通讯协议。
10.根据权利要求8所述的方法，其特征在于，所述支架面板包括连接轴，通过所述连接轴所述支架面板可前后、左右或上下移动，用于手动校准图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810423902.4A CN108449555A (zh) | 2018-05-04 | 2018-05-04 | 图像融合方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810423902.4A CN108449555A (zh) | 2018-05-04 | 2018-05-04 | 图像融合方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108449555A true CN108449555A (zh) | 2018-08-24 |
Family
ID=63202270
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810423902.4A Pending CN108449555A (zh) | 2018-05-04 | 2018-05-04 | 图像融合方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108449555A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109120869A (zh) * | 2018-11-07 | 2019-01-01 | 深圳市道通智能航空技术有限公司 | 双光图像整合方法、整合设备及无人机 |
| CN109361871A (zh) * | 2018-11-30 | 2019-02-19 | 四川九州电子科技股份有限公司 | 一种将网络摄像头模拟为usb摄像头的方法 |
| CN111325701A (zh) * | 2018-12-14 | 2020-06-23 | 杭州海康威视数字技术股份有限公司 | 图像处理方法、装置及存储介质 |
| CN111524088A (zh) * | 2020-05-06 | 2020-08-11 | 北京未动科技有限公司 | 用于图像采集的方法、装置、设备及计算机可读存储介质 |
| CN111951200A (zh) * | 2019-05-15 | 2020-11-17 | 杭州海康威视数字技术股份有限公司 | 摄像设备、图像融合方法、装置和存储介质 |
| CN112115979A (zh) * | 2020-08-24 | 2020-12-22 | 深圳大学 | 一种红外图像和可见图像的融合方法及设备 |
| CN112529913A (zh) * | 2020-12-14 | 2021-03-19 | 北京达佳互联信息技术有限公司 | 图像分割模型训练方法、图像处理方法及装置 |
| CN116229668A (zh) * | 2022-12-05 | 2023-06-06 | 江苏弘业环保科技产业有限公司 | 基于红外视频监测的火灾定位系统 |
| WO2023125087A1 (zh) * | 2021-12-30 | 2023-07-06 | 华为技术有限公司 | 图像处理方法及相关装置 |
| WO2023130922A1 (zh) * | 2022-01-10 | 2023-07-13 | 荣耀终端有限公司 | 图像处理方法与电子设备 |
| CN116977154A (zh) * | 2023-09-22 | 2023-10-31 | 南方电网数字电网研究院有限公司 | 可见光图像与红外图像融合储存方法、装置、设备和介质 |
-
2018
- 2018-05-04 CN CN201810423902.4A patent/CN108449555A/zh active Pending
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109120869A (zh) * | 2018-11-07 | 2019-01-01 | 深圳市道通智能航空技术有限公司 | 双光图像整合方法、整合设备及无人机 |
| CN109120869B (zh) * | 2018-11-07 | 2024-09-06 | 深圳市道通智能航空技术股份有限公司 | 双光图像整合方法、整合设备及无人机 |
| CN109361871A (zh) * | 2018-11-30 | 2019-02-19 | 四川九州电子科技股份有限公司 | 一种将网络摄像头模拟为usb摄像头的方法 |
| CN109361871B (zh) * | 2018-11-30 | 2020-07-24 | 四川九州电子科技股份有限公司 | 一种将网络摄像头模拟为usb摄像头的方法 |
| CN111325701B (zh) * | 2018-12-14 | 2023-05-09 | 杭州海康微影传感科技有限公司 | 图像处理方法、装置及存储介质 |
| CN111325701A (zh) * | 2018-12-14 | 2020-06-23 | 杭州海康威视数字技术股份有限公司 | 图像处理方法、装置及存储介质 |
| CN111951200A (zh) * | 2019-05-15 | 2020-11-17 | 杭州海康威视数字技术股份有限公司 | 摄像设备、图像融合方法、装置和存储介质 |
| CN111951200B (zh) * | 2019-05-15 | 2023-11-14 | 杭州海康威视数字技术股份有限公司 | 摄像设备、图像融合方法、装置和存储介质 |
| CN111524088A (zh) * | 2020-05-06 | 2020-08-11 | 北京未动科技有限公司 | 用于图像采集的方法、装置、设备及计算机可读存储介质 |
| CN112115979B (zh) * | 2020-08-24 | 2024-03-22 | 深圳大学 | 一种红外图像和可见图像的融合方法及设备 |
| CN112115979A (zh) * | 2020-08-24 | 2020-12-22 | 深圳大学 | 一种红外图像和可见图像的融合方法及设备 |
| CN112529913A (zh) * | 2020-12-14 | 2021-03-19 | 北京达佳互联信息技术有限公司 | 图像分割模型训练方法、图像处理方法及装置 |
| WO2023125087A1 (zh) * | 2021-12-30 | 2023-07-06 | 华为技术有限公司 | 图像处理方法及相关装置 |
| WO2023130922A1 (zh) * | 2022-01-10 | 2023-07-13 | 荣耀终端有限公司 | 图像处理方法与电子设备 |
| CN116229668A (zh) * | 2022-12-05 | 2023-06-06 | 江苏弘业环保科技产业有限公司 | 基于红外视频监测的火灾定位系统 |
| CN116229668B (zh) * | 2022-12-05 | 2024-05-14 | 江苏弘业环保科技产业有限公司 | 基于红外视频监测的火灾定位系统 |
| CN116977154A (zh) * | 2023-09-22 | 2023-10-31 | 南方电网数字电网研究院有限公司 | 可见光图像与红外图像融合储存方法、装置、设备和介质 |
| CN116977154B (zh) * | 2023-09-22 | 2024-03-19 | 南方电网数字电网研究院有限公司 | 可见光图像与红外图像融合储存方法、装置、设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108449555A (zh) | 图像融合方法及系统 | |
| CN107566739B (zh) | 一种拍照方法及移动终端 | |
| CN108833753B (zh) | 一种图像获取及应用方法、终端及计算机可读存储介质 | |
| CN112449120A (zh) | 高动态范围视频生成方法及装置 | |
| CN108391060B (zh) | 一种图像处理方法、图像处理装置和终端 | |
| CN107959795B (zh) | 一种信息采集方法、设备和计算机可读存储介质 | |
| CN103024300A (zh) | 一种高动态范围图像显示方法及装置 | |
| CN110944160A (zh) | 一种图像处理方法及电子设备 | |
| CN105227850B (zh) | 使能元数据存储子系统 | |
| US20230362476A1 (en) | Photographing method and apparatus and electronic device | |
| CN110264473B (zh) | 基于多帧图像的图像处理方法、装置及电子设备 | |
| WO2024031879A1 (zh) | 显示动态壁纸的方法和电子设备 | |
| WO2023284715A1 (zh) | 一种物体重建方法以及相关设备 | |
| US20240046604A1 (en) | Image processing method and apparatus, and electronic device | |
| CN108965692A (zh) | 贴纸设置方法及装置 | |
| JP2010016826A (ja) | 画像処理オペレーションを効率的に実行するためのシステム及び方法 | |
| CN115526787A (zh) | 视频处理方法和装置 | |
| CN113538227B (zh) | 一种基于语义分割的图像处理方法及相关设备 | |
| CN118042280B (zh) | 图像处理方法、电子设备、计算机程序产品及存储介质 | |
| CN116668836B (zh) | 拍照处理方法和电子设备 | |
| CN114945019B (zh) | 数据传输方法、装置及存储介质 | |
| CN115460343A (zh) | 图像处理方法、设备及存储介质 | |
| WO2022115996A1 (zh) | 图像处理方法及设备 | |
| CN110751705B (zh) | 一种热成像与可见光的图像融合方法 | |
| CN114630152A (zh) | 用于图像处理器的参数传输方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180824 |