CN111507930A - 图像融合方法、装置、存储介质和计算机设备 - Google Patents
图像融合方法、装置、存储介质和计算机设备 Download PDFInfo
- Publication number
- CN111507930A CN111507930A CN202010559641.6A CN202010559641A CN111507930A CN 111507930 A CN111507930 A CN 111507930A CN 202010559641 A CN202010559641 A CN 202010559641A CN 111507930 A CN111507930 A CN 111507930A
- Authority
- CN
- China
- Prior art keywords
- light image
- visible light
- pixel
- image
- channel value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 32
- 238000003860 storage Methods 0.000 title claims abstract description 21
- 238000012937 correction Methods 0.000 claims abstract description 142
- 238000012545 processing Methods 0.000 claims abstract description 81
- 230000004927 fusion Effects 0.000 claims abstract description 64
- 238000000034 method Methods 0.000 claims abstract description 48
- 230000008569 process Effects 0.000 claims description 36
- 230000014759 maintenance of location Effects 0.000 description 7
- 238000011946 reduction process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000009467 reduction Effects 0.000 description 6
- 238000013507 mapping Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 208000011580 syndromic disease Diseases 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 239000013589 supplement Substances 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G06T5/90—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Abstract
本发明实施例提供了一种图像融合方法、装置、存储介质和计算机设备。该方法包括：从图像采集设备获取可见光图像和近红外光图像；根据所述近红外光图像的明暗信息对所述可见光图像进行颜色校正处理，得到校正后可见光图像；将所述校正后可见光图像和所述近红外光图像进行融合，生成融合图像。本发明实施例的技术方案中，通过近红外光图像的明暗信息对可见光图像进行颜色校正处理得到校正后可见光图像，并将校正后可见光图像和近红外光图像进行融合生成融合图像，由于对可见光图像进行了颜色校正，使得生成的融合图像中的色偏得到去除，从而解决了图像局部的色偏问题。
Description
【技术领域】
本发明涉及图像处理技术领域，尤其涉及一种图像融合方法、装置、存储介质和计算机设备。
【背景技术】
在道路交通的视频监控领域，环保卡口的应用越来越广泛。环保卡口采用双图像传感器结构，在低照度场景中，例如夜间或者大雾场景中，需要采用暖光LED补光灯和红外爆闪灯进行补光。
在城市道路中，路灯一般采用色温较低的暖光灯，而车辆的车灯一般采用色温较高的冷光灯。由于同时存在冷暖光源，使得道路中光照变得极为复杂，出现了双色温现象。由于后续图像处理过程中主要依据暖光灯的色温进行颜色校正，使得图像中车灯照射区域出现发蓝的情况。特别是补光灯亮度较车灯亮度不占主导优势时，图像的局部区域出现偏蓝色偏的问题尤为严重。
相关技术中，还没有一种方案能够解决双色温光源导致的图像局部区域色偏的问题。
【发明内容】
有鉴于此，本发明实施例提供了一种图像融合方法、装置、存储介质和计算机设备，用于解决双色温光源导致的图像局部的色偏问题。
一方面，本发明实施例提供了一种图像融合方法，包括：
从图像采集设备获取可见光图像和近红外光图像；
根据所述近红外光图像的明暗信息对所述可见光图像进行颜色校正处理，得到校正后可见光图像；
将所述校正后可见光图像和所述近红外光图像进行融合，生成融合图像。
可选地，所述根据所述近红外光图像的明暗信息对所述可见光图像进行颜色校正处理，得到校正后可见光图像包括：
根据所述近红外光图像的明暗信息确定出所述近红外光图像的暗像素，并确定所述暗像素对应所述可见光图像的第一像素；
从所述第一像素中确定出色偏像素，将所述可见光图像的色偏像素之外的其它像素确定为第二像素；
分别对所述色偏像素进行第一颜色校正处理，对所述第二像素进行第二颜色校正处理。
可选地，所述分别对所述色偏像素进行第一颜色校正处理，对所述第二像素进行第二颜色校正处理，包括：
对所述色偏像素的目标颜色进行减低校正参数处理，对所述第二像素的目标颜色的校正参数进行保留处理，其中，所述第一颜色校正处理为减低校正参数，所述第二颜色校正处理为保留校正参数；或者，
对所述色偏像素的目标颜色进行减低校正参数处理，对所述第二像素的目标颜色的进行增加校正参数处理，其中，所述第一颜色校正处理为减低校正参数，所述第二颜色校正处理为增加校正参数；或者，
对所述色偏像素的目标颜色进行减低校正参数处理，对所述第二像素的目标颜色的进行减低校正参数处理，其中，所述第一颜色校正处理为减低校正参数，所述第二颜色校正处理为减低校正参数，所述第一颜色校正处理中减低校正参数的程度大于第二颜色校正处理中减低校正参数的程度。
可选地，所述根据所述近红外光图像的明暗信息对所述可见光图像进行颜色校正处理，得到校正后可见光图像，包括：
根据所述近红外光图像的明暗信息对所述可见光图像的目标颜色色偏进行颜色校正处理，得到校正后可见光图像，其中，所述目标颜色色偏包括蓝色色偏、红色色偏或者橙色色偏。
可选地，所述明暗信息包括亮度；所述根据所述近红外光图像的明暗信息确定出所述近红外光图像的暗像素，包括：
将所述近红外光图像中亮度小于设定亮度阈值的像素，确定为所述暗像素。
可选地，所述从所述第一像素中确定出色偏像素，包括：
根据所述可见光图像中每个第一像素的红色通道值、绿色通道值和蓝色通道值，获取所述可见光图像中每个第一像素的最大通道值和中间通道值；
根据所述可见光图像中第一像素的蓝色通道值和所述第一像素的最大通道值，确定出所述色偏像素。
可选地，所述根据所述可见光图像中每个第一像素的红色通道值、绿色通道值和蓝色通道值，获取所述可见光图像中第一像素的最大通道值和中间通道值，包括：
从所述可见光图像中每个第一像素的红色通道值、绿色通道值和蓝色通道值中，选取出所述可见光图像中第一像素的最大通道值和最小通道值；
根据所述可见光图像中第一像素的最大通道值和最小通道值，计算出所述可见光图像中第一像素的中间通道值。
可选地，所述根据所述可见光图像中第一像素的蓝色通道值和所述第一像素的最大通道值，确定出所述色偏像素，包括：
比较所述可见光图像中第一像素的蓝色通道值与所述第一像素的最大通道值是否相同；
若比较出所述可见光图像中第一像素的蓝色通道值与所述第一像素的最大通道值相同，将所述第一像素确定为所述色偏像素。
可选地，所述对所述色偏像素进行第一颜色校正处理，包括：
根据所述可见光图像中色偏像素的红色通道值、绿色通道值和蓝色通道值、所述近红外光图像中与所述色偏像素相同位置的暗像素的亮度值以及所述色偏像素的中间通道值，计算出所述校正后可见光图像中色偏像素的红色通道值、绿色通道值和蓝色通道值。
可选地，所述将所述校正后可见光图像和所述近红外光图像进行融合，生成融合图像，包括：
根据所述校正后可见光图像和所述近红外光图像计算出可见光融合权重；
根据所述可见光融合权重，将所述校正后可见光图像和所述近红外光图像进行亮度融合，生成亮度融合图像；
根据所述亮度融合图像，对所述校正后可见光图像进行色度调整，生成色度调整图像；
根据所述亮度融合图像和所述色度调整图像进行融合，生成所述融合图像。
可选地，所述根据所述校正后可见光图像和所述近红外光图像计算出可见光融合权重，包括：
根据所述校正后可见光图像，计算出所述校正后可见光图中像素的第一可见光权重；
根据所述近红外光图像，计算出所述近红外光图像中像素的第二可见光权重；
将所述像素的第一可见光权重和第二可见光权重中的最大值，作为所述像素的可见光融合权重。
另一方面，本发明实施例提供了一种图像融合装置，包括：
获取模块，用于从图像采集设备获取可见光图像和近红外光图像；
颜色校正模块，用于根据所述近红外光图像的明暗信息对所述可见光图像进行颜色校正处理，得到校正后可见光图像；
生成模块，用于将所述校正后可见光图像和所述近红外光图像进行融合，生成融合图像。
另一方面，本发明实施例提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述图像融合方法。
另一方面，本发明实施例提供了一种计算机设备，包括存储器和处理器，所述存储器用于存储包括程序指令的信息，所述处理器用于控制程序指令的执行，所述程序指令被处理器加载并执行时实现上述图像融合方法的步骤。
本发明实施例提供的图像融合方法、装置、存储介质和计算机设备的技术方案中，通过近红外光图像的明暗信息对可见光图像进行颜色校正处理得到校正后可见光图像，并将校正后可见光图像和近红外光图像进行融合生成融合图像，由于对可见光图像进行了颜色校正，使得生成的融合图像中的色偏得到去除，从而解决了图像局部的色偏问题。
【附图说明】
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种图像融合方法的流程图；
图2为本发明实施例提供的另一种图像融合方法的流程图；
图3为本发明实施例中近红外亮度权重映射关系的示意图；
图4为本发明实施例提供的一种图像融合装置的结构示意图；
图5为本发明实施例提供的一种计算机设备的示意图。
【具体实施方式】
为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，甲和/或乙，可以表示：单独存在甲，同时存在甲和乙，单独存在乙这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
图1为本发明实施例提供的一种图像融合方法的流程图，如图1所示，该方法包括：
步骤102、从图像采集设备获取可见光图像和近红外光图像。
本发明实施例中的各步骤可以由图像融合装置执行，图像融合装置设置于图像采集设备一侧，并与图像采集设备连接。其中，图像融合装置可单独设置或者图像融合装置可集成于图像采集设置上。作为一种可选方案，图像采集设备可包括监控摄像头。
本发明实施例中，图像采集设备可包括分光棱镜、可见光传感器和红外传感器，分光棱镜将入射光信号分为可见光信号和近红外光信号并将可见光信号传输至可见光传感器以及将近红外光信号传输至红外传感器，可见光传感器将可见光信号转换为彩色数字信号以生成可见光图像，红外传感器将近红外光信号转换为灰度数字信号以生成近红外光图像。而后，图像采集设备将可见光图像和近红外光图像输出至图像融合装置，以使图像融合装置获取到可见光图像和近红外光图像。
本发明实施例中，可见光图像和近红外光图像均可包括贝尔图像。在实际应用中，可见光图像和近红外光图像还可以包括其他类型的图像，此处不再一一列举。
在图像融合装置获取到可见光图像和近红外光图像之后，可对可见光图像和近红外光图像进行图像预处理，图像预处理的过程具体可包括：
步骤103a、对可见光图像进行去马赛克(DEMOISC)处理、2D降噪(DENOISE)处理、自动白平衡(Automatic White Balance，简称AWB)处理和伽马(GAMMA)校正处理。
对可见光图像进行上述图像预处理之后，可得到噪点小、色彩真实的可见光图像。
步骤103b、对近红外光图像进行去马赛克(DEMOISC)处理、2D降噪(DENOISE)处理和伽马(GAMMA)校正处理。
对近红外光图像进行上述图像预处理之后，可得到亮度均衡、细节清晰的近红外光图像。
步骤103c、通过配准矩阵，将可见光图像和近红外光图像进行图像配准。
作为一种可选方案，可通过SIFT算法计算出可见光图像和近红外光图像的特征点，并将计算出的特征点进行匹配生成配准矩阵。
作为另一种可选方案，由于可见光传感器和红外传感器的相对位置是固定的，因此可根据预先获取的可见光图像和近红外光图像预先计算出配准矩阵，并存储配准矩阵，而后采用预先计算出的配准矩阵，将可见光图像和近红外光图像进行图像配准，从而提高了图像配准的计算速度。
在步骤103的图像配准之后，若可见光图像和近红外光图像之间存在不重合的情况，则执行如下步骤：
步骤103d、选取可见光图像和近红外光图像的最大内接矩形，将可见光图像和近红外光图像中最大内接矩形之外的边界裁剪掉。
步骤104、根据近红外光图像的明暗信息对可见光图像进行颜色校正处理，得到校正后可见光图像。
本发明实施例中，步骤104具体可包括：
步骤1041、根据近红外光图像的明暗信息确定出近红外光图像的暗像素，并确定暗像素对应可见光图像的第一像素。
本发明实施例中，明暗信息可包括亮度，预先设置设定亮度阈值，获取近红外图像中每个像素的亮度，比较近红外图像中每个像素的亮度是否小于设定亮度阈值，若比较出像素的亮度小于设定亮度阈值，则将该亮度小于设定亮度阈值的像素确定为暗像素。通过上述方式，可筛选出近红外图像中所有的暗像素。
可见光图像和近红外光图像中相同位置的像素之间具备对应关系，因此可在可见光图像中查询出与暗像素相同位置的像素，并将可见光图像中与暗像素相同位置的像素确定为第一像素，从而确定出暗像素对应可见光图像的第一像素。
步骤1042、从第一像素中确定出色偏像素，将可见光图像的色偏像素之外的其它像素确定为第二像素。
本发明实施例中，以色偏像素为偏蓝像素为例，从第一像素中确定出色偏像素具体可包括：根据可见光图像中每个第一像素的红色通道值、绿色通道值和蓝色通道值，获取可见光图像中每个第一像素的最大通道值和中间通道值；根据可见光图像中第一像素的蓝色通道值和第一像素的最大通道值，确定出色偏像素。
步骤1043、分别对色偏像素进行第一颜色校正处理，对第二像素进行第二颜色校正处理。
作为一种可选方案，对色偏像素的目标颜色进行减低校正参数处理，对第二像素的目标颜色的校正参数进行保留处理，其中，第一颜色校正处理为减低校正参数，第二颜色校正处理为保留校正参数。
作为另一种可选方案，对色偏像素的目标颜色进行减低校正参数处理，对第二像素的目标颜色进行增加校正参数处理，其中，第一颜色校正处理为减低校正参数，第二颜色校正处理为增加校正参数处理。
作为另一种可选方案，对色偏像素的目标颜色进行减低校正参数处理，对第二像素的目标颜色进行减低校正参数处理，其中，第一颜色校正处理为减低校正参数，第二颜色校正处理为减低校正参数处理。第一颜色校正处理中减低校正参数的程度大于第二颜色校正处理中校正参数和度的程度。
本发明实施例中，校正参数包括饱和度、亮度、色相或者清晰度。
作为一种可选方案，校正参数包括饱和度时，通过近红外光图像对可见光图像的像素进行颜色校正处理，可减弱色偏像素的饱和度，从而实现校正色偏像素的色偏现象。
本发明实施例中，可根据近红外光图像的明暗信息对可见光图像的目标颜色色偏进行颜色校正处理，得到校正后可见光图像。作为一种可选方案，目标颜色色偏包括蓝色色偏。
在实际应用中，还可根据近红外光图像的明暗信息对可见光图像的其它目标颜色色偏进行颜色校正处理，得到校正后可见光图像。例如：其它目标颜色色偏可包括红色色偏或者橙色色偏。
步骤106、将校正后可见光图像和近红外光图像进行融合，生成融合图像。
本发明实施例的技术方案中，通过近红外光图像的明暗信息对可见光图像进行颜色校正处理得到校正后可见光图像，并将校正后可见光图像和近红外光图像进行融合生成融合图像，由于对可见光图像进行了颜色校正，使得生成的融合图像中的色偏得到去除，从而解决了图像局部的色偏问题。
本发明实施例提供的图像融合方法可应用于多种场景，例如：该方法可应用于环保卡口、人脸识别领域或者行车记录仪，以解决上述场景中图像局部的色偏问题。
下面以环保卡口这一场景为例，对图像融合方法进行详细描述。图2为本发明实施例提供的另一种图像融合方法的流程图，如图2所示，该方法包括：
步骤202、从图像采集设备获取可见光图像和近红外光图像。
对步骤202的描述可参见上述实施例中对步骤102的描述，此处不再赘述。
在光学成像领域，可见光中蓝光的波长包括440纳米至475纳米，近红外光的波长包括780纳米至3000纳米，两种光之间光谱范围存在较大差异，从而导致两者的成像存在较大不同。道路上车辆的车灯采用冷光源，车灯照射路面发生漫反射，反射光进入图像采集设备，图像采集设备形成的可见光图像中车灯照射区域图像发蓝。在图像采集设备形成的近红外光图像中车灯照射区域的路面依旧保持灰暗，而蓝色车牌区域极易反光，且在红外爆闪灯的补光作用下显得非常明亮。针对上述问题，本发明实施例中，可通过近红外光图像对偏蓝像素进行颜色校正处理，在图像发蓝区域降低蓝色的饱和度，在极易反光且非常明亮的区域保持蓝色的饱和度，从而达到去除场景蓝色的目的。
步骤204、根据近红外光图像的明暗信息确定出所述近红外光图像的暗像素，并确定所述暗像素对应所述可见光图像的第一像素。
本发明实施例中，明暗信息可包括亮度，预先设置设定亮度阈值，获取近红外图像中每个像素的亮度，比较近红外图像中每个像素的亮度是否小于设定亮度阈值，若比较出像素的亮度小于设定亮度阈值，则将该亮度小于设定亮度阈值的像素确定为暗像素。通过上述方式，可筛选出近红外图像中所有的暗像素。
可见光图像和近红外光图像中相同位置的像素之间具备对应关系，因此可在可见光图像中查询出与暗像素相同位置的像素，并将可见光图像中与暗像素相同位置的像素确定为第一像素，从而确定出暗像素对应可见光图像的第一像素。
步骤206、从第一像素中确定出色偏像素，将可见光图像的色偏像素之外的其它像素确定为第二像素。
本发明实施例中，步骤206具体可包括：
步骤2062、根据可见光图像中每个第一像素的红色通道值、绿色通道值和蓝色通道值，获取可见光图像中第一像素的最大通道值和中间通道值。
本发明实施例中，可见光图像I包括多个像素，每个像素可包括红色子像素、绿色子像素和蓝色子像素，则每个像素具备红色通道值Ir(x)、绿色通道值Ig(x)和蓝色通道值Ib(x)。其中，x为像素在可见光图像中的位置。则可见光图像I中每个第一像素可包括红色子像素、绿色子像素和蓝色子像素，则每个第一像素具备红色通道值Ir(x)、绿色通道值Ig(x)和蓝色通道值Ib(x)。
本步骤具体可包括：
步骤2062a、从可见光图像中每个第一像素的红色通道值、绿色通道值和蓝色通道值中，选取出可见光图像中每个第一像素的最大通道值和最小通道值。
具体地，通过公式
从红色通道值、绿色通道值和蓝色通道值中选取出最大通道值，其中，Imax(x)为最大通道值，Ic(x)为第一像素的通道值。
具体地，通过公式
从红色通道值、绿色通道值和蓝色通道值中选取出最小通道值，其中，Imin(x)为最小通道值，Ic(x)为第一像素的通道值。
步骤2062b、根据可见光图像中第一像素的最大通道值和最小通道值，计算出可见光图像中第一像素的中间通道值。
本步骤中，计算第一像素的最大通道值和最小通道值的平均值，以计算出第一像素的中间通道值。
具体地，通过公式
计算出第一像素的中间通道值，其中，Imed(x)为中间通道值。
步骤2064、根据可见光图像中第一像素的蓝色通道值和第一像素的最大通道值，确定出色偏像素。
本步骤具体可包括：
步骤2064a、比较可见光图像中第一像素的蓝色通道值与第一像素的最大通道值是否相同。
比较第一像素的蓝色通道值Ib(x)和第一像素的最大通道值Imax(x)是否相同。
步骤2064b、若比较出可见光图像中第一像素的蓝色通道值与第一像素的最大通道值相同，将像素确定为色偏像素。
若比较出第一像素的蓝色通道值Ib(x)和第一像素的最大通道值Imax(x)相同，表明该第一像素发蓝，则将该第一像素确定为色偏像素。作为一种可选方案，该色偏像素包括偏蓝像素。
若比较出第一像素的蓝色通道值Ib(x)和第一像素的最大通道值Imax(x)不同，表明该第一像素不存在发蓝现象，可将该第一像素作为第二像素。
需要说明的是：若第一像素的红色通道值、绿色通道值和蓝色通道值相同，则计算出的第一像素的最大通道值和中间通道值均与蓝色通道值相同，此时该第一像素发灰，即该第一像素包括灰色像素。此种情况下，蓝色通道值与最大通道值相同，但是该第一像素并不发蓝，则步骤2064a之后，若比较出可见光图像中第一像素的蓝色通道值与第一像素的最大通道值相同，继续执行步骤208，即将该灰色像素作为偏蓝像素进行后续处理。
步骤208、根据可见光图像中色偏像素的红色通道值、绿色通道值和蓝色通道值、近红外光图像中与色偏像素相同位置的暗像素的亮度值以及色偏像素的中间通道值，计算出校正后可见光图像中色偏像素的红色通道值、绿色通道值和蓝色通道值。
通过公式
c∈{r,g,b}，计算出校正后可见光图像中色偏像素的红色通道值、绿色通道值和蓝色通道值，其中，Iz c(x)为校正后可见光图像中色偏像素的红色通道值、绿色通道值或蓝色通道值，Ic(x)为可见光图像中色偏像素的红色通道值、绿色通道值或蓝色通道值，Imed(x)为可见光图像中色偏像素的中间通道值，N(x)为近红外光图像中与色偏像素相同位置的暗像素的亮度值，α为去蓝强度控制参数。其中，色偏像素包括偏蓝像素。
具体地，通过公式
计算出校正后可见光图像中色偏像素的红色通道值，Ir(x)为可见光图像中色偏像素的红色通道值。
具体地，通过公式
计算出校正后可见光图像中色偏像素的绿色通道值，Ig(x)为可见光图像中色偏像素的绿色通道值。
具体地，通过公式
计算出校正后可见光图像中色偏像素的绿色通道值，Ib(x)为可见光图像中色偏像素的蓝色通道值。
上述计算校正后可见光图像的公式中，α为用于控制去蓝强度的输入值，α的取值范围为0至256，其中，α越小，去蓝强度越大。当去蓝强度过大时，会导致蓝色车辆车身的颜色也被部分去除而变淡，因此α不宜设置过小。
上述计算校正后可见光图像的公式中，除数选取256，是因为256是2的8次方，便于后续步骤210中的融合计算过程中进行8的移位计算。
上述计算校正后可见光图像的公式中，N(x)越小，计算出的通道值越接近于中间通道值，色彩越淡；反之，计算出的通道值越接近于原值，饱和度变化较小，则饱和度基本不变。
通过步骤208实现了对色偏像素的目标颜色进行减低饱和度处理。本实施例中，目标颜色为蓝色，通过对色偏像素的蓝色进行减低饱和度处理，使得色偏得到去除，从而解决了图像局部的色偏问题。
本实施例中，将可见光图像的色偏像素之外的其它像素确定为第二像素，并对第二像素的目标颜色的饱和度进行保留处理。
本步骤中，通过对可见光图像的色偏像素的目标颜色进行减低饱和度处理，以及对第二像素的目标颜色的饱和度进行保留处理，以生成校正后可见光图像。
步骤210、根据校正后可见光图像和近红外光图像计算出可见光融合权重。
具体地，本步骤包括：
步骤2101、根据校正后可见光图像，计算出校正后可见光图中像素的第一可见光权重。
从校正后可见光图像中每个像素的红色通道值、绿色通道值和蓝色通道值中，选取出校正后可见光图像中每个像素的最大通道值；对校正后可见光图像中每个像素的最大通道值进行最大值滤波处理，生成校正后可见光图像中每个像素的局部亮度特征；对校正后可见光图像中每个像素的局部亮度特征进行均值滤波处理，生成校正后可见光图像中每个像素的第一可见光权重。
其中，校正后可见光图像中每个像素的第一可见光权重可形成可见光权重图。换言之，对校正后可见光图像中每个像素的局部亮度特征进行均值滤波处理，生成可见光权重图。
步骤2102、根据近红外光图像，计算出近红外光图像中像素的第二可见光权重。
具体地，可根据预先设置的近红外亮度权重映射关系，查询出与近红外光图像中像素的亮度对应的第二可见光权重，以得出近红外光图像中像素的第二可见光权重。
图3为本发明实施例中近红外亮度权重映射关系的示意图，如图3所示，横轴为亮度，纵轴为第二可见光权重，图3中可表示出设置的近红外亮度权重映射关系，该近红外亮度权重映射关系可包括近红外光图像中像素的亮度与第二可见光权重的对应关系。在设置的近红外光图像中像素的亮度与第二可见光权重的对应关系中，亮度的取值范围包括0至255，第二可见光权重的取值范围包括min_wt至max_wt，其中，min_wt为第二可见光权重最小值，max_wt为第二可见光权重最大值。如图3所示，当亮度的取值范围包括0至min_limit时，对应的第二可见光权重为min_wt，当亮度的取值范围包括max_limit至255时，对应的第二可见光权重为max_wt；当亮度的取值位于min_limit至max_limit之间时，对应的第二可见光权重的取值位于min_wt至max_wt之间，且第二可见光权重随着亮度的增大而逐渐增大。其中，参数min_wt、max_wt、min_limit和max_limit可根据经验进行设置。
如图3所示，例如：若近红外光图像中像素的亮度为min_limit，则查询出的近红外光图像中像素的第二可见光权重为min_wt。
步骤2103、将像素的第一可见光权重和第二可见光权重中的最大值，作为像素的可见光融合权重。
步骤212、根据可见光融合权重，将校正后可见光图像和近红外光图像进行亮度融合，生成亮度融合图像。
通过公式Y(x)＝(Yvis(x)*ω(x)+Ynir(x)*(256-ω(x)))＞＞8，生成亮度融合图像中像素的融合亮度，以得到亮度融合图像。其中，ω(x)为可见光融合权重，Yvis(x)为校正后可见光图像中像素的亮度，Ynir(x)为近红外光图像中像素的亮度，Y(x)为亮度融合图像中像素的融合亮度。
步骤214、根据亮度融合图像，对校正后可见光图像进行色度调整，生成色度调整图像。
通过如下公式：
和
计算出色度调整图像中像素的色彩分量，以得到色度调整图像。其中，Yin(x)为校正后可见光图像中像素的亮度，Yout(x)为亮度融合图像中像素的亮度，Uin(x)和Vin(x)为校正后可见光图像中像素的色彩分量，Uout(x)和Vout(x)为色度调整图像中像素的色彩分量。
步骤216、根据亮度融合图像和色度调整图像进行融合，生成融合图像。
融合图像中像素的亮度为亮度融合图像中该像素的亮度Yout(x)，融合图像中像素的色彩分量为色度调整图像中该像素的色彩分量Uout(x)和Vout(x)。
本发明实施例提供的技术方案中，通过近红外光图像的明暗信息对可见光图像进行颜色校正处理得到校正后可见光图像，并将校正后可见光图像和近红外光图像进行融合生成融合图像，由于对可见光图像进行了颜色校正，使得生成的融合图像中的色偏得到去除，从而解决了双色温光源导致的图像局部的色偏问题。本发明实施例仅对图像的色偏像素进行颜色校正，不会改变图像中其它像素的颜色和色调，从而提高了融合图像的质量。本发明实施例解决了可见光图像中的路面发蓝问题，而不影响图像中车辆和车牌等其它区域的颜色，使得生成的融合图像更加自然真实，从而提高了融合图像的质量。本发明实施例的计算量小，可以很方便的移植到不同的平台，且可以满足嵌入式系统信号的实时处理需求。
图4为本发明实施例提供的一种图像融合装置的结构示意图，如图4所示，该装置包括：获取模块11、颜色校正模块12和生成模块13。
获取模块11用于从图像采集设备获取可见光图像和近红外光图像。
颜色校正模块12用于根据所述近红外光图像的明暗信息对所述可见光图像进行颜色校正处理，得到校正后可见光图像。
生成模块13用于将所述校正后可见光图像和所述近红外光图像进行融合，生成融合图像。
本发明实施例中，颜色校正模块12包括：第一确定子模块121、第二确定子模块122和校正子模块123。
第一确定子模块121用于根据所述近红外光图像的明暗信息确定出所述近红外光图像的暗像素，并确定所述暗像素对应所述可见光图像的第一像素；
第二确定子模块122用于从所述第一像素中确定出色偏像素，将所述可见光图像的色偏像素之外的其它像素确定为第二像素；
校正子模块123用于分别对所述色偏像素进行第一颜色校正处理，对所述第二像素进行第二颜色校正处理。
本发明实施例中，校正子模块123用于对所述色偏像素的目标颜色进行减低校正参数处理，对所述第二像素的目标颜色的校正参数进行保留处理，其中，所述第一颜色校正处理为减低校正参数，所述第二颜色校正处理为保留校正参数。或者，校正子模块123用于对所述色偏像素的目标颜色进行减低校正参数处理，对所述第二像素的目标颜色的进行增加校正参数处理，其中，所述第一颜色校正处理为减低校正参数，所述第二颜色校正处理为增加校正参数。或者，校正子模块123用于对所述色偏像素的目标颜色进行减低校正参数处理，对所述第二像素的目标颜色的进行减低校正参数处理，其中，所述第一颜色校正处理为减低校正参数，所述第二颜色校正处理为减低校正参数，所述第一颜色校正处理中减低校正参数的程度大于第二颜色校正处理中减低校正参数的程度。其中，所述校正参数包括饱和度、亮度、色相或者清晰度。
本发明实施例中，颜色校正模块12用于根据所述近红外光图像的明暗信息对所述可见光图像的目标颜色色偏进行颜色校正处理，得到校正后可见光图像。其中，所述目标颜色色偏包括蓝色色偏、红色色偏或者橙色色偏。
本发明实施例中，第一确定子模块121用于将所述近红外光图像中亮度小于设定亮度阈值的像素，确定为所述暗像素。
本发明实施例中，第二确定子模块122包括：获取子模块和确定子模块。获取子模块，用于根据所述可见光图像中每个第一像素的红色通道值、绿色通道值和蓝色通道值，获取所述可见光图像中每个第一像素的最大通道值和中间通道值；确定子模块，用于根据所述可见光图像中第一像素的蓝色通道值和所述第一像素的最大通道值，确定出所述色偏像素。
其中，所述获取子模块用于从所述可见光图像中每个第一像素的红色通道值、绿色通道值和蓝色通道值中，选取出所述可见光图像中第一像素的最大通道值和最小通道值；根据所述可见光图像中第一像素的最大通道值和最小通道值，计算出所述可见光图像中第一像素的中间通道值。
其中，所述确定子模块用于比较所述可见光图像中第一像素的蓝色通道值与所述第一像素的最大通道值是否相同；若比较出所述可见光图像中第一像素的蓝色通道值与所述第一像素的最大通道值相同，将所述第一像素确定为所述色偏像素。
本发明实施例中，校正子模块123用于根据所述可见光图像中色偏像素的红色通道值、绿色通道值和蓝色通道值、所述近红外光图像中与所述色偏像素相同位置的暗像素的亮度值以及所述色偏像素的中间通道值，计算出所述校正后可见光图像中色偏像素的红色通道值、绿色通道值和蓝色通道值。
其中，校正子模块123具体用于通过公式：
本发明实施例中，生成模块13包括：权重生成子模块131、亮度融合子模块132、色度调整子模块133和融合子模块134。
权重生成子模块131用于根据所述校正后可见光图像和所述近红外光图像计算出可见光融合权重。
亮度融合子模块132用于根据所述可见光融合权重，将所述校正后可见光图像和所述近红外光图像进行亮度融合，生成亮度融合图像。
色度调整子模块133用于根据所述亮度融合图像，对所述校正后可见光图像进行色度调整，生成色度调整图像。
融合子模块134用于根据所述亮度融合图像和所述色度调整图像进行融合，生成所述融合图像。
其中，权重生成子模块131具体用于根据所述校正后可见光图像，计算出所述校正后可见光图中像素的第一可见光权重；根据所述近红外光图像，计算出所述近红外光图像中像素的第二可见光权重；将所述像素的第一可见光权重和第二可见光权重中的最大值，作为所述像素的可见光融合权重。
其中，亮度融合子模块132具体用于通过公式：
Y(x)＝(Yvis(x)*ω(x)+Ynir(x)*(256-ω(x)))＞＞8，生成亮度融合图像中像素的融合亮度，其中，ω(x)为可见光融合权重，Yvis(x)为校正后可见光图像中像素的亮度，Ynir(x)为近红外光图像中像素的亮度，Y(x)为亮度融合图像中像素的融合亮度。
其中，色度调整子模块133具体用于通过如下公式：
和
计算出色度调整图像中像素的色彩分量，其中，Yin(x)为校正后可见光图像中像素的亮度，Yout(x)为亮度融合图像中像素的亮度，Uin(x)和Vin(x)为校正后可见光图像中像素的色彩分量，Uout(x)和Vout(x)为融合图像中像素的色彩分量。
本发明实施例提供的技术方案中，根据近红外光图像的明暗信息对可见光图像进行颜色校正处理得到校正后可见光图像，并将校正后可见光图像和近红外光图像进行融合生成融合图像，由于对可见光图像中的色偏像素进行了颜色校正，使得生成的融合图像中的色偏得到去除，从而解决了图像局部的色偏问题。
本发明实施例提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述图像融合方法的实施例的各步骤，具体描述可参见上述图像融合方法的实施例。
本发明实施例提供了一种计算机设备，包括存储器和处理器，存储器用于存储包括程序指令的信息，处理器用于控制程序指令的执行，程序指令被处理器加载并执行时实现上述图像融合方法的实施例的各步骤，具体描述可参见上述图像融合方法的实施例。
图5为本发明实施例提供的一种计算机设备的示意图。如图5所示，该实施例的计算机设备2包括：处理器21、存储器22以及存储在存储22中并可在处理器21上运行的计算机程序23，该计算机程序23被处理器21执行时实现实施例中的应用于图像融合方法，为避免重复，此处不一一赘述。或者，该计算机程序被处理器21执行时实现实施例中应用于图像融合装置中各模型/单元的功能，为避免重复，此处不一一赘述。
计算机设备2包括，但不仅限于，处理器21、存储器22。本领域技术人员可以理解，图5仅仅是计算机设备2的示例，并不构成对计算机设备2的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如计算机设备2还可以包括输入输出设备、网络接入设备、总线等。
所称处理器21可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器22可以是计算机设备2的内部存储单元，例如计算机设备2的硬盘或内存。存储器22也可以是计算机设备2的外部存储设备，例如计算机设备2上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。进一步地，存储器22还可以既包括计算机设备2的内部存储单元也包括外部存储设备。存储器22用于存储计算机程序以及计算机设备所需的其他程序和数据。存储器22还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(Processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (14)
1.一种图像融合方法，其特征在于，包括：
从图像采集设备获取可见光图像和近红外光图像；
根据所述近红外光图像的明暗信息对所述可见光图像进行颜色校正处理，得到校正后可见光图像；
将所述校正后可见光图像和所述近红外光图像进行融合，生成融合图像。
2.根据权利要求1所述的图像融合方法，其特征在于，所述根据所述近红外光图像的明暗信息对所述可见光图像进行颜色校正处理，得到校正后可见光图像包括：
根据所述近红外光图像的明暗信息确定出所述近红外光图像的暗像素，并确定所述暗像素对应所述可见光图像的第一像素；
从所述第一像素中确定出色偏像素，将所述可见光图像的色偏像素之外的其它像素确定为第二像素；
分别对所述色偏像素进行第一颜色校正处理，对所述第二像素进行第二颜色校正处理。
3.根据权利要求2所述的图像融合方法，其特征在于，所述分别对所述色偏像素进行第一颜色校正处理，对所述第二像素进行第二颜色校正处理，包括：
对所述色偏像素的目标颜色进行减低校正参数处理，对所述第二像素的目标颜色的校正参数进行保留处理，其中，所述第一颜色校正处理为减低校正参数，所述第二颜色校正处理为保留校正参数；或者，
对所述色偏像素的目标颜色进行减低校正参数处理，对所述第二像素的目标颜色的进行增加校正参数处理，其中，所述第一颜色校正处理为减低校正参数，所述第二颜色校正处理为增加校正参数；或者，
对所述色偏像素的目标颜色进行减低校正参数处理，对所述第二像素的目标颜色的进行减低校正参数处理，其中，所述第一颜色校正处理为减低校正参数，所述第二颜色校正处理为减低校正参数，所述第一颜色校正处理中减低校正参数的程度大于第二颜色校正处理中减低校正参数的程度。
4.根据权利要求1-3中任一项所述的图像融合方法，其特征在于，所述根据所述近红外光图像的明暗信息对所述可见光图像进行颜色校正处理，得到校正后可见光图像，包括：
根据所述近红外光图像的明暗信息对所述可见光图像的目标颜色色偏进行颜色校正处理，得到校正后可见光图像，其中，所述目标颜色色偏包括蓝色色偏、红色色偏或者橙色色偏。
5.根据权利要求2所述的图像融合方法，其特征在于，所述明暗信息包括亮度；所述根据所述近红外光图像的明暗信息确定出所述近红外光图像的暗像素，包括：
将所述近红外光图像中亮度小于设定亮度阈值的像素，确定为所述暗像素。
6.根据权利要求2所述的图像融合方法，其特征在于，所述从所述第一像素中确定出色偏像素，包括：
根据所述可见光图像中每个第一像素的红色通道值、绿色通道值和蓝色通道值，获取所述可见光图像中每个第一像素的最大通道值和中间通道值；
根据所述可见光图像中第一像素的蓝色通道值和所述第一像素的最大通道值，确定出所述色偏像素。
7.根据权利要求6所述的图像融合方法，其特征在于，所述根据所述可见光图像中每个第一像素的红色通道值、绿色通道值和蓝色通道值，获取所述可见光图像中第一像素的最大通道值和中间通道值，包括：
从所述可见光图像中每个第一像素的红色通道值、绿色通道值和蓝色通道值中，选取出所述可见光图像中第一像素的最大通道值和最小通道值；
根据所述可见光图像中第一像素的最大通道值和最小通道值，计算出所述可见光图像中第一像素的中间通道值。
8.根据权利要求6所述的图像融合方法，其特征在于，所述根据所述可见光图像中第一像素的蓝色通道值和所述第一像素的最大通道值，确定出所述色偏像素，包括：
比较所述可见光图像中第一像素的蓝色通道值与所述第一像素的最大通道值是否相同；
若比较出所述可见光图像中第一像素的蓝色通道值与所述第一像素的最大通道值相同，将所述第一像素确定为所述色偏像素。
9.根据权利要求2所述的图像融合方法，其特征在于，所述对所述色偏像素进行第一颜色校正处理，包括：
根据所述可见光图像中色偏像素的红色通道值、绿色通道值和蓝色通道值、所述近红外光图像中与所述色偏像素相同位置的暗像素的亮度值以及所述色偏像素的中间通道值，计算出所述校正后可见光图像中色偏像素的红色通道值、绿色通道值和蓝色通道值。
10.根据权利要求1所述的图像融合方法，其特征在于，所述将所述校正后可见光图像和所述近红外光图像进行融合，生成融合图像，包括：
根据所述校正后可见光图像和所述近红外光图像计算出可见光融合权重；
根据所述可见光融合权重，将所述校正后可见光图像和所述近红外光图像进行亮度融合，生成亮度融合图像；
根据所述亮度融合图像，对所述校正后可见光图像进行色度调整，生成色度调整图像；
根据所述亮度融合图像和所述色度调整图像进行融合，生成所述融合图像。
11.根据权利要求10所述的图像融合方法，其特征在于，所述根据所述校正后可见光图像和所述近红外光图像计算出可见光融合权重，包括：
根据所述校正后可见光图像，计算出所述校正后可见光图中像素的第一可见光权重；
根据所述近红外光图像，计算出所述近红外光图像中像素的第二可见光权重；
将所述像素的第一可见光权重和第二可见光权重中的最大值，作为所述像素的可见光融合权重。
12.一种图像融合装置，其特征在于，包括：
获取模块，用于从图像采集设备获取可见光图像和近红外光图像；
颜色校正模块，用于根据所述近红外光图像的明暗信息对所述可见光图像进行颜色校正处理，得到校正后可见光图像；
生成模块，用于将所述校正后可见光图像和所述近红外光图像进行融合，生成融合图像。
13.一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至11中任意一项所述的图像融合方法的步骤。
14.一种计算机设备，包括存储器和处理器，所述存储器用于存储包括程序指令的信息，所述处理器用于控制程序指令的执行，所述程序指令被处理器加载并执行时实现权利要求1至11中任意一项所述的图像融合方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010559641.6A CN111507930B (zh) | 2020-06-18 | 2020-06-18 | 图像融合方法、装置、存储介质和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010559641.6A CN111507930B (zh) | 2020-06-18 | 2020-06-18 | 图像融合方法、装置、存储介质和计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111507930A true CN111507930A (zh) | 2020-08-07 |
| CN111507930B CN111507930B (zh) | 2023-10-10 |
Family
ID=71870608
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010559641.6A Active CN111507930B (zh) | 2020-06-18 | 2020-06-18 | 图像融合方法、装置、存储介质和计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111507930B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112258592A (zh) * | 2020-09-17 | 2021-01-22 | 深圳市捷顺科技实业股份有限公司 | 一种人脸可见光图的生成方法及相关装置 |
| CN112381836A (zh) * | 2020-11-12 | 2021-02-19 | 贝壳技术有限公司 | 图像处理方法和装置、计算机可读存储介质、电子设备 |
| CN112991246A (zh) * | 2021-02-05 | 2021-06-18 | 中国科学院信息工程研究所 | 一种可见光与红外视频图像融合方法及装置 |
| CN113421195A (zh) * | 2021-06-08 | 2021-09-21 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法、装置及设备 |
| CN113724164A (zh) * | 2021-08-31 | 2021-11-30 | 南京邮电大学 | 一种基于融合重构制导滤波的可见光图像噪声去除方法 |
| CN114500850A (zh) * | 2022-02-22 | 2022-05-13 | 锐芯微电子股份有限公司 | 图像处理方法及装置、系统、可读存储介质 |
| CN113724164B (zh) * | 2021-08-31 | 2024-05-14 | 南京邮电大学 | 一种基于融合重构制导滤波的可见光图像噪声去除方法 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090245632A1 (en) * | 2008-03-31 | 2009-10-01 | Micron Technology, Inc. | Method and apparatus for image signal color correction with reduced noise |
| US20120025080A1 (en) * | 2010-07-30 | 2012-02-02 | Changmeng Liu | Color correction circuitry and methods for dual-band imaging systems |
| CN104079908A (zh) * | 2014-07-11 | 2014-10-01 | 上海富瀚微电子股份有限公司 | 红外与可见光图像信号处理方法及其实现装置 |
| JP2015103906A (ja) * | 2013-11-22 | 2015-06-04 | 株式会社リコー | 画像処理装置、撮像システム、画像処理方法およびプログラム |
| US20150334315A1 (en) * | 2009-03-02 | 2015-11-19 | Flir Systems, Inc. | Infrared imaging enhancement with fusion |
| US20170372444A1 (en) * | 2015-01-13 | 2017-12-28 | Sony Corporation | Image processing device, image processing method, program, and system |
| CN108810397A (zh) * | 2018-04-23 | 2018-11-13 | 深圳和而泰数据资源与云技术有限公司 | 一种图像色偏校正方法及终端设备 |
| CN109151431A (zh) * | 2017-06-27 | 2019-01-04 | 京东方科技集团股份有限公司 | 一种图像色偏补偿方法、装置及显示设备 |
| JP2019134331A (ja) * | 2018-01-31 | 2019-08-08 | セコム株式会社 | 画像処理装置 |
| CN110248105A (zh) * | 2018-12-10 | 2019-09-17 | 浙江大华技术股份有限公司 | 一种图像处理方法、摄像机及计算机存储介质 |
| US20190378258A1 (en) * | 2017-02-10 | 2019-12-12 | Hangzhou Hikvision Digital Technology Co., Ltd. | Image Fusion Apparatus and Image Fusion Method |
| CN110830779A (zh) * | 2015-08-28 | 2020-02-21 | 杭州海康威视数字技术股份有限公司 | 一种图像信号的处理方法和系统 |
-
2020
- 2020-06-18 CN CN202010559641.6A patent/CN111507930B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090245632A1 (en) * | 2008-03-31 | 2009-10-01 | Micron Technology, Inc. | Method and apparatus for image signal color correction with reduced noise |
| US20150334315A1 (en) * | 2009-03-02 | 2015-11-19 | Flir Systems, Inc. | Infrared imaging enhancement with fusion |
| US20120025080A1 (en) * | 2010-07-30 | 2012-02-02 | Changmeng Liu | Color correction circuitry and methods for dual-band imaging systems |
| JP2015103906A (ja) * | 2013-11-22 | 2015-06-04 | 株式会社リコー | 画像処理装置、撮像システム、画像処理方法およびプログラム |
| CN104079908A (zh) * | 2014-07-11 | 2014-10-01 | 上海富瀚微电子股份有限公司 | 红外与可见光图像信号处理方法及其实现装置 |
| US20170372444A1 (en) * | 2015-01-13 | 2017-12-28 | Sony Corporation | Image processing device, image processing method, program, and system |
| CN110830779A (zh) * | 2015-08-28 | 2020-02-21 | 杭州海康威视数字技术股份有限公司 | 一种图像信号的处理方法和系统 |
| US20190378258A1 (en) * | 2017-02-10 | 2019-12-12 | Hangzhou Hikvision Digital Technology Co., Ltd. | Image Fusion Apparatus and Image Fusion Method |
| CN109151431A (zh) * | 2017-06-27 | 2019-01-04 | 京东方科技集团股份有限公司 | 一种图像色偏补偿方法、装置及显示设备 |
| JP2019134331A (ja) * | 2018-01-31 | 2019-08-08 | セコム株式会社 | 画像処理装置 |
| CN108810397A (zh) * | 2018-04-23 | 2018-11-13 | 深圳和而泰数据资源与云技术有限公司 | 一种图像色偏校正方法及终端设备 |
| CN110248105A (zh) * | 2018-12-10 | 2019-09-17 | 浙江大华技术股份有限公司 | 一种图像处理方法、摄像机及计算机存储介质 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112258592A (zh) * | 2020-09-17 | 2021-01-22 | 深圳市捷顺科技实业股份有限公司 | 一种人脸可见光图的生成方法及相关装置 |
| CN112381836A (zh) * | 2020-11-12 | 2021-02-19 | 贝壳技术有限公司 | 图像处理方法和装置、计算机可读存储介质、电子设备 |
| CN112991246A (zh) * | 2021-02-05 | 2021-06-18 | 中国科学院信息工程研究所 | 一种可见光与红外视频图像融合方法及装置 |
| CN113421195A (zh) * | 2021-06-08 | 2021-09-21 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法、装置及设备 |
| CN113724164A (zh) * | 2021-08-31 | 2021-11-30 | 南京邮电大学 | 一种基于融合重构制导滤波的可见光图像噪声去除方法 |
| CN113724164B (zh) * | 2021-08-31 | 2024-05-14 | 南京邮电大学 | 一种基于融合重构制导滤波的可见光图像噪声去除方法 |
| CN114500850A (zh) * | 2022-02-22 | 2022-05-13 | 锐芯微电子股份有限公司 | 图像处理方法及装置、系统、可读存储介质 |
| CN114500850B (zh) * | 2022-02-22 | 2024-01-19 | 锐芯微电子股份有限公司 | 图像处理方法及装置、系统、可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111507930B (zh) | 2023-10-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111507930A (zh) | 图像融合方法、装置、存储介质和计算机设备 | |
| US7027662B2 (en) | Method and apparatus for the removal of flash artifacts | |
| CN106886985B (zh) | 一种减小色偏的自适应低照度图像增强方法 | |
| CN111062378B (zh) | 图像处理方法、模型训练方法、目标检测方法及相关装置 | |
| CN105812674B (zh) | 一种信号灯的颜色修正方法、监控方法及装置 | |
| CN105453532B (zh) | 摄像装置、摄像方法和车载摄像系统 | |
| CN102314601B (zh) | 使用非线性光照恒定核去除由基于车辆的相机捕获的图像中的阴影 | |
| JPH08289314A (ja) | オートホワイトバランス調整装置 | |
| US9129439B2 (en) | Three-dimensional image processing apparatus and three-dimensional image processing method | |
| CN107396079B (zh) | 白平衡调整方法和装置 | |
| JP2007164737A (ja) | 色識別方法 | |
| US20230342894A1 (en) | Converting input image data from a plurality of vehicle cameras of a surround-view system into optimised output image data | |
| US11445127B2 (en) | Leveraging HDR sensors for handling mixed illumination auto white balance | |
| CN107580205B (zh) | 白平衡调整方法和装置 | |
| Mandal et al. | Real-time automotive night-vision system for drivers to inhibit headlight glare of the oncoming vehicles and enhance road visibility | |
| US11153546B2 (en) | Low-light imaging system | |
| CN105118032B (zh) | 一种基于视觉系统的宽动态处理方法 | |
| CN109300186B (zh) | 图像处理方法和装置、存储介质、电子设备 | |
| CN116110035A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN107025636B (zh) | 结合深度信息的图像去雾方法及装置和电子装置 | |
| JP2012008845A (ja) | 画像処理装置 | |
| JP6655504B2 (ja) | 画像処理装置、画像処理システム、移動体、及び画像処理方法 | |
| CN109345602A (zh) | 图像处理方法和装置、存储介质、电子设备 | |
| WO2023026407A1 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| WO2023144894A1 (ja) | 画像処理装置および画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |