CN110660088A - 一种图像处理的方法和设备 - Google Patents

一种图像处理的方法和设备 Download PDF

Info

Publication number
CN110660088A
CN110660088A CN201810703983.3A CN201810703983A CN110660088A CN 110660088 A CN110660088 A CN 110660088A CN 201810703983 A CN201810703983 A CN 201810703983A CN 110660088 A CN110660088 A CN 110660088A
Authority
CN
China
Prior art keywords
image
pixels
parallax
pixel
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810703983.3A
Other languages
English (en)
Other versions
CN110660088B (zh
Inventor
提纯利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201810703983.3A priority Critical patent/CN110660088B/zh
Priority to EP19824613.4A priority patent/EP3800616A4/en
Priority to PCT/CN2019/074780 priority patent/WO2020001034A1/zh
Publication of CN110660088A publication Critical patent/CN110660088A/zh
Priority to US17/136,902 priority patent/US11798147B2/en
Application granted granted Critical
Publication of CN110660088B publication Critical patent/CN110660088B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种图像处理的方法，包括：获取第一图像和第二图像；对第一图像和第二图像，分别计算获得图像的梯度显著性特征图；根据所述第一图像和第二图像的梯度显著性特征，将第一图像与第二图像进行特征匹配，得到第一图像的稠密视差图；根据所述第一图像的稠密视差图，将与第一图像的像素对应的第二图像的像素进行视差平移，并与所述第一图像融合。本发明提高了多源图像融合的成功率，并改善了融合图像的质量。

Description

一种图像处理的方法和设备
技术领域
本发明涉及信息处理领域，尤其涉及一种图像处理的方法和设备。
背景技术
在安防监控等场景中，单一的可见光传感器很难满足低照度、雾霾等场景下的信息采集需求，而近红外、热红外、动态视觉、多光谱、高光谱等各种传感器可以作为可见光传感器的补充。通过在同一平台或设备上同时配置可见光传感器与其他类型传感器，并将它们获取的图像信息进行融合，可以输出噪声小、对比度高的彩色图像，并可以提供额外的场景分类信息。
在多个传感器情况下，由于不同传感器的位置差异，从它们获取的多源图像中，相同物体的像素位置存在差异。目前常用的做法是对多源图像进行特征点匹配后再进行融合。
然而，现有技术中融合的图像会有明显伪影，而且匹配的成功率低，从而降低了融合图像的质量。
发明内容
本发明实施例提供一种图像处理的方法和设备，提高多源图像融合的成功率，并改善融合图像的质量。
第一方面，本发明实施例提供一种图像处理的方法，包括：获取第一图像和第二图像；对第一图像和第二图像，分别计算获得图像的梯度显著性特征图；根据所述第一图像和第二图像的梯度显著性特征，将第一图像与第二图像进行特征匹配，得到第一图像的稠密视差图；根据所述第一图像的稠密视差图，将与第一图像的像素对应的第二图像的像素进行视差平移，并与所述第一图像融合。
上述方法利用多源图像间纹理和轮廓的相关性，通过提取梯度显著性特征解决了不同传感器数据亮度分布差异导致的特征无法匹配问题，提高了多源图像融合的成功率，并改善了融合图像的质量。
在一个可能的设计中，所述计算获得图像的梯度显著性特征图包括：利用梯度算子提取图像中每个波段的垂直梯度和水平梯度，根据所述垂直梯度和水平梯度，计算出图像中每个波段的梯度显著性特征图；对各个波段的梯度显著性特征图中每个像素进行加权平均得到图像的梯度显著性图。
在另一个可能的设计中，在获取第一图像和第二图像后，调整所述第一图像或/和第二图像，使调整后的第一图像和第二图像只存在水平方向视差。
在另一个可能的设计中，所述将第一图像与第二图像进行特征匹配，得到第一图像的稠密视差图包括：将第一图像中的任一个匹配单元，在第二图像中沿着视差方向搜索，得到使特征差异最小的视差值。
在另一个可能的设计中，所述匹配单元为所述第一图像中每个像素的邻域，对每个像素的邻域执行特征匹配后得到的视差值作为此像素的视差值，对第一图像的所有像素进行所述特征匹配得到第一图像的稠密视差图。
在另一个可能的设计中，所述第一图像被分割为多个超像素；所述匹配单元为所述分割后的超像素，对第一图像的每个超像素，在第二图像中沿着视差方向搜索，得到使特征差异最小的视差值，作为所述超像素内的所有像素的视差值。
在另一个可能的设计中，所述第一图像为近红外图像，所述第二图像为彩色可见光图像；所述将与第一图像的像素对应的第二图像的像素进行视差平移，并与所述第一图像融合具体包括：根据稠密视差图，对近红外图像中的每个像素，将其在彩色图像中对应像素的颜色信息根据对应视差值平移后作为融合图像的颜色信息，将彩色图像对应像素的亮度值与近红外图像的亮度值加权平均后作为融合图像的亮度信息。
在另一个可能的设计中，所述第一图像为彩色可见光图像，第二图像为热红外图像；所述将与第一图像的像素对应的第二图像的像素进行视差平移，并与所述第一图像融合具体包括：根据稠密视差图，对彩色图像中的每个像素，将其在热红外图像中对应像素的亮度信息按照估计视差进行平移；将热红外图像的亮度值与彩色图像的亮度值进行加权作为融合图像的亮度值，或者，对热红外图像的亮度值进行归一化后与对应位置彩色图像亮度值相乘作为融合图像的亮度值。
在另一个可能的设计中，所述第一图像为彩色可见光图像，第二图像为DVS(Dynamic Vision Sensor)纹理图像；所述将与第一图像的像素对应的第二图像的像素进行视差平移，并与所述第一图像融合具体包括：根据稠密视差图，对彩色图像中的每个像素，将其在DVS纹理图像中对应像素的亮度信息按照估计视差进行平移；对彩色图像的亮度分量进行小波分解或金字塔分解，划分为低频分量和高频分量；将彩色图像中的高频分量与平移后的DVS纹理图像加权作为新的高频分量，与彩色图像的低频分量进行逆变换操作得到融合图像的亮度分量。
在另一个可能的设计中，所述第一图像为MSI(Multi-spectral Image)图像，第二图像为HSI(Hyper-spectral Image)图像；所述将与第一图像的像素对应的第二图像的像素进行视差平移，并与所述第一图像融合具体包括：根据稠密视差图，对MSI图像中的每个像素，将其在HSI图像中对应像素按照估计视差进行平移；对MSI图像和HSI图像进行辐射校准，通过端元提取方法分别提取构成MSI和HSI的光谱端元，并计算各自初始的丰度矩阵；利用MSI和HSI的空谱相关性进行联合解混，通过叠乘迭代更新端元和丰度矩阵至收敛，将获得的高空间分辨率的丰度矩阵与高光谱端元相乘，获得融合图像。
第二方面，本发明实施例提供了一种图像处理装置，具有实现上述方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的单元，如包括图像获取单元，梯度计算单元，视差估计单元，和图像融合单元。
在一个可能的设计中，图像处理装置的结构中包括处理器和存储器，所述存储器用于存储支持上述方法的应用程序代码，所述处理器被配置为用于执行所述存储器中存储的程序。所述图像处理装置还包括通信接口，用于与其他装置通信。
第三方面，本发明实施例提供了一种计算机存储介质，用于储存为上述图像处理装置所用的计算机软件指令，其包含用于执行上述方法所设计的程序。
本发明实施例提供的上述图像处理的技术方案，利用多源图像间纹理和轮廓的相关性，通过提取梯度显著性特征解决了不同传感器数据亮度分布差异导致的特征无法匹配问题，提高了多源图像融合的成功率，并改善了融合图像的质量。同时，利用视差信息结合摄像机参数估计图像中景物的实际深度，为场景的三维信息重建和图像目标估计追踪等需求提供参照信息。
附图说明
图1为本发明实施例提供的一种图像处理系统的架构示意图；
图2为本发明实施例提供的一种图像处理方法的流程示意图；
图3为本发明实施例提供的另一种图像处理方法的流程示意图；
图4为本发明实施例提供的一种图像处理装置的结构示意图；
图5为本发明实施例提供的另一种图像处理装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
本发明实施例提供的图像处理方法应用于图1所示的系统中，系统包括：第一图像获取装置101、第二图像获取装置102、图像处理装置103。作为示例，图1仅仅包含了两个图像获取装置。可以理解，系统还可以包含更多的图像获取装置。图像处理装置可以处理从多个图像源获得的图像。
图1所示的系统可以是一个物理设备，例如一个用户设备，包括手机、摄像机、具有摄像功能的无人机、笔记本电脑等，可以包含至少两个摄像头，即两个图像获取装置；还包含图像处理装置，处理多个摄像头拍摄的图像。
图1所示的系统也可以是一个监控系统。多个图像获取装置，例如布置在不同位置的摄像头，与一个中心图像处理装置通过有线或无线方式连接，中心图像处理装置，可以处理多个摄像头拍摄的图像。
图像获取装置通常包括光学滤波镜头、成像传感器、图像处理等模块。图像获取装置可以通过光学滤波镜头和传感器的配合，采集不同光谱波段的图像。例如，可以利用滤波镜头滤除可见光谱段以外的光线，配合彩色/单色成像传感器获取彩色/黑白可见光图像；也可以利用滤波镜头滤除红外谱段以外的光线，配合彩色/单色成像传感器获取红外图像；还可以利用分光镜头，配合成像传感器阵列获取多光谱、高光谱图像等。不同图像获取装置可以输出不同的图像，例如可见光图像、近红外图像、热红外图像、多光谱图像、高光谱图像等，或他们的组合。
图像获取装置间可以进行信号同步，以使得拍摄图像的时间尽可能一致。
应用于上述图1所示的系统中，本发明的实施例提供了一种图像处理的方法。如图2所示，图像处理装置从多个数据源获取图像后，进行处理，得到融合后的图像。下面的描述以两个图像为例，在存在多个图像时可以拆分为多组两个图像逐对进行图像融合。具体包括下列步骤。
201，从多个图像源获取图像。
例如，图像处理装置可以通过图1所示的两个图像获取装置同时采集两路不同光谱波段的第一图像和第二图像，根据成像参数校准至只有水平视差，如镜头参数初始标定，或者对已拍摄的图像进行图像配准(Image calibration)。优选的，可以使得第一图像获取装置和第二图像获取装置的镜头光轴保持平行，焦距一致，再调整图像的方向使其只在水平方向存在视差。
获取的第一图像和第二图像，可以是前述的可见光图像、近红外图像、热红外图像、多光谱图像、高光谱图像等，或他们的组合。下面的步骤中，以第一图像为近红外图像，第二图像为彩色可见光图像为例进行说明。
图像处理装置获取图像后，还可以对图像进行3D降噪处理以抑制噪声干扰。
202，获得第一图像和第二图像的梯度显著性特征图(gradient saliency map)。
对于上述步骤获取的图像，例如第一图像或者第二图像，可以按照下面的方法计算获得每个图像的梯度显著性特征图。
首先可以利用水平方向和垂直方向的梯度算子，如Canny算子，Sobel算子等，对一个图像中的N个波段进行二维卷积滤波，基于下式获取图像中每一个波段In的垂直梯度GnT和水平梯度GnH(n＝1,2,…N)：
Figure BDA0001715008700000041
Figure BDA0001715008700000042
其中，MT和MH分别表示垂直和水平梯度算子，
Figure BDA0001715008700000043
表示二维卷积。
然后，根据上述获取的梯度值，按照下式计算图像中每个像素(x,y)的梯度显著性特征Jn：
Figure BDA0001715008700000044
式中cx是像素x的邻域；α和β分别是垂直梯度和水平梯度的权重，可设置α＜β来突出平行于视差方向的梯度，以提升后续特征匹配的准确度；k∈(0,1)是一个常量，通常取0.5。由于噪点周围梯度方向不同，该特征可以抑制噪声的干扰。
最后，按照下式对各个波段的梯度显著性特征图中每个像素进行加权平均求取最终的梯度显著性图：
Figure BDA0001715008700000051
其中，λn≥0是第n个波段的权重。具体地，对RGB(Red,Green,Blue)格式的彩色图像、多光谱图像、或高光谱图像可以取λn＝1。对于CIE(Commission Internationale de L'Eclairage)格式彩色图像可以取λ1＝2.55,λ2＝1,λ3＝1。也可以按照下式，位置x上将梯度显著性最大的l个波段的权重取为1，其他的为0；特别地当l取1时，J(x)为位置x上各个Jn(x,y)中的最大值。
Figure BDA0001715008700000052
分别按照上述方法，可获得获得第一图像的梯度显著性特征图和第二图像的梯度显著性特征图。
203，进行视差估计。
例如，在低可见光照下，通过可控光源补充近红外波段的光线，获取的第一图像为近红外图像，第二图像为彩色可见光图像，再依据上述步骤计算获得两个图像的梯度显著性特征图。然后，以第一图像，即近红外图像为基准，对第一图像中的任一个匹配单元，通过与第二图像进行特征最优匹配，得到第一图像的稠密视差图(dense disparity map)D。稠密视差图中每一个像素值D(x,y)表示第一图像中的同一位置的像素I1(x,y)与第二图像中相对应像素I2(x+D(x,y),y)在视差方向距离的像素数。
具体地，对第一图像中的任一个匹配单元φk，例如每个像素的邻域，在第二图像中沿着视差方向搜索，得到使特征差异最小的视差值dk：
Figure BDA0001715008700000053
其中，arg表示是后面极小值成立的值；dmin和dmax分别为最小和最大视差搜索范围，可以利用镜头光轴距离、焦距等参数，根据摄影定理求得；J1和J2分别是第一图像的梯度显著性特征图和第二图像的梯度显著性特征图。
在匹配单元是每个像素的邻域的情况下，对每个像素的邻域执行特征匹配后得到的视差值作为此像素的视差值，对第一图像的所有像素进行上述视差估计即可得第一图像的稠密视差图D。之后还可以利用第二图像作为参考图像进行联合双边滤波等引导滤波操作，提升视差图的区域一致性。
204，进行图像融合。根据获得的第一图像的稠密视差图，将与第一图像的像素对应的第二图像的像素进行视差平移，并与所述第一图像融合。
对上述近红外的第一图像和彩色的第二图像，先将两个图像分别转换到亮度信息与颜色信息用不同维度表示的色彩空间，转换可以包括：YUV(亮度色度颜色)、CIE(Commission Internationale de L'Eclairage国际照明委员会)、HSV(Hue SaturationValue色相、饱和度、明度)、HIS(Hue Saturation Luminance色相、饱和度、亮度)等格式。
根据计算获得的第一图像的稠密视差图，对近红外的第一图像中的每个像素，将其在彩色的第二图像中对应像素的颜色信息根据对应的视差值平移后作为融合图像的颜色信息，将彩色的第二图像对应像素的亮度值与近红外的第一图像的亮度值加权平均后作为融合图像的亮度信息。
对融合后的图像，还可以进行色彩增强、直方图调整和白平衡等后处理。融合的图像可以保存到存储设备中，或者发送到网络中。
上述图2所示的实施例，利用多源图像间纹理和轮廓的相关性，通过提取梯度显著性特征解决了不同传感器数据亮度分布差异导致的特征无法匹配问题，提高了多源图像融合的成功率，并改善了融合图像的质量。具体到近红外图像和彩色图像的情况下，利用近红外光线不易被人眼感知的特性，在低照环境下只进行红外补光即可获取清晰彩色图像，避免可见光补光带来的光污染问题。具体到热红外图像和彩色图像的情况下，利用热红外图像增强了彩色图像中不同温度物体的对比度。
在雾霾场景下，可以利用对气溶胶具有更好的穿透性的、红外波长更长的摄像头获取红外图像，在进行融合前，对彩色图像进行基于统计的去雾增强，从而提升融合后图像的质量。
本发明实施例还提供应用于上述图1所示的系统中的另一个图像处理的方法。如图3所示，图像处理装置从多个数据源获取图像后，进行处理，得到融合后的图像。与上述图2的方法不同的是，对第一图像执行超像素分割，在特征匹配获得稠密视差图时，匹配单元为分割的超像素。具体包括下列步骤。
301，从多个图像源获取图像。
与步骤201相同，图像处理装置可以通过图像获取装置同时采集两路不同光谱波段的第一图像和第二图像，并校准至只有水平视差。
302，获得第一图像和第二图像的梯度显著性特征图(gradient saliency map)。
对于获取的第一图像和第二图像，可以按照步骤202的方法分别计算获得第一图像的梯度显著性特征图和第二图像的梯度显著性特征图。
303，对第一图像进行超像素分割。
超像素分割是将图像分割为多个空间上临近，光谱上相似的像素集合组成的小区域，即分割为多个超像素。一个图像分割为M个超像素Ωm,m＝1,2,...M，这M个超像素覆盖整个图像I＝{Ω1∪Ω2∪...∪Ωm}。
304，进行视差估计。
与步骤203不同，本步骤中的匹配单元为上述分割后的超像素。例如，在低可见光照下，通过可控光源补充近红外波段的光线，获取的第一图像为近红外图像，第二图像为彩色可见光图像，再依据上述步骤计算获得两个图像的梯度显著性特征图。然后，以第一图像，即近红外图像为基准，对第一图像中的任一个匹配单元，通过与第二图像进行特征最优匹配，得到第一图像的稠密视差图(dense disparity map)D。稠密视差图中每一个像素值D(x,y)表示第一图像中的同一位置的像素I1(x,y)与第二图像中相对应像素I2(x+D(x,y),y)在视差方向距离的像素数。
具体地，对第一图像中的任一个匹配单元φk，例如每个超像素，在第二图像中沿着视差方向搜索，得到使特征差异最小的视差值dk：
Figure BDA0001715008700000071
其中，arg表示是后面极小值成立的值；dmin和dmax分别为最小和最大视差搜索范围，可以利用镜头光轴距离、焦距等参数，根据摄影定理求得；J1和J2分别是第一图像的梯度显著性特征图和第二图像的梯度显著性特征图。
在匹配单元是超像素的情况下，对每个超像素执行特征匹配后得到的视差值作为此超像素内所有像素的视差值，对第一图像的所有超像素进行上述视差估计即可得第一图像的稠密视差图D。
305，进行图像融合。
与前述步骤204相同，根据获得的第一图像的稠密视差图，将与第一图像的像素对应的第二图像的像素进行视差平移，并与所述第一图像融合。
对上述近红外的第一图像和彩色的第二图像，先将两个图像分别转换到亮度信息与颜色信息用不同维度表示的色彩空间。然后根据计算获得的第一图像的稠密视差图，对近红外的第一图像中的每个像素，将其在彩色的第二图像中对应像素的颜色信息根据对应的视差值平移后作为融合图像的颜色信息，将彩色的第二图像对应像素的亮度值与近红外的第一图像的亮度值加权平均后作为融合图像的亮度信息。
通过图3所示的方法中的超像素分割和超像素匹配搜索，使视差具有更好的区域一致性，从而提升视差估计准确度，进一步抑制伪影，使得融合后的图像质量提升，同时获取更加准确的深度信息。
本发明实施例还提供一种图像处理方法，通过融合彩色图像与热红外图像突出彩色图像中的温度异常目标。该方法与图2和图3的方法类似，具体包括：
图像处理装置从两个图像获取装置获得第一图像和第二图像，第一图像为为彩色可见光图像；第二图像为热红外图像，热红外图像的每个像素的亮度值反应对应的温度信息。同时采集两个图像后，将两个图像校准为只有水平视差，并确定视差范围。
计算获得两个图像的梯度显著性特征图。
对第一图像(彩色图像)的每个像素邻域与第二图像(热红外图像)进行特征匹配，获得第一图像的稠密视差图；可选的，先对第一图像进行超像素分割，对每个超像素与第二图像进行特征匹配，获得第一图像的稠密视差图。
根据稠密视差图，对彩色图像中的每个像素，将其在热红外图像中对应像素的亮度信息按照估计视差进行平移；然后以彩色图像为参照图像，对平移后的热红外图像进行联合双边滤波等引导滤波操作，使其与彩色具有更为一致的轮廓；最后，将热红外图像的亮度值与彩色图像的亮度值进行加权作为融合图像的亮度值，颜色信息保持不变，或者，对热红外图像的亮度值进行归一化后与对应位置彩色图像亮度值相乘作为融合图像的亮度值，颜色信息保持不变。
通过该方法，利用热红外图像提升了彩色图像中温度异常景物与周围环境的对比度。
本发明实施例还提供一种图像处理方法，利用动态视觉传感器DVS(DynamicVision Sensor)摄像机拍摄的纹理图像与可见光彩色图像匹配融合，利用DVS的快速捕捉能力使传统彩色图像中高速目标的运动模糊区域也具有清晰的纹理。该方法与图2和图3的方法类似，具体包括：
图像处理装置从两个图像获取装置获得第一图像和第二图像，第一图像为彩色可见光图像，第二图像为DVS摄像机拍摄的高速纹理图像。同时采集两路图像，抽取高速纹理系列图像中与彩色图像时域对准的图像为第二图像。根据成像参数校准至两个图像只有水平视差，并确定视差范围。
计算获得两个图像的梯度显著性特征图。
对第一图像(彩色图像)的每个像素邻域与第二图像(DVS纹理图像)进行特征匹配，获得第一图像的稠密视差图；可选的，先对第一图像进行超像素分割，对每个超像素与第二图像进行特征匹配，获得第一图像的稠密视差图。
根据稠密视差图，对彩色图像中的每个像素，将其在DVS纹理图像中对应像素的亮度信息按照估计视差进行平移；然后对彩色图像的亮度分量进行小波分解或金字塔分解等多分辨变换操作，划分为低频分量和高频分量；最后，将其中的高频分量与平移后的DVS纹理图像加权作为新的高频分量，与彩色图像的低频分量进行逆变换操作得到融合图像的亮度分量。颜色信息沿用原彩色图像的颜色信息。
通过该方法，利用DVS中的纹理图像提升了彩色图像中相应位置的纹理细节。
本发明实施例还提供一种图像处理方法，将高空间分辨率、低光谱分辨率的MSI图像(Multi-spectral Image，)和低空间分辨率、高光谱分辨率的HIS图像(Hyper-spectralImage)融合成同时具有高空间分辨率和高光谱分辨率的图像。该方法与图2和图3的方法类似，具体包括：
图像处理装置从两个图像获取装置获得第一图像和第二图像，第一图像为多光谱摄像机拍摄的MSI图像，第二图像为成像光谱仪拍摄的HSI图像。同时采集两路图像，降低原始MSI图像的空间分辨率到于HSI一致。根据成像参数校准至两图像只有水平视差，并确定视差范围。
计算获得两个图像的梯度显著性特征图。
对第一图像(MSI图像)的每个像素邻域与第二图像(HSI图像)进行特征匹配，获得第一图像的稠密视差图；可选的，先对第一图像进行超像素分割，对每个超像素与第二图像进行特征匹配，获得第一图像的稠密视差图。
根据稠密视差图，对降低分辨率后的MSI图像中的每个像素，将其在HSI图像中对应像素按照估计视差进行平移；然后对MSI图像和HSI图像进行辐射校准，通过端元提取方法分别提取构成MSI和HSI的光谱端元，并计算各自初始的丰度矩阵；最后，利用MSI和HSI的空谱相关性进行联合解混，通过叠乘迭代更新端元和丰度矩阵至收敛，将获得的高空间分辨率的丰度矩阵与高光谱端元相乘，获得高空间分辨率、高光谱分辨率的融合图像。
通过该联合解混方法，将MSI图像和HSI图像融合为高空间分辨率、高光谱分辨率的图像。
本发明实施例还提供了一种图像处理装置的结构示意图，如图4所示，包括图像获取单元401，梯度计算单元402，视差估计单元403，以及图像融合单元404；其中：
图像获取单元，用于获取获取第一图像和第二图像；
梯度计算单元，用于对第一图像和第二图像，分别计算获得图像的梯度显著性特征图；
视差估计单元，用于根据所述第一图像和第二图像的梯度显著性特征，将第一图像与第二图像进行特征匹配，得到第一图像的稠密视差图；
图像融合单元，用于根据所述第一图像的稠密视差图，将与第一图像的像素对应的第二图像的像素进行视差平移，并与所述第一图像融合。
图4所示图像处理装置还可以包括超像素分割单元405，用于分割所述第一图像为多个超像素。
进一步，这些单元实现前述方法中的相关功能，不再赘述。
在本实施例中，图像处理装置是以功能单元的形式来呈现。这里的“单元”可以指特定应用集成电路(application-specific integrated circuit，ASIC)，电路，执行一个或多个软件或固件程序的处理器和存储器，集成逻辑电路，和/或其他可以提供上述功能的器件。在一个简单的实施例中，本领域的技术人员可以想到图像处理装置可以采用处理器、存储器和通信接口来实现。
本发明实施例中的图像处理装置还可以以图5中的计算机设备(或系统)的方式来实现。图5所示为本发明实施例提供的计算机设备示意图。该计算机设备包括至少一个处理器501，通信总线502，存储器503以及至少一个通信接口504，还可以包括IO接口505。
处理器可以是一个通用中央处理器(CPU)，微处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本发明方案程序执行的集成电路。
通信总线可包括一通路，在上述组件之间传送信息。所述通信接口，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如以太网，无线接入网(RAN)，无线局域网(Wireless Local Area Networks，WLAN)等。
存储器可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(ElectricallyErasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。
其中，所述存储器用于存储执行本发明方案的应用程序代码，并由处理器来控制执行。所述处理器用于执行所述存储器中存储的应用程序代码。
在具体实现中，处理器可以包括一个或多个CPU，每个CPU可以是一个单核(single-core)处理器，也可以是一个多核(multi-Core)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
在具体实现中，作为一种实施例，该计算机设备还可以包括输入/输出(I/O)接口。例如，输出设备可以是液晶显示器(liquid crystal display，LCD),发光二级管(lightemitting diode，LED)显示设备，阴极射线管(cathode ray tube，CRT)显示设备，或投影仪(projector)等。输入设备可以是鼠标、键盘、触摸屏设备或传感设备，以及至少两个成像传感器等。
上述的计算机设备可以是一个通用计算机设备或者是一个专用计算机设备。在具体实现中，计算机设备可以是台式机、便携式电脑、网络服务器、掌上电脑(PersonalDigital Assistant，PDA)、移动手机、平板电脑、无线终端设备、通信设备、嵌入式设备或有图5中类似结构的设备。本发明实施例不限定计算机设备的类型。
如图1中的图像处理装置可以为图5所示的设备，存储器中存储了一个或多个软件模块。图像处理装置可以通过处理器以及存储器中的程序代码来实现软件模块，完成上述方法。
本发明实施例还提供了一种计算机存储介质，用于储存为上述图4或图5所示的设备所用的计算机软件指令，其包含用于执行上述方法实施例所设计的程序。通过执行存储的程序，可以实现上述方法。
尽管在此结合各实施例对本发明进行了描述，然而，在实施所要求保护的本发明过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
本领域技术人员应明白，本发明的实施例可提供为方法、装置(设备)、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机程序存储/分布在合适的介质中，与其它硬件一起提供或作为硬件的一部分，也可以采用其他分布形式，如通过Internet或其它有线或无线电信系统。
本发明是参照本发明实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管结合具体特征及其实施例对本发明进行了描述，显而易见的，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本发明的示例性说明，且视为已覆盖本发明范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (21)

1.一种图像处理的方法，其特征在于，包括：
获取第一图像和第二图像；
对第一图像和第二图像，分别计算获得图像的梯度显著性特征图；
根据所述第一图像和第二图像的梯度显著性特征，将第一图像与第二图像进行特征匹配，得到第一图像的稠密视差图；
根据所述第一图像的稠密视差图，将与第一图像的像素对应的第二图像的像素进行视差平移，并与所述第一图像融合。
2.如权利要求1所述的方法，其特征在于，所述计算获得图像的梯度显著性特征图包括：
利用梯度算子提取图像中每个波段的垂直梯度和水平梯度，根据所述垂直梯度和水平梯度，计算出图像中每个波段的梯度显著性特征图；
对各个波段的梯度显著性特征图中每个像素进行加权平均得到图像的梯度显著性图。
3.如权利要求1或2所述的方法，其特征在于，在获取第一图像和第二图像后，调整所述第一图像或/和第二图像，使调整后的第一图像和第二图像只存在水平方向视差。
4.如权利要求1-3任一项所述的方法，其特征在于，所述将第一图像与第二图像进行特征匹配，得到第一图像的稠密视差图包括：
将第一图像中的任一个匹配单元，在第二图像中沿着视差方向搜索，得到使特征差异最小的视差值。
5.如权利要求4所述的方法，其特征在于，所述匹配单元为所述第一图像中每个像素的邻域，对每个像素的邻域执行特征匹配后得到的视差值作为此像素的视差值，对第一图像的所有像素进行所述特征匹配得到第一图像的稠密视差图。
6.如权利要求4所述的方法，其特征在于，所述第一图像被分割为多个超像素；所述匹配单元为所述分割后的超像素，对第一图像的每个超像素，在第二图像中沿着视差方向搜索，得到使特征差异最小的视差值，作为所述超像素内的所有像素的视差值。
7.如权利要求1-6任一项所述的方法，其特征在于，所述第一图像为近红外图像，所述第二图像为彩色可见光图像；所述将与第一图像的像素对应的第二图像的像素进行视差平移，并与所述第一图像融合具体包括：
根据稠密视差图，对近红外图像中的每个像素，将其在彩色图像中对应像素的颜色信息根据对应视差值平移后作为融合图像的颜色信息，将彩色图像对应像素的亮度值与近红外图像的亮度值加权平均后作为融合图像的亮度信息。
8.如权利要求1-6任一项所述的方法，其特征在于，所述第一图像为彩色可见光图像，第二图像为热红外图像；所述将与第一图像的像素对应的第二图像的像素进行视差平移，并与所述第一图像融合具体包括：
根据稠密视差图，对彩色图像中的每个像素，将其在热红外图像中对应像素的亮度信息按照估计视差进行平移；
将热红外图像的亮度值与彩色图像的亮度值进行加权作为融合图像的亮度值，或者，对热红外图像的亮度值进行归一化后与对应位置彩色图像亮度值相乘作为融合图像的亮度值。
9.如权利要求1-6任一项所述的方法，其特征在于，所述第一图像为彩色可见光图像，第二图像为DVS(Dynamic Vision Sensor)纹理图像；所述将与第一图像的像素对应的第二图像的像素进行视差平移，并与所述第一图像融合具体包括：
根据稠密视差图，对彩色图像中的每个像素，将其在DVS纹理图像中对应像素的亮度信息按照估计视差进行平移；
对彩色图像的亮度分量进行小波分解或金字塔分解，划分为低频分量和高频分量；
将彩色图像中的高频分量与平移后的DVS纹理图像加权作为新的高频分量，与彩色图像的低频分量进行逆变换操作得到融合图像的亮度分量。
10.如权利要求1-6任一项所述的方法，其特征在于，所述第一图像为MSI(Multi-spectral Image)图像，第二图像为HSI(Hyper-spectral Image)图像；所述将与第一图像的像素对应的第二图像的像素进行视差平移，并与所述第一图像融合具体包括：
根据稠密视差图，对MSI图像中的每个像素，将其在HSI图像中对应像素按照估计视差进行平移；
对MSI图像和HSI图像进行辐射校准，通过端元提取方法分别提取构成MSI和HSI的光谱端元，并计算各自初始的丰度矩阵；
利用MSI和HSI的空谱相关性进行联合解混，通过叠乘迭代更新端元和丰度矩阵至收敛，将获得的高空间分辨率的丰度矩阵与高光谱端元相乘，获得融合图像。
11.一种图像处理装置，其特征在于，包括：
图像获取单元，用于获取获取第一图像和第二图像；
梯度计算单元，用于对第一图像和第二图像，分别计算获得图像的梯度显著性特征图；
视差估计单元，用于根据所述第一图像和第二图像的梯度显著性特征，将第一图像与第二图像进行特征匹配，得到第一图像的稠密视差图；
图像融合单元，用于根据所述第一图像的稠密视差图，将与第一图像的像素对应的第二图像的像素进行视差平移，并与所述第一图像融合。
12.如权利要求11所述的图像处理装置，其特征在于，所述梯度计算单元计算获得图像的梯度显著性特征图包括：
所述梯度计算单元利用梯度算子提取图像中每个波段的垂直梯度和水平梯度，根据所述垂直梯度和水平梯度，计算出图像中每个波段的梯度显著性特征图；
对各个波段的梯度显著性特征图中每个像素进行加权平均得到图像的梯度显著性图。
13.如权利要求11或12所述的图像处理装置，其特征在于，所述图像获取单元在获取第一图像和第二图像后，调整所述第一图像或/和第二图像，使调整后的第一图像和第二图像只存在水平方向视差。
14.如权利要求11-13任一项所述的图像处理装置，其特征在于，所述视差估计单元将第一图像与第二图像进行特征匹配，得到第一图像的稠密视差图包括：
所述视差估计单元将第一图像中的任一个匹配单元，在第二图像中沿着视差方向搜索，得到使特征差异最小的视差值。
15.如权利要求14所述的图像处理装置，其特征在于，所述匹配单元为所述第一图像中每个像素的邻域，所述视差估计单元对每个像素的邻域执行特征匹配后得到的视差值作为此像素的视差值，对第一图像的所有像素进行所述特征匹配得到第一图像的稠密视差图。
16.如权利要求14所述的图像处理装置，其特征在于，所述图像处理装置还包括超像素分割单元，用于分割所述第一图像为多个超像素；所述匹配单元为所述分割后的超像素，所述视差估计单元对第一图像的每个超像素，在第二图像中沿着视差方向搜索，得到使特征差异最小的视差值，作为所述超像素内的所有像素的视差值。
17.如权利要求11-16任一项所述的图像处理装置，其特征在于，所述第一图像为近红外图像，所述第二图像为彩色可见光图像；所述图像融合单元将与第一图像的像素对应的第二图像的像素进行视差平移，并与所述第一图像融合具体包括：
根据稠密视差图，对近红外图像中的每个像素，将其在彩色图像中对应像素的颜色信息根据对应视差值平移后作为融合图像的颜色信息，将彩色图像对应像素的亮度值与近红外图像的亮度值加权平均后作为融合图像的亮度信息。
18.如权利要求11-16任一项所述的图像处理装置，其特征在于，所述第一图像为彩色可见光图像，第二图像为热红外图像；所述图像融合单元将与第一图像的像素对应的第二图像的像素进行视差平移，并与所述第一图像融合具体包括：
根据稠密视差图，对彩色图像中的每个像素，将其在热红外图像中对应像素的亮度信息按照估计视差进行平移；
将热红外图像的亮度值与彩色图像的亮度值进行加权作为融合图像的亮度值，或者，对热红外图像的亮度值进行归一化后与对应位置彩色图像亮度值相乘作为融合图像的亮度值。
19.如权利要求11-16任一项所述的图像处理装置，其特征在于，所述第一图像为彩色可见光图像，第二图像为DVS(Dynamic Vision Sensor)纹理图像；所述图像融合单元将与第一图像的像素对应的第二图像的像素进行视差平移，并与所述第一图像融合具体包括：
根据稠密视差图，对彩色图像中的每个像素，将其在DVS纹理图像中对应像素的亮度信息按照估计视差进行平移；
对彩色图像的亮度分量进行小波分解或金字塔分解，划分为低频分量和高频分量；
将彩色图像中的高频分量与平移后的DVS纹理图像加权作为新的高频分量，与彩色图像的低频分量进行逆变换操作得到融合图像的亮度分量。
20.如权利要求11-16任一项所述的图像处理装置，其特征在于，所述第一图像为MSI(Multi-spectral Image)图像，第二图像为HSI(Hyper-spectral Image)图像；所述图像融合单元将与第一图像的像素对应的第二图像的像素进行视差平移，并与所述第一图像融合具体包括：
根据稠密视差图，对MSI图像中的每个像素，将其在HSI图像中对应像素按照估计视差进行平移；
对MSI图像和HSI图像进行辐射校准，通过端元提取方法分别提取构成MSI和HSI的光谱端元，并计算各自初始的丰度矩阵；
利用MSI和HSI的空谱相关性进行联合解混，通过叠乘迭代更新端元和丰度矩阵至收敛，将获得的高空间分辨率的丰度矩阵与高光谱端元相乘，获得融合图像。
21.一种用户终端，其特征在于，包括：第一图像获取装置、第二图像获取装置、如权利要求11-20任一项所述的图像处理装置；
所述第一图像获取装置，用于拍摄第一图像；所述第二图像获取装置，用于拍摄第二图像。
CN201810703983.3A 2018-06-30 2018-06-30 一种图像处理的方法和设备 Active CN110660088B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810703983.3A CN110660088B (zh) 2018-06-30 2018-06-30 一种图像处理的方法和设备
EP19824613.4A EP3800616A4 (en) 2018-06-30 2019-02-11 IMAGE PROCESSING METHOD AND DEVICE
PCT/CN2019/074780 WO2020001034A1 (zh) 2018-06-30 2019-02-11 一种图像处理的方法和设备
US17/136,902 US11798147B2 (en) 2018-06-30 2020-12-29 Image processing method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810703983.3A CN110660088B (zh) 2018-06-30 2018-06-30 一种图像处理的方法和设备

Publications (2)

Publication Number Publication Date
CN110660088A true CN110660088A (zh) 2020-01-07
CN110660088B CN110660088B (zh) 2023-08-22

Family

ID=68986023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810703983.3A Active CN110660088B (zh) 2018-06-30 2018-06-30 一种图像处理的方法和设备

Country Status (4)

Country Link
US (1) US11798147B2 (zh)
EP (1) EP3800616A4 (zh)
CN (1) CN110660088B (zh)
WO (1) WO2020001034A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476740A (zh) * 2020-04-28 2020-07-31 北京大米未来科技有限公司 图像处理方法、装置、存储介质和电子设备
CN112215912A (zh) * 2020-10-13 2021-01-12 中国科学院自动化研究所 基于动态视觉传感器的显著性图生成系统、方法和装置
CN112669344A (zh) * 2020-12-24 2021-04-16 北京灵汐科技有限公司 一种运动物体的定位方法、装置、电子设备及存储介质
CN112767293A (zh) * 2021-01-11 2021-05-07 达闼机器人有限公司 获取视差图像的方法、电子设备及存储介质
WO2021164329A1 (zh) * 2020-02-19 2021-08-26 华为技术有限公司 图像处理方法、装置、通信设备及可读存储介质
WO2021253186A1 (zh) * 2020-06-15 2021-12-23 深圳市大疆创新科技有限公司 信息处理方法、装置和成像系统
WO2022020989A1 (zh) * 2020-07-27 2022-02-03 华为技术有限公司 一种滤光阵列、移动终端以及设备
WO2023225825A1 (zh) * 2022-05-23 2023-11-30 上海玄戒技术有限公司 位置差异图生成方法及装置、电子设备、芯片及介质
CN117291804A (zh) * 2023-09-28 2023-12-26 武汉星巡智能科技有限公司 基于加权融合策略的双目图像实时拼接方法、装置及设备

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110136183B (zh) * 2018-02-09 2021-05-18 华为技术有限公司 一种图像处理的方法、装置以及摄像装置
CN111161356B (zh) * 2019-12-17 2022-02-15 大连理工大学 一种基于双层优化的红外和可见光融合方法
CN114257707A (zh) * 2020-09-21 2022-03-29 安霸国际有限合伙企业 具有彩色夜间模式的智能ip摄像头
IT202000023494A1 (it) * 2020-10-06 2022-04-06 E Novia S P A Metodo di generazione di un’immagine monocromatica allineata e relativo programma per elaboratore
WO2021184029A1 (en) * 2020-11-12 2021-09-16 Innopeak Technology, Inc. Systems and methods for fusing color image and near-infrared image
US11436708B1 (en) * 2021-08-19 2022-09-06 Unity Technologies Sf Removing moving objects from a video scene captured by a moving camera
CN115273154B (zh) * 2022-09-26 2023-01-17 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于边缘重构的热红外行人检测方法、系统及存储介质
CN115689965B (zh) * 2022-12-30 2023-03-21 武汉大学 面向整景卫星影像深度学习密集匹配的多级视差融合方法
CN116777964B (zh) * 2023-08-18 2023-10-31 上海航天空间技术有限公司 基于纹理显著性赋权的遥感影像融合方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013218660A (ja) * 2012-03-14 2013-10-24 Fujitsu Ltd 画像処理方法、プログラム及び装置
CN104463817A (zh) * 2013-09-12 2015-03-25 华为终端有限公司 一种图像处理方法及装置
CN106548482A (zh) * 2016-10-19 2017-03-29 成都西纬科技有限公司 一种基于稀疏匹配与图像边缘的稠密匹配方法及系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7636098B2 (en) * 2006-09-28 2009-12-22 Microsoft Corporation Salience preserving image fusion
US8553972B2 (en) * 2009-07-06 2013-10-08 Samsung Electronics Co., Ltd. Apparatus, method and computer-readable medium generating depth map
US10095953B2 (en) * 2009-11-11 2018-10-09 Disney Enterprises, Inc. Depth modification for display applications
CN102163325A (zh) * 2011-04-06 2011-08-24 南京大学 一种多光谱图像边缘特征检测方法
CN107346061B (zh) * 2012-08-21 2020-04-24 快图有限公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
CN104392447B (zh) * 2014-11-28 2017-10-13 西南科技大学 一种基于灰度梯度的图像匹配方法
CN106488201B (zh) 2015-08-28 2020-05-01 杭州海康威视数字技术股份有限公司 一种图像信号的处理方法和系统
CN105809640B (zh) * 2016-03-09 2019-01-22 长春理工大学 基于多传感器融合的低照度视频图像增强方法
US10477178B2 (en) * 2016-06-30 2019-11-12 Massachusetts Institute Of Technology High-speed and tunable scene reconstruction systems and methods using stereo imagery
CN106500852B (zh) * 2016-09-28 2018-11-13 北方夜视技术股份有限公司 红外与可见光图像配准与融合的系统与方法
CN106651897B (zh) * 2016-10-12 2019-12-31 成都快眼科技有限公司 一种基于超像素分割的视差修正方法
CN106600572A (zh) 2016-12-12 2017-04-26 长春理工大学 一种自适应的低照度可见光图像和红外图像融合方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013218660A (ja) * 2012-03-14 2013-10-24 Fujitsu Ltd 画像処理方法、プログラム及び装置
CN104463817A (zh) * 2013-09-12 2015-03-25 华为终端有限公司 一种图像处理方法及装置
CN106548482A (zh) * 2016-10-19 2017-03-29 成都西纬科技有限公司 一种基于稀疏匹配与图像边缘的稠密匹配方法及系统

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021164329A1 (zh) * 2020-02-19 2021-08-26 华为技术有限公司 图像处理方法、装置、通信设备及可读存储介质
CN111476740B (zh) * 2020-04-28 2023-10-31 北京大米未来科技有限公司 图像处理方法、装置、存储介质和电子设备
CN111476740A (zh) * 2020-04-28 2020-07-31 北京大米未来科技有限公司 图像处理方法、装置、存储介质和电子设备
WO2021253186A1 (zh) * 2020-06-15 2021-12-23 深圳市大疆创新科技有限公司 信息处理方法、装置和成像系统
WO2022020989A1 (zh) * 2020-07-27 2022-02-03 华为技术有限公司 一种滤光阵列、移动终端以及设备
CN112215912A (zh) * 2020-10-13 2021-01-12 中国科学院自动化研究所 基于动态视觉传感器的显著性图生成系统、方法和装置
CN112669344A (zh) * 2020-12-24 2021-04-16 北京灵汐科技有限公司 一种运动物体的定位方法、装置、电子设备及存储介质
WO2022135511A1 (zh) * 2020-12-24 2022-06-30 北京灵汐科技有限公司 运动物体的定位方法、装置、电子设备及存储介质
CN112669344B (zh) * 2020-12-24 2024-05-28 北京灵汐科技有限公司 一种运动物体的定位方法、装置、电子设备及存储介质
CN112767293A (zh) * 2021-01-11 2021-05-07 达闼机器人有限公司 获取视差图像的方法、电子设备及存储介质
CN112767293B (zh) * 2021-01-11 2023-04-11 达闼机器人股份有限公司 获取视差图像的方法、电子设备及存储介质
WO2023225825A1 (zh) * 2022-05-23 2023-11-30 上海玄戒技术有限公司 位置差异图生成方法及装置、电子设备、芯片及介质
CN117291804A (zh) * 2023-09-28 2023-12-26 武汉星巡智能科技有限公司 基于加权融合策略的双目图像实时拼接方法、装置及设备

Also Published As

Publication number Publication date
US20210118111A1 (en) 2021-04-22
WO2020001034A1 (zh) 2020-01-02
EP3800616A4 (en) 2021-08-11
EP3800616A1 (en) 2021-04-07
CN110660088B (zh) 2023-08-22
US11798147B2 (en) 2023-10-24

Similar Documents

Publication Publication Date Title
CN110660088B (zh) 一种图像处理的方法和设备
US11830222B2 (en) Bi-level optimization-based infrared and visible light fusion method
KR100944462B1 (ko) 위성 영상 융합 방법 및 시스템
CN112258579B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN111062378B (zh) 图像处理方法、模型训练方法、目标检测方法及相关装置
Zheng et al. Qualitative and quantitative comparisons of multispectral night vision colorization techniques
CN106920221B (zh) 兼顾亮度分布和细节呈现的曝光融合方法
CN111462128B (zh) 一种基于多模态光谱图像的像素级图像分割系统及方法
CN108055452A (zh) 图像处理方法、装置及设备
JP2017520050A (ja) 局所的適応ヒストグラム平坦化
US9811890B2 (en) Method for obtaining at least one high dynamic range image, and corresponding computer program product, and electronic device
CN108616700B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
US20210314543A1 (en) Imaging system and method
CN116158087A (zh) 一种多相机色彩一致性校正方法和装置
EP3871406B1 (en) Systems and methods for exposure control
CN113159229B (zh) 图像融合方法、电子设备及相关产品
Qian et al. Fast color contrast enhancement method for color night vision
CN110580684A (zh) 一种基于黑白-彩色双目相机的图像增强方法
RU2684749C1 (ru) Способ совмещения цифровых изображений различных спектральных диапазонов
Rodrigues et al. Single-image estimation of the camera response function in near-lighting
Shah et al. Multimodal image/video fusion rule using generalized pixel significance based on statistical properties of the neighborhood
EP3877951A1 (en) Automatic co-registration of thermal and visible image pairs
CN109191396B (zh) 人像处理方法和装置、电子设备、计算机可读存储介质
JP6023653B2 (ja) 照明光色推定装置、照明光色推定方法及びプログラム
CN109447925A (zh) 图像处理方法和装置、存储介质、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant