CN108053386A - 用于图像融合的方法及装置 - Google Patents
用于图像融合的方法及装置 Download PDFInfo
- Publication number
- CN108053386A CN108053386A CN201711206004.5A CN201711206004A CN108053386A CN 108053386 A CN108053386 A CN 108053386A CN 201711206004 A CN201711206004 A CN 201711206004A CN 108053386 A CN108053386 A CN 108053386A
- Authority
- CN
- China
- Prior art keywords
- image
- msub
- mrow
- correction
- video camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000012937 correction Methods 0.000 claims abstract description 138
- 230000004927 fusion Effects 0.000 claims abstract description 39
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000013519 translation Methods 0.000 claims description 10
- 230000003287 optical effect Effects 0.000 claims description 7
- 241000208340 Araliaceae Species 0.000 claims description 3
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 3
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 3
- 235000008434 ginseng Nutrition 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 2
- 230000000875 corresponding effect Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 9
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 4
- 230000003252 repetitive effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供一种用于图像融合的方法及装置，属于图像处理领域。其中用于图像融合的查找表生成方法包括：获取图像融合系统中的第一摄像机和第二摄像机对同一场景区域拍摄而产生的第一图像和第二图像；以所述第二图像为基准对所述第一图像进行校正以获得校正参数，其中对所述第一图像进行校正能够使得校正后的第一图像和所述第二图像完成配准；以及使用所述校正参数来建立用于校正所述第一图像的查找表，其中所述查找表中存储有所述校正后的第一图像中的每一像素在所述第一图像中的对应位置。其可以节省图像融合系统中处理器的芯片资源、降低系统功耗并且同时提高运算速度。
Description
技术领域
本发明涉及图像处理领域，具体地，涉及一种用于图像融合的方法及装置。
背景技术
图像融合是将多通道所采集的同一目标图像的互补信息依据某种准则融合，使融合后的图像具有比参加融合的任意一幅图像更优越的性质，以更精确地反映实际信息。以双通道图像融合系统为例，由于装配原因，实际的图像融合系统的双通道的光轴并不严格平行，因此会导致不同通道产生的图像之间会产生一定的偏移。而且由于图像本身的畸变问题，往往需要对图像进行畸变、旋转、平移和/或缩放校正之后才能进行图像的融合操作。相关技术中，对上述失配问题的校正方法是对畸变、旋转、平移和缩放操作进行一一校正，在处理器上每一步校正操作都需要占用相应的芯片资源，并且需要相对较长的运算时间。
发明内容
本发明实施例的目的是提供一种用于图像融合的方法及装置，其旨在解决或至少部分解决上述技术问题。
为了实现上述目的，本发明实施例提供一种用于图像融合的查找表生成方法，所述方法包括：获取图像融合系统中的第一摄像机和第二摄像机对同一场景区域拍摄而产生的第一图像和第二图像；以所述第二图像为基准对所述第一图像进行校正以获得校正参数，其中对所述第一图像进行校正能够使得校正后的第一图像和所述第二图像完成配准；以及使用所述校正参数来建立用于校正所述第一图像的查找表，其中所述查找表中存储有所述校正后的第一图像中的每一像素在所述第一图像中的对应位置。
可选地，所述方法还包括：对所述第一摄像机进行标定以获得所述第一摄像机的畸变参数和内参矩阵，其中，所述畸变参数和所述内参矩阵被包括在所述校正参数中。
可选地，所述对所述第一图像进行校正包括执行以下步骤中的一者或多者：对所述第一图像进行畸变校正；对所述第一图像进行平移校正；对所述第一图像进行旋转校正；以及对所述第一图像进行缩放校正。
可选地，所述校正参数包括以下中的一者或多者：平移参数、旋转参数、以及缩放参数。
可选地，所述第一摄像机为红外摄像机，且所述第二摄像机为微光摄像机；或者所述第一摄像机为微光摄像机，且所述第二摄像机为红外摄像机。
可选地，所述使用所述校正参数来建立用于校正所述第一图像的查找表包括通过以下公式来建立所述查找表：
其中，
u1＝cosθ·fw(u-tx)+sinθ·fh(v-ty)-h1sinθcosθ，
v1＝-sinθ·fw(u-tx)+cosθ·fh(v-ty)+0.5h1cos2θ+0.5h1，
其中，(ud,vd)为所述校正后的第一图像中的像素位置(u,v)在所述第一图像中的对应位置，fw为所述第一图像相对所述第二图像的图像宽度放大或缩小的倍数的倒数，fh为所述第一图像相对所述第二图像的图像高度放大或缩小的倍数的倒数，θ为所述第一图像相对所述第二图像的旋转角度，fx和fy为所述第一摄像机的内参矩阵中的焦距，cx和cy为所述第一摄像机的光轴在图像坐标系中的偏移量，k1和k2为所述第一摄像机的畸变系数，tx为所述第一图像相对所述第二图像在水平方向的平移量，ty为所述第一图像相对所述第二图像在竖直方向的平移量，h1为所述第一图像的高度，u1和v1为计算ud和vd的中间量。
相应地，本发明实施例还提供一种图像融合方法，所述方法包括：获取图像融合系统中的第一摄像机和第二摄像机对同一场景区域拍摄而产生的第一图像和第二图像；根据所存储的查找表确定校正后的第一图像中的每一像素的像素值，其中所述查找表为根据上述的方法而生成的查找表；以及对所述第二图像和所述校正后的第一图像进行融合。
可选地，所述根据所存储的查找表确定校正后的第一图像中的每一像素的像素值包括：在所述查找表中存储的像素位置不是整数的情况下，使用插值法确定所述校正后的第一图像中的对应像素的像素值。
相应地，本发明实施例还提供一种用于图像融合的查找表生成装置，所述装置包括：获取模块，用于获取图像融合系统中的第一摄像机和第二摄像机对同一场景区域拍摄而产生的第一图像和第二图像；参数确定模块，用于以所述第二图像为基准对所述第一图像进行校正以获得校正参数，其中对所述第一图像进行校正能够使得校正后的第一图像和所述第二图像完成配准；以及建立模块，用于使用所述校正参数来建立用于校正所述第一图像的查找表，其中所述查找表中存储有所述校正后的第一图像中的每一像素在所述第一图像中的对应位置。
可选地，所述装置还包括：标定模块，用于对所述第一摄像机进行标定以获得所述第一摄像机的畸变参数和内参矩阵，其中，所述畸变参数和所述内参矩阵被包括在所述校正参数中。
可选地，所述校正模块包括以下中的一者或多者：畸变校正单元，用于对所述第一图像进行畸变校正；平移校正单元，用于对所述第一图像进行平移校正；旋转校正单元，用于对所述第一图像进行旋转校正；以及缩放校正单元，用于对所述第一图像进行缩放校正。
可选地，所述校正参数包括以下中的一者或多者：平移参数、旋转参数、以及缩放参数。
可选地，所述第一摄像机为红外摄像机，且所述第二摄像机为微光摄像机；或者所述第一摄像机为微光摄像机，且所述第二摄像机为红外摄像机。
可选地，所述建立模块通过以下公式来建立所述查找表：
其中，
u1＝cosθ·fw(u-tx)+sinθ·fh(v-ty)-h1sinθcosθ，
v1＝-sinθ·fw(u-tx)+cosθ·fh(v-ty)+0.5h1cos2θ+0.5h1，
其中，(ud,vd)为所述校正后的第一图像中的像素位置(u,v)在所述第一图像中的对应位置，fw为所述第一图像相对所述第二图像的图像宽度放大或缩小的倍数的倒数，fh为所述第一图像相对所述第二图像的图像高度放大或缩小的倍数的倒数，θ为所述第一图像相对所述第二图像的旋转角度，fx和fy为所述第一摄像机的内参矩阵中的焦距，cx和cy为所述第一摄像机的光轴在图像坐标系中的偏移量，k1和k2为所述第一摄像机的畸变系数，tx为所述第一图像相对所述第二图像在水平方向的平移量，ty为所述第一图像相对所述第二图像在竖直方向的平移量，h1为所述第一图像的高度，u1和v1为计算ud和vd的中间量。
相应地，本发明实施例还提供一种图像融合装置，所述装置包括：获取模块，用于获取图像融合系统中的第一摄像机和第二摄像机对同一场景区域拍摄而产生的第一图像和第二图像；像素值确定模块，用于根据所存储的查找表确定校正后的第一图像中的每一像素的像素值，其中所述查找表为根据上述的方法而生成的查找表；以及融合模块，用于对所述第二图像和所述校正后的第一图像进行融合。
可选地，所述像素值确定模块用于在所述查找表中存储的像素位置不是整数的情况下，使用插值法确定所述校正后的第一图像中的对应像素的像素值。
相应地，本发明实施例还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行本发明实施例的用于图像融合系统的查找表生成方法。
相应地，本发明实施例还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行本发明实施例的图像融合方法。
通过上述技术方案，以图像融合系统中某一通道拍摄的图像为基准，生成用于对其它通道图像进行校正的查找表，然后将该查找表存储在图像融合系统的处理器中。在对图像融合系统所采集的图像进行融合时，可以直接根据查找表中存储的校正后的图像的每一像素在原图像中的位置来确定校正后的每一图像的像素值，之后再对校正的图像执行图像融合操作。上述方案可以节省图像融合系统中处理器的芯片资源、降低系统功耗并且同时提高运算速度。
本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：
图1示出了根据本发明一实施例的用于图像融合的查找表生成方法的流程示意图；
图2示出了执行本发明实施例的可行性分析示意图；
图3示出了根据本发明一实施例的用于图像融合的查找表生成方法的流程示意图；
图4示出了根据本发明一实施例的图像融合方法的流程示意图；
图5示出了根据本发明一实施例的用于图像融合的查找表生成装置的结构框图；以及
图6示出了根据本发明一实施例的图像融合装置的结构框图。
具体实施方式
以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。
图1示出了根据本发明一实施例的用于图像融合的查找表生成方法的流程示意图。如图1所示，本发明实施例提供一种用于图像融合的查找表生成方法，所述方法可以包括以下步骤：步骤S11，获取图像融合系统中的第一摄像机和第二摄像机对同一场景区域拍摄而产生的第一图像和第二图像；步骤S12，以所述第二图像为基准对所述第一图像进行校正以获得校正参数，其中对所述第一图像进行校正能够使得校正后的第一图像和所述第二图像完成配准；以及步骤S13，使用所述校正参数来建立用于校正所述第一图像的查找表，其中所述查找表中存储有所述校正后的第一图像中的每一像素在所述第一图像中的对应位置。通过上述实施例，在对图像融合系统所采集的图像进行融合时，可以直接根据查找表中存储的校正后的图像的每一像素在原图像中的位置来确定校正后的每一图像的像素值，之后再对校正的图像执行图像融合操作。该操作过程节省了图像融合系统中处理器的芯片资源，降低了系统功耗，并且同时提高了运算速度。
图2示出了执行本发明实施例的可行性分析示意图。参考图2，假设有一幅同时存在畸变和旋转的图像h，对该图像h进行畸变校正后获得畸变校正后的图像g，图像h中的像素(1,1)在畸变校正后成为图像g中的像素(2,1)，也就是说图像g中的像素(2,1)的像素值g(2,1)为图像h中的像素(1,1)的像素值h(1,1)，即g(2,1)＝h(1,1)。图像g为需要进行旋转校正的图像，对图像g进行旋转校正后得到图像f，图像g中的像素(2,1)在旋转校正后成为图像f中的像素(2,2)，也就是说图像f中的像素(2,2)的像素值f(2,2)为图像g中的像素(2,1)的像素值g(2,1)，即f(2,2)＝g(2,1)＝h(1,1)，从而图像f中的像素(2,2)的像素值f(2,2)就是原图像h中的像素(1,1)的像素值。综上所述，校正后的图像中的每一像素在原图像中均存在一个对应的位置，因此建立查找表的方法是可行的，对于装配好的摄像机可以为该摄像机设置一查找表，以根据该查找表快速地校正该摄像机所拍摄的图像。
可选地，本发明实施例中的图像融合系统可以是双通道融合系统。所述第一摄像机可以是红外摄像机，所述第二摄像机可以是微光摄像机。或者所述第一摄像机可以是微光摄像机，所述第二摄像机可以是红外摄像机。在生成所述查找表的过程中，可以以红外摄像机拍摄的红外图像而基准，而对微光摄像机所拍摄的微光图像进行校正以生成所述查找表，或者，也可以以微光摄像机拍摄的微光图像而基准，而对红外摄像机所拍摄的红外图像进行校正以生成所述查找表。
下面以所述第一摄像机是红外摄像机，所述第二摄像机是微光摄像机为例，对本发明实施例进行示例说明。图3示出了根据本发明一实施例的用于图像融合的查找表生成方法的流程示意图。如图3所示，在该实施例中，用于图像融合的查找表生成方法可以包括以下步骤。
步骤S31，对红外摄像机进行标定以获得红外摄像机的畸变参数。
在图像融合系统装配完成以后，可以首先对红外摄像机进行标定以获得红外摄像机的畸变参数和内参矩阵。微光摄像机因为畸变较小，几乎可以忽略不计，因此可以省略对微光摄像机进行标定的步骤。
具体地，使用红外摄像机对靶标进行多次拍摄以获得所述靶标的多个图像，然后可以使用MATLAB的相机标定工具箱对所拍摄的所述靶标的多个图像进行处理以获得红外摄像机的畸变参数，该畸变参数可以包括畸变系数k1和k2和内参矩阵其中fx和fy表示红外摄像机的内参矩阵中的焦距，以像素为单位；cx和cy表示红外摄像机的光轴在图像坐标系中的偏移量，以像素为单位。
步骤S32，获得红外摄像机和微光摄像机对同一场景区域拍摄而分别产生的红外图像和微光图像。
具体地，可以通过控制图像融合系统中的红外摄像机和微光摄像机对同一场景区域进行拍摄而产生所述红外图像和微光图像。
步骤S33，使用步骤S31获得的红外摄像机的畸变参数来对步骤S22中获得的红外图像进行畸变校正。
步骤S34，以微光图像为基准对畸变校正后的红外图像进行进一步校正以确定校正参数，所述进一步校正使得校正后的红外图像与微光图像能够完成配准。
所述进一步校正可以包括以下中的一者或多者：平移校正、旋转校正和缩放校正。
所述校正参数可以包括以下中的一者或多者：平移参数tx、ty，其中tx为红外图像相对微光图像在x方向的平移量，ty为红外图像相对微光图像在y方向的平移量，tx，ty均以像素为单位；旋转参数θ，表示红外图像相对微光图像的旋转角度，其中，红外图像相对微光图像逆时针旋转时θ为正数，红外图像相对微光图像顺时针旋转时θ为负数；以及缩放参数fw和fh，其中fw表示红外图像相对微光图像的宽度放大或缩小倍数的倒数，fh表示红外图像相对微光图像的高度放大或缩小倍数的倒数。
可选地，步骤S31中所获得的红外摄像机的畸变参数k1和k2和内参矩阵也可以被包括在所述校正参数中。
步骤S35，使用步骤S34中确定的校正参数来建立查找表。
可选地，所述校正参数可以仅包括畸变参数和内参矩阵，这种情况下相当于仅需要对摄像机所拍摄的图像进行畸变校正。假设具有摄像机拍摄的一畸变图像，然后求该畸变图像的去畸变图像。方法如下：
首先构造一个空图像。这个空图像对应于所述去畸变图像。只要求出去畸变图像每个像素点的位置所对应的灰度值，就能得到去畸变图像。
然后求空图像中点(u,v)的像素值。可以理解，只要求出点(u,v)在畸变图像中对应的坐标(ud,vd)，就可以知晓点(u,v)的像素值。首先，根据公式(1)计算出像素点(u,v)在实际空间的位置(x',y')：
式中fx和fy表示摄像机的内参矩阵中的焦距，以像素为单位；cx和cy表示摄像机的光轴在图像坐标系中的偏移量，以像素为单位，由摄像机标定后得到。由式(1)求出像素点(u,v)在实际空间的位置(x',y')。接着由畸变公式求出(x',y')发生畸变后所在的位置(x”,y”)，如下式所示：
式中r2＝x'2+y'2，k1,k2为摄像机的畸变系数。再将(x”,y”)映射回图像上，得到像素点(ud,vd)，如下式所示：
可选地，ud,vd可能不是整数，即没有刚好落在畸变图像某个像素点上，这时可以使用任意一种插值算法得到(ud,vd)对应的像素值，这样就得到了空图像中每个像素点的像素值，即求出了去畸变图像。其中，所述插值算法例如可以是最近邻差值算法等。
由以上原理可以发现，式中所有参量都是由摄像机参数确定，也就是说一旦摄像机确定，要求得的非畸变图像中灰度值在畸变图像中的对应位置都是确定的。因此可以采用查找表的方法进行畸变校正，即LD(u,v)＝(ud,vd)，查找表LD(u,v)与去畸变图像大小相同，查找表中的位置(u,v)存放着一个坐标值(ud,vd)，该坐标值(ud,vd)在畸变图像g中的灰度值g(ud,vd)即为去畸变图像f中(u,v)位置的灰度值f(u,v)，即f(u,v)＝g(ud,vd)。
将公式(1)和(2)代入公式(3)就可以得到查找表LD。在摄像机确定后，如果需要对该摄像机拍摄的图像执行去畸变运算，只需要建立一个与去畸变图像大小相等的空图像，从查找表中取得空图像内的相关像素值的位置，根据位置从原图像中获得空图像各像素点对应的像素值，即可完成畸变校正，避免了重复运算，提高了运算速率。
可选地，本发明实施例中的校正参数也可以仅包括旋转参数θ。假设具有一旋转图像，求去旋转图像。去旋转图像与旋转图像的长宽关系如下：
其中w1,h1为旋转图像的宽和高，w2和h2为去旋转图像的宽和高。具体到本发明实施例，如果是以微光图像为基准，对原红外图像执行去旋转操作，旋转参数θ为原红外图像相对微光图像的旋转角度。
首先构造一个空图像，这个空图像就是去旋转图像。只要求出去旋转图像中每个像素点的位置所对应的灰度值，就能得到去旋转图像。求空图像中点(u,v)的像素值，只要求出它在畸变图像中对应的坐标(ud,vd)。可以使用以下公式求出像素点(u,v)在畸变图像中对应的坐标(ud,vd)，如：
θ为旋转图像相对所述去旋转图像的旋转角度，w2为所述去旋转图像的宽度，h2为所述去旋转图像的高度，w1为所述旋转图像的宽度，h1为所述去旋转图像的高度。具体到本发明实施例中，如果是以微光图像为基准对红外图像进行去旋转操作，则θ为红外图像相对微光图像的旋转角度。
式(5)中所有参数都可以提前由图像本身确定，因此可以采用查找表的方法进行旋转校正，即LR(u,v)＝(ud,vd)，查找表LR(u,v)与去旋转图像大小相同，查找表中的位置(u,v)对应的存放着一个坐标值(ud,vd)，该坐标值(ud,vd)在旋转图像h中的像素值h(ud,vd)即为去旋转图像f中(u,v)位置的像素值f(u,v)，即f(u,v)＝h(ud,vd)。
可选地，ud,vd可能不是整数，即没有刚好落在原图像某个像素点上，这时可以使用任意一种插值算法得到(ud,vd)对应的像素值，所述插值算法例如可以是最近邻差值算法等。
通过公式(5)可以建立查找表LR(u,v)。以双通道融合系统为例，在系统装配完成后，如果以可见光摄像机拍摄的图像为基准对红外摄像机拍摄的图像执行仅去旋转运算，只需要建立一个与微光摄像机拍摄的微光图像大小相等的空图像，从查找表LR(u,v)中取得空图像内的各像素值的位置，根据位置从红外摄像机拍摄的图像中获得空图像各像素点对应的像素值，即可完成旋转校正，避免了重复运算，提高了运算速率。
可选地，本发明实施例中的校正参数也可以仅包括平移参数。假设具有一平移图像j，求去平移图像f。对于去平移图像中每一像素点(u,v)可以使用以下公式计算在平移图像j中对应的坐标(ud,vd)，
其中tx为x方向的平移量，ty为y方向的平移量，tx，ty均以像素为单位。对应到本发明实施例中，具体到本发明实施例，如果是以微光图像为基准，对原红外图像执行去平移操作，则tx为红外图像相对微光图像在x方向的平移量，ty为红外图像相对微光图像在y方向的平移量。
式(6)中所有参数可以提前由图像本身确定，因此可以采用查找表的方法进行平移校正，即LT(u,v)＝(ud,vd)，查找表LT(u,v)与去平移图像f大小相同，查找表中的位置(u,v)存放着一个坐标值(ud,vd)，该坐标值(ud,vd)在平移图像j中的像素值j(ud,vd)即为去平移图像f中(u,v)位置的像素值f(u,v)，即f(u,v)＝j(ud,vd)。
可选地，ud,vd可能不是整数，即没有刚好落在原图像某个像素点上，这时可以使用任意一种插值算法得到(ud,vd)对应的像素值，所述插值算法例如可以是最近邻差值算法等。
即通过上述公式(6)可以建立查找表LT(u,v)。以双通道融合系统为例，在系统装配完成后，如果以可见光摄像机拍摄的图像为基准对红外摄像机拍摄的图像执行仅去平移运算，只需要建立一个与可见光摄像机拍摄的图像大小相等的空图像，从查找表LT(u,v)中取得空图像内的各像素值的位置，根据位置从红外摄像机拍摄的图像中获得空图像各像素点对应的像素值，即可完成旋转校正，避免了重复运算，提高了运算速率。
可选地，本发明实施例中的校正参数也可以仅包括缩放参数。假设原图像的宽度和高度分别为w0和h0,缩放后的目标图像的宽度和高度分别为w1和h1。具体到本发明实施例，如果是以微光图像为基准，对原红外图像执行去缩放操作，则w0和h0分别为原红外图像的宽度和高度，w1和h1分别为微光图像的宽度和高度。那么可得缩放参数为：
fw为缩放后的目标图像相对原图像的图像宽度放大或缩小的倍数的倒数，fh为缩放后的目标图像相对原图像的图像高度放大或缩小的倍数的倒数。具体到本发明实施例，如果是以微光图像为基准，对原红外图像执行缩放操作，则fw为红外图像相对微光图像的图像宽度放大或缩小的倍数的倒数，fh为红外图像相对微光图像的图像高度放大或缩小的倍数的倒数。
对于缩放后的目标图像中点(u,v)的像素值坐标对应着图像中的点(ud,vd)的像素值。其中：
式(8)中所有参数都是提前由图像本身确定，因此可以采用查找表的方法进行缩放校正，即LS(u,v)＝(ud,vd)，
查找表Ls(u,v)与缩放后的目标图像大小相同，查找表中的位置(u,v)存放着一个坐标值(ud,vd)，该坐标值(ud,vd)在缩放图像k中的像素值k(ud,vd)即为缩放后的目标图像f中(u,v)位置的像素值f(u,v)，即f(u,v)＝k(ud,vd)。
即通过上述公式(8)可以建立查找表Ls(u,v)。以双通道融合系统为例，在系统装配完成后，如果以可见光摄像机拍摄的图像为基准对红外摄像机拍摄的图像执行仅去缩放运算，只需要建立一个与可见光摄像机拍摄的图像大小相等的空图像，从查找表Ls(u,v)中取得空图像内的各像素值的位置，根据位置从红外摄像机拍摄的图像中获得空图像各像素点对应的像素值，即可完成缩放校正，避免了重复运算，提高了运算速率。
可选地，本发明实施例中的校正参数也可以包括以下每一者：畸变参数、旋转参数、平移参数和缩放参数。则在建立查找表时，可以假设有存在畸变、旋转、平移和缩放的原图像f，图像f的中点(ud,vd)的像素值表示为f(ud,vd)，其中点(ud,vd)是图像f中具有一般性的点。可以先对图像f执行校正畸变，然后再依次执行旋转校正、缩放校正和平移校正。校正过程中如果需要使用插值算法，可以采用最近邻插值法。令畸变校正之后的图像为g，图像f的中点(ud,vd)经畸变校正后成为图像g的中点(u1,v1)，点(u1,v1)的像素值表示为g(u1,v1)。在图像g基础上执行旋转校正之后形成图像h，图像g的中点(u1,v1)经旋转校正后成为图像h中点(u2,v2)，点(u2,v2)的像素值表示为h(u2,v2)。对图像h执行缩放校正后形成图像j，图像h中点(u2,v2)经缩放校正后形成图像j中点(u3,v3)，点(u3,v3)的像素值表示为j(u3,v3)。对图像j执行平移校正后形成图像k，图像j中点(u3,v3)经平移校正后成为图像k中点(u,v)，点(u,v)的像素值表示为k(u,v)。
那么图像k是由图像j经平移校正而形成，且根据平移校正公式可得：
即有
u3＝u-tx (10)
v3＝v-ty (11)
进而有
k(u,v)＝j(u3,v3) (12)
即求出k(u,v)，其中tx为图像j相对图像k在x方向的平移量，ty为图像j相对图像k在y方向的平移量，具体到本发明实施例，如果是以微光图像为基准，对原红外图像执行校正操作，则tx为可红外图像相对微光图像在x方向的平移量，ty为红外图像相对可见光图像在y方向的平移量。而图像j由图像h经缩放校正而形成，根据缩放校正公式
即有
u2＝fw·u3 (14)
v2＝fh·v3 (15)
进而有
j(u3,v3)＝h(u2,v2) (16)
从而求出j(u3,v3)，其中，fw为图像j相对图像h的图像宽度放大或缩小的倍数的倒数，fh为图像j相对图像h的图像高度放大或缩小的倍数的倒数。具体到本发明实施例，如果是以微光图像为基准，对原红外图像执行校正操作，则fw为红外图像相对微光图像的图像宽度放大或缩小的倍数的倒数，fh为红外图像相对微光图像的图像高度放大或缩小的倍数的倒数。而图像h由图像g经旋转校正而形成，根据旋转校正公式
即有
u1＝cosθ·u2+sinθ·v2-0.5w2cosθ-0.5h2sinθ+0.5w1 (18)
v1＝-sinθ·u2+cosθ·v2+0.5w2sinθ-0.5h2cosθ+0.5h1 (19)
其中，
进而有
h(u2,v2)＝g(u1,v1)(20)
从而求出h(u2,v2)，其中θ为图像h相对图像g的旋转角度，w1为图像g的宽度，h1为图像g的高度，w2为图像h的宽度，h2为图像h的高度，在计算过程中w2和h2可以认为是中间量。具体到本发明实施例中，如果是以微光图像为基准对红外图像进行去旋转操作，则θ为红外图像相对微光图像的旋转角度，w1为红外图像的宽度，h1为红外图像的高度。而图像g由原图像f经畸变校正而形成，根据畸变校正公式(如上文的式(1)-(3))有：
进而有
f(ud,vd)＝g(u1,v1) (23)
从而求出g(u1,v1)，其中k1,k2为摄像机的畸变系数，fx和fy表示摄像机的内参矩阵中的焦距，以像素为单位；cx和cy表示摄像机的光轴在图像坐标系中的偏移量，以像素为单位，由摄像机标定后得到。在本发明实施例中，k1,k2可以为红外摄像机的畸变系数，可以对红外摄像机进行标定以得到参数fx、fy、cx和cy。
将式(10)和(11)分别代入式(14)(15)，再将结果分别代入式(18)(19)得
u1＝cosθ·fw(u-tx)+sinθ·fh(v-ty)-h1sinθcosθ (24)
v1＝-sinθ·fw(u-tx)+cosθ·fh(v-ty)+0.5h1cos2θ+0.5h1 (25)
点(u,v)为校正后的图像中的一般性的点，根据式(21)和(22)、式(24)和(25)可以计算出，点(u,v)在原图像中的对应位置(ud,vd)。也就是说，可以确定出校正后的图像中的每一点在原图像中的对应位置，基于此，对于已经装配好的双通道融合系统，因微光图像的畸变很小，可以忽略不计，所以可以微光图像为基准，建立一查找表，该查找表中可以存储有校正后的红外图像中的每一像素位置在原红外图像中的对应位置。对于装配好的图像融合系统，在建立了查找表之后，可以将该查找表进行存储，以供之后的图像校正操作使用。
相应地，本发明实施例还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行根据本发明任一实施例的用于图像融合系统的查找表生成方法。
图4示出了根据本发明一实施例的图像融合方法的流程示意图。如图4所示，本发明实施例还提供一种图像融合方法，该方法可以包括：步骤S41，获取图像融合系统中的第一摄像机和第二摄像机对同一场景区域拍摄而产生的第一图像和第二图像；步骤S42，根据所存储的查找表确定校正后的第一图像中的每一像素的像素值，其中所述查找表为根据本发明任意实施例所述的用于图像融合系统的查找表生成方法而生成的查找表；步骤S43，对所述第二图像和所述校正后的第一图像进行融合。查找表中存储有校正后的第一图像中的每一像素在第一图像中的位置，则可以根据每一像素在第一图像中的位置而从第一图像中读取中校正后的第一图像中的每一像素的像素值。
可选地，在查找表中的像素位置不是整数的情况下，可以使用插值法来从第一图像中确定像素值，例如，可以使用最近邻插值法。
以双通道图像融合系统为例，其可以使用FPGA作为处理器。装配完成后，可以首先以微光摄像机拍摄的微光图像为基准，对红外摄像机拍摄的红外图像进行校正，以建立查找表，该查找表中可以存储有校正后的红外图像中的每一像素位置在原红外图像中的对应位置。然后可以将该查找表存储在FPGA中。之后，每次对拍摄到的红外图像和微光图像执行图像融合操作时，FPGA可以直接调用查找表来取得校正后的红外图像内的各像素在红外图像中的对应位置，然后根据对应位置从红外图像中获得校正后的红外图像内各像素点对应的像素值以得到校正后的红外图像，从而对校正后的红外图像和微光图形进行融合。
通过上述实施例，可以使得图像融合系统快速准确的完成融合操作，并且在提高融合速度的同时，也降低了系统功耗。
相应地，本发明实施例还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行根据本发明实施例的图像融合方法。
图5示出了根据本发明一实施例的用于图像融合的查找表生成装置的结构框图。如图5所示，相应地，本发明实施例还提供一种用于图像融合的查找表生成装置，所述装置包括：获取模块51，用于获取图像融合系统中的第一摄像机和第二摄像机对同一场景区域拍摄而产生的第一图像和第二图像；参数确定模块52，用于以所述第二图像为基准对所述第一图像进行校正以获得校正参数，其中对所述第一图像进行校正能够使得校正后的第一图像和所述第二图像完成配准；以及建立模块53，用于使用所述校正参数来建立用于校正所述第一图像的查找表，其中所述查找表中存储有所述校正后的第一图像中的每一像素在所述第一图像中的对应位置。在对图像融合系统所采集的图像进行融合时，可以直接根据查找表中存储的校正后的图像的每一像素在原图像中的位置来确定校正后的每一图像的像素值，之后再对校正的图像执行图像融合操作。该操作过程节省了图像融合系统中处理器的芯片资源，降低了系统功耗，并且同时提高了运算速度。
本发明实施例提供的用于图像融合的查找表生成装置的具体工作原理及益处与上述本发明实施例提供的用于图像融合的查找表生成方法的具体工作原理及益处相似，这里将不再赘述。
图6示出了根据本发明一实施例的图像融合装置的结构框图。如图6所示，相应地，本发明实施例还提供一种图像融合装置，所述装置包括：获取模块61，用于获取图像融合系统中的第一摄像机和第二摄像机对同一场景区域拍摄而产生的第一图像和第二图像；像素值确定模块62，用于根据所存储的查找表确定校正后的第一图像中的每一像素的像素值，其中所述查找表为根据上述的方法而生成的查找表；以及融合模块63，用于对所述第二图像和所述校正后的第一图像进行融合。其可以使得图像融合系统快速准确的完成融合操作，并且在提高融合速度的同时，也降低了系统功耗。
本发明实施例提供的图像融合装置的具体工作原理及益处与上述本发明实施例提供的图像融合装置的具体工作原理及益处相似，这里将不再赘述。
以上结合附图详细描述了本发明实施例的可选实施方式，但是，本发明实施例并不限于上述实施方式中的具体细节，在本发明实施例的技术构思范围内，可以对本发明实施例的技术方案进行多种简单变型，这些简单变型均属于本发明实施例的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施例对各种可能的组合方式不再另行说明。
本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
此外，本发明实施例的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施例的思想，其同样应当视为本发明实施例所公开的内容。
Claims (10)
1.一种用于图像融合的查找表生成方法，其特征在于，所述方法包括：
获取图像融合系统中的第一摄像机和第二摄像机对同一场景区域拍摄而产生的第一图像和第二图像；
以所述第二图像为基准对所述第一图像进行校正以获得校正参数，其中对所述第一图像进行校正能够使得校正后的第一图像和所述第二图像完成配准；以及
使用所述校正参数来建立用于校正所述第一图像的查找表，其中所述查找表中存储有所述校正后的第一图像中的每一像素在所述第一图像中的对应位置。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：对所述第一摄像机进行标定以获得所述第一摄像机的畸变参数和内参矩阵，其中，所述畸变参数和所述内参矩阵被包括在所述校正参数中。
3.根据权利要求1所述的方法，其特征在于，所述对所述第一图像进行校正包括执行以下步骤中的一者或多者：
对所述第一图像进行畸变校正；
对所述第一图像进行平移校正；
对所述第一图像进行旋转校正；以及
对所述第一图像进行缩放校正。
4.根据权利要求3所述的方法，其特征在于，所述校正参数包括以下中的一者或多者：平移参数、旋转参数、以及缩放参数。
5.根据权利要求1所述的方法，其特征在于，
所述第一摄像机为红外摄像机，且所述第二摄像机为微光摄像机；或者
所述第一摄像机为微光摄像机，且所述第二摄像机为红外摄像机。
6.根据权利要求1所述的方法，其特征在于，所述使用所述校正参数来建立用于校正所述第一图像的查找表包括通过以下公式来建立所述查找表：
<mrow>
<msub>
<mi>u</mi>
<mi>d</mi>
</msub>
<mo>=</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>u</mi>
<mn>1</mn>
</msub>
<mo>-</mo>
<msub>
<mi>c</mi>
<mi>x</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>{</mo>
<mn>1</mn>
<mo>+</mo>
<msub>
<mi>k</mi>
<mn>1</mn>
</msub>
<mo>&lsqb;</mo>
<msup>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<msub>
<mi>u</mi>
<mn>1</mn>
</msub>
<mo>-</mo>
<msub>
<mi>c</mi>
<mi>x</mi>
</msub>
</mrow>
<msub>
<mi>f</mi>
<mi>x</mi>
</msub>
</mfrac>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<msub>
<mi>v</mi>
<mn>1</mn>
</msub>
<mo>-</mo>
<msub>
<mi>c</mi>
<mi>y</mi>
</msub>
</mrow>
<msub>
<mi>f</mi>
<mi>y</mi>
</msub>
</mfrac>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>&rsqb;</mo>
<mo>+</mo>
<msub>
<mi>k</mi>
<mn>2</mn>
</msub>
<msup>
<mrow>
<mo>&lsqb;</mo>
<msup>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<msub>
<mi>u</mi>
<mn>1</mn>
</msub>
<mo>-</mo>
<msub>
<mi>c</mi>
<mi>x</mi>
</msub>
</mrow>
<msub>
<mi>f</mi>
<mi>x</mi>
</msub>
</mfrac>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<msub>
<mi>v</mi>
<mn>1</mn>
</msub>
<mo>-</mo>
<msub>
<mi>c</mi>
<mi>y</mi>
</msub>
</mrow>
<msub>
<mi>f</mi>
<mi>y</mi>
</msub>
</mfrac>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>&rsqb;</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>}</mo>
<mo>+</mo>
<msub>
<mi>c</mi>
<mi>x</mi>
</msub>
<mo>,</mo>
</mrow>
<mrow>
<msub>
<mi>v</mi>
<mi>d</mi>
</msub>
<mo>=</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>v</mi>
<mn>1</mn>
</msub>
<mo>-</mo>
<msub>
<mi>c</mi>
<mi>y</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>{</mo>
<mn>1</mn>
<mo>+</mo>
<msub>
<mi>k</mi>
<mn>1</mn>
</msub>
<mo>&lsqb;</mo>
<msup>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<msub>
<mi>u</mi>
<mn>1</mn>
</msub>
<mo>-</mo>
<msub>
<mi>c</mi>
<mi>x</mi>
</msub>
</mrow>
<msub>
<mi>f</mi>
<mi>x</mi>
</msub>
</mfrac>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<msub>
<mi>v</mi>
<mn>1</mn>
</msub>
<mo>-</mo>
<msub>
<mi>c</mi>
<mi>y</mi>
</msub>
</mrow>
<msub>
<mi>f</mi>
<mi>y</mi>
</msub>
</mfrac>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>&rsqb;</mo>
<mo>+</mo>
<msub>
<mi>k</mi>
<mn>2</mn>
</msub>
<msup>
<mrow>
<mo>&lsqb;</mo>
<msup>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<msub>
<mi>u</mi>
<mn>1</mn>
</msub>
<mo>-</mo>
<msub>
<mi>c</mi>
<mi>x</mi>
</msub>
</mrow>
<msub>
<mi>f</mi>
<mi>x</mi>
</msub>
</mfrac>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<msub>
<mi>v</mi>
<mn>1</mn>
</msub>
<mo>-</mo>
<msub>
<mi>c</mi>
<mi>y</mi>
</msub>
</mrow>
<msub>
<mi>f</mi>
<mi>y</mi>
</msub>
</mfrac>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>&rsqb;</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>}</mo>
<mo>+</mo>
<msub>
<mi>c</mi>
<mi>y</mi>
</msub>
<mo>,</mo>
</mrow>
其中，
u1＝cosθ·fw(u-tx)+sinθ·fh(v-ty)-h1sinθcosθ，
v1＝-sinθ·fw(u-tx)+cosθ·fh(v-ty)+0.5h1cos2θ+0.5h1，
其中，(ud,vd)为所述校正后的第一图像中的像素位置(u,v)在所述第一图像中的对应位置，fw为所述第一图像相对所述第二图像的图像宽度放大或缩小的倍数的倒数，fh为所述第一图像相对所述第二图像的图像高度放大或缩小的倍数的倒数，θ为所述第一图像相对所述第二图像的旋转角度，fx和fy为所述第一摄像机的内参矩阵中的焦距，cx和cy为所述第一摄像机的光轴在图像坐标系中的偏移量，k1和k2为所述第一摄像机的畸变系数，tx为所述第一图像相对所述第二图像在水平方向的平移量，ty为所述第一图像相对所述第二图像在竖直方向的平移量，h1为所述第一图像的高度，u1和v1为计算ud和vd的中间量。
7.一种图像融合方法，其特征在于，所述方法包括：
获取图像融合系统中的第一摄像机和第二摄像机对同一场景区域拍摄而产生的第一图像和第二图像；
根据所存储的查找表确定校正后的第一图像中的每一像素的像素值，其中所述查找表为根据权利要求1至6中任意一项权利要求所述的方法而生成的查找表；以及
对所述第二图像和所述校正后的第一图像进行融合。
8.根据权利要求7所述的方法，其特征在于，所述根据所存储的查找表确定校正后的第一图像中的每一像素的像素值包括：
在所述查找表中存储的像素位置不是整数的情况下，使用插值法确定所述校正后的第一图像中的对应像素的像素值。
9.一种用于图像融合的查找表生成装置，其特征在于，所述装置包括：
获取模块，用于获取图像融合系统中的第一摄像机和第二摄像机对同一场景区域拍摄而产生的第一图像和第二图像；
参数确定模块，用于以所述第二图像为基准对所述第一图像进行校正以获得校正参数，其中对所述第一图像进行校正能够使得校正后的第一图像和所述第二图像完成配准；以及
建立模块，用于使用所述校正参数来建立用于校正所述第一图像的查找表，其中所述查找表中存储有所述校正后的第一图像中的每一像素在所述第一图像中的对应位置。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括：标定模块，用于对所述第一摄像机进行标定以获得所述第一摄像机的畸变参数和内参矩阵，其中，所述畸变参数和所述内参矩阵被包括在所述校正参数中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711206004.5A CN108053386B (zh) | 2017-11-27 | 2017-11-27 | 用于图像融合的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711206004.5A CN108053386B (zh) | 2017-11-27 | 2017-11-27 | 用于图像融合的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108053386A true CN108053386A (zh) | 2018-05-18 |
| CN108053386B CN108053386B (zh) | 2021-04-09 |
Family
ID=62120638
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711206004.5A Active CN108053386B (zh) | 2017-11-27 | 2017-11-27 | 用于图像融合的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108053386B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109060308A (zh) * | 2018-06-04 | 2018-12-21 | 北京理工大学 | 用于图像融合系统的延时测量设备及方法 |
| CN109146930A (zh) * | 2018-09-20 | 2019-01-04 | 河海大学常州校区 | 一种电力机房设备红外与可见光图像配准方法 |
| CN109345471A (zh) * | 2018-09-07 | 2019-02-15 | 贵州宽凳智云科技有限公司北京分公司 | 基于高精轨迹数据测量绘制高精地图数据方法 |
| CN109600548A (zh) * | 2018-11-30 | 2019-04-09 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
| CN110012197A (zh) * | 2019-03-19 | 2019-07-12 | 昆明物理研究所 | 一种基于调焦位置补偿的空域图像配准融合方法 |
| CN110335219A (zh) * | 2019-07-17 | 2019-10-15 | 中国电子科技集团公司第十三研究所 | 一种像素畸变的校正方法、校正装置及终端 |
| WO2020061789A1 (zh) * | 2018-09-26 | 2020-04-02 | 深圳市大疆创新科技有限公司 | 一种图像处理方法、设备、无人机、系统及存储介质 |
| CN112907704A (zh) * | 2021-02-04 | 2021-06-04 | 浙江大华技术股份有限公司 | 一种图像融合方法、计算机设备以及装置 |
| CN112911159A (zh) * | 2018-08-27 | 2021-06-04 | 深圳市大疆创新科技有限公司 | 图像呈现方法、图像获取设备及终端装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030231804A1 (en) * | 2002-06-12 | 2003-12-18 | Litton Systems, Inc. | System for multi-sensor image fusion |
| CN102982518A (zh) * | 2012-11-06 | 2013-03-20 | 扬州万方电子技术有限责任公司 | 红外与可见光动态图像的融合方法及装置 |
| CN104835159A (zh) * | 2015-05-07 | 2015-08-12 | 中国科学院长春光学精密机械与物理研究所 | 用于连续变焦距光学成像系统的数字图像校正方法 |
| CN104851076A (zh) * | 2015-05-27 | 2015-08-19 | 武汉理工大学 | 用于商用车的全景环视泊车辅助系统及摄像头安装方法 |
-
2017
- 2017-11-27 CN CN201711206004.5A patent/CN108053386B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030231804A1 (en) * | 2002-06-12 | 2003-12-18 | Litton Systems, Inc. | System for multi-sensor image fusion |
| CN102982518A (zh) * | 2012-11-06 | 2013-03-20 | 扬州万方电子技术有限责任公司 | 红外与可见光动态图像的融合方法及装置 |
| CN104835159A (zh) * | 2015-05-07 | 2015-08-12 | 中国科学院长春光学精密机械与物理研究所 | 用于连续变焦距光学成像系统的数字图像校正方法 |
| CN104851076A (zh) * | 2015-05-27 | 2015-08-19 | 武汉理工大学 | 用于商用车的全景环视泊车辅助系统及摄像头安装方法 |
Non-Patent Citations (3)
| Title |
|---|
| IVAN PETLLOT ET AL.: "Radar-Coding and Geocoding Lookup Tables for the Fusion of GIS and SAR Data in Mountain Areas", 《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》 * |
| 刘畅 等: "固定多摄像头的视频拼接技术", 《数据采集与处理》 * |
| 张宝辉 等: "远距离多源图像融合系统实时配准设计", 《应用光学》 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109060308A (zh) * | 2018-06-04 | 2018-12-21 | 北京理工大学 | 用于图像融合系统的延时测量设备及方法 |
| US11778338B2 (en) | 2018-08-27 | 2023-10-03 | SZ DJI Technology Co., Ltd. | Image processing and presentation |
| CN112911159B (zh) * | 2018-08-27 | 2023-04-18 | 深圳市大疆创新科技有限公司 | 图像呈现方法、图像获取设备及终端装置 |
| CN112911159A (zh) * | 2018-08-27 | 2021-06-04 | 深圳市大疆创新科技有限公司 | 图像呈现方法、图像获取设备及终端装置 |
| CN109345471A (zh) * | 2018-09-07 | 2019-02-15 | 贵州宽凳智云科技有限公司北京分公司 | 基于高精轨迹数据测量绘制高精地图数据方法 |
| CN109345471B (zh) * | 2018-09-07 | 2022-06-24 | 贵州宽凳智云科技有限公司北京分公司 | 基于高精轨迹数据测量绘制高精地图数据方法 |
| CN109146930B (zh) * | 2018-09-20 | 2021-10-08 | 河海大学常州校区 | 一种电力机房设备红外与可见光图像配准方法 |
| CN109146930A (zh) * | 2018-09-20 | 2019-01-04 | 河海大学常州校区 | 一种电力机房设备红外与可见光图像配准方法 |
| WO2020061789A1 (zh) * | 2018-09-26 | 2020-04-02 | 深圳市大疆创新科技有限公司 | 一种图像处理方法、设备、无人机、系统及存储介质 |
| CN109600548A (zh) * | 2018-11-30 | 2019-04-09 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
| CN110012197A (zh) * | 2019-03-19 | 2019-07-12 | 昆明物理研究所 | 一种基于调焦位置补偿的空域图像配准融合方法 |
| CN110335219B (zh) * | 2019-07-17 | 2021-09-28 | 中国电子科技集团公司第十三研究所 | 一种像素畸变的校正方法、校正装置及终端 |
| CN110335219A (zh) * | 2019-07-17 | 2019-10-15 | 中国电子科技集团公司第十三研究所 | 一种像素畸变的校正方法、校正装置及终端 |
| CN112907704A (zh) * | 2021-02-04 | 2021-06-04 | 浙江大华技术股份有限公司 | 一种图像融合方法、计算机设备以及装置 |
| CN112907704B (zh) * | 2021-02-04 | 2024-04-12 | 浙江大华技术股份有限公司 | 一种图像融合方法、计算机设备以及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108053386B (zh) | 2021-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108053386A (zh) | 用于图像融合的方法及装置 | |
| CN105118055B (zh) | 摄影机定位修正标定方法及系统 | |
| CN110211043B (zh) | 一种用于全景图像拼接的基于网格优化的配准方法 | |
| CN110782394A (zh) | 全景视频快速拼接方法及系统 | |
| JP4513906B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
| CN105894451B (zh) | 全景图像拼接方法和装置 | |
| CN108564617A (zh) | 多目相机的三维重建方法、装置、vr相机和全景相机 | |
| CN109461126A (zh) | 一种图像畸变校正方法及系统 | |
| US9282253B2 (en) | System and method for multiple-frame based super resolution interpolation for digital cameras | |
| JP2015525407A (ja) | 画像融合方法及び装置 | |
| TW200937946A (en) | Full-frame video stabilization with a polyline-fitted camcorder path | |
| JP5602985B2 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
| CN110493525A (zh) | 变焦图像确定方法及装置、存储介质、终端 | |
| CN108366201A (zh) | 一种基于陀螺仪的电子防抖方法 | |
| CN103544696B (zh) | 一种用于fpga实现的缝合线实时查找方法 | |
| CN106296608A (zh) | 一种基于映射表的鱼眼图像处理方法及系统 | |
| KR20120020821A (ko) | 영상 왜곡 보정 장치 및 방법 | |
| CN109951641A (zh) | 图像拍摄方法和装置、电子设备、计算机可读存储介质 | |
| CN113052765A (zh) | 基于最优栅格密度模型的全景图像拼接方法 | |
| CN112465702A (zh) | 一种多路超高清视频同步自适应拼接显示处理方法 | |
| CN105488764B (zh) | 鱼眼图像校正方法及装置 | |
| US9602708B2 (en) | Rectified stereoscopic 3D panoramic picture | |
| KR20110133677A (ko) | 3ｄ 영상 처리 장치 및 그 방법 | |
| CN114095644B (zh) | 一种图像校正的方法和计算机设备 | |
| CN114627168A (zh) | 一种提高红外与可见光图像配准精度的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |