CN114648454B - 一种多传感器相机的图像校正方法及系统 - Google Patents
一种多传感器相机的图像校正方法及系统 Download PDFInfo
- Publication number
- CN114648454B CN114648454B CN202210207427.3A CN202210207427A CN114648454B CN 114648454 B CN114648454 B CN 114648454B CN 202210207427 A CN202210207427 A CN 202210207427A CN 114648454 B CN114648454 B CN 114648454B
- Authority
- CN
- China
- Prior art keywords
- image
- corrected
- point coordinate
- angular point
- image set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000003702 image correction Methods 0.000 title claims abstract description 24
- 230000009466 transformation Effects 0.000 claims abstract description 48
- 239000013598 vector Substances 0.000 claims abstract description 47
- 239000011159 matrix material Substances 0.000 claims abstract description 29
- 238000005520 cutting process Methods 0.000 claims abstract description 16
- 238000001514 detection method Methods 0.000 claims abstract description 10
- 238000001914 filtration Methods 0.000 claims description 23
- 230000003595 spectral effect Effects 0.000 claims description 22
- 230000000694 effects Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 10
- 238000012805 post-processing Methods 0.000 claims description 8
- 238000010521 absorption reaction Methods 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 abstract description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 101100272279 Beauveria bassiana Beas gene Proteins 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种多传感器相机的图像校正方法及系统，首先选取任一原始图像作为参考图像，其余各原始图像作为待校正图像集；然后对所述参考图像和所述待校正图像集进行角点检测，得到参考角点坐标向量和待校正角点坐标集，并基于所述参考角点坐标向量和待校正角点坐标集得到投影变换矩阵集；再基于所述投影变换矩阵集和所述参考图像，对所述待校正图像集中各待校正图像进行校正，得到校正图像集；最后对所述参考图像和所述校正图像集进行裁剪和放缩，得到输出图像集。本发明能实时、准确地对多传感器相机获取的多通道图像进行校正，提高成像质量。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种多传感器相机的图像校正方法及系统。
背景技术
多互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor，简称CMOS)传感器应用广泛，如一般的3CMOS传感器相机，另外如用于荧光内窥镜成像的4CMOS传感器相机采用R、G、B三色通道以及一个近红外通道。一般多CMOS传感器获得的图像可通过多路分光棱镜将投射到相机镜头的景物光线分成各种频段，分别在各传感器上感光成像，但由于工艺精度问题，各传感器相对分光镜面具有一定的位置偏移，如各传感器表面与对应棱镜镜面距离不同和不平行，另外相对其他CMOS，各CMOS与相应的分光镜面具有一定的旋转和位置偏移等。这样导致多CMOS合成的多通道图像像素对应位置不一致，图像出现色偏、模糊和伪影等情况，严重影响成像质量。
发明内容
有鉴于此，本发明提供了一种多传感器相机的图像校正方法及系统，以实时、准确地对多传感器相机获取的多通道图像进行校正，提高成像质量。
为实现上述目的，本发明提供了如下方案：
一种多传感器相机的图像校正方法，其特征在于，包括：
基于多CMOS传感器相机对黑白棋盘格卡片进行拍摄，得到若干个通道的原始图像；
选取任一所述原始图像作为参考图像，其余各所述原始图像作为待校正图像集；
对所述参考图像和所述待校正图像集进行角点检测，得到参考角点坐标向量和待校正角点坐标集；
基于所述参考角点坐标向量和待校正角点坐标集得到投影变换矩阵集；
基于所述投影变换矩阵集和所述参考图像，对所述待校正图像集中各待校正图像进行校正，得到校正图像集；
对所述参考图像和所述校正图像集进行裁剪和放缩，得到输出图像集。
优选地，所述基于多CMOS传感器相机对黑白棋盘格卡片进行拍摄，得到若干个通道的原始图像，包括：
基于所述多CMOS传感器相机制作所述黑白棋盘格卡片；所述黑白棋盘格卡片的黑色部分对所述多CMOS传感器相机的各分光通带光谱频段具有吸收作用，所述黑白棋盘格卡片的白色部分对所述多CMOS传感器相机的各分光通带光谱频段具有反射作用；
将所述多CMOS传感器相机对准所述黑白棋盘格卡片进行拍摄，得到若干个通道的所述原始图像。
优选地，所述对所述参考图像和所述待校正图像集进行角点检测，得到参考角点坐标向量和待校正角点坐标集，包括：
对所述参考图像和所述待校正图像集进行导向滤波处理，得到参考滤波图像和待校正滤波图像集；
基于对称方差算子对所述参考滤波图像和所述待校正滤波图像集进行计算，得到初始参考角点坐标向量和初始滤波角点坐标集；
对所述初始参考角点坐标向量进行聚类，得到若干个初始参考角点坐标聚类集，对所述初始参考角点坐标聚类集中的各初始参考角点坐标进行加权计算，得到参考角点坐标，遍历各所述初始参考角点坐标聚类集，得到所述参考角点坐标向量，遍历所述初始滤波角点坐标集中各初始滤波角点坐标向量，得到所述待校正角点坐标集。
优选地，所述基于所述投影变换矩阵集和所述参考图像，对所述待校正图像集中各待校正图像进行校正，得到校正图像集，包括：
基于所述投影变换矩阵集，将所述参考图像投影变换到各所述待校正图像上，得到投影图像集；
对所述投影图像集中各投影图像进行双线性插值，得到所述校正图像集。
优选地，所述对所述参考图像和所述校正图像集进行裁剪和放缩，得到输出图像集，包括：
基于所述参考图像对所述校正图像集中各校正图像进行剪裁，得到剪裁图像集；
基于目标输出大小对所述所述参考图像和所述剪裁图像集中各剪裁图像进行剪裁和放缩处理，得到所述输出图像集；所述放缩采用双线性插值方法。
本发明还提供了一种多传感器相机的图像校正系统，包括：
多通道图像模块，基于多CMOS传感器相机对黑白棋盘格卡片进行拍摄，得到若干个通道的原始图像；
图像选取模块，选取任一所述原始图像作为参考图像，其余各所述原始图像作为待校正图像集；
角点坐标模块，对所述参考图像和所述待校正图像集进行角点检测，得到参考角点坐标向量和待校正角点坐标集；
投影变换模块，基于所述参考角点坐标向量和待校正角点坐标集得到投影变换矩阵集；
校正模块，基于所述投影变换矩阵集和所述参考图像，对所述待校正图像集中各待校正图像进行校正，得到校正图像集；
后处理模块，对所述参考图像和所述校正图像集进行裁剪和放缩，得到输出图像集。
优选地，所述多通道图像模块包括：
黑白棋盘格卡片单元，基于所述多CMOS传感器相机制作所述黑白棋盘格卡片；所述黑白棋盘格卡片的黑色部分对所述多CMOS传感器相机的各分光通带光谱频段具有吸收作用，所述黑白棋盘格卡片的白色部分对所述多CMOS传感器相机的各分光通带光谱频段具有反射作用；
拍摄单元，将所述多CMOS传感器相机对准所述黑白棋盘格卡片进行拍摄，得到若干个通道的所述原始图像。
优选地，所述角点坐标模块包括：
滤波单元，对所述参考图像和所述待校正图像集进行导向滤波处理，得到参考滤波图像和待校正滤波图像集；
初始角点坐标单元，基于对称方差算子对所述参考滤波图像和所述待校正滤波图像集进行计算，得到初始参考角点坐标向量和初始滤波角点坐标集；
聚类加权单元，对所述初始参考角点坐标向量进行聚类，得到若干个初始参考角点坐标聚类集，对所述初始参考角点坐标聚类集中的各初始参考角点坐标进行加权计算，得到参考角点坐标，遍历各所述初始参考角点坐标聚类集，得到所述参考角点坐标向量，遍历所述初始滤波角点坐标集中各初始滤波角点坐标向量，得到所述待校正角点坐标集。
优选地，所述校正模块包括：
投影变换单元，基于所述投影变换矩阵集，将所述参考图像投影变换到各所述待校正图像上，得到投影图像集；
插值单元，对所述投影图像集中各投影图像进行双线性插值，得到所述校正图像集。
优选地，所述后处理模块包括：
校正图像剪裁单元，基于所述参考图像对所述校正图像集中各校正图像进行剪裁，得到剪裁图像集；
目标剪裁和放缩单元，基于目标输出大小对所述所述参考图像和所述剪裁图像集中各剪裁图像进行剪裁和放缩处理，得到所述输出图像集；所述放缩采用双线性插值方法。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明涉及一种多传感器相机的图像校正方法及系统，首先选取任一原始图像作为参考图像，其余各原始图像作为待校正图像集；然后对所述参考图像和所述待校正图像集进行角点检测，得到参考角点坐标向量和待校正角点坐标集，并基于所述参考角点坐标向量和待校正角点坐标集得到投影变换矩阵集；再基于所述投影变换矩阵集和所述参考图像，对所述待校正图像集中各待校正图像进行校正，得到校正图像集；最后对所述参考图像和所述校正图像集进行裁剪和放缩，得到输出图像集。本发明能实时、准确地对多传感器相机获取的多通道图像进行校正，提高成像质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明多传感器相机的图像校正方法流程图；
图2为本发明多传感器相机的图像校正系统结构图。
符号说明：1-多通道图像模块，2-图像选取模块，3-角点坐标模块，4-投影变换模块，5-校正模块，6-后处理模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种多传感器相机的图像校正方法及系统，以实时、准确地对多传感器相机获取的多通道图像进行校正，提高成像质量。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明多传感器相机的图像校正方法流程图。如图所示，本发明一种多传感器相机的图像校正方法，包括：
步骤S1，基于多CMOS传感器相机对黑白棋盘格卡片进行拍摄，得到若干个通道的原始图像。
优选地，所述步骤S1包括：
步骤S11，基于所述多CMOS传感器相机制作所述黑白棋盘格卡片；所述黑白棋盘格卡片的黑色部分对所述多CMOS传感器相机的各分光通带光谱频段具有吸收作用，所述黑白棋盘格卡片的白色部分对所述多CMOS传感器相机的各分光通带光谱频段具有反射作用，保证拍摄的各通道图像像素分布近似。本实施例中，所述黑白棋盘格卡片的角点数量大于或等于3个。
步骤S12，将所述多CMOS传感器相机对准所述黑白棋盘格卡片进行拍摄，得到若干个通道的所述原始图像。拍摄过程相机正对黑白棋盘格卡片的棋盘格，使得像平面和棋盘格平面尽可能平行，另外拍摄后各通道图像尽量清晰、棋盘格尽量充满图像视野。在保证相邻棋盘格像素点一定距离的条件下采用尽可能多的角点的黑白棋盘格卡片。
步骤S2，选取任一所述原始图像作为参考图像，其余各所述原始图像作为待校正图像集。本实施例中，选取第g个所述原始图像作为所述参考图像，g∈K，K为通道数，即为所述原始图像的数量。
步骤S3，对所述参考图像和所述待校正图像集进行角点检测，得到参考角点坐标向量和待校正角点坐标集。
具体地，所述步骤S3包括：
步骤S31，对所述参考图像和所述待校正图像集进行导向滤波处理，得到参考滤波图像和待校正滤波图像集。通过导向滤波处理，在保持图像边缘的同时去除噪声，提高了角点检测的精准度。
以所述参考图像为例，采用如下方法进行导向滤波：
遍历所述参考图像中的每个像素点，对每个像素点(i,j)均取像素块Cube(i,j)＝(i-d:i+d,j-d:j+d)，式中：Cube(i,j)为像素点(i,j)的像素块，d为像素块的半径，本实施例中，d＝2，i＝1,2,…,W，j＝1,2,…,H，W为参考图像的横坐标长度，H为参考图像的纵坐标长度。
计算每个所述像素块的像素均值，计算公式如下：
式中：Mean(i,j)为像素块Cube(i,j)的像素均值，I(p,q)为像素块Cube(i,j)内像素点(p,q)的像素值。
计算每个所述像素块的像素方差，计算公式如下：
式中：Var(i,j)为像素块Cube(i,j)的像素方差。
基于像素块Cube(i,j)的像素均值和像素方差对像素点(i,j)的像素值进行更新，更新公式如下：
I′(i,j)＝Var(i,j)/(Var(i,j)+epsilon)*I(i,j)+epsilon/(Var(i,j)+epsilon)*Mean(i,j)；
式中：I′(i,j)为像素点(i,j)更新后的像素值，I(i,j)为像素点(i,j)更新前的像素值，epsilon为参数值，本实施例中，epsilon取100。
对所述参考图像中每个像素点的像素值均进行更新，得到所述参考滤波图像，所述待校正图像集中各待校正图像同样采用上述的方法进行导向滤波，得到所述待校正滤波图像集。
步骤S32，基于对称方差算子对所述参考滤波图像和所述待校正滤波图像集进行计算，得到初始参考角点坐标向量和初始滤波角点坐标集。
优选地，以所述参考滤波图像为例，进行说明，具体计算过程如下：
计算所述参考滤波图像每个像素点的对称方差算子，计算公式如下：
SV(i,j)＝kV(i,j)-S(i,j)；
式中：SV(i,j)为像素点(i,j)的对称方差算子，k为常数参量，本实施例中，k取4，V(i,j)为像素点(i,j)的局部邻域块的方差，式中：d2为局部邻域块的半径，本实施例中，d2＝5，I′(r,e)为像素点(i,j)的局部邻域块内像素点(r,e)的像素值，/>表示局部邻域块的像素点均值，
由于所述局部邻域块具有中心对称性，故S(i,j)较小，而V(i,j)却很大，所以SV(i,j)越大，角点的可能性越大，故当SV(i,j)＞θ时，则定义像素点(i,j)为初始参考角点，其中θ为常数，θ的取值范围为100～4000。
遍历所述参考滤波图像中的每个像素点，得到所述初始参考角点坐标向量，遍历所述待校正滤波图像集中的每个待校正图像，得到所述初始滤波角点坐标集。
步骤S33，对所述初始参考角点坐标向量进行聚类，得到若干个初始参考角点坐标聚类集，对所述初始参考角点坐标聚类集中的各初始参考角点坐标进行加权计算，得到参考角点坐标，遍历各所述初始参考角点坐标聚类集，得到所述参考角点坐标向量，遍历所述初始滤波角点坐标集中各初始滤波角点坐标向量，得到所述待校正角点坐标集。
以所述初始参考角点坐标向量为例进行说明，具体的参考角点坐标向量计算方法如下：
对第1个角点，依次计算后面N-1个角点与第1个角点欧式距离，若欧式距离小于d3，则该角点与第1个角点为一类，若欧氏距离大于或等于d3，则该角点与第1个角点不为一类，列出与第1个角点为一类的角点得到第1个所述初始参考角点坐标聚类集，对与第1个角点不为一类的角点，依次采用上述方法，直到没有剩余的角点，得到若干个所述初始参考角点坐标聚类集。
对第1个所述初始参考角点坐标聚类集中的各初始参考角点坐标进行加权计算，得到第1个参考角点坐标，计算公式如下：
式中：h*为第1个参考角点的横坐标，b*为第1个参考角点的纵坐标，(h,b)为第1个初始参考角点坐标聚类集中各初始参考角点的横纵坐标，(h,b)∈[H,B]，[H,B]为第1个初始参考角点坐标聚类集。
遍历每个所述初始参考角点坐标聚类集，得到所述参考角点坐标向量，遍历所述初始滤波角点坐标集中各初始滤波角点坐标向量，得到所述待校正角点坐标集。
步骤S4，基于所述参考角点坐标向量和待校正角点坐标集得到投影变换矩阵集。
优选地，所述投影变换矩阵集的具体求解过程如下：
式中：Ak为第k个待校正图像的投影变换矩阵k∈K，k≠g，/>为第k个待校正图像中第m个待校正角点的横坐标，/>为第k个待校正图像中第m个待校正角点的纵坐标，/>为参考图像中第m个参考角点投影变换到第k个待校正图像中的理论横坐标，/>为参考图像中第m个参考角点投影变换到第k个待校正图像中的理论纵坐标， 为Ak的最优解，/>为参考图像中第m个参考角点的横坐标，/>为参考图像中第m个参考角点的纵坐标。
为求解先求解初始解/>假设/>为仿射变换，即/>则初始解/>为如下优化问题的求解：
式中：由于仿射变换为线性变换，优化目标函数f*为二次凸函数，只有一个极值点，所以可采用梯度下降法来求解/>最后得到的初始解/>其中t＝[0,0,1]。
的具体优化方法如下：
输入样本矩阵和/>初始化参数矩阵A0＝0，参数更新量Error＝∞，设置最大迭代次数Titerate，迭代步长λ，参数更新速度阈值Emin，对于第t步，当满足迭代条件：t＜Titerate且参数更新量Error＞Emin时，更新参数矩阵At＝At-1-λ(-Yinput TXinput+At-1Xinput TXinput)，其中T为转置，计算Error＝||At-At-1||，一直迭代直到不满足迭代条件为止，输出At，输出的At即为/>
将作为初始解，利用(Levenberg-Marquardt，简称LM)迭代算法求解/>由于投影变换为非线性变换，求解/>不是严格凸函数，具有多个极值点，直接采用LM算法可能收敛到局部极致点，导致解不准确，本申请先找到和投影变换近似的仿射变换解作为初始解，再利用LM算法求精确解，可以收敛到全局最优，得到精准的/>
步骤S5，基于所述投影变换矩阵集和所述参考图像，对所述待校正图像集中各待校正图像进行校正，得到校正图像集。
优选地，所述步骤S5包括：
步骤S51，基于所述投影变换矩阵集，将所述参考图像投影变换到各所述待校正图像上，得到投影图像集。投影变换公式如下：
步骤S52，对所述投影图像集中各投影图像进行双线性插值，得到所述校正图像集。所述校正图像集中的校正图像像素值如下式：
式中：为向下取整，/>为向上取整，/>
步骤S6，对所述参考图像和所述校正图像集进行裁剪和放缩，得到输出图像集。进一步地，所述步骤S6包括：
步骤S61，基于所述参考图像对所述校正图像集中各校正图像进行剪裁，得到剪裁图像集。
由于对各所述校正图像进行了插值处理，所以各所述校正图像中存在所述参考图像不存在的像素点，将这样的像素点定义为非映射点，将各所述校正图像中的全部非映射点的像素值进行去除，得到所述剪裁图像集。
步骤S62，基于目标输出大小对所述所述参考图像和所述剪裁图像集中各剪裁图像进行剪裁和放缩处理，得到所述输出图像集；所述放缩采用双线性插值方法。
具体地，以所述剪裁图像为例，所述剪裁和放缩处理的过程如下：
1)若Ws≥Wtar且Hs≥Htar，则将所述剪裁图像的左右两边各裁剪列，上下两边各裁剪/>行，式中：Wtar为目标输出大小的横坐标长度，Htar为目标输出大小的纵坐标长度，Ws为剪裁图像的横坐标长度，Hs为剪裁图像的纵坐标长度。
2)若Ws≥Wtar且Hs＜Htar，则先将所述剪裁图像的左右两边各裁剪列后再行列各放大/>倍。
3)若Ws＜Wtar且Hs≥Htar，则先将所述剪裁图像的上下两边各裁剪行后再行列各放大/>倍。
4)若Ws＜Wtar且Hs＜Htar，则当时，将所述剪裁图像的左右两边各裁剪列再行列各放大/>倍，当/>时，将所述剪裁图像的上下两边各裁剪/>行再行列各放大/>倍。
遍历各所述剪裁图像和所述参考图像，得到所述输出图像集。
图2为本发明多传感器相机的图像校正系统结构图。如图所示，本发明提供了一种多传感器相机的图像校正系统，包括：多通道图像模块1、图像选取模块2、角点坐标模块3、投影变换模块4、校正模块5和后处理模块6。
所述多通道图像模块1基于多CMOS传感器相机对黑白棋盘格卡片进行拍摄，得到若干个通道的原始图像。
所述图像选取模块2选取任一所述原始图像作为参考图像，其余各所述原始图像作为待校正图像集。
所述角点坐标模块3对所述参考图像和所述待校正图像集进行角点检测，得到参考角点坐标向量和待校正角点坐标集。
所述投影变换模块4基于所述参考角点坐标向量和待校正角点坐标集得到投影变换矩阵集。
所述校正模块5基于所述投影变换矩阵集和所述参考图像，对所述待校正图像集中各待校正图像进行校正，得到校正图像集。
所述后处理模块6对所述参考图像和所述校正图像集进行裁剪和放缩，得到输出图像集。
作为一种可选的实施方式，本发明所述多通道图像模块1包括：黑白棋盘格卡片单元和拍摄单元。
所述黑白棋盘格卡片单元基于所述多CMOS传感器相机制作所述黑白棋盘格卡片；所述黑白棋盘格卡片的黑色部分对所述多CMOS传感器相机的各分光通带光谱频段具有吸收作用，所述黑白棋盘格卡片的白色部分对所述多CMOS传感器相机的各分光通带光谱频段具有反射作用。
所述拍摄单元将所述多CMOS传感器相机对准所述黑白棋盘格卡片进行拍摄，得到若干个通道的所述原始图像。
作为一种可选的实施方式，本发明所述角点坐标模块3包括：滤波单元、初始角点坐标单元和聚类加权单元。
所述滤波单元对所述参考图像和所述待校正图像集进行导向滤波处理，得到参考滤波图像和待校正滤波图像集。
所述初始角点坐标单元基于对称方差算子对所述参考滤波图像和所述待校正滤波图像集进行计算，得到初始参考角点坐标向量和初始滤波角点坐标集。
所述聚类加权单元对所述初始参考角点坐标向量进行聚类，得到若干个初始参考角点坐标聚类集，对所述初始参考角点坐标聚类集中的各初始参考角点坐标进行加权计算，得到参考角点坐标，遍历各所述初始参考角点坐标聚类集，得到所述参考角点坐标向量，遍历所述初始滤波角点坐标集中各初始滤波角点坐标向量，得到所述待校正角点坐标集。
作为一种可选的实施方式，本发明所述校正模块5包括：投影变换单元和插值单元。
所述投影变换单元基于所述投影变换矩阵集，将所述参考图像投影变换到各所述待校正图像上，得到投影图像集。
所述插值单元对所述投影图像集中各投影图像进行双线性插值，得到所述校正图像集。
作为一种可选的实施方式，本发明所述后处理模块6包括：校正图像剪裁单元和目标剪裁和放缩单元。
所述校正图像剪裁单元基于所述参考图像对所述校正图像集中各校正图像进行剪裁，得到剪裁图像集。
所述目标剪裁和放缩单元基于目标输出大小对所述所述参考图像和所述剪裁图像集中各剪裁图像进行剪裁和放缩处理，得到所述输出图像集；所述放缩采用双线性插值方法。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种多传感器相机的图像校正方法，其特征在于，包括：
基于多CMOS传感器相机对黑白棋盘格卡片进行拍摄，得到若干个通道的原始图像；
选取任一所述原始图像作为参考图像，其余各所述原始图像作为待校正图像集；
对所述参考图像和所述待校正图像集进行角点检测，得到参考角点坐标向量和待校正角点坐标集；
基于所述参考角点坐标向量和待校正角点坐标集得到投影变换矩阵集；
基于所述投影变换矩阵集和所述参考图像，对所述待校正图像集中各待校正图像进行校正，得到校正图像集；
对所述参考图像和所述校正图像集进行裁剪和放缩，得到输出图像集。
2.根据权利要求1所述的图像校正方法，其特征在于，所述基于多CMOS传感器相机对黑白棋盘格卡片进行拍摄，得到若干个通道的原始图像，包括：
基于所述多CMOS传感器相机制作所述黑白棋盘格卡片；所述黑白棋盘格卡片的黑色部分对所述多CMOS传感器相机的各分光通带光谱频段具有吸收作用，所述黑白棋盘格卡片的白色部分对所述多CMOS传感器相机的各分光通带光谱频段具有反射作用；
将所述多CMOS传感器相机对准所述黑白棋盘格卡片进行拍摄，得到若干个通道的所述原始图像。
3.根据权利要求1所述的图像校正方法，其特征在于，所述对所述参考图像和所述待校正图像集进行角点检测，得到参考角点坐标向量和待校正角点坐标集，包括：
对所述参考图像和所述待校正图像集进行导向滤波处理，得到参考滤波图像和待校正滤波图像集；
基于对称方差算子对所述参考滤波图像和所述待校正滤波图像集进行计算，得到初始参考角点坐标向量和初始滤波角点坐标集；
对所述初始参考角点坐标向量进行聚类，得到若干个初始参考角点坐标聚类集，对所述初始参考角点坐标聚类集中的各初始参考角点坐标进行加权计算，得到参考角点坐标，遍历各所述初始参考角点坐标聚类集，得到所述参考角点坐标向量，遍历所述初始滤波角点坐标集中各初始滤波角点坐标向量，得到所述待校正角点坐标集。
4.根据权利要求1所述的图像校正方法，其特征在于，所述基于所述投影变换矩阵集和所述参考图像，对所述待校正图像集中各待校正图像进行校正，得到校正图像集，包括：
基于所述投影变换矩阵集，将所述参考图像投影变换到各所述待校正图像上，得到投影图像集；
对所述投影图像集中各投影图像进行双线性插值，得到所述校正图像集。
5.根据权利要求1所述的图像校正方法，其特征在于，所述对所述参考图像和所述校正图像集进行裁剪和放缩，得到输出图像集，包括：
基于所述参考图像对所述校正图像集中各校正图像进行剪裁，得到剪裁图像集；
基于目标输出大小对所述参考图像和所述剪裁图像集中各剪裁图像进行剪裁和放缩处理，得到所述输出图像集；所述放缩采用双线性插值方法。
6.一种多传感器相机的图像校正系统，其特征在于，包括：
多通道图像模块，基于多CMOS传感器相机对黑白棋盘格卡片进行拍摄，得到若干个通道的原始图像；
图像选取模块，选取任一所述原始图像作为参考图像，其余各所述原始图像作为待校正图像集；
角点坐标模块，对所述参考图像和所述待校正图像集进行角点检测，得到参考角点坐标向量和待校正角点坐标集；
投影变换模块，基于所述参考角点坐标向量和待校正角点坐标集得到投影变换矩阵集；
校正模块，基于所述投影变换矩阵集和所述参考图像，对所述待校正图像集中各待校正图像进行校正，得到校正图像集；
后处理模块，对所述参考图像和所述校正图像集进行裁剪和放缩，得到输出图像集。
7.根据权利要求6所述的图像校正系统，其特征在于，所述多通道图像模块包括：
黑白棋盘格卡片单元，基于所述多CMOS传感器相机制作所述黑白棋盘格卡片；所述黑白棋盘格卡片的黑色部分对所述多CMOS传感器相机的各分光通带光谱频段具有吸收作用，所述黑白棋盘格卡片的白色部分对所述多CMOS传感器相机的各分光通带光谱频段具有反射作用；
拍摄单元，将所述多CMOS传感器相机对准所述黑白棋盘格卡片进行拍摄，得到若干个通道的所述原始图像。
8.根据权利要求6所述的图像校正系统，其特征在于，所述角点坐标模块包括：
滤波单元，对所述参考图像和所述待校正图像集进行导向滤波处理，得到参考滤波图像和待校正滤波图像集；
初始角点坐标单元，基于对称方差算子对所述参考滤波图像和所述待校正滤波图像集进行计算，得到初始参考角点坐标向量和初始滤波角点坐标集；
聚类加权单元，对所述初始参考角点坐标向量进行聚类，得到若干个初始参考角点坐标聚类集，对所述初始参考角点坐标聚类集中的各初始参考角点坐标进行加权计算，得到参考角点坐标，遍历各所述初始参考角点坐标聚类集，得到所述参考角点坐标向量，遍历所述初始滤波角点坐标集中各初始滤波角点坐标向量，得到所述待校正角点坐标集。
9.根据权利要求6所述的图像校正系统，其特征在于，所述校正模块包括：
投影变换单元，基于所述投影变换矩阵集，将所述参考图像投影变换到各所述待校正图像上，得到投影图像集；
插值单元，对所述投影图像集中各投影图像进行双线性插值，得到所述校正图像集。
10.根据权利要求6所述的图像校正系统，其特征在于，所述后处理模块包括：
校正图像剪裁单元，基于所述参考图像对所述校正图像集中各校正图像进行剪裁，得到剪裁图像集；
目标剪裁和放缩单元，基于目标输出大小对所述参考图像和所述剪裁图像集中各剪裁图像进行剪裁和放缩处理，得到所述输出图像集；所述放缩采用双线性插值方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210207427.3A CN114648454B (zh) | 2022-03-04 | 2022-03-04 | 一种多传感器相机的图像校正方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210207427.3A CN114648454B (zh) | 2022-03-04 | 2022-03-04 | 一种多传感器相机的图像校正方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114648454A CN114648454A (zh) | 2022-06-21 |
| CN114648454B true CN114648454B (zh) | 2024-04-02 |
Family
ID=81993002
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210207427.3A Active CN114648454B (zh) | 2022-03-04 | 2022-03-04 | 一种多传感器相机的图像校正方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114648454B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101477687A (zh) * | 2009-01-22 | 2009-07-08 | 上海交通大学 | 复杂背景下的棋盘格角点检测方法 |
| CN111612765A (zh) * | 2020-05-21 | 2020-09-01 | 华南师范大学 | 一种圆形透明镜片识别和定位的方法 |
| CN112419379A (zh) * | 2020-11-30 | 2021-02-26 | 北京农业智能装备技术研究中心 | 多光谱相机的多通道图像匹配方法及装置 |
| CN112562017A (zh) * | 2020-12-07 | 2021-03-26 | 奥比中光科技集团股份有限公司 | 一种rgb图像的色彩还原方法及计算机可读存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2624569B1 (en) * | 2012-02-06 | 2016-09-28 | Harvest Imaging bvba | Method for correcting image data from an image sensor having image pixels and non-image pixels, and image sensor implementing the same |
| CN107466473A (zh) * | 2015-03-13 | 2017-12-12 | 安科迪有限公司 | 多阵列相机成像系统及其方法 |
-
2022
- 2022-03-04 CN CN202210207427.3A patent/CN114648454B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101477687A (zh) * | 2009-01-22 | 2009-07-08 | 上海交通大学 | 复杂背景下的棋盘格角点检测方法 |
| CN111612765A (zh) * | 2020-05-21 | 2020-09-01 | 华南师范大学 | 一种圆形透明镜片识别和定位的方法 |
| CN112419379A (zh) * | 2020-11-30 | 2021-02-26 | 北京农业智能装备技术研究中心 | 多光谱相机的多通道图像匹配方法及装置 |
| CN112562017A (zh) * | 2020-12-07 | 2021-03-26 | 奥比中光科技集团股份有限公司 | 一种rgb图像的色彩还原方法及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114648454A (zh) | 2022-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5868076B2 (ja) | 画像処理装置及び画像処理方法 | |
| US8971622B2 (en) | Image processing apparatus, image capture apparatus, and image processing method | |
| JP5388671B2 (ja) | 撮像装置及び画像変換方法 | |
| US8941762B2 (en) | Image processing apparatus and image pickup apparatus using the same | |
| US8754957B2 (en) | Image processing apparatus and method | |
| US8830341B2 (en) | Selection of an optimum image in burst mode in a digital camera | |
| US8571308B2 (en) | Image processing for aberration correction | |
| US20110285879A1 (en) | Image processing device and image pickup device using the same | |
| WO2012011227A1 (ja) | ステレオ測距装置及びステレオ測距方法 | |
| US10192296B2 (en) | Image pickup apparatus, camera system, and image processing apparatus that restore an image with a filter corresponding to an image pickup plane position | |
| JP2013051599A5 (zh) | ||
| CN106170051B (zh) | 图像处理装置、图像拾取装置和图像处理方法 | |
| CN111010504B (zh) | 图像处理方法、装置和系统、摄像装置及存储介质 | |
| US20200167900A1 (en) | Method and Device for Image Correction | |
| CN114463196A (zh) | 一种基于深度学习的图像校正方法 | |
| JP2015115733A (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
| CN114648454B (zh) | 一种多传感器相机的图像校正方法及系统 | |
| KR100835058B1 (ko) | 피사계 심도 확장을 위한 이미지 처리 방법 | |
| JP2020201694A (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 | |
| JP6730423B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| Lluis-Gomez et al. | Chromatic aberration correction in RAW domain for image quality enhancement in image sensor processors | |
| CN117710250B (zh) | 一种消除纤维镜成像蜂窝状结构的方法 | |
| CN111968049B (zh) | 一种基于侧窗引导滤波的光场图像热像素点去除方法 | |
| CN112489134B (zh) | 面向运动估计的跨帧超高速相机设计方法及运动估计方法 | |
| JP2024022996A (ja) | 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |