CN114078093A - 一种图像校正方法、智能终端及存储介质 - Google Patents
一种图像校正方法、智能终端及存储介质 Download PDFInfo
- Publication number
- CN114078093A CN114078093A CN202010839569.2A CN202010839569A CN114078093A CN 114078093 A CN114078093 A CN 114078093A CN 202010839569 A CN202010839569 A CN 202010839569A CN 114078093 A CN114078093 A CN 114078093A
- Authority
- CN
- China
- Prior art keywords
- image
- correction
- target
- generate
- standard image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 238000003702 image correction Methods 0.000 title claims abstract description 53
- 238000012937 correction Methods 0.000 claims abstract description 205
- 239000011159 matrix material Substances 0.000 claims abstract description 162
- 230000009466 transformation Effects 0.000 claims abstract description 69
- 230000001131 transforming effect Effects 0.000 claims abstract description 20
- 238000013507 mapping Methods 0.000 claims description 80
- 238000012216 screening Methods 0.000 claims description 52
- 239000013598 vector Substances 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 23
- 238000000605 extraction Methods 0.000 claims description 13
- 230000000903 blocking effect Effects 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 12
- 230000009467 reduction Effects 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 6
- 238000005265 energy consumption Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000009966 trimming Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种图像校正方法、智能终端及存储介质，所述方法包括：获取待处理的图像，并生成标准图像，其中，所述标准图像包括参考标准图像和校正标准图像；分别提取所述参考标准图像和所述校正标准图像中的特征点并对应，生成特征点对集；根据所述特征点对集，计算所述参考标准图像与所述校正标准图像之间的对齐变换矩阵；根据所述对齐变换矩阵和所述对齐变换矩阵对应的图像切变矩阵，对所述校正标准图像进行变换，生成目标图像。本发明解决能够快速且精确地对位置或姿态改变的多目摄像头的采集的图像进行校正。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像校正方法、智能终端及存储介质。
背景技术
当下以手机为代表的智能终端的摄像机的发展方向是多摄像头，多摄像头拍摄的图像可以在光线等方面进行互相补充，以达到更好的拍摄效果。智能终端配备多摄像头主要是两种方式，一种是无支架摄像头模组，另一种是共支架或共基板的摄像头硬件配置方案。然而共支架或共基板在组装成本上过高，无支架方案逐渐成为双摄像头和多摄像头模组的首选硬件配置方案。所谓无支架摄像头模组是指独立安装的两颗或多颗摄像头模组。但是在日常使用过程中，可能会出现手机碰撞、跌落等意外，模组之间的相对位置和相对姿态都更容易会发生较大改变，配置信息也随之改变，这将直接后续的将多摄像头采集的图像进行校正的时候，无法针对原有的配置信息进行图像校正。
目前用于解决上述无支架问题的图像校正方法分为两种，一种是采用棋盘格重新标定摄像头模组，然后利用更新后的摄像头模组配置信息进行图像校正；另一种则利用自然场景图像随机采样匹配特征点实时计算摄像头模组配置信息，然后利用实时的配置信息进行图像校正。第一种方法成本高昂，人工操作复杂，无法实现自动化，且难以确定何时需要重新进行摄像头模组的标定。第二种方法虽然克服了第一种方法的这些问题，但由于采用自然场景估计得到的摄像头配置信息精度会大幅下降，且该方法实际图像校正结果稳定性不高。
发明内容
本发明的主要目的在于提供一种图像校正方法、智能终端及存储介质，旨在解决现有技术中对多摄像头采集的图像校正效果差问题。
为实现上述目的，本发明提供一种图像校正方法，所述图像校正方法包括如下步骤：
获取待处理的图像，并生成标准图像，其中，所述标准图像包括参考标准图像和校正标准图像；
分别提取所述参考标准图像和所述校正标准图像中的特征点并对应，生成特征点对集；
根据所述特征点对集，计算所述参考标准图像与所述校正标准图像之间的对齐变换矩阵；
根据所述对齐变换矩阵和所述对齐变换矩阵对应的图像切变矩阵，对所述校正标准图像进行变换，生成目标图像。
可选地，所述的图像校正方法，其中，所述获取待处理的图像，并生成标准图像，具体包括：
获取待处理的图像；
根据预设的矫正参数，对所述图像进行矫正处理，生成第一图像；
对所述第一图像进行降噪处理，生成第二图像；
对所述第二图像进行色彩处理，生成标准图像。
可选地，所述的图像校正方法，其中，所述矫正参数包括畸变系数和焦距，所述根据预设的矫正参数，对所述图像进行矫正处理，生成第一图像，具体包括：
根据所述畸变系数，对所述标准图像进行畸变矫正，生成第四图像；
根据所述焦距，对所述第四图像进行视场归一化处理，生成第一图像。
可选地，所述的图像校正方法，其中，所述分别提取所述参考标准图像和所述校正标准图像中的特征点并对应，生成特征点对集，具体包括：
根据预设分块规则，对所述参考标准图像和所述校正标准图像进行分块处理，分别得到参考分块和校正分块；
根据预设的特征提取规则，提取所述参考分块和所述参考标准图像中的参考初始特征点，以及所述校正分块和所述校正标准图像中的校正初始特征点；
计算各个所述参考初始特征点和对应的校正初始特征点之间的特征距离，并根据所述特征距离，将所述参考初始特征点和所述校正初始特征点进行对应，生成特征点对；
根据预设的筛选规则，对所述特征点对进行筛选，生成特征点对集。
可选地，所述的图像校正方法，其中，所述根据预设的筛选规则，对所述特征点对进行筛选，生成特征点对集，具体包括：
计算各个所述特征点对的空间斜率和空间距离；
根据所述空间距离和所述空间斜率，计算离散阈值，以及各个所述参考初始特征点和校正初始特征点对应的离散值；
判断各个所述离散值是否同时大于所述离散阈值；
若是，则将大于所述离散阈值的离散值对应的特征点对删除，生成特征点对集，其中，所述特征点对集包括由参考目标特征点和所述参考目标特征点对应的校正目标特征点组成的目标特征点对。
可选地，所述的图像校正方法，其中，所述根据所述特征点对集，计算所述参考标准图像与所述校正标准图像之间的对齐变换矩阵，具体包括：
计算所述参考目标特征点和所述校正目标特征点之间的初始映射参数；
根据预设的参数筛选规则，对所述初始映射参数进行筛选，生成目标映射参数；
将所述目标映射参数赋值至预设的空白矩阵中，生成对齐变换矩阵。
可选地，所述的图像校正方法，其中，所述计算所述参考目标特征点和所述校正目标特征点之间的初始映射参数，具体包括：
根据预设的理想焦距和预设的中点坐标，构建内参矩阵；
根据所述内参矩阵，对所述参考目标特征点和所述校正目标特征点的坐标进行归一化，分别生成参考归一化坐标和校正归一化坐标，其中，所述校正归一化坐标包括校正目标横坐标和校正目标纵坐标；
根据所述校正目标横坐标、所述校正目标纵坐标、预设的方程常数、第一综合项和第二综合项，创建输入矩阵，其中，所述第一综合项为所述校正目标横坐标与参考归一化坐标乘积的相反数，所述第二综合项为所述校正目标纵坐标与参考归一化坐标乘积的相反数；
根据预设的参数规则，计算所述输入矩阵对应的初始映射参数。
可选地，所述的图像校正方法，其中，所述根据预设的参数筛选规则，对所述初始映射参数进行筛选，生成目标映射参数，具体包括：
根据所述初始映射参数、所述输入矩阵和所述参考归一化坐标，创建所述特征点对集对应的线性方程；
计算所述线性方程的方程残差值，并判断所述方程残差值是否小于等于预设的残差阈值；
若所述述方程残差值小于等于所述残差阈值，则将所述初始映射参数作为目标映射参数。
可选地，所述的图像校正方法，其中，所述计算所述线性方程的方程残差值，并判断所述方程残差值是否小于等于预设的残差阈值之后，还包括：
若所述方程残差值大于所述残差阈值，则计算各个目标特征点对对应的个体残差值；
根据所述个体残差值，对所述目标特征点对从大到小排序，生成排序结果；
根据预设的筛选数值，将所述排序结果中依次删除与所述筛选数值相同数量的目标特征点对；
判断删除后的特征点对集中的目标特征点对的数量是否大于等于预设的特征点数量阈值；
若是，则根据删除后的特征点对集，重新计算对应的初始映射参数。
可选地，所述的图像校正方法，其中，所述根据所述对齐变换矩阵和对应的图像切变矩阵，对所述校正标准图像进行变换，生成目标图像，具体包括：
根据所述对齐变换矩阵，对各个所述校正分块的候选坐标进行变换，生成校正候选坐标；
根据预设的向量生成规则和所述校正候选坐标，计算所述校正图像对应的校正向量；
根据所述特征点对集和所述校正向量，计算对应的图像切变矩阵；
根据所述图像切变矩阵和所述对齐变换矩阵，对所述校正标准图像进行变换，生成目标图像。
可选地，所述的图像校正方法，其中，所述根据所述特征点对集和所述校正向量，计算对应的图像切变矩阵，具体包括：
根据所述校正向量，计算对应的初始切变矩阵；
计算所述目标特征点对的坐标偏移量，并判断各个所述坐标偏移量中的偏移最小值是否小于零；
若是，则根据所述偏移最小值，对所述初始切变矩阵进行校正，生成图像切变矩阵；
若否，则将所述初始切变矩阵作为图像切变矩阵。
可选地，所述的图像校正方法，其中，所述根据所述图像切变矩阵和所述对齐变换矩阵，对所述校正标准图像进行变换，生成目标图像，具体包括：
根据所述图像切变矩阵和所述对齐变换矩阵，对所述校正图像中的各个像素点进行坐标变换映射，生成映射图像；
选取所述参考标准图像与所述映射图像中尺寸相同的中心对称区域，并根据所述校正标准图像，对所述中心对称区域中的空白区域进行插值填充，得到目标图像。
此外，为实现上述目的，本发明还提供一种智能终端，其中，所述智能终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像校正程序，所述图像校正程序被所述处理器执行时实现如上所述的图像校正方法的步骤。
此外，为实现上述目的，本发明还提供一种存储介质，其中，所述存储介质存储有图像校正程序，所述图像校正程序被处理器执行时实现如上所述的图像校正方法的步骤。
首先对双目或多目视图基于各自相机内参分别进行相应的畸变矫正、归一化等标准化操作，然后对标准化后的参考标准图像和校对标准图像提取相应的特征点，以参考标准图像的特征点为匹配目标，对校对标准图像的特征点执行匹配，对匹配得到的所有特征点对进行筛选，进而得到高健壮性的特征点对，以这些特征点对的二维坐标作为训练集数据，采用改进后的最小二乘法求解各图像之间的对齐变换矩阵，最后利用得到上述对齐变换矩阵以及对应的图像切变矩阵，综合上述对齐变换矩阵以及图像切变矩阵，得到最终一体化的单一视图间的综合变换矩阵，利用综合变换矩阵对相应的校正标准图像施加坐标变换，插值得到与参考标准图像完全行对齐的目标图像。
上述过程中的难点在于：其一，采用高效的局部特征提取的特征点在匹配时易发生误匹配，当误匹配的特征点的点对比例较高时，得到的对齐变换矩阵将产生过大的误差影响后续应用；其二，采用基于一次性使用全部数据进行计算的最小二乘法会受到部分误匹配点对的影响从而造成较大的误差，但采用基于极少数点反复迭代进行计算的方法得到的结果稳定性差且迭代次数过多，导致在实际应用中往往耗时过长。而本方案通过多次筛选，提升特征点匹配的健壮性以及对齐变换矩阵的精度和稳定性，从而更为通用、计算高效且效果稳定，以满足无支架摄像头模组的多目图像校正的精度和可靠性要求。
附图说明
图1是本发明图像校正方法提供的实施例的简略流程图；
图2是本发明图像校正方法的较佳实施例中整个方法执行的流程图；
图3从左至右分别是本发明图像校正方法的较佳实施例中的参考标准图像和校正标准图像；
图4从左至右分别是本发明图像校正方法的较佳实施例中的参考标准图像和目标图像；
图5为本发明智能终端的较佳实施例的运行环境示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明较佳实施例所述的图像校正方法，如图1和图2所示，所述图像校正方法包括以下步骤：
步骤S100，获取待处理的图像，并生成标准图像，其中，所述标准图像包括参考标准图像和校正标准图像。
具体地，本实施例的执行主体为安装于智能终端上的图像校正软件。获取各个摄像头采集的图像，命名为Ik(k＝1,2,3，…，k与所述图像的数量相等)。对所述图像进行初始的矫正，归一化、色彩处理等，从而使不同摄像头采集的图像标准化，生成标准图像，可直接用于后续校正。本实施例中的标准图像包括所述图像中随机选取的一个作为参考标准图像，以及其他待校正的校正标准图像。
进一步地，步骤S100包括：
步骤S110，获取待处理的图像。
具体地，用户通过智能终端的多个摄像头采集图像并存储。所述图像校正软件直接获取所述待处理的图像。
步骤S120，根据预设的矫正参数，对所述图像进行矫正处理，生成第一图像。
具体地，摄像机本身在拍照的时候，由于光学畸变，会存在一定的畸形，因此首选需要通过出厂前的畸变系数等矫正参数，对所述图像进行矫正处理，生成所述第一图像。
进一步地，所述矫正参数包括畸变系数和焦距，步骤S120包括：
步骤S121，根据所述畸变系数，对所述标准图像进行畸变矫正，生成第四图像。
具体地，每一个摄像头已在出厂前完成标定工作，即具备各相机的内参数据，其中必须包括相机的焦距、主点坐标、相机镜头畸变模型以及对应的镜头畸变参数。对Ik应用畸变模型及对应镜头畸变参数进行图像畸变矫正得到第四图像
目的是去除由镜头的径向与切向等畸变导致的图像扭曲。
步骤S122，根据所述焦距，对所述第四图像进行视场归一化处理，生成第一图像。
具体地，对
应用焦距数据做视场归一化得到
目的是确保所有图像均处于同一像素尺度，即真实世界中的1毫米对应在任一
中的像素距离必须是一致的。
在生成第四图像之后，且进行降噪处理之前，可对所述第二图像进行视点中心归一化处理。对
应用主点坐标数据做视点中心归一化，目的是确保所有图像的视点处于像素平面的同一位置，这利于双目以及多目立体几何计算视差图或深度图，但对于后续不需要计算视差图或深度图，可不进行此操作。
步骤S130，对所述第一图像进行降噪处理，生成第二图像。
具体地，降噪是图像处理中常见的一步，主要是为了避免噪声干扰，可选的降噪处理方法有双边滤波，高斯滤波等等，本实施例采用半径为3，强度(Sigma)为2的高斯模糊处理得到
目的是对待处理图像进行降噪，避免噪声干扰后续特征点的提取，提高结果的稳定性。
步骤S140，对所述第二图像进行色彩处理，生成标准图像。
具体地，为便于后续对图像特征点的提取，需要对所述第二图像进行色彩处理，降低图像中各个像素点对应的RGB数值，灰度图是鲁棒性最高且计算时间复杂度最低的格式，本方案为达到最好的效果，根据灰度计算公式，将彩色的
转为灰度图像，生成标准图像
步骤S200，分别提取所述参考标准图像和所述校正标准图像中的特征点并对应，生成特征点对集。
具体地，所述参考标准图像和所述校正标准图像中的像素点非常多，如果所述校正标准图像中的每一个像素点都与所述参考标准图像中的像素点进行对应，则计算量非常大，且稳定性极差。因此本方案采用提取特征点的方式进行后续工作。所述特征点提取方法有ORB(Oriented FAST and Rotated BRIEF)特征点提取器等等，在此不一一描述。然后将提取到的特征点进行一一对应，生成特征点对集。
进一步地，步骤S200包括：
步骤S210，根据预设分块规则，对所述参考标准图像和所述校正标准图像进行分块处理，分别得到参考分块和校正分块。
具体地，对所述参考标准图像与所述校正标准图像进行分块处理，本实施例采用的分块规则是按照2x2的方式，将图像等分为四块，分别为左上角、右上角、左下角以及右下角。该分块规则成为网格划分，分块的目的一方面是为了能够并行处理网格中各块子图提升特征点提取的速度，另一方面是为了避免特征点过于集中在图像的某一区域，当特征点采样不均匀时，会导致后续计算得到的对齐变换矩阵误差过大甚至不具有可用性。其中，所述分块规则还包括3x3以及不同的分块形状等，本方案不作限定。
步骤S220，根据预设的特征提取规则，提取所述参考分块和所述参考标准图像中的参考初始特征点，以及所述校正分块和所述校正标准图像中的校正初始特征点。
具体地，特征点为各所述参考分块和所述校正分块中具有显著区分性的点，这些点具有独立于坐标的图形结构唯一性，这是后续执行特征点之间准确匹配的前置条件。在嵌入式设备等计算能力与能耗受限的计算设备上，采用的特征点提取规则是通过ORB特征点提取器提取，其具备效果优、低能耗以及稳定性好等优点。在其他计算能力与能耗充裕的计算设备上，采用的特征点提取规则是基于SIFT的特征点提取器提取，该方法具备目前已知稳定性最高的特征提取技术，但计算时间复杂度较高，能耗高，因此更适用于算力充裕且无严格能耗要求的计算设备。根据所述特征提取规则，从所述参考分块和所述参考标准图像中提取参考初始特征点，以及从所述校正分块和所述校正标准图像中提取校正初始特征点。提取特征点的同时，还能得到每个特征点对应的特征描述符，对于嵌入式设备，采用的特征描述方法为FAST特征提取器描述，而对于其他设备，采用的特征描述方法为SIFT特征提取器描述，将所有特征点的集合记为
其中，x和y为该特征点在参考标准图像或校正标准图像上的横坐标和纵坐标。提取所述参考标准图像和所述校正标准图像中的校正初始特征点是指将分块中提取的特征点进行融合。
步骤S230，计算各个所述参考初始特征点和对应的校正初始特征点之间的特征距离，并根据所述特征距离，将所述参考初始特征点和所述校正初始特征点进行对应，生成特征点对；
具体地，计算所述参考初始特征点和对应的校正初始特征点之间的特征距离和特征斜率，本实施例采用所述对各个所述参考初始特征点对应不同校正初始特征点的特征距离，对应的特征描述符，计算他们的特征距离。将特征距离最短对应校正初始特征点作为所述参考初始特征点所对应的校正初始特征点，从而将所述参考初始特征点和所述校正初始特征点对应，生成特征点对。
进一步地，在步骤S230之前，还包括：
判断所述特征描述符的数量是否大于预设的特征描述符数量阈值。
若是，则将所述参考初始特征点和所述校正初始特征点保留。
若否，则提示用户重新采集所述待处理的图像。
具体的，特征描述符集合为Dk，若集合Dk中元素的个数也即特征点的个数小于预设的特征描述符数量阈值，则表明校正失败，这种情形一般发生拍摄主体为白墙、天空、光滑的路面等无纹理对象时，此时由于无法得到足够多区分度较高的特征点，因此需要提示用户重新通过智能终端采集待处理的图像。本实施例采用的特征描述数量阈值为10，该数字为大量试验得到。
步骤S240，根据预设的筛选规则，对所述特征点对进行筛选，生成特征点对集。
具体地，采用不同的筛选规则，对所述特征点对进行筛选，以摄像模组横向排列为例，当所述校正标准图像排在所述参考标准图像的右侧时(以拍摄得到正向图像为基准，此时所述校正标准图像对应的摄像头处于所述参考标准图像对应的摄像头的右侧)，因此若所述特征点对中，所述参考初始特征点的横坐标大于对应的校正初始特征点的横坐标，则将这对特征点对删除，生成参考目标特征点、校正目标特征点，以及包含所述参考目标特征点和所述校正目标特征点的特征点对集。上述描述的筛选方式即图x中的二级筛选。
进一步地，步骤S240之前，还包括：
将所述特征点对集的特征距离中的最大值的一半作为特征距离阈值，并判断各个所述特征距离是否大于所述特征距离阈值。
若是，则将大于所述特征距离阈值的特征距离对应的特征点对集删除。
具体地，对所述特征点对集进行初级筛选。将所述特征点对集的特征距离排序，并将其中数值最大的特征距离的数值的一半作为特征距离阈值，并判断其他的特征距离是否大于所述特征距离阈值。若是，则说明该特征距离对应的特征点距离过远，因此将对应的参考初始特征点和校正初始特征点删除。
进一步地，步骤S240包括：
步骤S241，计算各个所述特征点对的空间斜率和空间距离；
具体地，本次筛选为图x中的三级筛选，空间距离为所述参考初始特征点和对应的校正初始特征点之间横坐标差值和纵坐标差值，用公式表示即
和
空间斜率是对应的特征点之间的斜率，用公式表示即atan(dy/dx)，其中，
为校正初始特征点的横坐标，
为所述参考初始特征点的横坐标，
为校正初始特征点的纵坐标，
为所述参考初始特征点的纵坐标，dx分别是所述参考初始特征点和对应的校正初始特征点之间横坐标差值，dy是所述参考初始特征点和对应的校正初始特征点之间纵坐标差值。
步骤S242，根据所述空间距离和所述空间斜率，计算对应的离散阈值，以及各个所述参考初始特征点和校正初始特征点对应的离散值。
具体地，分别计算3σdx、3σdy以及3σθ并将他们作为离散阈值，所述参考初始特征点和校正初始特征点对应的离散值的计算公式为为|dx-μdx|、|dy-μdy|和|θ-μθ|。其中，σdx为所有dx的标准差，σdy为所有dy的标准差，σθ为所有dθ的标准差。
步骤S243，判断各个所述离散值是否同时大于所述离散阈值。
具体的，判断参考初始特征点和校正初始特征点对应的离散值是否满足|dx-μdx|<3σdx、|dy-μdy|<3σdy以及|θ-μθ|<3σθ。
步骤S244，若是，则将大于所述离散阈值的离散值对应的参考初始特征点和校正初始特征点删除，生成特征点对集，其中，所述特征点对集包括由参考目标特征点和所述参考目标特征点对应的校正目标特征点组成的目标特征点对。
此外，本实施例中的初级筛选、二级筛选和三级筛选仅仅是筛选方式的一个概括性描述，可对初级筛选的部分细节进行不同情境下的适应性调整，例如删除某个筛选过程，从而达到不同的筛选效果。
步骤S300，根据所述特征点对集，计算所述参考标准图像与所述校正标准图像之间的对齐变换矩阵。
具体地，根据所述特征点对集，可将所述校正标准图像中的特征点作为输入值，所述参考标准图像中的特征点作为输出值，计算两者之间的变换对齐矩阵。
进一步地，步骤S300包括：
步骤S310，计算所述参考目标特征点和所述校正目标特征点之间的初始映射参数。
具体地，先根据预设的理想焦距和中点坐标，构建一个内参矩阵，然后根据所述内参矩阵，对所述特征点的坐标进行归一化，以便于后续计算所述参数目标特征点和所述校正目标特征点之间的初始映射参数。以归一化后的所述校正目标特征点的坐标为输入值，归一化后的所述参数目标特征点的坐标为输出值，可计算两者之间的初始映射参数。由于实际过程中，很难找到一个线性参数能够将所有图像上的像素进行准确的映射，因此本实施例中，为提高计算的初始映射参数的准确性，在输入值中还包括预设的方程常数，以及根据归一化后的所述校正目标特征点坐标和归一化后的所述参数目标特征点坐标的综合值。根据所述输入值和所述输出值，可构建一个线性方程，然后根据所述线性方程，可计算所述输入值和所述输出值之间的初始映射参数。
进一步地，步骤S310包括：
步骤S311，根据预设的理想焦距和预设的中点坐标，构建内参矩阵。
具体地，构建理想内参矩阵M，包含预设的理想焦距与中点坐标，中点坐标即其横坐标为所述图像的长度的一半，纵坐标为所述图像的宽度的一半。构建这样一个矩阵M是为了后续执行坐标归一化，确定以所述中心坐标为原点的像素空间，从而有利于进行图像变换的计算。其中，本实施例中的理想焦距为1。
步骤S312，根据所述内参矩阵，对所述参考目标特征点和所述校正目标特征点的坐标进行归一化，分别生成参考归一化坐标和校正归一化坐标，其中，所述校正归一化坐标包括校正目标横坐标和校正目标纵坐标。
具体地，根据所述内参矩阵，对上述筛选后的所述参考目标特征点和所述校正目标特征点的坐标进行归一化，由于归一化过程的原点为中点，因此得到的坐标数值在[-1,1]之间，且以图像中心左右上下均对称。归一化所述校正目标特征点，生成校正归一化坐标，包括校正目标横坐标u和校正目标纵坐标v。归一化所述参考目标特征点，生成参考归一化坐标，包括参考目标横坐标u1和校正目标纵坐标v1。
步骤S313，根据所述校正目标横坐标、所述校正目标纵坐标、预设的方程常数、第一综合项和第二综合项，创建输入矩阵，其中，所述第一综合项为所述校正目标横坐标与参考归一化坐标乘积的相反数，所述第二综合项为所述校正目标纵坐标与参考归一化坐标乘积的相反数。
具体地，根据投影几何原理，构建5个计算项，分别为所述校正目标横坐标u、所述校正目标纵坐标v、预设的方程常数、第一综合项和第二综合项，并将其构建五元线性矩阵，作为输入矩阵A。其中，所述第一综合项和所述第二综合项分别是u和v与所述参考归一化坐标的乘积的相反数。而参考归一化坐标也有参考目标横坐标和参考目标纵坐标，确定与所述校正归一化坐标相乘主要是依据所述参考标准图像和所述校正标准图像之间的对齐关系。
本实施例中，所述参考标准图像和所述校正标准图像的对齐关系有行对齐和列对齐两种。对齐关系的定义为对给定的任意一个真实世界中的一个点P，若其在所述参考标准图像中的像素坐标为
在所述校正参考图像中的像素坐标为
若必有
则为行对齐，若必有
则为列对齐。若所述参考标准图像和所述校正标准图像既不符合行对齐也不符合列对齐，则选择使两种图像能够重叠范围最大的对齐方式。
若所述参考标准图像与所述校正标准图像之间的对齐关系为行对齐，则所述第一综合项为-uv1，所述第二综合项为-vv1，其中v1为所述参考目标纵坐标，若为列对齐与此类似。确定不同的对齐能够使所述参考标准图像和所述校正标准图像重叠区域较大，从而减少后续计算量并保障所述校正标准图像校正后的图像效果。行对齐和列对齐本质上是对图像坐标中的x＝0和y＝0的线对齐，因此除本实施例采用的行对齐和列对齐，还可对所述图像中的某一条线对齐，在此不再一一陈述。
步骤S314，根据预设的参数规则，计算所述输入矩阵对应的初始映射参数。
具体地，计算输入矩阵A对应的自相关矩阵ATA和ATA对应的伪逆矩阵(ATA)-1。若(ATA)-1不存在，这表明匹配集合的特征点对存在诸多线性相关的情形导致实际的秩数低于线性矩阵的因变量数量5。但在经过大量试验，均未出现无法求解伪逆矩阵的情形，因此经过上述流程处理，(ATA)-1存在属于大概率事件。在根据参数规则中的参数计算公式计算初始映射参数β，公式为β＝(ATA)-1(ATY)。其中，Y为所述参考归一化坐标。
步骤S320，根据预设的参数筛选规则，对所述初始映射参数进行筛选，生成目标映射参数。
具体地，所述初始映射参数仅仅所述线性方程的一个可能的解，仅仅是针对特征点而言，而为了保证所述初始映射参数应用于所述校正标准图像中的所有像素点都能达到较好的效果，需要对其进行进一步筛选。本实施例中的参数筛选规则是依据基于所述初始映射参数的线性方程的方程残差值来判断，从而确定所述初始映射参数在各对特征点对之间的鲁棒性。此外，还可采用多重共线性，异方差等线性回归拟合度检测方法检测所述初始映射参数在各个特征点对之间的拟合效果，将拟合效果好的初始映射参数作为所述目标映射参数。
进一步地，步骤S320包括：
步骤S321，根据所述初始映射参数、所述输入矩阵和所述参考归一化坐标，创建所述特征点对集对应的线性方程。
具体地，将所述输入矩阵作为输入值，所述参考归一化坐标作为输出值，创建基于所述初始映射参数的五元线性方程。
步骤S322，计算所述线性方程的方程残差值，并判断所述方程残差值是否小于等于预设的残差阈值。
具体地，采用公式
计算所述线性方程的方程残差值，其中，A为所述输入矩阵，Y为所述参考归一化坐标，n为所述输入矩阵A对应的自相关矩阵ATA的维度。预设一个残差阈值δm，判断所述方程残差值δ是否满足δ≤δm。
进一步地，步骤S322之后，还包括：
若所述方程残差值大于所述残差阈值，则计算各个目标特征点对对应的个体残差值。
根据所述个体残差值，对所述目标特征点对从大到小排序，生成排序结果。
根据预设的筛选数值，将所述排序结果中依次删除与所述筛选数值相同数量的目标特征点对。
判断删除后的特征点对集中的特征点对的数量是否大于等于预设的特征点数量阈值。
若是，则根据删除后的特征点对集，重新计算对应的初始映射参数。
具体地，若所述方程残差值大于所述残差阈值，则计算各个目标特征点对对应的个体残差值，本实施例采用的公式为|xβ-y|，其中，x为根据某一目标特征点对中的校正目标特征点构建的所述输入矩阵，y为与x来源于同一目标特征点对的参考目标特征点对应的述参考归一化坐标，β为所述初始映射参数。得到各个特征点的个体残差值后，根据所述个体残差值的大小，对所述特征点对从大到小排序，生成排序结果。然后根据预设的筛选数值，将所述排序结果中删除部分目标特征点对。本实施例采用的筛选数值5，所述筛选数值的设定根据用户自身需求设定。然后将所述排序结果中个体残差值最大的5个特征点对删除。重新统计当前特征点对集中的目标特征点对的数目，若低于预设的特征点数量阈值5(求解五元线性方程组的最低方程个数)，则表明参数β后续会求解失败，这种情形发生的唯一可能场景是拍摄天空、白墙以及其他无明显纹理的场景。因此，可提示用户重新采集图像。若大于等于5，则说明β可求解成功，因此根据删除与筛选数值相同的目标特征点对后的特征点对集，重新计算对应的初始映射参数，直至得到的初始映射参数能够满足对应的方程残差值小于等于残差阈值。
步骤S323，若所述述方程残差值小于等于所述残差阈值，则将所述初始映射参数作为目标映射参数。
步骤S330，将所述目标映射参数赋值至预设的空白矩阵中，生成对齐变换矩阵。
具体地，根据上述步骤，最终得到迭代收敛后的目标映射参数，由于方程是五元线性方程，因此目标映射参数可写为五元向量β＝(β1,β2,β3,β4,β5)，然后将β赋值至预设的空白向量中，生成对齐变换矩阵，公式为：
步骤S400，根据所述对齐变换矩阵和所述对齐变换矩阵对应的图像切变矩阵，对所述校正标准图像进行变换，生成目标图像。
具体地，根据所述对齐变换矩阵对所述校正标准图像的候选坐标进行变换，然后根据变换后的候选坐标生成校正向量，将所述校正向量代入预设的空白矩阵中，生成图像切变矩阵。然后融合所述对齐变换矩阵和所述图像切变矩阵，对所述校正标准图像进行变换，生成目标图像。
进一步地，步骤S400包括：
步骤S410，根据所述对齐变换矩阵，对各个所述校正分块的候选坐标进行变换，生成校正候选坐标。
具体地，根据所述对齐变换矩阵T，对所述校正标准图像的校正分块上、右、下、左四的4个候选坐标进行对齐变换，得到变换后的相应坐标，记为C1,C2,C3,C4，对应上、右、下、左四个校正分块的校正候选坐标。本实施例次啊用的候选坐标为各个校正方块的中点。
步骤S420，根据预设的向量生成规则和所述校正候选坐标，计算所述校正图像对应的校正向量。
具体地，所述向量生成规则主要是基于将所述校正标准图像上所有的像素坐标能够以向量的形式表示，即生成的校正向量之间存在交叉，本实施例中由于所述校正分块分别为应上、右、下、左，因此采用的向量生成规则为m＝C2-C4；n＝C1-C3，其中，m和n即为校正向量。
步骤S430，根据所述特征点对集和所述校正向量，计算对应的图像切变矩阵。
具体地，预设一个空白的切变矩阵，然后将所述校正向量填入所述空白的切边矩阵中，从而得到初始切边矩阵。然后根据所述特征点对集中各个特征点对的坐标偏移量，对所述切边矩阵进行矫正，从而得到图像切变矩阵。
进一步地，步骤S430包括：
步骤S431，根据所述校正向量，计算对应的初始切变矩阵。
具体地，生成所述校正向量m和n后，将所述校正向量按照下列公式计算初始切变矩阵:
其中，m和n为所述校正向量，h为所述校正标准图像的高度，w为所述校正标准图像的宽度，单位为像素。
步骤S432，计算所述目标特征点对的坐标偏移量，并判断各个所述坐标偏移量中的偏移最小值是否小于零。
具体地，由于本实施例采用的是行对齐，因此计算所述特征点对集中的目标特征点对的横坐标偏移量，若为列对齐，则为纵坐标偏移量。并统计所述横坐标偏移量的最小值Δmmin，并判断其是否小于零。
步骤S433，若是，则根据所述偏移最小值，对所述初始切变矩阵进行校正，生成图像切变矩阵。
具体地，若是，则根据以下公式，对所述初始切变矩阵进行校正，生成图像切变矩阵：
其中，m和n为所述校正向量，h为所述校正标准图像的高度，w为所述校正标准图像的宽度，Δmmin为所述坐标偏移量的最小值，单位为像素。
步骤S433，若否，则将所述初始切变矩阵作为图像切变矩阵。
步骤S440，根据所述图像切变矩阵和所述对齐变换矩阵，对所述校正标准图像进行变换，生成目标图像。
进一步地，步骤S440包括：
步骤S441，根据所述图像切变矩阵和所述对齐变换矩阵，对所述校正图像中的各个像素点进行坐标变换映射，生成映射图像。
具体地，融合所述图像切变矩阵和所述对齐变换矩阵，得到综合变换矩阵
其中，各个所述校正标准图像都有其对应的综合变换矩阵
采用所述综合变换矩阵
对所述校正标准图像中的各个像素进行坐标变换映射，生成映射图像。
步骤S442，选取所述参考标准图像与所述映射图像中尺寸相同的中心对称区域，并根据所述校正标准图像，对所述中心对称区域中的空白区域进行插值填充，得到目标图像。
具体地，在所述映射图像中截取长宽与所述参考标准图像相同的中心对称区域。由于对图像进行扭曲映射必然会存在一部分的区域空白，因此本实施例以所述校正标准图像中存在的像素，对这部分空白区域进行插值填充，在嵌入式设备中本实施例采用的插值方法为双线性插值，在算力充裕设备中采用的插值方法为立方体插值。
进一步地，下表中给出的是在Alcatel Venice手机上采用本发明实现的程序在对640x480分辨率后置双摄像头采集图像进行图像校正的实验示例。
如图3所示，图3从左至右分别是所述参考标准图像和所述校正标准图像，图4从左至右分别是所述参考标准图像和所述目标图像；如图3和4显示了本实施例的图像校正方法的处理结果。上表显示了本发明提出的无支架摄像头模组图像校正方法在嵌入式设备(如手机)上的实测情况。其结果表明，本方案能得稳定的得到精确的校正结果，且在弱算力低功耗的嵌入式设备上亦可具有高效的处理速度。本方法能提升无支架安装的手机双摄像头或多摄像头模组的图像校正的精度以及稳定性，能为诸如双目深度估计、图像超分辨率、暗光拍摄增强、全景拼接等各种下游应用。
进一步地，如图5所示，基于上述图像校正方法，本发明还相应提供了一种智能终端，所述智能终端包括处理器10、存储器20及显示器30。图5仅示出了智能终端的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述智能终端的内部存储单元，例如智能终端的硬盘或内存。所述存储器20在另一些实施例中也可以是所述智能终端的外部存储设备，例如所述智能终端上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器20还可以既包括所述智能终端的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述智能终端的应用软件及各类数据，例如所述安装智能终端的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有图像校正程序40，该图像校正程序40可被处理器10所执行，从而实现本申请中图像校正方法。
所述处理器10在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述图像校正方法等。
所述显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。所述显示器30用于显示在所述智能终端的信息以及用于显示可视化的用户界面。所述智能终端的部件10-30通过系统总线相互通信。
在一实施例中，当处理器10执行所述存储器20中图像校正程序40时实现以下步骤：
获取待处理的图像，并生成标准图像，其中，所述标准图像包括参考标准图像和校正标准图像；
分别提取所述参考标准图像和所述校正标准图像中的特征点并对应，生成特征点对集；
根据所述特征点对集，计算所述参考标准图像与所述校正标准图像之间的对齐变换矩阵；
根据所述对齐变换矩阵和所述对齐变换矩阵对应的图像切变矩阵，对所述校正标准图像进行变换，生成目标图像。
其中，所述获取待处理的图像，并生成标准图像，其中，所述标准图像包括参考标准图像和校正标准图像，具体包括：
获取待处理的图像；
根据预设的矫正参数，对所述图像进行矫正处理，生成第一图像；
对所述第一图像进行降噪处理，生成第二图像；
对所述第二图像进行色彩处理，生成标准图像。
其中，所述矫正参数包括畸变系数和焦距，所述根据预设的矫正参数，对所述图像进行矫正处理，生成第一图像，具体包括：
根据所述畸变系数，对所述标准图像进行畸变矫正，生成第四图像；
根据所述焦距，对所述第四图像进行视场归一化处理，生成第一图像。
其中，所述分别提取所述参考标准图像和所述校正标准图像中的特征点并对应，生成特征点对集，具体包括：
根据预设分块规则，对所述参考标准图像和所述校正标准图像进行分块处理，分别得到参考分块和校正分块；
根据预设的特征提取规则，提取所述参考分块和所述参考标准图像中的参考初始特征点，以及所述校正分块和所述校正标准图像中的校正初始特征点；
计算各个所述参考初始特征点和对应的校正初始特征点之间的特征距离，并根据所述特征距离，将所述参考初始特征点和所述校正初始特征点进行对应，生成特征点对；
根据预设的筛选规则，对所述特征点对进行筛选，生成特征点对集。
其中，所述根据预设的筛选规则，对所述特征点对进行筛选，生成特征点对集，具体包括：
计算各个所述特征点对的空间斜率和空间距离；
根据所述空间距离和所述空间斜率，计算离散阈值，以及各个所述参考初始特征点和校正初始特征点对应的离散值；
判断各个所述离散值是否同时大于所述离散阈值；
若是，则将大于所述离散阈值的离散值对应的特征点对删除，生成特征点对集，其中所述特征点对集包括由参考目标特征点和所述参考目标特征点对应的校正目标特征点组成的目标特征点对。
其中，所述根据所述特征点对集，计算所述参考标准图像与所述校正标准图像之间的对齐变换矩阵，具体包括：
计算所述参考目标特征点和所述校正目标特征点之间的初始映射参数；
根据预设的参数筛选规则，对所述初始映射参数进行筛选，生成目标映射参数；
将所述目标映射参数赋值至预设的空白矩阵中，生成对齐变换矩阵。
其中，所述计算所述参考目标特征点和所述校正目标特征点之间的初始映射参数，具体包括：
根据预设的理想焦距和预设的中点坐标，构建内参矩阵；
根据所述内参矩阵，对所述参考目标特征点和所述校正目标特征点的坐标进行归一化，分别生成参考归一化坐标和校正归一化坐标，其中，所述校正归一化坐标包括校正目标横坐标和校正目标纵坐标；
根据所述校正目标横坐标、所述校正目标纵坐标、预设的方程常数、第一综合项和第二综合项，创建输入矩阵，其中，所述第一综合项为所述校正目标横坐标与参考归一化坐标乘积的相反数，所述第二综合项为所述校正目标纵坐标与参考归一化坐标乘积的相反数；
根据预设的参数规则，计算所述输入矩阵对应的初始映射参数。
其中，所述根据预设的参数筛选规则，对所述初始映射参数进行筛选，生成目标映射参数，具体包括：
根据所述初始映射参数、所述输入矩阵和所述参考归一化坐标，创建所述特征点对集对应的线性方程；
计算所述线性方程的方程残差值，并判断所述方程残差值是否小于等于预设的残差阈值；
若所述述方程残差值小于等于所述残差阈值，则将所述初始映射参数作为目标映射参数。
其中，所述计算所述线性方程的方程残差值，并判断所述方程残差值是否小于等于预设的残差阈值之后，还包括：
若所述方程残差值大于所述残差阈值，则计算各个目标特征点对对应的个体残差值；
根据所述个体残差值，对所述目标特征点对从大到小排序，生成排序结果；
根据预设的筛选数值，将所述排序结果中依次删除与所述筛选数值相同数量的目标特征点对；
判断删除后的特征点对集中的目标特征点对的数量是否大于等于预设的特征点数量阈值；
若是，则根据删除后的特征点对集，重新计算对应的初始映射参数。
其中，所述根据所述对齐变换矩阵和对应的图像切变矩阵，对所述校正标准图像进行变换，生成目标图像，具体包括：
根据所述对齐变换矩阵，对各个所述校正分块的候选坐标进行变换，生成校正候选坐标；
根据预设的向量生成规则和所述校正候选坐标，计算所述校正图像对应的校正向量；
根据所述特征点对集和所述校正向量，计算对应的图像切变矩阵；
根据所述图像切变矩阵和所述对齐变换矩阵，对所述校正标准图像进行变换，生成目标图像。
其中，所述根据所述特征点对集和所述校正向量，计算对应的图像切变矩阵，具体包括：
根据所述校正向量，计算对应的初始切变矩阵；
计算所述目标特征点对的坐标偏移量，并判断各个所述坐标偏移量中的偏移最小值是否小于零；
若是，则根据所述偏移最小值，对所述初始切变矩阵进行校正，生成图像切变矩阵；
若否，则将所述初始切变矩阵作为图像切变矩阵。
其中，所述根据所述图像切变矩阵和所述对齐变换矩阵，对所述校正标准图像进行变换，生成目标图像，具体包括：
根据所述图像切变矩阵和所述对齐变换矩阵，对所述校正图像中的各个像素点进行坐标变换映射，生成映射图像；
选取所述参考标准图像与所述映射图像中尺寸相同的中心对称区域，并根据所述校正标准图像，对所述中心对称区域中的空白区域进行插值填充，得到目标图像。
本发明还提供一种存储介质，其中，所述存储介质存储有图像校正程序，所述图像校正程序被处理器执行时实现如上所述的图像校正方法的步骤。
综上所述，本发明提供一种图像校正方法、智能终端及存储介质，所述方法包括：获取待处理的图像，并生成标准图像，其中，所述标准图像包括参考标准图像和校正标准图像；分别提取所述参考标准图像和所述校正标准图像中的特征点并对应，生成特征点对集；根据所述特征点对集，计算所述参考标准图像与所述校正标准图像之间的对齐变换矩阵；根据所述对齐变换矩阵和所述对齐变换矩阵对应的图像切变矩阵，对所述校正标准图像进行变换，生成目标图像。本发明解决能够快速且精确地对位置或姿态改变的多目摄像头的采集的图像进行校正。
当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件(如处理器，控制器等)来完成，所述的程序可存储于一计算机可读取的存储介质中，所述程序在执行时可包括如上述各方法实施例的流程。其中所述的存储介质可为存储器、磁碟、光盘等。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (14)
1.一种图像校正方法，其特征在于，所述图像校正方法包括：
获取待处理的图像，并生成标准图像，其中，所述标准图像包括参考标准图像和校正标准图像；
分别提取所述参考标准图像和所述校正标准图像中的特征点并对应，生成特征点对集；
根据所述特征点对集，计算所述参考标准图像与所述校正标准图像之间的对齐变换矩阵；
根据所述对齐变换矩阵和所述对齐变换矩阵对应的图像切变矩阵，对所述校正标准图像进行变换，生成目标图像。
2.根据权利要求1所述的图像校正方法，其特征在于，所述获取待处理的图像，并生成标准图像，具体包括：
获取待处理的图像；
根据预设的矫正参数，对所述图像进行矫正处理，生成第一图像；
对所述第一图像进行降噪处理，生成第二图像；
对所述第二图像进行色彩处理，生成标准图像。
3.根据权利要求2所述的图像校正方法，其特征在于，所述矫正参数包括畸变系数和焦距，所述根据预设的矫正参数，对所述图像进行矫正处理，生成第一图像，具体包括：
根据所述畸变系数，对所述标准图像进行畸变矫正，生成第四图像；
根据所述焦距，对所述第四图像进行视场归一化处理，生成第一图像。
4.根据权利要求1所述的图像校正方法，其特征在于，所述分别提取所述参考标准图像和所述校正标准图像中的特征点并对应，生成特征点对集，具体包括：
根据预设分块规则，对所述参考标准图像和所述校正标准图像进行分块处理，分别得到参考分块和校正分块；
根据预设的特征提取规则，提取所述参考分块和所述参考标准图像中的参考初始特征点，以及所述校正分块和所述校正标准图像中的校正初始特征点；
计算各个所述参考初始特征点和对应的校正初始特征点之间的特征距离，并根据所述特征距离，将所述参考初始特征点和所述校正初始特征点进行对应，生成特征点对；
根据预设的筛选规则，对所述特征点对进行筛选，生成特征点对集。
5.根据权利要求4所述的图像校正方法，其特征在于，所述根据预设的筛选规则，对所述特征点对进行筛选，生成特征点对集，具体包括：
计算各个所述特征点对的空间斜率和空间距离；
根据所述空间距离和所述空间斜率，计算离散阈值，以及各个所述参考初始特征点和校正初始特征点对应的离散值；
判断各个所述离散值是否同时大于所述离散阈值；
若是，则将大于所述离散阈值的离散值对应的特征点对删除，生成特征点对集，其中，所述特征点对集包括由参考目标特征点和所述参考目标特征点对应的校正目标特征点组成的目标特征点对。
6.根据权利要求5所述的图像校正方法，其特征在于，所述根据所述特征点对集，计算所述参考标准图像与所述校正标准图像之间的对齐变换矩阵，具体包括：
计算所述参考目标特征点和所述校正目标特征点之间的初始映射参数；
根据预设的参数筛选规则，对所述初始映射参数进行筛选，生成目标映射参数；
将所述目标映射参数赋值至预设的空白矩阵中，生成对齐变换矩阵。
7.根据权利要求6所述的图像校正方法，其特征在于，所述计算所述参考目标特征点和所述校正目标特征点之间的初始映射参数计算所述参考目标特征点和所述校正目标特征点之间的初始映射参数，具体包括：
根据预设的理想焦距和预设的中点坐标，构建内参矩阵；
根据所述内参矩阵，对所述参考目标特征点和所述校正目标特征点的坐标进行归一化，分别生成参考归一化坐标和校正归一化坐标，其中，所述校正归一化坐标包括校正目标横坐标和校正目标纵坐标；
根据所述校正目标横坐标、所述校正目标纵坐标、预设的方程常数、第一综合项和第二综合项，创建输入矩阵，其中，所述第一综合项为所述校正目标横坐标与参考归一化坐标乘积的相反数，所述第二综合项为所述校正目标纵坐标与参考归一化坐标乘积的相反数；
根据预设的参数规则，计算所述输入矩阵对应的初始映射参数。
8.根据权利要求7所述的图像校正方法，其特征在于，所述根据预设的参数筛选规则，对所述初始映射参数进行筛选，生成目标映射参数，具体包括：
根据所述初始映射参数、所述输入矩阵和所述参考归一化坐标，创建所述特征点对集对应的线性方程；
计算所述线性方程的方程残差值，并判断所述方程残差值是否小于等于预设的残差阈值；
若所述述方程残差值小于等于所述残差阈值，则将所述初始映射参数作为目标映射参数。
9.根据权利要求8所述的图像校正方法，其特征在于，所述计算所述线性方程的方程残差值，并判断所述方程残差值是否小于等于预设的残差阈值之后，还包括：
若所述方程残差值大于所述残差阈值，则计算各个目标特征点对对应的个体残差值；
根据所述个体残差值，对所述目标特征点对从大到小排序，生成排序结果；
根据预设的筛选数值，将所述排序结果中依次删除与所述筛选数值相同数量的目标特征点对；
判断删除后的特征点对集中的目标特征点对的数量是否大于等于预设的特征点数量阈值；
若是，则根据删除后的特征点对集，重新计算对应的初始映射参数。
10.根据权利要求4-9中任一项所述的图像校正方法，其特征在于，所述根据所述对齐变换矩阵和对应的图像切变矩阵，对所述校正标准图像进行变换，生成目标图像，具体包括：
根据所述对齐变换矩阵，对各个所述校正分块的候选坐标进行变换，生成校正候选坐标；
根据预设的向量生成规则和所述校正候选坐标，计算所述校正图像对应的校正向量；
根据所述特征点对集和所述校正向量，计算对应的图像切变矩阵；
根据所述图像切变矩阵和所述对齐变换矩阵，对所述校正标准图像进行变换，生成目标图像。
11.根据权利要求10所述的图像校正方法，其特征在于，所述根据所述特征点对集和所述校正向量，计算对应的图像切变矩阵，具体包括：
根据所述校正向量，计算对应的初始切变矩阵；
计算所述目标特征点对的坐标偏移量，并判断各个所述坐标偏移量中的偏移最小值是否小于零；
若是，则根据所述偏移最小值，对所述初始切变矩阵进行校正，生成图像切变矩阵；
若否，则将所述初始切变矩阵作为图像切变矩阵。
12.根据权利要求10所述的图像校正方法，其特征在于，所述根据所述图像切变矩阵和所述对齐变换矩阵，对所述校正标准图像进行变换，生成目标图像，具体包括：
根据所述图像切变矩阵和所述对齐变换矩阵，对所述校正图像中的各个像素点进行坐标变换映射，生成映射图像；
选取所述参考标准图像与所述映射图像中尺寸相同的中心对称区域，并根据所述校正标准图像，对所述中心对称区域中的空白区域进行插值填充，得到目标图像。
13.一种智能终端，其特征在于，所述智能终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像校正程序，所述图像校正程序被所述处理器执行时实现如权利要求1-12任一项所述的图像校正方法的步骤。
14.一种存储介质，其特征在于，所述存储介质存储有图像校正程序，所述图像校正程序被处理器执行时实现如权利要求1-12任一项所述的图像校正方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010839569.2A CN114078093A (zh) | 2020-08-19 | 2020-08-19 | 一种图像校正方法、智能终端及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010839569.2A CN114078093A (zh) | 2020-08-19 | 2020-08-19 | 一种图像校正方法、智能终端及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114078093A true CN114078093A (zh) | 2022-02-22 |
Family
ID=80281852
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010839569.2A Pending CN114078093A (zh) | 2020-08-19 | 2020-08-19 | 一种图像校正方法、智能终端及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114078093A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114913088A (zh) * | 2022-05-10 | 2022-08-16 | 宁波力显智能科技有限公司 | 显微成像的多通道对齐方法、装置和计算机设备 |
| CN115100049A (zh) * | 2022-06-14 | 2022-09-23 | 广东源兴诡谷子光学智能科技有限公司 | 一种用于拼接图像畸变校正的图像校正方法和装置 |
| CN115118945A (zh) * | 2022-06-27 | 2022-09-27 | 南昌华勤电子科技有限公司 | 一种摄像模组的色彩校正方法及装置 |
| CN115760856A (zh) * | 2023-01-10 | 2023-03-07 | 惟众信(湖北)科技有限公司 | 一种基于图像识别的零件间距测量方法、系统和存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110013021A1 (en) * | 2008-03-19 | 2011-01-20 | Sanyo Electric Co., Ltd. | Image processing device and method, driving support system, and vehicle |
| US20150350509A1 (en) * | 2014-05-30 | 2015-12-03 | Apple Inc. | Scene Motion Correction In Fused Image Systems |
| CN108171744A (zh) * | 2017-12-26 | 2018-06-15 | 努比亚技术有限公司 | 一种双目虚化中视差图的确定方法、移动终端及存储介质 |
| CN108305281A (zh) * | 2018-02-09 | 2018-07-20 | 深圳市商汤科技有限公司 | 图像的校准方法、装置、存储介质、程序产品和电子设备 |
| WO2018214365A1 (zh) * | 2017-05-26 | 2018-11-29 | 广州视源电子科技股份有限公司 | 图像校正方法、装置、设备、系统及摄像设备和显示设备 |
| CN110070610A (zh) * | 2019-04-17 | 2019-07-30 | 精伦电子股份有限公司 | 特征点匹配方法、三维重构过程的特征点匹配方法及装置 |
-
2020
- 2020-08-19 CN CN202010839569.2A patent/CN114078093A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110013021A1 (en) * | 2008-03-19 | 2011-01-20 | Sanyo Electric Co., Ltd. | Image processing device and method, driving support system, and vehicle |
| US20150350509A1 (en) * | 2014-05-30 | 2015-12-03 | Apple Inc. | Scene Motion Correction In Fused Image Systems |
| WO2018214365A1 (zh) * | 2017-05-26 | 2018-11-29 | 广州视源电子科技股份有限公司 | 图像校正方法、装置、设备、系统及摄像设备和显示设备 |
| CN108171744A (zh) * | 2017-12-26 | 2018-06-15 | 努比亚技术有限公司 | 一种双目虚化中视差图的确定方法、移动终端及存储介质 |
| CN108305281A (zh) * | 2018-02-09 | 2018-07-20 | 深圳市商汤科技有限公司 | 图像的校准方法、装置、存储介质、程序产品和电子设备 |
| CN110070610A (zh) * | 2019-04-17 | 2019-07-30 | 精伦电子股份有限公司 | 特征点匹配方法、三维重构过程的特征点匹配方法及装置 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114913088A (zh) * | 2022-05-10 | 2022-08-16 | 宁波力显智能科技有限公司 | 显微成像的多通道对齐方法、装置和计算机设备 |
| CN115100049A (zh) * | 2022-06-14 | 2022-09-23 | 广东源兴诡谷子光学智能科技有限公司 | 一种用于拼接图像畸变校正的图像校正方法和装置 |
| CN115118945A (zh) * | 2022-06-27 | 2022-09-27 | 南昌华勤电子科技有限公司 | 一种摄像模组的色彩校正方法及装置 |
| CN115760856A (zh) * | 2023-01-10 | 2023-03-07 | 惟众信(湖北)科技有限公司 | 一种基于图像识别的零件间距测量方法、系统和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110568447B (zh) | 视觉定位的方法、装置及计算机可读介质 | |
| CN114078093A (zh) | 一种图像校正方法、智能终端及存储介质 | |
| CN110264416B (zh) | 稀疏点云分割方法及装置 | |
| JP6902122B2 (ja) | ダブル視野角画像較正および画像処理方法、装置、記憶媒体ならびに電子機器 | |
| EP3020023B1 (en) | Systems and methods for producing a three-dimensional face model | |
| US8755630B2 (en) | Object pose recognition apparatus and object pose recognition method using the same | |
| US20120194652A1 (en) | Image processing apparatus and method, and program | |
| CN110895822B (zh) | 深度数据处理系统的操作方法 | |
| CN109525786B (zh) | 视频处理方法、装置、终端设备及存储介质 | |
| CN113052907B (zh) | 一种动态环境移动机器人的定位方法 | |
| CN110738703A (zh) | 定位方法及装置、终端、存储介质 | |
| CN106952247A (zh) | 一种双摄像头终端及其图像处理方法和系统 | |
| CN114494582B (zh) | 一种基于视觉感知的三维模型动态更新方法 | |
| KR20170025214A (ko) | 다시점 깊이맵 생성 방법 | |
| CN116894907B (zh) | 一种rgbd相机纹理贴图优化方法及系统 | |
| CN117152330A (zh) | 一种基于深度学习的点云3d模型贴图方法和装置 | |
| CN116385561A (zh) | 一种摄像头与激光雷达标定方法 | |
| CN113808185B (zh) | 图像深度恢复方法、电子设备及存储介质 | |
| CN116704112A (zh) | 一种用于对象重建的3d扫描系统 | |
| CN115834860A (zh) | 背景虚化方法、装置、设备、存储介质和程序产品 | |
| CN115546314A (zh) | 传感器外参校准方法和装置、设备及存储介质 | |
| KR20200057929A (ko) | 캘리브레이트된 카메라들에 의해 캡쳐된 스테레오 영상들의 렉티피케이션 방법과 컴퓨터 프로그램 | |
| Choi et al. | Implementation of Real‐Time Post‐Processing for High‐Quality Stereo Vision | |
| CN107194931A (zh) | 一种基于双目图像匹配获取目标深度信息的方法和系统 | |
| CN113421292A (zh) | 一种三维建模细节增强方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |