CN107154027B - 一种畸变图像复原的补偿方法及装置 - Google Patents

一种畸变图像复原的补偿方法及装置 Download PDF

Info

Publication number
CN107154027B
CN107154027B CN201710248718.6A CN201710248718A CN107154027B CN 107154027 B CN107154027 B CN 107154027B CN 201710248718 A CN201710248718 A CN 201710248718A CN 107154027 B CN107154027 B CN 107154027B
Authority
CN
China
Prior art keywords
image
training
image blocks
corrected
category
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710248718.6A
Other languages
English (en)
Other versions
CN107154027A (zh
Inventor
洪国伟
苏美
江健民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201710248718.6A priority Critical patent/CN107154027B/zh
Publication of CN107154027A publication Critical patent/CN107154027A/zh
Application granted granted Critical
Publication of CN107154027B publication Critical patent/CN107154027B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G06T3/04—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Abstract

本发明适用计算机技术领域，提供了一种畸变图像复原的补偿方法及装置，所述方法包括：接收畸变图像畸变校正后的校正图像，将校正图像分割为校正图像块，根据训练好的质心对所有校正图像块进行内容分类，并根据训练好的内容过滤器对内容分类后的校正图像进行补偿，生成对应的第一图像块，对所有第一图像块进行空间分类，并根据训练好的空间滤波器对空间分类后的第一图像块进行补偿，生成对应的第二图像块，将所有第二图像块组合生成畸变图像对应的校正复原图像，从而结合内容滤波器和空间滤波器对畸变校正图像进行两次补偿，有效地对畸变过程和校正过程的图像质量损失进行补偿，有效地提高了畸变图像校正复原后的图像清晰度。

Description

一种畸变图像复原的补偿方法及装置
技术领域
本发明属于计算机技术领域，尤其涉及一种畸变图像复原的补偿方法及装置。
背景技术
广角镜头拍摄的广角图像虽然存在较为明显的畸变(例如桶形畸变和枕形畸变)，却具有宽广的视角，将畸变校正后的广角图像通过图像拼接技术用于虚拟现实应用中，可以大大地降低图像拼接的工作量。然而，畸变图像通过畸变校正进行复原的过程中存在较大的图像质量损失，包括广角镜头成像时畸变过程中的图像质量损失和畸变图像进行畸变校正时的图像质量损失。
目前，有两类方法可以提高畸变图像复原后的图像质量，第一类采用较复杂的相机畸变模型和较为精准的相机校正方法来降低畸变图像进行畸变校正时的图像质量损失，而忽略了广角镜头成像时畸变过程中的图像质量损失，第二类为提高广角镜头所拍摄图像的分辨率的超分辨率方法，该方法直接提高图像分辨率，并未考虑到畸变图像复原过程的图像质量损失。
发明内容
本发明的目的在于提供一种畸变图像复原的补偿方法及装置，旨在解决现有技术中的畸变图像复原后图像质量损失较大、图像清晰度较低的问题。
一方面，本发明提供了一种畸变图像复原的补偿方法，所述方法包括下述步骤：
接收畸变图像畸变校正后的校正图像，将所述校正图像分割为校正图像块；
根据训练好的质心对所有校正图像块进行内容分类，并根据训练好的内容滤波器对内容分类后的校正图像块进行补偿，生成对应的第一图像块；
对所有第一图像块进行空间分类，并根据训练好的空间滤波器对空间分类后的第一图像块进行补偿，生成对应的第二图像块；
将所有第二图像块组合生成所述畸变图像对应的校正复原图像。
另一方面，本发明提供了一种畸变图像复原的补偿装置，所述装置包括：
图像分割模块，用于接收畸变图像畸变校正后的校正图像，将所述校正图像分割为校正图像块；
初次补偿模块，用于根据训练好的质心对所有校正图像块进行内容分类，并根据训练好的内容滤波器对内容分类后的校正图像块进行补偿，生成对应的第一图像块；
再次补偿模块，用于对所有第一图像块进行空间分类，并根据训练好的空间滤波器对空间分类后的第一图像块进行补偿，生成对应的第二图像块；以及
组合恢复模块，用于将所有第二图像块组合生成所述畸变图像对应的校正复原图像。
本发明将畸变图像畸变校正后的校正图像分割为校正图像块，并将所有的校正图像块根据预先训练好的质心进行内容分类，分类后的校正图像块通过训练好的内容滤波器进行补偿，生成每个校正图像块对应的第一图像块，再对所有的第一图像块进行空间分类，分类后的第一图像块通过训练好的空间滤波器进行补偿，生成每个第一图像块对应的第二图像块，将所有的第二图像块组合在一起，生成畸变图像对应的校正复原图像，从而通过对图像块进行内容分类和空间分类，并结合内容滤波器对内容分类后的图像块进行补偿、空间滤波器对空间分类后的图像块进行补偿，有效地对畸变图像在校正复原过程中的图像质量损失进行补偿，有效地提高了畸变图像校正复原后所得图像的图像质量和图像清晰度。
附图说明
图1是本发明实施例一提供的畸变图像复原的补偿方法的实现流程图；
图2是本发明实施例二提供的畸变图像复原的补偿方法中质心、内容滤波器以及空间滤波器的训练流程图；
图3是本发明实施例三提供的畸变图像复原的补偿装置的结构示意图；以及
图4是本发明实施例四提供的畸变图像复原的补偿装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述：
实施例一：
图1示出了本发明实施例一提供的畸变图像复原的补偿方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在步骤S101中，接收畸变图像畸变校正后的校正图像，将校正图像分割为校正图像块。
本发明适用于对广角镜头拍摄的畸变图像进行复原的系统或者平台，对畸变图像进行复原，即对畸变图像进行畸变校正并对畸变校正后的图像进行质量补偿的过程。在本发明实施例中，将畸变图像畸变校正后的校正图像全部分割为大小相等的校正图像块，以提高对畸变图像复原进行图像质量补偿的效率，这里的校正图像块不一定是具体的图像块，还可为图像特征。作为示例地，可通过图像网格化方法得到校正图像块，也可通过尺度不变特征转换(SIFT)提取校正图像的图像特征。具体地，畸变图像可包括桶形畸变图像、枕形畸变图像等。
在步骤S102中，根据训练好的质心对所有校正图像块进行内容分类，并根据训练好的内容滤波器对内容分类后的校正图像块进行补偿，获得对应的第一图像块。
在本发明实施例中，预先训练好多个质心和多个内容滤波器，每个质心对应着一个类别、每个类别对应一个内容滤波器。根据训练质心时所用的聚类算法确定每个校正图像块所属的类别。在确定每个校正图像块所属的类别后，通过每个类别的内容滤波器对相应类别中的校正图像块进行一一补偿，得到每个校正图像块补偿后对应的图像块，为了便于区分，将该图像块称为第一图像块。
具体地，通过每个类别的内容滤波器对相应类别中的校正图像块进行一一补偿的公式为：
yi″＝Ciyi'，其中，yi″为第i个类别的第一图像块，Ci为第i个类别的内容滤波器，yi'为第i个类别的校正图像块。
在步骤S103中，对所有第一图像块进行空间分类，并根据训练好的空间滤波器对空间分类后的第一图像块进行补偿，生成对应的第二图像块。
在本发明实施例中，可根据每个第一图像块中心点与校正图像中心点的距离，对每个第一图像块进行空间上的分类，分类后的每个类别对应一个预先训练好的空间滤波器。在确定每个第一图像块所属的类别后，通过每个类别的空间滤波器对相应类别中的第一图像块进行一一补偿，得到每个第一图像块补偿后对应的图像块，为了便于区分，将该图像块称为第二图像块。
具体地，通过每个类别的空间滤波器对相应类别中的第一图像块进行一一补偿的公式为：
yj＝Sjyj″，其中，yj为第j个类别中的第二图像块，Sj为第j个类别的空间滤波器，yj″为第j个类别中的第一图像块。
在步骤S104中，将所有第二图像块组合生成畸变图像对应的校正复原图像。
在本发明实施例中，校正图像块经过内容滤波器和空间滤波器补偿后生成第二图像块，由于内容滤波器和空间滤波器根据畸变过程的图像质量损失和畸变校正过程的图像质量损失训练得到，可认为畸变图像畸变过程和校正过程的图像质量损失已在较大程度地得到了补偿，因此由第二图像块组合构成畸变图像对应的校正复原图像。
具体地，质心、内容滤波器以及空间滤波器的训练流程详见实施例二。
在本发明实施例中，将畸变图像畸变校正后的校正图像分割为校正图像块，并结合训练好的内容滤波器和空间滤波器对校正图像块进行两次补偿，有效地对畸变图像复原过程中的图像质量损失进行补偿，有效地提高了畸变图像复原后的图像质量和图像清晰度。
实施例二：
图2示出了本发明实施例二提供的畸变图像复原的补偿方法中质心、内容滤波器以及空间滤波器的训练流程，详述如下：
在步骤S201中，接收训练图像并对训练图像进行畸变和畸变校正，生成校正训练图像，将训练图像和校正训练图像分别分割为训练图像块和校正训练图像块。
在本发明实施例中，可采用预设的相机畸变模型和相机校正方法对训练图像进行畸变和畸变校正(或反畸变)，生成校正训练图像。将训练图像和校正训练图像分别分割为训练图像块和校正训练图像块。作为示例地，采用Ahmed和Mallon等人提出的基于极坐标的多项式转换的相机模型对训练图像进行畸变和畸变校正。
在步骤S202中，对所有校正训练图像块进行聚类并获取聚类后的所有质心，根据所有训练图像块和聚类后的校正训练图像块，训练得到每个类别的内容滤波器。
在本发明实施例中，由于训练图像块与校正训练图像块之间的图像质量差别包括训练图像块畸变时损失的图像质量和畸变后校正时损失的图像质量，所以根据校正训练图像块和该校正训练图像块对应的训练图像块训练得到的内容滤波器有效地考虑到了这两方面的图像质量损失。
在本发明实施例中，通过预设的聚类算法(例如K-means算法)对校正训练图像块进行聚类并获取聚类后每个簇的质心，实现对校正图像块进行内容上的分类。在对所有校正训练图像块进行分类后，根据每个类别的校正训练图像块和该校正训练图像块对应的训练图像块，计算得到每个类别的内容滤波器。
具体地，根据内容滤波器的计算公式为：
Figure BDA0001271359570000061
其中，Ci为第i个类别的内容滤波器，zi'为第i个类别中的校正训练图像块，zi为第i个类别中的校正训练图像块所对应的训练图像块，α为预设的正则化参数。
在步骤S203中，通过每个类别的内容滤波器对相应的校正训练图像块进行补偿，生成对应的第三图像块。
在本发明实施例中，在训练得到每个类别的内容滤波器后，通过每个类别的内容滤波器对该类别中的所有校正训练图像块一一地进行补偿，得到每个校正训练图像块补偿后的图像块，为了便于区别，将该图像块称为第三图像块。
在步骤S204中，对所有第三图像块进行空间分类，根据所有训练图像块和分类后的第三图像块，训练得到每个类别的空间滤波器。
在本发明实施例中，可根据每个第三图像块中心点与校正训练图像中心点的距离，对每个第三图像块进行空间上的分类，分类后根据每个类别的第三图像块与该第三图像块对应的训练图像块，计算得到每个类别的空间滤波器。
具体地，空间滤波器的计算公式为：
Figure BDA0001271359570000062
其中，Sj为第j个类别的空间滤波器，zj″为第j个类别中的第三图像块，zj为第j个类别中的第三图像块对应的训练图像块。
在本发明实施例中，根据训练图像的训练图像块和校正训练图像的校正训练图像块，训练得到内容滤波器、空间滤波器以及质心，在训练过程中考虑到畸变过程的图像质量损失和校正过程的图像质量损失，从而训练得到的内容滤波器和空间滤波器能够有效地补偿畸变图像复原时的图像质量。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。
实施例三：
图3示出了本发明实施例四提供的畸变图像复原的补偿装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：
图像分割模块31，用于接收畸变图像畸变校正后的校正图像，将校正图像分割为校正图像块。
在本发明实施例中，将畸变图像畸变校正后的校正图像全部分割为大小相等的校正图像块，从而有效提高对畸变图像复原进行图像质量补偿的效率。
初次补偿模块32，用于根据训练好的质心对所有校正图像块进行内容分类，并根据训练好的内容滤波器对内容分类后的校正图像块进行补偿，获得对应的第一图像块。
在本发明实施例中，根据训练质心时所用的聚类算法确定每个校正图像块所属的类别。在确定每个校正图像块所属的类别后，通过每个类别的内容滤波器对相应类别中的校正图像块进行一一补偿，得到每个校正图像块补偿后对应的图像块，为了便于区分，将该图像块称为第一图像块。
具体地，通过每个类别的内容滤波器对相应类别中的校正图像块进行一一补偿的公式为：
yi″＝Ciyi'，其中，yi″为第i个类别的第一图像块，Ci为第i个类别的内容滤波器，yi'为第i个类别的校正图像块。
再次补偿模块33，用于对所有第一图像块进行空间分类，并根据训练好的空间滤波器对空间分类后的第一图像块进行补偿，生成对应的第二图像块。
在本发明实施例中，可根据每个第一图像块中心点与校正图像中心点的距离，对每个第一图像块进行空间上的分类，分类后的每个类别对应一个预先训练好的空间滤波器。在确定每个第一图像块所属的类别后，通过每个类别的空间滤波器对相应类别中的第一图像块进行一一补偿，得到每个第一图像块补偿后对应的图像块，为了便于区分，将该图像块称为第二图像块。
具体地，通过每个类别的空间滤波器对相应类别中的第一图像块进行一一补偿的公式为：
yj＝Sjyj″，其中，yj为第j个类别中的第二图像块，Sj为第j个类别的空间滤波器，yj″为第j个类别中的第一图像块。
组合恢复模块34，用于将所有第二图像块组合生成畸变图像对应的校正复原图像。
在本发明实施例中，校正图像块经过内容滤波器和空间滤波器补偿后生成第二图像块，由于内容滤波器和空间滤波器根据畸变过程的图像质量损失和畸变校正过程的图像质量损失训练得到，可认为畸变图像畸变过程和校正过程的图像质量损失已在较大程度地得到了补偿，因此由第二图像块组合构成畸变图像对应的校正复原图像。
在本发明实施例中，将畸变图像畸变校正后的校正图像分割为校正图像块，并结合训练好的内容滤波器和空间滤波器对校正图像块进行两次补偿，有效地对畸变图像复原过程中的图像质量损失进行补偿，有效地提高了畸变图像复原后的图像质量和图像清晰度。
实施例四：
图4示出了本发明实施例四提供的畸变图像复原的补偿装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：
训练分割模块41，用于接收训练图像并对训练图像进行畸变和畸变校正，生成校正训练图像，将训练图像和校正训练图像分别分割为训练图像块和校正训练图像块。
在本发明实施例中，可采用预设的相机畸变模型和相机校正方法对训练图像进行畸变和畸变校正(或反畸变)，生成校正训练图像。将训练图像和校正训练图像分别分割为训练图像块和校正训练图像块。
第一计算模块42，用于对所有校正训练图像块进行聚类并获取聚类后的所有质心，根据所有训练图像块和聚类后的校正训练图像块，训练得到每个类别的内容滤波器。
在本发明实施例中，通过预设的聚类算法(例如K-means算法)对校正训练图像块进行聚类并获取聚类后每个簇的质心，实现对校正图像块进行内容上的分类。根据每个类别的校正训练图像块和该校正训练图像块对应的训练图像块，计算得到每个类别的内容滤波器。
具体地，根据内容滤波器的计算公式为：
Figure BDA0001271359570000091
其中，Ci为第i个类别的内容滤波器，zi'为第i个类别中的校正训练图像块，zi为第i个类别中的校正训练图像块所对应的训练图像块，α为预设的正则化参数。
训练补偿模块43，用于通过每个类别的内容滤波器对相应的校正训练图像块进行补偿，生成对应的第三图像块。
在本发明实施例中，在训练得到每个类别的内容滤波器后，通过每个类别的内容滤波器对该类别中的所有校正训练图像块一一地进行补偿，得到每个校正训练图像块补偿后的图像块，为了便于区别，将该图像块称为第三图像块。
第二计算模块44，用于对所有第三图像块进行空间分类，根据所有训练图像块和分类后的第三图像块，训练得到每个类别的空间滤波器。
在本发明实施例中，可根据每个第三图像块中心点与校正训练图像中心点的距离，对每个第三图像块进行空间上的分类，分类后根据每个类别的第三图像块与该第三图像块对应的训练图像块，计算得到每个类别的空间滤波器。
具体地，空间滤波器的计算公式为：
Figure BDA0001271359570000092
其中，Sj为第j个类别的空间滤波器，zj″为第j个类别中的第三图像块，zj为第j个类别中的第三图像块对应的训练图像块。
图像分割模块45，用于接收畸变图像畸变校正后的校正图像，将校正图像分割为校正图像块。
初次补偿模块46，用于根据训练好的质心对所有校正图像块进行内容分类，并根据训练好的内容滤波器对内容分类后的校正图像块进行补偿，获得对应的第一图像块。
再次补偿模块47，用于对所有第一图像块进行空间分类，并根据训练好的空间滤波器对空间分类后的第一图像块进行补偿，生成对应的第二图像块。
组合恢复模块48，用于将所有第二图像块组合生成畸变图像对应的校正复原图像。
优选地，第一计算模块42包括：
第一计算子模块421，用于根据聚类后每个类别中的校正训练图像块和每个类别中的校正训练图像块所对应的训练图像块。
优选地，第二计算模块44包括：
第二计算子模块441，用于根据分类后每个类别中的第三图像块和每个类别中的第三图像块所对应的训练图像块，计算每个类别的空间滤波器。
优选地，再次补偿模块47包括：
空间分类模块471，用于根据所有第一图像块的中心点和校正图像的中心点的距离，对所有第一图像块进行分类；
空间补偿模块472，用于通过训练好的每个类别的空间滤波器对相应类别的第一图像块进行补偿，生成每个第一图像块对应的第二图像块。
在本发明实施例中，根据训练图像和校正训练图像块，训练出能够对图像在畸变过程和校正过程损失的图像质量进行补偿的内容滤波器和空间滤波器，并由内容滤波器和空间滤波器对校正后的畸变图像进行两次补偿，从而有效地对畸变图像复原过程中的图像质量损失进行补偿，有效地提高了畸变图像复原后的图像质量和图像清晰度。
在本发明实施例中，畸变图像复原的补偿装置的各模块可由相应的硬件或软件模块实现，各模块可以为独立的软、硬件模块，也可以集成为一个软、硬件模块，在此不用以限制本发明。图像分割模块45至组合恢复模块48的各模块的具体实施方式可参考前述实施例一中各步骤的描述，在此不再赘述。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种畸变图像复原的补偿方法，其特征在于，所述方法包括下述步骤：
接收畸变图像畸变校正后的校正图像，将所述校正图像分割为大小相等的校正图像块；
根据训练好的质心对所有校正图像块进行内容分类，并根据训练好的内容滤波器对内容分类后的校正图像块进行补偿，生成对应的第一图像块；
对所有第一图像块进行空间分类，并根据训练好的空间滤波器对空间分类后的第一图像块进行补偿，生成对应的第二图像块；
将所有第二图像块组合生成所述畸变图像对应的校正复原图像；
接收畸变图像畸变校正后的校正图像，将所述校正图像分割为校正图像块的步骤之前，所述方法还包括：
接收训练图像并对所述训练图像进行畸变和畸变校正，生成校正训练图像，将所述训练图像和校正训练图像分别分割为训练图像块和校正训练图像块；
对所有校正训练图像块进行聚类并获取聚类后的所有质心，根据所有训练图像块和聚类后的校正训练图像块，训练得到每个类别的内容滤波器；
通过所述每个类别的内容滤波器对相应的校正训练图像块进行补偿，生成对应的第三图像块；
对所有第三图像块进行空间分类，根据所述所有训练图像块和分类后的第三图像块，训练得到每个类别的空间滤波器；
其中，根据所有训练图像块和聚类后的校正训练图像块，训练得到每个类别的内容滤波器的步骤，包括：
根据聚类后每个类别中的校正训练图像块和所述每个类别中的校正训练图像块所对应的训练图像块，计算所述每个类别的内容滤波器，所述内容滤波器的计算公式为：
Figure FDA0002484979870000011
Ci为第i个类别的内容滤波器，zi′为第i个类别中的校正训练图像块，zi为第i个类别中的校正训练图像块所对应的训练图像块，α为预设的正则化参数；
根据所述所有训练图像块和分类后的第三图像块，计算每个类别中的空间滤波器的步骤，包括：
根据分类后每个类别中的第三图像块和所述每个类别中的第三图像块所对应的训练图像块，计算所述每个类别的空间滤波器，所述空间滤波器的计算公式为：
Figure FDA0002484979870000021
其中，Sj为第j个类别的空间滤波器，zj”为第j个类别中的第三图像块，zj为第j个类别中的第三图像块对应的训练图像块。
2.如权利要求1所述的方法，其特征在于，对所有第一图像块进行空间分类，通过训练好的空间滤波器对空间分类后的第一图像块进行补偿，生成对应的第二图像块的步骤，包括：
根据所述所有第一图像块的中心点和所述校正图像的中心点的距离，对所述所有第一图像块进行分类；
通过训练好的每个类别的空间滤波器对相应类别的第一图像块进行补偿，生成每个第一图像块对应的第二图像块；
通过所述空间滤波器对所述第一图像块进行补偿的公式为：
yj＝Sjyj”，其中，yj为第j个类别中的第二图像块，yj”为第j个类别中的第一图像块。
3.一种畸变图像复原的补偿装置，其特征在于，所述装置包括：
图像分割模块，用于接收畸变图像畸变校正后的校正图像，将所述校正图像分割为大小相等的校正图像块；
初次补偿模块，用于根据训练好的质心对所有校正图像块进行内容分类，并根据训练好的内容滤波器对内容分类后的校正图像块进行补偿，生成对应的第一图像块；
再次补偿模块，用于对所有第一图像块进行空间分类，并根据训练好的空间滤波器对空间分类后的第一图像块进行补偿，生成对应的第二图像块；以及
组合恢复模块，用于将所有第二图像块组合生成所述畸变图像对应的校正复原图像；
所述装置还包括：
训练分割模块，用于接收训练图像并对所述训练图像进行畸变和畸变校正，生成校正训练图像，将所述训练图像和校正训练图像分别分割为训练图像块和校正训练图像块；
第一计算模块，用于对所有校正训练图像块进行聚类并获取聚类后的所有质心，根据所有训练图像块和聚类后的校正训练图像块，训练得到每个类别的内容滤波器；
训练补偿模块，用于通过所述每个类别的内容滤波器对相应的校正训练图像块进行补偿，生成对应的第三图像块；以及
第二计算模块，用于对所有第三图像块进行空间分类，根据所述所有训练图像块和分类后的第三图像块，训练得到每个类别的空间滤波器；
其中，所述第一计算模块包括：
第一计算子模块，用于根据聚类后每个类别中的校正训练图像块和所述每个类别中的校正训练图像块所对应的训练图像块，计算所述每个类别的内容滤波器，所述内容滤波器的计算公式为：
Figure FDA0002484979870000031
Ci为第i个类别的内容滤波器，zi'为第i个类别中的校正训练图像块，zi为第i个类别中的校正训练图像块所对应的训练图像块，α为预设的正则化参数；
所述第二计算模块包括：
第二计算子模块，用于根据分类后每个类别中的第三图像块和所述每个类别中的第三图像块所对应的训练图像块，计算所述每个类别的空间滤波器，所述空间滤波器的计算公式为：
Figure FDA0002484979870000032
Sj为第j个类别的空间滤波器，zj”为第j个类别中的第三图像块，zj为第j个类别中的第三图像块对应的训练图像块。
4.如权利要求3所述的装置，其特征在于，所述再次补偿模块包括：
空间分类模块，用于根据所述所有第一图像块的中心点和所述校正图像的中心点的距离，对所述所有第一图像块进行分类；
空间补偿模块，用于通过训练好的每个类别的空间滤波器对相应类别的第一图像块进行补偿，生成每个第一图像块对应的第二图像块；
通过所述空间滤波器对所述第一图像块进行补偿的公式为：
yj＝Sjyj”，其中，yj为第j个类别中的第二图像块，yj”为第j个类别中的第一图像块。
CN201710248718.6A 2017-04-17 2017-04-17 一种畸变图像复原的补偿方法及装置 Expired - Fee Related CN107154027B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710248718.6A CN107154027B (zh) 2017-04-17 2017-04-17 一种畸变图像复原的补偿方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710248718.6A CN107154027B (zh) 2017-04-17 2017-04-17 一种畸变图像复原的补偿方法及装置

Publications (2)

Publication Number Publication Date
CN107154027A CN107154027A (zh) 2017-09-12
CN107154027B true CN107154027B (zh) 2020-07-07

Family

ID=59792553

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710248718.6A Expired - Fee Related CN107154027B (zh) 2017-04-17 2017-04-17 一种畸变图像复原的补偿方法及装置

Country Status (1)

Country Link
CN (1) CN107154027B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109741250B (zh) * 2019-01-04 2023-06-16 京东方科技集团股份有限公司 图像处理方法及装置、存储介质和电子设备
CN111684784B (zh) * 2019-04-23 2022-10-25 深圳市大疆创新科技有限公司 图像处理方法和装置
CN115115552B (zh) * 2022-08-25 2022-11-18 腾讯科技（深圳）有限公司 图像矫正模型训练及图像矫正方法、装置和计算机设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0612477A (ja) * 1992-06-25 1994-01-21 Canon Inc 画像記録装置
EP0659019A2 (en) * 1993-12-16 1995-06-21 AT&T Corp. Method of and system for enhancing distorted graphical information
CN101814181A (zh) * 2010-03-17 2010-08-25 天津理工大学 一种鱼眼图像复原的展开方法
CN104657940A (zh) * 2013-11-22 2015-05-27 中兴通讯股份有限公司 畸变图像校正复原与分析报警的方法和装置
CN106023170A (zh) * 2016-05-13 2016-10-12 成都索贝数码科技股份有限公司 一种基于gpu处理器的双目3d畸变矫正方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0612477A (ja) * 1992-06-25 1994-01-21 Canon Inc 画像記録装置
EP0659019A2 (en) * 1993-12-16 1995-06-21 AT&T Corp. Method of and system for enhancing distorted graphical information
CN101814181A (zh) * 2010-03-17 2010-08-25 天津理工大学 一种鱼眼图像复原的展开方法
CN104657940A (zh) * 2013-11-22 2015-05-27 中兴通讯股份有限公司 畸变图像校正复原与分析报警的方法和装置
CN106023170A (zh) * 2016-05-13 2016-10-12 成都索贝数码科技股份有限公司 一种基于gpu处理器的双目3d畸变矫正方法

Also Published As

Publication number Publication date
CN107154027A (zh) 2017-09-12

Similar Documents

Publication Publication Date Title
CN107169421B (zh) 一种基于深度卷积神经网络的汽车驾驶场景目标检测方法
CN109903331B (zh) 一种基于rgb-d相机的卷积神经网络目标检测方法
CN108171787A (zh) 一种基于orb特征检测的三维重建方法
CN107154027B (zh) 一种畸变图像复原的补偿方法及装置
CN110992263B (zh) 一种图像拼接方法及系统
CN109389555B (zh) 一种全景图像拼接方法及装置
CN109711268B (zh) 一种人脸图像筛选方法及设备
CN110930411B (zh) 一种基于深度相机的人体分割方法及系统
CN104282003B (zh) 一种基于梯度筛选的数字模糊图像盲复原方法
CN109948441B (zh) 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质
Cheng et al. Towards pose-invariant lip-reading
CN103971112A (zh) 图像特征提取方法及装置
CN109272014B (zh) 一种基于畸变适应卷积神经网络的图像分类方法
CN102236790B (zh) 一种图像处理方法和设备
CN107133977A (zh) 一种基于概率产生模型的快速立体匹配方法
CN113810611A (zh) 一种事件相机的数据模拟方法和装置
CN112200056A (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN109760688B (zh) 路段信息确定方法、装置、车辆及计算机可读存储介质
CN107564013B (zh) 融合局部信息的场景分割修正方法与系统
CN112614110B (zh) 评估图像质量的方法、装置及终端设备
CN116433822B (zh) 一种神经辐射场训练方法、装置、设备及介质
CN107590790B (zh) 一种基于对称边缘填充的简单透镜边缘区域去模糊方法
CN115713678A (zh) 一种箭头图片数据增广方法、系统、电子设备及存储介质
CN109816709B (zh) 基于单目摄像头的深度估计方法、装置及设备
CN110516667B (zh) 一种基于安卓的文字水平矫正方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200707

Termination date: 20210417