CN111260565B - 基于畸变分布图的畸变图像矫正方法及系统 - Google Patents
基于畸变分布图的畸变图像矫正方法及系统 Download PDFInfo
- Publication number
- CN111260565B CN111260565B CN202010002973.4A CN202010002973A CN111260565B CN 111260565 B CN111260565 B CN 111260565B CN 202010002973 A CN202010002973 A CN 202010002973A CN 111260565 B CN111260565 B CN 111260565B
- Authority
- CN
- China
- Prior art keywords
- distortion
- semantic
- image
- distorted
- distorted image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000003702 image correction Methods 0.000 title claims abstract description 48
- 238000010586 diagram Methods 0.000 title claims abstract description 40
- 239000013598 vector Substances 0.000 claims abstract description 66
- 238000000605 extraction Methods 0.000 claims abstract description 55
- 230000004927 fusion Effects 0.000 claims abstract description 29
- 239000000284 extract Substances 0.000 claims abstract description 11
- 238000012546 transfer Methods 0.000 claims abstract description 7
- 238000010276 construction Methods 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 abstract description 10
- 230000000694 effects Effects 0.000 abstract description 10
- 238000013135 deep learning Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种本发明实施例的基于畸变分布图的畸变图像矫正方法及系统，用以解决畸变图像矫正的相机模型及特征提取局限性问题。所述畸变图像矫正方法，通过构建畸变分布图，提取畸变分布图引导的语义特征，再与结构特征进行多模特征融合，在局部结构特征和全局语义特征之间进行有意义的信息传递，根据语义‑结构混合向量输出矫正图像。本发明基于畸变分布图的畸变图像矫正方法，同时适用于多种相机模型，具有普适性，同时能够有效地提取和感知图像的语义和结构特征，从而有效地去除不同类型的几何畸，更合理地还原真实的物理场景，自动且灵活地矫正任意畸变图像，提高了矫正效果。
Description
技术领域
本发明属于计算机视觉领域，具体涉及一种在于畸变分布图的畸变图像矫正方法及系统。
背景技术
近些年来，由于学术界和工业界对宽视角成像的需求越来越高，广角镜头和鱼眼镜头等成像设备便受到了越来越多的关注。但是此类镜头会造成所采集的图像中存在较大的畸变，这些畸变使原始场景产生几何扭曲，从而影响了目标检测、语义理解等计算机视觉任务。为了消除图像中的畸变，传统视觉方法基于手工特征比如直线和角点，提出了一系列相机模型构建及相机畸变参数估计、优化方法。然而传统视觉方法常常需要人工干预或者严重依赖场景特征，很难自动且灵活矫正任意畸变图像。为了解决这一问题，基于深度学习的畸变矫正方法利用学习能力强大的卷积神经网络提出图像的畸变特征，以此预测其对应的畸变参数并矫正图像。
现有技术中，基于深度学习的畸变图像矫正方法，基于假设的特定相机模型，对该相机所生成的畸变图像进行矫正，但是该模型无法应用于其他相机产成生的图像并产生相同的矫正效果。同时，通常情况下的畸变图像矫正方法，只关注图像高层语义特征的学习，而忽视了传统视觉方法所关注的局部手工特征，这些特征对畸变矫正起到了至关重要的作用，从而限制了畸变矫正效果。
发明内容
为了提高对畸变图像的矫正效果，提高图像矫正的普适性，克服现有技术中畸变图像矫正受限于特定相机模型的问题，本发明提供了一种基于畸变分布图的畸变图像矫正方法及系统，通过引入畸变分布图，可以对所有相机产生的畸变图像进行矫正，同时基于注意力机制在深度学习中进行多模特征融合，有效地提取和感知图像结构特征，从而提高畸变图像的矫正效果，实现自动且灵活地矫正任意畸变图像。
为了实现上述目的，本发明采取了如下技术方案。
第一方面，本发明实施例提供了一种基于畸变分布图的畸变图像矫正方法，所述方法包括如下步骤：
步骤S1，在畸变图像的宽和高范围内构建畸变分布图；
步骤S2，提取所述畸变分布图引导的语义特征，得到语义特征向量；
步骤S3，提取所述畸变图像的结构特征，得到结构特征向量；
步骤S4，基于注意力机制，将所述语义特征向量和结构特征向量进行多模特征融合，在局部结构特征和全局语义特征之间进行有意义的信息传递，得到语义-结构混合向量；
步骤S5，根据所述语义-结构混合向量输出矫正图像。
上述方案中，所述畸变分布图的构建公式为：
其中，D为畸变分布图，(xi,yj)为像素点的坐标，坐标指针i和j处于畸变图像的宽和高的范围之内，(xi d,yj d)为像素点在畸变图像中的坐标，(xi r,yj r)为像素点在无畸变图像中的坐标。
上述方案中，所述步骤S2进一步包括：
步骤S201，将所述畸变分布图与所述畸变图像进行合并，输入到语义特征提取网络；
步骤S202，所述语义特征提取网络在畸变分布图的引导下提取畸变图像的语义特征。
上述方案中，所述语义特征提取网络为一个编码器，生成畸变图像对应的特征向量。
上述方案中，所述步骤S3提取所述畸变图像的结构特征，通过2D局部结构特征提取网络输入Canny算子提取畸变图像的边缘点，在2D稀疏空间进行学习，提取所述畸变图像的结构特征，提取公式为：
其中P1,P2,...,PN为一系列2D边缘点，f为学习到的映射关系，γ和h为特征提取层。
上述方案中，所述基于注意力机制的多模特征融合公式为：
M＝σ(fc(Vsem))， (3-1)
其中，M为由语义特征向量Vsem生成的掩膜，fc为全连接层，σ为Sigmoid激活函数；Vstr为结构特征向量，Vhyb为融合后的语义-结构混合向量。
上述方案中，所述步骤S5进一步为，通过解码器对语义-结构混合特征向量进行逐层恢复，还原出畸变图像对应的真实无畸变场景。
上述方案中，所述解码器和语义特征提取网络在结构上成镜像对称，输入为语义-结构混合特征向量，输出为三通道的RGB彩色图像。
上述方案中，所述畸变图像矫正方法还包括：将输出的矫正图像输入判别器，与语义特征提取网络和结构特征提取网络进行联合对抗训练。
第二方面，本发明实施例还提供了一种基于畸变分布图的畸变图像矫正系统，所述畸变图像矫正系统包括：畸变分布图构建模块、语义特征提取网络、2D局部结构特征提取网络、多模特征融合模块、矫正图像输出模块；其中，
所述畸变分布图构建模块与所述语义特征提取网络相连，用于接收畸变图像，并在畸变图像的宽和高范围内构建畸变分布图，将所述畸变分布图发送给所述语义特征提取网络；
所述语义特征提取网络与所述多模特征融合模块相连，用于接收畸变图像和所述畸变分布图，提取所述畸变分布图引导的畸变图像的语义特征，得到语义特征向量，将所述语义特征向量发送给多模融合模块；
所述结构特征提取网络与所述多模特征融合模块相连，用于接收畸变图像，提取所述畸变图像的结构特征，得到结构特征向量，并将所述结构特征向量发送给所述多模融合模块；
所述多模融合模块与所述矫正图像输出模块相连，用于基于注意力机制，将所述语义特征向量和结构特征向量进行多模特征融合，在局部结构特征和全局语义特征之间进行有意义的信息传递，得到语义-结构混合向量，并将所述语义-结构混合向量发送给所述矫正图像输出模块；
所述矫正图像输出模块用于根据所述语义-结构混合向量输出矫正图像。
由上述本发明的实施例提供的技术方案可以看出，本发明实施例的基于畸变分布图的畸变图像矫正方法，可同时适用于多种相机模型，具有普适性，同时能够有效地提取和感知图像的语义和结构特征，从而有效地去除不同类型的几何畸，更合理地还原真实的物理场景，自动且灵活地矫正任意畸变图像，提高矫正效果。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术中畸变图像矫正原理示意图；
图2为本发明实施例基于畸变分布图的畸变图像矫正原理示意图；
图3为本发明实施例基于畸变分布的畸变图像矫正方法流程图；
图4为本发明图2所示畸变图像矫正方法中一个畸变分布图的示例；
图5为本发明实施例中所述2D局部结构特征提取网络结构示意图；
图6为本发明实施例与现有技术中畸变图像矫正方法对图像进行矫正后的效果对比图；
图7为本发明实施例基于畸变分布的畸变图像矫正系统结构示意图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
本发明实施例针对现有技术中畸变图像矫正的局限性，提出了一种基于畸变分布图的畸变图像矫正方法及系统。图2所示为本发明实施例基于畸变分布图的畸变图像矫正方法的原理示意图。如图2所示，本发明实施例通过引入畸变分布图，可以对所有相机产生的畸变图像进行矫正，而不会受限于特定相机模型，实现提高图像矫正的普适性；同时基于注意力机制在深度学习中进行多模特征融合，有效地提取和感知图像结构特征，从而提高畸变图像的矫正效果，实现自动且灵活地矫正任意畸变图像。
为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。
第一实施例
本实施例提供了一种基于畸变分布图的畸变图像矫正方法，图3所示为所述基于畸变分布图的畸变图像矫正方法流程图。如图3所示，所述方法包括如下步骤：
步骤S1，在畸变图像的宽和高范围内构建畸变分布图。
本步骤中，所述畸变分布图D的构建公式为：
其中，D为畸变分布图，(xi,yj)为像素点的坐标，坐标指针i和j处于畸变图像的宽和高的范围之内，(xi d,yj d)为像素点在畸变图像中的坐标，(xi r,yj r)为像素点在无畸变图像中的坐标。
这里的畸变参数，与相机模型有关，不同相机模型的畸变参数不同。畸变分布图的每一个值代表了该像素点存在畸变的程度，显式地描述了关于畸变的先验知识，独立于畸变参数，进而可以描述不同相机模型对应的畸变图像。
图4所示为一个畸变分布图的示例。如图4所示，四种不同的畸变图像对应四种不同的相机模型(在图像中简称为畸变图像模型)：单参数除法模型(畸变图像模型1)、偶次畸变模型(畸变图像模型2)、全景畸变模型(畸变图像模型3)以及枕形畸变模型(畸变图像模型4)，均可以通过公式(1)构建成相应的畸变分布图。
步骤S2，提取所述畸变分布图引导的语义特征，得到语义特征向量。
本步骤中，将所述畸变分布图与所述畸变图像进行合并，输入到语义特征提取网络，所述语义特征提取网络在畸变分布图的引导下提取畸变图像的语义特征。
畸变图像不同位置的畸变程度不同，若以简单的卷积方式提取特征，会使得网络难以学习到有关畸变的信息。本步骤中采用畸变分布图对语义特征的提取过程进行引导，从而使网络学习到有关畸变的信息。语义特征提取通过卷积神经网络中的语义特征提取网络进行，语义特征提取网络为一个编码器，生成畸变图像对应的特征向量。
步骤S3，提取所述畸变图像的结构特征，得到结构特征向量。
本步骤中，通过2D局部结构特征提取网络提取所述畸变图像的结构特征。所述2D局部结构特征提取网络输入Canny算子提取畸变图像的边缘点，直接在2D稀疏空间进行高效学习，提取公式为：
其中P1,P2,...,PN为一系列2D边缘点，f为学习到的映射关系，γ和h为特征提取层。优选地，所述特征提取层γ和h通过多层感知机实现。
图5所示为所述2D局部结构特征提取网络结构示意图。如图5所示，所述2D局部结构特征提取网络包括数据变换层、浅层抽象层、特征变换层、深层抽象层和标头层，通过上述五层对所述畸变图像进行特征提取，最后输出所述畸变图像的结构特征向量。
步骤S4，基于注意力机制，将所述语义特征向量和结构特征向量进行多模特征融合，在局部结构特征和全局语义特征之间进行有意义的信息传递，得到语义-结构混合向量。
本步骤中，所述基于注意力机制的多模特征融合公式为：
M＝σ(fc(Vsem))， (3-1)
其中，M为由语义特征向量Vsem生成的掩膜，fc为全连接层，σ为Sigmoid激活函数；Vstr为结构特征向量，Vhyb为融合后的语义-结构混合向量。
步骤S5，根据所述语义-结构混合向量输出矫正图像。
本步骤中，将所述解码器语义-结构混合特征向量输入解码器，从而对语义-结构混合特征向量进行逐层恢复，从而还原出畸变图像对应的真实无畸变场景。
所述该解码器和语义特征提取网络在结构上成镜像对称，即输入为语义-结构混合特征向量，输出为三通道的RGB彩色图像。为了有效恢复编码过程中丢失的图像信息，在语义特征提取网络中编码器和解码器相同分辨率的特征层采用跳连接操作。
优选地，将输出的矫正图像输入判别器，与前面的网络结构进行联合对抗训练，以达到更好的畸变矫正效果。
图6所示为通过本实施例与现有技术中基于畸变分布图的畸变图像矫正方法对图像进行矫正后的效果对比图。将本发明实施例的方法，与现有技术中常用的四种方法进行效果对比，现有技术中的四种方法分别为：方法一Alemánflores方法，方法二Santanacedrés方法，方法三Rong方法，方法四Liao方法。如图6所示，本发明实施例的方法更合理地还原了真实的物理场景(Ground Truth)以及更好地去除不同类型的几何畸变。
由以上技术方案可以看出，本发明实施例基于畸变分布图的畸变图像矫正方法，可同时适用于多种相机模型，具有普适性，同时能够有效地提取和感知图像的语义和结构特征，从而有效地去除不同类型的几何畸变，更合理地还原真实的物理场景，自动且灵活地矫正任意畸变图像，提高了图像矫正效果。
第二实施例
本实施例提供了一种基于畸变分布图的畸变图像矫正系统，图7所示为所述畸变图像矫正系统结构示意图。如图7所示，所述畸变图像矫正系统包括：畸变分布图构建模块、语义特征提取网络、2D局部结构特征提取网络、多模特征融合模块、矫正图像输出模块；其中，
所述畸变分布图构建模块与所述语义特征提取网络相连，用于接收畸变图像，并在畸变图像的宽和高范围内构建畸变分布图，将所述畸变分布图发送给所述语义特征提取网络；
所述语义特征提取网络与所述多模特征融合模块相连，用于接收畸变图像和所述畸变分布图，提取所述畸变分布图引导的畸变图像的语义特征，得到语义特征向量，将所述语义特征向量发送给多模融合模块；
所述结构特征提取网络与所述多模特征融合模块相连，用于接收畸变图像，提取所述畸变图像的结构特征，得到结构特征向量，并将所述结构特征向量发送给所述多模融合模块；
所述多模融合模块与所述矫正图像输出模块相连，用于基于注意力机制，将所述语义特征向量和结构特征向量进行多模特征融合，在局部结构特征和全局语义特征之间进行有意义的信息传递，得到语义-结构混合向量，并将所述语义-结构混合向量发送给所述矫正图像输出模块；
所述矫正图像输出模块用于根据所述语义-结构混合向量输出矫正图像。
本实施例所述基于畸变分布图的畸变图像矫正系统，与第一实施例的基于畸变分布图的畸变图像矫正方法是相对应的，对所述方法的描述同样适用于本实施例的系统，在此不再赘述。
以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (8)
1.一种基于畸变分布图的畸变图像矫正方法，其特征在于，所述方法包括如下步骤：
步骤S1，在畸变图像的宽和高范围内构建畸变分布图；
步骤S2，提取所述畸变分布图引导的语义特征，得到语义特征向量；
步骤S3，提取所述畸变图像的结构特征，得到结构特征向量；
步骤S4，基于注意力机制，将所述语义特征向量和结构特征向量进行多模特征融合，在局部结构特征和全局语义特征之间进行有意义的信息传递，得到语义-结构混合向量；
步骤S5，根据所述语义-结构混合向量输出矫正图像；
所述畸变分布图的构建公式为：
其中，D为畸变分布图，(xi,yj)为像素点的坐标，坐标指针i和j处于畸变图像的宽和高的范围之内，(xi d,yj d)为像素点在畸变图像中的坐标，(xi r,yj r)为像素点在无畸变图像中的坐标；
所述步骤S2进一步包括：
步骤S201，将所述畸变分布图与所述畸变图像进行合并，输入到语义特征提取网络；
步骤S202，所述语义特征提取网络在畸变分布图的引导下提取畸变图像的语义特征。
2.根据权利要求1所述的畸变图像矫正方法，其特征在于，所述语义特征提取网络为一个编码器，生成畸变图像对应的特征向量。
3.根据权利要求1所述的畸变图像矫正方法，其特征在于，所述步骤S3提取所述畸变图像的结构特征，通过2D局部结构特征提取网络输入Canny算子提取畸变图像的边缘点，在2D稀疏空间进行学习，提取所述畸变图像的结构特征，提取公式为：
其中P1,P2,...,PN为一系列2D边缘点，f为学习到的映射关系，γ和h为特征提取层。
4.根据权利要求1所述的畸变图像矫正方法，其特征在于，所述基于注意力机制的多模特征融合公式为：
M ＝ σ(fc(Vsem))， (3-1)
其中，M为由语义特征向量Vsem生成的掩膜，fc为全连接层，σ为Sigmoid激活函数；Vstr为结构特征向量，Vhyb为融合后的语义-结构混合向量。
5.根据权利要求1所述的畸变图像矫正方法，其特征在于，所述步骤S5进一步为，通过解码器对语义-结构混合特征向量进行逐层恢复，还原出畸变图像对应的真实无畸变场景。
6.根据权利要求5所述的畸变图像矫正方法，其特征在于，所述解码器和语义特征提取网络在结构上成镜像对称，输入为语义-结构混合特征向量，输出为三通道的RGB彩色图像。
7.根据权利要求1所述的畸变图像矫正方法，其特征在于，所述畸变图像矫正方法还包括：将输出的矫正图像输入判别器，与语义特征提取网络和结构特征提取网络进行联合对抗训练。
8.一种基于畸变分布图的畸变图像矫正系统，其特征在于，所述畸变图像矫正系统包括：畸变分布图构建模块、语义特征提取网络、2D局部结构特征提取网络、多模特征融合模块、矫正图像输出模块；其中，
所述畸变分布图构建模块与所述语义特征提取网络相连，用于接收畸变图像，并在畸变图像的宽和高范围内构建畸变分布图，将所述畸变分布图发送给所述语义特征提取网络；所述畸变分布图的构建公式为：
其中，D为畸变分布图，(xi,yj)为像素点的坐标，坐标指针i和j处于畸变图像的宽和高的范围之内，(xi d,yj d)为像素点在畸变图像中的坐标，(xi r,yj r)为像素点在无畸变图像中的坐标；
所述语义特征提取网络与所述多模特征融合模块相连，用于接收畸变图像和所述畸变分布图，提取所述畸变分布图引导的畸变图像的语义特征，得到语义特征向量，将所述语义特征向量发送给多模融合模块；并进一步用于将所述畸变分布图与所述畸变图像进行合并，输入到语义特征提取网络，并在畸变分布图的引导下提取畸变图像的语义特征；
所述结构特征提取网络与所述多模特征融合模块相连，用于接收畸变图像，提取所述畸变图像的结构特征，得到结构特征向量，并将所述结构特征向量发送给所述多模融合模块；
所述多模融合模块与所述矫正图像输出模块相连，用于基于注意力机制，将所述语义特征向量和结构特征向量进行多模特征融合，在局部结构特征和全局语义特征之间进行有意义的信息传递，得到语义-结构混合向量，并将所述语义-结构混合向量发送给所述矫正图像输出模块；
所述矫正图像输出模块用于根据所述语义-结构混合向量输出矫正图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010002973.4A CN111260565B (zh) | 2020-01-02 | 2020-01-02 | 基于畸变分布图的畸变图像矫正方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010002973.4A CN111260565B (zh) | 2020-01-02 | 2020-01-02 | 基于畸变分布图的畸变图像矫正方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111260565A CN111260565A (zh) | 2020-06-09 |
| CN111260565B true CN111260565B (zh) | 2023-08-11 |
Family
ID=70950229
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010002973.4A Active CN111260565B (zh) | 2020-01-02 | 2020-01-02 | 基于畸变分布图的畸变图像矫正方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111260565B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117274111A (zh) * | 2023-11-17 | 2023-12-22 | 国网智能科技股份有限公司 | 一种基于多尺度特征融合的图像畸变矫正方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105701776A (zh) * | 2016-01-07 | 2016-06-22 | 武汉精测电子技术股份有限公司 | 一种用于自动光学检测的镜头畸变矫正方法及系统 |
| CN106952236A (zh) * | 2017-03-13 | 2017-07-14 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 基于bp神经网络的鱼眼镜头拍摄图像畸变矫正方法 |
| CN107248178A (zh) * | 2017-06-08 | 2017-10-13 | 上海赫千电子科技有限公司 | 一种基于畸变参数的鱼眼相机标定方法 |
| WO2019105044A1 (zh) * | 2017-11-28 | 2019-06-06 | 东莞市普灵思智能电子有限公司 | 一种镜头畸变矫正和特征提取的方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013156722A (ja) * | 2012-01-27 | 2013-08-15 | Sony Corp | 画像処理装置、画像処理方法、学習装置、学習方法およびプログラム |
-
2020
- 2020-01-02 CN CN202010002973.4A patent/CN111260565B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105701776A (zh) * | 2016-01-07 | 2016-06-22 | 武汉精测电子技术股份有限公司 | 一种用于自动光学检测的镜头畸变矫正方法及系统 |
| CN106952236A (zh) * | 2017-03-13 | 2017-07-14 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 基于bp神经网络的鱼眼镜头拍摄图像畸变矫正方法 |
| CN107248178A (zh) * | 2017-06-08 | 2017-10-13 | 上海赫千电子科技有限公司 | 一种基于畸变参数的鱼眼相机标定方法 |
| WO2019105044A1 (zh) * | 2017-11-28 | 2019-06-06 | 东莞市普灵思智能电子有限公司 | 一种镜头畸变矫正和特征提取的方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| Kang Liao等.OIDC-Net:Omnidirectional Image Distortion Correction via Coarse-to-Fine Region Attention.《IEEE JOURNAL OF SELECTED TOPICS IN SIGNAL PROCESSING》.2019,第14卷(第1期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111260565A (zh) | 2020-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tang et al. | Single image dehazing via lightweight multi-scale networks | |
| CN112201078B (zh) | 一种基于图神经网络的自动泊车停车位检测方法 | |
| CN109472830A (zh) | 一种基于无监督学习的单目视觉定位方法 | |
| Liao et al. | Model-free distortion rectification framework bridged by distortion distribution map | |
| CN108073857A (zh) | 动态视觉传感器dvs事件处理的方法及装置 | |
| CN111553841B (zh) | 一种基于最佳缝合线更新的实时视频拼接方法 | |
| Ye et al. | Depth super-resolution with deep edge-inference network and edge-guided depth filling | |
| CN111489394A (zh) | 物体姿态估计模型训练方法、系统、装置及介质 | |
| CN111260565B (zh) | 基于畸变分布图的畸变图像矫正方法及系统 | |
| CN115511708A (zh) | 基于不确定性感知特征传输的深度图超分辨率方法及系统 | |
| CN114202472A (zh) | 一种高精度水下成像方法和装置 | |
| Mathew et al. | Self-attention dense depth estimation network for unrectified video sequences | |
| Wang et al. | Model-aware pre-training for radial distortion rectification | |
| CN110324585B (zh) | 基于高速移动平台的slam系统的实现方法 | |
| CN108053376A (zh) | 一种语义分割信息指导深度学习鱼眼图像校正方法 | |
| CN115456870A (zh) | 基于外参估计的多图像拼接方法 | |
| CN113139990B (zh) | 一种基于内容感知的深度网格流鲁棒图像对齐方法 | |
| CN115330655A (zh) | 一种基于自注意力机制的图像融合方法及系统 | |
| CN112419172B (zh) | 倾斜图像校正去模糊的遥感图像处理方法 | |
| US11967131B2 (en) | System for processing an image, method for processing the image, method for training a neural network for processing the image, and recording medium for executing the method | |
| CN112950653B (zh) | 一种注意力图像分割方法、装置及介质 | |
| Roozgard et al. | Dense image registration using sparse coding and belief propagation | |
| CN105007397A (zh) | 一种消除线段交叉误匹配点的视频补偿方法 | |
| CN109859263B (zh) | 一种基于鱼眼镜头的宽视角定位方法 | |
| Zhou et al. | Rectangular-output image stitching |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |