CN112927304A - 一种基于卷积神经网络的鱼眼镜头标定方法 - Google Patents

一种基于卷积神经网络的鱼眼镜头标定方法 Download PDF

Info

Publication number
CN112927304A
CN112927304A CN202110199944.6A CN202110199944A CN112927304A CN 112927304 A CN112927304 A CN 112927304A CN 202110199944 A CN202110199944 A CN 202110199944A CN 112927304 A CN112927304 A CN 112927304A
Authority
CN
China
Prior art keywords
neural network
fisheye
convolutional neural
sample set
straight line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110199944.6A
Other languages
English (en)
Other versions
CN112927304B (zh
Inventor
吴军
高炯笠
赵雪梅
李永强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Tianyu Elevator Industry Ltd By Share Ltd
Original Assignee
Guilin University of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Electronic Technology filed Critical Guilin University of Electronic Technology
Priority to CN202110199944.6A priority Critical patent/CN112927304B/zh
Publication of CN112927304A publication Critical patent/CN112927304A/zh
Application granted granted Critical
Publication of CN112927304B publication Critical patent/CN112927304B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于卷积神经网络的鱼眼镜头标定方法，获取空间坐标系下任一空间点，并对所述空间点进行多个阶段的投影变换，构建对应的鱼眼成像模型；基于鱼眼镜头等效焦距构建立方盒，并结合所述鱼眼成像模型构建样本集，同时以文件方式对所述样本集进行管理；将所述样本集中的扭曲直线输入标定卷积神经网络中进行直线纠正和参数估计，得到鱼眼镜头参数；能从直线特征中学习出明确的场景几何用于实现鱼眼镜头参数的完整、准确估计，并具有良好的场景迁移学习能力；该估计参数下鱼眼图像不同区域平面透视纠正效果稳健、精度高，直线透视特性保持良好，对于具有大量直线的人工场景具有较好的应用价值。

Description

一种基于卷积神经网络的鱼眼镜头标定方法
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于卷积神经网络的鱼眼镜头标定方法。
背景技术
鱼眼镜头视角广阔(接近甚至超过180°)、体积小且价格低廉，除应用于传统安全监控目的，也是发展轻、小型全方位视觉系统的理想光学传感器，在无人机测绘、自动泊车、机器人导航定位等众多视觉测量领域具有广泛应用前景。然而，鱼眼镜头(相机)并非为测量专门设计，需通过周期性标定来获得空间测量计算所必须的镜头(相机)光学成像几何参数，或对鱼眼图像进行去失真纠正以满足可视化应用需求。
综合考虑光学几何成像模型及用于模型参数估计的图像特征，现有鱼眼镜头(相机)标定方法可概略分为两类：传统几何特征标定和卷积神经网络标定。传统几何特征标定多以球面投影模型来表征鱼眼镜头光学几何成像过程，并利用鱼眼图像上检测出的明确点、线几何特征来优化求解、模型参数，或依赖于特定人工控制环境、或标定过程过于复杂，效率低下且对从业人员知识门槛要求。近年来，以卷积神经网络(CNN)为代表的深度学习技术在多类计算机视觉任务如分类、分割中大获成功，一些学者尝试将其引入复杂环境下的摄像机标定过程。总体上，相比于传统几何特征标定方法，现有卷积神经网络标定方法侧重于(鱼眼)图像光学畸变模型参数的获取，目的在于通过影像去失真纠正获得良好的视觉效果，均未考虑相机等效焦距、主点参数，因而不利于量测信息的获取；另一方面，现有网络的训练样本集主要通过合成方式构建，对针孔相机透视影像集ImageNet、ADE20K或线框数据集按预设畸变系数值添加扭曲变形，网络场景迁移能力将是一个潜在的问题。
发明内容
本发明的目的在于提供一种基于卷积神经网络的鱼眼镜头标定方法，具有良好的场景迁移学习能力，且对于具有大量直线的人工场景具有较好的应用价值。
为实现上述目的，本发明提供了一种基于卷积神经网络的鱼眼镜头标定方法，包括以下步骤：
获取空间坐标系下任一空间点，并对所述空间点进行多个阶段的投影变换，构建对应的鱼眼成像模型；
基于鱼眼镜头等效焦距构建立方盒，并结合所述鱼眼成像模型构建样本集，同时以文件方式对所述样本集进行管理；
将所述样本集中的扭曲直线输入标定卷积神经网络中进行直线纠正和参数估计，得到鱼眼镜头参数。
其中，将所述样本集中的扭曲直线输入标定卷积神经网络中进行直线纠正和参数估计，得到鱼眼镜头参数之后，所述方法还包括：
利用所述鱼眼镜头参数对获取的鱼眼图像进行失真纠正。
其中，基于鱼眼镜头等效焦距构建立方盒，并结合所述鱼眼成像模型构建样本集，同时以文件方式对所述样本集进行管理，包括：
将鱼眼镜头等效焦距作为投影球面半径，得到对应的投影半球；
将获取的鱼眼图像像素沿构像光线逆映射到所述投影半球外接立方盒的5个面上，并将所述立方盒展开，得到平面图像；
基于所述平面图像，结合所述鱼眼成像模型构建样本集，并以文件方式对所述样本集进行管理。
其中，将所述样本集中的扭曲直线输入标定卷积神经网络中进行直线纠正和参数估计，得到鱼眼镜头参数之前，所述方法还包括：
基于球面投影下的鱼眼成像模型、空间直线投影椭圆几何、立方盒展开及对应的畸变几何先验关系构建对应的标定卷积神经网络，并将所述样本集输入所述标定卷积神经网络中进行训练。
其中，将所述样本集中的扭曲直线输入标定卷积神经网络中进行直线纠正和参数估计，得到鱼眼镜头参数，包括：
将所述样本集中的扭曲直线输入所述标定卷积神经网络中直线纠正，得到对应的纠正直线；
将所述扭曲直线和所述纠正直线联合输入所述标定卷积神经网络中进行参数估计，得到对应的鱼眼镜头参数。
其中，将所述样本集中的扭曲直线输入训练后的所述标定卷积神经网络中直线纠正，得到对应的纠正直线，包括：
利用3×2的非对称卷积核提取所述扭曲直线所在位置的畸变特性；
将所述畸变特性依次经过批规范化层和一个ReLU函数层，并经过两个非对称卷积层的下采样后，得到对应的纠正直线。
其中，将所述扭曲直线和所述纠正直线联合输入训练后的所述标定卷积神经网络中进行参数估计，得到对应的鱼眼镜头参数，包括：
将联合输入的所述扭曲直线和所述纠正直线进行特征提取和数据尺寸的改变；
将提取出来的特征数据进行多次的连续卷积和非对称卷积处理，并通过全连接回归计算得到所述鱼眼镜头参数。
本发明的一种基于卷积神经网络的鱼眼镜头标定方法，获取空间坐标系下任一空间点，并对所述空间点进行多个阶段的投影变换，构建对应的鱼眼成像模型；基于鱼眼镜头等效焦距构建立方盒，并结合所述鱼眼成像模型构建样本集，同时以文件方式对所述样本集进行管理；将所述样本集中的扭曲直线输入标定卷积神经网络中进行直线纠正和参数估计，得到鱼眼镜头参数；结合球面透视投影成像模型及鱼眼图像立方盒展开几何先验构建标定卷积神经网络，从直线特征中学习出明确的场景几何用于实现鱼眼镜头参数的完整、准确估计，并具有良好的场景迁移学习能力；该估计参数下鱼眼图像不同区域平面透视纠正效果稳健、精度高，直线透视特性保持良好，总体上优于现有的深度学习鱼眼标定算法，对于具有大量直线的人工场景具有较好的应用价值。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的一种基于卷积神经网络的鱼眼镜头标定方法的步骤示意图。
图2是本发明提供的基于球面投影的鱼眼相机成像过程示意图。
图3是本发明提供的鱼眼图像立方盒展开示意图。
图4是本发明提供的鱼眼镜头标定卷积神经网络FisheyeCalNet网络结构示意图。
图5是本发明提供的鱼眼图像直线校正模型网络结构示意图。
图6是本发明提供的鱼眼镜头参数估计模型网络结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
请参阅图1，本发明提供一种基于卷积神经网络的鱼眼镜头标定方法，包括以下步骤：
S101、获取空间坐标系下任一空间点，并对所述空间点进行多个阶段的投影变换，构建对应的鱼眼成像模型。
具体的，如图2所示，空间坐标变换，即将世界坐标系下任一空间点PW＝[XW,YW,ZW]T，经旋转和平移空间坐标变换，转换为相机坐标系下的点PC＝[XC,YC,ZC]T，两者满足以下关系：
Pc＝R*Pw+T (1)
式中：T为平移向量，R为旋转矩阵.
单位球面映射，即将点PC沿射线OCPC方向映射为单位球面上的点PS(XS,YS,ZS):
Figure BDA0002947763700000041
球面投影，即按选定模型将点PS投影至鱼眼图像平面。选用正交投影模型，该模型计算简单且可建立空间点与鱼眼图像投影点(理想像点)Pm(xm,ym)的可逆变换关系，两者坐标变换关系如下：
xm＝Xs,ym＝Ys (3)
像素坐标变换，即利用相机内部参数将理想投影点坐标变换到鱼眼图像像素坐标，相机内部参数通常表示为矩阵
Figure BDA0002947763700000051
考虑到鱼眼镜头光学畸变并主要受径向畸变误差影响，则从理想投影点到像素的坐标变换关系，即鱼眼成像模型为：
Figure BDA0002947763700000052
其中：(u,v)为鱼眼图像实际像素坐标,(u0,v0)为相机主点坐标；f为相机等效焦距，A为纵横比；k1,k2为径向畸变系数。
上述成像过程中，参数(u0,v0,f,A,k1,k2)与鱼眼镜头本身光学设计、加工相关，称为内部参数，为本文鱼眼镜头待标定参数。
S102、基于鱼眼镜头等效焦距构建立方盒，并结合所述鱼眼成像模型构建样本集，同时以文件方式对所述样本集进行管理。
具体的，球面投影下的鱼眼图像无法转换为单一平面上的透视图像，可借助立方盒展开来实现鱼眼图像从球面透视投影到平面透视投影的完全转换，如图3所示，(a)鱼眼图像区域划分；(b)鱼眼图像立方盒；(b)立方盒展开以鱼眼镜头等效焦距f为投影球面半径，先将鱼眼图像像素沿构像光线逆映射到投影半球外接立方盒的5个面上，再将该立方盒展开为一个平面(图像)。令p(u,v)表示理想鱼眼图像上任一像素，其逆映射到立方盒上的空间坐标为P(X,Y,Z)、展开(纠正)图像上的对应像素为q(x,y)，则根据上述球面投影成像模型并考虑到立方盒顶面四条边在理想鱼眼图像上的投影满足椭圆(弧)方程：u2+2v2＝f2或2u2+v2＝f2，鱼眼图像将被划分为5个区域并具有不同坐标映射关系。
立方盒展开下的鱼眼图像不同区域像素坐标转换关系隐含保留了球面透视投影这一几何先验；另一方面，球面透视投影下空间直线在鱼眼图像上的投影则理论上为一椭圆(弧)。可以设想，若像素p(u,v)、q(x,y)对应于某一空间直线上的点，则两者的坐标转换关系不仅隐含了球面透视投影这一几何先验，也可视为是对空间直线在鱼眼球面投影成像模型下的场景几何进行编码，从这一角度出发，本发明结合鱼眼镜头内部参数及该参数下立方盒上的直线特征来自动构建样本集用于标定网络的训练与学习目的。样本集按文件方式组织管理，每一文件中记录有：给定取值范围下随机生成的镜头参数值
Figure BDA0002947763700000061
；立方盒上直线段在该镜头参数下的鱼眼图像扭曲直线(椭圆弧)
Figure BDA0002947763700000062
，纠正直线采样点坐标序列
Figure BDA00029477637000000613
及纠正直线坐标参数。其中：u0,v0,f均以像素为单位；i＝1,2,...,I，I表示参数样本数量。根据给定参数值fi构建尺寸大小为2fi×2fi×fi的空间立方盒并在该立方盒5个面上随机生成空间直线段
Figure BDA0002947763700000063
，(j＝1,2,...,J；k＝1,2,...,5)，其中：K不同取值对应于立方盒上不同面，J表示立方盒第k个面上的直线段样本数量；(ρ,θ)为立方盒上直线的极坐标参数，极径ρ的单位为像素，θ1,θ2分别为直线段两端点的极角。根据给定的鱼眼镜参数
Figure BDA00029477637000000614
及鱼眼成像模型计算得到
Figure BDA0002947763700000065
在鱼眼图像的扭曲直线(椭圆弧)
Figure BDA0002947763700000064
及立方盒展开图像上的纠正直线
Figure BDA0002947763700000066
，其中：(un,vn)，(xn,yn)分别表示
Figure BDA0002947763700000067
上同一采样点在扭曲直线、纠正直线上的坐标，N为采样点个数。
S103、将所述样本集中的扭曲直线输入标定卷积神经网络中进行直线纠正和参数估计，得到鱼眼镜头参数。
具体的，假定已检测得到鱼眼图像上的扭曲直线
Figure BDA0002947763700000068
并以之为输入，本发明构建结构如图4所示的卷积神经网络FisheyeCalNet用于实现鱼眼镜头参数的完整估计，主要包含直线纠正、参数估计两个模块：利用生成的样本集在设计的FisheyeCalNet网络上进行训练。先利用U-net网络先将扭曲直线纠正，然后再利用ResNet网络将扭曲直线和纠正直线联合输入，估计出鱼眼相机的参数。前者以扭曲直线
Figure BDA0002947763700000069
(采样点)为输入，输出纠正直线
Figure BDA00029477637000000610
(采样点)；后者则以
Figure BDA00029477637000000612
为联合输入，输出两者关联的鱼眼镜头内部参数
Figure BDA00029477637000000611
进一步的，可利用标定参数对鱼眼图像进行去失真(平面透视)纠正，具体为：训练完成标定卷积神经网络之后，针对实际获取的鱼眼图像，对该图像中提取出的扭曲直线进行直线纠正以获得纠正直线，并将扭曲直线和对应的纠正直线联合进行参数估计，最终估计出实际鱼眼镜头的参数。
本文直线校正模块输入为表征待纠正直线段首尾相接的坐标流，输出为纠正后直线段对应位置坐标。受U-Net网络模型对应尺度跳跃连接启发，本发明直线纠正模块网络结构如图5所示，利用跳跃连接和高维空间映射特性以充分融合下采样、上采样卷积操作提取的直线几何位置、语义信息。首先采用3×2的非对称卷积核(1×1填充，1×1步长)提取鱼眼图像扭曲直线所在位置的畸变特性；接着加入批规范化(BatchNormalization，BN)层并后接一个ReLU，加快网络训练的同时抑制过拟合学习；每个下采样阶段包含两个非对称卷积层，通道数扩展1倍，坐标流长度减半，空间维度增加2维，在学习同一直线坐标相关性的同时将数据映射到高维空间，以尽可能保证球面投影空间关系的稳定性。
本方法鱼眼镜头参数估计模块结构如图6所示，由深度卷积特征提取层和决策层组成，并以鱼眼图像扭曲直线及其纠正直线的二维采样点坐标流(ui,vi,xi,yi)为输入数据。首先在特征提取层以卷积核2×1、步幅2×1的卷积操作及最大池化处理初步提取数据特征并改变数据尺寸，接下来直接选用ResNet50的layer1、layer2作为深度可分离卷积残差块结构并串联获得高度抽象的数据特征。决策层首先实施卷积核3×3、步长2×1、填充为1的连续卷积操作，在不弱化残差网络特征提取性能情况下改变网络通道数，后接卷积核2×1、步长2×1、填充1×0的非对称卷积操作以有效减少参数量并防止过拟合，最后通过全连接回归计算得到鱼眼镜头参数。
有益效果
1、构建了一个卷积神经网络FisheyeCalNet用于鱼眼镜头参数的完整估计，该网络充分利用球面投影成像、鱼眼图像立方盒展开几何先验进行训练学习并包含鱼眼图像直线纠正、鱼眼镜头参数估计两个模块；
2、基于球面投影下立方盒展开对鱼眼图像的五区域划分，巧妙将鱼眼图像不同区域的畸变几何先验引入直线纠正模块，通过对鱼眼图像五区域与其纠正区域间直线映射关系的联合学习来获得鱼眼成像内在球面投影空间关系，从而有利于鱼眼镜头参数的精确估计；
3.提出了一种新的数据集生成方式，根据球面投影下立方盒与鱼眼图像间的空间坐标映射关系自动生成包含扭曲/纠正直线、鱼眼镜头内部参数的样本集，不仅避免了传统CCN训练学习所需的大量样本标注工作，且由于侧重于从直线所在像素的坐标位置信息中学习明确的场景几何，并不涉像素光谱信息，设计网络将具有良好的场景迁移学习能力，该估计参数下鱼眼图像不同区域平面透视纠正效果稳健、精度高，直线透视特性保持良好，总体上优于现有的深度学习鱼眼标定算法，对于具有大量直线的人工场景具有较好的应用价值。
本发明的一种基于卷积神经网络的鱼眼镜头标定方法，获取空间坐标系下任一空间点，并对所述空间点进行多个阶段的投影变换，构建对应的鱼眼成像模型；基于鱼眼镜头等效焦距构建立方盒，并结合所述鱼眼成像模型构建样本集，同时以文件方式对所述样本集进行管理；将所述样本集中的扭曲直线输入标定卷积神经网络中进行直线纠正和参数估计，得到鱼眼镜头参数；结合球面透视投影成像模型及鱼眼图像立方盒展开几何先验构建标定卷积神经网络，从直线特征中学习出明确的场景几何用于实现鱼眼镜头参数的完整、准确估计，并具有良好的场景迁移学习能力；该估计参数下鱼眼图像不同区域平面透视纠正效果稳健、精度高，直线透视特性保持良好，总体上优于现有的深度学习鱼眼标定算法，对于具有大量直线的人工场景具有较好的应用价值。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (7)

1.一种基于卷积神经网络的鱼眼镜头标定方法，其特征在于，包括以下步骤：
获取空间坐标系下任一空间点，并对所述空间点进行多个阶段的投影变换，构建对应的鱼眼成像模型；
基于鱼眼镜头等效焦距构建立方盒，并结合所述鱼眼成像模型构建样本集，同时以文件方式对所述样本集进行管理；
将所述样本集中的扭曲直线输入标定卷积神经网络中进行直线纠正和参数估计，得到鱼眼镜头参数。
2.如权利要求1所述的基于卷积神经网络的鱼眼镜头标定方法，其特征在于，将所述样本集中的扭曲直线输入标定卷积神经网络中进行直线纠正和参数估计，得到鱼眼镜头参数之后，所述方法还包括：
利用所述鱼眼镜头参数对获取的鱼眼图像进行失真纠正。
3.如权利要求1所述的基于卷积神经网络的鱼眼镜头标定方法，其特征在于，基于鱼眼镜头等效焦距构建立方盒，并结合所述鱼眼成像模型构建样本集，同时以文件方式对所述样本集进行管理，包括：
将鱼眼镜头等效焦距作为投影球面半径，得到对应的投影半球；
将获取的鱼眼图像像素沿构像光线逆映射到所述投影半球外接立方盒的5个面上，并将所述立方盒展开，得到平面图像；
基于所述平面图像，结合所述鱼眼成像模型构建样本集，并以文件方式对所述样本集进行管理。
4.如权利要求1所述的基于卷积神经网络的鱼眼镜头标定方法，其特征在于，将所述样本集中的扭曲直线输入标定卷积神经网络中进行直线纠正和参数估计，得到鱼眼镜头参数之前，所述方法还包括：
基于球面投影下的鱼眼成像模型、空间直线投影椭圆几何、立方盒展开及对应的畸变几何先验关系构建对应的标定卷积神经网络，并将所述样本集输入所述标定卷积神经网络中进行训练。
5.如权利要求4所述的基于卷积神经网络的鱼眼镜头标定方法，其特征在于，将所述样本集中的扭曲直线输入标定卷积神经网络中进行直线纠正和参数估计，得到鱼眼镜头参数，包括：
将所述样本集中的扭曲直线输入所述标定卷积神经网络中直线纠正，得到对应的纠正直线；
将所述扭曲直线和所述纠正直线联合输入所述标定卷积神经网络中进行参数估计，得到对应的鱼眼镜头参数。
6.如权利要求5所述的基于卷积神经网络的鱼眼镜头标定方法，其特征在于，将所述样本集中的扭曲直线输入训练后的所述标定卷积神经网络中直线纠正，得到对应的纠正直线，包括：
利用3×2的非对称卷积核提取所述扭曲直线所在位置的畸变特性；
将所述畸变特性依次经过批规范化层和一个ReLU函数层，并经过两个非对称卷积层的下采样后，得到对应的纠正直线。
7.如权利要求5所述的基于卷积神经网络的鱼眼镜头标定方法，其特征在于，将所述扭曲直线和所述纠正直线联合输入训练后的所述标定卷积神经网络中进行参数估计，得到对应的鱼眼镜头参数，包括：
将联合输入的所述扭曲直线和所述纠正直线进行特征提取和数据尺寸的改变；
将提取出来的特征数据进行多次的连续卷积和非对称卷积处理，并通过全连接回归计算得到所述鱼眼镜头参数。
CN202110199944.6A 2021-02-22 2021-02-22 一种基于卷积神经网络的鱼眼镜头标定方法 Active CN112927304B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110199944.6A CN112927304B (zh) 2021-02-22 2021-02-22 一种基于卷积神经网络的鱼眼镜头标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110199944.6A CN112927304B (zh) 2021-02-22 2021-02-22 一种基于卷积神经网络的鱼眼镜头标定方法

Publications (2)

Publication Number Publication Date
CN112927304A true CN112927304A (zh) 2021-06-08
CN112927304B CN112927304B (zh) 2022-08-19

Family

ID=76170220

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110199944.6A Active CN112927304B (zh) 2021-02-22 2021-02-22 一种基于卷积神经网络的鱼眼镜头标定方法

Country Status (1)

Country Link
CN (1) CN112927304B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115797375A (zh) * 2023-02-06 2023-03-14 厦门农芯数字科技有限公司 基于鱼眼图像实现多组标签图像的生成方法、装置及设备

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101726855A (zh) * 2009-11-13 2010-06-09 河北工业大学 基于立方体投影对鱼眼图像畸变校正方法
CN102663734A (zh) * 2012-03-15 2012-09-12 天津理工大学 鱼眼镜头的标定及鱼眼图像的畸变矫正方法
CN104657103A (zh) * 2015-03-16 2015-05-27 哈尔滨工业大学 基于深度摄像机的手持cave投影系统
CN106204496A (zh) * 2016-07-18 2016-12-07 北京奇虎科技有限公司 一种云台摄像头的鱼眼图像处理方法及装置
CN107274341A (zh) * 2017-05-18 2017-10-20 合肥工业大学 基于固定拼接参数的快速双目鱼眼全景图像拼接方法
CN108053373A (zh) * 2017-12-05 2018-05-18 长沙全度影像科技有限公司 一种基于深度学习模型鱼眼图像校正方法
CN108053385A (zh) * 2018-01-24 2018-05-18 桂林电子科技大学 一种鱼眼视频实时矫正系统及方法
CN108053376A (zh) * 2017-12-08 2018-05-18 长沙全度影像科技有限公司 一种语义分割信息指导深度学习鱼眼图像校正方法
CN108638999A (zh) * 2018-05-16 2018-10-12 浙江零跑科技有限公司 一种基于360度环视输入的防碰撞预警系统及方法
US20190122378A1 (en) * 2017-04-17 2019-04-25 The United States Of America, As Represented By The Secretary Of The Navy Apparatuses and methods for machine vision systems including creation of a point cloud model and/or three dimensional model based on multiple images from different perspectives and combination of depth cues from camera motion and defocus with various applications including navigation systems, and pattern matching systems as well as estimating relative blur between images for use in depth from defocus or autofocusing applications
CN109859276A (zh) * 2019-01-21 2019-06-07 桂林电子科技大学 一种鱼眼镜头内部参数自标定方法
US20190236805A1 (en) * 2018-01-26 2019-08-01 Shanghai Xiaoyi Technology Co., Ltd. Method and device for calibrating dual fisheye lens panoramic camera, and storage medium and terminal thereof
CN110197466A (zh) * 2019-05-30 2019-09-03 河海大学常州校区 一种广角鱼眼图像矫正方法
CN111071152A (zh) * 2018-10-19 2020-04-28 图森有限公司 一种鱼眼图像处理系统和方法
US20200267310A1 (en) * 2020-05-07 2020-08-20 Intel Corporation Single image ultra-wide fisheye camera calibration via deep learning

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101726855A (zh) * 2009-11-13 2010-06-09 河北工业大学 基于立方体投影对鱼眼图像畸变校正方法
CN102663734A (zh) * 2012-03-15 2012-09-12 天津理工大学 鱼眼镜头的标定及鱼眼图像的畸变矫正方法
CN104657103A (zh) * 2015-03-16 2015-05-27 哈尔滨工业大学 基于深度摄像机的手持cave投影系统
CN106204496A (zh) * 2016-07-18 2016-12-07 北京奇虎科技有限公司 一种云台摄像头的鱼眼图像处理方法及装置
US20190122378A1 (en) * 2017-04-17 2019-04-25 The United States Of America, As Represented By The Secretary Of The Navy Apparatuses and methods for machine vision systems including creation of a point cloud model and/or three dimensional model based on multiple images from different perspectives and combination of depth cues from camera motion and defocus with various applications including navigation systems, and pattern matching systems as well as estimating relative blur between images for use in depth from defocus or autofocusing applications
CN107274341A (zh) * 2017-05-18 2017-10-20 合肥工业大学 基于固定拼接参数的快速双目鱼眼全景图像拼接方法
CN108053373A (zh) * 2017-12-05 2018-05-18 长沙全度影像科技有限公司 一种基于深度学习模型鱼眼图像校正方法
CN108053376A (zh) * 2017-12-08 2018-05-18 长沙全度影像科技有限公司 一种语义分割信息指导深度学习鱼眼图像校正方法
CN108053385A (zh) * 2018-01-24 2018-05-18 桂林电子科技大学 一种鱼眼视频实时矫正系统及方法
US20190236805A1 (en) * 2018-01-26 2019-08-01 Shanghai Xiaoyi Technology Co., Ltd. Method and device for calibrating dual fisheye lens panoramic camera, and storage medium and terminal thereof
CN108638999A (zh) * 2018-05-16 2018-10-12 浙江零跑科技有限公司 一种基于360度环视输入的防碰撞预警系统及方法
CN111071152A (zh) * 2018-10-19 2020-04-28 图森有限公司 一种鱼眼图像处理系统和方法
CN109859276A (zh) * 2019-01-21 2019-06-07 桂林电子科技大学 一种鱼眼镜头内部参数自标定方法
CN110197466A (zh) * 2019-05-30 2019-09-03 河海大学常州校区 一种广角鱼眼图像矫正方法
US20200267310A1 (en) * 2020-05-07 2020-08-20 Intel Corporation Single image ultra-wide fisheye camera calibration via deep learning

Non-Patent Citations (12)

* Cited by examiner, † Cited by third party
Title
TANGWEI LI等: "FisheyeDet: A Self-Study and Contour-Based Object Detector in Fisheye Images", 《IEEE ACCESS》, vol. 8, 29 April 2020 (2020-04-29), pages 71739 - 71751, XP011785657, DOI: 10.1109/ACCESS.2020.2987868 *
XIAOQING YIN等: "FishEyeRecNet: A Multi-Context Collaborative Deep Network for Fisheye Image Rectification", 《ARXIV:1804.04784V1》, 13 April 2018 (2018-04-13), pages 1 - 16 *
ZHUCUN XUE等: "Learning to Calibrate Straight Lines for Fisheye Image Rectification", 《CVPR》, 1 May 2019 (2019-05-01), pages 1643 - 1651 *
何志东等: "一种基于拼接算法的鱼眼图像畸变校正方法", 《现代计算机》 *
何志东等: "一种基于拼接算法的鱼眼图像畸变校正方法", 《现代计算机》, no. 03, 25 January 2020 (2020-01-25), pages 57 - 62 *
向鹏等: "复杂环境下基于深度神经网络的摄像机标定", 《激光与光电子学进展》, vol. 56, no. 11, 30 June 2019 (2019-06-30), pages 1 - 9 *
吴军等: "多几何约束下的鱼眼相机单像高精度标定", 《光学学报》, vol. 38, no. 11, 12 June 2018 (2018-06-12), pages 1 - 12 *
孙贝贝: "基于深度学习的鱼眼图像目标检测研究", 《中国优秀硕士学位论文全文数据库 工程科技II辑》 *
孙贝贝: "基于深度学习的鱼眼图像目标检测研究", 《中国优秀硕士学位论文全文数据库 工程科技II辑》, no. 2021, 15 February 2021 (2021-02-15), pages 028 - 485 *
朱小普: "安卓环境下的鱼眼视频流实时矫正方法设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 2019, 15 December 2019 (2019-12-15), pages 138 - 237 *
潘志昊: "基于深度学习的鱼眼畸变图像校正方法", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 2019, 15 September 2019 (2019-09-15), pages 138 - 1059 *
黄明益等: "理想投影椭圆约束下的鱼眼镜头内部参数标定", 《中国图象图形学报》, vol. 24, no. 11, 30 November 2019 (2019-11-30), pages 1972 - 1984 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115797375A (zh) * 2023-02-06 2023-03-14 厦门农芯数字科技有限公司 基于鱼眼图像实现多组标签图像的生成方法、装置及设备

Also Published As

Publication number Publication date
CN112927304B (zh) 2022-08-19

Similar Documents

Publication Publication Date Title
CN111325797B (zh) 一种基于自监督学习的位姿估计方法
CN113657388B (zh) 一种融合图像超分辨率重建的图像语义分割方法
CN110570371A (zh) 一种基于多尺度残差学习的图像去雾方法
CN102156969B (zh) 图像纠偏处理方法
US20230206603A1 (en) High-precision point cloud completion method based on deep learning and device thereof
CN111860695A (zh) 一种数据融合、目标检测方法、装置及设备
CN113313732A (zh) 一种基于自监督学习的前视场景深度估计方法
CN112767467B (zh) 一种基于自监督深度学习的双图深度估计方法
CN112163990B (zh) 360度图像的显著性预测方法及系统
CN112561807B (zh) 一种基于卷积神经网络的端到端径向畸变校正方法
CN113781659A (zh) 一种三维重建方法、装置、电子设备及可读存储介质
CN112509106A (zh) 文档图片展平方法、装置以及设备
CN112767486A (zh) 基于深度卷积神经网络的单目6d姿态估计方法及装置
CN115330935A (zh) 一种基于深度学习的三维重建方法及系统
CN117315169A (zh) 基于深度学习多视密集匹配的实景三维模型重建方法和系统
CN115456896A (zh) 面向顶视鱼眼视觉任务的旋转卷积方法
CN115439669A (zh) 基于深度学习的特征点检测网络及跨分辨率图像匹配方法
CN116311218A (zh) 基于自注意力特征融合的带噪植株点云语义分割方法及系统
CN112927304B (zh) 一种基于卷积神经网络的鱼眼镜头标定方法
CN109859263B (zh) 一种基于鱼眼镜头的宽视角定位方法
WO2023062992A1 (ja) 学習装置、学習方法、学習プログラム、カメラパラメータ算出装置、カメラパラメータ算出方法及びカメラパラメータ算出プログラム
CN116801091A (zh) 一种飞行视频生成方法、装置、设备及介质
US11967131B2 (en) System for processing an image, method for processing the image, method for training a neural network for processing the image, and recording medium for executing the method
WO2023019478A1 (zh) 一种三维重建方法、装置、电子设备及可读存储介质
CN115410014A (zh) 一种鱼眼图像的自监督特征点匹配方法及其存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230117

Address after: No. 1-6/F, Building/Unit J9, Zhuoer Enterprise Headquarters, No. 18 Julong Avenue, Panlongcheng Economic Development Zone, Huangpi District, Wuhan, Hubei 430312

Patentee after: Wuhan Tianyu elevator industry Limited by Share Ltd.

Address before: 541004 1 Jinji Road, Qixing District, Guilin, the Guangxi Zhuang Autonomous Region

Patentee before: GUILIN University OF ELECTRONIC TECHNOLOGY