CN111275768A - 一种基于卷积神经网络的镜头标定方法及其系统 - Google Patents
一种基于卷积神经网络的镜头标定方法及其系统 Download PDFInfo
- Publication number
- CN111275768A CN111275768A CN201911263559.2A CN201911263559A CN111275768A CN 111275768 A CN111275768 A CN 111275768A CN 201911263559 A CN201911263559 A CN 201911263559A CN 111275768 A CN111275768 A CN 111275768A
- Authority
- CN
- China
- Prior art keywords
- neural network
- convolutional neural
- lens
- network model
- image sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 154
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000012545 processing Methods 0.000 claims abstract description 61
- 238000012549 training Methods 0.000 claims description 80
- 238000012360 testing method Methods 0.000 claims description 68
- 230000009466 transformation Effects 0.000 claims description 33
- 230000008569 process Effects 0.000 claims description 16
- 238000012795 verification Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 8
- 238000003062 neural network model Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 abstract description 7
- 238000012805 post-processing Methods 0.000 abstract description 4
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 230000033001 locomotion Effects 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000003068 static effect Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 238000000844 transformation Methods 0.000 description 6
- 238000010276 construction Methods 0.000 description 4
- 238000013526 transfer learning Methods 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 238000005265 energy consumption Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000005577 local transmission Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种基于卷积神经网络的镜头标定方法，应用于镜头标定系统中，方法包括：获取待标定镜头所采集的图像序列，并对所述图像序列进行处理，生成输入图像序列；将所述输入图像序列输入到卷积神经网络模型的输入层，且由所述卷积神经网络模型的输出层输出角点初步位置和类别信息；根据所述角点初步位置和类别信息，对待标定镜头进行标定。其有意效果在于：解决复杂光影标定场景下的镜头标定，适用前/后装标定市场的需求；结合车辆的canbus数据，解决车辆运行状态下标定，标定场地面积小的问题；利用传统的预/后处理算法，解决CNN模型在小数据样本下，精度不高的问题。
Description
技术领域
本申请涉及图像技术领域，特别涉及一种基于卷积神经网络的镜头标定方法及其系统。
背景技术
随着车载电子的快速发展，镜头等可视化文件越来越多出现在我们生活中，镜头标定算法应用场景也越来越多。因为在镜头量产标定的过程中，由于模板的长期使用会造成损坏、污染，不确定的自然光影及周边移动物体运动引入光影的干扰等复杂多样的场景产生了大量特征各异的数据，以至于基于少量数据的传统标定方法的性能进入平台期。在现有技术中，主要通过以下两种方案对镜头进行标定：
方案一，传统算法标定，一般需要在特定场地标定，已知的光照环境下，把已知的标定模板铺设或者刷制或者投影到特定的平面完成车载镜头的标定，此方案标定简单，运算量小，算法特征易理解方便算法模型快速的更新及调优，数据量小，准确度高。但对客观条件要求苛刻，已知的模板出现未知的板污染损坏时，会造成标定算法的失效；当出现未知光影的干涉，会造成标定算法的失效。同时为了确保标定精度，标定模板对覆盖前后左右四个角落最小区域是有要求，从而造成标定场地比较大。
方案二，基于CNN的标定
倾向于对模型参数进行更新的CNN标定，不涉及到复杂的特征工程，迁移学习的特性使得此方案适应性强，易于转换。通过使用更多的数据，利用CNN对高维数据拟合的优势，快速的修复算法模型，提高算法的准确度。但其算法精度对训练数据量有依赖，高精度的结果需要带标签的大量数据，小批量数据，不适合此方法。对运算平台有要求，大的数据量训练，需要高性能的运算平台。
发明内容
本申请为了解决上述技术问题，提供了一种基于卷积神经网络的镜头标定方法，应用于镜头标定系统中，所述方法包括：
获取待标定镜头所采集的图像序列，并对所述图像序列进行处理，生成输入图像序列；
将所述输入图像序列输入到卷积神经网络模型的输入层，且由所述卷积神经网络模型的输出层输出角点初步位置和类别信息；
根据所述角点初步位置和类别信息，对待标定镜头进行标定。
可选地，所述对所述图像序列，包括正视投影处理或者归一化处理。
可选地，所述卷积神经网络模型通过以下步骤进行训练：
通过变换标定场景的不同干扰因子，获取待标定镜头的多个原始图像序列；
对所述原始图像序列进行处理，生成训练数据集和测试数据集；
根据所述训练数据集，对所述卷积神经网络模型进行训练；
根据所述测试数据集，对所述卷积神经网络模型的精度进行测试。
可选地，所述对所述原始图像序列进行处理，生成训练数据集和测试数据集，包括：
对所述原始图像序列进行正视投影处理或者归一化处理；并随机选择25％处理后的原始图像序列作为测试数据；且将剩余的75％的处理后的原始图像序列进行标记，生成训练数据集。其中，测试数据集25％和训练数据集75％的比例可以根据需要进行调节。
可选地，所述将剩余的75％的处理后的原始图像序列进行标记，生成训练数据集，包括：
将标注后的原始图像序列，储存为卷积神经网络模型要求的数据格式，生成训练数据集。
可选地，所述根据所述训练数据集，对所述卷积神经网络模型进行训练，包括：
在卷积神经网络模型的卷积层，通过设置优化滤波卷积核参数，获取所述训练数据集的图像特征；
在卷积神经网络模型的池化层，通过在区域内取极大值，对所述图像特征进行选择和过滤；
在卷积神经网络模型的全链接层，通过随机地删除隐藏层的部分单元，对所述图像特征最小化拟合。
可选地，所述根据所述测试数据集，对所述卷积神经网络模型的精度进行测试，包括：
将所述测试数据集输入到所述卷积神经网络，且通过所述卷积神经网络输出角度点位置；
通过计算所述角点的位置和处理后的原始图像序列的精度，评价所述卷积神经网络的精度。
可选地，所述在将所述输入图像序列输入到卷积神经网络模型的输入层，且由所述卷积神经网络模型的输出层输出角点初步位置和类别信息之前，还包括：
从所述输入图像序列随机选取25％作为测试数据，选取75％的输入图像序列进行标记，生成训练数据；其中，测试数据集25％和训练数据集75％的比例可以根据需要进行调节。
将所述测试数据、训练数据进行储存，且通过测试数据验证当前卷积神经网络模型的精确度。
可选地，所述将所述测试数据、训练数据进行储存，且通过测试数据验证当前卷积神经网络模型的精确度，包括：
将所述测试数据输入到卷积神经网络模型的输入层，且由所述卷积神经网络模型的输出层输出验证参数；
若所述验证参数符合储存在所述镜头标定系统的预设值，则继续使用当前卷积神经网络模型对所述输入图像序列进行处理；
否则通过在先储存的测试数据、训练数据，对当前卷积神经网络进行重新训练。
可选地，所述根据所述角点初步位置和类别信息，对待标定镜头进行标定，包括：
对所述角点初步位置信息进行处理，获取角点图像坐标；
对模板图像进行处理，获取实际物理坐标；
根据所述角点图像坐标和实际物理坐标，获取变换关系式；
根据所述变换关系式，对镜头进行标定。
可选地，对所述角点初步位置和类别信息进行处理，获取角点图像坐标，包括：所述根据角点方向向量和灰度梯度方向垂直性质，对所述角点初步位置信息进行定位，其中，定位公式为
对角点初步位置信息进行定位；其中，N为所述角点初步位置信息的邻域区域，p为邻域区域内的角点，gp为角点p的方向梯度值。
可选地，所述对模板图像进行处理，获取实际物理坐标，包括：
通过图像处理程序根据所述模板图像生成实际物理坐标。
可选地，所述对模板图像进行处理，获取实际物理坐标，包括：
根据角点方向向量和灰度梯度方向垂直性质，对所述模板图像进行定位，生成实际物理坐标；其中，定位公式为
对模板图像进行定位；其中，N 为所述模板图像的邻域区域，p为邻域区域内的角点，gp为角点p的方向梯度值。
可选地，在动态标定中，所述对模板图像进行处理，获取实际物理坐标，包括：
获取待测镜头所在的移动物体的速度v0和转角θ0，当移动物体在时间间隔Δt，从A0(0,0)移动到A1(x1,y1)，通过以下公式求取角点图像坐标：
其中，L轴距为移动物体的物理中心连接线。
可选地，在动态标定获取模板角点物理坐标的过程中，采用卡尔曼滤波器对角点坐标实施跟踪，可以去除测量过程中误差的干扰。
可选地，所述根据所述角点图像坐标和实际物理坐标，获取变换关系式，包括：
根据变换公式：
生成变换关系式：
其中，P1I(x1,y1)、P2I(x2,y2)、…、PnI(xn,yn)为角点图像坐标，P1w(u1w,v1w)、P2w(u2w,v2w)、…、Pnw(unw,vnw)为实际物理坐标。
此外，本申请还提供了一种基于卷积神经网络的镜头标定系统，其包括上述的基于卷积神经网络的镜头标定方案。
本申请的一种基于卷积神经网络的镜头标定方法及其系统，其有益效果在于：
本申请首先对图像序列进行处理，生成输入图像序列，将输入图像序列输入到卷积神经网络模型，且通过卷积神经网络模型输出角点初步位置和类别信息；并根据角点初步位置和类别信息，对待标定镜头进行标定。本申请通过卷积神经网络对高维图像特征自动提取和数据拟合的优势及迁移学习特性使的此标定方案对不同标定场景、标定模板适应强，解决了方案一对客观标定条件要求苛刻的限制；同时结合传统的预处理算法，在数据量有限的情况下及摄像机运动未知的情况下，保证标定高精度，解决了方案二，算法精度对训练数据数量级的依赖。同时，解决复杂光影标定场景下的镜头标定，适用前/后装标定市场的需求；结合车辆的canbus数据，解决车辆运行状态下标定，-标定场地的面积-小的问题；利用传统的预/后处理算法，解决CNN 模型在小数据样本下，精度不高的问题。此外，本申请使用场景不限于车载环境，也可运用在其他非车载环境中，对镜头进行标定，如可运用在无人机的标定、移动机器人的标定或者其他需进行镜头标定的环境下的标定，进一步提高了本申请技术方案的适用性。
附图说明
图1为本申请实施例的镜头标定方法流程图；
图2为本申请实施例的车辆进行静态标定时在标定场景的示意图；
图3为本申请实施例的车辆进行静态标定时所采集的图像序列传递示意图；
图4为本申请实施例的车辆进行静态标定时对采集的原始图像序列进行正视投影的示意图；
图5为本申请实施例的车辆进行静态标定时对投影图像序列进行标注示意图；
图6为本申请实施例的车辆进行动态标定时，车辆移动示意图；
图7为本申请实施例的车辆进行动态标定时，车辆移动所采集的图像序列传递示意图；
图8为本申请实施例的车辆进行镜头标定时，对采集的视频序列进行正视投影示意图。
具体实施方式
下面结合附图对本申请的较佳实施例进行详细阐述，以使本申请的优点和特征更易被本领域技术人员理解，从而对本申请的保护范围作出更为清楚的界定。
在如图1所示的一种实施例中，本申请提供了一种基于卷积神经网络的镜头标定方法，应用于镜头标定系统中，方法包括：
100，获取待标定镜头所采集的图像序列，并对所述图像序列进行处理，生成输入图像序列；在步骤100中，先将待标定镜头所在的物体移动到标定场景，通过镜头采集待标定镜头所在的物体周围的图像；并对图像序列进行处理。其中，并对图像序列进行处理包括正视投影处理或者归一化处理，使图像序列转化为输入图像序列。在本实施例中，图像序列和输入图像序列通过镜头标定系统，储存到本地储存器和/或传输到后台服务器中；参见图3或图7。
在本实施例的一种实施方式中，可将待标定镜头所在的移动物体移动到特定的场景下，参见图2，如图2所示，待标定镜头所在移动物体为车辆，在车辆周围设置有包括多个干扰因子在内的障碍物，其中，干扰因子可以是模板的长期使用会造成损坏、污染，不确定的自然光影及周边移动物体运动引入光影的干扰等，待标定镜头所在的移动物体移动到四周设置有干扰因子的环境中，通过待标定镜头采集包括周围干扰因子信息的环境的图像序列，即图像数据集；通过云传输平台或者本地传输平台传递到后台运算平台。在图3中，不同干扰因子下的车辆所获取的的原始图像序列分别为车辆1，...，车辆n的图像序列。通过获取静态的图像序列，对图像序列进行静态标定。对所述原始图像序列进行处理包括对原始图像进行正视投影处理或者归一化处理，在广角镜头中一般采用正视投影处理，对原始图像序列进行正视投影处理，包括对单一图像进行处理或者对视频下的每帧图像进行处理；在待标定镜头所采集原始图像序列，进行正视面的投影，即待标定镜头所在拍摄的正方向投影；获得输入图像序列；参见图4；其中，图4为待标定镜头静态标定所采集的原始图像序列的正视投影图像；在窄角镜头中一般采用归一化进行处理，通过一系列变换，即利用图像的不变矩寻找一组参数使其能够消除其他变换函数对图像变换的影响，将待处理的原始图像转换成相应的唯一标准形式，该标准形式图像对平移、旋转、缩放等仿射变换具有不变特性，以得到相同形式的标准图像。
在本实施例的另一种实施方式中，可获取待标定镜头所在的移动物体在移动过程中的采集的图像序列，即视频图像序列。参见图6，待标定镜头所在移动物体为车辆，在车辆周围设置有包括多个干扰因子在内的障碍物，其中，干扰因子可以是模板的长期使用会造成损坏、污染，不确定的自然光影及周边移动物体运动引入光影的干扰等。先将车辆开到特定位置，如图6 中的A0位置。启动待标定车辆，如待标定车辆从A0处慢速运动到A1处。获得车辆运动过程的原始图像序列，即视频序列及每帧图像序列对应的canbus数据，图像数据及canbus数据可以下载转存，也可以通过无线传输到云端运算平台；参见图7。通过获取动态的图像序列，对图像序列进行动态标定。对所述原始图像序列进行处理包括对原始图像进行正视投影处理或者归一化处理，在广角镜头中一般采用正视投影处理，对原始图像序列进行正视投影处理，包括对单一图像进行处理或者对视频下的每帧图像进行处理；在待标定镜头所采集原始图像序列，进行正视面的投影，即待标定镜头所在拍摄的正方向投影；获得输入图像序列；参见图8；其中，图8为待标定镜头动态标定所采集的原始图像序列的正视投影图像。在窄角镜头中一般采用归一化进行处理，通过一系列变换，即利用图像的不变矩寻找一组参数使其能够消除其他变换函数对图像变换的影响，将待处理的原始图像转换成相应的唯一标准形式，该标准形式图像对平移、旋转、缩放等仿射变换具有不变特性，以得到相同形式的标准图像。
200，将所述输入图像序列输入到卷积神经网络模型的输入层，且由所述卷积神经网络模型的输出层输出角点初步位置和类别信息；在本实施例中，输入图像序列通过卷积神经网络模型进行计算，生成角点初步位置和类别信息。其中，卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络卷积神经网络具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类。在本实施例的一种实施方式中，卷积神经网络模型可以通过初始训练，即包括通过变换标定场景的不同干扰因子，获取待标定镜头的多个原始图像序列；对所述原始图像序列进行处理，生成训练数据集和测试数据集；根据所述训练数据集，对所述卷积神经网络模型进行训练；根据所述测试数据集，对所述卷积神经网络模型的精度进行测试等步骤对卷积神经网络模型进行初始训练。在本实施例的一种实施方式中，本申请的卷积神经网络模型还通过将每次标定的数据进行储存并对卷积神经网络模型进行更新，使卷积神经网络模型不断学习，以提高卷积神经网络模型的精确度。在本实施例的另一种实施方式中，本申请的卷积神经网络模型还可以在每次待标定镜头所采集的图像序列进行标定时，将图像序列转化成测试数据、训练数据、验证数据，通过验证数据验证当前卷积神经网络模型的精确度，若当前卷积神经网络模型的精确度不符合镜头标定系统的预设值时，对当前卷积神经网络模型的精确度进行更新；以减少计算量，降低计算能耗。
300，根据所述角点初步位置和类别信息，对待标定镜头进行标定；在步骤300中，包括根据角点方向向量和灰度梯度方向垂直性质，对角点初步位置信息进行定位，获取角点图像坐标；根据角点图像坐标和实际物理坐标，获取变换关系式；根据变换关系式，对镜头进行标定。本申请通过卷积神经网络获取角点初步位置和类别信息后，通过对其处理可实现对镜头进行标定。
在本实施例中，本申请首先对图像序列进行处理，生成输入图像序列，将输入图像序列输入到卷积神经网络模型，且通过卷积神经网络模型输出角点初步位置和类别信息；并根据角点初步位置和类别信息，对待标定镜头进行标定。本申请通过卷积神经网络对高维图像特征自动提取和数据拟合的优势及迁移学习特性使的此标定方案对不同标定场景、标定模板适应强，解决了方案一对客观标定条件要求苛刻的限制；同时结合传统的预处理算法，在数据量有限的情况下及摄像机运动未知的情况下，保证标定高精度，解决了方案二，算法精度对训练数据数量级的依赖。同时，解决复杂光影标定场景下的镜头标定，适用前/后装标定市场的需求；结合车辆的canbus数据，解决车辆运行状态下标定，标定场地的面积小的问题；利用传统的预/ 后处理算法，解决CNN模型，即卷积神经网络模型，在小数据样本下，精度不高的问题。此外，本申请使用场景不限于车载环境，也可运用在其他非车载环境中，对镜头进行标定，如可运用在无人机的标定、移动机器人的标定或者其他需进行镜头标定的环境下的标定，进一步提高了本申请技术方案的适用性。
在一些实施例中，卷积神经网络模型通过以下步骤进行训练：
通过变换标定场景的不同干扰因子，获取待标定镜头的多个原始图像序列；在本实施例中，先将待标定镜头所在的物体移动到标定场景进行标定，并通过不断变换标定场景的干扰因子，以获取不同干扰因子下的原始图像序列。其中，原始图像序列可以是单张照片的图像序列，也可以是具有多个单一帧率下的图像组成的视频序列。干扰因子阻挡待标定镜头所在的物体移动的阻挡物；当待标定镜头所在的物体为车辆时，干扰因子可以是停车桩、停车杆、墙体等物体；在本实施例中，干扰因子为可进行移动的停车桩；通过待标定镜头对带有干扰因子的图像进行采集；并将采集到的原始图像序列；储存到本地储存器和/或传输到后台服务器中。
对所述原始图像序列进行处理，生成训练数据集和测试数据集；在本实施例中，对所述原始图像序列进行处理，包括对原始图像进行正视投影处理或者归一化处理，在广角镜头中一般采用正视投影处理，对原始图像序列进行正视投影处理，包括对单一图像进行处理或者对视频下的每帧图像进行处理；在待标定镜头所采集原始图像序列，进行正视面的投影，即待标定镜头所在拍摄的正方向投影；获得输入图像序列；在窄角镜头中一般采用归一化进行处理，通过一系列变换，即利用图像的不变矩寻找一组参数使其能够消除其他变换函数对图像变换的影响，将待处理的原始图像转换成相应的唯一标准形式，该标准形式图像对平移、旋转、缩放等仿射变换具有不变特性，以得到相同形式的标准图像。随机选择25％处理后的原始图像序列作为测试数据；且将剩余的75％的处理后的原始图像序列进行标记，生成训练数据集；其中，测试数据集和训练数据集的比例可以根据需要进行调节，在本实施例中，训练数据集用于模型的构建，测试数据集用于模型的准确度评估，所以训练数据集的选取的比例大于测试数据集的比例。另外，训练数据集还包括训练数据和验证数据，训练数据和验证数据同时输入到卷积神经网络模型的输入层，对卷积神经网络进行训练，训练数据用于模型的构建；验证数据，用于辅助模型的构建和优化，可以重复使用。
根据所述训练数据集，对所述卷积神经网络模型进行训练；在本实施例中，根据所述训练数据集，对所述卷积神经网络模型进行训练包括在卷积神经网络模型的卷积层，通过设置优化滤波卷积核参数，获取所述训练数据集的图像特征；在卷积神经网络模型的池化层，通过在区域内取极大值，对所述图像特征进行选择和过滤；在卷积神经网络模型的全链接层，通过随机地删除隐藏层的部分单元，对所述图像特征最小化拟合。完成对卷积神经网络模型进行训练。
根据所述测试数据集，对所述卷积神经网络模型的精度进行测试。在本实施例中，根据所述测试数据集，对所述卷积神经网络模型的精度进行测试，包括：将所述测试数据集输入到所述卷积神经网络，且通过所述卷积神经网络输出角度点位置；通过计算所述角点的位置和处理后的原始图像序列的精度，评价所述卷积神经网络的精度。以提高卷积神经网络模型的精度。
在一些实施例中，根据所述训练数据集，对所述卷积神经网络模型进行训练，包括：
在卷积神经网络模型的卷积层，通过设置优化滤波卷积核参数，获取训练数据集的图像特征；在本实施例中；卷积层的功能是对输入数据进行特征提取，其内部包含多个卷积核，组成卷积核的每个元素都对应一个权重系数和一个偏差量；使用ReLU作为激活函数，同时可以增强网络的泛化能力；以获取训练数据集的图像特征。
在卷积神经网络模型的池化层，通过在区域内取极大值，对图像特征进行选择和过滤；在本实施例中，在卷积层进行特征提取后，输出的特征图会被传递至池化层进行特征选择和信息过滤。池化层包含预设定的池化函数，其功能是将特征图中单个点的结果替换为其相邻区域的特征图统计量。池化层采用max pooling，在池化区域内取极大值；实现对图像特征进行选择和过滤。
在卷积神经网络模型的全链接层，通过随机地删除隐藏层的部分单元，对图像特征最小化拟合。在本实施例中，在全链接层中间采用dropout层，即随机地删除隐藏层的部分单元，用于防止过拟合。训练过程也可以采用L1/L2正则化进一步防止过拟合。可以修改最后FC层的输出，直接对角点坐标和类别做误差最小化拟合。完成对卷积神经网络的训练。
在一些实施例中，所述通过测试数据集对所述卷积神经网络模型的精度进行测试，包括：将所述测试数据集输入到所述卷积神经网络，且通过所述卷积神经网络输出角度点位置；通过计算所述角点的位置和处理后的原始图像序列的精度，评价所述卷积神经网络模型的精度。在本实施例中，通过对比测试数据集通过卷积神经网络输出的角度点位置与处理后的原始图像序列的坐标，对卷积神经网络模型进行评估；若评估结果不符合预设的结果，则放弃测试数据集对应的训练数据集对卷积神经网络的训练。
在一些实施例中，在将所述输入图像序列输入到卷积神经网络模型的输入层，且由所述卷积神经网络模型的输出层输出角点初步位置和类别信息之前，还包括：
从所述输入图像序列随机选取25％作为测试数据，选取75％的输入图像序列进行标记，生成训练数据；在本实施例中，测试数据和训练数据的比例可以根据需要进行调节。训练数据集用于模型的构建，测试数据集用于模型的准确度评估，所以训练数据集的选取的比例大于测试数据集的比例。另外，训练数据同时输入到卷积神经网络模型的输入层，对卷积神经网络进行训练，训练数据用于模型的构建；验证数据，用于辅助模型的构建和优化，可以重复使用。
将所述测试数据、训练数据进行储存，且通过测试数据验证当前卷积神经网络模型的精确度。在本实施例中，在每次待标定镜头所采集的图像序列进行标定时，将图像序列转化成测试数据、训练数据，通过测试数据验证当前卷积神经网络模型的精确度，若当前卷积神经网络模型的精确度不符合镜头标定系统的预设值时，对当前卷积神经网络模型的精确度进行更新；以减少计算量，降低计算能耗。
所述将所述测试数据、训练数据进行储存，且通过测试数据验证当前卷积神经网络模型的精确度，包括：
将所述验证数据输入到卷积神经网络模型的输入层，且由所述卷积神经网络模型的输出层输出验证参数；若所述验证参数符合储存在所述镜头标定系统的预设值，则继续使用当前卷积神经网络模型对所述输入图像序列进行处理；否则通过在先储存的测试数据、训练数据，对当前卷积神经网络进行重新训练。在本实施例中，在每次待标定镜头所采集的图像序列进行标定时，将图像序列转化成测试数据、训练数据，通过测试数据验证当前卷积神经网络模型的精确度，若当前卷积神经网络模型的精确度不符合镜头标定系统的预设值时，对当前卷积神经网络模型的精确度进行更新；以减少计算量，降低计算能耗。其中，先储存的测试数据、训练数据为每次对图像序列进行标定时产生的测试数据和训练数据的集合；根据训练数据，对卷积神经网络模型进行训练；根据测试数据集，对卷积神经网络模型的精度进行测试；具体训练过程和测试过程与上述卷积神经网络模型训练步骤一致。
在一些实施例中，根据角点初步位置信息，对待标定镜头进行标定，包括：
对模板图像进行处理，获取实际物理坐标，获取角点图像坐标；在本实施例的一种实施方式中，根据定位公式：
对角点初步位置信息进行定位；其中，N为角点初步位置信息的邻域区域，p为邻域区域内的角点，gp为角点p的方向梯度值。在本实施例的另一种实施方式中，角点图像坐标还可以通过利用训练好的卷积神经网络高精度模型直接获得。
对模板图像进行处理，获取实际物理坐标；在本实施例中，可以通过图像处理程序根据所述模板图像生成实际物理坐标；也可以根据角点方向向量和灰度梯度方向垂直性质，将所述模板图像上角点坐标转化为实际物理坐标。其中，模板图像是设计阶段模板的图像，由图像处理软件生成。图像处理程序可以对模板图像进行定位，生成实际的物理坐标。此外本申请还可以根据角点方向向量和灰度梯度方向垂直性质，来对模板图像上角点进行定位，转换为角点的实际物理坐标。根据定位公式：
对模板图像上角点进行定位；其中，N为模板图像的邻域区域，p为邻域区域内的角点，gp为角点p的方向梯度值。
根据角点图像坐标和实际物理坐标，获取变换关系式；在本实施例中，根据变换公式：
生成变换关系式：
其中，P1I(x1,y1)、P2I(x2,y2)、…、PnI(xn,yn)为角点图像坐标，P1w(u1w,v1w)、P2w(u2w,v2w)、…、Pnw(unw,vnw)为实际物理坐标。
根据变换关系式，对镜头进行标定。在本实施例中，根据
通过角点图像坐标和实际物理坐标获取一个变换关系式，即变换矩阵H。H即是镜头的标定参数；并根据标定参数对图像进行标定。
在一些实施例中，根据角点方向向量和灰度梯度方向垂直性质，对角点初步位置信息进行定位，包括：
根据定位公式：
对角点初步位置信息进行定位；其中，N为角点初步位置信息的邻域区域，p为邻域区域内的角点，gp为角点p的方向梯度值。
在一些实施例中，根据角点图像坐标和实际物理坐标，获取变换关系式，包括：
根据变换公式：
生成变换关系式：
其中，P1I(x1,y1)、P2I(x2,y2)、…、PnI(xn,yn)为角点图像坐标，P1w(u1w,v1w)、P2w(u2w,v2w)、…、Pnw(unw,vnw)为实际物理坐标。
此外，在上述实施例的一种实施方式中，在动态标定中，对模板图像进行处理，获取实际物理坐标，还包括：
获取待测镜头所在的移动物体的速度v0和转角θ0，当移动物体在时间间隔Δt，从A0(0,0)移动到A1(x1,y1)，通过以下公式求取当前状态下的模板角点实际物理坐标：
其中，L轴距为移动物体的物理中心连接线。
在动态标定获取模板角点物理坐标的过程中，采用卡尔曼滤波器对角点坐标实施跟踪，可以去除测量过程中误差的干扰。
在本实施例中，当待测镜头所在的移动物体为车辆时，参见图6-8，车辆的运动轨迹可以从汽车运动学方程里求解。假设待标定车辆起始点在A0点位置，以A0(0,0)点建立直角坐标系，通过读取待标车辆的canbus数据获得当前车辆的速度和转角分别为v0和θ0，此时，汽车车头与X轴方向的夹角为90°，记为α0。经过一个图像采用间隔Δt，车辆运行到A1(x1,y1)，且在Δt时间内车辆可认为匀速直线运动，则根据公式获得
其中L轴距为汽车前轮到后轮的轴距。从而获得当前帧时刻对应的车辆中心相对于模板的距离，从而获得视频帧中特征角点的实际物理坐标。
此外，在一些实施例中，还提供了一种基于卷积神经网络的镜头标定系统，其包括上述的基于卷积神经网络的镜头标定方案。本申请首先采用正视投影对原始图像序列进行预处理，生成卷积神经网络的输入数据，卷积神经网络可直接输出特定特征点定位信息，即角点初步位置和类别信息，传递给标定算法下一级“根据所述角点初步位置和类别信息，对待标定镜头进行标定”的步骤，完成标定。本申请通过卷积神经网络对高维图像特征自动提取和数据拟合的优势及迁移学习特性使的此标定方案对不同标定场景、标定模板适应强，解决了方案一对客观标定条件要求苛刻的限制；同时结合传统的预处理算法，在数据量有限的情况下及摄像机运动未知的情况下，保证标定高精度，解决了方案二，算法精度对训练数据数量级的依赖。同时，解决复杂光影标定场景下的镜头标定，适用前/后装标定市场的需求；结合车辆的canbus数据，解决车辆运行状态下标定，标定场地的面积小的问题；利用传统的预/后处理算法，解决CNN 模型在小数据样本下，精度不高的问题。此外，本申请使用场景不限于车载环境，也可运用在其他非车载环境中，对镜头进行标定，如可运用在无人机的标定、移动机器人的标定或者其他需进行镜头标定的环境下的标定，进一步提高了本申请技术方案的适用性。
上面结合附图对本申请的实施方式作了详细说明，但是本申请并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本申请宗旨的前提下作出各种变化。
Claims (17)
1.一种基于卷积神经网络的镜头标定方法，应用于镜头标定系统中，其特征在于，所述方法包括：
获取待标定镜头所采集的图像序列，并对所述图像序列进行处理，生成输入图像序列；
将所述输入图像序列输入到卷积神经网络模型的输入层，且由所述卷积神经网络模型的输出层输出角点初步位置和类别信息；
根据所述角点初步位置和类别信息，对待标定镜头进行标定。
2.根据权利要求1所述的一种基于卷积神经网络的镜头标定方法，其特征在于，所述对所述图像序列，包括正视投影处理或者归一化处理。
3.根据权利要求1所述的一种基于卷积神经网络的镜头标定方法，其特征在于，所述卷积神经网络模型通过以下步骤进行训练：
通过变换标定场景的不同干扰因子，获取待标定镜头的多个原始图像序列；
对所述原始图像序列进行处理，生成训练数据集和测试数据集；
根据所述训练数据集，对所述卷积神经网络模型进行训练；
根据所述测试数据集，对所述卷积神经网络模型的精度进行测试。
4.根据权利要求3所述的一种基于卷积神经网络的镜头标定方法，其特征在于，所述对所述原始图像序列进行处理，生成训练数据集和测试数据集，包括：
对所述原始图像序列进行正视投影处理或者归一化处理，并随机选择一定比例的处理后的原始图像序列作为测试数据；且将剩余的处理后的原始图像序列进行标记，生成训练数据集。
5.根据权利要求3所述的一种基于卷积神经网络的镜头标定方法，其特征在于，所述将剩余比列的处理后的原始图像序列进行标记，生成训练数据集，包括：
将标注后的原始图像序列，储存为卷积神经网络模型要求的数据格式，生成训练数据集。
6.根据权利要求3所述的一种基于卷积神经网络的镜头标定方法，其特征在于，所述根据所述训练数据集，对所述卷积神经网络模型进行训练，包括：
在卷积神经网络模型的卷积层，通过设置优化滤波卷积核参数，获取所述训练数据集的图像特征；
在卷积神经网络模型的池化层，通过在区域内取极大值，对所述图像特征进行选择和过滤；
在卷积神经网络模型的全链接层，通过随机地删除隐藏层的部分单元，对所述图像特征最小化拟合。
7.根据权利要求3所述的一种基于卷积神经网络的镜头标定方法，其特征在于，所述根据所述测试数据集，对所述卷积神经网络模型的精度进行测试，包括：
将所述测试数据集输入到所述卷积神经网络，且通过所述卷积神经网络输出角度点位置；
通过计算所述角点的位置和处理后的原始图像序列的精度，评价所述卷积神经网络的精度。
8.根据权利要求1所述的一种基于卷积神经网络的镜头标定方法，其特征在于，所述在将所述输入图像序列输入到卷积神经网络模型的输入层，且由所述卷积神经网络模型的输出层输出角点初步位置和类别信息之前，还包括：
从所述输入图像序列随机选取25％作为测试数据，选取75％的输入图像序列进行标记，生成训练数据；其中，测试数据集25％和训练数据集75％的比例可以根据需要进行调节；
将所述测试数据、训练数据进行储存，且通过测试数据验证当前卷积神经网络模型的精确度。
9.根据权利要求8所述的一种基于卷积神经网络的镜头标定方法，其特征在于，所述将所述验证数据、训练数据进行储存，且通过测试数据验证当前卷积神经网络模型的精确度，包括：
将所述测试数据输入到卷积神经网络模型的输入层，且由所述卷积神经网络模型的输出层输出验证参数；
若所述验证参数符合储存在所述镜头标定系统的预设值，则继续使用当前卷积神经网络模型对所述输入图像序列进行处理；
否则通过在先储存的测试数据、训练数据，对当前卷积神经网络进行重新训练。
10.根据权利要求1所述的一种基于卷积神经网络的镜头标定方法，其特征在于，所述根据所述角点初步位置和类别信息，对待标定镜头进行标定，包括：
对所述角点初步位置和类别信息进行处理，获取角点图像坐标；
对模板图像进行处理，获取实际物理坐标；
根据所述角点图像坐标和实际物理坐标，获取变换关系式；
根据所述变换关系式，对镜头进行标定。
11.根据权利要求10所述的一种基于卷积神经网络的镜头标定方法，其特征在于，所述对所述角点初步位置和类别信息进行处理，获取角点图像坐标，包括：
根据角点方向向量和灰度梯度方向垂直性质，对所述角点初步位置信息进一步定位；其中，定位公式为
对角点初步位置信息进行定位；其中，N为所述角点初步位置信息的邻域区域，p为邻域区域内的角点，gp为角点p的方向梯度值。
12.根据权利要求10所述的一种基于卷积神经网络的镜头标定方法，其特征在于，所述对模板图像进行处理，获取实际物理坐标，包括：
通过图像处理程序根据所述模板图像生成实际物理坐标。
13.根据权利要求10所述的一种基于卷积神经网络的镜头标定方法，其特征在于，所述对模板图像进行处理，获取实际物理坐标，包括：
根据角点方向向量和灰度梯度方向垂直性质，对所述模板图像进行定位，生成实际物理坐标；其中，定位公式为
对模板图像进行定位；其中，N为所述模板图像的邻域区域，p为邻域区域内的角点，gp为角点p的方向梯度值。
14.根据权利要求10所述的一种基于卷积神经网络的镜头标定方法，其特征在于，在动态标定中，所述对模板图像进行处理，获取实际物理坐标，包括：
获取待测镜头所在的移动物体的速度v0和转角θ0，当移动物体在时间间隔Δt，从A0(0，0)移动到A1(x1,y1)，通过以下公式求取实际物理坐标：
其中，L轴距为移动物体的物理中心连接线。
15.根据权利要求10所述的一种基于卷积神经网络的镜头标定方法，在动态标定获取模板角点物理坐标的过程中，采用卡尔曼滤波器对角点坐标实施跟踪。
16.根据权利要求10所述的一种基于卷积神经网络的镜头标定方法，其特征在于，所述根据所述图像坐标和实际物理坐标，获取变换关系式，包括：
根据变换公式：
生成变换关系式：
其中，P1I(x1，y1)、R2I(x2，y2)、…、PnI(xn，yn)为角点图像坐标，P1w(u1w，v1w)、P2w(u2w，v2w)、…、Pnw(unw，vnw)为实际物理坐标。
17.一种基于卷积神经网络的镜头标定系统，其特征在于，包括权利要求1-16所述的基于卷积神经网络的镜头标定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911263559.2A CN111275768A (zh) | 2019-12-11 | 2019-12-11 | 一种基于卷积神经网络的镜头标定方法及其系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911263559.2A CN111275768A (zh) | 2019-12-11 | 2019-12-11 | 一种基于卷积神经网络的镜头标定方法及其系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111275768A true CN111275768A (zh) | 2020-06-12 |
Family
ID=71000060
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911263559.2A Pending CN111275768A (zh) | 2019-12-11 | 2019-12-11 | 一种基于卷积神经网络的镜头标定方法及其系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111275768A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103871070A (zh) * | 2014-04-03 | 2014-06-18 | 深圳市德赛微电子技术有限公司 | 车载全景成像系统的自动标定方法 |
| CN105488807A (zh) * | 2015-12-25 | 2016-04-13 | 傅之成 | 一种远心镜头的标定和矫正方法 |
| CN106875448A (zh) * | 2017-02-16 | 2017-06-20 | 武汉极目智能技术有限公司 | 一种车载单目摄像头外部参数自标定方法 |
| CN106960456A (zh) * | 2017-03-28 | 2017-07-18 | 长沙全度影像科技有限公司 | 一种鱼眼相机标定算法评价的方法 |
| CN107633220A (zh) * | 2017-09-13 | 2018-01-26 | 吉林大学 | 一种基于卷积神经网络的车辆前方目标识别方法 |
| US20180150976A1 (en) * | 2016-11-25 | 2018-05-31 | Continental Teves Ag & Co. Ohg | Method for automatically establishing extrinsic parameters of a camera of a vehicle |
| CN108805934A (zh) * | 2017-04-28 | 2018-11-13 | 华为技术有限公司 | 一种车载摄像机的外部参数标定方法及装置 |
| CN109344882A (zh) * | 2018-09-12 | 2019-02-15 | 浙江科技学院 | 基于卷积神经网络的机器人控制目标位姿识别方法 |
| CN110517309A (zh) * | 2019-07-19 | 2019-11-29 | 沈阳工业大学 | 一种基于卷积神经网络的单目深度信息获取方法 |
-
2019
- 2019-12-11 CN CN201911263559.2A patent/CN111275768A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103871070A (zh) * | 2014-04-03 | 2014-06-18 | 深圳市德赛微电子技术有限公司 | 车载全景成像系统的自动标定方法 |
| CN105488807A (zh) * | 2015-12-25 | 2016-04-13 | 傅之成 | 一种远心镜头的标定和矫正方法 |
| US20180150976A1 (en) * | 2016-11-25 | 2018-05-31 | Continental Teves Ag & Co. Ohg | Method for automatically establishing extrinsic parameters of a camera of a vehicle |
| CN106875448A (zh) * | 2017-02-16 | 2017-06-20 | 武汉极目智能技术有限公司 | 一种车载单目摄像头外部参数自标定方法 |
| CN106960456A (zh) * | 2017-03-28 | 2017-07-18 | 长沙全度影像科技有限公司 | 一种鱼眼相机标定算法评价的方法 |
| CN108805934A (zh) * | 2017-04-28 | 2018-11-13 | 华为技术有限公司 | 一种车载摄像机的外部参数标定方法及装置 |
| CN107633220A (zh) * | 2017-09-13 | 2018-01-26 | 吉林大学 | 一种基于卷积神经网络的车辆前方目标识别方法 |
| CN109344882A (zh) * | 2018-09-12 | 2019-02-15 | 浙江科技学院 | 基于卷积神经网络的机器人控制目标位姿识别方法 |
| CN110517309A (zh) * | 2019-07-19 | 2019-11-29 | 沈阳工业大学 | 一种基于卷积神经网络的单目深度信息获取方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110047142A (zh) | 无人机三维地图构建方法、装置、计算机设备及存储介质 | |
| CN110146099B (zh) | 一种基于深度学习的同步定位与地图构建方法 | |
| CN113870343B (zh) | 相对位姿标定方法、装置、计算机设备和存储介质 | |
| CN112734841B (zh) | 一种用轮式里程计-imu和单目相机实现定位的方法 | |
| CN109520500B (zh) | 一种基于终端拍摄图像匹配的精确定位及街景库采集方法 | |
| CN109544629A (zh) | 摄像头位姿确定方法和装置以及电子设备 | |
| CN113516664A (zh) | 一种基于语义分割动态点的视觉slam方法 | |
| CN111598089A (zh) | 一种基于深度学习的车牌矫正与识别方法 | |
| CN111368759B (zh) | 基于单目视觉的移动机器人语义地图构建系统 | |
| CN114693787B (zh) | 停车库建图与定位方法、系统及车辆 | |
| CN104680167B (zh) | 基于深度学习的极光卵位置确定方法 | |
| CN112767546B (zh) | 移动机器人基于双目图像的视觉地图生成方法 | |
| CN110119768A (zh) | 用于车辆定位的视觉信息融合系统及方法 | |
| CN116643291A (zh) | 一种视觉与激光雷达联合剔除动态目标的slam方法 | |
| CN113865581B (zh) | 基于多层级地图的封闭场景定位方法 | |
| CN117215316B (zh) | 基于协同控制与深度学习的驾驶环境感知的方法和系统 | |
| CN117197241B (zh) | 一种基于多目视觉的机器人末端绝对位姿高精度跟踪方法 | |
| CN111553954B (zh) | 一种基于直接法单目slam的在线光度标定方法 | |
| CN111275768A (zh) | 一种基于卷积神经网络的镜头标定方法及其系统 | |
| CN116563341A (zh) | 一种处理复杂环境下动态物体的视觉定位与建图方法 | |
| CN116823929A (zh) | 基于视觉图像与点云地图的跨模态匹配定位方法及系统 | |
| CN111121818A (zh) | 一种无人车中相机与二维码的标定方法 | |
| CN114462545A (zh) | 一种基于语义slam的地图构建方法及装置 | |
| CN113963335B (zh) | 基于图像和点云数据的路面障碍物检测方法 | |
| CN111238524A (zh) | 视觉定位方法以及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20200612 Assignee: Shenzhen Dechi micro vision technology Co.,Ltd. Assignor: SHENZHEN DESAY MICROELECTRONIC TECHNOLOGY Co.,Ltd. Contract record no.: X2020980002081 Denomination of invention: Lens calibration method and system based on convolutional neural network License type: Exclusive License Record date: 20200509 |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200612 |
|
| WD01 | Invention patent application deemed withdrawn after publication |