CN107403417A - 一种基于单目视觉的三次元图像校准方法 - Google Patents

Abstract

本发明公开了一种基于单目视觉的三次元图像校准方法，它包括对遗传算法进行了进一步调整，通过修正其杂交概率P_c和变异概率P_m，使得自适应遗传算法能在种群演化的各个时期有较好的通用性；接着，在参考径向基神经网络算法的基础上，运用改进的遗传算法对径向基神经网络进行改进，使得使径向基神经网络算法的故障分类问题训练误差进一步减小，训练收敛性更好；最后，通过超分辨图像重构数学处理方法将图像进行重构，使获取到的低分辨率图像清晰度得到显著提高。

Description

一种基于单目视觉的三次元图像校准方法

技术领域

本发明涉及三次元图像处理技术领域，特别是一种基于单目视觉的三次元图像校准方法。

背景技术

传统遗传算法也称为标准遗传算法(SGA)，在应用于三次元图像的最优化分割时，优点表现为即使在复杂背景下也能通过对目标灰度进行变异和优化。该方法也存在一些缺点，比如：在交叉和变异的环节使用的固定的交叉率Pc和变异率Pm，容易导致种群收敛的速度过快，陷入的收敛，稳定性不够。SGA对系统中的反馈信息利用不够，在寻优过程的后期要做大量无谓的冗余迭代，求精确解的效率比较低，难以在较快的收敛速度的前提下保持较强的鲁棒性。应用于三次元图像处理技术领域，其处理后的三次元图像清晰度不足。

发明内容

有鉴于现有技术的上述缺陷，本发明的目的就是提供一种基于单目视觉的三次元图像校准方法，能够可以使获取到的低分辨率三次元图像清晰度得到显著的提高。。

本发明的目的是通过这样的技术方案实现的，一种基于单目视觉的三次元图像校准方法，它包括有：所述方法步骤如下：

S1：对传统自适应遗传算法的杂交概率P_c和变异概率P_m进行修正；

S2：使用步骤S1中改进后的遗传算法对径向基神经网络算法处理单目视觉图像的过程进行优化。

进一步，步骤S1中所述杂交概率P_c和变异概率P_m修正后的公式如下：

其中：P_c表示杂交概率；P_m表示变异概率；fmax为种群中最大适应度值；f’表示交叉的两个个体中较大的适应度值；f_avg表示种群的平均适应度值；f表示要变异的个体的适应度值；k₁’表示当f_max和f’相等时的杂交概率；k₂’表示最大杂交概率；k₃’表示当f_max和f相等时的变异概率；k₄’表示最大变异概率。

进一步，步骤S2中所述遗传算法对径向基神经网络算法处理单目视觉三次元图像的过程进行优化的具体步骤如下：

S21：确定输入输出

将输入样本三次元图像中各像素点的R、G、B值，各像素点周围8个相邻点的灰度值Gr，组成一个具有11维的输入模式：

I＝{R,G,B,G_rL,G_rLT,G_rLB,G_rT,G_rB,G_rR,G_rRT,G_rRB}

其中：R、G、B为像素的R、G、B颜色分量；GrL、GrB、GrT……为像素点相邻的8个像素的灰度值；

输出模式为一维，根据目标图像中各点对应的颜色情况，将背景颜色取为0.将前景颜色取为1；

S22：用随机方法产生一维数据ω_ij，设含有n组神经网络权值生成的种群，隐层神经元个数为m，则生成的初始权值为：

{(ω₁₁,ω₁₂,…,ω_1m),(ω₂₁,ω₂₂,…,ω_2m),(ω_n1,ω_n2,…,ω_nm)}；

S23：利用logistic方程产生子代网络权值序列；

S24：适应值计算

设p为输出节点数，y_i为网络计算结果，t_i为实际值，则节点误差：

则其适应值为：

判断其适应值是否达到预设要求，若达到则结束处理，若没有达到则转向步骤S25；

S25：K-均值聚类

选取m个样本为聚类中心，将输入样本按最近邻规则分组，将满足式d_i＝min|X_j-C_i|的样本进行分配，其平均值用式进行计算；

其中：Xj表示输入样本，j＝1,2,……,n；Ci表示第i个聚类中心；Ci’表示新的聚类中心。

进一步，所述方法还包括有：

S31：输入层到隐层的计算

采用高斯函数为径向基函数：

其中，

其中：x表示输入向量；m表示隐层神经元个数；dm表示所选中心的最大距离；σ表示Ci围绕中心的宽度；

S32：隐层到输出层的计算

S33：选择

对每一种群的选择概率用公式进行计算，对累计概率用公式进行计算。

进一步，所述方法还包括有：

S41：交叉

确定交叉概率的公式为：

若随机数小于交叉概率，则该种群参加交叉操作；

S42：变异

确定变异概率的公式为：

若随机数小于变异概率，则对该位进行变异，进行变异操作，将原位为1的变为0，将原位为0的变为1，并转向步骤S24；

S43：对图像进行重构，重构公式为：

b_k＝H_kx+n_k，1≤k≤p

其中，p为得到的低分辨率图像帧数，b_k是第k帧低分辨率图像，用一个M×1的向量来表示，其中M＝m×n为获得的每帧低分辨率图像的大小，x为高分辨率的图像，用l²M×1来表示，其中l为每个方向上的分辨率提高系数，为H_k表示包含相对参考帧运动、欠采样因素在内的一个系数矩阵，n_k表示附加噪声，用M×1来表示；高分辨率图像可以通过以下式子来计算：

x＝H^T(HH^T+λI)^-1b

其中，λ表示正则化参数，I为单位矩阵。

由于采用了上述技术方案，本发明具有如下的优点：

本发明对遗传算法进行了进一步调整，通过修正其杂交概率P_c和变异概率P_m，使得自适应遗传算法能在种群演化的各个时期有较好的通用性；接着，在参考径向基神经网络算法的基础上，运用改进的遗传算法对径向基神经网络进行改进，使得使径向基神经网络算法的故障分类问题训练误差进一步减小，训练收敛性更好；最后，通过超分辨三次元图像重构数学处理方法将三次元图像进行重构，使获取到的低分辨率三次元图像清晰度得到显著提高。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书和权利要求书来实现和获得。

附图说明

本发明的附图说明如下：

图1为本发明的流程示意图。

图2为本发明的单目摄像机图像获取原理图。

图3为本发明的遗传算法流程示意图。

图4为传统径向基神经网络算法的故障分类问题误差训练曲线。

图5为改进径向基神经网络算法的故障分类问题误差训练曲线。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

实施例：如图1至图5所示；一种基于单目视觉的三次元图像校准方法，它包括有：所述方法步骤如下：

S1：对传统自适应遗传算法的杂交概率P_c和变异概率P_m进行修正；

S2：使用步骤S1中改进后的遗传算法对径向基神经网络算法处理单目视觉图像的过程进行优化。

步骤S1中所述杂交概率P_c和变异概率P_m修正后的公式如下：

其中：P_c表示杂交概率；P_m表示变异概率；fmax为种群中最大适应度值；f’表示交叉的两个个体中较大的适应度值；f_avg表示种群的平均适应度值；f表示要变异的个体的适应度值；k₁’表示当f_max和f’相等时的杂交概率；k₂’表示最大杂交概率；k₃’表示当f_max和f相等时的变异概率；k₄’表示最大变异概率。

步骤S2中所述遗传算法对径向基神经网络算法处理单目视觉三次元图像的过程进行优化的具体步骤如下：

S21：确定输入输出

将输入样本三次元图像中各像素点的R、G、B值，各像素点周围8个相邻点的灰度值Gr，组成一个具有11维的输入模式：

I＝{R,G,B,G_rL,G_rLT,G_rLB,G_rT,G_rB,G_rR,G_rRT,G_rRB}

其中：R、G、B为像素的R、G、B颜色分量；GrL、GrB、GrT……为像素点相邻的8个像素的灰度值；

输出模式为一维，根据目标图像中各点对应的颜色情况，将背景颜色取为0.将前景颜色取为1；

S22：用随机方法产生一维数据ω_ij，设含有n组神经网络权值生成的种群，隐层神经元个数为m，则生成的初始权值为：

{(ω₁₁,ω₁₂,…,ω_1m),(ω₂₁,ω₂₂,…,ω_2m),(ω_n1,ω_n2,…,ω_nm)}；

S23：利用logistic方程产生子代网络权值序列；

S24：适应值计算

设p为输出节点数，y_i为网络计算结果，t_i为实际值，则节点误差：

则其适应值为：

判断其适应值是否达到预设要求，若达到则结束处理，若没有达到则转向步骤S25；

S25：K-均值聚类

选取m个样本为聚类中心，将输入样本按最近邻规则分组，将满足式d_i＝min|X_j-C_i|的样本进行分配，其平均值用式进行计算；

其中：Xj表示输入样本，j＝1,2,……,n；Ci表示第i个聚类中心；Ci’表示新的聚类中心。

所述方法还包括有：

S31：输入层到隐层的计算

采用高斯函数为径向基函数：

其中，

其中：x表示输入向量；m表示隐层神经元个数；dm表示所选中心的最大距离；σ表示Ci围绕中心的宽度；

S32：隐层到输出层的计算

S33：选择

对每一种群的选择概率用公式进行计算，对累计概率用公式进行计算。

所述方法还包括有：

S41：交叉

确定交叉概率的公式为：

若随机数小于交叉概率，则该种群参加交叉操作；

S42：变异

确定变异概率的公式为：

若随机数小于变异概率，则对该位进行变异，进行变异操作，将原位为1的变为0，将原位为0的变为1，并转向步骤S24；

S43：对图像进行重构，重构公式为：

b_k＝H_kx+n_k，1≤k≤p

其中，p为得到的低分辨率图像帧数，b_k是第k帧低分辨率图像，用一个M×1的向量来表示，其中M＝m×n为获得的每帧低分辨率图像的大小，x为高分辨率的图像，用l²M×1来表示，其中l为每个方向上的分辨率提高系数，为H_k表示包含相对参考帧运动、欠采样因素在内的一个系数矩阵，n_k表示附加噪声，用M×1来表示；高分辨率图像可以通过以下式子来计算：

x＝H^T(HH^T+λI)^-1b

其中，λ表示正则化参数，I为单位矩阵。

通过仿真结果得到改进的径向基神经网络算法具有较快的学习速度及一定适用性，并且用遗传算法优化的径向基神经网络算法使单目摄像机标定的收敛性更好。改进后的径向基神经网络算法对图像的处理更加接近于原始图片，线条的显示更清晰，对灰度信号和色度信号显示效果更好。

本发明具有的有益效果：本发明对遗传算法进行了进一步调整，通过修正其杂交概率P_c和变异概率P_m，使得自适应遗传算法能在种群演化的各个时期有较好的通用性；接着，在参考径向基神经网络算法的基础上，运用改进的遗传算法对径向基神经网络进行改进，使得使径向基神经网络算法的故障分类问题训练误差进一步减小，训练收敛性更好；最后，通过超分辨三次元图像重构数学处理方法将三次元图像进行重构，使获取到的低分辨率三次元图像清晰度得到显著提高。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种基于单目视觉的三次元图像校准方法，其特征在于，所述方法步骤如下：

S1：对传统自适应遗传算法的杂交概率P_c和变异概率P_m进行修正；

S2：使用步骤S1中改进后的遗传算法对径向基神经网络算法处理单目视觉图像的过程进行优化。

2.如权利要求1所述的基于单目视觉的三次元图像校准方法，其特征在于，步骤S1中所述杂交概率P_c和变异概率P_m修正后的公式如下：

其中：P_c表示杂交概率；P_m表示变异概率；fmax为种群中最大适应度值；f’表示交叉的两个个体中较大的适应度值；f_avg表示种群的平均适应度值；f表示要变异的个体的适应度值；k₁’表示当f_max和f’相等时的杂交概率；k₂’表示最大杂交概率；k₃’表示当f_max和f相等时的变异概率；k₄’表示最大变异概率。

3.如权利要求2所述的基于单目视觉的三次元图像校准方法，其特征在于，步骤S2中所述遗传算法对径向基神经网络算法处理单目视觉三次元图像的过程进行优化的具体步骤如下：

S21：确定输入输出

将输入样本三次元图像中各像素点的R、G、B值，各像素点周围8个相邻点的灰度值Gr，组成一个具有11维的输入模式：

I＝{R,G,B,G_rL,G_rLT,G_rLB,G_rT,G_rB,G_rR,G_rRT,G_rRB}

其中：R、G、B为像素的R、G、B颜色分量；GrL、GrB、GrT……为像素点相邻的8个像素的灰度值；

输出模式为一维，根据目标图像中各点对应的颜色情况，将背景颜色取为0.将前景颜色取为1；

S22：用随机方法产生一维数据ω_ij，设含有n组神经网络权值生成的种群，隐层神经元个数为m，则生成的初始权值为：

{(ω₁₁,ω₁₂,…,ω_1m),(ω₂₁,ω₂₂,…,ω_2m),(ω_n1,ω_n2,…,ω_nm)}；

S23：利用logistic方程产生子代网络权值序列；

S24：适应值计算

设p为输出节点数，y_i为网络计算结果，t_i为实际值，则节点误差：

<mrow> <mi>E</mi> <mo>=</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>p</mi> </munderover> <msup> <mrow> <mo>(</mo> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow>

则其适应值为：

<mrow> <mi>f</mi> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mi>E</mi> <mo>+</mo> <mn>1</mn> </mrow> </mfrac> <mo>;</mo> </mrow> 1

判断其适应值是否达到预设要求，若达到则结束处理，若没有达到则转向步骤S25；

S25：K-均值聚类

选取m个样本为聚类中心，将输入样本按最近邻规则分组，将满足式d_i＝min|X_j-C_i|的样本进行分配，其平均值用式进行计算；

其中：Xj表示输入样本，j＝1,2,……,n；Ci表示第i个聚类中心；Ci’表示新的聚类中心。

4.如权利要求3所述的基于单目视觉的三次元图像校准方法，其特征在于，所述方法还包括有：

S31：输入层到隐层的计算

采用高斯函数为径向基函数：

<mrow> <msub> <mi>R</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>exp</mi> <mo>{</mo> <mo>-</mo> <mfrac> <msup> <mrow> <mo>(</mo> <mi>x</mi> <mo>-</mo> <msub> <mi>c</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mrow> <mn>2</mn> <msup> <msub> <mi>&amp;sigma;</mi> <mi>i</mi> </msub> <mn>2</mn> </msup> </mrow> </mfrac> <mo>}</mo> <mo>,</mo> <mi>i</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mo>...</mo> <mo>,</mo> <mi>m</mi> </mrow>

其中，

其中：x表示输入向量；m表示隐层神经元个数；dm表示所选中心的最大距离；σ表示Ci围绕中心的宽度；

S32：隐层到输出层的计算

<mrow> <msub> <mi>y</mi> <mi>k</mi> </msub> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </munderover> <msub> <mi>&amp;omega;</mi> <mrow> <mi>i</mi> <mi>k</mi> </mrow> </msub> <msub> <mi>R</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>,</mo> <mi>k</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mo>...</mo> <mo>,</mo> <mi>p</mi> </mrow>

S33：选择

对每一种群的选择概率用公式进行计算，对累计概率用公式进行计算。

5.如权利要求4所述的基于单目视觉的三次元图像校准方法，其特征在于，所述方法还包括有：

S41：交叉

确定交叉概率的公式为：

若随机数小于交叉概率，则该种群参加交叉操作；

S42：变异

确定变异概率的公式为：

若随机数小于变异概率，则对该位进行变异，进行变异操作，将原位为1的变为0，将原位为0的变为1，并转向步骤S24；

S43：对图像进行重构，重构公式为：

b_k＝H_kx+n_k，1≤k≤p

其中，p为得到的低分辨率图像帧数，b_k是第k帧低分辨率图像，用一个M×1的向量来表示，其中M＝m×n为获得的每帧低分辨率图像的大小，x为高分辨率的图像，用l²M×1来表示，其中l为每个方向上的分辨率提高系数，为H_k表示包含相对参考帧运动、欠采样因素在内的一个系数矩阵，n_k表示附加噪声，用M×1来表示；高分辨率图像可以通过以下式子来计算：

x＝H^T(HH^T+λI)^-1b

其中，λ表示正则化参数，I为单位矩阵。