CN104867185A - 基于蛙跳算法的点射影深度估计方法 - Google Patents

Abstract

本发明公开一种基于蛙跳算法的点射影深度估计方法，其首先将n个三维空间物体点通过q个射影矩阵投射到透视图像序列上，生成测量矩阵；然后对所得透视图像序列及测量矩阵进行归一化处理；最后生成G个青蛙，每个青蛙代表一个解，并利用蛙跳算法选出整个种群中适应度最好青蛙，并将最好青蛙所代表的解作为待求的射影深度输出。本发明具有收敛速度快，容易获得最优解的特点，其所估计出的射影深度能够使得合适的调整矩阵可以进行因数分解。

Description

基于蛙跳算法的点射影深度估计方法

技术领域

本发明涉及射影重构技术领域，具体涉及一种基于蛙跳算法的点射影深度估计方法。

背景技术

基于图像序列的三维重建通常是用点的重建，通过图像序列中对应的特征点匹配，在已知摄像机参数矩阵的条件下，就可以计算出点的三维坐标，三维物体的形状与位置就可以唯一确定。在分层重构的步骤中，射影重构是最重要的一步，它对结果的精度起着决定性作用。而射影重构所要解决的关键问题是对空间点到摄像机的射影深度进行估计，并使得合适的调整矩阵可以进行因数分解。

发明内容

本发明所要解决的技术问题是提供一种基于蛙跳算法的点射影深度估计方法，其能够对空间点到摄像机的射影深度进行估计，并使得合适的调整矩阵可以进行因数分解。

为解决上述问题，本发明是通过以下技术方案实现的：

基于蛙跳算法的点射影深度估计方法，包括如下步骤：

步骤1，将n个三维空间物体点通过q个射影矩阵投射到透视图像序列上，生成测量矩阵；

步骤2，对所得透视图像序列及测量矩阵进行归一化处理；

步骤3，选择子群数量a和每个子群中青蛙的个数b，则整个种群的数量G＝a×b；定义一个解U(x)＝{λ₁₁,λ₁₂,…,λ_1j,λ₂₁,λ₂₂,…,λ_2j,…,λ_ij…,λ_qn}，i＝1,2,…,q，j＝1,2,…,n；

步骤4，生成G个青蛙，每个青蛙代表一个解U(x)；

步骤5，将每只青蛙所对应的测量矩阵进行奇异值分解，并由适应度函数公式计算每只青蛙的适应度J(x)；

步骤6，将所有青蛙按其青蛙的适应度J(x)排序，生成一个集合X＝{(U(x)，J(x)}，并记录整个种群中适应度最好青蛙Pg；

步骤7，将集合X分成a个子群Y_K，每个子群Y_K包含b个青蛙，并按以下公式将青蛙分组，放入不同的子群，

Y_k＝[(U(l)k，J(l)k)|U(l)k＝U(k+a(l-1))，J(l)k＝J(k+a(l-1))]

其中k＝1,2,…,a，l＝1,2,...,b；

步骤7，通过意识进化，使得每组子群中的每只青蛙离目标位置更逼近；

步骤8，在每个子群中执行了一定意识进化以后，将各个子群Y_K进行合并，合并后再按青蛙的适应度J(x)进行重新排序，以更新集合X＝{(U(x)，J(x)}及整个种群中适应度最好青蛙Pg；

步骤9，检查终止条件，如果迭代终止条件满足，则将整个种群中适应度最好青蛙Pg所代表的解U(x)作为待求的射影深度输出；否则，返回步骤6。

上述步骤7中，将每组子群中执行意识进化的过程如下：

步骤7-1，初始化子群计数im＝0，进化次数in＝0；用Pb和Pw分别表示每个子群Y_K中适应度最好和最差青蛙；

步骤7-2，子群计数im不变，并逐渐增大进化次数in，直至进化次数in达到设定的最大进化数N，每次进化次数in的变化对应一轮进化迭代；进化次数in不变，并逐渐增大子群计数im，直至子群计数im达到设定的子群数量a，每次子群计数im的变化对应一轮进化迭代；

步骤7-3，在每一轮进化迭代过程中，均采用如下方法调整每个子群中适应度最差青蛙Pw位置，即先计算最差青蛙Pw移动到最好青蛙Pb的距离D，再将最差青蛙Pw的当前位置加上距离D作为最差青蛙Pw的更新后的位置；

步骤7-4，比较最差青蛙Pw更新前和更新后的适应度，如果更新后的适应度好于更新前的适应度，则用处于新位置的最差青蛙Pw取代原来的青蛙，否则用整个种群中适应度最好青蛙Pg代替每个子群Y_K中适应度最好青蛙Pb，并重复步骤7-3的过程；

步骤7-5，如果始终不能生成更好的青蛙，那么就随机生成一个新的青蛙去取代原来最差青蛙Pw。

上述步骤5和步骤8中，均采用适应度J(x)升序的方式对所有青蛙的进行排序。

上述步骤9中，将整个种群中适应度最好青蛙Pg不再改变或达到最大的进化次数N作为迭代终止条件。

上述步骤2中，对所得透视图像序列及测量矩阵进行归一化处理是让每一幅透视图像中的透视图像的坐标乘上1个公共因子，使它们的平均范数为

与现有技术相比，本发明基于蛙跳算法来实现点射影重构中的射影深度的估计，由于蛙跳算法是结合了以遗传为基础的memetic算法和以社会行为为基础的粒子群优化PSO算法的优点，因此本射影深度估计方法具有收敛速度快，容易获得最优解的特点，其所估计出的射影深度能够使得合适的调整矩阵可以进行因数分解。

具体实施方式

假设n个三维空间物体点通过q个3×4的射影矩阵M_i(i＝1,2,…,q)投射到F幅透视图像上。其中P_j(j＝1,2,…,n)为第j个三维空间物体点，它在第i(i＝1,2,…,q)幅图像上的像点为m_ij。那么对于q幅图像和n个空间物体点：

式中，测量矩阵由三维空间物体点投射到透视图像的坐标m_ij乘以该三维空间物体点的射影深度λ_ij。λ_ij表示空间点P_j到摄像机的射影深度，对它进行有效估计，使得合适的调整矩阵可以进行因数分解。可见，射影重构的关键问题是求合适的λ_ij，使得R矩阵的秩为4。

如果能够估计出正确的射影深度λ_ij，则将R作奇异值分解得：

R＝Vdiag(σ₁,…σ_N)U^T    (2)

式中，σ₁≥σ₂≥…≥σ_N≥0为R的奇异值，N＝min(3F,n)，V为3F×N的次正交矩阵，U为n×N的次正交矩阵。如果图像坐标无噪声(即F幅图像精确匹配)，则R的秩为4，即σ₅＝σ₆＝…＝σ_n＝0，从而

$R=V_1\mathrm{diag}({\mathrm{\σ}}_1,...{\mathrm{\σ}}_4)U_1^T---\left(3\right)$

式(3)为R的一个满秩分解，其中V₁和U₁分别为V和U的前4列。结合式(1)可得：

$M=V_1,P=\mathrm{diag}({\mathrm{\σ}}_1,...{\mathrm{\σ}}_4)U_1^T---\left(4\right)$

但此分解不是唯一，因为式(1)在相差任意非零常数因子的情况下可以写为：

R＝MHH^-1P    (5)

式中，H为任意非奇异4×4矩阵，因此M′＝MH，P′＝H^-1P均为R分解。这就表明可以在一个未知射影变换下恢复摄像机运动和空间物体形状，并可以任意选择一个3D射影坐标系来描述这种运动和形状，这种恢复称为射影重构。

由于构成测量矩阵的图像数据之间的不平衡，优化过程有时是非常不稳定的，为了避免这种不稳定，对图像坐标进行归一化处理是非常有效的。本发明的归一化方法是：每一幅图像中的Δm_ij乘上1个公共因子s_i(i＝1,…,F)，使它们的平均范数为

由上可知，本发明的主要工作就是选用合适的方法求得正确的射影深度。本发明采用Ueshiba and Tomita，利用SVD分解，极小化从第5个以后的奇异值(点重建的矩阵秩为4)。

$\underset{\left\{{\mathrm{\λ}}_{\mathrm{ij}}\right\}}{\mathrm{Min}}J=\underset{i=5}{\overset{\mathrm{Min}(3M,N)}{\mathrm{\Σ}}}{\mathrm{\σ}}_i^2---\left(3\right)$

在无噪声且射影深度为正确值的理想情况下，测量矩阵的秩是4，适应度函数：

$J=\underset{i=5}{\overset{\mathrm{Min}(3M,N)}{\mathrm{\Σ}}}{\mathrm{\σ}}_i^2---\left(8\right)$

J＝0是秩为4的充要条件，于是求使J取最小值的{λ_ij}将给出所需要的射影深度。

蛙跳算法的原理：在SFLA中，种群由很多青蛙组成，每只青蛙代表一个解。种群被分成了多个子群(memeplex)，每个子群包括一定数量的青蛙。不同的子群可以看作是具有不同文化的青蛙群，分别执行局部搜索。在每个子群中，每只青蛙都有自己的想法，并且还受其他青蛙想法的影响，通过意识进化来发展。这样，经过一定的意识进化以及跳跃过程，这些想法思路就在各个子群中传播开来。然后，继续局部搜索和跳跃，直到收敛标准满足为止。蛙跳算法用于函数优化、资源调配等问题已有文献描述，但用于估计射影深度还未有相关研究。

据此，本发明所设计的一种基于蛙跳算法的点射影深度估计方法，其具体包括如下步骤：

步骤1，n个三维空间物体点通过q个3×4的射影矩阵M_i(i＝1,2,…,q)投射到F幅透视图像上。其中P_j(j＝1,2,…,n)为第j个三维空间物体点，它在第i(i＝1,2,…,q)幅图像上的像点为m_ij。

步骤2，对图像进行归一化处理。

步骤3，初始化，选择a，b，其中a表示memeplex的数量，即子群数量，b表示每个子群中青蛙的个数，那么整个种群的数量G＝a×b。由于射影模型可以用仿射模型迭代逼近，而仿射模型的射影深度为1，所以λ_ij可以在(0，2]区间内随机选取，可以定义一个解为

U(x)＝{λ₁₁,λ₁₂,…,λ_1j,λ₂₁,λ₂₂,…,λ_2j,…,λ_ij…,λ_qn}

其中i＝1,2,…,q，j＝1,2,…,n。

步骤4，生成G个青蛙，每个青蛙代表一个解，其中第x个的青蛙的解为U(x)，即U(1),U(2),…,U(G)，U(x)的性能即适应度用J(x)来表示，即J(1),J(2),…,J(G)。

步骤5，对青蛙划分等级，将每只青蛙对应的测量矩阵进行奇异值(svd)分解，并由适应度函数公式来计算每只青蛙的适应度，按适应度升序排列，生成集合Y_K＝{(U(x)，J(x)}，这样，该集合中处于第一位的青蛙的性能最好，记下种群中最好青蛙位置Pg。

步骤6，将青蛙分组，放入不同的子群。将集合X分成a个子群Y_K：Y₁,Y₂,…,Y_a。每个子群包含b个青蛙，即

Y_k＝[(U(l)k，J(l)k)|U(l)k＝U(k+a(l-1))，J(l)k＝J(k+a(l-1))]

其中k＝1,2,…,a，l＝1,2,...,b；

比如a＝4，那么第一只青蛙进入子群1，第2只进入子群2，第3只进入子群3，第4只进入子群4，第5只进入子群1，等等。

步骤7，将每组子群中执行意识进化。在每组子群中，每只青蛙受到其他青蛙想法的影响，通过意识进化，使得每只青蛙离目标位置更逼近。以下是每个子群中意识进化的详细步骤。

步骤7-1，设im＝0，im表示对子群的计数，在0-a之间变化，与子群的数量a比较。设in＝0，in表示进化次数，与每组子群中允许的最大进化次数N比较(N可以设定)。在每组子群中，用Pb和Pw分别表示性能最好和最差青蛙，用Pg表示整个种群中最好青蛙。在每一轮的进化中，改善最差青蛙Pw的位置，但并不是对所有青蛙都优化。

步骤7-2，im＝im+1；

步骤7-3，in＝in+1；

步骤7-4，调整最差青蛙位置，方法如下：

青蛙移动的距离D＝rand()*(Pb-Pw)

新的位置Pw＝Pw(当前位置)+D，(Dmax>＝Di>＝-Dmax)

其中，rand()是0到1之间的随机数，Dmax是允许青蛙移动的最大距离。

步骤7-5，如果上述过程能够使青蛙有一个更好的位置，即能够产生一个更好的解，那么就用新位置的青蛙取代原来的青蛙，否则，用Pg代替Pb，重复上述过程。

步骤7-6，如果上述方法仍不能生成更好的青蛙，那么就随机生成一个新解取代原来最差青蛙Pw；

步骤7-7，如果in<N,那么执行g-3；

步骤7-8，如果im<a,那么执行g-2。

步骤8，青蛙在子群之间跳跃移动，在每个子群中执行了一定意识进化以后，将各个子群Y₁,Y₂,…,Y_a合并，并将合并后的进行按青蛙的适应度J(x)进行重新排序，以更新集合X＝{(U(x)，J(x)}及整个种群中适应度最好青蛙Pg；

步骤9，检查终止条件。如果迭代终止条件满足，则停止。否则，重新执行步骤6。一般情况下，当执行一定次数的循环进化，代表最好青蛙不再改变或定义最大的进化次数N作为停止条件。

Claims (5)

1.基于蛙跳算法的点射影深度估计方法，其特征是，包括如下步骤：

步骤1，将n个三维空间物体点通过q个射影矩阵投射到透视图像序列上，生成测量矩阵；

步骤2，对所得透视图像序列及测量矩阵进行归一化处理；

步骤3，选择子群数量a和每个子群中青蛙的个数b，则整个种群的数量G＝a×b；定义一个解U(x)＝{λ₁₁,λ₁₂,…,λ_1j,λ₂₁,λ₂₂,…,λ_2j,…,λ_ij…,λ_qn}，i＝1,2,…,q，j＝1,2,…,n；

步骤4，生成G个青蛙，每个青蛙代表一个解U(x)；

步骤5，将每只青蛙所对应的测量矩阵进行奇异值分解，并由适应度函数公式计算每只青蛙的适应度J(x)；

步骤6，将所有青蛙按其青蛙的适应度J(x)排序，生成一个集合X＝{(U(x)，J(x)}，并记录整个种群中适应度最好青蛙Pg；

步骤7，将集合X分成a个子群Y_K，每个子群Y_K包含b个青蛙，并按以下公式将青蛙分组，放入不同的子群，

Y_k＝[(U(l)k，J(l)k)|U(l)k＝U(k+a(l-1))，J(l)k＝J(k+a(l-1))]

其中k＝1,2,…,a，l＝1,2,...，b；

步骤7，通过意识进化，使得每组子群中的每只青蛙离目标位置更逼近；

步骤8，在每个子群中执行了一定意识进化以后，将各个子群Y_K进行合并，合并后再按青蛙的适应度J(x)进行重新排序，以更新集合X＝{(U(x)，J(x)}及整个种群中适应度最好青蛙Pg；

步骤9，检查终止条件，如果迭代终止条件满足，则将整个种群中适应度最好青蛙Pg所代表的解U(x)作为待求的射影深度输出；否则，返回步骤6。

2.根据权利要求1所述基于蛙跳算法的点射影深度估计方法，其特征是，步骤7中，将每组子群中执行意识进化的过程如下：

步骤7-1，初始化子群计数im＝0，进化次数in＝0；用Pb和Pw分别表示每个子群Y_K中适应度最好和最差青蛙；

步骤7-2，子群计数im不变，并逐渐增大进化次数in，直至进化次数in达到设定的最大进化数N，每次进化次数in的变化对应一轮进化迭代；进化次数in不变，并逐渐增大子群计数im，直至子群计数im达到设定的子群数量a，每次子群计数im的变化对应一轮进化迭代；

步骤7-3，在每一轮进化迭代过程中，均采用如下方法调整每个子群中适应度最差青蛙Pw位置，即先计算最差青蛙Pw移动到最好青蛙Pb的距离D，再将最差青蛙Pw的当前位置加上距离D作为最差青蛙Pw的更新后的位置；

步骤7-4，比较最差青蛙Pw更新前和更新后的适应度，如果更新后的适应度好于更新前的适应度，则用处于新位置的最差青蛙Pw取代原来的青蛙，否则用整个种群中适应度最好青蛙Pg代替每个子群Y_K中适应度最好青蛙Pb，并重复步骤7-3的过程；

步骤7-5，如果始终不能生成更好的青蛙，那么就随机生成一个新的青蛙去取代原来最差青蛙Pw。

3.根据权利要求1所述基于蛙跳算法的点射影深度估计方法，其特征是，步骤5和步骤8中，均采用适应度J(x)升序的方式对所有青蛙的进行排序。

4.根据权利要求1所述基于蛙跳算法的点射影深度估计方法，其特征是，步骤9中，将整个种群中适应度最好青蛙Pg不再改变或达到最大的进化次数N作为迭代终止条件。

5.根据权利要求1所述基于蛙跳算法的点射影深度估计方法，其特征是，步骤2中，对所得透视图像序列及测量矩阵进行归一化处理是让每一幅透视图像中的透视图像的坐标乘上1个公共因子，使它们的平均范数为