CN113436119A - 基于光流对齐的双目手机预览实时计算视差图方法 - Google Patents

Abstract

本发明揭示了一种基于光流对齐的双目手机预览实时计算视差图方法，S100、输入基准帧图像及对应的视差图和当前帧图像，将基准帧图像和当前帧图像均转为灰度图像；S200、对基准帧图像的灰度图像和当前帧图像的灰度图像进行编码；S300、对基准帧图像的灰度图像和当前帧图像的灰度图像均进行变换，并进行光流点的提取；S400、对当前帧图像的特征图像进行光流点跟踪及反跟踪；S500、根据可靠光流点的直方图对视差进行分层，并计算各层视差对应的单应变换矩阵；S600、将视差图中的点按照所在层的映射矩阵进行映射得到当前帧图像的视差图。本发明减少了运算时间达到实时计算视差的目的，实现了对手机视频图像进行高效的实时计算视差图。

Description

基于光流对齐的双目手机预览实时计算视差图方法

技术领域

本发明涉及视频图像处理技术领域，特别是涉及一种基于光流对齐的双目手机预览实时计算视差图方法。

背景技术

在立体视觉中最需要解决的问题之一是准确实时提取出场景的深度信息，而深度信息的实时准确计算一直是立体视觉领域中的难点和核心技术，所以研究深度信息的实时准确计算具有十分重要的价值。深度信息计算可以转换为视差计算，改进视差计算的方法受到大家广泛的关注。本文研究的是在双摄手机上根据左右视频帧计算视差，从而完成景深计算，因为手机预览每秒是30帧图，在低端平台如果每帧都计算视差或者手机稍微一动就重新计算视差，会造成手机cpu很大负载，进而会导致手机预览卡顿，影响客户使用感，在预览的时候手机基本不动或者有轻微抖动，这使得前后两帧之间信息的有很大的冗余性。

发明内容

本发明的目的在于，提供一种基于光流对齐的双目手机预览实时计算视差图方法，解决在低端手机平台预览不能实时计算视差图的问题。

为解决上述技术问题，本发明提供一种基于光流对齐的双目手机预览实时计算视差图方法，包括如下步骤：

S100、输入基准帧图像及对应的视差图和当前帧图像，并将基准帧图像和当前帧图像均转为灰度图像；

S200、通过改进的感知哈希编码对基准帧图像的灰度图像和当前帧图像的灰度图像进行编码，比较两帧图像的相似程度，若相似进入S300，否则根据计算视差流程计算当前帧图像的视差图；

S300、对基准帧图像的灰度图像和当前帧图像的灰度图像均进行拉普拉斯变换，得到各自的特征图像，并对基准帧图像的特征图像进行光流点的提取，将提取的光流点个数值与预设阈值对比，若小于预设阈值，则根据计算视差流程计算当前帧图像的视差图；

S400、对当前帧图像的特征图像进行光流点跟踪及反跟踪，并去掉不可靠的光流点，同时统计可靠光流点的百分比，将其与预设比值对比，若大于等于预设比值，进入S500，否则根据计算视差流程计算当前帧图像的视差图；

S500、根据可靠光流点的直方图对视差进行分层，并计算各层视差对应的单应变换矩阵；

S600、将视差图中的点按照所在层的单应变换矩阵进行映射得到当前帧图像的视差图。

进一步的，在步骤S100中，所述灰度图像的转换公式为：

其中，RGB表示图像的三通道。

进一步的，在步骤S200中，所述感知哈希编码对基准帧图像的灰度图像和当前帧图像的灰度图像进行编码的具体操作步骤为：

S201、分别将基准帧图像的灰度图像和当前帧图像的灰度图像平分成8x8个图像块；

S202、分别计算基准帧图像的灰度图像和当前帧图像的灰度图像的平均以及其所有图像块的平均强度，计算公式为：

；

N为图像中所有像素，G_j为图像中第j个像素的灰度值；

S203、对基准帧图像的灰度图像平分的所有图像块的平均强度分别与基准帧图像的灰度图像的平均强度进行对比，若基准帧图像的灰度图像内的图像块的平均强度大于基准帧图像的灰度图像的平均强度，记编码序列值为1，反之记为0，同理得出当前帧图像的灰度图像的编码数列值。

进一步的，在步骤S200中，所述判断两帧图像的相似程度的具体操作为：对比基准帧图像的灰度图像的编码序列值与当前帧图像的灰度图像对应位置的编码数列值，并统计值不相等的个数值，若该值大于设定阈值，则判定两帧图像不相似，反之则相似，所述设定阈值为15。

进一步的，在步骤S300中，所述基准帧图像的特征图像提取的光流点为ShiTomasi 角点，所述基准帧图像的特征图像光流点采用opencv的库函数goodFeaturesToTrack进行提取，所述预设阈值为50。

进一步的，在步骤S400中，所述当前帧图像的特征图像光流点的跟踪及反跟踪具体步骤如下：

S401、采用金字塔LK光流跟踪算法依次找出基准帧图像的特征图像的光流点在当前帧图像的特征图像中对应的所有光流点；

S402、利用光流点反跟踪法分别找到当前帧图像的特征图像内每个光流点在基准帧图像的特征图像中对应的光流点及状态标志。

进一步的，在步骤S400中，所述可靠光流点的判定步骤为：

S411、计算每个光流点的状态标志数值；

；

其中，s_i为第i个光流点的状态标志，a_i.x 和a_i.y分别表示基准帧图像的特征图像内第i个光流点的横坐标和纵坐标，a_i ^’. x，a_i ^’. y分别表示当前帧特征图像通过反跟踪找到的在基准帧特征图像中对应的光流点的横坐标和纵坐标；

S421、根据上述计算的数值进行判断，若光流点的状态标志值为1，则判断该光流点为可靠光流点。

进一步的，在步骤S400中，所述预设比值的数值为0.5。

进一步的，在步骤S500中，所述获取映射矩阵的具体实施步骤如下：

S501、计算光流点的直方图，直方图的横坐标为光流点的视差，纵坐标为此视差的光流点的个数；

S502、遍历直方图找到极小值点，作为分层点，将光流点分为多层；

S503、根据 RANSAC算法计算每层光流点的单应矩阵。

进一步的，在步骤S600中，所述得到当前帧的视差图的具体操作步骤为：

S601、根据视差图中的点的视差找到此点所在的视差层；

S602、将视差图中的点按照所在层的单应变换矩阵通过opencv 的findHomography 函数进行映射计算，得到新的视差图，所述计算公式为：

x^’=round（_x/（_w+t））

y^’=round（_y/（_w+t））；

其中，t是为了避免分母为零而加的一个小的非零常数，x和y分别为视差图中的点的横坐标和纵坐标，H为点所在层的单应变换矩阵。

附图说明

图1为本发明基于光流对齐的双目手机预览实时计算视差图方法流程图；

图2为本发明基于光流对齐的双目手机预览实时计算视差图实施例流程图。

具体实施方式

下面将结合示意图对本发明的基于光流对齐的双目手机预览实时计算视差图方法进行更详细的描述，其中表示了本发明的优选实施例，应该理解本领域技术人员可以修改在此描述的本发明，而仍然实现本发明的有利效果。因此，下列描述应当被理解为对于本领域技术人员的广泛知道，而并不作为对本发明的限制。

在下列段落中参照附图以举例方式更具体地描述本发明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。

如图1所示，本发明实施例提出了一种基于光流对齐的双目手机预览实时计算视差图方法，包括如下步骤：

S100、输入基准帧图像及对应的视差图和当前帧图像，并将基准帧图像和当前帧图像均转为灰度图像；

具体的，灰度图像的转换公式为：

其中，RGB表示图像的三通道。

S200、通过改进的感知哈希编码对基准帧图像的灰度图像和当前帧图像的灰度图像进行编码，比较两帧图像的相似程度，若相似进入S300，否则根据计算视差流程计算当前帧图像的视差图；

具体的，感知哈希编码对基准帧图像的灰度图像和当前帧图像的灰度图像进行编码的具体操作步骤为：

S201、分别将基准帧图像的灰度图像和当前帧图像的灰度图像平分成8x8个图像块；

S202、分别计算基准帧图像的灰度图像和当前帧图像的灰度图像的平均以及其所有图像块的平均强度，计算公式为：

N为图像中所有像素，G_j为图像中第j个像素的灰度值；

S203、对基准帧图像的灰度图像平分的所有图像块的平均强度分别与基准帧图像的灰度图像的平均强度进行对比，若基准帧图像的灰度图像内的图像块的平均强度大于基准帧图像的灰度图像的平均强度，记编码序列值为1，反之记为0，同理得出当前帧图像的灰度图像的编码数列值；

具体的，判断两帧图像的相似程度的具体操作为：对比基准帧图像的灰度图像的编码序列值与当前帧图像的灰度图像对应位置的编码数列值，并统计值不相等的个数值，若该值大于设定阈值，设定阈值为15，则判定两帧图像不相似，反之则相似。

S300、对基准帧图像的灰度图像和当前帧图像的灰度图像均进行拉普拉斯变换，得到各自的特征图像，并对基准帧图像的特征图像进行光流点的提取，将提取的光流点个数值与预设阈值对比，预设阈值为50，若小于预设阈值，则根据计算视差流程计算当前帧图像的视差图；

具体的，基准帧图像的特征图像提取的光流点为Shi Tomasi 角点，所述基准帧图像的特征图像光流点采用opencv的库函数 goodFeaturesToTrack进行提取。

S400、对当前帧图像的特征图像进行光流点跟踪及反跟踪，并去掉不可靠的光流点，同时统计可靠光流点的百分比，将其与预设比值对比，预设比值设置为0.5，若大于等于预设比值，进入S500，否则根据计算视差流程计算当前帧图像的视差图；

具体的，当前帧图像的特征图像光流点的跟踪及反跟踪具体步骤如下：

S401、采用金字塔LK光流跟踪算法依次找出基准帧图像的特征图像的光流点在当前帧图像的特征图像中对应的所有光流点；

S402、利用光流点反跟踪法分别找到当前帧图像的特征图像内每个光流点在基准帧图像的特征图像中对应的光流点及状态标志；

具体的，可靠光流点的判定步骤为：

S411、计算每个光流点的状态标志数值；

；

其中，s_i为第i个光流点的状态标志，a_i.x 和a_i.y分别表示基准帧图像的特征图像内第i个光流点的横坐标和纵坐标，a_i ^’. x，a_i ^’. y分别表示当前帧特征图像通过反跟踪找到的在基准帧特征图像中对应的光流点的横坐标和纵坐标；

S421、根据上述计算的数值进行判断，若光流点的状态标志值为1，则判断该光流点为可靠光流点。

S500、根据可靠光流点的直方图对视差进行分层，并计算各层视差对应的单应变换矩阵；

具体的，获取映射矩阵的具体实施步骤如下：

S501、计算光流点的直方图，直方图的横坐标为光流点的视差，纵坐标为此视差的光流点的个数；

S502、遍历直方图找到极小值点，作为分层点，将光流点分为多层；

S503、根据 RANSAC算法计算每层光流点的单应矩阵。

S600、将视差图中的点按照所在层的单应变换矩阵进行映射得到当前帧图像的视差图；

具体的，得到当前帧的视差图的具体操作步骤为：

S601、根据视差图中的点的视差找到此点所在的视差层；

S602、将视差图中的点按照所在层的映射矩阵进行映射计算，得到新的视差图，所述计算公式为：

x^’=round（_x/（_w+t））

y^’=round（_y/（_w+t））；

其中，t是为了避免分母为零而加的一个小的非零常数，x和y分别为视差图中的点的横坐标和纵坐标，H为点所在层的映射矩阵。

以下列举所述基于光流对齐的双目手机预览实时计算视差图方法的较优实施例，以清楚的说明本发明的内容，应当明确的是，本发明的内容并不限制于以下实施例，其他通过本领域普通技术人员的常规技术手段的改进亦在本发明的思想范围之内。

如图2所示，提供所述基于光流对齐的双目手机预览实时计算视差图的一个实施例的具体操作流程，具体实施如下：

第一步：输入基准帧图像A及其对应的视差图B和当前帧图像C，利用灰度图像的转换公式计算得到灰度图像A^’和C^’：

A^’=0.3*R_A+0.59*G_A+0.11*B_A

C^’=0.3*R_C+0.59*G_C+0.11*B_C；

第二步：首先将图像A^’平均分为8*8个图像块，记为A_i ^’，i=1，2......64，同时将图像C^’平均分为8*8个图像块，记为C_i ^’，i=1，2......64；接着计算A^’、A_i ^’、C^’和C_i ^’的平均强度，A_i ^’、A^’、C_i ^’和C^’的平均强度计算公式分别如下：

；

A_i ^’、A^’、C_i ^’和C^’的平均强度计算完成后，进行A^’和C^’编码序列的计算，记A^’和C^’编码序列分别为h_a 和h_c，通过下列公式计算：

；

表示h_a 的第i 元素的值，

表示h_c的第i 元素的值，i=1，2...64，最后对比编码序列h_a和 h_c 对应位置的值，并统计值不相等的个数记为d ，如果d大于15，根据计算视差流程计算当前帧图像C的视差图B^’，使得基准帧图像A=C，B=B^’，反之进入下一步；

第三步：首先对A^’和C^’进行进行拉普拉斯变换，得到特征图像D_A和D_C，接着调用opencv 的库函数 goodFeaturesToTrack提取特征图像D_A的光流点a，如果光流点a的个数小于50，则根据计算视差流程计算当前帧图像C的视差图，使得基准帧图像A=C，B=B^’；

第四步：在特征图像D_A的特征点提取后，接着利用光流跟踪法找到图像D_C对应的光流点b，并利用光流点反跟踪法找到光流点b在图像D_A中的光流点a’及状态标志s，将光流点a中的每个光流点记为a_i，其中a_i表示第i个光流点，i=1,2...N，a_ix和a_iy分别表示光流点a_i的横坐标和纵坐标，同理标记光流点a’，s标记每个光流点是否跟上，a_i对应每个s_i，s_i为0时表示光流点反跟踪失败，为1时表示反跟踪有效，按照以下公式对标记s进行修正：

；

依次计算每个s值后，统计状态标记s中为1的个数占总共个数的百分比，记为d₁，如果小于0.5，则根据计算视差流程计算当前帧图像C的视差图，使得基准帧图像A=C，B=B^’，反之进入下一步；

第五步：计算光流点的直方图，直方图的横坐标为光流点的视差，纵坐标为此视差的光流点的个数，接着遍历直方图找到极小值点，作为分层点，将光流点分为M层，第m个分层点的视差记为i_m ，m同时表示层数，m=1,2...M，接着根据RANSAC算法求m层光流点的单应矩阵 H_m；

第六步：根据视差图B中的点的视差找到此点所在的视差层，接着将视差图B中的点按照所在层的单应变矩阵通过如下公式进行映射得到新的视差图B^’：

_x=x*H（0,0）+y*H（0,1）+H（0,2）

_y=x*H（1,0）+y*H（1,1）+H（1,2）

_w=x*H（2,0）+y*H（2,1）+H（2,2）

x^’=round（_x/（_w+t））

y^’=round（_y/（_w+t））；

得到新的视差图B^’后，将下一帧图像赋给C ，跳转至第一步重新开始。

综上所述，本发明相对于现有技术，具有如下优势：

本发明利用帧之间的冗余性，通过改进的感知哈希编码方式，并引入光流跟踪及视差图分层来对视差图进行单应变换而不是每帧图像都重新计算视差，减少了运算时间达到实时计算视差的目的，实现了对手机视频图像进行高效的实时计算视差图。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于光流对齐的双目手机预览实时计算视差图方法，其特征在于，包括如下步骤：

S100、输入基准帧图像及对应的视差图和当前帧图像，并将基准帧图像和当前帧图像均转为灰度图像；

S200、通过改进的感知哈希编码对基准帧图像的灰度图像和当前帧图像的灰度图像进行编码，比较两帧图像的相似程度，若相似进入S300，否则根据计算视差流程计算当前帧图像的视差图；

S300、对基准帧图像的灰度图像和当前帧图像的灰度图像均进行拉普拉斯变换，得到各自的特征图像，并对基准帧图像的特征图像进行光流点的提取，将提取的光流点个数值与预设阈值对比，若小于预设阈值，则根据计算视差流程计算当前帧图像的视差图；

S400、对当前帧图像的特征图像进行光流点跟踪及反跟踪，并去掉不可靠的光流点，同时统计可靠光流点的百分比，将其与预设比值对比，若大于等于预设比值，进入S500，否则根据计算视差流程计算当前帧图像的视差图；

S500、根据可靠光流点的直方图对视差进行分层，并计算各层视差对应的单应变换矩阵；

S600、将视差图中的点按照所在层的单应变换矩阵进行映射得到当前帧图像的视差图。

2.如权利要求1所述的基于光流对齐的双目手机预览实时计算视差图方法，其特征在于，在步骤S100中，所述灰度图像的转换公式为：

Gray=0.3*R+0.59*G+0.11*B；

其中，RGB表示图像的三通道。

3.如权利要求1所述的基于光流对齐的双目手机预览实时计算视差图方法，其特征在于，在步骤S200中，所述感知哈希编码对基准帧图像的灰度图像和当前帧图像的灰度图像进行编码的具体操作步骤为：

S201、分别将基准帧图像的灰度图像和当前帧图像的灰度图像平分成8x8个图像块；

S202、分别计算基准帧图像的灰度图像和当前帧图像的灰度图像的平均以及其所有图像块的平均强度，计算公式为：

；

N为图像中所有像素，G_j为图像中第j个像素的灰度值；

S203、对基准帧图像的灰度图像平分的所有图像块的平均强度分别与基准帧图像的灰度图像的平均强度进行对比，若基准帧图像的灰度图像内的图像块的平均强度大于基准帧图像的灰度图像的平均强度，记编码序列值为1，反之记为0，同理得出当前帧图像的灰度图像的编码数列值。

4.如权利要求3所述的基于光流对齐的双目手机预览实时计算视差图方法，其特征在于，在步骤S200中，所述判断两帧图像的相似程度的具体操作为：对比基准帧图像的灰度图像的编码序列值与当前帧图像的灰度图像对应位置的编码数列值，并统计值不相等的个数值，若该值大于设定阈值，则判定两帧图像不相似，反之则相似，所述设定阈值为15。

5.如权利要求1所述的基于光流对齐的双目手机预览实时计算视差图方法，其特征在于，在步骤S300中，所述基准帧图像的特征图像提取的光流点为Shi Tomasi角点，所述基准帧图像的特征图像光流点采用opencv的库函数 goodFeaturesToTrack进行提取，所述预设阈值为50。

6.如权利要求1所述的基于光流对齐的双目手机预览实时计算视差图方法，其特征在于，在步骤S400中，所述当前帧图像的特征图像光流点的跟踪及反跟踪具体步骤如下：

S401、采用金字塔LK光流跟踪算法依次找出基准帧图像的特征图像的光流点在当前帧图像的特征图像中对应的所有光流点；

S402、利用光流点反跟踪法分别找到当前帧图像的特征图像内每个光流点在基准帧图像的特征图像中对应的光流点及状态标志。

7.如权利要求6所述的基于光流对齐的双目手机预览实时计算视差图方法，其特征在于，在步骤S400中，所述可靠光流点的判定步骤为：

S411、计算每个光流点的状态标志数值；

；

其中，s_i为第i个光流点的状态标志，a_i.x 和a_i.y分别表示基准帧图像的特征图像内第i个光流点的横坐标和纵坐标，a_i ^’. x，a_i ^’. y分别表示当前帧特征图像通过反跟踪找到的在基准帧特征图像中对应的光流点的横坐标和纵坐标；

S421、根据上述计算的数值进行判断，若光流点的状态标志值为1，则判断该光流点为可靠光流点。

8.如权利要求1所述的基于光流对齐的双目手机预览实时计算视差图方法，其特征在于，在步骤S400中，所述预设比值的数值为0.5。

9.如权利要求1所述的基于光流对齐的双目手机预览实时计算视差图方法，其特征在于，在步骤S500中，所述获取映射矩阵的具体实施步骤如下：

S501、计算光流点的直方图，直方图的横坐标为光流点的视差，纵坐标为此视差的光流点的个数；

S502、遍历直方图找到极小值点，作为分层点，将光流点分为多层；

S503、根据 RANSAC算法计算每层光流点的单应矩阵。

10.如权利要求1所述的基于光流对齐的双目手机预览实时计算视差图方法，其特征在于，在步骤S600中，所述得到当前帧的视差图的具体操作步骤为：

S601、根据视差图中的点的视差找到此点所在的视差层；

S602、将视差图中的点按照所在层的单应变换矩阵通过opencv 的 findHomography函数进行映射计算，得到新的视差图，所述计算公式为：

_x=x*H（0,0）+y*H（0,1）+H（0,2）

_y=x*H（1,0）+y*H（1,1）+H（1,2）

_w=x*H（2,0）+y*H（2,1）+H（2,2）

x^’=round（_x/（_w+t））

y^’=round（_y/（_w+t））；

其中，t是为了避免分母为零而加的一个小的非零常数，x和y分别为视差图中的点的横坐标和纵坐标，H为点所在层的单应变换矩阵。

Images