CN102622770B - 一种2d转3d技术中易于硬件实现的运动向量提取方法 - Google Patents

Abstract

一种2D转3D技术中易于硬件实现的运动向量提取方法，从连续两帧的图像信息中提取运动向量，生成向量图，在对两帧图像进行匹配时，先对处于图像中物体边缘上的点进行了运动匹配，然后通过图像分层及连通域标记对图像分块，认为同一个块具有相同的运动向量，分块结果结合前面的边缘运动向量得到最终的运动向量图，本发明在获得准确运动向量检测结果的基础上，不仅可以节省运算时间，而且相较于全图像直接匹配的方法，极大地减小了运算量，便于在硬件上的实现。

Description

一种2D转3D技术中易于硬件实现的运动向量提取方法

技术领域

本发明属于视频图像处理技术领域，具体涉及一种2D转3D技术中易于硬件实现的运动向量提取方法。

背景技术

2D转3D技术可应用于头戴式立体显示器，3D电视，3D显示器等，实现数字视频信号从2D格式转换为3D格式的功能，旨在输出足够亮度，不发生闪烁的稳定高素质3D影像。2D转3D技术，经过深度图提取，立体模型生成，3D视频合成，缩放及画质处理等过程从而完成2D视频信号，向特定分辨率的3D视频信号的转换。应用2D转3D芯片的立体显示器及电视现在处于发展的初始阶段，但获得长足发展是大势所趋，可以真正实现随身3D影院的目标。

在2D转3D的过程中，首先需要从已有2D视频中提取出物体的深度信息，再结合深度信息和已有一路视频生成另一路视频。在提取深度信息的过程中，运动向量是非常重要的一个信息。为了进行实际的实现，我们需要一种易于硬件实现的运动向量提取方法。

现有的运动向量检测算法多为全图进行分块匹配，运算复杂度较大。同时，在实际视频中的运动，由于连续两帧时间间隔非常短，基本可以认为是刚体的线性运动，因此，本发明中认为同一个刚体的运动向量是相同的，将运动向量检测与图像分割结合起来，仅对处在物体边缘的块就行运动匹配，再通过图像分割将运动向量赋给所有的块。

发明内容

为了克服上述现有技术的缺陷，本发明的目的在于提供一种2D转3D技术中易于硬件实现的运动向量提取方法，提取图像中运动物体边缘上的运动向量，对于非边缘的块，通过计算确定其运动向量，在获得准确运动向量检测结果的基础上，不仅可以节省运算时间，而且相较于全图像直接匹配的方法，极大地减小了运算量，便于在硬件上的实现。

为了达到上述目的，本发明的技术方案是这样实现的：

一种2D转3D技术中易于硬件实现的运动向量提取方法，包括以下步骤：

步骤一、对于处在图像中物体边缘上的块提取运动向量

要获取图像的运动向量，首先对图像进行边缘提取的操作，然后对于输入的连续两帧的图像中处于物体边缘的块进行块匹配，得到它们的运动向量；

步骤二、对图像进行分层

对图像进行分层，分为亮度分层与色度分层两个方面，亮度分层方面，首先提取出图像的亮度信息，再对其进行灰度分层，色度分层方面，首先将图像转换为HSV格式，然后提取色度信息，经过处理后对其进行分层，最后，当分别完成两种分层后，再对两种不同分层方式的结果进行综合，完成对图像的分层；

步骤三、对图像进行连通域标记

所谓连通域标记，是指对图像中像素做标记，找出图像的连通区域，对图像进行连通域标记，首先读入已经完成分层的图像，对其进行中值滤波，完成图像的减噪处理，接下来对处理过的图像分区域进行连通域标记，在标记过程中，每个像素点分别与其左方及上方，右上方三像素点比较，从而找出图像中连通的区域；

步骤四、结合步骤一和步骤三生成运动向量图

连通域标注完毕后，与提取出的运动向量相结合，由于连续两帧间的时间非常短，运动物体可以认为是刚体运动，即相邻帧中物体的形态没有显著变化，因而刚体整体具有单一的运动向量，对于一个固定的连通域，将该连通域中处于图像边缘上的点的运动向量求取均值，并赋给整个连通域，认为这是他们共同的运动向量，这种方法同时减少了刚体内部进行块匹配时的匹配误差。

本发明是一种易于硬件实现的高效运动向量提取方法，在提取图像的运动向量时，相较于被普遍采用的全图进行运动匹配的方法，本发明仅在边缘部位进行了匹配，很大程度上减少了运算复杂度及运算量，而且提高了查找运动向量的准确度，易于在硬件上的实现。

附图说明

图1是本发明的整体流程框图。

图2是提取处在运动物体边缘块的运动向量的示意图。

图3是对图像进行分层模块B的示意图。

图4是对图像进行连通域标记模块C的示意图。

图5是生成最终运动向量图模块D的示意图。

具体实施方式

下面结合附图对本发明进行进一步的详细说明，

一种2D转3D技术中易于硬件实现的运动向量提取方法，包括以下步骤：参见图1，步骤一、提取物体边缘的运动向量；步骤二、对图像进行分层；步骤三、对图像进行连通域标记；步骤四、结合步骤一和步骤三生成运动向量图。

步骤一、提取图像边缘的运动向量

要获取图像的运动向量，首先对图像进行提取边缘的操作，然后对于输入的连续两帧的图像中处于物体边缘的块进行块匹配，得到它们的运动向量；

参见图2，本步骤具体为：读入前后两帧图像后，本步骤会对图像分别使用Sobel算子进行滤波以生成其边缘，该算子包含两组3x3的矩阵，分别为横向及纵向，

$G_x=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]$

$G_y=\left[\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right]$

将之与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值，Sobel算子对于像素的位置的影响做了加权，可以降低边缘模糊程度，因此效果很好；

然后以当前帧为基准，对图像进行分块，块的大小可以考虑运动精细度和场景，分块后，逐个进行计算；计算时，首先检测该块是否处在当前帧或下一帧经Sobel算子检测出的边缘上，如果不是，则不进行块匹配，如果是，则对其在两帧图像间进行块匹配，寻找出运动向量；在这一步骤结束时，即得到了处在物体边缘上块的运动向量；

步骤二、对图像进行分层

对图像进行分层操作时，分为亮度分层与色度分层两个方面：对于亮度分层方面，首先将图像转换为灰度图，然后根据灰度值的大小进行分层，灰度值接近的点处于同一层，其中，层数是可以设置调节的；对于色度分层方面，首先将图像转换为HSV格式，其中，HSV色彩属性模式是根据色彩的三个基本属性：色度、饱和度和亮度来确定颜色的一种方法；饱和度(S)是指色彩的纯度，越高色彩越纯，低则逐渐变灰，取0-100％的数值；亮度(V)是色彩的明亮程度，取0-100％；色度(H)是色彩的基本属性，就是平常所说的颜色名称，如红色、黄色等，依照在色度标准色轮上的位置，取0-360度的数值(也有用0-100％的方法确定的)；颜色相近的则色度值相近；在本发明中，我们根据色度值对图像进行分层，层数可以设置调节；最后，本发明将根据亮度分层与根据色度分层的结果综合起来，使亮度和色度都处于同一层中的点处于最终结果的同一层中。

分层结束后，同一个层中的块可能会属于不同物体，由于在进一步运动向量分配过程中，需要以物体为单位进行运动向量赋值，因此需要将不属于同一个物体的块进行区分，本发明中由连通域标记实现这个目标。

参见图3，输入当前帧的图像，进行滤波降噪，然后分为两路进行处理，亮度分层与色度分层并列执行，亮度分层时，先获取图像的亮度信息，确定目标层数后，根据亮度对图像进行分层，相近的亮度处于同一层。色度分层方法与亮度分层类似，但对于读入的不处于HSV色彩空间的图片，要添加一个颜色空间转换模块，将其转换到HSV空间并获取HSV空间中的色度信息，在确定目标层数后，根据色度信息对图像进行分层，将色度信息相近的点分在同一层。色度与亮度分层都结束后，融合亮度与色度的分层结果，将色度与亮度都处在同一个层的点分在最终分层结果的同一层里。

步骤三、对图像进行连通域标记

对图形进行连通域标记，是指对图像中像素做标记，如图4，找出图像的连通区域，对图像进行连通域标记，首先读入已经完成分层的图像，接下来对图像分区域进行连通域标记，在标记过程中，像素点的位置不同，与其进行比对的点也不完全相同，因此首先判断像素位置。如果像素处在第一行第一列，则赋给一个初始编号，例如1；如果像素处在第一行，则与其左侧元素进行比较，处在同一个层则赋给与其左侧元素相同的编号，处在不同层则创建一个新编号；如果像素处在第一列，则与其上方及右上方的两个元素进行比较，如果其中有与该像素处在同一层的像素，则赋给该像素它的编号，如果没有，则为该像素创建新编号；对于其余元素，需要与其左方，上方，右上方三个元素进行比较，如果其中有与该像素处在同一层的像素，则赋给该像素它的编号，如果没有，则为该像素创建新编号，另外，若在比较过程中发现当前元素与三个比较元素中不止一个编号相同，则将他们的编号统

步骤四、结合步骤一和步骤三生成运动向量图

连通域标注完毕后，与提取出的运动向量相结合，如图5，输入由模块A中提取出的运动物体边缘运动向量图和模块C中的连通域标记结果，逐个连通域进行计算，我们认为同一个连通域具有相同的运动向量，因此，对于一个固定的连通域，我们统计当前连通域中有运动向量的点的运动向量，并求取均值，将该均值赋给当前连通域的所有点，并获得最终运动向量图，然后转向下一个连通域进行计算，直到完成整个视图的向量图。

Claims (1)

1.一种2D转3D技术中易于硬件实现的运动向量提取方法，其特征在于，包括以下步骤：

步骤一、对于处在图像中物体边缘上的块提取运动向量

要获取图像的运动向量，首先对图像进行边缘提取的操作，然后对于输入的连续两帧的图像中处于物体边缘的块进行块匹配，得到它们的运动向量；

步骤二、对图像进行分层

对图像进行分层，分为亮度分层与色度分层两个方面，亮度分层方面，首先提取出图像的亮度信息，再对其进行灰度分层，色度分层方面，首先将图像转换为HSV格式，然后提取色度信息，经过处理后对其进行分层，最后，当分别完成两种分层后，再对两种不同分层方式的结果进行综合，完成对图像的分层；

步骤三、对图像进行连通域标记

所谓连通域标记，是指对图像中像素做标记，找出图像的连通区域；对图像进行连通域标记，首先读入已经完成分层的图像，对其进行中值滤波，完成图像的减噪处理，接下来对处理过的图像分区域进行连通域标记，在标记过程中，每个像素点分别与其左方及上方，右上方三元素点比较，从而找出图像中连通的区域；

步骤四、结合步骤一和步骤三生成运动向量图

连通域标注完毕后，与提取出的运动向量相结合，由于连续两帧间的时间非常短，运动物体可以认为是刚体运动，即相邻帧中物体的形态没有显著变化，因而刚体整体具有单一的运动向量，对于一个固定的连通域，将该连通域中处于图像中物体边缘上的点的运动向量求取均值，并赋给整个连通域，认为这是他们共同的运动向量；

步骤一具体为：读入前后两帧图像后，本步骤会对图像分别使用Sobel算子进行滤波以生成其边缘，该算子包含两组3x3的矩阵，分别为横向及纵向，

$G_x=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]$

$G_y=\left[\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right]$

将之与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值，Sobel算子对于像素的位置的影响做了加权，可以降低边缘模糊程度；然后以当前帧为基准，对图像进行分块，块的大小可以考虑运动精细度和场景，分块后，逐个进行计算，计算时，首先检测该块是否处在当前帧或下一帧经Sobel算子检测出的边缘上，如果不是，则不进行块匹配，如果是，则对其在两帧图像间进行块匹配，寻找出运动向量；在这一步骤结束时，即得到了处在物体边缘上块的运动向量；

步骤三具体为：对图像进行连通域标记，首先读入已经完成分层的图像，对其进行连通域标记，在标记过程中，像素点的位置不同，与其进行比对的点也不完全相同，因此首先判断像素位置；如果像素处在第一行第一列，则赋给一个初始编号，如果像素处在第一行，则与其左侧元素进行比较，处在同一个层则赋给与其左侧元素相同的编号，处在不同层则创建一个新编号；如果像素处在第一列，则与其上方及右上方的两个元素进行比较，如果其中有与该像素处在同一层的元素，则将该元素的编号赋给该像素，如果没有，则为该像素创建新编号；对于其余像素，需要与其左方，上方，右上方三个元素进行比较，如果其中有与该像素处在同一层的元素，则将该元素的编号赋给该像素，如果没有，则为该像素创建新编号，另外，若在比较过程中发现待比较像素与三个比较元素中不止一个编号相同，则将他们的编号统一。