CN102098459B - 实时视频图像任意角度旋转系统及其控制方法 - Google Patents

Abstract

本发明涉及一种实时视频图像任意角度旋转系统及其控制方法，系统包括：视频图像存取控制单元输入端接有图像数据以及逆向坐标数据，输出端接至双线性插值计算单元；逆向坐标计算单元输入端接有旋转角度数据，输出端分别接至视频图像存取控制单元及双线性插值计算单元；双线性插值计算单元输入端接有图像数据和逆向坐标数据，输出端接至系统图像数据输出接口；所述方法为：接收系统输入的图像数据和旋转角度数据；根据逆向坐标计算单元输出的逆向坐标数据对系统输入的图像数据进行存储；将图像数据和逆向坐标数据进行双线性插值计算，将结果输出至图像数据输出接口。本发明实现了易于可编程逻辑器件实现的快速计算结构，具有成本低、速度快和实用性强等优点。

Description

实时视频图像任意角度旋转系统及其控制方法

技术领域

本发明涉及一种图像数据处理技术，具体地说是一种实时视频图像任意角度旋转系统及其控制方法。

背景技术

在机载、车载及手持录像系统中经常因旋转抖动导致图像质量下降，严重影响现场观看，因此，实时消除视频图像的旋转抖动就显得十分必要，这可以通过对图像的逆旋转操作实现。图像旋转的实现方法很多，包括机械旋转、光学旋转和电子旋转。随着电子信息技术的飞速发展，电子旋转具有精度高、体积小和成本低的优点。传统的电子旋转方法是基于微处理器的计算机系统，主要通过计算机软件的串行计算完成图像数据处理，其缺点是计算速度慢，不能满足实时性要求高的场合。

发明内容

针对现有技术中存在的基于微处理器系统图像处理速度慢的缺点，本发明要解决的技术问题是提供一种结构简单、易于功能扩展、易于系统集成的模块化实时视频图像任意角度旋转系统及其控制方法。

为解决上述技术问题，本发明采用的技术方案是：

本发明实时视频图像任意角度旋转系统包括：

视频图像存取控制单元，输入端接有系统输入的图像数据以及逆向坐标计算单元提供的逆向坐标数据，输出端接至双线性插值计算单元；

逆向坐标计算单元，输入端接有系统输入的旋转角度数据，输出端分别将逆向坐标数据接至视频图像存取控制单元及双线性插值计算单元；

双线性插值计算单元，输入端接有视频图像存取控制单元提供的图像数据和逆向坐标计算单元输出的逆向坐标数据，输出端接至系统图像数据输出接口。

所述视频图像存取控制单元包括图像帧存储器、图像数据写入模块、图像数据读取模块以及多个数据选择器，图像数据写入模块的输入端接有图像数据中的同步信号，输出端与图像帧存储器相连；图像数据读取模块的输入端接有图像数据中的同步信号和坐标计算单元输出的逆向坐标数据，输出端与图像帧存储器相连；图像帧存储器的数据输入端通过第1数据选择器接有图像数据，数据输出端通过第2、3数据选择器输出至双线性插值计算单元。

所述图像帧存储器具有第1～4存储器，分为两组，组间采用乒乓结构，每帧进行操作切换；

第1组图像帧存储器存放奇数帧图像数据，其中第1存储器存放奇数帧的奇数行图像数据，第2存储器存放奇数帧的偶数行图像数据；

第2组图像帧存储器存放偶数帧图像数据，其中第3存储器存放偶数帧的奇数行图像数据，第4存储器存放偶数帧的偶数行图像数据。

所述逆向坐标计算单元包括存储正弦查找表的第5存储器、存储余弦查找表的第6存储器、第一点坐标计算模块、右侧点坐标计算模块、下侧点坐标计算模块以及第4数据选择器，其中第5存储器和第6存储器接收系统输入的旋转角度数据，输出端分别与第一点坐标计算模块、右侧点坐标计算模块以及下侧点坐标计算模块相连，第一点坐标计算模块、右侧点坐标计算模块以及下侧点坐标计算模块通过第4数据选择器分别输出至视频图像存取控制单元和双线性插值计算单元。

本发明实时视频图像任意角度旋转系统的控制方法包括以下步骤：

视频图像存取控制单元接收系统输入的图像数据，逆向坐标计算单元接收系统输入的旋转角度数据；

由视频图像存取控制单元根据逆向坐标计算单元输出的逆向坐标数据对系统输入的图像数据进行存储；

双线性插值计算单元接收视频图像存取控制单元输出的图像数据和逆向坐标计算单元输出的逆向坐标数据进行双线性插值计算，将结果输出至图像数据输出接口。

所述视频图像存取控制单元对系统输入的图像数据进行存储包括以下步骤：

当系统输入的图像数据为奇数帧时，图像数据写入模块通过第1数据选择器将图像数据写入到第1存储器和第2存储器；同时，图像数据读取模块从第3存储器和第4存储器中读取图像数据，通过第2、3数据选择器输出至双线性插值计算单元；

当系统输入的图像数据为偶数帧时，图像数据写入模块通过第1数据选择器将图像数据写入到第3存储器和第4存储器；同时，图像数据读取模块从第1存储器)和第2存储器中读取图像数据，通过第2、3数据选择器输出至双线性插值计算单元。

所述逆向坐标计算单元根据系统输入的旋转角度数据计算逆向坐标数据包括以下步骤：

第5、6存储器根据输入的旋转角度数据分别输出正、余弦数据至第一点坐标计算模块、右侧点坐标计算模块以及下侧点坐标计算模块；

右侧点坐标计算模块接收第一点坐标计算模块和下侧点坐标计算模块输出的逆向坐标数据计算逆向坐标数据；

第一点坐标计算模块、右侧点坐标计算模块以及下侧点坐标计算模块通过第4数据选择器输出逆向坐标数据至双线性插值计算单元。

所述第一点坐标计算模块采用的计算公式为：

x＝(w-cosα＜＜m+sinα＜＜n)＞＞1，y＝(h-sinα＜＜m-cosα＜＜n)＞＞1

其中，x、y为输出的逆向坐标数据，α为系统输入的旋转角度数据，w为图像宽度，h为图像长度，w＝2^m，h＝2ⁿ，m、n为正整数；＞＞为右移操作，＜＜为左移操作。

所述右侧点坐标计算模块采用的计算公式为：

x＝x₁+cosα，y＝y₁+sinα

其中，x、y为输出的逆向坐标数据，α为系统输入的旋转角度数据，(x₁，y₁)为已经得到的左侧逆向坐标数据。

10.按权利要求7所述的实时视频图像任意角度旋转系统的控制方法，其特征在于所述下侧点坐标计算模块采用的计算公式为：

x＝x_u-sinα，y＝y_u+cosα

其中，x、y为输出的逆向坐标数据，α为系统输入的旋转角度数据，(x_u，y_u)为已经得到的上侧逆向坐标数据。

所述第一点坐标计算模块、右侧点坐标计算模块以及下侧点坐标计算模块的工作步骤如下：

每帧运行一次第一点坐标计算模块，得到第一行第一列逆向坐标数据；

从第二行开始，首先运行一次下侧点坐标计算模块，得到该行第一列逆向坐标数据；

其余时刻全部运行右侧点坐标计算模块，实时得到所有逆向坐标数据。

所述双线性插值计算单元采用的计算公式为：

f(x，y)＝(1-u)·(1-v)·f(i，j)+(1-u)·v·f(i，j+1)+u·(1-v)·f(i+1，j)+u·v·f(i+1，j+1)

其中f(x，y)为系统输出的图像数据，f(i，j)、f(i，j+1)、f(i+1，j)和f(i+1，j+1)为通过图像数据读取模块从图像帧存储器得到的图像数据，i、j分别为逆向坐标数据x、y的整数部分，u，v分别为逆向坐标数据x、y的小数部分。

本发明具有以下有益效果及优点：

1.本发明实时视频图像任意角度旋转系统及其控制方法涉及超大规模集成电路、数字信号处理、存储器技术、数据结构和并行计算等技术，通过对原始逆向旋转算法和双线性插值算法优化及结构改进，实现了易于可编程逻辑器件实现的快速计算结构，具有成本低、速度快和实用性强等优点。

2.本发明实时视频图像任意角度旋转系统及其控制方法解决了视频图像任意角度实时旋转，角度精度高，计算速度快，满足了机载、车载及手持录像等系统的高实时性要求。

附图说明

图1为本发明实时视频图像任意角度旋转系统总体框图；

图2为视频图像存取控制单元实现框图；

图3为逆向坐标计算单元实现框图；

图4为双线性插值计算单元实现框图。

具体实施方式

如图1所示，本发明实时视频图像任意角度旋转系统包括：视频图像存取控制单元、逆向坐标计算单元以及双线性插值计算单元，其中视频图像存取控制单元的输入端接有系统输入的图像数据以及逆向坐标计算单元提供的逆向坐标数据，并根据同步信号将图像数据写入到图像帧存储器；输出端接至双线性插值计算单元；逆向坐标计算单元，输入端接有系统输入的旋转角度数据，根据旋转角度数据计算每个坐标在原图像中的映射关系，即得到逆向坐标数据，输出端分别将逆向坐标数据接至视频图像存取控制单元及双线性插值计算单元；双线性插值计算单元输入端接有视频图像存取控制单元提供的图像数据和逆向坐标计算单元输出的逆向坐标数据，根据每个逆向坐标数据进行插值计算，得到旋转的图像数据，输出端将图像数据送至系统图像数据输出接口。本实施例中，上述系统在PLD(可编程逻辑器件)实现。

如图2所示，视频图像存取控制单元包括图像帧存储器、图像数据写入模块、图像数据读取模块以及多个数据选择器，图像数据写入模块的输入端接有图像数据中的同步信号，输出端与图像帧存储器相连；图像数据读取模块的输入端接有图像数据中的同步信号和坐标计算单元输出的逆向坐标数据，输出端与图像帧存储器相连；图像帧存储器的数据输入端通过第1数据选择器接有图像数据，数据输出端通过第2、3数据选择器输出至双线性插值计算单元。

所述图像帧存储器具有第1～4存储器A₀、A₁、B₀、B₁，分为两个独立的存储器组，每个存储器组由2个独立的存储器组成，即第1组图像帧存储器由第1、2存储器A₀、A₁组成，第2组图像帧存储器由第3、4存储器B₀、B₁组成。本实施例中，第1～4存储器A₀、A₁、B₀、B₁采用SRAM，图像数据写入模块根据输入视频图像的同步信号提供存储器写地址，图像数据读取模块根据逆向坐标计算模块提供的逆向坐标数据提供存储器读地址。图像数据读取模块和图像数据写入模块可以使用不同的时钟，如果图像数据读取模块的时钟基准大于图像数据吸入模块的时钟基准，那么由图像数据的存取结构决定该系统的处理延时小于一帧。

第1组图像帧存储器存放奇数帧图像数据，其中第1存储器A₀存放奇数帧的奇数行图像数据，第2存储器A₁存放奇数帧的偶数行图像数据；第2组图像帧存储器存放偶数帧图像数据，其中第3存储器B₀存放偶数帧的奇数行图像数据，第4存储器B₁存放偶数帧的偶数行图像数据。

如图3所示，所述逆向坐标计算单元包括存储正弦查找表的第5存储器C₀、存储余弦查找表的第6存储器C₁、第一点坐标计算模块、右侧点坐标计算模块、下侧点坐标计算模块以及第4数据选择器，其中第5存储器C₀和第6存储器C₁接收系统输入的旋转角度数据，输出端分别与第一点坐标计算模块、右侧点坐标计算模块以及下侧点坐标计算模块相连，第一点坐标计算模块、右侧点坐标计算模块以及下侧点坐标计算模块通过第4数据选择器分别输出至视频图像存取控制单元和双线性插值计算单元。本实施例中，本实施例中，第5存储器C₀和第6存储器C₁采用ROM。

第一点坐标计算模块、右侧点坐标计算模块以及下侧点坐标计算模块均由加法器和移位寄存器实现。

如图4所示，双线性插值计算单元由插值坐标及参数提取模块和插值计算逻辑组成，本实施例中，插值计算逻辑由加法器和乘法器构成。

本发明实时视频图像任意角度旋转系统的控制方法包括以下步骤：

视频图像存取控制单元接收系统输入的图像数据，计算单元接收系统输入的旋转角度数据；

由视频图像存取控制单元根据逆向坐标计算单元输出的逆向坐标数据对系统输入的图像数据进行存储；

双线性插值计算单元接收视频图像存取控制单元输出的图像数据和逆向坐标计算单元输出的逆向坐标数据进行双线性插值计算，将结果输出至图像数据输出接口。

所述视频图像存取控制单元对系统输入的图像数据进行存储包括以下步骤：

当系统输入的图像数据为奇数帧时，图像数据写入模块通过第1数据选择器将图像数据写入到第1存储器A₀和第2存储器A₁；同时，图像数据读取模块从第3存储器B₀和第4存储器B₁中读取图像数据，通过第2、3数据选择器输出至双线性插值计算单元。

当系统输入的图像数据为偶数帧时，图像数据写入模块通过第1数据选择器将图像数据写入到第3存储器B₀和第4存储器B₁；同时，图像数据读取模块从第1存储器A₀和第2存储器A₁中读取图像数据，通过第2、3数据选择器输出至双线性插值计算单元。

如图3所示，所述逆向坐标计算单元根据系统输入的旋转角度数据计算逆向坐标数据包括以下步骤：

第5、6存储器C₀、C₁根据输入的旋转角度数据分别输出正、余弦数据至第一点坐标计算模块、右侧点坐标计算模块以及下侧点坐标计算模块；本实施例中，正、余弦数据sinα和cosα由正、余弦查找表得到，其中α为旋转角度；本实施例中，正、余弦数据sinα和cosα放大了65536倍，α的角度精度为1度。

所述第一点坐标计算模块采用的计算公式为：

x＝(w-cosα＜＜m+sinα＜＜n)＞＞1，y＝(h-sinα＜＜m-cosα＜＜n)＞＞1

其中，x、y为输出的逆向坐标数据，α为系统输入的旋转角度数据，w为图像宽度，h为图像长度，w＝2^m，h＝2ⁿ，m、n为正整数；＞＞为右移操作，＜＜为左移操作。

所述右侧点坐标计算模块采用的计算公式为：

x＝x₁+cosα，y＝y₁+sinα

其中，x、y为输出的逆向坐标数据，α为系统输入的旋转角度数据，(x₁，y₁)为已经得到的左侧逆向坐标数据。

所述下侧点坐标计算模块采用的计算公式为：

x＝x_u-sinα，y＝y_u+cosα

其中，x、y为输出的逆向坐标数据，α为系统输入的旋转角度数据，(x_u，y_u)为已经得到的上侧逆向坐标数据。

本实施例中，x、y的计算结果进行了溢出保护处理。

右侧点坐标计算模块接收第一点坐标计算模块和下侧点坐标计算模块输出的逆向坐标数据计算逆向坐标数据；

第一点坐标计算模块、右侧点坐标计算模块以及下侧点坐标计算模块通过第4数据选择器输出逆向坐标数据至双线性插值计算单元。

所述第一点坐标计算模块、右侧点坐标计算模块以及下侧点坐标计算模块的工作步骤如下：

每帧运行一次第一点坐标计算模块，得到第一行第一列逆向坐标数据；

从第二行开始，首先运行一次下侧点坐标计算模块，得到该行第一列逆向坐标；

其余时刻全部运行右侧点坐标计算模块；实时得到了所有逆向坐标数据。

如图4所示，所述双线性插值计算单元采用的计算公式为：

f(x，y)＝(1-u)·(1-v)·f(i，j)+(1-u)·v·f(i，j+1)+u·(1-v)·f(i+1，j)+u·v·f(i+1，j+1)

其中f(x，y)为系统输出的图像数据，f(i，j)、f(i，j+1)、f(i+1，j)和f(i+1，j+1)为通过图像数据读取模块从图像帧存储器得到的上一帧图像数据，i、j分别为逆向坐标数据x、y的整数部分，u，v分别为逆向坐标数据x、y的小数部分。

插值坐标及参数提取模块从每个逆行坐标数据中提取4个坐标和4个线性参数，4个坐标数据用于图像数据读取模块的地址计算，4个线性参数用于双线性插值计算。将逆向坐标数据进行整数和小数分解，记为x＝i+u，y＝j+v，其中i，j为整数部分，u，v为小数部分，则提取得到4个坐标(i，j)，(i，j+1)，(i+1，j)和(i+1，j+1)，提取得到4个线性参数u，v，1-u，1-v。

系统对输入的连续视频图像数据进行了实时处理，f(x，y)即为经过本发明实时旋转处理后的结果，将该结果送至图像数据输出接口的图像数据即完成了本发明的全部处理过程。

Claims (8)

1.一种实时视频图像任意角度旋转系统，其特征在于包括：

视频图像存取控制单元，输入端接有系统输入的图像数据以及逆向坐标计算单元提供的逆向坐标数据，输出端接至双线性插值计算单元；

逆向坐标计算单元，输入端接有系统输入的旋转角度数据，输出端分别将逆向坐标数据接至视频图像存取控制单元及双线性插值计算单元；

双线性插值计算单元，输入端接有视频图像存取控制单元提供的图像数据和逆向坐标计算单元输出的逆向坐标数据，输出端接至系统图像数据输出接口；

所述双线性插值计算单元采用的计算公式为：

f(x，y)＝(1-u)·(1-v)·f(i，j)+(1-u)·v·f(i，j+1)+u·(1-v)·f(i+1，j)+u·v·f(i+1，j+1)

其中f(x，y)为系统输出的图像数据，f(i，j)、f(i，j+1)、f(i+1，j)和f(i+1，j+1)为通过图像数据读取模块从图像帧存储器得到的图像数据，i、j分别为逆向坐标数据x、y的整数部分，u，v分别为逆向坐标数据x、y的小数部分；

所述视频图像存取控制单元包括图像帧存储器、图像数据写入模块、图像数据读取模块以及多个数据选择器，图像数据写入模块的输入端接有图像数据中的同步信号，输出端与图像帧存储器相连；图像数据读取模块的输入端接有图像数据中的同步信号和坐标计算单元输出的逆向坐标数据，输出端与图像帧存储器相连；图像帧存储器的数据输入端通过第1数据选择器接有图像数据，数据输出端通过第2、3数据选择器输出至双线性插值计算单元；

所述图像帧存储器具有第1～4存储器(A₀、A₁、B₀、B₁)，分为两组，组间采用乒乓结构，每帧进行操作切换；

第1组图像帧存储器存放奇数帧图像数据，其中第1存储器(A₀)存放奇数帧的奇数行图像数据，第2存储器(A₁)存放奇数帧的偶数行图像数据；

第2组图像帧存储器存放偶数帧图像数据，其中第3存储器(B₀)存放偶数帧的奇数行图像数据，第4存储器(B₁)存放偶数帧的偶数行图像数据；

所述逆向坐标计算单元包括存储正弦查找表的第5存储器(C₀)、存储余弦查找表的第6存储器(C₁)、第一点坐标计算模块、右侧点坐标计算模块、下侧点坐标计算模块以及第4数据选择器，其中第5存储器(C₀)和第6存储器(C₁)接收系统输入的旋转角度数据，输出端分别与第一点坐标计算模块、右侧点坐标计算模块以及下侧点坐标计算模块相连，第一点坐标计算模块、右侧点坐标计算模块以及下侧点坐标计算模块通过第4数据选择器分别输出至视频图像存取控制单元和双线性插值计算单元。

2.一种实时视频图像任意角度旋转系统的控制方法，其特征在于包括以下步骤：

视频图像存取控制单元接收系统输入的图像数据，逆向坐标计算单元接收系统输入的旋转角度数据；

由视频图像存取控制单元根据逆向坐标计算单元输出的逆向坐标数据对系统输入的图像数据进行存储；

双线性插值计算单元接收视频图像存取控制单元输出的图像数据和逆向坐标计算单元输出的逆向坐标数据进行双线性插值计算，将结果输出至图像数据输出接口；

所述双线性插值计算单元采用的计算公式为：

f(x，y)＝(1-u)·(1-v)·f(i，j)+(1-u)·v·f(i，j+1)+u·(1-v)·f(i+1，j)+u·v·f(i+1，j+1)

其中f(x，y)为系统输出的图像数据，f(i，j)、f(i，j+1)、f(i+1，j)和f(i+1，j+1)为通过图像数据读取模块从图像帧存储器得到的图像数据，i、j分别为逆向坐标数据x、y的整数部分，u，v分别为逆向坐标数据x、y的小数部分。

3.按权利要求2所述的实时视频图像任意角度旋转系统的控制方法，其特征在于所述视频图像存取控制单元对系统输入的图像数据进行存储包括以下步骤：

当系统输入的图像数据为奇数帧时，图像数据写入模块通过第1数据选择器将图像数据写入到第1存储器(A₀)和第2存储器(A₁)；同时，图像数据读取模块从第3存储器(B₀)和第4存储器(B₁)中读取图像数据，通过第2、3数据选择器输出至双线性插值计算单元；

当系统输入的图像数据为偶数帧时，图像数据写入模块通过第1数据选择器将图像数据写入到第3存储器(B₀)和第4存储器(B₁)；同时，图像数据读取模块从第1存储器(A₀)和第2存储器(A₁)中读取图像数据，通过第2、3数据选择器输出至双线性插值计算单元。

4.按权利要求2所述的实时视频图像任意角度旋转系统的控制方法，其特征在于所述逆向坐标计算单元根据系统输入的旋转角度数据计算逆向坐标数据包括以下步骤：

第5、6存储器(C₀、C₁)根据输入的旋转角度数据分别输出正、余弦数据至第一点坐标计算模块、右侧点坐标计算模块以及下侧点坐标计算模块；

右侧点坐标计算模块接收第一点坐标计算模块和下侧点坐标计算模块输出的逆向坐标数据计算逆向坐标数据；

第一点坐标计算模块、右侧点坐标计算模块以及下侧点坐标计算模块通过第4数据选择器输出逆向坐标数据至双线性插值计算单元。

5.按权利要求4所述的实时视频图像任意角度旋转系统的控制方法，其特征在于所述第一点坐标计算模块采用的计算公式为：

x＝(w-cosα＜＜m+sinα＜＜n)＞＞1，y＝(h-sinα＜＜m-cosα＜＜n)＞＞1

其中，x、y为输出的逆向坐标数据，α为系统输入的旋转角度数据，w为图像宽度，h为图像长度，w＝2^m，h＝2ⁿ，m、n为正整数；＞＞为右移操作，＜＜为左移操作。

6.按权利要求4所述的实时视频图像任意角度旋转系统的控制方法，其特征在于所述右侧点坐标计算模块采用的计算公式为：

x＝x₁+cosα，y＝y₁+sinα

其中，x、y为输出的逆向坐标数据，α为系统输入的旋转角度数据，x₁，y₁为已经得到的左侧逆向坐标数据。

7.按权利要求4所述的实时视频图像任意角度旋转系统的控制方法，其特征在于所述下侧点坐标计算模块采用的计算公式为：

x＝x_u-sinα，y＝y_u+cosα

其中，x、y为输出的逆向坐标数据，α为系统输入的旋转角度数据，x_u，y_u为已经得到的上侧逆向坐标数据。

8.按权利要求4所述的实时视频图像任意角度旋转系统的控制方法，其特征在于所述第一点坐标计算模块、右侧点坐标计算模块以及下侧点坐标计算模块的工作步骤如下：

每帧运行一次第一点坐标计算模块，得到第一行第一列逆向坐标数据；

从第二行开始，首先运行一次下侧点坐标计算模块，得到该行第一列逆向坐标数据；

其余时刻全部运行右侧点坐标计算模块，实时得到所有逆向坐标数据。

Images