CN102611908B - 一种反向重采样fpga装置 - Google Patents

Abstract

本发明提供一种反向重采样FPGA装置，包括：数据缓存模块，包括多个第一片内RAM，用于缓存先于重采样数据到达的输入视频数据；预复制数据模块，包括多个第二片内RAM，用于从数据缓存模块复制先于重采样数据一个周期的输入视频数据；相邻点对计算模块，根据重采样数据，分别计算并查找输入视频数据的左右两路相邻点对的像素值；权重计算模块，根据重采样数据，分别计算左右两路相邻点对的权重；插值模块，根据左右两路相邻点对的像素值和权重，计算得到输入视频数据的左右两路输出视频数据。通过在数据缓存模块和预复制数据模块内设置片内RAM，提高存取速度，满足实时处理的要求，并且视频处理过程不需要视频分辨率信息，支持各种分辨率视频。

Description

一种反向重采样FPGA装置

技术领域

本发明涉及图像处理技术领域，特别涉及一种根据重采样数据对原视频数据进行反向重采样的FPGA(现场可编程门阵列)装置。

背景技术

立体视频，可以给用户提供视频中场景的深度信息，使用户能够通过视频看到与真实世界几乎完全一致的景象，产生巨大的真实感和临场感。现有的立体技术一般采用FPGA技术将平面视频转化为立体视频：首先获取原序列(平面视频)每帧的深度信息，得到左视图深度序列和右视图深度序列(简称为左右视图深度序列)，左右视图深度序列分别由多张与原序列中视频帧对应的深度图组成；然后查找左右视图深度序列中每一帧的每一点在原序列每一帧中对应点的坐标，这一坐标一般不为整数；最后对原序列中该坐标左右相邻的点进行线性内插，得到的像素值作为生成视图对应点的像素值，即立体视频的左视图序列和右视图序列。进一步地将左视图序列和右视图序列通过一定的显示技术分别被用户的左眼和右眼观测，即实现了立体感知。

只有当左右视图序列中的场景与真实情况下人的两眼所能观测到场景相一致，才能达到最好的立体视频效果，微小的偏差一旦被人言察觉，都会给用户带来不适的感觉。鉴于立体视频上述苛刻的要求，立体视频的片源制作成为立体视频领域的主要难题之一。同时，直接获取两路立体视频对硬件设备的精度要求很高，难以实现。

发明内容

本发明的目的旨在至少解决上述技术缺陷之一，特别是解决采用FPGA技术将平面视频转化为立体视频对硬件设备的精度要求高的问题。

为达到上述目的，本发明提供一种反向重采样FPGA装置，包括：数据缓存模块，包括多个第一片内RAM，所述数据缓存模块用于将先于重采样数据到达的输入视频数据缓存在所述第一片内RAM中；预复制数据模块，包括多个第二片内RAM，所述预复制数据模块用于从所述数据缓存模块复制先于所述重采样数据一个周期的所述输入视频数据，并存储在所述第二片内RAM中；相邻点对计算模块，根据所述重采样数据，分别计算并从所述数据缓存模块和预复制数据模块中查找所述输入视频数据的左右两路相邻点对的像素值；权重计算模块，根据所述重采样数据，分别计算所述左右两路相邻点对的权重；插值模块，根据所述左右两路相邻点对的像素值和权重，进行插值计算得到所述输入视频数据的左右两路输出视频数据。

在本发明的一个实施例中，所述一个第一片内RAM的容量为一行所述输入视频数据的数据量，所述第一片内RAM的数量由先于所述重采样数据达到所述数据缓存模块的所述输入视频数据的行数决定。

在本发明的一个实施例中，所述一个第二片内RAM的容量为一行所述输入视频数据的数据量，所述预复制数据模块包括两个第二片内RAM。

在本发明的一个实施例中，所述每个第一片内RAM和每个第二片内RAM分别包括两个读写端口，每个所述读写端口根据各自的读写使能信号判断其所处状态，即处于读状态或写状态。

在本发明的一个实施例中，同属于一个所述第一片内RAM或第二片内RAM的两个所述读写端口共用一个时钟信号，使得RAM的读取与所述重采样数据同步，RAM的写入与所述输入视频数据同步。

在本发明的一个实施例中，数据缓存模块还包括：第一写RAM编号寄存器，用于当新一行所述输入视频数据到达所述数据缓存模块时，指示所述新一行输入视频数据将被写入的所述第一片内RAM；第一读RAM编号寄存器，用于当所述新一行输入视频数据的左右两路相邻点对坐标值被所述相邻点对计算模块计算出来时，指示其中一路每个所述相邻点对的像素值将被读出的所述第一片内RAM；复制RAM编号寄存器，用于在所述新一行输入视频数据的左右两路相邻点对坐标值将要被所述相邻点对计算模块计算出来的上一个周期时，指示所述新一行输入视频数据将被复制出去的所述第一片内RAM。

在本发明的一个实施例中，预复制数据模块还包括：第二写RAM编号寄存器，当所述新一行输入视频数据的左右两路相邻点对坐标值将被所述相邻点对计算模块计算出来的上一个周期，所述新一行输入视频数据将被从所述数据缓存模块复制出来时，指示所述新一行输入视频数据将被写入的第二片内RAM块；第二读RAM编号寄存器，用于当所述新一行输入视频数据的左右两路相邻点对坐标值被所述相邻点对计算模块计算出来时，指示其中另一路每个所述相邻点对的像素值将被读出的所述第二片内RAM。

在本发明的一个实施例中，所述权重计算模块计算所述左右两路相邻点对的权重包括以下步骤：分别判断所述左右两路相邻点对的每一路的坐标是否在视频范围内；若否，将前相邻点的权重赋为1，后相邻点的权重赋为0；若是，判断该路的坐标是否为整数；若是，将所述前相邻点的权重赋为1，所述后相邻点的权重赋为0；若否，将该路的坐标小数部分赋为所述后相邻点的权重，将该路坐标小数部分对1的补数赋为所述前相邻点的权重；所述左右两路相邻点对共得到四个权重。

在本发明的一个实施例中，所述相邻点对计算模块计算并查找所述左右两路相邻点对的像素值包括：分别判断所述左右两路相邻点对的每一路的坐标是否处于视频边界或处于视频范围之外；若是，将前后相邻点坐标均赋为最近的视频边界值：0或视频宽度；

若否，判断该路的坐标是否为整数；若是，将所述前后相邻点坐标均赋为所述整数；若否，将所述前相邻点坐标均赋为该路坐标的整数部分，将所述后相邻点坐标赋为所述整数部分加1；将其中一路所述相邻点对的所述前后相邻点坐标传输至所述数据缓存模块，对所述第一片内RAM进行查找，以得到该路相邻点对的像素值；将另一路所述相邻点对的所述前后相邻点坐标传输至所述预复制数据模块，对所述第二片内RAM进行查找，以得到该路相邻点对的像素值。

在本发明的一个实施例中，假设所述左右两路相邻点对的其中一路的所述权重为floor、ceil，所述像素值为rgbFloor、rgbCeil，则经过所述插值模块得到的该路输出视频数据为：rgb＝floor*rgbFloor+ceil*rgbCeil

本发明提供一种根据重采样坐标对原视频数据进行反向重采样的FPGA装置，通过在数据缓存模块和预复制数据模块内分别设置片内RAM，提高存取速度，以满足实时处理的要求，并且视频处理过程不需要视频分辨率信息，根据本发明实施例的反向重采样FPGA装置能够支持全高清1080像素及其他各种分辨率视频。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的反向重采样FPGA装置模块示意图；

图2为本发明实施例的数据缓存模块的示意图；

图3为本发明实施例的预复制数据模块的示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

需要说明的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。进一步地，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

本发明实施例提供一种反向重采样FPGA装置，图1所示为根据本发明实施例的反向重采样FPGA装置模块示意图，如图1所示，该装置包括：数据缓存模块100、预复制数据模块200、相邻点对计算模块300、权重计算模块400、插值模块500。其中，数据缓存模块100包括多个第一片内RAM，用于将先于重采样数据到达的输入视频数据缓存在第一片内RAM中，以保证输入视频数据与重采样数据对齐；预复制数据模块200包括多个第二片内RAM，用于从数据缓存模块100复制先于重采样数据一个周期的输入视频数据，并将其存储在第二片内RAM中；相邻点对计算模块300根据重采样数据，分别计算并从数据缓存模块100和预复制数据模块200中查找输入视频数据的左右两路相邻点对的像素值；权重计算模块400根据重采样数据，分别计算该左右两路相邻点对的权重；插值模块500根据左右两路相邻点对的像素值和权重，进行插值计算得到输入视频数据的左右两路输出视频数据。其中，输入视频数据包括数据有效信号和RGB信号，输出视频数据包括行同步信号、帧同步信号、数据有效信号和左右两路RGB信号。

图2所示为本发明实施例的数据缓存模块100的示意图。如图2所示，数据缓存模块100包括多个第一片内RAM(如图2所示的RAM111、RAM112......RAM119)，每个第一片内RAM的容量为一行输入视频数据的数据量，第一片内RAM的数量由先于重采样数据达到数据缓存模块100的输入视频数据的行数决定，不局限于图1中所示的9个。在本实施例中，第一片内RAM采用双口模式，即每个第一片内RAM包括两个读写端口，其中一个端口与输入视频数据相连，另一个端口与相邻点对计算模块300和预复制数据模块200相连。每个读写端口可以根据各自的读写使能信号判断其处于读状态还是写状态。第一片内RAM采样单时钟模式，即同属于一个第一片内RAM的两个读写端口共用一个时钟信号，使得第一片内RAM的读取与重采样数据同步，第一片内RAM的写入与输入视频数据同步。

在本发明实施例中，数据缓存模块100还包括第一写RAM编号寄存器121。当新一行输入视频数据到达数据缓存模块100时，该行数据将被写入第一写RAM编号寄存器121指示的第一片内RAM中。该行每个数据的横坐标即为该数据在该第一片内RAM的地址。此时该第一片内RAM与输入视频数据相连的端口处于写状态。当该行数据操作结束时，该端口变为读状态，此时第一写RAM编号寄存器121指示下一个将被写入的第一片内RAM。

在本发明实施例中，数据缓存模块100还包括第一读RAM编号寄存器122。当新一行输入视频数据的左右两路相邻点对坐标值被相邻点对计算模块300计算出来时，其中一路每个相邻点对的像素值将从第一读RAM编号寄存器122指示的第一片内RAM中读出。每个相邻点对中每一点的值即为要读出的数据在该第一片内RAM中的地址。此时该第一片内RAM的两个端口都应处于读状态。当该行数据操作结束时，第一读RAM编号寄存器122指示下一个将被读取的第一片内RAM。

在本发明实施例中，数据缓存模块100还包括复制RAM编号寄存器123。在新一行输入视频数据的左右两路相邻点对坐标值将要被相邻点对计算模块300计算出来的上一个周期，该行数据将被从复制RAM编号寄存器123指示的第一片内RAM中复制到预复制数据模块200中。当该行数据操作结束时，复制RAM编号寄存器123指示下一个将被复制的第一片内RAM。

图3所示为本发明实施例的预复制数据模块200的示意图。如图3所示，预复制数据模块200包括两个第二片内RAM(如图3所示的RAM211、RAM212)，每个第二片内RAM的容量为一行输入视频数据的数据量。在本实施例中，第二片内RAM采用双口模式，即每个第二片内RAM包括两个读写端口，其中一个端口与数据缓存模块100相连，另一个端口与相邻点对计算模块300相连。每个读写端口可以根据各自的读写使能信号判断其处于读状态还是写状态。第二片内RAM采样单时钟模式，即同属于一个第二片内RAM的两个读写端口共用一个时钟信号，使得第二片内RAM的读取与重采样数据同步，第二片内RAM的写入与输入视频数据同步。

在本发明实施例中，预复制数据模块200还包括第二写RAM编号寄存器222。在新一行输入视频数据左右两路相邻点对坐标值将被相邻点对计算模块300计算出来的上一个周期，该行数据将被从数据缓存模块100复制出来，写入预复制数据模块200的第二写RAM编号寄存器222指示的第二片内RAM中。此时该第二片内RAM与数据缓存模块100相连的端口处于写状态。当该行数据操作结束时，该端口变为读状态，第二写RAM编号寄存器222指示预复制数据模块200中的另一个第二片内RAM。

在本发明实施例中，预复制数据模块200还包括第二读RAM编号寄存器221。当新一行输入视频数据左右两路相邻点对坐标值被相邻点对计算模块300计算出来时，其中一路每个相邻点对的像素值将从第二读RAM编号寄存器221指示的第二片内RAM中读出。每个相邻点对中每一点的值即为要读出的数据在该第二片内RAM中的地址。此时该第二片内RAM的两个端口都处于读状态。当该行数据操作结束时，第二读RAM编号寄存器221指示预复制数据模块200中的另一个第二片内RAM。

权重计算模块400根据输入重采样数据，计算输入视频数据的左右两路相邻点对每一点的权重，具体包括以下步骤。

S401，判断其中一路的坐标是否在视频范围之内：若是，则进行下一步；若否，则将前相邻点的权重赋为1，后相邻点的权重赋为0。

S402，判断该路坐标是否为整数：若是，则将前相邻点的权重赋为1，后相邻点的权重赋为0；若否，则将该路坐标的小数部分赋为后相邻点的权重，将该路坐标小数部分对1的补数赋为前相邻点的权重。

S403，重复S401和/或S402计算另一路相邻点对每一点的权重。

S404，将左右两路相邻点对共四个权重输入至插值模块500。

相邻点对计算模块300根据输入重采样数据，计算并查找输入视频数据的左右两路相邻点对的像素值，具体包括以下步骤。

S301，判断其中一路的坐标是否处于视频边界或处于视频范围之外：若是，则将前后相邻点坐标均赋为最近的视频边界值，即0或视频宽度；若否，则进行下一步。

S302，判断该路坐标是否是整数：若是，则将前后相邻点坐标均赋为该整数；若否，则将前相邻点的坐标赋为该路坐标的整数部分，后相邻点的坐标赋为该整数部分加1。

S303，重复S301和/或S302计算另一路相邻点对的像素值。

S304，将其中一路相邻点对的前后相邻点坐标传输至数据缓存模块100，对第一片内RAM进行查找，以得到该路相邻点对的像素值；将另一路相邻点对的前后相邻点坐标传输至预复制数据模块200，对第二片内RAM进行查找，以得到该路相邻点对的像素值。

插值模块500根据权重计算模块400得到的权重和相邻点对计算模块300得到的相邻点对像素值，通过插值得到左右两路新的像素值，即左右两路输出视频数据。以其中一路为例，假设从权重计算模块400得到的权重为floor、ceil，从相邻点对计算模块300得到的相邻点对像素值为rgbFloor、rgbCeil，在本发明实施例中，可以通过以下插值公式得到的该路新的像素值：

rgb＝floor*rgbFloor+ceil*rgbCeil

本发明提供一种根据重采样坐标对原视频数据进行反向重采样的FPGA装置，通过在数据缓存模块和预复制数据模块内分别设置片内RAM，提高存取速度，以满足实时处理的要求，并且视频处理过程不需要视频分辨率信息，根据本发明实施例的反向重采样FPGA装置能够支持全高清1080像素及其他各种分辨率视频。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims (9)

1.一种反向重采样现场可编程门阵列装置，其特征在于，包括：

数据缓存模块，包括多个第一片内RAM，所述数据缓存模块用于将先于重采样数据到达的输入视频数据缓存在所述第一片内RAM中，一个所述第一片内RAM的容量为一行所述输入视频数据的数据量，所述第一片内RAM的数量由先于所述重采样数据达到所述数据缓存模块的所述输入视频数据的行数决定；

预复制数据模块，包括多个第二片内RAM，所述预复制数据模块用于从所述数据缓存模块复制先于所述重采样数据一个周期的所述输入视频数据，并存储在所述第二片内RAM中；

相邻点对计算模块，根据所述重采样数据，分别计算并从所述数据缓存模块和预复制数据模块中查找所述输入视频数据的左右两路相邻点对的像素值；

权重计算模块，根据所述重采样数据，分别计算所述左右两路相邻点对的权重；

插值模块，根据所述左右两路相邻点对的像素值和权重，进行插值计算得到所述输入视频数据的左右两路输出视频数据。

2.如权利要求1所述的反向重采样现场可编程门阵列装置，其特征在于，所述一个第二片内RAM的容量为一行所述输入视频数据的数据量，所述预复制数据模块包括两个第二片内RAM。

3.如权利要求1所述的反向重采样现场可编程门阵列装置，其特征在于，所述每个第一片内RAM和每个第二片内RAM分别包括两个读写端口，每个所述读写端口根据各自的读写使能信号判断其所处状态。

4.如权利要求3所述的反向重采样现场可编程门阵列装置，其特征在于，同属于一个所述第一片内RAM或第二片内RAM的两个所述读写端口共用一个时钟信号。

5.如权利要求1所述的反向重采样现场可编程门阵列装置，其特征在于，数据缓存模块还包括：

第一写RAM编号寄存器，用于当新一行所述输入视频数据到达所述数据缓存模块时，指示所述新一行输入视频数据将被写入的所述第一片内RAM；

第一读RAM编号寄存器，用于当所述新一行输入视频数据的左右两路相邻点对坐标值被所述相邻点对计算模块计算出来时，指示其中一路每个所述相邻点对的像素值将被读出的所述第一片内RAM；

复制RAM编号寄存器，用于在所述新一行输入视频数据的左右两路相邻点对坐标值将要被所述相邻点对计算模块计算出来的上一个周期时，指示所述新一行输入视频数据将被复制出去的所述第一片内RAM。

6.如权利要求5所述的反向重采样现场可编程门阵列装置，其特征在于，预复制数据模块还包括：

第二写RAM编号寄存器，当所述新一行输入视频数据的左右两路相邻点对坐标值将被所述相邻点对计算模块计算出来的上一个周期，所述新一行输入视频数据将被从所述数据缓存模块复制出来时，指示所述新一行输入视频数据将被写入的第二片内RAM块；

第二读RAM编号寄存器，用于当所述新一行输入视频数据的左右两路相邻点对坐标值被所述相邻点对计算模块计算出来时，指示其中另一路每个所述相邻点对的像素值将被读出的所述第二片内RAM。

7.如权利要求1所述的反向重采样现场可编程门阵列装置，其特征在于，所述权重计算模块计算所述左右两路相邻点对的权重包括：

分别判断所述左右两路相邻点对的每一路的坐标是否在视频范围内；

若否，将前相邻点的权重赋为1，后相邻点的权重赋为0；

若是，判断该路的坐标是否为整数；

若是，将所述前相邻点的权重赋为1，所述后相邻点的权重赋为0；

若否，将该路的坐标小数部分赋为所述后相邻点的权重，将该路坐标小数部分对1的补数赋为所述前相邻点的权重；

所述左右两路相邻点对共得到四个权重。

8.如权利要求1所述的反向重采样现场可编程门阵列装置，其特征在于，所述相邻点对计算模块计算并查找所述左右两路相邻点对的像素值包括：

分别判断所述左右两路相邻点对的每一路的坐标是否处于视频边界或处于视频范围之外；

若是，将前后相邻点坐标均赋为最近的视频边界值：0或视频宽度；

若否，判断该路的坐标是否为整数；

若是，将所述前后相邻点坐标均赋为所述整数；

若否，将所述前相邻点坐标均赋为该路坐标的整数部分，将所述后相邻点坐标赋为所述整数部分加1；

将其中一路所述相邻点对的所述前后相邻点坐标传输至所述数据缓存模块，对所述第一片内RAM进行查找，以得到该路相邻点对的像素值；

将另一路所述相邻点对的所述前后相邻点坐标传输至所述预复制数据模块，对所述第二片内RAM进行查找，以得到该路相邻点对的像素值。

9.如权利要求1所述的反向重采样现场可编程门阵列装置，其特征在于，假设所述左右两路相邻点对的其中一路的所述权重为floor、ceil，所述像素值为rgbFloor、rgbCeil，则经过所述插值模块得到的该路输出视频数据为：

rgb=floor*rgbFloor+ceil*rgbCeil。