CN102930501A

CN102930501A - 一种控制dibr系统中图像存储的多口内存控制器

Info

Publication number: CN102930501A
Application number: CN2012103846094A
Authority: CN
Inventors: 刘然; 田逢春; 刘军令; 巫英坚; 谭迎春; 谭伟敏; 李博乐; 谢辉; 邰国钦; 黄扬帆; 甘平; 葛亮; 陈恒鑫; 周庆; 叶莲
Original assignee: Chongqing University; Sichuan Hongwei Technology Co Ltd
Current assignee: Chongqing University; Sichuan Hongwei Technology Co Ltd
Priority date: 2012-10-12
Filing date: 2012-10-12
Publication date: 2013-02-13
Anticipated expiration: 2032-10-12
Also published as: CN102930501B

Abstract

本发明公开了一种控制DIBR系统中图像存储的多口内存控制器，使用外部存储器作为外部缓存的存储机制，将DIBR算法所需参考图像和深度图像全部存储到外部存储器中，然后读给DIBR算法模块，保证了参考图像和深度图像同时输送给DIBR算法模块进行处理。实验表明，本发明控制DIBR系统中图像存储的多口内存控制器具有很好的可操作性，实现简单，可以大量缩减内部存储所消耗的资源。因而可以作为目前普通DVD视频流实现DIBR技术的可行方案。

Description

一种控制DIBR系统中图像存储的多口内存控制器

技术领域

本发明属于基于深度图像绘制（Depth-Image-Based Rendering，简称DIBR）技术领域，更为具体地讲，涉及一种控制DIBR系统中图像存储的多口内存控制器（Multi-Port Memory Controller，简称MPMC）。

背景技术

基于深度图像绘制(Depth-Image-Based Rendering，简称DIBR)技术根据参考图像(reference image)及其对应的深度图像(depth image)来生成新视点图像(目标图像)。与传统的需要传递左右眼两路视频的3D视频相比，采用DIBR技术之后仅需要传送一路视频及其深度图像就可生成立体图像对，而且可以很方便的实现二维和三维的切换正因为如此，DIBR技术在3D电视立体图像对(stereopair)的生成中得到了广泛应用，它也引起了人们愈来愈浓厚的兴趣。

DIBR技术需要同时获得参考图像及其对应深度图数据才能进行算法处理。然而，目前普通DVD只能以时分的形式串行输出参考图和其对应的深度图（即先输出整幅参考图再输出对应深度图），这样就导致DIBR算法模块无法同时获得深度图和参考图，进而无法生成目标图。

发明内容

本发明的目的在于克服现有技术的不足，提供一种控制DIBR系统中图像存储的多口内存控制器，保证参考图和深度图数据同时输送给DIBR算法模块进行处理，以实现在普通DVD下产生3D效果。

为实现上述目的，本发明控制DIBR系统中图像存储的多口内存控制器，其特征在于，包括：基地址产生模块、读写信号产生模块、外部存储控制器控制信号产生模块以及外部存储控制器模块；

在普通DVD输出第一帧，即第一帧参考图像时，基地址产生模块逐行输出外部存储器第一参考图像存储区的写起始地址到外部存储控制器控制信号产生模块；读写信号产生模块接收来自输入接口单元的第一帧参考图像，并作为写入数据输出到外部存储控制器控制信号产生模块中，同时输出写控制信号给外部存储控制器控制信号产生模块；外部存储控制器控制信号产生模块将接收第一参考图像存储区的写起始地址，产生第一参考图像存储区的写地址，并连同接收的写控制信号以及第一帧参考图像发送给外部存储控制器模块，外部存储控制器模块将第一帧参考图像逐行存入外部存储器中；

在普通DVD输出第二、第三帧时，基地址产生模块输出地址为0；

在普通DVD输出第四帧，即第一帧参考图像对应的深度图像时，基地址产生模块逐行输出外部存储器中第一深度图像存储区的写起始地址到外部存储控制器控制信号产生模块；读写信号产生模块接收来自输入接口单元的深度图像，并作为写入数据输出到外部存储控制器控制信号产生模块中，同时输出写控制信号给外部存储控制器控制信号产生模块；外部存储控制器控制信号产生模块将接收第一深度图像存储区的写起始地址，产生第一深度图像存储区的写地址，并连同接收的写控制信号以及第一帧参考图像对应的深度图像发送给外部存储控制器模块，外部存储控制器模块将第一帧参考图像对应的深度图像逐行存入外部存储器中；

在普通DVD输出第五帧，即第二帧参考图像时，基地址产生模块逐行输出外部存储器第二参考图像存储区的写起始地址、第一参考图像存储区的读起始地址、第一深度图像存储区的读起始地址以及目标图像存储区的写起始地址到外部存储控制器控制信号产生模块；读写信号产生模块每一行，首先接收来自输入接口单元的第二帧参考图像，并作为写入数据输出到外部存储控制器控制信号产生模块中，同时输出写控制信号给外部存储控制器控制信号产生模块，然后依次产生参考图像读控制信号、深度图像读控制信号输出到外部存储控制器控制信号产生模块，最后接收来自DIBR算法模块的目标图像，并作为写入数据输出到外部存储控制器控制信号产生模块中，同时输出写控制信号给外部存储控制器控制信号产生模块；外部存储控制器控制信号产生模块在每一行，首先根据接收的第二参考图像存储区的写起始地址，产生第二参考图像存储区的写地址，并连同接收的写控制信号以及第二帧参考图像发送给外部存储控制器模块，外部存储控制器模块将第二帧参考图像存入外部存储器中，然后，根据接收的第一参考图像存储区的读起始地址，产生第一参考图像存储区的读地址，并发送给外部存储控制器模块，外部存储控制器模块将外部存储器存储的第一帧参考图像读出，并发送给DIBR算法模块，接着根据接收的第一深度图像存储区的读起始地址，产生第一深度图像存储区的读地址，并发送给外部存储控制器模块，外部存储控制器模块将外部存储器存储的第一帧参考图像对应的深度图像读出，并发送给DIBR算法模块；最后，根据接收的目标图像存储区的写起始地址，产生目标图像存储区的写地址，并连同接收的写控制信号以及自DIBR算法模块的目标图像发送给外部存储控制器模块，外部存储控制器模块将目标图像存入外部存储器中；

在普通DVD输出第六帧时，基地址产生模块逐行输出外部存储器目标图像存储区的读起始地址到外部存储控制器控制信号产生模块，读写信号产生模块产生目标图像读控制信号给外部存储控制器控制信号产生模块，外部存储控制器控制信号产生模块根据接收的目标图像存储区的读起始地址，产生目标图像存储区的读地址，并发送给外部存储控制器模块，外部存储控制器模块将外部存储器存储的目标图像读出，并发送给屏显示模块进行显示；

在普通DVD输出第七帧时，重复第五帧的第一帧参考图像、第一帧参考图像对应深度图像的读取以及目标图像的存储；

在普通DVD输出第八帧时，即第二帧参考图像对应的深度图像时，基地址产生模块逐行输出外部存储器中第二深度图像存储区的写起始地址、目标图像存储区的读起始地址到外部存储控制器控制信号产生模块；读写信号产生模块每一行，首先接收来自输入接口单元的深度图像并作为写入数据输出到外部存储控制器控制信号产生模块中，同时输出写控制信号给外部存储控制器控制信号产生模块，然后，产生目标图像读控制信号给外部存储控制器控制信号产生模块；外部存储控制器控制信号产生模块在每一行，首先根据接收的第二深度图像存储区的写起始地址，产生第二深度图像存储区的写地址，并连同接收的写控制信号以及第二帧参考图像对应的深度图像发送给外部存储控制器模块，外部存储控制器模块将第二帧参考图像对应的深度图像存入外部存储器中，然后根据接收的目标图像存储区的读起始地址，产生目标图像存储区的读地址，并发送给外部存储控制器模块，外部存储控制器模块将外部存储器存储的目标图像读出，并发送给屏显示模块进行显示；

在普通DVD输出第九帧，即第三帧参考图像时，基地址产生模块逐行输出外部存储器第一参考图像存储区的写起始地址、第二参考图像存储区的读起始地址、第二深度图像存储区的读起始地址以及目标图像存储区的写起始地址到外部存储控制器控制信号产生模块；读写信号产生模块每一行，首先接收来自输入接口单元的第三帧参考图像，并作为写入数据输出到外部存储控制器控制信号产生模块中，同时输出写控制信号给外部存储控制器控制信号产生模块，然后依次产生参考图像读控制信号、深度图像读控制信号输出到外部存储控制器控制信号产生模块，最后接收来自DIBR算法模块的目标图像，并作为写入数据输出到外部存储控制器控制信号产生模块中，同时输出写控制信号给外部存储控制器控制信号产生模块；外部存储控制器控制信号产生模块在每一行，首先根据接收的第一参考图像存储区的写起始地址，产生第一参考图像存储区的写地址，并连同接收的写控制信号以及第三帧参考图像发送给外部存储控制器模块，外部存储控制器模块将第三帧参考图像存入外部存储器中，然后，根据接收的第二参考图像存储区的读起始地址，产生第二参考图像存储区的读地址，并发送给外部存储控制器模块，外部存储控制器模块将外部存储器存储的第一帧参考图像读出，并发送给DIBR算法模块，接着根据接收的第二深度图像存储区的读起始地址，产生第二深度图像存储区的读地址，并发送给外部存储控制器模块，外部存储控制器模块将外部存储器存储的第二帧参考图像对应的深度图像读出，并发送给DIBR算法模块；最后，根据接收的目标图像存储区的写起始地址，产生目标图像存储区的写地址，并连同接收的写控制信号以及来自DIBR算法模块的目标图像发送给外部存储控制器模块，外部存储控制器模块将目标图像存入外部存储器中；

在普通DVD输出第十帧时，基地址产生模块逐行输出外部存储器目标图像存储区的读起始地址到外部存储控制器控制信号产生模块，读写信号产生模块产生目标图像读控制信号给外部存储控制器控制信号产生模块，外部存储控制器控制信号产生模块根据接收的目标图像存储区的读起始地址，产生目标图像存储区的读地址，并发送给外部存储控制器模块，外部存储控制器模块将外部存储器存储的目标图像读出，并发送给屏显示模块进行显示；

在普通DVD输出第十一帧时，重复第九帧的第二帧参考图像、第二帧参考图像对应深度图像的读取以及目标图像的存储；

在普通DVD输出第十二帧时，即第三帧参考图像对应的深度图像时，基地址产生模块逐行输出外部存储器中第一深度图像存储区的写起始地址、目标图像存储区的读起始地址到外部存储控制器控制信号产生模块；读写信号产生模块每一行，首先接收来自输入接口单元的深度图像并作为写入数据输出到外部存储控制器控制信号产生模块中，同时输出写控制信号给外部存储控制器控制信号产生模块，然后，产生目标图像读控制信号给外部存储控制器控制信号产生模块；外部存储控制器控制信号产生模块在每一行，首先根据接收的第一深度图像存储区的写起始地址，产生第一深度图像存储区的写地址，并连同接收的写控制信号以及第三帧参考图像对应的深度图像发送给外部存储控制器模块，外部存储控制器模块将第三帧参考图像对应的深度图像存入外部存储器中，然后根据接收的目标图像存储区的读起始地址，产生目标图像存储区的读地址，并发送给外部存储控制器模块，外部存储控制器模块将外部存储器存储的目标图像读出，并发送给屏显示模块进行显示；

普通DVD输出各帧重复第五到十二帧的处理方式，如此循环。

本发明的发明目的是这样实现的：

DIBR技术能根据参考图像及其对应深度图像生成任意视点目标视图，从而达到3D显示效果。然而，目前普通DVD无法同时输出参考图和深度图，因而需要对图像进行存储。为了在普通DVD下也能产生3D效果，本发明使用外部存储器作为外部缓存的存储机制，将DIBR算法所需参考图像和深度图像全部存储到外部存储器中，然后读给DIBR算法模块，保证了参考图像和深度图像同时输送给DIBR算法模块进行处理。实验表明，本发明控制DIBR系统中图像存储的多口内存控制器具有很好的可操作性，实现简单，可以大量缩减内部存储所消耗的资源。因而可以作为目前普通DVD视频流实现DIBR技术的可行方案。

附图说明

图1是本发明控制DIBR系统中图像存储的多口内存控制器一种具体实施方式原理图；

图2是图1所示的控制DIBR系统中图像存储的多口内存控制器的具体实施原理图；

图3是图1所示的基地址产生模块dma_gen接口框图；

图4是图3所示的基地址产生模块dma_gen时序图；

图5是图3所示的基地址产生模块dma_gen的地址空间控制状态转换图；

图6是图1所示的读写信号产生模块ddr2_mpmc接口框图；

图7是图6所示的读写信号产生模块ddr2_mpmc时序分析图；

图8是图1所示的DDR2控制器控制信号产生模块ddr2_cmd接口框图；

图9是图8所示的DDR2控制器控制信号产生模块ddr2_cmd时序分析图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

在本实施例中，如图1、2所示，本发明控制DIBR系统中图像存储的多口内存控制器在一片FPGA中实现，外部存储器为DDR2内存条，包括四个子模块，分别为DDR2控制器控制信号产生模块ddr2_cmd、DDR2控制器模块ddr2_sdram、读写信号产生模块ddr2_mpmc、基地址产生模块dma_gen。

其中，基地址产生模块dma_gen功能为控制读写图像帧（参考图像、深度图像以及目标图像的起始地址等，统一管理整个外部存储器DDR2的读写地址。读写信号产生子模块ddr2_mpmc功能为接收输入的参考图像及其有效信号hdmi_rd_col_data[127:0]、hdmi_rd_col_en，深度图像及其有效信号hdmi_rd_dep_data[127:0]、hdmi_rd_dep_en以及算法产生的目标图像及其有效信号process_out data[127:0]、process_out_en（包括在读写数据有效信号中），产生送入DDR2控制器控制信号产生模块ddr2_cmd的写入数据mpmc_data_in[127:0]，完成输入DDR2控制器控制信号产生模块ddr2_cmd的数据的统一和协调，并且产生读写数据效信号和控制信号，即参考图像写控制信号mpmc_wr_col_en、参考图像读控制信号mpmc_rd_col_en、深度图像写控制信号mpmc_wr_dep_en、深度图像读控制信号mpmc_rd_dep_en、目标图像写控制信号mpmc_wr_pro_en、目标图像读控制信号mpmc_rd_pro_en。DDR2控制器控制信号产生模块ddr2_cmd不直接接收外部数据，主要是将读写信号产生模块ddr2_mpmc整合后的数据和控制信号与基地址产生模块dma_gen输出的地址信号进行一一对应，输出读写DDR2的控制信号、数据信号、地址信号用于控制DDR2控制器模块ddr2_sdram。在本实施例中，DDR2控制器模块ddr2_sdram是由xilinx的MIG（Memory Interface Generator，即内存接口生成器生成的DDR2控制器，用来直接与DDR2进行交互，直接调用即可，无需了解其内部具体结构。通过控制DDR2控制器模块ddr2_sdram来控制DDR2的读写，避免了直接对DDR2进行复杂的操作，从而简化设计。

在图1、2中，可以发现输入接口单元送给多口内存控制器mpmc的数据和从多口内存控制器mpmc中输出的数据均为128位。实际上，输入系统的视频流是30bit的RGB数据，算法处理的也是30bit的RGB参考图像数据和8bit的深度图像的数据，而没有128位的数据。128位的数据是为了与DDR的存储特性相结合，DDR接收128位的数据进行存储，因此在数据进入多口内存控制器mpmc之前都进行了串并转换，将所有数据都组合成128位位宽。对于30bitRGB图像数据在高位补两位的‘0’变成32bit，然后将连续的四个32bit的RGB组合为一个128bit的并行数据。而深度数据则是直接将连续的16个8bit串行数据合并成一个128bit的并行数据。从多口内存控制器mpmc输出的数据则是进行相反的处理，将128bit的读出数据拆分成相应的30bit或8bit的数据。这样就保证了读入读出多口内存控制器mpmc的数据都是128bit，同时由于串并转换使每个部分存取数据占用DDR总线的时间大大减少，从而保证数据存取速度。

下面分子模块对本发明控制DIBR系统中图像存储的多口内存控制器进行详细的介绍。

1、基地址产生模块dma_gen

dma_gen模块为地址产生模块，主要功能是在每个hdmi_de周期产生写数据的初始地址和读数据的初始地址，接口框图如图3所示。

表1是基地址产生模块dma_genI/O端口列表.

信号	方向	位宽	描述
				rst_n	Input	1	复位信号，低电平有效。
clk200	Input	1	时钟信号，200M
				hdmi_de	Input	1	de信号

信号	方向	位宽	描述
				hdmi_vsync	Input	1	场同步信号
start	Input	1	dma_gen模块开始进行地址更新操作的启动信号
				mpmc_wr_col_addr_start[30:0]	Output	30	写参考图到DDR的起始地址
mpmc_wr_dep_addr_start[30:0]	Output	30	写深度图到DDR的起始地址
				mpmc_wr_pro_addr_start[30:0]	Output	30	写算法生成的目标图到DDR的起始地址
mpmc_rd_col_addr_start[30:0]	Output	30	从DDR中读参考图给算法模块和上屏显示模块的起始地址
				mpmc_rd_dep_addr_start[30:0]	Output	30	从DDR中读深度图给算法模块的起始地址
mpmc_rd_pro_addr_start[30:0]	Output	30	从DDR中读算法产生的目标图像给上屏显示模块的起始地址

表1

工作原理：

如表1所示dma_gen模块输出信号共两组六个，一组是写DDR的起始地址，一组是读DDR的起始地址。这六个起始地址的作用可以由如图4所示（a）~（e）的时序图加以说明。

图4是图3所示的基地址产生模块dma_gen时序图。

如图4所示，该模块输出数据读写的行起始地址mpmc_wr_col_addr_start、mpmc_rd_c ol_addr_start、mpmc_wr_dep_addr_start、mpmc_rd_dep_addr_start、mpmc_wrpro_addr_start、mpmc_rd_pro_dep_addr_start，即每个hdmi_de周期都要给ddr2_cmd模块一个参考图像、深度图像、目标图像的读和写起始地址，这些起始地址的计算由下面的公式给出：

mpmc_wr_col_addr_start<=wr_col_addr_base+wr_col_addr_temp，

mpmc_rd_col_addr_start<=rd_col_addr_base+rd_col_addr_temp；

mpmc_wr_dep_addr_start<=wr_dep_addr_base+wr_dep_addr_temp，

mpmc_rd_dep_addr_start<=rd_dep_addr_base+rd_dep_addr_temp；

mpmc_wr_pro_addr_start<=wr_pro_addr_base+wr_pro_addr_temp，

mpmc_rd_pro_addr_start<=rd_pro_addr_base+rd_pro_addr_temp;

在本实施例中，读写起始地址的计算采用基地址加偏移量的方式，例如，假设输入图像分辨率为720p，一行彩色数据需要的地址数为640(偏移量根据外部存储器每个地址的比特数数、需要存储的图像数据比特数确定，保证存储一行图像数据即可，在本实施例中，DDR中每个地址64bit，而输入数据串并转换后为128bit，每两个地址表示一个数据。720p的图像数据串并组合后每行有320个128bit数据，故需640个地址)，所以偏移量wr_col_addr_temp和rd_col_addr_temp每遇到一个hdmi_de的上升沿就加上640，而基地址对应相应的图像存储区，基地址wr_col_addr_base和rd_col_addr_base则是在每遇到一个场同步hdmi_vsync的上升沿才换为另外一组地址，深度图和生成的目标图像也是一样的。只是深度图每个hdmi_de的上升沿偏移地址wr_dep_addr_temp和rd_dep_addr_temp都加160(16个8bit数据组成一个128bit数据，故720p深度图一行所需地址数为1280/16*2=160)。由此就可以通过修改基地址来确定在哪一帧的时间里读写哪一帧的哪一幅图像。

下面以DDR2地址空间控制状态转移图对dma_gen模块的地址控制方式进行说明。从图5中可以看出，并不是每一帧都在写深度图像和参考图像，而是以两帧的间隔，间隔着写的，即写一帧参考图像，等一帧然后再写一帧深度图像，接着再等一帧然后再写一帧参考图像，依次循环类推。这是因为DVD输出的视频源是以两幅相同的参考图像两幅相同深度图像间隔输入的。

这样就有了图4的时序图所示的地址设计。在程序开始的第1帧的时间，先存一帧参考图像，因而给的是存参考图像的第一个地址。在第2帧由于是相同的复制帧，因而这一帧不采取任何读取写入操作，地址赋0。第3帧的时候，这一帧是第一帧参考图对应的深度图像帧，但考虑到后面读取写入的周期性，这一帧也不做任何操作，地址赋0。第4帧的时侯，这一帧是第一帧参考图像对应深度图的复制帧，需要进行存储，因此给出第一帧深度图像的存入地址。第5帧时，这一帧输入的是第二帧参考图像，由于这时候第一帧参考图像和深度图像都已经存在DDR中，可以读取给DIBR算法模块进行处理，所以这一帧的时间内要读取第一帧参考图像和对应的深度图像，要给出第一帧参考图像和对应深度图像的读取地址。同时，由于DIBR算法模块处理出来的目标图需要存入DDR中，因此要给出DIBR算法模块产生的目标图的存入地址。第6帧时，这一帧的输入是第二帧参考图像的复制帧，这里不做任何处理。但是这时候由于DIBR算法模块已经处理完毕，目标图像已经产生，可以进行显示，因此要给出目标图像的读出地址，以便显示。第7帧时（为第二帧参考图像对应深度图）为算法处理帧，DDR需与DIBR算法模块交互数据。根据2帧相同参考图像、2帧相同深度图像交叉排序的特点及启动DIBR算法需1帧参考图及其对应深度图的要求，第二幅参考图的深度图的写入放在第8帧时进行。此时DDR中还没有第二帧参考图像对应的深度图像，所以此帧算法仍读取使用第一帧参考图和对应的深度图像。因此在这一帧给出的读取地址是第一帧参考图像和对应深度图像的存放地址，同时给出算法产生的目标图像的存入地址。第8帧的时候，这一帧的输入是第二帧参考图像对应的深度图的复制帧，在这一帧给出存储第二帧参考图像对应深度图像的存储地址，同时给出读取目标图像进行显示的读取地址。后面的时序就是每四帧一个周期的重复第5帧到第8帧的操作，但是地址要交替进行。即一个周期中在对地址1（包括深度和参考图地址1）进行深度图和参考图的存储时（4帧的周期），只能对地址2（包括深度图地址2和参考图地址2）的数据进行读取，供算法处理，下个周期则进行交替，只对地址2（包括深度图地址2和参考图地址2）进行写操作，只对地址1（包括深度图地址1和参考图地址1）进行读操作。例如，在5~8帧的周期中第5帧存参考图和第8帧存深度图的地址都是地址2（包括深度图地址2和参考图地址2），第5、第7帧读取供算法处理的参考图和对应深度图数据的地址则是地址1（包括深度图地址1和参考图地址1），在后续的9~12帧周期的第9帧存参考图和第12帧存深度图的地址都是地址1（包括深度图地址1和参考图地址1），第9、第11帧读取供算法处理的参考图和对应深度图数据的地址则是地址2（包括深度图地址2和参考图地址2，如此循环）。

在图5中，Colour1、Colour2分别表示第一参考图像存储区、第二参考图像存储区，Deep1、Deep2分别表示第一深度图像存储区、第二深度图像存储区，Produce表示目标图像存储区，其工作过程同发明内容部分，在此不再赘述。

2、读写信号产生模块ddr2_mpmc

读写信号产生模块ddr2_mpmc功能是将输入接口单元或者DIBR算法模块要写入外部存储器DDR的三路数据，即参考图像hdmi_rd_col_data[127:0]，深度图像hdmi_rd_dep_data[127:0]和目标图像process_out_data[127:0]合并成一路数据，这三路数据是分时并不是同时到来所以可以进行合并，输出mpmc_data_in[127:0]，并且提供一组比较简洁的控制信号给DDR2控制器控制信号产生模块ddr2_cmd判断读写DDR的时序区间及后续模块判断DDR输出数据什么时候到来。

接口框图如图6所示。

表2是读写信号产生模块ddr2_mpmc接口列表。

表2

从图6中可以看出，此模块输出分为两个部分，第一部分是参考图像写控制信号mpmc_wr_col_en,深度图像读控制信号mpmc_wr_dep_en,参考图像读控制信号mpmc_rd_col_en,深度图像读控制信号mpmc_rd_dep_en,目标图像写控制信号mpmc_wr_pro_en,目标图像读控制信号mpmc_rd_pro_en,写入数据mpmc_data_in[127:0]，这部分是供同属控制DIBR系统中图像存储的多口内存控制器子模块的另一个模块DDR2控制器控制信号产生模块ddr2_cmd使用的，第二部分ddr_rdcol2process_en、ddr_rddep2process_en、ddr_rdcol2show_en、ddr_rdpro2show_en虽然实质上就是mpmc_rd_col_en、mpmc_rd_dep_en、mpmc_rd_col_en、mpmc_rd_pro_en但它是输出给DIBR算法模块使用的。下面详细介绍本子模块的工作方式。

工作原理：

由于前级输入接口单元采用了参考图像和深度图像帧分开判别的方式，因此输入信号在不同时间分为两种状态，一种是参考图像帧状态，一种深度图像帧状态。参考图像帧状态时输入的参考图像数据有效信号hdmi_rd_col_en和参考图像数据hdmi_rd_col_data有效，而深度图像数据有效信号hdmi_rd_dep_en和深度图像数据hdmi_rd_dep_data则持续拉低为‘0’保持无效；而在深度图像帧状态时则是相反的情况hdmi_rd_dep_en和hdmi_rd_dep_data有效，hdmi_rd_col_en和hdmi_rd_col_data则持续拉低为‘0’保持无效，时序如图7所示。因而本模块要根据输入信号判断出不同的帧状态，在不同的帧状态给出不同的DDR读写控制信号和数据有效信号，具体同发明内容部分，在此不再赘述。

图7是图6所示的读写信号产生模块ddr2_mpmc时序分析图。

下面结合图7，对读写信号产生模块ddr2_mpmc子模块输出的各个控制信号进行详细说明，其中图7（a）是截取普通DVD输出的第五帧hdmi_de的一个周期做一个简单的时序分析，其中图7（b）是截取普通DVD输出的第八帧hdmi_de的一个周期做一个简单的时序分析

时序分析如下：

图7中省去了时钟，复位以及DDR的初始化完成等信号，需要观察的信号有两组：

一组是写控制信号mpmc_wr_col_en,mpmc_wr_dep_en和mpmc_wr_pro_en，它们与输入的数据有效信号hdmi_rd_col_en、hdmi_rd_dep_en和process_out_en保持一致，有效电平维持时间分别是1600ns、400ns和1600ns。对于参考图像数据有效信号hdmi_rd_col_en，由于输入的参考图像数据是经过串并转换后的128bit的数据，因此一行数据的持续时间为1280(像素列数)×32/128(转换比例)×5ns(处理时钟周期)=1600ns，所以参考图像数据有效信号hdmi_rd_col_en的持续时间为1600ns。同样hdmi_rd_dep_en的持续时间为，1280(像素列数)×8/128(转换比例)×5ns(处理时钟周期)=400ns。process_out_en为算法模块输出的目标图数据有效信号，有效电平持续时间也为1600ns。在这三个时间段输出的写DDR控制信号mpmc_wr_col_en,mpmc_wr_dep_en和mpmc_wr_pro_en为高，执行写DDR的操作。需要说明的是，这三个不会同时有效，因为mpmc_wr_col_en与hdmi_rd_col_en一致，只会在参考图像帧hdmi_de为低时有效，而mpmc_wr_dep_en与hdmi_rd_dep_en一致，只会在深度图像帧hdmi_de为低时有效。对于与process_out_en保持一致的mpmc_wr_pro_en，图7中可以看出目标图像的数据有效信号只会在参考图像帧中hdmi_de信号为高的时候有效，所以这三个数据有效信号不会同时有效。

一组是读控制信号mpmc_rd_col_en、mpmc_rd_dep_en，mpmc_rd_pro_en。参考图像读控制信号mpmc_rd_col_en和目标图像读控制信号mpmc_rd_pro_en的维持时间是1900ns，而深度图像读控制信号mpmc_rd_dep_en是700ns。以参考图像读控制信号mpmc_rd_col_en为例，1900ns这段时间内的某些部分，进行了读DDR操作。时序中参考图像读控制信号mpmc_rd_col_en需要1900ns，是因为虽然发出读命令到真正接收到数据需要100ns，有效数据持续时间为1600ns，总共1700ns，但是有效数据并不是连续的，有时候会出现中断几个时钟再继续给出数据的情况，所以这里适当放宽接收DDR读出数据的使能控制信号，以确保能够完全接受到从DDR读出的数据。目标图像读控制信号mpmc_rd_pro_en和深度图像读控制信号mpmc_rd_dep_en也是一样。

输出信号ddr_rdcol2show_en（ddr_rdcol2show_en与ddr_rdcol2process_en相同）,ddr_rddep2process_en和ddr_rdpro2show_en是分别与mpmc_rd_col_en、mpmc_rd_dep_en，mpmc_rd_pro_en同源的信号，时序一样。

综上mpmc_wr_col_en,mpmc_rd_col_en,mpmc_wr_dep_en,mpmc_rd_dep_en,mpmc_wr_pro_en，mpmc_rd_pro_en分别与hdmi_rd_col_en,ddr_rdcol2process_en,hdmi_rd_dep_en,ddr_rddep2process_en,process_out_en,和ddr_rdpro2show_en

（ddr_rdpro2show_en与ddr_rdcol2process_en相同）是相同的时序。而mpmc_data_in[127:0]是hdmi_rd_col_data[127:0]、hdmi_rd_dep_data[127:0]和process_out_data[12:0]在时间轴上的拼接。

3、DDR2控制器模块ddr2_sdram

DDR2控制器模块ddr2_sdram直接与底层的DDR进行交互，是xilinx已经做好的IP核，本实施例中，调用的是MIG 2.1版本的MIG（Memory InterfaceGenerator，即内存接口生成器）。直接对DDR2进行控制太过于复杂，而通过DDR2控制器对DDR2进行控制则会简化很多。因此本实施例调用xilinx公司已经做好的DDR2控制器IP核ddr2_sdram来对DDR2进行控制，简化设计。DDR2控制器ddr2_sdram子模块接收ddr2_cmd子模块给出的控制信号，对DDR2进行控制。

4、DDR2控制器控制信号产生模块ddr2_cmd

DDR2控制器控制信号产生子模块ddr2_cmd虽然不直接接收外部数据，但是其他模块接收到的外部数据都要经过该模块进行处理后送入DDR2控制器ddr2_sdram，对DDR2控制器ddr2_sdram进行控制，故该模块非常重要。

DDR2控制器控制信号产生模块ddr2_cmd接口框图如图8所示。

表3是DDR2控制器控制信号产生模块ddr2_cmd的I/O端口列表。

信号	方向	位宽	描述
				rst_n	Input	1	复位信号，低电平有效。
clk200	Input	1	输入时钟200M
				phy_init_done	Input	1	DDR的初始化完成信号
mpmc_wr_col_en	Input	1	ddr2_mpmc子模块输出的参考图写使能信号
				mpmc_wr_dep_en	Input	1	ddr2_mpmc子模块输出的深度图写使能信号
mpmc_rd_col_en	Input	1	ddr2_mpmc子模块输出的读参考图使能信号
				mpmc_rd_dep_en	Input	1	ddr2_mpmc子模块输出的读深度图使能信号
mpmc_wr_pro_en	Input	1	ddr2_mpmc子模块输出的写目标图使能信号
				mpmc_rd_pro_en	Input	1	ddr2_mpmc子模块输出的读目标图使能信号
mpmc_data_in[127:0]	Input	128	ddr2_mpmc子模块输出128bit的数据

信号	方向	位宽	描述
				mpmc_wr_col_addr_start	Input	31	dma_gen地址产生子模块产生的写参考图初始地址
mpmc_rd_col_addr_start	Input	31	dma_gen地址产生子模块产生的读参考图初始地址
				mpmc_wr_dep_addr_start	Input	31	dma_gen地址产生子模块产生的写深度图初始地址
mpmc_rd_dep_addr_start	Input	31	dma_gen地址产生子模块产生的读深度图初始地址
				mpmc_wr_pro_addr_start	Input	31	dma_gen地址产生子模块产生的写目标图初始地址
mpmc_rd_pro_addr_start	Input	31	dma_gen地址产生子模块产生的读目标图初始地址
				app_af_addr[30:0]	Output	31	DDR的读写地址
app_af_wren	Output	1	DDR读写控制信号
				app_af_cmd[2:0]	Output	3	DDR读写控制信号
app_wdf_wren	Output	1	DDR读写控制信号
				App_wdf_data[127:0]	Output	128	给DDR的128bit数据

表3

工作原理：

ddr2_cmd子模块的主要作用是与DDR2控制器进行交互，对数据进行存入或读出DDR。ddr2_cmd通过DDR2控制器实现对DDR2进行数据的读写控制，而对DDR2控制器ddr2_sdram的控制信号要满足一定的协议。因此ddr2_cmd子模块的功能就是根据外部的控制信号、地址和数据按照一定的格式给出控制信号对ddr2_sdram进行读写控制，从而达到控制DDR2读写数据的目的。

首先按照xilinx关于MIG的技术手册通过DDR2控制器对DDR进行读写的控制时序，如图9所示

图9为写入读出一行参考图像数据的时序。DIBR系统写入DDR的数据包含参考图像帧和深度图像帧，写入读出原理是相同的，在此，只对参考帧数据的时序进行介绍。

图9是以按照写一行读一行像素的时序模型来进行说明。写DDR的过程中，地址app_af_addr[30:0]在app_af_wren为高时进行加8操作，app_af_wren每4个时钟跳高一次；在读出的过程中app_af_wren是连续为高的，app_af_addr[30:0]是连续加8。注意，一般情况下等20个clk之后rd_data_valid（ddr_rd_valid）信号会拉高，但rd_data_valid(ddr_rd_valid)信号有可能不连续，中间偶尔会间断几个时钟，所以需要一定的判别机制，才能完全正确的接收数据，这也是ddr_mpmc模块让mpmc_rd_col_en信号持续1900ns，而不是1700ns的原因。

此外，ddr2_cmd中根据输入的写读控制信号mpmc_wr_col_en,mpmc_wr_dep_en,mpmc_rd_col_en,mpmc_rd_dep_en,mpmc_wrr_ro_en,mpmc_rd_pro_en判断读写状态和读或写的图像帧，从而在不同的时刻，给出不同的DDR读写地址，保证读写正确。

总结

DIBR技术能根据参考图像及其对应深度图像生成任意视点目标视图，从而达到3D显示效果。本发明使用DDR作为DIBR系统外部缓存机制，采用多口内存控制器(MPMC)对DDR读写进行控制，确保DIBR系统在目前DVD无法同时输出参考图和深度图的情况下完成目标图生成。测试结果表明，本发明具有很好的可操作性和可重复性，实现简单，对DDR的读写控制操作具有很好的指导性作用，是一种有效地DIBR系统存储结构。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims

1.一种控制DIBR系统中图像存储的多口内存控制器，其特征在于，包括：基地址产生模块、读写信号产生模块、外部存储控制器控制信号产生模块以及外部存储控制器模块；

在普通DVD输出第一帧，即第一帧参考图像图时，基地址产生模块逐行输出外部存储器第一参考图像存储区的写起始地址到外部存储控制器控制信号产生模块；读写信号产生模块接收来自输入接口单元的第一帧参考图像，并作为写入数据输出到外部存储控制器控制信号产生模块中，同时输出写控制信号给外部存储控制器控制信号产生模块；外部存储控制器控制信号产生模块将接收第一参考图像存储区的写起始地址，产生第一参考图像存储区的写地址，并连同接收的写控制信号以及第一帧参考图像发送给外部存储控制器模块，外部存储控制器模块将第一帧参考图像逐行存入外部存储器中；

普通DVD输出各帧重复第五到十二帧的处理方式，如此循环。

2.根据权利要求1所述的图像存储的多口内存控制器，其特征在于，基地址产生模块输出的读写起始地址采用基地址加偏移量的方式计算，偏移量根据外部存储器每个地址的比特数数、需要存储的图像数据比特数确定，保证存储一行图像数据即可，基地址对应相应的图像存储区，参考图像、深度图像读写起始地址中的基地址在每遇到一个场同步的上升沿才换为另外一组地址。