CN103957402B - 一种实时全高清2d转3d系统行读写时序设计方法 - Google Patents

Abstract

本发明公开了一种实时全高清2D转3D系统行读写时序设计方法，对转换过程中的行读写时序设计进行合理设计并在深度估计系统的边缘图数据缓存、深度估计系统的深度图数据缓存中分别增加两片Block RAM，使读操作或写操作分配到不同的时间区域，避免了对DDR2同时进行读操作或写操作，实现对DDR2的正常读写功能，保障了深度估计与深度图像绘制的进行，保障了实时全高清2D转3D的正常运行。

Description

一种实时全高清2D转3D系统行读写时序设计方法

技术领域

本发明属于3D电视技术领域，更为具体地讲，涉及一种实时全高清2D转3D系统行读写时序设计方法。

背景技术

随着显示技术的发展，3D电视已成为电视技术发展的主流趋势，人们越来越强烈地渴望在家中就能体验到3D电视带来的震撼效果。然而，3D片源的短缺，制作成本的昂贵，严重制约了3D电视技术的发展。如果能将目前大量的2D视频实时转为3D视频，则不仅可以为3D显示提供丰富的素材，而且能大大节省制作成本。因此，2D转3D技术成为当前3D技术发展的主流方向。

2D转3D技术首先从普通的2D视频序列中获取每一帧对应的深度信息，进而根据深度信息将2D视频合成为3D视频。因而，2D转3D系统可分为两部分：深度估计和视图合成。深度估计技术能从一幅或多幅彩色图中有效地估计出物体对应的深度信息，目前已有许多成熟的算法，如基于聚焦/散焦、基于图像分类、基于机器学习、基于边缘值、基于视觉注意机制等方法，然而，深度估计算法复杂度大都比较高，不利于硬件设计与实现。

在综合考虑算法效果和硬件实现难易后，申请人重点研究了基于相对高度线索的深度估计算法，并对其改进使其便于硬件实现。该改进于2013年05月13日申请了名称为“一种实时高清深度估计系统”，并于2013年09月04日公布，公布号为CN103281548A。

传统的3D视频信号传输时需要传送左眼和右眼两路视频流，而基于DIBR技术的3D电视系统只需要传输一路视频流及其对应的深度信息，从而可以减少传输带宽。同时，采用DIBR技术能够方便地实现2D-3D视频转换，方便支持各种自由立体显示器。正因为这些优点，DIBR技术已成为视图合成的主流技术。

在视图合成方面，申请人提出了一种基于硬件实现的DIBR系统，采用基于深度图像绘制(DIBR)技术来合成3D视频，并于2013年09月22日申请了中国发明专利，在2014年01月22日公布，公布号为CN10353327。这样基于实时高清深度估计系统得到的深度图和参考图，可以方便地实现目标图像的合成，得到两幅图像，实现2D到3D的转换。

但是，在现有技术中，将深度估计与深度图像绘制(DIBR)结合起来，实现2D到3D的转换。如图1所示，实时全高清1080p的2D转3D系统主要由以下子模块构成：边缘检测、边缘图数据缓存、MPMC、边缘图数据拆分、深度图估计、深度图数据缓存、深度图数据拆分和DIBR模块，各子模块的功能在申请人前面申请的“一种实时高清深度估计系统”、“一种基于硬件实现的DIBR系统”中有全面的描述。

帧读写时序如图1所示，与DDR2进行交互的数据主要分为三类：输入的原始彩色图数据Col，边缘检测后得到的边缘图数据Edge和深度估计后得到的深度图数据Dep。因而DDR2会有六种操作：写彩色图、读彩色图、写边缘图、读边缘图、写深度图和读深度图。

需要注意的是，在第一帧时，系统接收彩色图并进行边缘检测，因而第一帧时只有写彩色图和写边缘图的操作；第二帧时，系统接收第二帧彩色图并进行边缘检测，同时读取第一帧边缘图进行深度估计，将第一帧对应的深度图写入DDR2，因而第二帧包含写彩色图、写边缘图、读边缘图、写深度图四种操作；第三帧往后系统开始同时读取彩色图和深度图，因而包含了全部六种操作。

然而，对DDR2来讲，读、写数据必须进行合理的设计，以避免同时进行读操作或写操作，实现对DDR2的正常读写功能。

发明内容

本发明的目的在于提供一种实时全高清2D转3D系统行读写时序设计方法，实现对DDR2的正常读写功能。

为实现上述目的，本发明实时全高清2D转3D系统行读写时序设计方法，包括：

(1)、写彩色图

系统经过HDMI接口接收彩色图数据，在hdmi_de为高时以像素时钟148.5MHz将其即当前帧缓存在Block RAM中；hdmi_de为低时，用480个时钟周期的写彩色图wr_col，以200MHz时钟频率从Block RAM中读出并作为当前帧彩色图像每4个32-bit彩色图数据构成1个128-bit的数据写入到DDR2中；

(2)、读彩色图

在写彩色图wr_col之后执行读彩色图的操作，用480个时钟周期的读彩色图rd_col从DDR2中读取已存储的前二帧彩色图像中的一行数据，从DDR2中读出的数据是128-bit的数据，原为32-bit的彩色图像数据，并送入DIBR系统中，结合深度估计系统输出深度数据生成目标图像；

(3)、读边缘图：

在读彩色图rd_col之后执行读边缘图操作，用270个时钟周期的读边缘图rd_edge从DDR2中读取前一帧的128-bit边缘图数据，每次读边缘图操作会将四列的边缘图数据同时读出，送入深度估计系统中；

读边缘图是每两个数据使能信号hdmi_de执行一次的；

(4)、读深度图

在四个读彩色图rd_col之后执行读深度图操作，用480个时钟周期将已存储的前一帧深度图的四行数据同时读出，读深度图操作是每4个数据使能信号hdmi_de执行一次的；

(5)、写边缘图

在深度估计系统的边缘图数据缓存中增加两片Block RAM，即用18片BlockRAM进行缓存，每次对其中16片Block RAM进行边缘图数据读出和组合写入DDR2，读取和组合写入过程中，边缘检测输出的边缘图数据依次缓存在另外两片Block RAM，读取和组合写入过程结束后，该16片Block RAM继续进行缓存，然后对另外两片Block RAM缓存的边缘图数据以及16片Block RAM的前14片Block RAM缓存的边缘图数据进行边缘图数据读出和组合写入DDR2，剩下的两片Block RAM在读取和组合写入过程中依次缓存边缘检测输出的边缘图数据，这样循环；

其中读取和和组合写入即写边缘图在16个数据有效信号data_valid后的低电平区域内即16行边缘图数据存满后分为三次连续，每次用640个时钟周期写边缘图信号wr_edge读取缓存的当前帧的边缘图数据并组合写入DDR2中；

(6)、写深度图

在深度估计系统的深度图数据缓存中增加两片Block RAM，即用18片BlockRAM进行缓存，每次对其中16片Block RAM进行深度图数据读出和组合写入DDR2，读取和组合写入过程中，深度图估计输出的边缘图数据依次缓存在另外两片Block RAM，读取和组合写入过程结束后，该16片Block RAM继续进行缓存，然后对另外两片Block RAM缓存的深度图数据以及16片Block RAM的前14片Block RAM缓存的深度图数据进行深度图数据读出和组合写入DDR2，剩下的两片Block RAM在读取和组合写入过程中依次缓存深度图估计输出的深度图数据，这样循环；

其中读取和组合写入即写深度图在16个数据有效信号data_valid后的低电平区域内即16行深度图数据存满后分为三次连续，每次用360个时钟周期写深度图信号wr_dep读取缓存的前一帧的深度图数据并组合写入DDR2中；

其中，步骤(5)、(6)中的写边缘图信号wr_edge、写深度图信号wr_dep位于数据有效信号data_valid后的低电平区域内的不同位置。

本发明的发明目的是这样实现的：

本发明实时全高清2D转3D系统行读写时序设计方法，对转换过程中的行读写时序设计进行合理设计并在深度估计系统的边缘图数据缓存、深度估计系统的深度图数据缓存中分别增加两片Block RAM，使读操作或写操作分配到不同的时间区域，避免了对DDR2同时进行读操作或写操作，实现对DDR2的正常读写功能，保障了深度估计与深度图像绘制的进行，保障了实时全高清2D转3D的正常运行。

附图说明

图1是实时全高清1080p的2D转3D系统的结构图；

图2是本发明中的写彩色图、读彩色图、读边缘图、读深度图时序图；

图3是720p写边缘图时序图；

图4是本发明中的写边缘图时序图；

图5是本发明中的写深度图时序图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

1、1080p行场信号分析

表1详细描述了1080p视频行场的参数配置。1080p视频的像素时钟为148.5MHz，在该像素时钟下，每一行数据有效区域为1920个时钟，数据无效区域为88+48+144＝280个时钟，即hdmi_de为高占据1920个时钟，hdmi_de为低为280个时钟。在200MHz系统时钟频率下，hdmi_de为高占据1920/148.5×200＝2586个时钟周期，hdmi_de为低占据280/148.5×200＝377个时钟周期。

表1

2、硬件架构

图1描述了适用于1080p视频2D转3D系统的硬件架构。同720p2D转3D系统相同，1080p2D转3D系统主要由以下子模块构成：边缘检测、边缘图数据缓存、MPMC、边缘图数据拆分、深度图估计、深度图数据缓存、深度图数据拆分和DIBR模块。各子模块的功能同720p系统完全相同，这里不再重复阐述。

3、时序设计

与DDR2进行交互的数据主要分为三类：输入的原始彩色图数据，边缘检测后得到的边缘图数据和深度估计后得到的深度图数据。因而DDR2会有六种操作：写彩色图、读彩色图、写边缘图、读边缘图、写深度图和读深度图。

需要注意的是，在第一帧时，系统接收彩色图并进行边缘检测，因而第一帧时只有写彩色图和写边缘图的操作；第二帧时，系统接收第二帧彩色图并进行边缘检测，同时读取第一帧边缘图进行深度估计，将第一帧对应的深度图写入DDR2，因而第二帧包含写彩色图、写边缘图、读边缘图、写深度图四种操作；第三帧往后系统开始同时读取彩色图和深度图，因而包含了全部六种操作。下面依次进行分析。

3.1、写彩色图、读彩色图、读边缘图、读深度图时序设计

首先讨论写彩色图、读彩色图、读边缘图和读深度图四种操作的时序设计。之所以将这四种操作放在一起设计，是因为这四种操作的时序简单，易于分析。对应时序如图2所示。

(a)、写彩色图

实时全高清2D转3D系统经过HDMI接口接收彩色图数据，在hdmi_de为高时以像素时钟148.5MHz将其缓存在Block RAM中，hdmi_de为低时以200MHz时钟频率从Block RAM中读出写入到DDR2，共需要1920/4＝480个时钟周期，这是因为彩色图数据位宽为32-bit(RGB各10bit，高位补零)，而DDR2数据位宽为128-bit，因而每4个彩色图数据构成1个128-bit数据。该信号标记为wr_col；

(b)、读彩色图：

如图2所示，在写彩色图wr_col之后执行读彩色图的操作，也需要1920/4＝480个时钟周期。该信号标记为rd_col；

(c)、读边缘图

如图2所示，在读彩色图rd_col之后的区域内执行读边缘图操作。每次读边缘图操作会将四列的边缘图数据同时读出，因而共需要1080×4/16＝270个时钟周期(除16的操作是因为边缘图是8-bit的，因而需要16个边缘图数据进行组合成128-bit)。这里需要注意的是，读边缘图操作是每两个hdmi_de执行一次的，这是要为深度图估计处理4列数据留以充足的时间，否则上四列数据尚未处理完，而后四列数据已经输入，会造成数据的丢失。处理完一帧图像共需要1920/4×2＝980个hdmi_de；

(d)、读深度图：

在四个读彩色图rd_col之后执行读深度图操作。每次读深度图操作都会将四行深度图同时读出，共需要1920×4/16＝480个时钟周期。需要注意的是，读深度图操作是每4个hdmi_de执行一次的，这样给DIBR处理四行数据留有足够的时间，否则会因处理时间不够而造成数据丢失。读深度图操作发生在奇数hdmi_de区间，而读边缘图操作发生在偶数hdmi_de区间，因而不会冲突。

3.2、写边缘图时序设计

在720p2D转3D系统中，边缘图数据首先在数据有效信号data_valid为高时逐行缓存在16片Block RAM中。缓存完16行后在data_valid为低时将16片BlockRAM同时读取后写入DDR2。这里，读Block RAM是分两步完成的，第一步先读取一半数据，第二步读取另一半，中间间隔800clk，总共占用了1280+800＝2080个clk，如图所示。这种设计是因而data_valid为低持续时间为3000多个clk，因而可以在其区间内将其读完。

在1080p2D转3D系统中，写边缘图数据到DDR2需要至少1920个clk，而data_valid为低的区间只包含1043个clk，读取时间不够。如果直接进行读取，则会与DDR2写彩色图，读彩色图操作冲突，因而需要分段进行读取。如图5所示，为避免数据丢失，在本架构中将其分为三次进行读取，每次读取1920/3＝640，即写边缘图信号wr_edge。需要注意的是，这里需要18片Block RAM对边缘图数据进行缓存，因为读完1/3边缘图数据后，新的一行又输入进来，如果不进行数据缓存，则会将Block RAM中原有的数据刷新掉。因而需要18片Block RAM进行缓存，每次对其中16片进行数据读出和组合写入DDR2。DDR2中每接收一个burst，地址跳跃为1080×8×4/64＝540。

3.3、写深度图时序设计

经过写彩色图，写边缘图，读彩色图，读边缘图，读深度图操作后，整个hdmi_de剩下的时间段占据2586(hdmi_de为高)+377(hdmi_de为低)-480(写彩色图)-480(写读彩色图)-480(读边缘图或深度图)-640(写边缘图)-200(预留时间)＝763个时钟周期。写深度图需要1080个时钟周期，写入时间不够，因而也需要分段进行处理。如图5所示为避免数据丢失，在本架构中将其也分为三次进行读取，每次读取1080/3＝360即写深度图信号wr_dep。DDR2中每接收一个burst，地址跳跃为1920×8×4/64＝960。同样，此时也需要18片Block RAM对深度图数据进行缓存，否则也会造成数据丢失。

3.4、总结

2D转3D技术能将普通2D视频转为3D视频，有效解决了3D片源不足的问题，因而得到了广泛应用。然而，随着分辨率的提高，2D转3D算法复杂度也逐渐增加，硬件设计难度也随之增大。本文在分析1080p视频行场信号的基础上，提出了一种适用于1080p视频的2D转3D系统时序。该时序工作频率为200MHz，且充分考虑了各个信号与DDR2的读写时间安排，可应用到1080p2D转3D系统的实际设计中。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (1)

1.一种实时全高清2D转3D系统行读写时序设计方法，其特征在于，包括以下步骤：

(1)、写彩色图

系统经过HDMI接口接收彩色图数据，在数据使能信号hdmi_de为高时以像素时钟148.5MHz将其即当前帧缓存在Block RAM中；数据使能信号hdmi_de为低时，用480个时钟周期的写彩色图wr_col，以200MHz时钟频率从BlockRAM中读出并作为当前帧彩色图像，每4个32-bit彩色数据构成1个128-bit的数据写入到DDR2中；

(2)、读彩色图

在写彩色图wr_col之后执行读彩色图的操作，用480个时钟周期的读彩色图rd_col从DDR2中读取已存储的前二帧彩色图像中的一行数据，从DDR2中读出的数据是128-bit的数据，原为32-bit的彩色图像数据，并送入DIBR系统中，结合深度估计系统输出深度数据生成目标图像；

(3)、读边缘图

在读彩色图rd_col之后执行读边缘图操作，用270个时钟周期的读边缘图rd_edge从DDR2中读取前一帧的128-bit边缘图数据，每次读边缘图操作会将四列的边缘图数据同时读出，送入深度估计系统中；

读边缘图操作是每两个数据使能信号hdmi_de执行一次的；

(4)、读深度图

在四个读彩色图rd_col之后执行读深度图操作，用480个时钟周期将已存储的前一帧深度图的四行数据同时读出，读深度图操作是每4个数据使能信号hdmi_de执行一次的；

(5)、写边缘图

在深度估计系统的边缘图数据缓存中增加两片Block RAM，即用18片BlockRAM进行缓存，每次对其中16片Block RAM进行边缘图数据读出和组合写入DDR2，读取和组合写入过程中，边缘检测输出的边缘图数据依次缓存在另外两片Block RAM，读取和组合写入过程结束后，该16片Block RAM继续进行缓存，然后对另外两片Block RAM缓存的边缘图数据以及16片Block RAM的前14片Block RAM缓存的边缘图数据进行边缘图数据读出和组合写入DDR2，剩下的两片Block RAM在读取和组合写入过程中依次缓存边缘检测输出的边缘图数据，这样循环；

其中读取和和组合写入即写边缘图在16个数据有效信号data_valid后的低电平区域内即16行边缘图数据存满后分为三次连续，每次用640个时钟周期写边缘图信号wr_edge读取缓存的当前帧的边缘图数据并组合写入DDR2中；

(6)、写深度图

在深度估计系统的深度图数据缓存中增加两片Block RAM，即用18片BlockRAM进行缓存，每次对其中16片Block RAM进行深度图数据读出和组合写入DDR2，读取和组合写入过程中，深度图估计输出的边缘图数据依次缓存在另外两片Block RAM，读取和组合写入过程结束后，该16片Block RAM继续进行缓存，然后对另外两片Block RAM缓存的深度图数据以及16片Block RAM的前14片Block RAM缓存的深度图数据进行深度图数据读出和组合写入DDR2，剩下的两片Block RAM在读取和组合写入过程中依次缓存深度图估计输出的深度图数据，这样循环；

其中读取和组合写入即写深度图在16个数据有效信号data_valid后的低电平区域内即16行深度图数据存满后分为三次连续，每次用360个时钟周期写深度图信号wr_dep读取缓存的前一帧的深度图数据并组合写入DDR2中；

其中，步骤(5)、(6)中的写边缘图信号wr_edge位于数据有效信号data_valid后的低电平区域的后半部分区域、写深度图信号wr_dep位于数据有效信号data_valid后的低电平区域的前半部分区域。