CN104185011A - 一种多视点图像融合装置 - Google Patents

Abstract

本发明公开了一种多视点图像融合装置，由视图输入模块将N幅视点图像并行输入子像素采集模块，起始视点确定模块根据子像素排列表生成每行合成图像的起始视点信号发送给子像素采集模块，子像素采集模块包括R子像素采样模块、G子像素采样模块和B子像素采样模块，每个子像素采样模块接收N幅视点图像中对应的子像素信号并进行排序，根据起始视点信号每个子像素采样模块根据起始视点确定首个采样子像素信号，在数据有效信号的有效电平期内，每隔时间t按排序切换至下一个子像素信号采样，得到的三个采样信号即为合成图像的R、G、B信号，输出缓存模块接收R、G、B信号进行缓存和输出。本发明的硬件资源消耗少，并且可以提高合成图像的显示效果。

Description

一种多视点图像融合装置

技术领域

本发明属于裸眼3D技术领域，更为具体地讲，涉及一种多视点图像融合装置。

背景技术

经过多年的发展，人们通过不同的技术实现了多种立体图像可视化的显示技术，例如棱柱镜显示、体三维显示、狭缝光栅显示、全息显示等，这些三维显示技术均属于裸眼3D显示，即观看者无需佩戴眼镜或其他辅助视具便可观看到立体影像，它们在同一个时间可以显示多个不同的视点图像。

多视点图像融合是基于光栅的裸眼3D显示的关键问题。它所完成的功能是对含有人眼视差的多幅视点图像进行子像素抽取，然后按照光栅子像素排列表进行排列，最后合成得到适合基于光栅的裸眼立体显示器显示的合成图像。图1是8视点倾斜狭缝前置式光栅截面图。图2是8视点立体合成图像显示示意图。图3是基于视差光栅的4视点视图显示示意图。

根据图1、图2和图3可以看出，多视点图像多视点图像融合的过程为，对于N(N≥2)视点的基于光栅的裸眼立体显示器，需要准备N幅具有人眼视差的视图，然后将这N幅视点的图像信息根据子像素排列表合成为一幅多视点立体图像，并将所生成的图像分配给LCD像素阵列进行显示。

目前，已有多种合成图像的生成方法，大体可分为模拟合成方法和数字合成方法两类。模拟合成方法一般采用人工处理的方式(例如用Photoshop软件)，对各个视图进行处理(例如采样、滤波)，常用的是光筛法，光筛法就是对每个视点的视图分别采用R、G、B的稀疏采样矩阵进行加权采样，其中非零采样矩阵元素的分布是根据棱柱镜的倾斜方向以及棱柱镜内视点的排列顺序，其工作原理类似于对每个视图分别进行R、G、B筛滤。光筛的选取一般依靠人工经验，需要借助现成的软件工具，例如合成需用Photoshop的图层合并工具。这种模拟合成方法具有较高灵活性，可根据用户需求微调(例如平滑各视点间的切换)。但该方法通用性差，合成效率低，对制作经验要求高。此外，经过软件多次拟合和筛滤后，其对比度和亮度都会有一些降低。

数字合成方法一般是先通过参数(主要包括光栅的周期T、光栅倾斜角度θ、2D显示屏子像素宽度W_t以及所采用的视点数N)计算得到光栅子像素排列表。然后根据光栅子像素排列表，采集各视点图像中有用的子像素。最后根据光栅子像素排列表确定每行(合成图像的垂直分辨率记为Hi)的起始子像素属于哪幅视图，从每行的起始位置开始，以R、G、B子像素进行循环排列，以每N个子像素为一个基本排列单元，将各个视点中的有用子像素按照光栅子像素排列表的排列规律填入合成立体图像中。填充过程中，以行为单位循环Hi次，最终生成一幅合成立体图像。

现有技术中，对多视点图像子像素的采集方法为：在考虑到传输带宽以及同步处理需求的前提下，首先对各视点视图进行下采样，拼成一幅与合成图像分辨率相同的图像，然后将拼图传输给多视点视图子像素采集模块，为了避免在融合后产生失真等情况，子像素采集模块在采样前会对视差图像进行插值放大，放大的比例根据显示器的分辨率来确定，最后对放大后的各视点视图进行子像素采集。传统的采集方法可以有效解决传输带宽高，同步处理的问题，但会严重降低各视点视图的分辨率，从而影响合成图像的精度，最终降低裸眼立体显示的观赏效果。

发明内容

本发明的目的在于克服现有技术的不足，提供一种多视点图像融合装置，通过并行处理的方式进行子像素采样，实现以较低的硬件资源消耗实现多视点图像融合，提高合成图像的显示效果。

为实现上述发明目的，本发明多视点图像融合装置包括视图输入模块、起始视点确定模块、子像素采集模块和输出缓存模块，其中：

视图输入模块，接收数据有效信号和N幅视点图像，对N幅视点图像各缓存一行后，将数据有效信号发送给起始视点确定模块，将数据有效信号和N幅视点图像同步发送给子像素采集模块；

起始视点确定模块，接收数据有效信号，根据数据有效信号得到视点图像中每行的起始时刻，在每行起始时刻根据子像素排列表生成该行合成图像第一个像素中子像素R、G、B的起始视点，将起始视点信号发送给子像素采集模块；

子像素采集模块，包括R子像素采样模块、G子像素采样模块和B子像素采样模块，每个子像素采样模块分别接收数据有效信号和N幅视点图像中对应的子像素信号，以及每行的起始视点信号；N个子像素信号并行输入对应子像素采样模块，第i个视点图像的序号j＝x+1+(y-1)z，其中 表示向上取整，x和y均为整数，满足y+3x＝i，x的取值范围为x≥0，y的取值范围为1≤y≤3；每个子像素采样模块根据起始视点确定首个采样子像素信号，在数据有效信号的有效电平期内，每隔时间t按排序切换至下一个子像素信号采样，t表示子像素信号中每个子像素所占时长，得到的三个采样信号即为合成图像的R、G、B信号，在子像素采样过程中，子像素采集模块根据采样信号有效性生成采样数据有效信号，将R、G、B信号和采样数据有效信号发送给输出缓存模块；

输出缓存模块，包括存储器和行场信号产生模块，存储器接收子像素采集模块的R、G、B信号和采样数据有效信号，根据采样数据有效信号对R、G、B信号进行缓存，行场信号产生模块接收采样数据有效信号，在第一个有效电平到来时开始生成行场信号，将存储器中的数据读取并配合行场信号输出给裸眼3D显示屏进行显示。

本发明多视点图像融合装置，包括视图输入模块、起始视点确定模块、子像素采集模块和输出缓存模块，由视图输入模块将N幅视点图像并行输入子像素采集模块，起始视点确定模块根据子像素排列表生成每行合成图像的起始视点信号发送给子像素采集模块，子像素采集模块包括R子像素采样模块、G子像素采样模块和B子像素采样模块，每个子像素采样模块接收N幅视点图像中对应的子像素信号并进行排序，根据起始视点信号每个子像素采样模块根据起始视点确定首个采样子像素信号，在数据有效信号的有效电平期内，每隔时间t按排序切换至下一个子像素信号采样，得到的三个采样信号即为合成图像的R、G、B信号，输出缓存模块接收R、G、B信号进行缓存和输出。本发明通过并行处理的方式对进行子像素采样，并在采样时对子像素信号的输入顺序进行排列，降低了逻辑资源消耗，并且本发明避免了传统子像素采集中由于下采样和上采样带来的分辨率和精度问题，从而提高合成图像的显示效果。

附图说明

图1是8视点倾斜狭缝前置式光栅截面图；

图2是8视点立体合成图像显示示意图；

图3是基于视差光栅的4视点视图显示示意图；

图4是本发明多视点图像融合装置的一种具体实施方式结构图；

图5是本实施例多视点图像融合装置的时序图；

图6是子像素采样模块的一种具体实施方式结构图；

图7是本实施例中第3行子像素排列示意图；

图8是本实施例第3行R子像素的采样示意图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图4是本发明多视点图像融合装置的一种具体实施方式结构图。如图4所示，本发明多视点图像融合装置包括视图输入模块、起始视点确定模块、子像素采集模块和输出缓存模块。下面详细介绍各模块的功能和工作过程。

视图输入模块1，用于完成N幅视点图像数据缓存功能。本实施例中，本实施例中，采用8幅视点图像进行融合，即N＝8，由裸眼3D内容生成模块生成8幅视点图像数据，以及两路相同的数据有效信号view0_data_valid、view1_data_valid。视图输入模块1接收数据有效信号view0_data_valid、view1_data_valid和8幅视点图像Viewi_data，i的取值范围为i＝1,2,…,8，对8幅视点图像各缓存一行后，将数据有效信号view0_data_valid发送给起始视点确定模块2，再将数据有效信号view1_data_valid和8幅视点图像Viewi_data发送给子像素采集模块3，发送过程中两个数据有效信号和8幅视点图像是同步发送的，从而实现图像数据的缓存与分发。如果裸眼3D内容生成模块只生成一路数据有效信号，则视图输入模块1需要对数据有效信号进行分路。

起始视点确定模块2，用于完成合成图像中每行起始视点的确定。根据数据有效信号view0_data_valid得到视点图像中每行的起始时刻，在每行起始时刻根据子像素排列表生成该行合成图像第一个像素中子像素R、G、B的起始视点信号R_start_view、G_start_view、B_start_view，将起始视点信号R_start_view、G_start_view、B_start_view送给子像素采集模块3。

图5是本实施例多视点图像融合装置的时序图。图5中[]中数字表示信号的数据长度。如View1_data[23：0]表示视点图像1的长度为24个比特。如图5所示，本实施例中，数据有效信号view0_data_valid为高电平有效，且行序号从1开始，那么计数初始为0，对数据有效信号view0_data_valid的上升沿进行计数，得到当前行的行序号，根据子像素列表生成该行的起始视点信号。子像素排列表是预先根据相关参数(主要包括光栅的周期T、光栅倾斜角度θ、2D显示屏子像素宽度W_t以及所采用的视点数N)计算得到的。表1是本实施例采用的子像素排列表。

表1

子像素采集模块3，包括R子像素采样模块31、G子像素采样模块32和B子像素采样模块33，每个子像素采样模块分别接收数据有效信号view1_data_valid和8幅视点图像Viewi_data中对应的子像素信号，以及每行的起始视点信号R_start_view、G_start_view、B_start_view；N个子像素信号并行输入对应子像素采样模块，对子像素信号进行排序，第i个视点图像的序号j＝x+1+(y-1)z，其中 表示向上取整，x和y均为整数，满足y+3x＝i，x的取值范围为x≥0，y的取值范围为1≤y≤3。每个子像素采样模块根据起始视点确定首个采样子像素信号，在数据有效信号的有效电平期内，每隔时间t按排序切换至子像素信号采样，t表示子像素信号中每个子像素所占时长，得到的三个采样信号即为合成图像的R、G、B信号，在子像素采样过程中，子像素采集模块根据采样信号有效性生成采样数据有效信号，将R、G、B信号和采样数据有效信号发送给输出缓存模块4。

图6是子像素采样模块的一种具体实施方式结构图。如图6所示，本实施例中，R子像素采样模块31、G子像素采样模块32和B子像素采样模块33的结构均相同，包括视点图像排序模块301、数据选择器302和采样模块303。视点图像排序模块301接收并行输入的8幅视点图像中对应的8个子像素信号，根据排序规则联通输入口与对应输出口，数据选择器302接收对应起始视点信号和经视点图像排序模块输出的8个并行子像素信号，确定首个采样子像素信号，然后每隔时间t按输入口顺序切换至下一个子像素信号，将当前时刻选通的子像素信号输入至采样模块303进行采样。表2是本实施例中视点图像排序模块输入口和输出口的对应表。

输入口	输出口
		1	1
2	4
		3	7
4	2
		5	5
6	8
		7	3
8	6

表2

如表2所示，根据本发明所提出的排序规则，本实施例中由于x和y满足y+3x＝i。以第5个视点图像为例，y+3x＝5，由于x和y均为整数，x的取值范围为x≥0，y的取值范围为1≤y≤3，那么x＝1，y＝2，可知对应的输出口序号j＝x+1+(y-1)z＝1+1+(2-1)×3＝5。根据求解过程可知，实际上y是i除以3的商，x为余数，只是本发明的排序规则中，当余数为0时，取x＝3。

下面以第3行的子像素为例，说明本发明中对子像素的采样。图7是本实施例中第3行子像素排列示意图。如图7所示，第3行的R子像素的起始视点为2，那么R子像素采样模块在对8个R子像素信号采样时，从视点2开始采样。图8是本实施例第3行R子像素的采样示意图。如图8所示，在合成图像的第3行子像素中，R子像素采样模块从视点2的图像开始采样，即第1个采样R子像素为视点2图像的第1个R子像素，第2个采样R子像素为视点5图像的第2个R子像素，第3个采样R子像素为视点8图像的第3个R子像素，第4个采样R子像素为视点3图像的第4个R子像素，第5个采样R子像素为视点6图像的第5个R子像素，第6个采样R子像素为视点1图像的第6个R子像素，第7个采样R子像素为视点4图像的第7个R子像素，第8个采样R子像素为视点7图像的第8个R子像素，以此类推，最终得到该行的所有R子像素。G子像素和B子像素的采样过程与R子像素类似，在此不再赘述。

对照图7和图8可知，R子像素的采样顺序即为各视点图像中R子像素在合成图像中在对应行的排列顺序。因此，本发明得到的R、G、B三个采样信号即为合成图像的R、G、B信号，无需进行更多的处理，在采样过程中也无需其他控制信号配合，实现简单，逻辑资源消耗少。并且根据采样过程可以看出，本发明是直接在原始视点图像中按照子像素排列表进行采样，避免了传统子像素采集中由于下采样和上采样带来的分辨率和精度问题，从而提高合成图像的显示效果。

根据图5所示的时序图可知，本实施例中，三个采样信号的数据有效性是一致的，因此可以根据其中任意一个采样信号来生成采样数据有效信号，本实施例中是根据R采样信号来生成采样数据有效信号syn_image_r_valid。

输出缓存模块4，包括存储器41和行场信号产生模块42，存储器41接收子像素采集模块的R、G、B信号和采样数据有效信号，根据采样数据有效信号对R、G、B信号进行缓存，如图5所示，本实施例中缓存一行。行场信号产生模块42接收采样数据有效信号，在第一个有效电平到来时开始生成行场信号(即行有效信号)，将存储器中的数据读取并配合行场信号输出给裸眼3D显示屏进行显示。

为验证本发明的实验效果，对本发明多视点图像融合装置进行了实验验证。其硬件平台主要包括：Xilinx-5开发板、长虹裸眼3D显示屏、示波器、稳压电源、60HzDVD视频源等仪器。Xilinx-5 FPGA开发板是长虹虹微公司提供的视频开发板，具有11M-Byte的Block RAM资源，且具有外部存储器DDR2和HDMI、LVDS、VGA等多种视频接口。经过实验验证，采用本发明多视点图像融合装置得到的合成图像上屏效果良好。表3是实验验证得到的多视点图像融合装置的逻辑资源消耗。

资源类型	已用	总量	使用率
				Slice寄存器	1258	207360	1％
逻辑门数	635	207360	1％
				Slice查找表	648	207360	1％
内部存储器	10	54720	1％
				存储器消耗总量(KB)	486	11664	4％
消耗的LUT-FF对	447	1459	30％
				占用的IOBS	232	960	19％
消耗的Block RAM/FIFO	17	324	23％
				全局缓冲器	2	32	6％

表3

由表3可知，本发明多视点图像融合装置的逻辑资源消耗较少，是一种经济的多视点图像整合装置。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (2)

1.一种多视点图像融合装置，其特征在于包括视图输入模块、起始视点确定模块、子像素采集模块和输出缓存模块，其中：

视图输入模块，接收数据有效信号和N幅视点图像，对N幅视点图像各缓存一行后，将数据有效信号发送给起始视点确定模块，将数据有效信号和N幅视点图像同步发送给子像素采集模块；

起始视点确定模块，接收数据有效信号，根据数据有效信号得到视点图像中每行的起始时刻，在每行起始时刻根据子像素排列表生成该行合成图像第一个像素中子像素R、G、B的起始视点，将起始视点信号发送给子像素采集模块；

子像素采集模块，包括R子像素采样模块、G子像素采样模块和B子像素采样模块，每个子像素采样模块分别接收数据有效信号和N幅视点图像中对应的子像素信号，以及每行的起始视点信号；N个子像素信号并行输入对应子像素采样模块，第i个视点图像的序号j＝x+1+(y-1)z，其中 表示向上取整，x和y均为整数，满足y+3x＝i，x的取值范围为x≥0，y的取值范围为1≤y≤3；每个子像素采样模块根据起始视点确定首个采样子像素信号，在数据有效信号的有效电平期内，每隔时间t按排序切换至下一个子像素信号采样，t表示子像素信号中每个子像素所占时长，得到的三个采样信号即为合成图像的R、G、B信号，在子像素采样过程中，子像素采集模块根据采样信号有效性生成采样数据有效信号，将R、G、B信号和采样数据有效信号发送给输出缓存模块；

输出缓存模块，包括存储器和行场信号产生模块，存储器接收子像素采集模块的R、G、B信号和采样数据有效信号，根据采样数据有效信号对R、G、B信号进行缓存，行场信号产生模块接收采样数据有效信号，在第一个有效电平到来时开始生成行场信号(行有效信号)，将存储器中的数据读取并配合行场信号输出给裸眼3D显示屏进行显示。

2.根据权利要求1所述的多视图融合装置，所述R子像素采样模块、G子像素采样模块和B子像素采样模块，分别包括视点图像排序模块、数据选择器和采样模块，视点图像排序模块接收并行输入的N幅视点图像中对应的N个子像素信号，根据排序规则联通输入口与对应输出口，按照排序将N个子像素信号输出至数据选择器；数据选择器接收对应起始视点信号和经视点图像排序模块输出的N个并行子像素信号，确定首个采样子像素信号，然后每隔时间t按输入口顺序切换至下一个子像素信号，将当前时刻选通的子像素信号输入至采集模块进行采样。