CN105611270B - 一种双目视觉自由立体显示系统 - Google Patents

Abstract

本发明公开了一种双目视觉自由立体显示系统，包括双目相机、接口转换电路、FPGA加速电路、自由立体显示器，其中双目相机对现实场景进行采集，将采集到的视频通过HDMI接口传输到接口转换电路，接口转换电路将接收到的视频通过LVDS接口传输到FPGA加速电路，FPGA加速电路接收视频，逐帧进行处理，依次进行立体匹配、多视点生成、立体图像合成，将最终合成的立体图像输出到自由立体显示器，观看者站在立体显示器前相应位置观看，就能感知到立体感。该自由立体显示系统利用FPGA支持并行和流水处理的特性实现实时的自由立体显示。实验结果表明，本发明显示1920×1080分辨率的立体视频的帧速约为每秒30帧。

Description

一种双目视觉自由立体显示系统

技术领域

本发明属于图像处理技术领域，更具体地，涉及一种双目视觉自由立体显示系统。

背景技术

随着科技的进步，数字多媒体技术也不断发展，如今3D视频应用已出现在人们的生活中，例如在娱乐领域、军事领域及医疗领域等都能见其身影。观看一般立体视频时，人们需要佩戴红蓝眼镜或偏振光眼镜等辅助设备，当观看者观看久了会产生疲劳感，限制了立体视频显示技术的推广应用。

所谓自由立体显示技术，是指观看者在不需要任何辅助设备的条件下，直接观察显示器屏幕就能感知立体感的一种技术，即裸眼3D技术。自由立体显示系统主要包括视频信息的采集、编码、传输和显示这几个步骤。现有的自由立体显示系统在显示端需要多个视点的信息，这样在观看范围内，观看者左右眼能接收到两幅具有视差的图像，经过大脑的融合处理从而感知到立体感。

自由立体显示系统对实时性要求高，如何做到实时的显示是一难点。现有的自由立体显示系统不能完全做到真正的实时显示，都是先将采集好的视频利用PC软件的处理方式提取场景的深度信息，接着由深度信息生成立体视频并保存，最后对生成的立体视频进行播放。这种方式不能很好实现对场景信息的实时采集。而且常用的提取场景深度信息的方法以及由深度信息生成立体视频的方法都是比较耗时的，采用通用PC软件处理方式很难保证立体视频的实时性。

发明内容

针对现有技术的缺陷，并从成本和实用性方面考虑，本发明提供一种双目视觉自由立体显示系统，利用双目相机对现实场景进行采集，将采集得到的视频经由接口转换电路输出给FPGA加速电路，利用FPGA加速电路对采集到的视频数据逐帧地进行立体匹配、多视点生成及立体图像合成，并将合成的立体图像输出到自由立体显示器进行显示。本发明利用FPGA支持并行和流水处理的特性，对立体匹配、多视点生成、立体图像合成这些耗时的操作进行加速处理，以达到实时的自由立体显示，使观看者在不需要任何辅助设备的条件下，可以在自由立体显示器前方的较大范围内观看到连续、流畅的立体视频。实验验证本发明显示1920×1080分辨率的立体视频的帧速约为每秒30帧。

本发明提供一种双目视觉自由立体显示系统，包括：

(权1)。

与现有技术相比，本发明具有以下优点：

(1)利用双目相机对自然场景进行采集，接着将采集到的视频数据进行立体匹配处理得出视差信息，最后由基于深度图像的绘制(Depth-Image-Based Rendering，DIBR)技术实现多视点的绘制，为自由立体显示提供多视点信息，采用这样的处理方法降低了系统的传输带宽、存储空间以及成本；

(2)充分利用FPGA支持并行和流水处理的特性，将一些处理比较耗时的操作(例如立体匹配、多视点绘制及立体视频的合成)采用硬件来进行加速处理，大大提高系统处理速度，实现立体视频的实时显示；

(3)系统的集成性高，利用FPGA实现整个与自由立体显示相关的处理，通过提供相应的视频数据，就能得到用于显示的立体视频；

(4)系统的实用性好，相比其他加速方法(例如采用GPU)，FPGA不仅能实现并行处理，同时也降低系统的功耗，利用本发明进行自由立体显示比较方便。

附图说明

图1是本发明一种双目视觉自由立体显示系统结构示意图；

图2是本发明FPGA加速电路的硬件结构框图；

图3是本发明FPGA逻辑处理流程图；

图4是本发明FPGA解析LVDS差分信号的硬件实现图；

图5是本发明立体匹配处理流程图；

图6是本发明生成一幅虚视图的处理流程图；

图7是本发明合成立体图的处理流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

图1所示为本发明实施例的双目视觉自由立体显示系统的结构示意图，包括双目相机1、接口转换电路2、FPGA加速电路3及自由立体显示器4。双目相机1对现实场景进行采集，并将左右相机采集到的视频通过HDMI接口传输到接口转换电路2。接口转换电路2包括HDMI接口、微控制器及LVDS接口。接口转换电路2的微控制器从HDMI接口接收视频，依据HDMI传输协议格式解析出其中所包含的视频数据，并按照LVDS传输协议格式将视频数据通过LVDS接口输出到FPGA加速电路3。FPGA加速电路3接收视频数据并逐帧进行处理，将合成的立体视频输出到自由立体显示器4进行显示。

图2所示为本发明实施例的FPGA加速电路3的结构框图。FPGA加速电路3包括信号输入接口、信号输出接口、处理器模块、存储模块及电源模块。信号输入接口接收的信号包括LVDS差分信号组及12V电源信号，其中LVDS差分信号组用于传输视频数据，12电源输入信号用于给FPGA加速电路3提供外部输入电源。信号输出接口输出的信号与信号输入接口类似，将LVDS差分信号组及12V电源信号传输给自由立体显示器4。处理器模块包括FPGA处理器、时钟电路及JTAG接口电路，其中，FPGA处理器用于一系列计算并生成立体视频，具体包括：双目视频数据解析、左右图像校正、立体匹配、多视点生成、立体图像合成和立体视频数据包装；时钟电路用于给FPGA处理器提供50M的外部时钟信号输入；JTAG接口电路用于FPAG处理器逻辑功能的调试和升级。在本发明实施例中，FPGA处理器选用Xilinx公司XC6SLX150或者类似的芯片，采用有源晶振SG8002CE芯片为FPGA处理器提供50M时钟信号，也可以采用其他类似的有源晶振实现。存储模块包括DDR2存储器及配置FLASH，其中DDR2存储器用于缓存视频数据以方便处理；配置FLASH用于存储FPGA处理器的配置数据，在系统上电时，FPGA处理器能自动从配置FLASH中读取配置数据从而进行处理。在本发明实施例中，设计配置电路时采用主模式中的SPI配置模式，采用M25P128这款SPI FLASH芯片，其容量为128M，也可以采用其他类似的FLASH芯片实现；DDR2存储器选用MT47H64M16HR-25E这款DDR2芯片，其容量为1Gb，也可以采用其他类似的DDR2芯片实现。电源模块包括12V转5V电路、5V转1.2V和2.5V电路、5V转3.3V和1.8V电路、1.8V转0.9V电路，通过这些转换电路得到FPGA加速电路3各个模块工作所需要的电压。在本发明实施例中，首先将信号输入接口输入进来的12V电压转换成5V电压，接着将5V电压分别转换成3.3V、2.5V、1.8V和1.2V，最后将1.8V转换成0.9V。在本发明实施例中，12V转5V电路采用TPS54326PWP电源转换芯片，也可以采用类似的芯片实现；5V转2.5V和1.2V电路采用LTC3546电源转换芯片，也可以采用类似的芯片实现；5V转3.3V和1.8V电路采用LT3501电源转换芯片，也可以采用类似的芯片实现；1.8V转0.9V电路采用LTC3413电源转换芯片，也可以采用类似的芯片实现。

图3所示为本发明实施例的FPGA处理器进行逻辑处理的流程图。FPGA处理器接收视频数据并逐帧进行处理，每帧数据由双目相机拍摄得到的数据组成，即拍摄得到的左右两幅图像数据，其步骤如下：

步骤1从信号输入接口接收LVDS差分信号组，解析出其中的视频数据。本发明实施例中LVDS传输采用24位双像素模式，总共有2路差分信号，每路各包括4对数据差分信号和一对时钟差分信号。图4所示为本发明实施例的FPGA解析LVDS差分信号组的硬件实现图。因两路LVDS差分信号的时钟信号是同步的，没有相位偏移，因此在图4中只标出一对时钟差分信号，即CLK+和CLK-。每一对数据差分信号在一个时钟周期内，能传输7比特数据。LVDS差分信号经过接收器后转换成TTL电平信号，在实现时可将FPGA处理器内部的IO资源配置成接收器。接收解析模块的输入时钟频率CLK_OUT是差分时钟接收器的输出时钟CLK_IN的7倍。当有数据到来时，接收解析模块在接下来7个时钟周期的每一个时钟周期输出从端口A0～A7传输来的比特数据，即第一个时钟周期内将接收到的8比特数据分别从D0～D7这8个端口输出，第二个时钟周期内将接收到的8比特数据分别从D8～D15这8个端口输出，同理在接下来时钟周期内从相应的端口输出数据直到第7个时钟周期。

步骤2逐帧地对视频数据进行立体图像对校正操作。因双目相机的两相机没有绝对的水平放置，拍摄得到的左右图像不仅在水平方向存在视差，在垂直方向也存在视差。为了简化立体匹配的复杂度，首先对左右图像进行校正，本发明实施例中采用极线几何校正方法对左右图像分别进行校正。

步骤3将校正得到的左右图像数据进行立体匹配操作。图5所示为本发明立体匹配处理流程图，包括以下子步骤：

(3-1)对双目相机采集的左右两幅图像进行中心变换，计算出每个像素的海明距离，本发明实施例中进行中心变换时选取窗口的大小为11，以当前计算的像素点为窗口的中心位置，将窗口中其他像素依次与中心像素进行比较，若小于中心像素，则用二进制‘1’表示，否则用二进制‘0’表示，这样对于左右图像中每个像素点就得到一个长度为120的二进制位串；

(3-2)计算海明距离，由所得的海明距离计算视差。以右图为例，在计算右图某行某个位置的像素的海明距离时，将该像素得到的二进制位串依次与从左图同一行同一位置处按水平向右搜素得到的像素对应的二进制位串进行异或操作，直到搜素到第64个像素，这样就得到64个二进制位串，统计每个二进制位串中‘1’的个数，对应的个数即为海明距离，接着从64个海明距离中选取海明距离最小的，假设第i个最小(1＜＝i＜＝64),则右图中该像素点对应的视差值为i-1，同理对于左图中每个像素点计算海明距离时，异或操作完成后在右图中同一行同一位置处按水平向左进行搜素；

(3-3)进行左右一致性检测，由于空间中的遮挡关系，右图中出现的像素点可能在左图中没有出现，这样右图中像素点可能存在计算不准确的视差值，需要对右图进行一致性检测。设右图某行中水平坐标为x的像素点的视差值为dR，在左图同行中水平坐标为x+dR的像素点的视差值为dL，若两视差差值的绝对值大于事先设定的阈值，则认为该像素点的视差计算不准确，对该像素点进行标记；

(3-4)进行插值处理，逐行遍历右图，如果某个像素被标记，则需修改该像素点的视差值，以该像素点为一大小为7的窗口的中心像素，统计该窗口内其他未被标记像素的视差出现的次数，将出现次数最多的视差作为该像素点的视差。

步骤4利用右图图像数据及其对应的视差数据进行多视点生成处理。图6所示为本发明生成一幅虚视图的处理流程图，包括以下子步骤：

(4-1)由原始图像数据、视差数据、虚视点位置信息进行视点映射处理，其中虚视点位置信息主要指生成的虚视点相对原始视点的位置及距离，因只存在水平视差，在进行视点映射时逐行地对原始图像数据进行处理，计算出原始图像某行某个位置的像素点在虚视点图像中对应行中的位置；

(4-2)由于空间中的遮挡关系，原始图像中某些像素点在虚视点图像中找不到对应点，这样的点标记为空洞，其他能找到对应点的像素点标记为非空洞。在缓存中，原始图像中的每个像素点用一个二进制位来做标记，本发明实施例中，用“1”作为空洞标记，用“0”作非空洞标记。根据步骤(4-1)计算得到的位置判断该点是否出现在虚视点图像中。如果是，则将原始图像中该点像素值及非空洞标记存入缓存中，然后执行步骤(4-3)；否则，将空洞标记存入缓存中，然后执行步骤(4-3)；

(4-3)从缓存中读取像素值及标记值，对虚视点图像中的空洞区域进行填补，本发明实施例中采用线性插值填补算法，每次查找虚视点图像中某行某个空洞区域的位置，利用该空洞区域左右邻近的非空洞像素值的加权平均值对空洞区域进行填补，并将空洞填补后的虚视点图像数据存入虚视点缓存中。

步骤5利用得到的9视点图像数据进行立体图像合成处理。图7所示为本发明合成立体图的处理流程图，包括以下子步骤：

(5-1)依据当前需要合成的像素点在立体图像中的位置计算合成图中某个位置的RGB子像素应取自虚视点的编号，合成图中每一个像素点的RGB子像素都是取自9个虚视点图像某个像素，即R子像素取自某个虚视点图像中某个像素的R子像素值，G子像素取自某个虚视点图像中某个像素的G子像素值，B子像素取自某个虚视点图像中某个像素的B子像素值,具体取决于哪个虚视点由自由立体显示器所用柱镜光栅的参数决定。

(5-2)依据当前需要合成的像素点在立体图像中的位置计算合成图中某个位置像素的RGB子像值应取自对应虚视点缓存哪个单元的数据，即计算对应单元的地址。

(5-3)由步骤(5-2)得到的地址，从虚视点缓存中取出像素数据组合成合成图中的像素值，并将其存入合成图缓存中。

步骤6将合成的立体图像数据按照LVDS信号协议格式进行包装，包装的过程与解析的过程相反，最后将数据逐比特的从信号输出接口传输至自由立体显示器进行显示。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种双目视觉自由立体显示系统，包括：双目相机、接口转换电路、FPGA加速电路以及自由立体显示器，其中：

所述双目相机用于对自然场景进行拍摄，将得到的视频数据通过其内置的HDMI接口传输到所述接口转换电路，每帧数据由双目相机内部两摄相机拍摄得到的数据组成，即拍摄得到的左右两幅图像数据；

所述接口转换电路通过其内置的HDMI接口接收所述双目相机传输过来的信号，解析得到其中的视频数据，接着按照LVDS传输协议格式将视频数据通过LVDS接口输出到所述FPGA加速电路；

所述FPGA加速电路用于接收所述接口转换电路传输过来的视频，逐帧进行处理，所述FPGA处理器依次进行立体匹配、多视点生成及立体图像合成，将最终合成的立体图像输出到所述自由立体显示器进行显示；

所述自由立体显示器用于采用基于柱镜光栅的自由立体显示技术进行自由立体显示；

其中，所述FPGA处理器执行的立体匹配具体包括如下操作：

对双目相机采集的左右两幅图像进行中心变换，进行中心变换时选取窗口的大小为11，以当前计算的像素点为窗口的中心位置，将窗口中其他像素依次与中心像素进行比较，若小于中心像素，则用二进制‘1’表示，否则用二进制‘0’表示，这样对于左右图像中每个像素点就得到一个长度为120的二进制位串；

计算每个像素的海明距离，由所得的海明距离计算视差，对于右图像，在计算右图像中像素的海明距离时，将该像素得到的二进制位串依次与从左图像中同一行同一位置处按水平向右搜素得到的像素对应的二进制位串进行异或操作，直到搜素到第64个像素，这样就得到64个二进制位串，统计每个二进制位串中‘1’的个数，对应的个数即为海明距离，接着从64个海明距离中选取海明距离最小第i个，则右图像中该像素点对应的视差值为i-1，同理对于左图像中每个像素点计算海明距离时，异或操作完成后在右图中同一行同一位置处按水平向左进行搜素，其中1<＝i<＝64；

进行左右一致性检测，设右图像任一行中水平坐标为x的像素点的视差值为dR，在左图像同行中水平坐标为x+dR的像素点的视差值为dL，若两视差差值的绝对值大于事先设定的阈值，则认为该像素点的视差计算不准确，对该像素点进行标记；

进行插值处理，逐行遍历右图像，如果某个像素被标记，则需修改该像素点的视差值，以该像素点为一大小为7的窗口的中心像素，统计该窗口内其他未被标记像素的视差出现的次数，将出现次数最多的视差作为该像素点的视差。

2.如权利要求1所述的双目视觉自由立体显示系统，其特征在于，所述接口转换电路其内置HDMI信号输入接口、MCU(微控制器)、LVDS信号输出接口，MCU从HDMI接口接收信号，依据HDMI传输协议格式解析出其中所包含的视频数据，接着按照LVDS传输协议格式将视频数据通过LVDS接口输出。

3.如权利要求1或2所述的双目视觉自由立体显示系统，其特征在于，所述FPGA加速电路其包括信号输入接口、信号输出接口、处理器模块、存储模块、电源模块等，其中信号输入接口包括LVDS差分信号组、12V电源信号，其中LVDS差分信号组用于传输视频，12电源输入信号用于给FPGA加速电路提供外部输入电源，信号输出接口输出的信号与信号输入接口类似，将LVDS差分信及12V电源信号传输给自由立体显示器的LCD面板；处理器模块包括FPGA处理器、时钟电路、JTAG电路，选用Xilinx公司XC6SLX150芯片或类似芯片作为FPGA处理器，时钟电路用于给FPGA处理器提供50M的外部时钟信号，JTAG接口用于FPGA逻辑功能的调试和升级；存储模块包括DDR2存储器、以及SPI配置FLASH，其中DDR2存储器可用于缓存视频数据以方便处理，FLASH用于存储FPGA配置数据，在系统上电时，FPGA处理器能自动从配置FLASH中读取配置数据从而进行处理。

4.如权利要求1或2所述的双目视觉自由立体显示系统，其特征在于，所述的自由立体显示器采用基于柱镜光栅的自由立体显示技术，通过在普通显示器前方安置一块柱镜光栅而构成，自由立体显示器的分辨率为1920×1080，系统中采用9视点显示，在合成立体图像时，根据柱镜光栅的相关参数，按照一定的排列规则，将生成的9幅分辨率为640×360的图像合成一幅分辨率为1920×1080的立体图像在立体显示器上进行显示，当观看者站在显示器前方某个位置，立体显示器上发出的光线经过柱镜光栅的折射后，观看者左右两眼能看到两幅不同的、具有视差的、分辨率为640×360的图像，从而观看者就能感知到立体感。