CN106331674B - 基于图像稀疏特征的立体视频显示方法及装置 - Google Patents

Abstract

本发明公开一种基于图像稀疏特征的立体视频显示方法及装置，其中，该基于图像稀疏特征的立体视频显示方法，包括如下步骤：获取3D图像数据；将3D图像数据中所有像素点的目标信息转换成目标矩阵，以及根据图像稀疏特征算法计算出所述目标矩阵的投影矩阵，其中，所述目标数据包括颜色信息、三维信息和光照信息；提取投影矩阵中的所有非零向量所对应的像素点形成目标像素区；对投影矩阵中除目标像素区外的所有像素点进行压缩，并根据3D图像数据的目标像素区重建3D图像形成立体视频。本发明的技术方案能够使用户更加容易直观的观测到3D图像中关键区域的变化，减轻视觉疲劳。

Description

基于图像稀疏特征的立体视频显示方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于图像稀疏特征的立体视频显示方法及装置。

背景技术

立体内容生成设备通常对两路光学信号进行采集，通过工业相机上的CCD或CMOS感光元件将分光器分出的光学信号转为数字信号，再通过工业相机上数据接口将图像数据传输到计算机或监视器上，将两路信号分别呈现给观察者双眼。立体内容生成设备具有两个并排的成像元器件，在不同的视角实时采集被观察物体，对得到的双目图像经过处理后，可以形成立体视觉。立体内容生成设备的应用领域十分广泛，可以应用在工业检测、医疗健康领域。

在使用立体内容生成设备对观察区域进行观测所得到的图像中，一些具有特殊或则重大意义的像素点的个数要比图像总的像素点数少很多，如关键区域，这些像素点可能规则的分布在图像中，但也可能的是不规则的分布在图像中，而现有技术中通常显示整个立体图像，导致用户不能直观地观测到关键区域的变化，容易产生视觉疲劳。

发明内容

本发明的主要目的是提供一种基于图像稀疏特征的立体视频显示方法，能够使用户更加容易直观的观测到3D图像中关键区域的变化，减轻视觉疲劳。

为实现上述目的，本发明采用的一个技术方案为：提供一种基于图像稀疏特征的立体视频显示方法，包括如下步骤：

获取3D图像数据；

将3D图像数据中所有像素点的目标信息转换成目标矩阵，以及根据图像稀疏特征算法计算出所述目标矩阵的投影矩阵，其中，所述目标数据包括颜色信息、三维信息和光照信息；

提取投影矩阵中的所有非零向量所对应的像素点形成目标像素区；

对投影矩阵中除目标像素区外的所有像素点进行压缩，并根据3D图像数据的目标像素区重建3D图像形成立体视频。

优选地，所述获取3D图像数据的步骤，具体包括：

采集两路2D图像；

根据采集两路图像的时差值，获取两幅图像的深度信息，并将两路2D图像合成3D图像。

优选地，所述将3D图像数据中所有像素点的目标信息转换成目标矩阵，根据图像稀疏特征算法计算出所述目标矩阵的投影矩阵的步骤，具体包括：

将3D图像数据中的所有像素点的目标信息转换成一组向量，以及将该组向量转换成目标矩阵；

根据图像稀疏特征算法计算出所述目标矩阵的投影矩阵，以及对投影矩阵进行正交。

优选地，所述提取投影矩阵中的所有非零向量所对应的像素点形成目标像素区的步骤，具体包括：

判断正交后的投影矩阵中每一元素是非零向量还是零向量，

若正交后的投影矩阵的元素是非零向量，则提取该非零向量所对应的像素点形成目标像素区，并将该目标像素区显示在3D图像中；

若正交后的投影矩阵的元素是零向量，则不处理。

优选地，所述对投影矩阵中除目标像素区外的所有像素点进行压缩，并根据3D图像数据的目标像素区重建3D图像形成立体视频的步骤，具体包括：

对正交后的投影矩阵中的所有零向量对应的像素点进行抽样并压缩，同时保留完整的3D图像数据的目标像素区；

根据保留完整的3D图像数据的目标像素区重建3D图像形成立体视频。

为实现上述目的，本发明采用的另一个技术方案为：提供一种基于图像稀疏特征的立体视频显示装置，包括：

获取模块，用于获取3D图像数据；

计算模块，用于将3D图像数据中所有像素点的目标信息转换成目标矩阵，以及根据图像稀疏特征算法计算出所述目标矩阵的投影矩阵，其中，所述目标数据包括颜色信息、三维信息和光照信息；

提取模块，用于提取投影矩阵中的所有非零向量所对应的像素点形成目标像素区；

重建模块，用于对投影矩阵中除目标像素区外的所有像素点进行压缩，并根据3D图像数据的目标像素区重建3D图像形成立体视频。

优选地，所述获取模块包括：

采集单元，用于采集两路2D图像；

合成单元，用于根据采集两路图像的时差值，获取两幅图像的深度信息，并将两路2D图像合成3D图像。

优选地，所述计算模块，具体用于：

将3D图像数据中的所有像素点的目标信息转换成一组向量，以及将该组向量转换成目标矩阵；

以及根据图像稀疏特征算法计算出所述目标矩阵的投影矩阵，并且对投影矩阵进行正交。

优选地，所述提取模块包括：

判断单元，用于判断正交后的投影矩阵中每一元素是非零向量还是零向量，

提取单元，用于在正交后的投影矩阵的元素是非零向量时，提取该非零向量所对应的像素点形成目标像素区，并将该目标像素区显示在3D图像中。

优选地，所述重建模块包括：

压缩单元，用于对正交后的投影矩阵中的所有零向量对应的像素点进行抽样并压缩，同时保留完整的3D图像数据的目标像素区；

重建单元，用于根据保留完整的3D图像数据的目标像素区重建3D图像以形成立体视频。

本发明的技术方案通过将接收3D图像数据中所有像素点的目标信息转换成目标矩阵，以及根据图像稀疏特征算法计算出所述目标矩阵的投影矩阵，然后提取投影矩阵中的所有非零向量所对应的像素点形成目标像素区，最后对投影矩阵中除目标像素区外的所有像素点进行压缩，并根据3D图像数据的目标像素区重建3D图像形成立体视频，通过对投影矩阵中除目标像素区外的所有像素点进行压缩可进行模糊存储，并且完整保留目标像素区，且以完整保留目标像素区为基础重建3D图像以形成立体视频，重建后的图像的废显著特征的像素点的信息会比重建前的信息相对要少，但显著特征像素点(目标像素区)的信息却得到了完整的保存，能够使用户更加容易直观的观测到3D图像中关键区域的变化，减轻视觉疲劳。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明基于图像稀疏特征的立体视频显示方法一实施例的方法流程图；

图2为本发明基于图像稀疏特征的立体视频显示装置一实施例的模块方框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

请参照图1，在本发明实施例中，该基于图像稀疏特征的立体视频显示方法，包括如下步骤：

步骤S10、获取3D图像数据。

步骤S20、将3D图像数据中所有像素点的目标信息转换成目标矩阵，以及根据图像稀疏特征算法计算出所述目标矩阵的投影矩阵，其中，所述目标数据包括颜色信息、三维信息和光照信息。

步骤S30、提取投影矩阵中的所有非零向量所对应的像素点形成目标像素区。

步骤S40、对投影矩阵中除目标像素区外的所有像素点进行压缩，并根据3D图像数据的目标像素区重建3D图像形成立体视频。

本发明的技术方案通过将接收3D图像数据中所有像素点的目标信息转换成目标矩阵，以及根据图像稀疏特征算法计算出所述目标矩阵的投影矩阵，然后提取投影矩阵中的所有非零向量所对应的像素点形成目标像素区，最后对投影矩阵中除目标像素区外的所有像素点进行压缩，并根据3D图像数据的目标像素区重建3D图像形成立体视频，通过对投影矩阵中除目标像素区外的所有像素点进行压缩可进行模糊存储，并且完整保留目标像素区，且以完整保留目标像素区为基础重建3D图像以形成立体视频，重建后的图像的废显著特征的像素点的信息会比重建前的信息相对要少，但显著特征像素点(目标像素区)的信息却得到了完整的保存，能够使用户更加容易直观的观测到3D图像中关键区域的变化，减轻视觉疲劳。

在一具体的实施例中，所述步骤S10具体包括：

采集两路2D图像；

根据采集两路图像的时差值，获取两幅图像的深度信息，并将两路2D图像合成3D图像。

本步骤中，可以使用立体内容生成设备采集两路2D图像，然后对2D图像的公共部分进行处理合成3D图像，该公共部分是两路图像中都显示的部分。

在一具体的实施例中，所述步骤S20具体包括：

将3D图像数据中的所有像素点的目标信息转换成一组向量，以及将该组向量转换成目标矩阵；

根据图像稀疏特征算法计算出所述目标矩阵的投影矩阵，以及对投影矩阵进行正交。

本实施例中，通过向量来表示3D图像数据中所有像素点的目标信息，并将该组向量转换成目标矩阵，并通过图像稀疏特征算法计算出投影矩阵。由于像素点也是由向量来表示的，所以3D图像可以转换矩阵的形式。如果图像中像素点的个数为p，表示像素点的向量中的特征数为n，那么目标矩阵为n*p的矩阵。

将目标矩阵代入稀疏特征分析的公式中，求解目标矩阵的投影矩阵，其中投影矩阵为p*k的矩阵，具体的计算公式如下所示：

Subject to α^Tα＝Ι_k

其中，X_i是一个p维的向量，α和β都是p*k的矩阵，其中β为投影矩阵。

然后，将解得的投影矩阵正交化，具体公式如下所示：

其中，β_j是β的列向量。

在一具体的实施例中，所述步骤S30具体包括：判断正交后的投影矩阵中每一元素是非零向量还是零向量，

若正交后的投影矩阵的元素是非零向量，则提取该非零向量所对应的像素点形成目标像素区，并将该目标像素区显示在3D图像中；

若正交后的投影矩阵的元素是零向量，则不处理。

本实施例中，判断计算的投影矩阵的元素是非零向量还是零向量，提取所有非零向量对应的像素点，该像素点为显著像素点或者具有特殊意义的像素点，多个像素点形成对应本方案中的目标像素区，并提取的目标像素区在图像上显示出来。

在一具体的实施例中，所述步骤S40具体包括：，所述对投影矩阵中除目标像素区外的所有像素点进行压缩，并根据3D图像数据的目标像素区重建3D图像形成立体视频的步骤，具体包括：

对正交后的投影矩阵中的所有零向量对应的像素点进行抽样并压缩，同时保留完整的3D图像数据的目标像素区；

根据保留完整的3D图像数据的目标像素区重建3D图像形成立体视频。

本实施例中，通过对重建前的3D图像的非显著像素点进行抽样压缩，但完整保留3D图像数据的目标像素区，以重建3D图像形成立体视频，如此，一些具有特殊或则重大意义的像素点的个数要比图像总的像素点数少很多，如关键区域，这些像素点可能规则的分布在图像中，但也可能的是不规则的分布在图像中，对这些像素点进行重点的显示可以使用户更加容易直观的观测到关键区域的变化，不但可以减轻用户眼睛的疲劳，而且可以使用户更加容易的判断关键区域的状况。并且将具有特殊或显著意义的像素提取出来，然后仅仅对它们进行完整的存储，而对其他部分进行压缩模糊的存储，则不但可以减少对存储空间的占用，而且可以完整的保存显著像素部分信息，这样就可以使显著像素部分在图像的重建中完整的显现出来。

请参照图2，在一具体的实施例中，该基于图像稀疏特征的立体视频显示装置，包括：

获取模块10，用于获取3D图像数据；

计算模块20，用于将3D图像数据中所有像素点的目标信息转换成目标矩阵，以及根据图像稀疏特征算法计算出所述目标矩阵的投影矩阵，其中，所述目标数据包括颜色信息、三维信息和光照信息；

提取模块30，用于提取投影矩阵中的所有非零向量所对应的像素点形成目标像素区；

重建模块40，用于对投影矩阵中除目标像素区外的所有像素点进行压缩，并根据3D图像数据的目标像素区重建3D图像形成立体视频。

在一具体的实施例中，所述获取模块10包括：

采集单元，用于采集两路2D图像；

合成单元，用于根据采集两路图像的时差值，获取两幅图像的深度信息，并将两路2D图像合成3D图像。本实施例中，该采集单元为立体内容生成设备，利用立体内容生成设备采集两路2D图像，然后对2D图像的公共部分进行处理合成3D图像，该公共部分是两路图像中都显示的部分。该立体内容生成设备的应用领域十分广泛，可以应用在工业检测、医疗健康领域。

在一具体的实施例中，所述计算模块20，具体用于：

将3D图像数据中的所有像素点的目标信息转换成一组向量，以及将该组向量转换成目标矩阵；

以及根据图像稀疏特征算法计算出所述目标矩阵的投影矩阵，并且对投影矩阵进行正交。本实施例中，该计算模块20可以对3D图像数据中的所有像素点转换成目标矩阵，根据上述的公式计算出投影矩阵，最后对该投影矩阵进行正交，以分析出投影矩阵中的零向量与非零向量。

在一具体的实施例中，所述提取模块30包括：

判断单元，用于判断正交后的投影矩阵中每一元素是非零向量还是零向量，

提取单元，用于在正交后的投影矩阵的元素是非零向量时，提取该非零向量所对应的像素点形成目标像素区，并将该目标像素区显示在3D图像中。本实施例中，通过判断单元判断出投影矩阵中的零向量与非零向量，然后通过提取单元提取该非零向量所对应的像素点并形成目标像素区，并将该目标像素区显示在3D图像中。

在一具体的实施例中，所述重建模块40包括：

压缩单元，用于对正交后的投影矩阵中的所有零向量对应的像素点进行抽样并压缩，同时保留完整的3D图像数据的目标像素区；

重建单元，用于根据保留完整的3D图像数据的目标像素区重建3D图像以形成立体视频。本实施例中，通过对重建前的3D图像的非显著像素点进行抽样压缩，但完整保留3D图像数据的目标像素区，以重建3D图像形成立体视频，可以使用户更加容易直观的观测到关键区域的变化，不但可以减轻用户眼睛的疲劳，并且能够节省占用的存储空间。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (6)

1.一种基于图像稀疏特征的立体视频显示方法，其特征在于，包括如下步骤：

获取3D图像数据；

将3D图像数据中所有像素点的目标信息转换成目标矩阵，以及根据图像稀疏特征算法计算出所述目标矩阵的投影矩阵，具体包括，将3D图像数据中的所有像素点的目标信息转换成一组向量，以及将该组向量转换成目标矩阵，其中，所述目标信息包括颜色信息、三维信息和光照信息；

根据图像稀疏特征算法计算出所述目标矩阵的投影矩阵，以及对投影矩阵进行正交；

提取投影矩阵中的所有非零向量所对应的像素点形成目标像素区，具体包括，判断正交后的投影矩阵中每一元素是非零向量还是零向量；

若正交后的投影矩阵的元素是非零向量，则提取该非零向量所对应的像素点形成目标像素区，并将该目标像素区显示在3D图像中；

若正交后的投影矩阵的元素是零向量，则不处理；

对投影矩阵中除目标像素区外的所有像素点进行压缩，并根据3D图像数据的目标像素区重建3D图像形成立体视频。

2.如权利要求1所述基于图像稀疏特征的立体视频显示方法，其特征在于，所述获取3D图像数据的步骤，具体包括：

采集两路2D图像；

根据采集两路图像的视差值，获取两幅图像的深度信息，并将两路2D图像合成3D图像。

3.如权利要求1所述基于图像稀疏特征的立体视频显示方法，其特征在于，所述对投影矩阵中除目标像素区外的所有像素点进行压缩，并根据3D图像数据的目标像素区重建3D图像形成立体视频的步骤，具体包括：

对正交后的投影矩阵中的所有零向量对应的像素点进行抽样并压缩，同时保留完整的3D图像数据的目标像素区；

根据保留完整的3D图像数据的目标像素区重建3D图像形成立体视频。

4.一种基于图像稀疏特征的立体视频显示装置，其特征在于，包括：

获取模块，用于获取3D图像数据；

计算模块，用于将3D图像数据中所有像素点的目标信息转换成目标矩阵，以及根据图像稀疏特征算法计算出所述目标矩阵的投影矩阵，具体用于：

将3D图像数据中的所有像素点的目标信息转换成一组向量，以及将该组向量转换成目标矩阵，其中，所述目标数据包括颜色信息、三维信息和光照信息；

以及根据图像稀疏特征算法计算出所述目标矩阵的投影矩阵，并且对投影矩阵进行正交；

提取模块，用于提取投影矩阵中的所有非零向量所对应的像素点形成目标像素区，具体包括，判断单元，用于判断正交后的投影矩阵中每一元素是非零向量还是零向量；

提取单元，用于在正交后的投影矩阵的元素是非零向量时，提取该非零向量所对应的像素点形成目标像素区，并将该目标像素区显示在3D图像中；

重建模块，用于对投影矩阵中除目标像素区外的所有像素点进行压缩，并根据3D图像数据的目标像素区重建3D图像形成立体视频。

5.如权利要求4所述基于图像稀疏特征的立体视频显示装置，其特征在于，所述获取模块包括：

采集单元，用于采集两路2D图像；

合成单元，用于根据采集两路图像的视差值，获取两幅图像的深度信息，并将两路2D图像合成3D图像。

6.如权利要求4所述基于图像稀疏特征的立体视频显示装置，其特征在于，所述重建模块包括：

压缩单元，用于对正交后的投影矩阵中的所有零向量对应的像素点进行抽样并压缩，同时保留完整的3D图像数据的目标像素区；

重建单元，用于根据保留完整的3D图像数据的目标像素区重建3D图像以形成立体视频。