CN104639934A - 立体图像反视处理方法及显示装置 - Google Patents

Abstract

本发明提供一种立体图像反视处理方法以及显示装置，其中，立体图像反视处理方法包括：提取用以形成当前立体图像的第一视图和第二视图中的对应特征点；分别计算所述第一视图和第二视图中的特征点的坐标均值；根据两视图中对应特征点的坐标均值，判断所述当前立体图像是否出现反视。本申请可以根据判断结果决定是否对构成立体图像的双视图进行相对位置调整，以确定供用户观看的立体图像是正确的立体图像，从而提高用户的观看效果。

Description

立体图像反视处理方法及显示装置

技术领域

本发明涉及立体显示领域，具体涉及一种立体图像反视处理方法及显示装置。

背景技术

在具有立体拍照功能的智能手机或者数码相机中，通常需要通过对同一场景拍摄具有正确相对顺序和视差的两幅视图通过排图构成立体图像；或者用户可以通过个人上传视图在制图应用软件中，制作立体图像，或者通过一帧帧立体图像，构成立体视频影像，通过播放器进行播放。但是用户并不能注意到构成一幅或者一帧立体图像的两幅视图之间的相对位置关系，因此可能导致两幅视图位置错误，导致生成的立体图像错误，出现反视的现象，影响用户观看。

反视现象的检测、修正有着重要意义。如果不能检测、修正反视现象，将严重影响用户体验。左右两幅图像是否发生反视，需要利用左图和右图中检测到的角点。

发明内容

本发明的目的是提供一种立体图像反视处理方法，以解决现有技术在立体图像显示过程中可能出现的反视问题。

为实现上述目的，本发明第一方面提供了一种立体图像反视处理方法，该方法包括：

提取用以形成当前立体图像的第一视图和第二视图中的对应特征点；

分别计算所述第一视图和第二视图中的特征点的坐标均值；

根据两视图中对应特征点的坐标均值，判断所述当前立体图像是否出现反视。

第二方面，本发明实施例提供了一种显示装置，该种显示装置包括

特征提取单元，用于提取用以形成当前立体图像的第一视图和第二视图中的对应特征点；

均值计算单元，用于分别计算所述第一视图和第二视图中的特征点的坐标均值；

判断单元，用于根据两视图中对应特征点的坐标均值，判断所述当前立体图像是否出现反视。

本发明提供了一种立体图像反视处理方法，通过分别计算当前立体图像的第一视图和第二视图中的对应特征点的坐标均值，并且根据两视图中对应特征点的坐标均值，判断所述当前立体图像是否出现反视。之后可以根据判断结果决定是否对构成立体图像的双视图进行相对位置调整，以确定供用户观看的立体图像是正确的立体图像，从而提高用户的观看效果。

附图说明

图1为本发明实施例提供的立体图像反视处理方法的一种实施例的流程图；

图2为本发明实施例提供的立体图像反视处理方法的中特征点的参考图；

图3为本发明实施例提供的立体图像反视处理方法的另一种实施例的流程图；

图4为本发明提供的显示装置的一种实施例的结构图。

具体实施方式

以下通过附图和实施例，对本发明的技术方案做进一步的详细描述。需要注意的是，在本申请中采用的部分术语，例如“第一”、“第二”等术语，仅是为了对具有类似名称的参数进行区分，以便于所属领域的技术人员理解本申请的技术方案，并非用于限制本申请，根据不同的需求，可以对该些术语进行更换或者替换。

本发明实施例提供的立体图像反视处理方法可以被应用于立体拍照或者立体视频影像播放等应用中，例如，在具有立体拍照功能的智能手机或者数码相机中，通常需要通过对同一场景拍摄具有正确相对顺序和视差的两幅视图通过排图构成立体图像；或者用户可以通过个人上传视图在制图应用软件中，制作立体图像，或者通过一帧帧立体图像，构成立体视频影像，通过播放器进行播放。但是用户并不能注意到构成一幅或者一帧立体图像的两幅视图之间的相对位置关系，因此可能导致两幅视图位置错误，导致生成的立体图像错误，出现反视的现象，影响用户观看。

基于上述的场景，本发明实施例提供了一种立体图像反视处理方法，该方法可以被应用于具有立体图像拍摄功能的智能手机、平板电脑或者具有立体图像播放和/或制作功能的计算机中，如图1所述，本实施例可以包括：

101、提取用以形成当前立体图像的第一视图和第二视图中的对应特征点；

具体而言，两幅视图的特征点可以也可以被称为感兴趣点、显著点、关键点等在图像局部具有一定模式的点，例如图像中不同物体的交叉点、不同颜色区域的交汇点、物体边界突变点等。

在该步骤中，显示设备可以通过Harrs角点检测算法或者SUSAN角点检测算法等方式，对两视图提取特征点。例如，电子设备对两幅视图中的特征点进行特征参数提取，特征参数例如可以是SURF特征、SIFT特征、BRISK特征、BRIEF特征等。

在提取出两幅视图的特征参数之后，电子设备对提取出的两幅图中的特征点根据特征参数进行匹配，确定两幅视图中的相似特征点，例如可以通过K临近算法，进行特征参数匹配。确定两幅视图中的对应特征点，进行标定。

102、分别计算所述第一视图和第二视图中的特征点的坐标均值；

在该步骤中，坐标均值通常是两幅视图中的每一副视图中的全部选中的特征点的坐标中的x轴数值或者y轴数值之和的平均值。例如，在采用左右视图的实施方式中，第一视图为左视图、所述第二视图为右视图，第一视图中的坐标均值为第一视图中全部特征点的x轴坐标值之和除以全部特征点数量，第二视图中的坐标均值为第二视图中全部特征点的x轴坐标值之和除以全部特征点数量。

类似的，在采用上下视图的的实施方式中，立体图像由上、下两视图构成，第一视图为上视图、所述第二视图为下视图，第一视图中的坐标均值为第一视图中全部特征点的y轴坐标值之和除以全部特征点数量，第二视图中的坐标均值为第二视图中全部特征点的y轴坐标值之和除以全部特征点数量。

103、根据两视图中对应特征点的坐标均值，判断所述当前立体图像是否出现反视。

具体而言，在采用左右视图的实施方式中，如果所述第一视图为左视图、所述第二视图为右视图；在所述第一视图中的特征点坐标均值不小于所述第二视图中的对应特征点坐标均值时，判定所述立体图像出现反视。反之，则不认为出现反视。

类似的，如果第一视图为右视图、所述第二视图为左视图；在所述第二视图中的特征点坐标均值不小于所述第一视图中的对应特征点坐标均值时，判定所述立体图像出现反视。

在一种可选的实施例中，在步骤103显示装置根据两视图中对应特征点的坐标均值，判断所述当前立体图像是否出现反视，之后，显示装置还可以在所述当前立体图像出现反视时，对所述第一视图和所述第二视图进行处理，以消除当前立体图像的反视。例如，在采用左右视图的实施方式中，显示装置可以调换所述第一视图和所述第二视图的左右顺序，以消除反视现象。

类似的，在采用上下视图的实施方式中，显示装置可以调换所述第一视图和所述第二视图的上下顺序，以消除反视现象。

图2是采用本发明实施例的双视图参考图，其中(a)是第一视图角点检测结果，第一视图中检测到的角点有6个,其坐标分别是L1(1,2)，L2(1,4)，L3(2,5)，L4(3,4)，L5(3,2)，L6(2,1)；(b)是第二视图角点检测的结果，第二视图中也检测到6个角点，分别是R1(2,3)，R2(2,5)，R3(3,6)，R4(4,5)，R5(4,3)，R6(3,2)。第一视图中角点在水平方向的均值A＝(2+4+5+4+2+1)/6＝3；第二视图中角点在水平方向的均值B＝(3+5+6+5+3+2)/6＝4；由于第一视图坐标均值小于第二视图中对应特征点的坐标均值，因此判断没有发生反视。

如果3D图像没有发生反视现象则不需要进行反视修复，如果3D图像发生反视现象则需要进行反视修复。具体的反视修复方法可以是：在生成立体图像或显示立体图像的过程中调整左图和右图之间的相对位置。

在另一种实施方式中，用户可以通过显示装置中的3D视频播放器播放立体视频数据，但是在播放之前可以进行反视检测，以避免原始视频数据中具有出现反视的立体图像帧，影响用户观看，因此，显示装置可以先进行立体图像反视处理，之后再播放反视处理后的立体影像视频。因此在该实施例中，

显示装置在，提取用以形成立体图像的第一视图和第二视图中的对应特征点；之前，还包括：

步骤300，按照设定规则在立体视频影像中选取一帧立体图像，每一帧立体图像中包含第一视图和第二视图。

其中，设定的规则可以是随机不重复选取或者按照固定间隔选取，不作为限制，并且可以针对一套立体影像数据设定最大检测次数和最少检测次数，例如，最大检测次数为q，最少检测次数为p。

在步骤300选取一帧立体图像之后，可以采用图1所示的实施例的方法，检测每一帧立体图像是否发生反视。

并且，在判断所述当前立体图像是否出现反视，之后，显示装置记录对所述立体视频影像的反视检测次数s，和当前帧立体图像的反视检测结果。

之后，显示装置可以根据所述反视检测次数、以及每次反视检测的检测结果，判断所述立体视频影像是否出现反视。

例如，如果已完成反视检测次数s，在s中发生反视的次数n，没有发生反视的次数m，检测失败的次数t。其中s＝m+n+t。

如果满足条件：s>＝p且(m/s)>0.7，就判断没有发生反视，停止执行并返回，不满足条件则继续检测；

如果满足条件：s>＝p且(n/s)>0.7，就判断发生反视，停止执行并返回，不满足条件则继续判断；

如果s>y，则表示检测失败，停止执行并返回，否则继续则执行步骤300。q表示最多检测帧数，q>p，p的推荐值为5，q的推荐值10。

之后，显示装置在判定所述立体视频影像出现反视时，调整构成所述立体视频影像的每一帧立体图像中的两幅视图的相对顺序，反之，则不需要做出调整。

通过上述实施例，可以通过分别计算当前立体图像的第一视图和第二视图中的对应特征点的坐标均值，并且根据两视图中对应特征点的坐标均值，判断所述当前立体图像是否出现反视。之后可以根据判断结果决定是否对构成立体图像的双视图进行相对位置调整，以确定供用户观看的立体图像是正确的立体图像，从而提高用户的观看效果。

相应的，如图4所示，本发明实施例还提供了一种显示装置，该显示装置哭是具有立体图像拍摄功能的智能手机、平板电脑或者具有立体图像播放和/或制作功能的计算机，该种显示装置可以包括

特征提取单元401，用于提取用以形成当前立体图像的第一视图和第二视图中的对应特征点；

均值计算单元402，用于分别计算所述第一视图和第二视图中的特征点的坐标均值；

判断单元403，用于根据两视图中对应特征点的坐标均值，判断所述当前立体图像是否出现反视。

在一种较佳的实施例中，显示装置400还可以包括：

反视处理单元，用于在所述当前立体图像出现反视时，对所述第一视图和所述第二视图进行处理，以消除当前立体图像的反视。

进一步的，所述反视处理单元具体用于：调换所述第一视图和所述第二视图的左右顺序。

更进一步的，如果所述第一视图为左视图、所述第二视图为右视图；所述判定单元403具体用于：

在所述第一视图中的特征点坐标均值不小于所述第二视图中的对应特征点坐标均值时，判定所述立体图像出现反视。

或者，在另一种实施方案中，所述第一视图为右视图、所述第二视图为左视图；所述判断单元403具体用于：

在所述第二视图中的特征点坐标均值不小于所述第一视图中的对应特征点坐标均值时，判定所述立体图像出现反视。

在上述两种实施方式中，所述坐标均值为所述特征点中每个特征点的x轴坐标之和的均值。

在另一种优选的实施方式中，显示装置400还可以包括：

选取单元，用于按照设定规则在立体视频影像中选取一帧立体图像，每一帧立体图像中包含第一视图和第二视图。

以及，显示装置400还可以包括：

记录单元，用于记录对所述立体视频影像的反视检测次数，和当前帧立体图像的反视检测结果。

进一步的，所述判断单元403还用于：

根据所述反视检测次数、以及每次反视检测的检测结果，判断所述立体视频影像是否出现反视。

所述反视处理单元，还可以用于：

在判定所述立体视频影像出现反视时，调整构成所述立体视频影像的每一帧立体图像中的两幅视图的相对顺序。

上述装置实施例是针对前述方法实施例的虚拟装置，因此，为便于理解，可以参考前述方法实施例部分的描述。

通过上述实施例，显示装置可以通过分别计算当前立体图像的第一视图和第二视图中的对应特征点的坐标均值，并且根据两视图中对应特征点的坐标均值，判断所述当前立体图像是否出现反视。之后可以根据判断结果决定是否对构成立体图像的双视图进行相对位置调整，以确定供用户观看的立体图像是正确的立体图像，从而提高用户的观看效果。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (20)

1.一种立体图像反视处理方法，其特征在于，包括：

提取用以形成当前立体图像的第一视图和第二视图中的对应特征点；

分别计算所述第一视图和第二视图中的特征点的坐标均值；

根据两视图中对应特征点的坐标均值，判断所述当前立体图像是否出现反视。

2.如权利要求1所述的方法，其特征在于，所述根据两视图中对应特征点的坐标均值，判断所述当前立体图像是否出现反视，之后，还包括：

在所述当前立体图像出现反视时，对所述第一视图和所述第二视图进行处理，以消除当前立体图像的反视。

3.如权利要求2所述的方法，其特征在于，所述在所述立体图像出现反视时，对所述第一视图和所述第二视图进行处理，以消除反视；具体包括：

调换所述第一视图和所述第二视图的左右顺序。

4.如权利要求1所述的方法，其特征在于，所述第一视图为左视图、所述第二视图为右视图；所述根据两视图中对应特征点的坐标均值，判断所述立体图像是否出现反视；具体包括：

在所述第一视图中的特征点坐标均值不小于所述第二视图中的对应特征点坐标均值时，判定所述立体图像出现反视。

5.如权利要求1所述的方法，其特征在于，所述第一视图为右视图、所述第二视图为左视图；所述根据两视图中对应特征点的坐标均值，判断所述立体图像是否出现反视；具体包括：

在所述第二视图中的特征点坐标均值不小于所述第一视图中的对应特征点坐标均值时，判定所述立体图像出现反视。

6.如权利要求4或5任一项所述的方法，其特征在于，所述坐标均值为所述特征点中每个特征点的x轴坐标之和的均值。

7.如权利要求1-6任一项所述的方法，其特征在于，所述提取用以形成立体图像的第一视图和第二视图中的对应特征点；之前，还包括：

按照设定规则在立体视频影像中选取一帧立体图像，每一帧立体图像中包含第一视图和第二视图。

8.如权利要求7所述的方法，其特征在于，所述根据两视图中对应特征点的坐标均值，判断所述当前立体图像是否出现反视，之后，还包括：

记录对所述立体视频影像的反视检测次数，和当前帧立体图像的反视检测结果。

9.如权利要求8所述的方法，其特征在于，所述记录对所述立体视频影像的反视检测次数，和当前帧立体图像的反视检测结果；之后，还包括：

根据所述反视检测次数、以及每次反视检测的检测结果，判断所述立体视频影像是否出现反视。

10.如权利要求9所述的方法，其特征在于，所述根据所述反视检测次数、以及每次反视检测的检测结果，判断所述立体视频影像是否出现反视，之后，还包括：

在判定所述立体视频影像出现反视时，调整构成所述立体视频影像的每一帧立体图像中的两幅视图的相对顺序。

11.一种显示装置，其特征在于，包括

特征提取单元，用于提取用以形成当前立体图像的第一视图和第二视图中的对应特征点；

均值计算单元，用于分别计算所述第一视图和第二视图中的特征点的坐标均值；

判断单元，用于根据两视图中对应特征点的坐标均值，判断所述当前立体图像是否出现反视。

12.如权利要求11所述的显示装置，其特征在于，还包括：

反视处理单元，用于在所述当前立体图像出现反视时，对所述第一视图和所述第二视图进行处理，以消除当前立体图像的反视。

13.如权利要求12所述的显示装置，其特征在于，所述反视处理单元具体用于：调换所述第一视图和所述第二视图的左右顺序。

14.如权利要求11所述的显示装置，其特征在于，所述第一视图为左视图、所述第二视图为右视图；所述判定单元具体用于：

在所述第一视图中的特征点坐标均值不小于所述第二视图中的对应特征点坐标均值时，判定所述立体图像出现反视。

15.如权利要求11所述的显示装置，其特征在于，所述第一视图为右视图、所述第二视图为左视图；所述判断单元具体用于：

在所述第二视图中的特征点坐标均值不小于所述第一视图中的对应特征点坐标均值时，判定所述立体图像出现反视。

16.如权利要求14或15任一项所述的显示装置，其特征在于，所述坐标均值为所述特征点中每个特征点的x轴坐标之和的均值。

17.如权利要求11-16任一项所述的显示装置，其特征在于，还包括：

选取单元，用于按照设定规则在立体视频影像中选取一帧立体图像，每一帧立体图像中包含第一视图和第二视图。

18.如权利要求17所述的显示装置，其特征在于，还包括：

记录单元，用于记录对所述立体视频影像的反视检测次数，和当前帧立体图像的反视检测结果。

19.如权利要求18所述的显示装置，其特征在于，所述判断单元还用于：

根据所述反视检测次数、以及每次反视检测的检测结果，判断所述立体视频影像是否出现反视。

20.如权利要求19所述的显示装置，其特征在于，所述反视处理单元，还用于：

在判定所述立体视频影像出现反视时，调整构成所述立体视频影像的每一帧立体图像中的两幅视图的相对顺序。