CN106897983A - 一种多帧图像集合的处理方法和图像处理装置 - Google Patents

Abstract

本申请实施例公开了一种多帧图像集合的处理方法和图像处理装置，该方法将接收到的多帧图像集合区分设置为参考帧和普通帧，根据普通帧相对于参考帧的图像移动趋势信息，确定普通帧所对应的补偿帧，通过在补偿帧的全息图像中叠加普通帧相对于补偿帧的差异区域的全息图像信息，来确定普通帧的全息图像，从而，通过对多帧图像集合中各帧的差异化处理，避免了重复信息的二次计算，实现针对视频数据中所存在的时间冗余信息的过滤处理，即对相邻或相接近的帧信息中的相同像素点不再重复进行计算，避免了计算资源的浪费，提高了全息视频的处理效率。

Description

一种多帧图像集合的处理方法和图像处理装置

技术领域

本申请涉及视频显示领域，特别涉及一种多帧图像集合的处理方法和图像处理装置。

背景技术

全息(Holography)，特指一种技术，可以让从物体发射的衍射光能够被重现，其位置和大小同之前一模一样。从不同的位置观测此物体，其显示的像也会变化。

全息这项技术可以被用于光学储存、重现，同时可以用来处理信息。在现有技术中，也可以被广泛的应用于3D电视等视频显示设备中，用于呈现视频的3D立体效果。

目前，现有技术中的基于点的全息视频计算方法中，每一帧的每个像素点都作为一个独立的点光源来计算其在全息面上的光场分布，例如，输入视频为1280×1080分辨率，计算一个点的全息光场分布计算量为N，则计算M帧图像的全息视频总计算量为1280×1080×M×N，计算量巨大。

申请人在实现本申请的过程中发现，上述现有的处理方案至少存在如下的问题：

现有的全息视频处理方案中，没有考虑到输入视频中存在大量的时间冗余信息，即前一帧与当前帧根据场景内容的不同可能存在数量不等的相同像素点，这些像素点已经在前一帧计算过一遍，当前帧是不需要重新计算的，然而在现有技术中，并没有考虑输入视频时间冗余的情况，导致大量的像素点的光场分布被重复计算，造成计算资源的严重浪费，增加了系统的处理负担，并且增长了视频图像的处理时间。

发明内容

本申请实施例提供一种多帧图像集合的处理方法和图像处理装置，以实现针对视频数据中所存在的时间冗余信息的过滤处理，即对相邻或相接近的帧信息中的相同像素点不再重复进行计算，避免了计算资源的浪费，提高了全息视频的处理效率。

为了达到上述技术目的，本申请提供了一种多帧图像集合的处理方法，所述方法具体包括：

在接收到的多帧图像集合中选择一个帧作为参考帧，处理获得所述参考帧的全息图像，并将所述参考帧之后的一个或多个帧作为普通帧；

分别获取各普通帧相对于所述参考帧的图像移动趋势信息，并根据所述图像移动趋势信息和所述参考帧的全息图像，确定各所述普通帧的补偿帧的全息图像；

确定各所述普通帧和自身的补偿帧之间的差异区域；

处理获得所述差异区域的全息图像信息，并将所确定的所述差异区域的全息图像信息叠加到相应的补偿帧的全息图像中，确定各所述普通帧的全息图像。

优选的，所述在接收到的多帧图像集合中选择一个帧作为参考帧，处理获得所述参考帧的全息图像，并将所述参考帧之后的一个或多个帧作为普通帧，具体包括：

所述多帧图像集合具体为全息视频数据所包括的多个连续的时间群组中的一个时间群组，每个时间群组中的第一帧为参考帧，其余的帧为普通帧。

优选的，所述确定各所述普通帧的全息图像之后，还包括：

确定当前的时间群组中的所有帧是否全部处理完毕；

如果是，按照时间顺序，开始下一个时间群组中的帧的处理，直至全息视频数据所包括的所有时间群组全部处理完毕。

优选的，所述分别获取各普通帧相对于所述参考帧的图像移动趋势信息，并根据所述图像移动趋势信息和所述参考帧的全息图像，确定各所述普通帧的补偿帧的全息图像，具体包括：

确定所述参考帧中的一个区域图像块在当前处理的普通帧的图像中所对应的位置坐标，其中，多帧图像集合中的参考帧和普通帧的图像被对应的划分为多个相同大小的区域图像块；

以所述位置坐标为中心，根据预设的搜索范围，在所述普通帧的图像中确定与所述参考帧的区域图像块最相近的一个目标区域图像块；

根据所述目标区域图像块和所述位置坐标，确定所述所述参考帧的区域图像块的移动矢量信息；

重复上述移动矢量信息的确定过程，逐一确定所述参考帧中所有区域图像块的移动矢量信息；

分别将所述参考帧中的各区域图像块按照对应的移动矢量信息进行平移后，得到所述普通帧的补偿帧。

优选的，所述以所述位置坐标为中心，根据预设的搜索范围，在所述普通帧的图像中确定与所述参考帧的区域图像块最相近的一个目标区域图像块，具体包括：

以所述位置坐标为中心，在预设长度为边长的正方形区域内，根据以下公式，在所述普通帧的图像中确定平均绝对值差MAD值最小的区域图像块作为目标区域图像块：

其中，M表示区域图像块的边长，

C_ij表示普通帧中的区域图像块的像素，

R_ij表示参考帧中的区域图像块的像素，

i和j分别表示区域图像块在相应图像中的横编号和纵编号。

另一方面，本申请实施例还提出了一种图像处理装置，具体包括：

设置模块，用于在接收到的多帧图像集合中选择一个帧作为参考帧，处理获得所述参考帧的全息图像，并将所述参考帧之后的一个或多个帧作为普通帧；

补偿模块，用于分别获取各普通帧相对于所述参考帧的图像移动趋势信息，并根据所述图像移动趋势信息和所述处理模块所获得的参考帧的全息图像，确定各所述普通帧的补偿帧的全息图像；

确定模块，用于确定各所述普通帧和所述补偿模块所确定的各所述普通帧的补偿帧之间的差异区域；

处理模块，用于处理获得所述确定模块所确定的差异区域的全息图像信息，并将所确定的所述差异区域的全息图像信息叠加到相应的补偿帧的全息图像中，确定各所述普通帧的全息图像。

优选的，所述多帧图像集合具体为全息视频数据所包括的多个连续的时间群组中的一个时间群组，每个时间群组中的第一帧为参考帧，其余的帧为普通帧。

优选的，所述处理模块，还用于：

在确定各所述普通帧的全息图像之后，确定当前的时间群组中的所有帧是否全部处理完毕；

如果是，按照时间顺序，开始下一个时间群组中的帧的处理，直至全息视频数据所包括的所有时间群组全部处理完毕。

优选的，所述补偿模块，具体用于：

确定所述参考帧中的一个区域图像块在当前处理的普通帧的图像中所对应的位置坐标，其中，多帧图像集合中的参考帧和普通帧的图像被对应的划分为多个相同大小的区域图像块；

以所述位置坐标为中心，根据预设的搜索范围，在所述普通帧的图像中确定与所述参考帧的区域图像块最相近的一个目标区域图像块；

根据所述目标区域图像块和所述位置坐标，确定所述所述参考帧的区域图像块的移动矢量信息；

重复上述移动矢量信息的确定过程，逐一确定所述参考帧中所有区域图像块的移动矢量信息；

分别将所述参考帧中的各区域图像块按照对应的移动矢量信息进行平移后，得到所述普通帧的补偿帧。

优选的，所述补偿模块，具体用于：

以所述位置坐标为中心，在预设长度为边长的正方形区域内，根据以下公式，在所述普通帧的图像中确定平均绝对值差MAD值最小的区域图像块作为目标区域图像块：

其中，M表示区域图像块的边长，

C_ij表示普通帧中的区域图像块的像素，

R_ij表示参考帧中的区域图像块的像素，

i和j分别表示区域图像块在相应图像中的横编号和纵编号。

与现有技术相比，本申请实施例所提出的技术方案的有益技术效果包括：

本申请实施例公开了一种多帧图像集合的处理方法和图像处理装置，该方法将接收到的多帧图像集合区分设置为参考帧和普通帧，根据普通帧相对于参考帧的图像移动趋势信息，确定普通帧所对应的补偿帧，通过在补偿帧的全息图像中叠加普通帧相对于补偿帧的差异区域的全息图像信息，来确定普通帧的全息图像，从而，通过对多帧图像集合中各帧的差异化处理，避免了重复信息的二次计算，实现针对视频数据中所存在的时间冗余信息的过滤处理，即对相邻或相接近的帧信息中的相同像素点不再重复进行计算，避免了计算资源的浪费，提高了全息视频的处理效率。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例所提出的一种多帧图像集合的处理方法的流程示意图；

图2为本申请实施例所提出的补偿帧的全息图像确定过程的流程示意图；

图3为现有技术中的全息视频计算方法的流程示意图；

图4为现有技术中的菲涅尔全息图像的计算几何模型示意图；

图5为本申请实施例提出的时间群组划分规则示意图；

图6为本申请实施例提出的一种普通帧全息图像的计算方法的示意图；

图7为本申请实施例所提出的参考帧的block-CGH模型示意图；

图8为本申请实施例所提出的移动矢量检测的示意图；

图9(a)和9(b)为本申请实施例所提出的一种具体场景下运动补偿过程中的移动矢量示意图；

图10为本申请实施例所提出的区域图像块的全息图像block-CGH的运动补偿示意图；

图11为本申请实施例所提出的一种图像处理装置的结构示意图。

具体实施方式

正如本申请背景技术所陈述的，现有的全息视频处理方案中，没有考虑到输入视频中存在大量的时间冗余信息，对于不同的帧，即使是相同的像素点也需要重新进行计算，这样导致大量的像素点的光场分布需要被重复计算，造成计算资源的严重浪费。

本申请的发明人希望通过本申请所提供的方法，可以实现针对视频数据中所存在的时间冗余信息的过滤处理，即对相邻或相接近的帧信息中的相同像素点不再重复进行计算，避免计算资源的浪费，提高全息视频的处理效率。

如图1所示，为本申请实施例所提出的一种多帧图像集合的处理方法的流程示意图，该方法具体包括：

步骤S101、在接收到的多帧图像集合中选择一个帧作为参考帧，处理获得所述参考帧的全息图像，并将所述参考帧之后的一个或多个帧作为普通帧。

参考帧的全息图像的具体获取过程是一个完全计算过程，即如现有技术中的逐点计算的处理过程，从而，确定一个完整的参考数据模型。

在本步骤中，上述的多帧图像集合具体为全息视频数据所包括的多个连续的时间群组中的一个时间群组，每个时间群组中的第一帧为参考帧，其余的帧为普通帧。通过对各多帧图像集合的处理，可以实现对于全息视频数据的处理。

在具体的应用场景中，本步骤的多帧图像集合的具体划分标准和规则可以根据实际需要进行调整，具体可以包括以下几种：

(1)以帧的数量为标准进行划分。

由于接收到的是全息视频数据，因此，其中所包含的帧是在不断变化的画面，而且，两个帧的间隔越远，其画面差异的比例就可能越大。为了避免普通帧和参考帧的间隔过大所导致的像素差异过多，可以限定每个参考帧所对应的普通帧的数量，即对于每个参考帧，只对其后续的指定数量的普通帧起到参考和补偿的作用，

在具体的应用场景中，可以采用分组的方式进行实现。例如：将接收到的全息视频数据划分为多个连续的时间群组，每个时间群组中的第一帧为参考帧，其余的帧为普通帧。需要指出的是，每个时间群组所包含的帧数量，可以相同，也可以不同。

如果相同，则保证了视频处理过程中的规则统一，相同的时间群组划分规则，也无需根据画面内容等因素进行校对和调整。

而如果不同，则其实现方式属于本申请实施例所提出的另一种划分规则，后续会具体说明，在此不再赘述。

需要说明的是，无论是数量相同还是不同，都是基于帧数量的一种分组规则调整的实现方式，可以根据实际需要进行变化和调整，这样的变化并不会影响本申请的保护范围。

(2)以画面内容的变化为标准进行划分。

具体的划分可以参照上述的时间群组的实现方式，而不同的时间群组的区分方式则是根据画面差异来判定的。根据画面变化等因素调整不同的时间群组中所包含的帧的数量，可以实现对差异化画面的处理优化，例如，当画面差异比例达到预设的阈值时，则将当前的帧作为新的时间群组的参考帧，并创新新的时间群组。这样处理的原因在于，当画面差异比例过高时，需要进行差异化计算的区域就会越多，相应的，通过相同区域覆盖所节省下的冗余计算量就会越少，作为参考镇进行补偿的意义也就越小。而画面差异比例过高的一个重要原因可能就是视频中场景切换所导致的，新的场景和旧的场景之间存在巨大的差异，相比继续用旧场景进行无意义的补偿，开启新的时间群组，用新的场景重新设置补偿标准，才是节约冗余计算量的更有方案。

(3)以时间长度为标准进行划分。

这样的实现方式和(1)有异曲同工之处，都属于统一标准的划分，只是划分的依据从帧的数量调整为时间的长度，同样以时间群组为实现方式，不同的时间群组所对应的视频持续时间是相同的。

综上所述，通过划分首帧为参考帧，后续多个普通帧组成的时间群组，全息视频数据被分割为多个处理区间，在每个处理区间中，图像差异较小，因此可以通过参考补偿的处理避免相同像素点的重新计算，减少冗余计算量，节约系统资源，当然，在具体的应用场景中，可以根据实际需要选择应用上述的任何一种规则进行时间群组的划分，这样的变化并不会影响本申请的保护范围。

步骤S102、分别获取各普通帧相对于所述参考帧的图像移动趋势信息，并根据所述图像移动趋势信息和所述参考帧的全息图像，确定各所述普通帧的补偿帧的全息图像。

如图2所示，为本申请实施例所提出的补偿帧的全息图像确定过程的流程示意图，具体包括以下步骤：

步骤S201、确定当前需要处理的普通帧。

需要说明的是，如果系统资源允许，对于同一个多帧图像集合中的多个普通帧，可以并行处理，且并行处理过程互不干涉，如果不希望多线程并行处理，可以按照先后顺序或者其他规则的顺序对普通帧的处理过程进行排序，逐一进行处理。本步骤即可确定当前需要处理的普通帧。需要说明的是，是否并行处理多个普通帧，可以根据系统资源配置的情况进行调整，这样的变化并不会影响本申请的保护范围。

为了方便说明，本实施例采用逐一顺序处理普通帧的处理过程为示例对本申请的技术方案进行说明。并行处理即为顺序处理方案的多线并行处理，在此不再赘述。

由于本申请实施例所提出的技术方案中一个参考帧对应了多个普通帧，所以，对于顺序处理的方案，在步骤S101确定了参考帧的全息图像之后，需要循环多次来分别进行各普通帧的处理过程，因此，为了避免已经处理过得普通帧被重复处理，需要在每次普通帧处理流程开始之前进行下一个待处理的普通帧的确定。

步骤S202、确定参考帧中的一个区域图像块在所确定的当前处理的普通帧的图像中所对应的位置坐标。

其中，为了方便进行图像对比，本申请实施例将同一个多帧图像集合中的参考帧和普通帧的图像对应的划分为多个相同大小的区域图像块，区域图像块的具体大小可以根据实际需要进行设置。

每个区域图像块都会有自身的横纵坐标，并且在参考帧和普通帧中，坐标信息是对应设置的，因此，可以通过这样的坐标信息确定相应的位置。

步骤S203、以所述位置坐标为中心，根据预设的搜索范围，在所述普通帧的图像中确定与所述参考帧的区域图像块最相近的一个目标区域图像块。

本步骤主要是考虑到不同的帧中，被拍摄的对象可能会因为时间的推移而发生移动，相应的影像也会存在偏移，而移动物体自身的外形在大多数情况下都会保持稳定，因此，被拍摄物体的移动可以体现为移动物体本身所对应的区域图像块的偏移。

进一步的，考虑到当前的普通帧和参考帧之间的时间间隔和移动物体自身的速度，可以大致推算出物体移动的距离，在大部分情况下，由于时间间隔短，且为了视频的可视化呈现，物体在画面中的相对移动速度值不会太高，所以，这样的移动距离也不会太长，可以根据需要设置一个搜索范围，在普通真的此范围内搜索与参考帧的原始区域图像块最相近的一个目标区域图像块，即为移动后的区域图像块。从而确定了被拍摄物体在普通帧中的位置。

在具体的应用场景中，本步骤的处理过程可以通过应用如下公式来实现：

以所述位置坐标为中心，在预设长度为边长的正方形区域内，根据以下公式，在所述普通帧的图像中确定平均绝对值差MAD值最小的区域图像块作为目标区域图像块：

其中，M表示区域图像块的边长，

C_ij表示普通帧中的区域图像块的像素，

R_ij表示参考帧中的区域图像块的像素，

i和j分别表示区域图像块在相应图像中的横编号和纵编号。

同样需要指出的是，这只是本申请实施例给出的一种优选处理规则示例，在实际应用中可以根据实际需要进行调整，这样的变化并不会影响本申请的保护范围。

步骤S204、根据所述目标区域图像块和所述位置坐标，确定所述所述参考帧的区域图像块的移动矢量信息。

移动矢量信息的确定可以直接通过原始区域图像块的位置坐标作为起始点，以目标区域图像块的位置坐标作为终结点，确定相应的矢量。

在当前的区域图像块的移动矢量信息确定完成后，返回步骤S202，重复上述移动矢量信息的确定过程，逐一确定所述参考帧中所有区域图像块的移动矢量信息。

在参考帧中所有区域图像块的移动矢量信息都确认完成后，执行步骤S205。

步骤S205、分别将所述参考帧中的各区域图像块按照对应的移动矢量信息进行平移后，得到所述普通帧的补偿帧。

步骤S103、确定各所述普通帧和自身的补偿帧之间的差异区域。

具体的差异区域的确定方法给可以根据实际需要来确定，数据比对、像素比对或者其他运算处理方式都可以直接确定差异区域，在能够确定差异区域的前提下，具体差异确定规则的变化并不会影响本申请的保护范围。

步骤S104、处理获得所述差异区域的全息图像信息，并将所确定的所述差异区域的全息图像信息叠加到相应的补偿帧的全息图像中，确定各所述普通帧的全息图像。

在本步骤完成后，当前的普通帧的全息图像处理过程完成。

如果是顺序处理方案，可以返回步骤S102，重复上述步骤S102到步骤S104的确定普通帧全息图像的过程，直至当前时间群组中的全部普通帧的全息图像确定完成。如果是并行处理方案，则需要等待全部普通帧的处理进行结束。

系统需要确定当前的多帧图像集合中的所有帧是否全部处理完毕。如果判断结果为是，则表示当前多帧图像集合中的所有帧的全息图像全部确认完毕，可以返回步骤S101，按照时间顺序，开始全息视频数据中的下一个多帧图像集合中的帧的处理，直至所有时间群组全部处理完毕，才能完成整个全息视频数据的处理。

与现有技术相比，本申请实施例所提出的技术方案的有益技术效果包括：

本申请实施例公开了一种多帧图像集合的处理方法和图像处理装置，该方法将接收到的多帧图像集合区分设置为参考帧和普通帧，根据普通帧相对于参考帧的图像移动趋势信息，确定普通帧所对应的补偿帧，通过在补偿帧的全息图像中叠加普通帧相对于补偿帧的差异区域的全息图像信息，来确定普通帧的全息图像，从而，通过对多帧图像集合中各帧的差异化处理，避免了重复信息的二次计算，实现针对视频数据中所存在的时间冗余信息的过滤处理，即对相邻或相接近的帧信息中的相同像素点不再重复进行计算，避免了计算资源的浪费，提高了全息视频的处理效率。

下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

如前所示，现有的基于点的计算机全息视频计算方法中，每一帧的每个像素点都作为一个独立的点光源来处理，需要计算其在全息面上的光场分布，如图3所示，为现有技术中的全息视频计算方法的流程示意图。在该流程中，每一帧输入图像都被定义为普通帧，所有像素值都需要计算对应的光场分布，因此，需要计算的像素点的数量众多。

具体的像素点计算模型为菲涅尔传播模型，如图4所示，为现有技术中的菲涅尔全息图像的计算几何模型示意图。根据该处理方案，物体被量化成离散的点，然后根据菲涅尔传播公式计算在全息面上的光场分布，把所有点的光场分布相加即为整个物体的全息图像。

在具体的处理过程中，可以认为输入图像上每一个像素点为一个物体点。现有的全息视频计算方法是输入视频的每一帧图像上面的每一个物体点都需要计算光场分布。公式如下：

其中，N为物体总点数，k为波数，现有技术的处理方法中每一帧图像的每一个点都需要按照以上计算方法进行光场计算，计算量巨大。

而且，如前所述，对于同一段视频，连续的帧图像中存在大量相同的像素点。如果按照现有的处理方案，即使有许多相同的像素点在上一个普通帧的计算过程中已经完成了计算，但在进行新的一个普通帧的全息图像计算时，这些相同的像素点仍然全部都需要重新进行计算，这样导致了大量了冗余计算量，浪费了宝贵的系统计算资源，降低了全息视频的处理效率。

这是基于这样的情况，本申请的发明人提出了一种多帧图像集合的处理方法，通过对各多帧图像集合的图像处理，实现对整个全息视频数据的处理。主要思路是利用基于区域图像块的运动估计和运动补偿技术消除输入视频的潜在时间冗余信息，从而，实现针对视频数据中所存在的时间冗余信息的过滤处理，避免计算资源的浪费，提高全息视频的处理效率。

首先，输入视频(包括彩色信息帧和深度信息帧)被分为连续的时间群组(Groupof Pictures，GOP，即画面组合)，每个群组的第一帧定义为参考帧(Reference Frame，RF)，后续帧定义为普通帧(General Frame，GF)。如图5所示，为本申请实施例提出的时间群组划分规则示意图。

基于上述的时间群组的划分，如图6所示，为本申请实施例提出的一种普通帧全息图像的计算方法的示意图。该方法利用运动估计运动补偿技术，消除了普通帧和参考帧之间的冗余点，即在普通帧的全息图像计算过程中，通过消除冗余，只需要计算部分像素点在全息面上的光场分布即可得到普通帧的全息图像，而不需要计算普通真的所有像素点。从而，达到减少计算量，提升计算速度的目的。该方法的具体处理流程说明如下：

步骤S601、根据前述的时间群组的划分，对于当前需要处理的时间群组，其中的参考帧的每个像素点都需要计算，得到参考帧的全息图像。该时间群组中后续的普通帧则不再需要逐点计算。

在同一个时间群组的每一个帧上，图像都被对应的分成多各区域图像块，参考帧上的每个区域图像块都需要计算全息图像，参考帧的每一个区域图像块的全息图像为block-CGH，所有block-CGH相加为整个参考帧的最终全息图像。计算量是跟区域图像块的像素点相关的，每一个像素点都被看作为独立的点光源并计算其在全息面上的光场分布。

如图7所示，为本申请实施例所提出的参考帧的block-CGH模型示意图。

参考帧被分为M×N个区域图像块，每一个block-CGH会被计算并存储在计算机存储器中，最终的参考帧全息图像CGH_R是所有block-CGH的叠加，如公式所示：

步骤S602、基于运动检测和运动补偿技术在参考帧和普通帧之间创建一个补偿帧。

步骤S603、通过参考帧的全息图像平移补偿得到该补偿帧的全息图像。

首先，需要比较参考帧和普通帧，来计算每个区域图像块对应的移动矢量，如图8所示，为本申请实施例所提出的移动矢量检测的示意图。

对于参考帧上的某一个区域图像块A_m,n，其在普通帧上的对应位置为A’_m,n，因此，需要在普通帧的A’_m,n区域周围的S_L×S_L的区域内搜索与A_m,n最相似的区域图像块，匹配条件为平均绝对值差MAD值最小：

其中，M表示区域图像块的边长，

C_ij表示普通帧中的区域图像块的像素，

R_ij表示参考帧中的区域图像块的像素，

i和j分别表示区域图像块在相应图像中的横编号和纵编号。

找到最佳匹配区域图像块B_m,n之后，可以利用源区域图像块和目标区域图像块的位置坐标计算出相应的移动矢量：

(d_x,d_y)＝(x₂-x₁,y₂-y₁)。

根据所得到的移动矢量，输入视频(彩色信息+深度信息)将进行移动补偿，即把参考帧上的各块的位置根据移动矢量(像素数)进行平移，得到补偿帧，如图9(a)和9(b)所示，为本申请实施例所提出的一种具体场景下运动补偿过程中的移动矢量示意图。

相比于普通帧，在参考帧中，深色的区域图像块发生了移动，浅色的区域图像块没有发生移动。其移动后的移动矢量如图9(a)所示，相应数字形式的移动矢量如图9(b)所示，区域图像块A-I分别根据各自的移动矢量进行平移到达了图9(a)中线框所示的位置。

对应的，各个区域图像块的全息图像block-CGH也需要进行相应的运动补偿，如图10所示，为本申请实施例所提出的区域图像块的全息图像block-CGH的运动补偿示意图。根据物体和全息图像在计算模型中的位置关系，如果区域图像块发生平移，相应的全息图像没有必要重新计算，而只需移动相应的距离即可。因此，在各个block-CGH都补偿完毕之后，直接相加即可得到补偿帧的全息图像，以便后续计算普通帧的最终全息图像使用。

到此为止，本申请实施例得到了补偿帧以及补偿帧的全息图像。

步骤S604、计算补偿帧与普通帧的差异区域的全息图像。

步骤S605、将差异区域的全息图像叠加到补偿帧的全息图像之上，得出普通帧的全息图像。

通过步骤S604和步骤S605，只需要计算补偿帧和后续的普通帧的差异点的全息图像，并在补偿帧的全息图像上进行差异区域全息图像的加减，即可得到后续的普通帧的全息图。

相比之下，如果不进行运动补偿，后续的普通帧(RF)的全息图像的每个像素点都需要逐一计算在全息面上的光场分布，而通过本申请实施例所提出的技术方案进行运动补偿后，只有补偿帧和后续普通帧中的少量的差异点需要进行光场分布计算，大大降低了计算量，提升了全息图的计算速度。

由此可见，本申请实施例所提出的技术方案的优点在于输入视频的时间冗余被最大限度消除，普通帧计算时不再像现有方法那样所有的像素点都要计算一遍，大大减少了计算点数，提升了计算速度。

与现有技术相比，本申请实施例所提出的技术方案的有益技术效果包括：

本申请实施例公开了一种多帧图像集合的处理方法和图像处理装置，该方法将接收到的多帧图像集合区分设置为参考帧和普通帧，根据普通帧相对于参考帧的图像移动趋势信息，确定普通帧所对应的补偿帧，通过在补偿帧的全息图像中叠加普通帧相对于补偿帧的差异区域的全息图像信息，来确定普通帧的全息图像，从而，通过对多帧图像集合中各帧的差异化处理，避免了重复信息的二次计算，实现针对视频数据中所存在的时间冗余信息的过滤处理，即对相邻或相接近的帧信息中的相同像素点不再重复进行计算，避免了计算资源的浪费，提高了全息视频的处理效率。

为更清楚地说明本申请前述实施例提供的方案，基于与上述方法同样的发明构思，本申请实施例还提出了一种图像处理装置，其结构示意图如图11所示，具体包括：

设置模块111，用于在接收到的多帧图像集合中选择一个帧作为参考帧，处理获得所述参考帧的全息图像，并将所述参考帧之后的一个或多个帧作为普通帧；

补偿模块112，用于分别获取各普通帧相对于所述参考帧的图像移动趋势信息，并根据所述图像移动趋势信息和所述处理模块所获得的参考帧的全息图像，确定各所述普通帧的补偿帧的全息图像；

确定模块113，用于确定各所述普通帧和所述补偿模块112所确定的各所述普通帧的补偿帧之间的差异区域；

处理模块114，用于处理获得所述确定模块113所确定的差异区域的全息图像信息，并将所确定的所述差异区域的全息图像信息叠加到相应的补偿帧的全息图像中，确定各所述普通帧的全息图像。

优选的，所述多帧图像集合具体为全息视频数据所包括的多个连续的时间群组中的一个时间群组，每个时间群组中的第一帧为参考帧，其余的帧为普通帧。

优选的，所述处理模块114，还用于：

在确定各所述普通帧的全息图像之后，确定当前的时间群组中的所有帧是否全部处理完毕；

如果是，按照时间顺序，开始下一个时间群组中的帧的处理，直至全息视频数据所包括的所有时间群组全部处理完毕。

优选的，所述补偿模块112，具体用于：

确定所述参考帧中的一个区域图像块在当前处理的普通帧的图像中所对应的位置坐标，其中，多帧图像集合中的参考帧和普通帧的图像被对应的划分为多个相同大小的区域图像块；

以所述位置坐标为中心，根据预设的搜索范围，在所述普通帧的图像中确定与所述参考帧的区域图像块最相近的一个目标区域图像块；

根据所述目标区域图像块和所述位置坐标，确定所述所述参考帧的区域图像块的移动矢量信息；

重复上述移动矢量信息的确定过程，逐一确定所述参考帧中所有区域图像块的移动矢量信息；

分别将所述参考帧中的各区域图像块按照对应的移动矢量信息进行平移后，得到所述普通帧的补偿帧。

优选的，所述补偿模块112，具体用于：

以所述位置坐标为中心，在预设长度为边长的正方形区域内，根据以下公式，在所述普通帧的图像中确定平均绝对值差MAD值最小的区域图像块作为目标区域图像块：

其中，M表示区域图像块的边长，

C_ij表示普通帧中的区域图像块的像素，

R_ij表示参考帧中的区域图像块的像素，

i和j分别表示区域图像块在相应图像中的横编号和纵编号。

与现有技术相比，本申请实施例所提出的技术方案的有益技术效果包括：

本申请实施例公开了一种多帧图像集合的处理方法和图像处理装置，该方法将接收到的多帧图像集合区分设置为参考帧和普通帧，根据普通帧相对于参考帧的图像移动趋势信息，确定普通帧所对应的补偿帧，通过在补偿帧的全息图像中叠加普通帧相对于补偿帧的差异区域的全息图像信息，来确定普通帧的全息图像，从而，通过对多帧图像集合中各帧的差异化处理，避免了重复信息的二次计算，实现针对视频数据中所存在的时间冗余信息的过滤处理，即对相邻或相接近的帧信息中的相同像素点不再重复进行计算，避免了计算资源的浪费，提高了全息视频的处理效率。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明实施例可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本发明实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或网络侧设备等)执行本发明实施例各个实施场景所述的方法。

本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本发明实施例所必须的。

本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

上述本发明实施例序号仅仅为了描述，不代表实施场景的优劣。

以上公开的仅为本发明实施例的几个具体实施场景，但是，本发明实施例并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明实施例的业务限制范围。

Claims (10)

1.一种多帧图像集合的处理方法，其特征在于，所述方法具体包括：

在接收到的多帧图像集合中选择一个帧作为参考帧，处理获得所述参考帧的全息图像，并将所述参考帧之后的一个或多个帧作为普通帧；

分别获取各普通帧相对于所述参考帧的图像移动趋势信息，并根据所述图像移动趋势信息和所述参考帧的全息图像，确定各所述普通帧的补偿帧的全息图像；

确定各所述普通帧和自身的补偿帧之间的差异区域；

处理获得所述差异区域的全息图像信息，并将所确定的所述差异区域的全息图像信息叠加到相应的补偿帧的全息图像中，确定各所述普通帧的全息图像。

2.如权利要求1所述的方法，其特征在于，所述在接收到的多帧图像集合中选择一个帧作为参考帧，处理获得所述参考帧的全息图像，并将所述参考帧之后的一个或多个帧作为普通帧，具体包括：

所述多帧图像集合具体为全息视频数据所包括的多个连续的时间群组中的一个时间群组，每个时间群组中的第一帧为参考帧，其余的帧为普通帧。

3.如权利要求2所述的方法，其特征在于，所述确定各所述普通帧的全息图像之后，还包括：

确定当前的时间群组中的所有帧是否全部处理完毕；

如果是，按照时间顺序，开始下一个时间群组中的帧的处理，直至全息视频数据所包括的所有时间群组全部处理完毕。

4.如权利要求1所述的方法，其特征在于，所述分别获取各普通帧相对于所述参考帧的图像移动趋势信息，并根据所述图像移动趋势信息和所述参考帧的全息图像，确定各所述普通帧的补偿帧的全息图像，具体包括：

确定所述参考帧中的一个区域图像块在当前处理的普通帧的图像中所对应的位置坐标，其中，多帧图像集合中的参考帧和普通帧的图像被对应的划分为多个相同大小的区域图像块；

以所述位置坐标为中心，根据预设的搜索范围，在所述普通帧的图像中确定与所述参考帧的区域图像块最相近的一个目标区域图像块；

根据所述目标区域图像块和所述位置坐标，确定所述所述参考帧的区域图像块的移动矢量信息；

重复上述移动矢量信息的确定过程，逐一确定所述参考帧中所有区域图像块的移动矢量信息；

分别将所述参考帧中的各区域图像块按照对应的移动矢量信息进行平移后，得到所述普通帧的补偿帧。

5.如权利要求4所述的方法，其特征在于，所述以所述位置坐标为中心，根据预设的搜索范围，在所述普通帧的图像中确定与所述参考帧的区域图像块最相近的一个目标区域图像块，具体包括：

以所述位置坐标为中心，在预设长度为边长的正方形区域内，根据以下公式，在所述普通帧的图像中确定平均绝对值差MAD值最小的区域图像块作为目标区域图像块：

$MAD=\frac{1}{M^2}\underset{i=0}{\overset{M-1}{\Σ}}\underset{j=0}{\overset{M-1}{\Σ}}|C_{ij}-R_{ij}|,$

其中，M表示区域图像块的边长，

C_ij表示普通帧中的区域图像块的像素，

R_ij表示参考帧中的区域图像块的像素，

i和j分别表示区域图像块在相应图像中的横编号和纵编号。

6.一种图像处理装置，其特征在于，具体包括：

设置模块，用于在接收到的多帧图像集合中选择一个帧作为参考帧，处理获得所述参考帧的全息图像，并将所述参考帧之后的一个或多个帧作为普通帧；

补偿模块，用于分别获取各普通帧相对于所述参考帧的图像移动趋势信息，并根据所述图像移动趋势信息和所述处理模块所获得的参考帧的全息图像，确定各所述普通帧的补偿帧的全息图像；

确定模块，用于确定各所述普通帧和所述补偿模块所确定的各所述普通帧的补偿帧之间的差异区域；

处理模块，用于处理获得所述确定模块所确定的差异区域的全息图像信息，并将所确定的所述差异区域的全息图像信息叠加到相应的补偿帧的全息图像中，确定各所述普通帧的全息图像。

7.如权利要求6所述的装置，其特征在于，

所述多帧图像集合具体为全息视频数据所包括的多个连续的时间群组中的一个时间群组，每个时间群组中的第一帧为参考帧，其余的帧为普通帧。

8.如权利要求7所述的装置，其特征在于，所述处理模块，还用于：

在确定各所述普通帧的全息图像之后，确定当前的时间群组中的所有帧是否全部处理完毕；

如果是，按照时间顺序，开始下一个时间群组中的帧的处理，直至全息视频数据所包括的所有时间群组全部处理完毕。

9.如权利要求6所述的装置，其特征在于，所述补偿模块，具体用于：

确定所述参考帧中的一个区域图像块在当前处理的普通帧的图像中所对应的位置坐标，其中，多帧图像集合中的参考帧和普通帧的图像被对应的划分为多个相同大小的区域图像块；

以所述位置坐标为中心，根据预设的搜索范围，在所述普通帧的图像中确定与所述参考帧的区域图像块最相近的一个目标区域图像块；

根据所述目标区域图像块和所述位置坐标，确定所述所述参考帧的区域图像块的移动矢量信息；

重复上述移动矢量信息的确定过程，逐一确定所述参考帧中所有区域图像块的移动矢量信息；

分别将所述参考帧中的各区域图像块按照对应的移动矢量信息进行平移后，得到所述普通帧的补偿帧。

10.如权利要求9所述的装置，其特征在于，所述补偿模块，具体用于：

以所述位置坐标为中心，在预设长度为边长的正方形区域内，根据以下公式，在所述普通帧的图像中确定平均绝对值差MAD值最小的区域图像块作为目标区域图像块：

$MAD=\frac{1}{M^2}\underset{i=0}{\overset{M-1}{\Σ}}\underset{j=0}{\overset{M-1}{\Σ}}|C_{ij}-R_{ij}|,$

其中，M表示区域图像块的边长，

C_ij表示普通帧中的区域图像块的像素，

R_ij表示参考帧中的区域图像块的像素，

i和j分别表示区域图像块在相应图像中的横编号和纵编号。