CN111988596A

CN111988596A - 虚拟视点合成方法、装置、电子设备及可读存储介质

Info

Publication number: CN111988596A
Application number: CN202010853410.6A
Authority: CN
Inventors: 贝悦; 王�琦; 程志鹏; 赖亚文; 蔡砚刚; 王荣刚
Original assignee: Peking University; China Mobile Communications Group Co Ltd; MIGU Video Technology Co Ltd; MIGU Culture Technology Co Ltd
Current assignee: Peking University; China Mobile Communications Group Co Ltd; MIGU Video Technology Co Ltd; MIGU Culture Technology Co Ltd
Priority date: 2020-08-23
Filing date: 2020-08-23
Publication date: 2020-11-24
Anticipated expiration: 2040-08-23
Also published as: CN111988596B

Abstract

本发明公开了一种虚拟视点合成方法、装置、电子设备及可读存储介质，属于图像处理技术领域。具体实现方案包括：确定进行虚拟视点合成时所需的目标参考视点的数量N；所述N为大于2的整数；根据预设约束条件，从当前所有参考视点中选取N个目标参考视点；根据所述N个目标参考视点进行虚拟视点合成。这样相比于现有技术，可以实现使用较多的参考视点映射到虚拟视点，提升虚拟视点的合成质量。

Description

虚拟视点合成方法、装置、电子设备及可读存储介质

技术领域

本发明属于图像处理技术领域，具体涉及一种虚拟视点合成方法、装置、电子设备及可读存储介质。

背景技术

目前，对于虚拟视点的合成，通常是选取距离该虚拟视点最近的两个参考视点(相机)或者位于该虚拟视点两侧的两个参考视点进行的。那么，在这种情况下，由于前后景的遮挡以及深度图的质量问题等原因，将会造成合成的虚拟视点中某些区域出现错误的纹理，从而导致合成质量较低。

发明内容

本发明实施例的目的是提供一种虚拟视点合成方法、装置、电子设备及可读存储介质，以解决目前虚拟视点的合成质量较低的问题。

为了解决上述技术问题，本发明是这样实现的：

第一方面，本发明实施例提供了一种虚拟视点合成方法，包括：

确定进行虚拟视点合成时所需的目标参考视点的数量N；其中，所述N为大于2的整数；

根据预设约束条件，从当前所有参考视点中选取N个目标参考视点；

根据所述N个目标参考视点进行虚拟视点合成。

可选的，所述N为奇数，所述根据预设约束条件，从当前所有参考视点中选取N个目标参考视点，包括：

从当前所有参考视点中选取距离所述虚拟视点最近的一个参考视点；

遍历剩余的参考视点，从所述剩余的参考视点中依次选取

个参考视点对，每个所述参考视点对包含两个参考视点，所述两个参考视点位于所述虚拟视点两侧且与所述虚拟视点的距离差的绝对值最小；

其中，所述剩余的参考视点为：所述当前所有参考视点中除所述最近的一个参考视点之外的参考视点。

遍历剩余的参考视点，针对每两个参考视点，执行以下过程：

S1：判断所述虚拟视点的投影点是否位于以所述两个参考视点为端点的线段上，并在判断出所述虚拟视点的投影点位于以所述两个参考视点为端点的线段上的情况下，确定所述两个参考视点位于所述虚拟视点的两侧；或者，判断第一夹角和第二夹角是否都小于90度，并在判断出所述第一夹角和所述第二夹角都小于90度的情况下，确定所述两个参考视点位于所述虚拟视点的两侧；其中，所述第一夹角为第一连线与第二连线之间的夹角，所述第二夹角为第一连线与第三连线之间的夹角，所述第一连线为所述两个参考视点的连接，所述第二连线和所述第三连线分别为所述两个参考视点与所述虚拟视点的连线；

S2：计算所述两个参考视点与所述虚拟视点的距离差的绝对值，并将所述距离差的绝对值与维护的最小距离差绝对值进行比较，在所述距离差的绝对值小于所述最小距离差绝对值的情况下，利用所述距离差的绝对值更新所述最小距离差绝对值，并将所述两个参考视点作为备选参考视点对；或者，在所述距离差的绝对值大于或等于所述最小距离差绝对值的情况下，保持所述最小距离差绝对值不变，并保持将所述最小距离差绝对值对应的两个参考视点作为备选参考视点对；其中，所述最小距离差绝对值是当前已遍历的每两个参考视点与所述虚拟视点的距离差的绝对值中的最小值；

在遍历完所述剩余的参考视点后，选取此时的备选参考视点对；

其中，若

大于1，则继续遍历剩余的参考视点，针对每两个参考视点，执行所述S1和S2，直至依次选取出

个参考视点对。

可选的，所述N等于3。

可选的，所述N为偶数，所述根据预设约束条件，从当前所有参考视点中选取N个目标参考视点，包括：

遍历所述当前所有参考视点，从所述当前所有参考视点中依次选取

个参考视点对，每个所述参考视点对包含两个参考视点，所述两个参考视点位于所述虚拟视点两侧且与所述虚拟视点的距离差的绝对值最小。

遍历当前所有参考视点，针对每两个参考视点，执行以下过程：

在遍历完所述当前所有参考视点后，选取此时的备选参考视点对；

其中，在选取第一个所述参考视点对之后，继续遍历剩余的参考视点，针对每两个参考视点，执行所述S1和S2，直至依次选取出个参考视点对。

可选的，所述N等于4。

第二方面，本发明实施例提供了一种虚拟视点合成装置，包括：

确定模块，用于确定进行虚拟视点合成时所需的目标参考视点的数量N；其中，所述N为大于2的整数；

选取模块，用于根据预设约束条件，从当前所有参考视点中选取N个目标参考视点；

合成模块，用于根据所述N个目标参考视点进行虚拟视点合成。

可选的，所述N为奇数，所述选取模块包括：

第一选取单元，用于从当前所有参考视点中选取距离所述虚拟视点最近的一个参考视点；

第二选取单元，用于遍历剩余的参考视点，从所述剩余的参考视点中依次选取

可选的，所述N为奇数，所述选取模块包括：

第三选取单元，用于从当前所有参考视点中选取距离所述虚拟视点最近的一个参考视点；

第一执行模块，用于遍历剩余的参考视点，针对每两个参考视点，执行以下过程：

所述第一执行模块还用于：在遍历完所述剩余的参考视点后，选取此时的备选参考视点对；

其中，若

大于1，所述第一执行模块还用于：继续遍历剩余的参考视点，针对每两个参考视点，执行所述S1和S2，直至依次选取出

个参考视点对。

可选的，所述N等于3。

可选的，所述N为偶数，所述选取模块具体用于：遍历所述当前所有参考视点，从所述当前所有参考视点中依次选取

可选的，所述N为偶数，所述选取模块包括：

第二执行模块，用于遍历当前所有参考视点，针对每两个参考视点，执行以下过程：

所述第二执行模块还用于：在遍历完所述当前所有参考视点后，选取此时的备选参考视点对；

所述第二执行模块还用于：在选取第一所述参考视点对之后，继续遍历剩余的参考视点，针对每两个参考视点，执行所述S1和S2，直至依次选取出

个参考视点对。

可选的，所述N等于4。

第三方面，本发明实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

在本发明实施例中，可以根据预设约束条件，从当前所有参考视点中选取多个目标参考视点如多于2个的参考视点，并根据该多个目标参考视点进行虚拟视点合成，从而相比于现有技术，可以实现使用较多的参考视点映射到虚拟视点，从而减小共同的空洞区域并保留较为正确的纹理，提升虚拟视点的合成质量。

附图说明

图1是本发明实施例提供的一种虚拟视点合成方法的流程图；

图2是本发明实施例中的预设约束条件1的示意图；

图3是本发明实施例中的预设约束条件2的示意图；

图4是本发明实施例中的多目标参考视点选取方案的示意图；

图5A、图5B、图5C和图5D是本发明实例1中示意的纹理图；

图6A、图6B是本发明实例2中示意的纹理图；

图7A、图7B是本发明实例3中示意的纹理图；

图8A、图8B、图8C和图8D是本发明实例4中示意的纹理图；

图9是本发明实施例提供的一种虚拟视点合成装置的结构示意图；

图10是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了便于理解本发明实施例，首先说明以下内容。

具体的，虚拟视点合成技术中，基于深度图的图像绘制(Depth Image-BasedRendering，DIBR)是虚拟视点合成的一个重要方法，其仅仅需要参考视点(相机)的纹理图和对应的深度图，经过三维坐标变换即可得到原本不存在相机的视点的视图。

为了解决目前虚拟视点的合成质量较低的问题，本发明实施例提出了基于预设约束条件，选取合理的多个参考视点(相机)如多于2个的参考视点，并将多个参考视点映射到虚拟视点进行合成的方法。这样通过使用较多的参考视点映射到虚拟视点，可以提升虚拟视点的合成质量，原因在于：在某个参考视点映射到虚拟视点中的空洞区域可能在额外的参考视点映射到虚拟视点中的这一区域是非空洞区域，和/或，在某个参考视点映射到虚拟视点中的错误纹理可能在额外的参考视点映射到虚拟视点中的这一区域是正确的纹理。

下面结合附图，通过具体的实施例及其应用场景对本发明实施例提供的虚拟视点合成方法进行详细地说明。

请参见图1，图1是本发明实施例提供的一种虚拟视点合成方法的流程图，该方法应用于电子设备，如图1所示，该方法包括如下步骤：

步骤11：确定进行虚拟视点合成时所需的目标参考视点的数量N。

本实施例中，上述N为大于2的整数。比如，N等于3、4、5或6等。

步骤12：根据预设约束条件，从当前所有参考视点中选取N个目标参考视点。

本实施例中，预设约束条件可选为几何约束条件，包括但不限于：1)约束条件1，选取的参考视点对即两个参考视点位于虚拟视点的两侧；2)约束条件2选取的参考视点对即两个参考视点，在几何上较均等地分布于虚拟视点两侧，即两个参考视点与虚拟视点间的距离差值最小。

一种实施方式中，在选取位于虚拟视点两侧的参考视点对时，一种判断两个参考视点是否位于虚拟视点两侧的方法可以是：将虚拟视点投影到两个参考视点所在的直线上，判断投影点是否位于以两个参考视点为端点的线段上，若投影点位于以两个参考视点为端点的线段上，则确定两个参考视点位于虚拟视点两侧，否则确定两个参考视点没有位于虚拟视点两侧。

例如，如图2以及公式1.1所示，其中Z表示视点(相机)世界坐标，Rcam1和Rcam2表示两个参考视点，Vcam表示虚拟视点，Vcam'表示虚拟视点在参考视点位置连线的投影点，Threshold是一个预先设置的接近于0的阈值。

|||Z_Rcam1-Z_Vcam′||+||Z_Rcam2-Z_Vcam′||-||Z_Rcam1-Z_Rcam1|||≤Threshold 公式1.1

其中，当两个参考视点与投影点的距离之和与两个参考视点之间的距离的差值小于阈值Threshold时，可以认为虚拟视点投影在两个参考视点连线的线段上，即认为两个参考视点位于虚拟视点的两侧。

或者，另一种判断两个参考视点是否位于虚拟视点两侧的方法可以是：判断第一夹角和第二夹角是否都小于90度，并在判断出第一夹角和第二夹角都小于90度的情况下，确定所述两个参考视点位于虚拟视点的两侧，否则确定所述两个参考视点没有位于虚拟视点的两侧。其中，所述第一夹角为第一连线与第二连线之间的夹角，所述第二夹角为第一连线与第三连线之间的夹角，所述第一连线为所述两个参考视点的连接，所述第二连线和所述第三连线分别为所述两个参考视点与所述虚拟视点的连线。也就是说，所述第一夹角和所述第二夹角为虚拟视点与两个参考视点的连线，和所述两个参考视点的连线之间所成的夹角即内角。

可选的，在判断第一夹角和第二夹角是否都小于90度时，可以计算第一向量与第二向量的内积，以及计算第一向量与第三向量的内积，并判断计算得到的内积与0之间的关系；其中第一向量为两个参考视点间的向量，第二向量为虚拟视点与一个参考视点间的向量，第三向量为另一个参考视点与虚拟视点间的向量。比如图2以及如下公式1.0所示：

其中，R1和R2表示两个参考视点，V1为表示虚拟视点。在满足公式1.0所示条件时，R1和R2位于V1的两侧，否则R1和R1没有位于V1的两侧。

另一种实施方式中，在选取与虚拟视点的距离差绝对值最小的参考视点对时，具体的判断方式可以是：维护一个最小距离差值的绝对值，若一对参考视点满足上述约束条件1，则计算两个参考视点与虚拟视点间的距离差值的绝对值；若该距离差值的绝对值小于维护的最小距离差值，则更新最小距离差值并将该对参考视点作为备选参考视点，直至找到距离差绝对值最小的参考视点对。如图3以及公式1.2所示，其中Z表示视点(相机)世界坐标，Rcam1和Rcam2表示两个参考视点，Vcam表示虚拟视点，Curdiff为当前两个参考视点与虚拟视点之间距离的差值。

Curdiff＝|||Z_Rcam1-Z_Vcam||-||Z_Rcam2-Z_Vcam||| 公式1.2

步骤13：根据所述N个目标参考视点进行虚拟视点合成。

可选的，在进行虚拟视点合成时，可以采用DIBR方式进行。

本发明实施例中的虚拟视点合成方法，可以根据预设约束条件，从当前所有参考视点中选取多个目标参考视点如多于2个的参考视点，并根据该多个目标参考视点进行虚拟视点合成，从而相比于现有技术，可以实现使用较多的参考视点映射到虚拟视点，从而减小共同的空洞区域并保留较为正确的纹理，提升虚拟视点的合成质量。

本发明实施例中，可选的，若上述N为奇数，上述从当前所有参考视点中选取N个目标参考视点的过程可以包括：

从当前所有参考视点中选取距离虚拟视点最近的一个参考视点；

遍历剩余的参考视点，从所述剩余的参考视点中依次选取

个位于所述虚拟视点两侧的且与所述虚拟视点的距离差绝对值最小的参考视点对；其中，所述剩余的参考视点为：所述当前所有参考视点中除所述最近的一个参考视点之外的参考视点。

这样，借助上述过程可以选择出较为合理的参考视点，进一步将选择出的参考视点投影到虚拟视点时，可以减小共同的空洞区域并保留较为正确的纹理，从而提升虚拟视点的合成质量。

可选的，若上述N为奇数，上述从当前所有参考视点中选取N个目标参考视点的过程可以包括：

从当前所有参考视点中选取距离所述虚拟视点最近的一个参考视点；即选取该最近的一个参考视点作为一个目标参考视点；

其中，若

个参考视点对。

需指出的，上述维护的最小距离差绝对值是在针对每两个参考视点执行判断和计算过程中得到的与虚拟视点的距离差的绝对值中的最小值。

可选的，上述N等于3。

一种实施方式中，在N等于3的情况下，上述从当前所有参考视点中选取N个目标参考视点的过程可以包括：

从当前所有参考视点中选取距离所述虚拟视点最近的一个参考视点；即选取此最近的一个参考视点作为一个目标参考视点；

判断所述虚拟视点的投影点是否位于以所述两个参考视点为端点的线段上，并在判断出所述虚拟视点的投影点位于以所述两个参考视点为端点的线段上的情况下，确定所述两个参考视点位于所述虚拟视点的两侧；或者，判断第一夹角和第二夹角是否都小于90度，并在判断出所述第一夹角和所述第二夹角都小于90度的情况下，确定所述两个参考视点位于所述虚拟视点的两侧；其中，所述第一夹角为第一连线与第二连线之间的夹角，所述第二夹角为第一连线与第三连线之间的夹角，所述第一连线为所述两个参考视点的连接，所述第二连线和所述第三连线分别为所述两个参考视点与所述虚拟视点的连线；

计算所述两个参考视点与所述虚拟视点的距离差的绝对值，并将所述距离差的绝对值与维护的最小距离差绝对值进行比较，在所述距离差的绝对值小于所述最小距离差绝对值的情况下，利用所述距离差的绝对值更新所述最小距离差绝对值，并将所述两个参考视点作为备选参考视点对；或者，在所述距离差的绝对值大于或等于所述最小距离差绝对值的情况下，保持所述最小距离差绝对值不变，并保持将所述最小距离差绝对值对应的两个参考视点作为备选参考视点对；其中，所述最小距离差绝对值是当前已遍历的每两个参考视点与所述虚拟视点的距离差的绝对值中的最小值；

其中，在遍历完所述剩余的参考视点后，选取此时的备选参考视点对，即选取此时的备选参考视点对作为两个目标参考视点。其中在遍历完剩余的参考视点后，此时的备选参考视点对为与虚拟视点的距离差绝对值最小的参考视点对。所述剩余的参考视点为：所述当前所有参考视点中除所述最近的一个参考视点之外的参考视点。

可选的，若上述N为偶数，上述从当前所有参考视点中选取N个目标参考视点的过程可以包括：

遍历当前所有参考视点，从所述当前所有参考视点中依次选取

个位于所述虚拟视点两侧的且与所述虚拟视点的距离差绝对值最小的参考视点对。

其中，在选取第一个所述参考视点对之后，继续遍历剩余的参考视点，针对每两个参考视点，执行所述S1和S2，直至依次选取出

个参考视点对。

可选的，上述N等于4。

一种实施方式中，在N等于4的情况下，上述从当前所有参考视点中选取N个目标参考视点的过程可以包括：

其中，在遍历完所述当前所有参考视点后，选取此时的备选参考视点对，即选取此时的备选参考视点对作为两个目标参考视点。其中在遍历完所述当前所有参考视点后，此时的备选参考视点对为与虚拟视点的距离差绝对值最小的参考视点对；在选取第一所述参考视点对之后，遍历剩余的参考视点，针对每两个参考视点，执行所述S1和S2，直至遍历完所述剩余的参考视点，选取此时的备选参考视点对，即选取此时的备选参考视点对作为两个目标参考视点。其中在遍历完所述剩余的参考视点后，此时的备选参考视点对为与虚拟视点的距离差绝对值最小的参考视点对。

例如，如图4所示，若选取3个目标参考视点，则可以首先选取距离虚拟视点Virtual Camera最近的Camera3，然后从剩余的参考视点中选取位于Virtual Camera两侧的且与Virtual Camera的距离差绝对值最小的Camera2和Camera4作为另一对参考视点。若选取4个目标参考视点，则可以首先选取位于Virtual Camera两侧的且与Virtual Camera的距离差绝对值最小的Camera2和Camera3作为第一对参考视点，之后遍历剩余参考视点选取位于Virtual Camera两侧的且与Virtual Camera的距离差绝对值最小的Camera1和Camera4作为第二对参考视点。

下面结合具体实例对本申请进行详细说明。

例如，参见图5A、图5B、图5C和图5D所示，依序为参考视点10、11、13和14变换warp到虚拟视点12的纹理图。从图5A、图5B、图5C和图5D中可知，仅使用相邻的参考视点11(图5B)和参考视点13(图5C)进行DIBR，右下角及左边界边缘会有较大区域的空洞，而额外选择参考视点10(图5A)和参考视点14(图5D)空洞区域能得到较好的补充。与之对比，在双视点(11、13)DIBR的基础上增大滤波半径比如从10增大到30进行对比，使用更大的滤波半径虽然能填补边缘空洞，但是边界伪影如图6B中线框标注部分，仍然较大程度影响了合成质量，与之对比如图6A中选择四参考视点合成虚拟视点12时，可以很好填补边缘空洞，且对应边界区域是比较正确的纹理。

此外，三参考视点DIBR对虚拟视点的合成质量也有较明显的提升。例如参见图7A和图7B所示，图7A为选择参考视点5、6、8进行虚拟视点7的合成，图7B为选择参考视点6、8、9进行虚拟视点7的合成。从图7A和图7B可知，虚拟视点7的质量提升主要是因为篮板玻璃区域的人脸(图7A和图7B中线框标注部分)。而这部分区域在对照方案合成视点中几乎是错误的纹理信息，这是由于这部分纹理信息仅在参考视点5到虚拟视点7的纹理图中得到了较好的保留，而在其他参考视点比如6、8、9warp到虚拟视点7的纹理图则是空洞区域或者错误纹理，如图8B、图8C和图8D中线框标注部分所示。其中，图8A、图8B、图8C和图8D所示，依序为参考视点5、6、8和9warp到虚拟视点7的纹理图。

通过上述实例可知：选取更多参考视点可以减小空洞区域大小，并且映射到虚拟视点能保留更多的正确纹理信息，最终提升了虚拟视点合成质量。

请参见图9，图9是本发明实施例提供的一种虚拟视点合成装置的结构示意图，该装置应用于电子设备，如图9所示，该虚拟视点合成装置90包括：

确定模块91，用于确定进行虚拟视点合成时所需的目标参考视点的数量N；其中，所述N为大于2的整数；

选取模块92，用于根据预设约束条件，从当前所有参考视点中选取N个目标参考视点；

合成模块93，用于根据所述N个目标参考视点进行虚拟视点合成。

可选的，所述N为奇数，所述选取模块92包括：

可选的，所述N为奇数，所述选取模块92包括：

其中，若

个参考视点对。

可选的，所述N等于3。

可选的，所述N为偶数，所述选取模块92具体用于：遍历所述当前所有参考视点，从所述当前所有参考视点中依次选取

可选的，所述N为偶数，所述选取模块92包括：

个参考视点对。

可选的，所述N等于4。

可理解的，本发明实施例的虚拟视点合成装置90，可以实现上述图1所示的方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

此外，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述计算机程序被所述处理器执行时可以实现上述图1所示方法实施例的各个过程且能达到相同的技术效果，为避免重复，这里不再赘述。

请参见图10所示，本发明实施例还提供了一种电子设备100，包括总线101、收发机102、天线103、总线接口104、处理器105和存储器106。

在本发明实施例中，电子设备100还包括：存储在存储器106上并可在处理器105上运行的计算机程序。可选的，所述计算机程序被处理器105执行时可实现如下步骤：

根据所述N个目标参考视点进行虚拟视点合成。

可理解的，所述计算机程序被处理器105执行时可实现上述图1所示方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

在图10中，总线架构(用总线101来代表)，总线101可以包括任意数量的互联的总线和桥，总线101将包括由处理器105代表的一个或多个处理器和存储器106代表的存储器的各种电路链接在一起。总线101还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口104在总线101和收发机102之间提供接口。收发机102可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器105处理的数据通过天线103在无线介质上进行传输，进一步，天线103还接收数据并将数据传送给处理器105。

处理器105负责管理总线101和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器106可以被用于存储处理器105在执行操作时所使用的数据。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时可实现上述图1所示方法实施例的各个过程且能达到相同的技术效果，为避免重复，这里不再赘述。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体,可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台服务分类设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。