CN111770333A - 一种图像合并方法和系统 - Google Patents

Abstract

本发明公开了一种图像合并系统及方法，该图像合并系统包括：获取模块，用于获取k个子图像帧，所述k个子图像帧均由同一个原始图像帧交织拆分而来，其中k≥2；所述子图像帧包括：基准子图像帧和待校准子图像帧；估算模块，用于得出待校准子图像帧的第一图像参数和根据所述基准子图像帧得出基准图像参数；校准模块，通过对所述基准图像参数和所述第一图像参数计算比较，得出待校准子图像帧的第二图像参数，根据所述第二图像参数校准所述待校准子图像帧；合成模块，用于根据原始图像帧拆分的位置关系将各所述子图像帧恢复成原始图像帧。本发明合成后的图像帧的整体和谐度高，且不需要专门的设备，普遍适用性高。

Description

一种图像合并方法和系统

技术领域

本申请涉及视频通信技术领域，特别是涉及一种图像合并方法和系统，及应用其的视频传输方法和系统。

背景技术

目前，解决视频码流自适应传输的一种相对成熟的方案是可伸缩视频编码(SVC，Scalable Video Coding)，但该方案的主要问题在于，为了满足SVC的需要，必须升级视频通信系统以及所使用的网络设备，从而导致SVC可伸缩视频编码的实际兼容性差，不能在大多数设备上使用。

针对以上问题，专利申请号为“200710123626.1”的中国专利公开了一种视频容错控制系统及方法，其通过在发送端对视频序列的单帧图像进行拆分编码，形成子图像帧码流，子图像帧图像组的总数目与网络状态匹配，在接收端对各子图像帧码流解码，得到子图像帧解码视频帧，继而进行空间插值恢复原图像，实现了网络丢包情况下的高流畅性视频通信。然而，该专利是在源图像帧拆分后再分别进行编码解码，在分别编码解码的过程中，数据难免会出现一定的偏差，且又由于是独立编解码，所以这些偏差都不是向同一个方向偏移，这些向各个方向偏移的偏差会导致各子图像帧的数据产生差异，当将有差异的子图像帧合成为一帧后，各差异之间的对比非常明显，整体看上去十分突兀，影响观感。

发明内容

本发明为克服上述现有技术所述的至少一种缺陷，提供一种图像合并方法，对子图像帧的颜色偏差进行修正，使合并后的图像帧更加和谐，提高观感。本发明采用的技术方案如下。

第一方面，本发明提供一种图像合并系统，包括：

获取模块，用于获取k个子图像帧，所述k个子图像帧均由同一个原始图像帧交织拆分而来，其中k≥2；所述子图像帧包括：基准子图像帧和待校准子图像帧；

估算模块，用于得出待校准子图像帧的第一图像参数和根据所述基准子图像帧得出基准图像参数；

校准模块，通过对所述基准图像参数和所述第一图像参数计算比较，得出待校准子图像帧的第二图像参数，根据所述第二图像参数校准所述待校准子图像帧；

合成模块，用于根据原始图像帧拆分的位置关系将各所述子图像帧恢复成原始图像帧。

优选的，所述合成模块在原始图像恢复的过程中，当待恢复的子图像帧不全时，通过插值计算恢复出原始图像帧。

优选的，所述子图像帧还包括：其它子图像帧。

优选的，所述k个子图像帧由同一个原始图像帧以隔行或隔列的方式交织拆分而来。

第二方面，本发明提供一种视频传输系统，包括：发送端、服务器及至少一个接收端；

所述发送端包括：拆分模块和编码模块；所述接收端包括：解码模块和恢复模块；

所述拆分模块用于将原始视频拆分为n个交织的独立的子序列视频，其中所述原始视频包括多帧原始视频图像帧，n≥2；

所述编码模块用于对各所述子序列视频独立编码为码流，得到n个子序列视频码流；

所述服务器用于获得所述n个子序列视频码流，并根据其与接收端之间的网络质量，传输n个子序列视频码流中的k个子序列视频码流至接收端，其中1≤k≤n；

所述解码模块用于对所述k个子序列视频码流进行解码，得到k个解码后的子序列视频；

所述恢复模块包括前面所述的图像合并系统，所述恢复模块通过所述图像合并系统将所述k个解码后的子序列视频的图像帧合并成原始视频图像帧，并恢复得到原始视频。

第三方面，本发明提供另一种视频传输系统，包括：发送端、服务器及接收端；

发送端包括：拆分模块、编码模块；

拆分模块，用于将原始视频流的图像帧拆分为n个交织的子图像帧，其中n≥2，以原始视频流的一帧为单位，在原始视频流一帧的时间间隔内，按预设的顺序插入n个由同一帧图像帧拆分的子图像帧，形成一组子帧序列，按原始视频流的时间顺序排列各组子帧序列之间的顺序并组合形成第二视频，所述第二视频的帧率为原始视频流的帧率的n倍；

编码模块，用于对所述第二视频进行编码，形成第二视频码流；

服务器，用于获得所述第二视频码流，并根据自身与所述接收端之间的网络质量对所述第二视频码流拆包封包，形成保留子帧序列中包含k个子图像帧的第三视频码流，其中k≤n，并传送所述第三视频码流至所述接收端；

接收端包括：解码模块和恢复模块；

解码模块，用于对所述第三视频码流进行解码，形成第三视频流；

所述恢复模块包括前面所述的图像合并系统，所述恢复模块通过所述图像合并系统将k个解码后的子图像帧合并成原始视频图像帧，并恢复得到原始视频。

第四方面，本发明提供一种图像合并方法，包括以下步骤：

获得k个子图像帧，所述k个子图像帧均由同一个原始图像帧交织拆分而来，其中k≥2；所述子图像帧包括基准子图像帧和待校准子图像帧；

得出待校准子图像帧的第一图像参数和根据所述基准子图像帧得出基准图像参数；

通过对所述基准图像参数和所述第一图像参数计算比较，得出待校准子图像帧的第二图像参数，根据所述第二图像参数校准所述待校准子图像帧；

根据原始图像帧拆分的位置关系将各所述子图像帧恢复成原始图像帧。

进一步，所述合成模块在原始图像恢复的过程中，当待恢复的子图像帧不全时，通过插值计算恢复出原始图像帧。

进一步，所述子图像帧还包括其它子图像帧。

进一步，所述k个子图像帧由同一个原始图像帧以隔行或隔列的方式交织拆分而来。

第五方面，本发明提供一种视频传输方法，包括以下步骤：

获取原始视频，所述原始视频包括多帧原始视频图像帧；

将所述原始视频拆分为n个交织的独立的子序列视频，其中n≥2；

对各所述子序列视频独立编码为码流，得到n个子序列视频码流；

将所述n个子序列视频码流上传到服务器；

所述服务器根据其与接收端之间的网络质量，传输n个子序列视频码流中的k个子序列视频码流，其中1≤k≤n；

对所述k个子序列视频码流进行解码，得到k个解码后的子序列视频；

使用前面所述的图像合并方法合并所述k个解码后的子序列视频的图像帧，并恢复得到原始视频。

第六方面，本发明提供另一种视频传输方法，包括以下步骤：

获取原始视频，所述原始视频包括多帧原始视频图像帧；

将原始视频流的图像帧拆分为n个交织的子图像帧，其中n≥2；

以原始视频流的一帧为单位，在原始视频流一帧的时间间隔内，按预设的顺序插入n个由同一帧图像帧拆分的子图像帧，形成一组子帧序列；

按原始视频流的时间顺序排列各组子帧序列之间的顺序并组合形成第二视频，所述第二视频的帧率为原始视频流的帧率的n倍；

对所述第二视频进行编码，形成第二视频码流；

将所述第二视频码流上传到服务器；

所述服务器根据其与接收端之间的网络质量，对所述第二视频码流拆包封包，形成保留子帧序列中包含k个子图像帧的第三视频码流，其中k≤n，传送第三视频码流；

接收并解码所述第三视频码流，形成第三视频流；

使用前面所述的图像合并方法合并所述第三视频流的图像帧，并恢复得到原始视频。

与现有技术相比，有益效果是：

1.消除了各子图像帧之间的差异，提高了合成后的图像帧的整体一致性和和谐度，提高整体观感。

2.不需要专门的设备，普遍适用性高。

附图说明

图1是本发明中采用隔行方式拆分的子序列视频码流示意图。

图2是本发明实施例一的整体示意图。

图3是本发明中采用隔行隔列方式拆分的示意图。

图4是本发明实施例一中的估算模块工作示意图。

图5是本发明实施例二的整体示意图。

图6是本发明实施例三的整体流程示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

实施例一

如图1所示，假设图1中的原始视频有3帧。需要指出的是，图1只是一个示例性的说明，实际上的原始视频可以是任意数量的帧。图1是以隔行的方式将原始视频拆分为2个交织的独立的子序列视频。在图1中，对每帧原始视频图像帧进行拆分，即对第1-3帧都进行拆分，每帧原始视频图像帧都以隔行的方式拆分，分别得到第1-3帧的奇行图像帧和偶行图像帧。然后以原始视频图像帧的顺序对得到的奇行图像帧进行排序，得到奇行子序列视频，然后以相同的方式得到偶行子序列视频。此时，原始视频被拆分为2个交织的独立的子序列视频。

本发明的图像合并系统就是用于合并恢复通过上述方法拆分而成的图像帧。如图2所示，本发明提供一种图像合并系统1，包括：获取模块11，用于获取k个子图像帧，所述k个子图像帧均由同一个原始图像帧交织拆分而来，其中k≥2；所述k个子图像帧包括：m个子图像帧确定为基准子图像帧、j个子图像帧确定为待校准子图像帧、k-m-j个为其它子图像帧，m≥1，j≥1，k-m-j≥0；估算模块12，用于得出待校准子图像帧的第一图像参数和根据所述基准子图像帧得出基准图像参数；校准模块13，用于通过对所述基准图像参数和所述第一图像参数计算比较，得出待校准子图像帧的第二图像参数，根据所述第二图像参数校准所述待校准子图像帧；合成模块14，用于根据原始图像帧拆分的位置关系将所述基准子图像帧、所述其它子图像帧和所述校准后子图像帧合并恢复成原始图像帧。

获取模块11，用于获取k个子图像帧，所述k个子图像帧均由同一个原始图像帧交织拆分而来，其中k≥2。原始视频包括多帧原始视频图像帧，每一帧被交织拆分为n个子图像帧，获取模块用于获取这些子图像帧。

需要指出的是，原始图像帧除了采用如图1所示的隔行拆分的方式外，还可以采用隔列或隔行隔列的方式拆分。其中，采用隔行隔列的方式的话，其拆分方式如图3所示。此时，拆分后的图像帧以原始视频图像帧的顺序对数字编号相同的图像帧进行排序，得到4个交织的独立的子序列视频。

在一种实施方式中，原始图像帧被拆分为n个(n≥2)交织的子图像帧，获取模块只获取所述n个交织的子图像帧中的其中k个子图像帧，即k≤n。换句话说，此时获取模块只获取到原始图像帧拆分的所有图像帧中的一部分。举例，如果采用图3所示的隔行隔列的方法拆分，把原始图像帧拆分为4个交织的子图像帧的话，由于2≤k≤n，所以k值可以是2、3或4，获取模块只获取到2、3或4个子图像帧。当然，本领域技术人员也可以使用本发明的系统去合并通过其它拆分方法所得到的子图像帧。

所述k个子图像帧包括：m个子图像帧确定为基准子图像帧、j个子图像帧确定为待校准子图像帧、k-m-j个为其它子图像帧，m≥1，j≥1，k-m-j≥0。

继续图1的例子，图1有2个子图像帧，由于m≥1和j≥1，所以此时没有其它子图像帧的类型。此时对奇行子图像帧和偶行子图像帧进行分类，如果确定奇行子图像帧确定为基准子图像帧的话，偶行子图像帧就对应确定为待校准子图像帧。相反地，如果确定偶行子图像帧确定为基准子图像帧，那奇行子图像帧就确定为待校准子图像帧。

在一种实施方式中，采用了如图3所示的隔行隔列的方法拆分。假设k取3，仅获取到编号为1、2、3的子图像帧，这时可以根据实际情况选择合适的m值，如m＝1。此时，可以把编号为1、2、3的子图像帧中的一个确定为基准子图像帧，如1，如果把编号1的子图像帧确定为基准子图像帧的话，那么就剩余2个子图像帧，将其中至少1个确定为待校准子图像帧。本实施方式中把剩余2个都确定为待校准子图像帧，不设置其它子图像帧，即编号为2、3的子图像帧确定为待校准子图像帧。当然，本领域技术人员也可以确定编号为2、3的子图像帧中的1个子图像帧为待校准子图像帧，另一个为其它子图像帧。针对其它子图像帧，可以不对其进行校正或采用其他方法进行校正。

估算模块12，用于得出待校准子图像帧的第一图像参数和根据所述基准子图像帧得出基准图像参数。

继续图1的例子，确定奇行子图像帧为基准子图像帧，偶行子图像帧为待校准子图像帧后，如图4所示，基于奇行的数据利用插值或加权平均等方法得出偶行的基准图像参数。另外，基于偶行待校准子图像帧本身的数据得出待校准子图像帧的第一图像参数。所述第一图像参数可以是本身的数据，也可以是根据本身的数据根据一定的运算方式后得到的数据。

在一种实施方式中，继续上述采用了如图3所示的隔行隔列的方法拆分的例子。相同地，基于编号为1的子图像帧的数据利用插值或加权平均等方法得出处于2、3编号的子图像帧的基准图像参数。另外，基于编号为2、3的待校准子图像帧本身的数据得出待校准子图像帧的第一图像参数。

校准模块13，通过对所述基准图像参数和所述第一图像参数计算比较，得出待校准子图像帧的第二图像参数，根据所述第二图像参数校准所述待校准子图像帧。

继续图1的例子，由于估算模块是基于奇行利用插值或加权平均等方法得到偶行的基准图像参数，所以偶行的基准图像参数可以在一定程度上作为偶行待校准子图像帧的校准修正方向，因此将偶行的基准图像参数与偶行待校准子图像帧的第一图像参数进行比较，得出待校准子图像帧的第二图像参数，然后按照一套预设的规则根据所述第二图像参数校准所述待校准子图像帧，得到偶行校准后子图像帧。例如，通过对所述基准图像参数和所述第一图像参数计算比较得到偏离度值，预设每个偏离度值所对应的修正系数，此时第二图像参数就是该修正系数，利用该修正系数去校准待校准子图像帧的每个像素点。又例如，通过对所述基准图像参数和所述第一图像参数计算比较得到偏离度值，计算出每一行的偏离度值的平均值，根据该平均值得出每行所对应的修正系数，此时第二图像参数就是该修正系数，利用该行修正系数校准待校准子图像帧的每一行。再例如，该第一图像参数为本身的数据，基准图像参数通过加权平均或插值的方法得出，该第二图像参数为基准图像参数和第一图像参数在相对应位置的像素点间的加权平均值，利用该加权平均值比较值去校准所述待校准子图像帧，得到校准后子图像帧。本领域技术人员还可以通过试验，得出其它基于比较值的校准规则。还例如，由于人眼对于明亮度比较敏感，因此该第一图像参数和基准图像参数只取相对应位置的像素点间在Y分量上的值，利用该Y分量值校准待校准子图像帧。

在一种实施方式中，继续上述采用了如图3所示的隔行隔列的方法拆分的例子。通过估算模块得到编号为2、3的待校准子图像帧的第一图像参数和根据基准子图像帧(即编号为1的图像帧)得出基准图像参数，然后与图1的例子类似，通过对基准图像参数和第一图像参数计算比较，得出编号为2、3的待校准子图像帧的第二图像参数，根据所述第二图像参数校准校编号为2、3的待校准子图像帧。

合成模块15，用于根据原始图像帧拆分的位置关系将所述基准子图像帧、所述其它子图像帧和所述校准后子图像帧合并恢复成原始图像帧。

继续图1的例子，这时手上持有奇行子图像帧和偶行校准后子图像帧，将二者按照原本的奇偶行位置关系合并恢复，得到原始图像帧。

在一种实施方式中，继续上述采用了如图3所示的隔行隔列的方法拆分的例子。这时手上持有编号1的子图像帧和编号为2、3的校准后子图像帧，将三者按照原本的位置关系合并恢复，得到原始图像帧。但此时，位置为4的部分是空缺的，所以优选地，所述合成模块在原始图像恢复的过程中，当待恢复的子图像帧不全时，通过插值计算恢复出原始图像帧，即对位置为4的部分进行空间差值，得到最终的完整的图像帧。需要注意的是，有时由于接受获取的问题，获取模块获取到的子图像帧有可能部分缺失，此时也可以用插值计算的方式恢复子图像帧。

这里需要说明的是，上文提到了除基准子图像帧和待校准子图像帧以为的其它子图像帧，对于其它子图像帧的处理方法是多种多样的。例如，可以把认为不需要进行校准的图像帧设置为其它子图像帧，不对它们进行任何的校准。又例如，基于其它原因，对其它子图像帧采用另外的方式进行校准。另外，本领域技术人员还可以根据实际情况，选择设置还是不设置其它子图像帧这个类型，例如上面阐述的例子实际上就是没有设置其它子图像帧这个类型，此时k＝m+j。

本发明通过确定其中的部分子图像帧为基准子图像帧，将其它部分子图像帧确定为待校准子图像帧，使待校准子图像帧的数据往基准子图像帧靠拢，从而保证了各个子图像帧的偏差偏移方向相同，减小消除了各子图像帧之间的差异，提高了合成后的图像帧的整体一致性和和谐度，提高整体观感。另外，本发明能够适应用于普通的编解码器，不需要像SVC那样采用专门的设备，普遍适用性高。

实施例二

如图5所示，本发明还提供一种视频传输系统，该视频传输系统采用实施例一的图像合并系统，具体技术方案如下。

一种视频传输系统，包括：发送端10、服务器20及至少一个接收端30；所述发送端10包括：拆分模块101和编码模块102；所述接收端30包括：解码模块302和恢复模块303；

所述拆分模块101用于将原始视频拆分为n个交织的独立的子序列视频，其中所述原始视频包括多帧原始视频图像帧，n≥2；

所述编码模块102用于对各所述子序列视频独立编码为码流，得到n个子序列视频码流；

所述服务器20用于获得所述n个子序列视频码流，并根据其与接收端30之间的网络质量，传输n个子序列视频码流中的k个子序列视频码流至接收端，其中1≤k≤n；

所述解码模块302用于对所述k个子序列视频码流进行解码，得到k个解码后的子序列视频；

所述恢复模块303包括实施例一所述的图像合并系统，所述恢复模块303通过所述图像合并系统将所述k个解码后的子序列视频的图像帧合并成原始视频图像帧，并恢复得到原始视频。

如图5所示，视频源40发送原始视频至发送端10的拆分模块101，所述原始视频包括多帧原始视频图像帧。其中，原始视频图像帧是构成视频的单位，原始视频包括多帧原始视频图像帧，图像帧是视频中的画面，一帧即一个画面，一帧包括视频数据及其对应的音频数据。即该原始视频包括多帧原始视频图像帧。原始视频图像可以是视频数据的各帧视频帧，视频可以是存储于终端或服务器内的离线视频文件，也可以是终端从服务器获取的在线视频文件。

拆分模块101将原始视频拆分为n个交织的独立的子序列视频，其中所述原始视频包括多帧原始视频图像帧，n≥2。其具体拆分方式如图1和图3所示，前文已经叙述过，这里就不再叙述了。

编码模块102用于对所有n个交织的子序列视频独立编码为码流，得到n个子序列视频码流。

服务器20获得编码模块102编码所得到的所有n个子序列视频码流。获得n个子序列视频码流后，根据其与接收端30之间的网络质量，传输n个子序列视频码流中的k个子序列视频码流至接收端，其中1≤k≤n。

这里必须指出的是，网络质量一般包括：带宽、丢包率、抖动和网络延时。一个服务器是连接一个或多个接收端的，服务器与每个接收端之间的网络质量都是不相同的。服务器是根据其与各个接收端之间的网络质量，因地制宜地选择传输子序列视频码流的个数，即如果服务器与接收端一之间的网络质量满足需求，服务器传输奇偶两个子序列视频码流，但服务器与接收端二之间的网络质量不满足需求，服务器仅传输奇行子序列视频码流。另外，即使是对于同一个接收端，在不同的时刻，网络质量也会产生变化，所以传输的数量也要相应地作出调整，即此刻仍是传输奇偶两个子序列视频码流，但下一刻网络质量变差了，变成了仅传输奇行子序列视频码流，待到网络质量满足需求时，又继续传输奇偶两个子序列视频码流。

接收端30接收到k个子序列视频码流后，其中的解码模块302就对所述k个子序列视频码流进行解码，得到k个解码后的子序列视频。此时的k个解码后的子序列视频均包含多帧图像帧，而且在相同的时间点上，各个解码后的子序列视频的图像帧均拆分自同一帧的原始视频图像帧。

所述恢复模块303包括实施例一所述的图像合并系统，所述恢复模块303通过所述图像合并系统将所述k个解码后的子序列视频的图像帧合并成原始视频图像帧，并恢复得到原始视频。如前所述，各个解码后的子序列视频的图像帧均拆分自同一帧的原始视频图像帧，所以可以采用实施例一所述的图像合并系统对所述k个解码后的子序列视频的图像帧合并成原始视频图像帧，将这些合并后的原始视频图像帧按原始视频的顺序排列，就恢复得到了原始视频。

在一个实施方式中，所述拆分单元以隔行或隔列的方式将原始视频拆分为2个交织的独立的子序列视频。

在一个实施方式中，所述拆分单元以隔行隔列的方式将原始视频拆分为4个交织的独立的子序列视频。

在一个实施方式中，所述发送端10还包括：传送模块103，所述接收端30还包括接收模块301；所述传送模块103用于将所述n个子序列视频码流上传至所述服务器20；所述接收模块301用于接收所述服务器20传送的所述k个子序列视频码流。

实施例三

相应于上述的装置的实施例一，如图6所示，本发明实施例三提供了一种图像合并方法，该方法包括以下步骤：

S1.获得k个子图像帧，所述k个子图像帧均由同一个原始图像帧交织拆分而来，其中k≥2；所述子图像帧包括基准子图像帧和待校准子图像帧；

S2.得出待校准子图像帧的第一图像参数和根据所述基准子图像帧得出基准图像参数；

S3.通过对所述基准图像参数和所述第一图像参数计算比较，得出待校准子图像帧的第二图像参数，根据所述第二图像参数校准所述待校准子图像帧；

S4.根据原始图像帧拆分的位置关系将各所述子图像帧恢复成原始图像帧。

在一个实施方式中，所述合成模块在原始图像恢复的过程中，当待恢复的子图像帧不全时，通过插值计算恢复出原始图像帧。

在一个实施方式中，所述子图像帧还包括其它子图像帧。

所述子图像帧还包括除了基准子图像帧和待校准子图像帧以为的其它类型的其它子图像帧。对于这些其它子图像帧，它们有可能不进行校准或采用其他方式方法进行校准，或有的需要舍弃。总之，本领域技术人员可以把所有子图像帧硬性设置成只有基准子图像帧和待校准子图像帧两种类型，也可以根据实际的需求设置通过其他方式对待的其它子图像帧类型。

在一个实施方式中，所述k个子图像帧由同一个原始图像帧以隔行或隔列的方式交织拆分而来。

实施例四

相应于上述的装置的实施例二，本发明实施例四提供了一种图像合并方法，该方法包括以下步骤：

获取原始视频，所述原始视频包括多帧原始视频图像帧；

将所述原始视频拆分为n个交织的独立的子序列视频，其中n≥2；

对各所述子序列视频独立编码为码流，得到n个子序列视频码流；

将所述n个子序列视频码流上传到服务器；

所述服务器根据其与接收端之间的网络质量，传输n个子序列视频码流中的k个子序列视频码流，其中1≤k≤n；

对所述k个子序列视频码流进行解码，得到k个解码后的子序列视频；

使用实施例三的图像合并方法合并所述k个解码后的子序列视频的图像帧，并恢复得到原始视频。

实施例五

本实施例的传输系统与实施二有点类似，具体如图5所示。

一种视频传输系统，包括：发送端10、服务器20及接收端30。接收端30可以是一个或多个。

发送端10包括：拆分模块101、编码模块102。

拆分模块101，用于将原始视频流的图像帧拆分为n个交织的子图像帧，其中n≥2，以原始视频流的一帧为单位，在原始视频流一帧的时间间隔内，按预设的顺序插入n个由同一帧图像帧拆分的子图像帧，形成一组子帧序列，按原始视频流的时间顺序排列各组子帧序列之间的顺序并组合形成第二视频，所述第二视频的帧率为原始视频流的帧率的n倍。

例如，按照图1的方法将帧率是30帧/秒的原始视频进行拆分，得到了帧率是60帧/秒的第二视频。在第二视频中，第1帧是原视频第1帧的奇行子图像帧，第2帧是原视频第1帧的偶行子图像帧，如此类推。

编码模块102，用于对所述第二视频进行编码，形成第二视频码流。

服务器20，用于获得所述第二视频码流，并根据自身与所述接收端之间的网络质量对所述第二视频码流拆包封包，形成保留子帧序列中包含k个子图像帧的第三视频码流，其中k≤n，并传送所述第三视频码流至所述接收端。

继续上面的例子，如果网络质量足够好时，完全保留第二视频码流，传输的是帧率为60帧/秒的第三视频码流；如果网络质量不够，只保留第二视频码流的奇帧，此时传输的是帧率为30帧/秒的第三视频码流。

接收端30包括：解码模块302和恢复模块303。

解码模块302，用于对所述第三视频码流进行解码，形成第三视频流。

所述恢复模块303包括实施例一所述的图像合并系统，所述恢复模块303通过所述图像合并系统将k个解码后的子图像帧合并成原始视频图像帧，并恢复得到原始视频。如前所述，各个解码后的子序列视频的图像帧均拆分自同一帧的原始视频图像帧，所以可以采用实施例一所述的图像合并系统对k个解码后的子图像帧合并成原始视频图像帧，将这些合并后的原始视频图像帧按原始视频的顺序排列，就恢复得到了原始视频。

在一个实施方式中，所述拆分单元以隔行或隔列的方式将原始视频拆分为2个交织的独立的子序列视频。

在一个实施方式中，所述拆分单元以隔行隔列的方式将原始视频拆分为4个交织的独立的子序列视频。

在一个实施方式中，所述发送端10还包括：传送模块103，所述接收端30还包括接收模块301；所述传送模块103用于将所述第二视频码流上传至所述服务器20；所述接收模块301用于接收所述服务器20传送的第三视频码流。

实施例六

相应于上述的装置的实施例五，本发明实施例四提供了一种图像合并方法，该方法包括以下步骤：

获取原始视频，所述原始视频包括多帧原始视频图像帧；

将原始视频流的图像帧拆分为n个交织的子图像帧，其中n≥2；

以原始视频流的一帧为单位，在原始视频流一帧的时间间隔内，按预设的顺序插入n个由同一帧图像帧拆分的子图像帧，形成一组子帧序列；

按原始视频流的时间顺序排列各组子帧序列之间的顺序并组合形成第二视频，所述第二视频的帧率为原始视频流的帧率的n倍；

对所述第二视频进行编码，形成第二视频码流；

将所述第二视频码流上传到服务器；

所述服务器根据其与接收端之间的网络质量，对所述第二视频码流拆包封包，形成保留子帧序列中包含k个子图像帧的第三视频码流，其中k≤n，传送第三视频码流；

接收并解码所述第三视频码流，形成第三视频流；

使用实施例三的图像合并方法合并所述第三视频流的图像帧，并恢复得到原始视频。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (12)

1.一种图像合并系统，其特征在于，包括：

获取模块，用于获取k个子图像帧，所述k个子图像帧均由同一个原始图像帧交织拆分而来，其中k≥2；所述子图像帧包括：基准子图像帧和待校准子图像帧；

估算模块，用于得出待校准子图像帧的第一图像参数和根据所述基准子图像帧得出基准图像参数；

校准模块，通过对所述基准图像参数和所述第一图像参数计算比较，得出待校准子图像帧的第二图像参数，根据所述第二图像参数校准所述待校准子图像帧；

合成模块，用于根据原始图像帧拆分的位置关系将各所述子图像帧恢复成原始图像帧。

2.根据权利要求1所述的图像合并系统，其特征在于，所述合成模块在原始图像恢复的过程中，当待恢复的子图像帧不全时，通过插值计算恢复出原始图像帧。

3.根据权利要求1或2所述的图像合并系统，其特征在于，所述子图像帧还包括：其它子图像帧。

4.根据权利要求1所述的图像合并系统，其特征在于，

所述k个子图像帧由同一个原始图像帧以隔行或隔列的方式交织拆分而来。

5.一种视频传输系统，包括：发送端、服务器及至少一个接收端；

所述发送端包括：拆分模块和编码模块；所述接收端包括：解码模块和恢复模块；

所述拆分模块用于将原始视频拆分为n个交织的独立的子序列视频，其中所述原始视频包括多帧原始视频图像帧，n≥2；

所述编码模块用于对各所述子序列视频独立编码为码流，得到n个子序列视频码流；

所述服务器用于获得所述n个子序列视频码流，并根据其与接收端之间的网络质量，传输n个子序列视频码流中的k个子序列视频码流至接收端，其中1≤k≤n；

所述解码模块用于对所述k个子序列视频码流进行解码，得到k个解码后的子序列视频；

所述恢复模块包括权利要求1-4任一项所述的图像合并系统，所述恢复模块通过所述图像合并系统将所述k个解码后的子序列视频的图像帧合并成原始视频图像帧，并恢复得到原始视频。

6.一种视频传输系统，其特征在于，包括：发送端、服务器及接收端；

发送端包括：拆分模块、编码模块；

拆分模块，用于将原始视频流的图像帧拆分为n个交织的子图像帧，其中n≥2，以原始视频流的一帧为单位，在原始视频流一帧的时间间隔内，按预设的顺序插入n个由同一帧图像帧拆分的子图像帧，形成一组子帧序列，按原始视频流的时间顺序排列各组子帧序列之间的顺序并组合形成第二视频，所述第二视频的帧率为原始视频流的帧率的n倍；

编码模块，用于对所述第二视频进行编码，形成第二视频码流；

服务器，用于获得所述第二视频码流，并根据自身与所述接收端之间的网络质量对所述第二视频码流拆包封包，形成保留子帧序列中包含k个子图像帧的第三视频码流，其中k≤n，并传送所述第三视频码流至所述接收端；

接收端包括：解码模块和恢复模块；

解码模块，用于对所述第三视频码流进行解码，形成第三视频流；

所述恢复模块包括权利要求1-4任一项所述的图像合并系统，所述恢复模块通过所述图像合并系统将k个解码后的子图像帧合并成原始视频图像帧，并恢复得到原始视频。

7.一种图像合并方法，其特征在于，包括以下步骤：

获得k个子图像帧，所述k个子图像帧均由同一个原始图像帧交织拆分而来，其中k≥2；所述子图像帧包括基准子图像帧和待校准子图像帧；

得出待校准子图像帧的第一图像参数和根据所述基准子图像帧得出基准图像参数；

通过对所述基准图像参数和所述第一图像参数计算比较，得出待校准子图像帧的第二图像参数，根据所述第二图像参数校准所述待校准子图像帧；

根据原始图像帧拆分的位置关系将各所述子图像帧恢复成原始图像帧。

8.根据权利要求7所述的图像合并方法，其特征在于，在原始图像恢复的过程中，当待恢复的子图像帧不全时，通过插值计算恢复出原始图像帧。

9.根据权利要求7或8所述的图像合并方法，其特征在于，所述子图像帧还包括其它子图像帧。

10.根据权利要求7所述的图像合并方法，其特征在于，所述k个子图像帧由同一个原始图像帧以隔行或隔列的方式交织拆分而来。

11.一种视频传输方法，其特征在于，包括以下步骤：

获取原始视频，所述原始视频包括多帧原始视频图像帧；

将所述原始视频拆分为n个交织的独立的子序列视频，其中n≥2；

对各所述子序列视频独立编码为码流，得到n个子序列视频码流；

将所述n个子序列视频码流上传到服务器；

所述服务器根据其与接收端之间的网络质量，传输n个子序列视频码流中的k个子序列视频码流，其中1≤k≤n；

对所述k个子序列视频码流进行解码，得到k个解码后的子序列视频；

使用如权利要求7-10任一项所述的图像合并方法合并所述k个解码后的子序列视频的图像帧，并恢复得到原始视频。

12.一种视频传输方法，其特征在于，包括以下步骤：

获取原始视频，所述原始视频包括多帧原始视频图像帧；

将原始视频流的图像帧拆分为n个交织的子图像帧，其中n≥2；

以原始视频流的一帧为单位，在原始视频流一帧的时间间隔内，按预设的顺序插入n个由同一帧图像帧拆分的子图像帧，形成一组子帧序列；

按原始视频流的时间顺序排列各组子帧序列之间的顺序并组合形成第二视频，所述第二视频的帧率为原始视频流的帧率的n倍；

对所述第二视频进行编码，形成第二视频码流；

将所述第二视频码流上传到服务器；

所述服务器根据其与接收端之间的网络质量，对所述第二视频码流拆包封包，形成保留子帧序列中包含k个子图像帧的第三视频码流，其中k≤n，传送第三视频码流；

接收并解码所述第三视频码流，形成第三视频流；

使用如权利要求7-10任一项所述的图像合并方法合并所述第三视频流的图像帧，并恢复得到原始视频。

Images