CN104270594A - 数据包发送与接收的方法及设备 - Google Patents

Abstract

本发明公开了数据包发送与接收的方法及设备，用以保证图像数据对应的多个数据包都能传输至接收端，从而保证接收端获取到完整的图像数据，提高图像的显示质量，减少了花屏或者黑屏的概率。所述方法包括：将预设时间长度内采集到的图像数据进行分片封装，得到所述图像数据对应的多个数据包；将所述图像数据对应的多个数据包进行缓存，并向接收端发送所述图像数据对应的多个数据包；当接收到所述接收端发送的用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包时，根据所述响应包，查找本地缓存的所述接收端接收失败的数据包，并向所述接收端重新发送查找到的数据包。

Description

数据包发送与接收的方法及设备

技术领域

本发明涉及通信技术领域，尤其涉及数据包发送与接收的方法及设备。

背景技术

目前，为保证视频通话的画面效果，通常使用H.264对视频通话中图像数据进行编码与解码，其中，H.264是由ITU-T视频编码专家组和ISO/IEC动态图像专家组(MPEG)联合组成的联合视频组提出的高度压缩数字视频编解码器标准。然而，为保证视频通话的实时性，H.264视频码流的传输通常采用基于C/S架构的实时传输协议(Real-time Transport Protocol，RTP)。RTP为交互式音频、视频等具有实时特性的数据提供端到端的传送服务，下面将根据图1所示的流程图，对视频数据的传输进行举例说明。

S101、采集一帧图像；

S102、调用H.264编码器对采集到的图像数据进行编码，生成H.264视频码流，其中，所述视频码流中包括至少一个网络抽象层单元(NetworkAbstraction Layer，NALU)；

S103、根据RTP协议，将生成的H.264视频码流进行分片封装，得到至少一个RTP数据包，其中，所述视频码流中的NALU将被封装为至少一个RTP数据包；

S104、按照预设的媒体数据端口，将得到的RTP数据包利用面向无连接的实时传输协议(User Datagram Protocol，UDP)发送到接收方；通过预设的媒体数据端口，接收RTP数据包；

S105、根据RTP协议，将接收到的RTP数据包按照数据包对应的序列号进行重组，得到H.264视频码流；

S106、调用H.264解码器对H.264视频码流进行解码，生成一帧图像；

S107、显示生成的一帧图像。

其中，所述RTP协议的数据结构如下所示：

其中，V为RTP协议的版本号；P为填充标志；X为扩展标志；CC为中国标准音像制品编码(China Standard Recording Code，CSRC)计数器；M为标记，对于视频流，表示一帧图像数据的结束；PT为载荷类型，特指在用户数据字段中承载数据的载荷类别；Sequence Number为序列号；TimeStamp为时戳；Synchronization Source(SSRC)Identifier为同步信源标识符；ContributingSource(CSRC)identifiers为特约信源标识符；H.264 NALU为H.264网络抽象层单元。

由S104可知RTP是基于UDP的对数据包进行传输的，传输的信道非常不稳定，因此，H.264视频码流在较复杂、负荷大的网络环境下传输，经常发生丢包的事件，而且在H.264的编码机制中，数据包之间是具有非常紧密的联系，解码时需要依赖第一帧或者其他的数据包。因此，若丢失的数据包中包括帧内预测编码帧(I帧)，则无法对接收到的视频码流进行解码，也就无法显示图像；若丢失的数据包中包括帧间预测编码帧(P帧)，则由于数据包丢失，导致H.264视频码流不完整，解码显示出的图像像素缺失，从而出现花屏。又由于视频数据传输具有较强的实时性，因此当接收方接收到的数据包无法进行解码时，发送端只能再采集一帧新的图像，对该图像数据进行编码封装，将封装得到的RTP数据包放置于发送队列等待发送。

综上所述，由于现有技术传输H.264视频码流使用的RTP是基于UDP的，因此必然会出现丢包的情况，又由于H.264的编码解码机制，使得当丢失关键的数据帧时，最终将会出现花屏，甚至黑屏。

发明内容

本发明实施例提供了数据包发送与接收的方法及设备，用以保证图像数据对应的多个数据包都能传输至接收端，从而保证接收端获取到完整的图像数据，提高图像的显示质量，减少了花屏或者黑屏的概率。

本发明实施例提供的一种数据包发送的方法，该方法包括：

将预设时间长度内采集到的图像数据进行分片封装，得到所述图像数据对应的多个数据包；

将所述图像数据对应的多个数据包进行缓存，并向接收端发送所述图像数据对应的多个数据包；

当接收到所述接收端发送的用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包时，根据所述响应包，查找本地缓存的所述接收端接收失败的数据包，并向所述接收端重新发送查找到的数据包。

通过该方法，实现了对采集到的图像数据对应的数据包进行缓存，从而确保了当接收到用于指示接收数据包失败的响应包时，从缓存中查找接收方接收失败的数据包，并将该数据包重发给接收方，使得接收方在允许的延时范围内接收到完整的视频码流，从而提升了显示的图像的质量，减少在图像显示过程中出现花屏或者黑屏的概率。

较佳地，在将预设时间长度内采集到的图像数据进行分片封装，得到所述图像数据对应的多个数据包之前，该方法还包括：判断所述接收端是否支持发送用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包；

将所述图像数据对应的多个数据包进行缓存，具体为：当确定所述接收端支持发送用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包时，将所述图像数据对应的多个数据包进行缓存。

较佳地，在向接收端发送所述图像数据对应的多个数据包之后，在接收到所述接收端发送的用于指示接收所述图像数据对应的多个数据包中至少一个数据包失败的响应包之前，该方法还包括：启动该图像数据对应的定时器；

当接收到所述接收端发送的用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包时，根据所述响应包，查找本地缓存的所述接收端接收失败的数据包，具体为：

在该定时器未超时时，若接收到所述接收端发送的用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包，则根据所述响应包，查找本地缓存的所述接收端接收失败的数据包。

较佳地，该方法还包括：

在所述定时器超时时，若未接收到所述接收端发送的用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包，则删除缓存的所述图像数据对应的所有数据包。

较佳地，判断所述接收端是否支持发送用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包，包括：

向所述接收端发送邀请消息，其中，所述邀请消息中包括发送端支持的净荷类型；

接收所述接收端发送的响应消息；

根据接收到的响应消息，判断所述接收端是否支持所述邀请消息中的净荷类型；

若支持所述邀请消息中用于发送所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包的净荷类型，则确定所述接收端支持发送用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包，否则，确定所述接收端不支持发送用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包。

较佳地，所述响应包中包括所述图像数据对应的多个数据包中接收失败的数据包的序列号；

根据所述响应包，查找本地缓存的所述接收端接收失败的数据包，包括：

根据所述响应包中接收失败的数据包的序列号，从本地缓存的数据包中查找所述序列号相对应的数据包。

本发明实施例提供的一种数据包接收的方法，该方法包括：

接收发送端发送的在预设时间长度内采集到的图像数据对应的多个数据包，其中，所述多个数据包为对所述发送端对所述图像数据进行分片封装得到；

当确定所述图像数据对应的多个数据包中至少一个数据包接收失败时，向所述发送端发送用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包。

通过该方法，实现了对接收失败的数据包的响应，使得发送方发送丢失的数据包，使得接收方在允许的延时范围内接收到完整的视频码流，从而提升了显示的图像的质量，减少在图像显示过程中出现花屏或者黑屏的概率。

较佳地，在接收发送端发送的在预设时间长度内采集到的图像数据对应的多个数据包之前，该方法还包括：

接收发送端发送的邀请消息，其中，所述邀请消息中包括所述发送端支持的净荷类型；

根据接收到的邀请消息，判断是否支持所述邀请消息中的净荷类型；

向发送端发送响应消息，其中，所述响应消息中包括所述接收端支持的所述邀请消息中净荷类型；

若所述响应消息中包括用于发送所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包，则确定支持发送用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包，否则，确定不支持发送用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包。

较佳地，接收到的所述图像数据对应的每个数据包均包括一个唯一的序列号；

所述确定所述图像数据对应的多个数据包中至少一个数据包接收失败，包括：

若接收到的所述图像数据对应的数据包的序列号不连续，则确定所述图像数据对应的多个数据包中至少一个数据包接收失败。

较佳地，所述向所述发送端发送用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包，包括：

确定所述图像数据对应的多个数据包中接收失败的数据包的序列号，并将确定的序列号添加到用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包中，向所述发送端发送该响应包。

本发明实施例提供的一种数据包发送的设备，该设备包括：

分片封装模块，用于将预设时间长度内采集到的图像数据进行分片封装，得到所述图像数据对应的多个数据包；

缓存发送模块，用于将所述图像数据对应的多个数据包进行缓存，并向接收端发送所述图像数据对应的多个数据包；

数据重发模块，用于当接收到所述接收端发送的用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包时，根据所述响应包，查找本地缓存的所述接收端接收失败的数据包，并向所述接收端重新发送查找到的数据包。

通过该设备，实现了对采集到的图像数据对应的数据包进行缓存，从而确保了当接收到用于指示接收数据包失败的响应包时，从缓存中查找接收方接收失败的数据包，并将该数据包重发给接收方，使得接收方在允许的延时范围内接收到完整的视频码流，从而提升了显示的图像的质量，减少在图像显示过程中出现花屏或者黑屏的概率。

较佳地，所述分片封装模块在将预设时间长度内采集到的图像数据进行分片封装，得到所述图像数据对应的多个数据包之前，还用于：判断所述接收端是否支持发送用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包；

将所述图像数据对应的多个数据包进行缓存，具体为：当确定所述接收端支持发送用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包时，将所述图像数据对应的多个数据包进行缓存。

较佳地，所述缓存发送模块在向接收端发送所述图像数据对应的多个数据包之后，还用于：启动该图像数据对应的定时器；

所述数据重发模块在当接收到所述接收端发送的用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包时，根据所述响应包，查找本地缓存的所述接收端接收失败的数据包时，具体用于：

在该定时器未超时时，若接收到所述接收端发送的用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包，则根据所述响应包，查找本地缓存的所述接收端接收失败的数据包。

较佳地，该设备还包括：

删除缓存模块，用于在所述定时器超时时，若未接收到所述接收端发送的用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包，则删除缓存的所述图像数据对应的所有数据包。

较佳地，所述分片封装模块，具体用于：

向所述接收端发送邀请消息，其中，所述邀请消息中包括发送端支持的净荷类型；

接收所述接收端发送的响应消息；

根据接收到的响应消息，判断所述接收端是否支持所述邀请消息中的净荷类型；

若支持所述邀请消息中用于发送所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包的净荷类型，则确定所述接收端支持发送用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包，否则，确定所述接收端不支持发送用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包。

较佳地，所述响应包中包括所述图像数据对应的多个数据包中接收失败的数据包的序列号；

所述数据重发模块在根据所述响应包，查找本地缓存的所述接收端接收失败的数据包时，具体用于：

根据所述响应包中接收失败的数据包的序列号，从本地缓存的数据包中查找所述序列号相对应的数据包。

本发明实施例提供的一种数据包接收的设备，该设备包括：

接收数据包模块，用于接收发送端发送的在预设时间长度内采集到的图像数据对应的多个数据包，其中，所述多个数据包为所述发送端对所述图像数据进行分片封装得到的；

发送响应包模块，用于当确定所述图像数据对应的多个数据包中至少一个数据包接收失败时，向所述发送端发送用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包。

通过该设备，实现了对接收失败的数据包的响应，使得发送方发送丢失的数据包，使得接收方在允许的延时范围内接收到完整的视频码流，从而提升了显示的图像的质量，减少在图像显示过程中出现花屏或者黑屏的概率。

较佳地，所述接收数据包模块在接收发送端发送的在预设时间长度内采集到的图像数据对应的多个数据包之前，还用于：

接收发送端发送的邀请消息，其中，所述邀请消息中包括所述发送端支持的净荷类型；

根据接收到的邀请消息，判断是否支持所述邀请消息中的净荷类型；

向发送端发送响应消息，其中，所述响应消息中包括所述接收端支持的所述邀请消息中净荷类型；

若所述响应消息中包括用于发送所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包，则确定支持发送用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包，否则，确定不支持发送用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包。

较佳地，接收到的所述图像数据对应的每个数据包均包括一个唯一的序列号；

所述发送响应包模块在确定所述图像数据对应的多个数据包中至少一个数据包接收失败时，具体用于：

若接收到的所述图像数据对应的数据包的序列号不连续，则确定所述图像数据对应的多个数据包中至少一个数据包接收失败。

较佳地，所述发送响应包模块在向所述发送端发送用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包时，具体用于：

确定所述图像数据对应的多个数据包中接收失败的数据包的序列号，并将确定的序列号添加到用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包中，向所述发送端发送该响应包。

附图说明

图1为H.264视频数据传输的流程示意图；

图2为本发明实施例提供的一种数据包发送的方法的流程示意图；

图3为本发明实施例提供的一种数据包接收的方法的流程示意图；

图4为本发明实施例提供的发送端与接收端进行多媒体会话的应用层控制协议(Session Description Protocol，SDP)协商的流程示意图；

图5为本发明实施例提供的当接收端支持发送响应包时，图像数据传输方法的流程示意图；

图6为本发明实施例提供的一种数据包发送的设备的结构示意图；

图7为本发明实施例提供的一种数据包接收的设备的结构示意图。

具体实施方式

本发明实施例提供了数据包发送与接收的方法及设备，用以保证图像数据对应的多个数据包都能传输至接收端，从而保证接收端获取到完整的图像数据，提高图像的显示质量，减少了花屏或者黑屏的概率。

参见图2，在发送端，本发明实施例提供的一种数据包发送的方法，该方法包括：

S201、将预设时间长度内采集到的图像数据进行分片封装，得到所述图像数据对应的多个数据包；

S202、将所述图像数据对应的多个数据包进行缓存，并向接收端发送所述图像数据对应的多个数据包；

S203、当接收到所述接收端发送的用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包时，根据所述响应包，查找本地缓存的所述接收端接收失败的数据包，并向所述接收端重新发送查找到的数据包。

较佳地，在S201将预设时间长度内采集到的图像数据进行分片封装，得到所述图像数据对应的多个数据包之前，该方法还包括：判断所述接收端是否支持发送用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包；

其中，判断所述接收方是否支持发送用于指示接收失败的数据包的响应包，具体的判断步骤为：

向所述接收端发送邀请消息，其中，所述邀请消息中包括发送端支持的净荷类型；

接收所述接收端发送的响应消息；

根据接收到的响应消息，判断所述接收端是否支持所述邀请消息中的净荷类型；

若支持所述邀请消息中用于发送所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包的净荷类型，则确定所述接收端支持发送用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包，否则，确定所述接收端不支持发送用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包。

较佳地，S202中将所述图像数据对应的多个数据包进行缓存，具体为：

当确定所述接收端支持发送用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包时，将所述图像数据对应的多个数据包进行缓存。

较佳地，由于所述响应包中包括所述图像数据对应的多个数据包中接收失败的数据包的序列号，因此，S203中根据所述响应包，查找本地缓存的所述接收端接收失败的数据包，包括：

根据所述响应包中接收失败的数据包的序列号，从本地缓存的数据包中查找所述序列号相对应的数据包。

较佳地，在S201之后，在S202之前，该方法还包括：启动该图像数据对应的定时器；因此，S203具体为：

在该定时器未超时时，若接收到所述接收端发送的用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包，则根据所述响应包，查找本地缓存的所述接收端接收失败的数据包；

在该定时器超时时，若未接收到所述接收端发送的用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包，则删除缓存的所述图像数据对应的所有数据包。

参见图3，在接收端，本发明实施例提供的一种数据包接收的方法，该方法包括：

S301、接收发送端发送的在预设时间长度内采集到的图像数据对应的多个数据包，其中，所述多个数据包为所述发送端对所述图像数据进行分片封装得到的；

S302、当确定所述图像数据对应的多个数据包中至少一个数据包接收失败时，向所述发送端发送用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包。

较佳地，在S301之前，该方法还包括如下步骤：

接收发送端发送的邀请消息，其中，所述邀请消息中包括所述发送端支持的净荷类型；

根据接收到的邀请消息，判断是否支持所述邀请消息中的净荷类型；

向发送端发送响应消息，其中，所述响应消息中包括所述接收端支持的所述邀请消息中净荷类型；

若所述响应消息中包括用于发送所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包，则确定支持发送用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包，否则，确定不支持发送用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包。

较佳地，接收到的所述图像数据对应的每个数据包均包括一个唯一的序列号；

若接收到的所述图像数据对应的数据包的序列号不连续，则确定所述图像数据对应的多个数据包中至少一个数据包接收失败，即接收到的所述图像数据对应的多个数据包发生了丢包事件。确定所述图像数据对应的多个数据包中接收失败的数据包的序列号，并将确定的序列号添加到用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包中，向所述发送端发送该响应包。

下面将给出具体的实施例对数据包发送与接收的方法分别进行解释说明。

首先，发送端与接收端进行多媒体会话的应用层控制协议(SessionDescription Protocol，SDP)协商，确定接收端是否支持H.264反馈协议(H.264Response)。参见图4，该协商的具体步骤为：

S401、发送端向接收端发送SDP邀请(SDP INVITE)消息；其中，SDP邀请消息中包括：H.264 Response对应的媒体类型即RTP净荷类型；

S402、若接收端支持H.264 Response，则在SDP响应消息(200 OK)中也携带H.264 Response对应的RTP净荷类型；若接收端不支持H.264 Response，则在SDP响应消息中不携带H.264 Response对应的RTP净荷类型；

S403、发送端根据接收到的响应消息中是否携带H.264 Response，判断接收端是否支持H.264 Response对应的RTP净荷类型。

其中，所述RTP应用文档指定了RTP媒体类型和RTP净荷类型的对应关系。

为了能够更好的理解SDP的协商过程，下面将截取SDP邀请以及响应的消息。

其中，步骤S401中发送端发送的SDP邀请消息如下：

其次，当接收端不支持H.264 Response时，参见图1所示流程图进行图像数据传输；

当接收端支持H.264 Response时，图像数据传输的具体流程，如图5所示。

S501、采集一帧图像；

S502、调用H.264编码器对采集到的图像数据进行编码，生成H.264视频码流；根据RTP协议，将生成的H.264视频码流进行分片封装，得到至少一个RTP数据包；

S503、缓存得到的RTP数据包；

S504、按照SDP协商确定的媒体数据端口，将得到的RTP数据包利用面向无连接的实时传输协议(UDP)发送给接收端，并启动该图像数据对应的定时器；当该定时器超时时，若未接收到所述接收方发送的响应包，则删除缓存的图像数据对应的数据包；

S505、通过SDP协商确定的媒体数据端口，接收RTP数据包中PT为123即H.264的数据包；

S506、将接收到的RTP数据包按照数据包对应的序列号进行重组，并检查该序列号是否连续；若连续则执行步骤S507，若不连续则执行步骤S508；

S507、若该序列号连续，则调用H.264解码器，对得到的H.264视频码流进行解码，并将解码得到图像显示出来，至此采集到的图像传输完毕。

S508、若该序列号不连续，则向发送端发送用于指示接收所述图像数据对应的数据包中数据包接收失败的响应包；

S509、将图像数据对应的数据包中接收失败的数据包所对应的序列号写入响应包中，并向发送端发送该响应包；

S510、发送端接收接收端发送的用于指示丢失的数据包的响应包；

S511、根据接收到的响应包中用于指示丢失的数据包的序列号，从本地缓存的数据包中查找所述序列号相对应的数据包；

S512、将查出来的数据包重发给接收端，重复步骤S506。

如果超出了预设的传输时间，丢包帧仍未收齐，则丢弃该数据包。

其中，接收端发送响应消息的数据结构格式如下所示：

其中，V为RTP协议的版本号；P为填充标志；X为扩展标志；CC为CSRC计数器；M为标记，对于视频流，表示一帧图像数据的结束；PT为载荷类型，即为SDP协商中对应的RTP净荷类型的数值，例如前文提到的123、124；Sequence Number为序列号；TimeStamp为时戳；Synchronization Source(SSRC)Identifier为同步信源标识符；Contributing Source(CSRC)identifiers为特约信源标识符；Number of Lost SN为丢包的总数，即将要携带的Lostsequence number的总数，由两字节构成；Lost sequence number为丢失的RTP数据包对应的Sequence Number，由两字节构成。其中，Number of Lost SN与Lost sequence number均为网络字节序。

本发明实施例提供的数据包发送与接收的方法，即可以运用在系统内部,例如在网络之间互联的协议(Internet Protocal，IP)媒体子系统(IP MultimediaSubsystem，IMS)中，发送端和接收端都可以为用户设备(User Equipment，UE)，也可以运用在特定UE与网络之间，例如在开展三方会议时，媒体资源功能(Media Resource Function，MRF)可作为接收端，UE可作为发送端。此处列举具体场景介绍发送端与接收端只是为了能够更好的理解方案，但是本发明并不局限于这两种场景，接收端与发送端也不局限于UE与MRF。

参见图6，在发送端，本发明实施例提供的一种数据包发送的设备，该设备包括：

分片封装模块601，用于将预设时间长度内采集到的图像数据进行分片封装，得到所述图像数据对应的多个数据包；

缓存发送模块602，用于将所述图像数据对应的多个数据包进行缓存，并向接收端发送所述图像数据对应的多个数据包；

数据重发模块603，用于当接收到所述接收端发送的用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包时，根据所述响应包，查找本地缓存的所述接收端接收失败的数据包，并向所述接收端重新发送查找到的数据包。

较佳地，所述分片封装模块601在将预设时间长度内采集到的图像数据进行分片封装，得到所述图像数据对应的多个数据包之前，还用于：判断所述接收端是否支持发送用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包；

将所述图像数据对应的多个数据包进行缓存，具体为：当确定所述接收端支持发送用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包时，将所述图像数据对应的多个数据包进行缓存。

较佳地，所述缓存发送模块602在向接收端发送所述图像数据对应的多个数据包之后，还用于：启动该图像数据对应的定时器；

所述数据重发模块603在当接收到所述接收端发送的用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包时，根据所述响应包，查找本地缓存的所述接收端接收失败的数据包时，具体用于：

在该定时器未超时时，若接收到所述接收端发送的用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包，则根据所述响应包，查找本地缓存的所述接收端接收失败的数据包。

较佳地，该设备还包括：

删除缓存模块604，用于在所述定时器超时时，若未接收到所述接收端发送的用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包，则删除缓存的所述图像数据对应的所有数据包。

较佳地，所述分片封装模块601，具体用于：

向所述接收端发送邀请消息，其中，所述邀请消息中包括发送端支持的净荷类型；

接收所述接收端发送的响应消息；

根据接收到的响应消息，判断所述接收端是否支持所述邀请消息中的净荷类型；

若支持所述邀请消息中用于发送所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包的净荷类型，则确定所述接收端支持发送用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包，否则，确定所述接收端不支持发送用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包。

较佳地，所述响应包中包括所述图像数据对应的多个数据包中接收失败的数据包的序列号；

所述数据重发模块603在根据所述响应包，查找本地缓存的所述接收端接收失败的数据包时，具体用于：

根据所述响应包中接收失败的数据包的序列号，从本地缓存的数据包中查找所述序列号相对应的数据包。

较佳地，本发明实施例中的所述分片封装模块601、所述缓存发送模块602、所述数据重发模块603均可由处理器实现。

参见图7，在接收端，本发明实施例提供的一种数据包接收的设备，该设备包括：

接收数据包模块701，用于接收发送端发送的在预设时间长度内采集到的图像数据对应的多个数据包，其中，所述多个数据包为所述发送端对所述图像数据进行分片封装得到的；

发送响应包模块702，用于当确定所述图像数据对应的多个数据包中至少一个数据包接收失败时，向所述发送端发送用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包。

较佳地，所述接收数据包模块701在接收发送端发送的在预设时间长度内采集到的图像数据对应的多个数据包之前，还用于：

接收发送端发送的邀请消息，其中，所述邀请消息中包括所述发送端支持的净荷类型；

根据接收到的邀请消息，判断是否支持所述邀请消息中的净荷类型；

向发送端发送响应消息，其中，所述响应消息中包括所述接收端支持的所述邀请消息中净荷类型；

若所述响应消息中包括用于发送所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包，则确定支持发送用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包，否则，确定不支持发送用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包。

较佳地，接收到的所述图像数据对应的每个数据包均包括一个唯一的序列号；

所述发送响应包模块702在确定所述图像数据对应的多个数据包中至少一个数据包接收失败时，具体用于：

若接收到的所述图像数据对应的数据包的序列号不连续，则确定所述图像数据对应的多个数据包中至少一个数据包接收失败。

较佳地，所述发送响应包模块702在向所述发送端发送用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包时，具体用于：

确定所述图像数据对应的多个数据包中接收失败的数据包的序列号，并将确定的序列号添加到用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包中，向所述发送端发送该响应包。

较佳地，本发明实施例中的所述接收数据包模块701、所述发送响应包模块702均可由处理器实现。

综上所述，本发明实施例提供的数据包发送与接收的方法及设备，通过对采集到的图像数据对应的数据包进行缓存，从而确保了当接收到用于指示接收数据包失败的响应包时，从缓存中查找接收方接收失败的数据包，并将该数据包重发给接收方，使得接收方在允许的延时范围内接收到完整的视频码流，从而提升了显示的图像的质量，减少在图像显示过程中出现花屏或者黑屏的概率。异网络或者不同配置的终端进行交互时，能够通过SDP信令判断出是否能够使用H.264反馈业务。当接收端不支持H.264反馈时，仍然可以和支持H.264的设备进行交互，保证了本发明实施例提供的设备的兼容性。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (20)

1.一种数据包发送的方法，其特征在于，该方法包括：

将预设时间长度内采集到的图像数据进行分片封装，得到所述图像数据对应的多个数据包；

将所述图像数据对应的多个数据包进行缓存，并向接收端发送所述图像数据对应的多个数据包；

当接收到所述接收端发送的用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包时，根据所述响应包，查找本地缓存的所述接收端接收失败的数据包，并向所述接收端重新发送查找到的数据包。

2.根据权利要求1所述的方法，其特征在于，在将预设时间长度内采集到的图像数据进行分片封装，得到所述图像数据对应的多个数据包之前，该方法还包括：判断所述接收端是否支持发送用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包；

将所述图像数据对应的多个数据包进行缓存，具体为：当确定所述接收端支持发送用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包时，将所述图像数据对应的多个数据包进行缓存。

3.根据权利要求2所述的方法，其特征在于，在向接收端发送所述图像数据对应的多个数据包之后，在接收到所述接收端发送的用于指示接收所述图像数据对应的多个数据包中至少一个数据包失败的响应包之前，该方法还包括：启动该图像数据对应的定时器；

当接收到所述接收端发送的用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包时，根据所述响应包，查找本地缓存的所述接收端接收失败的数据包，具体为：

在该定时器未超时时，若接收到所述接收端发送的用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包，则根据所述响应包，查找本地缓存的所述接收端接收失败的数据包。

4.根据权利要求3所述的方法，其特征在于，该方法还包括：

在所述定时器超时时，若未接收到所述接收端发送的用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包，则删除缓存的所述图像数据对应的所有数据包。

5.根据权利要求2所述的方法，其特征在于，判断所述接收端是否支持发送用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包，包括：

向所述接收端发送邀请消息，其中，所述邀请消息中包括发送端支持的净荷类型；

接收所述接收端发送的响应消息；

根据接收到的响应消息，判断所述接收端是否支持所述邀请消息中的净荷类型；

若支持所述邀请消息中用于发送所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包的净荷类型，则确定所述接收端支持发送用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包，否则，确定所述接收端不支持发送用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包。

6.根据权利要求1所述的方法，其特征在于，所述响应包中包括所述图像数据对应的多个数据包中接收失败的数据包的序列号；

根据所述响应包，查找本地缓存的所述接收端接收失败的数据包，包括：

根据所述响应包中接收失败的数据包的序列号，从本地缓存的数据包中查找所述序列号相对应的数据包。

7.一种数据包接收的方法，其特征在于，该方法包括：

接收发送端发送的在预设时间长度内采集到的图像数据对应的多个数据包，其中，所述多个数据包为所述发送端对所述图像数据进行分片封装得到的；

当确定所述图像数据对应的多个数据包中至少一个数据包接收失败时，向所述发送端发送用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包。

8.根据权利要求7所述的方法，其特征在于，在接收发送端发送的在预设时间长度内采集到的图像数据对应的多个数据包之前，该方法还包括：

接收发送端发送的邀请消息，其中，所述邀请消息中包括所述发送端支持的净荷类型；

根据接收到的邀请消息，判断是否支持所述邀请消息中的净荷类型；

向发送端发送响应消息，其中，所述响应消息中包括所述接收端支持的所述邀请消息中净荷类型；

若所述响应消息中包括用于发送所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包，则确定支持发送用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包，否则，确定不支持发送用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包。

9.根据权利要求7所述的方法，其特征在于，接收到的所述图像数据对应的每个数据包均包括一个唯一的序列号；

所述确定所述图像数据对应的多个数据包中至少一个数据包接收失败，包括：

若接收到的所述图像数据对应的数据包的序列号不连续，则确定所述图像数据对应的多个数据包中至少一个数据包接收失败。

10.根据权利要求9所述的方法，其特征在于，所述向所述发送端发送用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包，包括：

确定所述图像数据对应的多个数据包中接收失败的数据包的序列号，并将确定的序列号添加到用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包中，向所述发送端发送该响应包。

11.一种数据包发送的设备，其特征在于，该设备包括：

分片封装模块，用于将预设时间长度内采集到的图像数据进行分片封装，得到所述图像数据对应的多个数据包；

缓存发送模块，用于将所述图像数据对应的多个数据包进行缓存，并向接收端发送所述图像数据对应的多个数据包；

数据重发模块，用于当接收到所述接收端发送的用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包时，根据所述响应包，查找本地缓存的所述接收端接收失败的数据包，并向所述接收端重新发送查找到的数据包。

12.根据权利要求11所述的设备，其特征在于，所述分片封装模块在将预设时间长度内采集到的图像数据进行分片封装，得到所述图像数据对应的多个数据包之前，还用于：判断所述接收端是否支持发送用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包；

将所述图像数据对应的多个数据包进行缓存，具体为：当确定所述接收端支持发送用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包时，将所述图像数据对应的多个数据包进行缓存。

13.根据权利要求12所述的设备，其特征在于，所述缓存发送模块在向接收端发送所述图像数据对应的多个数据包之后，还用于：启动该图像数据对应的定时器；

所述数据重发模块在当接收到所述接收端发送的用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包时，根据所述响应包，查找本地缓存的所述接收端接收失败的数据包时，具体用于：

在该定时器未超时时，若接收到所述接收端发送的用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包，则根据所述响应包，查找本地缓存的所述接收端接收失败的数据包。

14.根据权利要求13所述的设备，其特征在于，该设备还包括：

删除缓存模块，用于在所述定时器超时时，若未接收到所述接收端发送的用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包，则删除缓存的所述图像数据对应的所有数据包。

15.根据权利要求12所述的设备，其特征在于，所述分片封装模块，具体用于：

向所述接收端发送邀请消息，其中，所述邀请消息中包括发送端支持的净荷类型；

接收所述接收端发送的响应消息；

根据接收到的响应消息，判断所述接收端是否支持所述邀请消息中的净荷类型；

若支持所述邀请消息中用于发送所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包的净荷类型，则确定所述接收端支持发送用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包，否则，确定所述接收端不支持发送用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包。

16.根据权利要求11所述的设备，其特征在于，所述响应包中包括所述图像数据对应的多个数据包中接收失败的数据包的序列号；

所述数据重发模块在根据所述响应包，查找本地缓存的所述接收端接收失败的数据包时，具体用于：

根据所述响应包中接收失败的数据包的序列号，从本地缓存的数据包中查找所述序列号相对应的数据包。

17.一种数据包接收的设备，其特征在于，该设备包括：

接收数据包模块，用于接收发送端发送的在预设时间长度内采集到的图像数据对应的多个数据包，其中，所述多个数据包为所述发送端对所述图像数据进行分片封装得到的；

发送响应包模块，用于当确定所述图像数据对应的多个数据包中至少一个数据包接收失败时，向所述发送端发送用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包。

18.根据权利要求17所述的设备，其特征在于，所述接收数据包模块在接收发送端发送的在预设时间长度内采集到的图像数据对应的多个数据包之前，还用于：

接收发送端发送的邀请消息，其中，所述邀请消息中包括所述发送端支持的净荷类型；

根据接收到的邀请消息，判断是否支持所述邀请消息中的净荷类型；

向发送端发送响应消息，其中，所述响应消息中包括所述接收端支持的所述邀请消息中净荷类型；

若所述响应消息中包括用于发送所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包，则确定支持发送用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包，否则，确定不支持发送用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包。

19.根据权利要求17所述的设备，其特征在于，接收到的所述图像数据对应的每个数据包均包括一个唯一的序列号；

所述发送响应包模块在确定所述图像数据对应的多个数据包中至少一个数据包接收失败时，具体用于：

若接收到的所述图像数据对应的数据包的序列号不连续，则确定所述图像数据对应的多个数据包中至少一个数据包接收失败。

20.根据权利要求19所述的设备，其特征在于，所述发送响应包模块在向所述发送端发送用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包时，具体用于：

确定所述图像数据对应的多个数据包中接收失败的数据包的序列号，并将确定的序列号添加到用于指示接收所述图像数据对应的多个数据包中至少一个数据包接收失败的响应包中，向所述发送端发送该响应包。