CN111246290A - 图像接收处理方法和装置 - Google Patents
图像接收处理方法和装置 Download PDFInfo
- Publication number
- CN111246290A CN111246290A CN201811440856.5A CN201811440856A CN111246290A CN 111246290 A CN111246290 A CN 111246290A CN 201811440856 A CN201811440856 A CN 201811440856A CN 111246290 A CN111246290 A CN 111246290A
- Authority
- CN
- China
- Prior art keywords
- rtp
- rtp packet
- packet
- packets
- discrete
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 52
- 238000012163 sequencing technique Methods 0.000 claims abstract description 19
- 238000004590 computer program Methods 0.000 claims description 10
- 238000000034 method Methods 0.000 abstract description 12
- 238000004891 communication Methods 0.000 abstract description 10
- 230000008707 rearrangement Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 7
- 239000000872 buffer Substances 0.000 description 6
- 230000003139 buffering effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012550 audit Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
- H04N21/6437—Real-time Transport Protocol [RTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本公开提供了一种图像接收处理方法和装置，涉及图像通讯领域。该方法包括：将接收的RTP包分为多段，其中，每段RTP包包括预定数量的RTP包；将当前段RTP包与前段离散RTP包作为一组进行排序；将排序后的RTP包进行处理，以实现图像显示。本公开由于提供给RTP解包、解码的图像帧信息是经过时序重排后的有序信息，因此，能够解决由于RTP包时序的混乱而导致的图像时延长及抖动问题。
Description
技术领域
本公开涉及图像通讯领域，尤其涉及一种图像接收处理方法和装置。
背景技术
随着4G及光宽快速发展，iTV高清视频、全球眼及各类电视盒子等迅速普及，VoLTE(Voice over Long-Term Evolution，长期演进语音承载)也即将走进人们的生活，音视频通信已成为人们生活、工作不可或缺的一部分。此外，在普通的城域网上，基于音视频的双向远程维护、远程审计、远程安全巡检、桌面远程会议等图像的通信方式也逐渐成为人们工作、生活的重要手段。
基于H264、H265/HEVC(High Efficiency Video Coding，高效率视频编码)的图像编解码技术及基于RTSP(Real Time Streaming Protocol，实时流传输协议)、RTP(Real-time Transport Protocol，实时传输协议)的图像通信方式已成为图像压缩解压、图像通信的高效技术。但是，由于RTP一般采用UDP报文通信，在一般的IP网上很难做到非常完备的QoS(Quality of Service，服务质量)保证，往往发自同一源的一组IP包，会通过不同的路由到达同一个目的地，到达目的地的RTP包所花费的时间也不同，从而出现到达目的地的RTP包时序乱序的问题，如果不对这些RTP包序列进行时序重新排列，将出现明显的图像花屏及图像抖动问题。
为解决这些问题，目前大都数的应用系统采用RTP包简单缓存技术。但为了达到较流畅、无抖动的图像效果，往往需要缓存5～10秒甚至几十秒的时间(比如ITV、视频直播、全球眼、电视盒等单向通信应用)。缓存时间越长，效果越好，但会引起图像延时大、播放明显滞后的问题，这在单向通信领域是可取的，这些问题在实时性高、双向通信的场合是不可接受的。此外，由于前后两次缓存之间会出现本次缓冲尾部与下次缓冲首部RTP包时序错乱的问题，因此还会出现两次缓冲之间的图像抖动等问题，所以如何解决时延长及抖动的问题变得尤为重要。
发明内容
本公开要解决的一个技术问题是提供一种图像接收处理方法和装置，能够解决由于RTP包时序的混乱而导致的图像时延长及抖动问题。
根据本公开一方面，提出一种图像接收处理方法，包括：将接收的实时传输协议RTP包分为多段，其中，每段RTP包包括预定数量的RTP包；将当前段RTP包与前段离散RTP包作为一组进行排序；将排序后的RTP包进行处理，以实现图像显示。
可选地，前段离散RTP包为前段RTP包排序处理后的非连续的RTP包。
可选地，该方法还包括：将每一段RTP包存入RTP包分组池的空闲RTP包队列，并按照时间顺序为每个RTP包队列排序；其中，将最先进入队列的一段RTP包作为当前段RTP包。
可选地，该方法还包括：将排序后的RTP包尾部的非连续的RTP包存入RTP包分组池的离散包序列；其中，在从RTP包队列中获取当前段RTP包时，从离散包序列中取出前段RTP包排序处理后的非连续的RTP包。
根据本公开的另一方面，还提出一种图像接收处理系统，包括：RTP包接收模块，用于将接收的实时传输协议RTP包分为多段，其中，每段RTP包包括预定数量的RTP包；RTP包处理模块，用于将当前段RTP包与前段离散RTP包作为一组进行排序；图像显示模块，用于将排序后的RTP包进行处理，以实现图像显示。
可选地，前段离散RTP包为前段RTP包排序处理后的非连续的RTP包。
可选地，该系统还包括：RTP存储单元，用于将每一段RTP包存入RTP包分组池的空闲RTP包队列，并按照时间顺序为每个RTP包队列排序；其中，将最先进入队列的一段RTP包作为当前段RTP包。
可选地，该系统还包括：离散包存储模块，用于将排序后的RTP包尾部的非连续的RTP包存入RTP包分组池的离散包序列；其中，在从RTP包队列中获取当前段RTP包时，从离散包序列中取出前段RTP包排序处理后的非连续的RTP包。
根据本公开的另一方面，还提出一种图像接收处理系统，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器的指令执行如上述的图像接收处理方法。
根据本公开的另一方面，还提出一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现上述的图像接收处理方法的步骤。
与现有技术相比，本公开将接收的RTP包分为多段，并将当前段RTP包与前段离散RTP包作为一组进行排序，将排序后的RTP包进行处理，以实现图像显示，由于提供给RTP解包、解码的图像帧信息是经过时序重排后的有序信息，因此，能够解决由于RTP包时序的混乱而导致的图像时延长及抖动问题。
通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。
附图说明
构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
图1为本公开图像接收处理方法的一个实施例的流程示意图。
图2为本公开图像接收处理方法的另一个实施例的流程示意图。
图3为本公开图像接收处理方法的再一个实施例的流程示意图。
图4为本公开图像接收处理系统的一个实施例的结构示意图。
图5为本公开图像接收处理系统的另一个实施例的结构示意图。
图6为本公开图像接收处理系统的再一个实施例的结构示意图。
图7为本公开图像接收处理系统的又一个实施例的结构示意图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。
图1为本公开图像接收处理方法的一个实施例的流程示意图。
在步骤110，将接收的RTP包分为多段，其中，每段RTP包包括预定数量的RTP包。例如，实时侦听网络上RTP事件，并将接收到的RTP包按一定数量分为一组或一段。例如，将32个RTP包作为一组或一段，其中，可以将每一段RTP包存入RTP包分组池的空闲RTP包队列，并按照时间顺序为每个RTP包队列排序。
在步骤120，将当前段RTP包与前段离散RTP包作为一组进行排序。前段离散RTP包为前段RTP包排序处理后的非连续的离散包，即上一个接收到的非连续的RTP尾部的离散包。例如，将最先进入队列的一段RTP包作为当前段RTP包，然后和前段离散RTP包作为一组进行排序。
在步骤130，将排序后的RTP包进行处理，以实现图像显示。例如，对RTP包进行解包、解码、格式转换等处理，从而能够显示图像。
在该实施例中，将接收的RTP包分为多段，并将当前段RTP包与前段离散RTP包作为一组进行排序，将排序后的RTP包进行处理，以实现图像显示，由于提供给RTP解包、解码的图像帧信息是经过时序重排后的有序信息，因此，能够解决由于RTP包时序的混乱而导致的图像时延长及抖动问题。
图2为本公开图像接收处理方法的另一个实施例的流程示意图。
在步骤210，将接收的RTP包分为多段，其中，每段RTP包包括预定数量的RTP包。其中，可以合理配置每段RTP包的个数，例如，可以将32个RTP包作为一段RTP包。
在步骤220，将每一段RTP包存入RTP包分组池的空闲RTP包队列，并按照时间顺序为每个RTP包队列排序。其中，RTP包分组池是由多个先进先出的队列及一个离散RTP包序列组成。可以合理配置RTP包分组池队列数量大小。其中，每个队列用于存放一组RTP包，每个队列有一个组序列计数器及状态标识，分别用于标注RTP包组的先后次序及该队列是否空闲，可根据每个队列的状态确定是否可以存放收到的RTP包组，并修改状态及组序列。离散RTP包序列用于存放每组RTP排序处理后的非连续的离散包，非连续RTP包一般出现在排序后序列的末尾。
在步骤230，将最先进入队列的一段RTP包作为当前段RTP包，并从离散包序列中取出前段RTP包排序处理后的非连续的离散包。其中，根据RTP包分组池中各个队列的序列大小，按序取出并处理每段RTP包序列。其中，可以从离散RTP包序列取出上一组RTP包组的离散RTP包，取完后从序列中删除相应的离散包元素。
在步骤240，将当前段RTP包与前段离散RTP包作为一组进行排序。即将离散包与本段RTP包序列放在一起，对每个RTP包的序列号进行排序。其中，离散包与本段RTP包拼装排序后，如在RTP序列首部、中间发现有RTP包序列非连续的话，可以采用RTP重传技术，重新传输RTP包。
在步骤250，将排序后的RTP包尾部的非连续的离散包存入RTP包分组池的离散包序列。由于采用分段处理，加上UDP包到达目的地时序的不确定性，合并排序后RTP包的尾部有些包会在下一组RTP包接收到，因此，可能会在本段RTP包组的末位出现RTP离散的现象，将重排后的RTP包序列末尾RTP包中非连续的离散RTP包分离，并放入离散RTP包序列作并为下一组RTP包拼装处理做准备。
在步骤260，将排序后的RTP包进行解包、解码、格式转换等处理，并进行图像显示。
在该实施例中，将接收的RTP包分为多段，每段RTP包存入RTP包分组池的相应队列，并将最先进入队列的一段RTP包作为当前段RTP包，并从离散包序列中取出前段RTP包排序处理后的非连续的离散包，将当前段RTP包与前段离散RTP包作为一组进行排序，将排序后的RTP包尾部的非连续的离散包存入RTP包分组池的离散包序列，并将排序后的RTP包进行解包、解码、图像显示等处理，能够实现组内和组间RTP包序列的重排序，解决RTP包乱序引起的图像花屏及抖动问题，同时解决了采用RTP缓存而带来的图像处理时延长的问题。
图3为本公开图像接收处理方法的再一个实施例的流程示意图。
在步骤310，RTP服务器侦听并接收RTP包。
在步骤320，判断是否启动分段RTP处理，若是，则执行步骤330，否则，执行步骤340。例如，可以根据系统的RTP时序计算器接收到的RTP包的乱序情况判断是否进行分段RTP处理。若当前网络状况不能够满足QoS要求，则RTP时序计算器接收到的RTP包为乱序，此时可以进行分段RTP处理。
在步骤330，按照分段方式将小批量的RTP包存入RTP分组池相应的空闲的队列，并更新队列状态。
在步骤331，根据队列的状态，依次取出最先进入队列的一段RTP包，从离散RTP包向量中取出上一段RTP包分离出的离散RTP包。
在步骤332，将本段RTP包与离散RTP包按一定排序算法进行合并排序。
在步骤333，将合并排序后的RTP包进行RTP解包处理。
在步骤334，将合并排序后的RTP包尾部的非连续序列包分离，作为离散RTP包放入离散RTP包向量，并为下一组RTP包拼装处理做准备。
在步骤340，将RTP包进行一次缓存。例如，按几十秒或者更长时间为一周期将RTP包进行缓存。
在步骤341，从缓存中取出RTP包按时序进行排序。
在步骤342，将排序后的RTP包进行解包处理。
在步骤350，将RTP解包送入H264解码器，将YUV420格式的视频图像中的每一帧转换为RGB格式的图像，并进行图像显示。
在该实施例中，判断是否启动分段RTP处理，若需要，则按照分段方式将小批量的RTP包存入RTP分组池相应的空闲的队列，依次取出最先进入队列的一段RTP包，从离散RTP包向量中取出上一段RTP包的离散RTP包，进行合并排序处理，并将合并排序后的RTP包进行RTP解包、解码、格式转换等处理，能够解决RTP包乱序问题，并兼顾了图像时延的问题。
在一个具体实施例中，以Windows平台为例对本公开的实施例进行介绍，例如，以Java+NDK+jni+C++为开发环境，用x264进行H264编码，帧率为25fps，AVC(Advanced VideoCoding，高级视频编码)采用BaseLine Profile，采用ffmpeg进行H264解码，用RTP作为传输协议。
RTP接收服务器实时侦听UDP信息，每次将接收到的一定的数量(比如32个)放入相应的RTP包分组池的可用的队列，并修改RTP包分组池的相应的队列状态，例如，一段RTP包如下所示：
..........RTP packet mSeqNo:1180
..........RTP packet mSeqNo:1181
..........RTP packet mSeqNo:1182
..........RTP packet mSeqNo:1183
..........RTP packet mSeqNo:1184
..........RTP packet mSeqNo:1186
..........RTP packet mSeqNo:1187
..........RTP packet mSeqNo:1185
..........RTP packet mSeqNo:1188
..........RTP packet mSeqNo:1189
..........RTP packet mSeqNo:1190
..........RTP packet mSeqNo:1191
..........RTP packet mSeqNo:1192
..........RTP packet mSeqNo:1193
..........RTP packet mSeqNo:1194
..........RTP packet mSeqNo:1195
..........RTP packet mSeqNo:1196
..........RTP packet mSeqNo:1197
..........RTP packet mSeqNo:1198
..........RTP packet mSeqNo:1199
..........RTP packet mSeqNo:1200
..........RTP packet mSeqNo:1201
..........RTP packet mSeqNo:1202
..........RTP packet mSeqNo:1203
..........RTP packet mSeqNo:1204
..........RTP packet mSeqNo:1205
..........RTP packet mSeqNo:1206
..........RTP packet mSeqNo:1207
..........RTP packet mSeqNo:1208
..........RTP packet mSeqNo:1210
..........RTP packet mSeqNo:1211
[h264@003bb7c0]no frame！
其中，1185包是乱序包，1209是缺的RTP包，将这段RTP包存入RTP包分组池的空闲的队列，例如存入队列5，并更新队列的状态为在用。
然后实时的根据每个队列的状态及组次序处理每个分组的RTP包，同时从离散RTP包序列取出上一段RTP包的离散RTP包，并从序列删除相应的离散包元素，将离散包与本段RTP包序列放在一起，对每个RTP包的序列号并进行排序，将重排序后的RTP包序列末尾的RTP包中非连续的离散RTP包分离，并放入离散RTP包序列作并为下一段RTP包拼装处理做准备。
排序后的RTP包序列例如为：
..........RTP packet mSeqNo:1180
..........RTP packet mSeqNo:1181
..........RTP packet mSeqNo:1182
..........RTP packet mSeqNo:1183
..........RTP packet mSeqNo:1184
..........RTP packet mSeqNo:1185
..........RTP packet mSeqNo:1186
..........RTP packet mSeqNo:1187
..........RTP packet mSeqNo:1188
..........RTP packet mSeqNo:1189
..........RTP packet mSeqNo:1190
..........RTP packet mSeqNo:1191
..........RTP packet mSeqNo:1192
..........RTP packet mSeqNo:1193
..........RTP packet mSeqNo:1194
..........RTP packet mSeqNo:1195
..........RTP packet mSeqNo:1196
..........RTP packet mSeqNo:1197
..........RTP packet mSeqNo:1198
..........RTP packet mSeqNo:1199
..........RTP packet mSeqNo:1200
..........RTP packet mSeqNo:1201
..........RTP packet mSeqNo:1202
..........RTP packet mSeqNo:1203
..........RTP packet mSeqNo:1204
..........RTP packet mSeqNo:1205
..........RTP packet mSeqNo:1206
..........RTP packet mSeqNo:1207
..........RTP packet mSeqNo:1208
排序后，尾部的两个RTP包1210、1211是离散包，列为离散RTP包并送入离散RTP序列，为后续组RTP包时序合拼处理做准备。例：
..........RTP packet mSeqNo:1210
..........RTP packet mSeqNo:1211
将重新进行排序的RTP序列送入H264解码显示模块，并实现图像显示。
在该实施例中，通过与无RTP分组包时序处理技术或RTP包缓冲技术相比，RTP分段处理占用了300-900毫秒的时延，明显低于RTP缓存技术的几十秒的时延，系统的图像花屏及抖动发生率明显降低。
在本公开的另一个实施例中，本公开还可以在多个平台进行实现，例如，在图像发送端，在Android平台，利用MediaCodec进行H264编码；在X86及IOS平台，利用x264进行H264编码。在接收解码端，Android平台利用MediaCodec，X86及IOS平台利用ffmpeg进行H264解码。本公开采用RTSP协议作为图像请求等信令控制协议，采用RTP协议作为图像传输协议。
图4为本公开图像接收处理系统的一个实施例的结构示意图。该系统包括RTP包接收模块410、RTP包处理模块420和图像显示模块430。
RTP包接收模块410用于将接收的RTP包分为多段，其中，每段RTP包包括预定数量的RTP包。RTP包接收模块410可以为RTP包接收服务器，例如，RTP包接收服务器实时侦听网络上RTP事件，并将接收到的RTP包按一定数量分为一组或一段。例如，将32个RTP包作为一组或一段。
RTP包处理模块420用于将当前段RTP包与前段离散RTP包作为一组进行排序。前段离散RTP包为前段RTP包排序处理后的非连续的离散包，即上一个接收到的非连续的RTP尾部的离散包。
图像显示模块430用于将排序后的RTP包进行处理，以实现图像显示。例如，对RTP包进行解包、解码、格式转换等处理，从而能够显示图像。
在该实施例中，将接收的RTP包分为多段，并将当前段RTP包与前段离散RTP包作为一组进行排序，将排序后的RTP包进行处理，以实现图像显示，由于提供给RTP解包、解码的图像帧信息是经过时序重排后的有序信息，因此，能够解决由于RTP包时序的混乱而导致的图像时延长及抖动问题。
图5为本公开图像接收处理系统的另一个实施例的结构示意图。该系统包括RTP包接收模块510、RTP存储单元520、RTP包处理模块530、离散包存储模块540和图像显示模块550。
RTP包接收模块510用于将接收的RTP包分为多段，其中，每段RTP包包括预定数量的RTP包。其中，可以合理配置每段RTP包的个数，例如，可以将32个RTP包作为一段RTP包。
RTP存储单元520用于将每一段RTP包存入RTP包分组池的空闲RTP包队列，并按照时间顺序为每个RTP包队列排序。其中，将最先进入队列的一段RTP包作为当前段RTP包。RTP包分组池是由多个先进先出的队列及一个离散RTP包序列组成。可以合理配置RTP包分组池队列数量大小。其中，每个队列用于存放一组RTP包，每个队列有一个组序列计数器及状态标识，分别用于标注RTP包组的先后次序及该队列是否空闲，可根据每个队列的状态确定是否可以存放收到的RTP包组，并修改状态及组序列。
RTP包处理模块530用于将当前段RTP包与前段离散RTP包作为一组进行排序。RTP包处理模块530在从RTP存储单元520的RTP包队列中获取当前段RTP包时，从离散包存储模块540的离散包序列中取出前段RTP包排序处理后的非连续的RTP包。
离散包存储模块540用于将排序后的RTP包尾部的非连续的RTP包存入RTP包分组池的离散包序列。离散RTP包序列用于存放每组RTP排序处理后的非连续的离散包，非连续RTP包一般出现在排序后序列的末尾。
图像显示模块550用于将排序后的RTP包进行解包、解码、格式转换等处理，并进行图像显示。
在该实施例中，将接收的RTP包分为多段，每段RTP包存入RTP包分组池的相应队列，并将最先进入队列的一段RTP包作为当前段RTP包，并从离散包序列中取出前段RTP包排序处理后的非连续的离散包，将当前段RTP包与前段离散RTP包作为一组进行排序，将排序后的RTP包尾部的非连续的离散包存入RTP包分组池的离散包序列，并将排序后的RTP包进行解包、解码、图像显示等处理，能够实现组内和组间RTP包序列的重排序，解决RTP包乱序引起的图像花屏及抖动问题，同时解决了采用RTP缓存而带来的图像处理时延长的问题。
图6为本公开图像接收处理系统的再一个实施例的结构示意图。该系统包括：存储器610和处理器620，其中：存储器610可以是磁盘、闪存或其它任何非易失性存储介质。存储器用于存储图1-3所对应实施例中的指令。处理器620耦接至存储器610，可以作为一个或多个集成电路来实施，例如微处理器或微控制器。该处理器620用于执行存储器中存储的指令。
在一个实施例中，还可以如图7所示，该系统700包括存储器710和处理器720。处理器720通过BUS总线730耦合至存储器710。该系统700还可以通过存储接口740连接至外部存储装置750以便调用外部数据，还可以通过网络接口760连接至网络或者另外一台计算机系统(未标出)，此处不再进行详细介绍。
在该实施例中，通过存储器存储数据指令，再通过处理器处理上述指令，能够解决RTP包乱序引起的图像花屏及抖动问题。
在另一个实施例中，一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现图1-3所对应实施例中的方法的步骤。本领域内的技术人员应明白，本公开的实施例可提供为方法、装置、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
至此，已经详细描述了本公开。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改。本公开的范围由所附权利要求来限定。
Claims (10)
1.一种图像接收处理方法，包括：
将接收的实时传输协议RTP包分为多段，其中，每段RTP包包括预定数量的RTP包；
将当前段RTP包与前段离散RTP包作为一组进行排序；
将排序后的RTP包进行处理，以实现图像显示。
2.根据权利要求1所述的图像接收处理方法，其中，
所述前段离散RTP包为前段RTP包排序处理后的非连续的RTP包。
3.根据权利要求1或2所述的图像接收处理方法，还包括：
将每一段RTP包存入RTP包分组池的空闲RTP包队列，并按照时间顺序为每个RTP包队列排序；
其中，将最先进入队列的一段RTP包作为当前段RTP包。
4.根据权利要求3所述的图像接收处理方法，还包括：
将排序后的RTP包尾部的非连续的RTP包存入所述RTP包分组池的离散包序列；
其中，在从所述RTP包队列中获取当前段RTP包时，从所述离散包序列中取出前段RTP包排序处理后的非连续的RTP包。
5.一种图像接收处理系统，包括：
RTP包接收模块，用于将接收的实时传输协议RTP包分为多段，其中，每段RTP包包括预定数量的RTP包；
RTP包处理模块，用于将当前段RTP包与前段离散RTP包作为一组进行排序；
图像显示模块，用于将排序后的RTP包进行处理，以实现图像显示。
6.根据权利要求5所述的图像接收处理系统，其中，
所述前段离散RTP包为前段RTP包排序处理后的非连续的RTP包。
7.根据权利要求5或6所述的图像接收处理系统，还包括：
RTP存储单元，用于将每一段RTP包存入RTP包分组池的空闲RTP包队列，并按照时间顺序为每个RTP包队列排序；
其中，将最先进入队列的一段RTP包作为当前段RTP包。
8.根据权利要求7所述的图像接收处理系统，还包括：
离散包存储模块，用于将排序后的RTP包尾部的非连续的RTP包存入所述RTP包分组池的离散包序列；
其中，在从所述RTP包队列中获取当前段RTP包时，从所述离散包序列中取出前段RTP包排序处理后的非连续的RTP包。
9.一种图像接收处理系统，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令执行如权利要求1至4任一项所述的图像接收处理方法。
10.一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现权利要求1至4任一项所述的图像接收处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811440856.5A CN111246290B (zh) | 2018-11-29 | 2018-11-29 | 图像接收处理方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811440856.5A CN111246290B (zh) | 2018-11-29 | 2018-11-29 | 图像接收处理方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111246290A true CN111246290A (zh) | 2020-06-05 |
| CN111246290B CN111246290B (zh) | 2022-07-05 |
Family
ID=70879225
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811440856.5A Active CN111246290B (zh) | 2018-11-29 | 2018-11-29 | 图像接收处理方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111246290B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1510919A (zh) * | 2002-12-23 | 2004-07-07 | ����ͨѶ�ɷ�����˾ | 会议电视多点控制设备中数据处理的方法及装置 |
| JP2006325103A (ja) * | 2005-05-20 | 2006-11-30 | Nippon Hoso Kyokai <Nhk> | コンテンツ送信装置及びそのプログラム、並びに、コンテンツ受信装置及びそのプログラム |
| US7170863B1 (en) * | 2001-02-12 | 2007-01-30 | Nortel Networks Limited | Push-to-talk wireless telecommunications system utilizing a voice-over-IP network |
| CN101014001A (zh) * | 2006-11-13 | 2007-08-08 | 陈哲 | Rtp报文修补装置、rtp报文排序方法和填补方法 |
| JP2008017075A (ja) * | 2006-07-05 | 2008-01-24 | Nec Corp | 通信制御装置及びそれに用いる通信制御方法並びにそのプログラム |
| JP2009147825A (ja) * | 2007-12-17 | 2009-07-02 | Toshiba Corp | Ｒｔｐパケット送信装置及びｒｔｐパケット受信装置 |
| CN101588220A (zh) * | 2008-05-22 | 2009-11-25 | 展讯通信（上海）有限公司 | 一种跨协议层误码处理方法和装置 |
| CN101616060A (zh) * | 2008-06-27 | 2009-12-30 | 中兴通讯股份有限公司 | 一种iptv终端组播转单播切换方法及系统 |
| CN101771599A (zh) * | 2008-12-26 | 2010-07-07 | 中国移动通信集团公司 | 一种rtp数据包接收处理方法及装置 |
| CN103108256A (zh) * | 2013-03-08 | 2013-05-15 | 苏州工业园区云视信息技术有限公司 | 一种接收rtp包时消除抖动乱序重包的方法 |
| US20130208079A1 (en) * | 2012-02-10 | 2013-08-15 | Polycom, Inc. | System and Method for Handling Critical Packets Loss in Multi-Hop RTP Streaming |
| CN103503401A (zh) * | 2011-12-31 | 2014-01-08 | 华为技术有限公司 | 一种流媒体数据处理方法、装置及系统 |
| CN104469538A (zh) * | 2014-12-09 | 2015-03-25 | 西安理工大学 | 面向画面画质较小损失的rtp视频流数据包重组方法 |
-
2018
- 2018-11-29 CN CN201811440856.5A patent/CN111246290B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7170863B1 (en) * | 2001-02-12 | 2007-01-30 | Nortel Networks Limited | Push-to-talk wireless telecommunications system utilizing a voice-over-IP network |
| CN1510919A (zh) * | 2002-12-23 | 2004-07-07 | ����ͨѶ�ɷ�����˾ | 会议电视多点控制设备中数据处理的方法及装置 |
| JP2006325103A (ja) * | 2005-05-20 | 2006-11-30 | Nippon Hoso Kyokai <Nhk> | コンテンツ送信装置及びそのプログラム、並びに、コンテンツ受信装置及びそのプログラム |
| JP2008017075A (ja) * | 2006-07-05 | 2008-01-24 | Nec Corp | 通信制御装置及びそれに用いる通信制御方法並びにそのプログラム |
| CN101014001A (zh) * | 2006-11-13 | 2007-08-08 | 陈哲 | Rtp报文修补装置、rtp报文排序方法和填补方法 |
| JP2009147825A (ja) * | 2007-12-17 | 2009-07-02 | Toshiba Corp | Ｒｔｐパケット送信装置及びｒｔｐパケット受信装置 |
| CN101588220A (zh) * | 2008-05-22 | 2009-11-25 | 展讯通信（上海）有限公司 | 一种跨协议层误码处理方法和装置 |
| CN101616060A (zh) * | 2008-06-27 | 2009-12-30 | 中兴通讯股份有限公司 | 一种iptv终端组播转单播切换方法及系统 |
| CN101771599A (zh) * | 2008-12-26 | 2010-07-07 | 中国移动通信集团公司 | 一种rtp数据包接收处理方法及装置 |
| CN103503401A (zh) * | 2011-12-31 | 2014-01-08 | 华为技术有限公司 | 一种流媒体数据处理方法、装置及系统 |
| US20130208079A1 (en) * | 2012-02-10 | 2013-08-15 | Polycom, Inc. | System and Method for Handling Critical Packets Loss in Multi-Hop RTP Streaming |
| CN103108256A (zh) * | 2013-03-08 | 2013-05-15 | 苏州工业园区云视信息技术有限公司 | 一种接收rtp包时消除抖动乱序重包的方法 |
| CN104469538A (zh) * | 2014-12-09 | 2015-03-25 | 西安理工大学 | 面向画面画质较小损失的rtp视频流数据包重组方法 |
Non-Patent Citations (1)
| Title |
|---|
| 郭一楠: ""基于RTP的AVS2视频流传输与播放系统的设计与实现"", 《中国优秀硕士学位论文全文数据库》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111246290B (zh) | 2022-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9894381B1 (en) | Managing multi-reference picture buffers for video data coding | |
| US20170142174A1 (en) | Communication apparatus, communication data generation method, and communication data processing method | |
| US10862940B1 (en) | Low latency live video on a communication session | |
| EP3127287B1 (en) | Signaling and operation of an mmtp de-capsulation buffer | |
| CN111918096A (zh) | 云导播快速切换输入源的方法、装置、设备及存储介质 | |
| CN110740380A (zh) | 视频处理方法和装置、存储介质及电子装置 | |
| US9264737B2 (en) | Error resilient transmission of random access frames and global coding parameters | |
| US9246830B2 (en) | Method and apparatus for multimedia queue management | |
| US9609341B1 (en) | Video data encoding and decoding using reference picture lists | |
| KR102480751B1 (ko) | Mmt에서 미디어 데이터의 저 지연 소비 시그날링 및 동작 방법 및 장치 | |
| CN109862400B (zh) | 一种流媒体传输方法、装置及其系统 | |
| US9936266B2 (en) | Video encoding method and apparatus | |
| WO2012154156A1 (en) | Apparatus and method for rendering video using post-decoding buffer | |
| CN111246290B (zh) | 图像接收处理方法和装置 | |
| US9426460B2 (en) | Electronic devices for signaling multiple initial buffering parameters | |
| CN107079132A (zh) | 在视频电话中的端口重配置之后馈送经帧内译码的视频帧 | |
| US20150281724A1 (en) | Method and apparatus for encapsulation of random access information for media transport and storage | |
| US10506283B2 (en) | Video decoding and rendering using combined jitter and frame buffer | |
| KR20150086110A (ko) | 부호화된 비디오 스트림 전송 장치 및 방법 | |
| US20200021821A1 (en) | Resilient transmission of raw video streams over an ip communication network | |
| JP6872538B2 (ja) | メディア伝送システムにおけるビデオビットストリームのランダムアクセス及び再生方法 | |
| CN106131565B (zh) | 使用联合抖动-帧缓冲区的视频解码及渲染 | |
| CN112073823A (zh) | 丢帧处理方法、视频播放终端及计算机可读存储介质 | |
| Foessel et al. | Software Defined Ultra-low Latency Video-Over-IP System with Compression | |
| JP2009060553A (ja) | Ｍｐｅｇデータの送受信方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |