CN106791997B - 一种在接收端的流媒体数据的处理方法及系统、电视终端 - Google Patents

一种在接收端的流媒体数据的处理方法及系统、电视终端 Download PDF

Info

Publication number
CN106791997B
CN106791997B CN201611250905.XA CN201611250905A CN106791997B CN 106791997 B CN106791997 B CN 106791997B CN 201611250905 A CN201611250905 A CN 201611250905A CN 106791997 B CN106791997 B CN 106791997B
Authority
CN
China
Prior art keywords
image frame
frame
image
key
integrity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611250905.XA
Other languages
English (en)
Other versions
CN106791997A (zh
Inventor
祁冠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TCL Technology Group Co Ltd
Original Assignee
TCL Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TCL Technology Group Co Ltd filed Critical TCL Technology Group Co Ltd
Priority to CN201611250905.XA priority Critical patent/CN106791997B/zh
Publication of CN106791997A publication Critical patent/CN106791997A/zh
Application granted granted Critical
Publication of CN106791997B publication Critical patent/CN106791997B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明适用于通信技术领域，提供了一种在接收端的流媒体数据的处理方法及系统、电视终端，所述处理方法包括：按预设时间长度对接收的流媒体数据进行分段，获得两段以上流媒体数据，每一段所述流媒体数据包括两个以上图像组，每一所述图像组包括两个以上图像帧；解码一图像帧，获得解码数据；基于所述解码数据判断所述图像帧是否为关键帧；当所述图像帧为关键帧时，基于所述图像帧的完整度来判断是否需要丢帧处理；当所述图像帧为非关键帧时，基于所述图像帧所在的图像组的有效关键帧的数量来判断所述图像帧是否有效。本发明中的技术方案可提高流媒体播放的流畅性。

Description

一种在接收端的流媒体数据的处理方法及系统、电视终端
技术领域
本发明属于通信技术领域，尤其涉及一种在接收端的流媒体数据的处理方法及系统、电视终端。
背景技术
目前，一般的流媒体数据的传输分为两种情况：一种是将音视频数据进行交织传输，一种是音视频数据分开进行传输。但是无论哪种情况，都会因为视频数据占用较大的带宽和对终端的处理能力要求较高，在一定程度上会影响用户的体验。音视频播放效果受限于采样图像的上传速度以及采样数据的递交成功率。采样的部分数据可能无法及时发送到网络上而被丢弃，或者数据报在传输过程中由于信道噪声的干扰而产生错误被路由器或交换机丢弃或者先发送的数据后到达而被丢弃，这样就导致接收端收到的是不完整的数据，于是出现不同程度的花屏和卡屏。
现有技术中，常见的H.264编码将采样的图像分为帧内编码帧、前向预测编码帧、双向预测内插值编码帧。帧内编码帧就是关键帧，接收端收到数据后解码时只需要本帧数据就可以完成。而其他两种统称为非关键帧，非关键帧的解码需要关键帧的参与。当解码时如果关键帧丢失会导致该关键帧所属的图像组(GOP)的图像出现模糊，即花屏。如果丢弃缺失关键帧的图像组，那么该时间段内没有新的图像出现，会导致卡屏。卡屏和花屏在带宽受限的条件下无法完全避免，在这种情形下，在接收端如何处理丢失关键帧部分缺失的图像组，来达到卡屏与花屏的平衡，使得播放更流畅是本发明要解决的问题。
发明内容
本发明实施例提供了一种在接收端的流媒体数据的处理方法及系统、电视终端，旨在解决现有技术中因流媒体数据在传输过程中因丢失关键帧而造成播放卡屏的问题。
本发明实施例是这样实现的，一种在接收端的流媒体数据的处理方法，包括：
按预设时间长度对接收的流媒体数据进行分段，获得两段以上流媒体数据，每一段所述流媒体数据包括两个以上图像组，每一所述图像组包括两个以上图像帧；
解码一图像帧，获得解码数据；
基于所述解码数据判断所述图像帧是否为关键帧；
当所述图像帧为关键帧时，基于所述图像帧的完整度来判断是否需要丢帧处理；
当所述图像帧为非关键帧时，基于所述图像帧所在的图像组的有效关键帧的数量来判断所述图像帧是否有效。
优选地，所述当所述图像帧为关键帧时，基于所述图像帧的完整度来判断是否需要丢帧处理具体包括：
在所述关键帧所在的时间段中，记录关键帧的数量加1；
基于所述图像帧的完整度判断所述图像帧是否为有效关键帧；
当所述图像帧为无效关键帧时，计算所述图像帧所在时间段的流媒体数据的流畅度；
基于所计算的流畅度来确认是否需要丢帧处理。
优选地，所述基于所述图像帧的完整度判断所述图像帧是否为有效关键帧具体包括：
基于所述图像帧的大小计算所述图像帧的完整度；
基于所述图像帧所在时间段的每一关键帧的完整度计算所述图像帧所在时间段的关键帧的加权完整度；
基于所述图像帧的完整度及所计算的加权完整度判断所述图像帧是否为有效关键帧。
优选地，所述基于所述图像帧的完整度及所计算的加权完整度判断所述图像帧是否为有效关键帧具体包括：
判断所述图像帧的完整度是否小于所述关键帧的加权完整度；
当所述图像帧的完整度小于所述关键帧的加权完整度时，确认所述图像帧为无效关键帧；
当所述图像帧的完整度不小于所述关键帧的加权完整度时，确认所述图像帧为有效关键帧。
优选地，所述当所述图像帧为无效关键帧时，计算所述图像帧所在时间段的流媒体的流畅度具体为：
基于流畅度公式计算所述图像帧所在时间段的流媒体数据的流畅度，所述流畅度公式为：流畅度＝所述图像帧所在时间段的有效关键帧的数量/关键帧的数量。
优选地，所述基于所计算的流畅度来确认是否需要丢帧处理具体包括：
判断所计算的流畅度是否小于流畅度阈值；
当所计算的流畅度不小于所述流畅度阈值时，丢弃所述图像帧；
当所计算的流畅度小于所述流畅度阈值时，基于所述图像帧的可播放度来确定所述图像帧是否可播放。
优选地，所述基于所述图像帧的可播放度来确定所述图像帧是否可播放具体包括:
计算所述图像帧的可播放度；
判断所计算的可播放度是否小于可播放度阈值；
当所计算的可播放度小于可播放度阈值时，将所述图像帧标记为不可播放；
当所计算的可播放度不小于可播放度阈值时，确认所述图像帧为有效关键帧，记录有效关键帧的数量加1，将所述图像帧标记为可播放。
优选地，所述当所述图像帧为非关键帧时，基于所述图像帧所在的图像组是否存在有效关键帧来判断所述图像帧是否有效具体包括：
记录非关键帧的数量加1；
判断所述图像帧所在图像组是否存在有效关键帧；
当存在时，确认所述图像帧为有效非关键帧；
当不存在时，标记所述图像帧不可播放。
本发明还提供一种在接收端的流媒体数据的处理系统，包括：
分段处理模块，用于按预设时间长度对接收的流媒体数据进行分段，获得两段以上流媒体数据，每一段所述流媒体数据包括两个以上图像组，每一所述图像组包括两个以上图像帧；
解码模块，用于解码一图像帧，获得解码数据；
关键帧判断模块，用于基于所述解码数据判断所述图像帧是否为关键帧；
关键帧处理模块，用于基于图像帧的完整度来判断是否需要丢帧处理；
非关键帧处理模块，用于基于图像帧所在的图像组的有效关键帧的数量来判断图像帧是否有效。
本发明还提供一种电视终端，所述电视终端包括一种在接收端的流媒体数据的处理系统，所述处理系统包括：
分段处理模块，用于按预设时间长度对接收的流媒体数据进行分段，获得两段以上流媒体数据，每一段所述流媒体数据包括两个以上图像组，每一所述图像组包括两个以上图像帧；
解码模块，用于解码一图像帧，获得解码数据；
关键帧判断模块，用于基于所述解码数据判断所述图像帧是否为关键帧；
关键帧处理模块，用于基于图像帧的完整度来判断是否需要丢帧处理；
非关键帧处理模块，用于基于图像帧所在的图像组的有效关键帧的数量来判断图像帧是否有效。
在本发明实施例中，接收端接收到流媒体数据之后，对流媒体数据进行分段，对每一段的图像帧进行分析，当该图像帧为关键帧时，基于关键帧的完整度来进行相应的处理，当该图像帧为非关键帧时，基于其所在图像组的有效关键帧数量来确认该图像帧是否有效，可提高流媒体播放的流畅性。
附图说明
图1是本发明第一实施例提供的一种在接收端的流媒体数据的处理方法的流程图；
图2是本发明第一实施例提供的一种在接收端的流媒体数据的处理方法的步骤S4的具体流程图；
图3是本发明第一实施例提供的一种在接收端的流媒体数据的处理方法的步骤S42的具体流程图；
图4是本发明第一实施例提供的一种在接收端的流媒体数据的处理方法的步骤S43的具体流程图；
图5是本发明第一实施例提供的一种在接收端的流媒体数据的处理方法的步骤S432的具体流程图；
图6是本发明第一实施例提供的一种在接收端的流媒体数据的处理方法的步骤S5的具体流程图；
图7是本发明第二实施例提供的一种在接收端的流媒体数据的处理系统的结构图；
图8是本发明第二实施例提供的一种在接收端的流媒体数据的处理系统的关键帧处理模块4的具体结构图；
图9是本发明第二实施例提供的一种在接收端的流媒体数据的处理系统的完整度判断单元42的具体结构图；
图10是本发明第二实施例提供的一种在接收端的流媒体数据的处理系统的关键帧处理单元43的具体结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例中，一种在接收端的流媒体数据的处理方法，包括：按预设时间长度对接收的流媒体数据进行分段，获得两段以上流媒体数据，每一段所述流媒体数据包括两个以上图像组，每一所述图像组包括两个以上图像帧；解码一图像帧，获得解码数据；基于所述解码数据判断所述图像帧是否为关键帧；当所述图像帧为关键帧时，基于所述图像帧的完整度来判断是否需要丢帧处理；当所述图像帧为非关键帧时，基于所述图像帧所在的图像组的有效关键帧的数量来判断所述图像帧是否有效。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例一：
图1示出了本发明第一实施例提供的一种在接收端的流媒体数据的处理方法的流程图，包括：
步骤S1、按预设时间长度对接收的流媒体数据进行分段，获得两段以上流媒体数据；
具体地，接收端接收到流媒体数据后，需要对流媒体数据进行分段处理，按预设时间长度对接收的流媒体数据进行分段，形成两段以上流媒体数据，每一段流媒体数据包括两个以上图像组，而每一图像组包括两个以上的图像帧，该流媒体数据携带每一图像帧的类型、发送端发出的对应图像帧的大小、接收端接收到的该图像帧的大小，所述图像帧的类型包括图像帧为关键帧或者非关键帧的标记，而每一图像组包括一个关键帧及至少一个非关键帧，所述预设时间长度可根据实际情况而设，此处对此不作限制。进一步地，流媒体数据有对应的播放时长，根据预设时间长度对该播放时长进行分段处理，得到两段以上时间段，该时间段对应一段流媒体数据。
步骤S2、解码一图像帧，获得解码数据；
具体地，逐一对每一接收的图像帧进行解码，获得对应的解码数据，该解码数据包括图像帧的属性、发送端发出的对应图像帧的大小、接收端接收到的该图像帧的大小，所述图像帧的属性包括图像帧为关键帧或者非关键帧的标记。
步骤S3、基于解码数据判断图像帧是否为关键帧；
具体地，对图像帧进行解码后，基于解码数据判断该图像帧是否为关键帧，由于解码数据携带图像帧的相关信息，例如类型，基于该图像帧的类型可判断其是否为关键帧，当该图像帧是关键帧时，转到步骤S4，否则转到步骤S5；
步骤S4、基于图像帧的完整度来判断是否需要丢帧处理；
具体地，当该图像帧属于关键帧时，需要记录关键帧的数量，本实施例中，会记录每一时间段的关键帧及非关键帧的数量、每一图像组的关键帧、非关键帧的数量，此时当该图像帧为关键帧时，在该图像帧所在时间段的关键帧数量记录中加1，而在该图像帧所在图像组中关键帧的数量记录也加1，然后基于图像帧的完整度来判断是否需要丢帧处理。
步骤S5、基于图像帧所在的图像组的有效关键帧的数量来判断图像帧是否有效。
具体地，当该图像帧为非关键帧时，在该图像帧所在时间段，记录非关键帧的数量加1，在该图像帧所在图像组记录非关键帧的数量加1，基于该图像帧所在图像组的有效关键帧数量来判断是否可播放该图像帧。
在本实施例的一个优选方案中，在步骤S1之前还可包括：
步骤S0、接收流媒体数据；
具体地，接收端接收发送端或者数据源发送的流媒体数据。
本实施例中，接收端接收到流媒体数据之后，对流媒体数据进行分段，对每一段的图像帧进行分析，当该图像帧为关键帧时，基于关键帧的完整度来进行相应的处理，当该图像帧为非关键帧时，基于其所在图像组的有效关键帧数量来确认该图像帧是否有效，可提供流媒体播放的流畅性。
在本实施例的一个优选方案中，如图2所示，为本发明第一实施例提供的一种在接收端的流媒体数据的处理方法的步骤S4的具体流程图，该步骤S4包括：
步骤S41、记录关键帧所在的时间段中，关键帧的数量加1；
具体地，在该关键帧所在的时间段中，记录关键帧的数量加1，且在该关键帧所在的图像组中记录关键帧的数量加1。
步骤S42、基于图像帧的完整度判断图像帧是否为有效关键帧；
具体地，可根据图像帧的完整度来判断其是否为有效关键帧，当该图像帧为有效关键帧时，转到步骤S43，否则转到步骤S44；
步骤S43、根据该图像帧所在时间段的流媒体的流畅度来确认是否需要丢帧处理；
步骤S44、记录有效关键帧的数量加1；
具体地，在该图像帧所在的时间段记录有效关键帧数量加1，并在该图像帧所在图像组中标记该图像帧为有效关键帧，可播放。
在本实施例的一个优选方案中，如图3所示，为本发明第一实施例提供的一种在接收端的流媒体数据的处理方法的步骤S42的具体流程图，该步骤S42包括：
步骤S421、基于图像帧的大小计算图像帧的完整度；
具体地，在数据传输过程中，接收端接收的图像帧的大小与发送端发送的图像帧的大小可能不一致，即传输过程可能会出现数据丢失，该图像帧的完整度为接收端接收的图像帧的大小与发送端发送的图像帧的大小(即图像帧原本的大小)之间的比值。
步骤S422、基于图像帧所在时间段的每一关键帧的完整度计算图像帧所在时间段的关键帧的加权完整度；
具体地，由于在一个时间段内，可包括两个以上关键帧，加权完整度计算过程为：采用加权完整度公式来计算该加权完整度，该加权完整度公式为：
Figure GDA0002446650760000091
其中，所述p为当前关键帧(即当图像帧为关键帧时)的权重，m为当前图像帧所在时间段记录的其他关键帧的数量，i为当前关键帧所在时间段的其他任一关键帧，Wi为当前图像帧所在时间段记录的其他关键帧对应的完整度，Wd为当前图像帧的完整度，所述当前关键帧的权重可根据实际情况而设，例如可谓0.5、0.8等，此处对此不作限制。
步骤S423、基于图像帧的完整度及所计算的加权完整度判断图像帧是否为有效关键帧。
具体地，计算出该图像帧的完整度及加权完整度后，将二者进行比较，当图像帧的完整度小于该图像帧所在时间段的关键帧的加权完整度时，表示该图像帧为无效关键帧，转到步骤S43；当不小于(大于或等于)时，表示该图像帧为有效关键帧，转到步骤S44。
在本实施例的一个优选方案中，如图4所示，为本发明第一实施例提供的一种在接收端的流媒体数据的处理方法的步骤S43的具体流程图，该步骤S43包括：
步骤S431、计算图像帧所在时间段的流媒体数据的流畅度；
具体地，根据流畅度公式来计算该图像帧所在时间段的流媒体数据的流畅度，该流畅度公式为：L＝NY/NG,其中，L为流畅度，该NY为该关键帧所在时间段的有效关键帧的数量，NG为该关键帧所在时间段的关键帧的数量。
步骤S432、基于所计算的流畅度来确认是否需要丢帧处理；
具体地，将所计算的流畅度与流畅度阈值进行比较，当所计算的流畅度小于流畅度阈值时，表示当前时间段的流媒体数据的播放流畅度不好，当所计算的流畅度大于或等于流畅度阈值时，表示当前时间段的流媒体数据播放的流畅度较好。
在本实施例的一个优选方案中，如图5所示，为本发明第一实施例提供的一种在接收端的流媒体数据的处理方法的步骤S432的具体流程图，该步骤S432包括：
步骤S4321、判断所计算的流畅度是否小于流畅度阈值；
具体地，判断所计算的流畅度是否小于流畅度阈值，当小于时，转到步骤S4323，当不小于时转到步骤S4322；
步骤S4322、丢弃该图像帧；
具体地，当所计算的流畅度大于或等于流畅度阈值时，表示当前时间段的播放流畅度，图片帧的连续性较好，无须关注该图像帧，可对该图像帧作丢帧处理，不会对播放质量产生明显影响，将该图像帧标为不可播放。
步骤S4323、基于图像帧的可播放度来确定图像帧是否可播放。
具体地，当所计算的流畅度小于流畅度阈值时，表示当前播放的图像帧连续性不好，需要进一步确认是否播放该图像帧，可通过该图像帧的可播放度来确认。
进一步地，该步骤S4323具体包括：
计算该图像帧的可播放度；
具体地，根据可播放度公式来计算，该可播放度公式为：可播放度＝当前图像帧的权重*当前图像帧的完整度+流畅度权重*当前图像帧所在时间段的流媒体数据的流畅度+连续度权重*当前图像帧所在时间段的流媒体数据的连续度，其中，上述当前图像帧的权重、流畅度权重及连续度权重可根据实际情况提前设置，此处对此不作限制。
优选地，上述当前图像帧所在时间段的流媒体数据的连续度可根据连续度公式来计算，该连续度公式为：连续度＝图像帧所在时间段的有效帧的完整度之和/图像帧所在时间段的有效帧的数量，其中，该有效帧包括有效关键帧及有效非关键帧。
判断所计算的可播放度是否小于可播放度阈值；
具体地，将所计算的可播放度与可播放度阈值进行比较，该可播放度阈值根据实际情况而设，此处对此不作限制；
当所计算的可播放度小于该可播放度阈值时，表示该图像帧不可播放，将该图像帧标记为不可播放，后续可对其作丢帧处理；
当所计算的可播放度不小于该可播放度阈值时，表示该图像帧具有一定的可播放性，将该图像帧标记为可播放，定义该图像帧为有效关键帧，在图像帧所在时间段记录有效关键帧数量加1。
在本实施例的一个优选方案中，如图6所示，为本本发明第一实施例提供的一种在接收端的流媒体数据的处理方法的步骤S5的具体流程图，该步骤S5包括：
步骤S51、记录非关键帧的数量加1；
具体地，在该图像帧所在的时间端，记录非关键帧的数量加1，在该图像帧所在的图像组，记录非关键帧的数量加1；
步骤S52、判断图像帧所在图像组是否存在有效关键帧；
具体地，分析图像帧所在的图像组，判断该图像组中是否存在有效关键帧，当判断为是时，转到步骤S53，否则转到步骤S54；
步骤S53、确认图像帧为有效非关键帧；
具体地，若该图像组中存在有效关键帧，则确认该图像帧为有效非关键帧，将该图像帧标记为有效非关键帧，在该图像帧所在时间段记录有效非关键帧的数量加1；且在该图像组中记录有效非关键帧的数量也加1。
步骤S53、标记该图像帧不可播放；
具体地，若该图像组中不存在有效关键帧，则确认该图像帧为无效非关键帧，标记该图像帧为不可播放。
本实施例中，本实施例中，接收端接收到流媒体数据之后，对流媒体数据进行分段，对每一段的图像帧进行分析，当该图像帧为关键帧时，基于关键帧的完整度来进行相应的处理，当该图像帧为非关键帧时，基于其所在图像组的有效关键帧数量来确认该图像帧是否有效，可提高流媒体播放的流畅性。
其次，对每一图像帧进行分析，并且分析该图像帧所在的时间段的流媒体数据播放的流畅度、该图像帧的可播放度来确认该图像帧是否可播放，根据确认结果来进行相应的处理，可一定程度上提高播放的流畅性。
实施例二：
图7示出了本发明第二实施例提供的一种在接收端的流媒体数据的处理系统的结构图，包括：分段处理模块1、与分段处理模块1连接的解码模块2、与解码模块2连接的关键帧判断模块3、与关键帧判断模块3连接的关键帧处理模块4、与关键帧判断模块3连接的非关键帧处理模块5，其中：
分段处理模块1，用于按预设时间长度对接收的流媒体数据进行分段，获得两段以上流媒体数据，每一段所述流媒体数据包括两个以上图像组，每一所述图像组包括两个以上图像帧；
按预设时间长度对接收的流媒体数据进行分段，获得两段以上流媒体数据；
具体地，接收端接收到流媒体数据后，需要对流媒体数据进行分段处理，按预设时间长度对接收的流媒体数据进行分段，形成两段以上流媒体数据，每一段流媒体数据包括两个以上图像组，而每一图像组包括两个以上的图像帧，该流媒体数据携带每一图像帧的类型、发送端发出的对应图像帧的大小、接收端接收到的该图像帧的大小，所述图像帧的类型包括图像帧为关键帧或者非关键帧的标记，而每一图像组包括一个关键帧及至少一个非关键帧，所述预设时间长度可根据实际情况而设，此处对此不作限制。进一步地，流媒体数据有对应的播放时长，根据预设时间长度对该播放时长进行分段处理，得到两段以上时间段，该时间段对应一段流媒体数据。
解码模块2，用于解码一图像帧，获得解码数据；
具体地，逐一对每一接收的图像帧进行解码，获得对应的解码数据，该解码数据包括图像帧的属性、发送端发出的对应图像帧的大小、接收端接收到的该图像帧的大小，所述图像帧的属性包括图像帧为关键帧或者非关键帧的标记。
关键帧判断模块3，用于基于解码数据判断所述图像帧是否为关键帧；
具体地，对图像帧进行解码后，基于解码数据判断该图像帧是否为关键帧，由于解码数据携带图像帧的相关信息，例如类型，基于该图像帧的类型可判断其是否为关键帧，当判断为关键帧时，将结果反馈给关键帧处理模块4，若判断为非关键帧时，将结果反馈给非关键帧处理模块5；
关键帧处理模块4，用于基于图像帧的完整度来判断是否需要丢帧处理。
具体地，当该图像帧属于关键帧时，关键帧处理模块4需要记录关键帧的数量，本实施例中，会记录每一时间段的关键帧及非关键帧的数量、每一图像组的关键帧、非关键帧的数量，此时当该图像帧为关键帧时，在该图像帧所在时间段的关键帧数量记录中加1，而在该图像帧所在图像组中关键帧的数量记录也加1，然后基于图像帧的完整度来判断是否需要丢帧处理。
非关键帧处理模块5，用于基于图像帧所在的图像组的有效关键帧的数量来判断图像帧是否有效。
具体地，当该图像帧为非关键帧时，在该图像帧所在时间段，记录非关键帧的数量加1，在该图像帧所在图像组记录非关键帧的数量加1，基于该图像帧所在图像组的有效关键帧数量来判断是否可播放该图像帧。
在本实施例的一个优选方案中，该处理系统还可包括：与分段处理模块1连接的接收模块6，其中：
接收模块6，用于接收流媒体数据；
具体地，接收端接收发送端或者数据源发送的流媒体数据。
本实施例中，接收端的接收模块6接收到流媒体数据之后，对流媒体数据进行分段，对每一段的图像帧进行分析，当该图像帧为关键帧时，基于关键帧的完整度来进行相应的处理，当该图像帧为非关键帧时，基于其所在图像组的有效关键帧数量来确认该图像帧是否有效，可提供流媒体播放的流畅性。
在本实施例的一个优选方案中，如图8所示，为本发明第二实施例提供的一种在接收端的流媒体数据的处理系统的关键帧处理模块4的具体结构图，该关键帧处理模块4包括：记录单元41、与记录单元41连接的完整度判断单元42、与完整度判断单元42连接的关键帧处理单元43，其中：
记录单元41、用于记录关键帧所在的时间段中，关键帧的数量加1；
具体地，在该关键帧所在的时间段中，记录关键帧的数量加1，且在该关键帧所在的图像组中记录关键帧的数量加1。
完整度判断单元42，用于基于图像帧的完整度判断图像帧是否为有效关键帧；
具体地，可根据图像帧的完整度来判断其是否为有效关键帧,并将判断结果反馈给关键帧处理单元43。
关键帧处理单元43，在判断该关键帧为有效关键帧时，用于记录有效关键帧的数量加1；
具体地，在该图像帧所在的时间段记录有效关键帧数量加1，并在该图像帧所在图像组中标记该图像帧为有效关键帧，可播放。
并且，在该图像帧为无效关键帧时，用于根据该图像帧所在时间段的流媒体的流畅度来确认是否需要丢帧处理。
在本实施例的一个优选方案中，如图9所示，为本发明第二实施例提供的一种在接收端的流媒体数据的处理系统的完整度判断单元42的具体结构图，该完整度判断单元42具体包括：完整度计算子单元421、与完整度计算子单元421连接的加权完整度计算子单元422、与加权完整度计算子单元422连接的有效判断子单元423，其中：
完整度计算子单元421，用于基于图像帧的大小计算图像帧的完整度；
具体地，在数据传输过程中，接收端接收的图像帧的大小与发送端发送的图像帧的大小可能不一致，即传输过程可能会出现数据丢失，该图像帧的完整度为接收端接收的图像帧的大小与发送端发送的图像帧的大小(即图像帧原本的大小)之间的比值。
加权完整度计算子单元422，用于基于图像帧所在时间段的每一关键帧的完整度计算图像帧所在时间段的关键帧的加权完整度；
具体地，由于在一个时间段内，可包括两个以上关键帧，加权完整度计算过程为：采用加权完整度公式来计算该加权完整度，，该加权完整度公式为：
Figure GDA0002446650760000151
其中，所述p为当前关键帧(即当图像帧为关键帧时)的权重，m为当前图像帧所在时间段记录的其他关键帧的数量，i为当前关键帧所在时间段的其他任一关键帧，Wi为当前图像帧所在时间段记录的其他关键帧对应的完整度，Wd为当前图像帧的完整度，所述当前关键帧的权重可根据实际情况而设，例如可谓0.5、0.8等，此处对此不作限制。
有效判断子单元423，用于基于图像帧的完整度及所计算的加权完整度判断图像帧是否为有效关键帧。
具体地，计算出该图像帧的完整度及加权完整度后，将二者进行比较，当图像帧的完整度小于该图像帧所在时间段的关键帧的加权完整度时，表示该图像帧为无效关键帧，当不小于(大于或等于)时，表示该图像帧为有效关键帧。
在本实施例的一个优选方案中，如图10所示，为本发明第二实施例提供的一种在接收端的流媒体数据的处理系统的关键帧处理单元43的具体结构图,该关键帧处理单元43具体包括：流畅度计算子单元431、与流畅度计算子单元431连接的关键帧处理子单元432，其中：
流畅度计算子单元431，用于计算图像帧所在时间段的流媒体数据的流畅度；
具体地，根据流畅度公式来计算该图像帧所在时间段的流媒体数据的流畅度，该流畅度公式为：L＝NY/NG,其中，L为流畅度，该NY为该关键帧所在时间段的有效关键帧的数量，NG为该关键帧所在时间段的关键帧的数量。
关键帧处理子单元432，用于基于所计算的流畅度来确认是否需要丢帧处理；
具体地，将所计算的流畅度与流畅度阈值进行比较，当所计算的流畅度小于流畅度阈值时，表示当前时间段的流媒体数据的播放流畅度不好，当所计算的流畅度大于或等于流畅度阈值时，表示当前时间段的流媒体数据播放的流畅度较好。
在本实施例的一个优选方案中，该关键帧处理子单元432具体包括：流畅度判断子单元、与流畅度判断子单元连接的第一处理子单元及第二处理子单元，其中：
流畅度判断子单元,用于判断所计算的流畅度是否小于流畅度阈值；
具体地，判断所计算的流畅度是否小于流畅度阈值，当小于时将判断结果反馈给第一判断子单元，当不小于时将判断结果反馈给第二处理子单元；
第一处理子单元，用于丢弃该图像帧；
具体地，当所计算的流畅度大于或等于流畅度阈值时，表示当前时间段的播放流畅度，图片帧的连续性较好，无须关注该图像帧，可对该图像帧作丢帧处理，不会对播放质量产生明显影响，将该图像帧标为不可播放。
第二处理子单元，用于基于图像帧的可播放度来确定图像帧是否可播放。
具体地，当所计算的流畅度小于流畅度阈值时，表示当前播放的图像帧连续性不好，需要进一步确认是否播放该图像帧，可通过该图像帧的可播放度来确认。
在本实施例的一个优选方案中，该第二处理子单元具体用于：
计算该图像帧的可播放度；
具体地，根据可播放度公式来计算，该可播放度公式为：可播放度＝当前图像帧的权重*当前图像帧的完整度+流畅度权重*当前图像帧所在时间段的流媒体数据的流畅度+连续度权重*当前图像帧所在时间段的流媒体数据的连续度，其中，上述当前图像帧的权重、流畅度权重及连续度权重可根据实际情况提前设置，此处对此不作限制。
优选地，上述当前图像帧所在时间段的流媒体数据的连续度可根据连续度公式来计算，该连续度公式为：连续度＝图像帧所在时间段的有效帧的完整度之和/图像帧所在时间段的有效帧的数量，其中，该有效帧包括有效关键帧及有效非关键帧。
判断所计算的可播放度是否小于可播放度阈值；
具体地，将所计算的可播放度与可播放度阈值进行比较，该可播放度阈值根据实际情况而设，此处对此不作限制；
当所计算的可播放度小于该可播放度阈值时，表示该图像帧不可播放，将该图像帧标记为不可播放，后续可对其作丢帧处理；
当所计算的可播放度不小于该可播放度阈值时，表示该图像帧具有一定的可播放性，将该图像帧标记为可播放，定义该图像帧为有效关键帧，在图像帧所在时间段记录有效关键帧数量加1。
在本实施例的一个优选方案中，该非关键帧处理模块5具体包括：非关键帧记录单元、与非关键帧记录单元连接的图像帧判断单元、与图像帧判断单元连接的非关键帧处理单元，其中：
非关键帧记录单元，用于记录非关键帧的数量加1；
具体地，在该图像帧所在的时间段对应记录非关键帧的数量加1，在该图像帧所在的图像组，记录非关键帧的数量加1；
图像帧判断单元，用于判断图像帧所在图像组是否存在有效关键帧；
具体地，分析图像帧所在的图像组，判断该图像组中是否存在有效关键帧，并将判断结果反馈给非关键帧处理单元，其中：
非关键帧处理单元，用于在图像帧所在图像组存在有效关键帧时，确认所述图像帧为有效非关键帧；
具体地，若该图像组中存在有效关键帧，则确认该图像帧为有效非关键帧，将该图像帧标记为有效非关键帧，在该图像帧所在时间段记录有效非关键帧的数量加1；且在该图像组中记录有效非关键帧的数量也加1。
并且，在图像帧所在图像组不存在有效关键帧时，用于标记该图像帧不可播放；
具体地，若该图像组中不存在有效关键帧，则确认该图像帧为无效非关键帧，标记该图像帧为不可播放。
本实施例中，本实施例中，接收端接收到流媒体数据之后，对流媒体数据进行分段，对每一段的图像帧进行分析，当该图像帧为关键帧时，基于关键帧的完整度来进行相应的处理，当该图像帧为非关键帧时，基于其所在图像组的有效关键帧数量来确认该图像帧是否有效，可提高流媒体播放的流畅性。
其次，对每一图像帧进行分析，并且分析该图像帧所在的时间段的流媒体数据播放的流畅度、该图像帧的可播放度来确认该图像帧是否可播放，根据确认结果来进行相应的处理，可一定程度上提高播放的流畅性。
本发明还提出一种电视终端，该电视终端与现有技术的电视终端结构基本一致，该电视终端还包括一种在接收端的流媒体数据的处理系统，该处理系统的具体结构及工作原理与上述实施例的描述基本一致，此处不再赘述。
本发明中，接收端接收到流媒体数据之后，对流媒体数据进行分段，对每一段的图像帧进行分析，当该图像帧为关键帧时，基于关键帧的完整度来进行相应的处理，当该图像帧为非关键帧时，基于其所在图像组的有效关键帧数量来确认该图像帧是否有效，可提高流媒体播放的流畅性。
其次，对每一图像帧进行分析，并且分析该图像帧所在的时间段的流媒体数据播放的流畅度、该图像帧的可播放度来确认该图像帧是否可播放，根据确认结果来进行相应的处理，可一定程度上提高播放的流畅性。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。
专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (9)

1.一种在接收端的流媒体数据的处理方法，其特征在于，包括：
按预设时间长度对接收的流媒体数据进行分段，获得两段以上流媒体数据，每一段所述流媒体数据包括两个以上图像组，每一所述图像组包括两个以上图像帧；
解码一图像帧，获得解码数据；
基于所述解码数据判断所述图像帧是否为关键帧；
当所述图像帧为关键帧时，基于所述图像帧的完整度来判断是否需要丢帧处理；
当所述图像帧为非关键帧时，基于所述图像帧所在的图像组的有效关键帧的数量来判断所述图像帧是否有效；
所述当所述图像帧为关键帧时，基于所述图像帧的完整度来判断是否需要丢帧处理具体包括：
在所述关键帧所在的时间段中，记录关键帧的数量加1；
基于所述图像帧的完整度判断所述图像帧是否为有效关键帧；
当所述图像帧为无效关键帧时，计算所述图像帧所在时间段的流媒体数据的流畅度；
基于所计算的流畅度来确认是否需要丢帧处理。
2.根据权利要求1所述的处理方法，其特征在于，所述基于所述图像帧的完整度判断所述图像帧是否为有效关键帧具体包括：
基于所述图像帧的大小计算所述图像帧的完整度；
基于所述图像帧所在时间段的每一关键帧的完整度计算所述图像帧所在时间段的关键帧的加权完整度；
基于所述图像帧的完整度及所计算的加权完整度判断所述图像帧是否为有效关键帧。
3.根据权利要求2所述的处理方法，其特征在于，所述基于所述图像帧的完整度及所计算的加权完整度判断所述图像帧是否为有效关键帧具体包括：
判断所述图像帧的完整度是否小于所述关键帧的加权完整度；
当所述图像帧的完整度小于所述关键帧的加权完整度时，确认所述图像帧为无效关键帧；
当所述图像帧的完整度不小于所述关键帧的加权完整度时，确认所述图像帧为有效关键帧。
4.根据权利要求3所述的处理方法，其特征在于，所述当所述图像帧为无效关键帧时，计算所述图像帧所在时间段的流媒体的流畅度具体为：
基于流畅度公式计算所述图像帧所在时间段的流媒体数据的流畅度，所述流畅度公式为：流畅度＝所述图像帧所在时间段的有效关键帧的数量/关键帧的数量。
5.根据权利要求4所述的处理方法，其特征在于，所述基于所计算的流畅度来确认是否需要丢帧处理具体包括：
判断所计算的流畅度是否小于流畅度阈值；
当所计算的流畅度不小于所述流畅度阈值时，丢弃所述图像帧；
当所计算的流畅度小于所述流畅度阈值时，基于所述图像帧的可播放度来确定所述图像帧是否可播放，所述可播放度根据下式计算：可播放度＝当前图像帧的权重*当前图像帧的完整度+流畅度权重*当前图像帧所在时间段的流媒体数据的流畅度+连续度权重*当前图像帧所在时间段的流媒体数据的连续度，其中，上述当前图像帧的权重、流畅度权重及连续度权重根据实际情况提前设置，上述当前图像帧所在时间段的流媒体数据的连续度可根据连续度公式计算，所述连续度公式为：连续度＝图像帧所在时间段的有效帧的完整度之和/图像帧所在时间段的有效帧的数量，其中，有效帧包括有效关键帧及有效非关键帧。
6.根据权利要求5所述的处理方法，其特征在于，所述基于所述图像帧的可播放度来确定所述图像帧是否可播放具体包括:
计算所述图像帧的可播放度；
判断所计算的可播放度是否小于可播放度阈值；
当所计算的可播放度小于可播放度阈值时，将所述图像帧标记为不可播放；
当所计算的可播放度不小于可播放度阈值时，确认所述图像帧为有效关键帧，记录有效关键帧的数量加1，将所述图像帧标记为可播放。
7.根据权利要求6所述的处理方法，其特征在于，所述当所述图像帧为非关键帧时，基于所述图像帧所在的图像组是否存在有效关键帧来判断所述图像帧是否有效具体包括：
记录非关键帧的数量加1；
判断所述图像帧所在图像组是否存在有效关键帧；
当存在时，确认所述图像帧为有效非关键帧；
当不存在时，标记所述图像帧不可播放。
8.一种在接收端的流媒体数据的处理系统，其特征在于，包括：
分段处理模块，用于按预设时间长度对接收的流媒体数据进行分段，获得两段以上流媒体数据，每一段所述流媒体数据包括两个以上图像组，每一所述图像组包括两个以上图像帧；
解码模块，用于解码一图像帧，获得解码数据；
关键帧判断模块，用于基于所述解码数据判断所述图像帧是否为关键帧；
关键帧处理模块，用于基于图像帧的完整度来判断是否需要丢帧处理；
非关键帧处理模块，用于基于图像帧所在的图像组的有效关键帧的数量来判断图像帧是否有效；
记录单元，用于记录关键帧所在的时间段中，关键帧的数量加1；
完整度判断单元，用于基于图像帧的完整度判断图像帧是否为有效关键帧；
关键帧处理单元，在判断出该关键帧为无效关键帧时，根据该图像帧所在时间段的流媒体的流畅度来确认是否需要丢帧处理。
9.一种电视终端，其特征在于，包括如权利要求8所述的一种在接收端的流媒体数据的处理系统。
CN201611250905.XA 2016-12-29 2016-12-29 一种在接收端的流媒体数据的处理方法及系统、电视终端 Active CN106791997B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611250905.XA CN106791997B (zh) 2016-12-29 2016-12-29 一种在接收端的流媒体数据的处理方法及系统、电视终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611250905.XA CN106791997B (zh) 2016-12-29 2016-12-29 一种在接收端的流媒体数据的处理方法及系统、电视终端

Publications (2)

Publication Number Publication Date
CN106791997A CN106791997A (zh) 2017-05-31
CN106791997B true CN106791997B (zh) 2020-08-04

Family

ID=58927690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611250905.XA Active CN106791997B (zh) 2016-12-29 2016-12-29 一种在接收端的流媒体数据的处理方法及系统、电视终端

Country Status (1)

Country Link
CN (1) CN106791997B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107645674B (zh) * 2017-09-15 2020-05-22 成都视达科信息技术有限公司 一种视频播放方法和系统
CN108600794B (zh) * 2018-05-21 2021-03-02 深圳市梦网科技发展有限公司 一种丢帧率的校正方法、装置及终端
CN108881775B (zh) * 2018-05-30 2021-05-28 维沃移动通信有限公司 一种视频通信方法和移动终端
CN109029237B (zh) * 2018-09-20 2020-09-08 中电建路桥集团有限公司 一种基于静态基线观测值的gnss监测网准动态数据处理方法
CN111385523B (zh) * 2018-12-27 2022-10-28 北京图森智途科技有限公司 一种数据接收方法、图像处理设备和汽车
CN110446099B (zh) * 2019-08-14 2021-06-15 北京壹灵壹教育科技股份有限公司 一种局域网跨平台屏幕广播系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7215871B2 (en) * 2001-07-27 2007-05-08 Thomson Licensing Changing a playback speed for video presentation recorded in a field structure format
CN1722830A (zh) * 2004-07-13 2006-01-18 皇家飞利浦电子股份有限公司 一种编码数据的解码方法和装置
US7571246B2 (en) * 2004-07-29 2009-08-04 Microsoft Corporation Media transrating over a bandwidth-limited network
CN101068210B (zh) * 2007-06-20 2012-11-28 中兴通讯股份有限公司 多媒体数据传输方法
CN101646218B (zh) * 2009-08-14 2012-11-21 南京工业大学 一种基于gop的多路径源路由协议实现方法
CN101795264A (zh) * 2009-12-30 2010-08-04 北京新岸线网络技术有限公司 一种视频数据传送方法及系统
CN102104468A (zh) * 2011-02-18 2011-06-22 中兴通讯股份有限公司 一种基于路由代理的媒体感知arq控制方法及系统
CN102740064B (zh) * 2012-06-15 2015-02-18 福建星网视易信息系统有限公司 对讲系统中流媒体传输的组包方法
CN106162375A (zh) * 2015-04-14 2016-11-23 宏碁股份有限公司 影像播放装置及影像播放方法
CN105828180A (zh) * 2016-03-31 2016-08-03 努比亚技术有限公司 一种缓存视频帧的装置和方法

Also Published As

Publication number Publication date
CN106791997A (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
CN106791997B (zh) 一种在接收端的流媒体数据的处理方法及系统、电视终端
CN109618179B (zh) 超高清视频直播的快速起播方法及装置
CA2742716C (en) Method and system for determining a quality value of a video stream
CN100591120C (zh) 视频通信方法及装置
CN104618786A (zh) 音视频同步方法和装置
CN105227963A (zh) 对终端进行流媒体采集自动识别方向并调整的方法及系统
CN111093083B (zh) 数据传输方法及装置
CN101426133A (zh) 用于发送运动图像数据的方法和通信设备
CN110769269A (zh) 一种局域网屏幕直播延迟优化方法
CN110149515B (zh) 数据传输方法及装置
US20110135286A1 (en) Apparatus and method for extracting key frames and apparatus and method for recording broadcast signals using the same
CN111641804A (zh) 视频数据处理方法和装置、终端、摄像头及视频会议系统
JP4787210B2 (ja) 映像品質推定方法、装置、およびプログラム
CN110708569B (zh) 一种视频处理方法、装置、电子设备及存储介质
CN101867801A (zh) 一种通信方法和通信系统
CN108307248A (zh) 视频播放方法、装置、计算设备及存储介质
CN113207040A (zh) 一种视频远程快速回放的数据处理方法、装置及系统
Carreira et al. Error concealment-aware encoding for robust video transmission
CN113613048A (zh) 虚拟形象表情驱动方法和系统
CN110677728A (zh) 播放视频的方法、装置、设备及存储介质
JP5141656B2 (ja) 通信制御装置、通信制御方法、および通信制御プログラム
JP2009171023A (ja) 画質評価装置、画質評価方法、画質評価用プログラム、及び映像受信端末
CN118055243B (zh) 数字电视的音视频编码处理方法、装置及设备
JP2009194609A (ja) 映像品質推定装置、方法、およびプログラム
Beg et al. Performance evaluation of error resilient tools for MPEG-4 video transmission over a mobile channel

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 516006 TCL technology building, No.17, Huifeng Third Road, Zhongkai high tech Zone, Huizhou City, Guangdong Province

Applicant after: TCL Technology Group Co.,Ltd.

Address before: 516006 Guangdong province Huizhou Zhongkai hi tech Development Zone No. nineteen District

Applicant before: TCL RESEARCH AMERICA Inc.

GR01 Patent grant
GR01 Patent grant