CN112188284A - 一种基于无线视频监控系统的客户端低延时平滑播放方法 - Google Patents

一种基于无线视频监控系统的客户端低延时平滑播放方法 Download PDF

Info

Publication number
CN112188284A
CN112188284A CN202011144648.8A CN202011144648A CN112188284A CN 112188284 A CN112188284 A CN 112188284A CN 202011144648 A CN202011144648 A CN 202011144648A CN 112188284 A CN112188284 A CN 112188284A
Authority
CN
China
Prior art keywords
video
iter
video data
cluster
data packet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011144648.8A
Other languages
English (en)
Other versions
CN112188284B (zh
Inventor
董明洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WUHAN YANGTZE COMMUNICATIONS INDUSTRY GROUP CO LTD
Wuhan Yangtze Communications Zhilian Technology Co ltd
Original Assignee
WUHAN YANGTZE COMMUNICATIONS INDUSTRY GROUP CO LTD
Wuhan Yangtze Communications Zhilian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WUHAN YANGTZE COMMUNICATIONS INDUSTRY GROUP CO LTD, Wuhan Yangtze Communications Zhilian Technology Co ltd filed Critical WUHAN YANGTZE COMMUNICATIONS INDUSTRY GROUP CO LTD
Priority to CN202011144648.8A priority Critical patent/CN112188284B/zh
Publication of CN112188284A publication Critical patent/CN112188284A/zh
Application granted granted Critical
Publication of CN112188284B publication Critical patent/CN112188284B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331—Caching operations, e.g. of an advertisement for later insertion during playback

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提出了一种基于无线视频监控系统的客户端低延时平滑播放方法。本发明通过移动视频终端采集视频图像数据，并无线传输至所述视频服务器；视频服务器根据客户端的视频请求，将视频图像数据分解为多段视频数据包，并依次传输至客户端；客户端建立数据缓冲池，将每段视频数据包通过解析为多帧图像，并得到每段视频数据包中图像的帧数；客户端通过均值聚类算法优化将视频数据包中图像的帧数分为多个簇，得到优化后每个簇的对象以及优化后每个簇的质心；客户端根据优化后每个簇的质心计算优化后每个簇的对象的帧率，得到每段视频数据包的帧率，客户端根据每段视频数据包的帧率进行视频播放。本发明既能保证播放的平滑性，又能确保延时较低。

Description

一种基于无线视频监控系统的客户端低延时平滑播放方法
技术领域
本发明属于视频播放技术领域，尤其涉及一种基于无线视频监控系统的客户端低延时平滑播放方法。
背景技术
经过近几年的持续努力，当前我国4G网络覆盖率已达95％，网络带宽的大幅提高为无线视频传输提供了有力保障。作为智能交通的重要一环，运营车辆运营过程中的安全性和高效管理性是必须要解决的首要问题，因此建立4G视频监控系统是今后运营车辆管理的必然趋势。
4G无线视频产品主要应用在长途客运车、城市公交、城际巴士、旅游大巴车、城市出租车、物流运输车等领域。
4G视频监控系统主要包括三个部分：4G视频终端、视频后台服务、视频预览客户端。4G视频终端负责采集视频并上传视频流，视频后台服务负责终端的接入及视频流的转发，视频客户端负责接收服务端转发过来的视频流数据并解码显示给客户预览。
4G视频监控终端采用无线信道进行通信，由于无线信道的传输信号不稳定，加上传输过程中不同传输介质网络间的数据交换，数据流的编码与解码，会导致终端视频在远程客户端浏览时有延时。同时因为网络中间节点的派对等待时间不同或网络路由选择路径不同的原因，数据流的发送接收也会不均衡，时快时慢，有波峰波谷现象，形成数据从发送端到接收端经历时延变化的网络抖动现象。
针对网络时延问题，目前采用的方案就是接收到一个完整的视频帧数据马上进行解码播放，整个过程的时延仅仅是传输延迟，主要取决于当时的网络带宽和网络负载情况，这样虽然时延最小，但因为网络抖动现象，数据到来的并不均匀，所以会出现客户端视频画面时快时慢的“卡顿”现象。
为了解决这种卡顿现象，现有技术会从视频终端及客户端两方面着手，终端会依据网络传输快慢来动态调节视频帧率，网络状况好，可以采用相对较高帧率，网络状况不佳，采用低帧率模式，这样可以确保视频数据的正常上传，较好的解决网络负载均衡问题。客户端接收数据采用缓冲模式，先将视频数据流缓冲起来，然后根据终端视频数据的帧率，按帧率间隔对缓冲的帧数据进行解码播放，在视频数据发送接收两端相对一致的情况下，视频播放会较为平滑，但因为从发送端到接收端有网络抖动，客户端按发送端帧率播放仍不能完全解决播放的平滑性问题。
发明内容
本发明所要解决的技术问题是：无线视频监控系统客户端实现低延时和平滑播放，本方法改进了现有无线视频监控客户端接收到视频数据即刻播放的处理方式，因为这种处理方式虽延时小，但播放时快时慢，卡顿不平滑；同时也改进了按视频终端发送帧率来处理客户端视频数据播放预览导致的延时过大的问题。
为了解决上述问题，本发明提出了一种基于无线视频监控系统的客户端低延时平滑播放方法。
本发明无线视频监控系统包括：移动视频终端、视频服务器、客户端；
所述移动视频终端与所述视频服务器通过无线方式连接；所述视频服务器与所述客户端通过有线方式连接；
所述移动视频终端部署于车辆上；
本发明客户端低延时平滑播放方法，其特征在于，包括以下步骤：
步骤1：移动视频终端采集视频图像数据，并无线传输至所述视频服务器；
步骤2：视频服务器根据客户端的视频请求，将视频图像数据分解为多段视频数据包，并依次传输至客户端；
步骤3：客户端建立数据缓冲池，依次缓冲视频服务器传输的视频数据包，将每段视频数据包通过解析为多帧图像，并得到每段视频数据包中图像的帧数；
步骤4：客户端通过均值聚类算法优化将视频数据包中图像的帧数分为多个簇，得到优化后每个簇的对象以及优化后每个簇的质心；
步骤5：客户端根据优化后每个簇的质心计算优化后每个簇的对象的帧率，进一步得到每段视频数据包的帧率，客户端根据每段视频数据包的帧率进行视频播放；
作为优选，步骤3所述视频数据包为：
Figure BDA0002739282750000021
其中，N为视频数据包的分段数量，datai为第i段视频数据包，xi,j为第i段视频数据包中第j帧图像，Mi为第i段视频数据包中图像的帧数；
步骤3所述每段视频数据包中图像的帧数为：
M1,M2,...,MN
作为优选，步骤4所述通过均值聚类算法优化将视频数据包中图像的帧数分为多个簇为：
步骤4.1：随机选取K个质心，并初始化每个质心；
所述并初始化每个质心为：
{Citer,1，Citer,2，Citer,3...Citer,K}
其中，Citer,k表示第iter次迭代更新过程中第k个簇的质心，iter∈[0,MAX]，iter＝0表示初始化质心，iter＝MAX表示达到最大迭代此处，k∈[1,K],K为质心的数量即簇的数量；
步骤4.2：计算视频数据包中图像的帧数与质心之间的欧式距离，根据欧式距离将视频数据包中图像的帧数划分至对应的簇中，作为簇中对象；
所述欧式距离为：
Piter,i,k＝|Mi-Citer,k|
i∈[1,N]，k∈[1,K]，iter∈[0,MAX]；
其中，N为视频数据包的数量,K为质心的数量即簇的数量，iter＝0表示初始化质心，iter＝MAX表示达到最大迭代次数，Piter,i,k为第iter次迭代更新过程中第i段视频数据包中图像的帧数与第k个簇的质心之间的欧式距离；
所述将视频数据包中图像的帧数划分至对应的簇中为：
定义第i段视频数据包中图像的帧数的K个欧式距离里面为：
Piter,i,1,Piter,i,2,...,Piter,i,K；
在Piter,i,1,Piter,i,2,...,Piter,i,K选取最小值为
Figure BDA0002739282750000032
即第iter次迭代更新过程中第i段视频数据包中图像的帧数所属的簇为第kmin个簇，并作为第kmin个簇的对象；
步骤4.3：根据簇中对象更新每个簇的质心，并作为下一次迭代更新的质心；
Figure BDA0002739282750000031
其中，Citer+1,k表示更新后第iter次迭代更新过程中第k簇的质心，即作为第iter+1次迭代更新过程中第k簇的质心，Liter,k表示第iter次迭代更新后第k簇中对象的数量，qiter,k,s表示第iter次迭代更新后第k簇中第s个对象，即通过所述步骤4.2根据欧式距离将视频数据包中图像的帧数；
步骤4.4：重复执行步骤4.2、步骤4.3直至达到最大迭代次数即iter＝MAX；
步骤4所述优化后每个簇的对象为：
Figure BDA0002739282750000041
其中，
Figure BDA0002739282750000042
为优化后第k个簇中第t个对象，t∈[1,Lk],表示对应视频数据包中图像的帧数，Lk表示优化后第k个簇中对象的数量，K为簇的数量；
步骤4所述优化后每个簇的质心为：
Figure BDA0002739282750000043
其中，
Figure BDA0002739282750000044
表示优化后第k个簇的质心，K为簇的数量；
作为优选，步骤5所述计算优化后每个簇的对象的帧率为：
Figure BDA0002739282750000045
其中，
Figure BDA0002739282750000046
表示优化后第k个簇的质心，K为簇的数量，a为线性因子,F＝125为帧数上限值，b＝100为帧率上限值，fk表示优化后第k个簇的对象的帧率，即根据均值聚类算法的相似性可知簇中每个对象与簇的质心相似度较高，将fk作为优化后第k个簇中每个对象的帧率，即将fk作为
Figure BDA0002739282750000047
每个对应的帧率，
Figure BDA0002739282750000048
为优化后第k个簇中第t个对象，t∈[1,Lk],Lk表示优化后第k个簇中对象的数量；
步骤5所述进一步得到每段视频数据包的帧率为：
Figure BDA0002739282750000049
表示对应视频数据包中图像的帧数，根据fk从而得到对应视频数据包中图像的帧数的帧率。
本发明优点在于：
本发明在处理无线视频监控系统客户端视频播放时，不对视频终端发送视频数据帧率提出要求，无论固定帧率或动态变帧率均可。
在接收客户端建立数据缓冲池，然后以间隔时间段轮询缓冲池中帧数据。
将每段视频数据包的帧数样本按均值聚类算法归类，算法输出的每类质心通过帧率与帧数线性关系函数获取其对应帧率，归入每类的对象按质心对应帧率进行视频播放。
根据实际监控要求，选择分类K值，通过K值保证视频播放线性渐变，这样既能保证播放的平滑性，又能确保延时较低，满足行业监控的指标要求。
附图说明
图1：无线视频监控系统架构图。
图2：客户端视频数据缓冲池结构图。
图3：初始质心分布图。
图4：帧数质心归类图。
图5：帧数质心重新计算图。
图6：缓冲池帧数分类演算最终质心图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。对于需要实际情况分析的参数，我们在上文已注明参数设定方法在此不做赘述。
下面结合图1至图6介绍本发明的具体实施方式为一种基于无线视频监控系统的客户端低延时平滑播放方法。
本发明无线视频监控系统包括：移动视频终端、视频服务器、客户端；
所述移动视频终端与所述视频服务器通过无线方式连接；所述视频服务器与所述客户端通过有线方式连接；
所述移动视频终端部署于车辆上；
所述移动视频终端选型为深圳锐明公司D5MP型号产品；
所述视频服务器选型为阿里云ECS c5独享型50M带宽服务器；
所述客户端选型为Windows10 64位专业版+IE 11浏览器；
本发明客户端低延时平滑播放方法，其特征在于，包括以下步骤：
步骤1：移动视频终端采集视频图像数据，并无线传输至所述视频服务器，详见附图1。
步骤2：视频服务器根据客户端的视频请求，将视频图像数据分解为多段视频数据包，并依次传输至客户端，详见附图2。
步骤3：客户端建立数据缓冲池，依次缓冲视频服务器传输的视频数据包，将每段视频数据包通过解析为多帧图像，并得到每段视频数据包中图像的帧数；
步骤3所述视频数据包为：
Figure BDA0002739282750000061
其中，N为视频数据包的分段数量，datai为第i段视频数据包，xi,j为第i段视频数据包中第j帧图像，Mi为第i段视频数据包中图像的帧数；
步骤3所述每段视频数据包中图像的帧数为：
M1,M2,...,MN
步骤4：客户端通过均值聚类算法优化将视频数据包中图像的帧数分为多个簇，得到优化后每个簇的对象以及优化后每个簇的质心；
步骤4所述通过均值聚类算法优化将视频数据包中图像的帧数分为多个簇为：
步骤4.1：随机选取K＝5个质心，并初始化每个质心；
所述并初始化每个质心为：
{Citer,1，Citer,2，Citer,3...Citer,K}
其中，Citer,k表示第iter次迭代更新过程中第k个簇的质心，iter∈[0,MAX]，iter＝0表示初始化质心，iter＝MAX表示达到最大迭代此处，k∈[1,K],K＝5为质心的数量即簇的数量，C0,1＝7，C0,2＝17，C0,3＝28，C0,4＝40，C0,5＝70，见附图3。
步骤4.2：计算视频数据包中图像的帧数与质心之间的欧式距离，根据欧式距离将视频数据包中图像的帧数划分至对应的簇中，作为簇中对象；
所述欧式距离为：
Piter,i,k＝|Mi-Citer,k|
i∈[1,N]，k∈[1,K]，iter∈[0,MAX]；
其中，N为视频数据包的数量,K为质心的数量即簇的数量，iter＝0表示初始化质心，iter＝MAX表示达到最大迭代次数，Piter,i,k为第iter次迭代更新过程中第i段视频数据包中图像的帧数与第k个簇的质心之间的欧式距离；
见附图4，所述将视频数据包中图像的帧数划分至对应的簇中为：
定义第i段视频数据包中图像的帧数的K个欧式距离里面为：
Piter,i,1,Piter,i,2,...,Piter,i,K；
在Piter,i,1,Piter,i,2,...,Piter,i,K选取最小值为
Figure BDA0002739282750000071
即第iter次迭代更新过程中第i段视频数据包中图像的帧数所属的簇为第kmin个簇，并作为第kmin个簇的对象。
假定i＝1，iter＝0，M1＝10，P0，1，1＝3,P0，1，2＝7,P0，1，3＝18,P0，1，4＝30,P0，1，5＝60，选取最小值P0，1，1，M1归入第一个簇；
步骤4.3：根据簇中对象更新每个簇的质心，并作为下一次迭代更新的质心，见附图5；
Figure BDA0002739282750000072
其中，Citer+1,k表示更新后第iter次迭代更新过程中第k簇的质心，即作为第iter+1次迭代更新过程中第k簇的质心，Liter,k表示第iter次迭代更新后第k簇中对象的数量，qiter,k,s表示第iter次迭代更新后第k簇中第s个对象，即通过所述步骤4.2根据欧式距离将视频数据包中图像的帧数；
步骤4.4：重复执行步骤4.2、步骤4.3直至达到最大迭代次数即iter＝MAX；
步骤4所述优化后每个簇的对象为：
Figure BDA0002739282750000073
其中，
Figure BDA0002739282750000074
为优化后第k个簇中第t个对象，t∈[1,Lk],表示对应视频数据包中图像的帧数，Lk表示优化后第k个簇中对象的数量，K为簇的数量；
步骤4所述优化后每个簇的质心为：
Figure BDA0002739282750000075
其中，
Figure BDA0002739282750000076
表示优化后第k个簇的质心，K为簇的数量；
步骤5：客户端根据优化后每个簇的质心计算优化后每个簇的对象的帧率，进一步得到每段视频数据包的帧率，客户端根据每段视频数据包的帧率进行视频播放，见附图6。
步骤5所述计算优化后每个簇的对象的帧率为：
Figure BDA0002739282750000081
其中，
Figure BDA0002739282750000082
表示优化后第k个簇的质心，K为簇的数量，a为线性因子,F＝125为帧数上限值，b＝100为帧率上限值，fk表示优化后第k个簇的对象的帧率，即根据均值聚类算法的相似性可知簇中每个对象与簇的质心相似度较高，将fk作为优化后第k个簇中每个对象的帧率，即将fk作为
Figure BDA0002739282750000083
每个对应的帧率，
Figure BDA0002739282750000084
为优化后第k个簇中第t个对象，t∈[1,Lk],Lk表示优化后第k个簇中对象的数量；
步骤5所述进一步得到每段视频数据包的帧率为：
Figure BDA0002739282750000085
表示对应视频数据包中图像的帧数，根据fk从而得到对应视频数据包中图像的帧数的帧率。
总之，该技术方案解决了数据传输中网络抖动的影响，不管数据到来是快是慢，根据缓存帧数智能分区段渐变帧率播放，这样既可以保证防止缓冲池数据溢出，确保延时低，满足行业延时上限标准要求，又能减少出现缓冲池数据等待现象的概率。播放图像效果达到延时尽可能低，播放又相对平滑，提高用户视频监控体验。
当前4G无线视频监控系统客户端多采用接收数据即播或按设备发送数据帧率播放的方案。前一种方案虽延时小，但会有卡顿，后一种虽较为平滑，但延时会较大，也会因网络抖动出现卡顿现象。
本专利采用视频数据缓冲池及按缓冲池中视频帧数智能分区段渐变帧率播放的方案，既能很好的解决延时问题，又能做到播放的平滑预览。本专利有以下创新点：
按行业延时标准要求，可配置建立视频帧数据环形缓冲池，保证满足行业标准的低延时要求，同时防止了客户端运存资源的浪费。比如行业标准要求延时<＝8秒，按当前监控视频满帧率30帧/秒计，缓冲池帧数值为8*30＝240。
对缓冲池中缓存帧数按均质聚类算法划分区段，划分区段数动态可调整。
区段质心对应处理帧率按线性关系函数可调节。
按帧数归入区段播放视频图像，因区段之间的线性渐变确保区段处理视频的帧率渐变，从而保证监控客户端视频图像预览平滑。
应当理解的是，本申请书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本申请专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本申请权利要求所保护的范围情况下，还可以做出替换或变形，均落入本申请的保护范围之内，本申请的请求保护范围应以所附权利要求为准。

Claims (4)

1.一种基于无线视频监控系统的客户端低延时平滑播放方法，其特征在于：
所述无线视频监控系统包括：移动视频终端、视频服务器、客户端；
所述移动视频终端与所述视频服务器通过无线方式连接；所述视频服务器与所述客户端通过有线方式连接；所述移动视频终端部署于车辆上；
所述客户端低延时平滑播放方法包括以下步骤：
步骤1：移动视频终端采集视频图像数据，并无线传输至所述视频服务器；
步骤2：视频服务器根据客户端的视频请求，将视频图像数据分解为多段视频数据包，并依次传输至客户端；
步骤3：客户端建立数据缓冲池，依次缓冲视频服务器传输的视频数据包，将每段视频数据包通过解析为多帧图像，并得到每段视频数据包中图像的帧数；
步骤4：客户端通过均值聚类算法优化将视频数据包中图像的帧数分为多个簇，得到优化后每个簇的对象以及优化后每个簇的质心；
步骤5：客户端根据优化后每个簇的质心计算优化后每个簇的对象的帧率，进一步得到每段视频数据包的帧率，客户端根据每段视频数据包的帧率进行视频播放。
2.根据权利要求1所述的基于无线视频监控系统的客户端低延时平滑播放方法，其特征在于：
步骤3所述视频数据包为：
Figure FDA0002739282740000011
i∈[1,N]
其中，N为视频数据包的分段数量，datai为第i段视频数据包，xi,j为第i段视频数据包中第j帧图像，Mi为第i段视频数据包中图像的帧数；
步骤3所述每段视频数据包中图像的帧数为：
M1,M2,...,MN。
3.根据权利要求1所述的基于无线视频监控系统的客户端低延时平滑播放方法，其特征在于：
步骤4所述通过均值聚类算法优化将视频数据包中图像的帧数分为多个簇为：
步骤4.1：随机选取K个质心，并初始化每个质心；
所述并初始化每个质心为：
{Citer,1，Citer,2，Citer,3...Citer,K}
其中，Citer,k表示第iter次迭代更新过程中第k个簇的质心，iter∈[0,MAX]，iter＝0表示初始化质心，iter＝MAX表示达到最大迭代此处，k∈[1,K],K为质心的数量即簇的数量；
步骤4.2：计算视频数据包中图像的帧数与质心之间的欧式距离，根据欧式距离将视频数据包中图像的帧数划分至对应的簇中，作为簇中对象；
所述欧式距离为：
Piter,i,k＝|Mi-Citer,k|
i∈[1,N]，k∈[1,K]，iter∈[0,MAX]；
其中，N为视频数据包的数量,K为质心的数量即簇的数量，iter＝0表示初始化质心，iter＝MAX表示达到最大迭代次数，Piter,i,k为第iter次迭代更新过程中第i段视频数据包中图像的帧数与第k个簇的质心之间的欧式距离；
所述将视频数据包中图像的帧数划分至对应的簇中为：
定义第i段视频数据包中图像的帧数的K个欧式距离里面为：
Piter,i,1,Piter,i,2,...,Piter,i,K；
在Piter,i,1,Piter,i,2,...,Piter,i,K选取最小值为
Figure FDA0002739282740000021
即第iter次迭代更新过程中第i段视频数据包中图像的帧数所属的簇为第kmin个簇，并作为第kmin个簇的对象；
步骤4.3：根据簇中对象更新每个簇的质心，并作为下一次迭代更新的质心；
Figure FDA0002739282740000022
其中，Citer+1,k表示更新后第iter次迭代更新过程中第k簇的质心，即作为第iter+1次迭代更新过程中第k簇的质心，Liter,k表示第iter次迭代更新后第k簇中对象的数量，qiter,k,s表示第iter次迭代更新后第k簇中第s个对象，即通过所述步骤4.2根据欧式距离将视频数据包中图像的帧数；
步骤4.4：重复执行步骤4.2、步骤4.3直至达到最大迭代次数即iter＝MAX；
步骤4所述优化后每个簇的对象为：
Figure FDA0002739282740000031
Figure FDA0002739282740000032
其中，
Figure FDA0002739282740000033
为优化后第k个簇中第t个对象，t∈[1,Lk],表示对应视频数据包中图像的帧数，Lk表示优化后第k个簇中对象的数量，K为簇的数量；
步骤4所述优化后每个簇的质心为：
Figure FDA0002739282740000034
Figure FDA0002739282740000035
其中，
Figure FDA0002739282740000036
表示优化后第k个簇的质心，K为簇的数量。
4.根据权利要求1所述的基于无线视频监控系统的客户端低延时平滑播放方法，其特征在于：
步骤5所述计算优化后每个簇的对象的帧率为：
Figure FDA0002739282740000037
Figure FDA0002739282740000038
其中，
Figure FDA0002739282740000039
表示优化后第k个簇的质心，K为簇的数量，a为线性因子,F＝125为帧数上限值，b＝100为帧率上限值，fk表示优化后第k个簇的对象的帧率，即根据均值聚类算法的相似性可知簇中每个对象与簇的质心相似度较高，将fk作为优化后第k个簇中每个对象的帧率，即将fk作为
Figure FDA00027392827400000310
每个对应的帧率，
Figure FDA00027392827400000311
为优化后第k个簇中第t个对象，t∈[1,Lk],Lk表示优化后第k个簇中对象的数量；
步骤5所述进一步得到每段视频数据包的帧率为：
Figure FDA00027392827400000312
表示对应视频数据包中图像的帧数，根据fk从而得到对应视频数据包中图像的帧数的帧率。
CN202011144648.8A 2020-10-23 2020-10-23 一种基于无线视频监控系统的客户端低延时平滑播放方法 Active CN112188284B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011144648.8A CN112188284B (zh) 2020-10-23 2020-10-23 一种基于无线视频监控系统的客户端低延时平滑播放方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011144648.8A CN112188284B (zh) 2020-10-23 2020-10-23 一种基于无线视频监控系统的客户端低延时平滑播放方法

Publications (2)

Publication Number Publication Date
CN112188284A true CN112188284A (zh) 2021-01-05
CN112188284B CN112188284B (zh) 2022-10-04

Family

ID=73922678

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011144648.8A Active CN112188284B (zh) 2020-10-23 2020-10-23 一种基于无线视频监控系统的客户端低延时平滑播放方法

Country Status (1)

Country Link
CN (1) CN112188284B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2466924A1 (en) * 2001-11-09 2003-05-15 Creative Frontier, Inc. Real time interactive video system
JP2003143616A (ja) * 2001-11-02 2003-05-16 Mega Chips Corp データ転送方法
US20090080509A1 (en) * 2004-11-16 2009-03-26 Masanori Itoh Data processor
CN102185835A (zh) * 2011-04-14 2011-09-14 广东威创视讯科技股份有限公司 一种实时网络信号播放方法及装置
CN103678500A (zh) * 2013-11-18 2014-03-26 南京邮电大学 一种数据挖掘中基于线性判别分析的改进型k均值聚类方法
CN105191378A (zh) * 2013-03-07 2015-12-23 株式会社Ntt都科摩 无线基站、用户终端、无线通信系统以及无线通信方法
CN107169988A (zh) * 2017-05-12 2017-09-15 江苏大学 一种基于余弦距离层次聚类的关键帧提取方法
CN108965807A (zh) * 2018-07-17 2018-12-07 深圳市共进电子股份有限公司 实时视频的播放控制方法、装置、终端及存储介质
CN109168083A (zh) * 2018-10-23 2019-01-08 青岛海信电器股份有限公司 一种流媒体实时播放方法及装置
CN110609603A (zh) * 2019-09-20 2019-12-24 北京字节跳动网络技术有限公司 调频的方法及装置、终端和存储介质
CN110996038A (zh) * 2019-11-19 2020-04-10 清华大学 一种面向多人互动直播的自适应码率调节方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003143616A (ja) * 2001-11-02 2003-05-16 Mega Chips Corp データ転送方法
CA2466924A1 (en) * 2001-11-09 2003-05-15 Creative Frontier, Inc. Real time interactive video system
US20090080509A1 (en) * 2004-11-16 2009-03-26 Masanori Itoh Data processor
CN102185835A (zh) * 2011-04-14 2011-09-14 广东威创视讯科技股份有限公司 一种实时网络信号播放方法及装置
CN105191378A (zh) * 2013-03-07 2015-12-23 株式会社Ntt都科摩 无线基站、用户终端、无线通信系统以及无线通信方法
CN103678500A (zh) * 2013-11-18 2014-03-26 南京邮电大学 一种数据挖掘中基于线性判别分析的改进型k均值聚类方法
CN107169988A (zh) * 2017-05-12 2017-09-15 江苏大学 一种基于余弦距离层次聚类的关键帧提取方法
CN108965807A (zh) * 2018-07-17 2018-12-07 深圳市共进电子股份有限公司 实时视频的播放控制方法、装置、终端及存储介质
CN109168083A (zh) * 2018-10-23 2019-01-08 青岛海信电器股份有限公司 一种流媒体实时播放方法及装置
CN110609603A (zh) * 2019-09-20 2019-12-24 北京字节跳动网络技术有限公司 调频的方法及装置、终端和存储介质
CN110996038A (zh) * 2019-11-19 2020-04-10 清华大学 一种面向多人互动直播的自适应码率调节方法

Also Published As

Publication number Publication date
CN112188284B (zh) 2022-10-04

Similar Documents

Publication Publication Date Title
JP5897447B2 (ja) 品質及びレート情報に基づいてマルチメディアコンテンツのサイズを変更するための方法及びシステム
CN110351760A (zh) 一种移动边缘计算系统动态任务卸载及资源分配方法
WO2023116233A1 (zh) 视频卡顿预测方法、装置、设备和介质
CN113115067A (zh) 直播系统、视频处理方法及相关装置
CN114142907B (zh) 一种通信终端设备的信道筛选优化方法及系统
US9516210B2 (en) Method and apparatus for prioritizing data transmission in a wireless broadcasting system
US20170142029A1 (en) Method for data rate adaption in online media services, electronic device, and non-transitory computer-readable storage medium
CN111510879A (zh) 基于多约束效用函数的异构车联网网络选择方法及系统
CN112954385A (zh) 一种基于控制论和数据驱动的自适应分流决策方法
CN103248964A (zh) 基于rtp/rtcp的车载视频传输系统
WO2023010992A1 (zh) 视频编码方法、装置、计算机可读介质及电子设备
CN110418143B (zh) 一种车联网中svc视频的传输方法
CN112188284B (zh) 一种基于无线视频监控系统的客户端低延时平滑播放方法
CN104769960B (zh) 信息处理设备及信息处理方法
CN105323593B (zh) 一种多媒体转码调度方法和装置
CN105338371B (zh) 一种多媒体转码调度方法和装置
CN115002138B (zh) 一种基于终端无人机巡航视频数据的边缘缓存方法
WO2023078204A1 (zh) 数据处理方法、装置、设备、可读存储介质及程序产品
CN116962179A (zh) 网络传输优化方法、装置、计算机可读介质及电子设备
CN114071781B (zh) 一种无线局域网介质访问控制方法
CN113242446A (zh) 视频帧的缓存方法、转发方法、通信服务器及程序产品
Wang et al. Adaptive VR video data transmission method using mobile edge computing based on AIoT cloud VR
CN115442308B (zh) 一种电网监控数据流的分层传输方法
Kanai et al. Methods for adaptive video streaming and picture quality assessment to improve QoS/QoE performances
CN114979013B (zh) 一种面向多模态业务的传输模式选择与资源分配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant