CN105163181B - 一种在线视频节目分类方法及其装置 - Google Patents

一种在线视频节目分类方法及其装置 Download PDF

Info

Publication number
CN105163181B
CN105163181B CN201510475993.2A CN201510475993A CN105163181B CN 105163181 B CN105163181 B CN 105163181B CN 201510475993 A CN201510475993 A CN 201510475993A CN 105163181 B CN105163181 B CN 105163181B
Authority
CN
China
Prior art keywords
url
cluster
online video
video program
measurement result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510475993.2A
Other languages
English (en)
Other versions
CN105163181A (zh
Inventor
尤佳莉
齐卫宁
卓煜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Xinrand Network Technology Co ltd
Original Assignee
Institute of Acoustics CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Acoustics CAS filed Critical Institute of Acoustics CAS
Priority to CN201510475993.2A priority Critical patent/CN105163181B/zh
Publication of CN105163181A publication Critical patent/CN105163181A/zh
Application granted granted Critical
Publication of CN105163181B publication Critical patent/CN105163181B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H04N21/4665—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms involving classification methods, e.g. Decision trees
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26291—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for providing content or additional data updates, e.g. updating software modules, stored at the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明涉及一种在线视频节目分类方法及其装置，其中，该方法包括以下步骤：针对在线视频节目的统一资源定位符URL进行测量；根据测量结果对URL进行聚类；将聚类结果作为URL的分类标识；根据分类标识，以及在线视频节目的元数据获取分类模型，对于获得的分类模型可以应用于新的在线视频节目的分类。本发明可以在几乎不降低精度的情况下提高对视频网站在线视频节目服务质量的评价效率。

Description

一种在线视频节目分类方法及其装置
技术领域
本发明涉及在线视频节目分类技术，特别涉及一种在线视频节目分类方法及其装置。
背景技术
在研究在线视频服务的服务质量的时候我们发现，对于在线视频服务而言，同一个网站存在大量不同的视频节目，又由于视频节目上线、热度等不同，使得每个视频节目的服务质量不一定相同。然而，如果对每一个视频节目的服务质量都进行测量，测量周期会过于漫长，对于单个视频节目而言，这样两次测量的间隔过长，服务质量估计滞后；如果要减小测量间隔，则需要增加大量的测量节点部署，导致难以承受的成本增加；如果不对所有视频节目进行测量，而是仅考察网站的服务质量，则忽略了不同视频节目的服务质量差异，降低了测量的精度。因而，我们希望利用聚类方法对在线视频节目(由于每一个在线视频节目都可以通过固定的统一资源定位符(Uniform Resource Locator,简称URL)来访问，因此可以用URL来代替在线视频节目)的服务质量进行聚类，将服务质量相似的URL分为一类，并且对同类的URL进行统一的服务质量测量、估计和预测。
发明内容
本发明的目的是为了提高URL的服务质量评价效率。
为实现上述目的，一方面，本发明提供了一种在线视频节目分类方法，该方法包括以下步骤：针对在线视频节目的统一资源定位符URL进行测量；根据测量结果对所述URL进行聚类；将聚类结果作为所述URL的分类标识；根据所述分类标识，以及所述在线视频节目的元数据获取分类模型。
上述分类方法中，所述针对在线视频节目的统一资源定位符URL进行测量步骤包括：测量所有待测视频网站中所述在线视频节目URL的服务质量参数，所述服务质量参数包括带宽和/或时延；每一组服务质量参数与其对应的URL和测量时间共同组成一个测量结果。
上述分类方法中，所述根据测量结果对所述URL进行聚类步骤包括：对测量结果进行数据清洗和去周期化，获取有效的URL测量结果；针对每条有效的URL测量结果都进行抽样，针对抽样结果进行统计特征计算；将计算后的统计特征与所述URL组成一条聚类用记录，所有聚类用记录组成聚类用数据集；利用聚类算法对所获得的聚类用数据集进行聚类。
上述分类方法中，所述根据测量结果对所述URL进行聚类，具体步骤为：对每个URL的服务质量测量结果进行抽样，每次抽样无放回的抽取N个测量结果；计算所述N个抽样结果的统计特征，生成一条聚类用数据；所述统计特征包括均值、方差、偏度和峰度中的一种或多种。
上述分类方法中，所述根据测量结果对所述URL进行聚类步骤还包括：聚类的终止判定，所述聚类的终止判定以同一个URL聚类结果的聚类粒度恰当为条件，当同一个URL的测量结果抽样形成的记录的门限概率α属于同一类时，凝聚终止。
上述分类方法中，所述将聚类结果作为所述URL的分类标识步骤包括：根据聚类结果，对所有待测网站的在线视频节目URL进行标记分类；其中，对于不能播放的在线视频节目URL单独分为一类。
上述分类方法中，所述根据所述分类标识，以及所述在线视频节目的元数据获取分类模型步骤包括：对于每条有效URL，计算其各测量结果的统计特征，并记录其元数据、所述URL，以及该URL的标记组成一条分类记录，其中所述元数据包括发行单位、导演、上线年代和发行地区中的一种或多种；根据所述URL的标记，利用分类算法生成所述URL的分类模型。
上述分类方法中，根据所述分类模型对新的待测网站在线视频节目URL进行快速分类。所述分类模型基于元数据及服务质量数据进行分类模型定期优化更新。
另一方面，本发明提供了一种在线视频节目分类装置，包括：
测量模块，用于针对在线视频节目的统一资源定位符URL进行测量；
聚类模块，用于根据测量结果对所述URL进行聚类；
分类模块，用于将聚类结果作为所述URL的分类标识；
获取模块，用于根据所述分类标识，以及所述在线视频节目的元数据获取分类模型。
本发明与现有技术相比，利用在线视频节目分类方法在几乎不降低精度的情况下对在线视频节目URL的服务质量进行了分类，并且提高了URL的服务质量评价效率，
附图说明
图1为本发明实施例提供的一种在线视频节目分类方法流程示意图；
图2为本发明实施例提供的另一种在线视频节目分类方法流程图示意图；
图3为本发明实施例提供的一种在线视频节目分类装置结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。
本发明要求保护的是一种在线视频节目分类方法及其装置，应用于在线视频节目服务质量的分类。
图1为本发明实施例提供的一种在线视频节目分类方法流程示意图，具体包括以下步骤：
步骤S101：针对在线视频节目的统一资源定位符URL进行测量。
步骤S102：根据测量结果对所述URL进行聚类。
步骤S103：将聚类结果作为所述URL的分类标识。。
步骤S104：根据所述分类标识，以及所述在线视频节目的元数据获取分类模型。
本发明实施例利用在线视频节目分类方法可以在几乎不降低精度的情况下提高对视频网站在线视频节目服务质量的评价效率。
图2为本发明实施例提供的另一种在线视频节目分类方法流程图示意图。如图2所示，该方法包括步骤S201-208：
步骤S201，对在线视频网站的URL进行测量，测量所有待测视频网站中所述在线视频节目URL的服务质量参数Bi，如带宽、时延等，每一组服务质量参数与其对应的URL和测量时间共同组成一个测量结果。对于每个URL，至少需获得N条测量结果。当某个URL多次测量均无法获得测量结果时，将该URL视为不可播URL，直接并入不可播类。
步骤S202，对测量结果进行数据清洗和去周期化。去除不完整数据和错误数据后；根据已有知识，测量结果可能包含周期性变化，因此根据平均值计算周期规律参数，对测量结果进行去周期化。一个有效的可用URL需要至少有N条有效的测量结果。
步骤S203，从每条有效URL的有效测量结果中都进行m次抽样，每次抽样中，无放回的从该URL的Ni条(Ni≥N)有效结果中抽取N条测量结果计算其均值、方差、峰度、偏度等统计特征Cjk；将Cjk、URL、来源网站和测量节点IP等基础信息组成一条聚类用记录。记有效URL数U，以全部U×m条聚类记录组成聚类用数据集。
步骤S204，利用聚类算法(如改进的CLARA算法结合AGNES算法)对步骤S203所获得的聚类用数据进行聚类，检测每一个URL的m个抽样分类是否相同，当时，只计数不重复的个抽样的分类结果，以聚类粒度恰当为凝聚终止的条件，当同一个URL抽样的门限概率α属于同一个类时，凝聚终止，聚类完毕。
步骤S205，根据步骤S204的聚类结果，对所有URL标记分类。当一条URL的m个抽样被分到不同的类时，以m个抽样中较多的一个类作为该URL的标记。此外，所有不可播URL单独分为一类。
步骤S206，对于每条有效URL，计算其各测量结果的统计特征Cij，并记录其元数据Mk如发行单位，导演，上线年代，发行地区等。记录Mk、URL、测量节点IP及该URL的分类标记等组成一条分类记录。
步骤S207，根据URL的标记，利用分类算法(如REPTree算法)生成URL的分类模型。
步骤S208，当有新的URL加入时，利用该URL元数据(如：URL地址，测量节点IP等)组成一条新记录。利用步骤S207中生成的模型可以对新URL进行分类，将其分入一个已有的类。定期以在线视频节目元数据和服务质量数据为基础，按步骤S201至步骤S207优化更新分类模型。
本发明实施例的改进之处在于：对在线视频网站的URL进行测量；对于每条URL获取至少N条服务质量测量结果，并对测量结果进行清洗，并且根据测量时间，对测量结果进行去周期化；然后从每条URL的测量结果中进行m次抽样，每次抽样无放回的抽取N条测量结果；对于每个服务质量参数，计算每次抽样结果的均值、方差、峰度、偏度等统计特征，作为一条记录；随后利用合适的聚类算法(可使用改进的CLARA算法结合AGNES算法)对上述过程中抽取的记录进行聚类，当同一个URL抽样的门限概率α属于同一个类时，凝聚中止；最后将上述聚类结果作为分类依据，结合URL的元数据(如发行单位，导演，上线年代，发行地区等)组成一条分类记录，利用合适的分类算法(如决策树REPTree算法)获得分类模型；当有新的URL加入时，根据该URL的元数据，利用上述分类模型对该URL可以直接进行分类。根据在线视频节目的元数据和服务质量数据，定期对分类模型进行优化更新。
本发明实施例利用在线视频节目分类方法可以在几乎不降低精度的情况下提高对视频网站在线视频节目服务质量的评价效率。
图3为本发明实施例提供的一种在线视频节目分类装置结构示意图。如图3所示，该装置包括测量模块31、聚类模块32、分类模块33和获取模块34，其中测量模块31用于针对在线视频节目的统一资源定位符URL进行测量；聚类模块32用于根据测量结果对所述URL进行聚类；分类模块33用于将聚类结果作为所述URL的分类标识；获取模块34用于根据所述分类标识，以及所述在线视频节目的元数据获取分类模型。
本发明实施例提供的在线视频节目分类装置各模块分别实现图1所示的在线视频节目分类方法各步骤，在此不再赘述。
本发明实施例利用在线视频节目分类装置可以在几乎不降低精度的情况下提高对视频网站在线视频节目服务质量的评价效率。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种在线视频节目分类方法，其特征在于，包括以下步骤：
针对在线视频节目的统一资源定位符URL进行测量；
根据测量结果对所述URL进行聚类，所述根据测量结果对所述URL进行聚类步骤包括：对测量结果进行数据清洗和去周期化，获取有效的URL测量结果，针对每条有效的URL测量结果都进行抽样，针对抽样结果进行统计特征计算，将计算后的统计特征与所述URL组成一条聚类用记录，所有聚类用记录组成聚类用数据集，利用聚类算法对所获得的聚类用数据集进行聚类；
将聚类结果作为所述URL的分类标识；
根据所述分类标识，以及所述在线视频节目的元数据获取分类模型。
2.根据权利要求1所述的分类方法，其特征在于，所述针对在线视频节目的统一资源定位符URL进行测量步骤包括：
测量所有待测视频网站中所述在线视频节目URL的服务质量参数，所述服务质量参数包括带宽和/或时延；每一组服务质量参数与其对应的URL和测量时间共同组成一个测量结果。
3.根据权利要求1所述的分类方法，其特征在于，所述将聚类结果作为所述URL的分类标识步骤包括：
根据聚类结果，对所有待测网站的在线视频节目URL进行标记分类；其中，对于不能播放的在线视频节目URL单独分为一类。
4.根据权利要求1所述的分类方法，其特征在于，所述根据所述分类标识，以及所述在线视频节目的元数据获取分类模型步骤包括：
对于每条有效URL，计算其各测量结果的统计特征，并记录其元数据、所述URL，以及该URL的标记组成一条分类记录，其中所述元数据包括发行单位、导演、上线年代和发行地区中的一种或多种；
根据所述URL的标记，利用分类算法生成所述URL的分类模型。
5.根据权利要求1所述的分类方法，其特征在于：
根据所述分类模型可以对新的待测网站的在线视频节目URL进行快速分类。
6.根据权利要求1所述的分类方法，其特征在于，所述分类模型基于元数据及服务质量数据进行分类模型定期优化更新。
7.根据权利要求1所述的分类方法，其特征在于，所述根据测量结果对所述URL进行聚类步骤还包括：
聚类的终止判定，所述聚类的终止判定以同一个URL聚类结果的聚类粒度恰当为条件，当同一个URL的测量结果抽样形成的记录的门限概率α属于同一类时，凝聚终止。
8.根据权利要求3所述的分类方法，其特征在于，所述根据测量结果对所述URL进行聚类步骤具体为：
对每个URL的服务质量测量结果进行抽样，每次抽样无放回的抽取N个测量结果；
对所述N个抽样结果计算其统计特征，生成一条聚类用数据；所述统计特征包括均值、方差、偏度和峰度中的一种或多种。
9.一种在线视频节目分类装置，其特征在于，包括：
测量模块，用于针对在线视频节目的统一资源定位符URL进行测量；
聚类模块，用于根据测量结果对所述URL进行聚类，所述根据测量结果对所述URL进行聚类步骤包括：对测量结果进行数据清洗和去周期化，获取有效的URL测量结果，针对每条有效的URL测量结果都进行抽样，针对抽样结果进行统计特征计算，将计算后的统计特征与所述URL组成一条聚类用记录，所有聚类用记录组成聚类用数据集，利用聚类算法对所获得的聚类用数据集进行聚类；
分类模块，用于将聚类结果作为所述URL的分类标识；
获取模块，用于根据所述分类标识，以及所述在线视频节目的元数据获取分类模型。
CN201510475993.2A 2015-08-05 2015-08-05 一种在线视频节目分类方法及其装置 Active CN105163181B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510475993.2A CN105163181B (zh) 2015-08-05 2015-08-05 一种在线视频节目分类方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510475993.2A CN105163181B (zh) 2015-08-05 2015-08-05 一种在线视频节目分类方法及其装置

Publications (2)

Publication Number Publication Date
CN105163181A CN105163181A (zh) 2015-12-16
CN105163181B true CN105163181B (zh) 2018-04-17

Family

ID=54803921

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510475993.2A Active CN105163181B (zh) 2015-08-05 2015-08-05 一种在线视频节目分类方法及其装置

Country Status (1)

Country Link
CN (1) CN105163181B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106658028A (zh) * 2016-12-30 2017-05-10 中广热点云科技有限公司 多服务器视频点播资源的聚类处理方法
CN108256923A (zh) * 2018-01-30 2018-07-06 长安大学 一种基于车辆通行特征的etc客户细分方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101059808A (zh) * 2007-03-26 2007-10-24 徐礼岗 一种基于质量和在线人数的p2p视频检索系统及方法
CN104090931A (zh) * 2014-06-25 2014-10-08 华南理工大学 一种基于网页链接参数分析的信息预测采集方法
CN104244035A (zh) * 2014-08-27 2014-12-24 南京邮电大学 基于多层聚类的网络视频流分类方法
CN104427403A (zh) * 2013-09-05 2015-03-18 中国科学院声学研究所 一种终端媒体聚合链接质量保障方法与系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101059808A (zh) * 2007-03-26 2007-10-24 徐礼岗 一种基于质量和在线人数的p2p视频检索系统及方法
CN104427403A (zh) * 2013-09-05 2015-03-18 中国科学院声学研究所 一种终端媒体聚合链接质量保障方法与系统
CN104090931A (zh) * 2014-06-25 2014-10-08 华南理工大学 一种基于网页链接参数分析的信息预测采集方法
CN104244035A (zh) * 2014-08-27 2014-12-24 南京邮电大学 基于多层聚类的网络视频流分类方法

Also Published As

Publication number Publication date
CN105163181A (zh) 2015-12-16

Similar Documents

Publication Publication Date Title
US11460320B2 (en) Analysis of smart meter data based on frequency content
Bae et al. Identifying and ranking influential spreaders in complex networks by neighborhood coreness
CN106649831B (zh) 一种数据过滤方法及装置
CN106657160B (zh) 面向大流量基于可信度的网络恶意行为检测方法
JP6144408B2 (ja) エネルギー計測情報ラベリングシステムおよびエネルギー計測情報ラベリングサーバ
AU2006263653A1 (en) Whole-network anomaly diagnosis
CN108629183A (zh) 基于可信度概率区间的多模型恶意代码检测方法
JPWO2016017208A1 (ja) 監視システム、監視装置、および検査装置
CN107257351A (zh) 一种基于灰色lof流量异常检测系统及其检测方法
CN110648172B (zh) 一种融合多种移动设备的身份识别方法和系统
CN110209551B (zh) 一种异常设备的识别方法、装置、电子设备及存储介质
CN105163181B (zh) 一种在线视频节目分类方法及其装置
CN111478904A (zh) 一种基于概念漂移的物联网设备通信异常检测方法及装置
Song et al. Real-time anomaly traffic monitoring based on dynamic k-NN cumulative-distance abnormal detection algorithm
CN115454778A (zh) 大规模云网络环境下的时序指标异常智能监控系统
Cunha et al. DTRACK: A system to predict and track Internet path changes
CN110222790A (zh) 用户身份识别方法、装置及服务器
Wang et al. A new sketch method for measuring host connection degree distribution
CN109952743B (zh) 用于低内存和低流量开销大流量对象检测的系统和方法
CN103902798A (zh) 数据预处理方法
Zhang et al. K-coverage: A monitor node selection algorithm for diffusion source localizations
CN105812204B (zh) 一种基于连接度估计的递归域名服务器在线识别方法
CN109104381A (zh) 一种基于第三方流量http报文的移动应用识别方法
CN106850272B (zh) 中央服务器、业务服务器及其异常检测方法和系统
Pan et al. Human behavior during Flash Crowd in web surfing

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210803

Address after: Room 1601, 16th floor, East Tower, Ximei building, No. 6, Changchun Road, high tech Industrial Development Zone, Zhengzhou, Henan 450001

Patentee after: Zhengzhou xinrand Network Technology Co.,Ltd.

Address before: 100190, No. 21 West Fourth Ring Road, Beijing, Haidian District

Patentee before: INSTITUTE OF ACOUSTICS, CHINESE ACADEMY OF SCIENCES

TR01 Transfer of patent right