CN109756762A - 一种终端类别的确定方法及装置 - Google Patents
一种终端类别的确定方法及装置 Download PDFInfo
- Publication number
- CN109756762A CN109756762A CN201910087627.8A CN201910087627A CN109756762A CN 109756762 A CN109756762 A CN 109756762A CN 201910087627 A CN201910087627 A CN 201910087627A CN 109756762 A CN109756762 A CN 109756762A
- Authority
- CN
- China
- Prior art keywords
- terminal
- classification
- caton
- data
- marked
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明实施例提供了一种终端类别的确定方法及装置，其中终端类别的确定方法包括：获取待识别终端日志，将待识别终端日志中的卡顿数据，作为已训练模型的输入，通过已训练模型，输出待识别终端为基准终端类别或者非基准终端类别，已训练模型是基于训练样本集训练得到的，训练样本集包含：已标注类别的终端、已标注类别的终端的标注类别、已标注类别的终端日志中的卡顿数据，标注类别包含标注为基准终端类别和标注为非基准终端类别。相较于现有技术的卡顿终端，提高了用于衡量视频服务质量的终端数量的准确性，进而卡顿比较小地偏移实际的卡顿比，能够相对更好的衡量视频服务质量，提高了衡量的视频服务系统的服务质量的准确性。
Description
技术领域
本发明涉及视频服务行业领域，特别是涉及一种终端类别的确定方法及装置。
背景技术
对于视频服务而言，用户端体验到的服务质量是视频服务提供商的核心性能指标，也是保证在视频服务行业领域内的核心竞争力的关键因素。
目前衡量视频服务系统的服务质量的过程中，通常将用户在播放视频过程中发生卡顿的终端称为卡顿终端。这时视频中心服务器会获取卡顿终端的用户身份标识(identification，简称ID)；在预设时间段内，基于卡顿终端的ID来确定卡顿终端的数量；同时，基于卡顿终端的数量及提供服务的在线终端的总数量获取在线终端的卡顿比，以衡量视频服务系统的服务质量。
然而，发明人在实现本发明的过程中发现，现有技术在通过在线终端的卡顿比来衡量视频系统的服务质量时，一旦出现卡顿终端的卡顿可能是由终端自身的异常终端行为造成的，比如卡顿终端的异常刷单的行为等，而不是视频服务系统本身的服务质量造成的，这样服务器直接使用卡顿终端ID，会影响了卡顿终端的数量准确性，使得得到卡顿比与实际的卡顿比不相符，导致通过卡顿比来衡量的视频服务系统的服务质量出现不准确的问题。
发明内容
本发明实施例的目的在于提供一种终端类别的确定方法及装置，用以解决现有技术中服务器直接使用卡顿终端ID，会影响了卡顿终端的数量准确性，使得得到卡顿比与实际的卡顿比不相符，导致通过卡顿比来衡量的视频服务系统的服务质量出现不准确的问题。具体技术方案如下：
第一方面，本发明实施提供了一种终端类别的确定方法，包括：
获取待识别终端日志，所述待识别终端日志包含：视频播放过程中出现卡顿时产生的，与卡顿相关的卡顿数据；
将所述待识别终端日志中的卡顿数据，作为已训练模型的输入，通过所述已训练模型，输出所述待识别终端为基准终端类别或者非基准终端类别，所述已训练模型是基于训练样本集训练得到的，所述训练样本集包含：已标注类别的终端、已标注类别的终端的标注类别、已标注类别的终端日志中的卡顿数据，所述标注类别包含标注为基准终端类别和标注为非基准终端类别。
进一步的，所述待识别终端日志中的卡顿数据包含：待识别终端的终端数据和/或视频服务数据；
所述终端数据包括：视频播放过程中用户产生的观看行为数据，终端环境数据，观看视频的用户类别和/或用户所需的视频类型数据；
所述视频服务数据包括：为所述视频类型数据分配的视频资源数据和/或调度视频资源的数据。
进一步的，采用如下步骤，得到已训练模型：
获取已标注类别的终端，所述已标注类别的终端包含：已标注为基准终端类别的终端以及已标注为非基准终端类别的终端，所述已标注为基准终端类别的终端是使用高峰时间段的终端标注得到的，所述已标注为非基准终端类别的终端是使用空闲时间段内卡顿产生次数大于预设阈值的终端标注得到的；
提取所述已标注类别的终端日志中的卡顿数据；
将所述标注类别，所述已标注类别的终端，以及所述已标注类别的终端日志中的卡顿数据作为训练样本集；
将所述训练样本集作为待训练模型的输入，利用所述待训练模型进行训练，得到已训练模型。
进一步的，在利用所述已训练模型，识别所述待识别终端为基准终端类别或者非基准终端类别之后，所述方法还包括：
基于所述标注类别，查找同一时间段内在线终端及已标注为基准终端类别的终端；
确定同一时间段内在线终端的数量及已标注为基准终端类别的终端的数量；
将所述已标注为基准终端类别的终端的数量与所述在线终端的数量比值，确定为卡顿比。
进一步的，所述基于所述标注类别，查找同一时间段内在线终端及已标注为基准终端类别的终端，包括：
获取所述标注类别与所述已标注类别的终端的映射关系，所述标注类别包含用于已标注为基准终端类别的第一标识，所述映射关系包含：所述第一标识与所述已标注为基准终端类别的终端的一一映射关系；
按照所述映射关系中的第一标识，查找预定时间段内已标注为基准终端类别的终端，并且查找与所述预定时间段处于同一时间段内的在线终端。
第二方面，本发明实施提供了一种终端类别的确定装置，所述装置包括：
获取模块，用于获取待识别终端日志，所述待识别终端日志包含：视频播放过程中出现卡顿时产生的，与卡顿相关的卡顿数据；
第一处理模块，用于将所述待识别终端日志中的卡顿数据，作为已训练模型的输入，通过所述已训练模型，输出所述待识别终端为基准终端类别或者非基准终端类别，所述已训练模型是基于训练样本集训练得到的，所述训练样本集包含：已标注类别的终端、已标注类别的终端的标注类别、已标注类别的终端日志中的卡顿数据，所述标注类别包含标注为基准终端类别和标注为非基准终端类别。
进一步的，所述待识别终端日志中的卡顿数据包含：待识别终端的终端数据和/或视频服务数据；
所述终端数据包括：视频播放过程中用户产生的观看行为数据，终端环境数据，观看视频的用户类别和/或用户所需的视频类型数据；
所述视频服务数据包括：为所述视频类型数据分配的视频资源数据和/或调度视频资源的数据。
进一步的，所述装置还包括：第二处理模块，用于：
获取已标注类别的终端，所述已标注类别的终端包含：已标注为基准终端类别的终端以及已标注为非基准终端类别的终端，所述已标注为基准终端类别的终端是使用高峰时间段的终端标注得到的，所述已标注为非基准终端类别的终端是使用空闲时间段内卡顿产生次数大于预设阈值的终端标注得到的；
提取所述已标注类别的终端日志中的卡顿数据；
将所述标注类别，所述已标注类别的终端，以及所述已标注类别的终端日志中的卡顿数据作为训练样本集；
将所述训练样本集作为待训练模型的输入，利用所述待训练模型进行训练，得到已训练模型。
进一步的，所述装置还包括：
查找模块，用于在利用所述已训练模型，识别所述待识别终端为基准终端类别或者非基准终端类别之后，基于所述标注类别，查找同一时间段内在线终端及已标注为基准终端类别的终端；
第三处理模块，用于确定同一时间段内在线终端的数量及已标注为基准终端类别的终端的数量；
第四处理模块，用于将所述已标注为基准终端类别的终端的数量与所述在线终端的数量比值，确定为卡顿比。
进一步的，所述查找模块，用于：
获取所述标注类别与所述已标注类别的终端的映射关系，所述标注类别包含用于已标注为基准终端类别的第一标识，所述映射关系包含：所述第一标识与所述已标注为基准终端类别的终端的一一映射关系；
按照所述映射关系中的第一标识，查找预定时间段内已标注为基准终端类别的终端，并且查找与所述预定时间段处于同一时间段内的在线终端。
第三方面，本发明实施提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现第一方面所述的方法步骤。
第四方面，本发明实施提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面任一的方法。
第五方面，本发明实施还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面任一的方法。
本发明实施例提供的一种终端类别的确定方法及装置，获取待识别终端日志，将待识别终端日志中的卡顿数据，作为已训练模型的输入，通过已训练模型，输出待识别终端为基准终端类别或者非基准终端类别，已训练模型是基于训练样本集训练得到的，训练样本集包含：已标注类别的终端、已标注类别的终端的标注类别、已标注类别的终端日志中的卡顿数据，标注类别包含标注为基准终端类别和标注为非基准终端类别。
由此可见，由于已训练模型是基于训练样本集得到的，并且训练样本集包含：已标注类别的终端、已标注类别的终端的标注类别、已标注类别的终端日志中的卡顿数据，标注类别包含标注为基准终端类别和标注为非基准终端类别。因此，可以使用已训练模型，输出待识别终端为基准终端类别或者非基准终端类别。从而可以区分出大量待识别终端，方便准确地得到待识别终端的终端类别。相较于现有技术的卡顿终端，提高了用于衡量视频服务质量的终端数量的准确性，进而卡顿比较小地偏移实际的卡顿比，能够相对更好的衡量视频服务质量，提高了衡量的视频服务系统的服务质量的准确性。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要的附图作简单地介绍。
图1为本发明实施例提供的终端类别的确定方法的第一流程示意图；
图2为本发明实施例得到已训练模型的流程示意图；
图3为本发明实施例提供的终端类别的确定方法的第二流程示意图；
图4为本发明实施例查找同一时间段内在线终端及已标注为基准终端类别的终端的流程示意图；
图5为本发明实施例提供的终端类别的确定装置的结构示意图；
图6为本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
针对现有技术的服务器直接使用卡顿终端ID，会影响了卡顿终端的数量准确性，使得得到卡顿比与实际的卡顿比不相符，导致通过卡顿比来衡量的视频服务系统的服务质量出现不准确的问题，本发明实施例提供一种终端类别的确定方法及装置，获取待识别终端日志，将待识别终端日志中的卡顿数据，作为已训练模型的输入，通过已训练模型，输出待识别终端为基准终端类别或者非基准终端类别，已训练模型是基于训练样本集训练得到的，训练样本集包含：已标注类别的终端、已标注类别的终端的标注类别、已标注类别的终端日志中的卡顿数据，标注类别包含标注为基准终端类别和标注为非基准终端类别。
由此可见，由于已训练模型是基于训练样本集得到的，并且训练样本集包含：已标注类别的终端、已标注类别的终端的标注类别、已标注类别的终端日志中的卡顿数据，标注类别包含标注为基准终端类别和标注为非基准终端类别。因此，可以使用已训练模型，输出待识别终端为基准终端类别或者非基准终端类别。从而可以区分出大量待识别终端，方便准确地得到待识别终端的终端类别。相较于现有技术的卡顿终端，提高了用于衡量视频服务质量的终端数量的准确性，进而卡顿比较小地偏移实际的卡顿比，能够相对更好的衡量视频服务质量，提高了衡量的视频服务系统的服务质量的准确性。
下面首先对本发明实施例提供的一种终端类别的确定方法进行介绍。
本发明实施例所提供的一种终端类别的确定方法，应用于电子设备。该电子设备进一步可以为但不限于：台式计算机、便携式计算机、移动终端、服务器等。任何可以实现本发明实施例终端类别的确定方法的电子设备，均属于本发明实施例的保护范围，在此不作限定。进一步的，终端类别的确定方法也应用于电子设备上的客户端，比如，个人计算机(personal computer，简称PC)客户端或者移动终端客户端。该客户端可以是但不限于视频播放客户端，在此不作限定。
参见图1，图1为本发明实施例提供的一种终端类别的确定方法的第一流程示意图。本发明实施例所提供的一种终端类别的确定方法，可以包括如下步骤：
步骤110，获取待识别终端日志，待识别终端日志包含：视频播放过程中出现卡顿时产生的，与卡顿相关的卡顿数据。
其中，待识别终端可以是指本发明实施例未确定终端类别，并且利用本发明实施例的方法即将确定终端类别的终端。这些待识别终端可以是在即将确定终端类别之前，在线运行过的终端。在线运行过的终端可以是指当前日期之前在线运行预设时间段的终端，也可以是当前日期内在线运行预设时间段的终端，这个预设时间段可以是但不限于根据工业需要进行设置的。
这些在线运行过的终端在运行的预设时间段内所产生的数据，被记录在日志中。上述日志中可以但不限于包含用于唯一标识待识别终端的标识，这个标识可以是数字、字符等，在此不做限定。这些日志的数据包含在视频播放过程中出现卡顿时产生的与卡顿相关的数据，并将这些与卡顿相关的数据，称为卡顿数据。
其中，这些待识别终端日志中的卡顿数据可以但不限于包括：使用终端的用户身份数据，这样可以获得比较精细的用户数据，方便后期更加准确地确定终端类别。用户身份数据包括但不限于此：用户的年龄、职业及性别等。
另外，本发明实施例待识别终端日志中的卡顿数据包含：待识别终端的终端数据和/或视频服务数据。
进一步的，上述终端数据包括但不限于：视频播放过程中用户产生的观看行为数据，终端环境数据，观看视频的用户类别和/或用户所需的视频类别数据。上述终端数据的获取来源可以是从缓存机cache机中的日志。这里终端数据中的各项数据进行如下说明。
由于不同的观看行为引起卡顿的概率不同，因此可能会导致卡顿，故需要获取日志中的上述视频播放过程中用户产生的观看行为数据可以包括但不限于：(1)单位时间内用户观看视频过程中产生的快进操作次数；
(2)单位时间内用户观看视频过程中产生的快退操作次数；
(3)单位时间内用户观看视频过程中产生的拖拽操作次数；
(4)单位时间内用户观看视频过程中产生的暂停操作次数；
(5)单位时间内用户观看视频过程中产生的卡顿总次数；
(6)单位时间内用户观看视频过程中产生的卡顿总时长；
(7)单位时间内用户观看视频总时长。这些观看行为数据是数值型变量。
本发明实施例中的单位时间可以是一小时，还可以是一天，也可以是一周，在此不做限定，具体的单位时间是根据用户需求进行决定。
由于不同网络接入、不同播放器类别和/或不同客户端类别，导致获取视频的下载速度及客户端缓存策略不同，因此获取日志中的上述终端环境数据可以包括但不限于：(1)网络接入类别；其中，该网络接入类别包括但不限于此：第2代移动通信系统(The 2ndGeneration communication system，简称2G)、第3代移动通信系统(the 3rd Generationcommunication system，简称3G)、第4代移动通信系统(the 4th generationcommunication system，简称4G)、第5代移动通信系统(the fifth generationcommunication system，简称5G)、无线局域网(wireless fidelity，简称wifi)-2.4G、wifi-5G。
(2)播放器类别，比如系统自带播放器，再比如应用内置播放器；
(3)客户端类别。其中，客户端类别包括但不限于：具有播放功能的端，比如个人计算机(personal computer，简称PC)网页端、PC客户端、互联网操作系统-思科(Internetworking Operating System-Cisco，简称IOS)手机端、安卓手机端、安卓电视(Television，简称TV)端、虚拟现实平台(Virtual Reality Platform，简称VR)端。这些终端环境数据是标称型变量。
由于不同观看视频的用户类别，视频业务逻辑不同，因此可能与卡顿数据相关，故需要获取日志中的上述观看视频的用户类别可以包括但不限于：(1)用户付费类别，该用户付费类别可以包括但不限于：普通用户、付费用户，(2)该用户是否是黑名单中的用户。这些观看视频的用户类别是标称型变量。
由于不同的视频类别所需的带宽资源不同，因此可能会导致卡顿，故需要获取日志中的上述用户所需的视频类别数据可以包括但不限于：(1)标清时长占比；
(2)高清时长占比；
(3)超清时长占比；
(4)免费视频时长占比；
(5)付费视频时长占比。这些用户所需的视频类别数据是数值型变量。
进一步的，上述视频服务数据包括但不限于：为视频类别数据分配的视频资源数据和/或调度视频资源的数据。这里视频服务数据中的各项数据进行如下说明。
调度视频资源的数据可以包括但不限于：(1)单位时间内请求调度器次数，(2)单位时间内调度器重试次数。这些上述用户所需的调度视频资源的数据是数值型变量。上述调度视频资源的数据获取来源可以是调度器中的日志。
上述待识别终端日志中的卡顿数据还可以包括但不限于：维护的用户卡顿报障数据库，统计的单位时间内已标注为基准终端类别的终端的卡顿的报障时间戳。在此不做限定。只要是能够得到终端类别所需的，与卡顿相关的数据，均属于本发明实施例的保护范围，在此不再一一举例。
上述仅仅是以待识别终端日志中的卡顿数据进行举例说明。已标注类别的终端日志中卡顿数据的具体内容，与上述待识别终端日志中的卡顿数据的具体内容，除已标注类别的终端日志中卡顿数据以已标注类别的终端作为处理对象，而上述待识别终端日志中的卡顿数据以待识别终端日志作为处理对象，两者的处理对象不同以外，已标注类别的终端日志中卡顿数据的具体内容，与上述待识别终端日志中的卡顿数据的具体内容，均可参照上述待识别终端日志中的卡顿数据的具体内容，在此不再赘述。
在上述步骤110中的获取待识别终端日志之前，所述方法还包括：
第1步，获取待识别终端的待识别请求。
第2步，根据上述待识别请求，判断是否能够获取待识别终端日志，如果没有获取到待识别终端日志，则不进行处理，直至待识别终端运行预设时间段之后，产生有待识别终端日志，则返回执行步骤110。
第3步，如果能够获取到待识别终端日志，则返回执行步骤110。这样可以对没有产生日志的待识别终端，在运行预设时间段之后，也可以识别待识别终端的终端类型。
步骤120，将待识别终端日志中的卡顿数据，作为已训练模型的输入，通过已训练模型，输出待识别终端为基准终端类别或者非基准终端类别，已训练模型是基于训练样本集训练得到的，训练样本集包含：已标注类别的终端、已标注类别的终端的标注类别、已标注类别的终端日志中的卡顿数据，标注类别包含标注为基准终端类别和标注为非基准终端类别。
本发明实施例中的终端类别，也可以称为标注类别，这些标注类别的分类依据为导致视频中心服务器提供的服务的卡顿，是否包含终端自身原因导致的卡顿。其中，终端自身原因是由终端自身的异常终端行为造成的，示例性的终端自身原因包含终端异常刷单等。
其中，将导致视频中心服务器提供的服务的卡顿，不包含终端自身原因导致的卡顿所对应的终端，标注为基准终端类别。将导致视频中心服务器提供的服务的卡顿，包含有终端自身原因导致的卡顿所对应的终端，标注为非基准终端类别。这样区分基准终端类别及非基准终端类别，后期能够使用已标注为基准终端类别的终端衡量视频服务质量。这样得到用于能够衡量视频服务质量的已标注为基准终端类别的终端，相较于现有技术更加准确。
为了能够对待训练模型进行训练，进而提高确定待识别终端为基准终端类别或者非基准终端类别的准确性，参见图2所示，采用如下步骤，得到已训练模型：
步骤121，获取已标注类别的终端，已标注类别的终端包含：已标注为基准终端类别的终端以及已标注为非基准终端类别的终端，已标注为基准终端类别的终端是使用高峰时间段的终端标注得到的，已标注为非基准终端类别的终端是使用空闲时间段内卡顿产生次数大于预设阈值的终端标注得到的。其中，预设阈值可以是根据用户需求确定的。
其中，空闲时间段为服务资源足够被在线终端使用的空闲时间段，高峰时间段为服务资源不足够被在线终端使用的高峰时间段。这样高峰时间段内的在线终端的卡顿主要因素是视频中心服务器资源不足，如果终端只在高峰期卡顿，而其他时段正常，说明终端接入带宽以及用户行为大概率正常。示例性的，上述高峰时间段可以但不限于为：晚上8:00到10:00这段时间段。
步骤122，提取已标注类别的终端日志中的卡顿数据；
步骤123，将标注类别，已标注类别的终端，以及已标注类别的终端日志中的卡顿数据作为训练样本集；
步骤124，将训练样本集作为待训练模型的输入，利用待训练模型进行训练，得到已训练模型。
本发明实施例的待训练模型是监督学习模型，因此，待训练模型的目标变量需要提前标注，即目标变量包含的基准终端类别及非基准终端类别，训练待训练模型时，训练样本集是否是基准终端类别是已知的。示例性，待训练模型可以但不限于包括：决策树或神经网络。
此处的标注类别的标注方式不做限定，只要能够区分标注类别的实现方式，均属于本发明实施例的保护范围。示例性的，上述标注类别的标注方式可以是采用标识标注，该标识可以但不限于是指：字符标识或数字标识。示例性的，基准终端类别可以标识为1，非基准终端类别可以标识为0。
在得到已训练模型之后，所述方法还包括：周期地的更新已训练模型。这样可以周期地的更新已训练模型，保证已训练模型的时效性。其中，周期可以是根据用户需求进行设置，示例性的，周期可以为每个星期或者每个月，在此不一一举例。
本发明实施例的具体实现流程，举例如下：
第一步，获取在线终端日志，其中在线终端的总数为100万。
第二步，获取已标注类别的终端，已标注为基准终端类别的终端的数量为10万及已标注为非基准终端类别的终端的数量为10万。
第三步，提取已标注类别的终端日志中的卡顿数据。
第四步，将标注类别，已标注类别的终端，以及已标注类别的终端日志中的卡顿数据作为训练样本集；
第五步，将训练样本集作为待训练模型的输入，利用待训练模型进行训练，得到已训练模型，这样已训练模型就能够掌握已标注为基准终端类别的终端及已标注为非基准终端类别的终端应该具有的特征。
第四步，将在线终端中剩余的80万的终端作为待识别终端。
第五步，获取待识别终端日志。
第六步，将待识别终端日志中的卡顿数据，作为已训练模型的输入，通过已训练模型，输出80万待识别终端各自的终端类别，也就是终端类别为基准终端类别或者非基准终端类别。这样可以利用10万已标注为基准终端类别的终端及10万已标注为非基准终端类别的终端，确定80万待识别终端的终端类型。
在本发明实施例中，由于已训练模型是基于训练样本集得到的，并且训练样本集包含：已标注类别的终端、已标注类别的终端的标注类别、已标注类别的终端日志中的卡顿数据，标注类别包含标注为基准终端类别和标注为非基准终端类别。因此，可以使用已训练模型，输出待识别终端为基准终端类别或者非基准终端类别。从而可以区分出大量待识别终端，方便准确地得到待识别终端的终端类别。相较于现有技术的卡顿终端，提高了用于衡量视频服务质量的终端数量的准确性，进而卡顿比较小地偏移实际的卡顿比，能够相对更好的衡量视频服务质量，提高了衡量的视频服务系统的服务质量的准确性。
使用已标注为基准终端类别的终端，衡量视频服务质量，结合图1和图2所示，参见图3所示及图4所示，本发明实施例还提供一种终端类别的确定方法，在上述步骤120之后，所述方法还包括：
步骤130，基于标注类别，查找同一时间段内在线终端及已标注为基准终端类别的终端。
步骤140，确定同一时间段内在线终端的数量及已标注为基准终端类别的终端的数量。
步骤150，将已标注为基准终端类别的终端的数量与在线终端的数量比值，确定为卡顿比。
为了能够查找同一时间段内在线终端及已标注为基准终端类别的终端，本
步骤130可以采用如下至少一种可能的实现方式，但不限于此：
在一种可能的实现方式中，利用标注类别，从在线终端的日志中，一一查找同一时间段内在线终端及已标注为基准终端类别的终端。这样利用标注类别，可以通过在线终端的日志，一一查找同一时间段内在线终端及已标注为基准终端类别的终端。
由于上述可能的实现方式，需要通过在线终端的日志，一一查找同一时间段内在线终端及已标注为基准终端类别的终端，这样查找数据量比较大，参见图4所示，因此为了解决此问题，本发明实施例提供另一种可能的实现方式：
步骤131，获取标注类别与已标注类别的终端的映射关系，标注类别包含用于已标注为基准终端类别的第一标识，映射关系包含：第一标识与已标注为基准终端类别的终端的一一映射关系。这里的映射关系说明：每个第一标识，与已标注为基准终端类别一一对应，这样可以减少遗漏。
这个映射关系用于方便查找已标注为基准终端类别的终端以及已标注为非基准终端类别的终端，利用第一标识可以一一找到已标注为基准终端类别的终端。这个映射关系可以是表格，也可以是其他表现形式，上述映射关系的获取方式可以是预先建立的，也实时更新的。只要能够方便标识已标注为基准终端类别的终端的映射关系，均属于本发明实施例的保护范围，在此不一一举例。
为了方便后期监控及管理已标注为非基准终端类别的终端，映射关系还可以包含：用于标识已标注为非基准终端类别的第二标识，与已标注为非基准终端类别的终端的映射关系。其中第一标识可以是根据用户需求设置的唯一标识，已标注为基准终端类别的终端；第二标识可以是根据用户需求设置的唯一标识，已标注为非基准终端类别的终端。第一标识和第二标识分别可以但不限于是字符，数字等。比如，第一标识可以为1，第二标识为0。
步骤132，按照映射关系中的第一标识，查找预定时间段内已标注为基准终端类别的终端，并且查找与预定时间段处于同一时间段内的在线终端。这样可以在一个预定时间段内，确定这个预定时间段内的已标注为基准终端类别的终端以及预定时间段内的在线终端的数量。其中，预定时间段可以是根据用户需求进行设置的。
这样基于卡顿比评估衡量视频服务质量时，通过查询映射关系，可以只统计已标注为基准终端类别的终端投递的卡顿数据，从而使得卡顿比较小地偏移实际的卡顿比，进而能够相对更好的衡量视频服务质量，提高了衡量的视频服务系统的服务质量的准确性，并且，后期也可以基于卡顿比进行的一系列商业决策，例如，带宽等资源规划。
上述另一种实现方式中映射关系的获取方式的具体实现过程，举例如下，但不限于此：
第一步，获取在线终端日志，其中在线终端的总数为100万。
第二步，获取已标注类别的终端，已标注为基准终端类别的终端的数量为10万及已标注为非基准终端类别的终端的数量为10万，将这些已标注为基准终端类别的终端及已标注为非基准终端类别的终端的ID，分别与用于标识已标注为基准终端类别的终端的第一标识，以及用于标识已标注为非基准终端类别的终端的第二标识，建立映射关系；
第三步，利用已训练模块，确定了上述80万待识别终端各自的终端类别，也就是终端类别为基准终端类别或者非基准终端类别之后，标注这些80万的已识别终端的终端类别；将这些已标注为基准终端类别的终端及已标注为非基准终端类别的终端的ID，分别与用于标识已标注为基准终端类别的终端的第一标识，以及用于标识已标注为非基准终端类别的终端的第二标识，加入上述映射关系中。这样可以及时地更新上述映射关系，方便用户及时地统计已标注为基准终端类别的终端投递的卡顿数据。
在另一种实现方式中，通过查询映射关系，可以快速地统计已标注为基准终端类别的终端，计算卡顿比。由于从在线终端中区分出已标注为基准终端类别的终端，这样使用已标注为基准终端类别的终端可以衡量视频服务质量。相较于现有技术的卡顿终端，提高了用于衡量视频服务质量的终端数量的准确性，进而卡顿比较小地偏移实际的卡顿比，能够相对更好的衡量视频服务质量，提高了衡量的视频服务系统的服务质量的准确性。并且，后期也有利于基于卡顿比进行的一系列商业决策，例如，带宽等资源规划。
下面继续对本发明实施例提供的终端类别的确定装置进行介绍。
参见5所示，图5为本发明实施例的终端类别的确定装置的结构示意图。本发明实施例提供终端类别的确定装置，包括：
获取模块21，用于获取待识别终端日志，所述待识别终端日志包含：视频播放过程中出现卡顿时产生的，与卡顿相关的卡顿数据；
第一处理模块22，用于将所述待识别终端日志中的卡顿数据，作为已训练模型的输入，通过所述已训练模型，输出所述待识别终端为基准终端类别或者非基准终端类别，所述已训练模型是基于训练样本集训练得到的，所述训练样本集包含：已标注类别的终端、已标注类别的终端的标注类别、已标注类别的终端日志中的卡顿数据，所述标注类别包含标注为基准终端类别和标注为非基准终端类别。
在本发明实施例中，由于已训练模型是基于训练样本集得到的，并且训练样本集包含：已标注类别的终端、已标注类别的终端的标注类别、已标注类别的终端日志中的卡顿数据，标注类别包含标注为基准终端类别和标注为非基准终端类别。因此，可以使用已训练模型，输出待识别终端为基准终端类别或者非基准终端类别。从而可以区分出大量待识别终端，方便准确地得到待识别终端的终端类别。相较于现有技术的卡顿终端，提高了用于衡量视频服务质量的终端数量的准确性，进而卡顿比较小地偏移实际的卡顿比，能够相对更好的衡量视频服务质量，提高了衡量的视频服务系统的服务质量的准确性。
在一种可能的实现方式中，所述待识别终端日志中的卡顿数据包含：待识别终端的终端数据和/或视频服务数据；
所述终端数据包括：视频播放过程中用户产生的观看行为数据，终端环境数据，观看视频的用户类别和/或用户所需的视频类型数据；
所述视频服务数据包括：为所述视频类型数据分配的视频资源数据和/或调度视频资源的数据。
在一种可能的实现方式中，所述装置还包括：第二处理模块，用于：
获取已标注类别的终端，所述已标注类别的终端包含：已标注为基准终端类别的终端以及已标注为非基准终端类别的终端，所述已标注为基准终端类别的终端是使用高峰时间段的终端标注得到的，所述已标注为非基准终端类别的终端是使用空闲时间段内卡顿产生次数大于预设阈值的终端标注得到的；
提取所述已标注类别的终端日志中的卡顿数据；
将所述标注类别，所述已标注类别的终端，以及所述已标注类别的终端日志中的卡顿数据作为训练样本集；
将所述训练样本集作为待训练模型的输入，利用所述待训练模型进行训练，得到已训练模型。
在一种可能的实现方式中，所述装置还包括：
查找模块，用于在利用所述已训练模型，识别所述待识别终端为基准终端类别或者非基准终端类别之后，基于所述标注类别，查找同一时间段内在线终端及已标注为基准终端类别的终端；
第三处理模块，用于确定同一时间段内在线终端的数量及已标注为基准终端类别的终端的数量；
第四处理模块，用于将所述已标注为基准终端类别的终端的数量与所述在线终端的数量比值，确定为卡顿比。
在一种可能的实现方式中，所述查找模块，用于：
获取所述标注类别与所述已标注类别的终端的映射关系，所述标注类别包含用于已标注为基准终端类别的第一标识，所述映射关系包含：所述第一标识与所述已标注为基准终端类别的终端的一一映射关系；
按照所述映射关系中的第一标识，查找预定时间段内已标注为基准终端类别的终端，并且查找与所述预定时间段处于同一时间段内的在线终端。
参见图6，图6为本发明实施例的电子设备的结构示意图。本发明实施例还提供了一种电子设备，包括处理器31、通信接口32、存储器33和通信总线34，其中，处理器31，通信接口32，存储器33通过通信总线34完成相互间的通信，
存储器33，用于存放计算机程序；
处理器31，用于执行存储器33上所存放的程序时，实现如下步骤：
获取待识别终端日志，所述待识别终端日志包含：视频播放过程中出现卡顿时产生的，与卡顿相关的卡顿数据；
将所述待识别终端日志中的卡顿数据，作为已训练模型的输入，通过所述已训练模型，输出所述待识别终端为基准终端类别或者非基准终端类别，所述已训练模型是基于训练样本集训练得到的，所述训练样本集包含：已标注类别的终端、已标注类别的终端的标注类别、已标注类别的终端日志中的卡顿数据，所述标注类别包含标注为基准终端类别和标注为非基准终端类别。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于为，图中仅用一条粗线为，但并不为仅有一根总线或一种类别的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(Non-Volatile Memory，简称NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的终端类别的确定方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的终端类别的确定方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(Digital Subscriber Line，简称DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，高密度数字视频光盘(Digital Video Disc，简称DVD)、或者半导体介质(例如固态硬盘(SolidState Disk，简称SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置/电子设备/存储介质实施例/包含指令的计算机程序产品而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (11)
1.一种终端类别的确定方法，其特征在于，所述方法包括：
获取待识别终端日志，所述待识别终端日志包含：视频播放过程中出现卡顿时产生的，与卡顿相关的卡顿数据；
将所述待识别终端日志中的卡顿数据，作为已训练模型的输入，通过所述已训练模型，输出所述待识别终端为基准终端类别或者非基准终端类别，所述已训练模型是基于训练样本集训练得到的，所述训练样本集包含：已标注类别的终端、已标注类别的终端的标注类别、已标注类别的终端日志中的卡顿数据，所述标注类别包含标注为基准终端类别和标注为非基准终端类别。
2.如权利要求1所述的方法，其特征在于，所述待识别终端日志中的卡顿数据包含：待识别终端的终端数据和/或视频服务数据；
所述终端数据包括：视频播放过程中用户产生的观看行为数据，终端环境数据，观看视频的用户类别和/或用户所需的视频类型数据；
所述视频服务数据包括：为所述视频类型数据分配的视频资源数据和/或调度视频资源的数据。
3.如权利要求1或2所述的方法，其特征在于，采用如下步骤，得到已训练模型：
获取已标注类别的终端，所述已标注类别的终端包含：已标注为基准终端类别的终端以及已标注为非基准终端类别的终端，所述已标注为基准终端类别的终端是使用高峰时间段的终端标注得到的，所述已标注为非基准终端类别的终端是使用空闲时间段内卡顿产生次数大于预设阈值的终端标注得到的；
提取所述已标注类别的终端日志中的卡顿数据；
将所述标注类别，所述已标注类别的终端，以及所述已标注类别的终端日志中的卡顿数据作为训练样本集；
将所述训练样本集作为待训练模型的输入，利用所述待训练模型进行训练，得到已训练模型。
4.如权利要求3所述的方法，其特征在于，在利用所述已训练模型，识别所述待识别终端为基准终端类别或者非基准终端类别之后，所述方法还包括：
基于所述标注类别，查找同一时间段内在线终端及已标注为基准终端类别的终端；
确定同一时间段内在线终端的数量及已标注为基准终端类别的终端的数量；
将所述已标注为基准终端类别的终端的数量与所述在线终端的数量比值，确定为卡顿比。
5.如权利要求4所述的方法，其特征在于，所述基于所述标注类别，查找同一时间段内在线终端及已标注为基准终端类别的终端，包括：
获取所述标注类别与所述已标注类别的终端的映射关系，所述标注类别包含用于已标注为基准终端类别的第一标识，所述映射关系包含：所述第一标识与所述已标注为基准终端类别的终端的一一映射关系；
按照所述映射关系中的第一标识，查找预定时间段内已标注为基准终端类别的终端，并且查找与所述预定时间段处于同一时间段内的在线终端。
6.一种终端类别的确定装置，其特征在于，所述装置包括：
获取模块，用于获取待识别终端日志，所述待识别终端日志包含：视频播放过程中出现卡顿时产生的，与卡顿相关的卡顿数据；
第一处理模块，用于将所述待识别终端日志中的卡顿数据，作为已训练模型的输入，通过所述已训练模型，输出所述待识别终端为基准终端类别或者非基准终端类别，所述已训练模型是基于训练样本集训练得到的，所述训练样本集包含：已标注类别的终端、已标注类别的终端的标注类别、已标注类别的终端日志中的卡顿数据，所述标注类别包含标注为基准终端类别和标注为非基准终端类别。
7.如权利要求6所述的装置，其特征在于，所述待识别终端日志中的卡顿数据包含：待识别终端的终端数据和/或视频服务数据；
所述终端数据包括：视频播放过程中用户产生的观看行为数据，终端环境数据，观看视频的用户类别和/或用户所需的视频类型数据；
所述视频服务数据包括：为所述视频类型数据分配的视频资源数据和/或调度视频资源的数据。
8.如权利要求6或7所述的装置，其特征在于，所述装置还包括：第二处理模块，用于：
获取已标注类别的终端，所述已标注类别的终端包含：已标注为基准终端类别的终端以及已标注为非基准终端类别的终端，所述已标注为基准终端类别的终端是使用高峰时间段的终端标注得到的，所述已标注为非基准终端类别的终端是使用空闲时间段内卡顿产生次数大于预设阈值的终端标注得到的；
提取所述已标注类别的终端日志中的卡顿数据；
将所述标注类别，所述已标注类别的终端，以及所述已标注类别的终端日志中的卡顿数据作为训练样本集；
将所述训练样本集作为待训练模型的输入，利用所述待训练模型进行训练，得到已训练模型。
9.如权利要求8所述的装置，其特征在于，所述装置还包括：
查找模块，用于在利用所述已训练模型，识别所述待识别终端为基准终端类别或者非基准终端类别之后，基于所述标注类别，查找同一时间段内在线终端及已标注为基准终端类别的终端；
第三处理模块，用于确定同一时间段内在线终端的数量及已标注为基准终端类别的终端的数量；
第四处理模块，用于将所述已标注为基准终端类别的终端的数量与所述在线终端的数量比值，确定为卡顿比。
10.如权利要求9所述的装置，其特征在于，所述查找模块，用于：
获取所述标注类别与所述已标注类别的终端的映射关系，所述标注类别包含用于已标注为基准终端类别的第一标识，所述映射关系包含：所述第一标识与所述已标注为基准终端类别的终端的一一映射关系；
按照所述映射关系中的第一标识，查找预定时间段内已标注为基准终端类别的终端，并且查找与所述预定时间段处于同一时间段内的在线终端。
11.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-5任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910087627.8A CN109756762B (zh) | 2019-01-29 | 2019-01-29 | 一种终端类别的确定方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910087627.8A CN109756762B (zh) | 2019-01-29 | 2019-01-29 | 一种终端类别的确定方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109756762A true CN109756762A (zh) | 2019-05-14 |
| CN109756762B CN109756762B (zh) | 2020-10-02 |
Family
ID=66407015
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910087627.8A Active CN109756762B (zh) | 2019-01-29 | 2019-01-29 | 一种终端类别的确定方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109756762B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113453076A (zh) * | 2020-03-24 | 2021-09-28 | 中国移动通信集团河北有限公司 | 用户视频业务质量评估方法、装置、计算设备和存储介质 |
| CN113727192A (zh) * | 2020-06-19 | 2021-11-30 | 天翼智慧家庭科技有限公司 | 采集收视行为的方法和系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104735473A (zh) * | 2015-03-05 | 2015-06-24 | 天脉聚源（北京）科技有限公司 | 一种视频流播放的检测方法及装置 |
| CN106254153A (zh) * | 2016-09-19 | 2016-12-21 | 腾讯科技（深圳）有限公司 | 一种网络异常监控方法和装置 |
| CN107040816A (zh) * | 2017-03-17 | 2017-08-11 | 北京潘达互娱科技有限公司 | 一种客户端应用运行异常分析方法与装置 |
| CN107493183A (zh) * | 2016-06-13 | 2017-12-19 | 中国移动通信集团北京有限公司 | 一种故障定位方法及装置 |
| CN107846586A (zh) * | 2017-10-23 | 2018-03-27 | 网易（杭州）网络有限公司 | 视频流质量的监测方法、装置和服务端 |
| CN108600790A (zh) * | 2018-05-17 | 2018-09-28 | 北京奇艺世纪科技有限公司 | 一种卡顿故障的检测方法及装置 |
| CN108668179A (zh) * | 2017-03-27 | 2018-10-16 | 华为技术有限公司 | 媒体索引文件的传输方法及相关设备 |
| CN109240875A (zh) * | 2018-07-12 | 2019-01-18 | 北京百度网讯科技有限公司 | 一种卡顿分析方法及系统 |
-
2019
- 2019-01-29 CN CN201910087627.8A patent/CN109756762B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104735473A (zh) * | 2015-03-05 | 2015-06-24 | 天脉聚源（北京）科技有限公司 | 一种视频流播放的检测方法及装置 |
| CN107493183A (zh) * | 2016-06-13 | 2017-12-19 | 中国移动通信集团北京有限公司 | 一种故障定位方法及装置 |
| CN106254153A (zh) * | 2016-09-19 | 2016-12-21 | 腾讯科技（深圳）有限公司 | 一种网络异常监控方法和装置 |
| CN107040816A (zh) * | 2017-03-17 | 2017-08-11 | 北京潘达互娱科技有限公司 | 一种客户端应用运行异常分析方法与装置 |
| CN108668179A (zh) * | 2017-03-27 | 2018-10-16 | 华为技术有限公司 | 媒体索引文件的传输方法及相关设备 |
| CN107846586A (zh) * | 2017-10-23 | 2018-03-27 | 网易（杭州）网络有限公司 | 视频流质量的监测方法、装置和服务端 |
| CN108600790A (zh) * | 2018-05-17 | 2018-09-28 | 北京奇艺世纪科技有限公司 | 一种卡顿故障的检测方法及装置 |
| CN109240875A (zh) * | 2018-07-12 | 2019-01-18 | 北京百度网讯科技有限公司 | 一种卡顿分析方法及系统 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113453076A (zh) * | 2020-03-24 | 2021-09-28 | 中国移动通信集团河北有限公司 | 用户视频业务质量评估方法、装置、计算设备和存储介质 |
| CN113727192A (zh) * | 2020-06-19 | 2021-11-30 | 天翼智慧家庭科技有限公司 | 采集收视行为的方法和系统 |
| CN113727192B (zh) * | 2020-06-19 | 2023-09-12 | 天翼数字生活科技有限公司 | 采集收视行为的方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109756762B (zh) | 2020-10-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | Monitoring and analyzing big traffic data of a large-scale cellular network with Hadoop | |
| CN105224606B (zh) | 一种用户标识的处理方法及装置 | |
| CN104426713B (zh) | 网络站点访问效果数据的监测方法和装置 | |
| US20220294821A1 (en) | Risk control method, computer device, and readable storage medium | |
| CN110442712B (zh) | 风险的确定方法、装置、服务器和文本审理系统 | |
| CN109241343B (zh) | 一种刷量用户识别系统、方法及装置 | |
| US20120317266A1 (en) | Application Ratings Based On Performance Metrics | |
| CN102932206B (zh) | 监测网站访问信息的方法和系统 | |
| US11068934B2 (en) | Systems and methods for leveraging social queuing to identify and prevent ticket purchaser simulation | |
| CN109063966A (zh) | 风险账户的识别方法和装置 | |
| CN107979525A (zh) | 一种红包发放方法、设备以及介质 | |
| CN103945430B (zh) | 一种移动终端类型推荐方法及装置 | |
| US9639811B2 (en) | Systems and methods for leveraging social queuing to facilitate event ticket distribution | |
| CN106911801A (zh) | 关联用户信息的方法及信息推送系统 | |
| CN108696399A (zh) | 业务服务的测试方法和装置 | |
| CN109600345A (zh) | 异常数据流量检测方法及装置 | |
| KR20180114857A (ko) | 뮤지션 컨텐츠 전송 장치 및 방법 | |
| US20230325878A1 (en) | Systems and methods for leveraging social queuing to simulate ticket purchaser behavior | |
| CN108235149A (zh) | 一种优化视频播放流畅度的方法及装置 | |
| CN109756762A (zh) | 一种终端类别的确定方法及装置 | |
| CN113537510A (zh) | 基于不均衡数据集的机器学习模型数据处理方法及装置 | |
| CN108259207A (zh) | 流量统计方法、客户端、服务器及系统 | |
| CN107634942A (zh) | 识别恶意请求的方法和装置 | |
| WO2023179162A1 (zh) | 数据处理方法及装置 | |
| KR20130091391A (ko) | 콘텐츠 추천 서버 및 방법, 그리고 그 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |