CN112383828A - 一种具有类脑特性的体验质量预测方法、设备及系统 - Google Patents
一种具有类脑特性的体验质量预测方法、设备及系统 Download PDFInfo
- Publication number
- CN112383828A CN112383828A CN202010087170.3A CN202010087170A CN112383828A CN 112383828 A CN112383828 A CN 112383828A CN 202010087170 A CN202010087170 A CN 202010087170A CN 112383828 A CN112383828 A CN 112383828A
- Authority
- CN
- China
- Prior art keywords
- data field
- experience
- prediction
- experience quality
- quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
- H04N21/4756—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for rating content, e.g. scoring a recommended movie
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Social Psychology (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Human Computer Interaction (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明实施例提供了一种具有类脑特性的体验质量预测方法、设备及系统,涉及通信技术领域,用于对业务的体验质量进行预测。该方法包括:获取与目标业务相关的至少一个数据字段;基于目标业务对应的脑电数据库获取目标业务的体验质量评分准则,脑电数据库包括每一个数据字段对应的脑电信号,以及每一个脑电信号对应的体验质量评分;根据体验质量评分准则获取至少一个数据字段中每一个数据字段对应的体验质量评分;以至少一个数据字段和每一个数据字段对应的体验质量评分为模型训练样本、多层神经网络为模型训练算法进行模型训练获取智能模型;基于智能模型对目标业务的体验质量评分进行预测。本发明实施例用于体验质量的预测。
Description
本发明本要求于2019年12月12日提交的发明名称为“一种具有类脑特性的主观体验评测方法、设备及系统”、申请号为:201911270868.2的优先权。
技术领域
本发明涉及通信技术领域,尤其涉及一种具有类脑特性的体验质量预测方法、设备及系统。
背景技术
体验质量(Quality of Experience,QoE)指终端用户对业务与网络的体验质量,是终端用户在使用业务过程中建立起来的心理的综合感受,涉及人与网络、业务等交互过程中的所有方面。体验质量可以反映当前的业务的质量与用户体验之间的关系,它综合了服务层面、用户层面、网络层面的所有影响因素,直接反映了终端用户对服务的认可程度。
依靠终端客户对体验质量进行打分,并根据终端客户的打分确定体验质量是一种典型的获取体验质量的方法。这种依靠终端客户对体验质量进行打分的体验质量获取方法可以充分体现用户对于业务的服务质量的综合感受,适用于非常普遍,然而这种获取体验质量的方法需要在用户使用了业务或网络的后才可以给出体验质量,无法在具体业务服务用户之前获取业务的体验质量,具有非常严重的滞后性,不利用提升用户的使用体验以及业务的服务质量。
发明内容
有鉴于此,本发明提供了一种具有类脑特性的体验质量预测方法、设备及系统,用于对业务的体验质量进行预测。
为了实现上述目的,本发明实施例提供技术方案如下:
第一方面,本发明实施例提供一种具有类脑特性的体验质量预测方法,包括:
获取与目标业务相关的至少一个数据字段;
基于所述目标业务对应的脑电数据库获取所述目标业务的体验质量评分准则,所述脑电数据库包括所述至少一个数据字段中每一个数据字段对应的脑电信号,以及每一个脑电信号对应的体验质量评分;
根据所述体验质量评分准则获取所述至少一个数据字段中每一个数据字段对应的体验质量评分;
以所述至少一个数据字段和每一个数据字段对应的体验质量评分为模型训练样本、多层神经网络为模型训练算法进行模型训练获取智能模型;
基于所述智能模型对所述目标业务的体验质量评分进行预测。
作为本发明实施例一种可选的实施方式,所述获取与目标业务相关的至少一个数据字段,包括:
建立数据库,所述数据库包括:以各业务类别对应的采集结构采集的数据字段,所述数据库中各个业务对应的数据字段按照业务类别分类存储;
基于所述目标业务的业务类别从所述数据中提取与所述目标业务相关的至少一个数据字段。
作为本发明实施例一种可选的实施方式,所述根据所述体验质量评分准则获取所述至少一个数据字段中每一个数据字段对应的体验质量评分,包括:
分别对所述至少一个数据字段中的每一个数据字段执行下述步骤:
确定数据字段是否具有主观体验质量评分;
若是,则根据所述体验质量评分准则对主观体验质量评分进行校正,并将校正后的主观体验质量评分作为所述数据字段对应的体验质量评分;
若否,则根据所述体验质量评分准则预测获取所述数据字段对应的体验质量评分。
作为本发明实施例一种可选的实施方式,在以所述至少一个数据字段和每一个数据字段对应的体验质量评分为模型训练样本、多层神经网络为模型训练算法进行模型训练获取智能模型之后,所述方法还包括:
获取评价参数;
基于所述评价参数对应智能模型的预测质量进行评价;
所述评价参数为预测精确度或预测召回率或F1参数,所述预测精确度=TP/(TP+FP),所述预测召回率=TP/(TP+FN),所述F1参数=(2*预测精确度*预测召回率)/(预测精确度+预测召回率),TP为正类样本被预测为正类样本的数量,所述FP为负类样本被预测为正类样本的数量,所述FN为正类样本被预测为负类样本的数量。
作为本发明实施例一种可选的实施方式,在对所述智能模型的预测质量进行评价之后,所述方法还包括:
基于所述智能模型的预测质量评价结果,通过对所述多层神经网络进行剪枝,部件和参数优化中的至少一项优化所述智能模型。
第二方面,本发明的实施例提供一种具有类脑特性的体验质量预测设备,包括:
获取单元,用于获取与目标业务相关的至少一个数据字段;
脑电感知单元,用于基于所述目标业务对应的脑电数据库获取所述目标业务的体验质量评分准则,所述脑电数据库包括所述至少一个数据字段中每一个数据字段对应的脑电信号,以及每一个脑电信号对应的体验质量评分;
评分单元,用于根据所述体验质量评分准则获取所述至少一个数据字段中每一个数据字段对应的体验质量评分;
训练单元,用于以所述至少一个数据字段和每一个数据字段对应的体验质量评分为模型训练样本、多层神经网络为模型训练算法进行模型训练获取智能模型;
预测单元,用于基于所述智能模型对所述目标业务的体验质量评分进行预测。
作为本发明实施例一种可选的实施方式,所述获取单元,具体用于建立数据库,所述数据库包括:以各业务类别对应的采集结构采集的数据字段,所述数据库中各个业务对应的数据字段按照业务类别分类存储;基于所述目标业务的业务类别从所述数据中提取与所述目标业务相关的至少一个数据字段。
作为本发明实施例一种可选的实施方式,所述设备还包括:
建立单元,用于获取所述至少一个数据字段中每一个数据字段对应的脑电信号;获取每一个脑电信号对应的体验质量评分;基于所述至少一个数据字段中每一个数据字段对应的脑电信号和每一个脑电信号对应的体验质量评分建立所述目标业务对应的脑电数据库。
作为本发明实施例一种可选的实施方式,所述评分单元,具体用于分别对所述至少一个数据字段中的每一个数据字段执行下述步骤:
确定数据字段是否具有主观体验质量评分;
若是,则根据所述体验质量评分准则对主观体验质量评分进行校正,并将校正后的主观体验质量评分作为所述数据字段对应的体验质量评分;
若否,则根据所述体验质量评分准则预测获取所述数据字段对应的体验质量评分。
作为本发明实施例一种可选的实施方式,所述设备还包括:
评价单元,用于获取评价参数,以及基于所述评价参数对应智能模型的预测质量进行评价;
其中,所述评价参数为预测精确度或预测召回率或F1参数,所述预测精确度=TP/(TP+FP),所述预测召回率=TP/(TP+FN),所述F1参数=(2*预测精确度*预测召回率)/(预测精确度+预测召回率),TP为正类样本被预测为正类样本的数量,所述FP为负类样本被预测为正类样本的数量,所述FN为正类样本被预测为负类样本的数量。
作为本发明实施例一种可选的实施方式,所述设备还包括:
优化单元,用于在对所述智能模型的预测质量进行评价之后,基于所述智能模型的预测质量评价结果,通过对所述多层神经网络进行剪枝,部件和参数优化中的至少一项优化所述智能模型。
第三方面,本发明实施例提供一种具有类脑特性的体验质量预测系统,包括:第二方面或第二方面任一可选的实施方式所述的具有类脑特性的体验质量预测设备。
第四方面,本发明实施例提供一种具有类脑特性的体验质量预测设备,包括:存储器和处理器,存储器用于存储计算机程序;处理器用于在调用计算机程序时执行上述第一方面或第一方面的任一实施方式所述的具有类脑特性的体验质量预测方法。
第五方面,本发明实施例提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述第一方面或第一方面的任一实施方式所述的具有类脑特性的体验质量预测方法。
本发明实施例提供的具有类脑特性的体验质量预测方法,首先获取与目标业务相关的至少一个数据字段,然后基于所述目标业务对应的脑电数据库获取所述目标业务的体验质量评分准则,再根据所述体验质量评分准则获取所述至少一个数据字段中每一个数据字段对应的体验质量评分,并以所述至少一个数据字段和每一个数据字段对应的体验质量评分为模型训练样本、多层神经网络为模型训练算法进行模型训练获取智能模型,最终基于所述智能模型对所述目标业务的体验质量评分进行预测。由于本发明实施例提供的具有类脑特性的体验质量预测方法,可以在用户使用具体的业务之前预测业务的体验质量评分,因此本发明实施例可以解决现有技术中获取体验质量评分具有严重滞后性的问题,可以提升用户的使用体验以及业务的服务质量。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。
图1为本发明实施例提供的具有类脑特性的体验质量预测方法的步骤流程图;
图2为本发明实施例提供的数据采集架构的示意图;
图3为本发明实施例提供的数据流的流向示意图;
图4为本发明实施例提供的多层神经网络的示意图;
图5为本发明实施例提供的训练迭代多轮次的变化趋势结果的示意图;
图6为本发明实施例提供的验证迭代多轮次的变化趋势结果的示意图;
图7为本发明实施例提供的模型总体评价结果的示意图;
图8为本发明实施例提供的通过混淆矩阵表示模型训练、验证以及测试结果的评估示意图;
图9为本发明实施例提供的具有类脑特性的体验质量预测设备的示意性结构图之一;
图10为本发明实施例提供的具有类脑特性的体验质量预测设备的示意性结构图之二;
图11为本发明实施例提供的具有类脑特性的体验质量预测系统的示意性结构图;
图12为本发明实施例提供的具有类脑特性的体验质量预测设备的硬件结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
本发明的说明书和权利要求书中的术语“第一”和“第二”等是用于区别同步的对象,而不是用于描述对象的特定顺序。例如,第一接口和第二接口等是用于区别不同的接口,而不是用于描述接口的特定顺序。
在本发明实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。此外,在本发明实施例的描述中,除非另有说明,“多个”的含义是指两个或两个以上。
本发明总的发明构思为:通过多模态泛在感知平台(Multimodal ubiquitoussensing platform,MUP)和采集的待预测业务的网络数据预测业务的体验质量。其中,多模态泛在感知平台是基于脑电感知技术的智能化网络体验质量评测系统,其通过网络数据采集,基于脑电感知技术的数据清洗,以及人工智能模型处理后,提供对应业务的体验质量评测结果。
本发明实施例提供了一种具有类脑特性的体验质量预测方法,具体的,参照图1所示,本发明实施例提供的具有类脑特性的体验质量预测方法包括如下步骤S11-S15:
S11、获取与目标业务相关的至少一个数据字段。
作为本发明实施例一种可选的实施方式,上述步骤S11中获取与目标业务相关的至少一个数据字段的实现方式可以包括如下步骤:
建立数据库;所述数据库包括:以各业务类别对应的采集结构采集的数据字段,所述数据库中各个业务对应的数据字段按照业务类别分类存储;
基于所述目标业务的业务类别从所述数据中提取与所述目标业务相关的至少一个数据字段。
即,可以通过数据接口从网络上进行数据采集,并在云端建立数据库存储采集到的数据,当需要对某一业务的体验质量进行预测时,可以基于该业务的业务类型从数据库提取相关的数据字段。
示例性的,本发明实施例提供的数据采集架构可以如图2所示,数据流的流向可以如图3所示。如图2所示,数据采集架构可以包括:系统软件开发工具包(SoftwareDevelopment Kit,SDK)、超文本传输协议(Hyper Text Transfer Protocol,HTTP)业务、视频播放网页页面、JS(JavaScript)SDK以及后台。数据流的流向为:在开始进行数据采集时,系统SDK运行采集QoER线程进行网络信息、位置信息、终端信息以及黑点数据的采集,HTTP业务获取用户体验质量评分以及HTTP参数,并根据网络信息、位置信息、终端信息、用户体验质量评分以及HTTP参数形成QoE HTTP数据,视频播放网页页面进行视频参数的采集,并形成QoE流媒体数据,最后后台对QoE流媒体数据、QoE HTTP数据以及黑点数据进行处理后存储至数据库。
S12、基于所述目标业务对应的脑电数据库获取所述目标业务的体验质量评分准则。
其中,所述脑电数据库包括所述至少一个数据字段中每一个数据字段对应的脑电信号,以及每一个脑电信号对应的体验质量评分。
具体的,可以使用所述至少一个数据字段,提取目标应业务的脑电数据库进行模型映射,从而获取所述目标业务的体验质量评分准则。
作为本发明实施例一种可选的是方式,上述步骤S12(基于所述目标业务对应的脑电数据库获取所述目标业务的体验质量评分准则)之前,本发明实施例提供的具有类脑特性的体验质量预测方法还包括:建立目标业务对应的脑电数据库。具体的,建立目标业务对应的脑电数据库的实现方式可以包括如下步骤a-步骤c:
步骤a、获取所述至少一个数据字段中每一个数据字段对应的脑电信号。
具体的,可以针对各个数据字段进行脑电实验,并采集实验过程中实验对象的脑电信号作为各个字段对应的脑电信号。
步骤b、获取每一个脑电信号对应的体验质量评分。
具体的,可以通过脑电赋分模型对采集的脑电信号进行赋分,以获取各个脑电信号对应的体验质量评分。
步骤c、基于所述至少一个数据字段中每一个数据字段对应的脑电信号和每一个脑电信号对应的体验质量评分建立所述目标业务对应的脑电数据库。
进一步的,本发明实施例提供的具有类脑特性的体验质量预测方法还包括:
通过数据字段对应的主观体验质量评分对所述体验质量评分准则进行校正。
即,还可以通过终端客户的打分对体验质量评分准则进行校正
S13、根据所述体验质量评分准则获取所述至少一个数据字段中每一个数据字段对应的体验质量评分。
上述步骤S13可以由智能模型系统执行。智能模型系统是MUP平台的第二核心单元。其基本原理为:基于已有算法库,根据业务选择相应的人工智能模型,使用输入的数据字段,依托脑电感知系统输入的体验质量评分准则,进行体验质量矫正、预测以及其他可扩展应用结果输出。
可选的,上述步骤S13(根据所述体验质量评分准则获取所述至少一个数据字段中每一个数据字段对应的体验质量评分)包括:分别对所述至少一个数据字段中的每一个数据字段执行下述步骤Ⅰ-步骤Ⅲ:
步骤Ⅰ、确定数据字段是否具有主观体验质量评分。
即,确定在采集该数据字段时是否同时采集到了终端客户针对该数据字段输入的主观质量评分。
在上述步骤Ⅰ中,若数据字段具有主观体验质量评分,则执行如下步骤Ⅱ,若数据字段不具有主观体验质量评分,则执行如下步骤Ⅲ。
步骤Ⅱ、根据所述体验质量评分准则对主观体验质量评分进行校正,并将校正后的主观体验质量评分作为所述数据字段对应的体验质量评分。
步骤Ⅲ、则根据所述体验质量评分准则预测获取所述数据字段对应的体验质量评分。
即,对于任一数据字段,若具有主观体验质量评分,则根据所述体验质量评分准则对主观体验质量评分进行校正,并将校正后的主观体验质量评分作为该数据字段对应的体验质量评分;若不具有主观体验质量评分,则根据所述体验质量评分准则预测获取所述数据字段对应的体验质量评分。
S14、以所述至少一个数据字段和每一个数据字段对应的体验质量评分为模型训练样本、多层神经网络为模型训练算法进行模型训练获取智能模型。
具体的,上述步骤S14也可以由智能模型系统执行。智能模型系统可以基于Keras+Tensorflow框架,采用模块化和参数化设计,主要包括数据载入和参数输入模块,数据清洗模块、模型训练模块,模型精度评估模块,以及评测结果API等主要模块。
示例性的,上述步骤S14(以所述至少一个数据字段和每一个数据字段对应的体验质量评分为模型训练样本、多层神经网络为模型训练算法进行模型训练获取智能模型),可以包括如下步骤1至步骤4。
步骤1、载入所述至少一个数据字段和每一个数据字段对应的体验质量评分。
具体的,可以使用逗号分隔值(Comma-Separated Values,CSV)方式载入所述至少一个数据字段和每一个数据字段对应的体验质量评分。
步骤2、输入目标参数。
具体的,目标参数为表征业务端到端的质量相关参数。目标参数可以分为内容参数和网络管道参数两大类。内容参数,包括:卡顿、初始化延时、清晰度、码率等;网络管道参数,包括:RSRP,SINR等。目标参数包含的具体参数业务有关,使用中会把参数字段和对应的数据字段的数值送入处理系统。
示例性的,可以预设置业务与参数集合的对应关系,在需要输入所述目标参数时,根据业务在业务与参数集合的对应关系中查找对应的参数集合作为目标参数输入。
步骤3、对所述至少一个数据字段和每一个数据字段对应的体验质量评分进行清洗。
示例性的,数据清洗的主要处理项目可以包括下表1所示:
表1
步骤4、至少一个数据字段和每一个数据字段对应的体验质量评分为模型训练样本、多层神经网络为模型训练算法进行模型训练获取智能模型。
多层神经网络优点是伸缩性强,可训练大训练集,适应性强,以及很强的容错性和外推性。模型基本理论结构如图4所示。模型中使用Dropout防止过拟合,使用Adam优化器实现高效且适应性强的迭代学习,使用SMOTE处理样本数据中类别分布不均衡的问题,质量预测精确度达到95%以上。由于智能模型算法对于预测精确度和计算效率具有重要影响,将进行持续优化升级。
S15、基于所述智能模型对所述目标业务的体验质量评分进行预测。
即,在训练获得智能模型后,将采集的目标业务对应的网络数据输入智能模型,智能模型预测并输出目标业务的体验质量。
本发明实施例提供的具有类脑特性的体验质量预测方法,首先获取与目标业务相关的至少一个数据字段,然后基于所述目标业务对应的脑电数据库获取所述目标业务的体验质量评分准则,再根据所述体验质量评分准则获取所述至少一个数据字段中每一个数据字段对应的体验质量评分,并以所述至少一个数据字段和每一个数据字段对应的体验质量评分为模型训练样本、多层神经网络为模型训练算法进行模型训练获取智能模型,最终基于所述智能模型对所述目标业务的体验质量评分进行预测。由于本发明实施例提供的具有类脑特性的体验质量预测方法,可以在用户使用具体的业务之前预测业务的体验质量评分,因此本发明实施例可以解决现有技术中获取体验质量评分具有严重滞后性的问题,可以提升用户的使用体验以及业务的服务质量。
进一步的,作本发明实施例一种可选的实施方式,上述步骤S14(以所述至少一个数据字段和每一个数据字段对应的体验质量评分为模型训练样本、多层神经网络为模型训练算法进行模型训练获取智能模型)之后,本发明实施例提供的具有类脑特性的体验质量预测方法还包括:获取评价参数,基于所述评价参数对智能模型的预测质量进行评价。具体的,本发明实施例可以通过如下方式对智能模型的预测质量进行评价:
方式一、
获取预测精确度,并基于所述预测精确度对所述智能模型的预测质量进行评价。
其中,所述预测精确度=TP/(TP+FP),TP为正类样本被预测为正类样本的数量,所述FP为负类样本被预测为正类样本的数量。
方式二、
获取预测召回率,并基于所述预测召回率对所述智能模型的预测质量进行评价。
其中,所述预测召回率=TP/(TP+FN),所述TP正类样本被预测为正类样本的数量;所述FN为正类样本被预测为负类样本的数量。
方式三、
获取F1参数,并基于所述F1参数对所述智能模型的预测质量进行评价。
其中,所述F1参数=(2*预测精确度*预测召回率)/(预测精确度+预测召回率),所述预测精确度=TP/(TP+FP),所述预测召回率=TP/(TP+FN),TP为正类样本被预测为正类样本的数量,所述FP为负类样本被预测为正类样本的数量,FN为正类样本被预测为负类样本的数量。
进一步的,在上述方式一、方式二、方式三基础上,本发明实施例提供的方法还可以包括:
获取混淆矩阵,并通过混淆矩阵对所述智能模型的预测质量进行评价。
具体的,混淆矩阵也称误差矩阵,是表示精度评价的一种标准格式,用n行n列的矩阵形式来表示。具体评价指标有总体精度、制图精度、用户精度等,这些精度指标从不同的侧面反映了分类的精度。每一行之和表示该类别的真实样本数量,每一列之和表示被预测为该类别的样本数量。它可以具体看到真实数据被预测分类后的结果统计。
以下对上述实施例提供的具有类脑特性的体验质量预测方法进行体验质量评测进行举例说明。
使用一组网络采集数据获取的训练结果做为实例说明训练结果,图5是训练迭代多轮次的变化趋势结果示意图。图6是验证迭代多轮次的变化趋势结果。从图表5和图表6主要体现模型训练的精度和稳定性。
模型处理结束后输出的总体评价结果如图7所示。通过不同的模型评价标准可以看到,训练和验证之后的模型在预测过程中仍然具有很高的性能。
智能模型训练、验证以及测试结果的数据分类通过混淆矩阵表示分别如图8所示。True class是真实的数据分类,Predict class是预测的数据分类。
从该结果实例可以看到:
元素可以以很高的精确度进入每个正确的分类区间。
网络数据中4~5分的预测精度最高,1分的结果预测精度次之,2~3分的结果预测精度最差,说明用户对于高网络质量和极低网络质量的体验反馈非常一致,对于中低网络质量的体验反馈比较模糊。需要加强该区域或时段的数据采集量的提升。
该批网络数据中5分的结果数量最少,4分的结果数量最多。说明该区域该时段的用户体验处于很好的一个水平,但是达到极限好水平的用户还比较少。
通过上述的结果实例体现了该智能模型系统的高性能以及高适应性,同时基于结果预测可以从不同维度体现网络质量的水平,更多的可视化评估结果可以由可视化功能模块展示。
进一步的,在对所述智能模型的预测质量进行评价之后,所述方法还包括:
基于所述智能模型的预测质量评价结果,通过对所述多层神经网络进行剪枝,部件和参数优化中的至少一项优化所述智能模型。
即,可以将结果作为参考,通过剪枝,部件和参数优化中的至少一项优化所述智能模型。
基于同一发明构思,作为对上述方法的实现,本发明实施例还提供了一种具有类脑特性的体验质量预测设备,该设备实施例与前述方法实施例对应,为便于阅读,本实施例不再对前述方法实施例中的细节内容进行逐一赘述,但应当明确,本实施例中的设备能够对应实现前述方法实施例中的全部内容。
图9为本发明实施例提供的具有类脑特性的体验质量预测设备的结构示意图,如图9所示,本发明实施例提供的具有类脑特性的体验质量预测设备900,包括:
获取单元91,用于获取与目标业务相关的至少一个数据字段;
脑电感知单元92,用于基于所述目标业务对应的脑电数据库获取所述目标业务的体验质量评分准则,所述脑电数据库包括所述至少一个数据字段中每一个数据字段对应的脑电信号,以及每一个脑电信号对应的体验质量评分;
评分单元93,用于根据所述体验质量评分准则获取所述至少一个数据字段中每一个数据字段对应的体验质量评分;
训练单元94,用于以所述至少一个数据字段和每一个数据字段对应的体验质量评分为模型训练样本、多层神经网络为模型训练算法进行模型训练获取智能模型;
预测单元95,用于基于所述智能模型对所述目标业务的体验质量评分进行预测。
作为本发明实施例一种可选的实施例方式,所述获取单元91,具体用于建立数据库,所述数据库包括:以各业务类别对应的采集结构采集的数据字段,所述数据库中各个业务对应的数据字段按照业务类别分类存储;基于所述目标业务的业务类别从所述数据中提取与所述目标业务相关的至少一个数据字段。
作为本发明实施例一种可选的实施例方式,参照图10所示,所述设备900还包括:
建立单元96,用于获取所述至少一个数据字段中每一个数据字段对应的脑电信号;获取每一个脑电信号对应的体验质量评分;基于所述至少一个数据字段中每一个数据字段对应的脑电信号和每一个脑电信号对应的体验质量评分建立所述目标业务对应的脑电数据库。
作为本发明实施例一种可选的实施例方式,所述评分单元93,具体用于分别对所述至少一个数据字段中的每一个数据字段执行下述步骤:
确定数据字段是否具有主观体验质量评分;
若是,则根据所述体验质量评分准则对主观体验质量评分进行校正,并将校正后的主观体验质量评分作为所述数据字段对应的体验质量评分;
若否,则根据所述体验质量评分准则预测获取所述数据字段对应的体验质量评分。
作为本发明实施例一种可选的实施例方式,参照图10所示,所述设备900还包括:
评价单元97,用于获取评价参数,以及基于所述评价参数对应智能模型的预测质量进行评价;
其中,所述评价参数为预测精确度或预测召回率或F1参数,所述预测精确度=TP/(TP+FP),所述预测召回率=TP/(TP+FN),所述F1参数=(2*预测精确度*预测召回率)/(预测精确度+预测召回率),TP为正类样本被预测为正类样本的数量,所述FP为负类样本被预测为正类样本的数量,所述FN为正类样本被预测为负类样本的数量。
作为本发明实施例一种可选的实施例方式,参照图10所示,所述设备900还包括:
优化单元98,用于在对所述智能模型的预测质量进行评价之后,基于所述智能模型的预测质量评价结果,通过对所述多层神经网络进行剪枝,部件和参数优化中的至少一项优化所述智能模型。
本实施例提供的具有类脑特性的体验质量预测设备可以执行上述方法实施例提供的具有类脑特性的体验质量预测方法,其实现原理与技术效果类似,此处不再赘述。
本发明实施例还提供一种具有类脑特性的体验质量预测系统,该具有类脑特性的体验质量预测系统包括上述任一实施例提供的具有类脑特性的体验质量预测设备。
具体的,参照图11所示,本发明实施例提供的具有类脑特性的体验质量预测系统,包括:数据采集系统111、脑电感知系统112以及智能模型113。
其中,所述数据采集系统111包括:数据采集接口、数据库以及字段抽取模块;脑电感知系统112包括:脑电感知数据库和EEG->QOE处理单元;智能模型113包括:数据加载模块、参数输入模块、数据清洗模块、模型训练模块、模型精度评估模块以及预设结果输出模块。
基于同一发明构思,本发明实施例还提供了一种具有类脑特性的体验质量预测设备。图12为本发明实施例提供的电子设备的结构示意图,如图12所示,本实施例提供的电子设备包括:存储器121和处理器122,存储器121用于存储计算机程序;处理器122用于在调用计算机程序时执行上述方法实施例所述的具有类脑特性的体验质量预测方法中的各个步骤。
本发明实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述方法实施例所述的具有类脑特性的体验质量预测方法。
本领域技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
处理器可以是中央处理单元(CentralProcessingUnit,CPU),还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor,DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit,ASIC)、现成可编程门阵列(Field-ProgrammableGateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flashRAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动存储介质。存储介质可以由任何方法或技术来实现信息存储,信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。根据本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitorymedia),如调制的数据信号和载波。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (13)
1.一种具有类脑特性的体验质量预测方法,其特征在于,包括:
获取与目标业务相关的至少一个数据字段;
基于所述目标业务对应的脑电数据库获取所述目标业务的体验质量评分准则,所述脑电数据库包括所述至少一个数据字段中每一个数据字段对应的脑电信号,以及每一个脑电信号对应的体验质量评分;
根据所述体验质量评分准则获取所述至少一个数据字段中每一个数据字段对应的体验质量评分;
以所述至少一个数据字段和每一个数据字段对应的体验质量评分为模型训练样本、多层神经网络为模型训练算法进行模型训练获取智能模型;
基于所述智能模型对所述目标业务的体验质量评分进行预测。
2.根据权利要求1所述的方法,其特征在于,所述获取与目标业务相关的至少一个数据字段,包括:
建立数据库,所述数据库包括:以各业务类别对应的采集结构采集的数据字段,所述数据库中各个业务对应的数据字段按照业务类别分类存储;
基于所述目标业务的业务类别从所述数据中提取与所述目标业务相关的至少一个数据字段。
3.根据权利要求1所述的方法,其特征在于,在基于所述目标业务对应的脑电数据库获取所述目标业务的体验质量评分准则之前,所述方法还包括:
获取所述至少一个数据字段中每一个数据字段对应的脑电信号;
获取每一个脑电信号对应的体验质量评分;
基于所述至少一个数据字段中每一个数据字段对应的脑电信号和每一个脑电信号对应的体验质量评分建立所述目标业务对应的脑电数据库。
4.根据权利要求1所述的方法,其特征在于,所述根据所述体验质量评分准则获取所述至少一个数据字段中每一个数据字段对应的体验质量评分,包括:
分别对所述至少一个数据字段中的每一个数据字段执行下述步骤:
确定数据字段是否具有主观体验质量评分;
若是,则根据所述体验质量评分准则对所述主观体验质量评分进行校正,并将校正后的主观体验质量评分作为所述数据字段对应的体验质量评分;
若否,则根据所述体验质量评分准则预测获取所述数据字段对应的体验质量评分。
5.根据权利要求1-4任一项所述的方法,其特征在于,在以所述至少一个数据字段和每一个数据字段对应的体验质量评分为模型训练样本、多层神经网络为模型训练算法进行模型训练获取智能模型之后,所述方法还包括:
获取评价参数;
基于所述评价参数对应智能模型的预测质量进行评价;
所述评价参数为预测精确度或预测召回率或F1参数,所述预测精确度=TP/(TP+FP),所述预测召回率=TP/(TP+FN),所述F1参数=(2*预测精确度*预测召回率)/(预测精确度+预测召回率),TP为正类样本被预测为正类样本的数量,所述FP为负类样本被预测为正类样本的数量,所述FN为正类样本被预测为负类样本的数量。
6.根据权利要求5所述的方法,其特征在于,在对所述智能模型的预测质量进行评价之后,所述方法还包括:
基于所述智能模型的预测质量评价结果,通过对所述多层神经网络进行剪枝,部件和参数优化中的至少一项优化所述智能模型。
7.一种具有类脑特性的体验质量预测设备,其特征在于,包括:
获取单元,用于获取与目标业务相关的至少一个数据字段;
脑电感知单元,用于基于所述目标业务对应的脑电数据库获取所述目标业务的体验质量评分准则,所述脑电数据库包括所述至少一个数据字段中每一个数据字段对应的脑电信号,以及每一个脑电信号对应的体验质量评分;
评分单元,用于根据所述体验质量评分准则获取所述至少一个数据字段中每一个数据字段对应的体验质量评分;
训练单元,用于以所述至少一个数据字段和每一个数据字段对应的体验质量评分为模型训练样本、多层神经网络为模型训练算法进行模型训练获取智能模型;
预测单元,用于基于所述智能模型对所述目标业务的体验质量评分进行预测。
8.根据权利要求7所述的设备,其特征在于,所述获取单元,具体用于建立数据库,所述数据库包括:以各业务类别对应的采集结构采集的数据字段,所述数据库中各个业务对应的数据字段按照业务类别分类存储;基于所述目标业务的业务类别从所述数据中提取与所述目标业务相关的至少一个数据字段。
9.根据权利要求7所述的设备,其特征在于,所述设备还包括:
建立单元,用于获取所述至少一个数据字段中每一个数据字段对应的脑电信号;获取每一个脑电信号对应的体验质量评分;基于所述至少一个数据字段中每一个数据字段对应的脑电信号和每一个脑电信号对应的体验质量评分建立所述目标业务对应的脑电数据库。
10.根据权利要求7所述的设备,其特征在于,所述评分单元,具体用于分别对所述至少一个数据字段中的每一个数据字段执行下述步骤:
确定数据字段是否具有主观体验质量评分;
若是,则根据所述体验质量评分准则对所述主观体验质量评分进行校正,并将校正后的主观体验质量评分作为所述数据字段对应的体验质量评分;
若否,则根据所述体验质量评分准则预测获取所述数据字段对应的体验质量评分。
11.根据权利要求7-10任一项所述的设备,其特征在于,所述设备还包括:
评价单元,用于获取评价参数,以及基于所述评价参数对应智能模型的预测质量进行评价;
其中,所述评价参数为预测精确度或预测召回率或F1参数,所述预测精确度=TP/(TP+FP),所述预测召回率=TP/(TP+FN),所述F1参数=(2*预测精确度*预测召回率)/(预测精确度+预测召回率),TP为正类样本被预测为正类样本的数量,所述FP为负类样本被预测为正类样本的数量,所述FN为正类样本被预测为负类样本的数量。
12.根据权利要求11所述的设备,其特征在于,所述设备还包括:
优化单元,用于在对所述智能模型的预测质量进行评价之后,基于所述智能模型的预测质量评价结果,通过对所述多层神经网络进行剪枝,部件和参数优化中的至少一项优化所述智能模型。
13.一种具有类脑特性的体验质量预测系统,其特征在于,包括:权利要求7-12任一项所述的具有类脑特性的体验质量预测设备。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2019112708682 | 2019-12-12 | ||
CN201911270868 | 2019-12-12 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112383828A true CN112383828A (zh) | 2021-02-19 |
CN112383828B CN112383828B (zh) | 2023-04-25 |
Family
ID=74586009
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010087170.3A Active CN112383828B (zh) | 2019-12-12 | 2020-02-11 | 一种具有类脑特性的体验质量预测方法、设备及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112383828B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114358089A (zh) * | 2022-01-24 | 2022-04-15 | 北京蕴岚科技有限公司 | 基于脑电的语音评估模型的训练方法、装置及电子设备 |
CN116523574A (zh) * | 2023-04-20 | 2023-08-01 | 上海外国语大学 | 一种基于用户画像和脑电数据的体验质量测评方法和系统 |
CN117615210A (zh) * | 2023-11-21 | 2024-02-27 | 南湖脑机交叉研究院 | 一种用户体验质量确定方法以及装置 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006255134A (ja) * | 2005-03-17 | 2006-09-28 | Ikeda Denshi Kogaku Kenkyusho:Kk | 脳波計測表示方法及び装置 |
CN105264907A (zh) * | 2013-12-30 | 2016-01-20 | 华为技术有限公司 | 移动视频业务的体验质量预测方法及基站 |
WO2016109916A1 (zh) * | 2015-01-05 | 2016-07-14 | 华为技术有限公司 | 用户体验质量QoE预测装置、网络设备和方法 |
WO2016139402A1 (fr) * | 2015-03-03 | 2016-09-09 | Renault S.A.S | Dispositif et procede de prediction d'un niveau de vigilance chez un conducteur d'un vehicule automobile |
CN107239895A (zh) * | 2017-05-27 | 2017-10-10 | 西南交通大学 | 用于持续性注意力考核的方法及系统 |
CN107609492A (zh) * | 2017-08-25 | 2018-01-19 | 西安电子科技大学 | 基于脑电信号的失真图像质量感知评价方法 |
CN107733705A (zh) * | 2017-10-10 | 2018-02-23 | 锐捷网络股份有限公司 | 一种用户体验质量评估模型建立方法及设备 |
CN109428759A (zh) * | 2017-09-01 | 2019-03-05 | 中国移动通信集团广西有限公司 | 一种网络质量评估方法及装置 |
CN110399805A (zh) * | 2019-07-02 | 2019-11-01 | 成都信息工程大学 | 半监督学习优化svm的运动想象脑电信号分类方法 |
-
2020
- 2020-02-11 CN CN202010087170.3A patent/CN112383828B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006255134A (ja) * | 2005-03-17 | 2006-09-28 | Ikeda Denshi Kogaku Kenkyusho:Kk | 脳波計測表示方法及び装置 |
CN105264907A (zh) * | 2013-12-30 | 2016-01-20 | 华为技术有限公司 | 移动视频业务的体验质量预测方法及基站 |
WO2016109916A1 (zh) * | 2015-01-05 | 2016-07-14 | 华为技术有限公司 | 用户体验质量QoE预测装置、网络设备和方法 |
WO2016139402A1 (fr) * | 2015-03-03 | 2016-09-09 | Renault S.A.S | Dispositif et procede de prediction d'un niveau de vigilance chez un conducteur d'un vehicule automobile |
CN107239895A (zh) * | 2017-05-27 | 2017-10-10 | 西南交通大学 | 用于持续性注意力考核的方法及系统 |
CN107609492A (zh) * | 2017-08-25 | 2018-01-19 | 西安电子科技大学 | 基于脑电信号的失真图像质量感知评价方法 |
CN109428759A (zh) * | 2017-09-01 | 2019-03-05 | 中国移动通信集团广西有限公司 | 一种网络质量评估方法及装置 |
CN107733705A (zh) * | 2017-10-10 | 2018-02-23 | 锐捷网络股份有限公司 | 一种用户体验质量评估模型建立方法及设备 |
CN110399805A (zh) * | 2019-07-02 | 2019-11-01 | 成都信息工程大学 | 半监督学习优化svm的运动想象脑电信号分类方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114358089A (zh) * | 2022-01-24 | 2022-04-15 | 北京蕴岚科技有限公司 | 基于脑电的语音评估模型的训练方法、装置及电子设备 |
CN116523574A (zh) * | 2023-04-20 | 2023-08-01 | 上海外国语大学 | 一种基于用户画像和脑电数据的体验质量测评方法和系统 |
CN117615210A (zh) * | 2023-11-21 | 2024-02-27 | 南湖脑机交叉研究院 | 一种用户体验质量确定方法以及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN112383828B (zh) | 2023-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11068789B2 (en) | Dynamic model data facility and automated operational model building and usage | |
US9817893B2 (en) | Tracking changes in user-generated textual content on social media computing platforms | |
CN112383828B (zh) | 一种具有类脑特性的体验质量预测方法、设备及系统 | |
CN107168995B (zh) | 一种数据处理方法及服务器 | |
CN111797320A (zh) | 数据处理方法、装置、设备及存储介质 | |
CN110069545A (zh) | 一种行为数据评估方法及装置 | |
Taleb et al. | Big data quality: A data quality profiling model | |
CN112148942B (zh) | 基于数据聚类的业务指标数据分类方法及装置 | |
CN116362823A (zh) | 用于行为稀疏场景的推荐模型训练方法、推荐方法及装置 | |
CN116542747A (zh) | 产品推荐方法、装置、存储介质及电子设备 | |
CN113420165B (zh) | 二分类模型的训练、多媒体数据的分类方法及装置 | |
KR101621735B1 (ko) | 추천 검색어 제공 방법 및 시스템 | |
Trushkowsky et al. | Getting it all from the crowd | |
CN108664550B (zh) | 一种对用户行为数据进行漏斗分析方法及装置 | |
KR101568800B1 (ko) | 실시간 이슈 검색어 선별 방법 및 시스템 | |
CN114697127B (zh) | 一种基于云计算的业务会话风险处理方法及服务器 | |
CN112804566A (zh) | 节目推荐方法、设备及计算机可读存储介质 | |
US20120109843A1 (en) | Visual analysis of a time sequence of events using a time density track | |
CN112149833A (zh) | 基于机器学习的预测方法、装置、设备和存储介质 | |
CN112148764B (zh) | 特征的筛选方法、装置、设备和存储介质 | |
WO2024113641A1 (zh) | 视频推荐方法、装置、电子设备、计算机可读存储介质及计算机程序产品 | |
CN115563167B (zh) | 数据查询方法、电子设备以及计算机可读存储介质 | |
CN111752984B (zh) | 一种信息处理方法、装置和存储介质 | |
CN113590960B (zh) | 用户识别模型训练方法、电子设备及计算机存储介质 | |
CN110471962B (zh) | 活跃数据报表的生成方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB03 | Change of inventor or designer information | ||
CB03 | Change of inventor or designer information |
Inventor after: Song Qiwei Inventor after: Liu Peng Inventor after: Qin Liangshan Inventor before: Song Qiwei Inventor before: Liu Peng Inventor before: Qin Liangshan Inventor before: Liu Shuai |
|
GR01 | Patent grant | ||
GR01 | Patent grant |