CN106650780A - 数据处理方法及装置、分类器训练方法及系统 - Google Patents

数据处理方法及装置、分类器训练方法及系统 Download PDF

Info

Publication number
CN106650780A
CN106650780A CN201610912823.0A CN201610912823A CN106650780A CN 106650780 A CN106650780 A CN 106650780A CN 201610912823 A CN201610912823 A CN 201610912823A CN 106650780 A CN106650780 A CN 106650780A
Authority
CN
China
Prior art keywords
data
group
sample
label
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610912823.0A
Other languages
English (en)
Other versions
CN106650780B (zh
Inventor
赵伟
冯亚兵
廖宇
赖俊斌
柴海霞
潘宣良
刘黎春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201610912823.0A priority Critical patent/CN106650780B/zh
Publication of CN106650780A publication Critical patent/CN106650780A/zh
Priority to PCT/CN2017/106265 priority patent/WO2018072663A1/zh
Priority to US16/382,700 priority patent/US11860976B2/en
Application granted granted Critical
Publication of CN106650780B publication Critical patent/CN106650780B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2115—Selection of the most significant subset of features by evaluating different subsets according to an optimisation criterion, e.g. class separability, forward selection or backward elimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出一种数据处理方法及装置、分类器训练方法及系统，其数据处理方法包括：从无标签数据中提取多组数据组，其中每组数据组均包含预设数量的数据样本；为每一组数据组的数据样本设置标签，构成每一组数据组中包含所有标签组合的多个样本集，其中一个样本集中包含一种标签组合的数据样本；分别利用有标签数据和每一组数据组中的每一个样本集训练所述分类器；获取每一组数据组中最高性能分类器对应的样本集，并构成候选训练集；将所述候选训练集中预设数量的数据加入到有标签数据中。通过本发明的数据处理，可以有效提升分类器的性能，使得分类器有更好的泛化能力。

Description

数据处理方法及装置、分类器训练方法及系统
技术领域
本发明涉及计算机技术领域，特别涉及一种数据处理方法及装置、分类器训练方法及系统。
背景技术
当今互联网上每天都会产生大量的信息，且每天都在以惊人的速度膨胀。诸如社交网络、新闻评论、BBS、博客、聊天室、聚合新闻(RSS)等每时每刻都会产生大量的数据，鉴于此，基于自然语言理解领域，通过分类算法实现大量数据的分类，对于信息监管拥有广泛而深远的意义。但是人工对其加以分析和处理的速度已经远远不能满足要求，因而人们已经开始着手研究用统计和学习的方法来对大量的信息进行自动处理和分类。
在传统的机器学习中，通过各种各样的手段获取包括文本、语音、视频和图片在内的各种数据，假设所有的样本独立并服从一个确定的概率分布，并基于这样的假设，训练一个分类器，根据已知样本预测未出现在训练集中的样本，从而通过这种方法来实现数据的自动分类。
传统的机器学习一般分为监督学习(supervised learning)和无监督学习(unsupervised learning)。监督学习是指，对于一批样本，不仅知道其中每一个样本数据本身，还知道其对应的类别标签。通过设计一个分类器，对这批样本进行分类，进而能根据该划分预测新样本的类别标签。而无监督学习是指，训练集中的样本数据都没有类别标签，通过分类算法把数据分成若干类，也称之为聚类。
然而在很多应用的所要分析的海量数据中，只有一部分有类别标签，另外一部分却没有类别标签，这自然使得半监督学习近年来成为研究的热点。半监督学习即是指利用已标注类别标签和未标注类别标签的数据来设计分类器，半监督学习对于减少标注代价，提高学习机器性能具有非常重大的实际意义。
常规半监督算法的基本思路是：
①首先用有标签的数据样本训练分类器；
②用训练得到的分类器分类没有标签的数据样本；
③将得到的置信度高的数据样本加入到训练集，同时从无标签数据集中删除该部分样本；
④重新训练分类器，整个过程重复进行直至收敛。
但是，现有的这种半监督算法仍然存在着如下缺点：
1)分类器训练过程中如果一个错误分类的样本被加入了原来的训练集，那么在其后的训练过程中，它所犯的错误只会越来越深，还会诱使其它样本犯错；2).当有标签数据集和无标签数据集所服从分布差别比较大时，使用有标签数据集上训练的模型去预测无标签数据同样会出现效果很差的现象。
发明内容
本发明实施例的目的是提供一种数据处理方法及装置、分类器训练方法及系统，以解决由于引入无标签数据训练分类器可能导致分类器性能降低的问题。
本发明实施例提出一种数据处理方法，用于通过对分类器的训练来对有标签数据和无标签数据进行处理，包括：
从无标签数据中提取多组数据组，其中每组数据组均包含预设数量的数据样本；
为每一组数据组的数据样本设置标签，构成每一组数据组中包含所有标签组合的多个样本集，其中一个样本集中包含一种标签组合的数据样本；
分别利用有标签数据和每一组数据组中的每一个样本集训练所述分类器；
获取每一组数据组中最高性能分类器对应的样本集，并构成候选训练集；
将所述候选训练集中预设数量的数据加入到有标签数据中。
本发明还提出一种分类器训练方法，包括：
反复通过数据处理方法从无标签数据中获取数据样本加入有标签数据中；
每一次数据样本加入有标签数据后，通过加入数据样本的有标签数据对分类器进行训练。
本发明还提出一种数据处理装置，用于通过对分类器的训练来对有标签数据和无标签数据进行处理，包括：
数据组提取单元，用于从无标签数据中提取多组数据组，其中每组数据组均包含预设数量的数据样本；
标签设置单元，用于为每一组数据组的数据样本设置标签，构成每一组数据组中包含所有标签组合的多个样本集，其中一个样本集中包含一种标签组合的数据样本；
训练单元，用于分别利用有标签数据和每一组数据组中的每一个样本集训练所述分类器；
候选样本获取单元，用于获取每一组数据组中最高性能分类器对应的样本集，并构成候选训练集；
标签数据优化单元，用于将所述候选训练集中预设数量的数据加入到有标签数据中。
本发明还提出一种分类器训练系统，包括数据处理装置以及训练装置，其反复通过所述数据处理装置从无标签数据中获取数据样本加入有标签数据中，并在每一次数据样本加入有标签数据后，训练装置通过加入数据样本的有标签数据对分类器进行训练。
相对于现有技术，本发明的有益效果是：
本发明实施例的数据处理方法及装置、分类器训练方法及系统，充分考虑无标签数据的分布，将无标签数据和有标签数据放到一起学习，使得分类器有更好的泛化能力。
本实施例的数据处理方法，利用大量无标签数据样本，采取启发式遍历组合标签思想，保证引入无标签样本后一定能够使得分类器性能变得更优。
附图说明
图1为本发明实施例的一种数据处理方法的流程图；
图2为本发明实施例的另一种数据处理方法的流程图；
图3为本发明实施例的一种数据处理装置的结构图；
图4为本发明实施例的另一种数据处理装置的结构图；
图5为本发明实施例的一种分类器训练系统的结构图；
图6为本发明实施例的一种数据处理方法及装置、分类器训练方法及系统的应用环境示意图。
具体实施方式
有关本发明的前述及其他技术内容、特点及功效，在以下配合参考图式的较佳实施例详细说明中将可清楚的呈现。通过具体实施方式的说明，当可对本发明为达成预定目的所采取的技术手段及功效得以更加深入且具体的了解，然而所附图式仅是提供参考与说明之用，并非用来对本发明加以限制。
本发明实施例涉及一种数据处理方法及装置、分类器训练方法及系统，其应用于服务器，请参阅图6，其为上述的异常数据检测方法及装置、数据预处理方法及系统的运行环境示意图。一种服务器1200，该服务器1200包括有一个或一个以上计算机可读存储介质的存储器120、输入单元130、显示单元140、一个或者一个以上处理核心的处理器180、以及电源190等部件。本领域技术人员可以理解，图6中示出的服务器结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
存储器120可用于存储软件程序以及模块，处理器180通过运行存储在存储器120的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器120可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据服务器1200的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器120还可以包括存储器控制器，以提供处理器180和输入单元130对存储器120的访问。
输入单元130可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，输入单元130可包括触敏表面131以及其他输入设备132。触敏表面131，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面131上或在触敏表面131附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面131可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器180，并能接收处理器180发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面131。除了触敏表面131，输入单元130还可以包括其他输入设备132。具体地，其他输入设备132可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元140可用于显示由用户输入的信息或提供给用户的信息以及服务器1200的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元140可包括显示面板141，可选的，可以采用LCD(Liquid Crystal Display，液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板141。进一步的，触敏表面131可覆盖显示面板141，当触敏表面131检测到在其上或附近的触摸操作后，传送给处理器180以确定触摸事件的类型，随后处理器180根据触摸事件的类型在显示面板141上提供相应的视觉输出。虽然在图6中，触敏表面131与显示面板141是作为两个独立的部件来实现输入和输入功能，但是在某些实施例中，可以将触敏表面131与显示面板141集成而实现输入和输出功能。
处理器180是服务器1200的控制中心，利用各种接口和线路连接整个服务器1200的各个部分，通过运行或执行存储在存储器120内的软件程序和/或模块，以及调用存储在存储器120内的数据，执行服务器1200的各种功能和处理数据，从而对服务器1200进行整体监控。可选的，处理器180可包括一个或多个处理核心；优选的，处理器180可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器180中。
服务器1200还包括给各个部件供电的电源190(比如电池)，优选的，电源可以通过电源管理系统与处理器180逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源190还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
本发明实施例适用于可用建模样本较少，无标签数据较多的情况，例如征信预警系统、情感分析系统等数据的分类，并利用无标签数据来提升分类器的性能。
实施例一
本发明实施例提出一种数据处理方法，请参见图1，本实施例的数据处理方法包括：
S101，从无标签数据中提取多组数据组，其中每组数据组均包含预设数量的数据样本。所述的数据样本可以是各种信息的集合，例如在征信系统中，姓名、身份证号码、家庭住址、工作单位等身份识别信息，贷款发放银行、贷款额、贷款期限、还款方式、实际还款记录等贷款信息，发卡银行、授信额度、还款记录等信用卡信息可以共同构成一条数据样本。所述预设数量可以根据需要来设定，例如每组数据组都可以包含10个数据样本，即可以依次从无标签数据中抽取10个数据样本构成数据组，假设无标签数据有100个数据样本，那么最多可以提取出10组数据组。
S102，为每一组数据组的数据样本设置标签，构成每一组数据组中包含所有标签组合的多个样本集，其中一个样本集中包含一种标签组合的数据样本。为数据样本设置标签时，需要依据有标签数据的标签来设置，比如假设有标签数据的标签分为优质用户和非优质用户两种类别的标签，那么为数据样本设置标签时同样设置优质用户或非优质用户两种标签。其中，标签的类别是根据不同系统的需要来设定的，比如在征信系统中，可以根据用户的信用度分为优质用户和非优质用户两种标签；又比如在情感分析系统中，可以根据舆情信息的语义定义，分为正面和负面两种标签。当然，标签类别的数量并不以两种为限，但为了便于说明，本发明实施例以两种标签为例进行描述。
所述标签组合就是指包含类别的标签的组合。假设标签类别有两种，一个数据组含有10个数据样本，随机对这个数据组中的数据样本打上标签，那么就共有210也就是1024种不同的标签组合，一个样本集就是一种标签组合的数据样本，也就是，这个数据组包含1024个样本集。以一个简单的例子来说明：
假设一个数据组Q中包含两个数据样本{(用户A)，(用户B)}，其中(用户A)和(用户B)中包括用户A和用户B的信用数据，假设标签类别分为优质用户和非优质用户，那么对这个数据组Q进行标签标注，就形成四个样本集：{(用户A，优质用户)，(用户B，优质用户)}、{(用户A，优质用户)，(用户B，非优质用户)}、{(用户A，非优质用户)，(用户B，优质用户)}、{(用户A，非优质用户)，(用户B，非优质用户)}。
S103，分别利用有标签数据和每一组数据组中的每一个样本集训练分类器。步骤S102已经为样本集打上标签，因此可以依次把样本集加入到有标签数据中来训练分类器。分类器通常属于一个数学模型，其中包含众多参数，通常意义上所述对分类器的训练，即对分类器中参数的调整过程，以使分类器达到更好的分类效果。如果有10组数据组，每组数据组包含1024个样本集，那么要训练分类器10240次。
S104，获取每一组数据组中最高性能分类器对应的样本集，并构成候选训练集。经过步骤S103对分类器的训练，可以对分类器性能进行排序，从而选出每一组数据组对应的最高性能分类器，并获取对应的样本集。分类器的性能可以通过AUC(Area Under Curve)值来考量，AUC值表示分类器ROC(Receiver Operating Characteristic)曲线下方的面积，AUC值越大，表示分类器性能越好。如果有10组数据组，那么可以选出10个最好性能分类器对应的样本集，这10个样本集就构成了候选训练集，候选训练集即是能对分类器的训练产生最好效果的数据样本的集合。
以下对二类比较器的AUC值的计算进行说明：
首先定义：
TN比较器将实际负类预测为负类的样本数；
FN比较器将实际正类预测为负类的样本数；
FP比较器将实际负类预测为正类的样本数；
TP比较器将实际正类预测为正类的样本数；
其中，正类表示关注的类别，比如比较器的目的是找出优质用户，那么优质用户即为正类。
然后计算FRP(False Positive Rate，假正率)值和TPR(True Positive Rate，真正率)值：
FPR＝FP/(FP+TN)
TRP＝TP/(TP+FN)
接着以FPR为横轴，TPR为纵轴，就得到分类器的ROC曲线，最后计算ROC曲线下方的面积，即AUC值，就能直观地对分类器性能进行评价。
S105，将所述候选训练集中预设数量的数据加入到有标签数据中。这里所述的预设数量也可以根据需要来设定，比如可以将候选训练集中所有样本集中的数据均加入到有标签数据中，也可以线下测试选择候选训练集中最优的一部分样本集的数据样本加入到有标签数据中。选择候选训练集中一部分样本集的数据样本加入到有标签数据中时，还可以按照分类器的性能对候选训练集中的样本集进行排序，并选出需要数量的样本集加入到有标签数据中。
本实施例的数据处理方法，充分考虑无标签数据的分布，实质是将无标签数据和有标签数据放到一起学习，使得分类器有更好的泛化能力(泛化能力[generalizationability]是指机器学习算法对新鲜样本的适应能力)。
本实施例的数据处理方法，利用大量无标签数据样本，采取启发式遍历组合标签思想，保证引入无标签样本后一定能够使得分类器性能变得更优。
实施例二
请参见图2，其为本发明实施例的另一种数据处理方法的流程图，本实施例的数据处理方法包括以下步骤：
S201，将有标签数据按照预设比例划分为用于训练分类器的训练集和用于测试分类器的测试集。所述比例可以按照需要来设定，比如1:8或者1:9等。
S202，对无标签数据进行聚类。当需要处理的无标签样本数非常多时，为了节约计算资源，因而本实施例引入聚类算法，聚类以后每一类中的样本是相似的，那么每一类的数据所打标签是相同的。
S203，从每一类别的无标签数据中提取出一个数据样本，并将每预设数量的数据样本构成一个所述数据组。
S204，提取多组数据组。
S205，为每一组数据组的数据样本设置标签，构成每一组数据组中包含所有标签组合的多个样本集，其中一个样本集中包含一种标签组合的数据样本。
S206，将每一组数据组中的每一个样本集的数据样本分别加入所述训练集，构成多个新的训练集；
S207，通过多个新的训练集分别训练所述分类器。
S208，分别计算经过多个新的训练集训练的分类器的AUC值。
S209，获取每一数据组中最高AUC值对应的样本集，并构成所述候选训练集。
S210，将所述候选训练集中预设数量的数据加入到训练集中。
本实施例的数据处理方法，充分考虑无标签数据的分布，实质是将无标签数据和有标签数据放到一起学习，使得分类器有更好的泛化能力。
本实施例的数据处理方法，利用大量无标签数据样本，采取启发式遍历组合标签思想，保证引入无标签样本后一定能够使得分类器性能变得更优。
本实施例的数据处理方法，针对无标签数据量过多的情况，提出聚类和半监督结合使用的算法，大大地降低了分类器训练的时间复杂度。
实施例三
本实施例提出一种分类器训练方法，首先反复通过数据处理方法从无标签数据中获取数据样本加入有标签数据中，然后在每一次数据样本加入有标签数据后，通过加入数据样本的有标签数据对分类器进行训练。其中，所述的数据处理方法与实施例一或实施例二相同，在此不再赘述。
本实施例的分类器训练方法，利用大量无标签数据样本，采取启发式遍历组合标签思想，保证引入无标签样本后能够使得分类器性能变得更优。与传统的半监督模型不同，本实施例的分类器训练方法不考虑具体打标签的准确性，只考虑能否利用无标签样本的分布来改善分类器的性能，并且保证不会出现引入无标签数据反而导致分类器性能变坏的情况，能够很好利用无标签数据提升模型分类效果。因而，本实施例的分类器训练方法特别适用于存在大量无标签样本，且有标签样本数量不足的系统，例如在社交征信预警模型中应用本实施例的分类器训练方法，可以充分利用征信预警模型建设过程中大量未被利用的无标签数据来提升分类器性能，使得银行对信贷用户的风控能力进一步提升。
实施例四
本实施例提出一种数据处理装置，用于通过对分类器的训练来对有标签数据和无标签数据进行处理，请参见图3，本实施例的数据处理装置包括：数据组提取单元31、标签设置单元32、训练单元33、候选样本获取单元34以及标签数据优化单元35。
数据组提取单元31用于从无标签数据中提取多组数据组，其中每组数据组均包含预设数量的数据样本。所述的数据样本可以是各种信息的集合。所述预设数量可以根据需要来设定。例如每组数据组都可以包含10个数据样本，即可以依次从无标签数据中抽取10个数据样本构成数据组，假设无标签数据有100个数据样本，那么最多可以提取出10组数据组。
标签设置单元32用于为每一组数据组的数据样本设置标签，构成每一组数据组中包含所有标签组合的多个样本集，其中一个样本集中包含一种标签组合的数据样本。假设标签类别有两种，一个数据组含有10个数据样本，随机对这个数据组中的数据样本打上标签，那么就共有210也就是1024种不同的标签组合，一个样本集就是一种标签组合的数据样本，也就是，这个数据组包含1024个样本集。
训练单元33用于分别利用有标签数据和每一组数据组中的每一个样本集训练所述分类器。标签设置单元32已经为样本集打上标签，因此可以依次把样本集加入到有标签数据中来训练分类器。如果有10组数据组，每组数据组包含1024个样本集，那么要训练分类器10240次。
候选样本获取单元34用于获取每一组数据组中最高性能分类器对应的样本集，并构成候选训练集。经过训练单元33对分类器的训练，可以对每一组数据组中的数据训练出分类器性能进行排序，从而选出每一组数据组对应的最高性能分类器，并获取对应的样本集。分类器的性能可以通过AUC值来考量，AUC值越大，表示分类器性能越好。如果有10组数据组，那么可以选出10个最好性能分类器对应的样本集，这个10个样本集就构成了候选训练集，候选训练集即是能对分类器的训练产生最好效果的数据样本的集合。
标签数据优化单元35用于将所述候选训练集中预设数量的数据加入到有标签数据中。这里所述的预设数量也可以根据需要来设定，比如可以将候选训练集中所有样本集中的数据均加入到有标签数据中，也可以线下测试选择候选训练集中最优的一部分样本集的数据样本加入到有标签数据中。选择候选训练集中一部分样本集的数据样本加入到有标签数据中时，还可以按照分类器的性能对候选训练集中的样本集进行排序，并选出需要数量的样本集加入到有标签数据中。
本实施例的数据处理方法，充分考虑无标签数据的分布，实质是将无标签数据和有标签数据放到一起学习，使得分类器有更好的泛化能力(泛化能力[generalizationability]是指机器学习算法对新鲜样本的适应能力)。
本实施例的数据处理方法，利用大量无标签数据样本，采取启发式遍历组合标签思想，保证引入无标签样本后一定能够使得分类器性能变得更优。
实施例五
请参见图4，其为本发明实施例的另一种数据处理装置的结构图。与实施例四相比，本实施例的数据处理装置除了包括：数据组提取单元31、标签设置单元32、训练单元33、候选样本获取单元34及标签数据优化单元35，还包括：标签数据划分单元36和聚类单元37。
聚类单元37用于对无标签数据进行聚类。当需要处理的无标签样本数非常多时，为了节约计算资源，因而本实施例引入聚类算法，聚类以后每一类中的样本是相似的，那么每一类的数据所打标签是相同的。这样，数据组提取单元31就可以从每一类别的无标签数据中提取出一个数据样本，并将每预设数量的数据样本构成一个所述数据组。
标签数据划分单元36用于将所述有标签数据按照预设比例划分为用于训练分类器的训练集和用于测试分类器的测试集。
其中，所述训练单元33又进一步包括：训练集设置模块331和分类器训练模块332。训练集设置模块331用于将每一组数据组中的每一个样本集的数据样本分别加入所述训练集，构成多个新的训练集。分类器训练模块332用于通过多个新的训练集分别训练所述分类器。
所述候选样本获取单元34又进一步包括：性能值计算模块341和样本集采集模块342。性能值计算模块341用于分别计算经过多个新的训练集训练的分类器的AUC值。样本集采集模块342用于获取每一数据组中最高AUC值对应的样本集，并构成所述候选训练集。
本实施例的数据处理方法，充分考虑无标签数据的分布，实质是将无标签数据和有标签数据放到一起学习，使得分类器有更好的泛化能力。
本实施例的数据处理方法，利用大量无标签数据样本，采取启发式遍历组合标签思想，保证引入无标签样本后一定能够使得分类器性能变得更优。
本实施例的数据处理方法，针对无标签数据量过多的情况，提出聚类和半监督结合使用的算法，大大地降低了分类器训练的时间复杂度。
实施例六
本实施例提出一种分类器训练系统，请参见图5，其包括数据处理装置51以及训练装置52。其首先反复通过数据处理装置51从无标签数据中获取数据样本加入有标签数据中，然后在每一次数据样本加入有标签数据后，训练装置52通过加入数据样本的有标签数据对分类器进行训练。其中，所述的数据处理装置51与实施例四或实施例五相同，在此不再赘述。
本实施例的分类器训练系统，利用大量无标签数据样本，采取启发式遍历组合标签思想，保证引入无标签样本后能够使得分类器性能变得更优。与传统的半监督模型不同，本实施例的分类器训练方法不考虑具体打标签的准确性，只考虑能否利用无标签样本的分布来改善分类器的性能，并且保证不会出现引入无标签数据反而导致分类器性能变坏的情况，能够很好利用无标签数据提升模型分类效果。因而，本实施例的分类器训练系统特别适用于存在大量无标签样本，且有标签样本数量不足的系统，例如在社交征信预警模型中应用本实施例的分类器训练方法，可以充分利用征信预警模型建设过程中大量未被利用的无标签数据来提升分类器性能，使得银行对信贷用户的风控能力进一步提升。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明实施例可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本发明实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或网络设备等)执行本发明实施例各个实施场景所述的方法。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本申请技术方案范围内，当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本申请技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (14)

1.一种数据处理方法，用于通过对分类器的训练来对有标签数据和无标签数据进行处理，其特征在于，包括：
从无标签数据中提取多组数据组，其中每组数据组均包含预设数量的数据样本；
为每一组数据组的数据样本设置标签，构成每一组数据组中包含所有标签组合的多个样本集，其中一个样本集中包含一种标签组合的数据样本；
分别利用有标签数据和每一组数据组中的每一个样本集训练所述分类器；
获取每一组数据组中最高性能分类器对应的样本集，并构成候选训练集；
将所述候选训练集中预设数量的数据加入到有标签数据中。
2.如权利要求1所述的数据处理方法，其特征在于，所述分别利用有标签数据和每一组数据组中的每一个样本集训练所述分类器的步骤之前包括：将所述有标签数据按照预设比例划分为用于训练分类器的训练集和用于测试分类器的测试集。
3.如权利要求2所述的数据处理方法，其特征在于，所述分别利用有标签数据和每一组数据组中的每一个样本集训练所述分类器的步骤包括：
将每一组数据组中的每一个样本集的数据样本分别加入所述训练集，构成多个新的训练集；
通过多个新的训练集分别训练所述分类器。
4.如权利要求3所述的数据处理方法，其特征在于，所述获取每一组数据组中最高性能分类器对应的样本集，并构成候选训练集的步骤包括：
分别计算经过多个新的训练集训练的分类器的AUC值；
获取每一数据组中最高AUC值对应的样本集，并构成所述候选训练集。
5.如权利要求1所述的数据处理方法，其特征在于，所述将所述候选训练集中预设数量的数据加入到用于训练分类器的有标签数据中的步骤中，所述预设数量为所述候选训练集中所有的数据。
6.如权利要求1所述的数据处理方法，其特征在于，
所述从无标签数据中提取多组数据组的步骤之前包括：对无标签数据进行聚类；
所述从无标签数据中提取多组数据组的步骤包括：从每一类别的无标签数据中提取出一个数据样本，并将每预设数量的数据样本构成一个所述数据组。
7.一种分类器训练方法，其特征在于，包括：
反复通过如权利要求1～6任一项所述的数据处理方法从无标签数据中获取数据样本加入有标签数据中；
每一次数据样本加入有标签数据后，通过加入数据样本的有标签数据对分类器进行训练。
8.一种数据处理装置，用于通过对分类器的训练来对有标签数据和无标签数据进行处理，其特征在于，包括：
数据组提取单元，用于从无标签数据中提取多组数据组，其中每组数据组均包含预设数量的数据样本；
标签设置单元，用于为每一组数据组的数据样本设置标签，构成每一组数据组中包含所有标签组合的多个样本集，其中一个样本集中包含一种标签组合的数据样本；
训练单元，用于分别利用有标签数据和每一组数据组中的每一个样本集训练所述分类器；
候选样本获取单元，用于获取每一组数据组中最高性能分类器对应的样本集，并构成候选训练集；
标签数据优化单元，用于将所述候选训练集中预设数量的数据加入到有标签数据中。
9.如权利要求8所述的数据处理装置，其特征在于，所述数据处理装置还包括：
标签数据划分单元，用于将所述有标签数据按照预设比例划分为用于训练分类器的训练集和用于测试分类器的测试集。
10.如权利要求9所述的数据处理装置，其特征在于，所述训练单元进一步包括：
训练集设置模块，用于将每一组数据组中的每一个样本集的数据样本分别加入所述训练集，构成多个新的训练集；
分类器训练模块，用于通过多个新的训练集分别训练所述分类器。
11.如权利要求10所述的数据处理装置，其特征在于，所述候选样本获取单元进一步包括：
性能值计算模块，用于分别计算经过多个新的训练集训练的分类器的AUC值；
样本集采集模块，用于获取每一数据组中最高AUC值对应的样本集，并构成所述候选训练集。
12.如权利要求8所述的数据处理装置，其特征在于，所述标签数据优化单元将所述候选训练集中所有的数据加入到用于训练分类器的有标签数据中。
13.如权利要求8所述的数据处理装置，其特征在于，所述数据处理装置还包括：
聚类单元，用于对无标签数据进行聚类；
所述数据组提取单元从每一类别的无标签数据中提取出一个数据样本，并将每预设数量的数据样本构成一个所述数据组。
14.一种分类器训练系统，其特征在于，包括如权利要求8～13任一项所述的数据处理装置以及训练装置，其反复通过所述数据处理装置从无标签数据中获取数据样本加入有标签数据中，并在每一次数据样本加入有标签数据后，训练装置通过加入数据样本的有标签数据对分类器进行训练。
CN201610912823.0A 2016-10-18 2016-10-18 数据处理方法及装置、分类器训练方法及系统 Active CN106650780B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201610912823.0A CN106650780B (zh) 2016-10-18 2016-10-18 数据处理方法及装置、分类器训练方法及系统
PCT/CN2017/106265 WO2018072663A1 (zh) 2016-10-18 2017-10-16 数据处理方法及装置、分类器训练方法及系统、存储介质
US16/382,700 US11860976B2 (en) 2016-10-18 2019-04-12 Data processing method and device, classifier training method and system, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610912823.0A CN106650780B (zh) 2016-10-18 2016-10-18 数据处理方法及装置、分类器训练方法及系统

Publications (2)

Publication Number Publication Date
CN106650780A true CN106650780A (zh) 2017-05-10
CN106650780B CN106650780B (zh) 2021-02-12

Family

ID=58856374

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610912823.0A Active CN106650780B (zh) 2016-10-18 2016-10-18 数据处理方法及装置、分类器训练方法及系统

Country Status (3)

Country Link
US (1) US11860976B2 (zh)
CN (1) CN106650780B (zh)
WO (1) WO2018072663A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107704495A (zh) * 2017-08-25 2018-02-16 平安科技（深圳）有限公司 主题分类器的训练方法、装置及计算机可读存储介质
WO2018072663A1 (zh) * 2016-10-18 2018-04-26 腾讯科技（深圳）有限公司 数据处理方法及装置、分类器训练方法及系统、存储介质
CN108229590A (zh) * 2018-02-13 2018-06-29 阿里巴巴集团控股有限公司 一种获取多标签用户画像的方法和装置
CN109213656A (zh) * 2018-07-23 2019-01-15 武汉智领云科技有限公司 一种交互式大数据智能异常检测系统和方法
CN109446065A (zh) * 2018-09-18 2019-03-08 深圳壹账通智能科技有限公司 用户标签测试方法、装置、计算机设备和存储介质
CN109492695A (zh) * 2018-11-08 2019-03-19 北京字节跳动网络技术有限公司 数据建模的样本处理方法、装置、电子设备及可读介质
CN109583590A (zh) * 2018-11-29 2019-04-05 深圳和而泰数据资源与云技术有限公司 数据处理方法及数据处理装置
CN109815991A (zh) * 2018-12-29 2019-05-28 北京城市网邻信息技术有限公司 机器学习模型的训练方法、装置、电子设备及存储介质
CN110019664A (zh) * 2017-09-29 2019-07-16 北京国双科技有限公司 训练查询选择方法和装置
CN110188798A (zh) * 2019-04-28 2019-08-30 阿里巴巴集团控股有限公司 一种对象分类方法及模型训练方法和装置
CN110852338A (zh) * 2019-07-26 2020-02-28 平安科技（深圳）有限公司 用户画像的构建方法及装置
US20210158078A1 (en) * 2018-09-03 2021-05-27 Ping An Technology (Shenzhen) Co., Ltd. Unbalanced sample data preprocessing method and device, and computer device

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11275900B2 (en) * 2018-05-09 2022-03-15 Arizona Board Of Regents On Behalf Of Arizona State University Systems and methods for automatically assigning one or more labels to discussion topics shown in online forums on the dark web
US10354205B1 (en) * 2018-11-29 2019-07-16 Capital One Services, Llc Machine learning system and apparatus for sampling labelled data
CN109886299B (zh) * 2019-01-16 2024-05-24 平安科技（深圳）有限公司 一种用户画像方法、装置、可读存储介质及终端设备
CN110245832A (zh) * 2019-05-08 2019-09-17 上海市第十人民医院 一种基于经济运营数据中心的数据优化方法及系统
CN110490237B (zh) * 2019-08-02 2022-05-17 Oppo广东移动通信有限公司 数据处理方法、装置、存储介质及电子设备
CN110413856B (zh) * 2019-08-05 2023-11-10 腾讯科技（深圳）有限公司 分类标注方法、装置、可读存储介质及设备
CN111160733B (zh) * 2019-12-16 2024-03-29 北京淇瑀信息科技有限公司 一种基于有偏样本的风险控制方法、装置及电子设备
CN111160469B (zh) * 2019-12-30 2023-08-08 湖南大学 一种目标检测系统的主动学习方法
CN111259964B (zh) * 2020-01-17 2023-04-07 上海海事大学 一种不平衡数据集的过采样方法
CN111522942B (zh) * 2020-03-18 2023-09-22 大箴(杭州)科技有限公司 文本分类模型的训练方法、装置、存储介质及计算机设备
CN111626898B (zh) * 2020-03-20 2022-03-15 贝壳找房(北京)科技有限公司 用于实现事件归因的方法、装置、介质和电子设备
CN111861690B (zh) * 2020-07-23 2024-04-26 金蝶软件（中国）有限公司 账务数据核对方法及账务数据核对装置
CN114077860A (zh) * 2020-08-18 2022-02-22 鸿富锦精密电子(天津)有限公司 零件装配前分类处理方法、系统、电子设备及存储介质
US20220114389A1 (en) * 2020-10-09 2022-04-14 GE Precision Healthcare LLC Systems and methods of automatic medical image labeling
US12008048B2 (en) * 2021-01-04 2024-06-11 Oracle International Corporation Drill back to original audio clip in virtual assistant initiated lists and reminders
US11714802B2 (en) * 2021-04-02 2023-08-01 Palo Alto Research Center Incorporated Using multiple trained models to reduce data labeling efforts
US20220343115A1 (en) * 2021-04-27 2022-10-27 Red Hat, Inc. Unsupervised classification by converting unsupervised data to supervised data
CN113191824A (zh) * 2021-05-24 2021-07-30 北京大米科技有限公司 数据处理方法、装置、电子设备和可读存储介质
CN113391923B (zh) * 2021-06-18 2022-12-23 上海钧正网络科技有限公司 系统资源数据分配方法和装置
CN113791034B (zh) * 2021-09-30 2022-09-06 合肥德泰轨交数据有限公司 一种用于钢轨探伤的样本采集分类监管系统
US11983629B1 (en) * 2022-10-31 2024-05-14 Intuit Inc. Prior injections for semi-labeled samples
CN117875421B (zh) * 2024-03-13 2024-05-17 中国水利水电第一工程局有限公司 基于深度学习的光伏阵列故障诊断方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070239638A1 (en) * 2006-03-20 2007-10-11 Microsoft Corporation Text classification by weighted proximal support vector machine
CN101359372A (zh) * 2008-09-26 2009-02-04 腾讯科技（深圳）有限公司 分类器的训练方法及装置、识别敏感图片的方法及装置
CN105930411A (zh) * 2016-04-18 2016-09-07 苏州大学 一种分类器训练方法、分类器和情感分类系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7672915B2 (en) * 2006-08-25 2010-03-02 Research In Motion Limited Method and system for labelling unlabeled data records in nodes of a self-organizing map for use in training a classifier for data classification in customer relationship management systems
JP2011248636A (ja) * 2010-05-27 2011-12-08 Sony Corp 情報処理装置、情報処理方法およびプログラム
US9275345B1 (en) * 2011-02-11 2016-03-01 Allure Security Technology, Inc. System level user behavior biometrics using feature extraction and modeling
US20150206069A1 (en) * 2014-01-17 2015-07-23 Matthew BEERS Machine learning-based patent quality metric
CN104820687A (zh) * 2015-04-22 2015-08-05 中国科学院信息工程研究所 一种有向链接式分类器构造方法及分类方法
CN104750875B (zh) * 2015-04-23 2018-03-02 苏州大学 一种机器错误数据分类方法及系统
CN105023006B (zh) * 2015-08-05 2018-05-04 西安电子科技大学 基于增强型非参数最大边缘准则的人脸识别方法
CN105303198B (zh) * 2015-11-17 2018-08-17 福州大学 一种自定步长学习的遥感影像半监督分类方法
CN106650780B (zh) * 2016-10-18 2021-02-12 腾讯科技（深圳）有限公司 数据处理方法及装置、分类器训练方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070239638A1 (en) * 2006-03-20 2007-10-11 Microsoft Corporation Text classification by weighted proximal support vector machine
CN101359372A (zh) * 2008-09-26 2009-02-04 腾讯科技（深圳）有限公司 分类器的训练方法及装置、识别敏感图片的方法及装置
CN105930411A (zh) * 2016-04-18 2016-09-07 苏州大学 一种分类器训练方法、分类器和情感分类系统

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018072663A1 (zh) * 2016-10-18 2018-04-26 腾讯科技（深圳）有限公司 数据处理方法及装置、分类器训练方法及系统、存储介质
US11860976B2 (en) 2016-10-18 2024-01-02 Tencent Technology (Shenzhen) Company Limited Data processing method and device, classifier training method and system, and storage medium
WO2019037197A1 (zh) * 2017-08-25 2019-02-28 平安科技（深圳）有限公司 主题分类器的训练方法、装置及计算机可读存储介质
CN107704495B (zh) * 2017-08-25 2018-08-10 平安科技（深圳）有限公司 主题分类器的训练方法、装置及计算机可读存储介质
CN107704495A (zh) * 2017-08-25 2018-02-16 平安科技（深圳）有限公司 主题分类器的训练方法、装置及计算机可读存储介质
CN110019664A (zh) * 2017-09-29 2019-07-16 北京国双科技有限公司 训练查询选择方法和装置
WO2019157928A1 (zh) * 2018-02-13 2019-08-22 阿里巴巴集团控股有限公司 一种获取多标签用户画像的方法和装置
CN108229590A (zh) * 2018-02-13 2018-06-29 阿里巴巴集团控股有限公司 一种获取多标签用户画像的方法和装置
TWI693567B (zh) * 2018-02-13 2020-05-11 香港商阿里巴巴集團服務有限公司 一種獲取多標籤使用者肖像的方法和裝置
CN109213656A (zh) * 2018-07-23 2019-01-15 武汉智领云科技有限公司 一种交互式大数据智能异常检测系统和方法
US20210158078A1 (en) * 2018-09-03 2021-05-27 Ping An Technology (Shenzhen) Co., Ltd. Unbalanced sample data preprocessing method and device, and computer device
US11941087B2 (en) * 2018-09-03 2024-03-26 Ping An Technology (Shenzhen) Co., Ltd. Unbalanced sample data preprocessing method and device, and computer device
CN109446065A (zh) * 2018-09-18 2019-03-08 深圳壹账通智能科技有限公司 用户标签测试方法、装置、计算机设备和存储介质
CN109492695A (zh) * 2018-11-08 2019-03-19 北京字节跳动网络技术有限公司 数据建模的样本处理方法、装置、电子设备及可读介质
CN109583590A (zh) * 2018-11-29 2019-04-05 深圳和而泰数据资源与云技术有限公司 数据处理方法及数据处理装置
CN109583590B (zh) * 2018-11-29 2020-11-13 深圳和而泰数据资源与云技术有限公司 数据处理方法及数据处理装置
CN109815991A (zh) * 2018-12-29 2019-05-28 北京城市网邻信息技术有限公司 机器学习模型的训练方法、装置、电子设备及存储介质
CN109815991B (zh) * 2018-12-29 2021-02-19 北京城市网邻信息技术有限公司 机器学习模型的训练方法、装置、电子设备及存储介质
CN110188798B (zh) * 2019-04-28 2023-08-08 创新先进技术有限公司 一种对象分类方法及模型训练方法和装置
CN110188798A (zh) * 2019-04-28 2019-08-30 阿里巴巴集团控股有限公司 一种对象分类方法及模型训练方法和装置
CN110852338A (zh) * 2019-07-26 2020-02-28 平安科技（深圳）有限公司 用户画像的构建方法及装置

Also Published As

Publication number Publication date
WO2018072663A1 (zh) 2018-04-26
US20190236412A1 (en) 2019-08-01
US11860976B2 (en) 2024-01-02
CN106650780B (zh) 2021-02-12

Similar Documents

Publication Publication Date Title
CN106650780A (zh) 数据处理方法及装置、分类器训练方法及系统
CN104572958B (zh) 一种基于事件抽取的敏感信息监控方法
CN104268603B (zh) 用于文字性客观题的智能阅卷方法及系统
CN103065134B (zh) 一种具有提示信息的指纹识别装置和方法
CN102855082B (zh) 用于重叠文本用户输入的字符识别
CN108629043A (zh) 网页目标信息的提取方法、装置及存储介质
CN110490238A (zh) 一种图像处理方法、装置及存储介质
CN107704512A (zh) 基于社交数据的金融产品推荐方法、电子装置及介质
US20150113388A1 (en) Method and apparatus for performing topic-relevance highlighting of electronic text
CN106646158A (zh) 基于多分类支持向量机变压器故障诊断提升方法
CN107145571A (zh) 一种搜索方法及装置
CN103838754A (zh) 信息搜索装置及方法
CN102163214A (zh) 一种数字地图生成装置及方法
CN102063620A (zh) 一种手写识别方法、系统及手写识别终端
CN111382605B (zh) 视频内容审核方法、装置、存储介质和计算机设备
CN111538852B (zh) 多媒体资源处理方法、装置、存储介质及设备
CN112861750B (zh) 基于拐点检测的视频提取方法、装置、设备及介质
Wang et al. Automatic identification and location of tunnel lining cracks
CN111078870A (zh) 评价数据处理方法、装置、介质和计算机设备
CN114241501A (zh) 影像文档处理方法、装置及电子设备
CN208224474U (zh) 用电计量设备故障监控装置
CN109446324A (zh) 样本数据的处理方法、装置、存储介质及电子设备
CN111738290B (zh) 图像检测方法、模型构建和训练方法、装置、设备和介质
CN112163400A (zh) 信息处理方法及装置
CN106462629A (zh) 搜索中的直接答案触发

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant