CN113297289A - 从数据库提取业务数据的方法、装置和电子设备 - Google Patents

从数据库提取业务数据的方法、装置和电子设备 Download PDF

Info

Publication number
CN113297289A
CN113297289A CN202110470126.5A CN202110470126A CN113297289A CN 113297289 A CN113297289 A CN 113297289A CN 202110470126 A CN202110470126 A CN 202110470126A CN 113297289 A CN113297289 A CN 113297289A
Authority
CN
China
Prior art keywords
data
screening
features
feature
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110470126.5A
Other languages
English (en)
Inventor
马达标
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Qiyue Information Technology Co Ltd
Original Assignee
Shanghai Qiyue Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Qiyue Information Technology Co Ltd filed Critical Shanghai Qiyue Information Technology Co Ltd
Priority to CN202110470126.5A priority Critical patent/CN113297289A/zh
Publication of CN113297289A publication Critical patent/CN113297289A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种从数据库提取业务数据的方法、装置和电子设备，方法包括：获取数据库中根据业务处理过程所产生的第一数据；根据第一数据的字段类型，从第一数据中提取数据特征；使用预设的第一筛选模型对数据特征进行筛选，使用通过筛选的多个第一特征和初始的第二特征训练预设的第二筛选模型，使用第二筛选模型对未完成筛选的其他特征进行筛选，并将通过筛选的所有特征作为业务数据。本发明每次使用第一组合特征训练第一筛选模型时，都分析判断第一筛选模型的筛选能力是否提升，确保通过筛选的特征质量更高，特征之间组合后的训练效果比单个特征更好，也即确保了最终用于筛选的第二模型筛选能力更高，提升了业务数据挖掘的整体效果。

Description

从数据库提取业务数据的方法、装置和电子设备
技术领域
本发明涉及计算机信息处理领域，具体而言，涉及一种从数据库提取业务数据的方法、装置、电子设备及计算机可读介质。
背景技术
特征是指从大数据提炼出的某些有用的信息，数据特征挖掘是指从大规模数据中识别出可理解和应用的信息的技术，其在各个领域均有重要应用，例如，在业务处理过程中往往产生了大量的数据，其中有的特征所反映的业务信息质量较高，其可以作为业务数据挖掘出来进行利用。
一般来说，对于低维度、易于理解的数据，人工设计特征往往是比较有效的。但对于大量维度或无法用人工的方式看出数据与目标的关系的数据，需要自动化挖掘的方式，即通过一套自动化进行数据预处理、特征生成、特征筛选、模型训练的挖掘系统生成大量深度(复杂)特征，并从其中进行筛选，来进行特征的构造工作。
因此，需要提供一种自动化挖掘业务数据的技术方案，能够保证挖掘出高质量的业务数据。
发明内容
本发明旨在提供一种自动化挖掘业务数据的技术方案，能够保证挖掘出高质量的业务数据。
为了解决上述技术问题，本发明第一方面提出一种从数据库提取业务数据的方法，包括：获取数据库中根据业务处理过程所产生的第一数据；根据所述第一数据的字段类型，从所述第一数据中提取数据特征；使用预设的第一筛选模型对所述数据特征进行筛选，具体包括：从未完成筛选的特征组中抽取第一特征；将所述第一特征与预设的通过筛选的第二特征组合得到第一组合特征，使用所述第一组合特征训练所述第一筛选模型；如果训练后所述第一筛选模型的筛选能力超过训练前所述第一筛选模型的筛选能力，使用所述第一组合特征更新所述第二特征，并重新抽取所述第一特征并训练所述第一筛选模型，如果训练后所述第一筛选模型的筛选能力未超过训练前所述第一筛选模型的筛选能力，则重新抽取所述第一特征并训练所述第一筛选模型，直至所述第二特征更新次数到达预设次数；确定最新的所述第二特征相关的多个第一特征通过筛选；使用通过筛选的多个第一特征和初始的所述第二特征训练预设的第二筛选模型，使用所述第二筛选模型对未完成筛选的其他特征进行筛选，并将通过筛选的所有特征作为所述业务数据。
根据本发明的一种优选实施方式，在所述使用预设的第一筛选模型对所述数据特征进行筛选之前，还包括：使用预设的第三筛选模型对所述数据特征进行筛选，所述第三筛选模型的参数量低于预设的第一数量，具体包括：将所述特征组中多个特征分别与所述第二特征组合得到多个第二组合特征，使用所述多个第二组合特征分别训练所述第三筛选模型；如果训练后所述第三筛选模型的筛选能力低于预设能力值，将用于训练的第二组合特征对应的特征从所述特征组中去除。
根据本发明的一种优选实施方式，在所述使用预设的第三筛选模型对所述数据特征进行筛选后，在所述使用预设的第一筛选模型对所述数据特征进行筛选之前，还包括：使用预设的第四筛选模型对所述数据特征进行筛选，所述第四筛选模型的参数量高于预设的第二数量，具体包括：将所述特征组中多个特征分别与所述第二特征组合得到多个第三组合特征，使用所述多个第三组合特征分别训练所述第三筛选模型；如果训练后所述第三筛选模型的筛选能力低于预设能力值，将用于训练的第二组合特征对应的特征从所述特征组中去除。
根据本发明的一种优选实施方式，在所述使用预设的第一筛选模型对所述数据特征进行筛选之前，还包括：分析所述数据特征中每个特征反映的业务信息量，从所述数据特征中去除反映业务信息量低于预设水平的特征。
根据本发明的一种优选实施方式，所述根据第一数据的字段类型，从所述第一数据中提取数据特征，包括：根据所述第一数据的字段类型，设置所述第一数据的切割模型，以及从预设与所述业务对应的特征生成库中调取特征生成函数；使用所述切割模型对所述第一数据进行切割处理；使用所述特征生成函数对所述第一数据处理得到所述数据特征。
根据本发明的一种优选实施方式，在所述根据第一数据的字段类型，从所述第一数据中提取数据特征之前，还包括：识别所述第一数据中的非法数据并删除；和/或识别所述第一数据中出现频次低于预设频次的数据类型，删除所述数据类型的所有数据。
为了解决上述技术问题，本发明第二方面提出一种从数据库提取业务数据的装置，包括：数据获取模块，获取数据库中根据业务处理过程所产生的第一数据；特征提取模块，根据所述第一数据的字段类型，从所述第一数据中提取数据特征；第一筛选模块，使用预设的第一筛选模型对所述数据特征进行筛选，具体包括：从未完成筛选的特征组中抽取第一特征；将所述第一特征与预设的通过筛选的第二特征组合得到第一组合特征，使用所述第一组合特征训练所述第一筛选模型；如果训练后所述第一筛选模型的筛选能力超过训练前所述第一筛选模型的筛选能力，使用所述第一组合特征更新所述第二特征，并重新抽取所述第一特征并训练所述第一筛选模型，如果训练后所述第一筛选模型的筛选能力未超过训练前所述第一筛选模型的筛选能力，则重新抽取所述第一特征并训练所述第一筛选模型，直至所述第二特征更新次数到达预设次数；确定最新的所述第二特征相关的多个第一特征通过筛选；第二筛选模块，使用通过筛选的多个第一特征和初始的所述第二特征训练预设的第二筛选模型，使用所述第二筛选模型对未完成筛选的其他特征进行筛选，并将通过筛选的所有特征作为所述业务数据。
根据本发明的一种优选实施方式，还包括：第三筛选模块，在所述使用预设的第一筛选模型对所述数据特征进行筛选之前，使用预设的第三筛选模型对所述数据特征进行筛选，所述第三筛选模型的参数量低于预设的第一数量，具体包括：将所述特征组中多个特征分别与所述第二特征组合得到多个第二组合特征，使用所述多个第二组合特征分别训练所述第三筛选模型；如果训练后所述第三筛选模型的筛选能力低于预设能力值，将用于训练的第二组合特征对应的特征从所述特征组中去除。
根据本发明的一种优选实施方式，还包括：第四筛选模块，在所述使用预设的第三筛选模型对所述数据特征进行筛选后，在所述使用预设的第一筛选模型对所述数据特征进行筛选之前，使用预设的第四筛选模型对所述数据特征进行筛选，所述第四筛选模型的参数量高于预设的第二数量，具体包括：将所述特征组中多个特征分别与所述第二特征组合得到多个第三组合特征，使用所述多个第三组合特征分别训练所述第三筛选模型；如果训练后所述第三筛选模型的筛选能力低于预设能力值，将用于训练的第二组合特征对应的特征从所述特征组中去除。
根据本发明的一种优选实施方式，还包括：第五筛选模块，在所述使用预设的第一筛选模型对所述数据特征进行筛选之前，分析所述数据特征中每个特征反映的业务信息量，从所述数据特征中去除反映业务信息量低于预设水平的特征。
根据本发明的一种优选实施方式，所述特征提取模块根据所述第一数据的字段类型，设置所述第一数据的切割模型，以及从预设与所述业务对应的特征生成库中调取特征生成函数，使用所述切割模型对所述第一数据进行切割处理，使用所述特征生成函数对所述第一数据处理得到所述数据特征。
根据本发明的一种优选实施方式，还包括：预处理模块，在所述根据第一数据的字段类型，从所述第一数据中提取数据特征之前，识别所述第一数据中的非法数据并删除；和/或识别所述第一数据中出现频次低于预设频次的数据类型，删除所述数据类型的所有数据。
为了解决上述技术问题，本发明第三方面提出一种电子设备，其包括处理器以及存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使所述处理器执行上述的方法。
为了解决上述技术问题，本发明第四方面提出一种计算机可读存储介质，该所述计算机可读存储介质存储一个或多个程序，当所述一个或多个程序被处理器执行时，实现上述的方法。
在本发明的技术方案中，在从数据库中获取数据并提取数据特征后，每次使用第一组合特征训练第一筛选模型时，都分析判断第一筛选模型的筛选能力是否提升，以此为依据进行特征筛选，确保通过筛选的特征质量更高，特征之间组合后的训练效果比单个特征更好，也即确保了最终用于筛选的第二模型筛选能力更高，从而提升筛选出的业务数据的整体质量。
附图说明
为了使本发明所解决的技术问题、采用的技术手段及取得的技术效果更加清楚，下面将参照附图详细描述本发明的具体实施例。但需声明的是，下面描述的附图仅仅是本发明的示例性实施例的附图，对于本领域的技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他实施例的附图。
图1是根据本发明的一个实施例的从数据库提取业务数据的方法的流程图；
图2是根据本发明的一个实施例的从数据库提取业务数据的方法的流程图；
图3是根据本发明的一个实施例的从数据库提取业务数据的方法的流程图；
图4是根据本发明的一个实施例的从数据库提取业务数据的装置的框图；
图5是根据本发明的一个实施例的从数据库提取业务数据的装置的框图；
图6是根据本发明的一个实施例的电子设备的框图；
图7是根据本发明的一个实施例的计算机可读存储介质的示意图。
具体实施方式
现在将参考附图来更加全面地描述本发明的示例性实施例，虽然各示例性实施例能够以多种具体的方式实施，但不应理解为本发明仅限于在此阐述的实施例。相反，提供这些示例性实施例是为了使本发明的内容更加完整，更加便于将发明构思全面地传达给本领域的技术人员。
在符合本发明的技术构思的前提下，在某个特定的实施例中描述的结构、性能、效果或者其他特征可以以任何合适的方式结合到一个或更多其他的实施例中。
在对于具体实施例的介绍过程中，对结构、性能、效果或者其他特征的细节描述是为了使本领域的技术人员对实施例能够充分理解。但是，并不排除本领域技术人员可以在特定情况下，以不含有上述结构、性能、效果或者其他特征的技术方案来实施本发明。
附图中的流程图仅是一种示例性的流程演示，不代表本发明的方案中必须包括流程图中的所有的内容、操作和步骤，也不代表必须按照图中所显示的的顺序执行。例如，流程图中有的操作/步骤可以分解，有的操作/步骤可以合并或部分合并，等等，在不脱离本发明的发明主旨的情况下，流程图中显示的执行顺序可以根据实际情况改变。
附图中的框图一般表示的是功能实体，并不一定必然与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
各附图中相同的附图标记表示相同或类似的元件、组件或部分，因而下文中可能省略了对相同或类似的元件、组件或部分的重复描述。还应理解，虽然本文中可能使用第一、第二、第三等表示编号的定语来描述各种器件、元件、组件或部分，但是这些器件、元件、组件或部分不应受这些定语的限制。也就是说，这些定语仅是用来将一者与另一者区分。例如，第一器件亦可称为第二器件，但不偏离本发明实质的技术方案。此外，术语“和/或”、“及/或”是指包括所列出项目中的任一个或多个的所有组合。
本发明的技术方案中，获取数据库中根据业务处理过程所产生的第一数据；根据第一数据的字段类型，从第一数据中提取数据特征；使用预设的第一筛选模型对数据特征进行筛选，具体包括：从未完成筛选的特征组中抽取第一特征；将第一特征与预设的通过筛选的第二特征组合得到第一组合特征，使用第一组合特征训练第一筛选模型；如果训练后第一筛选模型的筛选能力超过训练前第一筛选模型的筛选能力，使用第一组合特征更新第二特征，并重新抽取第一特征并训练第一筛选模型，如果训练后第一筛选模型的筛选能力未超过训练前第一筛选模型的筛选能力，则重新抽取第一特征并训练第一筛选模型，直至第二特征更新次数到达预设次数；确定最新的第二特征相关的多个第一特征通过筛选；使用通过筛选的多个第一特征和初始的第二特征训练预设的第二筛选模型，使用第二筛选模型对未完成筛选的其他特征进行筛选，并将通过筛选的所有特征作为业务数据，在本发明的技术方案中，每次使用第一组合特征训练第一筛选模型时，都分析判断第一筛选模型的筛选能力是否提升，以此为依据进行特征筛选，确保通过筛选的特征质量更高，特征之间组合后的训练效果比单个特征更好，也即确保了最终用于筛选的第二模型筛选能力更高，提升了业务数据挖掘的整体效果。
如图1所示，本发明的一个实施例中提出一种从数据库提取业务数据的方法，方法包括：
步骤S110，获取数据库中根据业务处理过程所产生的第一数据。
在本实施例中，对业务类型不进行限制，业务过程中产生的第一数据内容较多，反应的业务质量高低不同，因此需要提取出高质量的业务数据。
步骤S120，根据第一数据的字段类型，从第一数据中提取数据特征。
步骤S130，使用预设的第一筛选模型对数据特征进行筛选，具体如图2所示，包括：
步骤S210，从未完成筛选的特征组中抽取第一特征。
步骤S220，将第一特征与预设的通过筛选的第二特征组合得到第一组合特征，使用第一组合特征训练第一筛选模型。
步骤S230，如果训练后第一筛选模型的筛选能力超过训练前第一筛选模型的筛选能力，使用第一组合特征更新第二特征，并重新抽取第一特征并训练第一筛选模型，如果训练后第一筛选模型的筛选能力未超过训练前第一筛选模型的筛选能力，则重新抽取第一特征并训练第一筛选模型，直至第二特征更新次数到达预设次数。
步骤S240，确定最新的第二特征相关的多个第一特征通过筛选。
在本实施例中，假设现在已经挖掘的特征簇为A，有待筛选的特征为Bi(i＝0,1,2,…)。在本实施例中，可以选用GBDT(一类基于gradient booting的决策树(回归树)的机器学习算法，常用来进行构造大数据预测模型，常见的有XGBoost、lightgbm等等)算法来训练模型。而通过实践，实践中发现现有技术中GBDT算法的使用存在缺陷，A特征+B特征的效果不一定比单独使用A要好，而本实施例的技术方案用于克服该缺陷。具体操作方式为：a)选取Bi，使用A+Bi进行组合并进行GBDT模型训练，b)如果A+Bi的效果好于A，将Bi归为A，同时在B中剔除Bi；如果A+Bi的效果差于A，直接在B中剔除Bi；c)重复a)、b)，直到达到纳入A的特征数量达到某个数量阈值，通过以上步骤，可以保证多个Bi与A组合之后，效果仍然是提升的。此处的GBDT模型参数量高于一定阈值(例如模型中树的数量高于一定阈值)，有利于解决上述GBDT算法的缺陷。
步骤S140，使用通过筛选的多个第一特征和初始的第二特征训练预设的第二筛选模型，使用第二筛选模型对未完成筛选的其他特征进行筛选，并将通过筛选的所有特征作为业务数据。
在本实施例中，将筛选出的所有B特征与原始A特征组合做最后的模型训练，使用模型对其他特征进行筛选，得到最终的挖掘出的特征作为业务数据。
根据本实施例的技术方案，在从数据库中获取数据并提取数据特征后，每次使用第一组合特征训练第一筛选模型时，都分析判断第一筛选模型的筛选能力是否提升，以此为依据进行特征筛选，确保通过筛选的特征质量更高，特征之间组合后的训练效果比单个特征更好，也即确保了最终用于筛选的第二模型筛选能力更高，从而提升筛选出的业务数据的整体质量。
如图3所示，本发明的一个实施例中提出一种从数据库提取业务数据的方法，方法包括：
步骤S310，获取数据库中根据业务处理过程所产生的第一数据。
步骤S320，识别第一数据中的非法数据并删除；和/或识别第一数据中出现频次低于预设频次的数据类型，删除数据类型的所有数据。
在本实施例中，根据字段类型进行自动化数据预处理，例如，假设数据字段是数值类型，那么根据字段调用的自动化数据预处理函数依次为：寻找违法数据(非数值)并替换为NULL，统计此字段所有数据均值及方差，根据均值和方差进行过滤操作；假设数据字段是可分类文本类型(例如，性别、省份)，那么自动化数据预处理函数依次为：寻找违法数据并替换，统计数据此字段所有分类，剔除只有极少样本的分类，将分类文本与离散数值进行对应；假设数据字段是可排序文本类型(例如，强弱、大小等可以进行排序的文本类型)，调用的预处理函数为：寻找违法数据并替换，统计所有排序元素，剔除只有极少样本的分类，将分类文本与可排序离散数值对应(此时的离散数值的大小是有意义的，而可分类文本的离散数值的相对大小没有意义)。
步骤S330，根据第一数据的字段类型，设置第一数据的切割模型，以及从预设与业务对应的特征生成库中调取特征生成函数；使用切割模型对第一数据进行切割处理；使用特征生成函数对第一数据处理得到数据特征。
在本实施例中，根据字段类型，将处理后的数据，进行深度特征生成深度特征生成由两个阶段构成，一是利用数据立方体(一种切割数据的方式，例如，选取上午十点到下午三点的数据，选取性别是男性的数据等等)的方法进行数据切分，二是根据字段类型，调用特征生成库中的特征生成函数，生成大量深度特征。两个阶段共同作用，可以生成大量待筛选的数据特征。例如，对于字段类型为数值型的数据，进行数据立方体切割(例如，选取上午十点到下午两点的数据等等)，然后调用数值型特征生成函数，以下为部分数值型数据可用的特征生成函数：
时间无关函数：Min,Max,median,mean,variance,stand deviation等
时间相关但时间顺序无关函数：关于时间的min,max,mean等时间相关且与时间顺序相关函数：kurtosis,accumulated difference等
对于字段类型为可分类文本的数据，进行数据立方体切割，可调用的部分特征生成函数：
时间无关函数：分类
时间相关函数：entropy,std of entropy，占有的分类数等
此阶段需要大量算力，故此阶段一般会在hadoop(一种在分布式计算集群条件下，对大数据进行存储和处理的平台)平台上进行。
步骤S340，分析数据特征中每个特征反映的业务信息量，从数据特征中去除反映业务信息量低于预设水平的特征。
从此处开始，将生成的大量特征进行筛选，以决定最终哪些数据特征将进行(例如GBDT算法)模型训练。通常的数据筛选，例如相关性计算、方差筛选等等，并不是针对GBDT算法设计的筛选方式，通常会导致最终训练的效果不好，因此需要一种针对GBDT算法的筛选方式。一般来说，在数据挖掘之前，会存在已经挖掘好的数据特征，由于特征如何组合，对GBDT算法的结果影响较大，所以需要保证新的挖掘出的特征，与已经挖掘好的特征组合起来，仍然可以在GBDT算法上得到好的效果。
在本实施例中，首先进行简单筛选：求某个特征的方差，std(特征)，将标准差较小的特征筛掉(标准差越小信息量越小)。
步骤S350，使用预设的第三筛选模型对数据特征进行筛选，第三筛选模型的参数量低于预设的第一数量，具体包括：
将特征组中多个特征分别与第二特征组合得到多个第二组合特征，使用多个第二组合特征分别训练第三筛选模型；
如果训练后第三筛选模型的筛选能力低于预设能力值，将用于训练的第二组合特征对应的特征从特征组中去除。
在本实施例中，将A分别与各个Bi进行组合，输送给参数量较轻(例如树的个数较少)的GBDT模型进行训练，选取结果较高的Bi，作为筛选出的特征。此处选择参数量较轻的参数，是因为GBDT算法通常要求大量算力，而待筛选的特征数量庞大，因此需要此步骤进行初步GBDT筛选，每个组合都要训练一次，然后选择效果较好B的进入下一轮。
步骤S360，使用预设的第四筛选模型对数据特征进行筛选，第四筛选模型的参数量高于预设的第二数量，具体包括：
将特征组中多个特征分别与第二特征组合得到多个第三组合特征，使用多个第三组合特征分别训练第三筛选模型；
如果训练后第三筛选模型的筛选能力低于预设能力值，将用于训练的第二组合特征对应的特征从特征组中去除。
在本实施例中，此处选取的GBDT参数量较大，因此时待筛选特征数量已经大大缩小，因此筛选时间上可以承受。
步骤S370，使用预设的第一筛选模型对数据特征进行筛选。
步骤S380，使用通过筛选的多个第一特征和初始的第二特征训练预设的第二筛选模型，使用第二筛选模型对未完成筛选的其他特征进行筛选，并将通过筛选的所有特征作为业务数据。
根据本实施例的技术方案，实现了从原始的第一数据到有效的业务数据的自动化挖掘，可以极大提升效率，避免繁复的人工设计特征流程，本实施例的技术方案针对GBDT的特征筛选流程进行了优化，使得其可以筛选出更加有效的业务数据。
本领域技术人员可以理解，实现上述实施例的全部或部分步骤被实现为由数据处理设备(包括计算机)执行的程序，即计算机程序。在该计算机程序被执行时，可以实现本发明提供的上述方法。而且，所述的计算机程序可以存储于计算机可读存储介质中，该存储介质可以是磁盘、光盘、ROM、RAM等可读存储介质，也可以是多个存储介质组成的存储阵列，例如磁盘或磁带存储阵列。所述的存储介质不限于集中式存储，其也可以是分布式存储，例如基于云计算的云存储。
下面描述本发明的装置实施例，该装置可以用于执行本发明的方法实施例。对于本发明装置实施例中描述的细节，应视为对于上述方法实施例的补充；对于在本发明装置实施例中未披露的细节，可以参照上述方法实施例来实现。
如图4所示，本发明的一个实施例中提出一种从数据库提取业务数据的装置，装置包括：
数据获取模块410，获取数据库中根据业务处理过程所产生的第一数据。
在本实施例中，对业务类型不进行限制，业务过程中产生的第一数据内容较多，反应的业务质量高低不同，因此需要提取出高质量的业务数据。
特征提取模块420，根据第一数据的字段类型，从第一数据中提取数据特征。
第一筛选模块430，使用预设的第一筛选模型对数据特征进行筛选，包括：从未完成筛选的特征组中抽取第一特征。将第一特征与预设的通过筛选的第二特征组合得到第一组合特征，使用第一组合特征训练第一筛选模型。如果训练后第一筛选模型的筛选能力超过训练前第一筛选模型的筛选能力，使用第一组合特征更新第二特征，并重新抽取第一特征并训练第一筛选模型，如果训练后第一筛选模型的筛选能力未超过训练前第一筛选模型的筛选能力，则重新抽取第一特征并训练第一筛选模型，直至第二特征更新次数到达预设次数。确定最新的第二特征相关的多个第一特征通过筛选。
在本实施例中，假设现在已经挖掘的特征簇为A，有待筛选的特征为Bi(i＝0,1,2,…)。在本实施例中，可以选用GBDT(一类基于gradient booting的决策树(回归树)的机器学习算法，常用来进行构造大数据预测模型，常见的有XGBoost、lightgbm等等)算法来训练模型。而通过实践，实践中发现现有技术中GBDT算法的使用存在缺陷，A特征+B特征的效果不一定比单独使用A要好，而本实施例的技术方案用于克服该缺陷。具体操作方式为：a)选取Bi，使用A+Bi进行组合并进行GBDT模型训练，b)如果A+Bi的效果好于A，将Bi归为A，同时在B中剔除Bi；如果A+Bi的效果差于A，直接在B中剔除Bi；c)重复a)、b)，直到达到纳入A的特征数量达到某个数量阈值，通过以上步骤，可以保证多个Bi与A组合之后，效果仍然是提升的。此处的GBDT模型参数量高于一定阈值(例如模型中树的数量高于一定阈值)，有利于解决上述GBDT算法的缺陷。
第二筛选模块440，使用通过筛选的多个第一特征和初始的第二特征训练预设的第二筛选模型，使用第二筛选模型对未完成筛选的其他特征进行筛选，并将通过筛选的所有特征作为业务数据。
在本实施例中，将筛选出的所有B特征与原始A特征组合做最后的模型训练，使用模型对其他特征进行筛选，得到最终的挖掘出的特征作为业务数据。
根据本实施例的技术方案，由于每次使用第一组合特征训练第一筛选模型时，都分析判断第一筛选模型的筛选能力是否提升，以此为依据进行特征筛选，确保通过筛选的特征质量更高，特征之间组合后的训练效果比单个特征更好，也即确保了最终用于筛选的第二模型筛选能力更高，提升了业务数据挖掘的整体效果。
如图5所示，本发明的一个实施例中提出一种从数据库提取业务数据的装置，装置包括：
数据获取模块510，获取数据库中根据业务处理过程所产生的第一数据。
预处理模块520，识别第一数据中的非法数据并删除；和/或识别第一数据中出现频次低于预设频次的数据类型，删除数据类型的所有数据。
在本实施例中，根据字段类型进行自动化数据预处理，例如，假设数据字段是数值类型，那么根据字段调用的自动化数据预处理函数依次为：寻找违法数据(非数值)并替换为NULL，统计此字段所有数据均值及方差，根据均值和方差进行过滤操作；假设数据字段是可分类文本类型(例如，性别、省份)，那么自动化数据预处理函数依次为：寻找违法数据并替换，统计数据此字段所有分类，剔除只有极少样本的分类，将分类文本与离散数值进行对应；假设数据字段是可排序文本类型(例如，强弱、大小等可以进行排序的文本类型)，调用的预处理函数为：寻找违法数据并替换，统计所有排序元素，剔除只有极少样本的分类，将分类文本与可排序离散数值对应(此时的离散数值的大小是有意义的，而可分类文本的离散数值的相对大小没有意义)。
特征提取模块530，根据第一数据的字段类型，设置第一数据的切割模型，以及从预设与业务对应的特征生成库中调取特征生成函数；使用切割模型对第一数据进行切割处理；使用特征生成函数对第一数据处理得到数据特征。
在本实施例中，根据字段类型，将处理后的数据，进行深度特征生成深度特征生成由两个阶段构成，一是利用数据立方体(一种切割数据的方式，例如，选取上午十点到下午三点的数据，选取性别是男性的数据等等)的方法进行数据切分，二是根据字段类型，调用特征生成库中的特征生成函数，生成大量深度特征。两个阶段共同作用，可以生成大量待筛选的数据特征。例如，对于字段类型为数值型的数据，进行数据立方体切割(例如，选取上午十点到下午两点的数据等等)，然后调用数值型特征生成函数，以下为部分数值型数据可用的特征生成函数：
时间无关函数：Min,Max,median,mean,variance,stand deviation等
时间相关但时间顺序无关函数：关于时间的min,max,mean等
时间相关且与时间顺序相关函数：kurtosis,accumulated difference等
对于字段类型为可分类文本的数据，进行数据立方体切割，可调用的部分特征生成函数：
时间无关函数：分类
时间相关函数：entropy,std of entropy，占有的分类数等
此阶段需要大量算力，故此阶段一般会在hadoop(一种在分布式计算集群条件下，对大数据进行存储和处理的平台)平台上进行。
第五筛选模块540，分析数据特征中每个特征反映的业务信息量，从数据特征中去除反映业务信息量低于预设水平的特征。
从此处开始，将生成的大量特征进行筛选，以决定最终哪些数据特征将进行(例如GBDT算法)模型训练。通常的数据筛选，例如相关性计算、方差筛选等等，并不是针对GBDT算法设计的筛选方式，通常会导致最终训练的效果不好，因此需要一种针对GBDT算法的筛选方式。一般来说，在数据挖掘之前，会存在已经挖掘好的数据特征，由于特征如何组合，对GBDT算法的结果影响较大，所以需要保证新的挖掘出的特征，与已经挖掘好的特征组合起来，仍然可以在GBDT算法上得到好的效果。
在本实施例中，首先进行简单筛选：求某个特征的方差，std(特征)，将标准差较小的特征筛掉(标准差越小信息量越小)。
第三筛选模块550，使用预设的第三筛选模型对数据特征进行筛选，第三筛选模型的参数量低于预设的第一数量，具体包括：
将特征组中多个特征分别与第二特征组合得到多个第二组合特征，使用多个第二组合特征分别训练第三筛选模型；
如果训练后第三筛选模型的筛选能力低于预设能力值，将用于训练的第二组合特征对应的特征从特征组中去除。
在本实施例中，将A分别与各个Bi进行组合，输送给参数量较轻(例如树的个数较少)的GBDT模型进行训练，选取结果较高的Bi，作为筛选出的特征。此处选择参数量较轻的参数，是因为GBDT算法通常要求大量算力，而待筛选的特征数量庞大，因此需要此步骤进行初步GBDT筛选，每个组合都要训练一次，然后选择效果较好B的进入下一轮。
第四筛选模块560，使用预设的第四筛选模型对数据特征进行筛选，第四筛选模型的参数量高于预设的第二数量，具体包括：
将特征组中多个特征分别与第二特征组合得到多个第三组合特征，使用多个第三组合特征分别训练第三筛选模型；
如果训练后第三筛选模型的筛选能力低于预设能力值，将用于训练的第二组合特征对应的特征从特征组中去除。
在本实施例中，此处选取的GBDT参数量较大，因此时待筛选特征数量已经大大缩小，因此筛选时间上可以承受。
第一筛选模块570，使用预设的第一筛选模型对数据特征进行筛选。
第二筛选模块580，使用通过筛选的多个第一特征和初始的第二特征训练预设的第二筛选模型，使用第二筛选模型对未完成筛选的其他特征进行筛选，并将通过筛选的所有特征作为业务数据。
根据本实施例的技术方案，实现了从原始的第一数据到有效的业务数据的自动化挖掘，可以极大提升效率，避免繁复的人工设计特征流程，本实施例的技术方案针对GBDT的特征筛选流程进行了优化，使得其可以筛选出更加有效的业务数据。
本领域技术人员可以理解，上述装置实施例中的各模块可以按照描述分布于装置中，也可以进行相应变化，分布于不同于上述实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
下面描述本发明的电子设备实施例，该电子设备可以视为对于上述本发明的方法和装置实施例的实体形式的实施方式。对于本发明电子设备实施例中描述的细节，应视为对于上述方法或装置实施例的补充；对于在本发明电子设备实施例中未披露的细节，可以参照上述方法或装置实施例来实现。
图6是根据本发明的一种电子设备的示例性实施例的结构框图。图6显示的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，该示例性实施例的电子设备200以通用数据处理设备的形式表现。电子设备200的组件可以包括但不限于：至少一个处理单元210、至少一个存储单元220、连接不同系统组件(包括存储单元220和处理单元210)的总线230、显示单元240等。
其中，所述存储单元220存储有计算机可读程序，其可以是源程序或都只读程序的代码。所述程序可以被处理单元210执行，使得所述处理单元210执行本发明各种实施方式的步骤。例如，所述处理单元210可以执行如图1至图3所示的步骤。
所述存储单元220可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)2201和/或高速缓存存储单元2202，还可以进一步包括只读存储单元(ROM)2203。所述存储单元220还可以包括具有一组(至少一个)程序模块2205的程序/实用工具2204，这样的程序模块2205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线230可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备200也可以与一个或多个外部设备300(例如键盘、显示器、网络设备、蓝牙设备等)通信，使得用户能经由这些外部设备300与该电子设备200交互，和/或使得该电子设备200能与一个或多个其它数据处理设备(例如路由器、调制解调器等等)进行通信。这种通信可以通过输入/输出(I/O)接口250进行，还可以通过网络适配器260与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)进行。网络适配器260可以通过总线230与电子设备200的其它模块通信。应当明白，尽管图中未示出，电子设备200中可使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
图7是本发明的一个计算机可读介质实施例的示意图。如图7所示，所述计算机程序可以存储于一个或多个计算机可读介质上。计算机可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。当所述计算机程序被一个或多个数据处理设备执行时，使得该计算机可读介质能够实现本发明的上述方法，即：获取数据库中根据业务处理过程所产生的第一数据；根据第一数据的字段类型，从第一数据中提取数据特征；使用预设的第一筛选模型对数据特征进行筛选，具体包括：从未完成筛选的特征组中抽取第一特征；将第一特征与预设的通过筛选的第二特征组合得到第一组合特征，使用第一组合特征训练第一筛选模型；如果训练后第一筛选模型的筛选能力超过训练前第一筛选模型的筛选能力，使用第一组合特征更新第二特征，并重新抽取第一特征并训练第一筛选模型，如果训练后第一筛选模型的筛选能力未超过训练前第一筛选模型的筛选能力，则重新抽取第一特征并训练第一筛选模型，直至第二特征更新次数到达预设次数；确定最新的第二特征相关的多个第一特征通过筛选；使用通过筛选的多个第一特征和初始的第二特征训练预设的第二筛选模型，使用第二筛选模型对未完成筛选的其他特征进行筛选，并将通过筛选的所有特征作为业务数据。
通过以上的实施方式的描述，本领域的技术人员易于理解，本发明描述的示例性实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个计算机可读的存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台数据处理设备(可以是个人计算机、服务器、或者网络设备等)执行根据本发明的上述方法。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
综上所述，本发明可以执行计算机程序的方法、装置、电子设备或计算机可读介质来实现。可以在实践中使用微处理器或者数字信号处理器(DSP)等通用数据处理设备来实现本发明的一些或者全部功能。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，本发明不与任何特定计算机、虚拟装置或者电子设备固有相关，各种通用装置也可以实现本发明。以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种从数据库提取业务数据的方法，其特征在于，包括：
获取数据库中根据业务处理过程所产生的第一数据；
根据所述第一数据的字段类型，从所述第一数据中提取数据特征；
使用预设的第一筛选模型对所述数据特征进行筛选，具体包括：
从未完成筛选的特征组中抽取第一特征；
将所述第一特征与预设的通过筛选的第二特征组合得到第一组合特征，使用所述第一组合特征训练所述第一筛选模型；
如果训练后所述第一筛选模型的筛选能力超过训练前所述第一筛选模型的筛选能力，使用所述第一组合特征更新所述第二特征，并重新抽取所述第一特征并训练所述第一筛选模型，如果训练后所述第一筛选模型的筛选能力未超过训练前所述第一筛选模型的筛选能力，则重新抽取所述第一特征并训练所述第一筛选模型，直至所述第二特征更新次数到达预设次数；
确定最新的所述第二特征相关的多个第一特征通过筛选；
使用通过筛选的多个第一特征和初始的所述第二特征训练预设的第二筛选模型，使用所述第二筛选模型对未完成筛选的其他特征进行筛选，并将通过筛选的所有特征作为所述业务数据。
2.根据权利要求1所述的方法，其特征在于，在所述使用预设的第一筛选模型对所述数据特征进行筛选之前，还包括：
使用预设的第三筛选模型对所述数据特征进行筛选，所述第三筛选模型的参数量低于预设的第一数量，具体包括：
将所述特征组中多个特征分别与所述第二特征组合得到多个第二组合特征，使用所述多个第二组合特征分别训练所述第三筛选模型；
如果训练后所述第三筛选模型的筛选能力低于预设能力值，将用于训练的第二组合特征对应的特征从所述特征组中去除。
3.根据权利要求2所述的方法，其特征在于，在所述使用预设的第三筛选模型对所述数据特征进行筛选后，在所述使用预设的第一筛选模型对所述数据特征进行筛选之前，还包括：
使用预设的第四筛选模型对所述数据特征进行筛选，所述第四筛选模型的参数量高于预设的第二数量，具体包括：
将所述特征组中多个特征分别与所述第二特征组合得到多个第三组合特征，使用所述多个第三组合特征分别训练所述第三筛选模型；
如果训练后所述第三筛选模型的筛选能力低于预设能力值，将用于训练的第二组合特征对应的特征从所述特征组中去除。
4.根据权利要求1所述的方法，其特征在于，在所述使用预设的第一筛选模型对所述数据特征进行筛选之前，还包括：
分析所述数据特征中每个特征反映的业务信息量，从所述数据特征中去除反映业务信息量低于预设水平的特征。
5.根据权利要求1所述的方法，其特征在于，所述根据第一数据的字段类型，从所述第一数据中提取数据特征，包括：
根据所述第一数据的字段类型，设置所述第一数据的切割模型，以及从预设与所述业务对应的特征生成库中调取特征生成函数；
使用所述切割模型对所述第一数据进行切割处理；
使用所述特征生成函数对所述第一数据处理得到所述数据特征。
6.根据权利要求1所述的方法，其特征在于，在所述根据第一数据的字段类型，从所述第一数据中提取数据特征之前，还包括：
识别所述第一数据中的非法数据并删除；和/或识别所述第一数据中出现频次低于预设频次的数据类型，删除所述数据类型的所有数据。
7.一种从数据库提取业务数据的装置，其特征在于，包括：
数据获取模块，获取数据库中根据业务处理过程所产生的第一数据；
特征提取模块，根据所述第一数据的字段类型，从所述第一数据中提取数据特征；
第一筛选模块，使用预设的第一筛选模型对所述数据特征进行筛选，具体包括：
从未完成筛选的特征组中抽取第一特征；
将所述第一特征与预设的通过筛选的第二特征组合得到第一组合特征，使用所述第一组合特征训练所述第一筛选模型；
如果训练后所述第一筛选模型的筛选能力超过训练前所述第一筛选模型的筛选能力，使用所述第一组合特征更新所述第二特征，并重新抽取所述第一特征并训练所述第一筛选模型，如果训练后所述第一筛选模型的筛选能力未超过训练前所述第一筛选模型的筛选能力，则重新抽取所述第一特征并训练所述第一筛选模型，直至所述第二特征更新次数到达预设次数；
确定最新的所述第二特征相关的多个第一特征通过筛选；
第二筛选模块，使用通过筛选的多个第一特征和初始的所述第二特征训练预设的第二筛选模型，使用所述第二筛选模型对未完成筛选的其他特征进行筛选，并将通过筛选的所有特征作为所述业务数据。
8.根据权利要求7所述的装置，其特征在于，还包括：
第三筛选模块，在所述使用预设的第一筛选模型对所述数据特征进行筛选之前，使用预设的第三筛选模型对所述数据特征进行筛选，所述第三筛选模型的参数量低于预设的第一数量，具体包括：
将所述特征组中多个特征分别与所述第二特征组合得到多个第二组合特征，使用所述多个第二组合特征分别训练所述第三筛选模型；
如果训练后所述第三筛选模型的筛选能力低于预设能力值，将用于训练的第二组合特征对应的特征从所述特征组中去除。
9.根据权利要求8所述的装置，其特征在于，还包括：
第四筛选模块，在所述使用预设的第三筛选模型对所述数据特征进行筛选后，在所述使用预设的第一筛选模型对所述数据特征进行筛选之前，使用预设的第四筛选模型对所述数据特征进行筛选，所述第四筛选模型的参数量高于预设的第二数量，具体包括：
将所述特征组中多个特征分别与所述第二特征组合得到多个第三组合特征，使用所述多个第三组合特征分别训练所述第三筛选模型；
如果训练后所述第三筛选模型的筛选能力低于预设能力值，将用于训练的第二组合特征对应的特征从所述特征组中去除。
10.根据权利要求7所述的装置，其特征在于，还包括：
第五筛选模块，在所述使用预设的第一筛选模型对所述数据特征进行筛选之前，分析所述数据特征中每个特征反映的业务信息量，从所述数据特征中去除反映业务信息量低于预设水平的特征。
11.根据权利要求7所述的装置，其特征在于，
所述特征提取模块根据所述第一数据的字段类型，设置所述第一数据的切割模型，以及从预设与所述业务对应的特征生成库中调取特征生成函数，使用所述切割模型对所述第一数据进行切割处理，使用所述特征生成函数对所述第一数据处理得到所述数据特征。
12.根据权利要求7所述的数据特征挖掘装置，其特征在于，还包括：
预处理模块，在所述根据第一数据的字段类型，从所述第一数据中提取数据特征之前，识别所述第一数据中的非法数据并删除；和/或识别所述第一数据中出现频次低于预设频次的数据类型，删除所述数据类型的所有数据。
13.一种电子设备，包括：
处理器；以及
存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使所述处理器执行根据权利要求1-6中任一项所述的方法。
14.一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，当所述一个或多个程序被处理器执行时，实现权利要求1-6中任一项所述的方法。
CN202110470126.5A 2021-04-28 2021-04-28 从数据库提取业务数据的方法、装置和电子设备 Pending CN113297289A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110470126.5A CN113297289A (zh) 2021-04-28 2021-04-28 从数据库提取业务数据的方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110470126.5A CN113297289A (zh) 2021-04-28 2021-04-28 从数据库提取业务数据的方法、装置和电子设备

Publications (1)

Publication Number Publication Date
CN113297289A true CN113297289A (zh) 2021-08-24

Family

ID=77320424

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110470126.5A Pending CN113297289A (zh) 2021-04-28 2021-04-28 从数据库提取业务数据的方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN113297289A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024038941A1 (ko) * 2022-08-17 2024-02-22 쿠팡 주식회사 데이터 제공 방법 및 그 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107301577A (zh) * 2016-04-15 2017-10-27 阿里巴巴集团控股有限公司 信用评估模型的训练方法、信用评估方法以及装置
US20180174052A1 (en) * 2016-12-15 2018-06-21 WaveOne Inc. Using generative adversarial networks in compression
CN110704509A (zh) * 2019-10-09 2020-01-17 北京百度网讯科技有限公司 数据分类方法、装置、设备及存储介质
CN110796199A (zh) * 2019-10-30 2020-02-14 腾讯科技（深圳）有限公司 一种图像处理方法、装置以及电子医疗设备
CN112270545A (zh) * 2020-10-27 2021-01-26 上海淇馥信息技术有限公司 基于迁移样本筛选的金融风险预测方法、装置和电子设备
CN112286953A (zh) * 2020-09-25 2021-01-29 北京邮电大学 多维数据查询方法、装置和电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107301577A (zh) * 2016-04-15 2017-10-27 阿里巴巴集团控股有限公司 信用评估模型的训练方法、信用评估方法以及装置
US20180174052A1 (en) * 2016-12-15 2018-06-21 WaveOne Inc. Using generative adversarial networks in compression
CN110704509A (zh) * 2019-10-09 2020-01-17 北京百度网讯科技有限公司 数据分类方法、装置、设备及存储介质
CN110796199A (zh) * 2019-10-30 2020-02-14 腾讯科技（深圳）有限公司 一种图像处理方法、装置以及电子医疗设备
CN112286953A (zh) * 2020-09-25 2021-01-29 北京邮电大学 多维数据查询方法、装置和电子设备
CN112270545A (zh) * 2020-10-27 2021-01-26 上海淇馥信息技术有限公司 基于迁移样本筛选的金融风险预测方法、装置和电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
章剑林: "《网格与商务智能》", 上海：上海交通大学出版社, pages: 132 - 136 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024038941A1 (ko) * 2022-08-17 2024-02-22 쿠팡 주식회사 데이터 제공 방법 및 그 장치

Similar Documents

Publication Publication Date Title
CN106909654B (zh) 一种基于新闻文本信息的多级分类系统及方法
CN112148772A (zh) 告警根因识别方法、装置、设备和存储介质
WO2020155750A1 (zh) 基于人工智能的语料收集方法、装置、设备及存储介质
CN111178380A (zh) 数据分类方法、装置及电子设备
CN107729520B (zh) 文件分类方法、装置、计算机设备及计算机可读介质
CN111931809A (zh) 数据的处理方法、装置、存储介质及电子设备
CN111178701B (zh) 一种基于特征衍生技术的风险控制方法方法、装置和电子设备
CN114254950A (zh) 电信资源数据处理方法、装置、电子设备及存储介质
CN107463554B (zh) 短语挖掘方法及装置
CN113297289A (zh) 从数据库提取业务数据的方法、装置和电子设备
CN116155541A (zh) 面向网络安全应用的自动化机器学习平台以及方法
CN113254578B (zh) 用于数据聚类的方法、装置、设备、介质和产品
CN115496157A (zh) 分类模型训练方法、装置、电子设备及存储介质
CN115579069A (zh) scRNA-Seq细胞类型注释数据库的构建方法、装置及电子设备
CN103778210A (zh) 一种待分析文件的文件具体类型的判断方法及装置
CN106462614B (zh) 信息分析系统、信息分析方法以及信息分析程序
CN114548307A (zh) 分类模型训练方法和装置、分类方法和装置
CN114726823A (zh) 一种基于生成对抗网络的域名生成方法、装置和设备
CN113807390A (zh) 模型训练方法、装置、电子设备及存储介质
CN112632229A (zh) 文本聚类方法及装置
CN114118937A (zh) 基于任务的信息推荐方法、装置、电子设备及存储介质
CN110895564A (zh) 一种潜在客户数据处理方法和装置
CN112559841A (zh) 物品评论的处理方法、系统、电子设备及可读存储介质
CN111079185A (zh) 数据库信息处理的方法、装置、存储介质及电子设备
CN110443305A (zh) 自适应特征处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Country or region after: China

Address after: Room 1109, No. 4, Lane 800, Tongpu Road, Putuo District, Shanghai, 200062

Applicant after: Shanghai Qiyue Information Technology Co.,Ltd.

Address before: Room a2-8914, 58 Fumin Branch Road, Hengsha Township, Chongming District, Shanghai, 201500

Applicant before: Shanghai Qiyue Information Technology Co.,Ltd.

Country or region before: China

CB02 Change of applicant information