CN112883021A - 一种处理互联网营销跨渠道数据实时生成智能简报的系统 - Google Patents
一种处理互联网营销跨渠道数据实时生成智能简报的系统 Download PDFInfo
- Publication number
- CN112883021A CN112883021A CN202110244059.5A CN202110244059A CN112883021A CN 112883021 A CN112883021 A CN 112883021A CN 202110244059 A CN202110244059 A CN 202110244059A CN 112883021 A CN112883021 A CN 112883021A
- Authority
- CN
- China
- Prior art keywords
- data
- intelligent
- analysis
- module
- briefing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 31
- 238000007405 data analysis Methods 0.000 claims abstract description 48
- 238000009826 distribution Methods 0.000 claims abstract description 44
- 238000004364 calculation method Methods 0.000 claims abstract description 38
- 238000003860 storage Methods 0.000 claims abstract description 37
- 238000004220 aggregation Methods 0.000 claims abstract description 28
- 230000002776 aggregation Effects 0.000 claims abstract description 28
- 238000004422 calculation algorithm Methods 0.000 claims description 37
- 238000007726 management method Methods 0.000 claims description 25
- 238000004458 analytical method Methods 0.000 claims description 22
- 238000000034 method Methods 0.000 claims description 20
- 239000012634 fragment Substances 0.000 claims description 17
- 238000010586 diagram Methods 0.000 claims description 12
- 238000013500 data storage Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000004140 cleaning Methods 0.000 claims description 7
- 238000013079 data visualisation Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000010224 classification analysis Methods 0.000 claims description 3
- 238000007621 cluster analysis Methods 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims description 3
- 238000000611 regression analysis Methods 0.000 claims description 3
- 238000007619 statistical method Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 2
- 230000001360 synchronised effect Effects 0.000 claims description 2
- 210000001503 joint Anatomy 0.000 claims 1
- 238000005457 optimization Methods 0.000 abstract description 5
- 230000004931 aggregating effect Effects 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000013075 data extraction Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 238000003032 molecular docking Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000013439 planning Methods 0.000 description 2
- 238000012384 transportation and delivery Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000004801 process automation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000003245 working effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24553—Query execution of query operations
- G06F16/24554—Unary operations; Data partitioning operations
- G06F16/24556—Aggregation; Duplicate elimination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Business, Economics & Management (AREA)
- Probability & Statistics with Applications (AREA)
- Development Economics (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Game Theory and Decision Science (AREA)
- Computing Systems (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及数据处理技术领域，尤其是一种处理互联网营销跨渠道数据实时生成智能简报的系统，包括数据中心、数据智能聚合模块、数据集市业务模型数据表单存储管理模块、数据智能分析计算模块、数据智能简报生成模块和数据智能简报分发模块，数据中心用于连接外部数据源并进行数据收集和存储，数据智能聚合模块用于对数据中心中存储的数据进行聚合，数据集市业务模型数据表单存储管理模块用于对聚合后的数据进行存储，数据智能分析计算模块用于对数据进行分析处理，数据智能简报生成模块用于生成图文简报，数据智能简报分发模块用于图文简报分发，本发明能够从海量营销数据中快速提炼出高价值信息，智能生成个性化图文简报，并赋能营销优化和管理。
Description
技术领域
本发明涉及数据处理技术领域，具体领域为一种处理互联网营销跨渠道数据实时生成智能简报的系统。
背景技术
在互联网广告效果营销行业，由于行业特性和业务数据特点，业务数据报表对于营销业务管理的重要性非常高，一线营销策略人员需要基于创意投放效果数据优化推广策略，基于跨账户跨平台的推广账户诊断数据来优化账户结构及账户设置；营销管理人员需要基于所管辖的业务范围的业务数据报表对业务情况进行全盘的把控和精准的业务决策；创意制作人员需要基于创意投放效果数据和创意深度分析来激发创作灵感、优化创意内容、提高创意物料的投入产出比；广告主需要基于自己多平台多账户的整体业务数据来调整推广目标、优化推广策略、扩大推广范围、控制效果成本。
随着互联网广告效果营销的快速发展，行业业务链中各种角色从业人员对业务数据的需求越来越强烈，数据报表的种类和格式越来越多，数据量越来越大，数据挖掘和数据可视化复杂度越来越高。
面对复杂多变的业务场景和平台差异，以及海量的主数据、元数据，尽管有数据中台可以支持多种类型数据操作，也有数据可视化工具辅助数据分析。但是，高价值数据获取和使用效率也非常受到数据用户的数据敏感性、操作熟练度、业务经验等方面的局限，并且占用大量时间成本。特别是在互联网广告效果营销领域对数据获取和数据分析计算的实时性要求非常高，传统方法存在一定滞后性，业务数据报表多以一段时间内的统计数据为主，难以满足实时数据分析的需求。
目前，互联网广告效果营销企业较为传统和主流的数据报表产出方式为半自动化和半人工相结合：数据产品技术开发人员定期以与业务数据需求方约定好的格式，将底层业务数据同步至特定的数据库(一般为企业的数据仓库)，业务数据需求方定期安排专人人工操作数据库管理系统(如Oracle、MySQL、SQL-server等商用DBMS)，从企业的数据仓库中提取相应的业务原始数据，通过EXCEL等可视化图表工具对其进行数据分析加工和数据可视化。最后通过邮件等形式，将报表文件发送至业务数据需求方。另外，现有相对成熟的商用数据可视化工具(如tableau等)，可以实现数据报表生成的自动化和可视化，但此类商用产品均为跨行业的通用工具，尚无针对互联网广告效果营销行业特点而专门定制的专业性较强的工具。在业务实际应用中，企业仍需要投入较多的人力和时间成本，进行产品的对接，数据挖掘，报表模板开发等工作，应用门槛较高。
现有技术中，报表产出的工作对人工操作依赖较强，操作人员入门门槛较高，且存在较大的误操作风险；同时产出时效高度依赖人工的工作时间，难以通过投入较低的成本做到高效稳定地数据报表产出。
此外，传统的业务数据报表的自动生成方法，是用特定的数据字段来填充固定的报表模板。在实践中发现，当前用户对于需求是在实时变化的，不同的用户可能需要不同模板的业务数据报表，同一用户在不同时期也可能需要不同模板的业务数据报表，但是采用固定模板生成报表的传统方式难以满足用户对业务报表生成的多样化、实时化需求，智能化程度低。
发明内容
针对现有技术存在的不足，本发明的目的在于提供一种处理互联网营销跨渠道数据实时生成智能简报的系统，采用自动化任务调度、通用数据处理接口、大数据分析计算、可视化图文结合数据展示、自然语言生成等技术的融合，实现数据智能简报从数据抽取、数据清洗转换、数据加载存储、数据可视化展示，到简报分发的全流程自动化，实现业务数据分析和业务数据简报的自动化产出，提升了业务数据应用效率，同时降低了底层数据泄密风险和人工误操作风险，提高了数据安全性。
为实现上述目的，本发明提供如下技术方案：一种处理互联网营销跨渠道数据实时生成智能简报的系统，包括数据中心、数据智能聚合模块、数据集市业务模型数据表单存储管理模块、数据智能分析计算模块、数据智能简报生成模块和数据智能简报分发模块，所述数据中心用于连接外部数据源并进行数据收集和存储，所述数据智能聚合模块用于对数据中心中存储的数据进行聚合分析，所述数据集市业务模型数据表单存储管理模块用于对聚合分析后的数据进行分类存储并建立索引表单，所述数据智能分析计算模块用于对分类存储的数据进行分析处理，所述数据智能简报生成模块用于将数据及分析处理结果生成图文简报，所述数据智能简报分发模块用于对生成的图文简报进行输出报送分发。
优选的，所述数据中心包括跨渠道多类型数据源数据接口、数据ETL状态机、操作型数据存储和企业数据仓库，跨渠道多类型数据源数据接口用于对接同步外部数据源，所述数据ETL状态机用于持续循环抽取跨渠道多类型数据源数据接口对接的外部数据源，并对抽取的数据源进行数据清洗转换，所述操作型数据存储和企业数据仓库用于对清洗转换的数据进行分离存储。
优选的，所述操作型数据存储包括但不限于mysql、redis实时业务组件，所述企业数据仓库包括但不限于云对象存储、分布式文件存储系统、hbase键值存储。
优选的，所述数据智能聚合模块包括任务调度控制器和数据预处理器，所述任务调度控制器用于调度控制所述的数据预处理器执行所需的数据智能聚合任务，
所述数据预处理器包括业务模型编辑器、数据筛选器、数据分拣器、元数据关联器和数据指标计算器，所述业务模型编辑器用于对接互联网广告营销中各种数据分析和数据报表需求，搭建并存储相应的业务模型；所述数据筛选器用于根据业务模型对原始全量数据进行数据维度和数据样本的筛选；所述数据分拣器用于根据业务模型对筛选后的数据进行分拣操作；所述元数据关联器用于根据业务模型找到与业务数据相关联的各类元数据；所述数据指标计算器用于对数据及元数据进行运算，所述的运算包括但不限于计数、求和、均值的基础统计指标计算。
优选的，所述的业务模型包括但不限于数据指标体系、业务逻辑图、实体-关系图、数据分析任务表、数据可视化需求表。
优选的，所述的分拣操作包括将跨数据库跨数据表的同类数据分拣到一起、将数据按时间进行分拣到一起的操作。
优选的，所述数据集市业务模型数据表单存储管理模块包括存储管理控制器和业务模型数据表单，存储管理控制器接收数据智能聚合模块输入的数据存储至相应的业务模型数据表单，并建立索引表。
优选的，所述数据智能分析计算模块包括算法模型调度控制器和数据分析算法模型工具包，算法模型调度控制器连接数据分析算法模型工具包，并根据业务模型控制调用一个或多个数据分析算法模型工具包中的工具对数据进行分析计算，并将计算过程和结果上传至企业数据仓库，所述数据分析算法模型工具包包括但不限于统计分析算法模型、分类分析算法模型、聚类分析算法模型、回归分析算法模型、DEEP-CNN算法模型。
优选的，所述数据智能简报生成模块包括简报生成控制器、NLG自然语言数据描述文本片段生成单元和智能自适应数据图表生成单元，简报生成控制器根据业务模型，控制NLG自然语言数据描述文本片段生成单元和智能自适应数据图表生成单元执行相关操作任务列表，将文本片段和数据图表按需排版封装成个性化图文简报，并插入包含相关原始数据和数据分析计算详情的URL链接；NLG自然语言数据描述文本片段生成单元根据业务模型将相关联的数据特征和数据分析计算结果转化成符合互联网广告营销行业业务流特点和行业术语标准的自然语言文本片段；智能自适应数据图表生成单元根据需要绘制图表的数据维度、数据量、数据分布的特征智能匹配最佳可视化图表类型和样式参数，绘制数据图表，并上传至企业数据仓库存储备用。
优选的，所述数据智能简报分发模块包括简报分发控制器和简报分发状态机，简报分发控制器根据简报分发计划任务表控制简报分发状态机完成对简报的分发，所述简报分发状态机的分发方式包括但不限于电子邮件、即时通讯软件机器人消息、微信小程序、企业营销云平台内消息和其他与用户约定的方式。
与现有技术相比，本发明的有益效果是：通过将跨渠道、多类型数据源的数据利用ETL状态机清洗转换后存储至数据仓库，到对数据进行智能聚合分析，再到将数据及其分析结果进行个性化图文展现和分发的智能简报技术，帮助数据用户快速获取高价值数据，洞察账户问题，高效管理营销团队，从数据中发现模式，以大数据分析和智能计算赋能营销优化和营销管理；
本申请的附加功能和优点将在实施例部分进行说明，通过本申请的实施例对本申请进行详尽说明和了解。
附图说明
图1为本发明的系统原理框图；
图2为本发明的数据中心原理框图；
图3为本发明的数据智能聚合模块原理框图；
图4为本发明的数据集市业务模型数据表单存储管理模块原理框图；
图5为本发明的数据智能分析计算模块原理框图；
图6为本发明的数据智能简报生成模块原理框图；
图7为本发明的数据智能简报分发模块原理框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请中出现的相关名词说明：
ETL(数据仓库技术)：英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程；
CNN(卷积神经网络)：是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习(deep learning)的代表算法之一；
NLG(自然语言生成)：自然语言处理NLP包括自然语言理解NLU和自然语言生成NLG。自然语言生成是人工智能和计算语言学的分支，研究使计算机具有人一样的表达和写作的功能。即能够根据一些关键信息及其在机器内部的表达形式，经过一个规划过程，来自动生成一段高质量的自然语言文本；
HTML(超文本标记语言)：是一种标记语言。它包括一系列标签.通过这些标签可以将网络上的文档格式统一，使分散的Internet资源连接为一个逻辑整体。HTML文本是由HTML命令组成的描述性文本，HTML命令可以说明文字，图形、动画、声音、表格、链接等；
Hyper Text(超文本)：超文本是一种组织信息的方式，它通过超级链接方法将文本中的文字、图表与其他信息媒体相关联。这些相互关联的信息媒体可能在同一文本中，也可能是其他文件，或是地理位置相距遥远的某台计算机上的文件。这种组织信息方式将分布在不同位置的信息资源用随机方式进行连接，为人们查找，检索信息提供方便；
数据库：传统的关系型数据库的应用，主要是基本的、日常的事务处理。其特点，相对复杂的表格结构，存储结构相对紧致，少冗余数据。读和写都有优化。相对简单的读/写请求，单次作用于相对的少量数据；
数据仓库：数据仓库系统的主要应用主要是OLAP(On-Line AnalyticalProcessing)，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。其特点，相对简单的表格结构，存储结构相对松散，多冗余数据。一般只是读优化。相对复杂的读请求(read query)，单次作用于相对大量的数据(历史数据)；
URL(统一资源定位系统)：是因特网的万维网服务程序上用于指定信息位置的表示方法；
DBMS(数据库管理系统)：数据库管理系统(Database Management System)是一种操纵和管理数据库的大型软件，用于建立、使用和维护数据库，简称DBMS。它对数据库进行统一的管理和控制，以保证数据库的安全性和完整性。用户通过DBMS访问数据库中的数据，数据库管理员也通过DBMS进行数据库的维护工作；
API(Application Programming Interface，应用程序接口)：是一些预先定义的接口(如函数、HTTP接口)，或指软件系统不同组成部分衔接的约定。用来提供应用程序与开发人员基于某软件或硬件得以访问的一组例程，而又无需访问源码，或理解内部工作机制的细节；
端到端的方法：从输入端到输出端，中间过程无需用户人工干预的方法。具有高效、稳定、安全、易扩展等特点；
SEM(搜索引擎营销)：搜索引擎营销就是基于搜索引擎平台的网络营销，利用人们对搜索引擎的依赖和使用习惯，在人们检索信息的时候将信息传递给目标用户；
信息流广告：信息流广告就是与信息流媒体原生内容混排在一起的广告，又名原生广告，具有和原生内容风格形式一致、用户体验好、推广营销效果可追踪等特点，一般为区别于原生内容，会标注“推广”、“广告”等字样提示用户。
如图1所示，本发明提供一种技术方案：一种处理互联网营销跨渠道数据实时生成智能简报的系统，包括数据中心、数据智能聚合模块、数据集市业务模型数据表单存储管理模块、数据智能分析计算模块、数据智能简报生成模块和数据智能简报分发模块，所述数据中心用于连接外部数据源并进行数据收集和存储，所述数据智能聚合模块用于对数据中心中存储的数据进行聚合分析，所述数据集市业务模型数据表单存储管理模块用于对聚合分析后的数据进行分类存储并建立索引表单，所述数据智能分析计算模块用于对分类存储的数据进行分析处理，所述数据智能简报生成模块用于将数据及分析处理结果生成图文简报，所述数据智能简报分发模块用于对生成的图文简报进行输出报送分发。
如图2所示，数据中心包括跨渠道多类型数据源数据接口、数据ETL状态机、ODS(操作型数据存储)和企业数据仓库，跨渠道多类型数据源数据接口对接外部数据源，外部数据源包括但不限于媒体核心代理商数据源、媒体API数据同步数据源、企业自有营销云平台操作日志、EXCEL表格文档批量上传等；媒体API数据同步数据源还包括多种由媒体平台定义并开放的各不相同的API接口；数据ETL状态机包括高速缓存存储介质(redis、mysql、kafka等)和数据同步状态查询机制，循环不断地抽取各数据源新增的各类数据，并在数据同步的过程中自动地进行数据的清洗转换。最终，按照数据性质，业务特征，将数据加载至ODS(操作型数据存储)和存储至企业DW(数据仓库)；ODS(操作型数据存储)包括mysql、redis等实时业务组件；企业DW(数据仓库)包括云对象存储，分布式文件存储系统，hbase键值存储等；
通过对于单一数据源类型的数据抽取方案的改进，利用数据ETL状态机达到了跨渠道、多类型数据源数据抽取、数据清洗转换、数据加载存储至数据仓库的全流程自动化、标准化、实时化的效果。
如图3所示，数据智能聚合模块包括任务调度控制器和数据预处理器；任务调度控制器为数据智能聚合模块的总控制器，用于调度控制数据预处理器执行所需的数据智能聚合任务；数据预处理器还包括业务模型编辑器、数据筛选器、数据分拣器、元数据关联器、数据指标计算器。所述的业务模型编辑器用于对接互联网广告营销中各种数据分析和数据报表需求，搭建并存储相应的业务模型。特别的，业务模型一般还包括但不限于与所述业务的数据分析和数据报表需求相关联的一个数据和数据指标体系、一组业务逻辑图、一组E-R图(实体-关系图)、一个数据分析任务表、一个数据可视化需求表。所述数据筛选器根据所述业务模型对原始全量数据进行数据维度和数据样本的筛选。所述数据分拣器根据所述业务模型对所述筛选后的数据进行分拣，所述分拣操作一般包括将跨数据库跨数据表的同类数据分拣到一起、将数据按时间进行分拣到一起等操作。所述元数据关联器根据所述业务模型找到与业务数据相关联的各类元数据。所述数据指标计算器对数据及元数据进行的运算一般包括但不限于计数、求和、均值等基础统计指标计算；
利用数据智能聚合模块，以面向目标任务的方式对原始数据进行跨库跨表智能整合存储至相应数据模型业务表单。
如图4所示，数据集市业务模型数据表单存储管理模块(DM数据集市)包括存储管理控制器和业务模型数据表单；存储管理控制器接收数据智能聚合模块输入的数据存储至相应的所述的业务模型数据表单，并建立索引表。
如图5所示，数据智能分析计算模块包括算法模型调度控制器和数据分析算法模型工具包。所述算法模型调度器包含一组可扩展的API接口用于连接所述数据分析算法模型工具包，并根据所述业务模型控制调用一个或多个数据分析算法模型工具，将计算过程和结果上传云对象存储。所述数据分析模型工具包一般包括但不限于统计分析算法模型、分类分析算法模型、聚类分析算法模型、回归分析算法模型、DEEP-CNN算法模型；
通过将传统的对原始数据进行固定统计指标计算的数据处理方式，改进为利用数据智能分析计算模块，可对数据进行多种类型数据分析算法的计算，同时包括可扩展的API接口可以对接扩展算法模型工具包。
如图6所示，数据智能简报生成模块包括简报生成控制器、NLG自然语言数据描述文本片段生成单元和智能自适应数据图表生成单元；
所述NLG自然语言数据描述文本片段生成单元基于NLG(自然语言生成)技术，根据所述业务模型将相关联的数据特征和数据分析计算结果转化成符合互联网广告营销行业业务流特点和行业术语标准的自然语言文本片段；
所述智能自适应数据图表生成单元根据需要绘制图表的数据维度、数据量、数据分布等特征智能匹配最佳可视化图表类型和样式等参数，利用Python数据绘图工具包绘制数据图表，并上传云对象存储备用；
所述简报生成控制器根据所述业务模型，控制NLG自然语言数据描述文本片段生成单元和智能自适应数据图表生成单元执行相关操作任务列表，最终利用HTML+CSS前端技术将文本片段和数据图表按需排版封装成个性化图文简报，并插入包含相关原始数据和数据分析计算详情的URL链接；
通过对于传统模板式生成数据报表方案的改进，利用数据智能简报生成模块，达到了以数据特征和目标任务需求决定简报内容和文本图表类型及样式的效果，具有个性化、智能化、高价值信息聚合化等优势；
通过对传统表格型数据报表生成方案、或WEB前端由用户发起查询请求生成数据图表方案的改进，以自然语言生成智能算法将需要展示的数据及其分析计算结果转化成自然语言片段，并以智能图表算法自适应地生成图表，再以HTML+CSS前端技术将文本片段和图表进行按需排版生成图文简报，达到了无需用户在WEB前端发起查询请求，即可按约定定期或不定期自动获取高价值、可视化、个性化的互联网营销跨渠道数据智能简报的效果。
如图7所示，数据智能简报分发模块包括简报分发控制器和简报分发状态机；
所述简报分发控制器根据简报分发计划任务表控制所述简报分发状态机完成对简报的分发。所述简报分发计划任务表为系统管理员与数据用户协商共同维护。所述一组数据简报分发状态机支持的分发方式包括但不限于电子邮件、即时通讯软件机器人消息、微信小程序、企业营销云平台内消息和其他与用户约定的方式。
通过本技术方案，互联网营销跨渠道、多类型数据源数据抽取、数据清洗转换、数据加载存储至数据仓库；依据数据分析任务类型、数据应用场景、数据用户角色，或它们的组合，对原始数据进行跨数据库智能聚类，得到基于功能而聚合的一系列数据表单；将各数据表单输入到预训练CNN网络模型及对应类型的任务子网络，进行智能特征提取和数据分析计算；将得到的数据特征和分析计算结果，依据数据维度、数据量、数据分布等特点智能匹配图表类型和样式等参数，利用Python数据绘图包绘制数据图表，并上传云存储备用；基于NLG(自然语言生成)技术，将相关的数据特征和数据分析计算结果转化生成符合营销行业业务流特点和行业术语标准的自然语言文本片段；针对不同角色类型的数据用户，将文本片段和数据图表利用HTML(超文本标记语言)，进行按需排版封装生成个性化图文简报，并插入包含相关原始数据和数据分析计算详情的URL链接，最终以邮件、即时通讯软件机器人消息、微信小程序等方式完成分发。
使用时，数据用户无需具有很强的数据驱动业务的思维和数据分析能力，也无需进行复杂的系统操作，就能够达到定期和不定期自动获取到包含高价值业务数据及其数据分析计算结果的图文智能简报的效果。
在互联网广告效果营销业务场景中，解决了业务链中不同角色从业人员以高实时性获取跨渠道、多类型业务数据的技术问题。
采用数据中心、大数据分析、智能计算、自然语言生成、智能数据图表、HTML+CSS前端整合等多种先进技术的融合，以端到端的方法处理跨渠道数据实时生成智能简报，降低了互联网广告效果营销行业从业人员以数据智能驱动业务和管理优化的门槛，实现了互联网广告效果营销中营销策划、运营管理、创意制作、创意投放效果反馈、营销策略优化等多个主要环节的效率提升。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.一种处理互联网营销跨渠道数据实时生成智能简报的系统，其特征在于：包括数据中心、数据智能聚合模块、数据集市业务模型数据表单存储管理模块、数据智能分析计算模块、数据智能简报生成模块和数据智能简报分发模块，所述数据中心用于连接外部数据源并进行数据收集和存储，所述数据智能聚合模块用于对数据中心中存储的数据进行聚合分析，所述数据集市业务模型数据表单存储管理模块用于对聚合分析后的数据进行分类存储并建立索引表单，所述数据智能分析计算模块用于对分类存储的数据进行分析处理，所述数据智能简报生成模块用于将数据及分析处理结果生成图文简报，所述数据智能简报分发模块用于对生成的图文简报进行输出报送分发。
2.根据权利要求1所述的一种处理互联网营销跨渠道数据实时生成智能简报的系统，其特征在于：所述数据中心包括跨渠道多类型数据源数据接口、数据ETL状态机、操作型数据存储和企业数据仓库，跨渠道多类型数据源数据接口用于对接同步外部数据源，所述数据ETL状态机用于持续循环抽取跨渠道多类型数据源数据接口对接的外部数据源，并对抽取的数据源进行数据清洗转换，所述操作型数据存储和企业数据仓库用于对清洗转换的数据进行分离存储。
3.根据权利要求2所述的一种处理互联网营销跨渠道数据实时生成智能简报的系统，其特征在于：所述操作型数据存储包括但不限于mysql、redis实时业务组件，所述企业数据仓库包括但不限于云对象存储、分布式文件存储系统、hbase键值存储。
4.根据权利要求1所述的一种处理互联网营销跨渠道数据实时生成智能简报的系统，其特征在于：所述数据智能聚合模块包括任务调度控制器和数据预处理器，所述任务调度控制器用于调度控制所述的数据预处理器执行所需的数据智能聚合任务，
所述数据预处理器包括业务模型编辑器、数据筛选器、数据分拣器、元数据关联器和数据指标计算器，所述业务模型编辑器用于对接互联网广告营销中各种数据分析和数据报表需求，搭建并存储相应的业务模型；所述数据筛选器用于根据业务模型对原始全量数据进行数据维度和数据样本的筛选；所述数据分拣器用于根据业务模型对筛选后的数据进行分拣操作；所述元数据关联器用于根据业务模型找到与业务数据相关联的各类元数据；所述数据指标计算器用于对数据及元数据进行运算，所述的运算包括但不限于计数、求和、均值的基础统计指标计算。
5.根据权利要求4所述的一种处理互联网营销跨渠道数据实时生成智能简报的系统，其特征在于：所述的业务模型包括但不限于数据指标体系、业务逻辑图、实体-关系图、数据分析任务表、数据可视化需求表。
6.根据权利要求4所述的一种处理互联网营销跨渠道数据实时生成智能简报的系统，其特征在于：所述的分拣操作包括将跨数据库跨数据表的同类数据分拣到一起、将数据按时间进行分拣到一起的操作。
7.根据权利要求1所述的一种处理互联网营销跨渠道数据实时生成智能简报的系统，其特征在于：所述数据集市业务模型数据表单存储管理模块包括存储管理控制器和业务模型数据表单，存储管理控制器接收数据智能聚合模块输入的数据存储至相应的业务模型数据表单，并建立索引表。
8.根据权利要求4所述的一种处理互联网营销跨渠道数据实时生成智能简报的系统，其特征在于：所述数据智能分析计算模块包括算法模型调度控制器和数据分析算法模型工具包，算法模型调度控制器连接数据分析算法模型工具包，并根据业务模型控制调用一个或多个数据分析算法模型工具包中的工具对数据进行分析计算，并将计算过程和结果上传至企业数据仓库，所述数据分析算法模型工具包包括但不限于统计分析算法模型、分类分析算法模型、聚类分析算法模型、回归分析算法模型、DEEP-CNN算法模型。
9.根据权利要求4所述的一种处理互联网营销跨渠道数据实时生成智能简报的系统，其特征在于：所述数据智能简报生成模块包括简报生成控制器、NLG自然语言数据描述文本片段生成单元和智能自适应数据图表生成单元，简报生成控制器根据业务模型，控制NLG自然语言数据描述文本片段生成单元和智能自适应数据图表生成单元执行相关操作任务列表，将文本片段和数据图表按需排版封装成个性化图文简报，并插入包含相关原始数据和数据分析计算详情的URL链接；NLG自然语言数据描述文本片段生成单元根据业务模型将相关联的数据特征和数据分析计算结果转化成符合互联网广告营销行业业务流特点和行业术语标准的自然语言文本片段；智能自适应数据图表生成单元根据需要绘制图表的数据维度、数据量、数据分布的特征智能匹配最佳可视化图表类型和样式参数，绘制数据图表，并上传至企业数据仓库存储备用。
10.根据权利要求1所述的一种处理互联网营销跨渠道数据实时生成智能简报的系统，其特征在于：所述数据智能简报分发模块包括简报分发控制器和简报分发状态机，简报分发控制器根据简报分发计划任务表控制简报分发状态机完成对简报的分发，所述简报分发状态机的分发方式包括但不限于电子邮件、即时通讯软件机器人消息、微信小程序、企业营销云平台内消息和其他与用户约定的方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110244059.5A CN112883021A (zh) | 2021-03-05 | 2021-03-05 | 一种处理互联网营销跨渠道数据实时生成智能简报的系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110244059.5A CN112883021A (zh) | 2021-03-05 | 2021-03-05 | 一种处理互联网营销跨渠道数据实时生成智能简报的系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112883021A true CN112883021A (zh) | 2021-06-01 |
Family
ID=76055558
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110244059.5A Pending CN112883021A (zh) | 2021-03-05 | 2021-03-05 | 一种处理互联网营销跨渠道数据实时生成智能简报的系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112883021A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140310231A1 (en) * | 2013-04-16 | 2014-10-16 | Cognizant Technology Solutions India Pvt. Ltd. | System and method for automating data warehousing processes |
| CN107169070A (zh) * | 2017-05-08 | 2017-09-15 | 山大地纬软件股份有限公司 | 一种基于大数据的社保指标仓库的构建系统及其方法 |
| US20180081953A1 (en) * | 2016-09-21 | 2018-03-22 | idea5, LLC | System, computer-implemented method, and computer program for improving access to and usefulness of data for business intelligence |
| CN110618983A (zh) * | 2019-08-15 | 2019-12-27 | 复旦大学 | 基于json文档结构的工业大数据多维分析与可视化方法 |
-
2021
- 2021-03-05 CN CN202110244059.5A patent/CN112883021A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140310231A1 (en) * | 2013-04-16 | 2014-10-16 | Cognizant Technology Solutions India Pvt. Ltd. | System and method for automating data warehousing processes |
| US20180081953A1 (en) * | 2016-09-21 | 2018-03-22 | idea5, LLC | System, computer-implemented method, and computer program for improving access to and usefulness of data for business intelligence |
| CN107169070A (zh) * | 2017-05-08 | 2017-09-15 | 山大地纬软件股份有限公司 | 一种基于大数据的社保指标仓库的构建系统及其方法 |
| CN110618983A (zh) * | 2019-08-15 | 2019-12-27 | 复旦大学 | 基于json文档结构的工业大数据多维分析与可视化方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109767255B (zh) | 一种通过大数据建模实现智能运营及精准营销的方法 | |
| US11327935B2 (en) | Intelligent data quality | |
| CN105335814B (zh) | 在线大数据智能云审计方法及系统 | |
| CN109583762B (zh) | 一种生产流程建模与产品数据追踪的系统 | |
| CN104767813B (zh) | 基于openstack的公众行大数据服务平台 | |
| CN112181960B (zh) | 一种基于AIOps的智能运维框架系统 | |
| CN105976109A (zh) | 一种基于大数据智能审计的方法及系统 | |
| CN110851667A (zh) | 一种多源头大量数据的整合分析方法及工具 | |
| CN110489749B (zh) | 一种智能办公自动化系统的业务流程优化方法 | |
| CN112286957B (zh) | 基于结构化查询语言的bi系统的api应用方法及系统 | |
| CN115713161A (zh) | 一种基于bim技术的建筑信息管理系统 | |
| CN112817958A (zh) | 电力规划数据采集方法、装置及智能终端 | |
| CN111126852A (zh) | 一种基于大数据建模的bi应用系统 | |
| CN117151415A (zh) | 一种面向城乡融合发展的基础设施规划系统 | |
| Zhang | Application of data mining technology in digital library. | |
| CN113741883A (zh) | 一种rpa轻量级数据中台系统 | |
| CN113722564A (zh) | 基于空间图卷积能源物资供应链的可视化方法及装置 | |
| CN110209379B (zh) | 一种智能交互式软件系统及使用方法 | |
| CN115577050B (zh) | 一种电费数字化应用平台构建方法 | |
| CN112883021A (zh) | 一种处理互联网营销跨渠道数据实时生成智能简报的系统 | |
| CN113868322B (zh) | 一种语义结构解析方法、装置、设备及虚拟化系统、介质 | |
| Hodinka et al. | Business intelligence in Environmental reporting powered by XBRL | |
| CN111291102A (zh) | 一种政务数据挖掘的高性能规模统计计算方法 | |
| CN117216030A (zh) | 一种基于大数据挖掘的水环境治理产业精准分析系统 | |
| Gao et al. | Can Robotic Process Automation Technology Enable Risk Data Analysis for Customs’ Post-Clearance Audit: A China Customs Case Study |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210601 |