CN116089682A - 数据统计挖掘及融合展现方法、系统、设备及存储介质 - Google Patents

Abstract

本申请公开了一种数据统计挖掘及融合展现方法、系统、设备及存储介质，其中，该数据统计挖掘及融合展现方法包括：通过爬虫采集系统采集商品数据，将商品数据存储至数据库，得到实时存储数据；对实时存储数据进行即时处理，得到有效商品数据；通过数据查询引擎对有效商品数据进行即时检索，将即时检索后的实时商品数据生成商品显示界面发送给显示端进行展示；响应于用户端基于商品显示界面输入的用户查询条件，显示端将用户查询条件发送给数据查询引擎。通过将采集的商品数据存储至数据库得到实时存储数据，对实时存储数据进行即时计算，再由数据查询引擎分析计算，使用户端制定对应的策略，提高数据处理的效率和可靠性。

Description

数据统计挖掘及融合展现方法、系统、设备及存储介质

技术领域

本申请涉及数据分析领域，尤其涉及一种数据统计挖掘及融合展现方法、系统、设备及存储介质。

背景技术

电子商务是买卖双方不谋面地进行各种商贸活动，实现消费者的网上购物、商户之间的网上交易和在线电子支付以及各种商务活动、交易活动、金融活动和相关的综合服务活动的新型的一种商业运营模式。

Amazon跨境商户在Amazon商城售卖商品的过程中，产生了众多销售数据。目前主要依靠Amazon商城后台少部分统计数据，但这些数据分散在多处，商家查询计算销售指标需多处摘抄统计，且无法实现关联融合查看，在分析某个特征状态时存在限制。如果使用Excel表格进行分析，则需手动输入各种原始数据，再通过编写复杂的公式进行计算，且数据获取和存储计算都比较麻烦。当数据量过大时，还会导致报表无法生成或录入。

综上，目前统计数据存在的问题是数据源获取、数据存储、数据多样分析和大数据量计算均比较困难，且统计数据的时效性无法保证。

因此，上述技术问题亟待解决。

发明内容

本申请实施例提供一种数据统计挖掘及融合展现方法、系统、设备及存储介质，以解决数据源获取、数据存储、数据多样分析和大数据量计算均比较困难，且统计数据的时效性无法保证的问题。

本申请的上述申请目的一是通过以下技术方案得以实现的：

一种数据统计挖掘及融合展现方法，包括：

通过爬虫采集系统采集商品数据，将商品数据存储至数据库，得到实时存储数据；

对实时存储数据进行即时处理，得到有效商品数据；

通过数据查询引擎对有效商品数据进行即时检索，将即时检索后的实时商品数据生成商品显示界面发送给显示端进行展示；

响应于用户端基于商品显示界面输入的用户查询条件，显示端将用户查询条件发送给数据查询引擎，以使用户端分析商品售卖情况并制定决策。

本申请在一较佳示例中可以进一步配置为：通过爬虫采集系统采集商品数据，包括：

获取用户端基于电子商务端接口发送的API用户授权权限；

基于API用户授权权限，通过爬虫采集系统对接电子商务端接口获取商品数据。

本申请在一较佳示例中可以进一步配置为：将商品数据存储至数据库，得到实时存储数据，包括：

采用关系数据库和/或分布式数据库对商品数据进行存储；

基于关系数据库和/或分布式数据库，对不同用户进行数据隔离存储，得到实时存储数据。

本申请在一较佳示例中可以进一步配置为：对实时存储数据进行即时处理，得到有效商品数据，包括：

通过Flink实时同步计算和/或分布式调度系统定时调度计算对实时存储数据进行加工清洗，得到有效商品数据。

本申请在一较佳示例中可以进一步配置为：在得到有效商品数据之后，包括：

对有效商品数据中的各个指标进行多层次聚合计算存储，以使各个指标与指标对应的商品指标数据相匹配。

本申请在一较佳示例中可以进一步配置为：在响应于用户端基于商品显示界面输入的用户查询条件，显示端将用户查询条件发送给数据查询引擎之后，包括：

基于用户查询条件，数据查询引擎即时汇总关联用户查询条件对应的有效商品数据，用于实现有效商品数据对应的各个指标的关联查询和返回。

本申请在一较佳示例中可以进一步配置为：在通过爬虫采集系统采集商品数据，将商品数据存储至数据库之前，包括：

采用分层ETL加工处理对商品数据预计算，并结合Starrocks向量化关联查询，以获得有效商品数据对应的各个指标的查询结果。

本申请目的二是提供一种数据统计挖掘及融合展现系统。

本申请的上述申请目的二是通过以下技术方案得以实现的：

一种数据统计挖掘及融合展现系统，包括：

采集并存储数据模块，用于通过爬虫采集系统采集商品数据，将商品数据存储至数据库，得到实时存储数据；

即时加工处理数据并获取有效商品数据模块，用于对实时存储数据进行即时处理，得到有效商品数据；

即时检索有效商品数据并进行显示端界面展示模块，用于通过数据查询引擎对有效商品数据进行即时检索，将即时检索后的实时商品数据生成商品显示界面发送给显示端进行展示；

发送用户查询条件模块，用于响应于用户端基于商品显示界面输入的用户查询条件，显示端将用户查询条件发送给数据查询引擎，以使用户端分析商品售卖情况并制定决策。

本申请目的三是提供一种计算机设备。

本申请的上述申请目的三是通过以下技术方案得以实现的：

一种计算机设备，包括存储器、处理器以及存储在该存储器中并可在该处理器上运行的计算机程序，该处理器执行计算机程序时实现上述数据统计挖掘及融合展现方法。

本申请目的四是提供一种计算机可读存储介质，能够存储相应的计算机程序。

本申请的上述申请目的四是通过以下技术方案得以实现的：

一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述数据统计挖掘及融合展现方法。

综上所述，本申请包括以下至少一种有益技术效果：

1.本申请通过整套的分布式软件架构建设解决用户售卖过程产生的多种数据在获取、存储、分析和即时运营上的问题，并根据商品数据即时分析出商品的各种性能表现与报表，直观地展现商品的数据曲线，并且降低大数据量和指标太多以至于难以计算等问题。

2.本申请采用爬虫采集系统将用户绑定的商品进行实时数据获取，多样且全面采集商品的多种售卖数据，再将采集的商品数据进行分布式数据存储，解决大量数据存储问题，继而将实时存储数据进行即时计算，自动化生产出多层不同粒度的统计数据，再由数据查询引擎进行分析计算并将分析计算出的结果生成商品显示界面发送给显示端进行展示。显示端亦可将商家不同的查询指令传递给数据查询引擎，数据查询引擎将计算不同的结果给到显示端，提高了数据处理的效率、时效性和可靠性。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1绘示本申请一实施例中数据统计挖掘及融合展现方法的流程图；

图2绘示本申请第一实施例中数据统计挖掘及融合展现方法的整体流程图；

图3绘示本申请一实施例中数据统计挖掘及融合展现系统的示意图；

图4绘示本申请一实施例中计算机设备的示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。

下面结合说明书附图对本申请实施例作进一步详细描述。

本申请实施例提供一种数据统计挖掘及融合展现方法，方法的主要流程描述如下：

参照图1，S10、通过爬虫采集系统采集商品数据，将商品数据存储至数据库，得到实时存储数据。

其中，商品数据包括商品基本信息、订单相关数据和广告费等，亦有从用户端页面捕获的数据，比如评论评分等数据。数据库包括关系数据库和分布式数据库。

具体地，利用爬虫采集系统从显示端的数据源池中采集数据，数据保存在关系数据库和分布式数据库中，得到实时存储数据。

步骤S10的作用在于提高了数据存储的可靠性。

S20、对实时存储数据进行即时处理，得到有效商品数据。

具体地，对实时存储数据执行转换操作，将数据结构化，并转换为适合目标数据库系统的形式，即有效商品数据，然后将该有效商品数据加载到数据库中，以备分析。

步骤S20的作用在于提高数据查询的效率。

S30、通过数据查询引擎对有效商品数据进行即时检索，将即时检索后的实时商品数据生成商品显示界面发送给显示端进行展示。

其中，数据查询引擎为Starrocks，采用了全面向量化引擎，支持多种数据模型(明细表和聚合表)，多种导入方式（批量），可整合和接入多种现有系统(Spark，Flink，Hive，ElasticSearch)。

步骤S30的作用在于提高了数据分析的及时性和实时更新数据查询的效率。

S40、响应于用户端基于商品显示界面输入的用户查询条件，显示端将用户查询条件发送给数据查询引擎，以使用户端分析商品售卖情况并制定决策。

具体地，用户端在显示端展示的商品显示界面上对应的输入用户查询条件，显示端获取用户查询条件，并将该用户查询条件发送给数据查询引擎，数据查询引擎对该用户查询条件中的数据进行查询并分析，得到查询分析结果，然后同步在显示端的商品显示界面，使得用户端可以看到该查询分析结果，进而根据分析结果中的商品售卖情况制定对应的决策。

步骤S40的作用在于提高了数据显示的及时性，并且，有助于用户端根据数据查询引擎对商品数据的分析得到售卖情况，并制定决策，提高了商品数据分析的可靠性。

在一实施例中，在步骤S10之前，即在通过爬虫采集系统采集商品数据，将商品数据存储至数据库之前，包括：

S11、采用分层ETL加工处理对商品数据预计算，并结合Starrocks向量化关联查询，以获得有效商品数据对应的各个指标的查询结果。

具体地，利用分层ETL加工处理对超多有效商品数据对应的各个指标预计算，结合Starrocks向量化关联查询，进而获得有效商品数据对应的各个指标的查询结果。

其中，利用分层ETL加工处理首先确定商品数据源，将商品数据抽取并暂存至数据库中，对商品数据进行去噪、去重和异常值处理等过程，得到实时存储数据。然后对实时存储数据进行数据清洗与转换，得到有效商品数据。最后对有效商品数据进行分析操作，得到实时商品数据。进而使得用户端根据该实时商品数据和利用输入的用户查询条件制定相应的决策。

步骤S11的作用在于提高了查询响应速度，并且减少数据重复开发，使得复杂数据简单化，提高了数据处理的效率。

在一实施例中，步骤S10，即通过爬虫采集系统采集商品数据，包括：

S101、获取用户端基于电子商务端接口发送的API用户授权权限。

其中，电子商务端接口是指两个系统之间的稳定介质，可将网页链接到其他应用程序或数据库。

S102、基于API用户授权权限，通过爬虫采集系统对接电子商务端接口获取商品数据。

步骤S101和步骤S102的作用在于提高了数据采集的安全性和可靠性。

在一实施例中，步骤S10，即将商品数据存储至数据库，得到实时存储数据，包括：

S103、采用关系数据库和/或分布式数据库对商品数据进行存储。

其中，关系数据库包括Mysql和postgreSQL等。分布式数据库包括Starrocks和Mongo等。

S104、基于关系数据库和/或分布式数据库，对不同用户进行数据隔离存储，得到实时存储数据。

步骤S103和步骤S104的作用在于，将多种数据存储数据库结合，既保证数据存储不丢失，又保证大数据量的存储。分布式数据库采用Starrocks，在面对数据量快速增长的情况下，也能快速扩容，同时也能提高查询性能，存储查询只需一套系统，充分节省系统运行内存。

在一实施例中，步骤S20，即对实时存储数据进行即时处理，得到有效商品数据，包括：

S201、通过Flink实时同步计算和/或分布式调度系统定时调度计算对实时存储数据进行加工清洗，得到有效商品数据。

其中，分布式调度系统采用DolphinScheduler，DolphinScheduler是一个新一代分布式大数据工作流任务调度系统，主要解决大数据任务之间错综复杂的依赖关系。

其中，Flink作为流式计算引擎，不仅可以实时订阅实时存储数据，而且可以实时对实时存储数据进行分析处理并产生结果。

具体地，Flink可以通过日志流、点击流和IoT数据流等对实时存储数据进行流式的分析处理，同时也可以对数据库和文件系统中的文件等有限数据集进行批式的数据处理，快速分析结果，进而获得有效商品数据，让有效商品数据在第一时间发挥价值。分布式调度系统DolphinScheduler以 DAG(有向无环图) 的方式将有效商品数据所对应的任务连接起来，可实时监控任务的运行状态，同时支持重试、从指定节点恢复失败、暂停及 Kill任务等操作。

步骤S201的作用在于，Flink实时同步计算提高了数据实时计算的时效性。分布式调度系统的应用保证了超大规模调度的性能与稳定，提高了数据分析计算的稳定性和可靠性。

在一实施例中，在步骤S20之后，即在得到有效商品数据之后，包括：

S21、对有效商品数据中的各个指标进行多层次聚合计算存储，以使各个指标与指标对应的商品指标数据相匹配。

具体地，借助聚合表可以对有效商品数据中的各个指标进行实时计算，并且，提交校验功能能够对出库、入库进行预计算，在必要的时候提醒库存不足，聚合表中的数据还可以被调用到表单中，方便实时掌握有效商品数据对应的最新库存，避免出现负库存影响企业生产经营。

步骤S21的作用在于提高了数据计算的可扩展性和可靠性。

在一实施例中，在步骤S40之后，即在响应于用户端基于商品显示界面输入的用户查询条件，显示端将用户查询条件发送给数据查询引擎之后，包括：

S41、基于用户查询条件，数据查询引擎即时汇总关联用户查询条件对应的有效商品数据，用于实现有效商品数据对应的各个指标的关联查询和返回。

具体地，显示端接收用户端基于商品显示界面输入的用户查询条件，并将该用户查询条件发送给数据查询引擎，数据查询引擎即时汇总有效商品数据，并将该有效商品数据对应的指标与对应的用户查询条件一一进行关联，实现复杂多种指标的关联查询和返回。

步骤S41的作用在于提高了数据处理和分析的及时性，并且界面化管理降低了运营成本。

本实施例提供的数据统计挖掘及融合展现方法，如图2所示的数据统计挖掘及融合展现方法的整体流程示意图，采用爬虫采集系统将用户绑定的商品进行实时数据获取，多样且全面采集商品的多种售卖数据，再将采集的商品数据进行分布式数据存储，解决大量数据存储问题，继而将实时存储数据进行即时计算，自动化生产出多层不同粒度的统计数据，再由数据查询引擎进行分析计算并将分析计算出的结果生成商品显示界面发送给显示端进行展示。显示端亦可将商家不同的查询指令传递给数据查询引擎，数据查询引擎将计算不同的结果给到显示端，提高了数据处理的效率、时效性和可靠性。

本申请另一实施例，公开了一种数据统计挖掘及融合展现系统。

参照图3，数据统计挖掘及融合展现系统包括：

采集并存储数据模块10，用于通过爬虫采集系统采集商品数据，将商品数据存储至数据库，得到实时存储数据。

即时加工处理数据并获取有效商品数据模块20，用于对实时存储数据进行即时处理，得到有效商品数据。

即时检索有效商品数据并进行显示端界面展示模块30，用于通过数据查询引擎对有效商品数据进行即时检索，将即时检索后的实时商品数据生成商品显示界面发送给显示端进行展示。

发送用户查询条件模块40，用于响应于用户端基于商品显示界面输入的用户查询条件，显示端将用户查询条件发送给数据查询引擎，以使用户端分析商品售卖情况并制定决策。

本实施例提供的数据统计挖掘及融合展现系统，由于其各模块本身的功能及彼此之间的逻辑连接，能实现前述实施例的各个步骤，因此能够达到与前述实施例相同的技术效果，原理分析可参见前述数据统计挖掘及融合展现的方法步骤的相关描述，在此不再累述。

关于数据统计挖掘及融合展现系统的具体限定可以参见上文中对于数据统计挖掘及融合展现方法的限定，在此不再赘述。上述数据统计挖掘及融合展现系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一实施例中，提供一种计算机设备，该计算机设备可以是监控终端，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性介质、内存储器。该非易失性介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储基于摄像机的监控方法中需保存的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据统计挖掘及融合展现方法。

在一实施例中，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例数据统计挖掘及融合展现方法，例如图1所示S10至步骤S40。或者，处理器执行计算机程序时实现上述实施例中数据统计挖掘及融合展现系统的各模块/单元的功能，例如图3所示模块10至模块40的功能。为避免重复，此处不再赘述。

在一实施例中，提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述实施例数据统计挖掘及融合展现方法，或者，该计算机程序被处理器执行时实现上述系统实施例中数据统计挖掘及融合展现系统中各模块/单元的功能。为避免重复，此处不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其他介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink）DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将系统的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种数据统计挖掘及融合展现方法，其特征在于，包括：

通过爬虫采集系统采集商品数据，将所述商品数据存储至数据库，得到实时存储数据；

对所述实时存储数据进行即时处理，得到有效商品数据；

通过数据查询引擎对所述有效商品数据进行即时检索，将即时检索后的实时商品数据生成商品显示界面发送给显示端进行展示；

响应于用户端基于所述商品显示界面输入的用户查询条件，所述显示端将所述用户查询条件发送给所述数据查询引擎，以使所述用户端分析商品售卖情况并制定决策。

2.根据权利要求1所述的一种数据统计挖掘及融合展现方法，其特征在于，所述通过爬虫采集系统采集商品数据，包括：

获取所述用户端基于电子商务端接口发送的API用户授权权限；

基于所述API用户授权权限，通过爬虫采集系统对接所述电子商务端接口获取商品数据。

3.根据权利要求1所述的一种数据统计挖掘及融合展现方法，其特征在于，所述将所述商品数据存储至数据库，得到实时存储数据，包括：

采用关系数据库和/或分布式数据库对所述商品数据进行存储；

基于所述关系数据库和/或所述分布式数据库，对不同用户进行数据隔离存储，得到所述实时存储数据。

4.根据权利要求1所述的一种数据统计挖掘及融合展现方法，其特征在于，所述对所述实时存储数据进行即时处理，得到有效商品数据，包括：

通过Flink实时同步计算和/或分布式调度系统定时调度计算对所述实时存储数据进行加工清洗，得到所述有效商品数据。

5.根据权利要求4所述的一种数据统计挖掘及融合展现方法，其特征在于，在所述得到所述有效商品数据之后，包括：

对所述有效商品数据中的各个指标进行多层次聚合计算存储，以使各个所述指标与所述指标对应的商品指标数据相匹配。

6.根据权利要求1所述的一种数据统计挖掘及融合展现方法，其特征在于，在所述响应于用户端基于所述商品显示界面输入的用户查询条件，所述显示端将所述用户查询条件发送给所述数据查询引擎之后，包括：

基于所述用户查询条件，所述数据查询引擎即时汇总关联所述用户查询条件对应的所述有效商品数据，用于实现所述有效商品数据对应的各个指标的关联查询和返回。

7.根据权利要求1所述的一种数据统计挖掘及融合展现方法，其特征在于，在所述通过爬虫采集系统采集商品数据，将所述商品数据存储至数据库之前，包括：

采用分层ETL加工处理对所述商品数据预计算，并结合Starrocks向量化关联查询，以获得所述有效商品数据对应的各个指标的查询结果。

8.一种数据统计挖掘及融合展现系统，其特征在于，包括：

采集并存储数据模块，用于通过爬虫采集系统采集商品数据，将所述商品数据存储至数据库，得到实时存储数据；

即时加工处理数据并获取有效商品数据模块，用于对所述实时存储数据进行即时处理，得到有效商品数据；

即时检索有效商品数据并进行显示端界面展示模块，用于通过数据查询引擎对所述有效商品数据进行即时检索，将即时检索后的实时商品数据生成商品显示界面发送给显示端进行展示；

发送用户查询条件模块，用于响应于用户端基于所述商品显示界面输入的用户查询条件，所述显示端将所述用户查询条件发送给所述数据查询引擎，以使所述用户端分析商品售卖情况并制定决策。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述数据统计挖掘及融合展现方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述数据统计挖掘及融合展现方法。

Images