CN110189200A - 一种基于大数据及搜索引擎快速搭建电商卖场的方法 - Google Patents

一种基于大数据及搜索引擎快速搭建电商卖场的方法 Download PDF

Info

Publication number
CN110189200A
CN110189200A CN201910447275.2A CN201910447275A CN110189200A CN 110189200 A CN110189200 A CN 110189200A CN 201910447275 A CN201910447275 A CN 201910447275A CN 110189200 A CN110189200 A CN 110189200A
Authority
CN
China
Prior art keywords
big data
commodity
pond
platform
electric business
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910447275.2A
Other languages
English (en)
Inventor
黄启航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Voyage Ltd By Share Ltd
Original Assignee
Shenzhen Voyage Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Voyage Ltd By Share Ltd filed Critical Shenzhen Voyage Ltd By Share Ltd
Priority to CN201910447275.2A priority Critical patent/CN110189200A/zh
Publication of CN110189200A publication Critical patent/CN110189200A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Development Economics (AREA)
  • Software Systems (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)

Abstract

本发明公开了一种基于大数据及搜索引擎快速搭建电商卖场系统，包括大数据平台，所述大数据平台用于查询和管理，帮助操作人员进行操作和设定分析；Elasticsearch服务器，用于建立实时检索和信息储存，通过接收大数据平台发出的检索指令，每日通过Spark任务接收离线分析出的优质商品池。该基于大数据及搜索引擎快速搭建电商卖场的方法，通过设置了Elasticsearch能够将使用人员提出各种条件进行检索和整理，并且能够利用Elasticsearch强大的搜索能力快速找到符合条件的商品和活动，从而减小了前期的准备工作，通过Elasticsearch索引与别名的特性存储与切换，建立每日不同的优质离线商品库，从而进行大量数据的储存，快速的更新商品，保证了整个商品池的时效性。

Description

一种基于大数据及搜索引擎快速搭建电商卖场的方法
技术领域
本发明涉及电商经营技术领域，具体为一种基于大数据及搜索引擎快速搭建电商卖场的方法。
背景技术
目前在互联网电商领域中，网站以及APP上投放的各类活动均是有运营人员配置投放，而其中活动内的商品基本都是由运营人员提前通知商家即将开始活动，让其提前在活动后台管理平台上提报活动相关商品并进行人工审核，经人工审核后方可线上投放，而这个过程一般需要提前一个月进行准备。
现有电商组织模式存在以下缺点：
1、需要商家人工提报商品参加活动；
2、需要运营人员对商品进行审核商品是否符合活动要求；
3、准备周期长，一般需要一个月左右。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种基于大数据及搜索引擎快速搭建电商卖场的方法，具备周期短速度快等优点，解决了目前电商卖场组织困难的问题。
(二)技术方案
为实现上述目的，本发明提供如下技术方案：一种基于大数据及搜索引擎快速搭建电商卖场系统，包括大数据平台，所述大数据平台用于查询和管理，帮助操作人员进行操作和设定分析；
Elasticsearch服务器，用于建立实时检索和信息储存，通过接收大数据平台发出的检索指令，每日通过Spark任务接收离线分析出的优质商品池。
Hive平台，进行数据的分析和输出，其用于分析大数据平台传递来的商品池信息，从而建立优质商品池；
投放平台，用于建立电商卖场，进行投放，工作人员从大数据平台得到信号和活动规则，进行卖场的建设和搭建；
优选的，所述大数据平台的使用者制定好规则，规则包括，类目，价格区间，折扣率区间，好评数区间。
优选的，所述大数据平台执行定时调度Hive任务从数据仓库进行数据加工与分析生成优质商品池。
优选的，所述大数据平台执行定时调度Spark任务将优质商品池内覆盖的商品按分区读取并通过网络传输写入Elasticsearch的当天新索引，写入完成后校验Elastcisearch当天新索引上的数据数量以及有效性，校验通过后将被筛选的商品池别名切换至新索引上。
优选的，包括以下步骤：
大数据平台，
使用者登录大数据平台，进行卖场创建，并且设定投放渠道以及投放的坑位数量；
商品筛选，
活动的规则用于筛选商品，后台根据活动规则组装成查询条件在Elasticsearch中查询筛选出来的数量以及类目分布等指标；
将创建的平台直接同步至投放平台，进行卖场创建。
优选的，包括以下步骤，
优质商品池建立，
使用Hive在数据仓库上对数十亿商品进行离线数据加工与分析，通过分析商品在指定周期内的订单量，订单转化率，点击率等指标，智能的设定优质商品的准入门槛，从数十亿商品中筛选出约千万级的优质商品，大数据平台执行定时调度Hive任务从数据仓库进行数据加工与分析生成优质商品池；
优质商品数据库建立，
每日定时将离线分析出的优质商品池通过Spark程序从数据仓库往Elasticsearch导入，作为活动商品的基础商品池，大数据平台执行定时调度Spark任务将优质商品池内覆盖的商品按分区读取并通过网络传输写入Elasticsearch的当天新索引；
优质商品数据库更新，
写入完成后校验Elastcisearch当天新索引上的数据数量以及有效性，校验通过后将被筛选的商品池别名切换至新索引上。
(三)有益效果
与现有技术相比，本发明提供了一种基于大数据及搜索引擎快速搭建电商卖场的方法，具备以下有益效果：
1、该基于大数据及搜索引擎快速搭建电商卖场的方法，通过设置了Elasticsearch能够将使用人员提出各种条件进行检索和整理，并且能够利用Elasticsearch强大的搜索能力快速找到符合条件的商品和活动，从而减小了前期的准备工作。
2、该基于大数据及搜索引擎快速搭建电商卖场的方法，通过Elasticsearch索引与别名的特性存储与切换，建立每日不同的优质离线商品库，从而进行大量数据的储存，快速的更新商品，保证了整个商品池的时效性。
附图说明
图1为本发明提出的一种基于大数据及搜索引擎快速搭建电商卖场的方法结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，一种基于大数据及搜索引擎快速搭建电商卖场系统，包括大数据平台，所述大数据平台用于查询和管理，帮助操作人员进行操作和设定分析；
Elasticsearch服务器，用于建立实时检索和信息储存，通过接收大数据平台发出的检索指令，每日通过Spark任务接收离线分析出的优质商品池。
Hive平台，进行数据的分析和输出，其用于分析大数据平台传递来的商品池信息，从而建立优质商品池；
投放平台，用于建立电商卖场，进行投放，工作人员从大数据平台得到信号和活动规则，进行卖场的建设和搭建；
所述大数据平台的使用者制定好规则，规则包括，类目，价格区间，折扣率区间，好评数区间。
所述大数据平台执行定时调度Hive任务从数据仓库进行数据加工与分析生成优质商品池。
所述大数据平台执行定时调度Spark任务将优质商品池内覆盖的商品按分区读取并通过网络传输写入Elasticsearch的当天新索引，写入完成后校验Elastcisearch当天新索引上的数据数量以及有效性，校验通过后将被筛选的商品池别名切换至新索引上。
包括以下步骤：
大数据平台，
使用者登录大数据平台，进行卖场创建，并且设定投放渠道以及投放的坑位数量；
商品筛选，
活动的规则用于筛选商品，后台根据活动规则组装成查询条件在Elasticsearch中查询筛选出来的数量以及类目分布等指标；
将创建的平台直接同步至投放平台，进行卖场创建。
优选的，包括以下步骤，
优质商品池建立，
使用Hive在数据仓库上对数十亿商品进行离线数据加工与分析，通过分析商品在指定周期内的订单量，订单转化率，点击率等指标，智能的设定优质商品的准入门槛，从数十亿商品中筛选出约千万级的优质商品，大数据平台执行定时调度Hive任务从数据仓库进行数据加工与分析生成优质商品池；
优质商品数据库建立，
每日定时将离线分析出的优质商品池通过Spark程序从数据仓库往Elasticsearch导入，作为活动商品的基础商品池，大数据平台执行定时调度Spark任务将优质商品池内覆盖的商品按分区读取并通过网络传输写入Elasticsearch的当天新索引；
优质商品数据库更新，
写入完成后校验Elastcisearch当天新索引上的数据数量以及有效性，校验通过后将被筛选的商品池别名切换至新索引上。
该基于大数据及搜索引擎快速搭建电商卖场的方法，通过设置了Elasticsearch能够将使用人员提出各种条件进行检索和整理，并且能够利用Elasticsearch强大的搜索能力快速找到符合条件的商品和活动，从而减小了前期的准备工作，通过Elasticsearch索引与别名的特性存储与切换，建立每日不同的优质离线商品库，从而进行大量数据的储存，快速的更新商品，保证了整个商品池的时效性。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种基于大数据及搜索引擎快速搭建电商卖场系统，其特征在于：包括大数据平台，所述大数据平台用于查询和管理，帮助操作人员进行操作和设定分析；
Elasticsearch服务器，用于建立实时检索和信息储存，通过接收大数据平台发出的检索指令，每日通过Spark任务接收离线分析出的优质商品池。
Hive平台，进行数据的分析和输出，其用于分析大数据平台传递来的商品池信息，从而建立优质商品池；
投放平台，用于建立电商卖场，进行投放，工作人员从大数据平台得到信号和活动规则，进行卖场的建设和搭建。
2.根据权利要求1所述的一种基于大数据及搜索引擎快速搭建电商卖场系统，其特征在于：所述大数据平台的使用者制定好规则，规则包括，类目，价格区间，折扣率区间，好评数区间。
3.根据权利要求1所述的一种基于大数据及搜索引擎快速搭建电商卖场系统，其特征在于：所述大数据平台执行定时调度Hive任务从数据仓库进行数据加工与分析生成优质商品池。
4.根据权利要求1所述的一种基于大数据及搜索引擎快速搭建电商卖场，其特征在于：所述大数据平台执行定时调度Spark任务将优质商品池内覆盖的商品按分区读取并通过网络传输写入Elasticsearch的当天新索引，写入完成后校验Elastcisearch当天新索引上的数据数量以及有效性，校验通过后将被筛选的商品池别名切换至新索引上。
5.根据权利要求1所述的一种基于大数据及搜索引擎快速搭建电商卖场的方法，其特征在于，包括以下步骤：
大数据平台，
使用者登录大数据平台，进行卖场创建，并且设定投放渠道以及投放的坑位数量；
商品筛选，
活动的规则用于筛选商品，后台根据活动规则组装成查询条件在Elasticsearch中查询筛选出来的数量以及类目分布等指标；
将创建的平台直接同步至投放平台，进行卖场创建。
6.根据权利要求1所述的一种基于大数据及搜索引擎快速搭建电商卖场的方法，其特征在于，包括以下步骤，
优质商品池建立，
使用Hive在数据仓库上对数十亿商品进行离线数据加工与分析，通过分析商品在指定周期内的订单量，订单转化率，点击率等指标，智能的设定优质商品的准入门槛，从数十亿商品中筛选出约千万级的优质商品，大数据平台执行定时调度Hive任务从数据仓库进行数据加工与分析生成优质商品池；
优质商品数据库建立，
每日定时将离线分析出的优质商品池通过Spark程序从数据仓库往Elasticsearch导入，作为活动商品的基础商品池，大数据平台执行定时调度Spark任务将优质商品池内覆盖的商品按分区读取并通过网络传输写入Elasticsearch的当天新索引；
优质商品数据库更新，
写入完成后校验Elastcisearch当天新索引上的数据数量以及有效性，校验通过后将被筛选的商品池别名切换至新索引上。
CN201910447275.2A 2019-05-27 2019-05-27 一种基于大数据及搜索引擎快速搭建电商卖场的方法 Pending CN110189200A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910447275.2A CN110189200A (zh) 2019-05-27 2019-05-27 一种基于大数据及搜索引擎快速搭建电商卖场的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910447275.2A CN110189200A (zh) 2019-05-27 2019-05-27 一种基于大数据及搜索引擎快速搭建电商卖场的方法

Publications (1)

Publication Number Publication Date
CN110189200A true CN110189200A (zh) 2019-08-30

Family

ID=67718014

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910447275.2A Pending CN110189200A (zh) 2019-05-27 2019-05-27 一种基于大数据及搜索引擎快速搭建电商卖场的方法

Country Status (1)

Country Link
CN (1) CN110189200A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600302A (zh) * 2015-10-19 2017-04-26 玺阅信息科技（上海）有限公司 基于Hadoop的商品推荐系统
CN109426983A (zh) * 2017-09-01 2019-03-05 北京京东尚科信息技术有限公司 闪购活动自动生成方法及装置、存储介质、电子设备
US10250451B1 (en) * 2014-01-13 2019-04-02 Cazena, Inc. Intelligent analytic cloud provisioning

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10250451B1 (en) * 2014-01-13 2019-04-02 Cazena, Inc. Intelligent analytic cloud provisioning
CN106600302A (zh) * 2015-10-19 2017-04-26 玺阅信息科技（上海）有限公司 基于Hadoop的商品推荐系统
CN109426983A (zh) * 2017-09-01 2019-03-05 北京京东尚科信息技术有限公司 闪购活动自动生成方法及装置、存储介质、电子设备

Similar Documents

Publication Publication Date Title
CN109450665A (zh) 一种基于公众号的ai客服系统
CN112817834B (zh) 数据表评估方法及装置
CN112287195A (zh) 新闻媒体处理方法及系统、计算机存储介质、处理器
CN112288374A (zh) 一种基于云计算的智慧供应链物流智能优化管理系统
CN114547453A (zh) 一种通用top-n智能推荐系统及方法
CN110189200A (zh) 一种基于大数据及搜索引擎快速搭建电商卖场的方法
CN108446380A (zh) 基于模块化信息存储结构提升产业质量水平的系统
CN108009842A (zh) 基于在线数据的消费者物价指数确定系统
CN107343111A (zh) 一种云呼叫中心数据管理系统
Kotnik et al. ICT as Enabler of Exports
CN116167587A (zh) 一种自动化分配客服方法及存储系统
CN116775726A (zh) 一种基于大数据的e账册数据校验方法
CN108494668A (zh) 一种执行邮件任务的方法和装置
CN115330404A (zh) 用于电力营销稽查的系统及方法
CN114511371A (zh) 一种数据显示处理智能系统
CN111865636A (zh) 一种光缆管线数据分析系统、方法、服务器和存储介质
CN105976146A (zh) 一种产品管控方法及系统
CN110580582A (zh) 一种基于新兴产业外贸综合服务管理系统及方法
CN104484465A (zh) 一种网络社区帖子快速分派回复的方法及系统
CN109726986A (zh) 一种同期线损的管理方法
CN112734530A (zh) 一种分账数据处理智能系统
CN113468246B (zh) 一种基于oltp的智能数据统计及订阅系统及方法
CN101242451A (zh) 入户拜访信息跟踪管理系统及方法
Azgarov TRANSFORMATION OF MARKETING RESEARCH TOOLS IN THE CONTEXT OF DIGITALIZATION
SCHAEFER et al. Competitiveness assessment method for managers: business associations’ survey

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190830