CN111914146A - 一种便于大数据交互且自动提取的商务软件平台 - Google Patents

一种便于大数据交互且自动提取的商务软件平台 Download PDF

Info

Publication number
CN111914146A
CN111914146A CN202010695927.7A CN202010695927A CN111914146A CN 111914146 A CN111914146 A CN 111914146A CN 202010695927 A CN202010695927 A CN 202010695927A CN 111914146 A CN111914146 A CN 111914146A
Authority
CN
China
Prior art keywords
data
module
database
software platform
big data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010695927.7A
Other languages
English (en)
Inventor
黄宇峰
孙晓伟
张家乐
张弛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Higking Group Electronic Commerce Co ltd
Original Assignee
Nanjing Higking Group Electronic Commerce Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Higking Group Electronic Commerce Co ltd filed Critical Nanjing Higking Group Electronic Commerce Co ltd
Priority to CN202010695927.7A priority Critical patent/CN111914146A/zh
Publication of CN111914146A publication Critical patent/CN111914146A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9536—Search customisation based on social or collaborative filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9566—URL specific, e.g. using aliases, detecting broken or misspelled links
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种便于大数据交互且自动提取的商务软件平台，包括需求模块、监控管理、统计分析、数据库、采集模块和处理模块；所述需求模块、采集模块和处理模块均安装在主板上；所述监控管理、统计分析和数据库均安装在服务器上；所述主板和服务器有线传输，所述服务器与网络进行数据传输，本发明结构科学合理，使用安全方便，将需求模块、采集模块和处理模块均安装在主板上，而监控管理、统计分析和数据库均安装在服务器上，从而实现了平台的分开管理，并且实现上下位机械的分离，从而保证了服务器的正常，则可实现多个主板的现象，实现了一个数据库的多类使用。

Description

一种便于大数据交互且自动提取的商务软件平台
技术领域
本发明涉及大数据技术领域，具体为一种便于大数据交互且自动提取的商务软件平台。
背景技术
“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产，大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理，换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”，从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分，大数据必然无法用单台的计算机进行处理，必须采用分布式架构，它的特色在于对海量数据进行分布式数据挖掘，但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术；
但是目前市场上的大数据交互且自动提取操作复杂，对于不同的数据无法实现正常的快速提取，从而在交换中，出现数据重叠 ，造成数据库的数据存储过多，检索复杂的现象。
发明内容
本发明提供一种便于大数据交互且自动提取的商务软件平台，可以有效解决上述背景技术中提出目前市场上的大数据交互且自动提取操作复杂，对于不同的数据无法实现正常的快速提取，从而在交换中，出现数据重叠 ，造成数据库的数据存储过多，检索复杂的现象的问题。
为实现上述目的，本发明提供如下技术方案：一种便于大数据交互且自动提取的商务软件平台，包括需求模块、监控管理、统计分析、数据库、采集模块和处理模块；
所述需求模块、采集模块和处理模块均安装在主板上；
所述监控管理、统计分析和数据库均安装在服务器上；
所述主板和服务器有线传输，所述服务器与网络进行数据传输。
根据上述技术方案，所述需求模块根据可视化的交换节点配置管理，包括:动态添加数据交换节点、配置交换节点间的表的同步映射关系、配置表的同步规则和过滤条件；
所述需求模块对于平台给予的条件和关键词进行搜索，并提出多种大数据信息进行选择比对，从而实现多个选择；
选择中，根据关键词的近似度进行比对，通过网络服务器的搜索引擎与自身的数据库进行结合检索。
根据上述技术方案，所述监控管理实时监控各节点间的交换进程的统一管理，按照进程的分类来管理，并实时监控每个进程的运行状态，发生异常时通过短信或者声光报警的方式来告知用户；
对于大数据交互和自动提取中，由于数据的交互和提取包括上传和下载，上传中对于数据进行检索，与数据库与网络服务器的数据进行比对，检索程度在20%以内，则可以进行上传，而在低于20%中，操作人员可以进行申诉，申诉的文件通过网络传输到操作人员邮箱，从而实现人工判定；
在提取中，部分文献可以进行加密、分解和限定下载，而对于不同国家的文件，进行版权确定。
根据上述技术方案，所述统计分析以数据交换节点是各个分系统，各分系统之间存在频繁的，海量的数据交换，其数据类型主要是表格数据、影像文件、地理矢量数据和多媒体数据；
数据交换时需要做数据抽取、格式转换、内容过滤、同步、异步传输业务操作，数据共享交换是通过应用层面调用服务接口的方式来实现的。
根据上述技术方案，所述数据库包括网络数据库和共享数据库；
所述网络数据库为网络信息，包含每日更新的内容，更新的内容来自认证说明，所述共享数据库为软件平台的数据库，定期更新，更新时间为7-15天；
所述共享数据库中内容更新中对于每次更新的内容、时间和操作人员代码进行记录，并做好补正。
根据上述技术方案，所述采集模块分为以下三类：
A、通过感知设备获得；
B、人录入计算机形成的，包括数据库中的数据和共享仓库中的数据；
C、自我采集，通过传感器进行数据上传。
根据上述技术方案，所述采集模块的采集方法还包括搜索引擎下载并存储网页的程序，爬虫顺序地访问初始队列中的一组网页链接，并为所有网页链接分配一个优先级，爬虫从队列中获得具有一定优先级的,URL，下载该网页，随后解析网页中包含的URLs，并将这些新URLs添加到队列中，这个过程一直重复，直到爬虫程序停止为止。
根据上述技术方案，所述处理器根据需求模块和采集模块将数据清洗、去掉噪声和无关数据，并且实现数据集成。
根据上述技术方案，所述采集模块的数据通过处理器进行综合处理，将模拟量转换为数字量进行处理。
根据上述技术方案，所述服务器连接有不间断电源。
与现有技术相比，本发明的有益效果：本发明结构科学合理，使用安全方便，将需求模块、采集模块和处理模块均安装在主板上，而监控管理、统计分析和数据库均安装在服务器上，从而实现了平台的分开管理，并且实现上下位机械的分离，从而保证了服务器的正常，则可实现多个主板的现象，实现了一个数据库的多类使用；
而通过该需求模块对于平台给予的条件和关键词进行搜索，并提出多种大数据信息进行选择比对，从而实现多个选择，且监控管理实时监控各节点间的交换进程的统一管理，保证了数据的正常交换与提取，且保证了版权，且统计分析以数据交换节点是各个分系统，适应了不同的系统，实现了终端的多样化，而采集模块对于外界的非人为数据可以实现采集，大大增加了大数据的采集范围，而将数据清洗、去掉噪声和无关数据，并且实现数据集成，实现了自动提取所需的检索，大大降低了操作的繁琐性。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
在附图中：
图1是本发明的系统结构示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例：如图1所示，本发明提供技术方案，一种便于大数据交互且自动提取的商务软件平台，包括需求模块、监控管理、统计分析、数据库、采集模块和处理模块；
需求模块、采集模块和处理模块均安装在主板上；
监控管理、统计分析和数据库均安装在服务器上；
主板和服务器有线传输，服务器与网络进行数据传输。
根据上述技术方案，需求模块根据可视化的交换节点配置管理，包括:动态添加数据交换节点、配置交换节点间的表的同步映射关系、配置表的同步规则和过滤条件；
需求模块对于平台给予的条件和关键词进行搜索，并提出多种大数据信息进行选择比对，从而实现多个选择；
选择中，根据关键词的近似度进行比对，通过网络服务器的搜索引擎与自身的数据库进行结合检索。
根据上述技术方案，监控管理实时监控各节点间的交换进程的统一管理，按照进程的分类来管理，并实时监控每个进程的运行状态，发生异常时通过短信或者声光报警的方式来告知用户；
对于大数据交互和自动提取中，由于数据的交互和提取包括上传和下载，上传中对于数据进行检索，与数据库与网络服务器的数据进行比对，检索程度在20%以内，则可以进行上传，而在低于20%中，操作人员可以进行申诉，申诉的文件通过网络传输到操作人员邮箱，从而实现人工判定；
在提取中，部分文献可以进行加密、分解和限定下载，而对于不同国家的文件，进行版权确定。
根据上述技术方案，统计分析以数据交换节点是各个分系统，各分系统之间存在频繁的，海量的数据交换，其数据类型主要是表格数据、影像文件、地理矢量数据和多媒体数据；
数据交换时需要做数据抽取、格式转换、内容过滤、同步、异步传输业务操作，数据共享交换是通过应用层面调用服务接口的方式来实现的。
根据上述技术方案，数据库包括网络数据库和共享数据库；
网络数据库为网络信息，包含每日更新的内容，更新的内容来自认证说明，共享数据库为软件平台的数据库，定期更新，更新时间为15天；
共享数据库中内容更新中对于每次更新的内容、时间和操作人员代码进行记录，并做好补正。
根据上述技术方案，采集模块分为以下三类：
A、通过感知设备获得；
B、人录入计算机形成的，包括数据库中的数据和共享仓库中的数据；
C、自我采集，通过传感器进行数据上传。
根据上述技术方案，采集模块的采集方法还包括搜索引擎下载并存储网页的程序，爬虫顺序地访问初始队列中的一组网页链接，并为所有网页链接分配一个优先级，爬虫从队列中获得具有一定优先级的,URL，下载该网页，随后解析网页中包含的URLs，并将这些新URLs添加到队列中，这个过程一直重复，直到爬虫程序停止为止。
根据上述技术方案，处理器根据需求模块和采集模块将数据清洗、去掉噪声和无关数据，并且实现数据集成。
根据上述技术方案，采集模块的数据通过处理器进行综合处理，将模拟量转换为数字量进行处理。
根据上述技术方案，服务器连接有不间断电源。
与现有技术相比，本发明的有益效果：本发明结构科学合理，使用安全方便，将需求模块、采集模块和处理模块均安装在主板上，而监控管理、统计分析和数据库均安装在服务器上，从而实现了平台的分开管理，并且实现上下位机械的分离，从而保证了服务器的正常，则可实现多个主板的现象，实现了一个数据库的多类使用；
而通过该需求模块对于平台给予的条件和关键词进行搜索，并提出多种大数据信息进行选择比对，从而实现多个选择，且监控管理实时监控各节点间的交换进程的统一管理，保证了数据的正常交换与提取，且保证了版权，且统计分析以数据交换节点是各个分系统，适应了不同的系统，实现了终端的多样化，而采集模块对于外界的非人为数据可以实现采集，大大增加了大数据的采集范围，而将数据清洗、去掉噪声和无关数据，并且实现数据集成，实现了自动提取所需的检索，大大降低了操作的繁琐性。
最后应说明的是：以上所述仅为本发明的优选实例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种便于大数据交互且自动提取的商务软件平台，其特征在于：包括需求模块、监控管理、统计分析、数据库、采集模块和处理模块；
所述需求模块、采集模块和处理模块均安装在主板上；
所述监控管理、统计分析和数据库均安装在服务器上；
所述主板和服务器有线传输，所述服务器与网络进行数据传输。
2.根据权利要求1所述的一种便于大数据交互且自动提取的商务软件平台，其特征在于，所述需求模块根据可视化的交换节点配置管理，包括:动态添加数据交换节点、配置交换节点间的表的同步映射关系、配置表的同步规则和过滤条件；
所述需求模块对于平台给予的条件和关键词进行搜索，并提出多种大数据信息进行选择比对，从而实现多个选择；
选择中，根据关键词的近似度进行比对，通过网络服务器的搜索引擎与自身的数据库进行结合检索。
3.根据权利要求1所述的一种便于大数据交互且自动提取的商务软件平台，其特征在于，所述监控管理实时监控各节点间的交换进程的统一管理，按照进程的分类来管理，并实时监控每个进程的运行状态，发生异常时通过短信或者声光报警的方式来告知用户；
对于大数据交互和自动提取中，由于数据的交互和提取包括上传和下载，上传中对于数据进行检索，与数据库与网络服务器的数据进行比对，检索程度在20%以内，则可以进行上传，而在低于20%中，操作人员可以进行申诉，申诉的文件通过网络传输到操作人员邮箱，从而实现人工判定；
在提取中，部分文献可以进行加密、分解和限定下载，而对于不同国家的文件，进行版权确定。
4.根据权利要求1所述的一种便于大数据交互且自动提取的商务软件平台，其特征在于，所述统计分析以数据交换节点是各个分系统，各分系统之间存在频繁的，海量的数据交换，其数据类型主要是表格数据、影像文件、地理矢量数据和多媒体数据；
数据交换时需要做数据抽取、格式转换、内容过滤、同步、异步传输业务操作，数据共享交换是通过应用层面调用服务接口的方式来实现的。
5.根据权利要求1所述的一种便于大数据交互且自动提取的商务软件平台，其特征在于，所述数据库包括网络数据库和共享数据库；
所述网络数据库为网络信息，包含每日更新的内容，更新的内容来自认证说明，所述共享数据库为软件平台的数据库，定期更新，更新时间为7-15天；
所述共享数据库中内容更新中对于每次更新的内容、时间和操作人员代码进行记录，并做好补正。
6.根据权利要求1所述的一种便于大数据交互且自动提取的商务软件平台，其特征在于，所述采集模块分为以下三类：
A、通过感知设备获得；
B、人录入计算机形成的，包括数据库中的数据和共享仓库中的数据；
C、自我采集，通过传感器进行数据上传。
7.根据权利要求6所述的一种便于大数据交互且自动提取的商务软件平台，其特征在于，所述采集模块的采集方法还包括搜索引擎下载并存储网页的程序，爬虫顺序地访问初始队列中的一组网页链接，并为所有网页链接分配一个优先级，爬虫从队列中获得具有一定优先级的,URL，下载该网页，随后解析网页中包含的URLs，并将这些新URLs添加到队列中，这个过程一直重复，直到爬虫程序停止为止。
8.根据权利要求7所述的一种便于大数据交互且自动提取的商务软件平台，其特征在于，所述处理器根据需求模块和采集模块将数据清洗、去掉噪声和无关数据，并且实现数据集成。
9.根据权利要求1所述的一种便于大数据交互且自动提取的商务软件平台，其特征在于，所述采集模块的数据通过处理器进行综合处理，将模拟量转换为数字量进行处理。
10.根据权利要求1所述的一种便于大数据交互且自动提取的商务软件平台，其特征在于，所述服务器连接有不间断电源。
CN202010695927.7A 2020-07-20 2020-07-20 一种便于大数据交互且自动提取的商务软件平台 Withdrawn CN111914146A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010695927.7A CN111914146A (zh) 2020-07-20 2020-07-20 一种便于大数据交互且自动提取的商务软件平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010695927.7A CN111914146A (zh) 2020-07-20 2020-07-20 一种便于大数据交互且自动提取的商务软件平台

Publications (1)

Publication Number Publication Date
CN111914146A true CN111914146A (zh) 2020-11-10

Family

ID=73281011

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010695927.7A Withdrawn CN111914146A (zh) 2020-07-20 2020-07-20 一种便于大数据交互且自动提取的商务软件平台

Country Status (1)

Country Link
CN (1) CN111914146A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112711694A (zh) * 2020-12-25 2021-04-27 安徽翼讯飞行安全技术有限公司 一种便于大数据交互且自动提取的商务软件平台

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112711694A (zh) * 2020-12-25 2021-04-27 安徽翼讯飞行安全技术有限公司 一种便于大数据交互且自动提取的商务软件平台

Similar Documents

Publication Publication Date Title
US20230041672A1 (en) Enterprise data processing
CN108874640B (zh) 一种集群性能的评估方法和装置
US8560569B2 (en) Method and apparatus for performing bulk file system attribute retrieval
CN105303456A (zh) 电力传输设备监控数据处理方法
CN101937474A (zh) 海量数据查询方法及设备
CN108052679A (zh) 一种基于hadoop的日志分析系统
US11574242B1 (en) Guided workflows for machine learning-based data analyses
KR20130049111A (ko) 분산 처리를 이용한 포렌식 인덱스 방법 및 장치
US11573971B1 (en) Search and data analysis collaboration system
CN108287889B (zh) 一种基于弹性表模型的多源异构数据存储方法和系统
US11789950B1 (en) Dynamic storage and deferred analysis of data stream events
CN101556586A (zh) 一种自动采集数据的方法、系统和装置
CN112559634A (zh) 一种基于计算机云计算大数据用数据管理系统
CN113612306A (zh) 一种分布式配电柜及其控制系统
US11934466B2 (en) Direct cloud storage intake and upload architecture
CN111914146A (zh) 一种便于大数据交互且自动提取的商务软件平台
CN108628954A (zh) 一种海量数据自助查询方法和装置
WO2022026984A1 (en) Data field extraction model training for a data intake and query system
CN106815223A (zh) 一种海量图片管理方法和装置
CN113486095A (zh) 一种民航空管跨网安全数据交换管理平台
Hurst et al. Social streams blog crawler
CN112711694A (zh) 一种便于大数据交互且自动提取的商务软件平台
EP2765517B1 (en) Data stream splitting for low-latency data access
CN114153695A (zh) 一种基于Android的松耦合、高扩展性无埋点数据采集方法
CN107147542A (zh) 一种信息生成方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20201110