CN113448950A - 一种基于数据量的本地化硬件部署方法 - Google Patents

一种基于数据量的本地化硬件部署方法 Download PDF

Info

Publication number
CN113448950A
CN113448950A CN202110845937.9A CN202110845937A CN113448950A CN 113448950 A CN113448950 A CN 113448950A CN 202110845937 A CN202110845937 A CN 202110845937A CN 113448950 A CN113448950 A CN 113448950A
Authority
CN
China
Prior art keywords
hardware
data volume
data
information
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110845937.9A
Other languages
English (en)
Other versions
CN113448950B (zh
Inventor
王欢
何乐松
韩启红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qingbo Intelligent Technology Co ltd
Original Assignee
Anhui Qingbo Big Data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Qingbo Big Data Technology Co ltd filed Critical Anhui Qingbo Big Data Technology Co ltd
Priority to CN202110845937.9A priority Critical patent/CN113448950B/zh
Publication of CN113448950A publication Critical patent/CN113448950A/zh
Application granted granted Critical
Publication of CN113448950B publication Critical patent/CN113448950B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/211—Schema design and management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种基于数据量的本地化硬件部署方法，所述方法包括以下步骤：步骤一：根据大数据平台分析计算出客户端数据平均值；步骤二：获取所有硬件服务器型号参数并记录到数据库表中，判断该硬件服务器型号参数对应机型，并在该机型打上对应组件服务的标签；步骤三：获取对应机型的服务器详细信息，包括服务器硬盘信息和电源配件信息，并记录到数据库表中；步骤四：编写API接口，该接口用于提供具体容量算法，并结合所有硬件服务器的服务器详细信息计算出对应的硬件配置。本发明可以根据客户提供的数据类型、数据量或其他更丰富的信息，高效、快速的构建一套本地化硬件部署方案，保证在一定的网络数据量下服务的正常、稳定的运行。

Description

一种基于数据量的本地化硬件部署方法
技术领域
本发明属于硬件部署领域，尤其涉及一种基于数据量的本地化硬件部署方法。
背景技术
现有网页、app、微信等客户端单条数据平均大小在海量、时间跨度长的大数据存储中没有一个明确、标准的值，市面上还没有类似的工具可以根据网络数据量比如一天10万条微信数据来自动计算出在舆情系统中各组件如Elasticsearch、Hbase等存储容量大小，往往依据大数据工程师经验来重复的计算此类需求。根据大数据工程师经验计算出具体的组件服务存储的大小后，如何能高效、快速的构建一套本地化硬件部署方案，保证在一定的网络数据量下服务的正常、稳定的运行，是一个系统性且复杂的问题。
发明内容
本发明的目的在于克服现有技术存在的以上问题，提供一种基于数据量的本地化硬件部署方法。
为实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：
一种基于数据量的本地化硬件部署方法，所述方法包括以下步骤：
步骤一：根据大数据平台分析计算出客户端数据平均值；
步骤二：获取所有硬件服务器型号参数并记录到数据库表中，判断该硬件服务器型号参数对应机型，并在该机型打上对应组件服务的标签；
步骤三：获取对应机型的服务器详细信息，包括服务器硬盘信息和电源配件信息，并记录到数据库表中；
步骤四：编写API接口，该接口用于提供具体容量算法，并结合所有硬件服务器的服务器详细信息计算出对应的硬件配置。
进一步地，所述步骤一中客户端数据平均值包括客户端不同数据类型的年数据量平均值和月数据量平均值。
进一步地，所述步骤二中标签对应服务器均为裸盘。
进一步地，所述步骤二中硬件服务器用于存储所有客户端正文信息，并计算Hbase服务和kafka集群服务的存储容量。
进一步地，所述步骤三中服务器硬盘信息包括：硬盘类型、大小、品牌、价格。
进一步地，所述步骤四具体包括：API接口通过规定所有硬件服务器默认的副本数、存储容量健康模式、集群服务日志默认保留天数、硬件服务器容量盘raid级别，获取各客户端数据平均值，根据客户端的数据类型、数据量计算出对应的存储容量需求，再结合所有硬件服务器详细信息计算出硬件配置。
进一步地，所述步骤四具体容量算法包括：采集并统计所有客户端数据量样本，并对每个客户端的数据量样本计算方差，若方差值大于预设数值，则根据方差值与预设数值之差调整配置容量上限值和下限值，并将调整后的配置容量上限值和下限值作为对应客户端的硬件配置。
本发明的有益效果是：
本发明可以根据客户提供的数据类型、数据量或其他更丰富的信息，高效、快速的构建一套本地化硬件部署方案，保证在一定的网络数据量下服务的正常、稳定的运行。
具体实施方式
下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
一种基于数据量的本地化硬件部署方法，所述方法包括以下步骤：
步骤一：根据大数据平台分析计算出客户端数据平均值，客户端数据平均值包括客户端不同数据类型的年数据量平均值和月数据量平均值；
步骤二：获取所有硬件服务器型号参数并记录到数据库表中，判断该硬件服务器型号参数对应机型，并在该机型打上对应组件服务的标签，标签对应服务器均为裸盘，硬件服务器用于存储所有客户端正文信息，并计算Hbase服务和kafka集群服务的存储容量；
步骤三：获取对应机型的服务器详细信息，包括服务器硬盘信息和电源配件信息，并记录到数据库表中，服务器硬盘信息包括：硬盘类型、大小、品牌、价格；
步骤四：编写API接口，该接口用于提供具体容量算法，并结合所有硬件服务器的服务器详细信息计算出对应的硬件配置；
具体包括：API接口通过规定所有硬件服务器默认的副本数、存储容量健康模式、集群服务日志默认保留天数、硬件服务器容量盘raid级别，获取各客户端数据平均值，根据客户端的数据类型、数据量计算出对应的存储容量需求，再结合所有硬件服务器详细信息计算出硬件配置。
具体容量算法包括：采集并统计所有客户端数据量样本，并对每个客户端的数据量样本计算方差，若方差值大于预设数值，则根据方差值与预设数值之差调整配置容量上限值和下限值，并将调整后的配置容量上限值和下限值作为对应客户端的硬件配置。
例如：
首先根据大数据平台分析计算出客户端不同数据类型的年数据量平均值和月数据量平均值；
然后获取硬件服务器如华为、戴尔等主流常规型号参数记录到数据库表中，如dellR740一颗10核cpu、64G内存、2.3GHz、600G系统盘，此参数机型可满足Elasticsearch服务需求，则对此型号服务器打上ES标签，其他机型以此类推打上对应组件服务的标签；
再获取上面对应机型的服务器硬盘各种大小容量盘、电源等配件信息记录到数据库表中，不需要标签，只需精确记录硬盘类型、大小、品牌、价格、硬件类型即可；
最后编写一个API接口，该接口提供具体容量算法，比如规定好elasticsearch服务默认的副本数、存储容量健康模式，kafka集群服务日志默认保留天数，硬件服务器容量盘raid级别，自动获取各客户端如微信、app等平均值等，能够根据客户提供的数据类型、数据量来计算相关服务的存储容量需求，再结合硬件服务器类型、配件类型计算出合理的硬件配置并返回。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims (7)

1.一种基于数据量的本地化硬件部署方法，其特征在于：所述方法包括以下步骤：
步骤一：根据大数据平台分析计算出客户端数据平均值；
步骤二：获取所有硬件服务器型号参数并记录到数据库表中，判断该硬件服务器型号参数对应机型，并在该机型打上对应组件服务的标签；
步骤三：获取对应机型的服务器详细信息，包括服务器硬盘信息和电源配件信息，并记录到数据库表中；
步骤四：编写API接口，该接口用于提供具体容量算法，并结合所有硬件服务器的服务器详细信息计算出对应的硬件配置。
2.根据权利要求1所述的一种基于数据量的本地化硬件部署方法，其特征在于：所述步骤一中客户端数据平均值包括客户端不同数据类型的年数据量平均值和月数据量平均值。
3.根据权利要求1所述的一种基于数据量的本地化硬件部署方法，其特征在于：所述步骤二中标签对应服务器均为裸盘。
4.根据权利要求1所述的一种基于数据量的本地化硬件部署方法，其特征在于：所述步骤二中硬件服务器用于存储所有客户端正文信息，并计算Hbase服务和kafka集群服务的存储容量。
5.根据权利要求1所述的一种基于数据量的本地化硬件部署方法，其特征在于：所述步骤三中服务器硬盘信息包括：硬盘类型、大小、品牌、价格。
6.根据权利要求1所述的一种基于数据量的本地化硬件部署方法，其特征在于：所述步骤四具体包括：API接口通过规定所有硬件服务器默认的副本数、存储容量健康模式、集群服务日志默认保留天数、硬件服务器容量盘raid级别，获取各客户端数据平均值，根据客户端的数据类型、数据量计算出对应的存储容量需求，再结合所有硬件服务器详细信息计算出硬件配置。
7.根据权利要求1所述的一种基于数据量的本地化硬件部署方法，其特征在于：所述步骤四具体容量算法包括：采集并统计所有客户端数据量样本，并对每个客户端的数据量样本计算方差，若方差值大于预设数值，则根据方差值与预设数值之差调整配置容量上限值和下限值，并将调整后的配置容量上限值和下限值作为对应客户端的硬件配置。
CN202110845937.9A 2021-07-26 2021-07-26 一种基于数据量的本地化硬件部署方法 Active CN113448950B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110845937.9A CN113448950B (zh) 2021-07-26 2021-07-26 一种基于数据量的本地化硬件部署方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110845937.9A CN113448950B (zh) 2021-07-26 2021-07-26 一种基于数据量的本地化硬件部署方法

Publications (2)

Publication Number Publication Date
CN113448950A true CN113448950A (zh) 2021-09-28
CN113448950B CN113448950B (zh) 2024-03-15

Family

ID=77817259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110845937.9A Active CN113448950B (zh) 2021-07-26 2021-07-26 一种基于数据量的本地化硬件部署方法

Country Status (1)

Country Link
CN (1) CN113448950B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090132683A1 (en) * 2007-11-15 2009-05-21 Furuyama Yusuke Deployment method and system
US20100287019A1 (en) * 2009-05-11 2010-11-11 Microsoft Corporation Server farm management
CN103902320A (zh) * 2012-12-28 2014-07-02 鸿富锦精密工业（深圳）有限公司 虚拟机安装系统及方法
CN106502576A (zh) * 2015-09-06 2017-03-15 中兴通讯股份有限公司 迁移策略调整方法、容量变更建议方法及装置
CN109977099A (zh) * 2019-03-16 2019-07-05 平安城市建设科技(深圳)有限公司 数据库部署方法、用户设备、存储介质及装置
CN110851427A (zh) * 2019-11-19 2020-02-28 泰康保险集团股份有限公司 数据库容量变更方法和装置
US10719235B1 (en) * 2017-03-28 2020-07-21 Amazon Technologies, Inc. Managing volume placement on disparate hardware
US20200344128A1 (en) * 2018-07-16 2020-10-29 Wangsu Science & Technology Co., Ltd. Storage capacity evaluation method based on content delivery network application and device thereof
US20210004376A1 (en) * 2019-07-01 2021-01-07 Elastic Flash Inc. Automatic computation of features from a data stream

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090132683A1 (en) * 2007-11-15 2009-05-21 Furuyama Yusuke Deployment method and system
US20100287019A1 (en) * 2009-05-11 2010-11-11 Microsoft Corporation Server farm management
CN103902320A (zh) * 2012-12-28 2014-07-02 鸿富锦精密工业（深圳）有限公司 虚拟机安装系统及方法
CN106502576A (zh) * 2015-09-06 2017-03-15 中兴通讯股份有限公司 迁移策略调整方法、容量变更建议方法及装置
US10719235B1 (en) * 2017-03-28 2020-07-21 Amazon Technologies, Inc. Managing volume placement on disparate hardware
US20200344128A1 (en) * 2018-07-16 2020-10-29 Wangsu Science & Technology Co., Ltd. Storage capacity evaluation method based on content delivery network application and device thereof
CN109977099A (zh) * 2019-03-16 2019-07-05 平安城市建设科技(深圳)有限公司 数据库部署方法、用户设备、存储介质及装置
US20210004376A1 (en) * 2019-07-01 2021-01-07 Elastic Flash Inc. Automatic computation of features from a data stream
CN110851427A (zh) * 2019-11-19 2020-02-28 泰康保险集团股份有限公司 数据库容量变更方法和装置

Also Published As

Publication number Publication date
CN113448950B (zh) 2024-03-15

Similar Documents

Publication Publication Date Title
CN109145051A (zh) 分布式数据库的数据汇总方法及装置和电子设备
CN110414259B (zh) 一种构建数据类目、实现数据共享的方法及设备
CN106815254A (zh) 一种数据处理方法和装置
CN105530272A (zh) 一种应用数据的同步方法和装置
CN110737726A (zh) 一种确定待测试接口的测试数据的方法和装置
CN109858683A (zh) 确定店铺的营业状态的方法、装置、电子设备及存储介质
CN110866698A (zh) 用于评定服务提供方的服务分值的装置
CN110008197A (zh) 一种数据处理方法、系统及电子设备和存储介质
CN112527801A (zh) 关系型数据库与大数据系统间的数据同步方法及系统
US11321318B2 (en) Dynamic access paths
CN108243046A (zh) 一种基于数据稽核的业务质量评估方法及装置
US20180075054A1 (en) Metering data in distributed storage environments
CN111182006B (zh) 一种物理集群映射为云计算资源的方法及装置
CN104391947A (zh) 海量gis数据实时处理方法及系统
CN113448950B (zh) 一种基于数据量的本地化硬件部署方法
CN109284833B (zh) 为机器学习模型获取特征数据的方法、设备和存储介质
CN109582829A (zh) 一种处理方法、装置、设备及可读存储介质
CN108805603A (zh) 营销活动质量评估方法、服务器及计算机可读存储介质
CN109783559B (zh) 房产交易数据的获取方法、装置、电子设备以及存储介质
CN114066331A (zh) 股东投资信息获取方法、装置、电子设备及存储介质
CN109165238B (zh) 一种用于生成周期指标数据的数据处理方法及装置
CN111966892A (zh) 一种数据处理方法和装置，计算机存储介质和电子设备
CN110517010A (zh) 一种数据处理方法、系统及存储介质
CN108763300B (zh) 一种数据查询方法及装置
Zou et al. Revisiting Temporal Storage I/O Behaviors of Smartphone Applications: Analysis and Synthesis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20240218

Address after: Room A601, 5th Floor, Building A, Mudan Science and Technology Building, No. 2 Huayuan Road, Haidian District, Beijing, 100191

Applicant after: Beijing Qingbo Intelligent Technology Co.,Ltd.

Country or region after: China

Address before: 230031 1701, block D, phase III (South District), Huguang road independent innovation industrial base, Shushan Economic Development Zone, Hefei City, Anhui Province

Applicant before: Anhui Qingbo Big Data Technology Co.,Ltd.

Country or region before: China

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant