CN112948463A - 轧钢数据采样方法、装置、电子设备及存储介质 - Google Patents

轧钢数据采样方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112948463A
CN112948463A CN202110228536.9A CN202110228536A CN112948463A CN 112948463 A CN112948463 A CN 112948463A CN 202110228536 A CN202110228536 A CN 202110228536A CN 112948463 A CN112948463 A CN 112948463A
Authority
CN
China
Prior art keywords
steel
data
data set
steel rolling
rolled
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110228536.9A
Other languages
English (en)
Other versions
CN112948463B (zh
Inventor
周鹏程
李青星
林以明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ainnovation Chongqing Technology Co ltd
Original Assignee
Ainnovation Chongqing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ainnovation Chongqing Technology Co ltd filed Critical Ainnovation Chongqing Technology Co ltd
Priority to CN202110228536.9A priority Critical patent/CN112948463B/zh
Publication of CN112948463A publication Critical patent/CN112948463A/zh
Application granted granted Critical
Publication of CN112948463B publication Critical patent/CN112948463B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474—Sequence data queries, e.g. querying versioned data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Manufacturing & Machinery (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Fuzzy Systems (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Control Of Metal Rolling (AREA)

Abstract

本申请提供一种轧钢数据采样方法、装置、电子设备及存储介质，轧钢数据采样方法，包括：获取待轧制钢材的钢种信息；获取轧钢生产线的基础轧钢数据集；对所述基础轧钢数据集进行数据下采样，得到初始轧钢数据集；根据所述待轧制钢材的钢种信息，对所述初始轧钢数据集进行数据上采样，得到目标轧钢数据集。本申请轧钢数据采样方法、装置、电子设备及存储介质，可有效地减少用于轧钢生产线的机器学习模型训练的不同轧制钢种的样本数量的偏差，进而可以提高训练出来的机器学习模型在应用阶段的精度，尤其是对于不经常轧制的钢种，可以有效地提高其轧制出的成品的精度及质量。

Description

轧钢数据采样方法、装置、电子设备及存储介质
技术领域
本申请涉及钢铁轧制技术领域，具体而言，涉及一种轧钢数据采样方法、装置、电子设备及存储介质。
背景技术
在钢铁轧制的过程中，为了提高生产的钢材的质量，比如钢卷的厚度、厚差、强度等质量指标，通常轧钢生产线的控制系统会包含有一些由机器学习算法实现的模型，比如轧制力模型、宽度模型、温度模型等等。
目前，这些机器学习模型的训练主要采用从轧钢生产线采集的轧钢数据，在轧钢生产线中，每条轧钢数据都会包含轧制的钢材的型号，即钢种，然而，由于轧制的钢种总是在变化，每天要轧制的钢材可能都不尽相同，并且，不同的轧制钢种的样本数量也会存在较大的偏差，如此便导致了训练出来的机器学习模型在应用阶段的精度较差，尤其是对于不经常轧制的钢种(小样本的钢种)而言，由于其在训练时样本数量很少，导致机器学习模型更偏重于经常轧制的钢种，进而导致不经常轧制的钢种的钢材，其轧制出的成品的精度更差、质量更低。
发明内容
本申请实施例的目的在于提供一种轧钢数据采样方法、装置、电子设备及存储介质，可有效地减少用于轧钢生产线的机器学习模型训练的不同轧制钢种的样本数量的偏差，进而可以提高训练出来的机器学习模型在应用阶段的精度，尤其是对于不经常轧制的钢种，可以有效地提高其轧制出的成品的精度及质量。
第一方面，本申请实施例提供了一种轧钢数据采样方法，包括：
获取待轧制钢材的钢种信息；
获取轧钢生产线的基础轧钢数据集；
对所述基础轧钢数据集进行数据下采样，得到初始轧钢数据集；
根据所述待轧制钢材的钢种信息，对所述初始轧钢数据集进行数据上采样，得到目标轧钢数据集。
在上述实现过程中，本申请实施例的轧钢数据采样方法，通过对获取的基础轧钢数据集进行数据下采样，得到初始轧钢数据集；再根据获取的待轧制钢材的钢种信息，对初始轧钢数据集进行数据上采样，得到目标轧钢数据集，可以有效地平衡用于轧钢生产线的机器学习模型训练的目标轧钢数据集中不同轧制钢种的样本，有效地减少目标轧钢数据集中不同轧制钢种的样本数量的偏差，进而可以提高训练出来的机器学习模型在应用阶段的精度，尤其是对于不经常轧制的钢种，可以有效地提高其轧制出的成品的精度及质量。
进一步地，所述对所述基础轧钢数据集进行数据下采样，得到初始轧钢数据集，包括：
根据所述基础轧钢数据集中轧钢数据的产生时间，按时间的先后顺序对所述基础轧钢数据集中轧钢数据进行排序；
按钢种将排序后的基础轧钢数据集分为至少一个第一子数据集；
根据每个所述第一子数据集中轧钢数据的数量及预定的第一样本量，确定待采样的第一子数据集；
对所有所述待采样的第一子数据集进行数据下采样，得到初始轧钢数据集。
在上述实现过程中，该方法通过每个第一子数据集中轧钢数据的数量及预定的第一样本量，确定待采样的第一子数据集；再对所有待采样的第一子数据集进行数据下采样，得到初始轧钢数据集，可以较好地平衡初始轧钢数据集中不同轧制钢种的样本，进而可以较好地平衡用于轧钢生产线的机器学习模型训练的目标轧钢数据集中不同轧制钢种的样本，较好地减少目标轧钢数据集中不同轧制钢种的样本数量的偏差。
进一步地，所述对所有所述待采样的第一子数据集进行数据下采样，得到初始轧钢数据集，包括：
对于每个所述待采样的第一子数据集，按时间的先后顺序，依次删除所述待采样的第一子数据集中轧钢数据的产生时间最早的轧钢数据，直至所述待采样的第一子数据集中轧钢数据的数量等于预定的第一样本量；
按时间的先后顺序，将所有所述第一子数据集及所有采样后的第一子数据集中的轧钢数据进行排序，得到初始轧钢数据集。
在上述实现过程中，该方法对于每个待采样的第一子数据集，按时间的先后顺序，依次删除待采样的第一子数据集中轧钢数据的产生时间最早的轧钢数据，直至待采样的第一子数据集中轧钢数据的数量等于预定的第一样本量，会删除产生时间较早的轧钢数据，由于产生时间较早的轧钢数据的价值较小，因而通过此种方式可以使得机器学习模型在训练阶段及应用阶段能取得更好的效果。
进一步地，所述对所有所述待采样的第一子数据集进行数据下采样，得到初始轧钢数据集，还包括：
获取新增轧钢数据；
根据预定的样本总量、预定的第二样本量及时间的先后顺序，将所述新增轧钢数据增加至所述初始轧钢数据集中。
在上述实现过程中，该方法通过预定的样本总量、预定的第二样本量及时间的先后顺序，将获取的新增轧钢数据增加至初始轧钢数据集中，可以使得机器学习模型在训练阶段及应用阶段能取得更好的效果。
进一步地，所述根据所述待轧制钢材的钢种信息，对所述初始轧钢数据集进行数据上采样，得到目标轧钢数据集，包括：
按时间的先后顺序，将所述初始轧钢数据集中的轧钢数据均等划分为N个区间；
按钢种将所述初始轧钢数据集分为至少一个第二子数据集；
根据所述第二子数据集的钢种是否属于所述待轧制钢材的钢种或所述第二子数据集中轧钢数据的数量是否小于预定的第三样本量，确定待采样的第二子数据集；
对所有所述待采样的第二子数据集进行数据上采样，得到目标轧钢数据集。
在上述实现过程中，该方法通过第二子数据集的钢种是否属于待轧制钢材的钢种或第二子数据集中轧钢数据的数量是否小于预定的第三样本量，确定待采样的第二子数据集；再对所有待采样的第二子数据集进行数据上采样，得到目标轧钢数据集，可以较好地平衡用于轧钢生产线的机器学习模型训练的目标轧钢数据集中不同轧制钢种的样本，进而可以较好地减少目标轧钢数据集中不同轧制钢种的样本数量的偏差。
进一步地，所述对所有所述待采样的第二子数据集进行数据上采样，得到目标轧钢数据集，包括：
对于每个所述待采样的第二子数据集，根据所述待采样的第二子数据集中轧钢数据的数量及预定的采样倍数，确定采样后的第二子数据集中轧钢数据的数量；
创建对应的样本选择池；
根据所述待采样的第二子数据集中每个轧钢数据的所属区间，对应地将所述待采样的第二子数据集中每个轧钢数据复制N次，并放入所述样本选择池；
依次从所述样本选择池中有放回地随机抽取轧钢数据，并增加至所述待采样的第二子数据集，直至所述待采样的第二子数据集中轧钢数据的数量等于所述采样后的第二子数据集中轧钢数据的数量；
按时间的先后顺序，将所有所述第二子数据集及所有采样后的第二子数据集中的轧钢数据进行排序，得到目标轧钢数据集。
在上述实现过程中，该方法根据待采样的第二子数据集中每个轧钢数据的所属区间，对应地将待采样的第二子数据集中每个轧钢数据复制N次，并放入样本选择池；再依次从样本选择池中有放回地随机抽取轧钢数据，并增加至待采样的第二子数据集，直至待采样的第二子数据集中轧钢数据的数量等于采样后的第二子数据集中轧钢数据的数量，可以使得产生时间较晚的轧钢数据(即距离当前时间较近的轧钢数据)被采样的几率更高，由于产生时间较晚的轧钢数据的价值较大，因而通过此种方式可以使得机器学习模型在训练阶段及应用阶段能取得更好的效果。
第二方面，本申请实施例提供了一种轧钢数据采样装置，包括：
第一获取模块，用于获取待轧制钢材的钢种信息；
第二获取模块，用于获取轧钢生产线的基础轧钢数据集；
数据下采样模块，用于对所述基础轧钢数据集进行数据下采样，得到初始轧钢数据集；
数据上采样模块，用于根据所述待轧制钢材的钢种信息，对所述初始轧钢数据集进行数据上采样，得到目标轧钢数据集。
在上述实现过程中，本申请实施例的轧钢数据采样装置，通过对获取的基础轧钢数据集进行数据下采样，得到初始轧钢数据集；再根据获取的待轧制钢材的钢种信息，对初始轧钢数据集进行数据上采样，得到目标轧钢数据集，可以有效地平衡用于轧钢生产线的机器学习模型训练的目标轧钢数据集中不同轧制钢种的样本，有效地减少目标轧钢数据集中不同轧制钢种的样本数量的偏差，进而可以提高训练出来的机器学习模型在应用阶段的精度，尤其是对于不经常轧制的钢种，可以有效地提高其轧制出的成品的精度及质量。
进一步地，所述数据下采样模块，具体用于：
根据所述基础轧钢数据集中轧钢数据的产生时间，按时间的先后顺序对所述基础轧钢数据集中轧钢数据进行排序；
按钢种将排序后的基础轧钢数据集分为至少一个第一子数据集；
根据每个所述第一子数据集中轧钢数据的数量及预定的第一样本量，确定待采样的第一子数据集；
对所有所述待采样的第一子数据集进行数据下采样，得到初始轧钢数据集。
在上述实现过程中，该装置通过每个第一子数据集中轧钢数据的数量及预定的第一样本量，确定待采样的第一子数据集；再对所有待采样的第一子数据集进行数据下采样，得到初始轧钢数据集，可以较好地平衡初始轧钢数据集中不同轧制钢种的样本，进而可以较好地平衡用于轧钢生产线的机器学习模型训练的目标轧钢数据集中不同轧制钢种的样本，较好地减少目标轧钢数据集中不同轧制钢种的样本数量的偏差。
第三方面，本申请实施例提供了一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行上述的轧钢数据采样方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现上述的轧钢数据采样方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例一提供的轧钢数据采样方法的流程示意图；
图2为本申请实施例一提供的步骤S130的流程示意图；
图3为本申请实施例一提供的步骤S140的流程示意图；
图4为本申请实施例二提供的轧钢数据采样装置的结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
由于轧制的钢种总是在变化，每天要轧制的钢材可能都不尽相同，并且，不同的轧制钢种的样本数量也会存在较大的偏差，如此便导致了训练出来的轧钢生产线的机器学习模型在应用阶段的精度较差，尤其是对于不经常轧制的钢种(小样本的钢种)而言，由于其在训练时样本数量很少，导致机器学习模型更偏重于经常轧制的钢种，进而导致不经常轧制的钢种的钢材，其轧制出的成品的精度更差、质量更低。
针对上述现有技术中的问题，本申请提供了一种轧钢数据采样方法、装置、电子设备及存储介质，可有效地减少用于轧钢生产线的机器学习模型训练的不同轧制钢种的样本数量的偏差，进而可以提高训练出来的机器学习模型在应用阶段的精度，尤其是对于不经常轧制的钢种，可以有效地提高其轧制出的成品的精度及质量。
实施例一
参见图1，图1为本申请实施例提供的轧钢数据采样方法的流程示意图。本申请实施例中下述的轧钢数据采样方法可应用于服务器。
本申请实施例的轧钢数据采样方法，包括如下步骤：
步骤S110，获取待轧制钢材的钢种信息。
在本实施例中，待轧制钢材可以是近期待轧制钢材。
可以理解地，待轧制钢材的钢种信息即待轧制钢材的型号。
步骤S120，获取轧钢生产线的基础轧钢数据集。
在本实施例中，轧钢生产线的基础轧钢数据集中的轧钢数据可以是从轧钢生产线采集的轧钢数据，且未经过数据采样处理和/或数据加工处理的轧钢数据。
轧钢生产线的基础轧钢数据集中的轧钢数据可以是从轧钢生产线采集的所有的轧钢数据，或从轧钢生产线采集的最近某段时间的轧钢数据。
步骤S130，对基础轧钢数据集进行数据下采样，得到初始轧钢数据集。
在本实施例中，对基础轧钢数据集进行数据下采样，得到的初始轧钢数据集平衡了其不同轧制钢种的样本。
步骤S140，根据待轧制钢材的钢种信息，对初始轧钢数据集进行数据上采样，得到目标轧钢数据集。
在本实施例中，根据待轧制钢材的钢种信息，对初始轧钢数据集进行数据上采样，得到的目标轧钢数据集平衡了其不同轧制钢种的样本。
本申请实施例的轧钢数据采样方法，通过对获取的基础轧钢数据集进行数据下采样，得到初始轧钢数据集；再根据获取的待轧制钢材的钢种信息，对初始轧钢数据集进行数据上采样，得到目标轧钢数据集，可以有效地平衡用于轧钢生产线的机器学习模型训练的目标轧钢数据集中不同轧制钢种的样本，有效地减少目标轧钢数据集中不同轧制钢种的样本数量的偏差，进而可以提高训练出来的机器学习模型在应用阶段的精度，尤其是对于不经常轧制的钢种，可以有效地提高其轧制出的成品的精度及质量。
为了可以较好地平衡初始轧钢数据集中不同轧制钢种的样本，本申请实施例提供一种可能的实施方式，参见图2，图2为本申请实施例提供的步骤S130的流程示意图，本申请实施例的轧钢数据采样方法，步骤S130，对基础轧钢数据集进行数据下采样，得到初始轧钢数据集，可包括如下步骤：
步骤S131，根据基础轧钢数据集中轧钢数据的产生时间，按时间的先后顺序对基础轧钢数据集中轧钢数据进行排序；
步骤S132，按钢种将排序后的基础轧钢数据集分为至少一个第一子数据集；
步骤S133，根据每个第一子数据集中轧钢数据的数量及预定的第一样本量，确定待采样的第一子数据集；
步骤S134，对所有待采样的第一子数据集进行数据下采样，得到初始轧钢数据集。
具体地，轧钢数据的产生时间，即产生或生成轧钢数据的时间。
按时间的先后顺序对基础轧钢数据集中轧钢数据进行排序，即基础轧钢数据集中轧钢数据的产生时间早的轧钢数据排前，轧钢数据的产生时间晚的轧钢数据排后。
第一子数据集的数量与钢种的数量一致。
在根据每个第一子数据集中轧钢数据的数量及预定的第一样本量，确定待采样的第一子数据集时，将第一子数据集中轧钢数据的数量大于预定的第一样本量的第一子数据集，确定待采样的第一子数据集；举例来说，预定的第一样本量可以是1000。
在上述过程中，该方法可以较好地平衡初始轧钢数据集中不同轧制钢种的样本，进而可以较好地平衡用于轧钢生产线的机器学习模型训练的目标轧钢数据集中不同轧制钢种的样本，较好地减少目标轧钢数据集中不同轧制钢种的样本数量的偏差。
可选地，在对所有待采样的第一子数据集进行数据下采样，得到初始轧钢数据集时，可：
对于每个待采样的第一子数据集，按时间的先后顺序，依次删除待采样的第一子数据集中轧钢数据的产生时间最早的轧钢数据，直至待采样的第一子数据集中轧钢数据的数量等于预定的第一样本量；
按时间的先后顺序，将所有第一子数据集及所有采样后的第一子数据集中的轧钢数据进行排序，得到初始轧钢数据集。
在上述过程中，该方法会删除产生时间较早的轧钢数据，由于产生时间较早的轧钢数据的价值较小，因而通过此种方式可以使得机器学习模型在训练阶段及应用阶段能取得更好的效果。
可选地，在对所有待采样的第一子数据集进行数据下采样，得到初始轧钢数据集时，还可：
获取新增轧钢数据；
根据预定的样本总量、预定的第二样本量及时间的先后顺序，将新增轧钢数据增加至初始轧钢数据集中。
具体地，新增轧钢数据可以是轧钢生产线新产生或新生成的轧钢数据。
在根据预定的样本总量、新增轧钢数据的钢种、预定的第二样本量及时间的先后顺序，将新增轧钢数据增加至初始轧钢数据集中时，可先判断初始轧钢数据集中轧钢数据的数量是否大于或等于预定的样本总量，例如，50000，若否，则直接将新增轧钢数据增加至初始轧钢数据集中；若是，则从初始轧钢数据集中轧钢数据的产生时间最早的轧钢数据开始判断，若轧钢数据的产生时间最早的轧钢数据所属的钢种的样本量大于预定的第二样本量，例如，30，则将该轧钢数据删除，若轧钢数据的产生时间最早的轧钢数据所属的钢种的样本量不大于预定的第二样本量，则保留该轧钢数据。
在上述过程中，该方法通过预定的样本总量、预定的第二样本量及时间的先后顺序，将获取的新增轧钢数据增加至初始轧钢数据集中，可以使得机器学习模型在训练阶段及应用阶段能取得更好的效果。
为了可以较好地平衡用于轧钢生产线的机器学习模型训练的目标轧钢数据集中不同轧制钢种的样本，本申请实施例提供一种可能的实施方式，参见图3，图3为本申请实施例提供的步骤S140的流程示意图，本申请实施例的轧钢数据采样方法，步骤S140，根据待轧制钢材的钢种信息，对初始轧钢数据集进行数据上采样，得到目标轧钢数据集，可包括如下步骤：
步骤S141，按时间的先后顺序，将初始轧钢数据集中的轧钢数据均等划分为N个区间；
步骤S142，按钢种将初始轧钢数据集分为至少一个第二子数据集；
步骤S143，根据第二子数据集的钢种是否属于待轧制钢材的钢种或第二子数据集中轧钢数据的数量是否小于预定的第三样本量，确定待采样的第二子数据集；
步骤S144，对所有待采样的第二子数据集进行数据上采样，得到目标轧钢数据集。
具体地，按时间的先后顺序，将初始轧钢数据集中的轧钢数据均等划分的N个区间分别为第1区间、第2区间、第3区间、…、第N区间。
第二子数据集的数量与钢种的数量一致。
将第二子数据集的钢种属于待轧制钢材的钢种的第二子数据集，确定待采样的第二子数据集；或，将第二子数据集中轧钢数据的数量小于预定的第三样本量，确定待采样的第二子数据集；预定的第三样本量可以是500。
在上述过程中，该方法可以较好地平衡用于轧钢生产线的机器学习模型训练的目标轧钢数据集中不同轧制钢种的样本，进而可以较好地减少目标轧钢数据集中不同轧制钢种的样本数量的偏差。
可选地，在对所有待采样的第二子数据集进行数据上采样，得到目标轧钢数据集时，可：
对于每个待采样的第二子数据集，根据待采样的第二子数据集中轧钢数据的数量及预定的采样倍数，确定采样后的第二子数据集中轧钢数据的数量；
创建对应的样本选择池；
根据待采样的第二子数据集中每个轧钢数据的所属区间，对应地将待采样的第二子数据集中每个轧钢数据复制N次，并放入样本选择池；
依次从样本选择池中有放回地随机抽取轧钢数据，并增加至待采样的第二子数据集，直至待采样的第二子数据集中轧钢数据的数量等于采样后的第二子数据集中轧钢数据的数量；
按时间的先后顺序，将所有第二子数据集及所有采样后的第二子数据集中的轧钢数据进行排序，得到目标轧钢数据集。
具体地，每个待采样的第二子数据集对应的预定的采样倍数可以各不相同或部分相同。
采样后的第二子数据集中轧钢数据的数量，可以通过待采样的第二子数据集中轧钢数据的数量乘以预定的采样倍数得到。
若轧钢数据的所属区间为第2区间，则该轧钢数据复制2次；若轧钢数据的所属区间为第5区间，则该轧钢数据复制5次。
在上述过程中，该方法可以使得产生时间较晚的轧钢数据(即距离当前时间较近的轧钢数据)被采样的几率更高，由于产生时间较晚的轧钢数据的价值较大，因而通过此种方式可以使得机器学习模型在训练阶段及应用阶段能取得更好的效果。
实施例二
为了执行上述实施例一对应的方法，以实现相应的功能和技术效果，下面提供一种轧钢数据采样装置。
参见图4，图4为本申请实施例提供的轧钢数据采样装置的结构框图。
本申请实施例的轧钢数据采样装置，包括：
第一获取模块210，用于获取待轧制钢材的钢种信息；
第二获取模块220，用于获取轧钢生产线的基础轧钢数据集；
数据下采样模块230，用于对基础轧钢数据集进行数据下采样，得到初始轧钢数据集；
数据上采样模块240，用于根据待轧制钢材的钢种信息，对初始轧钢数据集进行数据上采样，得到目标轧钢数据集。
本申请实施例的轧钢数据采样装置，通过对获取的基础轧钢数据集进行数据下采样，得到初始轧钢数据集；再根据获取的待轧制钢材的钢种信息，对初始轧钢数据集进行数据上采样，得到目标轧钢数据集，可以有效地平衡用于轧钢生产线的机器学习模型训练的目标轧钢数据集中不同轧制钢种的样本，有效地减少目标轧钢数据集中不同轧制钢种的样本数量的偏差，进而可以提高训练出来的机器学习模型在应用阶段的精度，尤其是对于不经常轧制的钢种，可以有效地提高其轧制出的成品的精度及质量。
作为一种可选的实施方式，数据下采样模块230，可具体用于：
根据基础轧钢数据集中轧钢数据的产生时间，按时间的先后顺序对基础轧钢数据集中轧钢数据进行排序；
按钢种将排序后的基础轧钢数据集分为至少一个第一子数据集；
根据每个第一子数据集中轧钢数据的数量及预定的第一样本量，确定待采样的第一子数据集；
对所有待采样的第一子数据集进行数据下采样，得到初始轧钢数据集。
可选地，数据下采样模块230在对所有待采样的第一子数据集进行数据下采样，得到初始轧钢数据集时，可：
对于每个待采样的第一子数据集，按时间的先后顺序，依次删除待采样的第一子数据集中轧钢数据的产生时间最早的轧钢数据，直至待采样的第一子数据集中轧钢数据的数量等于预定的第一样本量；
按时间的先后顺序，将所有第一子数据集及所有采样后的第一子数据集中的轧钢数据进行排序，得到初始轧钢数据集。
可选地，数据下采样模块230，还可用于：
获取新增轧钢数据；
根据预定的样本总量、新增轧钢数据的钢种、预定的第二样本量及时间的先后顺序，将新增轧钢数据增加至初始轧钢数据集中。
作为一种可选的实施方式，数据上采样模块240，可具体用于：
按时间的先后顺序，将初始轧钢数据集中的轧钢数据均等划分为N个区间；
按钢种将初始轧钢数据集分为至少一个第二子数据集；
根据第二子数据集的钢种是否属于待轧制钢材的钢种或第二子数据集中轧钢数据的数量是否小于预定的第三样本量，确定待采样的第二子数据集；
对所有待采样的第二子数据集进行数据上采样，得到目标轧钢数据集。
可选地，数据上采样模块240在对所有待采样的第二子数据集进行数据上采样，得到目标轧钢数据集时，可：
对于每个待采样的第二子数据集，根据待采样的第二子数据集中轧钢数据的数量及预定的采样倍数，确定采样后的第二子数据集中轧钢数据的数量；
创建对应的样本选择池；
根据待采样的第二子数据集中每个轧钢数据的所属区间，对应地将待采样的第二子数据集中每个轧钢数据复制N次，并放入样本选择池；
依次从样本选择池中有放回地随机抽取轧钢数据，并增加至待采样的第二子数据集，直至待采样的第二子数据集中轧钢数据的数量等于采样后的第二子数据集中轧钢数据的数量；
按时间的先后顺序，将所有第二子数据集及所有采样后的第二子数据集中的轧钢数据进行排序，得到目标轧钢数据集。
上述的轧钢数据采样装置可实施上述实施例一的轧钢数据采样方法。上述实施例一中的可选项也适用于本实施例，这里不再详述。
本申请实施例的其余内容可参照上述实施例一的内容，在本实施例中，不再进行赘述。
实施例三
本申请实施例提供一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行上述的轧钢数据采样方法。
可选地，上述电子设备可以是服务器。
另外，本申请实施例还提供一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现上述的轧钢数据采样方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种轧钢数据采样方法，其特征在于，包括：
获取待轧制钢材的钢种信息；
获取轧钢生产线的基础轧钢数据集；
对所述基础轧钢数据集进行数据下采样，得到初始轧钢数据集；
根据所述待轧制钢材的钢种信息，对所述初始轧钢数据集进行数据上采样，得到目标轧钢数据集。
2.根据权利要求1所述的轧钢数据采样方法，其特征在于，所述对所述基础轧钢数据集进行数据下采样，得到初始轧钢数据集，包括：
根据所述基础轧钢数据集中轧钢数据的产生时间，按时间的先后顺序对所述基础轧钢数据集中轧钢数据进行排序；
按钢种将排序后的基础轧钢数据集分为至少一个第一子数据集；
根据每个所述第一子数据集中轧钢数据的数量及预定的第一样本量，确定待采样的第一子数据集；
对所有所述待采样的第一子数据集进行数据下采样，得到初始轧钢数据集。
3.根据权利要求2所述的轧钢数据采样方法，其特征在于，所述对所有所述待采样的第一子数据集进行数据下采样，得到初始轧钢数据集，包括：
对于每个所述待采样的第一子数据集，按时间的先后顺序，依次删除所述待采样的第一子数据集中轧钢数据的产生时间最早的轧钢数据，直至所述待采样的第一子数据集中轧钢数据的数量等于预定的第一样本量；
按时间的先后顺序，将所有所述第一子数据集及所有采样后的第一子数据集中的轧钢数据进行排序，得到初始轧钢数据集。
4.根据权利要求3所述的轧钢数据采样方法，其特征在于，所述对所有所述待采样的第一子数据集进行数据下采样，得到初始轧钢数据集，还包括：
获取新增轧钢数据；
根据预定的样本总量、预定的第二样本量及时间的先后顺序，将所述新增轧钢数据增加至所述初始轧钢数据集中。
5.根据权利要求1所述的轧钢数据采样方法，其特征在于，所述根据所述待轧制钢材的钢种信息，对所述初始轧钢数据集进行数据上采样，得到目标轧钢数据集，包括：
按时间的先后顺序，将所述初始轧钢数据集中的轧钢数据均等划分为N个区间；
按钢种将所述初始轧钢数据集分为至少一个第二子数据集；
根据所述第二子数据集的钢种是否属于所述待轧制钢材的钢种或所述第二子数据集中轧钢数据的数量是否小于预定的第三样本量，确定待采样的第二子数据集；
对所有所述待采样的第二子数据集进行数据上采样，得到目标轧钢数据集。
6.根据权利要求5所述的轧钢数据采样方法，其特征在于，所述对所有所述待采样的第二子数据集进行数据上采样，得到目标轧钢数据集，包括：
对于每个所述待采样的第二子数据集，根据所述待采样的第二子数据集中轧钢数据的数量及预定的采样倍数，确定采样后的第二子数据集中轧钢数据的数量；
创建对应的样本选择池；
根据所述待采样的第二子数据集中每个轧钢数据的所属区间，对应地将所述待采样的第二子数据集中每个轧钢数据复制N次，并放入所述样本选择池；
依次从所述样本选择池中有放回地随机抽取轧钢数据，并增加至所述待采样的第二子数据集，直至所述待采样的第二子数据集中轧钢数据的数量等于所述采样后的第二子数据集中轧钢数据的数量；
按时间的先后顺序，将所有所述第二子数据集及所有采样后的第二子数据集中的轧钢数据进行排序，得到目标轧钢数据集。
7.一种轧钢数据采样装置，其特征在于，包括：
第一获取模块，用于获取待轧制钢材的钢种信息；
第二获取模块，用于获取轧钢生产线的基础轧钢数据集；
数据下采样模块，用于对所述基础轧钢数据集进行数据下采样，得到初始轧钢数据集；
数据上采样模块，用于根据所述待轧制钢材的钢种信息，对所述初始轧钢数据集进行数据上采样，得到目标轧钢数据集。
8.根据权利要求7所述的轧钢数据采样装置，其特征在于，所述数据下采样模块，具体用于：
根据所述基础轧钢数据集中轧钢数据的产生时间，按时间的先后顺序对所述基础轧钢数据集中轧钢数据进行排序；
按钢种将排序后的基础轧钢数据集分为至少一个第一子数据集；
根据每个所述第一子数据集中轧钢数据的数量及预定的第一样本量，确定待采样的第一子数据集；
对所有所述待采样的第一子数据集进行数据下采样，得到初始轧钢数据集。
9.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据权利要求1至6中任一项所述的轧钢数据采样方法。
10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的轧钢数据采样方法。
CN202110228536.9A 2021-03-01 2021-03-01 轧钢数据采样方法、装置、电子设备及存储介质 Active CN112948463B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110228536.9A CN112948463B (zh) 2021-03-01 2021-03-01 轧钢数据采样方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110228536.9A CN112948463B (zh) 2021-03-01 2021-03-01 轧钢数据采样方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112948463A true CN112948463A (zh) 2021-06-11
CN112948463B CN112948463B (zh) 2022-10-14

Family

ID=76247060

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110228536.9A Active CN112948463B (zh) 2021-03-01 2021-03-01 轧钢数据采样方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112948463B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114367547A (zh) * 2021-12-28 2022-04-19 北京首钢自动化信息技术有限公司 一种轧制数据的统计方法和装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130103914A1 (en) * 2011-10-25 2013-04-25 Fujitsu Limited Apparatus, method, and storage medium for sampling data
US20150186424A1 (en) * 2013-12-30 2015-07-02 Korea Institute Of Radiological & Medical Sciences Apparatus and method of resampling event data for quantitative improvement of pet image
CN108491474A (zh) * 2018-03-08 2018-09-04 平安科技（深圳）有限公司 一种数据分类方法、装置、设备及计算机可读存储介质
CN110390348A (zh) * 2019-06-11 2019-10-29 仲恺农业工程学院 一种不平衡数据集分类方法、系统、装置和存储介质
CN111198906A (zh) * 2019-12-20 2020-05-26 天阳宏业科技股份有限公司 一种数据处理方法、装置、系统及存储介质
CN111340428A (zh) * 2020-03-04 2020-06-26 江苏满运软件科技有限公司 货物类型的特征表示方法、系统、电子设备和存储介质
CN111340614A (zh) * 2020-02-28 2020-06-26 深圳前海微众银行股份有限公司 基于联邦学习的样本采样方法、设备及可读存储介质
CN111951253A (zh) * 2020-05-19 2020-11-17 惠州高视科技有限公司 用于锂电池表面缺陷检测的方法、设备及可读存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130103914A1 (en) * 2011-10-25 2013-04-25 Fujitsu Limited Apparatus, method, and storage medium for sampling data
US20150186424A1 (en) * 2013-12-30 2015-07-02 Korea Institute Of Radiological & Medical Sciences Apparatus and method of resampling event data for quantitative improvement of pet image
CN108491474A (zh) * 2018-03-08 2018-09-04 平安科技（深圳）有限公司 一种数据分类方法、装置、设备及计算机可读存储介质
CN110390348A (zh) * 2019-06-11 2019-10-29 仲恺农业工程学院 一种不平衡数据集分类方法、系统、装置和存储介质
CN111198906A (zh) * 2019-12-20 2020-05-26 天阳宏业科技股份有限公司 一种数据处理方法、装置、系统及存储介质
CN111340614A (zh) * 2020-02-28 2020-06-26 深圳前海微众银行股份有限公司 基于联邦学习的样本采样方法、设备及可读存储介质
CN111340428A (zh) * 2020-03-04 2020-06-26 江苏满运软件科技有限公司 货物类型的特征表示方法、系统、电子设备和存储介质
CN111951253A (zh) * 2020-05-19 2020-11-17 惠州高视科技有限公司 用于锂电池表面缺陷检测的方法、设备及可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A. S. MORE 等: "Review of random forest classification techniques to resolve data imbalance", 《2017 1ST INTERNATIONAL CONFERENCE ON INTELLIGENT SYSTEMS AND INFORMATION MANAGEMENT (ICISIM)》 *
何沂娟: "基于集成学习的非平衡恶意文本检测", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114367547A (zh) * 2021-12-28 2022-04-19 北京首钢自动化信息技术有限公司 一种轧制数据的统计方法和装置
CN114367547B (zh) * 2021-12-28 2024-02-06 北京首钢自动化信息技术有限公司 一种轧制数据的统计方法和装置

Also Published As

Publication number Publication date
CN112948463B (zh) 2022-10-14

Similar Documents

Publication Publication Date Title
WO2017140222A1 (zh) 机器学习模型的建模方法及装置
CN110674881B (zh) 商标图像检索模型训练方法、系统、存储介质及计算机设备
CN110009364B (zh) 一种行业识别模型确定方法和装置
CN112800097A (zh) 基于深度兴趣网络的专题推荐方法及装置
KR20190075962A (ko) 데이터 처리 방법과 데이터 처리 장치
JP2007531948A (ja) コンテンツ、特に２つのコンピュータファイルに共通する抽出部分の検索方法
CN109635010B (zh) 一种用户特征及特征因子抽取、查询方法和系统
CN105868254A (zh) 信息推荐方法及装置
CN106126719A (zh) 信息处理方法及装置
CN111612628A (zh) 一种非平衡数据集的分类方法及系统
CN112948463B (zh) 轧钢数据采样方法、装置、电子设备及存储介质
CN116860997A (zh) 知识图谱的构建方法、装置、设备及存储介质
CN111160959A (zh) 一种用户点击转化预估方法及装置
Adeola et al. Tourism and economic wellbeing in Africa
CN109460474B (zh) 用户偏好趋势挖掘方法
Krznar Identifying recession and expansion periods in Croatia
CN111767959B (zh) 毛绒纤维分类方法及装置
JP6588877B2 (ja) 要因分析支援装置および要因分析支援方法
CN111488284B (zh) 一种用于OpenStack云平台的模拟操作主动检测方法
CN112232945B (zh) 一种确定个人客户授信的方法及装置
CN110163498B (zh) 课件原创度评分方法、装置、存储介质及处理器
CN107066602A (zh) 一种新闻信息推送方法及系统
CN109241993B (zh) 融合用户和整体评价信息的评价对象情感分类方法及装置
CN110673997A (zh) 磁盘故障的预测方法及装置
CN114020643B (zh) 一种知识库测试方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant