CN114356235A - 一种数据标准化处理方法、装置、电子设备及存储介质 - Google Patents

一种数据标准化处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114356235A
CN114356235A CN202111669075.5A CN202111669075A CN114356235A CN 114356235 A CN114356235 A CN 114356235A CN 202111669075 A CN202111669075 A CN 202111669075A CN 114356235 A CN114356235 A CN 114356235A
Authority
CN
China
Prior art keywords
data
data set
storage unit
standard deviation
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111669075.5A
Other languages
English (en)
Inventor
祝叶华
孙炜
王波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202111669075.5A priority Critical patent/CN114356235A/zh
Publication of CN114356235A publication Critical patent/CN114356235A/zh
Priority to PCT/CN2022/133428 priority patent/WO2023124654A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/57—Arithmetic logic units [ALU], i.e. arrangements or devices for performing two or more of the operations covered by groups G06F7/483 – G06F7/556 or for performing logical operations
    • G06F7/575—Basic arithmetic logic units, i.e. devices selectable to perform either addition, subtraction or one of several logical operations, using, at least partially, the same circuitry

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Software Systems (AREA)
  • Power Sources (AREA)
  • Complex Calculations (AREA)

Abstract

本申请实施例公开了一种数据标准化处理方法、装置、电子设备及存储介质，该方法包括：获取数据集中的数据；将所述数据集中的数据存储到第一存储单元，并利用当前获取到的数据计算中间结果；确定所述数据集中的全部数据存储到所述第一存储单元后，利用所述中间结果计算所述数据集的均值和标准差；利用所述均值和所述标准差对所述数据集进行标准化处理，得到标准化的数据集。如此，在获取到数据集中的数据后，存储数据的同时在线更新参与均值和标准差计算的中间结果，在数据传输完成时，可根据中间结果计算数据集的均值和标准差，从而可以省去至少一次从第一存储单元读取数据的过程，缩短了计算时延，降低计算功耗。

Description

一种数据标准化处理方法、装置、电子设备及存储介质
技术领域
本申请涉及神经网络技术，尤其涉及一种数据标准化处理方法、装置、电子设备及存储介质。
背景技术
神经网络算法中采用公式
Figure BDA0003452422130000011
进行数据集标准化计算。其中u表示数据集的均值，xi表示数据集中的数据，σ表示数据集的标准差。由于需要在计算过程中计算数据集中所有数据的均值与标准差，过程较为繁琐，这个过程中需要多次访问存储器，计算得到均值和标准差。如图1所示，神经网络的前一计算层得到数据集存储到存储器中，此时，如果当前层为标准化的计算层，需要对前一层的数据集进行标准化操作。首先，第一次从存储器中读取数据集中的所有数据计算均值u，然后把均值写到均值缓存器中；其次，第二次从存储器中读取数据集中的所有数据，并利用均值计算方差σ2，并把方差写到方差缓存器中；最后，第三次从存储器中读取的所有数据，并利用均值和方差计算标准化结果。整个过程需要把数据集中的所有数据从存储器读取三次，导致整个计算过程延时长，功耗高。
发明内容
为解决上述技术问题，本申请实施例期望提供一种数据标准化处理方法、装置、电子设备及存储介质。
本申请的技术方案是这样实现的：
第一方面，提供了一种数据标准化处理方法，包括：
获取数据集中的数据；
将所述数据集中的数据存储到第一存储单元，并利用当前获取到的数据计算中间结果；
确定所述数据集中的全部数据存储到所述第一存储单元后，利用所述中间结果计算所述数据集的均值和标准差；
利用所述均值和所述标准差对所述数据集进行标准化处理，得到标准化的数据集。
第二方面，提供了一种数据标准化处理装置，包括：
获取单元，用于获取数据集中的数据；
第一存储单元，用于存储所述数据集中的数据；
第一计算单元，用于在所述数据集中的数据存储到第一存储单元的过程中，利用当前获取到的数据计算中间结果；
第二计算单元，用于确定所述数据集中的全部数据存储到所述第一存储单元后，利用所述中间结果计算所述数据集的均值和标准差；
第三计算单元，用于利用所述均值和所述标准差对所述数据集进行标准化处理，得到标准化的数据集。
第三方面，提供了一种电子设备，包括：处理器和配置为存储能够在处理器上运行的计算机程序的存储器，
其中，所述处理器配置为运行所述计算机程序时，执行前述方法的步骤。
第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其中，该计算机程序被处理器执行时实现前述方法的步骤。
本申请实施例中提供了一种数据标准化处理方法、装置、电子设备及存储介质，该方法包括：获取数据集中的数据；将所述数据集中的数据存储到第一存储单元，并利用当前获取到的数据计算中间结果；确定所述数据集中的全部数据存储到所述第一存储单元后，利用所述中间结果计算所述数据集的均值和标准差；利用所述均值和所述标准差对所述数据集进行标准化处理，得到标准化的数据集。如此，在获取到数据集中的数据后，存储数据的同时在线更新参与均值和标准差计算的中间结果，在数据传输完成时，可根据中间结果计算数据集的均值和标准差，从而可以省去至少一次从第一存储单元读取数据的过程，缩短了计算时延，降低计算功耗。
附图说明
图1为现有的数据标准化处理方法的流程示意图；
图2为本申请实施例中数据标准化处理方法的第一流程示意图；
图3为本申请实施例中数据标准化处理方法的第二流程示意图；
图4为本申请实施例中数据标准化处理网络的第一结构示意图；
图5为本申请实施例中数据标准化处理网络的第二结构示意图；
图6为本申请实施例中group normalization标准化算法的数据分组示意图；
图7为本申请实施例中数据标准化处理装置的组成结构示意图；
图8为本申请实施例中电子设备的组成结构示意图。
具体实施方式
为了能够更加详尽地了解本申请实施例的特点与技术内容，下面结合附图对本申请实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本申请实施例。
图2为本申请实施例中数据标准化处理方法的第一流程示意图，如图2所示，该方法具体可以包括：
步骤201：获取数据集中的数据；
这里，数据集可以为任意一个需要进行标准化处理的数据集合。例如，神经网络在进行图像处理时，数据集可以为图像数据，神经网络每一层的计算结果可以组成数据集，若当前层为标准化计算层，需要对前一层计算结果进行标准化操作，再将标准化操作后的数据集作为下一层处理对象。
这里，由于数据集包括数据集合，其中数据生成具有一定的先后顺序，或者数据的传输具有一定的先后顺序，无法同时获取。因此，获取数据集中的数据可以理解为按照预设传输顺序依次获取数据集中的数据。
步骤202：将当前获取到的数据存储到第一存储单元，并利用当前获取到的数据更新中间结果；
这里，获取到数据之后，会对数据执行两种操作，第一将数据存储到第一存储单元，第二利用当前获取到的数据更新中间结果。
这里，中间结果为计算均值和标准差时的中间量，在获取到数据之后，直接利用当前获取到的数据更新中间结果，直到获取到最后一个数据得到最终的中间结果。这样，在对数据集进行标准化时，可以利用中间结果参与均值和标准差的计算，无需再从第一存储单元中读取数据集进行中间结果的计算，从而可以省去至少一次从第一存储单元读取数据的过程。
数据集标准化计算过程中需要首先计算数据集中数据的均值和标准差，并根据数据集中原数据、均值和标准差得到标准化之后的结果。其过程进行公式化后如下：
Figure BDA0003452422130000041
Figure BDA0003452422130000042
Figure BDA0003452422130000043
这里，u表示数据集的均值，xi表示数据集中的数据，σ表示数据集的标准差，σ2表示数据集的方差，M表示数据个数。
示例性的，在一些实施例中，所述中间结果包括：数据累加和。相应的，所述利用当前获取到的数据更新中间结果，包括：将当前获取到的数据和旧的数据累加和相加，得到新的数据累加和。
也就是说，在数据存储过程中，在线计算公式(1)中的数据累加和∑xi，当全部数据存储完成，便可得到均值u。这样，在进行标准化处理时，可以直接利用均值参与公式(2)方差计算，以及公式(3)标准化计算。
实际应用中还可以对公式(2)进行变形得到公式(4)，可以看出，在数据存储过程中，还可以计算数据平方累加和，利用数据平方累加和参与方差计算还可以减少一次从第一存储单元读取数据的过程。
Figure BDA0003452422130000051
示例性的，在一些实施例中，所述中间结果包括：数据累加和以及数据平方累加和。
相应的，所述利用当前获取到的数据更新中间结果，包括：将当前获取到的数据和旧的数据累加和相加，得到新的数据累加和；将当期获取到的数据的平方和旧的数据平方累加和相加，得到新的数据平方累加和。
需要说明的是，还可以将上述公式(1)至公式(3)变形成其他形式，进行标准化计算。
步骤203：确定所述数据集中的全部数据存储到所述第一存储单元后，利用所述中间结果计算所述数据集的均值和标准差；
需要说明的时，当全部数据存储到第一存储单元后，表明已经获取到数据集的全部数据，此时中间结果可以参与均值和标准差的计算。否则，还未获取到全部数据，此时中间结果还不能参与均值和标准差的计算，需要继续获取数据并更新中间结果。
示例性的，在一些实施例中，所述中间结果包括：数据累加和；所述利用所述中间结果计算所述数据集的均值和标准差，包括：利用所述数据集的数据个数以及所述数据累加和，计算所述数据集的均值；从所述第一存储单元中读取所述数据集；利用所述数据集、所述数据集的数据个数以及所述均值，计算所述数据集的方差；对所述方差进行开平方，得到所述数据集的标准差。具体地，可以根据公式(2)或者公式(4)计算方差。
示例性的，在一些实施例中，所述中间结果包括：数据累加和以及数据平方累加和；所述利用所述中间结果计算所述数据集的均值和标准差，包括：利用所述数据集的数据个数以及所述数据累加和，计算所述数据集的均值；利用所述数据集的数据个数、所述数据平方累加和、所述数据平方累加和以及所述均值，计算所述数据集的方差；对所述方差进行开平方，得到所述数据集的标准差。具体地，可以根据公式(4)计算方差。
步骤204：利用所述均值和所述标准差对所述数据集进行标准化处理，得到标准化的数据集。
具体地，根据公式(3)对数据集中每个数据进行标准化处理。
采用上述技术方案，在获取到数据集中的数据后，存储数据的同时在线更新参与均值和标准差计算的中间结果，在数据传输完成时，可根据中间结果计算数据集的均值和标准差，从而可以省去至少一次从第一存储单元读取数据的过程，缩短了计算时延，降低计算功耗。
在上述实施例的基础上，对数据标准化处理方法进行进一步的举例说明，图3为本申请实施例中数据标准化处理方法的第二流程示意图，如图3所示，该方法具体可以包括：
步骤301：获取数据集中的数据；
步骤302：将当前获取到的数据存储到第一存储单元，并利用当前获取到的数据更新数据累加和以及数据平方累加和；
具体地，数据累加和的表达式为∑xi，数据平方累加和的表达式为∑xi 2，xi表示数据集中的第i个数据，i取范围为1-M，M表示数据个数。
每次获取到新数据时更新数据累加和以及数据平方累加和，直到获取到最后一个数据得到最终的数据累加和以及数据平方累加和。
步骤303：利用所述数据集的数据个数以及所述数据累加和，计算所述数据集的均值；
具体地，利用公式(1)计算均值。
步骤304：利用所述数据集的数据个数、所述数据平方累加和、所述数据平方累加和以及所述均值，计算所述数据集的方差；
具体地，利用公式(2)计算均值。
示例性的，在一些实施例中，该方法还包括：将所述均值存储到第二存储单元，将所述方差存储到第三存储单元；
利用所述均值和所述标准差对所述数据集进行标准化处理之前，从所述第一存储单元读取所述数据集，从所述第二存储单元读取所述均值，从所述第三存储单元读取所述方差。进一步地，对所述方差进行开平方，得到所述数据集的标准差。
图4为本申请实施例中数据标准化处理网络的第一结构示意图，如图4所示，当前层为标准化计算层时，对前一层计算层的数据结果进行标准化计算，前一计算层的数据结果保存到第一存储单元的过程中，同时更新∑xi和∑xi 2，当最后一个数据写入第一存储单元后，均值与方差计算模块利用∑xi和∑xi 2计算均值和方差，并将均值和方差存入第二存储单元和第三存储单元。
标准化模块分别从第一存储单元读取数据集，从第二存储单元读取均值，从第三存储单元读取方差，对方差进行开平方
Figure BDA0003452422130000071
并基于公式(3)对数据集进行标准化计算。
步骤305：对所述方差进行开平方，得到所述数据集的标准差；
示例性的，在一些实施例中，所述方法还包括：将所述均值存储到第二存储单元，将所述标准差存储到第三存储单元；利用所述均值和所述标准差对所述数据集进行标准化处理之前，从所述第一存储单元读取所述数据集，从所述第二存储单元读取所述均值，从所述第三存储单元读取所述标准差。
图5为本申请实施例中数据标准化处理网络的第二结构示意图，如图5所示，当前层为标准化计算层时，对前一层计算层的数据结果进行标准化计算，前一计算层的数据结果保存到第一存储单元的过程中，同时更新∑xi和∑xi 2，当最后一个数据写入第一存储单元后，均值与标准差计算块利用∑xi和∑xi 2计算均值和标准差，并将均值和标准差存入第二存储单元和第三存储单元。
标准化模块分别从第一存储单元读取数据集，从第二存储单元读取均值，从第三存储单元读取标准差，并基于公式(3)对数据集进行标准化计算。
也就是说，第三存储单元可以存储方差，标准化模块进行标准化计算时先对方差开平方得到标准差，再进行计算。或者第三存储单元直接存储标准差。
示例性的，在一些实施例中，所述第一存储单元、所述第二存储单元和所述第三存储单元属于同一存储器。
在另一些实施例中，所述第一存储单元属于第一存储器，所述第二存储单元属于第二存储器，所述第三存储单元属于第三存储器。示例性的，第一存储器为片上存储器，第二存储器为缓冲器，第三存储器为缓冲器。
也就是说，存储数据集的存储单元，存储均值和方差的存储单元可以属于同一存储器或不同存储器。
步骤306：利用所述均值和所述标准差对所述数据集进行标准化处理，得到标准化的数据集。
具体地，根据公式(3)对数据集中每个数据进行标准化处理。
采用上述技术方案，在获取到数据集中的数据后，存储数据的同时在线更新数据累加和以及数据平方累加和，在数据传输完成时，可根据数据累加和以及数据平方累加和计算数据集的均值和标准差，从而可以省去两次从第一存储单元读取数据的过程，缩短了计算时延，降低计算功耗。
需要说明的是，采用上述标准化处理方法可以对任意数据集进行标准化计算。示例性的，神经网络中标准化算法(也可以称为“归一化算法”)可以包括：batchnormalization(BN)，layer normalization(LN)，instance normalization(IN)，groupnormalization(GN)，虽然标准化算法不同，但每个数据集执行标准化处理方法相同。
图6为本申请实施例中group normalization标准化算法的数据分组示意图，如图6所示，横向一个正方体可以理解为一帧图像数据，将通道分组，对分组后的数据标准化，相同灰度的小正方体代表一个数据集，每个数据集均可以采用本申请实施例提供的标准化处理方法进行标准化计算。
为实现本申请实施例的方法，基于同一发明构思本申请实施例还提供了一种数据标准化处理装置，如图7所示，该装置70包括：
获取单元701，用于获取数据集中的数据；
第一存储单元702，用于存储所述数据集中的数据；
第一计算单元703，用于在所述数据集中的数据存储到第一存储单元的过程中，利用当前获取到的数据计算中间结果；
第二计算单元704，用于确定所述数据集中的全部数据存储到所述第一存储单元后，利用所述中间结果计算所述数据集的均值和标准差；
第三计算单元705，用于利用所述均值和所述标准差对所述数据集进行标准化处理，得到标准化的数据集。
示例性的，在一些实施例中，所述中间结果包括：数据累加和以及数据平方累加和；
第二计算单元704，用于利用所述数据集的数据个数以及所述数据累加和，计算所述数据集的均值；利用所述数据集的数据个数、所述数据平方累加和、所述数据平方累加和以及所述均值，计算所述数据集的方差；对所述方差进行开平方，得到所述数据集的标准差。
相应的，第一计算单元703，用于将当前获取到的数据和旧的数据累加和相加，得到新的数据累加和；将当期获取到的数据的平方和旧的数据平方累加相加，得到新的数据平方累加。
示例性的，第一计算单元的计算功能可以由硬件运算电路来实现，包括第一加法运算电路、第二加法运算电路和乘法运算电路，第一加法运算电路用于将当前获取到的数据和旧的数据累加和相加，得到新的数据累加和，乘法运算电路用于将当前获取到的数据相乘，第二加法单元用于将乘积和旧的数据平方累加和相加得到新的数据平方累加和。
实际应用中，该装置还包括第四存储单元，用于存储中间结果。
示例性的，在一些实施例中，所述装置70还包括：
第二存储单元(图7中未示出)，用于存储所述均值，
第三存储单元(图7中未示出)，用于存储所述标准差；
第三计算单元705，用于从所述第一存储单元读取所述数据集，从所述第二存储单元读取所述均值，从所述第三存储单元读取所述标准差。
示例性的，在一些实施例中，所述中间结果包括：数据累加和以及数据平方累加和；
第二计算单元704，用于利用所述数据集的数据个数以及所述数据累加和，计算所述数据集的均值；利用所述数据集的数据个数、所述数据平方累加和、所述数据平方累加和以及所述均值，计算所述数据集的方差；
第三计算单元705，还用于对所述方差进行开平方，得到所述数据集的标准差。
示例性的，在一些实施例中，所述装置还包括：
第二存储单元(图7中未示出)，用于存储所述均值，
第三存储单元(图7中未示出)，用于存储所述方差；
第三计算单元705，用于从所述第一存储单元读取所述数据集，从所述第二存储单元读取所述均值，从所述第三存储单元读取所述方差。
示例性的，在一些实施例中，所述第一存储单元、所述第二存储单元和所述第三存储单元属于同一存储器。
示例性的，在一些实施例中，所述第一存储单元属于第一存储器，所述第二存储单元属于第二存储器，所述第三存储单元属于第三存储器。
示例性的，在一些实施例中，所述中间结果包括：数据累加和；
第二计算单元704，用于利用所述数据集的数据个数以及所述数据累加和，计算所述数据集的均值；
第二计算单元704，还用于从所述第一存储单元中读取所述数据集；利用所述数据集、所述数据集的数据个数以及所述均值，计算所述数据集的方差；对所述方差进行开平方，得到所述数据集的标准差。
相应的，第一计算单元703，用于将当前获取到的数据和旧的数据累加和相加，得到新的数据累加和。
示例性的，第一计算单元的703计算功能可以由硬件运算电路来实现，包括第一加法运算电路，第一加法运算电路用于将当前获取到的数据和旧的数据累加和相加，得到新的数据累加和。
实际应用中，该装置还包括第四存储单元，用于存储中间结果。
相应的，第二计算单元704和第三计算单元705的计算功能也可以由硬件运算电路来实现，这里不再赘述。
示例性的，在一些实施例中，所述装置还包括：
第二存储单元(图7中未示出)，用于存储所述均值，
第三存储单元(图7中未示出)，用于存储所述标准差；
第三计算单元705，用于从所述第一存储单元读取所述数据集，从所述第二存储单元读取所述均值，从所述第三存储单元读取所述标准差。
基于上述装置中各单元的硬件实现，本申请实施例还提供了另一种电子设备，如图8所示，该电子设备80包括：处理器801和配置为存储能够在处理器上运行的计算机程序的存储器802；
其中，处理器801配置为运行计算机程序时，执行前述实施例中的方法步骤。
当然，实际应用时，如图8所示，该装置中的各个组件通过总线系统803耦合在一起。可理解，总线系统803用于实现这些组件之间的连接通信。总线系统803除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图8中将各种总线都标为总线系统803。
在实际应用中，处理器用于实现上述装置中第一计算单元、第二计算单元和第三计算单元的功能，上述处理器可以为特定用途集成电路(ASIC，Application SpecificIntegrated Circuit)、数字信号处理装置(DSPD，Digital Signal Processing Device)、可编程逻辑装置(PLD，Programmable Logic Device)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本申请实施例不作具体限定。
存储器还用于存储上述第一存储单元、第二存储单元和第三存储单元中的数据，上述存储器可以是片上存储器(on chip memory，OCM)易失性存储器(volatile memory)，例如随机存取存储器(RAM，Random-Access Memory)；或者非易失性存储器(non-volatilememory)，例如只读存储器(ROM，Read-Only Memory)，快闪存储器(flash memory)，硬盘(HDD，Hard Disk Drive)或固态硬盘(SSD，Solid-State Drive)；或者上述种类的存储器的组合，并向处理器提供指令和数据。
实际应用中，上述装置可以是电子设备，也可以是应用于电子设备的芯片。在本申请中，该装置可以通过或软件、或硬件、或软件与硬件相结合的方式，实现多个单元的功能，使该装置可以执行如上述任一实施例所提供的数据标准化处理方法。且该装置的各技术方案的技术效果可以参考数据标准化处理方法中相应的技术方案的技术效果，本申请对此不再一一赘述。
在示例性实施例中，本申请实施例还提供了一种计算机可读存储介质，例如包括计算机程序的存储器，计算机程序可由电子设备的处理器执行，以完成前述方法的步骤。
本申请实施例还提供了一种计算机程序产品，包括计算机程序指令。
可选的，该计算机程序产品可应用于本申请实施例中的电子设备，并且该计算机程序指令使得计算机执行本申请实施例的各个方法中由电子设备实现的相应流程，为了简洁，在此不再赘述。
本申请实施例还提供了一种计算机程序。
可选的，该计算机程序可应用于本申请实施例中的电子设备，当该计算机程序在计算机上运行时，使得计算机执行本申请实施例的各个方法中由电子设备实现的相应流程，为了简洁，在此不再赘述。
应当理解，在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。本申请中表述“具有”、“可以具有”、“包括”和“包含”、或者“可以包括”和“可以包含”在本文中可以用于指示存在对应的特征(例如，诸如数值、功能、操作或组件等元素)，但不排除附加特征的存在。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开，不必用于描述特定的顺序或先后次序。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。
本申请实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法、装置和设备，可以通过其它的方式实现。以上所描述的实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种数据标准化处理方法，其特征在于，所述方法包括：
获取数据集中的数据；
将当前获取到的数据存储到第一存储单元，并利用当前获取到的数据更新中间结果；
确定所述数据集中的全部数据存储到所述第一存储单元后，利用所述中间结果计算所述数据集的均值和标准差；
利用所述均值和所述标准差对所述数据集进行标准化处理，得到标准化的数据集。
2.根据权利要求1所述的方法，其特征在于，所述中间结果包括：数据累加和以及数据平方累加和；
所述利用所述中间结果计算所述数据集的均值和标准差，包括：
利用所述数据集的数据个数以及所述数据累加和，计算所述数据集的均值；
利用所述数据集的数据个数、所述数据平方累加和、所述数据平方累加和以及所述均值，计算所述数据集的方差；
对所述方差进行开平方，得到所述数据集的标准差。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
将所述均值存储到第二存储单元，将所述方差存储到第三存储单元；
利用所述均值和所述标准差对所述数据集进行标准化处理之前，从所述第一存储单元读取所述数据集，从所述第二存储单元读取所述均值，从所述第三存储单元读取所述方差。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
将所述均值存储到第二存储单元，将所述标准差存储到第三存储单元；
利用所述均值和所述标准差对所述数据集进行标准化处理之前，从所述第一存储单元读取所述数据集，从所述第二存储单元读取所述均值，从所述第三存储单元读取所述标准差。
5.根据权利要求3或4所述的方法，其特征在于，所述第一存储单元、所述第二存储单元和所述第三存储单元属于同一存储器。
6.根据权利要求3或4所述的方法，其特征在于，所述第一存储单元属于第一存储器，所述第二存储单元属于第二存储器，所述第三存储单元属于第三存储器。
7.根据权利要求1所述的方法，其特征在于，所述中间结果包括：数据累加和；
所述利用所述中间结果计算所述数据集的均值和标准差，包括：
利用所述数据集的数据个数以及所述数据累加和，计算所述数据集的均值；
从所述第一存储单元中读取所述数据集；
利用所述数据集、所述数据集的数据个数以及所述均值，计算所述数据集的方差；
对所述方差进行开平方，得到所述数据集的标准差。
8.一种数据标准化处理装置，其特征在于，所述装置包括：
获取单元，用于获取数据集中的数据；
第一存储单元，用于存储所述数据集中的数据；
第一计算单元，用于在所述数据集中的数据存储到第一存储单元的过程中，利用当前获取到的数据计算中间结果；
第二计算单元，用于确定所述数据集中的全部数据存储到所述第一存储单元后，利用所述中间结果计算所述数据集的均值和标准差；
第三计算单元，用于利用所述均值和所述标准差对所述数据集进行标准化处理，得到标准化的数据集。
9.一种电子设备，其特征在于，所述电子设备包括：处理器和配置为存储能够在处理器上运行的计算机程序的存储器，
其中，所述处理器配置为运行所述计算机程序时，执行权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。
CN202111669075.5A 2021-12-31 2021-12-31 一种数据标准化处理方法、装置、电子设备及存储介质 Pending CN114356235A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111669075.5A CN114356235A (zh) 2021-12-31 2021-12-31 一种数据标准化处理方法、装置、电子设备及存储介质
PCT/CN2022/133428 WO2023124654A1 (zh) 2021-12-31 2022-11-22 一种数据标准化处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111669075.5A CN114356235A (zh) 2021-12-31 2021-12-31 一种数据标准化处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114356235A true CN114356235A (zh) 2022-04-15

Family

ID=81104974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111669075.5A Pending CN114356235A (zh) 2021-12-31 2021-12-31 一种数据标准化处理方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN114356235A (zh)
WO (1) WO2023124654A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023124654A1 (zh) * 2021-12-31 2023-07-06 Oppo广东移动通信有限公司 一种数据标准化处理方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109726806A (zh) * 2017-10-30 2019-05-07 上海寒武纪信息科技有限公司 信息处理方法及终端设备
CN110321064A (zh) * 2018-03-30 2019-10-11 北京深鉴智能科技有限公司 用于神经网络的计算平台实现方法及系统
CN111428879A (zh) * 2020-03-04 2020-07-17 深圳芯英科技有限公司 数据处理方法、装置、芯片以及计算机可读存储介质
CN113011563A (zh) * 2021-03-19 2021-06-22 北京大学 基于gpu的卷积神经网络批归一化处理方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4627674B2 (ja) * 2005-03-24 2011-02-09 株式会社山武 データ処理方法及びプログラム
CN114356235A (zh) * 2021-12-31 2022-04-15 Oppo广东移动通信有限公司 一种数据标准化处理方法、装置、电子设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109726806A (zh) * 2017-10-30 2019-05-07 上海寒武纪信息科技有限公司 信息处理方法及终端设备
CN110321064A (zh) * 2018-03-30 2019-10-11 北京深鉴智能科技有限公司 用于神经网络的计算平台实现方法及系统
CN111428879A (zh) * 2020-03-04 2020-07-17 深圳芯英科技有限公司 数据处理方法、装置、芯片以及计算机可读存储介质
CN113011563A (zh) * 2021-03-19 2021-06-22 北京大学 基于gpu的卷积神经网络批归一化处理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023124654A1 (zh) * 2021-12-31 2023-07-06 Oppo广东移动通信有限公司 一种数据标准化处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2023124654A1 (zh) 2023-07-06

Similar Documents

Publication Publication Date Title
CN110263921B (zh) 一种联邦学习模型的训练方法及装置
CN109949219B (zh) 一种超分辨率图像的重构方法、装置及设备
CN111950738A (zh) 机器学习模型优化效果评估方法、装置、终端及存储介质
CN112131274B (zh) 时间序列异常点的检测方法、装置、设备及可读存储介质
CN115809569B (zh) 基于耦合竞争失效模型的可靠性评价方法和装置
CN111915555B (zh) 一种3d网络模型预训练方法、系统、终端及存储介质
CN112529767B (zh) 图像数据处理方法、装置、计算机设备和存储介质
CN111143146A (zh) 一种存储装置的健康状态预测方法及系统
CN116167581A (zh) 电池需求量预估方法、装置、调度方法和计算机设备
CN114356235A (zh) 一种数据标准化处理方法、装置、电子设备及存储介质
CN115391561A (zh) 图网络数据集的处理方法、装置、电子设备、程序及介质
CN112101543A (zh) 神经网络模型确定方法、装置、电子设备及可读存储介质
CN117237678B (zh) 用电行为异常检测方法、装置、设备及存储介质
CN115018119A (zh) 用电负荷预测方法及系统
CN116542673B (zh) 应用于机器学习的欺诈行为识别方法及系统
CN116662307A (zh) 一种基于多源数据融合的智能预警方法、系统及设备
CN113272785B (zh) 一种挂载文件系统的方法、终端设备及存储介质
CN113093702B (zh) 故障数据的预测方法和装置、电子设备和存储介质
CN115860802A (zh) 产品价值预测方法、装置、计算机设备和存储介质
CN113779926A (zh) 一种电路的检测方法、装置、电子设备及可读存储介质
CN111931930A (zh) 模型剪枝方法、装置及电子设备
CN112259239A (zh) 一种参数处理方法、装置、电子设备及存储介质
CN112861365B (zh) 低压配电网负荷状态估计方法、装置及终端设备
CN111047024A (zh) 一种计算装置及相关产品
CN113822445B (zh) 模型集成预测方法、系统、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination