CN102446197A - 一种数据转换方法和数据转换器 - Google Patents

一种数据转换方法和数据转换器 Download PDF

Info

Publication number
CN102446197A
CN102446197A CN201010507990XA CN201010507990A CN102446197A CN 102446197 A CN102446197 A CN 102446197A CN 201010507990X A CN201010507990X A CN 201010507990XA CN 201010507990 A CN201010507990 A CN 201010507990A CN 102446197 A CN102446197 A CN 102446197A
Authority
CN
China
Prior art keywords
data
energy consumption
definition
node server
conversion rule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201010507990XA
Other languages
English (en)
Other versions
CN102446197B (zh
Inventor
李立
刘培妮
杨博
刘亮
陈滢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN201010507990.XA priority Critical patent/CN102446197B/zh
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Priority to GB1306865.5A priority patent/GB2497905B/en
Priority to JP2013530683A priority patent/JP5754824B2/ja
Priority to DE112011103291.9T priority patent/DE112011103291B4/de
Priority to US13/239,637 priority patent/US9110660B2/en
Priority to PCT/EP2011/066528 priority patent/WO2012041763A1/en
Publication of CN102446197A publication Critical patent/CN102446197A/zh
Priority to US14/799,929 priority patent/US9996136B2/en
Application granted granted Critical
Publication of CN102446197B publication Critical patent/CN102446197B/zh
Priority to US15/978,704 priority patent/US10324511B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Power Sources (AREA)
  • Debugging And Monitoring (AREA)
  • Remote Monitoring And Control Of Power-Distribution Networks (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

本发明提供一种数据转换方法和数据转换器，该方法包括：导入数据转换规则；从所述数据转换规则中获取源数据定义、目标数据定义和数据转换规则定义；根据所述源数据定义、目标数据定义以及数据转换规则定义预测数据转换节点服务器的资源能耗参数；以及根据预测的数据转换节点服务器的资源能耗参数部署数据转换节点服务器的资源能耗优化策略。

Description

一种数据转换方法和数据转换器
技术领域
本发明涉及数据转换，特别涉及节能的数据转换方法和数据转换器。
背景技术
数据转换(data transform)广泛应用在管理软件中，实现将数据从一种表示形式转变为另一种表示形式，例如，软件的全面升级带来数据库的全面升级，每一个软件对其后面的数据库的构架与数据的存诸形式都是不相同的，需要经常对数据进行导入、导出和数据转换。再例如，由于数据量的不断增加，原来数据构架设计不合理，不能满足各方面的要求，由于数据库的更换，数据结构的更换，从而需要数据本身的转换。数据转换在需要对来自不同产品的数据进行集成，从而实现软件产品整合的过程中，尤为重要。
由于数据转换耗费了系统大量的资源能耗，因此如何降低数据转换过程中系统的能耗成为一个关键问题，目前研究人员开发了许多节电技术，这些节电技术可以分为两类——动态技术和静态技术。静态技术通过设置低功耗工作模式使系统进入低功耗状态，例如芯片内部不同组件的时钟或电源设置有低功耗模式开关。但是静态方式无法根据资源使用情况动态调整资源能耗。动态技术则是根据系统的历史负载来预测未来负载情况，动态调节芯片的运行频率和电压，从而达到节能的目的，例如动态电压与频率调节DVFS(Dynamic Voltage andFrequency Scaling)技术。然而，动态技术需要根据历史负载预测下一个时段的负载，从而决定如何调整电压和频率。不同的预测算法准确性也有很大差别，而且历史负载与实际负载经常存在较大的偏差，实际运用中预测结果可能会很不准确。
因此，需要一种更加高效、准确的数据转换的能耗控制方法。
发明内容
基于上述问题，本发明提供一种数据转换方法和数据转换器。
根据本发明的第一方面，提供一种数据转换方法，包括：导入数据转换规则；从所述数据转换规则中获取源数据定义、目标数据定义和数据转换规则定义；根据所述源数据定义、目标数据定义以及数据转换规则定义预测数据转换节点服务器的资源能耗参数；以及根据预测的数据转换节点服务器的资源能耗参数部署数据转换节点服务器的资源能耗优化策略。
根据本发明的第二方面，提供一种数据转换器，包括：导入装置，被配置为导入数据转换规则；获取装置，被配置为从所述数据转换规则中获取源数据定义、目标数据定义和数据转换规则定义；预测装置，被配置为根据所述源数据定义、目标数据定义以及数据转换规则定义预测数据转换节点服务器的资源能耗参数；以及部署装置，被配置为根据预测的数据转换节点服务器的能耗参数部署数据转换节点服务器的资源能耗优化策略。
根据本发明的数据转换方法和数据转换器根据数据转换规则预测数据转换节点服务器的资源能耗参数，实现更加高效、准确地预测数据转换节点服务器的资源能耗参数，从而部署数据转换节点服务器的资源能耗优化策略。
附图说明
结合附图，通过参考下列详细的示例性实施例的描述，将会更好地理解本发明本身、优选的实施方式以及本发明的目的和优点，其中：
图1示出根据本发明的实施例进行数据转换的方法；
图2示出根据本发明的一个实施例进行数据转换的方法流程图；
图3示出对源数据定义和目标数据定义进行分析的流程图；
图4示出对数据转换规则定义进行分析的流程图；以及
图5示出根据本发明的实施例的数据转换器的框图。
具体实施方式
以下结合附图描述根据本发明实施例的方法，将会更好地理解本发明的目的和优点。
本发明实施例实现的数据转换的方法，将数据转换分为三个阶段进行处理：数据提取阶段、数据处理阶段和数据存储阶段。通过对三个阶段资源能耗参数的分析，部署资源节能策略。在数据提取阶段和数据存储阶段主要影响源节点服务器和目标节点服务器的负载，数据处理阶段主要影响数据转换节点服务器的负载，因此能够根据三个阶段的负载状况评估源节点服务器、数据转换节点服务器和目标节点服务器的资源能耗需求，从而确定能耗优化策略。
图1示出根据本发明的实施例进行数据转换的方法，该方法包括以下步骤：在步骤S101，导入数据转换规则；在步骤S102，从所述数据转换规则中获取源数据定义、目标数据定义和数据转换规则定义；在步骤S103，根据所述源数据定义、目标数据定义以及数据转换规则定义预测数据转换节点服务器的资源能耗参数；以及在步骤S104，根据预测的数据转换节点的资源能耗参数部署数据转换节点服务器的资源的资源能耗优化策略。
根据本发明的实施例，资源能耗参数至少包括CPU能耗、内存利用率以及磁盘I/O利用率的其中之一。数据定义是描述数据的数据，用于描述要素、数据集或数据集系列的内容、覆盖范围、质量、管理方式、数据的所有者、数据的提供方式等有关的信息。根据数据定义描述的目标对象的不同，本发明使用“源数据定义”和“目标数据定义”来分别指代描述数据源的数据定义和描述数据存储目标的数据定义。
数据转换规则用于规定数据如何从源数据定义描述的形式转换为目标数据定义描述的形式。典型的数据转换规则至少包括：转换规则标识(可选)、源数据数据对象、目标数据数据对象、操作类型。下面所示为数据转换规则的类BNF定义：
TransformationRule::＝{[RuleID]″:″<SourceDataAttribute>″:″<DestinationDataAttribute>″:″<Operation>}
Operation::＝{DirectCopy|TypeConvert|Macro}
数据转换规则定义包含了若干条用于描述如何从源数据定义转换为目标数据定义的数据转换规则。
【源数据定义实例】
下面的例子用XML Schema的形式描述了源数据定义“ke9_crac_data”，其包含一个复杂数据类型由“Node”，“Begin_Time”，“Description”，“Ambient_Temp”顺序组成，其类型分别为“varchar”，“string”，“varchar”，“real”。
      <？xml version＝″1.0″encoding＝″UTF-8″？>
      <xs:schema xmlns:xs＝″http://www.w3.org/2001/XMLSchema″
  targetNamespace＝″http://www.×××.com.cn″
  xmlns＝″http://www.×××.com.cn″elementFormDefault＝″qualified″>
      <xs:element name＝″ke9_crac_data″>
          <xs:complexType>
            <xs:sequence>
                <xs:element name＝″Node″type＝″xs:varchar″/>
                <xs:element name＝″Begin_Time″type＝″xs:string″/>
                <xs:element name＝″Description″
type＝″xs:varchar″/>
                <xs:element name＝″Ambient_Temp″
type＝″xs:real″/>
             </xs:sequence>
           </xs:complexType>
      </xs:element>
      </xs:schema>
【目标数据定义实例】
下面的例子用XML Schema的形式描述了目标数据定义“CRAC_dynamic”，其包含一个复杂数据类型由“node”，“begin”，“description”，“ambient_Temp”顺序组成，其类型分别为“varchar”，“Date”，“varchar”，“real”。
<？xml version＝″1.0″encoding＝″UTF-8″？>
<xs:schema xmlns:xs＝″http://www.w3.org/2001/XMLSchema″targetNamespace＝″http://www.×××.com.cn″
xmlns＝″http://www.×××.com.cn″elementFormDefault＝″qualified″>
    <xs:element name＝″CRAC_dynamic″>
        <xs:complexType>
          <xs:sequence>
             <xs:element name＝″node″type＝″xs:varchar″/>
             <xs:element name＝″begin″type＝″xs:Date″/>
             <xs:element name＝″description″type＝″xs:varchar″/>
             <xs:element name＝″ambient_Temp″type＝″xs:real″/>
         </xs:sequence>
       </xs:complexType>
  </xs:element>
  </xs:schema>
【数据转换规则定义实例】
下面的例子基于上述两个例子，用XML的形式描述了如何从源数据定义“ke9_crac_data”转换为目标数据定义“CRAC_dynamic”，该例子包括四条数据转换规则，分别将源数据类型中的“Node”，“Begin_Time”，“Description”，“Ambient_Temp”转换为目标数据定义中的“node”，“begin”，“description”，“ambient_Temp”，且转换操作分别为“equal”，“timestampConvert”，“equal”，“equal”，表示对“Begin_Time”进行数据类型转换的操作，其他数据类型进行直接拷贝操作。
        <？xml version＝″1.0″encoding＝″UTF-8″？>
        <Transformation_Definition>
         <Table Name＝″CRAC″Type＝″dynamic″>
           <Source>
             <AttributeGroup Name＝″ke9_crac_data″>
               <Attribute Source＝″Node″Target＝″node″
Type＝″varchar″
                 Rule＝″equal″/>
               <Attribute Source＝″Begin_Time″Target＝″begin″
Type＝″Date″
                  Rule＝″timestampConvert″/>
                <Attribute Source＝″Description″
Target＝″description″Type＝″varchar″
                   Rule＝″equal″/>
                 <Attribute Source＝″Ambient_Temp″
Target＝″ambient_temp″
                  Type＝″real″Rule＝″equal″/>
            </AttributeGroup>
         </Source>
      </Table>
     </Transformation_Definition>
图2示出根据本发明的一个实施例进行数据转换的方法流程图，在步骤S201，导入数据转换规则，例如上述数据转换规则实例中用XML的形式描述的如何从源数据定义“ke9_crac_data”转换为目标数据定义“CRAC_dynamic”，将其中包含的将源数据类型中的“Node”，“Begin_Time”，“Description”，“Ambient_Temp”转换为目标数据定义中的“node”，“begin”，“description”，“ambient_Temp”数据转换规则导入。
在步骤S202，从所述数据转换规则中获取源数据定义、目标数据定义和数据转换规则定义，例如从上述数据转换规则实例中获取源数据定义“ke9_crac_data”、目标数据定义“CRAC_dynamic”以及数据转换规则定义如何从源数据定义“ke9_crac_data”转换为目标数据定义“CRAC_dynamic”。
在步骤S203和步骤S204，分别对源数据定义和目标数据定义进行分析。具体地，图3示出对步骤S203和步骤S204的源数据定义和目标数据定义进行分析的流程图。在步骤S301，首先识别源数据类型和目标数据类型；在步骤S302，判断源数据类型和目标数据类型是否为简单数据类型，在此将数据类型分为简单数据类型和复杂数据类型，简单数据类型只是表示简单的值，是在最低抽象层存储的值，运算速度相对较快，常见的简单数据类型包括整型(Integer)、浮点型(Float)、字符型(Char)、双精度型(Double)、小数型(Decimal)、二进制大对象类型(BLOB)以及枚举类型(Enum)等。复合数据类型是由多个简单数据类型相互联系组合成的一个有机的整体。如果判断结果是否，则在步骤S303，拆分复合数据类型，返回到步骤S301进行识别，直到拆分为简单数据类型。如果判断结果为否，则在步骤S304，记录数据类型。在步骤S305，计算每次读写的数据大小，对于识别出来的简单数据类型，其数据大小由其类型定义决定，且为可以获得的公知常识，例如对于Java的数据类型来说，其简单数据类型整型(Integer)、浮点型(Float)、字符型(Char)的数据大小分别为32bit，32bit，16bit，而对于识别出来的复杂数据类型，由于其由多个简单数据类型相互联系组成，因此每次读写的数据大小可以由组成的简单数据类型大小加和得到。
在步骤S205，对数据转换规则定义进行分析，具体地，图4示出对数据转换规则定义进行分析的实现流程图，在步骤S401，首先识别数据转换规则的操作类型；在步骤S402，如果识别出数据转换规则的操作类型是直接拷贝，则基于源数据定义和目标数据定义分析结果计算直接拷贝的资源特性参数，具体地，直接拷贝的资源特性参数包括转换规则标识，每次读写的数据大小，直接拷贝次数以及CPU负载。在步骤S403，如果识别出数据转换规则的操作类型是数据类型转换，则基于源数据定义和目标数据定义分析结果计算数据类型转换的资源特性参数，具体地，数据类型转换即数据类型之间的转换，数据类型转换的资源特性参数包括数据类型转换规则标识，每次读写的数据大小，数据类型转换次数以及CPU负载。在步骤S404，如果识别出数据转换规则的操作类型是宏变换，则基于源数据定义和目标数据定义分析结果计算宏变换的资源特性参数，具体地，宏运算的资源特性参数包括：数据类型转换规则标识、每次读写的数据大小、宏运算CPU负载、宏运算次数、单位时间内基本操作执行的次数以及完成一个基本操作的CPU负载。
接着前进到步骤S206，预测数据转换节点服务器的资源能耗参数，具体地，针对该数据转换规则，分别预测数据转换节点服务器在数据提取阶段、数据处理阶段以及数据存储阶段的资源能耗参数。
根据本发明的一个实施例，如果识别出数据转换类型是直接拷贝，则根据直接拷贝的资源特性参数预测数据转换节点服务器在数据提取阶段、数据处理阶段以及数据存储阶段的资源能耗参数。由于直接拷贝在三个阶段都不需要耗费计算资源，因此可以预测三个阶段的CPU负载均为低(L)，CPU能耗为低(L)。此外由于直接拷贝在数据处理阶段不占用内存和磁盘资源，因此可以预测内存利用率和磁盘I/O利用率为低“L”，而在数据提取和数据存储阶段，内存利用率和磁盘I/O利用率与每次读写字节数(size)、读写的次数(count)以及硬盘的特性相关。在这里我们考虑每次读写数据大小(size)和读写的次数(count)对内存利用率和磁盘I/O的影响，未达到磁盘最大速率时，每次读写字节数(size)或读写的次数(count)越大，内存利用率和磁盘I/O利用率也越大。根据本发明的实施例，可以预先根据每次读写的数据大小(size)和读写次数(count)构建表1的资源特性映射表，其中针对每次读写的数据大小预先设置第一阈值S1和第二阈值S2，针对读写次数c预先设置第一阈值C1和第二阈值C2，M表示内存利用率，D表示磁盘I/O利用率，L、M和H分别表示内存利用率和磁盘I/O利用率的低、中和高。由表1可见，如果每次读写的数据大小s小于第一阈值S1并且读写次数小于第一阈值C1时，由于每次读写的数据大小比较小，读写次数也比较少，因此内存利用率比较低，磁盘I/O利用率也比较低，因此将M和D设置为“L”，随着数据大小s的增大以及拷贝次数的增加，对内存利用率以及磁盘I/O利用率的需求也逐渐增加，可以看到，在每次读写的数据大小S1＜＝s＜＝S2，并且读写次数C1＜＝c＜＝C2时，M和D设置为“M”；在每次读写的数据s＞S2并且读写次数c＞C2时，M和D分别设置为“H”，对于阈值S1和S2以及C1和C2的选取，可以根据资源使用的实际情况来设定，并且对于内存利用率M和磁盘I/O利用率D的高H、中M、低L的标准也可以根据不同的标准来设定，例如，可以认为内存利用率小于10％即为“L”，而内存利用率大于80％即为高。通过将获得的直接拷贝的资源特性参数中每次读写的数据大小和读写次数与资源特性映射表中的参数比较，来确定内存利用率和磁盘I/O利用率的高、中、低。
Figure BSA00000305165600091
表1内存和磁盘的资源特性映射表
根据本发明的一个实施例，如果识别出数据转换类型是数据类型转换，则根据数据类型转换的资源特性参数预测数据转换节点服务器在数据提取阶段、数据处理阶段以及数据存储阶段的资源能耗参数预测数据转换节点服务器的能耗参数。由于数据类型转换在数据提取阶段和数据存储阶段对CPU资源需求比较低，因此将CPU的能耗设置为低“L”。在数据类型转换的数据处理阶段，可以根据具体的数据类型转换确定具体数据类型转换对应的CPU能耗状况，对于数值型之间的转换，例如整型(int)转换为双精度型(double)由于不需要耗费太多的计算资源，因此可以预测CPU的能耗需求为低“L”。对于数值型与字符型之间的转换，例如整型转换为字符串型，字符串型转换为整型，由于消耗较多计算资源的数据转换类型，因此可以预测将CPU的能耗需求为中“M”。在具体实现上，可以预先将可能用到的数据类型转换对应的CPU能耗需求状况作为知识库记录下来，通过查询知识库获取对应于具体数据转换类型的CPU能耗需求状况。对于内存和磁盘I/O的能耗状况，由于在数据处理阶段不占用内存和磁盘资源，因此内存利用率和磁盘I/O利用率可以设置为低“L”，而在数据提取阶段和数据存储阶段需要占用内存和磁盘的资源，需要根据数据转换每次读写的数据大小和读写次数确定内存利用率和磁盘I/O利用率，根据本发明的实施例，可以预先构建例如上述表1中的资源特性映射表，预先设置每次读写的数据大小的第一阈值S1和第二阈值S2，以及数据类型转换的次数的第一阈值C1和第二阈值C2，并根据经验值划分出内存利用率和磁盘I/O利用率的高、中、低。通过将获取的数据类型转换的资源特性参数中每次读写的数据大小和数据类型转换的次数与资源特性映射表中的参数比较，来确定内存利用率和磁盘I/O利用率的高、中、低。
根据本发明的一个实施例，如果识别出数据转换类型是宏变换，则根据宏变换的资源特性参数预测数据转换节点服务器在数据提取阶段、数据处理阶段以及数据存储阶段的资源能耗参数预测数据转换节点服务器的能耗参数。对于处理阶段的计算资源，首先计算CPU负载，为了获得宏运算中基本操作的次数，可以对宏运算进行语义分析来产生解析树，解析树的节点由程序节点、基本操作节点以及操作数节点构成，对基本操作节点进行统计并除以执行时间，从而得到单位时间内每个基本操作的执行次数。对于完成一个基本操作的CPU负载，可以在具体的运行环境中针对使用某种语言实现的基本操作测算完成该基本操作所需的CPU负载，例如Pentium CPU可以在一个时钟周期内完成一项c语言的加法运算。将单位时间内每个基本操作执行的次数与完成一个该基本操作的CPU负载相乘得到单位时间内完成全部该基本操作的CPU负载。进一步对宏运算所有基本操作的CPU负载进行加权求和得到宏运算的CPU负载。即，根据上述解析树的结果分别计算宏运算中每个基本操作在数据处理阶段的CPU负载，并对所有基本操作的CPU负载进行加权求和，得到一次宏运算所需的CPU负载。
以下示出根据本发明实施例的坐标变换(x，y，z→x’，y’，z’)的数据转换规则示例，其中的数据转换规则的操作类型是宏运算，宏运算次数为2。
If(direction’＝direction；origin＝origin’)then
   X’＝(x+offset_x)*2*0.3048；
   Y’＝(width+offset_y-y)*2*0.3048；
   Z’＝Z*4.445/100+raised_height
对上述宏运算进行语义分析来产生解析树，解析树包括：if节点，加法节点，减法节点，乘法节点以及除法节点，最后的统计结果是：加法执行次数是3，减法执行次数是1，乘法执行次数是5，除法执行次数是1。由于浮点型的乘除运算和加减运算次数较多，在特定的硬件环境中，这个数据转换规则在处理阶段的CPU负载较高。
对于宏运算在数据提取阶段和数据存储阶段CPU能耗状况，可以用数据提取阶段或数据存储阶段的CPU负载来衡量，根据本发明的实施例，可以预先构建例如表2中的CPU资源特性映射表，利用一次宏运算所需的CPU负载和宏运算次数来确定CPU的资源需求，其中可以利用以下方法获得一次宏运算所需的CPU负载，即，根据上述解析树的结果分别计算宏运算中每个基本操作在数据提取阶段或数据存储阶段的CPU负载，并对提取阶段和存储阶段的CPU负载进行加权求和，得到一次宏运算所需的CPU负载。可以预先设置一次宏运算所需的CPU负载的第一阈值X1和第二阈值X2，以及宏运算次数的第一阈值C1和第二阈值C2，并根据经验值划分出CPU负载的高、中、低。将一次宏运算在数据读取阶段或数据存储阶段的CPU负载以及宏运算的次数分别与表2中的CPU负载的第一阈值X1和第二阈值X2以及宏运算次数的第一阈值和第二阈值进行比较得到CPU能耗的高(H)、中(M)、低(L)。
以上述坐标变换(x，y，z→x’，y’，z’)的数据转换规则为例，在数据提取和数据存储阶段，由于没有数值运算，计算量比较低，宏运算次数小于预定的第一阈值C1，因此CPU负载为低。
Figure BSA00000305165600111
表2CPU的资源特性映射表
对于宏运算在数据提取阶段和数据存储阶段对内存和磁盘读写的能耗状况，根据本发明的实施例，可以构建表3的内存和磁盘资源特性映射表。数据大小分别对应于数据提取阶段和数据存储阶段每次读写的数据大小，次数对应于提取和存储的数值个数，可以从解析树获得。对每次读写的数据大小设置第一阈值S1和第二阈值S2，对基本运算次数设置第一阈值C1和第二阈值C2，对于阈值S1和S2以及C1和C2的选取，可以根据资源使用的实际情况来设定，并且对于内存利用率M和磁盘I/O利用率的高H、中M、低L的标准也可以根据不同的标准来设定。通过将宏变换在数据提取阶段或数据存储阶段获取的资源特性参数中每次读写的数据大小和数据类型转换的次数与资源特性映射表中的参数比较，来确定内存利用率M和磁盘I/O利用率D的高(H)、中(M)、低(L)。
以上述坐标变换(x，y，z→x’，y’，z’)的数据转换规则为例，从解析树可以看出提取阶段提取的数值数为11个，存储阶段存储的数值数为3个，数据提取和数据存储阶段涉及的数值数比较小，基本运算执行的次数比较少，每次读写的数据大小也比较小，因此内存利用率和磁盘I/O利用率均为低。
Figure BSA00000305165600121
表3内存和磁盘的资源特性映射表
由于宏运算在数据处理阶段进行计算时不需要使用磁盘资源，因此磁盘I/O使用率为低“L”，而内存使用率需要根据具体情况来确定，根据本发明的实施例，可以构建表4的内存资源特性映射表，根据处理阶段每次读写的数据大小和中间数值的个数来确定内存利用率的高、中和低。中间数值的个数可以通过解析树来获得，对每次读写的数据大小设置第一阈值S1和第二阈值S2，对中间数值的个数设置第一阈值C1和第二阈值C2，对于阈值S1和S2以及C1和C2的选取，可以根据资源使用的实际情况来设定，并且对于内存利用率M的高H、中M、低L的标准也可以根据不同的标准来设定。通过将宏变换处理过程中获取的资源特性参数中每次读写的数据大小和中间数值的个数与资源特性映射表中的参数比较，来确定内存利用率M的高(H)、中(M)、低(L)。
以上述坐标变换(x，y，z→x’，y’，z’)的数据转换规则为例，在数据处理阶段，从解析树可以看出中间数值个数为6，每次读写的数据大小也比较小，因此内存利用率为低。
Figure BSA00000305165600131
表4内存资源特性映射表
接着，前进到步骤S207，判断转换规则是否处理完毕，如果判断结果为否，则返回到步骤S201，导入新的数据转换规则进行分析；如果判断结果为是，则步骤前进到S208，根据预测的数据转换节点服务器的资源能耗参数部署数据转换节点服务器的资源能耗优化策略。具体地，预测的数据转换节点服务器的资源能耗参数包括数据提取阶段、数据处理阶段以及数据存储阶段的资源能耗参数，根据三个阶段的资源能耗参数来部署数据转换节点服务器的资源能耗优化策略，应该理解，资源的能耗优化策略可以是现有技术中能够实现资源能耗优化分配的任何策略。
以上述坐标变换(x，y，z→x’，y’，z’)的数据转换规则为例，通过上述方法分析得到表5所示的本发明的示例在三个阶段预测的资源能耗参数。数据转换节点服务器可以根据三个阶段的资源能耗参数来部署三个阶段的CPU、内存和磁盘的能耗优化策略。如表5所示，CPU的能耗在数据提取阶段和数据存储阶段均为低，因此可以降低CPU电压和频率来降低能耗，CPU的能耗在数据处理阶段为高，因此可以提高CPU电压和频率来提高能耗，内存利用率在三个阶段均为低，因此可以降低内存的访问频率，磁盘I/O利用率在数据提取阶段为中，在数据处理阶段和数据存储阶段为低，对于具有多个电源状态的磁盘可以调节磁盘的电源状态，对于具有多转速的磁盘可以调整磁盘的转速，来增加或减少磁盘的能耗。实际应用中可以统计系统资源的总能耗需求，并根据预测的数据转换规则的资源能耗参数进行合理调整，从而优化资源能耗分配。
根据本发明实施例的数据转换方法，无需分析历史负载预测资源能耗参数，而是直接根据即将运行的数据转换规则分析数据转换节点服务器的资源能耗参数，从而避免了历史负载与实际负载经常存在较大的偏差导致预测结果不准确，能够提供更为精确、高效的资源能耗预测。
Figure BSA00000305165600141
表5预测三个阶段的资源能耗参数的示例
根据本发明的一个实施例，可以对多个数据转换规则在三个阶段预测的资源使用状况进行分析对比，如果分析结果表明有多个数据转换规则在三个阶段至少有一项能耗参数相同，则可以统一部署数据转换节点服务器的资源的能耗优化策略。将多个数据转换规则聚合在一起进行处理，这样减少了资源能耗频繁调整的次数，提高了能耗优化的效率。
根据本发明的一个实施例，还包括根据预测的数据转换节点服务器在数据提取阶段的能耗参数预测源节点服务器在数据提取阶段的能耗参数，以及根据预测的数据转换节点服务器在数据存储阶段的能耗参数预测源目标节点服务器在数据存储阶段的能耗参数。由于数据提取阶段提取的数据来自源节点服务器以及数据存储阶段要将数据写入目标节点服务器，因此每次读取的数据大小和每次写入的数据大小也分别反映了源节点服务器和目标节点服务器的数据吞吐率，在数据提取阶段和数据存储阶段的CPU负载也反映了源节点服务器和目标节点服务器在此阶段的CPU负载。以上述坐标变换(x，y，z→x’，y’，z’)的数据转换规则为例，根据数据转换节点服务器在数据提取阶段和数据存储阶段的能耗参数可以预测源节点服务器和目标节点服务器在数据提取阶段和数据存储阶段的能耗参数。源节点服务器和目标节点服务器可以根据预测的资源能耗状况来调整资源能耗，部署资源的能耗优化策略。
表6源节点服务器和目标节点服务器的能耗参数的示例
基于同一发明构思，本发明提出一种数据转换器，包括：导入装置，图5示出根据本发明的实施例的数据转换器的框图500，该数据转换器包括：导入装置501，被配置为导入数据转换规则；获取装置502，被配置为从所述数据转换规则中获取源数据定义、目标数据定义和数据转换规则定义；预测装置503，被配置为根据所述源数据定义、目标数据定义以及数据转换规则定义预测数据转换节点服务器的资源能耗参数；以及部署装置504，被配置为根据预测的数据转换节点服务器的资源能耗参数部署数据转换节点服务器的资源能耗优化策略。其中所述能耗参数至少包括CPU能耗、内存利用率以及磁盘I/O利用率的其中之一。
其中预测装置503进一步被配置为根据所述源数据定义、目标数据定义以及数据转换规则定义预测数据转换节点服务器在数据提取阶段、数据处理阶段和数据存储阶段的资源能耗参数。
根据本发明的一个实施例，预测装置503被配置为根据数据转换规则定义识别数据转换规则的操作类型。如果识别出数据转换规则的操作类型是直接拷贝，则基于所述源数据定义和目标数据定义预测数据转换节点服务器在数据提取阶段、数据处理阶段和数据存储阶段的能耗参数。由于直接拷贝在三个阶段都不需要耗费计算资源，因此可以预测三个阶段的CPU能耗为低(L)，可以根据每次写入的数据大小和写入的次数预测数据转换节点服务器在数据提取阶段和数据存储阶段的内存利用率以及磁盘I/O利用率，此外由于在数据处理阶段不占用内存和磁盘资源，因此可以预测内存利用率和磁盘I/O利用率为低“L”。
根据本发明的一个实施例，如果识别出数据转换规则的操作类型是数据类型转换，则基于所述源数据定义和目标数据定义预测数据转换节点服务器在数据提取阶段、数据处理阶段和数据存储阶段的能耗参数。由于数据类型转换在数据提取阶段和数据存储阶段对CPU资源需求比较低，因此将CPU的能耗设置为低“L”，在数据类型转换的数据处理阶段，可以根据具体的数据类型转换确定具体数据类型转换对应的CPU能耗状况。而在数据处理阶段，由于不占用内存和磁盘资源，因此内存利用率和磁盘I/O利用率可以设置为低“L”，而在数据提取阶段和数据存储阶段需要占用内存和磁盘的资源，需要根据数据转换每次读写的数据大小和读写次数确定内存利用率和磁盘I/O利用率。
根据本发明的一个实施例，如果识别出数据转换规则的操作类型是宏变换，则基于所述源数据定义和目标数据定义预测数据转换节点服务器在数据提取阶段、数据处理阶段和数据存储阶段的能耗参数。对于宏运算在三个阶段的CPU能耗状况，可以用三个阶段的CPU负载来衡量。由于宏运算在数据处理阶段进行计算时不需要使用磁盘资源，因此磁盘I/O使用率设置为低“L”，可以根据每次读写的数据大小和中间数值的个数来预测数据转换节点服务器在数据处理阶段的内存利用率。对于数据提取阶段和数据存储阶段内存和磁盘读写的能耗状况，可以根据数据提取阶段和数据存储阶段每次读写的数据大小和对应于数据提取阶段和数据存储阶段处理的数值个数来确定。
根据本发明的一个实施例，其中预测装置503进一步被配置为根据预测的数据转换节点服务器在数据提取阶段的能耗参数预测源节点服务器在数据提取阶段的能耗参数，以及根据预测的数据转换节点服务器在数据存储阶段的能耗参数预测源目标节点服务器在数据存储阶段的能耗参数。
根据本发明的一个实施例，其中部署装置504进一步被配置为对于在数据提取阶段、数据处理阶段和数据存储阶段预测的能耗参数中具有至少一个能耗参数相同的多个数据转换规则，统一部署所述多个数据转换规则在数据转换节点服务器的能耗优化策略。
应当理解，本发明的至少某些方面可以可替代地以程序产品实现。定义有关本发明的功能的程序可以通过各种信号承载介质被传送到数据存储系统或计算机系统，所述信号承载介质包括但不限于，不可写存储介质(例如，CD-ROM)、可写存储介质(例如，软盘、硬盘驱动器、读/写CD ROM、光介质)以及诸如包括以太网的计算机和电话网络之类的通信介质。因此应当理解，在此类信号承载介质中，当携带或编码有管理本发明中的方法功能的计算机可读指令时，代表本发明的可替代实施例。本发明可以硬件、软件、固件或其组合的方式实现。本发明可以集中的方式在一个计算机系统中实现，或以分布方式实现，在这种分布方式中，不同的部件分布在若干互连的计算机系统中。适于执行本文中描述的方法的任何计算机系统或其它装置都是合适的。优选地，本发明以计算机软件和通用计算机硬件的组合的方式实现，在这种实现方式中，当该计算机程序被加载和执行时，控制该计算机系统而使其执行本发明的方法，或构成本发明的系统。
上面出于举例说明的目的，给出了本发明的优选实施例的说明。优选实施例的上述说明不是穷尽的，也不打算把本发明局限于公开的明确形式，显然鉴于上述教导，许多修改和变化是可能的。对本领域的技术人员来说显而易见的这种修改和变化包括在由附加的权利要求限定的本发明的范围内。

Claims (22)

1.一种数据转换方法，包括：
导入数据转换规则；
从所述数据转换规则中获取源数据定义、目标数据定义和数据转换规则定义；
根据所述源数据定义、目标数据定义以及数据转换规则定义预测数据转换节点服务器的资源能耗参数；以及
根据预测的数据转换节点服务器的资源能耗参数部署数据转换节点服务器的资源能耗优化策略。
2.根据权利要求1所述的方法，其中所述资源能耗参数至少包括CPU能耗、内存利用率以及磁盘I/O利用率的其中之一。
3.根据权利要求2所述的方法，其中根据所述源数据定义、目标数据定义以及数据转换规则定义预测数据转换节点服务器的资源能耗参数进一步包括：根据所述源数据定义、目标数据定义以及数据转换规则定义预测数据转换节点服务器在数据提取阶段、数据处理阶段和数据存储阶段的资源能耗参数。
4.根据权利要求3所述的方法，其中根据所述源数据定义、目标数据定义以及数据转换规则定义预测数据转换节点服务器的资源能耗参数进一步包括：根据数据转换规则定义识别数据转换规则的操作类型。
5.根据权利要求4所述的方法，其中所述数据转换规则的操作类型至少包括以下其中之一：直接拷贝、数据类型转换和宏变换。
6.根据权利要求5所述的方法，进一步包括如果识别出数据转换规则的操作类型是直接拷贝或数据类型转换，则根据每次写入的数据大小和写入的次数预测数据转换节点服务器在数据提取阶段和数据存储阶段的内存利用率以及磁盘I/O利用率。
7.根据权利要求5所述的方法，其中进一步包括如果识别出数据转换规则的操作类型是宏变换，则分别根据数据提取阶段和数据存储阶段每次读写的数据大小和处理的数值个数来预测数据提取阶段和数据存储阶段的内存利用率以及磁盘I/O利用率。
8.根据权利要求5所述的方法，其中进一步包括如果识别出数据转换规则的操作类型是宏变换，则根据数据处理阶段每次读写的数据大小和中间数值的个数来预测数据转换节点服务器在数据处理阶段的内存利用率。
9.根据权利要求3-7中任一项权利要求所述的方法，其中进一步包括根据预测的数据转换节点服务器在数据提取阶段的资源能耗参数预测源节点服务器在数据提取阶段的资源能耗参数。
10.根据权利要求3-7中任一项权利要求所述的方法，其中进一步包括根据预测的数据转换节点服务器在数据存储阶段的资源能耗参数预测目标节点服务器在数据存储阶段的资源能耗参数。
11.根据权利要求3-8中任一项权利要求所述的方法，进一步包括对于在数据提取阶段、数据处理阶段和数据存储阶段预测的资源能耗参数中具有至少一个能耗参数相同的多个数据转换规则，统一部署所述多个数据转换规则在数据转换节点服务器的资源能耗优化策略。
12.一种数据转换器，包括：
导入装置，被配置为导入数据转换规则；
获取装置，被配置为从所述数据转换规则中获取源数据定义、目标数据定义和数据转换规则定义；
预测装置，被配置为根据所述源数据定义、目标数据定义以及数据转换规则定义预测数据转换节点服务器的资源能耗参数；以及
部署装置，被配置为根据预测的数据转换节点服务器的能耗参数部署数据转换节点服务器的资源能耗优化策略。
13.根据权利要求12所述的数据转换器，其中所述资源能耗参数至少包括CPU能耗、内存利用率以及磁盘I/O利用率的其中之一。
14.根据权利要求13所述的数据转换器，其中预测装置进一步被配置为根据所述源数据定义、目标数据定义以及数据转换规则定义预测数据转换节点服务器在数据提取阶段、数据处理阶段和数据存储阶段的资源能耗参数。
15.根据权利要求14所述的数据转换器，其中预测装置进一步被配置为根据数据转换规则定义识别数据转换规则的操作类型。
16.根据权利要求15所述的数据转换器，其中所述数据转换规则的操作类型至少包括以下其中之一：直接拷贝、数据类型转换和宏变换。
17.根据权利要求16所述的数据转换器，其中预测装置进一步被配置为如果识别出数据转换规则的操作类型是直接拷贝或数据类型转换，则根据每次写入的数据大小和写入的次数预测数据转换节点服务器在数据提取阶段和数据存储阶段的内存利用率以及磁盘I/O利用率。
18.根据权利要求16所述的数据转换器，其中预测装置进一步被配置为如果识别出数据转换规则的操作类型是宏变换，则分别根据数据提取阶段和数据存储阶段每次读写的数据大小和处理的数值个数来预测数据提取阶段和数据存储阶段的内存利用率以及磁盘I/O利用率。
19.根据权利要求16所述的数据转换器，其中预测装置进一步被配置为如果识别出数据转换规则的操作类型是宏变换，则根据数据处理阶段每次读写的数据大小和中间数值的个数来预测数据转换节点服务器在数据处理阶段的内存利用率。
20.根据权利要求14-18中任一项权利要求所述的数据转换器，其中预测装置进一步被配置为根据预测的数据转换节点服务器在数据提取阶段的能耗参数预测源节点服务器在数据提取阶段的资源能耗参数。
21.根据权利要求14-18中任一项权利要求所述的数据转换器，其中预测装置进一步被配置为根据预测的数据转换节点服务器在数据存储阶段的资源能耗参数预测目标节点服务器在数据存储阶段的资源能耗参数。
22.根据权利要求14-19中任一项权利要求所述的数据转换器，其中部署装置进一步被配置为对于在数据提取阶段、数据处理阶段和数据存储阶段预测的资源能耗参数中具有至少一个能耗参数相同的多个数据转换规则，统一部署所述多个数据转换规则在数据转换节点服务器的资源能耗优化策略。
CN201010507990.XA 2010-09-30 2010-09-30 一种数据转换方法和数据转换器 Active CN102446197B (zh)

Priority Applications (8)

Application Number Priority Date Filing Date Title
CN201010507990.XA CN102446197B (zh) 2010-09-30 2010-09-30 一种数据转换方法和数据转换器
JP2013530683A JP5754824B2 (ja) 2010-09-30 2011-09-22 データ変換方法およびデータ・トランスフォーマ
DE112011103291.9T DE112011103291B4 (de) 2010-09-30 2011-09-22 Datenumwandlungsverfahren und Datenumwandler
US13/239,637 US9110660B2 (en) 2010-09-30 2011-09-22 Data transform method and data transformer
GB1306865.5A GB2497905B (en) 2010-09-30 2011-09-22 Data transform method and data transformer
PCT/EP2011/066528 WO2012041763A1 (en) 2010-09-30 2011-09-22 Data transform method and data transformer
US14/799,929 US9996136B2 (en) 2010-09-30 2015-07-15 Data transform method and data transformer
US15/978,704 US10324511B2 (en) 2010-09-30 2018-05-14 Data transform method and data transformer

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201010507990.XA CN102446197B (zh) 2010-09-30 2010-09-30 一种数据转换方法和数据转换器

Publications (2)

Publication Number Publication Date
CN102446197A true CN102446197A (zh) 2012-05-09
CN102446197B CN102446197B (zh) 2015-11-25

Family

ID=44681118

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010507990.XA Active CN102446197B (zh) 2010-09-30 2010-09-30 一种数据转换方法和数据转换器

Country Status (6)

Country Link
US (3) US9110660B2 (zh)
JP (1) JP5754824B2 (zh)
CN (1) CN102446197B (zh)
DE (1) DE112011103291B4 (zh)
GB (1) GB2497905B (zh)
WO (1) WO2012041763A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104778243A (zh) * 2015-04-09 2015-07-15 天脉聚源（北京）教育科技有限公司 一种字符型数据转换成数值型数据的方法和装置
CN105550163A (zh) * 2015-12-10 2016-05-04 国云科技股份有限公司 一种适用于云平台资源监控的数据转换器实现方法
CN106375328A (zh) * 2016-09-19 2017-02-01 中国人民解放军国防科学技术大学 一种大规模数据分发系统运行时自适应优化方法
CN107819543A (zh) * 2016-09-12 2018-03-20 北京百度网讯科技有限公司 数据传输方法及装置
CN110417880A (zh) * 2019-07-19 2019-11-05 优信拍（北京）信息科技有限公司 一种应用于web开发的数据处理方法、装置及系统
CN113468128A (zh) * 2021-07-21 2021-10-01 上海浦东发展银行股份有限公司 一种数据处理的方法、装置、电子设备及存储介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102446197B (zh) 2010-09-30 2015-11-25 国际商业机器公司 一种数据转换方法和数据转换器
JP5731907B2 (ja) * 2011-06-02 2015-06-10 株式会社東芝 負荷分散装置、負荷分散方法及び負荷分散プログラム
CN103475521B (zh) * 2013-09-10 2016-11-16 杭州华为数字技术有限公司 一种部署服务器的方法和装置
US10362146B1 (en) * 2015-09-30 2019-07-23 Open Text Corporation Method and system for enforcing governance across multiple content repositories using a content broker
US10628217B1 (en) * 2017-09-27 2020-04-21 Amazon Technologies, Inc. Transformation specification format for multiple execution engines
US10599440B2 (en) 2017-12-27 2020-03-24 International Business Machines Corporation Method for sharing processing modules between pipelines
US11250017B2 (en) 2018-04-06 2022-02-15 Matchcraft Llc Object transformation based on object groupings
US10963262B2 (en) 2018-05-09 2021-03-30 International Business Machine Corporation Establishing data pipelines with inclusion of iterative sub-pipelines
KR20210022850A (ko) * 2019-08-21 2021-03-04 삼성전자주식회사 반도체 장치의 성능 부스팅 제어 방법 및 이를 수행하는 반도체 장치
US11983172B2 (en) * 2021-12-07 2024-05-14 Ocient Holdings LLC Generation of a predictive model for selection of batch sizes in performing data format conversion

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1984328A (zh) * 2006-01-10 2007-06-20 英特维数位科技股份有限公司 在播放录制的视讯时用以控制处理器的运算频率的方法
CN101047549A (zh) * 2006-04-10 2007-10-03 华为技术有限公司 数据同步系统及其方法
US20080028249A1 (en) * 2006-03-31 2008-01-31 Agrawal Parag V System and method for adaptive frequency scaling
US20080177424A1 (en) * 2007-01-24 2008-07-24 Wheeler Andrew R Regulating power consumption
US7407108B1 (en) * 2005-05-24 2008-08-05 Sprint Spectrum L.P. Web content power consumption notification for wireless devices
US20090070771A1 (en) * 2007-08-31 2009-03-12 Tom Silangan Yuyitung Method and system for evaluating virtualized environments
US20100005326A1 (en) * 2008-07-03 2010-01-07 International Business Machines Corporation Profiling An Application For Power Consumption During Execution On A Compute Node

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6151608A (en) * 1998-04-07 2000-11-21 Crystallize, Inc. Method and system for migrating data
JP2001167059A (ja) * 1999-12-09 2001-06-22 Hitachi Ltd サービス要求装置およびデータ変換方法およびクライアントオブジェクトを有する計算機
US20090216641A1 (en) 2000-03-30 2009-08-27 Niration Network Group, L.L.C. Methods and Systems for Indexing Content
JP2004078427A (ja) 2002-08-13 2004-03-11 Sony Corp データ変換システム，変換制御装置，プログラム，記録媒体およびデータ変換方法
US7769843B2 (en) * 2006-09-22 2010-08-03 Hy Performix, Inc. Apparatus and method for capacity planning for data center server consolidation and workload reassignment
US7660884B2 (en) 2006-11-10 2010-02-09 International Business Machines Corporation Apparatus, system, and method for generating a resource utilization description for a parallel data processing system
US20090007128A1 (en) * 2007-06-28 2009-01-01 International Business Machines Corporation method and system for orchestrating system resources with energy consumption monitoring
US7930573B2 (en) * 2007-09-18 2011-04-19 International Business Machines Corporation Workload apportionment according to mean and variance
JP4973490B2 (ja) * 2007-12-26 2012-07-11 富士通株式会社 消費電力監視プログラム
US7925873B2 (en) * 2008-03-13 2011-04-12 Oracle America, Inc. Method and apparatus for controlling operating parameters in a computer system
US8145927B2 (en) * 2008-09-17 2012-03-27 Hitachi, Ltd. Operation management method of information processing system
JP4768082B2 (ja) * 2008-10-30 2011-09-07 株式会社日立製作所 情報処理システムの運用管理装置
US20120053925A1 (en) * 2010-08-31 2012-03-01 Steven Geffin Method and System for Computer Power and Resource Consumption Modeling
US8532974B2 (en) * 2010-09-28 2013-09-10 Sentelic Corporation Developing system and method for optimizing the energy consumption of an application program for a digital signal processor
CN102446197B (zh) * 2010-09-30 2015-11-25 国际商业机器公司 一种数据转换方法和数据转换器

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7407108B1 (en) * 2005-05-24 2008-08-05 Sprint Spectrum L.P. Web content power consumption notification for wireless devices
CN1984328A (zh) * 2006-01-10 2007-06-20 英特维数位科技股份有限公司 在播放录制的视讯时用以控制处理器的运算频率的方法
US20080028249A1 (en) * 2006-03-31 2008-01-31 Agrawal Parag V System and method for adaptive frequency scaling
CN101047549A (zh) * 2006-04-10 2007-10-03 华为技术有限公司 数据同步系统及其方法
US20080177424A1 (en) * 2007-01-24 2008-07-24 Wheeler Andrew R Regulating power consumption
US20090070771A1 (en) * 2007-08-31 2009-03-12 Tom Silangan Yuyitung Method and system for evaluating virtualized environments
US20100005326A1 (en) * 2008-07-03 2010-01-07 International Business Machines Corporation Profiling An Application For Power Consumption During Execution On A Compute Node

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104778243A (zh) * 2015-04-09 2015-07-15 天脉聚源（北京）教育科技有限公司 一种字符型数据转换成数值型数据的方法和装置
CN104778243B (zh) * 2015-04-09 2018-12-21 天脉聚源（北京）教育科技有限公司 一种字符型数据转换成数值型数据的方法和装置
CN105550163A (zh) * 2015-12-10 2016-05-04 国云科技股份有限公司 一种适用于云平台资源监控的数据转换器实现方法
CN107819543A (zh) * 2016-09-12 2018-03-20 北京百度网讯科技有限公司 数据传输方法及装置
CN106375328A (zh) * 2016-09-19 2017-02-01 中国人民解放军国防科学技术大学 一种大规模数据分发系统运行时自适应优化方法
CN106375328B (zh) * 2016-09-19 2019-04-23 中国人民解放军国防科学技术大学 一种大规模数据分发系统运行时自适应优化方法
CN110417880A (zh) * 2019-07-19 2019-11-05 优信拍（北京）信息科技有限公司 一种应用于web开发的数据处理方法、装置及系统
CN110417880B (zh) * 2019-07-19 2022-02-11 优信拍（北京）信息科技有限公司 一种应用于web开发的数据处理方法、装置及系统
CN113468128A (zh) * 2021-07-21 2021-10-01 上海浦东发展银行股份有限公司 一种数据处理的方法、装置、电子设备及存储介质
CN113468128B (zh) * 2021-07-21 2023-02-17 上海浦东发展银行股份有限公司 一种数据处理的方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US9110660B2 (en) 2015-08-18
DE112011103291B4 (de) 2015-10-01
DE112011103291T5 (de) 2013-08-29
CN102446197B (zh) 2015-11-25
JP5754824B2 (ja) 2015-07-29
GB2497905A (en) 2013-06-26
US20120084583A1 (en) 2012-04-05
GB2497905B (en) 2017-08-02
US10324511B2 (en) 2019-06-18
WO2012041763A1 (en) 2012-04-05
GB201306865D0 (en) 2013-05-29
US20150316972A1 (en) 2015-11-05
US20180260010A1 (en) 2018-09-13
JP2014501951A (ja) 2014-01-23
US9996136B2 (en) 2018-06-12

Similar Documents

Publication Publication Date Title
CN102446197B (zh) 一种数据转换方法和数据转换器
Parthasarathy et al. Community discovery in social networks: Applications, methods and emerging trends
Capra et al. Measuring application software energy efficiency
Shabestari et al. A taxonomy of software-based and hardware-based approaches for energy efficiency management in the Hadoop
Beghoura et al. Green software requirements and measurement: random decision forests-based software energy consumption profiling
CN103797436A (zh) 用于计算装置的动态电力优化
CN103329132A (zh) 架构优化器
Lara et al. Powersystems. jl—a power system data management package for large scale modeling
Garcia-Martin et al. Identification of energy hotspots: A case study of the very fast decision tree
Mangalampalli et al. WBATimeNet: A deep neural network approach for VM Live Migration in the cloud
Carvalho et al. Autonomous power management in mobile devices using dynamic frequency scaling and reinforcement learning for energy minimization
Zeng et al. Parallelizing stream compression for iot applications on asymmetric multicores
García-Martín et al. Energy-aware very fast decision tree
Behzadnia et al. Dynamic power-aware disk storage management in database servers
Šíma et al. Energy complexity model for convolutional neural networks
Cui et al. Energy-aware partial-duplication task mapping under real-time and reliability constraints
Su et al. Achieving self-aware parallelism in stream programs
Guo et al. A Hopfield neural network approach for power optimization of real-time operating systems
Liu et al. I-Neat: An intelligent framework for adaptive virtual machine consolidation
Falevoz et al. Energy efficiency impact of processing in memory: A comprehensive review of workloads on the upmem architecture
Grishina et al. Data center for smart cities: Energy and sustainability issue
Eibel et al. S trome: Energy-Aware Data-Stream Processing
Ma et al. An ontology-driven method for urban building energy modeling
He et al. Modeling Method of Power Grid CIM Model Based on Graph Data Model
Nguyen et al. Using Fourier series to improve the prediction accuracy of nonlinear Grey Bernoulli model

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant