JP2014501951A - データ変換方法およびデータ・トランスフォーマ - Google Patents

データ変換方法およびデータ・トランスフォーマ Download PDF

Info

Publication number
JP2014501951A
JP2014501951A JP2013530683A JP2013530683A JP2014501951A JP 2014501951 A JP2014501951 A JP 2014501951A JP 2013530683 A JP2013530683 A JP 2013530683A JP 2013530683 A JP2013530683 A JP 2013530683A JP 2014501951 A JP2014501951 A JP 2014501951A
Authority
JP
Japan
Prior art keywords
data
energy consumption
definition
node server
phase
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013530683A
Other languages
English (en)
Other versions
JP5754824B2 (ja
Inventor
リー、リー
リウ、ペイニ
ヤン、ボー
リウ、リアン
チェン、イン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JP2014501951A publication Critical patent/JP2014501951A/ja
Application granted granted Critical
Publication of JP5754824B2 publication Critical patent/JP5754824B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/258Data format conversion from or to a database

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Power Sources (AREA)
  • Remote Monitoring And Control Of Power-Distribution Networks (AREA)
  • Supply And Distribution Of Alternating Current (AREA)
  • Debugging And Monitoring (AREA)

Abstract

【課題】本発明はデータ変換方法およびデータ・トランスフォーマを提供する。
【解決手段】本方法は、データ変換ルールをインポートするステップと、データ変換ルールから、ソース・データ定義、宛先データ定義、およびデータ変換ルール定義を取得するステップと、該ソース・データ定義、宛先データ定義、およびデータ変換ルール定義に従って、データ変換ノード・サーバのリソース・エネルギ消費パラメータを予測するステップと、該データ変換ノード・サーバの予測されたリソース・エネルギ消費パラメータに基づいて、データ変換ノード・サーバのリソース・エネルギ消費最適化方策を展開するステップと、を含む。
【選択図】図5

Description

本発明はデータ変換に関し、具体的には、省エネルギのデータ変換方法およびデータ・トランスフォーマに関する。
データ変換は、データを一つの表現形式から別の表現形式に変換するためにマネジメント・ソフトウェアで広く使われている。例えば、ソフトウェアの全般的なアップグレードは、データベースの全般的なアップグレードをもたらし、ソフトウェアの一本ずつが、そのバックグラウンド・データベース・アーキテクチャおよびデータ・ストレージ形式において異なっており、しかして、多くの場合、データのインポート、エクスポート、および変換が必要となる。さらに、例えば、ますます増大するデータ量の故に、元のデータ・アーキテクチャ設計が実情にそぐわなくなり、さまざまな面において要求事項を満たせず、データベースの置き換えおよびデータ構造体の置き換えによって、データ自体の変換が必要になっている。データ変換は、異なるプロダクトからのデータを統合し、ソフトウェア・プロダクトの融合を実現するプロセスにおいて特に重要である。
データ変換は、システムの多大なリソース・エネルギ消費量を使うので、データ変換過程におけるシステムのエネルギ消費をいかに低減するかが重要な問題になっている。現在、諸研究者が多くの省エネルギ技法を開発しており、これらは動的技法と静的技法との2つのカテゴリに分けられる。静的技法は、低電力消費動作モードに設定することによって、システムが低電力消費状態に入ることを可能にするもので、例えば、チップ内部の相異なるコンポーネントのクロックまたは電源に、低電力消費モード・スイッチが設けられる。しかしながら、静的モードは、リソースの使用状態に応じてリソース・エネルギ消費を動的に調整することはできない。動的技法は、例えば、動的電圧および周波数スケーリング(DVFS:Dynamic Voltage and Frequency Scaling)技術などにより、システムの負荷履歴から今後の負荷状態を予測し、チップの動作周波数および電圧を動的にスケールし、これによって省エネルギの目的を達する。しかしながら、動的技法では、負荷履歴に基づいて次の期間の負荷を予測し、これにより電圧および周波数をどのようにスケールするかの設定が必要となる。各種の予測アルゴリズムは精度が大きく異なり、負荷履歴と実際の負荷との間に比較的大きな狂いがしばしば存在して、予測結果が、実際の適用において非常に不正確なことが間々ある。
従って、データ変換のための、もっと効率的で正確なエネルギ消費制御方法が必要とされている。
本発明は、前述の問題を考慮したデータ変換方法およびデータ・トランスフォーマを提供する。
本発明の第一態様によって、データ変換方法が提供され、該方法は、データ変換ルールをインポートするステップと、データ変換ルールから、ソース・データ定義、宛先データ定義、およびデータ変換ルール定義を取得するステップと、該ソース・データ定義、宛先データ定義、およびデータ変換ルール定義に従って、データ変換ノード・サーバのリソース・エネルギ消費パラメータを予測するステップと、該データ変換ノード・サーバの予測されたリソース・エネルギ消費パラメータに基づいて、データ変換ノード・サーバのリソース・エネルギ消費最適化方策を展開するステップと、を含む。
本発明の第二態様によって、データ・トランスフォーマが提供され、該データ・トランスフォーマは、データ変換ルールをインポートするよう構成されたインポート手段と、データ変換ルールから、ソース・データ定義、宛先データ定義、およびデータ変換ルール定義を取得するよう構成された取得手段と、該ソース・データ定義、宛先データ定義、およびデータ変換ルール定義に従って、データ変換ノード・サーバのリソース・エネルギ消費パラメータを予測するよう構成された予測手段と、該データ変換ノード・サーバの予測されたリソース・エネルギ消費パラメータに基づいて、データ変換ノード・サーバのリソース・エネルギ消費最適化方策を展開するよう構成された展開手段と、を含む。
本発明によるデータ変換方法およびデータ・トランスフォーマは、データ変換ルールに従って、データ変換ノード・サーバのリソース・エネルギ消費パラメータを予測し、しかして、データ変換ノード・サーバのリソース・エネルギ消費パラメータを、より効率的且つ正確に予測することができ、これにより、該データ変換ノード・サーバのリソース・エネルギ消費最適化方策を展開する。
本発明自体、その好適な実施形態、並びに、本発明の目的および利点は、添付の図面と併せ、以下の例示的諸実施形態の説明を参照することによってより良く理解できよう。
本発明のある実施形態によるデータ変換方法を示す。 本発明のある実施形態によるデータ変換方法を示すフロー・チャートである。 ソース・データ定義および宛先データ定義の分析を示すフロー・チャートである。 データ変換ルール定義の分析を示すフロー・チャートである。 本発明のある実施形態によるデータ・トランスフォーマを示すブロック図である。
本発明の目的および利点は、添付の図面と併せ、以下の、本発明の諸実施形態による方法の説明によってより良く理解できよう。
本発明の諸実施形態によるデータ変換方法は、データ変換を、データ抽出フェーズ、データ処理フェーズ、およびデータ格納フェーズの3つのフェーズに分ける。この3つのフェーズにおけるリソース・エネルギ消費パラメータを分析することによって、リソース省エネルギ方策が展開される。データ抽出フェーズとデータ格納フェーズとは、主として、ソース・ノード・サーバの負荷と宛先ノード・サーバの負荷とに影響し、データ処理フェーズは、主としてデータ変換ノード・サーバの負荷に影響するので、ソース・ノード・サーバ、データ変換ノード・サーバ、および宛先ノード・サーバのリソース・エネルギ消費要求は、これら3つのフェーズにおける負荷状態に基づいて評価でき、これにより、エネルギ消費最適化方策を設定することができる。
図1は、本発明のある実施形態によるデータ変換方法を示し、該方法は、データ変換ルールをインポートするステップS101と、データ変換ルールから、ソース・データ定義、宛先データ定義、およびデータ変換ルール定義を取得するステップS102と、該ソース・データ定義、宛先データ定義、およびデータ変換ルール定義に従って、データ変換ノード・サーバのリソース・エネルギ消費パラメータを予測するステップS103と、該データ変換ノード・サーバの予測されたリソース・エネルギ消費パラメータに基づいて、データ変換ノード・サーバのリソース・エネルギ消費最適化方策を展開するステップS104と、を含む。
本発明の本実施形態によれば、リソース・エネルギ消費パラメータは、CPUエネルギ消費、メモリ使用率、およびディスクI/O使用率、の少なくとも一つを含む。データ定義は、データを表現し、内容、範囲、品質、管理モード、データ・オーナー、構成要素のデータ提供モード、データ・セットまたは一連のデータ・セット、などに関する情報を表すためのデータである。本発明は、データ定義により表現されるオブジェクトの違いによって、「ソース・データ定義」および「宛先データ定義」を使い、それぞれ、データ・ソースを表現するためのデータ定義と、データ・ストレージ先を表現するためのデータ定義とを表す。
データ変換ルールは、ソース・データ定義により表現された形式から、宛先データ定義により表現される形式にどのようにデータを変換するかを規定するために使われる。典型的なデータ変換ルールは、少なくとも、変換ルール識別子(随意)、ソース・データのデータ・オブジェクト、宛先データのデータ・オブジェクト、および処理方式を含む。以下に、あるデータ変換ルールのクラスBNF定義を示す。
TransformationRule::={[RuleID]“:”<SourceDataAttribute>“:”<DestinationDataAttribute>“:”<Operation>}
Operation::={DirectCopy|TypeConvert|Macro}
このデータ変換ルール定義は、ソース・データ定義から宛先データ定義にどのように変換するかを表すための複数のデータ変換オペレーションを含む。
[ソース・データ定義の例]
以下の例は、XMLスキーマの形式でのソース・データ定義“ke9_crac_data”を表し、これは“Node”、“Begin_Time”、“Description”および“Ambient_Temp”からこの順番に成る複合データ型を含み、これらのデータ型は、それぞれ「varchar型」、「string型」、「varchar型」、および「real型」である。
Figure 2014501951
[宛先データ定義の例]
以下の例は、XMLスキーマの形式での宛先データ定義“CRAC_dynamic”を表し、これは“node”、“begin”、“description”および“ambient_Temp”からこの順番に成る複合データ型を含み、これらの型は、それぞれ「varchar型」、「Date型」、「varchar型」、および「real型」である。
Figure 2014501951
[データ変換ルール定義の例]
以下の例は、前述の2つの例に基づき、どのようにソース・データ定義“ke9_crac_data”から宛先データ定義“CRAC_dynamic”に変換するかを、XMLの形式で表す。この例は、ソース・データ型の“Node”、“Begin_Time”、“Description”および“Ambient_Temp”から、それぞれ、宛先データ定義の“node”、“begin”、“description”および“ambient_Temp”に変換するための4つのデータ変換ルールを含み、それぞれの変換オペレーションは、「等価(equal)」、「タイムスタンプ変換(timestampConvert)」、「等価」、および「等価」であり、このことは“Begin_Time”に対してはデータ型転換のオペレーションが遂行され、他のデータ型に対しては直接コピーのオペレーションが行われることを示す。
Figure 2014501951
図2は、本発明のある実施形態によるデータ変換方法を示すフロー・チャートである。ステップS201で、データ変換ルールをインポートし、例えば、前述のデータ変換ルールの例においては、ソース・データ定義の“Node”、“Begin_Time”、“Description”、および“Ambient_Temp”から、それぞれ、宛先データ定義の“node”、“begin”、“description”および“ambient_Temp”に変換するため、ソース・データ定義“ke9_crac_data”から宛先データ定義“CRAC_dynamic”に、XMLの形式でどのように変換するかを表すデータ変換ルールをインポートする。
ステップS202で、このデータ変換ルールから、ソース・データ定義、宛先データ定義、およびデータ変換ルール定義を取得し、例えば、前述のデータ変換ルールの例においては、ソース・データ定義“ke9_crac_data”、宛先データ定義“CRAC_dynamic”、並びに、ソース・データ定義“ke9_crac_data”から宛先データ定義“CRAC_dynamic”にどのように変換するかを表すデータ変換ルール定義を取得する。
ステップS203およびS204で、それぞれ、ソース・データ定義および宛先データ定義を分析する。図3は、ステップS203およびS204におけるソース・データ定義および宛先データ定義の分析を詳しく示したフロー・チャートである。ステップS301で、最初にソース・データの型および宛先データの型を識別する。ステップS302で、ソース・データの型および宛先データの型が単純データ型かどうかを判断する。本明細書では、データの型を単純データ型と複合データ型とに分類する。この単純データ型は、最下位の抽象層中に格納された値であり、比較的高速の演算速度を有する単純な値をだけを表現する。多く見られる単純データ型には、整数型、Float型、文字(Char)型、Double型、Decimal型、バイナリ・ラージ・オブジェクト(BLOB:Binary Large Object)型、および列挙(Enum:Enumeration)型などが含まれる。複合データ型は、相互に関連付けられた複数の単純データ型を組み合わせて形成された有機的な統一体である。上記判断の結果が「いいえ」の場合、ステップS303で、その複合データ型を分割し、プロセスは、複合データ型が単純データ型に分割されるまで、識別のためのステップS301に戻る。判断の結果が「はい」の場合、ステップS304でデータ型を記録する。ステップS305で、識別された単純データ型に対して毎回読み書きされるデータのサイズを計算し、このサイズは、その型定義によって決まり、周知の一般知識である。例えば、Javaのデータ型に対しては、整数型、Float型、文字(Char)型などの単純データ型のデータのサイズは、それぞれ、32ビット、32ビット、16ビットである。ただし、識別された複合データ型に対しては、これが相互に関連付けられた複数の単純データ型によって形成されているので、毎回読み書きされるデータのサイズは、単純データ型のデータのサイズの合計となる。
ステップS205で、データ変換ルール定義を分析する。図4は、データ変換ルール定義の分析を詳しく示したフロー・チャートである。ステップS401で、最初にデータ変換ルールの処理方式を識別する。データ変換ルールの処理方式が直接コピーであると識別された場合、ステップS402で、ソース・データ定義および宛先データ定義に対する分析の結果に基づいて、直接コピーのリソース特性パラメータを計算する。具体的には、直接コピーのリソース特性パラメータは、変換ルール識別子、毎回読み書きされるデータのサイズ、直接コピーの回数、およびCPU負荷を含む。データ変換ルールの処理方式がデータ型転換であると識別された場合、ステップS403で、ソース・データ定義および宛先データ定義に対する分析の結果に基づいて、データ型転換のリソース特性パラメータを計算する。具体的には、データ型転換は、データの型の間の変換であって、データ型転換のリソース特性パラメータは、データ型転換ルール識別子、毎回読み書きされるデータのサイズ、データ型転換の回数、およびCPU負荷を含む。データ変換ルールの処理方式がマクロ転換であると識別された場合、ステップS404で、ソース・データ定義および宛先データ定義に対する分析の結果に基づいて、マクロ転換のリソース特性パラメータを計算する。具体的には、マクロ転換のリソース特性パラメータは、マクロ転換ルール識別子、毎回読み書きされるデータのサイズ、マクロ演算のCPU負荷、マクロ演算の回数、単位時間内に遂行される基本演算の回数、および基本演算を遂行するためのCPU負荷を含む。
プロセスはステップS206に進み、データ変換ノード・サーバのリソース・エネルギ消費パラメータを予測する。具体的には、データ変換ルールに則して、データ抽出フェーズ、データ処理フェーズ、およびデータ格納フェーズそれぞれにおける、データ変換ノード・サーバのリソース・エネルギ消費パラメータを予測する。
本発明のある実施形態によれば、データ変換様式が直接コピーであると識別された場合、直接コピーのリソース特性パラメータに基づいて、データ抽出フェーズ、データ処理フェーズ、およびデータ格納フェーズにおけるデータ変換ノード・サーバのリソース・エネルギ消費パラメータを予測する。直接コピーは、上記3つのフェーズにおいて計算リソースの消費を必要としないので、該3つのフェーズ全てにおけるCPU負荷は低く(L:low)、CPUエネルギ消費は低(L)であると予測することができる。さらに、データ処理フェーズにおいては、直接コピーはメモリおよびディスク・リソースを占有しないので、メモリ使用率およびディスクI/O使用率の両方とも低(L)であることが予測可能である。しかしながら、データ抽出フェーズおよびデータ格納フェーズにおいては、メモリ使用率およびディスクI/O使用率には、毎回読み書きされるバイトの数(サイズ)、読み/書きの回数(カウント)およびハード・ディスクの特性が関連してくる。これにより、メモリ使用率およびディスクI/O使用率に対する、毎回読み書きされるバイトの数(サイズ)および読み/書きの回数(カウント)の影響が考慮に入れられる。ディスクが最大速度に達していなければ、毎回読み書きされるバイトの数(サイズ)、または読み/書きの回数(カウント)が大きいほど、メモリ使用率およびディスクI/O使用率は高くなる。本発明のある実施形態によれば、毎回読み書きされるデータのバイトの数(サイズ)および読み/書きの回数(カウント)に基づいて、表1のリソース特性マッピング表を前もって作表することができ、毎回読み書きされるデータのサイズに対し第一閾値S1および第二閾値S2が事前設定され、読み/書きの回数(カウント)に対し第一閾値C1および第二閾値C2が事前設定される。表中のMはメモリ使用率を表し、DはディスクI/O使用率を表し、L、M、およびHはそれぞれ、メモリ使用率およびディスクI/O使用率の低、中、および高を表す。表1から、毎回読み書きされるデータのサイズsが第一閾値S1より小さく、読み/書きの回数cが第一閾値C1よりも少なければ、毎回読み書きされるデータのサイズは比較的に小さく、読み/書きの回数は比較的に少なくなるので、メモリ使用率はより低く、ディスクI/O使用率もより低くなって、MおよびDは「L」に設定されるのが分かる。データのサイズsの増大および読み書きの回数の増加とともに、メモリ使用率およびディスクI/O使用率に対する要求がますます増加する。毎回読み書きされるデータのサイズがS1≦s≦S2であり、読み/書きの回数がC1≦c≦C2のとき、MおよびDは、それぞれ「M」に設定され、毎回読み書きされるデータのサイズがs>S2であり、読み/書きの回数がc>C2のとき、MおよびDは、それぞれ「H」に設定されることが分かる。閾値S1およびS2並びにC1およびC2については、リソースの実際の使用状態に基づいてこれらを設定することができ、メモリ使用率MおよびディスクI/O使用率Dを、高(H)、中(M)、または低(L)とする基準については、例えば、10%より低いメモリ使用率を「L」とし、80%より高いメモリ使用率を「H」とするなど、いろいろな基準に基づいてこれらを設定することができる。得られた直接コピーのリソース特性パラメータ中の、毎回読み書きされるデータのサイズおよび読み/書きの回数を、リソース特性のマッピング表中のパラメータと比較することによって、メモリ使用率およびディスクI/O使用率が高か、中か、または低か、を判定することができる。
Figure 2014501951
本発明のある実施形態によれば、データ変換様式がデータ型転換であると識別された場合、データ型転換のリソース特性パラメータに基づいて、データ抽出フェーズ、データ処理フェーズ、およびデータ格納フェーズにおけるデータ変換ノード・サーバのリソース・エネルギ消費パラメータが予測される。データ型転換は、データ抽出フェーズおよびデータ格納フェーズにおいてCPUリソースに対する要求が比較的に低いので、CPUのエネルギ消費は低「L」に設定される。データ型転換のデータ処理フェーズにおいて、特定のデータ型転換に対応するCPUエネルギ消費状態は、その特定のデータ型転換に基づいて判定することができる。数値型の間の転換、例えば整数型(int:integer type)からDouble型への転換に対しては、これは過度の計算リソースを消費する必要がないので、CPUのエネルギ消費要求は低「L」であると予測することが可能である。数値型と文字型との間の転換、例えば、整数型(int)から文字列型への転換、または文字列型から整数型(int)への転換に対しては、これはより多くの計算リソースを消費することになるので、CPUのエネルギ消費要求は中「M」であると予測することができる。具体的な実装では、使用可能性のあるデータ型転換に対応するCPUエネルギ消費要求条件を、前もって知識データベースとして記録しておくことができる。この知識データベースを読み出すことによって、特定のデータ変換様式に対応するCPUエネルギ消費要求条件を得ることが可能である。メモリおよびディスクI/Oのエネルギ消費状態については、データ処理フェーズではメモリおよびディスク・リソースが占有されないので、メモリ使用率およびディスクI/O使用率を低「L」として設定することができ、データ抽出フェーズおよびデータ格納フェーズにおいては、メモリおよびディスク・リソースを占有する必要があり、毎回読み書きされるデータのサイズおよび読み/書きの回数に基づいて、メモリ使用率およびディスクI/O使用率を判定する必要がある。本発明のある実施形態によれば、例えば表1に示すような、リソース特性マッピング表を前もって作表することが可能で、毎回読み書きされるデータのサイズに対する第一閾値S1および第二閾値S2、並びにデータ型転換の回数に対する第一閾値C1および第二閾値C2を事前設定することができ、メモリ使用率およびディスクI/O使用率を、経験値に基づいて高、中、および低に分類することができる。得られたデータ型転換のリソース特性パラメータ中の、毎回読み書きされるデータのサイズおよびデータ型転換の回数を、リソース特性マッピング表中のパラメータと比較することによって、メモリ使用率およびディスクI/O使用率の、高、中、および低を判定することができる。
本発明のある実施形態によれば、データ変換様式がマクロ転換であると識別された場合、マクロ転換のリソース特性パラメータに基づいて、データ抽出フェーズ、データ処理フェーズ、およびデータ格納フェーズにおけるデータ変換ノード・サーバのリソース・エネルギ消費パラメータが予測される。処理フェーズにおけるリソースの計算のため、最初にCPU負荷が計算される。マクロ演算中の基本演算の回数を得るために、マクロ演算を意味的に分析して構文解析ツリーを生成することができ、この構文解析ツリーのノードは、プログラム・ノード、基本演算ノード、およびオペランド・ノードを含む。基本演算ノードに対し統計処理を行い、それを実行時間で除することによって、単位時間当たりに実行された各基本演算の回数を得ることができる。基本演算を実行するCPUの負荷については、基本演算を実行するために必要なCPU負荷は、個別のオペレーティング環境において特定の言語を使って実装される基本演算に対して評価を行うことができ、例えば、ペンティアム(R)CPUは、C言語の加算演算を1クロック期間で実行することができる。単位時間に実行される各基本演算の回数を、1基本演算を行うため必要なCPU負荷に乗ずることによって、単位時間における全基本演算を実行するため必要なCPU負荷を得ることが可能である。さらに、マクロ演算の全基本演算のCPU負荷の加重合計を行うことによって、そのマクロ演算のCPU負荷が得られる。すなわち、構文解析ツリーの結果に基づいて、データ処理フェーズにおけるマクロ演算中の各基本演算のCPU負荷をそれぞれ計算し、全基本演算のCPU負荷の加重合計を行うことによって、1つのマクロ演算に必要なCPU負荷が得られる。
以下は、本発明のある実施形態による、座標変換(x,y,z→x’,y’,z’)に対するデータ変換ルールを示す一例であり、データ変換ルールの処理方式はマクロ演算で、マクロ演算の回数は2である。
If (direction’=direction; origin=origin’) then
X’=(x+offset_x)*2*0.3048;
Y’=(width+offset_y−y)*2*0.3048;
Z’=Z*4.445/100+raised_height
上記のマクロ演算は意味的に分析され、ifノード、加算ノード、減算ノード、乗算ノード、および除算ノードを含む構文解析ツリーが生成され、最終統計結果は、加算の回数が3、減算の回数が1、乗算の回数が5、および除算の回数が1である。特定のハードウェア環境においては、Float型は、より多くの乗算および除算の演算、並びに加算および減算の演算を有するので、そのデータ変換ルールは、処理フェーズにおいてより高いCPU負荷を有する。
データ抽出フェーズおよびデータ格納フェーズにおけるマクロ演算のCPUのエネルギ消費状態については、データ抽出フェーズまたはデータ格納フェーズにおけるCPU負荷によってこれらを測定することができる。本発明のある実施形態によれば、例えば表2に示すような、CPUリソース特性マッピング表を前もって作表することができ、CPUのリソース要求は、1マクロ演算に必要なCPU負荷およびマクロ演算の回数を使って算定され、1マクロ演算に必要なCPU負荷は以下の方法によって得ることができる。すなわち、構文解析ツリーの結果に基づき、データ抽出フェーズまたはデータ格納フェーズにおけるマクロ演算中の各基本演算のCPU負荷をそれぞれ計算し、データ抽出フェーズおよびデータ格納フェーズにおけるCPU負荷の加重合計を行うことによって、1マクロ演算に必要なCPU負荷を得る。1マクロ演算に必要なCPU負荷の第一閾値X1および第二閾値X2、並びにマクロ演算の回数に対する第一閾値C1および第二閾値C2が事前設定され、CPU負荷を経験値に基づいて高、中、および低に分類することができる。データ抽出フェーズまたはデータ格納フェーズにおける1マクロ演算のCPU負荷とマクロ演算の回数とを、それぞれ、表2中の、CPU負荷の第一閾値X1および第二閾値X2と、マクロ演算の回数の第一閾値C1および第二閾値C2と比較することによって、CPUのエネルギ消費の高(H)、中(M)、または低(L)を判定することができる。
座標変換(x,y,z→x’,y’,z’)に対する上記データ変換ルールを例として取り上げると、データ抽出フェーズおよびデータ格納フェーズでは数値演算がないので計算量は比較的に低く、しかして、マクロ演算の回数が事前設定の第一閾値C1より少なくCPU負荷は低である。
Figure 2014501951
データ抽出フェーズおよびデータ格納フェーズにおけるマクロ演算のメモリおよびディスク読み/書きエネルギ消費状態に対し、表3に示すような、メモリおよびディスク・リソース特性マッピング表を作表することができ、表のデータ・サイズはそれぞれ、データ抽出フェーズおよびデータ格納フェーズにおいて毎回読み書きされるデータのサイズに対応し、カウントは、抽出・格納される数値の個数に対応し、これらは構文解析ツリーから得ることができる。毎回読み書きされるデータのサイズに対し、第一閾値S1および第二閾値S2が設定され、諸基本演算のカウントに対し、第一閾値C1および第二閾値C2が設定される。第一閾値S1および第二閾値S2並びに第一閾値C1および第二閾値C2については、これらはリソースの実際の使用状態に基づいて設定することができ、メモリ使用率MおよびディスクI/O使用率Dを高(H)、中(M)、または低(L)とするための基準については、いろいろな基準に従ってこれらを設定することができる。データ抽出フェーズまたはデータ格納フェーズにおいて得られたリソース特性パラメータ中の、毎回読み書きされるデータのサイズおよびマクロ転換のデータ型転換の回数を、このリソース特性マッピング表中のパラメータと比較することによって、メモリ使用率MおよびディスクI/O使用率Dが高(H)か、中(M)か、または低(L)か、を判定することができる。
前述の座標変換(x,y,z→x’,y’,z’)に対するデータ変換ルールを例として取り上げると、構文解析ツリーから、データ抽出フェーズで抽出された数値の個数は11であり、データ格納フェーズで格納された数値の個数は3であり、データ抽出およびデータ格納フェーズにおいて関与する数値の個数は比較的に少なくて、諸基本演算のカウントが少なく、毎回読み書きされるデータのサイズも比較的に小さいので、メモリ使用率およびディスクI/O使用率は両方とも低であることが分かる。
Figure 2014501951
マクロ演算はデータ処理フェーズにおいてディスク・リソースを必要としないので、ディスクI/O使用率は低「L」であり、メモリ使用率は個別の条件によって決まることになる。本発明のある実施形態によれば、表4に示すような、メモリ・リソース特性マッピング表を作表することができ、メモリ使用率は、データ処理フェーズにおいて毎回読み書きされるデータのサイズおよび中間値の総数に基づいて、その高、中、または低が判定される。中間値の総数は、構文解析ツリーから得ることができる。毎回読み書きされるデータのサイズに対して第一閾値S1および第二閾値S2が設定され、中間値の総数に対して第一閾値C1および第二閾値C2が設定される。第一閾値S1および第二閾値S2並びに第一閾値C1および第二閾値C2については、これらは実際のリソースの使用状態に基づいて設定することができ、メモリ使用率Mを高(H)、中(M)、または低(L)とするための基準については、いろいろな基準に従ってこれらを設定することができる。マクロ転換の過程で得られたリソース特性パラメータ中の、毎回読み書きされるデータのサイズおよび中間値の個数を、リソース特性パラメータのマッピング表中のパラメータと比較することによって、メモリ使用率Mが高(H)か、中(M)か、または低(L)か、を判定することができる。
前述の座標変換(x,y,z→x’,y’,z’)に対するデータ変換ルールを例として取り上げると、構文解析ツリーから、中間値の個数は6であり、毎回読み書きされるデータのサイズも比較的に小さいので、メモリ使用率は低であることが分かる。
Figure 2014501951
次に、プロセスはステップS207に進み、変換ルールの処理が完了したかどうかを判断する。この判断結果が「いいえ」であれば、プロセスはステップS201に戻り、新しいデータ変換ルールをインポートして分析する。判断結果が「はい」の場合は、プロセスはステップS208に進み、データ変換ノード・サーバの予測されたリソース・エネルギ消費パラメータに基づいて、該データ変換ノード・サーバのリソース・エネルギ消費最適化方策を展開する。具体的には、データ変換ノード・サーバの予測されたリソース・エネルギ消費パラメータは、データ抽出フェーズ、データ処理フェーズ、およびデータ格納フェーズにおけるリソース・エネルギ消費パラメータを含み、データ変換ノード・サーバのリソース・エネルギ消費最適化方策は、これら3つのフェーズのリソース・エネルギ消費パラメータに基づいて展開される。このリソース・エネルギ消費最適化方策は、リソース・エネルギ消費の最適化された配分を実現することの可能な、従来技術中の任意の方策とすることができることを理解すべきである。
前述の座標変換(x,y,z→x’,y’,z’)に対するデータ変換ルールを例として取り上げると、前述の分析によって、表5に示された、上記3つのフェーズにおいて予測されたリソース・エネルギ消費パラメータが得られる。データ変換ノード・サーバは、3つのフェーズにおけるリソース・エネルギ消費パラメータに基づいて、該3つのフェーズにおける、CPU、メモリ、およびディスクのエネルギ消費最適化方策を展開することができる。表5に示されるように、データ抽出フェーズおよびデータ格納フェーズ両方におけるCPUのエネルギ消費は低いので、CPUの電圧と周波数とを低減して、エネルギ消費を軽減することが可能であり、データ処理フェーズにおけるCPUのエネルギ消費は高く、従って、CPUの電圧および周波数を増大して、エネルギ消費を増やすことができる。メモリ使用率は3フェーズの全てで低であり、メモリのアクセス頻度は低減が可能である。ディスクI/O使用率は、データ抽出フェーズにおいては中(M)であり、データ処理フェーズおよびセット格納フェーズでは低(L)であり、ディスクのエネルギ消費は、複数の電力供給状態を有するディスクに対してはディスクの電力供給状態を調整することによって、複数の回転速度を有するディスクに対しては回転速度を調整することによって、増大または低減することができる。実際の応用において、システム・リソースの全体的エネルギ消費要求の統計処理を行い、データ変換ルールの予測されたリソース・エネルギ消費パラメータに基づいて、システム・リソースを合理的に調整し、これによりリソース・エネルギ消費の配分を最適化することができる。
本発明のある実施形態によるデータ変換方法は、リソース・エネルギ消費パラメータを予測するために負荷履歴の分析を行うことを必要とせず、直接、使用されるデータ変換ルールに従ってデータ変換ノード・サーバのリソース・エネルギ消費パラメータを分析し、これにより、負荷履歴と実際の負荷との間の大きな逸脱に起因する不正確な予測結果を回避し、より正確で効率的なリソース・エネルギ消費予測を提供することができる。
Figure 2014501951
本発明のある実施形態によれば、3つのフェーズにおいて、複数のデータ変換ルールによって予測されたリソース使用状態を分析して比較することができる。分析の結果が、3つのフェーズにおいて少なくとも一つの同一のエネルギ消費パラメータを有する複数のデータ変換ルールがあることを示している場合、データ変換ノード・サーバのリソース・エネルギ消費最適化方策を一様に展開することが可能である。複数のデータ変換ルールを一緒に統合して処理することによって、リソース・エネルギ消費を高頻度で調整する回数が低減され、エネルギ消費最適化の効率が向上する。
本発明のある実施形態によれば、上記方法は、データ抽出フェーズにおけるデータ変換ノード・サーバの予測されたエネルギ消費パラメータに基づいて、データ抽出フェーズにおけるソース・ノード・サーバのエネルギ消費パラメータを予測するステップと、データ格納フェーズにおけるデータ変換ノード・サーバの予測されたエネルギ消費パラメータに基づいて、データ格納フェーズにおける宛先ノード・サーバのエネルギ消費パラメータを予測するステップと、をさらに含む。データ抽出フェーズにおいて抽出されたデータは、ソース・ノード・サーバからもたらされ、データ格納フェーズにおいて宛先ノード・サーバに該データが書き込まれることになるので、毎回読み取られるデータのサイズおよび毎回書き込まれるデータのサイズは、それぞれ、ソース・ノード・サーバおよび宛先ノード・サーバのデータ・スループットに反映する。また、データ抽出フェーズとデータ格納フェーズとにおけるCPU負荷も、そのフェーズにおけるソース・ノード・サーバと宛先ノード・サーバとにおけるCPU負荷に反映する。前述の座標変換(x,y,z→x’,y’,z’)に対するデータ変換ルールを例として取り上げると、データ抽出フェーズとデータ格納フェーズとにおけるソース・ノード・サーバと宛先ノード・サーバとに対するエネルギ消費パラメータは、データ抽出フェーズとデータ格納フェーズとにおけるデータ変換ノード・サーバのエネルギ消費パラメータに基づいて予測することが可能である。ソース・ノード・サーバおよび宛先ノード・サーバは、予測されたリソース・エネルギ消費状態に基づいてリソース・エネルギ消費を調整し、リソース・エネルギ消費最適化方策を展開することができる。
Figure 2014501951
同じ発明概念によって、本発明はデータ・トランスフォーマを提案する。図5は、本発明のある実施形態によるデータ・トランスフォーマを示すブロック図500である。本データ・トランスフォーマは、データ変換ルールをインポートするよう構成されたインポート手段501と、データ変換ルールから、ソース・データ定義、宛先データ定義、およびデータ変換ルール定義を取得するよう構成された取得手段502と、ソース・データ定義、宛先データ定義、およびデータ変換ルール定義に従ってデータ変換ノード・サーバのリソース・エネルギ消費パラメータを予測するよう構成された予測手段503と、データ変換ノード・サーバの予測されたリソース・エネルギ消費パラメータに基づいて、データ変換ノード・サーバのリソース・エネルギ消費最適化方策を展開するよう構成された展開手段504と、を含み、リソース・エネルギ消費パラメータは、CPUエネルギ消費、メモリ使用率、およびディスクI/O使用率、の少なくとも一つを含む。
予測手段503は、ソース・データ定義、宛先データ定義、およびデータ変換ルール定義に従って、データ抽出フェーズ、データ処理フェーズ、およびデータ格納フェーズにおけるデータ変換ノード・サーバのリソース・エネルギ消費パラメータを予測するようさらに構成される。
本発明のある実施形態によれば、予測手段503は、データ変換ルール定義に従って、データ変換ルールの処理方式を識別するよう構成される。データ変換ルールの処理方式が直接コピーであると識別された場合、データ抽出フェーズ、データ処理フェーズ、およびデータ格納フェーズにおけるデータ変換ノード・サーバのリソース・エネルギ消費パラメータが、ソース・データ定義および宛先データ定義に基づいて予測される。直接コピーは、該3つのフェーズにおいて計算リソースの消費を必要としないので、3つのフェーズにおけるCPUエネルギ消費は低(L)であると予測することができる。データ抽出フェーズおよびデータ格納フェーズにおけるデータ変換ノード・サーバのメモリ使用率およびディスクI/O使用率は、毎回書き込まれるデータのサイズおよび書き込みの回数に基づいて予測することが可能である。さらに、直接コピーは、データ処理フェーズにおいてメモリおよびディスク・リソースを占有しないので、メモリ使用率およびディスクI/O使用率の両方とも低(L)であると予測できる。
本発明のある実施形態によれば、データ変換様式の処理方式がデータ型転換であると識別された場合、データ抽出フェーズ、データ処理フェーズ、およびデータ格納フェーズにおけるデータ変換ノード・サーバのリソース・エネルギ消費パラメータが、ソース・データ定義および宛先データ定義に基づいて予測される。データ抽出フェーズおよびデータ格納フェーズにおけるデータ型転換のCPUリソースに対する要求は比較的に低いので、そのCPUのエネルギ消費は低「L」に設定される。データ型転換のデータ処理フェーズにおける、特定のデータ型転換に対応するCPUエネルギ消費状態は、その特定のデータ型転換に基づいて判定することが可能である。また一方、データ処理フェーズではメモリおよびディスク・リソースが占有されないので、メモリ使用率およびディスクI/O使用率は、低「L」に設定することができる。さらに、データ抽出フェーズおよびデータ格納フェーズでは、メモリおよびディスク・リソースを占有する必要があるので、メモリ使用率およびディスクI/O使用率は、毎回データ・トランスフォーマによって読み書きされるデータのサイズ、および読み/書きの回数に基づいて算定する必要がある。
本発明のある実施形態によれば、データ変換様式がマクロ転換であると識別された場合、データ抽出フェーズ、データ処理フェーズ、およびデータ格納フェーズにおけるデータ変換ノード・サーバのリソース・エネルギ消費パラメータが、ソース・データ定義および宛先データ定義に基づいて予測される。3つのフェーズにおけるマクロ演算のCPUエネルギ消費状態は、これら3フェーズにおけるCPU負荷によって測定することができる。データ処理フェーズにおけるマクロ演算はディスク・リソースを必要としないので、ディスクI/O使用率は低「L」であり、データ処理フェーズにおけるデータ変換ノード・サーバのメモリ使用率は、毎回読み書きされるデータのサイズおよび中間値の個数に基づいて予測することが可能である。データ抽出フェーズおよびデータ格納フェーズにおけるメモリおよびディスクの読み/書きのエネルギ消費状態については、データ抽出フェーズおよびデータ格納フェーズにおいて毎回読み書きされるデータのサイズ、および該データ抽出フェーズおよびデータ格納フェーズに対応する数値の個数に基づいて算定することができる。
本発明のある実施形態によれば、予測手段503は、データ抽出フェーズにおけるデータ変換ノード・サーバの予測されたエネルギ消費パラメータに基づいて、データ抽出フェーズにおけるソース・ノード・サーバのエネルギ消費パラメータを予測し、データ格納フェーズにおけるデータ変換ノード・サーバの予測されたエネルギ消費パラメータに基づいて、データ格納フェーズにおける宛先ノード・サーバのエネルギ消費パラメータを予測するようさらに構成される。
本発明のある実施形態によれば、展開手段504は、データ抽出フェーズ、データ処理フェーズ、およびデータ格納フェーズにおいて予測されたエネルギ消費パラメータのうち少なくとも一つの同一のエネルギ消費パラメータを有する複数のデータ変換ルールに対し、データ変換ノード・サーバ中の該複数のデータ変換ルールのリソース・エネルギ消費最適化方策を一様に展開するようさらに構成される。
当業者なら理解しているように、本発明の少なくとも一部の態様は、前述に換えて、プログラム製品として具現することができる。本発明のファンクションを定義するプログラムは、以下に限らないが、書き込み不可のストレージ媒体(例、CD−ROM)、書き込み可能ストレージ媒体(例、フレキシブル・ディスク、ハード・ディスク・ドライバ、読み/書き可能なCD−ROM、光媒体)を含むさまざまな信号担持媒体、およびイーサネット(R)を含むコンピュータおよび電話ネットワークなどの通信媒体を介して、データ・ストレージ・システムまたはコンピュータ・システムに伝送することができる。従って、かかる信号担持媒体は、本発明の方法のファンクションを管理するコンピュータ可読の命令を担持または符号化している場合、本発明の別の実施形態に相当することを理解すべきである。本発明は、ハードウェア、ソフトウェア、ファームウエアまたはこれらの組み合わせの様式で実現することができる。本発明は、1つのコンピュータ・システム中に統合された仕方で実現することも、あるいは分散された仕方で実現することもでき、後者では、各種のコンポーネントが、相互接続されたいくつかのコンピュータ・システムに分散される。本出願に記載された方法を遂行するのに適した任意のコンピュータ・システムまたは他の装置が使用可能である。望ましくは、本発明は、汎用コンピュータ・ハードウェアと組み合わせたコンピュータ・ソフトウェアの様式で実現され、コンピュータ・プログラムがロードされ実行されたとき、コンピュータ・システムは、本発明の方法を遂行するよう制御され、あるいは本発明のシステムを構築する。
前述の説明では、例示目的のため本発明の好適な実施形態を説明してきた。前述の説明は、網羅的なものではなく、本発明を開示した特定の形態に限定することも意図していない。前述の教示から、多くの修改および変更が可能なのは自明である。当業者には、かかる修改および変更が、添付の請求項によって定義される本発明の範囲に含まれることは明らかであろう。

Claims (22)

  1. データ変換ルールをインポートするステップと、
    前記データ変換ルールから、ソース・データ定義、宛先データ定義、およびデータ変換ルール定義を取得するステップと、
    前記ソース・データ定義、前記宛先データ定義、および前記データ変換ルール定義に従ってデータ変換ノード・サーバのリソース・エネルギ消費パラメータを予測するステップと、
    前記データ変換ノード・サーバの前記予測されたリソース・エネルギ消費パラメータに基づいて、前記データ変換ノード・サーバのリソース・エネルギ消費最適化方策を展開するステップと、
    を含む、データ変換方法。
  2. 前記リソース・エネルギ消費パラメータは、CPUエネルギ消費、メモリ使用率、およびディスクI/O使用率、の少なくとも一つを含む、請求項1に記載の方法。
  3. 前記ソース・データ定義、前記宛先データ定義、および前記データ変換ルール定義に従ってデータ変換ノード・サーバのリソース・エネルギ消費パラメータを予測する前記ステップは、前記ソース・データ定義、前記宛先データ定義、および前記データ変換ルール定義に従って、データ抽出フェーズと、データ処理フェーズと、データ格納フェーズとにおける前記データ変換ノード・サーバの前記リソース・エネルギ消費パラメータを予測するステップをさらに含む、請求項2に記載の方法。
  4. 前記ソース・データ定義、前記宛先データ定義、および前記データ変換ルール定義に従ってデータ変換ノード・サーバのリソース・エネルギ消費パラメータを予測する前記ステップは、前記データ変換ルール定義に従って前記データ変換ルールの処理方式を識別するステップをさらに含む、請求項3に記載の方法。
  5. 前記データ変換ルールの前記処理方式は、直接コピー、データ型転換、およびマクロ転換、の少なくとも一つのを含む、請求項4に記載の方法。
  6. 前記データ変換ルールの前記処理方式が直接コピーまたはデータ型転換であると識別された場合、毎回書き込まれるデータのサイズ、および書き込みの回数に基づいて、前記データ抽出フェーズおよび前記データ格納フェーズにおける前記データ変換ノード・サーバの前記メモリ使用率およびディスクI/O使用率を予測するステップをさらに含む、請求項5に記載の方法。
  7. 前記データ変換ルールの前記処理方式がマクロ転換であると識別された場合、前記データ抽出フェーズおよび前記データ格納フェーズのそれぞれにおいて毎回読み書きされるデータのサイズおよび処理される数値の個数に基づいて、前記データ抽出フェーズおよび前記データ格納フェーズにおける前記メモリ使用率およびディスクI/O使用率を予測するステップをさらに含む、請求項5に記載の方法。
  8. 前記データ変換ルールの前記処理方式がマクロ転換であると識別された場合、前記データ処理フェーズにおいて毎回読み書きされるデータのサイズ、および中間値の個数に基づいて、前記データ処理フェーズにおける前記データ変換ノード・サーバの前記メモリ使用率を予測するステップをさらに含む、請求項5に記載の方法。
  9. 前記データ抽出フェーズにおける前記データ変換ノード・サーバの前記予測されたリソース・エネルギ消費パラメータに基づいて、前記データ抽出フェーズにおけるソース・ノード・サーバのリソース・エネルギ消費パラメータを予測するステップをさらに含む、請求項3〜7のいずれか一つに記載の方法。
  10. 前記データ格納フェーズにおける前記データ変換ノード・サーバの前記予測されたリソース・エネルギ消費パラメータに基づいて、前記データ格納フェーズにおける宛先ノード・サーバのリソース・エネルギ消費パラメータを予測するステップをさらに含む、請求項3〜7のいずれか一つに記載の方法。
  11. 前記データ抽出フェーズ、前記データ処理フェーズ、および前記データ格納フェーズにおいて予測された前記リソース・エネルギ消費パラメータのうち少なくとも一つの同一のエネルギ消費パラメータを有する複数のデータ変換ルールに対し、前記データ変換ノード・サーバ中の前記複数のデータ変換ルールの前記リソース・エネルギ消費最適化方策を一様に展開するステップをさらに含む、請求項3〜8のいずれか一つに記載の方法。
  12. データ変換ルールをインポートするよう構成されたインポート手段と、
    前記データ変換ルールから、ソース・データ定義、宛先データ定義、およびデータ変換ルール定義を取得するよう構成された取得手段と、
    前記ソース・データ定義、前記宛先データ定義、および前記データ変換ルール定義に従ってデータ変換ノード・サーバのリソース・エネルギ消費パラメータを予測するよう構成された予測手段と、
    前記データ変換ノード・サーバの前記予測されたリソース・エネルギ消費パラメータに基づいて、前記データ変換ノード・サーバのリソース・エネルギ消費最適化方策を展開するよう構成された展開手段と、
    を含むデータ・トランスフォーマ。
  13. 前記リソース・エネルギ消費パラメータは、CPUエネルギ消費、メモリ使用率、およびディスクI/O使用率、の少なくとも一つを含む、請求項12に記載のデータ・トランスフォーマ。
  14. 前記予測手段は、前記ソース・データ定義、前記宛先データ定義、および前記データ変換ルール定義に従って、データ抽出フェーズと、データ処理フェーズと、データ格納フェーズとにおける前記データ変換ノード・サーバの前記リソース・エネルギ消費パラメータを予測するようさらに構成される、請求項13に記載のデータ・トランスフォーマ。
  15. 前記予測手段は、前記データ変換ルール定義に従って前記データ変換ルールの処理方式を識別するようさらに構成される、請求項14に記載のデータ・トランスフォーマ。
  16. 前記データ変換ルールの前記処理方式は、直接コピー、データ型転換、およびマクロ転換、の少なくとも一つのを含む、請求項15に記載のデータ・トランスフォーマ。
  17. 前記予測手段は、前記データ変換ルールの前記処理方式が直接コピーまたはデータ型転換であると識別された場合、毎回書き込まれるデータのサイズ、および書き込みの回数に基づいて、前記データ抽出フェーズおよび前記データ格納フェーズにおける前記データ変換ノード・サーバの前記メモリ使用率およびディスクI/O使用率を予測するようさらに構成される、請求項16に記載のデータ・トランスフォーマ。
  18. 前記予測手段は、前記データ変換ルールの前記処理方式がマクロ転換であると識別された場合、前記データ抽出フェーズおよび前記データ格納フェーズのそれぞれにおいて毎回読み書きされるデータのサイズおよび処理される数値の個数に基づいて、前記データ抽出フェーズおよび前記データ格納フェーズにおける前記メモリ使用率およびディスクI/O使用率を予測するようさらに構成される、請求項16に記載のデータ・トランスフォーマ。
  19. 前記予測手段は、前記データ変換ルールの前記処理方式がマクロ転換であると識別された場合、前記データ処理フェーズにおいて毎回読み書きされるデータのサイズ、および中間値の個数に基づいて、前記データ処理フェーズにおける前記データ変換ノード・サーバの前記メモリ使用率を予測するようさらに構成される、請求項16に記載のデータ・トランスフォーマ。
  20. 前記予測手段は、前記データ抽出フェーズにおける前記データ変換ノード・サーバの前記予測されたリソース・エネルギ消費パラメータに基づいて、前記データ抽出フェーズにおけるソース・ノード・サーバの前記リソース・エネルギ消費パラメータを予測するようさらに構成される、請求項14〜18のいずれか一つに記載のデータ・トランスフォーマ。
  21. 前記予測手段は、前記データ格納フェーズにおける前記データ変換ノード・サーバの前記予測されたリソース・エネルギ消費パラメータに基づいて、前記データ格納フェーズにおける宛先ノード・サーバの前記リソース・エネルギ消費パラメータを予測するようさらに構成される、請求項14〜18のいずれか一つに記載のデータ・トランスフォーマ。
  22. 前記展開手段は、前記データ抽出フェーズ、前記データ処理フェーズ、および前記データ格納フェーズにおいて予測された前記リソース・エネルギ消費パラメータのうち少なくとも一つの同一のエネルギ消費パラメータを有する、複数のデータ変換ルールに対し、前記データ変換ノード・サーバ中の前記複数のデータ変換ルールの前記リソース・エネルギ消費最適化方策を一様に展開するようさらに構成される、請求項14〜19のいずれか一つに記載のデータ・トランスフォーマ。
JP2013530683A 2010-09-30 2011-09-22 データ変換方法およびデータ・トランスフォーマ Active JP5754824B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201010507990.XA CN102446197B (zh) 2010-09-30 2010-09-30 一种数据转换方法和数据转换器
CN201010507990.X 2010-09-30
PCT/EP2011/066528 WO2012041763A1 (en) 2010-09-30 2011-09-22 Data transform method and data transformer

Publications (2)

Publication Number Publication Date
JP2014501951A true JP2014501951A (ja) 2014-01-23
JP5754824B2 JP5754824B2 (ja) 2015-07-29

Family

ID=44681118

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013530683A Active JP5754824B2 (ja) 2010-09-30 2011-09-22 データ変換方法およびデータ・トランスフォーマ

Country Status (6)

Country Link
US (3) US9110660B2 (ja)
JP (1) JP5754824B2 (ja)
CN (1) CN102446197B (ja)
DE (1) DE112011103291B4 (ja)
GB (1) GB2497905B (ja)
WO (1) WO2012041763A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102446197B (zh) 2010-09-30 2015-11-25 国际商业机器公司 一种数据转换方法和数据转换器
JP5731907B2 (ja) * 2011-06-02 2015-06-10 株式会社東芝 負荷分散装置、負荷分散方法及び負荷分散プログラム
CN103475521B (zh) * 2013-09-10 2016-11-16 杭州华为数字技术有限公司 一种部署服务器的方法和装置
CN104778243B (zh) * 2015-04-09 2018-12-21 天脉聚源(北京)教育科技有限公司 一种字符型数据转换成数值型数据的方法和装置
US10362146B1 (en) * 2015-09-30 2019-07-23 Open Text Corporation Method and system for enforcing governance across multiple content repositories using a content broker
CN105550163A (zh) * 2015-12-10 2016-05-04 国云科技股份有限公司 一种适用于云平台资源监控的数据转换器实现方法
CN107819543A (zh) * 2016-09-12 2018-03-20 北京百度网讯科技有限公司 数据传输方法及装置
CN106375328B (zh) * 2016-09-19 2019-04-23 中国人民解放军国防科学技术大学 一种大规模数据分发系统运行时自适应优化方法
US10628217B1 (en) 2017-09-27 2020-04-21 Amazon Technologies, Inc. Transformation specification format for multiple execution engines
US10599440B2 (en) 2017-12-27 2020-03-24 International Business Machines Corporation Method for sharing processing modules between pipelines
WO2019195567A1 (en) * 2018-04-06 2019-10-10 Matchcraft Llc Object transformation based on object groupings
US10963262B2 (en) 2018-05-09 2021-03-30 International Business Machine Corporation Establishing data pipelines with inclusion of iterative sub-pipelines
CN110417880B (zh) * 2019-07-19 2022-02-11 优信拍(北京)信息科技有限公司 一种应用于web开发的数据处理方法、装置及系统
KR20210022850A (ko) * 2019-08-21 2021-03-04 삼성전자주식회사 반도체 장치의 성능 부스팅 제어 방법 및 이를 수행하는 반도체 장치
CN113468128B (zh) * 2021-07-21 2023-02-17 上海浦东发展银行股份有限公司 一种数据处理的方法、装置、电子设备及存储介质
US11983172B2 (en) * 2021-12-07 2024-05-14 Ocient Holdings LLC Generation of a predictive model for selection of batch sizes in performing data format conversion

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001167059A (ja) * 1999-12-09 2001-06-22 Hitachi Ltd サービス要求装置およびデータ変換方法およびクライアントオブジェクトを有する計算機
JP2004078427A (ja) * 2002-08-13 2004-03-11 Sony Corp データ変換システム,変換制御装置,プログラム,記録媒体およびデータ変換方法
JP2009159712A (ja) * 2007-12-26 2009-07-16 Fujitsu Ltd 消費電力監視プログラム、消費電力監視装置、および消費電力監視方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6151608A (en) * 1998-04-07 2000-11-21 Crystallize, Inc. Method and system for migrating data
US20090216641A1 (en) 2000-03-30 2009-08-27 Niration Network Group, L.L.C. Methods and Systems for Indexing Content
US7407108B1 (en) * 2005-05-24 2008-08-05 Sprint Spectrum L.P. Web content power consumption notification for wireless devices
US20070162780A1 (en) * 2006-01-10 2007-07-12 Yao-Yi Wang Method for controlling an operating frequency of a processor during playback of a recorded video
US8250394B2 (en) * 2006-03-31 2012-08-21 Stmicroelectronics International N.V. Varying the number of generated clock signals and selecting a clock signal in response to a change in memory fill level
CN100531055C (zh) * 2006-04-10 2009-08-19 华为技术有限公司 数据同步系统及其方法
US7769843B2 (en) * 2006-09-22 2010-08-03 Hy Performix, Inc. Apparatus and method for capacity planning for data center server consolidation and workload reassignment
US7660884B2 (en) 2006-11-10 2010-02-09 International Business Machines Corporation Apparatus, system, and method for generating a resource utilization description for a parallel data processing system
US7856549B2 (en) * 2007-01-24 2010-12-21 Hewlett-Packard Development Company, L.P. Regulating power consumption
US20090007128A1 (en) * 2007-06-28 2009-01-01 International Business Machines Corporation method and system for orchestrating system resources with energy consumption monitoring
CA2697965C (en) * 2007-08-31 2018-06-12 Cirba Inc. Method and system for evaluating virtualized environments
US7930573B2 (en) * 2007-09-18 2011-04-19 International Business Machines Corporation Workload apportionment according to mean and variance
US7925873B2 (en) * 2008-03-13 2011-04-12 Oracle America, Inc. Method and apparatus for controlling operating parameters in a computer system
US8250389B2 (en) * 2008-07-03 2012-08-21 International Business Machines Corporation Profiling an application for power consumption during execution on a plurality of compute nodes
WO2010032501A1 (ja) * 2008-09-17 2010-03-25 株式会社日立製作所 情報処理システムの運用管理方法
JP4768082B2 (ja) * 2008-10-30 2011-09-07 株式会社日立製作所 情報処理システムの運用管理装置
US20120053925A1 (en) * 2010-08-31 2012-03-01 Steven Geffin Method and System for Computer Power and Resource Consumption Modeling
US8532974B2 (en) * 2010-09-28 2013-09-10 Sentelic Corporation Developing system and method for optimizing the energy consumption of an application program for a digital signal processor
CN102446197B (zh) * 2010-09-30 2015-11-25 国际商业机器公司 一种数据转换方法和数据转换器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001167059A (ja) * 1999-12-09 2001-06-22 Hitachi Ltd サービス要求装置およびデータ変換方法およびクライアントオブジェクトを有する計算機
JP2004078427A (ja) * 2002-08-13 2004-03-11 Sony Corp データ変換システム,変換制御装置,プログラム,記録媒体およびデータ変換方法
JP2009159712A (ja) * 2007-12-26 2009-07-16 Fujitsu Ltd 消費電力監視プログラム、消費電力監視装置、および消費電力監視方法

Also Published As

Publication number Publication date
CN102446197B (zh) 2015-11-25
GB2497905A (en) 2013-06-26
GB201306865D0 (en) 2013-05-29
DE112011103291T5 (de) 2013-08-29
DE112011103291B4 (de) 2015-10-01
GB2497905B (en) 2017-08-02
CN102446197A (zh) 2012-05-09
US10324511B2 (en) 2019-06-18
US20150316972A1 (en) 2015-11-05
US20120084583A1 (en) 2012-04-05
US9996136B2 (en) 2018-06-12
US20180260010A1 (en) 2018-09-13
JP5754824B2 (ja) 2015-07-29
WO2012041763A1 (en) 2012-04-05
US9110660B2 (en) 2015-08-18

Similar Documents

Publication Publication Date Title
JP5754824B2 (ja) データ変換方法およびデータ・トランスフォーマ
CN104731642A (zh) 用于高度并行作业的回填调度方法和系统
CN104731574A (zh) 用于识别多级工作流处理中的资源瓶颈的方法和系统
CN103329132A (zh) 架构优化器
JP5385912B2 (ja) 算出装置、システム管理装置、算出方法およびプログラム
Sîrbu et al. Power consumption modeling and prediction in a hybrid CPU-GPU-MIC supercomputer
Rteil et al. Interact: IT infrastructure energy and cost analyzer tool for data centers
CN116932174B (zh) Eda仿真任务动态资源调度方法、装置、终端及介质
JP5157534B2 (ja) 動作合成装置、および、プログラム
CN106844175B (zh) 一种基于机器学习的云平台容量规划方法
JP2022023420A (ja) 情報処理装置、情報処理方法および情報処理プログラム
CN116820767A (zh) 一种云资源管理方法、装置、电子设备及存储介质
JPWO2009044589A1 (ja) 階層型負荷推定システム、方法およびプログラム
US9032405B2 (en) Systems and method for assigning executable functions to available processors in a multiprocessing environment
EP3826233B1 (en) Enhanced selection of cloud architecture profiles
Larracoechea et al. Towards Services Profiling for Energy Management in Service-oriented Architectures.
Li et al. An application-oblivious memory scheduling system for DNN accelerators
Ou et al. Container Power Consumption Prediction Based on GBRT-PL for Edge Servers in Smart City
JP5691529B2 (ja) 性能評価システム、性能評価方法および性能評価用プログラム
Luo et al. A Cloud Computing User Experience Focused Load Balancing Method Based on Modified CMA-ES Algorithm
CN111694668B (zh) 查询任务路由方法、装置、设备及存储介质
CN117764638B (zh) 一种供电企业售电数据预测方法、系统、设备及存储介质
WO2023026340A1 (ja) 制御装置、制御方法及びプログラム
US20230229998A1 (en) Methods and systems for asset management using customized calculation module
US12038822B2 (en) Tenant database placement in oversubscribed database-as-a-service cluster

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140508

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150309

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20150309

RD12 Notification of acceptance of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7432

Effective date: 20150309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20150311

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150501

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20150507

RD14 Notification of resignation of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7434

Effective date: 20150507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150522

R150 Certificate of patent or registration of utility model

Ref document number: 5754824

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150