JP2022544430A - データ処理方法、装置、機器および記憶媒体 - Google Patents

Abstract

本発明は、データ処理方法、装置、機器および記憶媒体を開示し、クラウドコンピューティングおよびクラウドプラットフォームの技術分野に関する。具体的な実現形態として、シーケンサから取得された第１データの論理情報に基づき、前記第１データに関連する物理データグループ内のデータスライスの物理アドレスである第１物理アドレスを確定し、前記第１物理アドレスを前記シーケンサに送信し、前記シーケンサによって前記第１物理アドレスに基づいて前記第１データをソートする。本発明によれば、データ処理の効率を向上させることができる。【選択図】図１ａ

Description

本発明は、２０２０年０６月２８日に中国専利局に提出された出願番号が２０２０１０６００５８２．２である中国特許出願に対して優先権を主張するものであり、該出願の全ての内容を引用により本発明に援用する。

本発明は、インターネット技術分野に関し、特に、クラウドコンピューティングおよびクラウドプラットフォームの技術分野に関する。具体的には、データ処理方法、装置、機器および記憶媒体に関する。

現在、検索、推薦は、ユーザのコンテンツ消費の主流であり、イメージテキストコンテンツでも、ショートムービー、短時間動画およびロングムービー等の新しいメディアコンテンツでも、検索、推薦等の方式でユーザに効率的に配布するために、これらの超大規模の大量データを記憶してインデックス化する必要がある。コンテンツデータの急速な増加に伴い、従来のデータ管理方式の拡張可能性が制約され、より高い機械コスト、より高い運用維持コストによりネット上の高使用可能性および高性能を確保する必要がある。

以下は、本文について詳細に説明する主題の概要である。本概要は、特許請求の範囲を制限するものではない。

本発明は、データ処理用の方法、装置、機器および記憶媒体を提供する。

本発明の一態様によれば、
シーケンサから取得された第１データの論理情報に基づき、前記第１データに関連する物理データグループ内のデータスライス（ｓｈａｒｄ，シャード）の物理アドレスである第１物理アドレスを確定することと、
前記第１物理アドレスを前記シーケンサに送信し、前記シーケンサによって前記第１物理アドレスに基づいて前記第１データをソートすることと、を含む、
データ処理方法を提供する。

本発明の一態様によれば、
第１データの論理情報をデータ処理側に送信し、前記データ処理側によって前記第１データの論理情報に基づいて前記第１データに関連する物理データグループ内のデータスライスの物理アドレスである第１物理アドレスを確定することと、
前記第１物理アドレスに基づいて前記第１データをソートすることと、を含む、
データ処理方法を提供する。

本発明の一態様によれば、
シーケンサから取得された第１データの論理情報に基づき、前記第１データに関連する物理データグループ内のデータスライスの物理アドレスである第１物理アドレスを確定するための第１アドレス確定モジュールと、
前記第１物理アドレスを前記シーケンサに送信し、前記シーケンサによって前記第１物理アドレスに基づいて前記第１データをソートするための第１アドレス送信モジュールと、を備える、
データ処理装置を提供する。

本発明の一態様によれば、
第１データの論理情報をデータ処理側に送信し、前記データ処理側によって前記第１データの論理情報に基づいて前記第１データに関連する物理データグループ内のデータスライスの物理アドレスである第１物理アドレスを確定するための論理情報送信モジュールと、
前記第１物理アドレスに基づいて前記第１データをソートするためのデータソートモジュールと、を備える、
データ処理装置を提供する。

第５態様によれば、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに通信接続されたメモリと、を備え、
前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶され、
前記命令は、前記少なくとも１つのプロセッサが本発明の実施例のいずれか１項に記載のデータ処理方法を実行可能であるように、前記少なくとも１つのプロセッサにより実行される、
電子機器を提供する。

第６態様によれば、本発明の実施例のいずれか１項に記載のデータ処理方法をコンピュータに実行させるために用いられるコンピュータ命令が記憶された、
非一時的なコンピュータ可読記憶媒体を提供する。

本発明の実施例の技術により、データ処理の効率を向上させることができる。

本発明に記載された内容は、本発明の実施例のキーとなるまたは重要な特徴を標識するためのものではなく、本発明の範囲を限定するものでもないことが理解されるべきである。本発明の他の特徴は、以下の明細書により容易に理解することができる。図面および詳細な説明を閲読し理解することで、他の態様も理解できる。

図面は本形態をより良く理解するためのものであり、本発明を限定するものではない。

本発明の実施例に係るデータ処理方法のフローチャートである。 本発明の実施例に係る物理リソースプールの構造模式図である。 本発明の実施例に係るデータ処理方法のフローチャートである。 本発明の実施例に係るデータ処理側の構造模式図である。 本発明の実施例に係るデータ処理方法のフローチャートである。 本発明の実施例に係るデータ処理側の構造模式図である。 本発明の実施例に係るデータ処理方法のフローチャートである。 本発明の実施例に係るデータ処理方法のフローチャートである。 本発明の実施例に係るデータ処理装置の構造模式図である。 本発明の実施例に係るデータ処理装置の構造模式図である。 本発明の実施例に係るデータ処理システムの構造模式図である。 本発明の実施例を実現するためのデータ処理方法の電子機器のブロック図である。

以下、図面を参照しながら本発明の例示的な実施例について説明し、ここで、理解を容易にするために、本発明の実施例の様々な詳細を含み、それらが例示的なものに過ぎないと見なされるべきである。従い、当業者は、本発明の範囲および精神から逸脱することなく、ここで記載される実施例に対して様々な変更および修正を行うことができることを認識すべきである。それと同様に、明瞭かつ簡単にするために、以下の記述において公知の機能および構造についての説明を省略する。

図１ａは、本発明の実施例に係るデータ処理方法のフローチャートである。本実施例は、データのリソース占有率を向上させる場合に適用できる。本実施例で開示されたデータ処理方法は、電子機器により実行でき、具体的に、データ処理装置により実行でき、該装置は、ソフトウェアおよび／またはハードウェアの方式で実現でき、電子機器に設定されている。図１ａを参照し、本実施例に係るデータ処理方法は、以下のステップを含む。

Ｓ１１０において、シーケンサから取得された第１データの論理情報に基づき、前記第１データに関連する物理データグループ内のデータスライスの物理アドレスである第１物理アドレスを確定する。

ここで、シーケンサは、検索エンジンまたは推薦エンジンにおけるソートモジュールであってもよく、ユーザアクセス要求に応答してデータをリコールし、リコールしたデータをソートするために用いられる。リコールを容易にするために、第１データは、トラフィックコンテンツのフォワードインデックスデータまたは転置インデックスデータであってもよい。ここで、第１データの論理情報は、第１データの属するトラフィック分野におけるトラフィックカテゴリ情報であってもよい。商品および小説のようなトラフィック分野を例とし、商品は、購入、文章および有名人画像のようなトラフィックカテゴリを含んでもよく、小説も、ファンタジー、武侠および恋愛のようなトラフィックカテゴリを含んでもよい。

本発明の実施例において、各トラフィック分野は、一意のダミーデータグループ（ｄａｔａ ｇｒｏｕｐ）を有することができ、且つ、トラフィック分野における異なるトラフィックカテゴリに異なる物理データグループをそれぞれ構築することができ、即ち、１つのダミーデータグループに複数の物理データグループが関連付けられてもよい。物理データグループは、関連するトラフィックカテゴリにおけるコンテンツデータを記憶するために用いられ、ダミーデータグループは論理的な概念であり、トラフィック分野における各トラフィックカテゴリの整理データ量を見やすいためのものであり、具体的なコンテンツデータがない。

物理データグループのデータ量に基づき、１つの物理データグループは、１つのデータスライス（ｄａｔａ ｓｈａｒｄ）を含んでもよいし、複数のデータスライスを含んでもよく、各データスライスは、１セットのインデックスデータを記憶するために用いられる。データスライスに実際の物理記憶領域および計算されたＣＰＵ論理コアを割り当てることができ、データスライスは、独立してサービスを提供可能な最小単位である。なお、データスライスに割り当てられた物理記憶領域の物理アドレスは、データスライスの物理アドレスであり、例えば、データスライスが位置する物理記憶領域のｉｄ識別子およびＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ、インターネットプロトコル）アドレスであってもよい。

具体的には、シーケンサは、ユーザアクセス要求に応じてアクセス待ち第１データの論理情報を確定し、第１データの論理情報をデータ処理側に送信することができ、データ処理側は、第１データに関連する物理データグループを確定し、該物理データグループ内のデータスライスの物理アドレスを第１物理アドレスとする。ダミーデータグループ、物理データグループおよびデータスライスのような新しいデータ形態を提出し、新しいデータ形態間の関連関係を確定することにより、データの処理過程を簡略化してデータ処理効率を向上させることができる。且つ、その後のデータの動的なリソース調整が容易となり、リソース利用率を向上させることができる。

Ｓ１２０において、前記第１物理アドレスを前記シーケンサに送信し、前記シーケンサによって前記第１物理アドレスに基づいて前記第１データをソートする。

ここで、第１物理アドレスは、第１データに関連する物理データグループ内の１つのデータスライスの物理アドレスであってもよいし、複数のデータスライスの物理アドレスであってもよい。具体的には、シーケンサは、第１物理アドレスに関連するデータ記憶領域にアクセスして第１データをリコールし、リコールした第１データをソートすることができる。

図１ｂは、本発明の実施例に係る物理リソースプールの構造模式図である。図１ｂを参照し、物理リソースプールは、複数のデータ記憶領域（ｄａｔａ ｓｔｏｒｅ）を備えてもよく、１つのデータ容器（ｃｏｎｔａｉｎｅｒ）は、１つのデータ記憶領域を実行してもよいし、複数のデータ記憶領域を実行してもよい。リソースの異なる割り当てポリシーに基づき、１つのデータ記憶領域は、１つのデータスライスを記憶してもよいし、複数のデータスライスを記憶してもよく、且つ、記憶された複数のデータスライスは、異なる物理データグループに属してもよい。なお、データの記憶とデータ容器とがデカップリングされているため、データの動的管理が実現され、手動操作に依存する必要がなく、人件費が低下する。

１つの好ましい実施形態において、同一の前記物理データグループ内のデータスライスは異なるデータ記憶領域に記憶され、同一の前記データ記憶領域に異なる前記物理データグループ内のデータスライスが記憶されている。アフィニティポリシーを採用することにより、データスライスを物理データグループに割り当てることは、データパケットまたはデータ記憶領域の制約を受ける必要がなく、リソース自体からデータ記憶領域をデータスライスに割り当てればよく、データ処理の利便性を向上させることができる。

本発明の実施例の技術案は、新しいデータ形態でデータを処理し、データ処理の利便性を向上させ、データのリソース利用率を向上させることができる。

図２ａは、本発明の実施例に係るデータ処理方法のフローチャートである。本実施例は、上記実施例の基に提出された１つの好ましい形態である。図２ａを参照し、本実施例に係るデータ処理方法は、以下のステップを含む。

Ｓ２１０において、データコントローラにより、前記シーケンサから取得された第１データの論理情報に基づいて前記第１データのメタデータを確定し、前記第１データのメタデータを前記シーケンサに送信する。

図２ｂは、本発明の実施例に係るデータ処理側の構造模式図である。図２ｂに示すように、データ処理側は、データコントローラ（ｄａｔａ ｃｏｎｔｒｏｌ ｐａｎｅｌ）およびデータベースを備えてもよく、ここで、データコントローラは、物理データグループおよびデータスライスを管理するために使用でき、例えば、１つの物理データグループをいくつのデータスライスに分割する必要があるか、１つのデータスライスに必要な記憶リソースおよび計算リソースがいくつであるか。データ量、流量を調整する時、データコントローラは最適な割り当て形態を確定することができ、最適な割り当て形態に基づいて物理リソースの配置調整を動的に調整することが容易となる。具体的には、データコントローラは、ＤＣＰ ＳＤＫ（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ、ソフトウェア開発キット）を介してインデックスデータ要求部分（例えば、シーケンサ）とインデックスデータ構築部分（例えば、以下のデータビルダ）と通信し、物理データグループ内のデータスライスの調整を行い、ユーザ要求と物理データグループとの関連関係を管理することができる。

ここで、第１データのメタデータは第１データのメタデータ論理情報であってもよく、第１データのメタデータは異なり、第１データスライスは異なってもよく、即ち、第１物理アドレスは異なる。

１つの好ましい実施形態において、第１データのメタデータは、前記第１データに関連する物理データグループ内のデータスライスのバージョン情報である。具体的には、初期化過程において、物理データグループに関連するトラフィックカテゴリの推定データ量に基づき、物理データグループにｎ１個のデータスライスを割り当て、データ量の動的調整またはアクセス量の動的調整に伴い、該物理データグループ内のデータスライスをｎ２個に調整し、即ち、該物理データグループは２つの異なるデータスライスのバージョン情報を有する。なお、本発明の実施例は、物理データグループのデータスライスのバージョン数を具体的に限定せず、最新バージョンに準じてもよいし、全量バージョンと増分バージョンと合わせて使用してもよい。データスライスのバージョン情報により、データリソースの動的調整過程においてデータのリソースを迅速に確定することが容易となり、データの処理効率を向上させることができる。

具体的には、データコントローラは、シーケンサから第１データの論理情報を取得し、予め設定された論理情報と物理データグループとの間の関連関係に基づき、第１データに関連する物理データグループ（第１物理データグループと略称できる）を確定し、第１物理データグループのメタデータを確定する。

Ｓ２２０において、データベースにより、前記シーケンサから取得された第１データのメタデータに基づいて前記第１物理アドレスを確定する。

図２ｂを参照し、データベースは、ダミーデータグループと物理データグループとデータスライスと物理アドレスとの間の関連関係、およびデータの論理情報とデータのメタデータとデータの物理アドレスとの間の関連関係を記憶するために用いられる。メタデータまたは論理情報を物理データとデータコントローラからデカップリングすることにより、データベースを介してリソースを迅速に管理することが容易となり、例えば、データベースを介してダミーデータグループのデータ量を迅速にクエリし、物理データグループ内の最新バージョンのデータスライスおよび最新バージョンのデータスライスの物理アドレスを迅速に取得する。

具体的には、第１データのメタデータとデータベースに記憶された関連関係とをマッチングして第１物理アドレスを取得する。

Ｓ２３０において、前記第１物理アドレスを前記シーケンサに送信し、前記シーケンサによって前記第１物理アドレスに基づいて前記第１データをソートする。

本発明の実施例の技術案は、データコントローラとデータベースとの協働により、データ処理効率を更に向上させることができる。

図３ａは、本発明の実施例に係るデータ処理方法のフローチャートである。本実施例は、上記実施例の基に提出された１つの好ましい形態である。図３ａを参照し、本実施例に係るデータ処理方法は、以下のステップを含む。

Ｓ３１０において、シーケンサから取得された第１データの論理情報に基づき、前記第１データに関連する物理データグループ内のデータスライスの物理アドレスである第１物理アドレスを確定する。

Ｓ３２０において、前記第１物理アドレスを前記シーケンサに送信し、前記シーケンサによって前記第１物理アドレスに基づいて前記第１データをソートする。

１つの好ましい実施形態において、前記第１物理アドレスは、前記第１データに関連する物理データパケット内の全量データスライスの全量物理アドレスおよび増分データスライスの増分物理アドレスを含み、前記シーケンサによって前記増分物理アドレスおよび前記全量物理アドレスに基づいて前記第１データをソートするために用いられる。ここで、増分データスライスは、ホットスポットデータが割り当てる新しいデータスライスであってもよい。ホットスポットデータを新しいデータスライスに書き込むことにより、物理データグループ全体のデータ引き継ぎを行う必要がない。オンラインでアクセスするおよびオフラインでデータを構築する時、ホットスポットデータの物理アドレスを返し、シーケンサは、増分データスライスに優先的にアクセスすることができ、ホットスポットデータのアクセス効率を向上させる。且つ、非ホットスポットデータのコピー数を減少し、リソース占有を減少することができる。

Ｓ３３０において、データビルダから取得された第２データの論理情報に基づき、前記第２データに関連する物理データグループ内のデータスライスの物理アドレスである第２物理アドレスを確定する。

ここで、データビルダは、インデックスコンテンツビルダであってもよく、第２データの論理情報は、トラフィックカテゴリ情報であってもよい。具体的には、データビルダがトラフィック側から第２データ（即ち、トラフィックデータ）を取得してからデータ処理側に送信する第２データの論理情報は、第２データの属するトラフィック分野におけるトラフィックカテゴリ情報であってもよい。第２データは第１データであってもよいし、他のデータであってもよい。

Ｓ３４０において、前記第２物理アドレスを前記データビルダに送信し、前記データビルダによって前記第２物理アドレスに基づいて前記第２データを書き込む。

ここで、第２物理アドレスは、第２データに関連する物理データグループ（第２物理データグループと略称される）内の１つのデータスライスの物理アドレスであってもよいし、複数のデータスライスの物理アドレスであってもよい。具体的には、データビルダは、トラフィックデータに対してデータ解析、データフォーマット変換、ポリシー計算およびフィールド重み確定のような処理を行ってトラフィックデータのインデックスデータを取得し、インデックスデータを第２物理アドレスに関連するデータ記憶領域に書き込む。なお、第２物理アドレスは、複数のデータスライスの物理アドレスを有してもよく、ロードバランシングに基づいてインデックスデータを第２物理データグループの少なくとも１つのデータスライスに書き込むことができる。

物理データグループ、データスライスのような新しいデータ形態に基づいてインデックスデータを書き込むことにより、インデックスデータの書き込む効率を向上させ、インデックスデータのアクセス効率を向上させることができる。なお、Ｓ３１０およびＳ３２０はデータアクセス動作で、Ｓ３３０およびＳ３４０はデータ構築動作であり、データアクセス動作とデータ構築動作との間は、トラフィックニーズに応じて協働して実行してもよい。

１つの好ましい実施形態において、Ｓ３３０は、記憶コントローラにより、前記データビルダから取得された第２データの論理情報に基づいて前記第２データのメタデータを確定し、前記第２データのメタデータを前記データビルダに送信することと、データベースにより、前記データビルダから取得された第２データのメタデータに基づいて前記第２物理アドレスを確定することとを含む。

図３ｂは、本発明の実施例に係るデータ処理側の構造模式図である。図３ｂに示すように、データ処理側は、データコントローラ、データベースおよび記憶コントローラ（ｓｔｏｒｅ ｃｏｎｔｒｏｌ ｐａｎｅｌ）を備えてもよく、ここで、記憶コントローラは、データコントローラのリソース割り当て形態に基づいて物理リソースの配置調整を動的に行うために用いられる。データコントローラでリソース割り当てを行い、記憶コントローラはリソース割り当てに応じて物理リソースを調整し、データベースは、リソース割り当て形態および物理リソース形態を記憶するために用いられ、即ち、データ制御ポリシーと、データ物理割り当てとメタデータとをデカップリングし、データ処理効率を更に向上させることができ、トラフィックは物理記憶に関心を持つ必要がなくなる。

１つの好ましい実施形態において、第２データのメタデータは、前記第２データに関連する物理データグループ内のデータスライスのバージョン情報である。

なお、トラフィック分野またはトラフィック分野におけるトラフィックカテゴリの初期化過程において、データコントローラはリソース割り当て形態を確定し、即ち、トラフィック分野のダミーデータグループ情報を確定し、ダミーデータグループに物理データグループを割り当て、物理データグループにデータスライスを割り当て、記憶コントローラは、リソース割り当て形態に応じて物理リソースを配置し、即ち、データスライスの物理アドレスを確定する。且つ、リソース割り当て形態および物理リソース配置情報、即ち、ダミーデータグループと物理データグループとデータスライスと物理アドレスとの間の関連関係を、ビルダまたはシーケンサが使用するようにデータベースに書き込む。

本発明の実施例の技術案は、データ処理側がそれぞれシーケンサとデータビルダと協働し、ダミーデータグループ、物理データグループおよびデータスライス等のデータ形態でデータアクセスおよびデータ構築を行うことにより、データ処理の効率を向上させ、且つ、データ処理の利便性を向上させることができる。

図４は、本発明の実施例に係るデータ処理方法のフローチャートである。図４を参照し、本実施例に係るデータ処理方法は、以下のステップを含む。

Ｓ４１０において、シーケンサから取得された第１データの論理情報に基づき、前記第１データに関連する物理データグループ内のデータスライスの物理アドレスである第１物理アドレスを確定する。

Ｓ４２０において、前記第１物理アドレスを前記シーケンサに送信し、前記シーケンサによって前記第１物理アドレスに基づいて前記第１データをソートする。

Ｓ４３０において、データ記憶リソース調整イベントを検出した場合、前記物理データグループの記憶リソースを更新し、かつ、前記物理データグループ内のデータスライスの物理アドレスを更新する。

データのリソース利用率または流量に基づき、データ記憶リソース調整イベントを生成するか否かを確定する。具体的には、取得されたデータ記憶領域のリソース利用率、データスライスのリソース利用率およびデータの人気度に基づき、物理リソースの拡張または縮小を行うか否かを確定する。データ処理側がデータコントローラ、データベースおよび記憶コントローラを備える場合、データコントローラはリソース調整形態を確定するために使用でき、記憶コントローラはリソース調整形態に応じて物理リソースを配置するために用いられる。データリソースを動的に更新することにより、データ規模が変化し、ユーザの消費流量が変化した場合、柔軟な適応を実現でき、システムの高使用可能性および高性能を確保した前提で、人力を投入する必要がなく、機械コストの大幅な低減を実現できる。

１つの好ましい実施形態において、Ｓ４３０は、前記物理データグループ内の元のデータスライスのリソース利用率が第１リソース利用率の閾値よりも大きいことを検出した場合、前記物理データグループ内の元のデータスライスのために関連する新しいデータスライスを作成することと、前記元のデータスライス内のデータを前記元のデータスライスおよび前記新しいデータスライス内に分け、かつ、前記元のデータスライスおよび前記新しいデータスライスの物理アドレスのそれぞれを前記物理データグループ内のデータスライスの物理アドレスとすることとを含む。

ここで、第１リソース利用率の閾値はリソース利用率の上限値であり、予め設定でき、例えば、８５％であってもよい。物理データグループ内の元のデータスライスのリソース利用率が第１リソース利用率の閾値よりも大きいことを検出した場合、物理データグループのデータスライスを増加する。低コストのサービスを停止しないデータ引き継ぎを実現するために、データスライス数を倍数で拡張し、即ち、新しいデータスライス数が元のデータスライス数の整数倍であり、且つ、各元のデータスライスには、少なくとも１つの新しいデータスライスが関連付けられている。元のデータスライス内のデータを元のデータスライスおよび関連する新しいデータスライスに分けることにより、元のデータスライス内のいずれかのデータが更新された時、該データと該データの更新したデータとを共に同一のデータスライスに書き込むことができ、該データと該データの更新したデータとを異なるデータスライスに書き込むことによるデータバージョンの乱れを回避し、シーケンサは、重複除去動作を実行する必要がなく、即ち、シーケンサを簡略化する。

データ引き継ぎ、即ち、データスライス拡張過程において、データビルダが新しいコンテンツデータを生成すると、新しいコンテンツデータをダブルライトし、即ち、新しいコンテンツデータを元のデータスライスと新しいデータスライスとの両方に書き込む。これにより、元のデータスライスと新しいデータスライスとの両方にいずれも新しいコンテンツデータがあり、即ち、データ引き継ぎ過程中およびデータ引き継ぎ終了後、いずれも新しいコンテンツデータにアクセスすることができる。なお、データ引き継ぎが終了すると、元のデータスライスおよび新しいデータスライスの物理アドレスのそれぞれを物理データグループ内のデータスライスの物理アドレスとし、即ち、物理データグループ内のデータスライスのバージョン情報を更新する。

１つの好ましい実施形態において、Ｓ４３０は、前記物理データグループ内のデータスライスのリソース利用率が第２リソース利用率の閾値よりも小さいことを検出した場合、前記物理データグループ内の少なくとも１つのデータスライスのデータを前記物理データグループ内の他のデータスライスに統合し、かつ、前記物理データグループ内のデータスライスの物理アドレスから前記少なくとも１つのデータスライスの物理アドレスを削除することを含む。

ここで、第２リソース利用率の閾値はリソース利用率の下限値であり、第１リソース利用率の閾値よりも小さい。物理データグループ内のデータスライスのリソース利用率が第２リソース利用率の閾値よりも小さいことを検出した場合、物理データグループ内の少なくとも１つのデータスライスのデータを物理データパケット内の他のデータスライスに統合し、かつ、物理データグループのデータスライス数を削減し、物理データグループのリソース占有を減少する。

なお、データ引き継ぎ（即ち、データスライスの拡張または縮小）が終了すると、物理データグループ内のデータスライスの物理アドレスを調整し、対応して物理データグループ内のデータスライスのバージョン情報を更新する。

１つの好ましい実施形態において、Ｓ４３０は、前記物理データパケットにホットスポットデータが存在する場合、前記データ記憶リソース調整イベントを検出したことと、前記物理データグループのために増分データスライスを作成し、前記ホットスポットデータを前記増分データスライスに書き込み、かつ、前記物理データグループ内の元のデータスライスを前記物理データグループの全量データスライスとすることと、前記物理データグループ内の前記増分データスライスの物理アドレスを追加することとを含む。

ホットスポットデータを新しいデータスライスに書き込むことにより、物理データグループ全体のデータ引き継ぎを行う必要がない。オンラインでアクセスするおよびオフラインでデータを構築する時、データコントローラおよび記憶コントローラはホットスポットデータを検出し、ホットスポットデータの物理アドレスを返し、物理データグループ内の全量データの物理アドレスを返す必要がなく、アクセスおよび書き込みの効率を向上させる。且つ、非ホットスポットデータのコピー数を減少し、リソース占有を減少することができる。ある人気のあるファンタジー小説を例とし、ファンタジー小説に関連する物理データグループで該人気のあるファンタジー小説のために増分データスライスを構築し、該流行ファンタジー小説のアクセス効率を向上させることができる。

１つの好ましい実施形態において、Ｓ４３０は、データ記憶領域のリソース利用率が第３リソース利用率の閾値よりも大きいことを検出した場合、新しいデータ記憶領域を作成することと、前記新しいデータ記憶領域で前記物理データグループの新しいデータスライスを作成し、前記新しいデータ記憶領域の物理アドレスを前記物理データグループ内の新しいデータスライスの物理アドレスとすることとを含む。

ここで、第３リソース利用率の閾値はリソース利用率の上限値である。具体的には、データ記憶領域のリソースが少ないことを検出した場合、即ち、物理データグループに必要な物理記憶空間が、現在のデータ記憶領域が実際に提供可能な記憶空間の閾値を超えている場合、記憶コントローラは、新しいデータ記憶領域を動的に拡張し、動的データの再バランスを取り、データ記憶領域の動的調整を実現することができる。

本発明の実施例の技術案は、データ規模またはユーザ流量が変化した場合、柔軟な適応性によりデータ調整を行うことで、データリソース利用率を向上させ、機械コストを低減する。

図５は、本発明の実施例に係るデータ処理方法のフローチャートである。本実施例は、データアクセス効率を向上させる場合に適用できる。本実施例で開示されたデータ処理方法は、電子機器により実行でき、具体的には、データ処理装置により実行でき、該装置は、ソフトウェアおよび／またはハードウェアの方式で実現でき、電子機器に設定される。図５を参照し、本実施例に係るデータ処理方法は、以下のステップを含む。

Ｓ５１０において、第１データの論理情報をデータ処理側に送信し、前記データ処理側によって前記第１データの論理情報に基づいて前記第１データに関連する物理データグループ内のデータスライスの物理アドレスである第１物理アドレスを確定する。

ここで、第１データの論理情報は、第１データの属するトラフィック分野におけるトラフィックカテゴリ情報であってもよい。商品および小説のようなトラフィック分野を例とし、商品は、購入、文章および有名人画像のようなトラフィックカテゴリを含んでもよく、小説も、ファンタジー、武侠および恋愛のようなトラフィックカテゴリを含んでもよい。

具体的には、ユーザアクセス要求に応答して第１データの論理情報を確定し、前記第１データの論理情報をデータ処理側に送信してもよい。

１つの好ましい実施形態において、Ｓ５１０は、前記第１データの論理情報を前記データ処理側におけるデータコントローラに送信し、前記データコントローラによって前記第１データの論理情報に基づいて前記第１データのメタデータを確定することと、前記第１データのメタデータを前記データ処理側におけるデータベースに送信し、前記データベースによって前記第１データのメタデータに基づいて前記第１物理アドレスを確定することとを含んでもよい。

ここで、第１データのメタデータは第１データのメタデータ論理情報であってもよく、第１データのメタデータは異なり、第１データスライスは異なってもよく、即ち、第１物理アドレスは異なる。

１つの好ましい実施形態において、前記第１データのメタデータは、前記第１データに関連する物理データグループ内のデータスライスのバージョン情報である。具体的には、物理データグループの物理リソースの再調整後の度に、物理データグループ内のデータスライスのバージョン情報を更新する。

Ｓ５２０において、前記第１物理アドレスに基づいて前記第１データをソートする。

１つの好ましい実施形態において、前記第１物理アドレスは、前記第１データに関連する物理データパケット内の全量データスライスの全量物理アドレスおよび増分データスライスの増分物理アドレスを含み、それに対応し、Ｓ５２０は、前記増分物理アドレスに基づいて前記第１データを取得し、取得に失敗した場合、前記全量物理アドレスに基づいて前記第１データを取得することと、取得した第１データをソートすることとを含む。

具体的には、第１データがホットスポットデータである場合、第１データに増分データスライスを予め構築し、シーケンサは、増分データスライスに優先的にアクセスし、増分データスライスから第１データを取得することに失敗した場合、全量データスライスに再びアクセスする。増分データスライスから第１データを取得することが成功した場合、全量データスライスに再びアクセスする必要がなく、データアクセス効率を向上させる。なお、第１物理アドレスは、増分データスライスの増分物理アドレスのみを含んでもよい。

本発明の実施例の技術案において、シーケンサは新しいデータ形態間の関係に基づいてデータにアクセスし、データアクセス効率を向上させることができ、且つ、ホットスポットデータの増分データスライスに優先的にアクセスすることにより、ホットスポットデータのアクセス効率を向上させ、リソース占有を低減することができる。

図６は、本発明の実施例に係るデータ処理装置の構造模式図である。図６を参照し、本発明の実施例はデータ処理装置６００を開示し、該装置６００は、データ処理側に設定でき、該装置６００は、
シーケンサから取得された第１データの論理情報に基づき、前記第１データに関連する物理データグループ内のデータスライスの物理アドレスである第１物理アドレスを確定するための第１アドレス確定モジュール６０１と、
前記第１物理アドレスを前記シーケンサに送信し、前記シーケンサによって前記第１物理アドレスに基づいて前記第１データをソートするための第１アドレス送信モジュール６０２と、
を備えてもよい。

好ましくは、同一の前記物理データグループ内のデータスライスは異なるデータ記憶領域に記憶され、同一の前記データ記憶領域に異なる前記物理データグループ内のデータスライスが記憶されている。

好ましくは、第１アドレス確定モジュール６０１は、
データコントローラにより、前記シーケンサから取得された第１データの論理情報に基づいて前記第１データのメタデータを確定し、前記第１データのメタデータを前記シーケンサに送信するための第１メタデータユニットと、
データベースにより、前記シーケンサから取得された第１データのメタデータに基づいて前記第１物理アドレスを確定するための第１アドレス確定ユニットと、
を備える。

好ましくは、前記第１データのメタデータは、前記第１データに関連する物理データグループ内のデータスライスのバージョン情報である。

好ましくは、前記第１物理アドレスは、前記第１データに関連する物理データパケット内の全量データスライスの全量物理アドレスおよび増分データスライスの増分物理アドレスを含み、前記シーケンサによって前記増分物理アドレスおよび前記全量物理アドレスに基づいて前記第１データをソートするために用いられる。

好ましくは、前記装置６００は、
データビルダから取得された第２データの論理情報に基づき、前記第２データに関連する物理データグループ内のデータスライスの物理アドレスである第２物理アドレスを確定するための第２アドレス確定モジュールと、
前記第２物理アドレスを前記データビルダに送信し、前記データビルダによって前記第２物理アドレスに基づいて前記第２データを書き込むための第２アドレス送信モジュールと、
を更に備える。

好ましくは、第２アドレス確定モジュールは、
記憶コントローラにより、前記データビルダから取得された第２データの論理情報に基づいて前記第２データのメタデータを確定し、前記第２データのメタデータを前記データビルダに送信するための第２メタデータユニットと、
データベースにより、前記データビルダから取得された第２データのメタデータに基づいて前記第２物理アドレスを確定するための第２アドレス確定ユニットと、
を備える。

好ましくは、前記装置６００は、
データ記憶リソース調整イベントを検出した場合、前記物理データグループの記憶リソースを更新し、かつ、前記物理データグループ内のデータスライスの物理アドレスを更新するためのリソース調整モジュールを更に備える。

好ましくは、リソース調整モジュールは、具体的に、
前記物理データグループ内の元のデータスライスのリソース利用率が第１リソース利用率の閾値よりも大きいことを検出した場合、前記物理データグループ内の元のデータスライスのために関連する新しいデータスライスを作成することと、
前記元のデータスライス内のデータを前記元のデータスライスおよび前記新しいデータスライス内に分け、かつ、前記元のデータスライスおよび前記新しいデータスライスの物理アドレスのそれぞれを前記物理データグループ内のデータスライスの物理アドレスとすることと、
に用いられる。

好ましくは、リソース調整モジュールは、具体的に、
前記物理データグループ内のデータスライスのリソース利用率が第２リソース利用率の閾値よりも小さいことを検出した場合、前記物理データグループ内の少なくとも１つのデータスライスのデータを前記物理データグループ内の他のデータスライスに統合し、かつ、前記物理データグループ内のデータスライスの物理アドレスから前記少なくとも１つのデータスライスの物理アドレスを削除すること、
に用いられる。

好ましくは、リソース調整モジュールは、具体的に、
前記物理データパケットにホットスポットデータが存在する場合、前記データ記憶リソース調整イベントを検出したことと、
前記物理データグループのために増分データスライスを作成し、前記ホットスポットデータを前記増分データスライスに書き込み、かつ、前記物理データグループ内の元のデータスライスを前記物理データグループの全量データスライスとすることと、
前記物理データグループ内の前記増分データスライスの物理アドレスを追加することと、
に用いられる。

好ましくは、リソース調整モジュールは、具体的に、
データ記憶領域のリソース利用率が第３リソース利用率の閾値よりも大きいことを検出した場合、新しいデータ記憶領域を作成することと、
前記新しいデータ記憶領域で前記物理データグループの新しいデータスライスを作成し、前記新しいデータ記憶領域の物理アドレスを前記物理データグループ内の新しいデータスライスの物理アドレスとすることと、
に用いられる。

本発明の実施例の技術案は、データ処理側がそれぞれシーケンサおよびデータビルダと協働し、ダミーデータグループ、物理データグループおよびデータスライス等のデータ形態でデータアクセスおよびデータ構築を行うことにより、データ処理の効率を向上させ、且つ、データ処理の利便性を向上させることができる。且つ、データ規模またはユーザ流量が変化した場合、柔軟な適応性によりデータ調整を行うことで、データリソース利用率を向上させ、機械コストを低減する。

図７は、本発明の実施例に係るデータ処理装置の構造模式図である。図７を参照し、本発明の実施例はデータ処理装置７００を開示し、該装置７００はシーケンサに設定でき、該装置７００は、
第１データの論理情報をデータ処理側に送信し、前記データ処理側によって前記第１データの論理情報に基づいて前記第１データに関連する物理データグループ内のデータスライスの物理アドレスである第１物理アドレスを確定するための論理情報送信モジュール７０１と、
前記第１物理アドレスに基づいて前記第１データをソートするためのデータソートモジュール７０２と、
を備えてもよい。

好ましくは、論理情報送信モジュール７０１は、
前記第１データの論理情報を前記データ処理側におけるデータコントローラに送信し、前記データコントローラによって前記第１データの論理情報に基づいて前記第１データのメタデータを確定するための論理情報送信ユニットと、
前記第１データのメタデータを前記データ処理側におけるデータベースに送信し、前記データベースによって前記第１データのメタデータに基づいて前記第１物理アドレスを確定するためのメタデータ送信ユニットと、
を備える。

好ましくは、前記第１データのメタデータは、前記第１データに関連する物理データグループ内のデータスライスのバージョン情報である。

好ましくは、前記第１物理アドレスは、前記第１データに関連する物理データパケット内の全量データスライスの全量物理アドレスおよび増分データスライスの増分物理アドレスを含む。

それに対応し、データソートモジュール７０２は、具体的に、前記増分物理アドレスに基づいて前記第１データを取得し、取得に失敗した場合、前記全量物理アドレスに基づいて前記第１データを取得することと、取得した第１データをソートすることとに用いられる。

本発明の実施例の技術案において、シーケンサは、新しいデータ形態間の関係に基づいてデータにアクセスし、データアクセス効率を向上させることができ、且つ、ホットスポットデータの増分データスライスに優先的にアクセスすることにより、ホットスポットデータのアクセス効率を向上させ、リソース占有を低減することができる。

図８は、本発明の実施例に係るデータ処理システムの構造模式図である。図８を参照し、データ処理システムは、シーケンサと、データビルダと、データ処理側と、物理リソースプールと、容器管理装置とを備え、データ処理側は、データコントローラと、データベースと、記憶コントローラとを備える。

ここで、シーケンサは、検索エンジンまたはプッシュエンジンにおけるソートモジュールであってもよく、データビルダは、コンテンツデータ、即ち、インデックスデータを構築するために用いられる。容器管理装置は、データ容器を管理するために用いられる。

トラフィック分野の初期化過程において、データコントローラは、トラフィック分野のためにダミーデータグループを構築し、トラフィック分野におけるトラフィックカテゴリ毎に一意の物理データグループをそれぞれ構築し、該トラフィックカテゴリのデータ量に基づいてデータスライスを該トラフィックカテゴリに関連する物理データグループに割り当てる。データコントローラは、上記リソース割り当て情報をデータベースに書き込むことができ、記憶コントローラはデータベースにおけるリソース割り当て情報に基づいて物理リソースを配置し、具体的には、記憶コントローラは容器管理装置と協働してリソース割り当て情報における各データスライスのデータ記憶領域を確定し、即ち、各データスライスの物理アドレスを確定し、後のデータ書き込みまたはデータアクセスが使用するように物理リソース配置情報をデータベースに書き込んでもよい。

データ書き込みの段階において、コンテンツビルダは、書き込み待ちデータの論理情報を記憶コントローラに送信し、記憶コントローラは、書き込み待ちデータのメタデータ、例えば、書き込み待ちデータに関連する物理スライスのバージョン情報を返す。コンテンツビルダはメタデータを用いてデータベースから書き込み待ちデータの物理アドレスを取得し、即ち、書き込み待ちデータに関連する物理データグループ内の各データスライスの物理アドレスを取得する。コンテンツビルダは、ロードバランシングに基づき、各データスライスの物理アドレスに応じて書き込み待ちデータをいずれかのデータスライスに書き込む。

データアクセスの段階において、シーケンサは、アクセス待ちデータの論理情報をデータコントローラに送信し、データコントローラは、アクセス待ちデータのメタデータ、例えば、アクセス待ちデータに関連する物理スライスのバージョン情報を返す。シーケンサは、メタデータを用いてデータベースからアクセス待ちデータの物理アドレスを取得し、該物理アドレスを用いてアクセス待ちデータをリコールし、リコールしたデータをソートする。

データコントローラまたは記憶コントローラは、データリソースを拡張または縮小する必要があることを検出した場合、具体的には、物理データパケット内のデータスライスのリソース利用率が上限に達したことを検出した場合、物理データグループのためにデータスライスを増加し、物理データパケット内のデータスライスのリソース利用率が下限よりも小さいことを検出した場合、物理データグループのためにデータスライスを削減し、データ記憶空間が不足であることを検出した場合、新しいデータ記憶領域を追加してもよい。

データ管理と物理記憶とのデカップリングにより、データのクラウドネイティブアーキテクチャおよび完全な自動的なデータ管理方式を実現し、機械コストの低減および運用維持コストの大幅な低減を実現する。データの特徴に基づき、オンラインアクセスの実際のニーズに応じて適当な記憶媒体および記憶管理方式を選択し、データ規模、ユーザ消費流量が大きく変化した場合、柔軟な適応性によりデータ調整を行い、システムの高使用可能性および高性能を確保した前提で、手動操作に依存する必要がなく、機械コストの大幅な低減を実現できる。

本発明の実施例の技術案は、データ処理側がそれぞれシーケンサとデータビルダと協働し、ダミーデータグループ、物理データグループおよびデータスライス等のデータ形態でデータアクセスおよびデータ構築を行うことにより、データ処理の効率を向上させ、且つ、データ処理の利便性を向上させることができる。且つ、データ規模またはユーザ流量が変化した場合、マルチソースの異種シナリオで、流量およびデータ量の大きな違いの前で、柔軟な適応性によりデータ調整を行うことで、データリソース利用率を向上させ、機械コストを低減する。

本発明の実施例によれば、本発明は、電子機器および可読記憶媒体を更に提供する。

図９に示すように、本発明の実施例によるデータ処理の方法の電子機器のブロック図である。電子機器は、ラップトップ型コンピュータ、デスクトップ型コンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピュータのような様々な形式のデジタルコンピュータを表すことを目的とする。電子機器は、携帯端末、携帯電話、スマートフォン、ウェララブル機器および他の類似する計算装置のような様々な形式の移動装置を表すこともできる。本発明に示されたコンポーネント、それらの接続、関係、およびそれらの機能は例示的なものに過ぎず、本発明に記載および／または要求される本発明の実現を限定するものではない。

図９に示すように、該電子機器は、１つまたは複数のプロセッサ９０１と、メモリ９０２と、各コンポーネントを接続するように構成される高速インタフェースおよび低速インタフェースを含むインタフェースとを備える。各コンポーネントは、異なるバスで互に接続され、共通のマザーボードに取り付けられるかまたは必要に応じて他の方式で取り付けることができる。プロセッサは、電子機器内で実行される命令を処理することができ、メモリ内またはメモリ上に記憶されて外部の入力／出力装置（例えば、インタフェースにカップリングされた表示機器）にＧＵＩのグラフィクス情報を表示するための命令を含む。他の実施形態において、必要がある場合、複数のプロセッサおよび複数本のバスと、複数のメモリとを共に使用することができる。それと同様に、複数の電子機器に接続することができ、各機器は、一部の必要な動作（例えば、サーバアレイ、ブレードサーバ群、またはマルチプロセッサシステムとする）を提供する。図９において、１つのプロセッサ９０１と例とする。

メモリ９０２は、本発明に係る非一時的なコンピュータ可読記憶媒体である。ここで、本発明に係るデータ処理の方法を前記少なくとも１つのプロセッサに実行させるために、前記メモリには少なくとも１つのプロセッサにより実行可能な命令が記憶されている。本発明の非一時的なコンピュータ可読記憶媒体はコンピュータ命令を記憶し、該コンピュータ命令は、本発明に係るデータ処理の方法をコンピュータに実行させるために用いられる。

メモリ９０２は、非一時的なコンピュータ可読記憶媒体として、非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能プログラムおよびモジュール、例えば、本発明の実施例におけるデータ処理の方法に対応するプログラム命令／モジュール（例えば、図６に示す第１アドレス確定モジュール６０１および第１アドレス送信モジュール６０２、また、図７に示す論理情報送信モジュール７０１およびデータソートモジュール７０２）を記憶するように構成されてもよい。プロセッサ９０１は、メモリ９０２に記憶された非一時的なソフトウェアプログラム、命令およびモジュールを実行することにより、サーバの各機能アプリケーションおよびデータ処理を実行し、即ち、上記方法実施例におけるデータ処理の方法を実現する。

メモリ９０２は、プログラム記憶エリアおよびデータ記憶エリアを備えてもよく、ここで、プログラム記憶エリアは、オペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラムを記憶することができ、データ記憶エリアは、データ処理の電子機器の使用により作成されたデータ等を記憶することができる。また、メモリ９０２は、高速ランダムアクセスメモリを含んでもよく、少なくとも１つの磁気ディスク記憶機器、フラッシュメモリ、または他の非一時的な固体記憶機器のような非一時的なメモリを更に含んでもよい。いくつかの実施例において、メモリ９０２は、プロセッサ９０１に対してリモートに設けられたメモリを含むことが好ましく、これらリモートメモリは、ネットワークを介してデータ処理の電子機器に接続することができる。上記ネットワークの実例は、インターネット、イントラネット、ローカルエリアネットワーク、移動体通信ネットワークおよびその組み合わせを含んでもよいが、それらに限定されない。

データ処理の電子機器は、入力装置９０３と、出力装置９０４とを更に備えてもよい。プロセッサ９０１、メモリ９０２、入力装置９０３および出力装置９０４は、バスまたは他の方式で接続することができ、図９において、バスを介して接続することを例とする。

入力装置９０３は、入力された数字または文字情報を受信し、データ処理の電子機器のユーザ設定および機能制御に関連するキー信号入力を生成することができ、例えば、タッチパネル、キーパッド、マウス、トラックパッド、タッチパッド、インジケータ、１つまたは複数のマウスボタン、トラックボール、ジョイスティック等の入力装置である。出力装置９０４は、表示機器、補助照明装置（例えば、ＬＥＤ）、および触覚フィードバック装置（例えば、振動モータ）等を含んでもよい。該表示機器は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、およびプラズマディスプレイを含んでもよいが、これらに限定されない。いくつかの実施形態において、表示機器はタッチパネルであってもよい。

ここで説明するシステムおよび技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、特定用途向けＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組み合わせで実現できる。これら各実施形態は以下を含んでもよい。１つまたは複数のコンピュータプログラムに実施され、該１つまたは複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムで実行および／または解釈することができ、該プログラマブルプロセッサは、ストレージシステム、少なくとも１つの入力装置、および少なくとも１つの出力装置からデータおよび命令を受信し、且つデータおよび命令を、該ストレージシステム、該少なくとも１つの入力装置、および該少なくとも１つの出力装置に伝送することができる専用または汎用のプログラマブルプロセッサであってもよい。

これら計算プログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとも呼ばれる）は、プログラマブルプロセッサの機械命令を含み、且つ、高度なプロセスおよび／またはオブジェクト指向プログラミング言語、および／またはアセンブリ／機械言語を用いてこれら計算プログラムを実施することができる。本発明に使用されるように、「機械可読媒体」および「コンピュータ可読媒体」という用語は、機械命令および／またはデータをプログラマブルプロセッサに提供するように構成される任意のコンピュータプログラム製品、機器、および／または装置（例えば、磁気ディスク、光ディスク、メモリ、プログラマブル論理機器（ＰＬＤ））を意味し、機械可読信号としての機械命令を受信する機械可読媒体を含む。「機械可読信号」という用語は、機械命令および／またはデータをプログラマブルプロセッサに提供するための任意の信号を意味する。

ユーザとのインタラクションを提供するために、ここで説明するシステムおよび技術をコンピュータで実施することができ、該コンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）またはＬＣＤ（液晶ディスプレイ）モニタ）と、ユーザがそれにより入力をコンピュータに提供することができるキーボードおよび指向装置（例えば、マウスまたはトラックボール）とを有する。他の種類の装置は、更にユーザとのインタラクションを提供するように構成されてもよい。例えば、ユーザに提供されるフィードバックは、任意の形式のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）であってもよく、且つ、任意の形式（音入力、音声入力または、触覚入力を含む）でユーザからの入力を受信することができる。

ここで説明するシステムおよび技術を、バックグラウンドコンポーネントを含むコンピューティングシステム（例えば、データサーバとする）、または中間コンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバ）、またはフロントエンドコンポーネントを含むコンピューティングシステム（例えば、ユーザがそれによりここで説明するシステムおよび技術の実施形態とインタラクションできるグラフィカルユーザインタフェースまたはネットワークブラウザを有するユーザコンピュータ）、またはこのようなバックグラウンドコンポーネント、中間コンポーネント、またはフロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムに実施することができる。任意の形式または媒体のデジタルデータ通信（例えば、通信ネットワーク）により、システムのコンポーネントを互に接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、ブロックチェーンネットワーク、およびインターネットを含む。

コンピュータシステムはクライアントおよびサーバを含んでもよい。クライアントとサーバとは、一般的に互いに離れ、且つ、通常、通信ネットワークを介してインタラクションを行う。対応するコンピュータで実行されて互いにクライアント－サーバ関係を持つコンピュータプログラムにより、クライアントとサーバとの関係を生成する。

本発明の実施例の技術案は、データ処理側がシーケンサとデータビルダとをそれぞれ協働することにより、ダミーデータグループ、物理データグループおよびデータスライス等のデータ形態でデータアクセスおよびデータ構築を行い、データ処理の効率を向上させることができ、データ処理の利便性を向上させる。且つ、データ規模またはユーザ流量が変化した場合、柔軟な適応性によりデータ調整を行い、データリソース利用率を向上させ、機械コストを低減する。

上記具体的な実施形態は、本発明の保護範囲を限定するものではない。当業者は、設計要求および他の要因に基づき、様々な修正、組み合わせ、サブ組み合わせおよび代替が可能であることを理解すべできる。本発明の精神および原則内で行われる任意の修正、均等置換および改良等は、いずれも本発明の保護範囲内に含まれているべきである。

Claims (34)

1. シーケンサから取得された第１データの論理情報に基づき、前記第１データに関連する物理データグループ内のデータスライスの物理アドレスである第１物理アドレスを確定することと、
   前記第１物理アドレスを前記シーケンサに送信し、前記シーケンサによって前記第１物理アドレスに基づいて前記第１データをソートすることとを含む、
   データ処理方法。
2. 同一の前記物理データグループ内のデータスライスは異なるデータ記憶領域に記憶され、同一の前記データ記憶領域に異なる前記物理データグループ内のデータスライスが記憶されている、
   請求項１に記載の方法。
3. シーケンサから取得された第１データの論理情報に基づいて第１物理アドレスを確定することは、
   データコントローラにより、前記シーケンサから取得された第１データの論理情報に基づいて前記第１データのメタデータを確定し、前記第１データのメタデータを前記シーケンサに送信することと、
   データベースにより、前記シーケンサから取得された第１データのメタデータに基づいて前記第１物理アドレスを確定することとを含む、
   請求項１に記載の方法。
4. 前記第１データのメタデータは、前記第１データに関連する物理データグループ内のデータスライスのバージョン情報である、
   請求項３に記載の方法。
5. 前記第１物理アドレスは、前記第１データに関連する物理データパケット内の全量データスライスの全量物理アドレスおよび増分データスライスの増分物理アドレスを含み、前記シーケンサによって前記増分物理アドレスおよび前記全量物理アドレスに基づいて前記第１データをソートするために用いられる、
   請求項１に記載の方法。
6. データビルダから取得された第２データの論理情報に基づき、前記第２データに関連する物理データグループ内のデータスライスの物理アドレスである第２物理アドレスを確定することと、
   前記第２物理アドレスを前記データビルダに送信し、前記データビルダによって前記第２物理アドレスに基づいて前記第２データを書き込むこととを更に含む、
   請求項１に記載の方法。
7. データビルダから取得された第２データの論理情報に基づいて第２物理アドレスを確定することは、
   記憶コントローラにより、前記データビルダから取得された第２データの論理情報に基づいて前記第２データのメタデータを確定し、前記第２データのメタデータを前記データビルダに送信することと、
   データベースにより、前記データビルダから取得された第２データのメタデータに基づいて前記第２物理アドレスを確定することとを含む、
   請求項６に記載の方法。
8. データ記憶リソース調整イベントを検出した場合、前記物理データグループの記憶リソースを更新し、かつ、前記物理データグループ内のデータスライスの物理アドレスを更新することを更に含む、
   請求項１に記載の方法。
9. データ記憶リソース調整イベントを検出した場合、前記物理データグループの記憶リソースを更新し、かつ、前記物理データグループ内のデータスライスの物理アドレスを更新することは、
   前記物理データグループ内の元のデータスライスのリソース利用率が第１リソース利用率の閾値よりも大きいことを検出した場合、前記物理データグループ内の元のデータスライスのために関連する新しいデータスライスを作成することと、
   前記元のデータスライス内のデータを前記元のデータスライスおよび前記新しいデータスライス内に分け、かつ、前記元のデータスライスおよび前記新しいデータスライスの物理アドレスのそれぞれを前記物理データグループ内のデータスライスの物理アドレスとすることとを含む、
   請求項８に記載の方法。
10. データ記憶リソース調整イベントを検出した場合、前記物理データグループの記憶リソースを更新し、かつ、前記物理データグループ内のデータスライスの物理アドレスを更新することは、
    前記物理データグループ内のデータスライスのリソース利用率が第２リソース利用率の閾値よりも小さいことを検出した場合、前記物理データグループ内の少なくとも１つのデータスライスのデータを前記物理データグループ内の他のデータスライスに統合し、かつ、前記物理データグループ内のデータスライスの物理アドレスから前記少なくとも１つのデータスライスの物理アドレスを削除することを含む、
    請求項８に記載の方法。
11. データ記憶リソース調整イベントを検出した場合、前記物理データグループの記憶リソースを更新し、かつ、前記物理データグループ内のデータスライスの物理アドレスを更新することは、
    前記物理データパケットにホットスポットデータが存在する場合、前記データ記憶リソース調整イベントを検出したことと、
    前記物理データグループのために増分データスライスを作成し、前記ホットスポットデータを前記増分データスライスに書き込み、かつ、前記物理データグループ内の元のデータスライスを前記物理データグループの全量データスライスとすることと、
    前記物理データグループ内の前記増分データスライスの物理アドレスを追加することとを含む、
    請求項８に記載の方法。
12. データ記憶リソース調整イベントを検出した場合、前記物理データグループの記憶リソースを更新し、かつ、前記物理データグループ内のデータスライスの物理アドレスを更新することは、
    データ記憶領域のリソース利用率が第３リソース利用率の閾値よりも大きいことを検出した場合、新しいデータ記憶領域を作成することと、
    前記新しいデータ記憶領域で前記物理データグループの新しいデータスライスを作成し、前記新しいデータ記憶領域の物理アドレスを前記物理データグループ内の新しいデータスライスの物理アドレスとすることとを含む、
    請求項８に記載の方法。
13. 第１データの論理情報をデータ処理側に送信し、前記データ処理側によって前記第１データの論理情報に基づいて前記第１データに関連する物理データグループ内のデータスライスの物理アドレスである第１物理アドレスを確定することと、
    前記第１物理アドレスに基づいて前記第１データをソートすることとを含む、
    データ処理方法。
14. 第１データの論理情報をデータ処理側に送信し、前記データ処理側によって前記第１データの論理情報に基づいて第１物理アドレスを確定することは、
    前記第１データの論理情報を前記データ処理側におけるデータコントローラに送信し、前記データコントローラによって前記第１データの論理情報に基づいて前記第１データのメタデータを確定することと、
    前記第１データのメタデータを前記データ処理側におけるデータベースに送信し、前記データベースによって前記第１データのメタデータに基づいて前記第１物理アドレスを確定することと、
    を含む、
    請求項１３に記載の方法。
15. 前記第１データのメタデータは、前記第１データに関連する物理データグループ内のデータスライスのバージョン情報である、
    請求項１４に記載の方法。
16. 前記第１物理アドレスは、前記第１データに関連する物理データパケット内の全量データスライスの全量物理アドレスおよび増分データスライスの増分物理アドレスを含み、
    前記第１物理アドレスに基づいて前記第１データをソートすることは、
    前記増分物理アドレスに基づいて前記第１データを取得し、取得に失敗した場合、前記全量物理アドレスに基づいて前記第１データを取得することと、
    取得した第１データをソートすることとを含む、
    請求項１３に記載の方法。
17. シーケンサから取得された第１データの論理情報に基づき、前記第１データに関連する物理データグループ内のデータスライスの物理アドレスである第１物理アドレスを確定するための第１アドレス確定モジュールと、
    前記第１物理アドレスを前記シーケンサに送信し、前記シーケンサによって前記第１物理アドレスに基づいて前記第１データをソートするための第１アドレス送信モジュールとを備える、
    データ処理装置。
18. 同一の前記物理データグループ内のデータスライスは異なるデータ記憶領域に記憶され、同一の前記データ記憶領域に異なる前記物理データグループ内のデータスライスが記憶されている、
    請求項１７に記載の装置。
19. 前記第１アドレス確定モジュールは、
    データコントローラにより、前記シーケンサから取得された第１データの論理情報に基づいて前記第１データのメタデータを確定し、前記第１データのメタデータを前記シーケンサに送信するための第１メタデータユニットと、
    データベースにより、前記シーケンサから取得された第１データのメタデータに基づいて前記第１物理アドレスを確定するための第１アドレス確定ユニットとを備える、
    請求項１７に記載の装置。
20. 前記第１データのメタデータは、前記第１データに関連する物理データグループ内のデータスライスのバージョン情報である、
    請求項１９に記載の装置。
21. 前記第１物理アドレスは、前記第１データに関連する物理データパケット内の全量データスライスの全量物理アドレスおよび増分データスライスの増分物理アドレスを含み、前記シーケンサによって前記増分物理アドレスおよび前記全量物理アドレスに基づいて前記第１データをソートするために用いられる、
    請求項１７に記載の装置。
22. データビルダから取得された第２データの論理情報に基づき、前記第２データに関連する物理データグループ内のデータスライスの物理アドレスである第２物理アドレスを確定するための第２アドレス確定モジュールと、
    前記第２物理アドレスを前記データビルダに送信し、前記データビルダによって前記第２物理アドレスに基づいて前記第２データを書き込むための第２アドレス送信モジュールとを更に備える、
    請求項１７に記載の装置。
23. 前記第２アドレス確定モジュールは
    記憶コントローラにより、前記データビルダから取得された第２データの論理情報に基づいて前記第２データのメタデータを確定し、前記第２データのメタデータを前記データビルダに送信するための第２メタデータユニットと、
    データベースにより、前記データビルダから取得された第２データのメタデータに基づいて前記第２物理アドレスを確定するための第２アドレス確定ユニットとを備える、
    請求項２２に記載の装置。
24. データ記憶リソース調整イベントを検出した場合、前記物理データグループの記憶リソースを更新し、かつ、前記物理データグループ内のデータスライスの物理アドレスを更新するためのリソース調整モジュールを更に備える、
    請求項１７に記載の装置。
25. 前記リソース調整モジュールは、具体的に、
    前記物理データグループ内の元のデータスライスのリソース利用率が第１リソース利用率の閾値よりも大きいことを検出した場合、前記物理データグループ内の元のデータスライスのために関連する新しいデータスライスを作成することと、
    前記元のデータスライス内のデータを前記元のデータスライスおよび前記新しいデータスライス内に分け、かつ、前記元のデータスライスおよび前記新しいデータスライスの物理アドレスのそれぞれを前記物理データグループ内のデータスライスの物理アドレスとすることとに用いられる、
    請求項２４に記載の装置。
26. 前記リソース調整モジュールは、具体的に、
    前記物理データグループ内のデータスライスのリソース利用率が第２リソース利用率の閾値よりも小さいことを検出した場合、前記物理データグループ内の少なくとも１つのデータスライスのデータを前記物理データグループ内の他のデータスライスに統合し、かつ、前記物理データグループ内のデータスライスの物理アドレスから前記少なくとも１つのデータスライスの物理アドレスを削除することに用いられる、
    請求項２４に記載の装置。
27. 前記リソース調整モジュールは、具体的に、
    前記物理データパケットにホットスポットデータが存在する場合、前記データ記憶リソース調整イベントを検出したことと、
    前記物理データグループのために増分データスライスを作成し、前記ホットスポットデータを前記増分データスライスに書き込み、かつ、前記物理データグループ内の元のデータスライスを前記物理データグループの全量データスライスとすることと、
    前記物理データグループ内の前記増分データスライスの物理アドレスを追加することとに用いられる、
    請求項２４に記載の装置。
28. 前記リソース調整モジュールは、具体的に、
    データ記憶領域のリソース利用率が第３リソース利用率の閾値よりも大きいことを検出した場合、新しいデータ記憶領域を作成することと、
    前記新しいデータ記憶領域で前記物理データグループの新しいデータスライスを作成し、前記新しいデータ記憶領域の物理アドレスを前記物理データグループ内の新しいデータスライスの物理アドレスとすることとに用いられる、
    請求項２４に記載の装置。
29. 第１データの論理情報をデータ処理側に送信し、前記データ処理側によって前記第１データの論理情報に基づいて前記第１データに関連する物理データグループ内のデータスライスの物理アドレスである第１物理アドレスを確定するための論理情報送信モジュールと、
    前記第１物理アドレスに基づいて前記第１データをソートするためのデータソートモジュールとを備える、
    データ処理装置。
30. 前記論理情報送信モジュールは、
    前記第１データの論理情報を前記データ処理側におけるデータコントローラに送信し、前記データコントローラによって前記第１データの論理情報に基づいて前記第１データのメタデータを確定するための論理情報送信ユニットと、
    前記第１データのメタデータを前記データ処理側におけるデータベースに送信し、前記データベースによって前記第１データのメタデータに基づいて前記第１物理アドレスを確定するためのメタデータ送信ユニットとを備える、
    請求項２９に記載の装置。
31. 前記第１データのメタデータは、前記第１データに関連する物理データグループ内のデータスライスのバージョン情報である、
    請求項３０に記載の装置。
32. 前記第１物理アドレスは、前記第１データに関連する物理データパケット内の全量データスライスの全量物理アドレスおよび増分データスライスの増分物理アドレスを含み、
    前記データソートモジュールは、具体的に、
    前記増分物理アドレスに基づいて前記第１データを取得し、取得に失敗した場合、前記全量物理アドレスに基づいて前記第１データを取得し、取得した第１データをソートすることに用いられる、
    請求項２９に記載の装置。
33. 少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサに通信接続されたメモリとを備え、
    前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶され、
    前記命令は、前記少なくとも１つのプロセッサが請求項１～１６のいずれか１項に記載の方法を実行可能であるように、前記少なくとも１つのプロセッサにより実行される、
    電子機器。
34. 請求項１～１６のいずれか１項に記載の方法をコンピュータに実行させるために用いられるコンピュータ命令が記憶された、
    非一時的なコンピュータ可読記憶媒体。

Images