JP2022141957A - メタデータのスナップショット方法及びそのスナップ装置 - Google Patents

メタデータのスナップショット方法及びそのスナップ装置 Download PDF

Info

Publication number
JP2022141957A
JP2022141957A JP2022120757A JP2022120757A JP2022141957A JP 2022141957 A JP2022141957 A JP 2022141957A JP 2022120757 A JP2022120757 A JP 2022120757A JP 2022120757 A JP2022120757 A JP 2022120757A JP 2022141957 A JP2022141957 A JP 2022141957A
Authority
JP
Japan
Prior art keywords
metadata
snapshot
binary search
search tree
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022120757A
Other languages
English (en)
Inventor
テン シー,
teng Xi
ガン ヂャン,
Gang Zhang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2022141957A publication Critical patent/JP2022141957A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776Validation; Performance evaluation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

Figure 2022141957000001
【課題】データベースのメタデータの管理ノードのスナップショットデータを迅速、且つ、効率的に取得する方法、装置及び記憶媒体を提供する。
【解決手段】方法は、現在のスナップショット時刻になったことに応答して、データベースにおける二分探索木の1つ前のスナップショット時刻の第1の基本バージョン番号に基づいて、現在のスナップショット時刻の第2の基本バージョン番号を生成し、現在のスナップショット時刻から次のスナップショット時刻までの間に、データベース内のメタデータが更新される度に、更新されたメタデータに基づいて二分探索木を更新し、更新された二分探索木毎に更新バージョン番号を生成し、次のスナップショット時刻になったことに応答して、現在のスナップショット時刻と次のスナップショット時刻との間に生成された全てのバージョン番号に対応する二分探索木に対してスナップショット操作を行い、スナップショット情報を生成する。
【選択図】図1

Description

本開示は、クラウドコンピューティング技術の分野に関し、具体的にはクラウドストレージ技術の分野に関し、特にメタデータのスナップショット方法及びそのスナップ装置に関する。
関連技術では、データベースのメタデータの管理ノードをスナップショットする際に、通常、状態データをストレージに記憶して、読み取り/書き込みロックをかけてデータをコピーして、非同期データを永続化してスナップショットファイルを生成する方法が用いられるが、この方法では、スナップショットデータの量が大きい時、ストレージが閉塞しやすく、且つストレージのデータのコピー時間が長くなる。
本開示は、メタデータのスナップショット方法、メタデータのスナップショット装置、電子機器及び記憶媒体を提供する。
本開示の第1の態様によれば、現在のスナップショット時刻になったことに応答して、データベースにおける二分探索木の1つ前のスナップショット時刻の第1の基本バージョン番号に基づいて、前記現在のスナップショット時刻の第2の基本バージョン番号を生成するステップと、前記現在のスナップショット時刻から次のスナップショット時刻までの間に、前記データベース内のメタデータが更新される度に、前記更新されたメタデータに基づいて前記二分探索木を更新し、前記第2の基本バージョン番号に基づいて、更新された前記二分探索木ごとに更新バージョン番号を生成するステップと、前記次のスナップショット時刻になったことに応答して、前記現在のスナップショット時刻と前記次のスナップショット時刻との間に生成されたすべてのバージョン番号に対応する二分探索木に対してスナップショット操作を行い、前記現在のスナップショット時刻に対応するスナップショット情報を生成するステップとを含む、メタデータのスナップショット方法が提供される。
本出願によって提供されるメタデータのスナップショット方法は、マルチバージョン同時実行制御の二分探索木という方式を用いることにより、前のバージョンのデータに影響することなく、データを修正することができるとともに、データの精度及び一致性を確保し、スナップショットデータを迅速且つ効率的に取得し、ユーザが知らないうちに完成することができる。
本開示の第2の態様によれば、現在のスナップショット時刻になったことに応答して、データベースにおける二分探索木の1つ前のスナップショット時刻の第1の基本バージョン番号に基づいて、前記現在のスナップショット時刻の第2の基本バージョン番号を生成するように構成される取得モジュールと、前記現在のスナップショット時刻から次のスナップショット時刻までの間に、前記データベース内のメタデータが更新される度に、前記更新されたメタデータに基づいて前記二分探索木を更新し、前記第2の基本バージョン番号に基づいて、更新された前記二分探索木ごとに更新バージョン番号を生成するように構成される更新モジュールと、前記次のスナップショット時刻になったことに応答して、前記現在のスナップショット時刻と前記次のスナップショット時刻との間に生成されたすべてのバージョン番号に対応する二分探索木に対してスナップショット操作を行い、前記現在のスナップショット時刻に対応するスナップショット情報を生成するように構成される操作モジュールとを備える、メタデータのスナップショット装置が提供される。
本出願によって提供されるメタデータのスナップショット装置は、マルチバージョン同時実行制御の二分探索木という方式を用いることにより、前のバージョンのデータに影響することなく、データを修正することができるとともに、データの精度及び一致性を確保し、スナップショットデータを迅速且つ効率的に取得し、ユーザが知らないうちに完成することができる。
本開示の第3の態様によれば、少なくとも1つのプロセッサと、該少なくとも1つのプロセッサと通信可能に接続されるメモリとを備え、前記メモリには、前記少なくとも1つのプロセッサによって実行可能な命令が記憶されており、前記命令が前記少なくとも1つのプロセッサによって実行される場合、前記少なくとも1つのプロセッサが上記メタデータのスナップショット方法を実行できる、電子機器が提供される。
本開示の第4の態様によれば、コンピュータに上記メタデータのスナップショット方法を実行させるためのコンピュータ命令を記憶した、非一時的コンピュータ読み取り可能な記憶媒体が提供される。
本開示の第5の態様によれば、プロセッサによって実行される場合、上記メタデータのスナップショット方法を実現するコンピュータプログラムが提供される。
なお、この概要部分で説明された内容は本開示の実施例の肝心又は重要な特徴を特定することを意図するものではなく、本開示の範囲を限定することを意図するものでもないことを理解されたい。本開示の他の特徴は以下の明細書によって容易に理解される。
図面は本解決案をよりよく理解するためのものであり、本開示を限定するものではない。
本開示の例示的な一実施例に係るメタデータのスナップショット方法の概略図である。 本開示の例示的な一実施例に係る現在のスナップショット時刻の第2の基本バージョン番号がV2である場合の概略図である。 本開示の例示的な一実施例に係る現在のスナップショット時刻のバージョン番号がV2-1である場合の概略図である。 本開示の例示的な一実施例に係る更新された二分探索木ごとにバージョン番号を更新する概略図である。 本開示の例示的な一実施例に係る目標スナップショット情報に基づいてメタデータ復元を行うステップの概略図である。 本開示の例示的な一実施例に係る更新されたメタデータに基づいて二分探索木を更新するステップの概略図である。 本開示の例示的な一実施例に係るメタデータのスナップショット方法の概略図である。 本開示の例示的な一実施例に係るメタデータのスナップショット装置の概略図である。 本開示の例示的な一実施例に係る電子機器の概略図である。
以下、図面を参照しながら本開示の例示的な実施例を説明し、ここで、理解を助けるために、本開示の実施例の様々な詳細が含まれており、それらを単なる例示的なものと見なすべきある。したがって、当業者であれば、本開示の範囲と精神から逸脱しない限り、ここで説明された実施例に対して様々な修正と変更を行うことができる。同様に、明確且つ簡潔にするために、以下の説明では、公知機能及び構造への説明が省略されている。
クラウドコンピューティング(cloud computing)は、分散コンピューティングの一種であり、ネットワークの「クラウド」を利用して、巨大なデータコンピューティング処理プログラムを無数の小さいプログラムに分解した後、複数のサーバで構成されるシステムによりこれらの小さいプログラムを処理分析して結果を得てユーザに返すことを指す。
クラウドストレージは、オンラインストレージ(Cloud storage)のモードであり、即ち、専用サーバではなく、通常サードパーティによってホストされる複数の仮想サーバにデータを記憶する。
図1は、本出願の実施例によって提供されるメタデータのスナップショット方法の例示的な実施形態であり、図1に示すように、当該メタデータのスナップショット方法は、以下のS101~S103を含む。
S101において、現在のスナップショット時刻になったことに応答して、データベースにおける二分探索木の1つ前のスナップショット時刻の第1の基本バージョン番号に基づいて、現在のスナップショット時刻の第2の基本バージョン番号を生成する。
本出願の実施例では、マルチバージョン同時実行制御(Multi-Version Concurrency Control、MVCC)をサポートする二分探索木(Binary Search Tree)を用いてメタデータを記憶する。MVCCはマルチバージョン同時実行制御の方法であり、通常、データベース管理システムにおいてデータベースへの同時アクセスを実現し、プログラミング言語においてトランザクションストレージを実現する。二分探索木は1つの二分木で構成され、リンクリストデータ構造で表することができ、各ノードは1つのオブジェクトであり、一般に、データ内容と、子又は親を指すポインタプロパティとが含まれる。ある子ノード又は親ノードが存在しない場合、そのポインタプロパティ値はヌル(null)である。
データベースにおける二分探索木の1つ前のスナップショット時刻のバージョン番号を第1の基本バージョン番号とし、スナップショット時刻になると、データベースにおける二分探索木の1つ前のスナップショット時刻の第1の基本バージョン番号に基づいて、現在のスナップショット時刻の第2の基本バージョン番号を生成する。例えば、データベースにおける二分探索木の1つ前のスナップショット時刻の第1の基本バージョン番号をV1として記述すれば、現在のスナップショット時刻の第2の基本バージョン番号をV2として記述する。
選択可能に、スナップショット時刻は、予め設定された時刻であってもよいし、手動に開始されたスナップショット時刻であってもよい。
S102において、現在のスナップショット時刻から次のスナップショット時刻までの間に、データベース内のメタデータが更新される度に、更新されたメタデータに基づいて二分探索木を更新し、第2の基本バージョン番号に基づいて、更新された二分探索木ごとに更新バージョン番号を生成する。
本出願の実施例では、二分探索木のノードはメタデータである。メタデータは、中間データ、中継データとも呼ばれ、データを記述するためのデータであり、主にデータの属性を記述する情報であり、記憶位置、履歴データ、リソース検索、ファイル記録を示すなどの機能をサポートする。
現在のスナップショット時刻から次のスナップショット時刻までの時間範囲内に、データベース内のメタデータが更新されると、更新されたメタデータに基づいて二分探索木を更新する。選択可能に、更新は、メタデータの追加、メタデータの修正、及びメタデータの削除などであってもよい。
二分探索木が更新される度に、現在のスナップショット時刻の第2の基本バージョン番号に基づいて、二分探索木の対応するバージョン番号を更新する。例えば、図2A及び図2Bは、現在のスナップショット時刻の第2の基本バージョン番号がV2である場合の概略図であり、図2Aに示すように、二分探索木は1、2、3、4、5、8の合計6つのノードを有し、現在のスナップショット時刻から次のスナップショット時刻までの時間範囲内に、データベース内のノード5のメタデータが修正された場合、二分探索木を更新し、修正されたノードをノード6で表し、更新された二分探索木は図2Bに示すとおりであり、更新された二分探索木をV2-1として記述する。現在のスナップショット時刻から次のスナップショット時刻までの時間範囲内に、データベース内の1つのメタデータが修正された場合、二分探索木を更新し、更新された二分探索木をV2-2として記述する。
同様に、現在のスナップショット時刻の第2の基本バージョン番号がV3である場合、現在のスナップショット時刻から次のスナップショット時刻までの時間範囲内に、データベースに1つのメタデータが新しく追加されると、二分探索木を更新し、更新された二分探索木をV3-1として記述する。現在のスナップショット時刻から次のスナップショット時刻までの時間範囲内に、データベースの1つのメタデータが修正された場合、二分探索木を更新し、更新された二分探索をV3-2として記述する。
S103において、次のスナップショット時刻になったことに応答して、現在のスナップショット時刻と次のスナップショット時刻との間に生成されたすべてのバージョン番号に対応する二分探索木に対してスナップショット操作を行い、現在のスナップショット時刻に対応するスナップショット情報を生成する。
例えば、現在のスナップショット時刻の第2の基本バージョン番号がV2である場合、その次のスナップショット時刻に対応する基本バージョン番号がV3になり、次のスナップショット時刻になると、現在のスナップショット時刻と次のスナップショット時刻との間に生成されたすべてのバージョン番号に対応する二分探索木に対してスナップショット操作を行い、即ち、V2、V2-1、V2-2…V2-Nに対してスナップショット操作を行い、現在のスナップショット時刻に対応するスナップショット情報を生成する。
同様に、現在のスナップショット時刻の第2の基本バージョン番号がV3である場合、その次のスナップショット時刻に対応する基本バージョン番号がV4になり、次のスナップショット時刻になると、現在のスナップショット時刻と次のスナップショット時刻との間に生成されたすべてのバージョン番号に対応する二分探索木に対してスナップショット操作を行い、即ち、V3、V3-1、V3-2…V3-Nに対してスナップショット操作を行い、現在のスナップショット時刻に対応するスナップショット情報を生成する。
スナップショット情報には、コピーグループのメタデータ情報、コピーのメタデータ情報、トランザクションのメタデータ情報など、多くのメタデータ情報が含まれる。データベースに障害が発生した場合、スナップショット情報に含まれるこれらのメタデータ情報に基づいてその時点のデータベースの状態を復元することができる。
本出願の実施例に係るメタデータのスナップショット方法は、現在のスナップショット時刻になったことに応答して、データベースにおける二分探索木の1つ前のスナップショット時刻の第1の基本バージョン番号に基づいて、現在のスナップショット時刻の第2の基本バージョン番号を生成し、現在のスナップショット時刻から次のスナップショット時刻までの間に、データベース内のメタデータが更新される度に、更新されたメタデータに基づいて二分探索木を更新し、第2の基本バージョン番号に基づいて、更新された二分探索木ごとに更新バージョン番号を生成し、次のスナップショット時刻になったことに応答して、現在のスナップショット時刻と次のスナップショット時刻との間に生成されたすべてのバージョン番号に対応する二分探索木に対してスナップショット操作を行い、現在のスナップショット時刻に対応するスナップショット情報を生成する。本出願は、マルチバージョン同時実行制御の二分探索木という方式を用いることにより、前のバージョンのデータに影響することなく、データを修正することができるとともに、データの精度及び一致性を確保し、スナップショットデータを迅速且つ効率的に取得し、ユーザが知らないうちに完成することができる。
図3は本出願の実施例によって提供されるメタデータのスナップショット方法の例示的な実施形態であり、図3に示すように、上記実施例のもとに、第2の基本バージョン番号に基づいて、更新された二分探索木ごとに更新バージョン番号を生成するステップは、以下のS301~S302を含む。
S301において、メタデータが更新される度に、現在のスナップショット時刻と次のスナップショット時刻との間の現在の更新回数を取得する。
データベース内のメタデータが更新される度に、現在のスナップショット時刻と次のスナップショット時刻との間の現在の更新回数を取得する。例えば、現在のスナップショット時刻に、メタデータの追加が一回あると、これを一回目の更新とし、さらにメタデータの修正が一回あると、これを二回目の更新とし、さらにメタデータの削除が一回あると、これを三回目の更新とし、…その後も同様である。
S302において、第2の基本バージョン番号及び現在の更新回数に基づいて、更新された二分探索木の更新バージョン番号を生成する。
第2の基本バージョン番号及び現在の更新回数に基づいて、更新された二分探索木の更新バージョン番号を生成する。例えば、現在のスナップショット時刻に対応する第2の基本バージョン番号がV2であり、現在の更新回数が三回目の更新である場合、更新された二分探索木の更新バージョン番号はV2-3として記述することができ、現在の更新回数がN回目の更新である場合、更新された二分探索木の更新バージョン番号はV2-Nとして記述することができる。
同様に、現在のスナップショット時刻に対応する第2の基本バージョン番号がV3であり、現在の更新回数が三回目の更新である場合、更新された二分探索木の更新バージョン番号はV3-3として記述することができ、現在の更新回数がN回目の更新である場合、更新された二分探索木の更新バージョン番号はV3-Nとして記述することができる。
本出願の実施例は、第2の基本バージョン番号に基づいて、更新された二分探索木ごとに更新バージョン番号を生成し、これにより、更新する度に生成されたバージョン番号が順番に配列されて、後続のスナップショット取得の際に、スナップショットデータを迅速かつ効率的に取得することができる。
図4は本出願の実施例によって提供されるメタデータのスナップショット方法の例示的な実施形態であり、図4に示すように、上記実施例のもとに、現在のスナップショット時刻のスナップショット情報を生成するステップの後に、以下のS401~S403をさらに含む。
S401において、データベースに障害が発生したことに応答して、データベースの、復元する必要のある目標バージョン番号を取得する。
現在のスナップショット時刻のスナップショット情報が生成された後にデータベースに障害が発生した場合、データベースの、復元する必要のある目標バージョン番号を取得する。例えば、データベースのバージョン番号V2-3において障害が発生した場合、データベースの、復元する必要のある目標バージョン番号はバージョン番号V2-3である。
S402において、目標バージョン番号を索引とし、データベースの候補スナップショット情報から、目標バージョン番号にマッチングする目標スナップショット情報を索引付けする。
データベースによって取得られたすべてのスナップショット情報を候補スナップショット情報とし、バージョン番号を索引とし、データベースの候補スナップショット情報から、目標バージョン番号にマッチングする候補スナップショット情報を目標スナップショット情報として索引付けする。引き続き上記復元する必要のある目標バージョン番号がバージョン番号V2-3であることを例として、バージョン番号V2-3を索引とし、データベースの候補スナップショット情報から、目標バージョン番号にマッチングする候補スナップショット情報であるV2、V2-1、V2-2、V2-3…V2-Nを索引付けし、V2、V2-1、V2-2、V2-3…V2-Nを目標スナップショット情報とする。
S403において、目標スナップショット情報に基づいてメタデータ復元を行う。
上記取得された目標スナップショット情報に基づいて、目標バージョン番号に対応するメタデータを復元する。
選択可能に、ストレージを節約するために、現在のスナップショット時刻に対応するスナップショット情報を生成した後、現在のスナップショット時刻と次のスナップショット時刻との間に生成された更新バージョン番号に対応する二分探索木を削除し、生成されたスナップショット情報のみを保持することができる。例えば、上記V2、V2-1、V2-2…V2-Nに対してスナップショット操作を行って、現在のスナップショット時刻に対応するスナップショット情報を生成した後、V2、V2-1、V2-2…V2-Nに対応する二分探索木を削除することができる。
本出願の実施例は、データベースに障害が発生した場合、目標バージョン番号に基づいてスナップショット情報を索引付けし、メタデータを復元することができ、メタデータを復元する効率を向上させ、メタデータを復元する時間を短縮することができる。
図5は本出願の実施例によって提供されるメタデータのスナップショット方法の例示的な実施形態であり、図5に示すように、上記実施例のもとに、更新されたメタデータに基づいて二分探索木を更新するステップは、以下のS501~S504を含む。
S501において、現在のスナップショット時刻から次のスナップショット時刻までの間に、データベース内の更新されたメタデータを取得する。
現在のスナップショット時刻から次のスナップショット時刻までの時間範囲内に、データベース内のメタデータが更新されると、データベース内の更新されたメタデータを取得する。
S502において、メタデータが新しく追加されたメタデータであることに応答して、追加されたメタデータを二分探索木の1つのノードとして更新する。
メタデータが新しく追加された場合、追加されたメタデータのキー値に基づいて、二分探索木における新しく追加されたメタデータの分岐方向を決定し、分岐方向に従って、新しく追加されたメタデータを二分探索木の1つのノードとして更新する。
S503において、メタデータが修正されたメタデータであることに応答して、二分探索木から修正されたメタデータに対応する第1のノードを決定し、第1のノードのマッピング内容を更新する。
既存のメタデータが修正された場合、二分探索木から修正されたメタデータに対応するノードを第1のノードとして決定し、修正されたメタデータに基づいて第1のノードのマッピング内容を更新する。
S504において、メタデータが削除されたメタデータであることに応答して、二分探索木から削除されたメタデータに対応する第2のノードを決定し、二分探索木から第2のノードを削除する。
既存のメタデータが削除された場合、二分探索木から削除されたメタデータに対応するノードを第2のノードとして決定し、二分探索木から第2のノードを削除する。
本出願の実施例は、メタデータの追加、修正、削除という3つの場合を例として、二分探索木をそれぞれ更新し、これにより、二分探索木はメタデータの変化をよりよく反映することができ、より柔軟かつ正確である。
図6は本出願の実施例によって提供されるメタデータのスナップショット方法の例示的な実施形態の全体的な概略図であり、図6に示すように、当該メタデータのスナップショット方法は以下のS601~S611を含む。
S601において、現在のスナップショット時刻になったことに応答して、データベースにおける二分探索木の1つ前のスナップショット時刻の第1の基本バージョン番号に基づいて、現在のスナップショット時刻の第2の基本バージョン番号を生成する。
S602において、現在のスナップショット時刻から次のスナップショット時刻までの間に、データベース内の更新されたメタデータを取得する。
S603において、メタデータが新しく追加されたメタデータであることに応答して、新しく追加されたメタデータを二分探索木の1つのノードとして更新する。
S604において、メタデータが修正されたメタデータであることに応答して、二分探索木から修正されたメタデータに対応する第1のノードを決定し、第1のノードのマッピング内容を更新する。
S605において、メタデータが削除されたメタデータであることに応答して、二分探索木から削除されたメタデータに対応する第2のノードを決定し、二分探索木から第2のノードを削除する。
ステップS603~S605について、すでに上記実施例において具体的に説明されたため、ここでは詳しい説明を省略する。
S606において、メタデータが更新される度に、現在のスナップショット時刻と次のスナップショット時刻との間の現在の更新回数を取得する。
S607において、第2の基本バージョン番号及び現在の更新回数に基づいて、更新された二分探索木の更新バージョン番号を生成する。
S608において、次のスナップショット時刻になったことに応答して、現在のスナップショット時刻と次のスナップショット時刻との間に生成されたすべてのバージョン番号に対応する二分探索木に対してスナップショット操作を行い、現在のスナップショット時刻に対応するスナップショット情報を生成する。
S609において、データベースに障害が発生したことに応答して、データベースの、復元する必要のある目標バージョン番号を取得する。
S610において、目標バージョン番号を索引とし、データベースの候補スナップショット情報から、目標バージョン番号にマッチングする目標スナップショット情報を索引付けする。
S611において、目標スナップショット情報に基づいてメタデータ復元を行う。
ステップS606~S611について、すでに上記実施例において具体的に説明されたため、ここでは詳しい説明を省略する。
本出願の実施例に係るメタデータのスナップショット方法は、現在のスナップショット時刻になったことに応答して、データベースにおける二分探索木の1つ前のスナップショット時刻の第1の基本バージョン番号に基づいて、現在のスナップショット時刻の第2の基本バージョン番号を生成し、現在のスナップショット時刻から次のスナップショット時刻までの間に、データベース内のメタデータが更新される度に、更新されたメタデータに基づいて二分探索木を更新し、第2の基本バージョン番号に基づいて、更新された二分探索木ごとに更新バージョン番号を生成し、次のスナップショット時刻になったことに応答して、現在のスナップショット時刻と次のスナップショット時刻との間に生成されたすべてのバージョン番号に対応する二分探索木に対してスナップショット操作を行い、現在のスナップショット時刻に対応するスナップショット情報を生成する。本出願は、mvccバージョン制御の二分探索木という方式を用いることにより、前のバージョンのデータに影響することなく、データを修正することができるとともに、データの精度及び一致性を確保し、スナップショットデータを迅速且つ効率的に取得することができる。
図7は本出願によって提供されるメタデータのスナップショット装置の概略図であり、図7に示すように、当該メタデータのスナップショット装置700は、取得モジュール701、更新モジュール702、及び操作モジュール703を備える。
取得モジュール701は、現在のスナップショット時刻になったことに応答して、データベースにおける二分探索木の1つ前のスナップショット時刻の第1の基本バージョン番号に基づいて、現在のスナップショット時刻の第2の基本バージョン番号を生成するように構成される。
更新モジュール702は、現在のスナップショット時刻から次のスナップショット時刻までの間に、データベース内のメタデータが更新される度に、更新されたメタデータに基づいて二分探索木を更新し、第2の基本バージョン番号に基づいて、更新された二分探索木ごとに更新バージョン番号を生成するように構成される。
操作モジュール703は、次のスナップショット時刻になったことに応答して、現在のスナップショット時刻と次のスナップショット時刻との間に生成されたすべてのバージョン番号に対応する二分探索木に対してスナップショット操作を行い、現在のスナップショット時刻に対応するスナップショット情報を生成するように構成される。
さらに、更新モジュール702はさらに、メタデータが更新される度に、現在のスナップショット時刻と次のスナップショット時刻との間の現在の更新回数を取得し、第2の基本バージョン番号及び現在の更新回数に基づいて、更新された二分探索木の更新バージョン番号を生成するように構成される。
さらに、操作モジュール703はさらに、現在のスナップショット時刻と次のスナップショット時刻との間に生成された更新バージョン番号に対応する二分探索木を削除するように構成される。
さらに、操作モジュール703はさらに、データベースに障害が発生したことに応答して、データベースの、復元する必要のある目標バージョン番号を取得し、目標バージョン番号を索引とし、データベースの候補スナップショット情報から、目標バージョン番号にマッチングする目標スナップショット情報を索引付けし、目標スナップショット情報に基づいてメタデータ復元を行う。
さらに、更新モジュール702はさらに、メタデータが新しく追加されたメタデータであることに応答して、新しく追加されたメタデータを二分探索木の1つのノードとして更新し、メタデータが修正されたメタデータであることに応答して、二分探索木から修正されたメタデータに対応する第1のノードを決定し、第1のノードのマッピング内容を更新し、メタデータが削除されたメタデータであることに応答して、二分探索木から削除されたメタデータに対応する第2のノードを決定し、二分探索木から第2のノードを削除するように構成される。
さらに、更新モジュール702はさらに、新しく追加されたメタデータのキー値に基づいて、二分探索木における新しく追加されたメタデータの分岐方向を決定し、分岐方向に従って二分探索木を更新するように構成される。
本開示の実施例に基づいて、本開示は、電子機器、読み取り可能な記憶媒体及びコンピュータプログラム製品をさらに提供する。
図8は本開示の例示的な実施例を実施可能な電子機器800の例示的なブロック図を示す。電子機器800はラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、及び他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことを目的とする。電子機器800は、パーソナルデジタルプロセッサ、携帯電話、スマートフォン、ウェアラブルデバイス、他の類似するコンピューティングデバイスなどの様々な形態のモバイル装置を表すこともできる。本明細書で示されるコンポーネント、それらの接続と関係、及びそれらの機能は単なる例であり、本明細書の説明及び/又は要求される本出願の実現を制限することを意図したものではない。
図8に示すように、電子機器800は、リードオンリーメモリ(ROM)802に記憶されるコンピュータプログラム又は記憶ユニット807からランダムアクセスメモリ(RAM)803内にロードされるコンピュータプログラムに基づいて様々な適切な動作と処理を実行できる計算ユニット801を備える。RAM 803は、電子機器800の操作に必要な様々なプログラム及びデータを含むことができる。計算ユニット801、ROM 802及びRAM 803はバスを介して804互いに接続される。入力/出力(I/O)インターフェース805は同様にバス804に接続される。
キーボード、マウスなどの入力ユニット806と、各種類のタイプのモニタ、スピーカーなどの出力ユニット807と、磁気ディスク、光ディスクなどの記憶ユニット808と、ネットワークカード、モデム、無線通信送受信機などの通信ユニット809とを備える電子機器800の複数の部品はI/Oインターフェース805に接続される。通信ユニット809は、電子機器800がインターネットなどのコンピュータネットワーク及び/又は様々なテレコムネットワークを介して他の機器と情報/データを交換することを許容する。
計算ユニット801処理と計算能力を有する様々な汎用及び/又は専用処理コンポーネントであってもよい。計算ユニット801の一部の例は、中央処理装置(CPU)、グラフィックス処理装置(GPU)、様々な専用の人工知能(AI)計算チップ、機械学習モデルアルゴリズムを実行する様々な計算ユニット、デジタル信号プロセッサ(DSP)、及び任意の適切なプロセッサ、コントローラ、マイクロコントローラなどを含むが、これらに限定されない。計算ユニット801は以上で説明された各方法及び処理、例えば、メタデータのスナップショット方法を実行する。例えば、いくつかの実施例では、メタデータのスナップショット方法は、記憶ユニット808などの機械読み取り可能な媒体に有形的に含まれるコンピュータソフトウェアプログラムとして実現することができる。一部の実施例では、コンピュータプログラムの一部又はすべてはROM 802及び/又は通信ユニット809を介して電子機器800にロード及び/又はインストールされる。コンピュータプログラムがRAM 803にロードされ且つ計算ユニット801によって実行される際に、上記で説明されたメタデータのスナップショット方法の1つ又は複数のステップを実行することができる。代替的に、他の実施例では、計算ユニット801は他の任意の適切な方法(例えば、ファームウェアを介して)を介して、メタデータのスナップショット方法を実行するように構成されてもよい。
本明細書の上述したシステム及び技術の様々な実施形態はデジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、特定用途向け標準製品(ASSP)、システムオンチップ(SOC)、コンプレックス・プログラマブル・ロジック・デバイス(CPLD)、コンピュータハードウェア、ファームウェア、ソフトウェア、及び/又はそれらの組み合わせで実現することができる。これらの様々な実施形態は、1つ又は複数のコンピュータプログラムで実施されてもよく、当該1つ又は複数のコンピュータプログラムは、少なくとも1つのプログラマブルプロセッサを備えるプログラム可能なシステムで実行及び/又は解釈することができ、当該プログラマブルプロセッサは、特定用途向け又は汎用プログラマブルプロセッサであってもよく、ストレージシステム、少なくとも1つの入力装置、及び少なくとも1つの出力装置からデータ及び命令を受信し、データ及び命令を当該ストレージシステム、当該少なくとも1つの入力装置、及び当該少なくとも1つの出力装置に伝送することができる。
本出願の方法を実行するためのプログラムコードは、1つ又は複数のプログラミング言語の任意の組み合わせで書くことができる。これらのプログラムコードは、プロセッサ又がコントローラによって実行された際に、フローチャート及び/又はブロック図によって規定された機能/動作が実施されるように、汎用コンピュータ、専用コンピュータ、又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供されてもよい。プログラムコードは、完全に機械上で実行され、部分的に機械上で実行され、スタンドアロンソフトウェアパッケージとして、部分的に機械上で実行され、かつ部分的にリモート機械上で実行され、又は完全にリモート機械又はサーバ上で実行されてもよい。
本出願の文脈では、機械読み取り可能な媒体は、命令実行システム、装置、またはデバイスによって使用されたり、又は命令実行システム、装置、またはデバイスと組み合わせて使用されたりするプログラムを含むか、又は記憶できる有形の媒体であってもよい。機械読み取り可能な媒体は、機械読み取り可能な信号媒体または機械読み取り可能な記憶媒体であってもよい。機械読み取り可能な媒体は、電子的、磁気的、光学的、電磁気的、赤外線的、又は半導体システム、装置又はデバイス、または上記内容の任意の適切な組み合わせを備えることができるが、これらに限定されない。機械読み取り可能な記憶媒体のより具体的な例は、1つ又は複数のラインに基づく電気接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、消去可能プログラマブルリードオンリーメモリ(EPROM又はフラッシュメモリ)、光ファイバ、ポータブルコンパクトディスクリードオンリーメモリ(CD-ROM)、光学記憶装置、磁気記憶装置、または上記内容のいずれかの適切な組み合わせを含む。
ユーザとのインタラクションを提供するために、ここで説明されたシステム及び技術をコンピュータ上で実施することができ、当該コンピュータは、ユーザに情報を表示するためのディスプレイ装置(例えば、CRT(陰極線管)又はLCD(液晶ディスプレイ)モニタ)、並びにキーボードとポインティングデバイス(例えば、マウス又はトラックボール)を有し、ユーザは、当該キーボード及び当該ポインティングデバイスを介して入力をコンピュータに提供することができる。他の種類の装置も、ユーザとのインタラクションを提供することができ、例えば、ユーザに提供されるフィードバックは、任意の形式のセンシングフィードバック(例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック)であってもよく、任意の形式(音響入力と、音声入力または、触覚入力とを含む)でユーザからの入力を受信することができる。
ここで説明されるシステム及び技術は、バックエンドコンポーネントを備えるコンピューティングシステム(例えば、データサーバとして)、又はミドルウェアコンポーネントを備えるコンピューティングシステム(例えば、アプリケーションサーバ)、又はフロントエンドコンポーネントを備えるコンピューティングシステム(例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ、ユーザは、当該グラフィカルユーザインタフェース又は当該ウェブブラウザによってここで説明されたシステム及び技術の実施形態とインタラクションを行う)、又はこのようなバックエンドコンポーネントと、ミドルウェアコンポーネントと、フロントエンドコンポーネントの任意の組み合わせを備えるコンピューティングシステムで実施することができる。任意の形態又は媒体のデジタルデータ通信(例えば、通信ネットワーク)によってシステムのコンポーネントを互に接続することができる。通信ネットワークの例は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、及びインターネットを含む。
コンピュータシステムは、クライアントとサーバを備えることができる。クライアントとサーバは、一般に、互いに離れており、通常に通信ネットワークを介してインタラクションする。対応するコンピュータ上で実行され、かつ互いにクライアント-サーバ関係を有するコンピュータプログラムによってクライアントとサーバとの関係が生成される。サーバはクラウドサーバであってもよく、分散システムのサーバであってもよく、或いはブロックチェーンと組み合わせたサーバであってもよい。
なお、上記様々な形式のフローを用いて、ステップを並べ替え、追加又は削除することができる。例えば、本発明開示に記載される各ステップは、本開示で開示された技術案の所望の結果を実現できる限り、並列的に実行されても良いし、順次実行されてもよく、異なる順序で実行されてもよいが、本明細書では限定されない。
本開示の技術案では、関わるユーザ個人情報の収集、記憶、使用、加工、伝送、提供及び開示などの処理は、いずれも関連する法規制の規定に合致し、かつ公序良俗に反しない。
上記具体的な実施形態は、本開示の保護範囲を限定するものではない。当業者であれば、設計要件や他の要因に応じて、様々な修正、組み合せ、一部の組み合せ及び代替を行うことができることを理解されたい。本開示の精神及び原則内で行われる修正、同等の置き換え及び改善などは、いずれも本開示の保護範囲内に含まれるべきである。

Claims (15)

  1. 現在のスナップショット時刻になったことに応答して、データベースにおける二分探索木の1つ前のスナップショット時刻の第1の基本バージョン番号に基づいて、前記現在のスナップショット時刻の第2の基本バージョン番号を生成するステップと、
    前記現在のスナップショット時刻から次のスナップショット時刻までの間に、前記データベース内のメタデータが更新される度に、更新されたメタデータに基づいて前記二分探索木を更新し、前記第2の基本バージョン番号に基づいて、更新された二分探索木ごとに更新バージョン番号を生成するステップと、
    前記次のスナップショット時刻になったことに応答して、前記現在のスナップショット時刻と前記次のスナップショット時刻との間に生成されたすべてのバージョン番号に対応する二分探索木に対してスナップショット操作を行い、前記現在のスナップショット時刻に対応するスナップショット情報を生成するステップと、
    を含む、メタデータのスナップショット方法。
  2. 前記第2の基本バージョン番号に基づいて、更新された前記二分探索木ごとに更新バージョン番号を生成するステップが、
    メタデータが更新される度に、前記現在のスナップショット時刻と前記次のスナップショット時刻との間の現在の更新回数を取得するステップと、
    前記第2の基本バージョン番号及び前記現在の更新回数に基づいて、更新された前記二分探索木の更新バージョン番号を生成するステップと、
    を含む、請求項1に記載のメタデータのスナップショット方法。
  3. 前記現在のスナップショット時刻のスナップショット情報を生成するステップの後に、
    前記現在のスナップショット時刻と前記次のスナップショット時刻との間に生成された前記更新バージョン番号に対応する二分探索木を削除するステップを含む、請求項1に記載のメタデータのスナップショット方法。
  4. 前記現在のスナップショット時刻のスナップショット情報を生成するステップの後に、
    前記データベースに障害が発生したことに応答して、前記データベースの、復元する必要のある目標バージョン番号を取得するステップと、
    前記目標バージョン番号を索引とし、前記データベースの候補スナップショット情報から、前記目標バージョン番号にマッチングする目標スナップショット情報を索引付けするステップと、
    前記目標スナップショット情報に基づいてメタデータ復元を行うステップと、
    を含む、請求項1に記載のメタデータのスナップショット方法。
  5. 前記更新されたメタデータに基づいて前記二分探索木を更新するステップが、
    前記メタデータが新しく追加されたメタデータであることに応答して、前記新しく追加されたメタデータを前記二分探索木の1つのノードとして更新するステップと、
    前記メタデータが修正されたメタデータであることに応答して、前記二分探索木から前記修正されたメタデータに対応する第1のノードを決定し、前記第1のノードのマッピング内容を更新するステップと、
    前記メタデータが削除されたメタデータであることに応答して、前記二分探索木から前記削除されたメタデータに対応する第2のノードを決定し、前記二分探索木から第2のノードを削除するステップと、
    を含む、請求項1に記載のメタデータのスナップショット方法。
  6. 前記新しく追加されたメタデータを前記二分探索木の1つのノードとして更新するステップが、
    前記新しく追加されたメタデータのキー値に基づいて、前記二分探索木における前記新しく追加されたメタデータの分岐方向を決定し、前記分岐方向に従って前記二分探索木を更新するステップを含む、請求項5に記載のメタデータのスナップショット方法。
  7. 現在のスナップショット時刻になったことに応答して、データベースにおける二分探索木の1つ前のスナップショット時刻の第1の基本バージョン番号に基づいて、前記現在のスナップショット時刻の第2の基本バージョン番号を生成するように構成される取得モジュールと、
    前記現在のスナップショット時刻から次のスナップショット時刻までの間に、前記データベース内のメタデータが更新される度に、前記更新されたメタデータに基づいて前記二分探索木を更新し、前記第2の基本バージョン番号に基づいて、更新された前記二分探索木ごとに更新バージョン番号を生成するように構成される更新モジュールと、
    前記次のスナップショット時刻になったことに応答して、前記現在のスナップショット時刻と前記次のスナップショット時刻との間に生成されたすべてのバージョン番号に対応する二分探索木に対してスナップショット操作を行い、前記現在のスナップショット時刻に対応するスナップショット情報を生成するように構成される操作モジュールと、
    を備える、メタデータのスナップショット装置。
  8. 前記更新モジュールが、
    メタデータが更新される度に、前記現在のスナップショット時刻と前記次のスナップショット時刻との間の現在の更新回数を取得し、
    前記第2の基本バージョン番号及び前記現在の更新回数に基づいて、更新された前記二分探索木の更新バージョン番号を生成するように構成される、請求項7に記載のメタデータのスナップショット装置。
  9. 前記操作モジュールが、
    前記現在のスナップショット時刻と前記次のスナップショット時刻との間に生成された前記更新バージョン番号に対応する二分探索木を削除するように構成される、請求項7に記載のメタデータのスナップショット装置。
  10. 前記操作モジュールが、
    前記データベースに障害が発生したことに応答して、前記データベースの、復元する必要のある目標バージョン番号を取得し、
    前記目標バージョン番号を索引とし、前記データベースの候補スナップショット情報から、前記目標バージョン番号にマッチングする目標スナップショット情報を索引付けし、
    前記目標スナップショット情報に基づいてメタデータ復元を行うように構成される、請求項7から9のいずれか一項に記載のメタデータのスナップショット装置。
  11. 前記更新モジュールが、
    前記メタデータが新しく追加されたメタデータであることに応答して、前記新しく追加されたメタデータを前記二分探索木の1つのノードとして更新し、
    前記メタデータが修正されたメタデータであることに応答して、前記二分探索木から前記修正されたメタデータに対応する第1のノードを決定し、前記第1のノードのマッピング内容を更新し、
    前記メタデータが削除されたメタデータであることに応答して、前記二分探索木から前記削除されたメタデータに対応する第2のノードを決定し、前記二分探索木から第2のノードを削除するように構成される、請求項7から9のいずれか一項に記載のメタデータのスナップショット装置。
  12. 前記更新モジュールが、
    前記新しく追加されたメタデータのキー値に基づいて、前記二分探索木における前記新しく追加されたメタデータの分岐方向を決定し、前記分岐方向に従って前記二分探索木を更新するように構成される、請求項11に記載のメタデータのスナップショット装置。
  13. 少なくとも1つのプロセッサと、
    該少なくとも1つのプロセッサと通信可能に接続されるメモリと、
    を備え、
    前記メモリには、前記少なくとも1つのプロセッサによって実行可能な命令が記憶されており、前記命令が前記少なくとも1つのプロセッサによって実行される、前記少なくとも1つのプロセッサが請求項1から6のいずれか一項に記載のメタデータのスナップショット方法を実行できる電子機器。
  14. コンピュータに請求項1から6のいずれか一項に記載のメタデータのスナップショット方法を実行させるためのコンピュータ命令を記憶した、非一時的コンピュータ読み取り可能な記憶媒体。
  15. プロセッサによって実行される場合、請求項1から6のいずれか一項に記載のメタデータのスナップショット方法を実現するコンピュータプログラム。
JP2022120757A 2021-07-29 2022-07-28 メタデータのスナップショット方法及びそのスナップ装置 Pending JP2022141957A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110865000.8 2021-07-29
CN202110865000.8A CN113657465B (zh) 2021-07-29 2021-07-29 预训练模型的生成方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
JP2022141957A true JP2022141957A (ja) 2022-09-29

Family

ID=78490877

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022120757A Pending JP2022141957A (ja) 2021-07-29 2022-07-28 メタデータのスナップショット方法及びそのスナップ装置

Country Status (4)

Country Link
US (1) US20220335711A1 (ja)
JP (1) JP2022141957A (ja)
KR (1) KR20220113881A (ja)
CN (1) CN113657465B (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114065939B (zh) * 2021-11-22 2022-10-11 北京百度网讯科技有限公司 量子芯片设计模型的训练方法、装置、设备及存储介质
CN114565030B (zh) * 2022-02-17 2022-12-20 北京百度网讯科技有限公司 特征筛选方法、装置、电子设备和存储介质
CN114723966B (zh) * 2022-03-30 2023-04-07 北京百度网讯科技有限公司 多任务识别方法、训练方法、装置、电子设备及存储介质
WO2024007105A1 (en) * 2022-07-04 2024-01-11 Robert Bosch Gmbh Method and apparatus for continual learning of tasks
WO2024071845A1 (ko) * 2022-09-28 2024-04-04 주식회사 메디컬에이아이 의료용 인공지능 모델의 구축 방법, 프로그램 및 장치
WO2024065535A1 (en) * 2022-09-29 2024-04-04 Intel Corporation Methods, apparatus, and articles of manufacture to generate hardware-aware machine learning model architectures for multiple domains without training
CN118036777A (zh) * 2022-11-04 2024-05-14 大唐移动通信设备有限公司 模型训练方法、模型测试方法、装置及存储介质
CN115470873B (zh) * 2022-11-14 2023-04-18 中国人民解放军国防科技大学 一种雷达辐射源识别方法与系统
CN115759232B (zh) * 2022-11-23 2023-08-22 北京百度网讯科技有限公司 深度学习框架的多任务并行处理方法、装置、设备和介质
CN116151215B (zh) * 2022-12-28 2023-12-01 北京百度网讯科技有限公司 文本处理方法、深度学习模型训练方法、装置以及设备
CN115905021B (zh) * 2022-12-30 2023-11-28 长春吉大正元信息技术股份有限公司 一种模糊测试方法、装置、电子设备以及存储介质
CN115983609B (zh) * 2023-03-17 2023-06-13 中关村科学城城市大脑股份有限公司 工单处理方法、装置、电子设备和计算机可读介质
CN116361463B (zh) * 2023-03-27 2023-12-08 应急管理部国家减灾中心(应急管理部卫星减灾应用中心) 一种地震灾情信息提取方法、装置、设备及介质
CN116049411B (zh) * 2023-03-31 2023-06-27 北京中关村科金技术有限公司 一种信息匹配方法、装置、设备和可读存储介质
CN116502679B (zh) * 2023-05-15 2023-09-05 之江实验室 一种模型构建方法、装置、存储介质及电子设备
CN116527411B (zh) * 2023-07-05 2023-09-22 安羚科技(杭州)有限公司 数据安全智能防护模型构建方法、装置及协作平台
CN117113137A (zh) * 2023-08-07 2023-11-24 国网冀北电力有限公司信息通信分公司 电力模型匹配方法、装置、存储介质及电子设备
CN117556753B (zh) * 2024-01-11 2024-03-19 联和存储科技(江苏)有限公司 存储芯片的能耗分析方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08106473A (ja) * 1994-10-06 1996-04-23 Fujitsu Ltd データベース管理システム
JP2019515377A (ja) * 2016-04-18 2019-06-06 アマゾン・テクノロジーズ・インコーポレーテッド 分散型データストアのバージョン化された階層型データ構造

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109034365A (zh) * 2018-07-06 2018-12-18 电子科技大学 深度学习模型的训练方法及装置
CN109711548A (zh) * 2018-12-26 2019-05-03 歌尔股份有限公司 超参数的选取方法、使用方法、装置及电子设备
CN110288084A (zh) * 2019-06-06 2019-09-27 北京小米智能科技有限公司 超网络训练方法和装置
CN111612146A (zh) * 2020-04-16 2020-09-01 杭州电子科技大学 一种基于无监督学习的模型预训练方法
CN111680597B (zh) * 2020-05-29 2023-09-01 北京百度网讯科技有限公司 人脸识别模型处理方法、装置、设备和存储介质
CN111639753B (zh) * 2020-05-29 2023-12-05 北京百度网讯科技有限公司 用于训练图像处理超网络的方法、装置、设备以及存储介质
CN112329732A (zh) * 2020-11-30 2021-02-05 北京百度网讯科技有限公司 模型生成方法、装置、电子设备及存储介质
CN112507099B (zh) * 2020-12-18 2021-12-24 北京百度网讯科技有限公司 对话理解模型的训练方法、装置、设备和存储介质
CN112580723B (zh) * 2020-12-18 2023-09-22 北京百度网讯科技有限公司 多模型融合方法、装置、电子设备和存储介质
CN112559870B (zh) * 2020-12-18 2023-10-31 北京百度网讯科技有限公司 多模型融合方法、装置、电子设备和存储介质
CN112686299A (zh) * 2020-12-29 2021-04-20 北京迈格威科技有限公司 计算机执行的神经网络模型获取方法及装置
CN112784962A (zh) * 2021-01-21 2021-05-11 北京百度网讯科技有限公司 超网络的训练方法、装置、电子设备和存储介质
CN112784961A (zh) * 2021-01-21 2021-05-11 北京百度网讯科技有限公司 超网络的训练方法、装置、电子设备和存储介质
CN112801215B (zh) * 2021-03-17 2021-07-02 腾讯科技(深圳)有限公司 图像处理模型搜索、图像处理方法、装置和存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08106473A (ja) * 1994-10-06 1996-04-23 Fujitsu Ltd データベース管理システム
JP2019515377A (ja) * 2016-04-18 2019-06-06 アマゾン・テクノロジーズ・インコーポレーテッド 分散型データストアのバージョン化された階層型データ構造

Also Published As

Publication number Publication date
CN113657465B (zh) 2024-04-09
KR20220113881A (ko) 2022-08-17
US20220335711A1 (en) 2022-10-20
CN113657465A (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
JP2022141957A (ja) メタデータのスナップショット方法及びそのスナップ装置
US10853338B2 (en) Universal data pipeline
JP2022141980A (ja) メタデータのスナップショット方法及びそのスナップ装置
US20210303537A1 (en) Log record identification using aggregated log indexes
US20130275369A1 (en) Data record collapse and split functionality
CN111651519B (zh) 数据同步方法、数据同步装置、电子设备及存储介质
EP3825865A2 (en) Method and apparatus for processing data
EP3474158A1 (en) Method and device for executing distributed computing task
US20210149870A1 (en) Method, apparatus, and computer program product for improved tracking of state data
WO2023103432A1 (zh) 代码文件编辑方法、装置、电子设备以及存储介质
US20190303462A1 (en) Methods and apparatuses for automated performance tuning of a data modeling platform
CN114417070A (zh) 数据权限的收敛方法、装置、设备以及存储介质
CN115292313A (zh) 一种伪列实现方法、装置、电子设备及存储介质
US11789971B1 (en) Adding replicas to a multi-leader replica group for a data set
CN109977104B (zh) 数据管理方法及装置
JP2018109898A (ja) データマイグレーションシステム
CN110727672A (zh) 数据映射关系查询方法、装置、电子设备及可读介质
US11487708B1 (en) Interactive visual data preparation service
CN113515504B (zh) 数据管理方法、装置、电子设备以及存储介质
EP4131017A2 (en) Distributed data storage
US20240028593A1 (en) In-memory graph query engine with persisted storage
CN115454977A (zh) 一种数据迁移方法、装置、设备和存储介质
CN114416881A (zh) 一种多源数据的实时同步方法、装置、设备及介质
CN115630243A (zh) 页面处理方法、装置、电子设备及介质
CN114706832A (zh) 一种数据重分布方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220728

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230905

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240402