JP2022137281A - データ照会方法、装置、電子デバイス、記憶媒体、及びプログラム - Google Patents

データ照会方法、装置、電子デバイス、記憶媒体、及びプログラム Download PDF

Info

Publication number
JP2022137281A
JP2022137281A JP2022115827A JP2022115827A JP2022137281A JP 2022137281 A JP2022137281 A JP 2022137281A JP 2022115827 A JP2022115827 A JP 2022115827A JP 2022115827 A JP2022115827 A JP 2022115827A JP 2022137281 A JP2022137281 A JP 2022137281A
Authority
JP
Japan
Prior art keywords
data
extraction
target
target cluster
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022115827A
Other languages
English (en)
Inventor
ワン,ガン
Gang Wang
リュウ,ウェイ
Wei Liu
ジャン,チエン
Qian Zhang
チェン,グオリャン
Guoliang Chen
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2022137281A publication Critical patent/JP2022137281A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2457Query processing with adaptation to user needs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/957Browsing optimisation, e.g. caching or content distillation
    • G06F16/9574Browsing optimisation, e.g. caching or content distillation of access to content, e.g. by caching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/254Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24552Database cache management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/248Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9532Query formulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9538Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/954Navigation, e.g. using categorised browsing
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】特定のデータ照会シーンにおいて、ユーザがページをめくることで任意のページのデータ結果をリアルタイムで見ることを可能にするデータ照会方法、装置、電子デバイス、記憶媒体及びプログラムを提供する。【解決手段】データ照会方法は、データ照会要求に基づいて、対象データの抽出位置を決定することS101と、抽出位置に対応するデータ抽出方策を決定することS102と、データ抽出方策に基づいて、抽出位置にて対象データを抽出し、対象データをデータ照会結果とすることS103と、を含む。【効果】既存のディープページングメカニズムに存在するシステムオーバーヘッドが大きく、リアルタイム性が劣るという技術的課題が解決され,データ照会の効率が向上する。【選択図】図1

Description

本開示は、コンピュータ技術分野に関し、特にスマート検索分野に関する。
特定のデータ照会シーンにおいて、ユーザはページをめくることで任意のページのデータ結果をリアルタイムで見る必要があり、プロセス全体においてバックエンド照会システムがオンラインでリアルタイムに応答する必要がある。データ量の規模が比較的大きい場合、従来技術ではシステムのオーバーヘッドが大きく、リアルタイム性が劣り、ページジャンプ照会をサポートできないという問題があり、ユーザ体験が劣っていた。
本開示は、データ照会方法、装置、電子デバイス、記憶媒体、及びプログラムを提供する。
本開示の1つの態様では、データ照会方法を提供し、該方法は、データ照会要求に基づいて、対象データの抽出位置を決定することと、抽出位置に対応するデータ抽出方策を決定することと、データ抽出方策に基づいて、抽出位置にて対象データを抽出し、対象データをデータ照会結果とすることと、を含む。
本開示のもう1つの様態では、データ照会装置を提供し、該装置は、データ照会要求に基づいて、対象データの抽出位置を決定するための抽出位置決定モジュールと、抽出位置に対応するデータ抽出方策を決定するための抽出方策決定モジュールと、データ抽出方策に基づいて、抽出位置にて対象データを抽出し、対象データをデータ照会結果とするための結果決定モジュールと、を備える。
本開示のもう1つの様態では、電子デバイスを提供し、該デバイスは、少なくとも1つのプロセッサと、少なくとも1つのプロセッサに通信接続されるメモリと、を備え、メモリには、少なくとも1つのプロセッサにより実行可能な命令が記憶されており、命令が少なくとも1つのプロセッサにより実行される場合、本開示の任意の実施形態の方法を実行させることを特徴とする。
本開示のもう1つの様態では、コンピュータ命令を記憶した非一時的なコンピュータ可読記憶媒体を提供し、該コンピュータ命令は、本開示の任意の実施形態の方法をコンピュータに実行させる。
本開示のもう1つの様態では、プログラムを提供し、該プログラムは、コンピュータにおいてプロセッサにより実行されると、本開示の任意の実施形態の方法を実現する。
本開示の技術によれば、既存のディープページングメカニズムに存在するシステムオーバーヘッドが大きく、リアルタイム性が劣るという技術的課題が解決され、データ照会の効率を向上する。
ここに記載された内容は、本開示の実施形態のキーポイント又は重要な特徴を記述することを意図せず、また、本開示の範囲を制限することにも用いられないことを理解すべきである。本開示の他の特徴については、下記の明細書を通して説明を促す。
添付図面は、本方案をより良く理解するためのものであり、本開示を限定するものではない。
本開示の1つの実施形態における照会方法のフローチャートである。 本開示の1つの実施形態における抽出位置を決定するフローチャート1である。 本開示の1つの実施形態における抽出方策を決定するフローチャート1である。 本開示の1つの実施形態における抽出位置を決定するフローチャート2である。 本開示の1つの実施形態における抽出方策を決定するフローチャート2である。 本開示の1つの実施形態における第1候補データ集合を決定するフローチャートである。 本開示の1つの実施形態における抽出開始点を決定するフローチャートである。 本開示の1つの実施形態における対象データを決定するフローチャートである。 本開示の1つの実施形態におけるディープページングの論理フローチャートである。 本開示の1つの実施形態における照会装置の概略図である。 本開示の実施形態における照会方法を実現するための電子デバイスのブロック図である。
以下では、本開示の例示的な実施形態を、理解を容易にするために本開示の実施形態の様々な詳細を含む添付の図面に関連して説明するが、これらは単に例示的なものであると考えるべきである。したがって、当業者は、本開示の範囲及び精神を逸脱することなく、本明細書に記載された実施形態に様々な変更及び修正を加えることができることを認識すべきである。同様に、以下の説明では、周知の機能及び構成については、明確化及び簡明化のために説明を省略する。
図1に示すように、本開示はデータ照会方法に関し、該方法は以下のステップを含むことができる。
S101において、データ照会要求に基づいて、対象データの抽出位置を決定する。
S102において、抽出位置に対応するデータ抽出方策を決定する。
S103において、データ抽出方策に基づいて、抽出位置にて対象データを抽出し、対象データをデータ照会結果とする。
本実施形態は、サーバに適用することができ、サーバは、例えばタブレットやスマートフォン等のデータ照会機能を備えた電子デバイスであってもよい。
ユーザがクライアントにてデータを照会するとき、サーバは、クライアントから送信されたデータ照会要求を受信し、ここで、照会要求は、クライアントが照会したいデータの要求を含むことができ、例えば、照会要求は、照会結果に関するキーワード、照会結果に対してソートを行うソートフィールド、照会データのページングパラメータ等を含むことができる。任意のデータ照会要求はいずれも本発明に用いることができ、ここでは限定しない。
ユーザがサーバにてキーワード及びソートフィールドを指定することでデータ照会要求を開始すると、ページをめくることで一定の順序に従ってリアルタイムで対応する照会結果を見ることができ、即ち、照会要求の対応する1ページ目の結果から、継続的にページをめくり閲覧を行うことができる。要求結果があるページ数よりも大きい場合、例えば、データ照会要求の対応するページ数がある数(例えば1000ページ又はそれ以上)を超える場合、ディープページング問題が発生する可能性がある。
サーバは、ユーザ側から送信されたデータ照会要求に基づき、データ照会要求に適合する対象データをクライアントに返す。対象データは、データ照会要求に適合する複数の記憶データを含む対象結果ページデータであってもよい。具体的には、以下のステップを含む。
まず、対象データの抽出位置を決定する。対象データがキャッシュメモリに記憶されている場合、キャッシュメモリを対象データの抽出位置とすることができる。そうでない場合、メインメモリを対象データの抽出位置とすることができる。
次に、抽出位置に対応するデータ抽出方策を決定する。キャッシュメモリを対象データの抽出位置としている場合、標識情報に基づき対象データを迅速で読み取り、対応するデータ抽出方策とする。メインメモリを対象データの抽出位置としている場合、データ照会要求に基づき標識情報を生成し、更に、標識情報に基づき対象データを抽出する。
最後に、データ抽出方策に基づいて、抽出位置にて対象データを抽出し、対象データをデータ照会結果とする。
上述のプロセスを通して、データ照会要求に基づき、対応するデータ抽出位置及び抽出方策を確定することにより、異なる抽出位置において異なる抽出方策を用いて対象データを照会することができ、既存のディープページングメカニズムに存在するシステムオーバーヘッドが大きい及びリアルタイム性に劣るという技術的課題を解決する。
図2に示すように、1つの実施形態において、ステップS101は以下のサブステップを含むことができる。
S201において、照会要求に対応する標識を決定する。
S202において、標識に基づき、対象データを含むターゲットクラスタデータを、キャッシュメモリにおいて検索する。
S203において、キャッシュメモリにターゲットクラスタデータが記憶されている場合に、キャッシュメモリを抽出位置とする。
照会要求の対応する標識は、クライアントが送信した照会要求に唯一対応する文字列であってもよく、例えば、照会要求の対応する標識は、キャッシュメモリにおいて用いられているセッショントークン(Session ID)であってもよい。
ここで、Sessionとは、ステートレスなサービスにアクセスするときに用いられるセッション保持メカニズムを指す。ユーザが初めてサーバにアクセスしたとき、サーバはユーザに唯一のSession IDを生成してユーザに返すと同時に、サーバはキャッシュメモリに該Session IDの対応するSessionデータをキャッシュし、且つ該Sessionデータの有効期限を設定する。該ユーザがサーバに再びアクセスしたとき、サーバは該ユーザが所持するSession IDに基づきキャッシュレコードを探し、今回のデータ照会要求に迅速に応答する。
1つの実施形態において、照会要求に対応する標識を決定することは、以下を含むことができる。
まず、照会要求に基づき、対象データの対応するターゲットクラスタのシーケンス番号を計算する。次に、照会要求及びターゲットクラスタのシーケンス番号に基づき、対応する標識を決定する。
データ照会要求は、照会キーワード、ソートフィールド、ページ番号情報、ページサイズ情報、ページクラスタのデータ容量情報等を含むことができる。
ここで、ソートフィールドは「時間」、「価格」等であってもよく、ここでは網羅的に列挙しない。
ページ番号情報は、ユーザが呼び出しを希望する対象ページの対応するシーケンス番号情報であってもよく、値は1、2、3、…n(正の整数)であってもよく、ここでは限定しない。
ページサイズ情報、即ち各ページが対応する記憶データ数は、一般に10とし、必要に応じて設定してもよく、ここでは限定しない。
ページクラスタのデータ容量は、1つのクラスタ内の対応する記憶データ結果数を指し、例えば、1ページ目から100ページ目までを1つのページクラスタとし、1ページあたり10個の記憶データを含むとすると、ページクラスタの対応するデータ容量は1000個となり、ページクラスタのデータ容量は5000個、10000個等であってもよく、ここでは限定しない。
ターゲットクラスタは、対象データを含むユニットアクセスデータであり、ターゲットクラスタのシーケンス番号は、対象データを含む複数の連続するページの対応する結果集合を標識するために用いられることができる。例えば、1ページ目から100ページ目までで構成されるページクラスタのシーケンス番号は1であり、101ページ目から200ページ目までで構成されるページクラスタのシーケンス番号は2である。対応的に、81ページ目の記憶データの対応するターゲットクラスタのシーケンス番号は1、151ページ目の対応するターゲットクラスタのシーケンス番号は2であり、他のページ番号情報の対応するターゲットクラスタのシーケンス番号については更に網羅的に列挙しない。
1つの実施形態において、照会要求に基づき、切り上げ関数を用いて対象データの対応するターゲットクラスタのシーケンス番号を計算し、計算プロセスは、式(1)を参照する。
式(1):
page_group_index=CEIL((page_size*page_index)/(1.0*page_group_size))
ここで、page_group_indexはターゲットクラスタのシーケンス番号を表し、1、2、3、…、nの値をとることができる。page_sizeは、ページサイズ、即ち各ページの結果数を表し、デフォルト値は10であり、自ら定義して代入することもできる。page_indexはページ番号情報を表し、1、2、3、…、nの値をとることができる。page_group_Sizeは、ページクラスタ内の結果総数を表すことができる。
例示的に、page_size=10、page_index=205、page_group_size=1000である場合、page_group_index=CEIL((10*205)/(1.0*1000))=2である。
対応するターゲットクラスタのシーケンス番号の計算方法は、他のラウンド関数形式、例えば、切り捨て関数等を用いてもよいが、ここでは限定しない。
ターゲットクラスタのシーケンス番号を計算した後、更に照会要求及びターゲットクラスタのシーケンス番号に基づき、対応する標識を決定することができる。具体的には、照会要求に含まれるパラメータ情報及びターゲットクラスタのシーケンス番号情報に基づき、対応する標識情報として長さが有限であるデジタルフィンガープリントを抽出することができる。例えば、ハッシュ関数(hash)に基づき、以下の式(2)により対応する標識を生成することができ、具体的なプロセスは以下の通りである。
式(2):
Session ID=hash(query+sorted field+page_size+page_group_index+page_group_size)
ここで、queryはデータ照会要求に含まれるキーワードを表すことができ、sorted fieldはデータ照会要求におけるソートフィールドを表すことができ、その他のパラメータは上記の計算式(1)の解釈を参照することができる。
照会要求に対応する標識を決定することは、他のハッシュ関数の形式を用いることもでき、ここでは限定しない。
照会要求の対応する標識を得た後、標識に基づき、対象データを含むターゲットクラスタデータを、キャッシュメモリにおいて検索することができる。
サーバは、標識に基づき、キャッシュメモリにおいてキャッシュレコードを探すことで、今回のデータ照会要求に迅速に応答することができる。ある一定の期間において、該標識の対応するターゲットクラスタデータは履歴照会レコードを有し、かつ、該履歴照会レコードが無効化されていない状態である場合に、ターゲットクラスタデータがキャッシュメモリに記録されている。
キャッシュメモリにターゲットクラスタデータが記憶されている場合に、キャッシュメモリを抽出位置とする。サーバは、照会要求の対応する標識に基づき、キャッシュメモリにおいて照会要求の対応するターゲットクラスタデータを抽出する。更に、照会要求に含まれる対象ページ番号情報に基づいて、ターゲットクラスタデータにおいて対象データを抽出することができる。
以上のプロセスにより、サーバは、照会要求の対応する標識に基づきキャッシュレコードをキャッシュメモリから探すことができることで、今回のデータ照会要求に迅速に応答する。
図3に示すように、1つの実施形態において、キャッシュメモリを抽出位置とする場合、ステップS102は、以下のサブステップを含むことができる。
S301において、データ照会要求における対象ページ番号情報を取得する。
S302において、対象ページ番号情報に基づきターゲットクラスタデータにおいて対象データを抽出する方策を、データ抽出方策とする。
例えば、ページサイズ(page_size)=10、ページ番号情報(page_index)=205、ページクラスタ内の結果総数(page_group_size)=1000であるときの対応するデータ抽出方策は、サーバが照会要求の対応する標識に基づきキャッシュメモリにおいてターゲットクラスタのシーケンス番号(page_group_index)=2に対応するキャッシュレコードを迅速に読み取り、更にサーバはページ番号情報(page_index)=205に基づき、上記キャッシュレコードにおいて対象ページ番号情報が205に対応する10個の対象データを切り取ることである。
このとき、ユーザ側がランダムに261ページにジャンプする、即ち、ページ番号情報(page_index)=261である場合、対象データは、前回照会した205ページに対応する対象データと同じターゲットクラスタのシーケンス番号(page_group_index)=2の対応するターゲットクラスタデータに属し、この場合、対応するデータ抽出方策は、サーバがページ番号情報(page_index)=261に基づき、上記キャッシュレコードから対象ページ番号情報261に対応する10個の対象データを切り取ることである。
上記のプロセスにより、照会待ち対象データが履歴照会データと同じページクラスタに属する場合、対象ページ番号情報に基づきターゲットクラスタデータにおいて対象データを抽出する方策により、クライアントのキャッシュメモリにおけるランダムなページジャンプ照会をサポートする。
図4に示すように、1つの実施形態において、ステップS101は以下のサブステップを含むことができる。
S401において、照会要求に対応する標識を決定する。
S402において、標識に基づき、対象データを含むターゲットクラスタデータを、キャッシュメモリにおいて検索する。
S403において、キャッシュメモリにターゲットクラスタデータが記憶されていない場合に、1以上の整数であるN個のメモリスライスを含むメインメモリを抽出位置とする。
ここで、ステップS401及びステップS402は、前述したステップと同様であり、ここでは繰り返し言及しない。
キャッシュメモリにターゲットクラスタデータが記憶されていない場合は、主に以下の2つの状況が含まれる。すなわち、一定期間内に、該標識の対応するターゲットクラスタデータに履歴照会レコードが現れない、もしくは該標識の対応する履歴照会レコードは現れたが、該履歴照会レコードが既に無効になっている場合である。
キャッシュメモリにターゲットクラスタデータが記憶されていない場合に、メインメモリを照会要求の対応する抽出位置とし、ここで、メインメモリは、サーババックグラウンドインデックスモジュールに対応することができ、具体的に、N個のメモリスライスを含むことができ、Nはデータ量の状況に基づいて1、2、3等の1以上の正の整数をとることができ、ここでは網羅的に列挙しない。
メモリスライス(shard)はデータベースに関する技術用語で、データベースの対応する全量データを複数のメモリスライスに分けて、複数の物理ノードに分布し、各メモリスライスはいずれも1つのスライス標識を持つことができる。
上記のプロセスにより、キャッシュメモリにターゲットクラスタデータが記憶されていない場合に、メインメモリを抽出位置とすることで、サーバはデータ照会要求に迅速に応答することができる。
1つの実施形態において、図5に示すように、データ照会要求がソートルールを含む場合に、ステップS102は、以下のサブステップを更に含むことができる。
S501において、ソートルールに基づいて、各メモリスライスにおける記憶データに対してソートを行い、ソート結果を得る。
S502において、ターゲットクラスタのパラメータ情報に基づいて、各メモリスライスのソート結果において記憶データの抽出を行い、N個の第1候補データ集合を得、ターゲットクラスタのパラメータ情報は、ターゲットクラスタのデータ容量を含む。
S503において、N個の第1候補データ集合における記憶データを統合して、第2候補データ集合を得る。
S504において、第2候補データ集合においてデータ抽出を行う方策を、データ抽出方策とする。
ここで、データ照会要求に含まれるソートルールは、ソートフィールド及びソート方法を含み、具体的に、ソートフィールドは必要に応じて時間フィールド、価格フィールド等に設定することができ、ソート方法は昇順または降順であってもよく、ここでは限定しない。
例えば、ユーザがあるショッピングサイトで照会を行うプロセスにおいて、対応するデータ照会要求にはキーワード「上着」、ソートフィールド「価格」及びソート方式「昇順」を含むことができる。更に例えば、ユーザが発表された文章に対応するコメント情報を照会するとき、対応するデータ照会状況には、キーワード「疫病」、ソートフィールド「コメント時間」、ソート方式「降順」、すなわち「疫病」に関連するコメント情報をコメント時間に応じて新から旧の順にソートすることができる。上記のソートルールは必要に応じて他に設定することも可能であり、ここでは限定しない。
ソートルールに基づいて、各メモリスライスにおける記憶データに対してソートを行い、ソート結果を得る。ここで、記憶データの対応する初期状態は、照会要求におけるキーワード情報に基づいて決定された複数の記憶データを複数のメモリスライスにランダムに記録することである。ソートルールに基づいて、各メモリスライスにおける記憶データに対してソートを行い、照合結果としてソート後のメモリスライスを得る。
例えば、コメント情報を照会するシーンにおいて、データ照会要求のキーワード情報が「疫病」であるとき、仮にこのとき対応する全量データが1000万件あるとすると、全量データをランダムに20個のメモリスライスに分け、各メモリスライスに50万件の記録データを対応させ、「コメント時間」及び「降順」をソートルールとして、各メモリスライスにおける50万件の記録データに対してソートを行い、ソート結果を得ることができる。
メモリスライスの数及び各メモリスライスの記憶データ数は、必要に応じて設定を行うことができ、ここでは限定しない。
各メモリスライスの対応するソート結果を得た後、ターゲットクラスタのパラメータ情報に基づいて、各メモリスライスのソート結果において記憶データの抽出を行い、対応的にN個の第1候補データ集合を得、ターゲットクラスタのパラメータ情報は、ターゲットクラスタのデータ容量を含む。
ここで、ターゲットクラスタのパラメータ情報は、ターゲットクラスタのデータ容量(page_group_size)及びターゲットクラスタのシーケンス番号(page_group_index)等の情報を含むことができ、ここでは限定しない。
例示的に、データ照会要求において対応するpage_group_size=1000の場合、ある1つのソートされたメモリスライスにおいて、抽出開始点を選択することで、抽出開始点の対応する記憶データを第1のデータコンテンツとし、1000個の記憶データを該メモリスライスの対応する第1候補データ集合として抽出する。N個のメモリスライスそれぞれに対して同様の操作を行い、N個の第1候補データ集合を得る。
次に、N個のメモリスライスの抽出結果を取得し、N個の第1候補データ集合における記憶データを統合して、第2候補データ集合を得る。最後に、データ照会要求における対象ページ番号情報に基づき、第2候補データ集合においてデータ抽出を行う方策を、データ抽出方策とする。
上記のプロセスにより、メインメモリを複数のメモリスライスに分割し、各メモリスライスが最大で全量データのうちの一部のデータのみを検索することにより、照会効率を大幅に向上することができる。
1つの実施形態において、図6に示すように、ステップS502は、更に以下含むことができる。
S601において、ターゲットクラスタのパラメータ情報に基づいて、各第1候補データ集合のデータ抽出開始点を決定する。
S602において、データ抽出開始点を用いて、所定数の記憶データを抽出し、抽出結果を対応する第1候補データ集合とする。
データ抽出開始点は、即ちソート後のメモリスライスに対してデータ抽出を行う最初の記憶データが位置する位置であり、具体的に、データ抽出開始点はメモリスライスの開始位置であってもよいし、メモリスライスにおける指定位置であってもよいが、ここでは限定しない。
所定数は、ターゲットクラスタのデータ容量(page_group_size)と同じ数であってもよく、ここでは限定しない。
上記のプロセスにより、抽出開始点及び所定数を決定することに基づき、各メモリスライスにおける第1候補データ集合を正確に位置特定することができ、システムリソースの消費を低減することができる。
1つの実施形態において、図7に示すように、ステップS601は、更に以下のサブステップを含むことができる。
S701において、i番目の第1候補データ集合に対して、パラメータ情報におけるターゲットクラスタのシーケンス番号を取得し、ここで、1≦i≦Nである。
S702において、ターゲットクラスタのシーケンス番号が1よりも大きい場合に、キャッシュメモリを用いてターゲットクラスタの前方隣接クラスタを照会する。
S703において、前方隣接クラスタの最後の記憶データのソート値を用いて、ターゲットクラスタの最初の記憶データのソート値を決定する。
S704において、最初の記憶データのソート値を用いて、i番目の第1候補データ集合の抽出開始点を決定する。
パラメータ情報におけるターゲットクラスタのシーケンス番号を取得することにより、第1候補データ集合の抽出開始点を決定する。ターゲットクラスタのシーケンス番号が1よりも大きい場合に、キャッシュメモリを通してターゲットクラスタの前方隣接クラスタの最後の記憶データに関する情報を取得することで、第1候補データ集合の抽出開始点を迅速に位置特定することができる。
具体的に、データ照会要求の対応する標識(Session ID)に基づき、キャッシュメモリにおいてターゲットクラスタデータを取得できない場合、キャッシュメモリにおいてターゲットクラスタデータの前方隣接クラスタ(pre_page_group)データを継続して照会することができる。照会が成功した場合、キャッシュメモリを用いてターゲットクラスタの前方隣接クラスタの最後の記憶データを取得し、1候補データ集合の抽出開始点を決定することができる。ここで、前方隣接クラスタは、即ちターゲットクラスタの1つ前のページクラスタであり、前方隣接クラスタのシーケンス番号は以下の式(3)で計算でき、前方隣接クラスタ標識は以下の式(4)で計算できる。
式(3):
pre_page_group_index= page_group_index-1
式(4):
pre_Session ID=hash(query+sorted_field+page_size+pre_page_group_index+ page_group_size)
ここで、pre_page_group_indexは、前方隣接クラスタのシーケンス番号を表し、pre_Session IDは、前方隣接クラスタ標識を表すことができ、その他のパラメータは、上記式(1)及び式(2)を参照することができる。
上記の計算により前方隣接クラスタの標識を得ることができ、具体的な計算プロセスは前述のとおりであり、ここでは繰り返し言及しない。前方隣接クラスタの標識に基づき、キャッシュメモリにおいて対応する最後の記憶データを照会且つ取り出すことができる。最後の記憶データのソート値を用いて、ターゲットクラスタの最初の記憶データのソート値を決定する。
具体的に、すべてのデータはいずれもすでにソートルールに従ってソートされているためである。例えば、前方隣接クラスタの最後の記憶データのソート値が1000である場合、ターゲットクラスタの最初の記憶データのソート値の対応する位置に基づいて、第1候補データ集合の抽出開始点を決定する。すなわち、対応的にターゲットクラスタのストリップ記憶データのソート値は1001である。
キャッシュメモリにおいて前方隣接クラスタの対応する記憶データが存在しない場合、サーバは記憶データの開始位置からトラバース照会を行い、具体的なプロセスは繰り返し言及しない。
上記プロセスにより、キャッシュメモリにおける関連データに基づき第1候補データ集合の抽出開始点を位置特定することができ、照会のたびに記憶データの開始位置からトラバースすることを回避し、システムのリソース消費を大幅に削減することができる。
1つの実施形態において、i番目の第1候補データ集合に対して、ターゲットクラスタのシーケンス番号が1である場合に、i番目のメモリスライスの開始位置をi番目の第1候補データ集合の抽出開始点とする。
このとき、ターゲットクラスタのシーケンス番号が1であるため、第1候補データ集合の抽出開始点を計算する必要がなく、メモリスライスにおける最初の記憶データを直接第1候補データ集合の抽出開始点とする。
1つの実施形態において、図8に示すように、ステップS504は、更に以下のサブステップを含むことができる。
S801において、ソートルールに基づいて、第2候補データ集合における記憶データに対してソートを行い、ソートされた第2候補データ集合を得る。
S802において、ターゲットクラスタのデータ容量に基づいて、ソートされた第2候補データ集合において記憶データのフィルタリングを行い、フィルタリング結果をキャッシュメモリに書き込む。
S803において、データ照会要求における対象ページ番号情報を取得し、対象ページ番号情報に基づいて、キャッシュメモリにおいて対応する対象データの抽出を行うことをデータ抽出の方策とする。
第2候補データ集合における記録データにとって、前述のソートルールを用いて再度二次ソートを行い、ソートされた第2候補データ集合を得ることができる。
前述の例で引き続き説明すると、データ照会要求の対応するターゲットクラスタのデータ容量(page_group_size)情報については、page_group_size=1000とする。即ち、ソートされた第2候補データ集合において記憶データ抽出を行い、最初の1000個の記憶データを抽出し、且つキャッシュメモリに書き込むことで後続のデータ照会時の迅速な呼び出しを容易にする。
抽出結果をキャッシュメモリに書き込むとき、対応する有効期限を設定することができ、ここで、有効期限は例えば1時間、1日、1週間等必要に応じて設定することができ、ここでは限定しない。
最後に、データ照会要求中において対応する対象ページ番号情報に基づいて、キャッシュメモリにおいて対象ページ番号の対応する対象データを抽出し、且つこれを抽出方策とする。前述の例で引き続き説明すると、page_size=10、page_index=27のとき、抽出結果において27ページ目の対応する10個のデータを対象データとする。
上記プロセスにより、条件を満たす抽出結果をキャッシュメモリに記録することにより、データ照会のリアルタイム性を向上するとともに、占有するオーバーヘッドを低減することで、高並行性のリアルタイム照会の要求を満たすことができる。
1つの実施形態において、図9に示すように、データ照会の方法は、以下のステップを含む。
(1)ユーザが、クライアントに基づきデータ照会要求を開始し、要求パラメータは、以下を含むことができる。
query=「疫病」、sorted_field=time_stamp、page_index=201、page_size=10、page_group_size=1000。
ここで、queryは照会キーワードであり、time_stampは記憶データの対応するタイムスタンプ情報であり、sorted_fieldはソートフィールドであり、page_indexは対象データの対応する対象ページ番号情報であり、page_sizeはページサイズ情報であり、page_group_sizeはターゲットクラスタのデータ容量であることができる。
(2)サーバは、ユーザから入力されたデータ照会要求に基づき、対象データの対応するターゲットクラスタシーケンス番号(page_group_index)及びターゲットクラスタの対応する標識(Session ID)を計算する。
(3)Session IDに基づきキャッシュメモリにターゲットクラスタの対応するデータコンテンツの読み取るように要求し、存在する場合、照会を終了する。存在しない場合、ターゲットクラスタシーケンス番号(page_group_index)が1であるか否かを判定し、page_group_index=1であれば、ステップ(5)にジャンプする。
(4)page_group_index>1の場合、ターゲットクラスタの対応するSession IDに基づき前方隣接クラスタの対応するpre_Session IDを計算するとともに、pre_Session IDに基づきキャッシュメモリにおいて前方隣接クラスタの対応する記憶データが記録されているか否かを判断し、存在しない場合、ユーザ照会要求に基づき全量データ照会を行い、存在する場合、前方隣接クラスタにおける最後の記憶データを取り出す。
(5)page_group_index>1の場合、前方隣接クラスタにおける最後の記憶データのソート値に基づいて、ターゲットクラスタにおける最初の記憶データに迅速に位置特定することで、抽出開始点とし、所定数の記憶データを連続的に抽出して第1候補データ集合として集約モジュールに返す。
page_group_index=1の場合、ターゲットクラスタの開始位置を抽出開始点とし、所定数の記録データを連続的に抽出して第1候補データ集合として集約モジュールに返す。
(6)集約モジュールは、複数の第1候補データ集合の記録データを統合した後、ソートルールに基づき二次的にソートを行う。同時に、所定数のターゲットクラスタデータを抽出してキャッシュメモリに書き込み、且つ有効期限を設定する。
(7)抽出されたターゲットクラスタデータ及び対象ページ番号情報に基づき、対象ページの対応する対象データを抽出してクライアントに返し、照会を終了する。
図10に示すように、本開示は、データ照会装置に関し、該装置は、データ照会要求に基づいて、対象データの抽出位置を決定するための抽出位置決定モジュール1001と、抽出位置に対応するデータ抽出方策を決定するための抽出方策決定モジュール1002と、データ抽出方策に基づいて、抽出位置にて対象データを抽出し、対象データをデータ照会結果とするための結果決定モジュール1003と、を備える。
1つの実施形態において、抽出位置決定モジュール1001は、更に、照会要求に対応する標識を決定するための標識決定サブモジュールと、標識に基づき、対象データを含むターゲットクラスタデータを、キャッシュメモリにおいて検索するための検索サブモジュールと、キャッシュメモリにターゲットクラスタデータが記憶されている場合に、キャッシュメモリを抽出位置とするための抽出位置決定実行サブモジュールと、を備える。
1つの実施形態において、抽出方策決定モジュール1002は、更に、データ照会要求における対象ページ番号情報を取得するためのページ番号情報取得サブモジュールと、対象ページ番号情報に基づきターゲットクラスタデータにおいて対象データを抽出する方策を、データ抽出方策とするための第1抽出方策実行サブモジュールと、を備える。
1つの実施形態において、抽出位置決定モジュール1001は、更に、照会要求に対応する標識を決定するための標識決定サブモジュールと、標識に基づき、対象データを含むターゲットクラスタデータを、キャッシュメモリにおいて検索するための検索サブモジュールと、キャッシュメモリにターゲットクラスタデータが記憶されていない場合に、N個のメモリスライスを含むメインメモリを抽出位置とするための抽出位置決定実行サブモジュールと、を備え、ここで、Nは1以上の整数である。
1つの実施形態において、データ照会要求がソートルールを含む場合に、抽出方策決定モジュール1002は、ソートルールに基づいて、各メモリスライスにおける記憶データに対してソートを行い、ソート結果を得るためのソートサブモジュールと、ターゲットクラスタのパラメータ情報に基づいて、各メモリスライスのソート結果において記憶データの抽出を行い、N個の第1候補データ集合を得るための抽出サブモジュールと、ここで、ターゲットクラスタのパラメータ情報は、ターゲットクラスタのデータ容量を含み、N個の第1候補データ集合における記憶データを統合して、第2候補データ集合を得るための統合サブモジュールと、第2候補データ集合においてデータ抽出を行う方策を、データ抽出方策とするための第2抽出方策実行サブモジュールと、を備える。
1つの実施形態において、抽出サブモジュールは、ターゲットクラスタのパラメータ情報に基づいて、各第1候補データ集合のデータ抽出開始点を決定するための抽出開始点決定サブモジュールと、データ抽出開始点を用いて、所定数の記憶データを抽出し、抽出した結果を第1候補データ集合とするための第1候補データ集合決定実行サブモジュールと、を備える。
1つの実施形態において、抽出開始点決定サブモジュールは、パラメータ情報におけるターゲットクラスタのシーケンス番号を取得するためのシーケンス番号取得サブモジュールと、ターゲットクラスタのシーケンス番号が1よりも大きい場合に、キャッシュメモリを用いてターゲットクラスタの前方隣接クラスタの最後の記憶データを取得するためのデータ取得サブモジュールと、最後の記憶データのソート値を用いて、ターゲットクラスタの最初の記憶データのソート値を決定するためのソート値決定サブモジュールと、ターゲットクラスタの最初の記憶データのソート値の対応する位置に基づいて、第1候補データ集合の抽出開始点を決定するための第1抽出開始点決定実行サブモジュールと、を備える。
1つの実施形態において、抽出開始点決定サブモジュールは、ターゲットクラスタのシーケンス番号が1である場合に、メモリスライスの開始位置を第1候補データ集合の抽出開始点とするための第2抽出開始点決定実行サブモジュールを備える。
1つの実施形態において、第2抽出方策実行サブモジュールは、ソートルールに基づいて、第2候補データ集合における記憶データに対してソートを行い、ソートされた第2候補データ集合を得るための記憶データソートサブモジュールと、ターゲットクラスタのデータ容量に基づいて、ソートされた第2候補データ集合において記憶データの抽出を行い、抽出結果をキャッシュメモリに書き込むための記憶データ抽出サブモジュールと、対象ページ番号情報に基づいて、キャッシュメモリにおいて対応する対象データの抽出を行うことをデータ抽出の方策とするための方策構成サブモジュールと、を備える。
本開示の技術方案において、関連するユーザの個人情報の取得、保存および応用等は、いずれも関連法律法規の規定に合致しており、公序良俗に反するものではない。
本開示の実施形態によれば、本開示はまた、電子装置、可読記憶媒体、およびコンピュータプログラム製品を提供する。
図11は、本開示の実施形態を実現するための電子デバイス1100のブロック図である。電子デバイスは、各形式のデジタルコンピュータを指し、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ、及びその他の適合するコンピュータが挙げられる。電子デバイスは、各形式の移動装置を更に指し、例えば、パーソナルデジタルアシスタント、セルラー電話、インテリジェントフォン、ウェアラブルデバイス、及びその他の類似のコンピュータ装置が挙げられる。本開示に記載されているコンポーネント、それらの接続関係、及び機能は例示的なものに過ぎず、本開示に記載・特定されているものの実現を限定するわけではない。
図11に示すように、デバイス1100は、リードオンリーメモリ(ROM)1102に記憶されたコンピュータプログラム命令、又は記憶ユニット1108からランダムアクセスメモリ(RAM)1103にローディングされたコンピュータプログラム命令に基づいて、各種の適切な動作と処理を実行できるコンピューティングユニット1101を含む。RAM1103には、デバイス1100の動作に必要な各種のプログラム及びデータを更に記憶することができる。コンピューティングユニット1101と、ROM1102と、RAM1103とは、バス1104を介して互いに接続されている。入力/出力(I/O)インターフェース1105もバス1104に接続されている。
デバイス1100における複数のコンポーネントは、I/Oインターフェース1105に接続されており、その複数のコンポーネントは、キーボードやマウス等の入力ユニット1106と、種々なディスプレイやスピーカ等の出力ユニット1108と、磁気ディスクや光学ディスク等の記憶ユニット1108と、ネットワークカード、モデム、無線通信トランシーバー等の通信ユニット1109と、を備える。通信ユニット1109は、デバイス1100がインターネットのようなコンピュータネット及び/又は種々なキャリアネットワークを介して他の機器と情報/データを交換することを許可する。
コンピューティングユニット1101は、処理及びコンピューティング能力を有する様々な汎用及び/又は専用の処理コンポーネントであってもよい。コンピューティングユニット1101のいくつかの例としては、中央処理装置(CPU)、グラフィックス処理ユニット(GPU)、様々な専用の人工知能(AI)コンピューティングチップ、様々な機械学習モデルアルゴリズムを実行するコンピューティングユニット、デジタル信号プロセッサ(DSP)、及び任意の適切なプロセッサ、コントローラ、マイクロコントローラ等を備えるが、これらに限定されない。コンピューティングユニット1101は、上述で説明された各方法及び処理、例えばデータ照会方法を実行する。例えば、いくつかの実施形態では、データ照会方法を、記憶ユニット1108のような機械読み取り可能な媒体に有形的に含まれるコンピュータソフトウエアプログラムとして実現することができる。一部の実施形態では、コンピュータプログラムの一部又は全ては、ROM1102及び/又は通信ユニット1109を介して、デバイス1100にロード及び/又はインストールすることができる。コンピュータプログラムがRAM1103にロードされてコンピューティングユニット1101によって実行される場合に、前述したデータ照会方法の1つ又は複数のステップを実行することができる。追加可能に、他の実施形態では、コンピューティングユニット1101は、他の任意の適当な方式(例えば、ファームウェア)によりデータ照会方法を実行するように構成することができる。
ここで記載されているシステム又は技術の各種の実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、特定用途向け標準品(ASSP)、システムオンチップ(SOC)、コンプレックスプログラマブルロジックデバイス(CPLD)、コンピュータのハードウェア、ファームウェア、ソフトウェア、及び/又はこれらの組み合わせによって実現することができる。これらの各実施形態は、少なくとも1つのプログラマブルプロセッサを含むプログラマブルシステムにて実行及び/又は解釈される1つ又は複数のコンピュータプログラムにより実行することを含み得、該プログラマブルプロセッサは、ストレージシステム、少なくとも1つの入力デバイス、及び少なくとも1つの出力デバイスからデータ及び命令を受け取り、データ及び命令を該ストレージシステム、該少なくとも1つの入力デバイス、及び該少なくとも1つの出力デバイスに転送することができる専用又は汎用のプログラマブルプロセッサであってもよい。
本開示の方法を実行するためのプログラムコードは、1つ又は複数のプログラミング言語の任意の組み合わせで作成することができる。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ又は他のプログラミングデータ処理装置のプロセッサ又はコントローラに提供されることにより、プログラムコードがプロセッサ又はコントローラによって実行される場合に、フローチャート及び/又はブロック図に規定された機能/動作を実行することができる。プログラムコードは、完全にマシンで実行されてもよいし、部分的にマシンで実行されてもよいし、独立したソフトパッケージとして部分的にマシンで実行されるとともに部分的にリモートマシンで実行されてもよし、又は完全にリモートマシン又はサーバで実行されてもよい。
本開示の説明において、機械読み取り可能な媒体は、有形な媒体であってもよく、命令実行システム、装置又は機器によって、又は命令実行システム、装置又は機器と合わせて用いられるプログラムを含み、又は記憶する。機械読み取り可能な媒体は、機械読み取り可能な信号媒体又は機械読み取り可能な記憶媒体であってもよい。機械読み取り可能な媒体は、電子、磁気、光学、電磁、赤外線、又は半導体システム、装置、又はデバイス、又は前述した内容の任意の適切な組み合わせを含むことができるがこれらに限定されない。機械読み取り可能な記憶媒体のさらなる具体例として、1つ又は複数の配線による電気的接続、ポータブルコンピュータディスクカートリッジ、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(RMO)、消去可能なプログラマブルリードオンリーメモリ(EPRMO又はフラッシュメモリ)、光ファイバー、ポータブルコンパクトディスクリードオンリーメモリ(CD-RMO)、光学記憶装置、磁気記憶装置、又は前述した内容の任意の組み合わせを含む。
ユーザとのインタラクションを提供するために、コンピュータでここに記載されているシステム及び技術を実施することができ、当該コンピュータは、ユーザに情報を表示するための表示装置(例えば、CRT(陰極線管)又はLCD(液晶ディスプレイ)モニター等)、ユーザが入力をコンピュータに提供するためのキーボード及びポインティングデバイス(例えば、マウス又はトラックボール等)を備えるができる。ユーザとのインタラクションを提供するために、他の種類の装置を使用することもでき、例えば、ユーザに提供するフィードバックは、いかなる形式のセンサーフィードバック(例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック等)であってもよく、また、いかなる形式(例えば、音響入力、音声入力、触覚入力等)によって、ユーザからの入力を受付取るができる。
ここに記載されているシステムと技術を、バックグラウンド部品に含まれるコンピューティングシステム(例えば、データサーバとして)、又はミドルウェア部品を含むコンピューティングシステム(例えば、アプリケーションサーバ)、又はフロント部品を含むコンピューティングシステム(例えば、GUI又はネットワークブラウザを有するユーザコンピュータが挙げられ、ユーザがGUI又は当該ネットワークブラウザによって、ここに記載されているシステムと技術の実施形態とインタラクションすることができる)、又はこのようなバックグラウンド部品、ミドルウェア部品、又はフロント部品のいかなる組合したコンピューティングシステムで実施することができる。如何なる形式又はメディアのデジタルデータ通信(例えば、通信ネットワーク)を介して、システムの部品を互いに接続することができる。通信ネットワークの例は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)及びインターネットを含む。
コンピュータシステムは、クライアントとサーバを含み得る。通常、クライアントとサーバは、互いに離れており、通信ネットワークを介してインタラクションを行うことが一般的である。対応するコンピュータで動作することで、クライアント-サーバの関係を有するコンピュータプログラムによってクライアントとサーバの関係を生み出す。
上記の様々な態様のフローを使用して、ステップを新たにソート、追加、又は削除することが可能であることを理解すべきである。例えば、本開示で記載された各ステップは、並列に実行しても良いし、順次に実行しても良いし、異なる順序で実行しても良い。本開示で開示された技術案が所望する結果を実現することができる限り、本開示ではこれに限定されない。
上記具体的な実施形態は、本開示の保護範囲に対する限定を構成するものではない。当業者は、設計事項やその他の要因によって、様々な修正、組み合わせ、サブ組み合わせ、及び代替が可能であることを理解するべきである。本開示の要旨及び原理原則内における変更、均等な置換及び改善等は、いずれも本開示の保護範囲に含まれるべきである。

Claims (21)

  1. データ照会要求に基づいて、対象データの抽出位置を決定することと、
    前記抽出位置に対応するデータ抽出方策を決定することと、
    前記データ抽出方策に基づいて、前記抽出位置にて前記対象データを抽出し、前記対象データをデータ照会結果とすることと、を含む、
    データ照会方法。
  2. 前記データ照会要求に基づいて、対象データの抽出位置を決定することは、
    前記照会要求に対応する標識を決定することと、
    前記標識に基づき、前記対象データを含むターゲットクラスタデータを、キャッシュメモリにおいて検索することと、
    前記キャッシュメモリに前記ターゲットクラスタデータが記憶されている場合に、前記キャッシュメモリを前記抽出位置とすることと、を含む、
    請求項1に記載のデータ照会方法。
  3. 前記抽出位置に対応するデータ抽出方策を決定することは、
    前記データ照会要求における対象ページ番号情報を取得することと、
    前記対象ページ番号情報に基づき前記ターゲットクラスタデータにおいて対象データを抽出する方策を、前記データ抽出方策とすることと、を含む、
    請求項2に記載のデータ照会方法。
  4. 前記データ照会要求に基づいて、対象データの抽出位置を決定することは、
    前記照会要求に対応する標識を決定することと、
    前記標識に基づき、前記対象データを含むターゲットクラスタデータを、キャッシュメモリにおいて検索することと、
    前記キャッシュメモリに前記ターゲットクラスタデータが記憶されていない場合に、N個のメモリスライスを含むメインメモリを前記抽出位置とすることと、を含み、
    Nは1以上の整数である、
    請求項1に記載のデータ照会方法。
  5. 前記データ照会要求がソートルールを含む場合に、前記抽出位置に対応するデータ抽出方策を決定することは、
    前記ソートルールに基づいて、前記メモリスライスのそれぞれにおける記憶データに対してソートを行い、ソート結果を得ることと、
    前記ターゲットクラスタのパラメータ情報に基づいて、前記メモリスライスのそれぞれのソート結果において記憶データの抽出を行い、N個の第1候補データ集合を得ることと、
    前記N個の第1候補データ集合における記憶データを統合して、第2候補データ集合を得ることと、
    前記第2候補データ集合においてデータ抽出を行う方策を、前記データ抽出方策とすることと、を含み、
    前記ターゲットクラスタのパラメータ情報は、前記ターゲットクラスタのデータ容量を含む、
    請求項4に記載のデータ照会方法。
  6. 前記ターゲットクラスタのパラメータ情報に基づいて、前記メモリスライスのそれぞれのソート結果において記憶データの抽出を行い、N個の第1候補データ集合を得ることは、
    前記ターゲットクラスタのパラメータ情報に基づいて、前記第1候補データ集合のそれぞれのデータ抽出開始点を決定することと、
    前記データ抽出開始点を用いて、所定数の記憶データを抽出し、抽出した結果を対応する前記第1候補データ集合とすることと、を含む、
    請求項5に記載のデータ照会方法。
  7. 前記ターゲットクラスタのパラメータ情報に基づいて、前記第1候補データ集合のそれぞれのデータ抽出開始点を決定することは、
    i番目の前記第1候補データ集合に対して、前記パラメータ情報におけるターゲットクラスタのシーケンス番号を取得することと、
    前記ターゲットクラスタのシーケンス番号が1よりも大きい場合に、前記キャッシュメモリを用いて前記ターゲットクラスタの前方隣接クラスタを照会することと、
    前記前方隣接クラスタの最後の記憶データのソート値を用いて、前記ターゲットクラスタの最初の記憶データのソート値を決定することと、
    前記ターゲットクラスタの最初の記憶データのソート値の対応する位置に基づいて、i番目の前記第1候補データ集合の抽出開始点を決定することと、を含み、
    1≦i≦Nである、
    請求項6に記載のデータ照会方法。
  8. 前記ターゲットクラスタのパラメータ情報に基づいて、前記第1候補データ集合のそれぞれのデータ抽出開始点を決定することは、
    i番目の前記第1候補データ集合に対して、前記ターゲットクラスタのシーケンス番号が1である場合に、i番目の前記メモリスライスの開始位置を、i番目の前記第1候補データ集合の抽出開始点とすること、を含む、
    請求項6に記載のデータ照会方法。
  9. 前記第2候補データ集合においてデータ抽出を行う方策を前記データ抽出方策とすることは、
    前記ソートルールに基づいて、前記第2候補データ集合における記憶データに対してソートを行い、ソートされた第2候補データ集合を得ることと、
    前記ターゲットクラスタのデータ容量に基づいて、前記ソートされた第2候補データ集合において記憶データの抽出フィルタリングを行い、フィルタリング抽出結果を前記キャッシュメモリに書き込むことと、
    前記データ照会要求における対象ページ番号情報を取得し、前記対象ページ番号情報に基づいて、前記キャッシュメモリにおいて対応する対象データの抽出を行うことを、前記データ抽出の方策とすることと、を含む、
    請求項5~8のいずれか1項に記載のデータ照会方法。
  10. データ照会要求に基づいて、対象データの抽出位置を決定するための抽出位置決定モジュールと、
    前記抽出位置に対応するデータ抽出方策を決定するための抽出方策決定モジュールと、
    前記データ抽出方策に基づいて、前記抽出位置にて前記対象データを抽出し、前記対象データをデータ照会結果とするための結果決定モジュールと、を備える、
    データ照会装置。
  11. 前記抽出位置決定モジュールは、
    前記照会要求に対応する標識を決定するための標識決定サブモジュールと、
    前記標識に基づき、前記対象データを含むターゲットクラスタデータを、キャッシュメモリにおいて検索するための検索サブモジュールと、
    前記キャッシュメモリに前記ターゲットクラスタデータが記憶されている場合に、前記キャッシュメモリを前記抽出位置とするための抽出位置決定実行サブモジュールと、を備える、
    請求項10に記載のデータ照会装置。
  12. 前記抽出方策決定モジュールは、
    前記データ照会要求における対象ページ番号情報を取得するためのページ番号情報取得サブモジュールと、
    前記対象ページ番号情報に基づき前記ターゲットクラスタデータにおいて対象データを抽出する方策を、前記データ抽出方策とするための第1抽出方策実行サブモジュールと、を備える、
    請求項11に記載のデータ照会装置。
  13. 前記抽出位置決定モジュールは、
    前記照会要求に対応する標識を決定するための標識決定サブモジュールと、
    前記標識に基づき、前記対象データを含むターゲットクラスタデータを、キャッシュメモリにおいて検索するための検索サブモジュールと、
    前記キャッシュメモリに前記ターゲットクラスタデータが記憶されていない場合に、N個のメモリスライスを含むメインメモリを前記抽出位置とするための抽出位置決定実行サブモジュールと、を備え、
    Nは1以上の整数である、
    請求項10に記載のデータ照会装置。
  14. 前記データ照会要求がソートルールを含む場合に、前記抽出方策決定モジュールは、
    前記ソートルールに基づいて、前記メモリスライスのそれぞれにおける記憶データに対してソートを行い、ソート結果を得るためのソートサブモジュールと、
    前記ターゲットクラスタのパラメータ情報に基づいて、前記メモリスライスのそれぞれのソート結果において記憶データの抽出を行い、N個の第1候補データ集合を得るための抽出サブモジュールと、
    前記N個の第1候補データ集合における記憶データを統合して、第2候補データ集合を得るための統合サブモジュールと、
    前記第2候補データ集合においてデータ抽出を行う方策を、前記データ抽出方策とするための第2抽出方策実行サブモジュールと、を備え、
    前記ターゲットクラスタのパラメータ情報は、前記ターゲットクラスタのデータ容量を含む、
    請求項13に記載のデータ照会装置。
  15. 前記抽出サブモジュールは、
    前記ターゲットクラスタのパラメータ情報に基づいて、前記第1候補データ集合のそれぞれのデータ抽出開始点を決定するための抽出開始点決定サブモジュールと、
    前記データ抽出開始点を用いて、所定数の記憶データを抽出し、抽出した結果を対応する前記第1候補データ集合とするための第1候補データ集合決定実行サブモジュールと、を備える、
    請求項14に記載のデータ照会装置。
  16. 前記抽出開始点決定サブモジュールは、
    i番目の前記第1候補データ集合に対して、前記パラメータ情報におけるターゲットクラスタのシーケンス番号を取得するためのシーケンス番号取得サブモジュールと、
    前記ターゲットクラスタのシーケンス番号が1よりも大きい場合に、前記キャッシュメモリを用いて前記ターゲットクラスタの前方隣接クラスタを照会するためのデータ取得サブモジュールと、
    前記前方隣接クラスタの最後の記憶データのソート値を用いて、前記ターゲットクラスタの最初の記憶データのソート値を決定するためのソート値決定サブモジュールと、
    前記最初の記憶データのソート値を用いて、i番目の前記第1候補データ集合の抽出開始点を決定するための第1抽出開始点決定実行サブモジュールと、を備え、
    1≦i≦Nである、
    請求項15に記載のデータ照会装置。
  17. 前記抽出開始点決定サブモジュールは、
    i番目の前記第1候補データ集合に対して、前記ターゲットクラスタのシーケンス番号が1である場合に、i番目の前記メモリスライスの開始位置を、i番目の前記第1候補データ集合の抽出開始点とするための第2抽出開始点決定実行サブモジュール、を備える、
    請求項16に記載のデータ照会装置。
  18. 前記第2抽出方策実行サブモジュールは、
    前記ソートルールに基づいて、前記第2候補データ集合における記憶データに対してソートを行い、ソートされた第2候補データ集合を得るための記憶データソートサブモジュールと、
    前記ターゲットクラスタのデータ容量に基づいて、前記ソートされた第2候補データ集合において記憶データのフィルタリングを行い、フィルタリング結果を前記キャッシュメモリに書き込むための記憶データ抽出サブモジュールと、
    前記データ照会要求における対象ページ番号情報を取得し、前記対象ページ番号情報に基づいて、前記キャッシュメモリにおいて対応する対象データの抽出を行うための方策構成サブモジュールと、を備える、
    請求項14~17のいずれか1項に記載のデータ照会装置。
  19. 少なくとも1つのプロセッサと、
    前記少なくとも1つのプロセッサと通信接続されるメモリと、を備え、
    前記メモリには、前記少なくとも1つのプロセッサで実行可能な命令が記憶され、前記命令は、前記少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサに、請求項1~請求項8のいずれか1項に記載のデータ照会方法を実行させる、
    電子デバイス。
  20. コンピュータに請求項1~請求項8のいずれか1項に載のデータ照会方法を実行させる命令を記憶する非一時的なコンピュータ可読記憶媒体。
  21. コンピュータにおいて、プロセッサにより実行されると、請求項1~請求項8のいずれか1項に記載のデータ照会方法を実現するプログラム。
JP2022115827A 2021-08-04 2022-07-20 データ照会方法、装置、電子デバイス、記憶媒体、及びプログラム Pending JP2022137281A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110892030.8A CN113568940B (zh) 2021-08-04 2021-08-04 数据查询的方法、装置、设备以及存储介质
CN202110892030.8 2021-08-04

Publications (1)

Publication Number Publication Date
JP2022137281A true JP2022137281A (ja) 2022-09-21

Family

ID=78170357

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022115827A Pending JP2022137281A (ja) 2021-08-04 2022-07-20 データ照会方法、装置、電子デバイス、記憶媒体、及びプログラム

Country Status (4)

Country Link
US (1) US20220358178A1 (ja)
EP (1) EP4109293A1 (ja)
JP (1) JP2022137281A (ja)
CN (1) CN113568940B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118395024A (zh) * 2024-06-26 2024-07-26 杭州海康威视数字技术股份有限公司 一种数据查询方法、装置、系统、服务器以及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115935090B (zh) * 2023-03-10 2023-06-16 北京锐服信科技有限公司 一种基于时间分片的数据查询方法及系统
CN116383471B (zh) * 2023-06-02 2023-08-25 江苏博云科技股份有限公司 资管行业大数据场景下数据浏览器提取数据的方法及系统
CN118132609B (zh) * 2024-04-30 2024-08-23 苏州元脑智能科技有限公司 流数据服务快速响应方法、计算机程序产品及电子设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8504795B2 (en) * 2004-06-30 2013-08-06 Intel Corporation Method, system, and program for utilizing a virtualized data structure table
US8412721B2 (en) * 2011-07-29 2013-04-02 International Business Machines Corporation Efficient data extraction by a remote application
CN102880685B (zh) * 2012-09-13 2015-06-24 北京航空航天大学 一种时间密集大数据量的b/s分区间分页查询方法
US9501501B2 (en) * 2013-03-15 2016-11-22 Amazon Technologies, Inc. Log record management
US9514044B2 (en) * 2013-05-24 2016-12-06 Hewlett Packard Enterprise Development Lp Multi-level cache tracking table
US9740631B2 (en) * 2014-10-07 2017-08-22 Google Inc. Hardware-assisted memory compression management using page filter and system MMU
US10402339B2 (en) * 2015-01-05 2019-09-03 CacheIO, LLC Metadata management in a scale out storage system
CN111797091B (zh) * 2019-10-18 2024-09-20 北京沃东天骏信息技术有限公司 数据库中数据查询的方法、装置、电子设备和存储介质
CN110909266B (zh) * 2019-11-25 2022-09-02 北京金山云网络技术有限公司 深度分页的方法、装置及服务器
CN111858676B (zh) * 2020-07-24 2024-08-13 政采云有限公司 一种数据处理的方法及装置
CN112507068B (zh) * 2020-11-30 2023-11-14 北京百度网讯科技有限公司 文档查询方法、装置、电子设备和存储介质
US11714823B1 (en) * 2021-04-30 2023-08-01 Splunk Inc. Generating metric data from log data using metricization rules

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118395024A (zh) * 2024-06-26 2024-07-26 杭州海康威视数字技术股份有限公司 一种数据查询方法、装置、系统、服务器以及存储介质

Also Published As

Publication number Publication date
CN113568940A (zh) 2021-10-29
US20220358178A1 (en) 2022-11-10
EP4109293A1 (en) 2022-12-28
CN113568940B (zh) 2024-05-21

Similar Documents

Publication Publication Date Title
JP2022137281A (ja) データ照会方法、装置、電子デバイス、記憶媒体、及びプログラム
CN108304444B (zh) 信息查询方法及装置
US11048753B2 (en) Flexible record definitions for semi-structured data in a relational database system
JP2017157192A (ja) キーワードに基づいて画像とコンテンツアイテムをマッチングする方法
US11216474B2 (en) Statistical processing of natural language queries of data sets
WO2017096892A1 (zh) 索引构建方法、查询方法及对应装置、设备、计算机存储介质
US20090112843A1 (en) System and method for providing differentiated service levels for search index
US10275486B2 (en) Multi-system segmented search processing
US11886410B2 (en) Database live reindex
CN112100182B (zh) 数据入库处理方法、装置和服务器
CN112148217B (zh) 全闪存储系统的重删元数据的缓存方法、装置及介质
WO2017028395A1 (zh) 一种提供搜索结果的方法与装置
CN114281989B (zh) 基于文本相似度的数据去重方法、装置及存储介质和服务器
CN107609192A (zh) 一种搜索引擎的补充搜索方法和装置
US20110179013A1 (en) Search Log Online Analytic Processing
CN114817651B (zh) 数据存储方法、数据查询方法、装置和设备
CN112818230A (zh) 内容推荐方法、装置、电子设备和存储介质
US20220107949A1 (en) Method of optimizing search system
CN113722600B (zh) 应用于大数据的数据查询方法、装置、设备及产品
US11520763B2 (en) Automated optimization for in-memory data structures of column store databases
CN110674387A (zh) 用于数据搜索的方法、装置和计算机存储介质
CN103646034A (zh) 一种基于内容可信的Web搜索引擎系统及搜索方法
JP2023015275A (ja) 観測情報処理方法、装置、電子機器、記憶媒体及びコンピュータプログラム
CN111723201A (zh) 一种用于文本数据聚类的方法和装置
US10762139B1 (en) Method and system for managing a document search index

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220720

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231120

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240209