JP2023086507A - 情報処理装置および方法 - Google Patents

情報処理装置および方法 Download PDF

Info

Publication number
JP2023086507A
JP2023086507A JP2021201065A JP2021201065A JP2023086507A JP 2023086507 A JP2023086507 A JP 2023086507A JP 2021201065 A JP2021201065 A JP 2021201065A JP 2021201065 A JP2021201065 A JP 2021201065A JP 2023086507 A JP2023086507 A JP 2023086507A
Authority
JP
Japan
Prior art keywords
data
memory
cluster
clusters
query
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021201065A
Other languages
English (en)
Inventor
泰我 池田
taiga Ikeda
大輔 宮下
Daisuke Miyashita
淳 出口
Atsushi Deguchi
明香 眞木
Meiko Maki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kioxia Corp
Original Assignee
Kioxia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kioxia Corp filed Critical Kioxia Corp
Priority to JP2021201065A priority Critical patent/JP2023086507A/ja
Priority to US17/840,981 priority patent/US20230185468A1/en
Priority to TW111124832A priority patent/TWI822162B/zh
Priority to CN202210896606.2A priority patent/CN116257645A/zh
Publication of JP2023086507A publication Critical patent/JP2023086507A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/0284—Multiple user address space allocation, e.g. using different base addresses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/023—Free address space management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1008—Correctness of operation, e.g. memory ordering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1016—Performance improvement
    • G06F2212/1024—Latency reduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1041—Resource optimization
    • G06F2212/1044—Space efficiency improvement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/20—Employing a main memory using a specific memory technology
    • G06F2212/205—Hybrid memory, e.g. using both volatile and non-volatile memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Hardware Redundancy (AREA)

Abstract

【課題】クエリ応答の速度を向上させること。【解決手段】情報処理装置は、第１メモリと、第２メモリと、プロセッサとを備える。第１メモリは、それぞれは１以上の第１データを含む複数のクラスタに第１データ間の距離に基づいてクラスタ化された複数の第１データが格納される。第２メモリは、それぞれは複数のクラスタの１つに一対一に対応する複数の第２データが格納される第１メモリよりも高速な動作が可能なメモリである。プロセッサは、クエリの入力を受け付け、複数の第２データのうちからクエリに最も近い第２データである第３データを特定する。プロセッサは、第３データに対応するクラスタに含まれる１以上の第１データを第１メモリから一括にリードし、リードされた１以上の第１データのうちからクエリに最も近い第１データである第４データを特定する。プロセッサは、第４データを出力する。【選択図】図３

Description

本実施形態は、情報処理装置および方法に関する。
従来、入力データであるクエリに対して類似したデータを探索し、その結果を出力する情報処理を行う装置または方法がある。このような装置または方法において、クエリに対して結果を出力するまでの情報処理にかかるクエリ応答の速度と探索の精度とが求められる。クエリ応答の速度と探索の精度とを両立するための近傍探索のアルゴリズムとして、複数の異種（heterogeneous）のメモリを用いた近似近傍探索（Approximate Nearest Neighbor Search : ANNS）アルゴリズムが知られている。
Jie Ren, Minjia Zhang, and Dong Li, "HM-ANN: Efficient Billion-Point Nearest Neighbor Search on Heterogeneous Memory", [online], [retrieved on 2021-10-12], retrieved from the Internet: <URL: http://pasalabs.org/papers/2020/NeurIPS20_HM_ANN.pdf>
しかしながら、従来の複数の異種のメモリを用いた近似近傍探索のアルゴリズムによれば、クエリ応答の速度に関して向上の余地がある。
一つの実施形態は、クエリ応答の速度が向上した情報処理装置および方法を提供することを目的とする。
一つの実施形態によれば、情報処理装置は、第１メモリと、第２メモリと、プロセッサとを備える。前記第１メモリは、それぞれは１以上の第１データを含む複数のクラスタに第１データ間の距離に基づいてクラスタ化された複数の第１データが格納される。前記第２メモリは、それぞれは複数のクラスタの１つに一対一に対応する複数の第２データが格納される前記第１メモリよりも高速な動作が可能なメモリである。前記複数の第２データのそれぞれは前記複数のクラスタのうちの対応する１つを代表するデータである。前記プロセッサは、クエリの入力を受け付け、前記複数の第２データのうちから前記クエリに最も近い第２データである第３データを特定する。そして、前記プロセッサは、前記複数のクラスタのうちの前記第３データに対応するクラスタに含まれる１以上の第１データを前記第１メモリから一括にリードし、リードされた前記１以上の第１データのうちから前記クエリに最も近い第１データである第４データを特定する。そして、前記プロセッサは、前記第４データを出力する。
実施形態にかかる情報処理装置のハードウェア構成の一例を示す模式的な図。 実施形態にかかるＳＳＤの使用例を示す模式的な図。 実施形態にかかるプロセッサが実行する近傍探索を説明するための模式的な図。 実施形態にかかるＤＲＡＭの使用例を示す模式的な図。 実施形態にかかる代表データおよびデータの配置方法の一例を示す模式的な図。 実施形態にかかる情報処理装置が実行する、データをＳＳＤに格納する手順の一例を示すフローチャート。 実施形態にかかる情報処理装置が実行する、近傍探索の手順の一例を示すフローチャート。 実施形態の変形例にかかるクラスタ化の方法を説明するための模式的な図。 実施形態の変形例にかかるデータの配置方法の一例を示す模式的な図。
実施形態にかかる近傍探索は、例えば、プロセッサと、第１メモリと、第２メモリと、を備える情報処理装置で実行される。第１メモリは、第２メモリよりも大きな容量を有するメモリである。第２メモリは、第１メモリよりも高速な動作が可能なメモリである。以下では、実施形態にかかる近傍探索が、第１メモリとしてＳＳＤ（Solid State Drive）を備え、第２メモリとしてＤＲＡＭ（Dynamic Random Access Memory）を備えるコンピュータにおいて実施される例を説明する。
なお、実施形態にかかる近傍探索は、ネットワークで相互に接続された２以上の情報処理装置の協働によって実行されてもよい。また、実施形態にかかる近傍探索は、第１メモリとしてＮＡＮＤ型のフラッシュメモリのメモリチップなどのストレージ媒体を備え、第２メモリとしてＤＲＡＭを備え、プロセッサを備える記憶装置において実行されてもよい。
以下に添付図面を参照して、実施形態にかかる情報処理装置および方法を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。
（実施形態）
図１は、実施形態にかかる情報処理装置のハードウェア構成の一例を示す模式的な図である。
情報処理装置１は、プロセッサ２、第１メモリの一例であるＳＳＤ３、第２メモリの一例であるＤＲＡＭ４、およびこれらを電気的に接続するバス５を備えるコンピュータである。なお、第１メモリおよび第２メモリはこれらに限定されない。例えば第１メモリは、任意のストレージメモリであってもよい。第１メモリは、ＵＦＳ（Universal Flash Storage）デバイスや磁気ディスク装置であってもよい。
プロセッサ２は、コンピュータプログラムに従って所定の演算を実行する。プロセッサ２は、例えばＣＰＵ（Central Processing Unit）である。情報処理装置１に入力データであるクエリが入力されると、プロセッサ２は、ＳＳＤ３およびＤＲＡＭ４を利用して、入力されたクエリに基づく所定の演算を実行する。
ＳＳＤ３は、大きな容量を有するストレージメモリである。ＳＳＤ３は、ストレージ媒体としてＮＡＮＤ型のフラッシュメモリを備える。
ＤＲＡＭ４は、ＳＳＤ３よりも容量が小さいが、ＳＳＤ３よりも高速な動作が可能である。
なお、情報処理装置１は、任意の入出力機器が接続され得る。入出力機器は、例えば、入力装置、表示装置、ネットワーク機器、またはプリンタなどである。
図２は、実施形態にかかるＳＳＤ３の使用例を示す模式的な図である。
ＳＳＤ３には、複数のデータＤが格納される。各データＤの種類は特定の種類に限定されない。各データＤは、画像、文書、またはこれら以外の任意の種類の情報である。各データＤのサイズは全データＤで共通とされる。複数のデータＤは、近傍探索の対象とされ得る。
情報処理装置１に入力データであるクエリが入力されると、プロセッサ２は、ＳＳＤ３に格納された複数のデータＤのうちから入力されたクエリまでの距離が最も近いデータＤを探索する。
本明細書において距離は、データ間の類似度を表す尺度である。距離は、数学的には、例えばユークリッド距離である。なお、距離の数学的な定義はユークリッド距離に限定されない。
なお、プロセッサ２は、近傍探索において、クエリに最も近い複数個のデータＤを探索してもよい。
複数のデータＤは、グラフを構成する。本明細書においてグラフは、複数のノード間をエッジで接続した構造を有するデータである。この場合、各データＤがノードに相当する。ノード間の接続関係を規定するグラフ情報３１が設計者または所定のコンピュータプログラムによって予め生成される。グラフ情報３１は、ＳＳＤ３に格納される。
また、ＳＳＤ３には、探索プログラム３２および配置プログラム３３が格納される。探索プログラム３２は、プロセッサ２に近傍探索を実行させるコンピュータプログラムである。配置プログラム３３は、プロセッサ２にデータＤなどの配置を実行させるコンピュータプログラムである。プロセッサ２は、ＳＳＤ３に格納された探索プログラム３２および配置プログラム３３をＤＲＡＭ４にロードして実行する。配置プログラム３３に従ったデータＤなどの配置方法については後述される。
図３は、実施形態にかかるプロセッサ２が実行する近傍探索を説明するための模式的な図である。
実施形態では、探索が行われる空間は複数層に階層化されている。ここでは一例として、探索が行われる空間は、Ｌ０層と、Ｌ１層と、の２つの層を含む。
Ｌ０層は、ＳＳＤ３に格納されているデータＤが分布する空間である。ＳＳＤ３に格納されているデータＤのうちの互いの距離が近い２以上のデータＤは、１つのクラスタＣＬを構成する。よって、Ｌ０層には、複数のクラスタＣＬが含まれる。つまり、Ｌ０層を構成する複数のデータＤは、データＤ間の距離に基づき複数のクラスタＣＬにクラスタ化されている。クラスタ化は、データＤ間の距離に基づいて実行される限り、任意の方法で実行され得る。例えば、Ｌ０層の空間を格子状に区切って、各格子内のデータＤのセットが１つのクラスタＣＬとして設定されてもよい。これによって、互いの距離が近い２以上のデータＤを１つのクラスタＣＬに分類することが可能である。
各クラスタＣＬを構成するデータＤの数は、全クラスタＣＬで共通であってもよいし、共通でなくてもよい。また、１つのデータＤによって構成されるクラスタＣＬが存在してもよい。
図３には、Ｌ０層に含まれるデータＤの一部として、データＤａ～Ｄａ＋２１の合計２２個のデータＤが描画されている。データＤａ～Ｄａ＋３のセットはクラスタＣＬｂを構成し、データＤａ＋４はクラスタＣＬｂ＋１を構成し、データＤａ＋５～Ｄａ＋８のセットはクラスタＣＬｂ＋２を構成し、データＤａ＋９～Ｄａ＋１３のセットはクラスタＣＬｂ＋３を構成し、データＤａ＋１４～Ｄａ＋１７のセットはクラスタＣＬｂ＋４を構成し、データＤａ＋１８～Ｄａ＋２１のセットはクラスタＣＬｂ＋５を構成する。この例では、各データＤは、何れか１つのクラスタＣＬにのみ属することができる。
各クラスタＣＬを構成するデータＤのセットは、グラフを構成する。図３において、Ｌ０層内の一点鎖線は、データＤ間を接続するエッジを表す。ドットハッチングが施された円で示されるデータＤａ＋１、Ｄａ＋４、Ｄａ＋６、Ｄａ＋９、Ｄａ＋１６、Ｄａ＋２０のそれぞれは、クラスタＣＬにおいて探索の起点とされるノード、つまりエントリポイントである。クラスタＣＬ毎にエントリポイントが設定される。なお、Ｌ０層におけるクラスタＣＬ毎のグラフの構造は、グラフ情報３１に記述されている。各クラスタＣＬにおけるエントリポイントは、グラフ情報３１に記述されていてもよいし、他の任意の情報に記述されていてもよい。
各クラスタＣＬから、それに属するデータＤのセットを代表するデータである代表データＲＤが計算される。以降、或る代表データＲＤの計算の元となったクラスタＣＬを、その代表データＲＤに対応するクラスタＣＬと表記する。
代表データＲＤの計算方法は特定の方法に限定されない。一例では、代表データＲＤは、対応するクラスタＣＬを構成するデータＤのセットから任意の方法で選択されたデータＤであってもよい。例えば、クラスタＣＬを構成するデータＤのセットのうちのそのクラスタＣＬの中心に最も近いデータＤが、そのクラスタＣＬの代表データＲＤとされ得る。または、代表データＲＤは、対応するクラスタＣＬを構成するデータＤのセットを使った任意の算術演算によって計算されたデータであってもよい。例えば、クラスタＣＬを構成するデータＤのセットの平均が、そのクラスタＣＬの代表データＲＤとされ得る。各クラスタＣＬの代表データＲＤは、プロセッサ２によって計算されてもよいし、設計者などによって予め計算されてもよい。なお、各代表データＲＤのサイズは全クラスタＣＬの代表データＲＤそれぞれで共通とされる。
全クラスタＣＬの代表データＲＤそれぞれは、Ｌ１層を構成する。
図３には、Ｌ１層を構成する代表データＲＤの一部として、代表データＲＤｃ～ＲＤｃ＋１６の合計１７個の代表データＲＤが描画されている。代表データＲＤｃ～ＲＤｃ＋１６のそれぞれは、Ｌ０層に含まれる複数のクラスタＣＬのうちの１つのクラスタＣＬに一対一に対応する。この例では、代表データＲＤｃ＋１２はクラスタＣＬｂ＋４に対応し、代表データＲＤｃ＋１３はクラスタＣＬｂ＋５に対応し、代表データＲＤｃ＋１６はクラスタＣＬｂに対応することが示されている。
Ｌ１層内の代表データＲＤのセットは、グラフを構成する。図３において、Ｌ１層内の一点鎖線は、代表データＲＤ間を接続するエッジを表す。黒塗りが施された円で示される代表データＲＤｃは、Ｌ１層内のエントリポイントを表す。Ｌ１層におけるグラフの構造は、グラフ情報３１に記述されている。Ｌ１層内のエントリポイントは、グラフ情報３１に記述されていてもよいし、他の任意の情報に記述されていてもよい。
全クラスタＣＬ分の代表データＲＤは、ＤＲＡＭ４内に格納される。そして、プロセッサ２は、クエリが入力された場合、まず、Ｌ１層において、グラフに従って近傍探索を行う。ＤＲＡＭ４へのアクセスは、ＳＳＤ３へのアクセスに比べて高速である。よって、Ｌ１層において実行される近傍探索は高速に実行される。
例えば、プロセッサ２はまず、エントリポイントである代表データＲＤｃを選択する。続いて、プロセッサ２は、代表データＲＤｃと、代表データＲＤｃにエッジで接続された代表データＲＤｃ＋１、ＲＤｃ＋４、ＲＤｃ＋７、ＲＤｃ＋９と、のそれぞれについてクエリまでの距離を計算し、代表データＲＤｃ、ＲＤｃ＋１、ＲＤｃ＋４、ＲＤｃ＋７、ＲＤｃ＋９のうちからクエリに最も近い代表データＲＤｃ＋７を選択する。そして、プロセッサ２は、選択された代表データＲＤｃ＋７と、代表データＲＤｃ＋７にエッジで接続された代表データＲＤｃ、ＲＤｃ＋４、ＲＤｃ＋９、ＲＤｃ＋１１、ＲＤｃ＋１４と、のそれぞれについてクエリまでの距離を計算し、これらのうちからクエリに最も近い代表データＲＤｃ＋１４を新たに選択する。このように、プロセッサ２は、グラフに基づく近傍探索を行うことによって、全代表データＲＤのうちからクエリに最も近い代表データＲＤを特定する。
なお、グラフにおいて、選択中の或るノードにエッジで接続された別のノードを新たに選択することを、ホップ、と表記する。
プロセッサ２は、クエリに最も近い代表データＲＤを特定した後、クエリに最も近い代表データＲＤに対応するクラスタＣＬを構成するデータＤのセットをＳＳＤ３から一括にリードして、ＤＲＡＭ４に格納する。そして、プロセッサ２は、ＤＲＡＭ４に格納されたデータＤのセットに対してグラフに基づく近傍探索を行うことによって、クエリに最も近いデータＤを特定する。そして、プロセッサ２は、特定されたデータＤを、クエリに対する応答として出力する。
図３に示される例においては、クエリが入力された場合、プロセッサ２は、代表データＲＤｃを起点として矢印の順にホップし、代表データＲＤｃ＋１６を、クエリに最も近い代表データＲＤとして特定する。そして、プロセッサ２は、代表データＲＤｃ＋１６に対応するクラスタＣＬｂを構成する全てのデータＤａ～Ｄａ＋３をＳＳＤ３からリードしてＤＲＡＭ４に格納し、ＤＲＡＭ４に格納されたデータＤａ～Ｄａ＋３に対して近傍探索を実行する。クラスタＣＬｂにおいては、データＤａ＋１がエントリポイントに設定されている。プロセッサ２は、データＤａ＋１から矢印で示されるホップを行い、データＤａ＋３をクエリに最も近いデータＤとして特定し、データＤａ＋３をクエリ応答として出力する。なお、データＤａ～Ｄａ＋３に対する近傍探索におけるホップの順番を示す矢印は、図３においては、説明を簡単にするために、ＳＳＤ３内のデータＤａ～Ｄａ＋３の群上に描画されている。しかしながら、実際には、前述されたように、データＤａ～Ｄａ＋３がＤＲＡＭ４に格納され、ＤＲＡＭ４内のデータＤａ～Ｄａ＋３に対して矢印に示される順番で近傍探索のためのホップが実行される。
実施形態と比較される技術について説明する。実施形態と比較される技術を、比較例と表記する。比較例によれば、Ｌ０層内のいくつかのデータによってＬ１層が構成される。Ｌ０層内の全データによって１つのグラフが構成され、Ｌ１層内の全データによって１つのグラフが構成される。Ｌ０層内の全データは、ＳＳＤなどのストレージメモリに格納される。Ｌ１層内の全データは、ＤＲＡＭなどのストレージメモリよりも高速な動作が可能なメモリに格納される。クエリが入力された場合、Ｌ１層においてグラフに基づく近傍探索が行われる。そして、Ｌ１層においてクエリに最も近いデータが特定されると、特定されたデータをＬ０層におけるエントリポイントとしてグラフに基づく近傍探索が行われる。
比較例によれば、Ｌ０層における近傍探索の際に、ホップ毎にストレージメモリへのアクセスが発生する。具体的には、選択中のデータにエッジで接続された全データをストレージメモリからリードする処理が、ホップ毎に実行される。よって、ホップの回数が多くなるほど、クエリ応答に多くの時間を要する。
これに対し、実施形態によれば、Ｌ０層における近傍探索の際には、クエリに最も近いクラスタＣＬを構成する全てのデータＤがまとめてリードされる。そして、リードされたデータＤのみを用いた近傍探索によって、クエリに最も近いデータが特定される。これによって、実施形態によれば、比較例に比べ、ストレージメモリへのアクセスに要する時間が抑制され、クエリ応答に要する時間が短縮される。すなわち、クエリ応答の速度が向上する。
図４は、実施形態にかかるＤＲＡＭ４の使用例を示す模式的な図である。
ＤＲＡＭ４には全ての代表データＲＤが格納される。
また、ＤＲＡＭ４にはプロセッサ２のワークエリア４１が設けられる。ワークエリア４１には、各種プログラム（配置プログラム３３または探索プログラム３２）がロードされたり、グラフ情報３１がバッファされたり、Ｌ１層における近傍探索によって特定されたクラスタＣＬを構成するデータＤのセットが一時的に格納されたりする。
図５は、実施形態にかかる代表データＲＤおよびデータＤの配置方法の一例を示す模式的な図である。本図には、ＤＲＡＭ４のアドレス空間およびＳＳＤ３のアドレス空間が描画されている。ＤＲＡＭ４のアドレス空間は、プロセッサ２がＤＲＡＭ４にアクセスする際に指定できるアドレスの範囲によって定まる空間である。ＳＳＤ３のアドレス空間は、プロセッサ２がＳＳＤ３にアクセスする際に指定できるアドレスの範囲によって定まる空間である。
各クラスタＣＬを構成するデータＤのセットは、ＳＳＤ３のアドレス空間内の連続するエリアに配置される。つまり、１つのクラスタＣＬを構成するデータＤのセットは、互いに離間した２以上のエリアに配置されない。プロセッサ２は、例えば、所望のクラスタＣＬを構成するデータＤのセット（対象セットと称する）を、対象セットが配置されたエリアの先頭のアドレスと対象セットのサイズとを含む１つのリードコマンドをＳＳＤ３に送信する。これによりプロセッサ２は、１つのリードコマンドによって、対象セットをＳＳＤ３から取得することが可能である。つまり、プロセッサ２は、ＳＳＤ３に対して１回のリードを行うだけで、Ｌ０層における近傍探索に必要なすべてのデータＤを取得することができる。
ＤＲＡＭ４内の各代表データＲＤは、対応するクラスタＣＬを構成するデータＤのセットが配置されているエリアの先頭を示すアドレスＡＤＲと、このエリアのサイズＳと、が関連付けられてＤＲＡＭ４のアドレス空間に配置される。よって、プロセッサ２は、代表データＲＤに基づき、この代表データＲＤに対応するクラスタＣＬを構成するデータＤのセットが配置されたエリアを特定することが可能である。
図５に示される例では、クラスタＣＬｆは、データＤｅ～Ｄｅ＋３のセットによって構成され、データＤｅ～Ｄｅ＋３のセットは、ＳＳＤ３のアドレス空間における連続したエリアに配置される。クラスタＣＬｆから計算された代表データＲＤｄは、データＤｅ～Ｄｅ＋３のセットが格納されたエリアの先頭のアドレスＡＤＲｄと、当該エリアのサイズＳｄと、が関連付けられてＤＲＡＭ４に配置される。
また、クラスタＣＬｆ＋１は、データＤｅ＋４～Ｄｅ＋７のセットによって構成され、データＤｅ＋４～Ｄｅ＋７のセットは、ＳＳＤ３のアドレス空間における、データＤｅ～Ｄｅ＋３のセットが配置されたエリアに後続する連続したエリアに配置される。クラスタＣＬｆ＋１から計算された代表データＲＤｄ＋２は、データＤｅ＋４～Ｄｅ＋７のセットが格納されたエリアの先頭のアドレスＡＤＲｄ＋２と、当該エリアのサイズＳｄ＋２と、が関連付けられてＤＲＡＭ４に配置される。
また、クラスタＣＬｆ＋２は、データＤｅ＋８～Ｄｅ＋１１のセットによって構成され、データＤｅ＋８～Ｄｅ＋１１のセットは、ＳＳＤ３のアドレス空間における、データＤｅ＋４～Ｄｅ＋７のセットが配置されたエリアに後続する連続したエリアに配置される。クラスタＣＬｆ＋２から計算された代表データＲＤｄ＋１は、データＤｅ＋８～Ｄｅ＋１１のセットが格納されたエリアの先頭のアドレスＡＤＲｄ＋１と、当該エリアのサイズＳｄ＋１と、が関連付けられてＤＲＡＭ４に配置される。
なお、各クラスタＣＬを構成するデータＤの数が全クラスタＣＬで共通する場合、各代表データＲＤに関連付けられる情報からサイズＳを省略することが可能である。そのような場合、プロセッサ２は、ＳＳＤ３から所望のクラスタＣＬを構成するデータＤのセットをリードする際、固定されたサイズを指定する。
図６は、実施形態にかかる情報処理装置１が実行する、データＤをＳＳＤ３に格納する手順の一例を示すフローチャートである。本図に示される一連の動作は、プロセッサ２が配置プログラム３３を実行することによって実現する。なお、この一連の動作のうちの一部または全部を、プロセッサ２でなく設計者が実行してもよい。
情報処理装置１に複数のデータＤが入力される（Ｓ１０１）。すると、プロセッサ２は、データＤ間の距離に基づき、当該複数のデータＤを複数のクラスタＣＬにクラスタ化する（Ｓ１０２）。
続いて、プロセッサ２は、ＳＳＤ３に各クラスタＣＬを配置する（Ｓ１０３）。Ｓ１０３では、プロセッサ２は、図５を用いて説明されたように、各クラスタＣＬを構成するデータＤのセットをＳＳＤ３のアドレス空間における連続するエリアに配置する。例えば、プロセッサ２は、各クラスタＣＬの配置先のエリアを指定したライトコマンドをＳＳＤ３に送信することによって、各クラスタＣＬの配置を行う。
さらに、プロセッサ２は、クラスタＣＬ毎に代表データＲＤを計算する（Ｓ１０４）。そして、プロセッサ２は、各代表データＲＤを、対応するクラスタが配置されたＳＳＤ３のアドレス空間におけるエリアの先頭のアドレスおよびこのエリアのサイズと関連付けてＤＲＡＭ４に配置する（Ｓ１０５）。
そして、プロセッサ２は、Ｌ０層におけるグラフおよびＬ１層におけるグラフを生成する（Ｓ１０６）。プロセッサ２は、生成されたグラフの構造をグラフ情報３１に記述し、当該グラフ情報３１をＳＳＤ３に格納する（Ｓ１０７）。
Ｓ１０７の後、データＤをＳＳＤ３に格納する処理が完了する。
なお、すでに複数のデータＤがＳＳＤ３に格納されている状態で新たなデータＤが入力された場合、プロセッサ２は、Ｓ１０２以降の処理を再実行する。Ｓ１０２以降の処理の再実行の際には、プロセッサ２は、新しく入力されたデータＤにＳＳＤ３に既に格納されたデータＤを加えたすべてのデータＤに対して各処理を実行し得る。または、プロセッサ２は、新しく入力されたデータＤにこの新しく入力されたデータＤの近傍のクラスタＣＬを加えたデータＤのみに対して各処理を実行してもよい。
なお、上記に述べた一連の手順は一例である。図５に示されたようにデータＤおよび代表データＲＤが配置される限り、データＤをＳＳＤ３に格納する手順は上記の例に限定されない。
図７は、実施形態にかかる情報処理装置１が実行する、近傍探索の手順の一例を示すフローチャートである。本図に示される一連の動作は、プロセッサ２が探索プログラム３２を実行することによって実現する。
情報処理装置１にクエリが入力される（Ｓ２０１）。すると、プロセッサ２は、Ｓ２０２からＳ２０６までの処理によって、Ｌ１層においてクエリに最も近い代表データＲＤを特定する。
具体的には、プロセッサ２は、エントリポイントの代表データＲＤをＤＲＡＭ４から取得して、対象の代表データＲＤとして設定する（Ｓ２０２）。プロセッサ２は、対象の代表データＲＤにエッジで接続されたすべての代表データＲＤをＤＲＡＭ４から取得する（Ｓ２０３）。プロセッサ２は、対象の代表データＲＤおよび対象の代表データＲＤにエッジで接続されたすべての代表データＲＤのそれぞれからクエリまでの距離を計算する（Ｓ２０４）。プロセッサ２は、クエリまでの距離が最も近い代表データＲＤを対象の代表データＲＤとして設定する（Ｓ２０５）。Ｓ２０３からＳ２０５までの処理によって、Ｌ１層における１回のホップが完了する。
Ｓ２０５に続いて、プロセッサ２は、現在の対象の代表データＲＤは全ての代表データＲＤのうち最もクエリに近いか否かを判定する（Ｓ２０６）。Ｓ２０６の判定方法は、特定の方法に限定されない。例えば、最後に実行されたＳ２０３からＳ２０５までの処理で対象の代表データＲＤが変更されなかった場合、現在の対象の代表データＲＤは全ての代表データＲＤのうち最もクエリに近いと推定できる。よって、最後に実行されたＳ２０３からＳ２０５までの処理で対象の代表データＲＤが変更されなかった場合、プロセッサ２は、現在の対象の代表データＲＤは全ての代表データＲＤのうち最もクエリに近いと判定する。最後に実行されたＳ２０３からＳ２０５までの処理で対象の代表データＲＤが変更された場合、プロセッサ２は、現在の対象の代表データＲＤはクエリに最も近いとは判定しない。
現在の対象の代表データＲＤは全ての代表データＲＤのうち最もクエリに近いと判定されなかった場合（Ｓ２０６：Ｎｏ）、プロセッサ２は、Ｓ２０３からＳ２０６までの処理を再び実行する。
現在の対象の代表データＲＤは全ての代表データＲＤのうち最もクエリに近いと判定された場合（Ｓ２０６：Ｙｅｓ）、プロセッサ２は、現在の対象の代表データＲＤに対応するクラスタを構成するデータＤのセットが格納されているエリアを特定する（Ｓ２０７）。Ｓ２０７では、プロセッサ２は、現在の対象の代表データＲＤに対応づけられているアドレスＡＤＲおよびサイズＳをＤＲＡＭ４から取得することによって、現在の対象の代表データＲＤに対応するクラスタを構成するデータＤのセットが格納されているエリアを特定する。
プロセッサ２は、特定されたエリアを指定したリードコマンドをＳＳＤ３に送信する（Ｓ２０８）。そして、プロセッサ２は、ＳＳＤ３がリードコマンドに応じて出力したデータＤのセットをワークエリア４１に格納する（Ｓ２０９）。そして、Ｓ２１０からＳ２１４までの処理によって、Ｌ０層においてクエリに最も近いデータＤを特定する近傍探索が実行される。
具体的には、プロセッサ２は、ワークエリア４１に格納されたデータＤのセットのうちのエントリポイントのデータを取得して、対象のデータとして設定する（Ｓ２１０）。そして、プロセッサ２は、対象のデータＤにエッジで接続されたすべてのデータＤをワークエリア４１から取得する（Ｓ２１１）。プロセッサ２は、対象のデータＤおよび対象のデータＤにエッジで接続されたすべてのデータＤのそれぞれからクエリまでの距離を計算する（Ｓ２１２）。プロセッサ２は、クエリまでの距離が最も近いデータＤを対象のデータＤとして設定する（Ｓ２１３）。Ｓ２１１からＳ２１３までの処理によって、Ｌ０層における近傍探索の１回のホップが完了する。
Ｓ２１３に続いて、プロセッサ２は、現在の対象のデータＤはワークエリア４１に格納されたデータＤのセット、換言するとクエリに最も近い代表データＲＤに対応するクラスタＣＬを構成するデータＤのセット、のうち最もクエリに近いか否かを判定する（Ｓ２１４）。Ｓ２１４の判定方法は、特定の方法に限定されない。例えば、最後に実行されたＳ２１１からＳ２１３までの処理で対象のデータＤが変更されなかった場合、現在の対象のデータＤはワークエリア４１に格納されたデータＤのセットのうち最もクエリに近いと推定できる。よって、最後に実行されたＳ２１１からＳ２１３までの処理で対象のデータＤが変更されなかった場合、プロセッサ２は、現在の対象のデータＤはワークエリア４１に格納されたデータＤのセットのうち最もクエリに近いと判定する。最後に実行されたＳ２１１からＳ２１３までの処理で対象のデータＤが変更された場合、プロセッサ２は、現在の対象のデータＤはクエリに最も近いとは判定しない。
現在の対象のデータＤはワークエリア４１に格納されたデータＤのセットのうち最もクエリに近いと判定されなかった場合（Ｓ２１４：Ｎｏ）、プロセッサ２は、Ｓ２１１からＳ２１４までの処理を再び実行する。
現在の対象のデータＤはワークエリア４１に格納されたデータＤのセットのうち最もクエリに近いと判定された場合（Ｓ２１４：Ｙｅｓ）、プロセッサ２は、現在の対象のデータＤをクエリ応答として出力する（Ｓ２１５）。そして、近傍探索の一連の動作が終了する。
なお、クエリ応答の出力の態様は任意である。プロセッサ２は、クエリ応答を記述したデータを生成して所定のメモリ（例えばＳＳＤ３）に格納してもよい。情報処理装置１にプリンタまたは表示装置が接続されている場合には、プロセッサ２は、プリンタまたは表示装置にクエリ応答を出力してもよい。情報処理装置１がネットワークに接続されている場合には、プロセッサ２は、当該ネットワークを介して別のコンピュータにクエリ応答を出力してもよい。
以上の説明においては、プロセッサ２は、Ｌ１層内およびクエリに最も近い代表データＲＤに対応するクラスタＣＬ内のそれぞれにおいてグラフに基づく近傍探索を行った。プロセッサ２は、Ｌ１層内およびクエリに最も近い代表データＲＤに対応するクラスタＣＬ内の一方または両方において、グラフを用いない任意の方法で近傍探索を行ってもよい。
例えば、プロセッサ２は、Ｌ１層内のすべての代表データＲＤとクエリとの間の距離を計算することによって、Ｌ１層内のすべての代表データＲＤから最もクエリに近い代表データＲＤを特定してもよい。同様に、プロセッサ２は、クエリに最も近い代表データＲＤに対応するクラスタＣＬを構成するすべてのデータＤとクエリとの間の距離を計算することによって、クエリに最も近いデータＤを特定してもよい。
以上述べたように、実施形態によれば、ＳＳＤ３には、データＤ間の距離に基づいて複数のクラスタＣＬにクラスタ化された複数のデータＤが格納される。ＤＲＡＭ４には、それぞれは複数のクラスタＣＬの１つに一対一に対応する複数の代表データＲＤが格納される。各代表データＲＤは、対応するクラスタＣＬを構成するデータＤのセットを代表するデータである。プロセッサ２は、クエリの入力を受け付けると、複数の代表データＲＤのうちから入力されたクエリに最も近い代表データＲＤを特定する。そして、プロセッサ２は、特定された代表データＲＤに対応するクラスタＣＬを構成するデータＤのセットをＳＳＤ３から一括にリードする。そして、プロセッサ２は、リードされたデータＤのセットのうちからクエリに最も近いデータＤを特定し、特定されたデータＤをクエリ応答として出力する。
Ｌ０層内での近傍探索において必要なデータＤがＳＳＤ３から一括にリードされるので、ホップ毎にＳＳＤからのデータのリードが必要な比較例に比べてクエリ応答に要する時間が短縮される。つまり、実施形態によれば、クエリ応答の速度が向上する。
また、実施形態によれば、複数のクラスタＣＬのそれぞれは、ＳＳＤ３のアドレス空間の連続するエリアに配置される。
よって、プロセッサ２は、１つのリードコマンドによって必要なデータＤのセットを取得することができる。
また、実施形態によれば、それぞれの代表データＲＤは、対応するクラスタＣＬが配置されたエリアの先頭のアドレスと関連付けられてＤＲＡＭ４に格納される。プロセッサ２は、クエリに最も近い代表データＲＤとして特定された代表データＲＤに関連付けられたアドレスを取得し、取得されたアドレスを指定したリードコマンドをＳＳＤ３に送信する。
また、それぞれの代表データＲＤは、対応するクラスタＣＬを構成するデータＤのセットから計算されたデータである。
（変形例）
以上の説明では、各データＤは一つのクラスタＣＬにのみ属するとして説明した。各データＤは、２以上のクラスタＣＬに属し得る。
図８は、実施形態の変形例にかかるクラスタ化の方法を説明するための模式的な図である。
図８には、Ｌ０層に含まれるデータＤの一部として、データＤｇ～Ｄｇ＋１９の合計２０個のデータＤが描画されている。データＤｇ～Ｄｇ＋３のセットはクラスタＣＬｈを構成する。データＤｇ＋３～Ｄｇ＋７のセットはクラスタＣＬｈ＋１を構成する。データＤｇ＋５、Ｄｇ＋７～Ｄｇ＋９のセットはクラスタＣＬｈ＋２を構成する。データＤｇ＋１０～Ｄｇ＋１４のセットはクラスタＣＬｈ＋３を構成する。データＤｇ＋１４～Ｄｇ＋１７のセットはクラスタＣＬｈ＋４を構成する。データＤｇ＋８、Ｄｇ＋１２、Ｄｇ＋１３、Ｄｇ＋１８のセットはクラスタＣＬｈ＋５を構成する。データＤｇ＋９、Ｄｇ＋１９のセットはクラスタＣＬｈ＋６を構成する。
データＤｇ＋３、Ｄｇ＋５、Ｄｇ＋７、Ｄｇ＋８、Ｄｇ＋９、Ｄｇ＋１２、Ｄｇ＋１３、Ｄｇ＋１４のそれぞれは、２つのクラスタＣＬに属している。このように１つのデータＤが２つのクラスタＣＬに属することが許容される。すなわち、互いに隣接するクラスタＣＬ間で、構成されるデータＤの群の分布の範囲を一部重複させながら、より多数のクラスタＣＬを設定することが可能である。よって、より精確な近傍探索が可能である。
なお、１つのデータＤが３以上のクラスタＣＬに属することが許容されてもよい。
１つのデータＤが２以上のクラスタＣＬに属するように複数のクラスタＣＬが設定される場合、ＳＳＤ３のアドレス空間には、例えば図９に示されるようにデータＤが配置される。図９は、実施形態の変形例にかかるデータＤの配置方法を示す模式的な図である。
図９に示される例では、データＤｉ～Ｄｉ＋３のセットはクラスタＣＬｊを構成し、ＳＳＤ３の連続したエリアに配置されている。データＤｉ＋３～Ｄｉ＋６のセットはクラスタＣＬｊ＋１を構成し、ＳＳＤ３のアドレス空間において、データＤｉ～Ｄｉ＋３のセットが格納されたエリアに後続するエリアに配置されている。また、データＤｉ＋２、Ｄｉ＋３、Ｄｉ＋７、Ｄｉ＋８のセットはクラスタＣＬｊ＋２を構成し、ＳＳＤ３のアドレス空間において、データＤｉ＋３～Ｄｉ＋６のセットが格納されたエリアに後続するエリアに配置されている。
図９に示された例では、データＤｉ＋２はクラスタＣＬｊおよびクラスタＣＬｊ＋２に属し、データＤｉ＋３はクラスタＣＬｊ、クラスタＣＬｊ＋１、およびクラスタＣＬｊ＋２に属する。そのため、データＤｉ＋２は、クラスタＣＬｊを構成するデータＤのセットが配置されたエリアと、クラスタＣＬｊ＋２を構成するデータＤのセットが配置されたエリアと、の両方に配置されている。また、データＤｉ＋３は、クラスタＣＬｊを構成するデータＤのセットが配置されたエリアと、クラスタＣＬｊ＋１を構成するデータＤのセットが配置されたエリアと、クラスタＣＬｊ＋２を構成するデータＤのセットが配置されたエリアと、のすべての配置されている。このように、２以上のクラスタＣＬに属するデータＤは、ＳＳＤ３のアドレス空間の２以上の箇所に配置される。
以上述べたように、ＳＳＤ３に格納された複数のデータＤは、あるクラスタＣＬと別のクラスタＣＬとの両方に属するデータＤを含んでいてもよい。
実施形態および実施形態の変形例に述べたように、近傍探索が行われる空間は、２層に階層化され、そのうちの１層は、第１メモリであるＳＳＤ３に配置され、他の１層は、第２メモリであるＤＲＡＭ４に配置される。具体的には、第１メモリであるＳＳＤ３には、データＤ間の距離に基づいて複数のクラスタＣＬにクラスタ化された複数のデータＤが格納される。第２メモリであるＤＲＡＭ４には、それぞれは複数のクラスタＣＬの１つに一対一に対応する複数の代表データＲＤが格納される。各代表データＲＤは、対応するクラスタＣＬを構成するデータＤのセットを代表するデータである。
よって、プロセッサ２は、ＳＳＤ３に配置された層から必要なデータＤのセットを一括にリードすることが可能である。そのため、実施形態および実施形態の変形例によれば、比較例に比べてクエリ応答の速度が向上する。第１メモリであるＳＳＤ３と第２メモリであるＤＲＡＭ４とは、バス５に接続される。ＳＳＤ３と、ＤＲＡＭ４と、バス５、とを少なくとも備える装置（第１装置）は、少なくともプロセッサ２を備える装置（第２装置）と異なる装置として構成されてもよい。第１装置と第２装置とは、所定のインターフェース及び回路を介して接続される。
なお、近傍探索が行われる空間は、３以上の層に階層化されていてもよい。例えば、３以上の層のうちの最上層は、第２メモリであるＤＲＡＭ４に配置され、３以上の層のうちの他のすべての層は第２メモリであるＳＳＤ３に配置されてもよい。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１ 情報処理装置、２ プロセッサ、３ ＳＳＤ、４ ＤＲＡＭ、５ バス、３１ グラフ情報、３２ 探索プログラム、３３ 配置プログラム、４１ ワークエリア、ＡＤＲ アドレス、Ｓ サイズ、ＣＬ クラスタ、Ｄ データ、ＲＤ 代表データ。

Claims (7)

  1. それぞれは１以上の第１データを含む複数のクラスタに第１データ間の距離に基づいてクラスタ化された複数の第１データが格納された第１メモリと、
    それぞれは前記複数のクラスタの１つに一対一に対応する複数の第２データが格納され、前記複数の第２データのそれぞれは前記複数のクラスタのうちの対応する１つを代表するデータである、前記第１メモリよりも高速な動作が可能な第２メモリと、
    クエリの入力を受け付け、前記複数の第２データのうちから前記クエリに最も近い第２データである第３データを特定し、前記複数のクラスタのうちの前記第３データに対応するクラスタに含まれる１以上の第１データを前記第１メモリから一括にリードし、リードされた前記１以上の第１データのうちから前記クエリに最も近い第１データである第４データを特定し、前記第４データを出力する、プロセッサと、
    を備える情報処理装置。
  2. 前記複数のクラスタのそれぞれは、前記プロセッサが使用する前記第１メモリのアドレス空間内の連続するエリアに配置される、
    請求項１に記載の情報処理装置。
  3. 前記複数の第２データのそれぞれは、対応するクラスタが配置されたエリアの先頭のアドレスと関連付けられて前記第２メモリに格納され、
    前記プロセッサは、前記第３データに関連付けられたアドレスを取得し、取得された前記アドレスを指定したリードコマンドを前記第１メモリに送信する、
    請求項２に記載の情報処理装置。
  4. 前記複数の第１データは、前記複数のクラスタのうちの第１クラスタおよび前記第１クラスタと異なる第２クラスタの両方に属する第５データを含む、
    請求項１から請求項３のいずれか一項に記載の情報処理装置。
  5. 前記複数の第２データのそれぞれは前記複数のクラスタのうちの対応する１つに含まれる１以上の第１データから計算されたデータである、
    請求項１から請求項４のいずれか一項に記載の情報処理装置。
  6. それぞれは１以上の第１データを含む複数のクラスタに第１データ間の距離に基づいてクラスタ化された複数の第１データが格納された第１メモリと、それぞれは前記複数のクラスタの１つに一対一に対応する複数の第２データが格納され、前記複数の第２データのそれぞれは前記複数のクラスタのうちの対応する１つを代表するデータである、前記第１メモリよりも高速な動作が可能な第２メモリと、を備える情報処理装置を制御する方法であって、
    クエリの入力を受け付けることと、
    前記複数の第２データのうちから前記クエリに最も近い第２データである第３データを特定することと、
    前記複数のクラスタのうちの前記第３データに対応するクラスタに含まれる１以上の第１データを前記第１メモリから一括にリードすることと、
    前記リードされた１以上の第１データのうちから前記クエリに最も近い第１データである第４データを特定することと、
    前記第４データを出力することと、
    を含む方法。
  7. それぞれは１以上の第１データを含む複数のクラスタに第１データ間の距離に基づいてクラスタ化された複数の第１データが格納された第１メモリと、
    それぞれは前記複数のクラスタの１つに一対一に対応する複数の第２データが格納され、前記複数の第２データのそれぞれは前記複数のクラスタのうちの対応する１つを代表するデータである、前記第１メモリよりも高速な動作が可能な第２メモリと、
    前記第１メモリと前記第２メモリとが接続されるバスと、
    を備える情報処理装置。
JP2021201065A 2021-12-10 2021-12-10 情報処理装置および方法 Pending JP2023086507A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021201065A JP2023086507A (ja) 2021-12-10 2021-12-10 情報処理装置および方法
US17/840,981 US20230185468A1 (en) 2021-12-10 2022-06-15 Information processing device and method
TW111124832A TWI822162B (zh) 2021-12-10 2022-07-01 資訊處理裝置以及控制資訊處理裝置的方法
CN202210896606.2A CN116257645A (zh) 2021-12-10 2022-07-28 信息处理装置以及对信息处理装置进行控制的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021201065A JP2023086507A (ja) 2021-12-10 2021-12-10 情報処理装置および方法

Publications (1)

Publication Number Publication Date
JP2023086507A true JP2023086507A (ja) 2023-06-22

Family

ID=86681438

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021201065A Pending JP2023086507A (ja) 2021-12-10 2021-12-10 情報処理装置および方法

Country Status (4)

Country Link
US (1) US20230185468A1 (ja)
JP (1) JP2023086507A (ja)
CN (1) CN116257645A (ja)
TW (1) TWI822162B (ja)

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4821290A (en) * 1988-02-09 1989-04-11 General Electric Company Decoder for digital signal codes
US7212531B1 (en) * 2001-11-27 2007-05-01 Marvell Semiconductor Israel Ltd. Apparatus and method for efficient longest prefix match lookup
US6934252B2 (en) * 2002-09-16 2005-08-23 North Carolina State University Methods and systems for fast binary network address lookups using parent node information stored in routing table entries
US20040264479A1 (en) * 2003-06-30 2004-12-30 Makaram Raghunandan Method for generating a trie having a reduced number of trie blocks
JP5401071B2 (ja) * 2008-10-09 2014-01-29 株式会社Ｎｔｔドコモ 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム、動画像処理システムおよび動画像処理方法
US8429173B1 (en) * 2009-04-20 2013-04-23 Google Inc. Method, system, and computer readable medium for identifying result images based on an image query
US8239364B2 (en) * 2009-12-08 2012-08-07 Facebook, Inc. Search and retrieval of objects in a social networking system
US8868603B2 (en) * 2010-04-19 2014-10-21 Facebook, Inc. Ambiguous structured search queries on online social networks
EP3591538B1 (en) * 2011-11-15 2021-01-20 AB Initio Technology LLC Data clustering, segmentation, and parallelization
CN103559504B (zh) * 2013-11-04 2016-08-31 北京京东尚科信息技术有限公司 图像目标类别识别方法及装置
EP3115909A1 (en) * 2015-07-08 2017-01-11 Thomson Licensing Method and apparatus for multimedia content indexing and retrieval based on product quantization
US11074008B2 (en) * 2019-03-29 2021-07-27 Intel Corporation Technologies for providing stochastic key-value storage
US20210011910A1 (en) * 2019-07-08 2021-01-14 Gsi Technology Inc. Reference distance similarity search
US11914669B2 (en) * 2019-11-25 2024-02-27 Baidu Usa Llc Approximate nearest neighbor search for single instruction, multiple thread (SIMT) or single instruction, multiple data (SIMD) type processors

Also Published As

Publication number Publication date
TWI822162B (zh) 2023-11-11
TW202324071A (zh) 2023-06-16
US20230185468A1 (en) 2023-06-15
CN116257645A (zh) 2023-06-13

Similar Documents

Publication Publication Date Title
US20220147795A1 (en) Neural network tiling method, prediction method, and related apparatus
JP2018518733A (ja) ファイル操作方法及び装置
JP6751064B2 (ja) データ検索システム、データ検索方法、及びプログラム
CN107193503B (zh) 一种数据重删方法及存储设备
CN112417036A (zh) 分布式存储系统中处理对象的元数据的方法及装置
JP7354014B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
CN111292225A (zh) 对图形数据进行分区以进行大规模图形处理
JP2024511018A (ja) 空間関係の決定方法、装置、コンピュータ装置及び記憶媒体
JP5447523B2 (ja) データ処理装置、データ記録方法、データ記録プログラム
JP2012014269A (ja) クラスタリング処理装置、クラスタリング処理方法
JP6705764B2 (ja) 生成装置、生成方法、及び生成プログラム
JP2023086507A (ja) 情報処理装置および方法
US20180203875A1 (en) Method for extending and shrinking volume for distributed file system based on torus network and apparatus using the same
JP7353737B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
JP6194875B2 (ja) キャッシュ装置、キャッシュシステム、キャッシュ方法、及びキャッシュプログラム
JP6189266B2 (ja) データ処理装置、データ処理方法及びデータ処理プログラム
CN115934354A (zh) 在线存储方法和装置
CN111209304B (zh) 数据处理方法、装置及系统
CN113934377A (zh) 一种元数据集群部署方法、装置、设备及可读存储介质
JP6132010B2 (ja) 制御装置、制御プログラム、および制御方法
JP2024043899A (ja) 方法および情報処理装置
US20230334035A1 (en) Content based log retrieval by using embedding feature extraction
US20230221876A1 (en) Computational ssd accelerating deep learning service on large-scale graphs
WO2021110176A1 (zh) 一种边缘系统及数据操作请求的处理方法
US20230273728A1 (en) Storage control apparatus and method