JP2017505936A5 - - Google Patents

Download PDF

Info

Publication number
JP2017505936A5
JP2017505936A5 JP2016536819A JP2016536819A JP2017505936A5 JP 2017505936 A5 JP2017505936 A5 JP 2017505936A5 JP 2016536819 A JP2016536819 A JP 2016536819A JP 2016536819 A JP2016536819 A JP 2016536819A JP 2017505936 A5 JP2017505936 A5 JP 2017505936A5
Authority
JP
Japan
Prior art keywords
search
node
record
manager
records
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016536819A
Other languages
English (en)
Other versions
JP2017505936A (ja
Filing date
Publication date
Application filed filed Critical
Priority claimed from PCT/US2014/068002 external-priority patent/WO2015099961A1/en
Publication of JP2017505936A publication Critical patent/JP2017505936A/ja
Publication of JP2017505936A5 publication Critical patent/JP2017505936A5/ja
Pending legal-status Critical Current

Links

Claims (25)

  1. コンピュータにより、1つ以上のデータ形式のデータより成り且つ情報を含むコーパスから1つ以上のファセットを抽出し;
    コンピュータにより、コーパスから抽出された1つ以上のファセットの各々を曖昧性除去し;
    コンピュータにより、1つ以上のファセットに各々関連した1つ以上のインデックスを生成し;
    コンピュータにより、データベースの1つ以上のレコードより成るパーティションのレコードから関連インデックスに基づきファセットの各々を検索し、データベースの集合体は、1つ以上のパーティションを含み、そして各ファセットは、データの1つ以上のレコードに対してデータベースに記憶されたデータのハイアラーキー関係を指示し;及び
    コンピュータにより、各ファセットに基づき示唆されたサーチ質問を生成する;
    ことを含む、コンピュータで実施される方法。
  2. インメモリデータベースをホストするコンピューティングシステムにおいて、
    データベースの1つ以上のレコードの集合体を受け取るのに応答して、その集合体に関連したマシン読み取り可能なスキーマに基づきその集合体を圧縮すべきかどうか決定し、スキーマファイルに従ってその集合体を1つ以上のパーティションへ論理的にパーティショニングし、そしてスキーマファイルに従って1つ以上のパーティションを1つ以上のストレージノードに配布するように構成されたプロセッサを含むパーティショナーノード; ストレージノードであって、それに関連したパーティショナーから受け取ったパーティションを記憶する非一時的マシン読み取り可能なメインメモリを含むストレージノード; システムのクライアント装置からサーチ質問を受け取り、そしてクライアント装置からサーチ質問を受け取るのに応答してそのサーチ質問を1つ以上のサーチコンダクタへサーチコンダクタ質問として送出するプロセッサを含むサーチマネージャーノードであって、そのサーチ質問は、そのサーチ質問を満足する1つ以上のレコードに関連したパラメータを含むマシン読み取り可能なコンピュータファイルであるサーチマネージャーノード;
    1つ以上のパーティションに関連したサーチコンダクタノードであって、サーチマネージャーノードからサーチコンダクタ質問を受け取るのに応答して、そのサーチコンダクタ質問により指示される1つ以上のパーティションのセットに質問し、その質問されたパーティションのセットに記憶された1つ以上の候補レコードを識別し、スコアリングアルゴリズムを使用して各々の候補レコードに対する第1スコアを計算し、そしてスレッシュホールド値を満足する1つ以上の候補レコードを含む1つ以上の質問結果のセットをサーチマネージャーへ送出するよう構成されたプロセッサを含むサーチコンダクタノード;及び サーチマネージャーノードから受け取られる質問結果のセットにおいて識別を行うのに応答して質問結果のセットから導出された1つ以上の結果のセットを含むマシン読み取り可能なコンピュータファイルを自動的に生成するように構成されたプロセッサを含む分析エージェントノード;
    を備えたコンピュータシステム。
  3. 前記分析エージェントノードのプロセッサは、1つ以上のデータリンケージのセットをサーチマネージャーへ送出するように更に構成された、請求項2に記載のシステム。
  4. 前記サーチマネージャーノードのプロセッサは、サーチ質問に従って1つ以上のフィールド処理アルゴリズムを実行するように更に構成された、請求項2に記載のシステム。
  5. 前記システムの1つ以上のノードから1つ以上のハートビート信号を受信しそして各ノードから受信されたハートビート信号に基づき1つ以上のノードごとに状態を決定するプロセッサを含むスーパーバイザーノードを更に備え、各ハートビート信号は、各ノードの状態を指示する、請求項2に記載のシステム。
  6. 各ノードは、そのノードの状態を監視するように構成されたプロセッサを備えた、請求項5に記載のシステム。
  7. 前記スーパーバイザーノードに関連した依存性マネージャーノードであって、非一時的なマシン読み取り可能なストレージ媒体に記憶されたマシン読み取り可能な依存性ツリーファイルを使用して前記スーパーバイザーにより監視されるノードのノード構成状態を監視するプロセッサを含む依存性マネージャーノードを更に備えた、請求項5に記載のシステム。
  8. 前記ハートビート信号の状態は、ノードの構成状態を指示し、そして前記スーパーバイザーノードは、ノード構成状態を決定する前記依存性マネージャーが、ノードが誤って構成されたと指示するのに応答して、マシン読み取り可能な構成パッケージファイルを送信する、請求項7に記載のシステム。
  9. 前記サーチコンダクタは、1つ以上の更新された結果レコードのセットの各候補レコードに対するフィールドスコアを計算し、前記更新された結果レコードのセットにおける各候補の第1スコアは、サーチ質問により指示されたスレッシュホールド値を満足し、そしてその更新された結果レコードを前記サーチマネージャーノードへ送信する、請求項2に記載のシステム。
  10. 前記サーチコンダクタは、候補結果レコードのデータがデータ圧縮アルゴリズムに従って圧縮されたと決定するのに応答して、データ圧縮アルゴリズムを使用して前記更新された結果レコードのセットにおける候補レコードに記憶されたデータを解凍する、請求項9に記載のシステム。
  11. 1つ以上の集合体に関連した新たな集合体スキーマファイルを受け取る質問インターフェイスモジュールを実行するプロセッサを含むノードを更に備え、少なくともサーチコンダクタノードは、新たなスキーマファイルに従ってサーチコンダクタに関連した1つ以上の集合体を自動的に再構成するように構成される、請求項2に記載のシステム。
  12. 前記パーティショナーは、スキーマファイルに従って集合体に記憶された各レコードへ独特のレコード識別子を指定し、そして集合体の各レコードに指定された独特のレコード識別子を使用して集合体の各パーティションに関連したマシン読み取り可能なインデックスファイルを生成する、請求項2に記載のシステム。
  13. 前記サーチマネージャーノードは、前記サーチコンダクタノードに1つ以上の新たなレコードのセットを配布し、そして前記サーチコンダクタは、その1つ以上の新たなレコードのセットを受け取るのに応答して、サーチファイルに従って集合体のパーティションに新たなレコードの各々を自動的に追加する、請求項12に記載のシステム。
  14. 前記1つ以上のサーチマネージャーは、独特のレコード識別子のセットに対応する1つ以上のレコードを削除する要求を受け取って、その要求を少なくとも1つのサーチコンダクタへ配布するように更に構成され、そしてサーチコンダクタは、独特のレコード識別子に関連した各レコードを削除についてマークするように更に構成される、請求項12に記載のシステム。
  15. レコードを削除についてマークすることは、将来のサーチ結果レコードからそのレコードを除外する、請求項14に記載のシステム。
  16. 各レコードに関連した独特のレコード識別子は、独特の識別子番号、集合体バージョン番号、集合体の名前及びパーティションバージョン番号の1つ以上を含む、請求項12に記載のシステム。
  17. 前記サーチマネージャーノードは、1つ以上の新たなレコードを含む1つ以上の新たな集合体のセットを受け取り、そしてスキーマファイルに従って1つ以上のサーチコンダクタノードへ新たな集合体のセットを送出し、そして各サーチコンダクタノードは、1つ以上の新たな集合体を受け取るのに応答して、各サーチコンダクタノードに関連した1つ以上の集合体をスキーマファイルに従って新たな1つ以上のレコードのセットで自動的にポピュレートする、請求項12に記載のシステム。
  18. サーチマネージャーは、集合体を除去する要求を受け取り、サーチマネージャーのプロセッサは、集合体削除要求をサーチコンダクタへ転送するように構成され、そしてサーチコンダクタは、データベースから集合体を除去するように更に構成される、請求項2に記載のシステム。
  19. 前記サーチマネージャーは、前記サーチコンダクタの各々から前記サーチ結果レコードの各々を非同期で受け取る、請求項2に記載のシステム。
  20. 前記スキーマは、フィールドの名前、フィールドがインデックスされたかどうか、使用する圧縮、及びフィールドに対するデフォールトスコアリングアルゴリズムの1つ以上に従って集合体を記述する、請求項2に記載のシステム。
  21. 前記分析エージェントは、多数のレコードをより完全なレコードへと連結し、そしてサーチ結果レコードに対する隣接レコードに関する情報を決定するように更に構成される、請求項2に記載のシステム。
  22. 前記サーチコンダクタは、前記サーチマネージャーから受け取ったサーチ質問に基づいてサーチ結果レコードのサイズを限定する、請求項2に記載のシステム。
  23. 前記スーパーバイザーは、集合体における1つ以上のレコードを圧縮するようにパーティショナーに命令する、請求項2に記載のシステム。
  24. 前記スーパーバイザーは、ロードされるべき1つ以上の新たなパーティションを決定し、依存性マネージャーからノードに対するノード構成を要求するよう更に構成され、前記スーパーバイザーは、前記依存性マネージャーからノード構成を検索するようにノードのノードマネージャーに命令し、
    前記ノードマネージャーは、ノードのメモリリソースを割り当てそして新たなパーティションをロードするように構成され、そして
    新たなパーティションに関連したサーチコンダクタは、スキーマに従って、パーティションがロードされたことをスーパーバイザーに通知する、
    請求項2に記載のシステム。
  25. 前記分析エージェントノードは、前記サーチマネージャーノードから受け取った質問結果のセットにおいて2つ以上のレコードを相関させるデータリンケージを識別し、そしてそのデータリンケージは、第2レコードに含まれたデータに関連して第1レコードに含まれたデータを相関させる、請求項2に記載のシステム。
JP2016536819A 2013-12-02 2014-12-02 インメモリデータベースをホストするシステム及び方法 Pending JP2017505936A (ja)

Applications Claiming Priority (15)

Application Number Priority Date Filing Date Title
US201361910834P 2013-12-02 2013-12-02
US201361910867P 2013-12-02 2013-12-02
US201361910850P 2013-12-02 2013-12-02
US201361910864P 2013-12-02 2013-12-02
US201361910856P 2013-12-02 2013-12-02
US201361910873P 2013-12-02 2013-12-02
US201361910860P 2013-12-02 2013-12-02
US61/910,856 2013-12-02
US61/910,867 2013-12-02
US61/910,860 2013-12-02
US61/910,834 2013-12-02
US61/910,850 2013-12-02
US61/910,864 2013-12-02
US61/910,873 2013-12-02
PCT/US2014/068002 WO2015099961A1 (en) 2013-12-02 2014-12-02 Systems and methods for hosting an in-memory database

Publications (2)

Publication Number Publication Date
JP2017505936A JP2017505936A (ja) 2017-02-23
JP2017505936A5 true JP2017505936A5 (ja) 2018-01-18

Family

ID=53479525

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016536819A Pending JP2017505936A (ja) 2013-12-02 2014-12-02 インメモリデータベースをホストするシステム及び方法

Country Status (6)

Country Link
EP (1) EP3077930A4 (ja)
JP (1) JP2017505936A (ja)
KR (1) KR20160124744A (ja)
CN (1) CN106164897A (ja)
CA (1) CA2932403A1 (ja)
WO (1) WO2015099961A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9424294B2 (en) 2013-12-02 2016-08-23 Qbase, LLC Method for facet searching and search suggestions
CN110622152B (zh) * 2017-02-27 2021-04-13 分秒库公司 用于查询时间序列数据的可扩展数据库系统
CN107480002B (zh) * 2017-07-26 2020-06-30 阿里巴巴集团控股有限公司 消息处理方法及装置、电子设备
CN107784063B (zh) * 2017-07-27 2020-03-17 平安科技(深圳)有限公司 算法的生成方法及终端设备
US11138230B2 (en) * 2018-03-26 2021-10-05 Mcafee, Llc Methods, apparatus, and systems to aggregate partitioned computer database data
CN109543712B (zh) * 2018-10-16 2023-04-07 哈尔滨工业大学 时态数据集上的实体识别方法
US11106698B2 (en) * 2019-06-11 2021-08-31 Sap Se Multi-master with ownership transfer
CN110888714B (zh) * 2019-11-26 2023-06-23 北京京东尚科信息技术有限公司 容器的调度方法、装置和计算机可读存储介质
KR102102313B1 (ko) * 2019-11-27 2020-04-20 주식회사 리얼타임테크 인메모리 데이터베이스 기반의 시계열 데이터 관리시스템
KR102157336B1 (ko) * 2019-11-29 2020-09-17 주식회사 리얼타임테크 데이터베이스 관리시스템에서 json 데이터 저장 및 검색 방법
CN111198711B (zh) * 2020-01-13 2023-02-28 陕西心像信息科技有限公司 基于MongoDB的Collection版本控制方法及系统
CN111914151A (zh) * 2020-08-11 2020-11-10 上海毅博电子商务有限责任公司 一种关联表对象查询优化方法
CN112269804B (zh) * 2020-11-06 2022-05-20 厦门美亚亿安信息科技有限公司 一种用于内存数据的模糊检索方法和系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7428530B2 (en) * 2004-07-01 2008-09-23 Microsoft Corporation Dispersing search engine results by using page category information
US20060294071A1 (en) * 2005-06-28 2006-12-28 Microsoft Corporation Facet extraction and user feedback for ranking improvement and personalization
US7685109B1 (en) * 2005-12-29 2010-03-23 Amazon Technologies, Inc. Method and apparatus for data partitioning and replication in a searchable data service
US7624118B2 (en) * 2006-07-26 2009-11-24 Microsoft Corporation Data processing over very large databases
US7392250B1 (en) * 2007-10-22 2008-06-24 International Business Machines Corporation Discovering interestingness in faceted search
US20100077001A1 (en) * 2008-03-27 2010-03-25 Claude Vogel Search system and method for serendipitous discoveries with faceted full-text classification
JP4688111B2 (ja) * 2008-11-28 2011-05-25 インターナショナル・ビジネス・マシーンズ・コーポレーション 情報処理装置、データベース・システム、情報処理方法、およびプログラム
US8694505B2 (en) * 2009-09-04 2014-04-08 Microsoft Corporation Table of contents for search query refinement
US20110125764A1 (en) * 2009-11-26 2011-05-26 International Business Machines Corporation Method and system for improved query expansion in faceted search

Similar Documents

Publication Publication Date Title
JP2017505936A5 (ja)
JP2017504874A5 (ja)
US10019459B1 (en) Distributed deduplication in a distributed system of hybrid storage and compute nodes
US9639548B2 (en) Selecting files for compaction
KR102082765B1 (ko) 중복 제거 방법 및 저장 장치
JP7046172B2 (ja) シャード・データベースのシャード・テーブルにレコードを記憶するためのコンピュータ実装方法、コンピュータ・プログラム製品、およびシステム、シャード・データベースのシャード・テーブルからレコードを検索するためのコンピュータ実装方法、コンピュータ・プログラム製品、およびシステム、ならびにシャード・データベースを記憶するためのシステム
US8874627B2 (en) Enumerating metadata in file system directories
KR20160124743A (ko) 클러스터링된 인-메모리 데이터베이스의 고안 및 구현
KR101435789B1 (ko) Dlp 시스템의 빅데이터 처리 시스템 및 방법
JP2016534456A5 (ja)
WO2017058734A4 (en) Distributed stream-based database triggers
CN104978324B (zh) 一种数据处理方法和装置
US10133779B2 (en) Query hint management for a database management system
JP6633642B2 (ja) 分散データベースにおけるデータブロックを処理する方法およびデバイス
JP2015069461A (ja) 情報処理装置
US10685031B2 (en) Dynamic hash partitioning for large-scale database management systems
CN109062936B (zh) 一种数据查询方法、计算机可读存储介质及终端设备
CN104216962A (zh) 一种基于HBase的海量网管数据索引设计方法
US9773061B2 (en) Data distributed search system, data distributed search method, and management computer
US20140289268A1 (en) Systems and methods of rationing data assembly resources
CN111782134A (zh) 数据处理方法、装置、系统和计算机可读存储介质
RU2015112157A (ru) Система и способ поиска данных в базе данных графов
CN110134698A (zh) 数据管理方法及相关产品
CN106844420B (zh) 基于社交网络和大数据分析的用户分组方法及装置
CN108337100B (zh) 一种云平台监测的方法和装置