TWI709047B - 對其已使用主要資料篩而被無損減少的資料履行多維搜尋、內容相關擷取、及關鍵字為基的搜尋和擷取 - Google Patents

對其已使用主要資料篩而被無損減少的資料履行多維搜尋、內容相關擷取、及關鍵字為基的搜尋和擷取 Download PDF

Info

Publication number
TWI709047B
TWI709047B TW105118598A TW105118598A TWI709047B TW I709047 B TWI709047 B TW I709047B TW 105118598 A TW105118598 A TW 105118598A TW 105118598 A TW105118598 A TW 105118598A TW I709047 B TWI709047 B TW I709047B
Authority
TW
Taiwan
Prior art keywords
data
main data
main
components
component
Prior art date
Application number
TW105118598A
Other languages
English (en)
Other versions
TW201717072A (zh
Inventor
哈莎夫丹 夏拉帕尼
Original Assignee
美商艾斯卡瓦公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/757,929 external-priority patent/US10108633B2/en
Application filed by 美商艾斯卡瓦公司 filed Critical 美商艾斯卡瓦公司
Publication of TW201717072A publication Critical patent/TW201717072A/zh
Application granted granted Critical
Publication of TWI709047B publication Critical patent/TWI709047B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/55—Compression Theory, e.g. compression of random number, repeated compression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/40—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
    • H03M7/42—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code using table look-up for the coding or decoding process, e.g. using read-only memory
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3084—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction using adaptive string matching, e.g. the Lempel-Ziv method
    • H03M7/3091—Data deduplication

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本發明有關在無損減少資料上藉由使用輸入資料集之結構的組件以組織主要資料元件之多維搜尋和擷取、及關鍵字為基的搜尋和擷取，以致使搜尋可根據結構之一或多個組件而在該無損減少資料上予以履行。一些實施例可根據所提出至資料結構(該資料結構係稱做主要資料篩)的輸入查詢中之某些欄或維的值，而以內容相關方式自組織該等主要資料元件的資料結構擷取用於主要資料元件之元資料的參考資料、或用於主要資料元件的元資料、或主要資料元件。對於每一個主要資料元件，主要資料篩可保留對關於該主要資料元件的各資料塊之無損減少表示的反向參考資料。一些實施例創建及保持用於無損減少資料的關鍵字索引。

Description

對其已使用主要資料篩而被無損減少的資料履行多維搜尋、內容相關擷取、及關鍵字為基的搜尋和擷取 [相關申請案之對照]
此申請案主張下列之由相同發明人的美國臨時及非臨時申請案的權益，該等申請案係為所有目的而被全部地結合於本文以供參考：1.美國臨時申請案序號62/175,444，2015年6月15日申請，代理人案號ASCA15-1001P；2.美國臨時申請案序號62/187,814，2015年7月2日申請，代理人案號ASCA15-1002P；3.美國臨時申請案序號62/194,240，2015年7月19日申請，代理人案號ASCA15-1003P；4.美國申請案序號14/998,330，2015年12月23日申請，代理人案號ASCA15-1003，命名為〝在已使用主要資料篩而被無損減少的資料上執行多維搜尋及內容相關擷取〞；5.美國申請案序號14/757,956，2015年12月23日 申請，代理人案號ASCA15-1004，命名為〝對其已使用主要資料篩而被無損減少的資料履行關鍵字為基的搜尋和擷取〞；以及6.美國申請案序號14/757,929，2015年12月23日申請，代理人案號ASCA15-1005，命名為〝使用分佈式主要資料篩以供資料的有效率無損減少、搜尋、和擷取之用〞。
此發明大致有關資料儲存、搜尋、擷取、及通訊。更特別地，此發明有關對其已使用主要資料篩而被無損減少的資料履行多維搜尋、內容相關擷取、及關鍵字為基的搜尋和擷取。
現代化的資訊時代係藉由龐大數量之資料的創造、捕獲、及分析，而予以標記。新的資料係由不同的來源所產生，其實例包含採購交易記錄、企業及政府記錄和通訊、電子郵件、社交媒體文章、數位圖像和視頻、機器日誌、來自嵌入式裝置的信號、數位感測器、蜂巢式電話全球定位衛星、太空人造衛星、科學計算、以及巨大挑戰科學。資料係以種種格式產生，且其很大一部分係非結構化及不適合進入至傳統的資料庫之內。商業、政府、及個人以空前的速率產生資料，且努力要儲存、分析、及通 訊此資料。數百億美元被每年地花費在儲存系統的採購上，用以保持累積之資料。同樣地，大量金額亦被花費在電腦系統上，以供處理該等資料之用。
在最現代化的電腦及儲存系統中，資料係收容及佈署跨越被組織成儲存階層的多層儲存。雖然批量資料(包含用於備份的拷貝)係較佳地以最密集及最便宜的儲存媒體儲存，但必須被經常及迅速存取之資料卻放置在儘管最昂貴卻最快速的層之中。資料儲存之最快速且最昂貴的層係電腦系統之揮發性隨機存取記憶體或RAM，其駐在緊靠微處理器核心附近，並提供最低潛時及最高頻寬以供資料的隨機存取之用。逐漸密集且更便宜，但速度較慢的層(具有隨機存取之逐漸高的潛時及較低的頻寬)包含非揮發性固態記憶體或快閃儲存、硬碟驅動器(HDD)，及最後，磁帶驅動器。
為了要更有效地儲存和處理成長之資料，電腦產業對資料儲存媒體的密度和速度及對電腦的處理能力持續作改進。惟，資料量的增加遠遠超過計算及資料儲存系統之容量和密度中的增進。來自2014年中之資料儲存產業的統計透露出，在過去幾年中所創造和捕獲的新資料包含在世界中有史所捕獲之資料的大部分。至今，在世界中所創造之資料總量被估計為超過多個皆位元組(皆位元組係1021個位元組)。資料中之大規模的增加在必須可靠地儲存、處理、及通訊此資料之資料儲存、計算、及通訊系統上寄予大的需求。此激勵用以壓縮資料之無損資料減 少或壓縮技術的增加使用，以致使資料可以以降低的成本儲存，且同樣地，被有效率地處理和通訊。
各種無損資料減少或壓縮技術已出現，且已發展多年。該等技術檢驗資料以搜尋資料中之某種形式的冗餘，並利用該冗餘以實現資料足跡之減少，而無任何資訊的損失。對於看起來要利用資料中之特定形式的冗餘之給定的技術，所達成之資料減少的程度根據資料中之特定形式的冗餘被多久發現一次而定。所需要的是，資料減少技術能靈活地發現和利用資料中之任何可用的冗餘。因為資料源自廣泛種類的來源和環境且以各種格式創設，所以在處理此多種資料之通用型無損資料減少的發展及採用中，引起極大的注意。通用型資料減少技術係除了字母表之外，無需輸入資料的先前知識之技術；因此，其可被普遍地施加至任何及所有的資料，而無需預先知道資料之結構和統計分佈特徵。
可使用以比較不同的資料壓縮技術之實施的長處度量包含在目標資料集上所達成之資料減少的程度、伴隨壓縮或減少所達成的效率、及伴隨其中資料被解壓縮和擷取以供未來使用之用的效率。效率度量評估解決方案的性能和成本效益。性能度量包含其中新的資料可被消耗和減少的輸貫量或攝取速率、減少資料所需的潛性或時間、其中資料可被解壓縮和擷取的輸貫量或速率、及解壓縮和擷取資料所需的潛性或時間。成本度量包含諸如微處理器核心或微處理器採用(中央處理單元採用)所需之任 何專用硬體組件的成本、專用暫時記憶體的數量和記憶體帶寬、以及由保持資料的儲存之各種層所需的存取數目和帶寬。請注意的是，減少資料的足跡且同時提供有效率和迅速的壓縮以及解壓縮和擷取，不僅具有降低要儲存和通訊資料的總成本，而且具有有效率地致能資料的隨後處理之益處。
目前在產業中正在使用的許多通用型資料壓縮技術衍生自Abraham Lempel及Jacob Ziv在1977年中所研發出之Lempel-Ziv壓縮方法，請參閱例如，Jacob Ziv及Abraham Lempel，“用於序列資料壓縮的通用演算(A Universal Algorithm for Sequential Data Compression)”，IEEE資訊理論會報，第IT-23冊，第3號，1977年5月。此方法變成用以致能經由網際網路之有效率資料傳輸的基礎。該等Lempel-Ziv方法(命名為LZ77、LZ78、及其變異)藉由參考序列呈現之輸入資料流的滑動窗口內所看到的前一事件來置換字符串的反覆發生，而減少資料足跡。在消耗來自輸入資料流之給定資料區塊的新字符串時，該等技術透過在目前的及在多達窗口長度之先前的區塊內所預見之所有字符串而搜尋。如果新字符串係重複的，則可藉由對原始字符串之向後參考資料而予以置換。若由於重複的字符串而被消除之位元組的數目係比用於向後參考資料所需之位元組的數目更大時，則已獲得資料的減少。為透過在窗口中所看到的所有字符串而搜尋，且為提供最大的字符串匹配，該等技術的實施採用各種方案， 包含反復的掃描，以及建立暫時簿記結構，其包含在窗口中所看到的所有字符串之詞典。在消耗輸入的新位元組而組裝新的字符串時，該等技術透過在現有窗口中之所有位元組而搜尋，或參考字符串之詞典(其次，某種計算)，以決定重覆是否已被發現並以向後參考資料置換它(或選擇性地，決定是否須對詞典作添加)。
Lempel-Ziv壓縮方法係經常由所施加至資料的第二最佳化所伴隨，其中源符號係根據其在將被壓縮的資料區塊中之發生的頻率或機率而被動態地重編碼，此常常採用可變寬度編碼方案，以致使較短長度的碼被使用於較頻繁的符號，而藉以導致資料之減少。例如，請參閱David A.Huffman之“用於最小冗餘碼之建立的方法”，IRE-無線電工程師學會之會議記錄，1952年9月，第1098至1101頁。此技術被稱作Huffman重編碼，且大致地需要透過資料以計算頻率的第一行程和實際編碼資料的第二行程。沿此議題的若干變化例亦正在被使用中。
使用該等技術的實例係已知為“緊縮(Deflate)”之方案，其結合Lempel-Ziv LZ77壓縮方法與Huffman重編碼。緊縮(Deflate)提供壓縮流資料格式規格，其指明用以表示位元組的序列成(通常較短之)位元的序列之方法，以及提供用以包裝後者位元序列成為位元組之方法。該緊縮方案係由PKWARE公司之Phillip W.Katz所原始設計，用於PKZIP歸檔功用。例如，請參閱“字符串搜尋器及使用其之壓縮器”，Phillip W.Katz， 美國專利5,051,745，1991年9月24日。美國專利5,051,745描述用以搜尋用於預定目標字符串(輸入字符串)之符號向量(窗口)的方法。該解決方法對窗口中的各符號採用具有指引符之指引符陣列，以及使用散列方法以過濾窗口中之針對輸入字符串的相同拷貝而需被搜索的可能位置。此之後係在該等位置處的掃描和字符串匹配。
該緊縮方案係在zlib庫中實施用於資料壓縮。Zlib庫係軟體庫，其係諸如Linux、Mac OS X、iOS、及各種遊戲機之若干軟體平台的關鍵組件。該zlib庫提供緊縮(Deflate)壓縮及解壓縮碼，以供通過zip(檔案歸檔)、gzip(單一檔案壓縮)、png(攜帶式網路圖形，用於無損壓縮影像)、及許多其他應用的使用。目前，Zlib係廣泛地使用於資料傳輸和儲存。通過伺服器及瀏覽器的大多數HTTP事務使用zlib以壓縮及解壓縮資料。類似的實施正由資料儲存系統所漸增地使用。
由英特爾公司(Intel Corp.)在2014年4月中所出版之命名為“在英特爾架構處理器上之高性能ZLIB壓縮”的文章描繪出，在當代的英特爾處理器(核心I7 4770處理器，3.4GHz，8MB快取)上運轉且在資料的卡爾加里(Calgary)語料庫上操作之zlib最佳版本的壓縮和性能之特徵。在zlib中所使用之緊縮(Deflate)格式設定用於匹配之最小的字符串長度為3個字符、該匹配之最長的長度為256個字符、及窗口的尺寸為32k位元組。該實施提供用於9層次之最佳化的控制，而層次9提 供最高的壓縮，但使用最多的計算且執行最徹底的字符串匹配，以及層次1係最快的層次並採用貪婪式字符串匹配。該文章報告使用zlib層次1(最快層次)之51%的壓縮比，該zlib層次1使用單一線程處理器且耗費每輸入資料位元組17.66個時脈的平均值。在3.4GHz之時脈頻率處，此意味著當用盡單一微處理器核心時之192MB/秒的攝取速率。該報告亦描繪的是，在壓縮中使用小幅上揚之最佳化層次6，性能如何迅速下降到38MB/秒的攝取速率，以及使用最佳化層次9，如何下降到16MB/秒的攝取速率(每位元組209.5個時脈的平均值)。
現有的資料壓縮解決方法大致地使用當代微處理器上之單一處理器核心，而在範圍自10MB/秒至200MB/秒的攝取速率操作。為了要進一步抬高攝取速率，多重核心被使用，或窗口尺寸被降低。甚至對該攝取速率的進一步改善係使用定製硬體加速器以達成，儘管在成本上增加。
上述之現有資料壓縮方法在利用大致地，單一信息或檔案、或者幾個檔案之局部窗口中的短字符串及符號之位準的細粒度冗餘時，係有效的。該等方法在它們被使用於操作在大和極大之資料集上，且需要高速率之資料攝取及資料擷取的應用之中時，具有嚴重的限制和缺點。
一重大限制在於，該等方法的實際實施僅可在局部窗口內有效率地利用冗餘。雖然該等方法可接受任 意長的輸入資料流，但效率決定的是，限制被置放在其中細粒度冗餘將在該窗口的尺寸範圍上被發現。該等方法係高度計算密集型，且對窗口中的所有資料需要頻繁及快速的存取。各種簿記結構之字符串匹配及查找係在消耗所創造新輸入字符串的輸入資料之各個新的位元組(或幾個位元組)時觸發。為了要達成所需的攝取速率，用於字符串匹配之窗口及相關聯的機械必須大多駐在處理器快取子系統中，而實際上，此將在窗口尺寸上置放約束。
例如，要在單一處理器核心上達成200MB/秒的攝取速率，每攝取之位元組的平均可用時間預算(包含資料存取和計算)係5奈秒(ns)，其意指使用具有3.4GHz之操作頻率的當代處理器之17個時脈。此預算適合於對晶片上快取，其次，一些字符串匹配的存取。目前的處理器具有數百萬位元組之容量的晶片上快取。對主記憶體之存取耗費超過200個循環(約70奈秒)，所以大部分駐存在記憶體中之較大的窗口將使攝取速率進一步地變慢。而且，因為窗口尺寸增加，且到重複之字符串的距離增加，所以要指明向後參考資料的成本增加，因而在針對重複的寬廣領域範圍僅只激勵較長的字符串將被搜尋。
在大多數的當代資料儲存系統上，跨越儲存階層的各種層所存取之資料的足跡係比系統中之記憶體容量更大幾個數量級。例如，雖然系統可提供數百個十億位元組的記憶體，但駐存在快閃中之活性資料的資料足跡可係在數十個萬億位元組中，以及在儲存系統中的總資料可 係在數百個萬億位元組到多個千兆位元組的範圍中。而且，對隨後之儲存層的資料存取之可達到的輸貫量會依用於各接續層之數量級或更多而下降。當滑動窗口變得如此之大以致使其不再能配合記憶體時，該等技術將由於顯著低的帶寬，和對下一個資料儲存層次之隨機IO(輸入或輸出操作)存取的較高潛時而被壓抑。
例如，考慮到4k位元組之輸入資料的檔案或網頁，其可藉由對，比方說，早已存在於資料中且被散佈在256萬億位元組足跡的範圍之平均長度40個位元組的100個字符串做成參考資料，而由現有資料所組裝。各個參考資料將花費6個位元組以指明其位址，及1個位元組以供字符串長度之用，而有希望節省40個位元組。雖然在此實例中所敘述的網頁可被壓縮超過五倍，但用於此網頁之攝取速率將受到需對儲存系統提取及驗證100個重複字符串之100或更多個IO存取所限制(即使可完全地且廉價地預測到該等字符串駐存在何處)。對於僅只10MB/秒的攝取速率，可提供250,000個隨機IO存取/秒(此意指對4KB網頁之1GB/秒的隨機存取帶寬)之儲存系統在用盡該儲存系統之全部帶寬的同時，僅可每秒壓縮2,500個4KB大小的該等網頁，而使其呈現不可用做儲存系統。
具有萬億位元組或千兆位元組大小之大的窗口尺寸之習知壓縮方法的實施，將由於對儲存系統的資料存取之降低的帶寬而感到不足，且將不可接受地變慢。因 此，只要冗餘局部地存在於配合處理器快取或系統記憶體的窗口尺寸上，該等技術的實施就會有效率地發現和利用它。若冗餘係與輸入資料空間地或暫時地分離多個萬億位元組、千兆位元組、或艾(千千兆)位元組時，該等實施將無法以將由儲存存取帶寬所限制之可接受的速率發現該冗餘。
習知方法之另一限制在於它們並不適用於資料的隨機存取。跨越整個窗口之所壓縮的資料區塊必須在其中任一區塊內之任一資料塊可被存取之前，被解壓縮。此在窗口的尺寸上置放實際的限制。此外，其係在未壓縮的資料上傳統地執行之操作(例如，搜尋操作)無法在壓縮的資料上有效率地執行。
習知方法(且特別地，以Lempel-Ziv為主的方法)之又另一限制在於它們僅沿著一維而搜尋冗餘---藉由向後參考資料而置換相同的字符串之該者。Huffman重編碼方案之限制在於其需要透過資料的兩行程，用以計算頻率，且然後，重編碼。此在較大的區塊上會變慢。
其在資料的全盤儲存範圍偵測長的重複字符串之資料壓縮方法經常使用數位指紋圖譜及散列方案的組合。此壓縮處理係稱作重複資料刪除。重複資料刪除之最基本技術將檔案拆散成為固定尺寸的區塊，以及在資料儲存庫的範圍尋找重複的區塊。若檔案的拷貝被產生時，則在第一檔案中之各區塊將在第二檔案中具有複製品，且該複製品可以以對原始區塊之參考資料置換。為了要加速潛 在重複之區塊的匹配，係採用散列之方法。散列函數係一種轉換字符串成為被稱作其散列值的數值之函數。假如兩個字符串係一樣的，則它們的散列值亦係相等的。散列函數映像多個字符串至給定的散列值，而可藉以減少長的字符串成極短長度之散列值。散列值之匹配將比兩個長的字符串之匹配更快；因此，該等散列值的匹配會先被完成以過濾可係複製品之可能的字符串。若輸入之字符串或區塊的散列值與存在於儲存庫中之字符串或區塊的散列值匹配時，則可將輸入之字符串與在儲存庫中之具有相同散列值的各字符串相比較，用以確認複製品的存在。
將檔案拆散成為固定尺寸的區塊係簡單及便利的，且固定尺寸的區塊係在高性能儲存系統之中高度所欲的。惟，此技術具有在其可揭露之冗餘數量中的限制，而此意指的是，該等技術具有低的壓縮位準。例如，若將第一檔案之拷貝做成以產生第二檔案時，且若將甚至單一位元組之資料插入至該第二檔案時，則所有下游區塊的對齊將改變，各新的區塊之散列值將被重新計算，以及該重複資料刪除方法將不再找出所有的複製品。
為解決重複資料刪除方法中之此限制，業界已採用指紋圖譜以使匹配內容之位置處的資料流同步及對齊。此後者方案根據指紋圖譜而導致可變尺寸的區塊。Michael Rabin顯示隨機選擇之不可分解多項式可如何被使用以採集位元串指紋圖譜---請參閱例如，Michael O.Rabin之“藉由隨機多項式之指紋圖譜”，美國哈佛大學 計算技術研究中心，TR-15-81，1981年。在此方案中，隨機選擇之質數p係使用以藉由計算被視為大的整數模p之該字符串的殘留，而採集長字符串指紋圖譜。此方案需要在k位元整數上執行整數運算，其中k=log2(p)。選擇性地，可使用隨機不可分解之k次質多項式，以及指紋圖譜係該質多項式之資料模的多項式表示。
此指紋圖譜之方法係使用於重複資料刪除系統中，用以識別其中要建立資料塊邊界的合適位置，使得該系統可在全盤儲存庫中搜尋該等資料塊的複製品。資料塊邊界可在找到特定值的指紋圖譜時被設定。做為該用法之實例，指紋圖譜可藉由採用32次或更低次的多項式，而被計算用於輸入資料中之各個及每個48位元組的字符串(在輸入的第一個位元組開始，且其次，在之後的每個接續之位元組)。然後，可檢驗32位元指紋圖譜之低的13位元，且不論何時只要該等13位元的值係預定值(例如，值1)，就可設定斷點。對於隨機資料而言，具有該特殊值之該13位元的可能性將係213分之1，以致使該斷點可能要大約每8KB才會被遭遇一次，而導致平均尺寸8KB的可變尺寸資料塊。斷點或資料塊邊界將與根據資料之內容的指紋圖譜有效地對齊。當一段長長的距離並沒有發現到指紋圖譜時，則可在某一預定的臨限值處強制斷點，以致使系統一定會創造出比預定尺寸更短的資料塊，以供儲存庫之用。請參閱例如，Athicha Muthitachareon，Benjie Chen，和David Mazieres之“低帶寬的網路檔案系 統”，SOSP‘01，第18屆ACM在作業系統原理上之研討會的會議記錄，10/21/2001，第174至187頁。
由Michael Rabin及Richard Karp所研發之Rabin-Karp字符串匹配技術對指紋圖譜及字符串匹配之效率提供了進一步的改善(請參閱例如，Michael O.Rabin及R.Karp之“有效率的隨機化圖案匹配演算”，IBM Jour.of Res.And Dev.，第31冊，1987年，第249至260頁)。請注意的是，檢驗m位元組子字符串用於其指紋圖譜之指紋圖譜方法可以以O(m)時間評估指紋圖譜多項式函數。因為此方法將需被施加在起始於例如，n位元組輸入流之每個位元組處的子字符串上，所以要在全部資料流上執行指紋圖譜所需之總工作量將係O(n×m)。Rabin-Karp找出被稱作滾動散列的散列函數，其中可藉由僅做成恆定數目之操作而從前面一者來計算下一個子字符串的散列值，與該子字符串的長度無關。因此，在向右移位一位元組之後，可增量地完成新的m位元組字符串上之指紋圖譜的計算。此降低了用以計算指紋圖譜的工作量至O(1)，及用以採集全部資料流之指紋圖譜的總工作量至O(n)，而與資料的尺寸成線性。此大大地加速該等指紋圖譜的計算和識別。
用於上述重複資料刪除方法之典型的資料存取和計算要件可被敘述如下。對於給定之輸入，一旦完成指紋圖譜而創造出資料塊，且在計算出用於該資料塊的散列值之後，該等方法首先需要一組對記憶體及隨後儲存層 的存取，用以在儲存庫中搜尋及查找保持所有資料塊之散列值的全盤散列表。此將大致地需要對儲存之第一IO存取。一旦在散列表之中匹配時，則第二組之儲存IO(典型地，一個，但可根據儲存庫中存在有多少具有相同散列值的資料塊而超過一個)就隨後提取載有相同散列值的實際資料塊。最後，執行位元組接著位元組之匹配，用以比較輸入資料塊與所提取的資料塊，而確認及識別出複製品。此係由用於以對原始者的參考資料置換新的複製品區塊之第三儲存IO存取所跟隨在後。若在全盤散列表中並無匹配時(或假如並未發現複製品時)，則系統需要一IO，用以登入新的區塊至儲存庫內，以及另一IO，用以更新全盤散列表而以新的散列值登入。因此，對於大的資料集(其中元資料及全盤散列表不適合在記憶體中，且因此，需要儲存IO以存取它們)，該等系統可需要平均每輸入資料塊三個IO。進一步的改善可藉由採用各種過濾器，使得在全盤散列表中之錯失可經常被偵測到，而無需用以存取全盤散列表之第一儲存IO，藉以使處理某些資料塊所需的IO數目減低至兩個。
可提供250,000個隨機IO存取/秒(此意指對4KB網頁之1GB/秒的隨機存取帶寬)之儲存系統在用盡該儲存系統之全部帶寬的同時，可攝取和重複資料刪除大約每秒83,333個(250,000除以每輸入資料塊三個IO)平均尺寸4KB的輸入資料塊，而致能333MB/秒的攝取速率。若僅使用儲存系統的一半帶寬時(使得另一半帶寬係 可用於對所儲存資料之存取)，該重複資料刪除系統仍可交付166MB/秒的攝取速率。假定足夠的處理功率係可用於系統之中時，則該等攝取速率係可達成的。因此，鑒於足夠的處理功率，重複資料刪除系統能在當代儲存系統上，以經濟的IO在資料之全盤範疇查找大的資料複製品，且以每秒數百個百萬位元組之攝取速率交付資料減少。
根據上述說明，應瞭解的是，雖然該等重複資料刪除方法係在查找全盤範疇的範圍之長字符串的複製品時有效，但主要地，它們係在查找大的複製品時有效。若資料具有更細粒度的變化或修正時，則將不會使用此方法來查找可用的冗餘。此大大降低了在其中該等方法係有效的範圍之資料集的寬度。該等方法已在某些資料儲存系統和應用中發現用途，例如，資料的正規備份，其中將予以備份之新資料僅有一些檔案被修正，且其餘的部分均係在之前的備份中所儲存檔案之複製品。同樣地，重複資料刪除為主的系統常常被部署在其中多個精確拷貝之資料或碼被做成的環境中，諸如在資料中心之中的虛擬化環境中。惟，當資料更普遍地或更細粒度地演變和被修正時，則重複資料刪除為主的技術將喪失其效用。
某些方法(通常被採用於資料備份應用中)並不執行輸入資料與其散列值匹配該輸入之該者的字符串之間的實際位元組接著位元組之比較。該等解決方法依賴使用如同SHA-1之強大散列函數之碰撞的低機率。然 而，由於碰撞之有限的非零機率(其中多個不同的字符串可映像至相同的散列值)，所以該等方法不能被視為提供無損資料減少，且因此，將不符合最初儲存及通訊之高的資料完整性需求。
某些方法結合多個現有的資料壓縮技術。大致地，在該安裝中，全盤重複資料刪除方法係首先施加至資料。之後，在該重複資料刪除的資料集上，及採用小的窗口，與Huffman重編碼結合之Lempel-Ziv字符串壓縮方法被施加以達成進一步的資料減少。
然而，儘管採用所有迄今已知之技術，在成長及累積資料的需求，與世界經濟可使用最佳可用的現代儲存系統來實惠地容納甚麼之間，仍持續有若干數量級的差距。鑒於由該等成長資料所需求之儲存容量的特殊要求，對於用以進一步減少資料足跡之改善方式，就持續有所需要。因此，仍需要發展出解決現有技術之限制，或沿著尚未由現有技術所解決的空間以利用資料中之可用冗餘的方法。同時，能以可接受的處理速率和處理成本有效率地存取及擷取資料也就持續變得重要。
綜上所述，對於可利用在大和極大資料集範圍之冗餘，及可提供高速率之資料攝取和資料擷取的無損資料減少解決方法，仍有長遠的需求。
在此所敘述的某些實施例描繪用以在無損減 少資料上施行搜尋查詢之技術及系統的特徵。在操作期間，該等實施例可無損減少輸入資料，用以獲得該無損減少資料。無損減少該輸入資料可包含因子分解該輸入資料成為元件之集，且對於該元件之集之中的各元件，執行至少以下之操作：(1)根據從該元件之一或多個欄提取之一或多維而決定第一名稱，(2)藉由使用該第一名稱以透過資料結構導航而識別一或多個主要資料元件，其中該資料結構根據主要資料元件的名稱而組織該等主要資料元件，及(3)使用該一或多個主要資料元件以無損減少該元件。其次，該等實施例可根據該搜尋查詢而決定第二名稱，及藉由根據該第二名稱而透過該資料結構導航以施行該搜尋查詢，用以獲得搜尋結果。
在某些實施例中，該搜尋結果可包含以下之一或多者：(1)在該資料結構中之一或多個節點，(2)與在該資料結構中之一或多個節點相關聯的元資料，(3)主要資料元件之集，(4)該無損減少資料之一或多個部分，(5)該輸入資料之一或多個部分，或(6)沒有匹配結果被發現的通知。
在某些實施例中，該資料結構係樹狀資料結構，其中透過該資料結構導航包含在該樹狀資料結構中遍歷邊緣之序列，其中在該等邊緣之序列中的各邊緣對應名稱的一部分，以及其中被使用以導航至該樹狀資料結構中之節點的該名稱之各部分，對應被植根於該節點處的子樹狀物內之所有主要資料元件中所存在的內容。在某些實施 例中，對於各主要資料元件，該資料結構包含對使用該主要資料元件而被減少的該無損減少資料中之元件的參考資料。
某些實施例可根據該元件及該一或多個主要資料元件而決定重建程式，以致使(i)該重建程式可從該一或多個主要資料元件重建該元件，以及(ii)當重建該元件時，該重建程式不能修正對應於該一或多維之該一或多個主要資料元件的部分。
某些實施例可使用該一或多個主要資料元件以藉由產生元件的無損減少表示而無損減少該元件，其中該無損減少表示包含對該一或多個主要資料元件中之各主要資料元件的參考資料，及該重建程式的說明。
在某些實施例中，使用該一或多個主要資料元件以無損減少該元件可包含：(1)回應於(i)對該一或多個主要資料元件之參考資料的尺寸，與(ii)重建程式之說明的尺寸之總和小於該元件的尺寸之臨限值部分的決定，而產生該元件的第一無損減少表示，其中該第一無損減少表示包含對該一或多個主要資料元件中之各主要資料元件的參考資料，及該重建程式的說明；以及(2)回應於(i)對該一或多個主要資料元件之該等參考資料的該等尺寸，與(ii)該重建程式之該說明的該尺寸之該總和大於或等於該元件的該尺寸之該臨限值部分的決定，而在該資料結構中添加該元件做為新的主要資料元件，且產生該元件的第二無損減少表示，其中該第二無損減少表示 包含對該新的主要資料元件之參考資料。
在此所敘述的某些實施例描繪用以創建及維持用於無損減少資料的關鍵字索引之技術及系統的特徵。某些實施例可因子分解輸入資料成為元件之序列，且對於該元件之序列之中的至少一元件，該等實施例可：(1)決定用於該元件的名稱，(2)藉由使用該元件的該名稱以透過資料結構導航而識別一或多個主要資料元件，該資料結構根據主要資料元件的名稱而組織該等主要資料元件，(3)根據該元件及該一或多個主要資料元件而決定重建程式，以致使該元件可藉由施加該重建程式至該一或多個主要資料元件而被重建，(4)使用該一或多個主要資料元件及該重建程式以產生該元件的無損減少表示，(5)儲存該元件的該無損減少表示於儲存位置處。接著，回應於關鍵字係存在於該元件中之決定，該等實施例可(i)創建出鏈路，其使該關鍵字與該儲存位置相關聯，及(ii)儲存該鏈路於該關鍵字索引中。該鏈路可額外地使該關鍵字與該關鍵字在該元件中所發生之偏移相關聯。
某些實施例可隨後接收請求以添加新的關鍵字至該關鍵字索引。回應於接收該請求，該等實施例可至少重建該元件的無損減少表示用以獲得該元件。接著，回應於新的關鍵字係存在於該元件中之決定，該等實施例可(i)創建出鏈路，其使該新的關鍵字與該儲存位置相關聯，及(ii)儲存該鏈路於該關鍵字索引中。該鏈路可額 外地使該新的關鍵字與該新的關鍵字在該元件中所發生之偏移相關聯。
在某些實施例中，該資料結構係樹狀資料結構，其中透過該資料結構導航包含在該樹狀資料結構中遍歷邊緣之序列，其中在該等邊緣之序列中的各邊緣對應名稱的一部分，以及其中被使用以導航至該樹狀資料結構中之節點的該名稱之各部分，對應被植根於該節點處的子樹狀物內之所有主要資料元件中所存在的內容。
在某些實施例中，該無損減少表示包含對該一或多個主要資料元件中之各主要資料元件的參考資料，及該重建程式的說明。在某些實施例中，該重建程式的說明可指明(i)轉變的序列，當其被施加至該一或多個主要資料元件時，產生該元件，(ii)對重建程式儲存器中所儲存之第二重建程式的參考資料，其中該第二重建程式指明轉變的序列，當其被施加至該一或多個主要資料元件時，產生該元件，或(iii)對重建程式儲存器中所儲存之第二重建程式的參考資料，及第三重建程式的說明，當該第三重建程式被施加至該第二重建程式時，導致轉變的序列，而當該轉變的序列被施加至該一或多個主要資料元件時，產生該元件。
某些實施例中可使用該一或多個主要資料元件及該重建程式以如下文地產生該元件的無損減少表示。若(i)對該一或多個主要資料元件之參考資料的尺寸，與(ii)重建程式之說明的尺寸之總和係小於該元件的尺 寸之臨限值部分時，則該等實施例可產生無損減少表示，其包含對該一或多個主要資料元件中之各主要資料元件的參考資料，及該重建程式的說明。反之，若(i)對該一或多個主要資料元件之該等參考資料的該等尺寸，與(ii)該重建程式之該說明的該尺寸之該總和係大於或等於該元件的該尺寸之該臨限值部分時，則該等實施例可在該資料結構中添加該元件做為新的主要資料元件，且產生該元件的無損減少表示，其包含對該新的主要資料元件之參考資料。
在某些實施例中，當重建該元件時，該重建程式必須滿足一組約束，其係根據該關鍵字索引中的關鍵字而被決定，以及其中該關鍵字索引額外地儲存各關鍵字與包含該關鍵字的各主要資料元件之間的關聯。
在此所敘述的某些實施例描繪分佈式系統的特徵，其包含多重電腦，該等電腦保持資料結構之部分，該資料結構根據主要資料元件的名稱而組織該等主要資料元件。在操作期間，第一電腦可因子分解輸入資料成為元件之集。然後，對於該元件之集之中的至少一元件，(1)第一電腦可決定用於該元件的第一名稱，(2)第一電腦可根據該第一名稱而傳送該元件至第二電腦，(3)第二電腦可從第一電腦接收該元件，(4)第二電腦可決定用於該元件的第二名稱，(5)第二電腦可藉由使用該第二名稱以透過該資料結構之一部分導航，而識別一或多個主要資料元件，(6)第二電腦可根據該元件及該一或 多個主要資料元件而決定重建程式，以致使該元件可藉由施加該重建程式至該一或多個主要資料元件而被重建，(7)第二電腦可使用該一或多個主要資料元件及該重建程式以產生該元件的無損減少表示，(8)第二電腦可傳送該元件的該無損減少表示至第一電腦。其次，第一電腦可接收來自第二電腦之該元件的該無損減少表示，且儲存該元件的該無損減少表示於儲存裝置中。在某些實施例中，該第一名稱係該第二名稱的一部分。
在某些實施例中，該資料結構係樹狀資料結構，其中透過該資料結構導航包含在該樹狀資料結構中遍歷邊緣之序列，其中在該等邊緣之序列中的各邊緣對應名稱的一部分，以及其中被使用以導航至該樹狀資料結構中之節點的該名稱之各部分，對應被植根於該節點處的子樹狀物內之所有主要資料元件中所存在的內容。
在某些實施例中，元件的無損減少表示包含(i)對一或多個主要資料元件中之各主要資料元件的參考資料，(ii)重建程式的說明，以及(iii)可被使用以識別用以從元件的無損減少表示重建該元件之電腦的資訊。
在某些實施例中，該重建程式的說明指明以下之其中一者：轉變的序列，當其被施加至該一或多個主要資料元件時，產生該元件；對重建程式儲存器中所儲存之第二重建程式的參考資料，其中該第二重建程式指明轉變的序列，當其被施加至該一或多個主要資料元件時，產 生該元件；或對重建程式儲存器中所儲存之第二重建程式的參考資料，及第三重建程式的說明，當該第三重建程式被施加至該第二重建程式時，導致轉變的序列，而當該轉變的序列被施加至該一或多個主要資料元件時，產生該元件。
在某些實施例中，可被使用以識別用以從元件的無損減少表示重建該元件之電腦的資訊包含以下之其中一者：與第二電腦相關聯之識別符；或與資料結構的部分相關聯之識別符。
在某些實施例中，(1)第一電腦可接收來自儲存裝置之元件的無損減少表示，(2)第一電腦可傳送該元件的無損減少表示至第二電腦，(3)第二電腦可從第一電腦接收該元件的無損減少表示，(4)第二電腦可根據對一或多個主要資料元件的參考資料而擷取該一或多個主要資料元件，(5)第二電腦可藉由施加重建程式至該一或多個主要資料元件而重建該元件，(6)第二電腦可傳送該元件至第一電腦，(7)第一電腦可接收來自第二電腦的該元件。
在某些實施例中，(1)第一電腦可接收搜尋查詢，(2)第一電腦可根據該搜尋查詢而決定第三名稱，(3)第一電腦可根據該第三名稱而傳送該搜尋查詢至第二電腦，(4)第二電腦可從第一電腦接收該搜尋查詢，(5)第二電腦可根據該搜尋查詢而決定第四名稱，(6)第二電腦可藉由根據該第四名稱而透過資料結構之 部分導航，用以獲得搜尋結果，(7)第二電腦可傳送該搜尋結果至第一電腦，(8)第一電腦可接收該搜尋結果。在某些實施例中，該第三名稱係該第四名稱的一部分。
在某些實施例中，該搜尋結果可包含以下之一或多者：(1)在該資料結構中之一或多個節點，(2)與在該資料結構中之一或多個節點相關聯的元資料，(3)主要資料元件之集，(4)該無損減少資料之一或多個部分，(5)該輸入資料之一或多個部分，或(6)沒有匹配結果被發現的通知。
102‧‧‧輸入資料
103,1203‧‧‧資料減少設備
104‧‧‧剖析器及因子分解器
105‧‧‧候選元件
106,1206‧‧‧資料提取篩或主要資料儲存
107,130,305-307‧‧‧主要資料元件
108‧‧‧提取的資料
109‧‧‧擷取請求
110‧‧‧提取器
111‧‧‧擷取器
112‧‧‧重建器
113‧‧‧擷取資料輸出
114‧‧‧更新
115‧‧‧減少資料組件
116‧‧‧重建之資料
119A‧‧‧重建程式
119B‧‧‧對重建程式的參考資料
121,122‧‧‧內容相關映像器
131‧‧‧對主要資料元件的參考資料
132‧‧‧主要重建程式
133‧‧‧對主要重建程式的參考資料
202-222‧‧‧操作
301‧‧‧路徑
302‧‧‧根
303‧‧‧節點
334,336,340,354‧‧‧鏈路
1201‧‧‧輸入檔案
1205,1613‧‧‧提取的檔案
1207‧‧‧映像器
1209‧‧‧樹狀節點檔案
1210‧‧‧葉狀節點檔案
1211‧‧‧PDE檔案
1221,1611‧‧‧輸入資料集
1224‧‧‧輸入資料批量
1226‧‧‧資料批量i
1227‧‧‧無損減少資料集
1228‧‧‧無損減少資料批量i
1609‧‧‧次要維
1610‧‧‧關鍵字
1701‧‧‧內容相關資料擷取引擎
1702‧‧‧查詢
1703‧‧‧結果
1705‧‧‧關鍵字列表
1707‧‧‧反向索引
1709‧‧‧反向參考資料
第1A圖描繪依據在此所敘述的一些實施例之用於資料減少的方法及設備，其因子分解輸入資料成為元件，及自駐存在主要資料篩中之主要資料元件得到該等者。
第1B至1G圖描繪依據在此所敘述的一些實施例之被描繪在第1A圖中的方法及設備之變化例。
第1H圖呈現依據在此所敘述的一些實施例之格式及規格的實例，其描繪提取之資料的結構。
第1I至1P圖描繪輸入資料成為無損減少形式之概念上的轉變，用於第1A至1G圖中所示之用於資料減少的方法及設備之變化例。
第2圖描繪依據在此所敘述的一些實施例之 藉由因子分解輸入資料成為元件，及自駐存在主要資料篩中之主要資料元件取得該等元件之用於資料減少的處理。
第3A、3B、3C、3D及3E圖描繪依據在此所敘述的一些實施例之不同的資料組織系統，其可使用以根據主要資料元件名稱而組織它們。
第3F圖呈現依據在此所敘述的一些實施例之自描述樹狀節點資料結構。
第3G圖呈現依據在此所敘述的一些實施例之自描述葉狀節點資料結構。
第3H圖呈現依據在此所敘述的一些實施例之自描述葉狀節點資料結構，其包含導航先行欄。
第4圖顯示依據在此所敘述的一些實施例之256TB的主要資料可如何以樹狀形式組織之實例，並呈現該樹狀物可如何被佈局在記憶體及儲存器中。
第5A至5C圖描繪資料可如何使用在此所敘述之實施例而被組織的實際例子。
第6A至6C圖顯示依據在此所敘述的一些實施例之樹狀資料結構可如何使用於參照第1A至1C圖所分別敘述的內容相關映像器。
第7A圖提供依據在此所敘述的一些實施例之可在重建程式中被指明的轉變之實例。
第7B圖顯示依據在此所敘述的一些實施例之將從主要資料元件得到的候選元件之結果的實例。
第8A至8E圖描繪依據在此所敘述的一些實 施例之資料減少可如何藉由因子分解輸入資料成為固定尺寸元件，且以參照第3D及3E圖所敘述的樹狀資料結構組織該等元件，而被執行。
第9A至9C圖描繪依據在此所敘述的一些實施例之根據第1C圖中所示系統的資料提取(Data DistillationTM)方案之實例。
第10A圖提供依據在此所敘述的一些實施例之在重建程式中所指明的轉變如何施加至主要資料元件以產生取得物元件之實例。
第10B至10C圖描繪依據在此所敘述的一些實施例之資料擷取處理。
第11A至11G圖描繪依據在此所敘述的一些實施例之包含資料提取(Data DistillationTM)機制(其可使用軟體、硬體、或它們的組合而予以實施)的系統。
第11H圖顯示依據在此所敘述的一些實施例之資料提取(Data DistillationTM)設備可如何與取樣通用型計算平台介面。
第12A至12B圖顯示依據在此所敘述的一些實施例之用於跨越帶寬約束通訊媒體的資料通訊之資料提取(Data DistillationTM)設備的使用。
第12C至12K圖描繪依據在此所敘述的一些實施例之藉由用於各種使用模型的資料提取(Data DistillationTM)設備而產生之減少資料的種種組件。
第12L至12P圖描繪依據在此所敘述的一些 實施例之提取(Distillation)處理可如何被佈署及施行於分佈式系統上，而能以很高的攝取速率適應顯著更大的資料集。
第13至17圖描繪依據在此所敘述的一些實施例之多維搜尋及資料擷取可如何被執行於減少資料上。
以下說明係提出用以使熟習本項技藝之任何人士能做成及使用本發明，且係以特殊應用及其需求之此點提供。對所揭示之實施例的種種修正將立即呈明顯於熟習本項技藝之該等人士，且在此所界定的一般原理可被應用至其他的實施例和應用，而不會背離本發明之精神及範疇。因此，本發明並未受限於所示之該等實施例，且係符合與在此所揭示之原理及特性一致的更寬廣範圍。在此發明中，當片語使用具有實體之組的用語“及/或”時，該片語涵蓋該實體之組的所有可能之組合，除非另有指明。例如，片語“X，Y，及/或Z”將涵蓋以下七種組合：“僅X”，“僅Y”，“僅Z”，“X及Y，但非Z”，“X及Z，但非Y”，“Y及Z，但非X”，以及“X，Y，及Z”。
使用主要資料篩之有效率的資料無損減少
在此處所敘述之一些實施例中，資料被組織及儲存，用以在整個資料集的範圍有效率地全盤揭露和利 用冗餘。輸入資料流係拆散成為被稱作元件的構成片或資料塊，且在元件之中的冗餘係以比元件本身更細的粒狀偵測及利用，藉以降低所儲存之資料的總體足跡。稱作主要資料元件之元件的組係識別且使用為用於資料集之共同及共享的建築塊，以及儲存在被稱作主要資料儲存或主要資料篩的結構中。主要資料元件係單純地某一尺寸之位元、位元組、或數字的序列。主要資料元件可根據實施而成為固定尺寸或可變尺寸的。輸入資料的其他構成元件係取自主要資料元件，且被稱做取得物元件。因此，輸入資料被因子分解成為主要資料元件及取得物元件。
主要資料篩排序及組織主要資料元件，以致使主要資料篩可被以內容相關方式搜尋和存取。鑒於具有一些限制的某些輸入內容，主要資料篩可被查詢以擷取具有該內容的主要資料元件。鑒於輸入元件，主要資料篩可使用該元件的值，或該元件中之某些欄的值搜尋，以快速提供一或小的組之主要資料元件，其中輸入元件可以以用以指明來歷所需的最小儲存自它取得。在一些實施例中，於主要資料篩中之該等元件係以樹狀形式組織。取得物元件係藉由履行轉變於主要資料元件上而自它取得，該轉變係指明於重建程式中，其描述如何自一或多個主要資料元件產生取得物元件。距離臨限值指明取得物元件的儲存足跡之尺寸上的限制。此臨限值指明取得物元件與主要資料元件之最大的可允許距離，且亦置放可被使用以產生取得物元件之重建程式的尺寸上之限制。
取得物資料的擷取可藉由施行重建程式於由該來歷所指明之一或多個主要資料元件，而予以完成。
在此發明中，上述通用型無損資料減少技術可稱作資料提取(Data DistillationTM)處理。它執行與化學中之提取相似的功能---分離混合物成為其構成元素。該主要資料篩亦被稱作篩或資料提取(Data DistillationTM)篩主要資料儲存。
在此方案中，輸入資料流被因子分解成為元件之序列，各元件係主要資料元件或取得自一或多個主要資料元件的取得物元件。各元件被轉變成為無損減少表示，該無損減少表示在主要資料元件之情況中包含對該主要資料元件的參考資料，及在取得物元件之情況中包含對來歷中所包含之一或多個主要資料元件的參考資料，並且包含重建程式的說明。因此，輸入資料流係因子分解成為其係在無損減少表示之中的元件之序列。此元件之序列(出現在無損減少表示之中)被稱作提取資料流或提取資料。在提取資料中的元件之序列具有相對於輸入資料中的元件之序列的一對一對應關係，亦即，在提取資料中的元件之序列中的第n個元件對應輸入資料中的元件之序列中的第n個元件。
在此發明中所敘述之通用型無損資料減少技術接收輸入資料流且將其轉換成為提取資料流及主要資料篩的組合，以致使提取資料流及主要資料篩之足跡的總和常常比輸入資料流的足跡更小。在此發明中，提取資料流 及主要資料篩係統稱為無損減少資料，且亦將可互換地稱作“減少資料流”、或“減少資料”、或“減少之資料”。同樣地，對於由在此發明中所敘述之無損資料減少技術所產生，且以無損減少之格式出現的元件之序列，以下的用語係可互換地使用：“減少輸出資料流”、“減少輸出資料”、“提取資料流”、“提取資料”、及“提取之資料”。
第1A圖描繪依據在此所敘述的一些實施例之用於資料減少的方法及設備，其因子分解輸入資料成為元件，及自駐存在主要資料篩中之主要資料元件取得該等者。此圖式描繪資料減少或資料提取(Data DistillationTM)方法及設備的整體方塊圖，且提供功能性組件、結構、及操作的綜覽。在第1A圖中所描繪的組件及/或操作可使用軟體、硬體、或其組合而予以實現。
位元組之序列係接收自輸入資料流，且呈現為對資料減少設備103(亦稱作資料提取(Data DistillationTM)設備)的輸入資料102。剖析器及因子分解器104剖析該輸入資料且將其拆散成為資料塊或候選元件。該因子分解器決定輸入流之何處應插入分隔符以切片該流成為候選元件。一旦已識別出資料中之兩個接連的分隔符，候選元件105就由剖析器及因子分解器104所產生，且被提交至主要資料篩106(亦稱作資料提取(Data DistillationTM)篩)。
資料提取(Data DistillationTM)篩或主要資 料篩106包含所有的主要資料元件(在第1A圖中被標記為PDE)，並根據它們的值或內容而排列和組織它們。該篩提供用於兩種存取之支援。第一，主要資料元件的各者可經由對其中主要資料元件駐存在該篩中之位置的參考資料，而被直接存取。第二，元件可藉由使用其中可以以軟體、硬體、或其組合實施的內容相關映像器121，而以內容相關方式存取。對篩之此第二形式的存取係重要的特性，該特性係由本發明實施例所使用，用以識別與候選元件105確實匹配的主要資料元件，或用以識別其中候選元件可自其取得的主要資料元件。特別地，鑒於例如，候選元件105的候選元件，主要資料篩106可被搜尋(根據候選元件105的值，或根據在候選元件105中之某些欄的值)，用以快速提供一或小的組之主要資料元件107，其中該候選元件可以以用以指明來歷所需的最小儲存自它取得。
該篩或主要資料篩106可以以其值係散佈在資料空間之範圍的一組主要資料元件而予以初始化。選擇性地，依據在此參照第1A至1C圖及第2圖所敘述之資料提取(Data DistillationTM)處理，篩可清空地開始，且主要資料元件可當攝取資料時被動態地添加至它。
提取器110接收候選元件105及適合於來歷之擷取的主要資料元件107(其係內容相關地擷取自主要資料儲存106)，決定候選元件105是否可取得自該等主要資料元件的一或多者，產生減少資料組件115(包含對 相關聯的主要資料元件和重建程式之參考資料)，以及提供更新114至主要資料篩。若候選元件係擷取的主要資料元件之複製品時，則提取器置放對位在主要資料篩中之主要資料元件的參考資料(或指引符)，及此係主要資料元件的指示符至提取資料108內。若並未發現複製品時，則提取器表示候選元件為被履行於一或多個擷取的主要資料元件上之一或多個轉變的結果，其中轉變之序列係統稱為例如，重建程式119A的重建程式。各來歷可要求將由提取器所建構之其自身獨特的程式。重建程式指明諸如，可被施加至主要資料元件之插入、刪除、置換、級聯、算術、及邏輯操作的轉變。倘若取得物元件的足跡(被計算為重建程式之尺寸加上對所需要之主要資料元件的參考資料之尺寸)係在相對於候選元件之某一特定的距離臨限值之內時(用以致能資料減少)，則候選元件被重制定成取得物元件，且由重建程式及對相關聯的主要資料元件(或元件)之參考資料的組合所置換---在此情況中，該等者形成減少資料組件115。若超出該臨限值時，或假如並無合適的主要資料元件從主要資料篩被擷取出時，則主要資料篩可被指示以安裝該候選者成為新的主要資料元件。在此情況中，提取器置放對新添加之主要資料元件的參考資料，及此係主要資料元件的指示符至提取之資料108內。
用於資料之擷取的請求(例如，擷取請求109)可以以對包含主要資料元件的主要資料篩中之位置的參考資料，或在取得物的情況中，對主要資料元件的該 參考資料及相關聯的重建程式(或在根據多個主要資料元件之取得物的情況中，對該多個主要資料元件的該等參考資料及相關聯的重建程式)之組合的形式。使用對主要資料篩中之主要資料元件的一或多個參考資料，擷取器111可存取主要資料篩以提取一或多個主要資料元件，且提供該一或多個主要資料元件以及重建程式至重建器112，以回應資料擷取請求，該重建器112在該一或多個主要資料元件上施行轉變(被指明於該重建程式中)，用以產生重建之資料116(其係所請求之資料)並回應資料擷取請求而將其交付至擷取資料輸出113。
在此實施例的變化例中，該等主要資料元件可以以壓縮形式被儲存於篩中(使用本項技藝中所已知之技術，包含Huffman編碼及Lempel Ziv法)，且當需要時，則予以解壓縮。此具有減少主要資料篩之整體足跡的優點。唯一的約束在於，內容相關映像器121必須如之前一樣地連續提供內容相關存取至該等主要資料元件。
第1B及1C圖描繪依據在此所敘述的一些實施例之被描繪在第1A圖中的方法及設備之變化例。在第1B圖中，重建程式可予以儲存在主要資料篩中，且可被與主要資料元件相似地處理。對重建程式的參考資料或指引符119B係設置在提取之資料108中，以取代提供重建程式119A之本身。若該重建程式係由其他取得物所共享時，且若對重建程式的參考資料或指引符(加上用以在重建程式與對重建程式的參考資料之間區分所需的任何元資 料)要求比該重建程式之本身更少的儲存空間時，則可獲得進一步的資料減少。
在第1B圖中，重建程式可就像主要資料元件一樣地被處理和存取，且儲存在主要資料篩中做為主要資料元件，而藉以允許從主要資料篩之重建程式的內容相關搜尋和擷取。在用以創建取得物元件之該來歷處理的期間，一旦提取器110決定了用於該來歷所需之重建程式，它就可接著決定此候選重建程式是否係早已存在於主要資料篩中，或此候選重建程式是否可自早已存在於主要資料篩中的另一登錄取得。若該候選重建程式係早已存在於主要資料篩之中時，則提取器110可決定對該預先存在之登錄的參考資料，且可將該參考資料包含在提取之資料108中。若候選重建程式可自早已駐存在主要資料篩之中的現有登錄取得時，則提取器可交付該候選重建程式的取得物和重制訂至提取之資料，亦即，提取器置放對預先存在於主要資料篩中之登錄的參考資料，伴隨增量的重建程式至提取之資料內，該增量的重建程式係從預先存在之登錄取得。若該候選重建程式並未存在於主要資料篩之中，也無法自主要資料篩中的登錄取得時，則提取器110可添加該重建程式至主要資料篩(添加重建程式至篩的操作可回報參考資料至新添加之登錄)，且可將對該重建程式的參考資料包含在提取之資料108中。
第1C圖呈現依據在此所敘述的一些實施例之被描繪在第1B圖中的方法及設備之變化例。特別地，被 使用以儲存及查詢重建程式之第1C圖中的機制係與被使用以儲存及查詢主要資料元件的機制相似，但重建程式係保持在與包含主要資料元件之結構分離的結構(稱為主要重建程式篩)中。在該結構中之登錄係稱作主要重建程式(在第1C圖中被標記為PRP)。回顧一下，主要資料篩106包含內容相關映像器121，其支援快速的內容相關查找操作。在第1C圖中所描繪之實施例包含內容相關映像器122，其係與內容相關映像器121相似。在第1C圖中，內容相關映像器122及內容相關映像器121已被顯示成為主要資料篩或主要資料儲存106的一部分。在其他實施例中，內容相關映像器122及重建程式可被與主要資料篩或主要資料儲存106分離地儲存在被稱作主要重建程式篩的結構中。
在此實施例的變化例中，該等主要資料元件可以以壓縮形式被儲存於篩中(使用本項技藝中所已知之技術，包含Huffman編碼及Lempel Ziv法)，且當需要時，則予以解壓縮。同樣地，主要重建程式可以以壓縮形式被儲存於主要重建程式篩中(使用本項技藝中所已知之技術，包含Huffman編碼及Lempel Ziv法)，且當需要時，則予以解壓縮。此具有減少主要資料篩及主要重建程式篩之整體足跡的優點。唯一的約束在於，內容相關映像器121及122必須如之前一樣地連續提供內容相關存取至該等主要資料元件及主要重建程式。
第1D圖呈現依據在此所敘述的一些實施例之 被描繪在第1A圖中的方法及設備之變化例。特別地，在第1D圖中所敘述的實施例中，主要資料元件被直列地儲存在提取之資料中。主要資料篩或主要資料儲存106持續提供內容相關存取至主要資料元件，且持續邏輯地包含主要資料元件。其保持對提取之資料中所直列設置的主要資料元件之參考資料或鏈接。例如，在第1D圖中，主要資料元件130係直列地設置在提取之資料108中。主要資料篩或主要資料儲存106保持對主要資料元件130的參考資料131。再次地，在此設置中，取得物元件的無損減少表示將包含對所需之主要資料元件的參考資料。在資料擷取期間，擷取器111將自所需之主要資料元件的所設置處提取該所需之主要資料元件。
第1E圖呈現依據在此所敘述的一些實施例之被描繪在第1D圖中的方法及設備之變化例。特別地，在第1E圖之中所敘述的實施例中，就像在第1B圖之中所描繪的設置中，重建程式可自主要重建程式取得，且被指明為增量之重建程式加上對主要重建程式的參考資料。該等主要重建程式有如主要資料元件一樣地被處理，且被邏輯地安裝在主要資料篩之中。再者，在此設置中，主要資料元件和主要重建程式二者係直列地儲存在提取之資料中。主要資料篩或主要資料儲存106持續提供內容相關存取至主要資料元件及主要重建程式，且持續邏輯地包含主要資料元件及主要重建程式，且同時保持對提取之資料中所直列設置它們之處的參考資料或鏈接。例如，在第1E 圖中，主要資料元件130係直列地設置在提取之資料108中。而且，在第1E圖中，主要重建程式132係直列地設置在提取之資料中。主要資料篩或主要資料儲存106保持對主要資料元件130(其係PDE_i)的參考資料131(其係對PDE_i的參考資料)及對主要重建程式132(其係主要重建程式_1)的參考資料133(其係對PDE_j的參考資料)。再次地，在此設置中，取得物元件的無損減少表示將包含對所需之主要資料元件及所需之主要重建程式的參考資料。在資料擷取期間，擷取器111將自對應的提取之資料中所設置它們之處提取該等所需之組件。
第1F圖呈現依據在此所敘述的一些實施例之被描繪在第1E圖中的方法及設備之變化例。特別地，在第1F圖之中所敘述的實施例中，就像在第1C圖之中所描繪的設置中，主要資料篩106包含分離的映像器---用於主要資料元件的內容相關映像器121及用於主要重建程式的內容相關映像器122。
第1G圖呈現被描繪在第1A圖至第1F圖中的方法及設備之更一般性的變化例。特別地，在第1G圖之中所敘述的實施例中，可將主要資料元件設置在主要資料篩之中，或直列地設置在提取之資料中。可將一些主要資料元件設置在主要資料篩之中，且同時將其他者直列地設置在提取之資料中。同樣地，可將主要重建程式設置在主要資料篩之中，或直列地設置在提取之資料中。可將一些主要重建程式設置在主要資料篩之中，且同時將其他者 直列地設置在提取之資料中。主要資料篩邏輯地包含所有的主要資料元件和主要重建程式，且在其中主要資料元件或主要重建程式係直列地設置在提取之資料中的情況中，該主要資料篩裝設對它位置的參考資料。
用於資料減少之因子分解輸入資料成為元件，及自駐存在主要資料篩中的主要資料元件取得該等者之方法和設備的上述說明，僅被呈現以供描繪及說明的目的之用。它們並不打算要變成包羅無遺的，或要限制本發明至所揭示的形式。因而，許多修正和變化將呈明顯於熟習本項技藝之從業者。
第1H圖呈現依據在此所敘述的一些實施例之格式及規格的實例，其描繪用於資料提取處理的方法和設備之第1A至1G圖中的提取之資料119A的結構。因為資料提取處理因子分解輸入資料成為主要資料元件及取得物元件，所以用於資料之無損減少表示的格式識別該等元件且描述提取之資料中的該等元件之各種組件。該自描述格式識別提取之資料中的各元件，指示其是否係主要資料元件或取得物元件，以及描繪該元件的各種組件，亦即，對被安裝在篩中之一或多個主要資料元件的參考資料，對被安裝在主要資料篩中之重建程式的參考資料(如在第1B圖之119B中)或對被儲存在主要重建程式(PRP)篩中之重建程式的參考資料(如在第1C圖之119C中)，及直列的重建程式(RP)。該主要重建程式(PRP)篩亦可被互換地稱作主要重建程式(PRP)儲存。在第1H圖中 之格式具有用以藉由施行重建程式於多個主要資料元件上，而以取得物元件及可各自獨立指明之主要資料元件的尺寸指明來歷之準備。在第1H圖中之格式亦具有用以指明其中主要資料元件係直列地設置在提取之資料中，而非被設置在主要資料篩內之準備。此係由操作碼(Opcode)編碼7所指明，其指明的是，元件的類型係主要資料元件，其係直列地設置在提取之資料中。該提取之資料係使用此格式而被儲存於資料儲存系統中。在此格式中之資料係由資料擷取器111所消耗，以致使資料的各種組件可被提取且被隨後地重建。
第1I至1P圖描繪輸入資料成為無損減少形式之概念上的轉變，用於第1A至1G圖中所示之用於資料減少的方法及設備之變化例。第1I圖描繪輸入資料之流如何被因子分解成為候選元件，且之後，候選元件如何被推定為主要資料元件或取得物元件。最後，資料被轉變成為無損減少形式。第1I至1N圖顯示用於各種實施例之無損減少形式的變化例。
第1I圖及第1J圖顯示由第1A圖中所描繪之方法及設備所產生的資料之無損減少形式的實例。在第1I圖中的無損減少形式包含內容相關映像器，且係致能對現有之主要資料元件的資料之連續進一步之攝取及此資料之減少的形式；另一方面，在第1J圖中的無損減少形式不再保留內容相關映像器，而導致較小的資料足跡。第1K圖及第1L圖顯示由第1C圖中所描繪之方法及設備所產 生的資料之無損減少形式的實例。在第1K圖中的無損減少形式包含內容相關映像器，且係致能對現有之主要資料元件及主要重建程式的資料之連續進一步之攝取及此資料之減少的形式；另一方面，在第1L圖中的無損減少形式不再保留內容相關映像器，而導致較小的資料足跡。
第1M圖至第1N圖顯示由第1F圖中所描繪之方法及設備所產生的資料之無損減少形式的實例，其中主要資料元件及主要重建程式係直列地設置在提取之資料中。在第1M圖中的無損減少形式包含內容相關映像器，且係致能對現有之主要資料元件及主要重建程式的資料之連續進一步之攝取及此資料之減少的形式；另一方面，在第1N圖中的無損減少形式不再保留內容相關映像器，而導致較小的資料足跡。第1O圖及第1P圖顯示由第1G圖中所描繪之方法及設備所產生的資料之無損減少形式的實例，其中主要資料元件及主要重建程式係直列地設置在提取之資料中或在主要資料篩中。在第1O圖中的無損減少形式包含內容相關映像器，且係致能對現有之主要資料元件及主要重建程式的資料之連續進一步之攝取及此資料之減少的形式；另一方面，在第1P圖中的無損減少形式不再保留內容相關映像器，而導致較小的資料足跡。
在第1A至1P圖中所示之實施例的變化例中，減少之資料的各種組件可使用本項技藝中所已知之技術(諸如Huffman編碼，及Lempel Ziv法)而予以進一步減少或壓縮，且以此壓縮形式儲存。該等組件可當它們 需用於資料提取設備中之使用時，被隨後地解壓縮。此具有進一步減少資料之整體足跡的優點。
第2圖描繪依據在此所敘述的一些實施例之藉由因子分解輸入資料成為元件，及自駐存在主要資料篩中之主要資料元件取得該等元件之用於資料減少的處理。當輸入資料到達時，它可被剖析且因子分解或拆散成為一串列的候選元件(操作202)。接著，候選元件係消耗自輸入(操作204)，以及主要資料篩的內容相關查找係根據候選元件的內容而予以履行，用以查明其中可取得該候選元件之任何合適的元件是否存在(操作206)。若主要資料篩並未發現任何該等元件時(操作208之“否”分支)，則該候選元件將被配置及登錄至篩內，做為新的主要資料元件，且在提取之資料中被創造用於該候選元件的登錄將變成對該新創造之主要資料元件的參考資料(操作216)。若主要資料篩的內容相關查找產生其中可潛在地取得該候選元件之一或多個合適的元件時(操作208之“是”分支)，則在所擷取出之主要資料元件上執行分析及計算，用以從它們取得該候選元件。應注意的是，在一些實施例中，僅用於合適之主要資料元件的元資料被首先提取，且分析係執行於該元資料上，而除非被推定有用，合適的主要資料元件才會被隨後提取(在該等實施例中，用於主要資料元件的元資料提供有關該主要資料元件之內容的一些資訊，而藉以允許系統根據該元資料而快速排除匹配或評估可取得性)。在其他實施例中，主要資料篩直 接擷取主要資料元件(亦即，無需在擷取主要資料元件之前，先擷取元資料而分析該元資料)，所以分析及計算係履行於所擷取出的主要資料元件上。
第一檢查係履行用以查明該候選者是否係該等元件之任一者的複製品(操作210)。此檢查可使用任一合適的散列技術而予以加快。若該候選者係與擷取自主要資料篩之主要資料元件相同時(操作210之“是”分支)，則在提取之資料中被創造用於該候選者的登錄係由對此主要資料元件的參考資料，及此登錄係主要資料元件的指示所置換(操作220)。若並未發現到複製品時(操作210之“否”分支)，則根據該候選元件而擷取自主要資料篩之該等登錄被視為其中可潛在地取得該候選元件的登錄。以下係主要資料篩之重要的、新穎的、及非顯而易知的特徵：當複製品並未在主要資料篩之中被發現時，該主要資料篩可回報的是，雖然與候選元件不相同，但主要資料元件係其中候選元件可藉由施加一或多個轉變至該主要資料元件而被潛在地取得的元件。該處理可接著執行分析及計算，用以自最合適的主要資料元件或合適的主要資料元件之組取得候選元件(操作212)。在一些實施例中，來歷表示候選元件為被履行於一或多個主要資料元件上之轉變的結果，該等轉變係統稱為重建程式。各來歷可要求其自身獨特的程式被建構。除了建構重建程式之外，該處理亦可計算距離度量，其一般指示用以儲存候選元件的重制定及自該重制定重建該候選元件所需之儲存資源及 /或計算資源的層次。在一些實施例中，取得物元件的足跡係使用做為候選者與主要資料元件之距離的量度---特別地，距離度量可被界定為重建程式之尺寸加上對該來歷中所包含之一或多個主要資料元件的參考資料之尺寸的總和。具有最短距離的來歷可被選擇。用於此來歷之距離係與距離臨限值相比(操作214)，且若該距離並未超過距離臨限值時，則該來歷被接受(操作214之“是”分支)。為了要產生資料減少，距離臨限值必須一直小於候選元件的尺寸。例如，距離臨限值可被設定為候選元件之尺寸的50%，使得只要來歷的足跡係小於或等於候選元件之尺寸的一半，該來歷就將被接受，而藉以確保其中合適的來歷存在之用於各候選元件之兩倍或更大的減少。該距離臨限值可係根據使用者特定輸入或由系統所選擇的預定百分比或分數。該距離臨限值可根據系統的靜態或動態參數，而由系統所決定。一旦該來歷被接受，候選元件就由重建程式及對一或多個主要資料元件的參考資料之組合所重制定及置換。在提取之資料中被創造用於該候選元件的登錄係由該來歷所置換，亦即，它係由此係取得物元件的指示，伴隨有重建程式加上對包含在該來歷中之一或多個主要資料元件的參考資料所置換(操作218)。另一方面，若用於最佳來歷之距離超過距離臨限值時(操作214之“否”分支)，則沒有可能的取得物將被接受。在該情況中，該候選元件可被配置及登錄至篩內，做為新的主要資料元件，且在提取之資料中被創造用於該候選元件的登 錄將變成對該新創造之主要資料元件的參考資料，而伴隨有此係取得物元件的指示(操作216)。
最後，該處理可檢查是否有任何額外的候選元件(操作222)，且若具有更多的候選元件時，則回到操作204(操作222之“是”分支)，或若沒有更多的候選元件時，則終止該處理(操作222之“否”分支)。
種種方法可被採用以履行第2圖中之操作202，亦即，剖析輸入資料且將其拆散成為候選元件。因子分解演算需決定位元組流中之何處應插入分隔符以切片該流成為候選元件。可能的技術包含(但未受限於)拆散該流成為固定尺寸區塊(諸如4096位元組的網頁)，或施加指紋圖譜之方法(諸如施加隨機的質多項式至輸入流的子字符串)用以在資料流中設置合適的指紋圖譜而變成元件的邊界(此技術可導致可變尺寸元件)，或剖析該輸入以偵測標頭或某些預宣告結構並根據此結構而描繪元件。該輸入可被剖析以偵測透過輪廓所宣告的某一結構。該輸入可被剖析以偵測資料中之預宣告圖案、語法、或正規表示的存在。一旦已識別出資料中之兩個接連的分隔符，候選元件就被產生(該候選元件係設置在兩個接連的分隔符之間的資料)，且被提交至主要資料篩，以供內容相關查找之用。若創造出可變尺寸元件時，則候選元件的長度需被指明及登載為伴隨有候選元件之元資料。
主要資料篩之一重要功能在於根據所提交至它的候選元件而提供內容相關查找，且快速提供一或小的 組之主要資料元件，其中候選元件可以以用以指明來歷所需的最小儲存自它取得。此係給定大的資料集之一大難題。鑒於甚至具有千個位元組尺寸之元件的萬億個位元組之資料，存在有數十億個元件要自該資料搜尋及選擇。在更大的資料集上，該問題甚至更為嚴重。為了要能快速提供小的組之合適的主要資料元件，使用合適的技術以組織及排列該等元件，且接著，在該等元件的該組織內偵測相似性及可取得性，就變得重要。
在篩中之登錄可根據各元件(亦即，主要資料元件)的值而被排列，以致使所有的登錄可藉由值而以上升或下降的順序配置。選擇性地，它們可沿著其係根據元件中之某些欄的值之主軸，其次藉由使用該元件之內容的剩餘部分之下屬軸，而被排列。在此情況中，欄係來自元件的內容之一組相連的位元組。欄可藉由對元件的內容施加指紋圖譜之方法而予以設置，以致使指紋的位置識別欄的位置。選擇性地，在元件的內容之內的某些固定之偏移量可被選擇以設置欄。其他的方法亦可被採用以設置欄，包含但不受限於剖析元件以偵測某一宣告的結構並在該結構之內設置欄。
在組織的又另一形式中，在元件內的某些欄或欄的組合可被視為維，以致使該等維隨後之各元件的內容之剩餘部分的級聯可被使用以排列和組織資料元件。大體上，在欄與維之間的對應關係或映像可係任意地複雜。例如，在某些實施例中，正好一欄可映像至正好一維。在 其他實施例中，例如，F1、F2、及F3之多個欄的組合可映像至維。欄的組合可藉由級聯兩個欄，或藉由施加任何其他合適的功能至它們而予以達成。重要的需求在於，被使用以組織元件之元件的欄、維，及內容剩餘部分的配置必須使所有的主要資料元件變成能由它們的內容所唯一識別，且能在篩中被排列。
在一些實施例中，元件的內容可被表示成如下之表達式：元件=Head.*sig1.*sig2.*...sigI.*...sigN.*Tail，其中“標頭(Head)”係包含元件之前導位元組的位元組序列，“尾部(Tail)”係包含元件之結束位元組的位元組序列，以及“sig1”、“sig2”、“sigI”、及“sigN”係賦予元件特徵之元件內容本體內的某些長度之位元組的種種簽名、或圖案、或正規表示、或序列。在各種簽名之間的“*”表示係通配符表示，其係允許除了在“*”表示之後的簽名外之任何數目的任何值之插入位元組的正規表達符號。在一些實施例中，N元組(sig1,sig2,...sigI,...sigN)係稱作元件的骨幹資料結構或骨架，且可被視為元件之減少的及根本的子集或本質。在其他的實施例中，(N+2)元組(Head,sig1,sig2,...sigI,...sigN,Tail)被稱作元件的骨幹資料結構或骨架。選擇性地，可採用N+1元組，其包含Head或Tail，而伴隨有該等簽名的剩餘部分。
可將指紋圖譜之方法施加至元件的內容，用以決定該元件內容之內的骨幹資料結構之各種組件(或簽 名)的位置。選擇性地，在元件的內容之內的某些固定之偏移量可被選擇以設置組件。其他的方法亦可被採用以設置骨幹資料結構之組件，包含但不限於剖析元件以偵測某一宣告的結構並在該結構之內設置組件。主要資料元件可根據骨幹資料結構而在篩中被排列。換言之，元件的骨幹資料結構之各種組件可被視為維，以致使該等維隨後之各元件的內容之剩餘部分的級聯可被使用以在篩中排列和組織主要資料元件。
一些實施例因子分解輸入資料成為候選元件，其中各候選元件的尺寸係實質大於用以存取全盤資料集之中的所有該等元件所需之參考資料的尺寸。關於被拆散成為該等資料塊之資料(且其將以內容相關方式存取)的一意見在於，相對於資料塊可指明之全部可能的值，實際資料係非常稀疏的。例如，考慮1千萬億兆個位元組的資料集。用以定址該資料集中之每個位元組大約需要70個位元。就一個尺寸為128個位元組(1024個位元)的資料塊而言，在1千萬億兆個位元組的資料集中，約具有263個資料塊，以致需要63個位元以定址所有該等資料塊。應注意的是，1024個位元的元件或資料塊可具有21024個可能的值之一者，而在資料集中之給定資料塊的實際值之數目係最大263(若所有該等資料塊係不同時)。此指示的是，相對於可由元件之內容所達到或命名的值之數目，實際資料係極稀疏。此致能樹狀結構的使用，該樹狀結構係非常適合於以可致能有效率之內容為主查找的方 式組織非常稀疏之資料，允許新的元件被有效率地添加至該樹狀結構，以及就用於該樹狀結構本身所需之增量的儲存而言，係經濟有效的。雖然在1千萬億兆個位元組的資料集之中僅具有263個資料塊，因而僅需要63個不同位元的資訊以告訴它們分開，但相關聯之不同的位元可能散佈在元件之整個的1024個位元之範圍，且發生在各元件之不同位置處。因此，僅從內容檢驗固定的63個位元係不夠的，反而是，元件的整個內容需參與該等元件的排序，特別地，需參與其中對資料集中之任何及每個元件提供真正內容相關存取的解決方案。在資料提取(Data DistillationTM)架構中，能在被使用以排列及組織資料的架構內偵測出可取得性係所欲的。應謹記所有上述，根據內容的樹狀結構(當檢驗更多的內容時，其逐步區分資料)係用以排列及區分所因子分解之資料集中的所有元件之合適組織。該結構提供許多中間層次的子樹狀物，其可被處理成可取得元件之組群或具有相似性質之可取得性的元件之組群。該結構可以以顯示各子樹狀物之特徵的元資料，或以顯示資料的各元件之特徵的元資料階層地增加。該結構可有效地連繫其所包含之整個資料的組成，包含資料中之實際值的密度、鄰近度、及分佈。
一些實施例以樹狀形式組織篩中的主要資料元件。各主要資料元件具有不同“名稱”，其係由該主要資料元件的整個內容所建構。此名稱係設計成為足以唯一地識別該主要資料元件，且相對於樹狀物中的所有其他元 件而區分它。有其中該名稱可由主要資料元件之內容所建構的若干方式。該名稱可單純地包含主要資料元件的所有位元組，而該等位元組以與它們在主要資料元件中所存在的相同順序呈現在該名稱中。在另一實施例中，被稱作維的某些欄或欄的組合(其中欄和維係如稍早所敘述的)係使用以形成名稱的前導位元組，而主要資料元件之內容的剩餘部分則形成名稱的剩餘部分，以致使主要資料元件的整個內容參與而創造出元件之完整且唯一的名稱。在又另一實施例中，元件之骨幹資料結構的欄被選擇做為維(其中欄和維係如稍早所敘述的)，且被使用以形成名稱的前導位元組，而主要資料元件之內容的剩餘部分則形成名稱的剩餘部分，以致使主要資料元件的整個內容參與而創造出元件之完整且唯一的名稱。
各主要資料元件的名稱係使用以在樹狀物中排列及組織主要資料元件。對於最實際的資料組，即使在尺寸上係非常大之該等者(諸如1千萬億兆個位元組，包含比如說，4KB尺寸的258個元件)，所期望的是，名稱的該等位元組之小的子集將時常用以排序及排列樹狀物中之大部分的主要資料元件。
第3A、3B、3C、3D及3E圖描繪依據在此所敘述的一些實施例之不同的資料組織系統，其可使用以根據主要資料元件名稱而組織它們。
第3A圖顯示線索資料結構，其中主要資料元件係根據來自各主要資料元件的名稱之連續位元組的值， 而被組織成為逐步更小的組群。在第3A圖中所示的實例中，各主要資料元件具有不同的名稱，其係由主要資料元件之整個內容所建構，且此名稱單純地包含主要資料元件的所有位元組，而該等位元組以與它們在主要資料元件中所存在的相同順序呈現在該名稱中。該線索之根節點表示所有的主要資料元件。該線索之其他節點表示主要資料元件的子集或組群。從線索的根節點或第一層次開始(在第3A圖中被標記為根302)，主要資料元件係根據它們名稱之最高有效位元組的值而被組群成為子樹狀物(在第3A圖中被標記為N1)。在它們名稱之最高有效位元組中具有相同值的所有主要資料元件將被一起組群成為共同子樹狀物，且由該值所表示之鏈路將存在於自根節點至表示該子樹狀物的節點。例如，在第3A圖中，節點303表示主要資料元件的子樹狀物或組群，其各在它們個別名稱之它們的最高有效位元組N1中具有相同的值2。在第3A圖中，此組群包含主要資料元件305、306、及307。
在線索的第二層次，各主要資料元件之名稱的第二高有效位元組係使用以進一步劃分該主要資料元件之各組群成為更小的子組群。例如，在第3A圖中，由節點303所表示之主要資料元件的組群係使用第二高有效位元組N2，而被進一步劃分成為子組群。節點304表示主要資料元件的子組群，其在它們的最高有效位元組N1中具有值2，且亦在它們個別名稱之它們的第二高有效位元組N2中具有值1。此組群包含主要資料元件305及306。
子劃分繼續在該線索的各層次處處理，而創造出從父節點到各子節點的鏈路，其中子節點代表由父節點所表示之主要資料元件的子集。此處理持續著，直到該線索的葉狀物處僅具有個別的主要資料元件為止。葉狀節點表示葉的組群。在第3A圖中，節點304係由葉狀節點。節點304所表示之主要資料元件的組群包含主要資料元件305及306。在第3A圖中，此組群係使用它們名稱之第三高有效位元組，而被進一步劃分成為個別的主要資料元件305及306。N3=3的值導致主要資料元件305，而N3=5的值導致主要資料元件306。在此實例中，在它們整個名稱中，僅3個有效位元組就足以完全地識別主要資料元件305及306。同樣地，僅從名稱的兩個有效位元組就足以識別主要資料元件307。
此實例描繪僅只名稱之位元組的子集如何在給定混合的主要資料元件中用以識別樹狀物中之主要資料元件，且整個名稱並不需要到達單獨的主要資料元件。再者，主要資料元件或主要資料元件的組群可各自要求不同數目的位元組，以便能獨特地識別它們。因此，自根節點至主要資料元件之線索的深度可自一主要資料元件變化至另一者。而且，各節點可具有下降至底下之子樹狀物的不同數目之鏈路。
在該線索中，各節點具有名稱，其包含指明如何到達此節點之位元組的序列。例如，用於節點304的名稱係“21”。而且，來自元件的名稱之其唯一識別樹狀 物中的元件之目前分佈中的元件之位元組的子集係，從根節點到此主要資料元件的“路徑”。例如，在第3A圖中，具有213之值的路徑301識別主要資料元件305。
在此所敘述之線索結構可創造出深厚的樹狀物(亦即，具有許多層次的樹狀物)，因為在樹狀物中的元件名稱之每個不同的位元組將添加一層次之深度至該線索。
應注意的是，在第3A至3E圖中之樹狀資料結構已從左邊予以繪製到右邊。因此，當我們從圖式的左側移動到圖式的右側時，我們將從樹狀物的高層次移動到樹狀物的低層次。在給定的節點底下(亦即，朝向第3A至3E圖中之給定節點的右邊)，對於藉由來自名稱之不同位元組的確定值而被選擇的任何子節點，駐存在該子節點底下之子樹狀物中的所有元件將在元件名稱中之該對應位元組中具有相同的值。
我們現在敘述當給定輸入候選元件時之用於線索結構的內容相關查找之方法。此方法包含使用候選元件的名稱之線索結構的導航，其次藉由隨後的分析和篩查以決定應回報何者做為整體之內容相關查找的結果。換言之，線索導航處理回報第一輸出，且然後，分析和篩查被執行於該輸出上，而決定整體之內容相關查找的結果。
在開始該線索導航處理中，來自候選元件的名稱之最高有效位元組的值將被使用以選擇從根節點到隨後之節點的鏈路(由該值所表示)，該隨後之節點表示在 該等主要資料元件之名稱的最高有效位元組中具有該相同值之主要資料元件的子樹狀物。自此節點出發，來自候選元件的名稱之第二位元組被檢驗，且由該值所表示的鏈路被選擇，而藉以推動更深(或更下方)一層次至該線索之內，且選擇更小之子組群的主要資料元件，該更小之子組群的主要資料元件目前與該候選元件共有著來自名稱之至少兩個有效位元組。此處理持續著，直至到達單一的主要資料元件，或直到並無鏈路匹配於來自候選元件的名稱之對應位元組的值為止。在該等情形的任一者之下，樹狀導航處理終止。若到達單一的主要資料元件時，則可將其回報當做線索導航處理的輸出。若並未到達時，則一選擇例係報告“失敗”。另一選擇例係回報多個主要資料元件，而該多個主要資料元件係在被植根於其中該導航終止之節點處的子樹狀物中。
一旦該線索導航處理已終止，其他的準則及要求就可被使用以分析和篩查該線索導航處理的輸出，而決定應回報何者做為該內容相關查找的結果。例如，當單一主要資料元件或多個主要資料元件係由線索導航處理所回報時，則可具有額外的要求，其中在給予將被回報做為該內容相關查找的結果之資格前，它們與該候選元件的名稱共享某一最小數量的位元組(否則，該內容相關查找回報失敗)。篩查要求的另一實例可係其中，若該線索導航處理終止而未到達單一的主要資料元件，以致使多個主要資料元件(被植根於其中該線索導航終止之節點處)被回 報做為線索導航處理的輸出時，則除非該等元件的數量小於某一特定的限制值，該等多個主要資料元件才將被給予回報做為該內容相關查找的結果之資格(否則，該內容相關查找回報失敗)。多個要求的組合可被採用以決定內容相關查找的結果。在此方式中，查找處理將報告“失敗”或回報單一主要資料元件，或者若非單一的主要資料元件時，則主要資料元件之組可能成為用以取得該候選元件之好的起點。
下文所描述的第3B至3E圖有關第3A圖中所描繪之樹狀資料結構的變化例和修正例。雖然該等變化例提供凌駕於第3A圖中所描繪之線索資料結構的增進及優點，但用以導航該資料結構的處理係與上文參照第3A圖所敘述的處理相似。也就是說，在用於第3B至3E圖中所示之樹狀資料結構的導航終止，且隨後的分析和篩查被執行以決定整體之內容相關查找的結果之後，整個處理回報失敗、單一的主要資料元件、或可能成為用以取得該候選元件之好的起點之主要資料元件的組。
第3B圖描繪另一資料組織系統，其可被使用以根據主要資料元件的名稱而組織它們。在第3B圖中所示的實例中，各主要資料元件具有不同的名稱，其係由主要資料元件之整個內容所建構，且此名稱單純地包含主要資料元件的所有位元組，而該等位元組以與它們在主要資料元件中所存在的相同順序呈現在該名稱中。第3B圖顯示更精緻的結構，其中單一鏈路採用來自主要資料元件之 名稱的多個位元組(而非第3A圖中之線索中所使用的單一位元組)於下面的子樹狀物中，而創造出子劃分或下一層次的組群。從父節點到子節點的鏈路現在係由多個位元組所表示。進一步地，從任一給定的父節點起，各鏈路可採用不同數目的位元組，用以區分及識別與該鏈路相關聯的子樹狀物。例如，在第3B圖中，從根節點到節點308的鏈路係藉由來自名稱的4個位元組(N1N2N3N4=9845)而予以區分，且同時，從根節點到節點309的鏈路係由來自名稱的3個位元組(N1N2N3=347)所區分。
應注意的是，在樹狀導航之期間(使用來自給定之候選元件的內容)，一旦到達樹狀物中之任一父節點，該樹狀導航處理就需確保的是，來自候選元件之名稱的足夠位元組被檢驗，以便明白地決定要選擇那一個鏈路。為了要選擇給定的鏈路，來自候選元件之名稱的該等位元組必須與對該特殊鏈路之躍遷所指示的所有位元組匹配。再說一次地，在該樹狀物中，樹狀物的各節點具有名稱，其包含位元組之序列，用以指明如何到達此節點。例如，節點309的名稱可係“347”，因為它代表具有其名稱之3個前導位元組為347的主要資料元件之組群(例如，元件311及312)。在使用具有名稱之前導3個位元組為347的候選元件之樹狀查找時，此資料圖案致使樹狀導航處理到達節點309，如第3B圖中所示。再說一次地，來自元件的名稱之其唯一識別樹狀物中的元件之目前分佈中的元件之位元組的子集係，從根節點到此主要資料 元件的“路徑”。例如，在第3B圖中，位元組的序列3475導致主要資料元件312，且在該實例中所示之混合的主要資料元件中唯一地識別主要資料元件312。
對於多樣性和稀疏的資料，在第3B圖中的樹狀結構可提供比第3A圖的線索結構更多的彈性和緊密。
第3C圖描繪另一資料組織系統，其可被使用以根據主要資料元件的名稱而組織它們。在第3C圖中所示的實例中，各主要資料元件具有不同的名稱，其係由主要資料元件之整個內容所建構，且此名稱單純地包含主要資料元件的所有位元組，而該等位元組以與它們在主要資料元件中所存在的相同順序呈現在該名稱中。第3C圖顯示另一變化例(對第3B圖中所描述的組織)，其藉由使用正規表示(其中必要且/或有用)，以指明來自主要資料元件的名稱之導致各種鏈路的值，而使樹狀物或子樹狀物中的組群元件進一步緊密化。該正規表示的使用允許在相同的子樹狀物下之對應位元組上，所共享相同表示之元件的有效率組群；此可接著由子樹狀物內之不同主要資料元件的更多局部之澄清所跟隨。而且，該正規表示的使用允許更緊密之方式以描述用以映像元件至底下任一子樹狀物所需之位元組的值。此進一步降低用以指明樹狀物所需之位元組的數目。例如，正規表示318指明28個連續“F”的圖案；若在樹狀導航的期間跟隨著此鏈路，則可到達元件314，其包含具有按正規表示318之28個連續“F”的圖案320。同樣地，到達元件316的路徑具有鏈 路或分支，其使用指明具有16個連續“0”之圖案的正規表示。對於該樹狀物，樹狀導航處理需偵測和執行該等正規表示，以便決定要選擇那一個鏈路。
第3D圖描繪另一資料組織系統，其可被使用以根據主要資料元件的名稱而組織它們。在第3D圖中所示的實例中，各主要資料元件具有不同的名稱，其係由主要資料元件之整個內容所建構。指紋圖譜之方法係施加至各元件，用以識別其中包含評估為選定指紋圖譜之欄的位置。在元件中所發現的第一指紋圖譜之位置處的欄係視為維，且來自此欄之某一數目的位元組(比方說，x個位元組，其中x係顯著地小於該元件中之位元組的數目)被提取及使用做為元件之名稱的前導位元組，而名稱之位元組的剩餘部分包含主要資料元件之位元組的剩餘部分，並以它們在主要資料元件中所存在之相同的循環順序呈現。此名稱係使用以在樹狀物中組織主要資料元件。在此實例中，當在元件中並未偵測出指紋圖譜時，則名稱係藉由單純地使用元件的所有位元組而以其中它們在元件中所存在的順序制定。個別的子樹狀物(由並未發現指紋圖譜的指示所表示)根據元件之它們的名稱而保持和組織所有該等元件。
例如，如第3D圖中所示，指紋圖譜技術可被施加至元件338(其包含t個位元組的資料，亦即，B1B2B3...Bt)，用以在位元組Bi+1獲得指紋圖譜位置“指紋圖譜1”，而識別將被選定為“維1”的欄。接著，從 “指紋圖譜1”所識別之位置起的x個位元組可被提取以形成“維1”，且該等x個位元組可被使用做為第3D圖中之各元件的名稱之前導位元組N1N2...Nx。之後，來自元件338之剩餘部分的t-x個位元組(自Bi+x+1開始，且稍後繞回至B1B2B3...Bi)被級聯及使用做為名稱之剩餘部分的位元組Nx+1Nx+2...Nt。當在元件中並未發現指紋圖譜時，則名稱N1N2...Nt係單純地來自元件338的B1B2B3...Bt。主要資料元件係使用它們的名稱而在樹狀物中被排序和組織。例如，主要資料元件(PDE)330係在使用路徑13654...06而遍歷樹狀物的兩層次之後識別及到達，其中該等位元組13654...0係N1N2...Nx，其係來自維1的位元組。沿著鏈路334而由根所到達之節點335處的個別子樹狀物(由並未發現指紋圖譜的指示所表示)，保持及組織其內容並未評估為選定指紋圖譜的所有主要資料元件。因此，在此組織中，例如，鏈路336之某些鏈路可使用其包含以與元件中相同之順序所呈現的元件之位元組的名稱，以組織元件，而例如，鏈路340之其他鏈路可使用其係使用指紋圖譜而被制定的名稱，以組織元件。
在接收到候選元件時，處理施加上述相同之技術以決定該候選元件的名稱，且使用此名稱而導航樹狀物，以供內容相關查找之用。因此，相同且一致的處理被施加至主要資料元件(在將它們安裝至樹狀物之內時)，及至候選元件(在從剖析器及因子分解器接收到它們時)，以便創造出它們的名稱。樹狀導航處理使用候選元 件的名稱以導航樹狀物。在此實施例中，若在候選元件中並未發現指紋圖譜時，該樹狀導航處理向下導航至子樹狀物，其中該子樹狀物組織及包含其內容並未評估為指紋圖譜的主要資料元件。
第3E圖描繪另一資料組織系統，其可被使用以根據主要資料元件的名稱而組織它們。在第3E圖中所示的實例中，各主要資料元件具有不同的名稱，其係由主要資料元件之整個內容所建構。指紋圖譜之方法係施加至各元件，用以識別其中包含評估為兩個指紋圖譜之任一者的內容之欄的位置。在元件中之第一指紋圖譜(在第3E圖中之指紋圖譜1)的第一出現之位置處的欄係視為第一維(維1)，以及設置在第二指紋圖譜(在第3E圖中之指紋圖譜2)的第一出現處的欄係視為第二維(維2)。用以尋找兩個不同指紋圖譜之指紋圖譜的使用導致四種可能的設想情況：(1)該兩個指紋圖譜均在元件中被發現；(2)指紋圖譜1被發現，但指紋圖譜2並未被發現；(3)指紋圖譜2被發現，但指紋圖譜1並未被發現；以及(4)沒有指紋圖譜被發現。主要資料元件可被組群成為對應該等設想情況之各者的四個子樹狀物。在第3E圖中，“FP1”表示指紋圖譜1之存在，“FP2”表示指紋圖譜2之存在，“~FP1”表示指紋圖譜1之缺席，以及“~FP2”表示指紋圖譜2之缺席。
對於該四種設想情況之各者，元件的名稱係如下地創造出：(1)當該兩個指紋圖譜均被發現時，從 “指紋圖譜1”所識別之位置起的x個位元組可被提取以形成“維1”，且從“指紋圖譜2”所識別之位置起的y個位元組可被提取以形成“維2”，以及該等x+y個位元組可被使用做為第3E圖中之各該元件的名稱之前導位元組N1N2...Nx+y。之後，來自元件348之剩餘部分的t-(x+y)個位元組係以循環方式提取(在從第一維的該等位元組之後開始)，且被級聯及使用做為名稱之剩餘部分的位元組Nx+y+1Nx+y+2...Nt。(2)當非指紋圖譜2，而是指紋圖譜1被發現時，從“指紋圖譜1”所識別之位置起的x個位元組可被提取以形成前導維，且該等x個位元組可被使用做為各該元件的名稱之前導位元組N1N2...Nx。之後，來自元件348之剩餘部分的t-x個位元組(自Bi+x+1開始，且稍後繞回至B1 B2 B3...Bi)被級聯及使用做為名稱之剩餘部分的位元組Nx+1Nx+2...Nt。(3)當非指紋圖譜1，而是指紋圖譜2被發現時，從“指紋圖譜2”所識別之位置起的y個位元組可被提取以形成前導維，且該等y個位元組可被使用做為各該元件的名稱之前導位元組N1N2...Ny。之後，來自元件348之剩餘部分的t-個位元組(自Bj+x+1開始，且稍後繞回至B1B2B3...Bj)被級聯及使用做為名稱之剩餘部分的位元組Ny+1Ny+2...Nt。(4)當在元件中並未發現指紋圖譜時，則名稱N1N2...Nt係單純地來自元件348的B1B2B3...Bt。因此，個別的子樹狀物存在以供該等四種設想情況之用。用以提取用於元件348之名稱(N1N2N3...Nt)的處理可針對該四種設想情況而被 概述如下：
(1)指紋圖譜1及指紋圖譜2二者均被發現：N1-Nx←Bi+1-Bi+x=來自維1之x個位元組
Nx+1-Nx+y←Bj+1-Bj+y=來自維2之y個位元組
Nx+y+1...Nt=剩餘部分的位元組(來自尺寸t個位元組之候選元件)=Bi+x+1Bi+x+2Bi+x+3...BjBj+y+1Bj+y+2Bj+y+3...BtB1B2B3...Bi
(2)指紋圖譜1被發現，但指紋圖譜2並未被發現：N1-Nx←Bi+1-Bi+x=來自維1之x個位元組
Nx+1...Nt=剩餘部分的位元組(來自尺寸t個位元組之候選元件)=Bi+x+1Bi+x+2Bi+x+3...BtB1B2B3...Bi
(3)指紋圖譜2被發現，但指紋圖譜1並未被發現：N1-Ny←Bj+1-Bj+y=來自維2之y個位元組
Ny+1...Nt=剩餘部分的位元組(來自尺寸t個位元組之候選元件)=Bj+y+1Bj+y+2Bj+y+3...BtB1B2B3...Bj
(4)沒有指紋圖譜被發現
N1-Nx←B1-Bt
在接收到候選元件時，處理施加上述相同之技術以決定該候選元件的名稱。在此實施例中，上述名稱結構的4個方法(根據指紋圖譜1及指紋圖譜2是否被發現)係施加至候選元件，正如當它們進入至篩之中時，它們係用於主要資料元件。因此，相同且一致的處理被施加 至主要資料元件(在將它們安裝至樹狀物之內時)，及至候選元件(在從剖析及因子分解器接收到它們時)，以便創造出它們的名稱。樹狀導航處理使用候選元件的名稱而導航樹狀物，以供內容相關查找之用。
若內容相關查找成功時，則將在特定維之位置處產生具有與候選元件相同圖案的主要資料元件。例如，若在候選元件中發現該等指紋圖譜二者時，則該樹狀導航處理將從根節點開始而向下到樹狀物之鏈路354。若候選元件具有圖案“99...3”做為‘維1”以及圖案“7...5”做為‘維2”時，該樹狀導航處理將到達節點334。此到達包含兩個主要資料元件(PDE352及PDE353)的子樹狀物，該兩個主要資料元件可能係用於來歷之目標。額外的分析及篩查係執行(藉由首先檢驗元資料，且視需要地，藉由隨後提取及檢驗實際的主要資料元件)，用以決定那一個主要資料元件係最佳地適用於該來歷。因而，在此所敘述之實施例將識別可被使用於篩中的各種樹狀結構。該等結構或其變化例的組合可被採用以組織該等主要資料元件。某些實施例以樹狀形式組織該等主要資料元件，其中元件的整個內容係使用做為該元件的名稱。惟，其中位元組呈現在元件的名稱中之序列無需一定要是其中該等位元組出現在該元件之中的序列。元件的某些欄係提取做為維且被使用以形成名稱的前導位元組，以及元件之剩餘部分的位元組則補足名稱的剩餘部分。使用該等名稱，該等元件可以以樹狀形式排列於篩中。名稱 的前導數字係使用以區分樹狀物之較高的分支(或鏈路)，以及剩餘部分的數字則被使用以逐步地區分該樹狀物的所有分支(或鏈路)。樹狀物的各節點可具有從該節點所發出之不同數目的鏈路。而且，來自節點之各鏈路可藉由不同數目的位元組而予以區分和表示，以及該等位元組之說明可透過用以表達它們的規格之正規表示及其他有力方式的使用而被完成。所有該等特徵導致緊密的樹狀結構。在樹狀物的葉狀節點處駐存著對個別之主要資料元件的參考資料。
在一實施例中，指紋圖譜的方法可被施加至包含主要資料元件的位元組。駐存在由指紋圖譜所識別之位置處的若干位元組可被使用以組成元件名稱的組件。一或多個組件可結合以提供維。多個指紋圖譜可被使用以識別多個維。該等維係級聯且使用做為元件之名稱的前導位元組，而元件之剩餘部分的位元組構成元件之剩餘部分的名稱。因為該等維係設置在由指紋圖譜所識別之位置處，所以可增加名稱將由來自各元件之一致內容所形成的可能性。在由指紋圖譜所設置的欄處具有相同值之內容的元件，將沿著樹狀物之相同的腿而被組群在一起。在此方式中，相似的元件將在樹狀資料結構中被組群在一起。在它們之中所發現之不具有指紋圖譜的元件可使用它們名稱之替代的制定，而被一起組群在個別的子樹狀物中。
在一實施例中，指紋圖譜的方法可被施加至元件之內容，用以決定元件之內容內的骨幹資料結構(如 稍早所敘述)之各種組件(或簽名)的位置。選擇性地，在元件之內容內之某些固定的偏移可被選擇以設置組件。其他的方法亦可被採用以設置元件之骨幹資料結構的組件，包含但未受限於，剖析元件以偵測出某一宣告的結構，且設置組件於該結構之內。元件之骨幹資料結構的各種組件可被視為維，以致使各元件之剩餘部分的內容所跟隨之該等維的級聯被使用以創造出各元件的名稱。該名稱係使用以在樹狀物中排列及組織該等主要資料元件。
在另一實施例中，元件被剖析以便偵測出元件中的某一結構。在此結構中之某些欄係識別做為維。多個該等維係級聯且使用做為名稱的前導位元組，而元件之剩餘部分的位元組構成元件之剩餘部分的名稱。因為該等維係設置在藉由剖析元件及偵測其結構而予以識別的位置處，所以可增加名稱將由來自各元件之一致內容所形成的可能性。在藉由該剖析而予以設置的欄處具有相同值之內容的元件，將沿著樹狀物之相同的腿而被組群在一起。在此方式中，相似的元件將在樹狀資料結構中被組群在一起。
在某些實施例中，在樹狀資料結構中的各節點包含自描述規格。樹狀節點具有一或多個子。各子登錄包含在對該子之鏈路上的不同位元組上的資訊，及對該子節點的參考資料。子節點可係樹狀節點或葉狀節點。第3F圖呈現依據在此所敘述的一些實施例之自描述樹狀節點資料結構。在第3F圖中所示的樹狀節點資料結構指明 (A)有關從根節點到此樹狀節點之路徑的資訊，包含所有以下之組件，或以下之組件的子集：用以到達此樹狀節點之來自名稱的實際位元組序列，用以從根節點到達此節點所消耗之名稱的位元組數目，所消耗之此位元組數目是否大於某一預指明臨限值的指示，以及描述對此節點的路徑，且有用於樹狀物之內容相關搜尋及有用於關於樹狀物之結構的決定之其他的元資料；(B)該節點所具有的子數目；(C)對於各子(其中各子對應樹狀物的分支)，將指明(1)子ID，(2)來自名稱以後的位元組所需之不同位元組的數目，以便向下躍遷至樹狀物之此鏈路，(3)用以記下此鏈路之來自名稱的位元組之實際值的規格，以及(4)對該子節點的參考資料。
第3G圖呈現依據在此所敘述的一些實施例之自描述葉狀節點資料結構。葉狀節點具有一或多個子。各子係對主要資料元件之鏈路。各子登錄包含在對該主要資料元件之鏈路上的不同位元組上的資訊，對該主要資料元件的參考資料，以及有關該主要資料元件之複製品和取得物的計數及其他的元資料。在第3G圖中所示的葉狀節點資料結構指明(A)有關從根節點到此葉狀節點之路徑的資訊，包含所有以下之組件，或以下之組件的子集：用以到達此葉狀節點之來自名稱的實際位元組序列，用以從根節點到達此節點所消耗之名稱的位元組數目，所消耗之此位元組數目是否大於某一預指明臨限值的指示，以及描述對此節點的路徑，且有用於樹狀物之內容相關搜尋及有用 於關於樹狀物之結構的決定之其他的元資料；(B)該節點所具有的子數目；(C)對於各子(其中各子對應該葉狀節點之下的主要資料元件)，將指明(1)子ID，(2)來自名稱以後的位元組所需之不同位元組的數目，以便向下躍遷樹狀物之此鏈路至主要資料元件，(3)用以記下此腿之來自名稱的位元組之實際值的規格，(4)對在樹狀物之此路徑上終止該樹狀物的主要資料元件的參考資料，(5)有多少複製品和取得物正指向此主要資料元件的計數(此係使用以確定當刪除儲存系統中之資料時，登錄是否可自篩刪除)，以及(6)用於該主要資料元件的其他元資料，包含主要資料元件之尺寸，等等。
為了要增加其中新的主要資料元件被安裝至樹狀物之內的效率，某些實施例合併額外的欄至葉狀節點資料結構之內，以供被保存在該樹狀物之該葉狀節點處的各主要資料元件之用。應注意的是，當新的元件必須被插入至樹狀物之內時，在該樹狀物中可能需要該等主要資料元件之各者的名稱或內容之額外的位元組，以便決定要在子樹狀物中的何處插入該新的元件，或者是否要觸發該子樹狀物的進一步分區。對於該等額外位元組的需求，可要求提取該等主要資料元件的若干者，以便相對於該新的元件而提取該等元件的各者之相關聯的不同位元組。為了要降低及最佳化(且在大多數的情況中，完全地消除)此任務所需之IO的數目，在葉狀節點中的資料結構包含來自各主要資料元件的名稱之一定數目的額外位元組於該葉狀 節點之下。該等額外的位元組係稱作導航先行位元組，且相對於新的輸入元件而協助排序該等主要資料元件。用於給定之主要資料元件的導航先行位元組係在安裝該主要資料元件至篩內時，被安裝至葉狀節點結構內。將被保留用於此目的之位元組的數目可使用各種準則而予以靜態或動態地選擇，包含，所包含之子樹狀物的深度及在該子樹狀物中之主要資料元件的密度。例如，對於將被安裝在樹狀物中之淺的層次處之主要資料元件，解決方法可添加比用於駐存在很深的樹狀物中之主要資料元件更長的導航先行欄。而且，當新的元件將被安裝至篩之內，且若已有許多主要資料元件在現有的目標子樹狀物之中時(增加即將來臨之重新分區的可能性)，則當新的主要資料元件將被安裝至該子樹狀物之內時，額外的導航先行位元組可被保留用於該新的主要資料元件。
第3H圖呈現用於葉狀節點的葉狀節點資料結構，其包含導航先行欄。此資料結構指明(A)有關從根節點到此葉狀節點之路徑的資訊，包含所有以下之組件，或以下之組件的子集：用以到達此葉狀節點之來自名稱的實際位元組序列，用以從根節點到達此節點所消耗之名稱的位元組數目，所消耗之此位元組數目是否大於某一預指明臨限值的指示，以及描述對此節點的路徑，且有用於樹狀物之內容相關搜尋及有用於關於樹狀物之結構的決定之其他的元資料；(B)該節點所具有的子數目；(C)對於各子(其中各子對應該葉狀節點之下的主要資料元 件)，將指明(1)子ID，(2)來自名稱以後的位元組所需之不同位元組的數目，以便向下躍遷樹狀物之此鏈路至主要資料元件，(3)用以記下此腿之來自名稱的位元組之實際值的規格，(4)對在樹狀物之此路徑上終止該樹狀物的主要資料元件的參考資料，(5)指明有多少導航先行的位元組被保留用於主要資料元件的導航先行欄，及該等位元組的實際值，(6)有多少複製品和取得物正指向此主要資料元件的計數(此係使用以確定當刪除儲存系統中之資料時，登錄是否可自篩刪除)，以及(7)用於該主要資料元件的其他元資料，包含主要資料元件之尺寸，等等。
在某些實施例中，樹狀物的各種分支係使用以映像各種資料元件成為組群或範圍，該等組群或範圍係藉由解讀沿著鏈路通往子子樹狀物之不同的位元組做為範圍定界符而被形成。在該子子樹狀物中的所有元件將變成，使得元件中之對應位元組的值小於或等於被指明用於對特殊之子子樹狀物的鏈路之不同位元組的值。因此，各子樹狀物現將表示其值落在特定範圍內之元件的組群。在給定的子樹狀物內，樹狀物之各隨後的層次將逐步地劃分元件之組成為較小的範圍。此實施例提供不同的解讀至第3F圖中所示之自描述樹狀節點結構。在第3F圖中之N個子係由樹狀節點資料結構中之它們的不同位元組的值所排列，且表示非重疊範圍的排列順序。對於N個節點，具有N+1個範圍---最低的或第一個範圍包含小於或等於最小的 登錄值，以及第N+1個範圍包含大於第N個登錄之值。該第N+1個範圍將被視為超出範圍，以致使N個鏈路通往在下面的N個子樹狀物或範圍。
例如，在第3F圖中，子1界定最低的範圍且使用6個位元組(值abef12d6743a的)以區分其範圍---用於子1的範圍係自00000000至abef12d6743a。若候選元件之對應的6個位元組係落在此範圍之內，包含最終值時，則此子之鏈路將被選定。若候選元件之對應的6個前導位元組係大於範圍定界符abef12d6743a時，則子1將不被選擇。為了要檢驗該候選者是否落在用於子2的範圍之內，兩種情形必須被滿足---首先，該候選者必須在用於正好前一子(在此實例中之子1)的範圍外面，及其次，在其名稱中之對應位元組必須小於或等於用於子2的範圍定界符。在此實例中，用於子2的範圍定界符係由值dcfa之2個位元組所描述。所以，用於候選元件之2個對應位元組必須小於或等於dcfa。使用此方法，在樹狀節點中之候選元件及所有的子可被檢驗，以檢查該候選元件將落在N+1個範圍中的那一個。針對第3F圖中所示之實例，若候選元件之名稱的4個對應位元組係大於其係f3231929之用於子N的鏈路之不同位元組的值時，則失敗情形將被偵測出。
樹狀導航處理可予以修正，而使此新的範圍節點適應。在到達範圍節點時，為了要選擇從該節點所發出之給定的鏈路，來自候選者之名稱的位元組必須落在被 界定用於該特殊之鏈路的範圍內。若來自候選者之名稱的位元組之值大於在所有該等鏈路中的對應位元組之值時，則該候選元件落在由下面之子樹狀物所通過跨越之所有範圍的外面---在此情況中(稱作“超出範圍情形”)，失敗情形被偵測出且樹狀導航處理終止。若來自候選元件之名稱的前導位元組落在由沿著通往子子樹狀物之鏈路之對應的不同位元組所決定的範圍內時，則樹狀導航處理繼續到下面的該子樹狀物。除非由於“超出範圍情形”而終止，否則樹狀導航可逐步向下地繼續到樹狀物之更深處，直至其到達葉狀節點資料結構為止。
此種範圍節點可與第3A至3E圖中所敘述之線索節點結合，而在樹狀結構中被採用。在某些實施例中，樹狀結構的上方節點之一定數目的層次可係線索節點，而樹狀遍歷則根據候選元件之名稱的前導位元組與沿著樹狀物之鏈路的對應位元組之間的精確匹配。隨後的節點可係範圍節點，而樹狀遍歷則由其中候選元件之名稱的前導位元組所落在之範圍而予以支配。在樹狀導航處理之中止時，如稍早在此文件中所敘述地，可使用各種準則以決定應回報何者做為整體之內容相關查找的結果。
僅針對描繪和說明之目的，已提出用以表示及使用樹狀節點及葉狀節點之上述方法和設備的說明。惟，它們並不打算要成為全面的，或限制本發明至所揭示的形式。從而，許多修正例和變化例將呈明顯於熟習本項技藝之業者。
當候選元件被呈現做為輸入時，可遍歷上述之樹狀節點及葉狀節點結構，且可根據該候選元件之內容而履行樹狀物的內容相關查找。候選元件的名稱將由該候選元件之位元組所建構，正如當主要資料元件被安裝於篩之中時，該主要資料元件的名稱係由該主要資料元件的內容所建構一樣。鑒於輸入之候選元件，用於樹狀物之內容相關查找的方法包含使用候選元件的名稱之樹狀結構的導航，其次藉由隨後的分析和篩查以決定應回報何者做為整體之內容相關查找的結果。換言之，樹狀導航處理回報第一輸出，且然後，分析和篩查被履行於該輸出上，而決定整體之內容相關查找的結果。
若有任何主要資料元件而其具備與候選者之名稱相同的前導位元組(或使得它們落在相同的範圍之內)時，則樹狀物將以由鏈路所表示之元件子集的形式而識別該子集之主要資料元件。一般而言，各樹狀節點或葉狀節點可儲存資訊，而使樹狀導航處理能根據輸入元件之名稱的對應位元組，而決定(若有的話)將選擇那一個外向鏈路以導航至樹狀物中之下一個較低的層次，及當該樹狀物係沿著所選擇的鏈路而被導航時所到達之節點的本體。假如各節點包含此資訊時，則樹狀導航處理可遞歸地向下導航至樹狀物中之各層次，直至沒有匹配被發現(在其中樹狀導航處理可回報存在於被植根在目前節點處之子樹狀物中的一組主要資料元件之點)，或到達主要資料元件(在其中樹狀導航處理可回報主要資料元件及任何相關 聯的元資料之點)為止。
一旦樹狀導航處理已終止，其他的準則和要求可被使用以分析及篩查樹狀導航處理之輸出，而決定應回報何者做為整體之內容相關查找的結果。首先，可以以來自名稱之與候選元件共有之最多數量的前導位元組挑選主要資料元件。其次，當單一主要資料元件或多個主要資料元件係由樹狀導航處理所回報時，在給予將被回報做為該內容相關查找的結果之資格前，可具有額外的要求，亦即，它們應與候選元件的名稱共享某一最小數量的位元組(否則，該內容相關查找回報失敗)。篩查要求的另一實例可係其中，若該樹狀導航處理終止而未到達單一的主要資料元件，以致使多個主要資料元件(被植根於其中該樹狀導航終止之節點處)被回報做為樹狀導航處理的輸出時，則除非該等元件的數目小於諸如4至16個元件之某一特定的限制值，該等多個主要資料元件才將被給予回報做為該內容相關查找的結果之資格(否則，該內容相關查找回報失敗)。多個要求的組合可被採用以決定內容相關查找的結果。若多個候選元件仍保持時，則可檢驗導航先行位元組及相關聯的元資料，以決定那些主要資料元件係合適的。若仍無法將選擇縮小至單一的主要資料元件時，則可提供多個主要資料元件至導出函數。在此方式中，查找處理將報告“失敗”或回報單一主要資料元件，或者若非單一的主要資料元件時，則主要資料元件之組可能成為用以取得該候選元件之好的起點。
樹狀物需被設計用於有效率的內容相關存取。均衡的樹狀物將提供用於許多資料之存取的可比較深度。所期望的是，樹狀物之上方幾個層次將經常駐存於處理器快取中，下一幾個層次在快速記憶體中，以及隨後的層次在快閃儲存中。對於非常大的資料組，一或多個層次可能需要駐存在快閃儲存中，且甚至在碟片中。
第4圖顯示依據在此所敘述的一些實施例之256TB的主要資料可如何以樹狀形式組織之實例，並呈現該樹狀物可如何被佈局在記憶體及儲存器中。假設每節點64個(其係26個)子的平均扇出，則用於主要資料元件之參考資料可藉由到達葉狀節點資料結構而予以存取(例如，如第3H圖中所敘述的)，該葉狀節點資料結構係駐存在樹狀物的第6個層次(平均值)處(亦即，在5個鏈路遍歷或躍程之後)。所以，在5個躍程後之樹狀物的第6個層次處之該結構將駐存另外230個該節點在旁邊，各具有平均64個子(該等子係對主要資料元件的參考資料)，而藉以容納大約64個十億個主要資料元件。以4KB之元件尺寸計，此容納大約256TB個主要資料元件。
可佈局樹狀物使得該樹狀物的6個層次可被如下地遍歷：3個層次駐存在晶片上快取中(包含大約四千個“上方層次”之樹狀節點資料結構，而指明用於對大約256K個節點之鏈路的躍遷)，2個層次在記憶體中(包含16個百萬個“中間層次”之樹狀節點資料結構， 而指明用於對大約十億個葉狀節點之鏈路的躍遷)，以及第6個層次在快閃儲存中(容納十億個葉狀節點資料結構)。駐存在快閃儲存中之樹狀物的此第6個層次處之該十億個葉狀節點資料結構提供用於該64個十億個主要資料元件的參考資料(每葉狀節點平均64個元件)。
在第4圖中所示的實例中，在第4及第5個層次處，各節點致力於每元件平均16個位元組(例如，1個位元組用於子ID，6個位元組用於對PDE的參考資料，加上1個位元組用於位元組計數，加上平均8個位元組用以指明實際的躍遷位元組以及一些元資料)。在第6個層次處，各節點致力於每元件平均48個位元組(1個位元組用於子ID，1個位元組用於位元組計數，8個位元組用以指明實際的躍遷位元組，6個位元組用於對主要資料元件的參考資料，1個位元組用於離此主要資料元件之取得物的計數，16個位元組用於導航先行，2個位元組用於主要資料元件的尺寸，以及13個位元組之其他的元資料)，因此，在用於樹狀物(包含對主要資料元件的參考資料，及包含任何元資料)所需之快閃儲存中的總容量係大約3萬億個位元組。用於樹狀物之上方節點所需的總容量係此規模的小部分(因為有較少的節點，且需較少的位元組用以指明對子節點之較緊縮的參考資料，以及每個節點需要較少的元資料)。在該實例中，該等上方樹狀節點致力於每元件平均8個位元組(1個位元組用於子ID，1個位元組用於位元組計數，加上平均3至4個位元組用以 指明實際的躍遷位元組，以及2至3個位元組用於對子節點的參考資料)。總體而言，在此實例中，具有256TB之主要資料的合成資料組係使用3TB(或256TB的1.17%)之額外的設備，而被排序成為一10億個組群。
在第4圖中所示的實例中，當256TB的主要資料包含64個十億個各4KB之主要資料元件時，需要少於5個位元組(或36個位元)的位址以完全區分該64個十億個主要資料元件。從內容相關之立場，若資料的混合係使得進行之名稱的平均4個位元組被消耗在最初3個層次之各者處，以及8個位元組在其次3個層次之各者處，則總計36個位元組(288個位元)之名稱(平均值)將區分所有64個十億個主要資料元件。該等36個位元組將比構成各元件之4KB的1%更小。若4KB之主要資料元件可由其位元組的1%(或甚至5至10%)所識別時，則剩餘部分的位元組(其構成多數的位元組)可忍受擾動，且具有該等擾動的候選元件仍可到達此主要資料元件，並可針對來自它的來歷而予以考慮。
應注意的是，在任一給定鏈路上之位元組的數目(用以區分底下之各種子樹狀物)，將由包含資料集之混合元件中的實際資料所支配。同樣地，在給定節點當中之鏈路的數目亦將隨著該資料而變化。自描述樹狀節點及葉狀節點資料結構將宣告用於各鏈路所需之位元組的實際數目和值，以及從任一節點所發出之鏈路的數目。
進一步的控制可被安置用以限制所致力於樹 狀物的各種層次處之快取、記憶體、及儲存器的數量，而在增量之儲存的預算分配內盡可能地將輸入排序成為許多不同的組群。為了要操縱其中有資料之密度和封包而其需要很深的子樹狀物以充分區分元件之情勢，該等密度可藉由組群較大組之相關的元件成為樹狀物之某一深度(例如，第6個層次)的平面組群，且在該等者之上執行精簡的搜尋和來歷(藉由先檢驗導航先行及元資料以決定最佳的主要資料元件，否則(做為備用)僅針對剩餘部分之資料搜尋複製品，而非由該方法所給予之充分的來歷)，而予以有效率地操縱。此將規避很深之樹狀物的創建。另一替代例則係，只要該等層次適合可用的記憶體，就允許深的樹狀物(具有許多層次)。在較深之層次溢出至快閃或碟片時，可採取步驟而從該層次起弄平樹狀物，用以使得將在其他方面由於對儲存在快閃或碟片中之更深層次樹狀節點的多個連續存取而被引致之潛時最小化。
所期望的是，來自元件之名稱的合計位元組之相對小的部分將經常足以識別各主要資料元件。使用在此所敘述的實施例而在各種真實世界資料集上所執行之研究證實的是，主要資料元件的位元組之小的子集可用以排列多數的元件，而致能解決方法。因此，就用於其操作所需求之儲存的數量而言，該解決方法係有效率的。
就來自第4圖之實例所需的存取而言，一旦用於輸入(或候選元件)之每個進來的4KB資料塊，該方案將需要以下之存取以查詢樹狀結構及到達葉狀節點： 三個快取參考資料，兩個記憶體參考資料(或多個記憶體參考資料)，加上來自快閃儲存之單一IO以存取葉狀節點資料結構。來自儲存之此單一IO將提取4KB網頁，其將保持用於大約64個元件的組群之葉狀節點資料結構的資訊，該資訊將包含48個位元組以致力於所討論的主要資料元件。該等48個位元組將包含所討論之主要資料元件上的元資料。此將得出樹狀查找處理的結論。之後，所需之IO的數目將根據候選元件是否變成複製品、取得物、或將被安裝在篩中之新的主要資料元件而定。
其係主要資料元件之複製品的候選元件將需要一個IO用以提取主要資料元件，以便驗証該複製品。一旦該複製品被驗證，就將有再一個IO用以更新樹狀物中的元資料。因此，在該樹狀查找之後，複製品元件的攝取將需要兩個IO，而總計3個IO。
樹狀查找失敗的，以及不是複製品亦非取得物的候選元件需要再一個IO用以儲存該元件於篩中做為新的主要資料元件，和另一個IO用以更新樹狀物中的元資料。因此，在樹狀查找之後，該樹狀查找失敗之候選元件的攝取將需要兩個IO，而導致總計3個IO。惟，對於其中樹狀查找處理終止而無需儲存IO的候選元件，僅需總計2個IO以供攝取該等候選元件之用。
其係取得物(但非複製品)的候選元件將首先需要一個IO以提取用以計算來歷所需之主要資料元件。因為所期望的是，最經常的來歷將離開單一的主要資 料元件(而非多個)，所以僅需要一個IO以提取主要資料元件。在成功完成來歷之後，將需要再一個IO用以在用於儲存中之元件所創造的登錄中儲存重建程式及來歷細節，和另一個IO用以更新樹狀物中的元資料(諸如計數，等等)而反映新的取得物。因此，在該首先樹狀查找之後，變成取得物之候選元件的攝取需要3個額外的IO，而總計4個IO。
綜上所述，用以攝取候選元件及施加資料提取(Data DistillationTM)方法至其(同時全面地利用冗餘橫跨很大的資料集)，需要大約3至4個IO。與傳統之重複資料刪除技術所需要的相比，此大致地僅係每候選元件多一個IO，而回報的是，冗餘可以以比元件本身更精細的顆粒橫跨很大的資料集而被全面地利用。
提供250,000個隨機IO存取/秒(其意指對4KB網頁之1GB/秒的隨機存取帶寬)之儲存系統可在大約每秒62,500個輸入資料塊(由各平均尺寸4KB之每輸入資料塊4IO除250,000)上攝取及執行資料提取(Data DistillationTM)方法。此在用盡該儲存系統之全部帶寬的同時，致能250MB/秒的攝取速率。若僅使用儲存系統的一半帶寬時(使得另一半可用於對所儲存資料之存取)，該重複資料刪除系統仍可交付125MB/秒的攝取速率。因而，當給定足夠的處理功率時，資料提取(Data DistillationTM)系統能在現代儲存系統上以經濟的IO全面地利用冗餘橫跨資料集(以比元件本身更精細的顆 粒)，且以每秒數百個百萬位元組的攝取速率交付資料減少。
因此，如測試結果所證實的，在此所敘述之實施例以經濟的IO存取及以用於設備所需的最小增量儲存，達成從大規模儲存之資料而搜尋元件之複雜任務(其中輸入元件可以以指明來歷所需的最小儲存取得)。因而所建構的此框架可使用元件之合計位元組的較小百分比以發現適合於來歷之元件，而留下可用於擾動及來歷之大量的位元組。解釋此方案為何有效率地作功於許多資料的重要見解在於，樹狀物提供易於使用的，精細顆粒的結構，而允許設置可識別篩中元件之不同的和有區別的位元組，且雖然該等位元組係各自在資料中之不同的深度及位置處，但它們可在樹狀結構中被有效率地隔離和儲存。
第5A至5C圖描繪資料可如何使用在此所敘述之實施例而被組織的實際例子。第5A圖描繪512個位元組的輸入資料，及因子分解的結果(例如，在第2圖中之執行操作202的結果)。在此實例中，指紋圖譜係施加以決定資料中的斷點，以致使連續的斷點識別候選元件。交變的候選元件已使用粗體及常規字體予以顯示。例如，第一候選元件係“b8ac83d9dc7caf18f2f2e3f783a0ec69774bb50bbe1d3ef1ef8a82436ec43283bc1c0f6a82e19c224b22f9b2”，以及下一個候選元件係“ac83d9619ae5571ad2bbcc15d3e493eef62054b05b2dbccce93 3483a6d3daab3cb19567dedbe33e952a966c49f3297191cf22aa31b98b9dcd0fb54a7f761415e”，等等。第5A圖的輸入係因子分解成為如所示之12個可變尺寸的候選元件。各資料塊的前導位元組係使用以在篩中排列及組織元件。第5B圖描繪第5A圖中所示之12個候選元件可如何使用它們的名稱，及使用第3B圖中所敘述之樹狀結構，而在篩中被以樹狀物組織成為主要資料元件。各元件具有不同的名稱，其係由元件的整個內容所建構。在此實例中，因為指紋圖譜係施加以決定該12個候選元件之間的斷點，所以各候選元件的前導位元組將已經與定錨指紋圖譜對齊；因此，各名稱的前導位元組將已由被定錨在此指紋圖譜處之內容的第一維所建構。該名稱的該等前導位元組組織各種元件。例如，若在元件的名稱中之第一位元組係等於“0x22”時，則取頂部鏈路而選擇主要資料元件#1。應注意的是，第5B圖中之各種鏈路係使用不同數目的位元組而予以區分，如參照第3B圖中所描繪之樹狀資料結構所解說的。
第5C圖描繪第5A圖中所示之12個候選元件可如何使用參照第3D圖所敘述的樹狀資料結構而予以組織。指紋圖譜係進一步施加至各元件的內容，用以識別元件內容之內的次要指紋圖譜。自第一指紋圖譜(已經存在於各元件的邊界處)及第二指紋圖譜之位置所提取之內容的位元組係級聯以形成名稱的前導位元組，其係使用以組織該等元件。換言之，元件名稱係建構如下：來自兩個維 或欄之資料的位元組(由定錨指紋圖譜及次要指紋圖譜所定位)係級聯以形成名稱的前導位元組，其次係剩餘部分之位元組。做為該名稱結構之此選擇的結果，不同序列之位元組導致第5C圖中的各種主要資料元件(與第5B圖相對地)。例如，用以到達主要資料元件# 4，樹狀導航處理首先取用對應“46093f9d”(其係在第一維(亦即，第一指紋圖譜)處之欄的前導位元組)之鏈路，且然後，取用對應“c4”(其係在第二維(亦即，第二指紋圖譜)處之欄的前導位元組)之鏈路。
第6A至6C圖顯示依據在此所敘述的一些實施例之樹狀資料結構可如何使用於參照第1A至1C圖所分別敘述的內容相關映像器121及122。
一旦已解決尋找合適之主要資料元件(企圖要從它來取得候選元件)的困難問題，問題就會變小到檢驗主要資料元件之一者或小的子集，及以用以指名來歷所需之最小儲存自它們最佳地取得候選元件。其他目標包含保持對儲存系統之存取的數目至最小，以及保持來歷時間及重建時間可接受。
提取器必須表示候選元件為被執行在一或多個主要資料元件上之轉變的結果，且必須指明該等轉變為將被使用以在資料擷取時再生取得物的重建程式。各來歷可要求它自己唯一的程式將被建構。提取器的功能在於識別該等轉變，且以最小的足跡創造重建程式。各種轉變可被採用，包含被執行於一或多個主要元件上或各元件的特 定欄之上的算術、代數、或邏輯運算。此外，可在一或多個主要元件中使用諸如，位元組的級聯、插入、置換、及刪除的位元組處理轉變。
第7A圖提供依據在此所敘述的一些實施例之可在重建程式中被指明的轉變之實例。在此實例中所指明的詞彙包含在元件中的指明長度之欄上的算數運算，以及在主要資料元件中的指明偏移量處之位元組宣告長度的插入、刪除、附加、及置換。各種技術及運算可由提取器所採用，用以偵測候選元件與主要資料元件之間的相似度及差異，以及用以建構重建程式。提取器可利用可用於基本硬體中的詞彙以執行它的功能。工作的最終結果在於指明被指明用於重建程式之詞彙中的轉變，且在於使用最小數量的增量儲存及以亦致能快速資料擷取的方式如此進行。
提取器可利用基本機器的處理能力，且在所分配至它的處理預算之內工作，而可在系統的成本性能約束內提供最佳的分析。鑒於微處理器核心更立即地可用，且鑒於對儲存之IO存取昂貴，資料提取(Data DistillationTM)解決方法已被設計要利用現代的微處理器，而在少許的主要資料元件上有效率地履行候選元件之內容的局部分析和取得。所期望的是，資料提取(Data DistillationTM)解決方法的性能(在非常大的資料上)將不受計算的處理，而是受到典型儲存系統的IO帶寬，所速率限制。例如，所期望的是，兩個微處理器核心就將足以在支援250,000個IO/秒之典型以快閃為主的儲存系統 上，執行用以支援每秒數百個百萬位元組之攝取速率的所需計算和分析。應注意的是，來自諸如Intel Xeon處理器E5-2687W(10核心，3.1GHz，25MB快取)之現代微處理器的兩個該微處理器核心，係可獲自處理器之總計算功率的一小部分(十分之二)。
第7B圖顯示依據在此所敘述的一些實施例之將從主要資料元件得到的候選元件之結果的實例。特別地，資料圖案“Elem”係主要資料元件，其係儲存在主要資料篩中，以及資料圖案“Cand”係候選元件，其將取得自該主要資料元件。在“Cand”與“Elem”之間的18個共同的位元組已被凸顯。重建程式702指明資料圖案“Cand”可如何取得自資料圖案“Elem”。如第7B圖中所示，重建程式702描繪如何藉由使用1個位元組置換、6個位元組插入、3個位元組刪除、7個位元組大批置換，而自“Elem”取得“Cand”。用以指明取得物之成本係20個位元組+3個位元組的參考資料=23個位元組，其係原始尺寸的65.71%。應注意的是，所顯示的重建程式702係入類可讀取表示之程式，且並非如何藉由在此所敘述的實施例而予以實際儲存之程式。同樣地，根據諸如乘法及加法之算術運算的其它重建程式亦已在第7B圖中被顯示。例如，若“Elem”係bc1c0f6a790c82e19c224b22f900ac83d9619ae5571ad2bbec152054ffffff83，以及“Cand”係bc1c0f6a790c82e19c224b22f91c4da1aa0369a0461ad2bbec15 2054ffffff83，則8個位元組差異可使用相乘(00ac83d9619ae557)*2a=[00]1c4da1aa0369a046，而被如所示地取得。用以指明取得物之成本：4個位元組+3個位元組的參考資料=7個位元組，其係原始尺寸的20.00%。選擇性地，若“Elem”係bc1c0f6a790c82e19c224b22f9b2ac83ffffffffffffffffffffffffffff283，以及“Cand”係bc1c0f6a790c82e19c224b22f9b2ac8300000000000000000000000000002426，則16個位元組差異可使用加法而被如所示地取得，例如，藉由相加0x71a3至開始於偏移16之16個位元組區域，且拋棄進位。用以指明取得物之成本係5個位元組+3個位元組的參考資料=8個位元組，其係原始尺寸的22.85%。應注意的是，在第7A圖中之該等取樣編碼僅係選擇用於描繪之目的。在第7B圖中之實例具有32個位元組的資料尺寸，且因此，5個位元滿足元件內之長度及偏移欄。對於大的元件(例如，4KB元件)，該等欄的尺寸將需要被增加至12個位元。同樣地，取樣編碼容納3個位元組或24個位元的參考資料尺寸。此應允許16個百萬個主要資料元件將被參考。若參考資料必須能在例如，256TB之資料中定址任何位置，則該參考資料在尺寸上將必須變成6個位元組。當該資料集被因子分解成為4KB元件時，用以指明參考資料所需的6個位元組將係4KB元件之尺寸的一小部分。
用以指明取得物元件(其係取得自一或多個 主要資料元件)所需之資訊的尺寸係重建程式之尺寸及用以指明所需之(一或多個)主要資料元件所必要的參考資料之尺寸的總和。用以指明候選元件做為取得物元件所需之資訊的尺寸係稱作候選元件距離主要資料元件的距離。當候選元件可切實取得自多組主要資料元件之任一組時，則具有最短距離的主要資料元件之組將被選定做為目標。
當候選元件必須被取得自超過一個的主要資料元件時(藉由組裝所取得自該等者之各者的提取)，則提取器必須考慮對儲存系統的額外存取之成本中的因子，以及對較小重建程式和較小距離之利益的衡量。一旦最佳重建程式已被創造用於候選者，就將其距離與距離臨限值相比；若不超過該臨限值時，則接受來歷。一旦接受該來歷，該候選元件就被重制定做為取得物元件，且由主要資料元件及重建程式的組合所置換。在被創造用於該候選元件的提取之資料中的登錄，係由重建程式加上對相關聯之主要資料元件的一或多個參考資料所置換。若用於最佳來歷之距離超過該距離臨限值時，則該取得物將不被接受。
為了要產生資料減少，距離臨限值必須一直小於候選元件的尺寸。例如，距離臨限值可被設定為候選元件之尺寸的50%，使得除非來歷的足跡係小於或等於候選元件之足跡的一半，該來歷才將被接受，而藉以確保兩倍或更大的減少以供其中存在合適來歷的各候選元件之用。距離臨限值可係根據使用者特定輸入，或由系統所選定之預定的百分比或分數。該距離臨限值可根據系統之靜 態或動態的參數，而由系統所決定。
第8A至8E圖描繪依據在此所敘述的一些實施例之資料減少可如何藉由因子分解輸入資料成為固定尺寸元件，且以參照第3D及3E圖所敘述的樹狀資料結構組織該等元件，而被執行。第8A圖顯示輸入資料如何可被簡單地因子分解成為32個位元組資料塊。特別地，第8A圖顯示最初的10個資料塊，且然後，再多些的資料塊，其呈現例如，42個百萬個資料塊於後。第8B圖顯示篩中之主要資料元件的組織，其係使用所建構的名稱以致使該名稱的前導位元組包含來自元件內容中之3個維的內容(對應定錨指紋圖譜、次要指紋圖譜、及第三指紋圖譜的位置)。特別地，在第8B圖中，各32個位元組資料塊變成32個位元組(固定尺寸區塊)的候選元件。指紋圖譜的方法係施加至元件的內容。各元件具有名稱，其係建構如下：來自元件的三個維或欄(分別由定錨指紋圖譜、次要指紋圖譜、及第三指紋圖譜所定位)之資料的位元組係級聯以形成名稱的前導位元組，其次係該元件之剩餘部分的位元組。該名稱被使用以組織篩中的元件。如第8B圖中所示，最初的10個資料塊不包含複製品或取得物，且係接連地安裝做為篩中的元件。第8B圖顯示在消耗第10個資料塊之後的篩。第8C圖顯示在消耗資料輸入的額外若干個百萬個元件之後，例如，在呈現接著的42個百萬個資料塊之後的時間中之隨後點處的篩之內容。該篩係檢驗用於複製品或取得物。無法取得自元件的資料塊被安 裝在篩中。第8C圖顯示在消耗42個百萬個資料塊之後的篩，包含例如，16,000,010個元件(可以以3個參考位址邏輯地定址)，而剩餘的26,000,000個資料塊變成取得物。第8D圖顯示新的輸入之實例，其係隨後提交至篩且被識別為篩中之登錄(被顯示為元件號碼24,789)的複製品。在此實例中，篩識別元件24,789(資料塊9)做為用於資料塊42,000,011之最合適的元件。提取功能決定的是，新的資料塊係精確的複製品，且以對元件24,789的參考資料置換它。用以表示該取得物的成本係與35B原始相對的3個位元組，其係原始尺寸的8.57%。第8D圖顯示輸入的第二個實例(資料塊42,000,012)，其係轉換成為篩中之登錄(被顯示為元件號碼187,126)的取得物。在此實例中，篩決定的是，並沒有精確的匹配。其識別元件187,125及187,126(資料塊8及1)做為最合適的元件。新的元件係取得自最合適的元件。來歷對元件187,125及來歷對元件187,126係描繪於第8D圖中。用以表示來歷對元件187,125之成本係39個位元組+3個位元組的參考資料=42個位元組，其係原始尺寸的120.00%。用以表示來歷對元件187,126之成本係：12個位元組+3個位元組的參考資料=15個位元組，其係原始尺寸的42.85%。最佳的來歷(對元件187,126)被選定。重建尺寸係與臨限值相比。例如，若臨限值係50%，則此取得物(42.85%)被接受。第8E圖提供從主要資料元件所取得的資料塊之兩個額外的實例，包含其中取得物係藉由取得 自兩個主要資料元件而予以實際地創造的一實例。在第一實例中，資料塊42,000,013被提出。篩識別元件9,299,998(資料塊10)做為最合適的元件。來歷對元件9,299,998係描繪於第8E圖中。用以表示該取得物之成本係4個位元組+3個位元組的參考資料=7個位元組，其係原始尺寸的20.00%。重建尺寸係與臨限值相比。例如，若臨限值係50%，則此取得物(20.00%)被接受。在第二實例中，資料塊42,000,014被提出。在此實例中，資料塊42,000,014係使得資料塊的一半可最佳地取得自元件9,299,997，而資料塊的另一半可最佳地取得自元件9,299,998。因此，多個元件之取得物被創造出，而產生進一步的資料減少。多個元件之來歷係顯示於第8E圖中。用以表示此多個元件之取得物的成本係3個位元組的參考資料+3個位元組+3個位元組的參考資料=9個位元組，其係原始尺寸的25.71%。重建尺寸係與臨限值相比，例如，若臨限值係50%，則此取得物(25.71%)被接受。應注意的是，來自單一元件取得物的最佳輸出將係45.71%。
第8A至8E圖描繪資料提取(Data DistillationTM)系統的重要優點：可在執行資料減少之同時，有效消耗及產生固定尺寸的區塊。應注意的是，固定尺寸的區塊係在高性能儲存系統中高度所欲的。使用資料提取(Data DistillationTM)設備，包含許多固定尺寸區塊之大的引入之輸入檔案可被因子分解成為許多固定尺寸的 元件，以致使所有的主要資料元件固定尺寸。用於各取得物元件之潛在可變尺寸的重建程式可被包裝在一起，且被直列保持在提取的資料檔案中，而可被隨後組塊成為固定尺寸的區塊。因此，針對所有實用之目的，可執行有力的資料減少，且同時在儲存系統中消耗及產生固定尺寸的區塊。
第9A至9C圖描繪其係最初顯示於第1C圖中之資料提取(Data DistillationTM)方案的實例：此方案採用個別的主要重建程式篩，其可以以內容相關方式存取。該結構致能取得物的偵測，其建構已經存在於主要重建程式篩中的重建程式。該取得物可被重制定以參考現有的重建程式。此致能重建程式中之冗餘的偵測。在第9A圖中，輸入資料被攝取。指紋圖譜的方法係施加至該資料，以及資料塊邊界係設定在指紋圖譜位置處。該輸入係因子分解成為如所顯示之8個候選元件(交變的資料塊以粗體及常規字體顯示於第9A圖中)。在第9B圖中，該8個候選元件係如在篩中所組織地顯示。各元件具有不同的名稱，其係由該元件的整個內容所建構。在此實例中，元件名稱係建構如下：來自兩個維或欄之資料的位元組(分別由定錨指紋圖譜及次要指紋圖譜所定位)係級聯以形成名稱的前導位元組，其次係剩餘部分之位元組。該名稱係使用以在篩中排列元件，且亦透過樹狀結構而提供內容相關存取。第9B圖亦提供第二內容相關結構，其包含主要重建程式。第9C圖描繪複製品重建。假定並非任一主要 資料元件之複製品的55個位元組候選元件(第9C圖中所示)到達。元件3係選擇做為最合適的元件---對於PDE 2及3，最初的兩個維係相同的，但以88a7開始之剩餘部分的位元組匹配元件3。新的輸入係以12個位元組重建程式(RP)取得自元件3。編碼係如第7A圖中所示。應注意的是，用於此實例，最大元件尺寸係64位元，以及例如，與第7A圖中所示之5位元的長度和偏移相對地，所有的偏移和長度係編碼為6位元的值。該主要重建程式篩被搜尋，且此新的RP並未被發現。此RP係插入至主要重建程式篩內，而根據其值予以排列。新的元件係重制定為對主要資料元件3的參考資料，及對在主要重建程式篩中之參考資料4處的新創造之主要重建程式的參考資料。用於此取得之元件的總儲存尺寸係：3個位元組的PDE參考資料、3個位元組的RP參考資料、12個位元組的RP=18個位元組，其係與儲存它為PDE相對之尺寸的31.0%。之後，假定55個位元組候選元件的拷貝到達。如之前一樣地，12個位元組RP係根據元件3而被創造出。主要重建程式篩被搜尋，且具有主要RP ID=3，RP參考資料=4的RP被發現。此候選元件係表示於系統中做為對主要資料元件3的參考資料，及對重建程式4的參考資料。所添加用於此取得之元件的總儲存尺寸現在係：3個位元組的PDE參考資料、3個位元組的RP參考資料=6個位元組，其係與儲存它為PDE相對之尺寸的10.3%。
第10A圖提供依據在此所敘述的一些實施例 之在重建程式中所指明的轉變如何施加至主要資料元件以產生取得物元件之實例。該實例顯示被指明將由編號187,126之主要資料元件(此主要資料元件亦被顯示於第8C圖中的篩之中)所產生(藉由施加如所示之重建程式所指明的四種轉變(插入、置換、刪除、及附加)至它)的取得物元件。如第10A圖中所示，元件187,126係載入自篩，且重建程式被執行以自元件187,126取得資料塊42,000,012。第10B至10C圖描繪依據在此所敘述的一些實施例之資料擷取處理。各資料擷取請求本質地採取所提取的資料中之元件的形式，以無損減少格式提交至搜尋引擎。用於各元件的無損減少格式包含對相關聯之主要資料元件及重建程式的參考資料。資料提取(Data DistillationTM)設備的擷取器提取主要資料元件及重建程式，且提供該等者至用於重建的重建器。在已提取用於所提取的資料之元件的有關聯主要資料元件及重建程式之後，重建器執行重建程式，而以元件之原始未減少形式產生元件。資料擷取處理所需之用以執行重建的努力係線性相對於重建程式的尺寸和主要資料元件的尺寸。因此，高的資料擷取速率可藉由系統而予以達成。
顯而易見的是，用以自所提取的資料中之無損減少形式重建元件至其原始未減少形式，僅需提取被指明用於該元件的主要資料元件及重建程式。因此，為了要重建給定的元件，並不需要存取或重建其它的元件。此使得該資料提取(Data DistillationTM)設備有效率，即使當 服務用於重建及擷取之隨機的請求序列時。應注意的是，諸如Lempel-Ziv方法之傳統的壓縮方法必須提取及解壓縮包含所欲區塊之整個窗口的資料。例如，若儲存系統採用Lempel-Ziv方法而使用32KB之窗口以壓縮4KB區塊的資料時，為了要提取及解壓縮給定的4KB區塊，則必須提取及解壓縮32KB的整個窗口。此會帶來性能上的損失，因為為了要交付所欲之資料，更多的帶寬會被消耗，且更多的資料需被解壓縮。資料提取(Data DistillationTM)設備並不會招致該損失。
資料提取(Data DistillationTM)設備可以以各種方式被整合至電腦系統內，而以可在系統中之整個資料的範圍有效率地全面揭露和利用冗餘之方式，組織及儲存資料。第11A至11G圖描繪依據在此所敘述的一些實施例之包含資料提取(Data DistillationTM)機制(其可使用軟體、硬體、或它們的組合而予以實施)的系統。第11A圖呈現具有軟體應用的通用型計算平台，該軟體應用運轉於系統軟體上，該系統軟體執行於包含處理器、記憶體、及資料儲存組件的硬體平台上。第11B圖顯示被整合至平台之應用層內的資料提取(Data DistillationTM)設備，而各特定之應用使用該設備以利用用於該應用的資料集內之冗餘。第11C圖顯示被採用以提供資料虛擬層或服務於被運轉於其上之所有應用的資料提取(Data DistillationTM)設備。第11D及11E圖顯示具有取樣計算平台的操作系統、檔案系統、及資料管理服務之資料提取 (Data DistillationTM)設備的兩種不同形式的整合。其他的整合方法包含(但並未受限於)與在如第11F圖中所示之諸如，被採用於以快閃為主之資料儲存子系統中之硬體平台中的嵌入式計算堆疊之整合。
第11G圖呈現資料提取(Data DistillationTM)設備與第11D圖中所示的取樣計算平台之整合的額外細節。第11G圖顯示資料提取(Data DistillationTM)設備的組件，其具有在通用型處理器上被執行為軟體的剖析器和因子分解器、提取器、擷取器、及重建器，以及駐存在儲存階層的幾個層次之範圍的內容相關映像結構。主要資料篩可駐存在儲存媒體(諸如以快閃為主的儲存驅動器)中。
第11H圖顯示依據在此所敘述的一些實施例之資料提取(Data DistillationTM)設備可如何與取樣通用型計算平台介面。
檔案系統(或filesystem)使檔案(例如，正文文獻、電子表格、可執行的、多媒體的檔案、等等)與識別符(例如，檔名、檔案處置代碼、等等)相關聯，且使操作(例如，讀取、寫入、插入、附加、刪除、等等)能藉由使用與檔案相關聯的識別符而在檔案上被履行。由檔案系統所實施的命名空間可係平面的或階層的。此外，命名空間可被分層，例如，頂部層之識別符可在接連的下方層被解析成為一或多個識別符，直至該頂部層之識別符被完全地解析為止。在此方式中，檔案系統提供實體地儲 存檔案的內容之實體資料儲存裝置及/或儲存媒體(例如，電腦記憶體、快閃驅動器、碟片驅動器、網路儲存裝置、CD-ROM、DVD、等等)的抽象概念。
用以在檔案系統中儲存資訊所使用的實體資料儲存裝置及/或儲存媒體可使用一或多個儲存技術，且可被設置在相同的網路位置處或可被分佈在不同網路位置的範圍。鑒於與檔案相關聯的識別符及被請求要在該檔案上履行的一或多個操作，檔案系統可(1)識別一或多個實體資料儲存裝置及/或儲存媒體，以及(2)致使由該檔案系統所識別的該等實體資料儲存裝置及/或儲存媒體，實行所被請求要在與該識別符相關聯之檔案上履行的操作。
不論何時只要讀取或寫入操作被履行於系統之中，就可包含不同的軟體及/或硬體組件。“讀取器”之用語可意指系統中之軟體及/或硬體組件的集合，其係當給定的讀取操作被履行於該系統之中時包含，以及“寫入器”之用語可意指系統中之軟體及/或硬體組件的集合，其係當給定的寫入操作被履行於該系統之中時包含。在此所敘述之用於資料減少的方法及設備之一些實施例可藉由當履行給定的讀取或寫入操作時所包含之系統的一或多個軟體及/或硬體組件，而予以使用，或可被結合至當履行給定的讀取或寫入操作時所包含之系統的一或多個軟體及/或硬體組件內。不同的讀取器和寫入器可使用或結合不同的資料減少實施。惟，使用或結合特殊之資料減少 實施的各寫入器將對應亦使用或結合相同之資料減少實施的讀取器。應注意的是，在系統中所履行的某些讀取和寫入操作可不一定要使用或結合資料減少設備。例如，當資料提取(Data DistillationTM)設備或資料減少設備103擷取主要資料元件，或添加新的主要資料元件至主要資料儲存時，其可直接履行讀取和寫入操作，而無需資料減少。
特別地，在第11H圖中，寫入器150W可大致地意指系統之軟體及/或硬體組件，其係當履行給定的寫入操作時包含，以及讀取器150R可大致地意指系統之軟體及/或硬體組件，其係當履行給定的讀取操作時包含。如第11H圖中所示，寫入器150W提供輸入資料至資料提取(Data DistillationTM)設備或資料減少設備103，且自資料提取(Data DistillationTM)設備或資料減少設備103接收提取的資料108。讀取器150R提供擷取請求109至資料提取(Data DistillationTM)設備或資料減少設備103，且自資料提取(Data DistillationTM)設備或資料減少設備103接收擷取的資料輸出113。
用於第11H圖的實施實例包含，但未受限於結合或使用資料提取(Data DistillationTM)設備或資料減少設備103於應用、操作系統核心、檔案系統、資料管理模組、裝置驅動器、或快閃或碟片驅動器的韌體中。此橫跨第11B至11F圖中所敘述之各種組態和使用。
第12A圖顯示依據在此所敘述的一些實施例之用於跨越帶寬約束通訊媒體的資料通訊之資料提取 (Data DistillationTM)設備的使用。在所示之裝備中，通訊節點A創造出將被傳送至通訊節點B的一組檔案。節點A採用資料提取(Data DistillationTM)設備以轉變該等輸入檔案成為提取的資料或提取的檔案，其包含對被安裝在主要資料篩中之主要資料元件的參考資料，以及用於取得物元件的重建程式。然後，節點A傳送連同主要資料篩之提取的檔案至節點B(主要資料篩可在傳送提取的檔案之前，之同時，或之後被傳送；此外，主要資料篩可在與被使用以傳送提取的檔案之通訊頻道相同的通訊頻道上，或不同的通訊頻道上被傳送)。節點B安裝主要資料篩於其端點之對應結構中，且隨後，透過駐存在節點B之資料提取(Data DistillationTM)設備中的擷取器和重建器而饋送提取的檔案，用以產生由節點A所創造出之原始組的檔案。因此，更有效率的使用係，藉由採用資料提取(Data DistillationTM)設備於帶寬約束通訊媒體的兩端點處以僅傳送減少之資料，而由該帶寬約束通訊媒體所做成。應注意的是，使用資料提取(Data DistillationTM)將致能橫跨較大範圍之冗餘的利用(超過使用諸如Lempel-Ziv之習知技術所可看到的)，以致使即使是大型的檔案或成組群的檔案均可被有效率地傳輸。
我們現在討論資料提取(Data DistillationTM)設備在其中工作小組協作地共享被傳播在多個節點的範圍之資料的寬域網路設施中之使用。當資料係最初地創造出時，其可被如第12A圖中所描繪地減少和通訊。寬域網 路在各地點保持資料的拷貝，用以致能對該資料的快速本地存取。資料提取(Data DistillationTM)設備的使用可減少各地點的足跡。再者，在任一地點之新的資料之隨後的攝取時，在該新的資料與預先存在的主要資料篩之內容間的任何冗餘可被利用以減少該新的資料。
在該設施中，對任一地點處之資料的任何修正必須被通訊至所有其他的地點，使得在各地點處之主要資料篩保持一致。因此，如第12B圖中所示，諸如主要資料元件之安裝及刪除的更新，以及元資料更新，可依據在此所敘述的一些實施例而被通訊至各地點處之主要資料篩。例如，在安裝新的主要資料元件至給定地點處的篩之內時，該主要資料元件必須被通訊至所有其他的地點。各地點可使用該主要資料元件的值，而以內容相關方式存取該篩，以及決定新的登錄需被添加在該篩的何處。同樣地，在從給定地點處的篩刪除主要資料元件時，所有其他的地點必須被更新以反映該刪除。此可被完成的一方式係藉由通訊主要資料元件至所有的地點，使得各地點可使用該主要資料元件而內容相關地存取篩，以及決定葉狀節點中的那一個登錄需被刪除，連同對樹狀物中之相關鏈路的必要更新，及自篩之該主要資料元件的刪除。另一方法在於通訊參考資料至所有的地點，該參考資料係針對其中該主要資料元件所駐存的葉狀節點中之用於該主要資料元件的登錄。
因此，資料提取(Data DistillationTM)設備 可被使用以減少在寬域網路之各種地點的範圍所儲存之資料的足跡，以及使網路之通訊鏈路的使用有效率。
第12C至12K圖描繪依據在此所敘述的一些實施例之藉由用於各種使用模型的資料提取(Data DistillationTM)設備而產生之減少資料的種種組件。
第12C圖描繪資料提取(Data DistillationTM)設備1203如何攝取一組輸入的檔案1201，以及在完成提取處理之後，如何產生一組提取的檔案1205及主要資料篩或主要資料儲存1206。第12C圖本身之主要資料篩或主要資料儲存1206係由兩個組件所構成，亦即，如第12D圖中所示之映像器1207及主要資料元件(或PDE)1208。
映像器1207本身具有兩個組件於其內，亦即，樹狀節點資料結構之組及葉狀節點資料結構之組，其界定整體樹狀物。樹狀節點資料結構之組可被放置至一或多個檔案之內。同樣地，葉狀節點資料結構之組可被放置至一或多個檔案之內。在某些實施例中，所謂樹狀節點檔案之單一檔案保持被創造用於給定資料集(輸入的檔案1201)的主要資料元件之樹狀物的整組樹狀節點資料結構，以及所謂葉狀節點檔案之另外的單一檔案保持被創造用於該資料集的主要資料元件之樹狀物的整組葉狀節點資料結構。
在第12D圖中，主要資料元件1208包含被創造用於給定之資料集(輸入的檔案1201)的主要資料元 件之組。該主要資料元件之組可被放置至一或多個檔案之內。在某些實施例中，所謂PDE檔案之單一檔案保持被創造用於給定資料集之整組主要資料元件。
在樹狀節點檔案中之樹狀節點將包含對該樹狀節點檔案內之其他樹狀節點的參考資料。在樹狀節點檔案中之最深層(或最下方層次)的樹狀節點將包含對該葉狀節點檔案中的葉狀節點資料結構中之登錄的參考資料。在葉狀節點檔案中的葉狀節點資料結構中之登錄將包含對PDE檔案中之主要資料元件的參考資料。
該樹狀節點檔案、葉狀節點檔案、及PDE檔案係描繪在第12E圖中，其顯示由該設備所創造出之所有組件的細節。第12E圖顯示一組輸入的檔案1201，包含命名為檔案1、檔案2、檔案3、...、檔案N之N個檔案，其係由資料提取(Data DistillationTM)設備所減少，而產生一組提取的檔案1205和主要資料篩之各種組件，亦即，樹狀節點檔案1209、葉狀節點檔案1210、及PDE檔案1211。提取的檔案1205包含命名為file1.dist(檔案1.提取)、file2.dist(檔案2.提取)、file3.dist(檔案3.提取)、...、fileN.dist(檔案N.提取)之N個檔案。資料提取(Data DistillationTM)設備因子分解輸入的資料成為它的構成物元件，以及創造出兩種類別的資料元件---主要資料元件及取得物元件。該等提取的檔案包含以無損減少格式之資料元件的說明，且包含對PDE檔案中之主要資料元件的參考資料。在輸入的檔案1201中之各檔案具 有在提取的檔案1205中之對應提取的檔案。例如，在輸入的檔案1201中之檔案1212對應提取的檔案1205中之命名為file1.dist 1213之提取的檔案。
應注意的是，第12E圖顯示依據第1A圖之根據提取的檔案及主要資料篩之組織而由資料提取(Data DistillationTM)設備所產生的各種組件，其中重建程式係放置在提取的檔案中之無損減少表示的元件之中。應注意的是，某些實施例(依據第1B圖)可放置重建程式於主要資料篩中，且對待它們就像主要資料元件一樣。在提取的檔案中之無損減少表示的元件將包含對重建程式的參考資料於主要資料篩中(而非包含重建程式本身)。在該等實施例中，重建程式將如主要資料元件一樣地被處理，以及被產生於PDE檔案中1211中。在又一實施例中，依據第1C圖，重建程式係與主要資料元件分離地儲存在所謂重建程式儲存的結構中。在該等實施例中，在提取的檔案中之無損減少表示的元件將包含對重建程式的參考資料於主要資料儲存中。在該等實施例中，如第12F圖所描繪地，除了產生用於主要資料元件之樹狀組織的樹狀節點檔案1209、葉狀節點檔案1210、及PDE檔案1211之外，該設備亦將產生第二組之樹狀及葉狀節點檔案(稱作重建樹狀節點檔案1219及重建葉狀節點檔案1220)，連同包含所有重建程式的檔案(稱作RP檔案1221)。
在第12E圖中所示之資料提取(Data DistillationTM)設備亦儲存組態及控制資訊，用以支配樹 狀節點檔案1209、葉狀節點檔案1210、PDE檔案1211、及提取的檔案1205之一或多者中之其操作。選擇性地，包含此資訊的第五組件可被產生。相似地，對於第12F圖中所示之設備，組態及控制資訊可被儲存在第12F圖中所示之各種組件的一或多者中，或可被儲存在用於此目的所產生的另一組件中。
第12G圖描繪資料提取(Data DistillationTM)設備之用法的概觀，其中給定之資料集(輸入的資料集1221)係饋送至資料提取(Data DistillationTM)設備1203並處理，用以產生無損減少之資料集(無損減少資料集1224)。輸入的資料集1221可由來自資料流之檔案、物件、區塊、資料塊、或提取的集合所構成。應注意的是，第12E圖描繪其中資料集係由檔案所構成的實例。第12G圖的輸入資料集1221對應第12E圖的輸入檔案1201，而第12G圖的無損減少資料集1224包含第12E圖中所示之四個組件，亦即，第12E圖之提取的檔案1205、樹狀節點檔案1209、葉狀節點檔案1210、及PDE檔案1211。在第12G圖中，資料提取(Data DistillationTM)設備利用橫跨所提交至其之輸入資料集的整個範圍之內容元件中的冗餘。
資料提取(Data DistillationTM)設備可被組構以利用輸入資料集的子集之範圍的冗餘，且交付用於所提交至其之資料集的各子集之無損減少。例如，如第12H圖中所示，輸入資料集1221可被分區成為許多較小的資 料之集合，各集合係在此發明中稱作“批量”、或“資料之批量”、或“資料批量”。第12H圖顯示被組構以攝取輸入資料批量1224及產生無損減少資料批量1225的資料提取(Data DistillationTM)設備。第12H圖顯示輸入資料集1221，其係由許多資料集合所構成，該等資料集合係資料批量1、...、資料批量i、...、資料批量n。資料係每次提交一個資料批量至資料提取(Data DistillationTM)設備，且冗餘係橫跨各資料批量的範圍而被利用，用以產生無損減少資料批量。例如，來自輸入資料集1221的資料批量i 1226係饋送至設備，以及無損減少資料批量i 1228係交付至無損減少資料集1227。來自輸入資料集1221的各資料批量係饋送至設備，以及對應的無損減少資料批量係交付至無損減少資料集1227。一旦消耗及減少所有的資料批量1、...、資料批量i、...、資料批量n，輸入資料集1221就可被減少成無損減少資料集1227。
雖然資料提取(Data DistillationTM)設備係藉由在利用橫跨資料的全盤範圍之冗餘上已見效率的設計，但上述技術可被使用以進一步加速資料減少處理，且進一步增進其效率。資料減少處理的輸貫量可藉由限制資料批量之尺寸成為能適合系統的可用記憶體，而予以增加。例如，其在尺寸上係許多萬億個位元組或甚至千兆個位元組的輸入資料集可被拆散成例如，256GB之各尺寸的許多個資料批量，且各資料批量可被快速地減少。使用具有256GB之記憶體的單一處理器核心(Intel Xeon E5- 1650 V3,Haswell 3.5Ghz處理器)，利用橫跨256GB的範圍之該解決方法，已被實施於我們的實驗室中，而產生每秒數百個百萬位元組的攝取速率，且同時交付2至3倍的減少層次於各種資料集之上。應注意的是，256GB的範圍係大於32KB許多個百萬倍，該32KB係窗口的尺寸，其中Lempel Ziv方法在該尺寸交付10MB/秒至200MB/秒之間的攝取性能於當代的處理器上。因此，藉由適當地限制冗餘的範圍，在資料提取處理之速度中的增進可藉由潛在地犧牲某一減少而予以達成。
第12I圖描繪第12H圖中之設置的變化例，且顯示運轉在多個處理器上之多個資料提取處理，用以大大地提高輸入資料集之資料減少(並且，資料重建/擷取)的輸貫量。第12I圖顯示被分區成為x數目之資料批量的輸入資料集1201，且該x個獨立的資料批量係饋送至運轉在獨立的處理器核心上之j個獨立的處理之內(各處理係分配足夠的記憶體以容納將被饋送至它的任一資料批量)，用以並聯地執行且產生大約j倍的加速用於資料減少以及重建/擷取二者。第12J圖描繪由資料提取(Data DistillationTM)設備所產生之用於使用模型之所減少資料的各種組件，其中在輸入資料的減少之後，映像器無需再被保持。該等使用模型的實例係某些種類之資料備份及資料歸檔的應用。在該使用模型中，所減少資料之隨後的使用僅係從所減少之資料集的輸入資料集之重建和擷取。在該設想情況中，所減少資料的足跡可藉由在完成資料減少 之後不儲存映像器而予以進一步減少。第12J圖顯示被饋送至設備的輸入檔案1201，其產生提取的檔案1205和PDE檔案1211---在此設想情況中，該等組件包含減少之資料。應注意的是，輸入檔案1201可僅使用提取的檔案1205和PDE檔案1211而被完全地再生和恢復。記得的是，在提取的檔案中之用於各元件之無損減少表示包含在該處所需的重建程式，以及對PDE檔案中之主要資料元件的參考資料。再加上該PDE檔案，此係用以執行重建所需的所有資訊。
應注意的是，第12J圖顯示依據第1A圖之根據提取的檔案及主要資料篩之組織而由資料提取(Data DistillationTM)設備所產生的各種組件，其中重建程式係放置在提取的檔案中之無損減少表示的元件之中。應注意的是，某些實施例(依據第1B圖)可放置重建程式於主要資料篩中，且對待它們就像主要資料元件一樣。在提取的檔案中之無損減少表示的元件將包含對重建程式的參考資料於主要資料篩中(而非包含重建程式本身)。在該等實施例中，重建程式將如主要資料元件一樣地被處理，以及被產生於PDE檔案中1211中。在又一實施例中，依據第1C圖，重建程式係與主要資料元件分離地儲存在所謂重建程式儲存的結構中。在該等實施例中，在提取的檔案中之無損減少表示的元件將包含對重建程式的參考資料於主要資料儲存中。在該等實施例中，除了產生用於主要資料元件之PDE檔案之外，該設備亦將產生包含所有重建 程式的檔案(稱作RP檔案1221)。此係顯示於第12K圖中，其顯示用於使用模型之所減少資料的組件，其中映像器無需再被保持。第12K圖顯示該等所減少之資料組件，包含提取的檔案1205、PDE檔案中1211、及RP檔案1221。
第12L至12P圖描繪依據在此所敘述的一些實施例之提取(Distillation)處理可如何被佈署及施行於分佈式系統上，而能以很高的攝取速率適應顯著更大的資料集。
分佈式計算範例意味著藉由運轉在多個電腦上的程式之大的資料集之分佈式處理。第12L圖顯示在稱作分佈式計算群集之組織中被網路連接在一起的若干電腦。第12L圖顯示在該等電腦之間的點對點鏈路，惟應瞭解的是，例如，軸輻式拓撲結構或網狀式拓撲結構之任何通訊拓撲結構可被使用，以取代第12L圖中所示的拓撲結構。在給定的群集中，一節點被任命為主節點，其分配任務至從屬節點，且控制及協調它們的整體操作。從屬節點施行如該主節點所指示之任務。
資料提取(Data Distillation)處理可以以分佈式方式橫跨分佈式計算群集的多個節點，而被施行，用以駕馭該群集中的眾多電腦之總體的計算、記憶體、及儲存容量。在此裝備中，在主節點上之主提取模組與運轉在從屬節點上之從屬提取模組相互作用，而以分佈式方式達成資料提取。為了要促成此分佈，可將設備之主要資料篩 分區成為多個獨立的子集或子樹狀物，其可橫跨在該等從屬節點上所運轉之多個從屬模組而被分佈。回顧在資料提取設備(Data Distillation Apparatus)中，主要資料元件係根據它們的名稱而被以樹狀物形式組織，且它們的名稱係從它們的內容取得。主要資料篩可根據主要資料篩中的元件之名稱的前導位元組，而被分區成為多個獨立的子集或子篩。可具有多種方式以橫跨多個子樹狀物而分區名稱空間。例如，可將元件的名稱之前導位元組的值分區成為若干個子範圍，且各個子範圍被指定至子篩。可具有如在群集中所具有的從屬模組而被創造出之一樣多的子集或分區，以致使各個獨立的分區被佈署在特殊的從屬模組上。使用所佈署之子篩，各從屬模組將被設計用以在其所接收之候選元件上施行資料提取處理。
第12M圖描繪主要資料篩成為4個主要資料篩或子篩的取樣分區，該四個主要資料篩或子篩係標記為PDS_1、PDS_2、PDS_3、及PDS_4，其將被佈署在運轉於4個節點之上的4個從屬模組上。該分區係根據主要資料元件之名稱的前導位元組而定。在所示的實例中，在PDS_1中的所有元件之名稱的前導位元組將在範圍A至I中，且該篩PDS_1將具有由所引導至它的值之範圍所標示的名稱A_I。同樣地，在PDS_2中的所有元件之名稱的前導位元組將在範圍J至O中，且該子篩PDS_2將具有由所引導至它的值之範圍所標示的名稱J_O。同樣地，在PDS_3中的所有元件之名稱的前導位元組將在範圍P至S 中，且該子篩PDS_3將具有由所引導至它的值之範圍所標示的名稱P_S。最後，在PDS_4中的所有元件之名稱的前導位元組將在範圍T至Z中，且該子篩PDS_4將具有由所引導至它的值之範圍所標示的名稱T_Z。
在此裝備中，運轉於主節點上的主模組接收輸入檔案，並履行該輸入檔案之輕質的剖析和因子分解，用以拆散該輸入檔案成為一序列的候選元件，且隨後，引導各候選元件至合適的從屬模組以供進一步處理之用。該輕質的剖析可包含針對輪廓而剖析各候選元件，或可包含在候選元件上之指紋圖譜的施加，用以決定構成候選元件之名稱的前導位元組之維。在主模組之該剖析係受限於僅識別與足以決定那一個從屬模組應接收該候選元件一樣多的位元組。根據在候選元件之名稱的前導位元組中之值，該候選者被轉送至保持對應於此特定值的子篩之從屬節點的從屬模組。
當資料累積至篩之內時，該分區可被間歇地重新審視及重新平衡。該分區及重新平衡功能可由主模組所執行。
在接收到候選元件後，各從屬模組施行資料提取(Data Distillation)處理，而以候選元件之完整的剖析和檢驗開始，用以創造其名稱。使用此名稱，從屬模組執行子篩的內容相關查找，且施行提取處理，用以轉換該候選元件成為相對於該子篩之以無損減少表示的元件。在提取的檔案中之元件的無損減少表示係以稱作從屬號碼之 欄而予以增強，該從屬號碼係用以識別從屬模組及相對於元件已被減少之對應的子篩。該元件的無損減少表示被送回至主模組。若候選元件並未在子篩中被發現，或無法自該子篩中的主要資料元件取得時，則將被分配至該子篩內之新的主要資料元件就被識別出。
主模組連續引導來自輸入檔案的所有候選元件至適當的從屬模組，且累積輸入的元件說明(以無損減少表示)，直到它已接收到用於該輸入檔案的所有元件為止。在該時，可將全球通訊承諾發出至所有的從屬模組，而以它們各自的提取處理之結果更新它們個別的子篩。用於該輸入之提取的檔案係儲存在主模組處。
在某些實施例中，對該等子篩的更新可當候選元件在從屬模組處被處理時完成，而不是在任一從屬者可以以新的主要資料元件或元資料更新其子篩之前，等待整個提取之檔案被製備妥。
在某些實施例中，各子篩包含主要資料元件以及依據用於第1B及1C圖之說明的重建程式。在該等實施例中，該重建程式係儲存於子篩中，且無損減少表示包含對該子篩中之主要資料元件以及重建程式(當需要時)二者的參考資料。此進一步減少元件的尺寸，且因此，減少需被儲存在主模組處之提取檔案的尺寸。在某些實施例中，在各子篩中之主要重建程式篩包含被使用以創造隔開駐存在該子篩中的主要資料元件之來歷的該等重建程式。在該情況中，該等主要重建程式係局部地可用於從 屬節點，且致能快速的來歷和重建，而沒有將在其他方面之用以從遠程節點提取主要重建程式所招致的延遲。在其他實施例中，主要重建程式篩係橫跨所有節點而被全盤地分佈，用以利用該分佈式系統的總計容量。無損減少表示係以識別從屬節點或包含主要重建程式之子篩的第二欄而予以增強。在該實施例中，為了要透過來歷而產生最終重建程式，或為了要重建元件，解決方法將招致用以從遠程節點取得主要重建程式之額外的延遲。該整體之方法根據各檔案中之各資料塊或候選元件的內容而利用所有從屬節點之結合的儲存容量，以便橫跨所有該等節點而分佈檔案。
資料擷取係藉由主模組而予以相似地協調。主模組接收提取之檔案，且檢驗用於該提取檔案中之各元件的無損減少規格。它提取“從屬號碼”欄，其指示那一個從屬模組將重建該元件。該元件係接著傳送至適當的從屬模組以供重建之用。然後，重建之元件被傳送回主模組。該主模組組裝來自所有該等從屬者之重建的元件，且轉送重建之檔案到正要求該檔案的消費者。
第12N圖描繪資料提取(Data Distillation)設備可如何被佈署及施行於分佈式系統中。輸入檔案1251係饋送至主模組，其剖析及識別該檔案中的各候選元件之名稱的前導位元組。主模組引導候選元件至4個從屬模組的其中一者。在保持PDS_1或具有名稱A_I的子篩之從屬節點1處的從屬模組1接收具有名稱BCD...的候 選元件1252，其被決定為已存在於具有名稱A_I的子篩中之元件的複製品，其中PDS_1或具有名稱A_I的子篩包含具有承載A至I範圍中之值的名稱之前導位元組的主要資料元件。從屬模組1回報無損減少表示1253，其包含元件係主要的且係以位址refPDE1駐存在篩1中之指示符。主模組傳送所有的候選元件至如第12N圖中所示之相關聯的從屬模組，且組裝及聚集並最終地儲存提取之檔案。
第12O圖描繪第12N圖中所示之方案的變化例。在此變化例中，在提取之檔案中的各元件之無損減少表示中，識別相對於元件已被減少之特殊子篩的欄包含該子篩之名稱，而取代其中駐存該子篩於其上之模組或節點的號碼。因此，從屬號碼欄係由子篩名稱欄所置換。此具有藉由其虛擬位址而非該模組的號碼或該子篩所駐存之實體節點，以指出相關聯之子篩的益處。因此，如在第12O圖中可以看出的是，在保持PDS_1或具有名稱A_I的子篩之從屬節點1處的從屬模組1接收具有名稱BCD...的候選元件1252，其被決定為已存在於具有名稱A_I的子篩中之元件的複製品，其中PDS_1或具有名稱A_I的子篩包含具有承載A至I範圍中之值的名稱之前導位元組的主要資料元件。從屬模組1回報無損減少表示1254，其包含元件係主要的且係以位址refPDE1駐存在具有名稱A_I的子篩中之指示符。
應注意的是，藉由使用第12L至12O圖中所 描述的配置，可增加資料提取處理之整體輸貫率。在主模組之輸貫量現將受到來自該主模組的候選元件之輕質的剖析及調度所限制。用於眾多候選元件的提取將並聯地執行，只要它們的內容引導它們至不同的從屬模組即可。
為了要提升整體輸貫量，用以識別那一個子篩應接收候選元件的輸入流之輕質剖析及因子分解的任務可予以並行。此任務可由主模組分區成為多個同時發生的任務，而藉由運轉於多個從屬節點上之該等從屬模組予以並聯地執行。此可藉由在資料流中先行，及切片該資料流成為多個部分重疊片段，而予以實現。該等片段係由主模組傳送至從屬模組的各者，其並聯地履行輕質的剖析及因子分解，且傳送因子分解的結果回到主模組。該主模組橫跨該等片段之各者的邊界而解析因子分解，且然後，使該等候選元件路由至適當的從屬模組。
第12L至12O圖描繪其中資料提取設備藉運轉於主節點上之主提取模組，及運轉於從屬節點上之多個從屬提取模組，而以分佈式方式操作的配置。該主模組係負責履行橫跨各種子篩之主要資料元件的分區。在所示的配置中，將被攝取的所有檔案係由主模組所攝取，且無損減少之提取的檔案係保留在主模組處，而所有主要資料元件(及任何主要重建程式)駐存在各種從屬模組的子篩中。用於檔案的資料擷取請求亦係由主模組所處理，以及對應之提取檔案的重建係由主模組所協調。第12P圖描繪其中輸入檔案可由從屬提取模組的任一者所攝取(且對應 之提取檔案保留於該等模組處)，以及資料擷取請求可由該等從屬提取模組的任一者所處理之變化例。主模組以相同方式持續履行橫跨該等子篩之主要資料元件的分區，以致使橫跨該等子篩之主要資料元件的分佈將與在第12L至12O圖中所示的配置之中相同。惟，在第12P圖中所示之新的配置中，係使各從屬模組都知道分區，因為各從屬模組均可攝取和擷取資料二者。此外，在藉由該等模組之資料的攝取時，使所有模組知道所創造及所儲存在該等模組的各者處之提取檔案的存在和位置。此允許任何從屬模組滿足用於被儲存在整個系統中之該等檔案之任一者的資料擷取請求。
如第12P圖中所示，該等從屬模組的各者可從分佈式儲存系統攝取和擷取資料。例如，從屬提取模組1 1270攝取輸入檔案I 1271且執行輕質的剖析以因子分解該輸入檔案I，並使候選元件路由至包含對應來自輸入檔案I之各候選元件的名稱之子篩的模組。例如，來自輸入檔案I的候選元件1275被傳送至從屬提取模組2 1279。同樣地，從屬提取模組2 1279攝取輸入檔案II且履行輕質的剖析以因子分解該輸入檔案II，並使候選元件路由至包含對應來自輸入檔案II之各候選元件的名稱之子篩的模組。例如，來自輸入檔案II的候選元件1277被傳送至從屬提取模組1 1270。該等從屬提取模組之各者處理它們所接收到的候選元件，相對於它們的子篩而完成提取處理，以及回報候選元件的無損減少表示回到攝取該資 料的啟動模組。例如，回應於自從屬提取模組1 1270接收來自輸入檔案I的候選元件1275，從屬提取模組2 1279回報無損減少元件1276至從屬提取模組1 1270。同樣地，回應於自從屬提取模組2 1279接收來自輸入檔案II的候選元件1277，從屬提取模組1 1270回報無損減少元件1278至從屬提取模組2 1279。
在此配置中，資料的擷取可在任一從屬模組處得到滿足。接收到該擷取請求的模組需首先決定用於該請求之檔案的提取檔案駐存何處，且自對應的從屬模組取得該提取檔案。隨後，啟動的從屬模組需協調該提取檔案中之各種元件的分佈式重建，用以產生原始檔案且將它交付至請求的應用程序。
在此方式中，資料提取(Data Distillation)處理可以以分佈式方式橫跨分佈式系統的多個節點，而被執行，用以更有效地駕馭群集中的眾多電腦之總體的計算、記憶體、及儲存容量。在該系統中的所有節點可被使用以攝取及擷取資料。此應致能非常高的資料攝取及擷取速率，而充分利用系統中的該等節點之總體組合的儲存容量。此亦允許運轉於系統中之任一節點上的應用，可在局部節點處對於儲存在該系統中之任何處的任何資料做成查詢，並使該查詢有效率地且無縫地獲得滿足。
在第12M至12P圖中所描述的配置中，橫跨駐存在系統之各種節點中的子篩之資料的分區係根據全盤可見的名稱空間而定，其中元件係藉由因子分解輸入檔案 而被提取。在替代的配置中，共享某一元資料之檔案的資料批量或整個群組可被指定及儲存在特殊的節點上。因此，整體資料的主要分區係根據資料批量而定，且係由主模組所履行及管理。所有的從屬模組係保持知道資料批量對模組的配置。資料批量將整體地駐存在給定的從屬模組上。在運轉於該從屬節點上的提取從屬模組上之子篩將包含屬於此資料批量的主要資料元件。換言之，用於給定之資料批量的所有主要元件之整個樹狀物將完全地駐存在單一提取從屬模組內的單一子篩上。用於給定之資料批量的所有提取檔案亦將駐存在同一從屬提取模組上。使用此配置，輸入檔案仍可由該等從屬提取模組的任一者所攝取，且資料擷取請求仍可由該等從屬提取模組的任一者所處理。惟，用於給定之資料批量的整個資料提取處理完全地執行於包含該資料批量的模組上。用於資料攝取及資料擷取的請求係從啟動模組路由至特殊的從屬模組，其係指定用以保持特殊的資料批量。此解決方法具有當因子分解及提取資料批量時降低通訊開銷的好處。冗餘不再橫跨整體全面的資料足跡而被利用，而是在資料批量內被有效率地局部利用。該解決方法仍使用分佈式系統之組合的儲存容量，並提供無縫式能力用以查詢、攝取、及擷取來自系統之任一節點的任何資料。
因此，使用上文所敘述之眾多技術，有效率的使用係由分佈式系統中之資源所做成，而以很高的速率在非常大的資料集上執行資料提取。
資料減少係使用在此所敘述之實施例而被履行於各種真實世界的資料集上，用以決定該等實施例的效用。所研究之真實世界的資料集包含安隆電子郵件、各種美國政府記錄及文獻、進入至MongoDB NOSQL資料庫之美國運輸部門記錄、及提供給公眾的PowerPoint演講稿。使用在此所敘述之實施例，且因子分解輸入的資料成為平均4KB之可變尺寸的元件(具有由指紋圖譜所決定的邊界)，3.23倍之平均資料減少係在該等資料集的範圍取得。3.23倍之減少意指的是，所減少資料之尺寸係等於原始資料的尺寸除以3.23，而導致具有31%的壓縮比之減少的足跡。傳統的重複資料刪除技術被發現使用等效的參數而在該等資料集上交付1.487倍之資料減少。使用在此所敘述之實施例，且因子分解輸入的資料成為平均4KB之固定尺寸的元件，1.86倍之平均資料減少係在該等資料集的範圍取得。傳統的重複資料刪除技術被發現使用等效的參數而在該等資料集上交付1.08倍之資料減少。因此，資料提取(Data DistillationTM)解決方法被發現比傳統重複資料刪除解決方法交付顯著更佳的資料減少。
測試運轉亦證實的是，主要資料元件之小的子集之位元組用以排列多數的元件於篩之中，而藉以致能用於其操作所需之最小增量儲存的解決方法。
結果證實的是，資料提取(Data DistillationTM)設備有效率地致能以比元件本身更細的粒度，全盤地利用整個資料集的範圍之資料元件中的冗餘。 由此方法所交付的無損資料減少係以經濟的資料存取和IO，採用其本身所需之最小增量儲存的資料結構，以及使用可用於現代多核心微處理器之總計算處理功率的一部分達成。在之前的段落中所敘述之實施例賦予系統及技術之特徵，該等系統及技術之特徵在於，執行無損資料減少於大且極大的資料集之上，且同時提供高速率的資料攝取和資料擷取，而不會遭遇到習知技術的缺點及限制。
藉由自駐存於主要資料篩中之主要資料元件取得資料而在已被無損減少的資料上履行內容相關搜尋及擷取
在前文中所敘述且在第1A至12P圖中所描繪的資料提取(Data Distillation)設備可以以某些特徵強化，以便有效率地履行來自以無損減少格式儲存的資料之資訊的多維搜尋和內容相關擷取。該多維搜尋和內容相關擷取係用於分析學或資料倉儲應用的關鍵性建築區塊。現將敘述該等強化。
第13圖顯示與第3H圖中所描繪之結構相似的葉狀節點資料結構。惟，在第13圖中，在用於各主要資料元件之葉狀節點資料結構中的登錄被增強，用以包含對提取資料中之所有元件的參考資料(其亦將被稱做反向參考資料或反向鏈路)，其包含對該特殊主要資料元件的參考資料。回顧一下，資料提取(Data Distillation)方案因子分解來自輸入檔案之資料成為一序列的元件，其係使用諸如第1H圖中所描述之該者的規格而被以減少格式安 置在提取檔案中。在該提取檔案中具有兩種元件---主要資料元件及取得物元件。用於該提取檔案中之該等元件的各者之規格將包含對駐存在主要資料篩中之主要資料元件的參考資料。對於該等參考資料(從提取檔案中之元件到主要資料篩中之主要資料元件)的各者，將具有被安裝在葉狀節點資料結構中的對應反向鏈路或反向參考資料(來自用於葉狀節點資料結構中之主要資料元件到提取檔案中之元件的登錄)。該反向參考資料決定提取檔案內的偏移量，其標示元件之無損減少表示的開始。在某些實施例中，該反向參考資料包含提取檔案的名稱，及在該檔案內之定位元件開始的偏移量。如第13圖中所示地，伴隨著提取檔案中之各元件的反向參考資料，該葉狀節點資料結構亦保持指示符，其識別正在提取檔案中被提及的元件是否係主要資料元件(主要的)，或它是否係取得物元件(取得的)。在提取處理之期間，該等反向鏈路係例如，元件被安置至提取檔案內，以及當元件被安置至提取檔案之內時，安裝至葉狀節點資料結構內。
該反向參考資料或反向鏈路係設計作為萬向把手，其可到達共享主要資料篩之所有提取檔案中的所有元件。
反向參考資料的添加並不期望要對所獲得的資料減少發生顯著的影響，因為資料元件尺寸係預期將被選擇，以致使各參考資料係資料元件之尺寸的一小部分。例如，考慮其中取得物元件被限制為各自取得不超過1主 要資料元件的系統(所以不允許多個元件之取得物)。橫跨所有葉狀節點資料結構之反向參考資料的總數將等於所有提取檔案之元件的總數。假設32GB大小的取樣輸入資料集係使用1KB之平均元件尺寸，及產生4倍的減少比率，而被減少為8GB的無損減少資料。在該資料中具有32M個元件。若各反向參考資料的尺寸係8B時，則由該等反向參考資料所占有的總空間係256MB，或0.25GB。此對8GB足跡的減少資料係小的增加。新的足跡將係8.25GB，且所獲得的有效減少將係3.88倍，其代表3%之減少的損失。此係對於在減少資料上之有力的內容相關資料擷取之好處所付出的很小代價。
如在此文獻中所稍早描述地，提取設備可使用各種方法，用以決定候選元件的內容之內的骨架資料結構之各種組件的位置。該元件的骨架資料結構之各種組件可被視為維，以致使各元件之內容的其餘部分所跟隨之該等維的級聯被使用以創建各元件的名稱。該名稱係使用以在樹狀物中排列及組織主要資料元件。
在其中輸入資料的結構係已知的使用模型中，輪廓界定各種欄或維。該輪廓係由正在使用此內容相關資料擷取設備的分析應用程序所供給，且係透過對該應用之介面而被提供至該設備。根據該輪廓中的宣告，提取設備的剖析器能剖析候選元件的內容以偵測及找出各種維，且創造該候選元件的名稱。如稍早所描述地，在對應於該等維之欄中具有相同內容的元件將沿著樹狀物之相同 的腿，而被組群在一起。對於被安裝至篩內的各主要資料元件，在該等維上之資訊可被儲存做為用於葉狀節點資料結構中的該主要資料元件之登錄中的元資料。此資訊可包含在所宣告之維的各者處之內容的位置、尺寸、和值，且可被儲存在第13圖中之被稱作“用於主要資料元件之其他元資料”的欄之中。
第14A圖描繪依據在此所敘述之一些實施例的取樣輪廓，其提供輸入資料集之結構的說明及輸入資料集之結構與維間之對應關係的說明。結構說明1402係描述輸入資料的完整結構之更完整輪廓的摘錄或一部分。結構說明1402包含關鍵字列表(例如，“PROD_ID”、“MFG”、“MONTH”、“CUS_LOC”、“CATEGORY”、及“PRICE”)，由對應該關鍵字之值的類型所跟隨。冒號“：”係使用做為用以分開該關鍵字與值的類型之定界符，分號“；”係使用做為用以分開獨特配對之關鍵字與值的對應類型之定界符。應注意的是，該完整的輪廓(其中結構1402係一部件)可指明用以識別各輸入的開始及結束之額外的欄，且亦可指明維之外的其他欄。維映像說明1404描述被使用以組織主要資料元件的維如何映像至結構化之輸入資料集的關鍵值。例如，在維映像說明1404中的第一行指明的是，對應於輸入資料集中的關鍵字“MFG”之值的最初四個位元組(因為第一行以正文“prefix(字首)=4”結束)係使用以創造維1。在維映像說明1404中之其餘的行描繪如何根據結構化 之輸入資料而創造其他三個維。在對維之關鍵字的此映像中，當關鍵字出現在輸入時之它們的排列無需一定要與該等維的排列匹配。使用所提供的輪廓說明，剖析器可辨識輸入資料中的該等維，而創造出候選元件的名稱。對於第14A圖中的實例，及使用維映像說明1404，候選元件的名稱將被如下地創造出---(1)名稱的最初四個位元組將係來自對應於被宣告為維1的關鍵字“MFG”之值的最初四個位元組，(2)名稱的其次四個位元組將係來自對應於被宣告為維2的關鍵字“CATEGORY”之值的最初四個位元組，(3)名稱的接著三個位元組將係來自對應於被宣告為維3的關鍵字“CUS_LOC”之值的最初三個位元組，(4)名稱的接著三個位元組將係來自對應於被宣告為維4的關鍵字“MONTH”之值的最初三個位元組，(5)名稱的下一組位元組將包含來自該等維之其餘部分之位元組的級聯，以及(6)最後，在耗盡該等維的所有位元組之後，名稱之剩餘部分的位元組將由候選元件之其餘部分之位元組的級聯所創造。
由驅動此設備之應用程序所供給的輪廓可指明主要維的數目以及次要維的數目。用於所有該等主要及次要維的資訊可被保留在葉狀節點資料結構中的元資料之中。該等主要維係使用以形成主軸，篩中之元件係沿著該主軸而被排序及組織。若主要維被耗盡以及具有大的全體成員之子樹狀物仍保持時，則次要維亦可在樹狀物內的更深處被使用，用以進一步子劃分該等元件成為較小的組 群。在次要維上之資訊可被保留做為元資料，且亦可被使用做為用以區分葉狀節點內之元件的次要規範。在提供內容相關多維搜尋及擷取的一些實施例中，可設置所有輸入資料必須包含用於由輪廓所宣告之維的各者之關鍵字和有效值的要求。此允許系統中用以確保僅只有效的資料進入篩中之所欲的子樹狀物之方式。不包含被指明當作維之所有欄，或包含無效值於對應用於維的欄之值中的候選元件，將如在第3E圖中所稍早描繪地被傳送至不同的子樹狀物。
資料提取設備係以一附加方式約束，以便根據維中的內容而全面支援資料的內容相關搜尋及擷取。當取得物元件係離主要資料元件而被創造時，提取器被約束以確保該主要資料元件與該取得物元件二者在用於對應維之各者的值欄中，具有完全相同的內容。因此，當正在創建取得物元件時，並不允許重建程式擾動或修正對應於主要資料元件之該等維的任一者之值欄中的內容，以便建構取得物元件。考慮到候選元件，在篩的查找期間，若該候選元件在該等維的任一者中具有與目標主要資料元件之對應維相較之不同的內容時，則必須安裝新的主要資料元件而不是接受取得物。例如，若主要維的子集在樹狀物中充分地排序元件成為不同的組群，以致使候選元件到達葉狀節點而發現在主要維的此子集中具有相同內容，但在剩餘主要維或次要維中具有不同內容的主要資料元件時，則必須安裝新的主要資料元件以取代創建取得物。此特徵確保 的是，所有資料可藉由單純地詢問主要資料篩，而使用該等維來加以搜尋。
提取器可使用各種實施技術以施行的是，候選元件與主要資料元件必須在用於對應維之各者的值欄中，具有完全相同之內容的約束。提取器可從主要資料元件之骨架資料結構提取包含對應於該等維的欄之位置、長度、及內容的資訊。同樣地，此資訊係接收自剖析器/因子分解器，或被計算用於候選元件。接著，可針對相等性而比較來自候選元件及主要資料元件之用於維的對應之欄。一旦被確認為相等，提取器可以以來歷的其餘部分進行。若不具有相等性時，則將候選元件安裝於篩中做為新的主要資料元件。
上文所敘述之該等限制並不預期要顯著地阻礙用於大部分使用模型之資料減少的程度。例如，若輸入資料包含一組元件，其係各自1000個位元組尺寸的資料倉儲交易時，且若6個主要維及14個次要維之組係由輪廓所指明，而各自具備例如，每維8個位元組之資料時，則由該等維處之內容所占有的總位元組係160個位元組。當創建取得物時，在該等160個位元組上並不允許擾動。此仍將留下剩餘之840個位元組的候選元件資料可用於擾動以創建取得物，而藉以留下充分機會以供冗餘的開發之用，且同時使來自資料倉儲的資料能以內容相關方式使用該等維而被搜尋及擷取。
為了要執行用於資料的搜尋查詢，而該資料 包含用於該等維中之欄的特定值，該設備可遍歷樹狀物且到達與所指明的該等維匹配之該樹狀物的節點，以及在該節點之下面的所有葉狀節點資料結構可被回報當作查找的結果。如果需要時，存在於葉狀節點處之對主要資料元件的參考資料可被使用以取得所需之主要資料元件。如果需要的話，反向鏈路可致能從提取檔案之輸入資料(在無損減少之格式中)的擷取。該元件可被隨後重建，用以產生原始輸入資料。因而，該強化之設備允許在主要資料篩(其係總資料之較小的子集)中的資料上做完所有的搜尋，且同時能達到並擷取所需之所有的取得物元件。
所強化之設備可被使用以根據由查詢所指明之維中的內容，而施行用於資料的相關聯子集之強力搜尋及擷取的搜尋及查找查詢。內容相關資料擷取查詢將具有“取得(維1，維1之值；維2，維2之值；...)”的形式。該查詢將指明在搜尋中所包含之該等維，以及將被使用於內容相關搜尋及查找之所指明維的各者之值。查詢可指明所有該等維，或它可僅指明該等維的子集。該等查詢可根據多個維而指明合成情形，做為用於搜尋及擷取的規範。具有用於所指明的維之所指明的值之篩中的所有資料將被擷取。
各種取得查詢可被支援至，且可用於正在使用此內容相關資料擷取設備的分析應用程序。該等查詢將透過來自該應用的介面而被供給至該設備。該介面提供來自應用的查詢至設備，且回報來自該設備之查詢的結果至 該應用。首先，取得參考資料(FetchRefs)之查詢可被使用以取得對第13圖中之葉狀節點資料結構的參考資料或把手(伴隨著子ID或登錄之索引)，以供匹配該查詢的各主要資料元件之用。取得元資料(FetchMataData)之第二形式的查詢可被使用以自第13圖中之葉狀節點資料結構中的登錄取得元資料(包含骨架資料結構、在維上之資訊、及對主要資料元件之參考資料)，以供匹配該查詢的各主要資料元件之用。取得PDE(FetchPDEs)之第三形式的查詢將取得匹配搜尋規範的所有主要資料元件。取得提取元件(FetchDistilledElements)之另一形式的查詢將取得提取檔案中之匹配搜尋規範的所有元件。取得元件(FetchElements)之又一形式的查詢將取得輸入資料中之匹配搜尋規範的所有元件。應注意的是，對於取得元件(FetchElements)之查詢，設備將先取得提取元件，且然後，重建相關聯的提取元件成為來自輸入資料的元件，並回報該等者做為查詢的結果。
除了該等多維的內容相關取得基元之外，該介面亦可對應用程序提供用以直接存取主要資料元件(使用對主要資料元件的參考資料)，及提取之檔案中的元件(使用對元件的反向參考資料)之能力。此外，該介面亦可對應用程序提供用以重建提取之檔案中的提取元件(給定參考資料至該提取元件)，且交付有如存在於輸入資料中之元件的元件之能力。
該等查詢之明智的組合可由分析應用程序所 使用，用以執行搜尋、決定相關聯的結合和交集、以及搜集重要的見解。
下文所解說之第14B圖描繪具有在結構說明1402中所描述之結構的輸入資料集之實例。在此實例中，包含在檔案1405中的輸入資料包含電子商務交易。該輸入資料係使用第14A圖中的輪廓及維宣告，而藉由資料提取設備中之剖析器轉換成為一系列的候選元件1406。請注意各候選元件的名稱之前導位元組如何包含來自維的內容。例如，用於候選元件1的名稱1407之該等前導位元組係PRINRACQNYCFEB。該等名稱被使用於以樹狀形式組織該等候選元件。在完成資料減少之後，提取資料係安置在提取檔案1408中。
下文所解說之第14C圖描繪維映像說明1404可如何被使用以依據結構說明1402而剖析第14A圖中所描繪的輸入資料集，依據維映像說明1404而決定維，及根據所決定的維而以樹狀物組織主要資料元件。在第14C圖中，主要資料元件係使用從4個維所取得之總計14個字符，而被組織於主樹狀物中。在主樹狀物中所顯示的係用於各種主要資料元件之葉狀節點資料結構的一部分。應注意的是，為方便觀看的目的，並未顯示第13圖之完整的葉狀節點資料結構。惟，第14C圖顯示葉狀節點資料結構中之各登錄的路徑資訊或名稱，子ID，從主要資料元件到提取檔案中之元件的所有反向參考資料或反向鏈路，伴隨有在提取檔案中之元件是否係“主要的”(由P所指 示)或“提取的”(由D所指示)的指示符，且亦顯示對主要資料元件的參考資料。第14C圖顯示被映像至主樹狀物中的5個主要資料元件之提取檔案中的7個元件。在第14C圖中，用於具備名稱PRINRACQNYCFEB之主要資料元件的反向鏈路A意指提取檔案中之元件1。另一方面，具備名稱NIKESHOELAHJUN之主要資料元件分別具有對元件2、元件3、及元件58的3個反向鏈路B、C、及E。應注意的是，元件3及元件58係元件2的取得物。
第14D圖顯示由維所創造出之用以增進搜尋效率的輔助索引或輔助樹狀物。在此實例中，所創造出之輔助映像樹狀物係根據維2(其係CATEGORY)而定。藉由直接遍歷此輔助樹狀物，可發現到輸入資料中之給定CATEGORY的所有元件，而沒有可在其他方面所招致的耗費更大之主樹狀物的遍歷。例如，由“SHOE”所指示之腿的向下遍歷直接導致用於其係ADIDSHOESJCSEP及NIKESHOELAHJUN之鞋的兩個主要資料元件。
選擇性地，該輔助樹狀物可根據次要維而定，且可被使用以輔助使用該等維之搜尋的迅速收斂。
現將提供施行在第14D圖中所示的設備上之查詢的實例。查詢取得PDE(Query FetchPDEs)(維1，NIKE；)將回報兩個命名為NIKESHOELAHJUN及NIKEJERSLAHOCT的主要資料元件。查詢取得提取元件(Query FetchDistilledElements)(維1，NIKE；)將回報元件2、元件3、元件58、及元件59，其將係無損減少 格式的提取元件。查詢取得元件(Query FetchElements)(維1，NIKE；維2，SHOE)將回報來自輸入資料檔案1405的交易2、交易3、及交易58。查詢取得元資料(Query FetchMetadata)(維2，SHOE)將回報儲存在葉狀節點資料結構登錄中之用於命名為ADIDSHOESJCSEP及NIKESHOELAHJUN的兩個主要資料元件之各者的元資料。
到目前為止所描述的設備可使用以根據被指明於稱作維之欄中的內容，而支援搜尋。此外，該設備可使用以根據不包含於該等維的表列中之關鍵字的表列，而支援搜尋。該等關鍵字可藉由正在驅動設備之諸如搜尋引擎的應用程序，而被提供至設備。該等關鍵字可經由輪廓宣告而被指明至設備，或可經由包含所有關鍵字的列表而被傳入，該所有關鍵字係各自藉由所宣告的分隔符(諸如，空格、逗號、或換行符)而予以分離。選擇性地，輪廓及關鍵字列表二者可被使用以共同地指明所有該等關鍵字。大量的關鍵字可被指明---該設備安置關鍵字的數目沒有限制。該等搜尋關鍵字將被稱作關鍵字(Keywords)。該設備可保持反向索引以供使用該等關鍵字的搜索之用。對於各關鍵字，該反向索引包含對包含此關鍵字之提取檔案中的元件之反向參考資料的表列。
根據在輪廓或關鍵字列表中的關鍵字宣告，提取設備之剖析器可剖析候選元件的內容，用以偵測出且定位輸入之候選元件中的各種關鍵字(是否以及何處發 現)。之後，該候選元件係藉由資料提取設備而被轉換成為主要資料元件或取得物元件，且被安置做為提取檔案中的元件。在此元件中所發現之用於關鍵字的反向索引可以以對該提取檔案中之此元件的反向參考資料更新。對於在該元件中所發現的各關鍵字，反向索引被更新用以包含對該提取檔案中之此元件的反向參考資料。回顧一下，在提取檔案中之元件係以無損減少表示。
在使用關鍵字之資料的搜尋查詢時，反向索引被諮詢用以發現及提取對包含此關鍵字的提取檔案中之元件的反向參考資料。使用對該元件的反向參考資料，可擷取該元件的無損減少表示，且可重建該元件。所重建之元件可接著被提供做為該搜尋查詢的結果。
反向索引可被強化用以包含找出所重建之元件中的關鍵字之偏移量的資訊。應注意的是，在候選元件中所偵測出之各關鍵字的偏移量或位置可由剖析器所決定，且因而，此資訊亦可在安置對提取檔案中之元件的反向參考資料至反向索引之內時，被記錄在該反向索引中。於搜尋查詢時，在諮詢反向索引以擷取對包含相關聯關鍵字的提取檔案中之元件的反向參考資料之後，以及在重建該元件後，可使用所重建的元件(與原始輸入的候選元件相同)中之記錄的關鍵字之偏移量或位置，用以查明該關鍵字存在於輸入資料或輸入檔案中的何處。
第15圖描繪用以促成根據關鍵字之搜尋的反向索引。對於各關鍵字，該反向索引包含配對的值---第一 值係對包含該關鍵字的提取檔案中之無損減少元件的反向參考資料，以及第二值係在重建之元件中的該關鍵字之偏移量。
維及關鍵字具有對資料提取設備中的主要資料篩之不同的含意。應注意的是，維係使用做為用以組織篩中之主要資料元件的主軸。維形成資料中之各元件的骨架資料結構。該等維係根據輸入資料之結構的知識而被宣告。提取器係約束使得被創造出之任何取得物元件，必須具有與用於對應維之各者的欄之值中的主要資料元件完全相同的內容。
該等性質無需保持以供關鍵字之用。在某些實施例中，並不具有關鍵字存在於資料中的先驗需求，亦不具有需根據關鍵字而被組織的主要資料篩，且不具有有關涉及包含關鍵字的內容之來歷所約束的提取器。如果有必要的話，提取器可藉由修正關鍵字的值而從主要資料元件自由創造出取得物。關鍵字的位置係單純地記錄在當掃描輸入資料時可被找到之處，且反向索引被更新。在根據關鍵字之內容相關搜尋時，可查詢反向索引及獲得關鍵字的所有位置。
在其他實施例中，並不要求關鍵字存在於資料中(沒有關鍵字在資料中不會使該資料無效)，但要求主要資料篩包含含有關鍵字的所有元件，且以有關包含含有關鍵字之內容的來歷約束提取器---並不允許除了減少複製品之外的來歷。該等實施例的目的在於，包含任何關鍵 字之所有不同的元件必須存在於主要資料篩之中。此係其中支配主要資料之選定的規則應以關鍵字做為條件的實例。在該等實施例中，對於各關鍵字，可創造出修正的反向索引，其包含對含有關鍵字之各主要資料元件的反向參考資料。在該等實施例上，可實現有力之關鍵字為基的搜尋能力，其中僅搜尋主要資料篩係與搜尋整個資料一樣地有效。
可存在其中提取器係約束使得重建程式不被允許擾動或修正主要資料元件中所找到之任何關鍵字的內容，以便制定候選元件做為該主要資料元件之取得物元件的其他實施例。關鍵字必須不被改變地從主要資料元件傳播至取得物。若提取器需修正主要資料元件中所找到之任何關鍵字的位元組，以便成功地制定候選元件做為此主要資料元件的取得物時，則該取得物可不被接受，且該候選者必須被安裝在篩中做為新的主要資料元件。
該提取器可以以有關包含關鍵字之來歷的種種方式約束，使得支配主要資料之選定的規則係以關鍵字做為條件。
用於使用關鍵字之資料搜尋的設備可接受對關鍵字之表列的更新。關鍵字可相對於以無損減少形式儲存的資料而被添加，無需任何改變。當添加新的關鍵字時，新的輸入資料可針對更新的關鍵字列表而被剖析，且以該輸入資料更新的反向索引被隨後以無損減少形式儲存。若現有資料(其係已以無損減少形式儲存)須針對新 的關鍵字而被要索引時，則設備可在提取檔案中逐步地讀取(一次一或多個提取檔案，或一次一個無損減少批量)，重建原始檔案(但不擾亂無損減少的儲存資料)，以及剖析所重建之檔案以更新反向索引。此時，整個資料儲存庫可持續保持以無損減少形式儲存。
第16A圖描繪輪廓宣告，其係第14A圖中所示之輪廓的變化例。第16A圖中之輪廓包含次要維1609的宣告及關鍵字1610的表列。第16B圖描繪具有在結構說明1602中所描述之結構的輸入資料集1611之實例，其係根據所宣告之主要維而被剖析及轉換成為一組具有名稱的候選元件。該等候選元件被轉換成為提取檔案1613中之元件。次要維的宣告“PROD_ID”在提取器上安置約束，以致使候選元件58不可從主要資料元件“具有PROD_ID=348之NIKESHOELAHJUN”取得，且因此，一額外的主要資料元件“具有PROD_ID=349之NIKESHOELAHJUN”被創造於主要資料篩中。雖然該輸入資料集係與第14B圖中所示之該者相同，但提取的結果係產生7個提取元件，但產生6個主要資料元件。第16C圖顯示提取檔案，主樹狀物，及被創造做為提取處理之結果的主要資料元件。
第16D圖描繪被創造用於次要維“PROD_ID”的輔助樹狀物。遍歷具有特定PROD_ID值的此樹狀物將引導具有該特殊PROD_ID的主要資料元件。例如，取得PDE(FetchPDEs)(維5，251)的查詢，或選擇性 地，要求具有PROD_ID=251的主要資料元件之取得PDE(FetchPDEs)(PROD_ID，251)的查詢將產生主要資料元件WLSBALLLAHNOV。
第16E圖描繪被創造用於第16A圖結構1610中所宣告之3個關鍵字的反向索引(標記為用於關鍵字1631的反向索引)。該反向索引係在剖析及消耗輸入資料集1611之後更新。取得提取元件(FetchDistilledElements)(關鍵字，Federer)的查詢將使用該反向索引以回報元件2、元件3、及元件58。
第17圖顯示做為增強內容相關資料擷取之整體設備的方塊圖。內容相關資料擷取引擎1701以包含用於資料之維的輪廓1704或結構定義提供資料提取設備。 它亦以關鍵字列表1705提供該設備。它從該提取設備發出用於資料之搜尋及擷取的查詢1702，且接收該等查詢的結果作為結果1703。提取器110被增強以注意到該等維的宣告，而當創造取得物時，阻止該等維的位置處之內容的修正。應注意的是，來自葉狀節點資料結構中之登錄的對提取檔案中之元件的反向參考資料，係儲存在主要資料篩106中的葉狀節點資料結構中。同樣地，輔助索引亦係儲存在主要資料篩106中。反向索引1707亦被顯示，其係當元件正被寫入至提取資料時，藉由提取器110以反向參考資料1709更新。此內容相關資料擷取引擎與其他的應用程序(諸如分析，資料倉儲，及分析應用)互動，而以所施行之查詢的結果提供它們。
綜上所述，增強的資料提取設備在以無損減少形式儲存之資料上致能強力的多維內容相關搜尋及擷取。
上述說明係提出用以使熟習本項技藝之任何人士能做成及使用該等實施例。對所揭示之實施例的各種修正將立即呈明顯於熟習本項技藝的該等人士，且在此所界定的一般原理可應用至其他的實施例及應用，而不會背離本發明之精神和範疇。因此，本發明不應受限於所顯示之實施例，而是應依據與在此所揭示的原理及特徵一致之最廣義的範圍。
在此發明中所敘述之該等資料結構及代碼可被部分地，或完全地儲存在電腦可讀取之儲存媒體及/或硬體模組及/或硬體設備上。電腦可讀取之儲存媒體包含，但並未受限於揮發性記憶體、非揮發性記憶體、諸如碟片驅動器之磁性及光學儲存裝置、磁帶、CD(小型光碟)、DVD(數位多功能碟片或數位視頻碟片)、或目前所已知或爾後將發展之能儲存代碼及/或資料的其他媒體。在此發明中所敘述之硬體模組或設備包含，但並未受限於應用特定積體電路(ASIC)、可場編程之閘陣列(FPGA)、專用或共享之處理器、及/或目前所已知或爾後將發展之其他的硬體模組或設備。
在此發明中所敘述之該等方法及處理可被部分地，或完全地實施為被儲存在電腦可讀取之儲存媒體或裝置中的代碼及/或資料，使得當電腦系統讀取及執行該 代碼及/或資料時，該電腦系統可履行相關聯的方法及處理。該等方法及處理亦可被部分地，或完全地實施於硬體模組或設備中，使得當該等硬體模組或設備被啟用時，它們可履行相關聯的方法及處理。應注意的是，該等方法及處理可使用代碼、資料、及硬體模組或設備的組合而實施的。
本發明之實施例的上述說明僅被呈現以供描繪及說明的目的之用。它們並不打算要變成包羅無遺的，或要限制本發明至所揭示的形式。因而，許多修正和變化將呈明顯於熟習本項技藝之從業者。此外，上述之揭示並不打算要限制本發明。
102‧‧‧輸入資料
103‧‧‧資料減少設備
104‧‧‧剖析器及因子分解器
105‧‧‧候選元件
106‧‧‧資料提取篩或主要資料儲存
107‧‧‧主要資料元件
108‧‧‧提取的資料
109‧‧‧擷取請求
110‧‧‧提取器
111‧‧‧擷取器
112‧‧‧重建器
113‧‧‧擷取資料輸出
114‧‧‧更新
115‧‧‧減少資料組件
116‧‧‧重建之資料
119A‧‧‧重建程式
121‧‧‧內容相關映像器
1701‧‧‧內容相關資料擷取引擎
1702‧‧‧查詢
1703‧‧‧結果
1705‧‧‧關鍵字列表
1707‧‧‧反向索引
1709‧‧‧反向參考資料

Claims (17)

  1. 一種非暫時性電腦可讀取儲存媒體，用以儲存指令，當由電腦所執行時，其致使該電腦履行用以在無損減少資料上執行搜尋查詢的方法，該方法包含：無損減少輸入資料，用以獲得該無損減少資料，其中該無損減少該輸入資料包含：因子分解該輸入資料成為元件之集，且對於各元件，根據從該元件之一或多個欄提取之一或多維而決定第一名稱，藉由使用該第一名稱以透過資料結構導航而識別一或多個主要資料元件，其中該資料結構根據主要資料元件的名稱而組織該等主要資料元件，及使用該一或多個主要資料元件以無損減少該元件，其中該使用該一或多個主要資料元件以無損減少該元件進一步包含根據該元件及該一或多個主要資料元件而決定重建程式，以致使(i)該重建程式可從該一或多個主要資料元件重建該元件，以及(ii)當重建該元件時，該重建程式不能修正對應於該一或多維之該一或多個主要資料元件的部分；根據該搜尋查詢而決定第二名稱；以及藉由根據該第二名稱而透過該資料結構導航以執行該搜尋查詢，用以獲得搜尋結果。
  2. 如申請專利範圍第1項之非暫時性電腦可讀取儲 存媒體，其中該搜尋結果包含以下之一或多者：(1)在該資料結構中之一或多個節點，(2)與在該資料結構中之一或多個節點相關聯的元資料，(3)主要資料元件之集，(4)該無損減少資料之一或多個部分，(5)該輸入資料之一或多個部分，或(6)沒有匹配結果被發現的通知。
  3. 如申請專利範圍第1項之非暫時性電腦可讀取儲存媒體，其中該資料結構係樹狀資料結構，其中透過該資料結構導航包含在該樹狀資料結構中遍歷邊緣之序列，其中在該等邊緣之序列中的各邊緣對應名稱的一部分，以及其中被使用以導航至該樹狀資料結構中之節點的該名稱之各部分，對應被植根於該節點處的子樹狀物內之所有主要資料元件中所存在的內容。
  4. 如申請專利範圍第1項之非暫時性電腦可讀取儲存媒體，其中對於各主要資料元件，該資料結構包含對使用該主要資料元件而被減少的該無損減少資料中之元件的參考資料。
  5. 如申請專利範圍第1項之非暫時性電腦可讀取儲存媒體，其中該使用該一或多個主要資料元件以無損減少該元件進一步包含產生該元件的無損減少表示，其中該無損減少表示包含對該一或多個主要資料元件中之各主要資料元件的參考資料，及該重建程式的說明。
  6. 如申請專利範圍第1項之非暫時性電腦可讀取儲存媒體，其中該使用該一或多個主要資料元件以無損減少 該元件進一步包含：回應於(i)對該一或多個主要資料元件之參考資料的尺寸，與(ii)重建程式之說明的尺寸之總和小於該元件的尺寸之臨限值部分的決定，而產生該元件的第一無損減少表示，其中該第一無損減少表示包含對該一或多個主要資料元件中之各主要資料元件的參考資料，及該重建程式的說明；以及回應於(i)對該一或多個主要資料元件之該等參考資料的該等尺寸，與(ii)該重建程式之該說明的該尺寸之該總和大於或等於該元件的該尺寸之該臨限值部分的決定，而在該資料結構中添加該元件做為新的主要資料元件，且產生該元件的第二無損減少表示，其中該第二無損減少表示包含對該新的主要資料元件之參考資料。
  7. 一種用於資料處理之設備，包含：處理器；以及非暫時性電腦可讀取儲存媒體，用以儲存指令，當由該處理器所執行時，其致使該設備履行用以在無損減少資料上執行搜尋查詢的方法，該方法包含：無損減少輸入資料，用以獲得該無損減少資料，其中該無損減少該輸入資料包含：因子分解該輸入資料成為元件之集，且對於各元件， 根據從該元件之一或多個欄提取之一或多維而決定第一名稱，藉由使用該第一名稱以透過資料結構導航而識別一或多個主要資料元件，其中該資料結構根據主要資料元件的名稱而組織該等主要資料元件，及使用該一或多個主要資料元件以無損減少該元件；根據該搜尋查詢而決定第二名稱；藉由根據該第二名稱而透過該資料結構導航以執行該搜尋查詢，用以獲得搜尋結果；以及其中該資料結構係樹狀資料結構，其中透過該資料結構導航包含在該樹狀資料結構中遍歷邊緣之序列，其中在該等邊緣之序列中的各邊緣對應名稱的一部分，以及其中被使用以導航至該樹狀資料結構中之節點的該名稱之各部分，對應被植根於該節點處的子樹狀物內之所有主要資料元件中所存在的內容。
  8. 如申請專利範圍第7項之設備，其中該搜尋結果包含以下之一或多者：(1)在該資料結構中之一或多個節點，(2)與在該資料結構中之一或多個節點相關聯的元資料，(3)主要資料元件之集，(4)該無損減少資料之一或多個部分，(5)該輸入資料之一或多個部分，或(6)沒有匹配結果被發現的通知。
  9. 如申請專利範圍第7項之設備，其中對於各主要資料元件，該資料結構包含對使用該主要資料元件而被減 少的該無損減少資料中之元件的參考資料。
  10. 如申請專利範圍第7項之設備，其中該使用該一或多個主要資料元件以無損減少該元件進一步包含根據該元件及該一或多個主要資料元件而決定重建程式，以致使(i)該重建程式可從該一或多個主要資料元件重建該元件，以及(ii)當重建該元件時，該重建程式不能修正對應於該一或多維之該一或多個主要資料元件的部分。
  11. 如申請專利範圍第10項之設備，其中該使用該一或多個主要資料元件以無損減少該元件進一步包含產生該元件的無損減少表示，其中該無損減少表示包含對該一或多個主要資料元件中之各主要資料元件的參考資料，及該重建程式的說明。
  12. 如申請專利範圍第10項之設備，其中該使用該一或多個主要資料元件以無損減少該元件進一步包含：回應於(i)對該一或多個主要資料元件之參考資料的尺寸，與(ii)重建程式之說明的尺寸之總和小於該元件的尺寸之臨限值部分的決定，而產生該元件的第一無損減少表示，其中該第一無損減少表示包含對該一或多個主要資料元件中之各主要資料元件的參考資料，及該重建程式的說明；以及回應於(i)對該一或多個主要資料元件之該等參考資料的該等尺寸，與(ii)該重建程式之該說明的該尺寸之該總和大於或等於該元件的該尺寸之該臨限值部分的決定，而 在該資料結構中添加該元件做為新的主要資料元件，且產生該元件的第二無損減少表示，其中該第二無損減少表示包含對該新的主要資料元件之參考資料。
  13. 一種用以在無損減少資料上執行搜尋查詢之方法，該方法包含：無損減少輸入資料，用以獲得該無損減少資料，其中該無損減少該輸入資料包含：因子分解該輸入資料成為元件之集，且對於各元件，根據從該元件之一或多個欄提取之一或多維而決定第一名稱，藉由使用該第一名稱以透過資料結構導航而識別一或多個主要資料元件，其中該資料結構根據主要資料元件的名稱而組織該等主要資料元件，及使用該一或多個主要資料元件以無損減少該元件，其中該使用該一或多個主要資料元件以無損減少該元件進一步包含根據該元件及該一或多個主要資料元件而決定重建程式，以致使(i)該重建程式可從該一或多個主要資料元件重建該元件，以及(ii)當重建該元件時，該重建程式不能修正對應於該一或多維之該一或多個主要資料元件的部分；根據該搜尋查詢而決定第二名稱；以及藉由根據該第二名稱而透過該資料結構導航以執 行該搜尋查詢，用以獲得搜尋結果。
  14. 如申請專利範圍第13項之方法，其中該搜尋結果包含以下之一或多者：(1)在該資料結構中之一或多個節點，(2)與在該資料結構中之一或多個節點相關聯的元資料，(3)主要資料元件之集，(4)該無損減少資料之一或多個部分，(5)該輸入資料之一或多個部分，或(6)沒有匹配結果被發現的通知。
  15. 如申請專利範圍第13項之方法，其中該資料結構係樹狀資料結構，其中透過該資料結構導航包含在該樹狀資料結構中遍歷邊緣之序列，其中在該等邊緣之序列中的各邊緣對應名稱的一部分，以及其中被使用以導航至該樹狀資料結構中之節點的該名稱之各部分，對應被植根於該節點處的子樹狀物內之所有主要資料元件中所存在的內容。
  16. 如申請專利範圍第13項之方法，其中對於各主要資料元件，該資料結構包含對使用該主要資料元件而被減少的該無損減少資料中之元件的參考資料。
  17. 如申請專利範圍第13項之方法，其中該使用該一或多個主要資料元件以無損減少該元件進一步包含：回應於(i)對該一或多個主要資料元件之參考資料的尺寸，與(ii)重建程式之說明的尺寸之總和小於該元件的尺寸之臨限值部分的決定，而產生該元件的第一無損減少表示，其中該第一無損減少表示包含對該一或多個主要資料元件中之各主要資料元件的參考資料，及該重建程 式的說明；以及回應於(i)對該一或多個主要資料元件之該等參考資料的該等尺寸，與(ii)該重建程式之該說明的該尺寸之該總和大於或等於該元件的該尺寸之該臨限值部分的決定，而在該資料結構中添加該元件做為新的主要資料元件，且產生該元件的第二無損減少表示，其中該第二無損減少表示包含對該新的主要資料元件之參考資料。
TW105118598A 2015-06-15 2016-06-14 對其已使用主要資料篩而被無損減少的資料履行多維搜尋、內容相關擷取、及關鍵字為基的搜尋和擷取 TWI709047B (zh)

Applications Claiming Priority (12)

Application Number Priority Date Filing Date Title
US201562175444P 2015-06-15 2015-06-15
US62/175,444 2015-06-15
US201562187814P 2015-07-02 2015-07-02
US62/187,814 2015-07-02
US201562194240P 2015-07-19 2015-07-19
US62/194,240 2015-07-19
US14/757,929 US10108633B2 (en) 2014-12-27 2015-12-23 Using a distributed prime data sieve for efficient lossless reduction, search, and retrieval of data
US14/998,330 US9582514B2 (en) 2014-12-27 2015-12-23 Performing multidimensional search and content-associative retrieval on data that has been losslessly reduced using a prime data sieve
US14/998,330 2015-12-23
US14/757,956 US9594765B2 (en) 2014-12-27 2015-12-23 Performing keyword-based search and retrieval on data that has been losslessly reduced using a prime data sieve
US14/757,956 2015-12-23
US14/757,929 2015-12-23

Publications (2)

Publication Number Publication Date
TW201717072A TW201717072A (zh) 2017-05-16
TWI709047B true TWI709047B (zh) 2020-11-01

Family

ID=57546057

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105118598A TWI709047B (zh) 2015-06-15 2016-06-14 對其已使用主要資料篩而被無損減少的資料履行多維搜尋、內容相關擷取、及關鍵字為基的搜尋和擷取

Country Status (6)

Country Link
EP (1) EP3311494B1 (zh)
JP (1) JP6726690B2 (zh)
CN (1) CN107852173B (zh)
HK (1) HK1246516A1 (zh)
TW (1) TWI709047B (zh)
WO (1) WO2016205209A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102647585B1 (ko) * 2017-04-28 2024-03-15 아스카바, 인크. 기본 데이터 시브를 사용함에 의한 데이터의 무손실 축소 및 기본 데이터 시브를 사용하여 무손실 축소된 데이터에 대한 다차원 탐색 및 내용 연관 검색의 수행
WO2019127314A1 (en) * 2017-12-29 2019-07-04 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for indexing big data
TWI712950B (zh) * 2019-06-13 2020-12-11 和碩聯合科技股份有限公司 資料處理方法及裝置
CN114238240B (zh) * 2022-02-14 2022-05-27 柏科数据技术（深圳）股份有限公司 一种分布式多集群的数据存储方法、装置及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6704846B1 (en) * 1998-06-26 2004-03-09 Lsi Logic Corporation Dynamic memory arbitration in an MPEG-2 decoding System
US7007015B1 (en) * 2002-05-01 2006-02-28 Microsoft Corporation Prioritized merging for full-text index on relational store
TW201015875A (en) * 2008-10-06 2010-04-16 Via Tech Inc Method and apparatus for decoding data bitstream
US7797165B1 (en) * 2005-02-17 2010-09-14 E-Scan Data Systems, Inc. Lossless account compression for health care patient benefits eligibility research system and methods
TW201220045A (en) * 2010-08-19 2012-05-16 Sandisk Il Ltd Systems and methods for managing an upload of files in a shared cache storage system
US20140324879A1 (en) * 2013-04-27 2014-10-30 DataFission Corporation Content based search engine for processing unstructured digital data

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2505980B2 (ja) * 1993-04-16 1996-06-12 インターナショナル・ビジネス・マシーンズ・コーポレイション 静的辞書作成方法及びコンピュ―タ実行システム
US6345126B1 (en) * 1998-01-29 2002-02-05 Xerox Corporation Method for transmitting data using an embedded bit stream produced in a hierarchical table-lookup vector quantizer
EP1099124A2 (en) * 1998-07-22 2001-05-16 Geo Energy, Inc. Fast compression and transmission of seismic data
WO2001050325A2 (en) * 2000-01-03 2001-07-12 Efeckta Technologies Corporation Lossless data compression
EP1266455A4 (en) * 2000-02-25 2003-06-18 Physical Optics Corp OPTIMIZED LOSS-FREE COMPRESSION METHOD AND APPARATUS USING A PLURALITY OF ENCODERS
US7395210B2 (en) * 2002-11-21 2008-07-01 Microsoft Corporation Progressive to lossless embedded audio coder (PLEAC) with multiple factorization reversible transform
US7966424B2 (en) * 2004-03-15 2011-06-21 Microsoft Corporation Data compression
WO2006052242A1 (en) * 2004-11-08 2006-05-18 Seirad, Inc. Methods and systems for compressing and comparing genomic data
US7885988B2 (en) * 2006-08-24 2011-02-08 Dell Products L.P. Methods and apparatus for reducing storage size
EP2060124A2 (en) * 2006-08-30 2009-05-20 Koninklijke Philips Electronics N.V. Device and method for coding a data signal and device and method for decoding a data signal
US7834784B1 (en) * 2007-01-18 2010-11-16 Cisco Technology, Inc. Data redundancy elimination mechanism including fast lookup of data patterns exhibiting spatial locality
US8028106B2 (en) * 2007-07-06 2011-09-27 Proster Systems, Inc. Hardware acceleration of commonality factoring with removable media
US8751462B2 (en) * 2008-11-14 2014-06-10 Emc Corporation Delta compression after identity deduplication
JP2010287052A (ja) * 2009-06-11 2010-12-24 Fujitsu Ltd 検索システムおよび記憶媒体
US8694703B2 (en) 2010-06-09 2014-04-08 Brocade Communications Systems, Inc. Hardware-accelerated lossless data compression
US9286313B1 (en) * 2014-12-27 2016-03-15 Ascava, Inc. Efficient lossless reduction of data by deriving data from prime data elements resident in a content-associative sieve

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6704846B1 (en) * 1998-06-26 2004-03-09 Lsi Logic Corporation Dynamic memory arbitration in an MPEG-2 decoding System
US7007015B1 (en) * 2002-05-01 2006-02-28 Microsoft Corporation Prioritized merging for full-text index on relational store
US7797165B1 (en) * 2005-02-17 2010-09-14 E-Scan Data Systems, Inc. Lossless account compression for health care patient benefits eligibility research system and methods
TW201015875A (en) * 2008-10-06 2010-04-16 Via Tech Inc Method and apparatus for decoding data bitstream
TW201220045A (en) * 2010-08-19 2012-05-16 Sandisk Il Ltd Systems and methods for managing an upload of files in a shared cache storage system
US20140324879A1 (en) * 2013-04-27 2014-10-30 DataFission Corporation Content based search engine for processing unstructured digital data

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Debasish Chakraborty等3人，" Efficient Data Compression Using Prime Numbers"， https://pdfs.semanticscholar.org/41de/a80eed9bdad8e0905ff2a314f27990b22d23.pdf，2013 *

Also Published As

Publication number Publication date
CN107852173A (zh) 2018-03-27
JP6726690B2 (ja) 2020-07-22
CN107852173B (zh) 2022-04-12
JP2018524886A (ja) 2018-08-30
TW201717072A (zh) 2017-05-16
EP3311494A4 (en) 2019-02-27
EP3311494A1 (en) 2018-04-25
HK1246516A1 (zh) 2018-09-07
EP3311494B1 (en) 2021-12-22
WO2016205209A1 (en) 2016-12-22
KR20180021074A (ko) 2018-02-28

Similar Documents

Publication Publication Date Title
US11947494B2 (en) Organizing prime data elements using a tree data structure
TWI676903B (zh) 藉由從駐存在內容相關篩中之主要資料元件取得資料的資料之無損縮減
TWI789392B (zh) 藉由使用主要資料篩的資料無損縮減及對於已經使用主要資料篩來無損地縮減的資料進行多維度搜索和內容關聯的檢索
TWI720086B (zh) 儲存在區塊處理儲存系統上的音頻資料和資料的縮減
US20230198549A1 (en) Exploiting locality of prime data for efficient retrieval of data that has been losslessly reduced using a prime data sieve
TWI709047B (zh) 對其已使用主要資料篩而被無損減少的資料履行多維搜尋、內容相關擷取、及關鍵字為基的搜尋和擷取
TWI816954B (zh) 用於重建無損地縮減的資料塊的序列的方法和設備，用於確定主要資料元件的元資料的方法和設備，及儲存媒體
KR102667800B1 (ko) 무손실 축소된 데이터에 대한 기본 데이터 시브를 사용한 다차원 탐색, 내용 연관 검색, 및 키워드 기반 탐색 및 검색의 수행