JP2019508832A - データベース・テーブル、テキスト・ファイル、及びデータ・フィード中におけるソルティング・テキスト及びフィンガープリンティング - Google Patents

データベース・テーブル、テキスト・ファイル、及びデータ・フィード中におけるソルティング・テキスト及びフィンガープリンティング Download PDF

Info

Publication number
JP2019508832A
JP2019508832A JP2018563377A JP2018563377A JP2019508832A JP 2019508832 A JP2019508832 A JP 2019508832A JP 2018563377 A JP2018563377 A JP 2018563377A JP 2018563377 A JP2018563377 A JP 2018563377A JP 2019508832 A JP2019508832 A JP 2019508832A
Authority
JP
Japan
Prior art keywords
sorting
file
data
data file
technique
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018563377A
Other languages
English (en)
Other versions
JP6934022B2 (ja
Inventor
ジンズマイヤー、チャールズ
リン、クリスティーナ レオン、ズー
リン、クリスティーナ レオン、ズー
ルバロン、マット
ローズ、マーティン
クラウス、レイ
コールマン、アーサー
アンダーソン、マイケル
Original Assignee
アクシオム コーポレーション
アクシオム コーポレーション
ジンズマイヤー、チャールズ
リン、クリスティーナ レオン、ズー
リン、クリスティーナ レオン、ズー
ルバロン、マット
ローズ、マーティン
クラウス、レイ
コールマン、アーサー
アンダーソン、マイケル
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アクシオム コーポレーション, アクシオム コーポレーション, ジンズマイヤー、チャールズ, リン、クリスティーナ レオン、ズー, リン、クリスティーナ レオン、ズー, ルバロン、マット, ローズ、マーティン, クラウス、レイ, コールマン、アーサー, アンダーソン、マイケル filed Critical アクシオム コーポレーション
Publication of JP2019508832A publication Critical patent/JP2019508832A/ja
Application granted granted Critical
Publication of JP6934022B2 publication Critical patent/JP6934022B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/06Arrangements for sorting, selecting, merging, or comparing data on individual record carriers
    • G06F7/08Sorting, i.e. grouping record carriers in numerical or other ordered sequence according to the classification of at least some of the information they carry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6254Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/11File system administration, e.g. details of archiving or snapshots
    • G06F16/122File system administration, e.g. details of archiving or snapshots using management policies
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • G06F21/16Program or content traceability, e.g. by watermarking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/604Tools and structures for managing or administering access control systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q99/00Subject matter not provided for in other groups of this subclass
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0894Escrow, recovery or storing of secret information, e.g. secret key escrow or cryptographic key storage
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3236Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using cryptographic hash functions
    • H04L9/3239Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using cryptographic hash functions involving non-keyed hash functions, e.g. modification detection codes [MDCs], MD5, SHA or RIPEMD
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2209/00Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
    • H04L2209/60Digital content management, e.g. content distribution
    • H04L2209/606Traitor tracing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2209/00Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
    • H04L2209/60Digital content management, e.g. content distribution
    • H04L2209/608Watermarking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Data Mining & Analysis (AREA)
  • Technology Law (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • Storage Device Security (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

データベース・テーブル、テキスト・ファイル、データ・フィードなどをソルティング及びフィンガープリンティングするためのシステム及び方法は、最初に、データ・セット中の1つ又は複数のフィールドに従ってデータを再ソーティングする。ソルティング・レシピが選択され、ソーティングされたデータに適用される。データのフィンガープリントが、ソーティング及びソルティングの後にキャプチャされる。データは、次いで、信用できる第三者に送られる前に、それの元の順序に復元される。データ所有者が、ソーティング技法、ソルティング技法、及びフィンガープリントに関係する情報を保持するので、データ所有者は、ソルティングされたファイルからソルティングされていないファイルを再構成することができ、ワイルド・ファイルがデータ・ファイルからのデータを含んでいるかどうかを決定することができる。ソルティングは、バッド・アクターが、データがソルティングされていることに気づいている場合でも、バッド・アクターによって検出することが困難である。

Description

本発明の分野は、データが不適切にコピー又は使用されたかどうかを決定するための、データのソルティング及びデータ・セットのフィンガープリンティングである。ソルティングは、データが漏洩された場合、データのサブセット中に含まれているデータがデータ所有者に識別され得るように、データのサブセットに一意のデータ(ソルト)を挿入する仕組みである。フィンガープリンティングは、データ・セットから、はるかに短いセット、それにもかかわらず、元のデータ・セットを識別するそのフィンガープリントを生成するプロセスである。
データ漏洩は、所有者又は許可されたユーザ以外の誰かによるデータの不正の使用として定義され得る。データ漏洩の財政的影響は、世界的に毎年数億ドル単位であると推定され、したがって、データ・サービス産業における非常に重要な問題を表す。データ漏洩を防ぐことを試みるソリューションが、しばらくの間存在している。これらのソリューションは、データが組織のファイアウォール外に漏洩するのを防ぐか、又はデータがファイアウォールを出て「ワイヤ上の」オープン・ネットワーク上に移動するときにデータを暗号化する。グラフィカル、ビデオ、オーディオ、又はドキュメント(すなわち、テキスト又はpdf)データが、ファイアウォール外に平文で実際に暴露された後、そのデータの所有権を主張するためのソリューションも存在しており、組織は、悪用からそれらのデータを保護するためのものとして知られる、これらの「デジタル・ウォーターマーキング」ソリューションを使用する。(「ウォーターマーキング」という用語は、印刷媒体から借用され、ウォーターマークは、真正性を検証するための印刷文書上の転写画像又はパターンからなるが、デジタル・ウォーターマークは、同じ目的をはたすためにデジタル・ファイル中に埋め込まれた一種のマーカーである。)データ所有者が法廷においてウォーターマークを所有権及び著作権侵害の証拠として使用することができるので、ウォーターマークは、データ所有者が無認可使用についての損害を回復することを可能にする。同時に、そのような法的救済が存在することは、個人又はグループが、その著作物を無料で取得し、次いで使用することを希望することを阻止する。
不幸にも、テキスト及びデータベース・ファイルのデータ漏洩は、平文で受け渡されるのか使用の時点において解読されるのかにかかわらず、未解決の問題のままである。消費者データの所有者(「データ所有者」)は、しばしば、自身のデータを、金融サービスにおけるレギュレーションB或いは地域、州又は連邦政府によって設定されたプライバシー法など、契約上の要件又はデータ処理規則に従って、そのデータを法的様式でのみ使用すると確信される個人又は組織(「信用できる第三者」又は「TTP」)に与えるか、リースするか、又は販売する。このデータは、通常、一連のデータベース・テーブル(たとえば、.sqlフォーマット)、テキスト・ファイル(たとえば、.csv、.txt、.xls、.doc、及び.rtpフォーマット)として、又はリアルタイム・データ・フィード(たとえば、XML又はJSON)として送信される。これにもかかわらず、データ所有者のデータが、承知の上で又は知らないでのいずれかで適切な許可なしにさらには違法にデータを使用する他人(「バッド・アクター(Bad Actor)」)の手中に漏洩することがしばしば行われる(漏洩されたファイルは、本明細書では「漏洩されたサブセット」として定義される)。これは、たとえば、TTPが、承知の上でデータを公開し、それ自体がバッド・アクターであるか、TTPの従業員が承知の上で又は偶然にデータを公開するか、或いはデータ所有者自体の従業員が承知の上で又は知らないでデータを漏洩するので、起こり得る。
データベース、テキスト・ファイル、又はリアルタイム・データ・フィード(たとえば、XML又はJSON)のウォーターマーキングは、固有の課題を提示する。画像、ビデオ又はオーディオ・ファイルは、高密度で、高度に構造化される。これらのタイプのファイルは雑音耐性があるので、ファイルの情報コンテンツ又はユーザ・エクスペリエンスを劣化させることなしに、これらのファイル中にウォーターマークとして少量のデータを埋め込むことが容易である。雑音耐性ファイルは、(ウォーターマークなどの)わずかな雑音が、得られるデータを劣化させることなしに追加され得るファイルであり、たとえば、ウォーターマークは、閲覧者が変化に気づくことなしに、数ビットのデータを変更すること又は隣接フレームの順序を変更することによってビデオ・ファイルに追加され得る。同時に、このタイプのデータの高度に構造化された性質は、バッド・アクターがウォーターマークを除去することを困難にする。データベース、テキスト・ファイル、又はリアルタイム・データ・フィード(たとえば、XML又はJSON)は、それと比較して、比較的軽量であり、したがって、雑音の導入に耐えられない。たとえば、名前又は住所中の単一の文字を変更することさえ、そのレコード中のデータを無用にし得る。このタイプのデータの構造は、ウォーターマークをもろくし、検出しやすくし、したがって、データが不適切に使用されたことを立証しようとする当事者に認識不可能にするのを容易にするやり方(たとえば、列を並べ替えること、行を付加すること、行を削除すること)で、容易に操作され得る。たとえば、検出を回避するために、データ・テーブル内の要素が変更され得、データが他のデータ・ソースからのデータとマージされ得、データがサブセットに分割され及び/又は他のやり方で再構成され、操作され得る。その結果、データベース又はテキスト・ファイル(或いはそれのJSON又はXML等価物)の所有権を主張すること及び/或いはデータを漏洩することの原因である当事者を検出することを希望するデータ所有者にとって著しい障害が存在する。データ所有者は、適用可能な証拠基準を満たす不法行為の証明を欠くので、訴訟(action at law)を通して収益減を容易に回復することもできない。その上、データ漏洩を検出するための現在の方法は、主に手動操作を通してであり、したがって、時間がかかり、労働集約的であり、費用がかかり、誤りを起こしやすい。したがって、これらのタイプのファイルにウォーターマークを入れるか又は「ソルティングする」改善されたシステム及び方法が、大いに利益になるであろう。
本発明は、データベース・テーブル、テキスト・ファイル、データ・フィード(たとえば、XML又はJSON)、及び同様のデータにソルティングする(又はそれらにウォーターマークを適用する)ための方法を対象とする。本発明のいくつかの実装形態では、データ・セットは、最初に、データ・セット中のフィールドに従って再ソーティングされる。(利用可能なソルティング・レシピのグループから選択され得る)ソルティング・レシピが、ソーティングされたデータに適用される。データのフィンガープリントが、次いで、ソーティング及びソルティングの後にキャプチャされる。データは、次いで、TTPに送られる前に、それの元の順序に復元される。データ所有者は、各ファイル及びいくつかの実装形態ではファイルの各公開について、ソーティング技法、ソルティング技法、及びフィンガープリントに関係する情報を保持するので、データ所有者は、ソルティングされたファイルからソルティングされていないファイルを再構成することができる。さらに、漏洩されたサブセット中に含まれているデータは、変更された場合でも、特有の受信側及び受信側が受信した特定のファイルに与えられたものとしてデータ所有者によって識別され得る。サード・パーティから取得されたワイルド・ファイルから特有の漏洩されたサブセット及びバッド・アクターを識別するこのプロセスは、罪の割当て(Guilt Assignment)と呼ばれる。罪の割当ては、データ所有者が、データのソルティングに基づいて、バッド・アクターをそれによって起訴する強い証拠事例を構築することを可能にする。ソルティングは、バッド・アクターによって検出することが困難であり、したがって、バッド・アクターが、データがソルティングされたか又はソルティングされ得たことに気づいている場合でも、バッド・アクターが除去することが困難又は不可能である。したがって、ソルティングは、潜在的バッド・アクターが最初に取得したデータを事実上不適切に使用する可能性を低減し、それは、そのような不適当な使用が検出され得、法的措置を生じることを知ることによるものである。
本発明のこれらの及び他の特徴、目的並びに利点は、以下で説明されるように、図面とともに、好ましい実施例の以下の詳細な説明及び添付の特許請求の範囲を考慮するとより良く理解されるようになるであろう。
本発明の一実施例による、ソルトが新しいファイル又はデータ・フィードに追加されるプロセスを示す図である。 本発明の一実施例による、出所不明(unknown origin)のファイル又はデータ・フィードが、ソルトの存在のために分析されるプロセスを示す図である。 本発明の一実施例による、ソルティング・システムのインフラストラクチャ及びアーキテクチャを示す図である。
本発明がさらに詳細に説明される前に、本発明の範囲は特許請求の範囲によってのみ限定されるので、本発明が、説明される特定の実施例及び実装形態に限定されないこと、並びに特定の実施例及び実装形態を説明する際に使用される用語が、それらの特定の実施例及び実装形態を説明するためのものにすぎず、限定するものではないことを理解されたい。
本発明のいくつかの実装形態の説明を始めるために、関連する技術的記述の正確な定義が以下のように提示される。Dを、限定はしないが、会社Cによって所有されるフラット・ファイル又はデータ・フィードを含む、データベースとする。Dは、リレーショナル形式又は構造化テキスト(たとえば、.csv、XML、JSON、又はSQLデータ)におけるタプルからなる。Sを、Dからのタプルのサブセットとする。Mを、D又はDよりもはるかに小さいSの表現Wを生成するための一意の方法とする。その場合、目的は、以下のようなWを生成することである。
1. Wは、所与のMについての「ウォーターマーク」を含んでいる(すなわち、Mは、2つの異なるD又はSのために同じWを生成することができない)。
2. Wは、統計的信頼性を用いて、Dのコピー、又はSと部分的に重複する異なるSを受信する他のエージェントA、A、...Aに対して、エージェントAが、D又はSを配信又は変更するバッド・アクターであると決定することができる。
3. Wは、D’、すなわちDの第2のコピー又はサブセットがCの同意を得ることなく作成されたことを証明するための証拠基準を満たすのに十分にロバストであることになる。これは、フォールス・ネガティブ(D’が違法でないとき、それを違法であるとして識別すること)又はフォールス・ポジティブ(D’が合法的でないとき、それを合法的として識別すること)の確率が小さくなければならないことを意味する。
4. Wは、特定のAについて生成されるときにD又はSからの情報の損失を生じてはならない。
5. MがD中にWを埋め込む場合、Wの復元は盲目的である。すなわち、Wは、D’とDとが、又はそれぞれD及びD’から取られた厳密な重複SとS’とが等価である場合にのみ、Dを知らずにD’から取得され得る。
6. Wがそれによって作成されるプロセスは、フォールス・ネガティブを生成することなしに、DとD’との間のタプルの顕著な差(たとえば、余分のブランクスペース、データ再ソーティング、タプル削除、タプル追加)に対処するのに十分にロバストでなければならない。
7. Mは、CからのDが定期的に更新され、Dになることを考慮に入れ、DをDと区別する能力を可能にしなければならない。
8. Mは、すぐに利用可能な計算機器を用いて計算的に実現可能でなければならない。
9. Mは、D又はSがD’又はS’になるとき、どんな変更がD又はSに行われたかを正確に識別する必要はないが、D’又はS’の詳細な検査が、Aのバッド・アクター・ステータスのインジケータとしてWについての裏付けとなる証拠を提供することができ、それを提供するべきである。
これらの要件を満たす本明細書で説明されるソルティング方法を実装することによって、データ所有者は、ワイルド・ファイル中のデータを自身のデータ・セットから発生したものとしてより頻繁に識別し、さらに、そのデータがどのTTPに最初に送られたかを識別することができる。これは、受信側に一意であり、ワイルド・ファイル中のある量のデータがそれから発生した漏洩されたデータ・セット中にわずかに埋め込まれた識別子(「ソルト」)が、発見され得たかどうかを決定するために、ワイルド・ファイル内のいくつかのデータ要素を分析することによって行われる。このソルトは、訓練されていない眼にはそれが見えないので、ソルティング機構の事前情報なしに検出され得ない。
上記で説明されたシステムの働き及び出力が、システムのいくつかの実装形態による、ファイルをソルティングする方法を示す、図1によって示され得る。第1の実例では、元のデータ・セット10が、表1に示されているように、以下の要素を含んでいると仮定する(実際のデータ・セットは、はるかにより大きい可能性があるが、極めて小さいデータ・セットが実例として示されている)。
ファイルを、データ所有者によって作成された他のファイルと区別するために、ファイル識別子がファイルに関連付けられる。ファイル識別子は、様々な実装形態では、英数字及び/又は他の文字の任意のストリングであり得る。第1のステップでは、情報がソーター・エンジン12においてソーティングされる。ソーティング技法は、任意の所望のソーティング方法であり得る。ソーティング技法は、ソーター・エンジン12と通信しているソーティング技法ストア14において記憶された多数の可能なソーティング技法から選択され得る。ソーティング技法は、次いで、ファイルにキーイングされ、ファイル識別子とともにファイル・データベース16に記憶され、そのファイルについて、ソーター技法ストレージ18において記憶される。任意の所与のデータ・セットへの特定のソーティング・アルゴリズムの割当ては、いくつかの実施例ではランダム化され得る。ソーティング・アルゴリズムは、複数レベルにおけるソート、すなわち、1次ソートとして1つのフィールドによってソーティングし、次いで、2次ソートとして第2のフィールドによってソーティングし、必要に応じた数のレベルまでソーティングすることであり得る。説明のための所与の実例では、データは、最初に列Hによってソーティングされ、次いで、列Eによってソーティングされ、次いで、列Dによってソーティングされる。表2は、この特定のソートを表1のデータに適用することの結果を与える。
第2のステップでは、ソルティング・レシピが、ソルティング・エンジン20によって、ソーティングされたデータに適用される。ソルティング・レシピは、ファイル中のレコードの順序付けに少なくとも部分的に基づき、したがって、前のソーティング・ステップが、ソルティング・ステップの結果に結合される。特定のレシピが、ソルティング技法ストア22において記憶された任意の数の潜在的レシピから選定され得、ソーティング技法と同様に、いくつかの実施例ではランダムに選定され得る。ソルティング・レシピはまた、ソルティング技法24において、ファイル・データベース16に記憶されたファイルにキーイングされる。この特定の実例では、ソルティング技法は、数字「2」で開始する、列Dの2つ及び3つのインスタンスごとに、列C中のワードが省略されるものである。このソルティング・レシピを表2のソーティングされたデータに適用し、結果は、以下の表3に示されている。
第3のステップでは、ソルティングされたデータ・セットの「フィンガープリント」が、フィンガープリント・エンジン26によってキャプチャされる。フィンガープリントは、データ中の任意の単一の列又は2つ又はそれ以上の列のセットであり得ることに留意されたい。2つ以上の列が使用される場合、列が隣接する必要はない。フィンガープリントは、必ずしも、ソルティングされたデータを含んでいる列を含んでいることに限定されるとは限らず、必ずしも、ファイルの全深度(すなわち、列中のあらゆるデータ項目)をキャプチャすることを必要とされるとは限らない。フィンガープリンティング・レシピはまた、ソーティング技法及びソルティング・レシピと同様に、フィンガープリント技法28において、ファイル・データベース16中のファイルにキーイングされる。キャプチャされたフィンガープリントが上記の実例からの列Cである場合、フィンガープリントは、以下の表4に示されているものになる。
特有のソーティング技法、ソルティング・レシピ、及びフィンガープリンティング・レシピは、各々ファイルにキーイングされるので、データ・プロバイダは、次いで、TTPに配信され得るソルティングされたデータ・セット30として、完成したソルティングされたファイルを作成するために、逆方向プロセスを適用する(すなわち、ファイルを、ソーター・エンジン12の適用の前のそれの元の順序に復元する)ことができる。完成したデータ・ファイルにおける結果は、ソルティングが他の当事者から隠蔽された、ソルティングされたデータ・ファイルである。この特定の実例における結果は、以下の表5に示されている。
いくつかの実施例では、時間的に後で他の顧客に、又は同じ顧客に送られる同じデータ・セットの後続の発行は、様々なソーティング技法、ソルティング・レシピ、及びフィンガープリンティング・レシピの異なる組合せを受けるであろう。各そのようなインスタンスは、1つ又は複数のマスタ・データベース中で別個のファイル・データベース16として維持される。場合によっては、ファイル日付32も、ソルティングされたファイルの特定のインスタンスのための追加の識別情報として一部又は全部のファイル・データベース16中に含まれ得る。
次に図2を参照すると、いくつかの実装形態による、プロバイダが事実上ファイルのソースであるかどうかを決定し、及びそうである場合、ファイルがいつ作成されたかを決定するために、疑わしいファイルがワイルド・ファイル・データ・セット32として「ワイルドで」見つけられたときに適用されるプロセスが説明され得る。ファイルは、再びソーター・エンジン12を用いて、可能なソーティング技法のうちの1つを使用してソーティングされ、次いで、ソルティング・エンジン20とフィンガープリント・エンジン26とを使用して、ソルト(すなわち、ファイル「DNA」)とフィンガープリント・シグネチャとを検出するために検査される。ソルト及び/又はフィンガープリントが検出されない場合、次の可能なソーティング技法を用いてソートが実行され、プロセスが反復的に繰り返される。プロセスは、各ソーティング技法について、各ソルティング技法に関して、及び各フィンガープリントについて両方の各々に関して繰り返される。このプロセスは、ソルト及び/又はフィンガープリントがマッチ・エンジン34において検出されるか或いはすべての可能性が試されるまで続く。前者の場合、プロバイダがデータのソースであることが知られ得、ソルトが検出されたことの出力36が作成される。しかし、後者の場合、プロバイダがデータのソースでないことが知られ得、ソルトが検出されなかったことの出力38を生じる。上記で説明されたように、ファイルが何らかの方法で変更された場合でも、大きいファイルの場合、この方法は、ソルティングされたデータの「断片」を復元することが可能であるので、依然としてデータ窃盗の可能性を生成することが明らかであろう。マッチ・エンジン34において、データ中で見つけられるそのような断片の数に基づいてスコアが決定され得、したがって、プロバイダのデータの悪用のための信頼性ファクタにつながる。いずれの場合も、ファイル識別子を含む、ファイル・データベース16中の情報は、ワイルド・ファイルがそれから部分的に又は完全に導出された特定のデータ・ファイルを識別するために使用され得る。
代替実施例では、本明細書で説明される特定の実例以外の様々なソルティング方法が採用され得る。消費者のために使用される又は他の方法でメーリング・アドレスを伴ういくつかの実装形態では、ソルティング方法は、コーディング精度支援システム(CASS:Coding Accuracy Support System)規格に準拠し得る。CASSは、米国郵政公社(USPS)が、ストリート・アドレスを訂正及びマッチングするシステムの精度を評価することを可能にする。CASS認証は、USPSが、自身のアドレス・マッチング・システムの品質を評価し、自身のZIP+4、キャリア・ルート、及び5桁コーディングの精度を改善することを望む、すべてのメーラー、サービス事務局、及びベンダーに提供される。CASS準拠システムは、アドレスを訂正及び標準化し、また、アドレスが完全であることを保証するために、郵便番号、都市、及び州など、消失したアドレス情報を追加する。さらに、CASS認証システムは、アドレスが配信可能なアドレスであるか否かを検証するために、配信ポイント確認を実行する。
次に図3を参照すると、上記で説明されたプロセスを実装するためのコンピュータ・ネットワーク・システムのための物理的構造が次に説明され得る。(インターネットなどの)ネットワーク50が、システムにアクセスするために使用される。仮想プライベート・ネットワーク(VPN)52が、「DMZ」エリア、すなわち、システムのファイアウォールの背後での進入より前に外部(outside)ファイル又はデータ・フィードが隔離されるエリアへのセキュア接続を提供するために使用され得る。セキュア・ファイル転送プロトコル(SFTP)システムを使用して、ファイルがSFTP外部ロード・バランサ54に転送され得、FTPは、コンピュータ・ネットワーク上のクライアントとサーバとの間でコンピュータ・ファイルを転送するために使用されるよく知られているネットワーク・プロトコルである。さらに、データ・フィードは、APIを介して或いはカスタマイズされたポート又は標準ポートを使用して、プライベート・プロトコル又は標準プロトコル(HTTP、HTTPSなど)を通してシステムにデータを継続的にストリーミングするために使用される。UI/APP外部ロード・バランサ56が、コンピュータ・アプリケーションによって送られるファイルを受信するために使用され得、AP外部ロード・バランサ58が、アプリケーション・ソフトウェア間の通信を可能にするサブルーチン定義、プロトコル、及びツールを開発するためのよく知られている概念である、アプリケーション・プログラミング・インターフェース(API)に従って送られるファイル又はデータ・フィードを受信するために使用され得る。システムのロード・バランサは、システム中の個々のサーバがファイル又はデータ・フィード要求で過負荷をかけられないことを保証する。
次にシステムのフロント・エンド・レイヤに移動すると、それ自体のSFTPサーバ復元可能ストレージ62に関連付けられたSFTPサーバ60が、ファイルがDMZエリアから移った後、FTPによって送られたファイルを受信する。同様に、UI/APP内部ロード・バランサ64が、ファイルがDMZエリアを出た後、UI/APP外部ロード・バランサ56からファイルを受信し、それらを1つ又は複数のUI/APP仮想マシン(VM)66(2つが図3に示されている)に受け渡す。サービス・エリアに移動すると、これらのサブシステムは、データをAPI内部ロード・バランサ70に受け渡し、次いで、API内部ロード・バランサ70は、1つ又は複数のAPI VM72(同じく、2つが図3に示されている)に情報を受け渡す。
システム・バックエンドにおいて、API VM72からのデータは、1つ又は複数のマルチテナント・データストア84にデータを記憶するように構成された処理クラスタ及びデータストア82にデータを受け渡し、マルチテナント・データストア84の各々は、データストア復元可能記憶エリア86(各々の3つが図3に示されている)に関連付けられる。マルチテナント・データストア84に記憶されたデータの実例としては、ファイル・データベース16、ソーティング技法ストア14、及びソルティング技法ストア22がある。
説明される本発明の実装形態は、受信側に気づかせることなしに又はデータの有用性を妨げることなしに、所与のデータ・ファイル又はフィードの受信側を決定するための一意の方法を生じることがわかり得る。さらに、システムは、スケーラブルであり、流通している潜在的に何百万ものワイルド・ファイルのセットの間でファイル又はデータ・フィード及びそれの受信側の一意性を識別することが可能であり、また、システムによって取り込まれるデータのセキュリティを与える。実際的であるために、商用等級ウォーターマーキング・システムは、1日につき何百ものファイルを処理することが可能でなければならず、これは、処理インフラストラクチャ全体が拡張可能及びスケーラブルでなければならないことを意味する。ビッグ・データのこの世代では、処理されるべきデータ・ファイル又はフィードのサイズは、サイズが数メガバイトから数テラバイトまで著しく変動し、これらのファイル又はフィードがシステムに流れ込む方法が、極めて予測不可能であり得る。スケーラブル・システムを構成するために、システムがこの予測不可能性を扱うようにサイズ決定されることを保証するために、所与の時間における最大処理要件を推定するための予測モデルを構築しなければならない。
本明細書で説明される実装形態によるソルティング・システムは、無制限サイズのデータ・ファイル、データベース・テーブル、及びデータ・フィードをソルティングする能力を有する。しかしながら、顧客は、ファイルが配信される前にウォーターマーキングが行われるために数日又は数週間待つことができないので、処理速度も重要である。顧客は、毎日及び場合によっては一層速く、顧客の基礎をなすデータへの更新をリリースしていることがある。システムは、次のファイルの生成のサイクル時間内に、ファイルにウォーターマークを入れることが可能でなければならず、そうでなければシステムはボトルネックになり、ファイルはキューに分類され、それは、ビジネス・モデル全体を壊すことになる。ベースライン・リリースにおけるウォーターマークを検出するための処理時間は数秒である。最悪の場合のシナリオを除いて、ワイルド・ファイルが盗まれたかどうかを決定するために、完全なファイルをパースすること、次いで、ワイルド・ファイルをマスタ・データベースとマッチングすることが必要でないので、計算能力がたいていの場合低減される。さらに、特定の受信側に関係する検出されたウォーターマークが、データベースに記憶されたその受信側のファイルにマッチングすることが必要とされるにすぎないので、探索空間がさらに低減され、したがって、処理時間を改善する。ただし、ワイルド・ファイルが、複数の受信側に送られたデータを用いてウォーターマークを入れられないことを保証するために、ワイルド・ファイル全体をパースすることが必要であり得ることに留意されたい。とにかく、このシステムを使用するソルト検出の一部として人間の対話及び検査が必要とされない。この理由で、さらなる時間及びコスト削減が実現され、エラーが低減される。
データ・ウォーターマーキングに関する調査のほとんどすべてが、データの1人又は2人の所有者及び1人又は2人のバッド・アクターについてテストされたアルゴリズムに基づいている。商用等級システムは、完全に未知のソースをもつファイルが復元される状況において、多数の顧客及び未知数のバッド・アクターについて、ウォーターマークを生成し、記憶し、検索することが可能でなければならない。たとえば、商用ウォーターマーキング会社が、それのためにファイルにウォーターマークを入れる5000人の顧客を有することについて考える。この実例では、ウォーターマーキング会社は、盗まれたデータをファイルが含んでいないことを検証することを望む第三者からのファイルを検索する。これを決定するために、ウォーターマーキング会社は、マッチを見つけるまで、各会社のウォーターマークに対してファイルをテストしなければならない。最悪の場合、ウォーターマーキング会社は、5000回テストした後にマッチを見つけず、その場合、行われ得る唯一の主張は、データがシステム中の5000人の所有者のうちのいずれからも盗まれていないことである。いくつかの実施例によるシステムは、顧客の数に対する限定を有さず、システムは、ウォーターマーク中に表された無限数の受信側をサポートすることが可能である。
本明細書で説明されるシステム及び方法は、何百万ものレコードを構文解析及び処理することとは対照的に、データ所有権を証明するためにごくわずかな時間しか必要としないロバストな機構である。大きいデータ・プロバイダの実例では、一般的なファイルは何億ものレコードを含んでいる。この機構によって適用されるソルトは見えないので、何らかのビジネスによって実際的であり、使用可能であると見なされる、時間フレーム内の雑音の中から信号を抽出することができる高度信号処理の仕組みがなければ、手動ソルト識別にとって実際的でなく、不可能である。
別段に明記されていない限り、本明細書で使用されるすべての技術用語及び科学用語は、本発明が属する技術分野の当業者によって一般的に理解される意味と同じ意味を有する。本明細書で説明される方法及び材料と同様又は等価の方法及び材料が、本発明の実施又はテストにおいても使用され得るが、限られた数の例示的な方法及び材料が本明細書で説明される。はるかに多くの変更が、本明細書の発明的概念から逸脱することなく可能であることが当業者には明らかであろう。
本明細書で使用されるすべての用語は、コンテキストに一致する最も広い可能な様式で解釈されるべきである。グループ化が本明細書で使用されるとき、グループのすべての個々のメンバー並びにグループの可能なすべての組合せ及び部分組合せが個々に含まれるものとする。本明細書で範囲が明記されるとき、範囲は、範囲内のすべてのサブ範囲及び個々の点を含むものとする。本明細書で引用されるすべての参照は、本明細書の本開示との不整合がない範囲で、参照により本明細書に組み込まれる。
本発明は、例にすぎないことが意図され、添付の特許請求の範囲に記載されたような本発明の完全な範囲に限定するものではない、いくつかの好ましい実施例及び代替実施例に関して説明された。

Claims (16)

  1. データ・ファイルをソルティング及びフィンガープリンティングするための方法であって、前記データ・ファイルが複数のレコードを含み、前記レコードの各々が少なくとも1つのフィールドを含み、前記方法は、
    a.複数の利用可能なソーティング技法からソーティング技法を選択するステップと、
    b.前記選択されたソーティング技法に従って前記データ・ファイル中の前記レコードをソーティングするステップと、
    c.複数の利用可能なソルティング技法からソルティング技法を選択するステップと、
    d.前記ソーティングするステップが実行された後、前記選択されたソルティング技法を前記データ・ファイル中の1つ又は複数のレコードに適用するステップであって、前記ソルティング技法が、ソルティングされたデータ・ファイルを作成するために、前記ソーティングするステップの後の前記データ・ファイル中の前記レコードの順序に少なくとも部分的に基づく、適用するステップと、
    e.前記ソルティングするステップの後に前記ソルティングされたデータ・ファイルのフィンガープリントを構築するステップであって、前記フィンガープリントが、前記ソルティングされたデータ・ファイル中の前記複数のレコード中の前記レコードの少なくともサブセットの少なくとも1つのフィールドを含む、構築するステップと、
    f.再ソーティングされたソルティングされたデータ・ファイルを生成するために、前記ソーティングされた及びソルティングされたデータ・ファイルを、それが前記ソーティングするステップより前にそうであったようなそれの元のソート順序に復元するステップと、
    g.ファイル識別子を前記データ・ファイルに関連付けるステップと、ファイル・データベース中に前記ファイル識別子を、前記選択されたソーティング技法に関連付けられた識別子、前記選択されたソルティング技法に関連付けられた識別子、及び前記フィンガープリントとともに記憶するステップと、
    h.前記再ソーティングされたソルティングされたデータ・ファイルを、信用できる第三者(TTP)に配信するステップと
    を含む、方法。
  2. 前記選択されたソーティング技法が複数レベル・ソーティング技法である、請求項1に記載の方法。
  3. 前記選択されたソルティング技法が、前記複数の利用可能なソルティング技法の中からランダムに選定される、請求項1に記載の方法。
  4. 前記選択されたソルティング技法がコーディング精度支援システム(CASS)に準拠する、請求項1に記載の方法。
  5. 前記ソルティング技法がバッド・アクターによって検出不可能である、請求項1に記載の方法。
  6. 前記ソルティング技法が前記データ・ファイルの有用性を損なわない、請求項1に記載の方法。
  7. 前記データ・ファイルの各レコードが複数のフィールドを含み、さらに、前記データ・ファイルの各レコードが、消費者に関係する情報を含む、請求項1に記載の方法。
  8. ワイルド・ファイル中の複数のデータ・ファイルのうちの1つから、1つ又は複数のレコードの存在を検出する方法であって、前記複数のデータ・ファイルと前記ワイルド・ファイルとが各々、各々複数のフィールドを含む複数のレコードを含み、前記方法は、
    a.ソーティング技法のセットからの複数のソーティング技法を前記ワイルド・ファイルに適用するステップと、
    b.前記ワイルド・ファイルへの、前記複数のソーティング技法のうちの1つの各適用のために、ソルティング技法のセットから複数のソルティング技法を検索するステップと、前記複数のソルティング技法の各々について、マッチが生じるかどうかを決定するために、前記データ・ファイルのうちの少なくとも1つをソルティングすることの結果を前記ワイルド・ファイルと比較するステップと、
    c.前記少なくとも1つのデータ・ファイルをソルティングすることの前記結果を前記ワイルド・ファイルと比較した後にマッチが生じた場合、前記ワイルド・ファイル中の少なくとも1つのレコードの少なくとも1つのフィールドを複数のフィンガープリントのうちの少なくとも1つと比較するステップと、
    d.前記ワイルド・ファイル中の少なくとも1つのレコードの前記少なくとも1つのフィールドと、前記複数のフィンガープリントのうちの少なくとも1つとの前記比較がマッチを生じた場合、前記ワイルド・ファイルが前記データ・ファイルから導出されたという結果を返すステップと、
    e.前記ワイルド・ファイルへの、前記複数のソーティング技法のうちの1つの各適用及び前記複数のソルティング技法のうちの1つの各適用が、前記フィンガープリントとのマッチを生じない場合、前記ワイルド・ファイルが前記データ・ファイルから導出されなかったという結果を返すステップと
    を含む、方法。
  9. 前記複数のソーティング技法のうちの少なくとも1つが複数レベル・ソーティング技法である、請求項8に記載の方法。
  10. 前記複数のソルティング技法のうちの少なくとも1つがコーディング精度支援システム(CASS)に準拠する、請求項8に記載の方法。
  11. データ・ファイルをソルティング及びフィンガープリンティングするためのシステムであって、前記データ・ファイルが複数のレコードを含み、前記レコードの各々が少なくとも1つのフィールドを含み、
    a.データ・ファイルを受信するように構成されたソーター・エンジンであって、前記データ・ファイルが、各々少なくとも1つのフィールドを含む複数のレコードを含み、前記ソーター・エンジンが、ソーティングされたデータ・ファイルを生成するために、ソーティング技法に従って前記データ・ファイル中の前記レコードをソーティングすることと、再ソーティングされたデータ・ファイルを生成するために、前記ソーティングされたデータ・ファイルをそれの元の順序に再ソーティングすることとを行うように構成された、ソーター・エンジンと、
    b.前記ソーター・エンジンと通信しているソーティング技法ストアであって、複数のソーティング技法を含む、ソーティング技法ストアと、
    c.前記ソーター・エンジンと通信しており、前記ソーティングされたデータ・ファイルを受信することと、ソルティングされたデータ・ファイルを生成するために、ソルティング技法に従ってソルトを前記ソーティングされたデータ・ファイルに適用することとを行うように構成されたソルティング・エンジンと、
    d.前記ソルティング・エンジンと通信しているソルティング技法ストアであって、複数のソルティング技法を含む、ソルティング技法ストアと、
    e.前記ソルティングされたデータ・ファイルのうちの少なくとも1つのレコードの少なくとも1つのフィールドからフィンガープリントを生成するように構成された、前記ソルティング・エンジンと通信しているフィンガープリント・エンジンと、
    f.前記ソーター・エンジン、前記ソルティング・エンジン、及び前記フィンガープリント・エンジンと通信しているファイル・データベースであって、データ・ファイル識別子と、選択されたソーティング技法識別子と、選択されたソルティング技法識別子と、前記フィンガープリントとを記憶するように構成された、ファイル・データベースと
    を含む、システム。
  12. 前記ソーティング技法ストアにおける前記複数のソーティング技法のうちの少なくとも1つが、複数レベル・ソーティング技法である、請求項11に記載のシステム。
  13. 前記ソーター・エンジンが、前記ソルティング技法ストアにおける前記複数の利用可能なソルティング技法の中から前記選択されたソルティング技法をランダムに選択するようにさらに構成された、請求項11に記載のシステム。
  14. 前記ソルティング技法ストアにおける前記複数のソルティング技法のうちの少なくとも1つが、コーディング精度支援システム(CASS)に準拠する、請求項11に記載のシステム。
  15. 前記データ・ファイルの各レコードが複数のフィールドを含み、さらに、前記データ・ファイルの各レコードが、消費者に関係する情報を含む、請求項11に記載のシステム。
  16. 前記ソーター・エンジンが、各々少なくとも1つのフィールドを含む複数のレコードを含むワイルド・ファイルを受信することと、前記ソーティング技法ストアからの前記複数のソーティング技法の各々を前記ワイルド・ファイルに適用することとを行うようにさらに構成され、前記ソルティング・エンジンが、前記ワイルド・ファイルへの、前記複数のソーティング技法のうちの1つの各適用のために、前記ソルティング技法ストアから前記複数のソルティング技法の各々を検索するようにさらに構成され、前記複数のソルティング技法の各々について、マッチが生じるかどうかを決定するために、前記データ・ファイルをソルティングすることの結果を前記ワイルド・ファイルと比較するように構成されたマッチ・エンジンをさらに含み、さらに、前記フィンガープリント・エンジンが、前記データ・ファイルをソルティングすることの前記結果を前記ワイルド・ファイルと比較した後にマッチが生じた場合、前記ワイルド・ファイル中の少なくとも1つのレコードの少なくとも1つのフィールドを複数のフィンガープリントのうちの少なくとも1つと比較することと、前記ワイルド・ファイル中の少なくとも1つのレコードの前記少なくとも1つのフィールドと、前記複数のフィンガープリントのうちの少なくとも1つとの前記比較がマッチを生じた場合、前記ワイルド・ファイルが前記データ・ファイルから導出されたという結果を返すこと、又は、前記ワイルド・ファイルへの、前記複数のソーティング技法のうちの1つの各適用と前記複数のソルティング技法のうちの1つの各適用とが、前記フィンガープリントとのマッチを生じない場合、前記ワイルド・ファイルが前記データ・ファイルから導出されなかったという結果を返すこととを行うようにさらに構成された、請求項11に記載のシステム。
JP2018563377A 2016-02-18 2017-02-16 データベース・テーブル、テキスト・ファイル、及びデータ・フィード中におけるソルティング・テキスト及びフィンガープリンティング Active JP6934022B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662297027P 2016-02-18 2016-02-18
US62/297,027 2016-02-18
PCT/US2017/018037 WO2017142981A1 (en) 2016-02-18 2017-02-16 Salting text and fingerprinting in database tables, text files and data feeds

Publications (2)

Publication Number Publication Date
JP2019508832A true JP2019508832A (ja) 2019-03-28
JP6934022B2 JP6934022B2 (ja) 2021-09-08

Family

ID=59625401

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018563377A Active JP6934022B2 (ja) 2016-02-18 2017-02-16 データベース・テーブル、テキスト・ファイル、及びデータ・フィード中におけるソルティング・テキスト及びフィンガープリンティング

Country Status (6)

Country Link
US (1) US11188301B2 (ja)
EP (1) EP3417385A4 (ja)
JP (1) JP6934022B2 (ja)
CN (1) CN109429517A (ja)
CA (1) CA3015152A1 (ja)
WO (1) WO2017142981A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6970686B2 (ja) * 2015-12-31 2021-11-24 ライブランプ インコーポレーテッド データベース・テーブル、テキスト・ファイル、及びデータ・フィード中のテキストのソルティング
CN110717827B (zh) * 2019-09-03 2022-08-30 网联清算有限公司 数据库的确定方法、装置和交易处理系统
US11288408B2 (en) * 2019-10-14 2022-03-29 International Business Machines Corporation Providing adversarial protection for electronic screen displays
US11669601B2 (en) * 2020-09-18 2023-06-06 Huawei Cloud Computing Technologies Co., Ltd. Digital watermarking for textual data
US11500819B2 (en) * 2020-09-22 2022-11-15 Vmware, Inc. Supporting deduplication in file storage using file chunk hashes
CN112986928B (zh) * 2021-03-11 2022-06-17 哈尔滨工程大学 一种复杂电磁环境下信号分选多源融合处理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10124490A (ja) * 1996-10-22 1998-05-15 Nri & Ncc Co Ltd デジタル文書のマーク認識装置及びその方法
JP2006011738A (ja) * 2004-06-24 2006-01-12 Nec Corp 個人情報管理システム、方法、個人情報データ変換装置、漏洩検出装置、漏洩検出方法、プログラム
JP2006140944A (ja) * 2004-11-15 2006-06-01 Hitachi Ltd 情報埋め込み装置、方法、システムおよび利用者端末

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7930546B2 (en) 1996-05-16 2011-04-19 Digimarc Corporation Methods, systems, and sub-combinations useful in media identification
US5745900A (en) * 1996-08-09 1998-04-28 Digital Equipment Corporation Method for indexing duplicate database records using a full-record fingerprint
US20060028689A1 (en) * 1996-11-12 2006-02-09 Perry Burt W Document management with embedded data
US7756892B2 (en) 2000-05-02 2010-07-13 Digimarc Corporation Using embedded data with file sharing
US6886098B1 (en) 1999-08-13 2005-04-26 Microsoft Corporation Systems and methods for compression of key sets having multiple keys
US6912294B2 (en) 2000-12-29 2005-06-28 Contentguard Holdings, Inc. Multi-stage watermarking process and system
US7334003B2 (en) * 2002-01-11 2008-02-19 First Data Corporation Methods and systems for extracting related information from flat files
EP1551644A4 (en) 2002-10-15 2008-01-02 Digimarc Corp IDENTIFICATION DOCUMENT AND RELATED METHODS
US8014557B2 (en) 2003-06-23 2011-09-06 Digimarc Corporation Watermarking electronic text documents
US7730037B2 (en) * 2004-10-18 2010-06-01 George Mason Intellectual Properties, Inc. Fragile watermarks
US20060150153A1 (en) * 2004-12-04 2006-07-06 Micah Altman Digital object verification method
CN100364326C (zh) * 2005-12-01 2008-01-23 北京北大方正电子有限公司 一种在文本文档中嵌入及检测数字水印的方法和装置
US7617231B2 (en) 2005-12-07 2009-11-10 Electronics And Telecommunications Research Institute Data hashing method, data processing method, and data processing system using similarity-based hashing algorithm
US8099415B2 (en) * 2006-09-08 2012-01-17 Simply Hired, Inc. Method and apparatus for assessing similarity between online job listings
KR100991855B1 (ko) 2008-03-19 2010-11-04 주식회사 마크애니 전자 문서 발급 및 검증 시스템, 전자 문서 발급 방법 및전자 문서 검증 방법
US8250085B1 (en) 2008-12-18 2012-08-21 Symantec Corporation Method to improve data loss prevention via cross leveraging fingerprints
US9465922B2 (en) * 2009-01-22 2016-10-11 Hewlett Packard Enterprise Development Lp Methods for secure data distribution
EP2443580A1 (en) 2009-05-26 2012-04-25 Websense, Inc. Systems and methods for efficeint detection of fingerprinted data and information
US8412755B2 (en) 2009-06-23 2013-04-02 Hewlett-Packard Development Company, L.P. Permuting records in a database for leak detection and tracing
US8478799B2 (en) * 2009-06-26 2013-07-02 Simplivity Corporation Namespace file system accessing an object store
US8359472B1 (en) * 2010-03-25 2013-01-22 Trend Micro Incorporated Document fingerprinting with asymmetric selection of anchor points
US10503888B2 (en) 2012-03-16 2019-12-10 Traitware, Inc. Authentication system
US8825689B2 (en) * 2012-05-21 2014-09-02 Sonatype, Inc. Method and system for matching unknown software component to known software component
US8621244B1 (en) * 2012-10-04 2013-12-31 Datalogix Inc. Method and apparatus for matching consumers
US8850596B2 (en) 2012-11-08 2014-09-30 Microsoft Corporation Data leakage detection in a multi-tenant data architecture
US9087459B2 (en) 2012-11-30 2015-07-21 The Nielsen Company (Us), Llc Methods, apparatus, and articles of manufacture to encode auxilary data into text data and methods, apparatus, and articles of manufacture to obtain encoded data from text data
US9990478B2 (en) 2012-11-30 2018-06-05 The Nielsen Company (Us), Llc Methods, apparatus, and articles of manufacture to encode auxiliary data into relational database keys and methods, apparatus, and articles of manufacture to obtain encoded data from relational database keys
US9766832B2 (en) * 2013-03-15 2017-09-19 Hitachi Data Systems Corporation Systems and methods of locating redundant data using patterns of matching fingerprints
US10515231B2 (en) 2013-11-08 2019-12-24 Symcor Inc. Method of obfuscating relationships between data in database tables
US9514312B1 (en) 2014-09-05 2016-12-06 Symantec Corporation Low-memory footprint fingerprinting and indexing for efficiently measuring document similarity and containment
US9171173B1 (en) * 2014-10-02 2015-10-27 Terbium Labs LLC Protected indexing and querying of large sets of textual data
CN105205355B (zh) 2015-11-05 2018-04-10 南通大学 一种基于语义角色位置映射的文本水印嵌入及提取方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10124490A (ja) * 1996-10-22 1998-05-15 Nri & Ncc Co Ltd デジタル文書のマーク認識装置及びその方法
JP2006011738A (ja) * 2004-06-24 2006-01-12 Nec Corp 個人情報管理システム、方法、個人情報データ変換装置、漏洩検出装置、漏洩検出方法、プログラム
JP2006140944A (ja) * 2004-11-15 2006-06-01 Hitachi Ltd 情報埋め込み装置、方法、システムおよび利用者端末

Also Published As

Publication number Publication date
EP3417385A4 (en) 2019-08-28
US11188301B2 (en) 2021-11-30
CN109429517A (zh) 2019-03-05
CA3015152A1 (en) 2017-08-24
JP6934022B2 (ja) 2021-09-08
WO2017142981A1 (en) 2017-08-24
US20210026598A1 (en) 2021-01-28
EP3417385A1 (en) 2018-12-26

Similar Documents

Publication Publication Date Title
JP6934022B2 (ja) データベース・テーブル、テキスト・ファイル、及びデータ・フィード中におけるソルティング・テキスト及びフィンガープリンティング
US11620365B2 (en) Salting text in database tables, text files, and data feeds
US11568028B2 (en) Data watermarking and fingerprinting system and method
US6807634B1 (en) Watermarks for customer identification
US7730037B2 (en) Fragile watermarks
JP2004088598A (ja) 電子透かし埋め込み装置、電子透かし解析装置、電子透かし埋め込み方法、電子透かし解析方法及びプログラム
Zhao et al. Towards graph watermarks
CN109461110B (zh) 确定图片的溯源信息的方法及装置
CN111340676A (zh) 图像水印的嵌入方法、识别方法、装置及电子设备
Hamadou et al. Reversible fragile watermarking scheme for relational database based on prediction‐error expansion
JP7046970B2 (ja) 漏洩したデータを識別し、疑わしい漏洩者に有罪性を割り当てるためのシステム及び方法
JP2002165081A (ja) 電子透かしシステム、電子透かし解析装置、電子透かし解析方法及び記録媒体
US20240111882A1 (en) Automatic Classification of Files with Hierarchical Structure with the Digital Fingerprints Library
JP4515958B2 (ja) コンテンツ配信受信システム及びコンテンツ配信受信方法
Khavare et al. Robust image hashing algorithm for detecting and localizing image tamper in small region
Mucsi-Nagy Digital fingerprinting for sharing of confidential data
CN111712868A (zh) 检索装置、检索方法、程序以及记录介质

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20190508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20190513

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201211

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210310

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210728

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210818

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210820

R150 Certificate of patent or registration of utility model

Ref document number: 6934022

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250