JP2021523489A - データをコンシール処理する方法及びこれを利用したデータ変調装置 - Google Patents

データをコンシール処理する方法及びこれを利用したデータ変調装置 Download PDF

Info

Publication number
JP2021523489A
JP2021523489A JP2020564388A JP2020564388A JP2021523489A JP 2021523489 A JP2021523489 A JP 2021523489A JP 2020564388 A JP2020564388 A JP 2020564388A JP 2020564388 A JP2020564388 A JP 2020564388A JP 2021523489 A JP2021523489 A JP 2021523489A
Authority
JP
Japan
Prior art keywords
data
loss
learning network
original
characteristic information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020564388A
Other languages
English (en)
Other versions
JP7041823B2 (ja
Inventor
フン キム、テ
フン キム、テ
Original Assignee
ディーピング ソース インコーポレイテッド．
ディーピング ソース インコーポレイテッド．
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ディーピング ソース インコーポレイテッド．, ディーピング ソース インコーポレイテッド． filed Critical ディーピング ソース インコーポレイテッド．
Publication of JP2021523489A publication Critical patent/JP2021523489A/ja
Application granted granted Critical
Publication of JP7041823B2 publication Critical patent/JP7041823B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6254—Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • G06F21/12—Protecting executable software
    • G06F21/14—Protecting executable software against software analysis or reverse engineering, e.g. by obfuscation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/606—Protecting data by securing the transmission between two devices or processes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2209/00—Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
    • H04L2209/16—Obfuscation or hiding, e.g. involving white box

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Bioethics (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Technology Law (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Facsimile Transmission Control (AREA)
  • Digital Transmission Methods That Use Modulated Carrier Waves (AREA)
  • Image Analysis (AREA)
  • Filters That Use Time-Delay Elements (AREA)

Abstract

本発明の方法は、個人情報保護のために原本データをコンシール処理する方法において、データ変調装置が、（ａ）原本データが取得されると、原本データ又はこれに対応する変換データをラーニングネットワークに入力して、ラーニングネットワークをもって（ｉ）ラーニングネットワークの学習済みパラメータを利用して、原本データ又は変換データに対してネットワーク演算を適用させて（ｉｉ）原本データ又は変換データに関する特性情報を出力させる段階、及び（ｂ）（ｉ）特性情報と、これに対応する第１原本正解とを参照して算出された第１ロスと、（ｉｉ）（ｉｉ−１）特性情報を利用して生成されたタスク特化出力及び（ｉｉ−２）これに対応する第２原本正解とを参照して算出された第２ロスとのうち少なくとも一部を利用したバックプロパゲーションを通じて原本データ又は変換データをアップデートして変調済みデータを生成する段階を含む。

Description

本発明は、データをコンシール（Ｃｏｎｃｅａｌｉｎｇ）処理する方法、及びこれを利用したデータ変調装置に関し、より詳細には、ラーニングネットワーク（Ｌｅａｒｎｉｎｇ Ｎｅｔｗｏｒｋ）に入力されるデータに含まれる識別情報をコンシール処理する方法、及びこれを利用したデータ変調装置に関する。
ビッグデータ（Ｂｉｇ Ｄａｔａ）とは、既存の企業環境や公共機関で使用される定型化されたデータはもちろん、電子商取引データ、メタデータ、ウェブログデータ、ワイヤレス識別（ＲＦＩＤ：Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）データ、センサーネットワークデータ、ソーシャルネットワークデータ、インターネットテキストと文書に関するデータ、インターネット検索インデックスデータなど、従来活用できていなかった非定型化又は半定型化されたデータをすべて含むデータであって、このようなデータは一般的に通常のソフトウェアツール及びコンピュータシステムでは扱いにくいレベルのデータ量を有するようになるという意味でビッグデータと称されている。
また、このようなビッグデータは、それ自体では意味がないことがあるが、パターン等に対する機械学習を通じて様々な分野で新しいデータを作り出したり、判断又は予測をするのに有用に使用され得る。
近年、個人情報保護法の強化等により、このようなビッグデータを取引又は共有するためには、当該データの個人識別が可能な情報を削除するか、当該個人の同意を得ることが求められる。しかし、相当な量のビッグデータのうち、個人識別が可能な情報があるか否かを一つ一つ確認するのも困難であるだけでなく、個人の同意を一つ一つ得るのも不可能であったため、これを支援するための多様な技術が登場している。
これに関する従来技術の一例として、韓国登録特許公報第１８６１５２０号に開示されている技術が例に挙げられるが、これによると、変形対象入力イメージにおいて人の顔領域を検出する検出段階、前記入力イメージにおいて人が識別されないように前記検出された顔領域を人の顔の形状ではなく歪曲した第１イメージに変形する第１コンシーリング化段階、及び前記第１イメージに基づいて予め設定されている顔の形状を有する第２イメージを生成し、前記入力イメージにおいて前記第１イメージを前記第２イメージに変形させ、前記第２イメージは、前記検出段階で検出された顔領域の形状と異なる顔の形状を有するように生成される第２コンシーリング化段階を含む顔−コンシーリング化方法が提供される。
しかしながら、上記のような技術をはじめとして従来の技術によると、データ上に顔、テキストなどの識別情報を含むか否かを確認し、識別情報に該当する部分をマスキング（Ｍａｓｋｉｎｇ）又はブラー（Ｂｌｕｒ）処理して消したり隠す方式であったため、原本データの損傷により機械学習で使用するのが難しかったのであり、データ上に不測の識別情報が含まれるため、これをコンシーリング化（例えば、非識別）することができない場合もしばしば発生していた。特に、従来のセキュリティカメラ（Ｓｅｃｕｒｉｔｙ Ｃａｍｅｒａ）は、映像イメージ内にフレーム間の変化があるすべてのピクセルをブラー（Ｂｌｕｒ）処理する方式で非識別処理を遂行するようになるが、このような方法で非識別処理を遂行するようになると、非識別された顔の表情などの主要な情報が、原本映像イメージに収められている情報と異なるようになるだけでなく、顔の検出過程で漏れた個人識別情報が原本映像イメージ上にそのまま残るようになる問題があった。また、ブラー処理された映像イメージは、従来の映像デブラーリング（Ｄｅｂｌｕｒｒｉｎｇ）技術のうちの一つを利用して原状復帰することもあり得る。
よって、本発明者らは、原本データと異なるように変調（０ｂｆｕｓｃａｔｉｏｎ）された変調データを生成し、機械学習モデルに原本データが入力されて出力される結果と、当該機械学習モデルに上記の変調データが入力されて出力される結果とが互いに同一又は類似するようになる技術を提案する。
本発明は、前述の従来技術の問題点をすべて解決することをその目的とする。
また、本発明は、データ内で個人識別情報を探す作業が要求されないため、比較的簡単でありながらも正確に非識別（Ａｎｏｎｙｍｉｚａｔｉｏｎ）作業を遂行し得るようにすることをまた他の目的とする。
そして、本発明は、原本データから非可逆的に変調（０ｂｆｕｓｃａｔｉｏｎ）して非識別（Ａｎｏｎｙｍｉｚａｔｉｏｎ）処理されたデータを生成することによって、原本データのセキュリティ及びプライバシーを守り得ることをまた他の目的とする。
また、本発明は、人間にとっては全く異なるように見えるデータであるものの、コンピュータには互いに同一又は類似するように見えるデータを生成することをまた他の目的とする。
さらに、本発明は、ビッグデータの取引市場をより活性化させることをまた他の目的とする。
前記の目的を達成するための本発明の代表的な構成は、以下の通りである。
本発明の一態様によると、個人情報保護のために原本データをコンシール（Ｃｏｎｃｅａｌｉｎｇ）処理する方法において、（ａ）前記原本データが取得されると、データ変調装置が、前記原本データ又はこれに対応する変換データ（Ｍｏｄｉｆｉｅｄ Ｄａｔａ）をラーニングネットワーク（Ｌｅａｒｎｉｎｇ Ｎｅｔｗｏｒｋ）に入力して、前記ラーニングネットワークをもって（ｉ）前記ラーニングネットワークの少なくとも一つの学習済みパラメータを利用して、前記原本データ又は前記変換データに対してネットワーク演算を適用させて（ｉｉ）前記原本データ又は前記変換データに関する特性情報（Ｃｈａｒａｃｔｅｒｉｓｔｉｃ Ｉｎｆｏｒｍａｔｉｏｎ）を出力させる段階、及び（ｂ）前記データ変調装置が、（ｉ）前記特性情報とこれに対応する少なくとも一つの第１原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とを参照して算出された少なくとも一つの第１ロスと、（ｉｉ）（ｉｉ−１）前記特性情報を利用して生成された少なくとも一つのタスク特化出力（Ｔａｓｋ Ｓｐｅｃｉｆｉｃ Ｏｕｔｐｕｔ）及び（ｉｉ−２）これに対応する少なくとも一つの第２原本正解とを参照して算出された少なくとも一つの第２ロスとのうち少なくとも一部を利用したバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を通じて前記原本データ又は前記変換データをアップデートして、前記原本データに対応する変調済みデータ（Ｏｂｆｕｓｃａｔｅｄ Ｄａｔａ）を生成する段階を含む。
一実施例において、前記ラーニングネットワークは、少なくとも１つの第１学習済みパラメータ乃至少なくとも１つの第ｎ学習済みパラメータをそれぞれ有する第１ラーニングネットワーク乃至第ｎラーニングネットワークを含み、前記ｎは１以上の整数（ｉｎｔｅｇｅｒ）である場合、前記（ａ）段階で、前記データ変調装置は、前記原本データ又は前記変換データを前記第１ラーニングネットワークに入力して、前記第１ラーニングネットワークをもって（ｉ）前記第１ラーニングネットワークの前記第１学習済みパラメータを利用して、前記原本データ又は前記変換データに対してネットワーク演算を適用させて（ｉｉ）前記原本データ又は前記変換データに関する第１特性情報を出力させ、前記（ｂ）段階で、前記データ変調装置は、（ｉ）前記第１特性情報とこれに対応する少なくとも１つの第１＿１原本正解とを参照して算出された少なくとも１つの第１＿１ロスと、（ｉｉ）（ｉｉ−１）前記第１特性情報を利用して生成された少なくとも１つの第１タスク特化出力と、（ｉｉ−２）前記第１タスク特化出力に対応する少なくとも１つの第２＿１原本正解とを参照して算出された少なくとも一つの第２＿１ロスとのうち少なくとも一部を利用したバックプロパゲーションを通じて前記原本データ又は前記変換データをアップデートして、前記原本データ又は前記変換データに対応する第１変調済みデータを生成し、前記データ変調装置が、整数であるｋを２からｎまで増加させて行き、（ｉ）第ｋ−１変調済みデータを第ｋラーニングネットワークに入力して、前記第ｋラーニングネットワークをもって（ｉ−１）前記第ｋラーニングネットワークの少なくとも一つの第ｋ学習済みパラメータを利用して、前記第ｋ−１変調済みデータに対してネットワーク演算を適用させて（ｉ−２）前記第ｋ−１変調済みデータに対する第ｋ特性情報を出力させ、（ｉｉ）（ｉｉ−１）前記第ｋ特性情報と、これに対応する少なくとも一つの第１＿ｋ原本正解とを参照して生成された少なくとも一つの第１＿ｋロスと、（ｉｉ−２）前記第ｋ特性情報を利用して生成された少なくとも一つの第ｋタスク特定値及びこれに対応する少なくとも一つの第２＿ｋ原本正解とを参照して算出された少なくとも一つの第２＿ｋロスとのうち少なくとも一部を利用したバックプロパゲーションを通じて前記第ｋ−１変調済みデータをアップデートして、前記第ｋ−１変調済みデータに対応する第ｋ変調済みデータを生成するプロセスを繰り返すことにより、前記原本データに対応する前記変調済みデータである第ｎ変調済みデータを生成する。
一実施例において、前記データ変調装置は、（ｉ）前記第１＿１ロス乃至第１＿ｎロスを平均した第１平均ロス、（ｉｉ）前記第２＿１ロス乃至第２＿ｎロスを平均した第２平均ロス、及び（ｉｉｉ）前記第１＿１ロス乃至第１＿ｎロスと前記第１＿１ロス乃至第１＿ｎロスそれぞれに対応する前記第２＿１ロス乃至第２＿ｎロスとをそれぞれ要素別に合算（Ｐｉｅｃｅｗｉｓｅ Ｓｕｍｍａｔｉｏｎ）した第１合算ロス乃至第ｎ合算ロスを平均した第３平均ロスのうち少なくとも一部を利用したバックプロパゲーションを通じて前記原本データ又は前記変換データをアップデートして、前記変調済みデータを生成する。
一実施例において、前記（ｂ）段階で、前記データ変調装置は、前記第１ロスと前記第２ロスとのうち少なくとも一部を利用したバックプロパゲーションの進行中に前記ラーニングネットワークの前記学習済みパラメータを固定された値に保持する。
一実施例において、前記（ｂ）段階で、前記データ変調装置は、前記第１ロスと前記第２ロスとのうち少なくとも一部を最小化するための少なくとも一つのロスグラディエント（Ｌｏｓｓ Ｇｒａｄｉｅｎｔ）を取得し、前記ロスグラディエントを前記原本データ又は前記変換データにバックプロパゲーションする。
一実施例において、前記（ａ）段階で、前記データ変調装置は、前記原本データに対するランダムノイズ生成ネットワークを通じて生成されたランダムノイズ追加プロセス、前記原本データに対するブラー（Ｂｌｕｒ）処理プロセス、及び前記原本データの解像度変更プロセスのうち少なくとも一つのプロセスを遂行して前記原本データに対応する前記変換データを生成する。
一実施例において、前記ラーニングネットワークは、少なくとも１つの第１学習済みパラメータ乃至少なくとも１つの第ｎ学習済みパラメータを有する第１ラーニングネットワーク乃至第ｎラーニングネットワークを含み、前記ｎは１以上の整数である場合、前記（ａ）段階で、前記データ変調装置は、前記原本データ又は前記変換データを前記第１ラーニングネットワーク乃至前記第ｎラーニングネットワークそれぞれに入力して、それぞれの前記第１ラーニングネットワーク乃至前記第ｎラーニングネットワークをもって、（ｉ）前記第１ラーニングネットワーク乃至前記第ｎラーニングネットワークそれぞれの前記第１学習済みパラメータ乃至前記第ｎ学習済みパラメータを利用して、前記原本データ又は前記変換データに対して当該ラーニングネットワークに対応するネットワーク演算を適用させて（ｉｉ）前記原本データ又は前記変換データに対するそれぞれの第１特性情報乃至第ｎ特性情報を出力させ、前記（ｂ）段階で、前記データ変調装置は、（ｉ）前記第１特性情報乃至前記第ｎ特性情報と、これにそれぞれ対応する少なくとも１つの第１＿１原本正解乃至少なくとも１つの第１＿ｎ原本正解とを参照して算出された第１＿１ロス乃至第１＿ｎロスの平均である第１ロスのうち一つ、（ｉｉ）前記第１特性情報乃至前記第ｎ特性情報それぞれを利用して生成された第１タスク特化出力乃至第ｎタスク特化出力と、これにそれぞれ対応する少なくとも１つの第２＿１原本正解のうち一つ、及び（ｉｉｉ）前記第１＿１ロス乃至前記第１＿ｎロスと、これにそれぞれ対応する第２＿１ロス乃至第２＿ｎロスとをそれぞれ要素ごとに合算（Ｐｉｅｃｅｗｉｓｅ Ｓｕｍｍａｔｉｏｎ）した第１合算ロス乃至第ｎ合算ロスを平均した第３ロスのうち少なくとも一部を利用したバックプロパゲーションを通じて前記原本データ又は前記変換データをアップデートして、前記原本データに対応する前記変調済みデータを生成する。
本発明の他の態様によると、個人情報保護のために原本データをコンシール処理する方法において、（ａ）前記原本データが取得されると、データ変調装置が、前記原本データを変換して変換データを生成する段階と、（ｂ）前記データ変調装置が、（ｉ）前記原本データをラーニングネットワークに入力して、前記ラーニングネットワークをもって（ｉ−１）前記ラーニングネットワークの少なくとも一つの学習済みパラメータを利用して、前記原本データに対してネットワーク演算を適用させて（ｉ−２）前記原本データに対する第１特性情報を出力させ、（ｉｉ）前記変換データを前記ラーニングネットワークに入力して、前記ラーニングネットワークをもって（ｉｉ−１）前記学習済みパラメータを利用して、前記変換データに対してネットワーク演算を適用させて（ｉｉ−２）前記変換データに対する第２特性情報を出力させる段階と、（ｃ）前記データ変調装置が、（ｉ）前記第１特性情報と前記第２特性情報とを参照して算出された少なくとも一つの第１ロスと、（ｉｉ）（ｉｉ−１）前記第２特性情報を利用して生成された少なくとも一つのタスク特化出力と、（ｉｉ−２）これに対応する少なくとも一つの原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とを参照して算出された少なくとも一つの第２ロスとのうち少なくとも一部を参照して生成された少なくとも一つのデータロスを利用したバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を通じて前記原本データ又は前記変換データをアップデートして、前記原本データに対応する変調済みデータを生成する段階と、を含む。
一実施例において、前記ラーニングネットワークは、少なくとも１つの第１学習済みパラメータ乃至少なくとも１つの第ｎ学習済みパラメータを有する第１ラーニングネットワーク乃至第ｎラーニングネットワークを含み、前記ｎは１以上の整数である場合、前記（ｂ）段階で、前記データ変調装置は、（ｉ）前記原本データを前記第１ラーニングネットワークに入力して、前記第１ラーニングネットワークをもって（ｉ−１）前記第１ラーニングネットワークの少なくとも１つの第１学習済みパラメータを利用して、前記原本データに対してネットワーク演算を適用させて（ｉ−２）前記原本データに対する第１＿１特性情報を出力させ、（ｉｉ）前記変換データを前記第１ラーニングネットワークに入力して、前記第１ラーニングネットワークをもって（ｉｉ−１）前記第１学習済みパラメータを利用して、前記変換データに対してネットワーク演算を適用させて（ｉｉ−２）前記変換データに対する第２＿１特性情報を出力させ、前記（ｃ）段階で、前記データ変調装置は、（ｉ）前記第１＿１特性情報と前記第２＿１特性情報とを参照して生成された少なくとも一つの第１＿１ロスと、（ｉｉ）（ｉｉ−１）前記第２＿１特性情報を利用して生成された少なくとも一つの第１タスク特化出力と、（ｉｉ−２）これに対応する少なくとも一つの第１原本正解とを参照して生成された少なくとも一つの第２＿１ロスとのうち少なくとも一部を参照して算出された少なくとも一つの第１データロスを利用したバックプロパゲーションを通じて前記変換データをアップデートして、前記変換データに対応する第１変調済みデータを生成し、前記データ変調装置が、整数であるｋを２からｎまで増加させて行き、（ｉ）前記原本データを第ｋラーニングネットワークに入力して、前記第ｋラーニングネットワークをもって（ｉ−１）前記第ｋラーニングネットワークの少なくとも一つの第ｋ学習済みパラメータを利用して、前記原本データに対してネットワーク演算を適用させて（ｉ−２）前記原本データに対する第１＿ｋ特性情報を出力させるプロセス、（ｉｉ）第ｋ−１変調済みデータを前記第ｋラーニングネットワークに入力して、前記第ｋラーニングネットワークをもって（ｉｉ−１）前記第ｋ学習済みパラメータを利用して、前記第ｋ−１変調済みデータに対してネットワーク演算を適用させて（ｉｉ−２）前記第ｋ−１変調済みデータに対する第２＿ｋ特性情報を出力させるプロセス、及び（ｉｉｉ）（ｉｉｉ−１）前記第１＿ｋ特性情報と前記第２＿ｋ特性情報とを参照して算出された少なくとも１つの第１＿ｋロスと、（ｉｉｉ−２）前記第２＿ｋ特性情報を利用して生成された少なくとも１つの第ｋタスク特化出力と、これに対応する少なくとも１つの第ｋ原本正解とを参照して算出された少なくとも一つの第２＿ｋロスとのうち少なくとも一部を参照して生成された少なくとも１つの第ｋデータロスを利用したバックプロパゲーションを通じて前記第ｋ−１変調済みデータをアップデートして、前記第ｋ−１変調済みデータに対応する第ｋ変調済みデータを生成するプロセスを繰り返すことにより、前記原本データに対応する前記変調済みデータである第ｎ変調済みデータを生成する。
一実施例において、前記データ変調装置は、前記第１データロス乃至第ｎデータロスを平均した少なくとも一つの平均データロスを利用したバックプロパゲーションを通じて前記原本データ又は前記変換データをアップデートして、前記変調済みデータを生成する。
一実施例において、（ｉ）前記第１＿１ロス乃至前記第１＿ｎロスを平均した少なくとも一つの平均を第１サブロス（Ｓｕｂ Ｌｏｓｓ）として算出し、（ｉｉ）前記特定の特性情報と前記第２＿１ロス乃至前記第２＿ｎロスを平均した平均値とを参照して第２サブロスを算出する。
一実施例において、前記（ｃ）段階で、前記データ変調装置は、前記データロスを利用したバックプロパゲーションの進行中に前記ラーニングネットワークの前記学習済みパラメータを固定された値に保持する。
一実施例において、前記（ａ）段階で、前記データ変調装置は、前記原本データに対するランダムノイズ生成ネットワークを通じて生成されたランダムノイズ追加プロセス、前記原本データに対するブラー（Ｂｌｕｒ）処理プロセス、及び前記原本データの解像度変更プロセスのうち少なくとも一つのプロセスを遂行して前記原本データに対応する前記変換データを生成する。
一実施例において、前記ラーニングネットワークは、少なくとも１つの第１学習済みパラメータ乃至少なくとも１つの第ｎ学習済みパラメータを有する第１ラーニングネットワーク乃至第ｎラーニングネットワークを含み、前記ｎは１以上の整数である場合、前記（ｂ）段階で、前記データ変調装置は、（ｉ）前記原本データ及び前記変換データを前記第１ラーニングネットワーク乃至前記第ｎラーニングネットワークそれぞれに入力して、（ｉｉ）それぞれの前記第１ラーニングネットワーク乃至前記第ｎラーニングネットワークをもって（ｉｉ−１）前記第１ラーニングネットワーク乃至前記第ｎラーニングネットワークそれぞれの前記第１学習済みパラメータ乃至前記第ｎ学習済みパラメータを利用して、前記原本データ及び前記変換データに対して当該ラーニングネットワークに対応するネットワーク演算を適用させて（ｉｉ−２）前記原本データに対するそれぞれの第１＿１特性情報乃至第１＿ｎ特性情報を出力させ、（ｉｉ−３）前記変換データに対するそれぞれの第２＿１特性情報乃至第２＿ｎ特性情報を出力させ、前記（ｃ）段階で、前記データ変調装置は、（ｉ）前記第１＿１特性情報乃至前記第１＿ｎ特性情報と、これにそれぞれ対応する前記第２＿１特性情報乃至第２＿ｎ特性情報を参照して算出された第１＿１ロス乃至第１＿ｎロスの平均である前記第１ロスのうち一つ、（ｉｉ）前記第２＿１特性情報乃至前記第２＿ｎ特性情報それぞれを利用して生成された第１タスク特化出力乃至第ｎタスク特化出力と、これにそれぞれ対応する少なくとも一つの第１原本正解乃至少なくとも一つの第ｎ原本正解とを参照して算出された第２＿１ロス乃至第２＿ｎロスの平均である第２ロスのうち一つ、及び（ｉｉｉ）前記第１＿１ロス乃至前記第１＿ｎロスと、これにそれぞれ対応する前記第２＿１ロス乃至第２＿ｎロスとをそれぞれ要素ごとに合算（Ｐｉｅｃｅｗｉｓｅ Ｓｕｍｍａｔｉｏｎ）した第１合算ロス乃至第ｎ合算ロスを平均した第３ロスのうち少なくとも一部を利用したバックプロパゲーションを通じて前記原本データ又は前記変換データをアップデートして、前記原本データに対応する前記変調済みデータを生成する。
本発明のまた他の態様によると、個人情報保護のために原本データをコンシール処理するデータ変調装置（Ｄａｔａ Ｏｂｆｕｓｃａｔｉｏｎ Ｄｅｖｉｃｅ）において、インストラクションを格納する少なくとも１つのメモリと、（Ｉ）前記原本データが取得されると、前記原本データ又はこれに対応する変換データ（Ｍｏｄｉｆｉｅｄ Ｄａｔａ）をラーニングネットワーク（Ｌｅａｒｎｉｎｇ Ｎｅｔｗｏｒｋ）に入力して、前記ラーニングネットワークをもって（ｉ）前記ラーニングネットワークの少なくとも一つの学習済みパラメータを利用して、前記原本データ又は前記変換データに対してネットワーク演算を適用させて（ｉｉ）前記原本データ又は前記変換データに関する特性情報（Ｃｈａｒａｃｔｅｒｉｓｔｉｃ Ｉｎｆｏｒｍａｔｉｏｎ）を出力させるプロセス、及び（ＩＩ）（ｉ）前記特性と、これに対応する少なくとも一つの第１原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とを参照して算出された少なくとも一つの第１ロスと、（ｉｉ）（ｉｉ−１）前記特性情報を利用して生成された少なくとも１つのタスク特化出力（Ｔａｓｋ Ｓｐｅｃｉｆｉｃ Ｏｕｔｐｕｔ）及び（ｉｉ−２）これに対応する少なくとも１つの第２原本正解を参照して算出された少なくとも１つの第２ロスとのうち少なくとも一部を利用したバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を通じて前記原本データ又は前記変換データをアップデートして、前記原本データに対応する変調済みデータ（Ｏｂｆｕｓｃａｔｅｄ Ｄａｔａ）を生成するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含む。
一実施例において、前記ラーニングネットワークは、少なくとも１つの第１学習済みパラメータ乃至少なくとも１つの第ｎ学習済みパラメータをそれぞれ有する第１ラーニングネットワーク乃至第ｎラーニングネットワークを含み、前記ｎは１以上の整数である場合、前記（Ｉ）プロセスで、前記プロセッサは、前記原本データ又は前記変換データを前記第１ラーニングネットワークに入力して、前記第１ラーニングネットワークをもって（ｉ）前記第１ラーニングネットワークの前記第１学習済みパラメータを利用して、前記原本データ又は前記変換データに対してネットワーク演算を適用させて（ｉｉ）前記原本データ又は前記変換データに関する第１特性情報を出力させ、前記（ＩＩ）プロセスで、前記プロセッサは、（ｉ）前記第１特性情報と、これに対応する少なくとも１つの第１＿１原本正解とを参照して算出された少なくとも１つの第１＿１ロスと、（ｉｉ）（ｉｉ−１）前記第１特性情報を利用して生成された少なくとも１つの第１タスク特化出力と、（ｉｉ−２）これに対応する少なくとも１つの第２＿１原本正解とを参照して算出された少なくとも１つの第２＿１ロスとのうち少なくとも一部を利用したバックプロパゲーションを通じて前記原本データ又は前記変換データをアップデートして、前記原本データ又は前記変換データに対応する第１変調済みデータを生成し、前記プロセッサが、整数であるｋを２からｎまで増加させて行き、（ｉ）第ｋ−１変調済みデータを第ｋラーニングネットワークに入力して、前記第ｋラーニングネットワークをもって（ｉ−１）前記第ｋラーニングネットワークの少なくとも一つの第ｋ学習済みパラメータを利用して、前記第ｋ−１変調済みデータに対してネットワーク演算を適用させて（ｉ−２）前記第ｋ−１変調済みデータに対する第ｋ特性情報を出力させ、（ｉｉ）（ｉｉ−１）前記第ｋ特性情報とこれに対応する少なくとも一つの第１＿ｋ原本正解とを参照して生成された少なくとも一つの第１＿ｋロスと、（ｉｉ−２）前記第ｋ特性情報を利用して生成された少なくとも１つの第ｋタスク特定値及びこれに対応する少なくとも一つの第２＿ｋ原本正解とを参照して算出された少なくとも一つの第２＿ｋロスとのうち少なくとも一部を利用したバックプロパゲーションを通じて前記第ｋ−１変調済みデータをアップデートして、前記第ｋ−１変調済みデータに対応する第ｋ変調済みデータを生成するプロセスを繰り返すことにより、前記原本データに対応する前記変調済みデータである第ｎ変調済みデータを生成する。
一実施例において、前記プロセッサは、（ｉ）前記第１＿１ロス乃至第１＿ｎロスを平均した第１平均ロス、（ｉｉ）前記第２＿１ロス乃至第２＿ｎロスを平均した第２平均ロス、及び（ｉｉｉ）前記第１＿１ロス乃至第１＿ｎロスと前記第１＿１ロス乃至第１＿ｎロスそれぞれに対応する前記第２＿１ロス乃至第２＿ｎロスとをそれぞれ要素ごとに合算（Ｐｉｅｃｅｗｉｓｅ Ｓｕｍｍａｔｉｏｎ）した第１合算ロス乃至第ｎ合算ロスを平均した第３ロスのうち少なくとも一部を利用したバックプロパゲーションを通じて前記原本データ又は前記変換データをアップデートして、前記変調済みデータを生成する。
一実施例において、前記（ＩＩ）プロセスで、前記プロセッサは、前記第１ロスと前記第２ロスとのうち少なくとも一部を利用したバックプロパゲーションの進行中に前記ラーニングネットワークの前記学習済みパラメータを固定された値に保持する。
一実施例において、前記（ＩＩ）プロセスで、前記プロセッサは、前記第１ロスと前記第２ロスとのうち少なくとも一部を最小化するための少なくとも一つのロスグラディエント（Ｌｏｓｓ Ｇｒａｄｉｅｎｔ）を取得し、前記ロスグラディエントを前記原本データ又は前記変換データにバックプロパゲーションする。
一実施例において、前記（Ｉ）プロセスで、前記プロセッサは、前記原本データに対するランダムノイズ生成ネットワークを通じて生成されたランダムノイズ追加プロセス、前記原本データに対するブラー（Ｂｌｕｒ）処理プロセス、及び前記原本データの解像度変更プロセスのうち少なくとも一つのプロセスを遂行して前記原本データに対応する前記変換データを生成する。
一実施例において、前記ラーニングネットワークは、少なくとも１つの第１学習済みパラメータ乃至少なくとも１つの第ｎ学習済みパラメータを有する第１ラーニングネットワーク乃至第ｎラーニングネットワークを含み、前記ｎは１以上の整数である場合、前記（Ｉ）プロセスで、前記プロセッサは、前記原本データ又は前記変換データを前記第１ラーニングネットワーク乃至前記第ｎラーニングネットワークそれぞれに入力して、それぞれの前記第１ラーニングネットワーク乃至前記第ｎラーニングネットワークをもって（ｉ）前記第１ラーニングネットワーク乃至前記第ｎラーニングネットワークそれぞれの前記第１学習済みパラメータ乃至第ｎ学習済みパラメータを利用して、前記原本データ又は前記変換データに対して当該ラーニングネットワークに対応するネットワーク演算を適用させて（ｉｉ）前記原本データ又は前記変換データに対するそれぞれの第１特性情報乃至第ｎ特性情報を出力させ、前記（ＩＩ）プロセスで、前記プロセッサは、（ｉ）前記第１特性情報乃至前記第ｎ特性情報と、これにそれぞれ対応する少なくとも１つの第１＿１原本正解乃至少なくとも１つの第１＿ｎ原本正解とを参照して算出された第１＿１ロス乃至第１＿ｎロスの平均である第１ロスのうちの１つ、（ｉｉ）前記第１特性情報乃至前記第ｎ特性情報それぞれを利用して生成された第１タスク特化出力乃至第ｎタスク特化出力と、これにそれぞれ対応する少なくとも１つの第２＿１原本正解乃至少なくとも一つの第２＿ｎ原本正解とを参照して生成された第２＿１ロス乃至第２＿ｎロスの平均である第２ロスのうち一つ、及び（ｉｉｉ）前記第１＿１ロス乃至前記第１＿ｎロスと、これにそれぞれ対応する第２＿１ロス乃至第２＿ｎロスとをそれぞれ要素ごとに合算（Ｐｉｅｃｅｗｉｓｅ Ｓｕｍｍａｔｉｏｎ）した第１合算ロス乃至第ｎ合算ロスを平均した第３ロスのうち少なくとも一部を利用したバックプロパゲーションを通じて前記原本データ又は前記変換データをアップデートして、前記原本データに対応する前記変調済みデータを生成する。
本発明のまた他の態様によると、個人情報保護のために原本データをコンシール処理するデータ変調装置において、インストラクションを格納する少なくとも１つのメモリと、（Ｉ）前記原本データが取得されると、前記原本データを変換して変換データを生成するプロセス、（ＩＩ）（ｉ）前記原本データをラーニングネットワークに入力して、前記ラーニングネットワークをもって（ｉ−１）前記ラーニングネットワークの少なくとも一つの学習済みパラメータを利用して、前記原本データに対してネットワーク演算を適用させて（ｉ−２）前記原本データに対する第１特性情報を出力させ、（ｉｉ）前記変換データを前記ラーニングネットワークに入力して、前記ラーニングネットワークをもって（ｉｉ−１）前記学習済みパラメータを利用して、前記変換データに対してネットワーク演算を適用させて（ｉｉ−２）前記変換データに対する第２特性情報を出力させるプロセス、及び（ＩＩＩ）（ｉ）前記第１特性情報と前記第２特性情報とを参照して算出された少なくとも１つの第１ロスと、（ｉｉ）（ｉｉ−１）前記第２特性情報を利用して生成された少なくとも１つのタスク特化出力と、（ｉｉ−２）これに対応する少なくとも１つの原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とを参照して算出された少なくとも１つの第２ロスとのうち少なくとも一部を参照して生成された少なくとも１つのデータロスを利用したバックプロパゲーション（Ｂａｃｋｐｒｏｐｒｏｐａｔｉｏｎ）を通じて前記原本データ又は前記変換データをアップデートして、前記原本データに対応する変調済みデータを生成するプロセスを遂行するための前記インストラクションを実行するか、他の装置をもって実行するように構成された少なくとも１つのプロセッサと、を含む。
一実施例において、前記ラーニングネットワークは、少なくとも１つの第１学習済みパラメータ乃至少なくとも１つの第ｎ学習済みパラメータを有する第１ラーニングネットワーク乃至第ｎラーニングネットワークを含み、前記ｎは１以上の整数である場合、前記（ＩＩ）プロセスで、前記プロセッサは、（ｉ）前記原本データを前記第１ラーニングネットワークに入力して、前記第１ラーニングネットワークをもって（ｉ−１）前記第１ラーニングネットワークの少なくとも１つの第１学習済みパラメータを利用して、前記原本データに対してネットワーク演算を適用させて（ｉ−２）前記原本データに対する第１＿１特性情報を出力させ、（ｉｉ）前記変換データを前記第１ラーニングネットワークに入力して、前記第１ラーニングネットワークをもって（ｉｉ−１）前記第１学習済みパラメータを利用して、前記変換データに対してネットワーク演算を適用させて（ｉｉ−２）前記変換データに対する第２＿１特性情報を出力させ、前記（ＩＩＩ）プロセスで、前記プロセッサは、（ｉ）前記第１＿１特性情報と前記第２＿１特性情報とを参照して生成された少なくとも一つの第１＿１ロスと、（ｉｉ）（ｉｉ−１）前記第２＿１特性情報を利用して生成された少なくとも一つの第１タスク特化出力と、（ｉｉ−２）これに対応する少なくとも一つの第１原本正解とを参照して生成された少なくとも一つの第２＿１ロスとのうち少なくとも一部を参照して算出された少なくとも一つの第１データロスを利用したバックプロパゲーションを通じて前記変換データをアップデートして、前記変換データに対応する第１変調済みデータを生成し、前記プロセッサが、整数であるｋを２からｎまで増加させて行き、（ｉ）前記原本データを第ｋラーニングネットワークに入力して、前記第ｋラーニングネットワークをもって（ｉ−１）前記第ｋラーニングネットワークの少なくとも一つの第ｋ学習済みパラメータを利用して、前記原本データに対してネットワーク演算を適用させて（ｉ−２）前記原本データに対する第１＿ｋ特性情報を出力させるプロセス、（ｉｉ）第ｋ−１変調済みデータを前記第ｋラーニングネットワークに入力して、前記第ｋラーニングネットワークをもって（ｉｉ−１）前記第ｋ学習済みパラメータを利用して、前記第ｋ−１変調済みデータに対してネットワーク演算を適用させて（ｉｉ−２）前記第ｋ−１変調済みデータに対する第２＿ｋ特性情報を出力させるプロセス、及び（ｉｉｉ）（ｉｉｉ−１）前記第１＿ｋ特性情報と、前記第２＿ｋ特性情報とを参照して算出された少なくとも１つの第１＿ｋロスと、（ｉｉｉ−２）前記第２＿ｋ特性情報を利用して生成された少なくとも１つの第ｋタスク特化出力と、これに対応する少なくとも１つの第ｋ原本正解とを参照して算出された少なくとも１つの第２＿ｋロスとのうち少なくとも一部を参照して生成された少なくとも一つの第ｋデータロスを利用したバックプロパゲーションを通じて前記第ｋ−１変調済みデータをアップデートして、前記第ｋ−１変調済みデータに対応する第ｋ変調済みデータを生成するプロセスを繰り返すことにより、前記原本データに対応する前記変調済みデータである第ｎ変調済みデータを生成する。
一実施例において、前記データ変調装置は、前記第１データロス乃至第ｎデータロスを平均した少なくとも一つの平均データロスを利用したバックプロパゲーションを通じて前記原本データ又は前記変換データをアップデートして、前記変調済みデータを生成する。
一実施例において、（ｉ）前記第１＿１ロス乃至前記第１＿ｎロスを平均した少なくとも一つの平均を第１サブロス（Ｓｕｂ Ｌｏｓｓ）として算出し、（ｉｉ）前記特定の特性情報と前記第２＿１ロス乃至前記第２＿ｎロスを平均した平均値とを参照して第２サブロスを算出する。
一実施例において、前記（ＩＩＩ）プロセスで、前記プロセッサは、前記データロスを利用したバックプロパゲーションの進行中に前記ラーニングネットワークの前記学習済みパラメータを固定された値に保持する。
一実施例において、前記（Ｉ）プロセスで、前記プロセッサは、前記原本データに対するランダムノイズ生成ネットワークを通じて生成されたランダムノイズ追加プロセス、前記原本データに対するブラー（Ｂｌｕｒ）処理プロセス、及び前記原本データの解像度変更プロセスのうち少なくとも一つのプロセスを遂行して前記原本データに対応する前記変換データを生成する。
一実施例において、前記ラーニングネットワークは、少なくとも１つの第１学習済みパラメータ乃至少なくとも１つの第ｎ学習済みパラメータを有する第１ラーニングネットワーク乃至第ｎラーニングネットワークを含み、前記ｎは１以上の整数である場合、前記（ＩＩ）プロセスで、前記プロセッサは、（ｉ）前記原本データ及び前記変換データを前記第１ラーニングネットワーク乃至前記第ｎラーニングネットワークそれぞれに入力して、（ｉｉ）それぞれの前記第１ラーニングネットワーク乃至前記第ｎラーニングネットワークをもって（ｉｉ−１）前記第１ラーニングネットワーク乃至前記第ｎラーニングネットワークそれぞれの前記第１学習済みパラメータ乃至第ｎ学習済みパラメータを利用して、前記原本データ及び前記変換データに対して当該ラーニングネットワークに対応するネットワーク演算を適用させて（ｉｉ−２）前記原本データに対するそれぞれの第１＿１特性情報乃至第１＿ｎ特性情報を出力させ、（ｉｉ−３）前記変換データに対するそれぞれの第２＿１特性情報乃至第２＿ｎ特性情報を出力させ、前記（ＩＩＩ）プロセスで、前記プロセッサは、（ｉ）前記第１＿１特性情報乃至前記第１＿ｎ特性情報と、これにそれぞれ対応する前記第２＿１特性情報乃至第２＿ｎ特性情報を参照して算出された第１＿１ロス乃至第１＿ｎロスの平均である前記第１ロスのうち一つ、（ｉｉ）前記第２＿１特性情報乃至前記第２＿ｎ特性情報それぞれを利用して生成された第１タスク特化出力乃至第ｎタスク特化出力と、これにそれぞれ対応する少なくとも一つの第１原本正解乃至少なくとも一つの第ｎ原本正解とをさらに参照して算出された第２＿１ロス乃至第２＿ｎロスの平均である前記第２ロスのうち一つ、及び（ｉｉｉ）前記第１＿１ロス乃至前記第１＿ｎロスと、これにそれぞれ対応する第２＿１ロス乃至第２＿ｎロスとをそれぞれ要素ごとに合算（Ｐｉｅｃｅｗｉｓｅ Ｓｕｍｍａｔｉｏｎ）した第１合算ロス乃至第ｎ合算ロスを平均した第３ロスのうち少なくとも一部を利用したバックプロパゲーションを通じて前記原本データ又は前記変換データをアップデートして、前記原本データに対応する前記変調済みデータを生成する。
その他にも、本発明の方法を実行するためのコンピュータプログラムを格納するためのコンピュータ読取り可能な記録媒体がさらに提供される。
本発明は、データ内で個人識別情報を探す作業が要求されないため、簡単かつ正確にコンシーリング（Ｃｏｎｃｅａｌｉｎｇ）作業を遂行することができる効果がある。
また、本発明は、原本データから非可逆的に変調（０ｂｆｕｓｃａｔｉｏｎ）されてコンシール処理されたデータを生成することによって、原本データのセキュリティ及びプライバシーを守ることができる他の効果がある。
また、本発明は、人間にとっては異なるように見えるデータであるものの、コンピュータには互いに同一又は類似するように見えるデータを生成し得るまた他の効果がある。
さらに、本発明は、ビッグデータの取引市場をより活性化させることができるまた他の効果がある。
本発明の一実施例において、データをコンシール（Ｃｏｎｃｅａｌｉｎｇ）処理するためのデータ変調装置を簡略に示したものである。 本発明の一実施例において、データをコンシール処理する方法を簡略に示したものである。 本発明の一実施例において、データをコンシール処理する他の方法を簡略に示したものである。 本発明の他の実施例において、データをコンシール処理する方法を簡略に示したものである。 本発明の他の実施例において、データをコンシール処理する他の方法を簡略に示したものである。 本発明のまた他の実施例において、データをコンシール処理する方法を簡略に示したものである。 本発明のまた他の実施例において、データをコンシール処理する他の方法を簡略に示したものである。 本発明の実施例において、原本データとコンシール処理された原本データとを簡略に示したものである。 本発明の実施例において、原本データとコンシール処理された原本データとを簡略に示したものである。
本発明の実施例の説明に利用されるために添付された図面は、本発明の実施例のうち単に一部であるだけであり、本発明の属する技術分野において通常の知識を有する者（以下、「通常の技術者」）にとっては、発明的作業が行われることなく、これらの図面に基づいて他の図面が得られ得る。
後述する本発明に関する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施し得るように十分詳細に説明される。本発明の多様な実施例は互いに異なるものの、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の機能、構造及び特性は、本発明の精神及び範囲を逸脱せず、かつ一つの実施例から他の実施例に変更されて具現され得る。また、それぞれの実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述する詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は、特許請求の範囲の請求項が請求する範囲及びそれに均等なすべての範囲を包括するものと受け取られるべきである。図面において類似の参照符号は、様々な側面にわたって同一であるか、類似した構成要素を示す。
以下では、本発明の詳細な説明と請求項に含まれる「含む」とは、用語と当該用語の多様な表現は、他の技術的特徴、追加、構成要素又は段階を排除することを意味するものではない。本発明の他の目的、恩恵及び特徴は、部分的には明細書から、及び部分的には本発明の履行から、技術分野における通常の知識を有する者に明らかにされるであろう。以下の各例示と図面は例示として示されているが、本発明はこれに制限されるわけではない。
本発明の属する技術分野において、通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の様々な好ましい実施例について添付された図面を参照して詳細に説明する。
図１は、本発明の一実施例において、データをコンシール処理するためのデータ変調装置を簡略に示したものである。
図１を参照すると、本発明の実施例によるデータ変調装置１００は、変調済みデータ（Ｏｂｆｕｓｃａｔｅｄ Ｄａｔａ）をコンシール処理されたデータ（例えば、非識別処理されたデータ）として生成するためのインストラクションを格納するメモリ１１０と、メモリ１１０に格納された各インストラクションにしたがって、原本データに対応する変調済みデータを生成するプロセスを遂行するプロセッサ１２０とを含むことができる。この場合、変調済みデータを利用して算出された出力結果は、原本データを利用して算出された出力結果と同一又は類似し得る。
具体的に、データ変調装置１００は、少なくとも一つのコンピューティング装置（例えば、コンピュータプロセッサ、メモリ、ストレージ、入力装置、出力装置、又は、その他既存のコンピューティング装置の構成要素；ルータ、スイッチなどのような電子通信装置；ネットワーク接続ストレージ（ＮＡＳ）及びストレージ領域ネットワーク（ＳＡＮ）のような電子情報ストレージシステム）と少なくとも一つのコンピュータソフトウェア（すなわち、コンピューティング装置をもって特定の方式で機能させる各インストラクション）との組み合わせを利用して所望のシステム性能を一般的に達成するものであり得る。
また、コンピューティング装置のプロセッサは、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）又はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、キャッシュメモリ（Ｃａｃｈｅ Ｍｅｍｏｒｙ）、データバス（Ｄａｔａ Ｂｕｓ）などのハードウェア構成を含むことができる。また、コンピューティング装置は、オペレーティングシステム、特定の目的を遂行するアプリケーションのソフトウェア構成をさらに含むこともできる。
しかし、コンピューティング装置が、本発明を実施するためのプロセッサ、メモリ、ミディアム又は他のコンピューティング要素の任意の組み合わせを含む統合装置を排除するものではない。
一方、原本データが取得されると、メモリ１１０に格納されたインストラクションにしたがってデータ変調装置１００のプロセッサ１２０が、（ｉ）原本データ又はこれに対応する変換データ（Ｍｏｄｉｆｉｅｄ Ｄａｔａ）をラーニングネットワークに入力して、ラーニングネットワークをもって（ｉ−１）ラーニングネットワークの少なくとも一つの学習済みパラメータを利用して、原本データ又は変換データに対してネットワーク演算を適用させて（ｉ−２）原本データ又は変換データに関する特性情報（Ｃｈａｒａｃｔｅｒｉｓｔｉｃ Ｉｎｆｏｒｍａｔｉｏｎ）を出力させるプロセス、及び（ｉｉ）（ｉｉ−１）前記特性情報と、これに対応する少なくとも一つの第１原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とを参照して算出された少なくとも一つの第１ロスと、（ｉｉ−２）前記特性情報を利用して生成された少なくとも一つのタスク特化出力（Ｔａｓｋ Ｓｐｅｃｉｆｉｃ Ｏｕｔｐｕｔ）と、これに対応する少なくとも一つの第２原本正解とを参照して生成された少なくとも一つの第２ロスとのうち少なくとも一部を利用したバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を通じて原本データ又は変換データをアップデートするプロセスを実行して原本データに対応する変調済みデータを生成することができる。この際、ラーニングネットワークは学習済みパラメータを有するネットワークであり得、当該学習は完了した状態であり得る。
また、原本データが取得されると、メモリ１１０に格納されたインストラクションにしたがってデータ変調装置１００のプロセッサ１２０が、（ｉ）原本データを変換して変換データを生成するプロセス、（ｉｉ）原本データをラーニングネットワークに入力して、ラーニングネットワークをもって（ｉｉ−１）ラーニングネットワークの学習済みパラメータを利用して、原本データに対してネットワーク演算を適用させて（ｉｉ−２）原本データに対する第１特性情報を出力させるプロセス、及び（ｉｉｉ）変換データをラーニングネットワークに入力して、ラーニングネットワークをもって（ｉｉｉ−１）学習済みパラメータを利用して、変換データに対してネットワーク演算を適用させて（ｉｉｉ−２）変換データに対する第２特性情報を出力させるプロセスを遂行することができる。以後、（ｉ）第１特性情報と第２特性情報とを参照して生成された少なくとも１つの第１ロスと、（ｉｉ）（ｉｉ−１）第２特性情報を利用して生成されたタスク特化出力と、（ｉｉ−２）これに対応する原本正解とを参照して生成された第２ロスとのうち少なくとも一部を参照して算出された少なくとも１つのデータロスを利用したバックプロパゲーションを通じて原本データ又は変換データをアップデートするプロセスを遂行して、原本データに対応する変調済みデータを生成することができる。
このように構成された本発明の一実施例によるデータ変調装置１００を利用して、個人情報保護のために原本データをコンシール処理する方法を図２乃至図８を参照して説明すると次のとおりである。
図２は、コンシール処理されたデータ（例えば、非識別データ）として変調済みデータを生成する方法を簡略に示した図である。本発明の一実施例において、変調済みデータを利用して算出された出力結果が、学習済みパラメータを有するラーニングネットワーク１３０、すなわちパラメータが調整されたラーニングネットワーク１３０を利用して、原本データを利用して算出された出力結果と互いに同一又は類似し得るため、所望の結果がトレーニングデータから出力される。
先ず、原本データｘが取得されると、データ変調装置１００が、原本データｘをラーニングネットワーク１３０に入力して、ラーニングネットワーク１３０をもって（ｉ）ラーニングネットワーク１３０の少なくとも一つの学習済みパラメータを利用して、原本データに対してネットワーク演算を適用させて（ｉｉ）原本データに関する特性情報ｙを出力させるプロセスを遂行することができる。
すなわち、コンシール処理のための原本データｘが取得されると、データ変換装置１００のメモリ１１０に格納されたインストラクションにしたがってデータ変換装置１００、すなわちプロセッサ１２０が、原本データｘをラーニングネットワーク１３０に入力する。この際、ラーニングネットワーク１３０はマシンラーニングネットワークを含むことができるが、これに限定されず、学習済みパラメータを利用して入力される原本データｘに対してネットワーク演算を適用させて出力を生成させる全てのラーニングネットワークを含むことができる。そして、マシンラーニングネットワークは、Ｋ−近傍法（Ｋ−Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒｓ）、線形回帰（Ｌｉｎｅａｒ Ｒｅｇｒｅｓｓｉｏｎ）、ロジスティック回帰（Ｌｏｇｉｓｔｉｃ Ｒｅｇｒｅｓｓｉｏｎ）、サポートベクトルマシン（ＳＶＭ、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）、デシジョンツリー（Ｄｅｃｉｓｉｏｎ Ｔｒｅｅ）とランダムフォレスト（Ｒａｎｄｏｍ Ｆｏｒｅｓｔ）、ニューラルネットワーク（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、クラスタリング（Ｃｌｕｓｔｅｒｉｎｇ）、視覚化（Ｖｉｓｕａｌｉｚａｔｉｏｎ）と次元縮小（Ｄｉｍｅｎｓｉｏｎａｌｉｔｙ Ｒｅｄｕｃｔｉｏｎ）、関連規則学習（Ａｓｓｏｃｉａｔｉｏｎ Ｒｕｌｅ Ｌｅａｒｎｉｎｇ）、深層信頼ネットワーク（Ｄｅｅｐ Ｂｅｌｉｅｆ Ｎｅｔｗｏｒｋ）、強化学習（Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ）、及びディープラーニングアルゴリズム（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｌｇｏｒｉｔｈｍ）のうち少なくとも一つを含むことができるが、マシンラーニングネットワークはこれに限定されず、多様なラーニングアルゴリズムを含むことができる。また、コンシール処理のための対象（例えば、非識別対象）は、原本データｘに含まれている個人情報であり得、この際、個人情報は個人識別情報、個人の医療情報、個人の生体情報、個人の行動情報など、個人に関わるすべての情報を含むことができる。他の例として、個人情報は、ハードウェア回路図、事業機密などのような敏感な情報や内密の情報を含むことができる。
そうすると、ラーニングネットワーク１３０は、入力される原本データｘに対してラーニングネットワークの学習済みパラメータを利用して、ネットワーク演算を適用させて原本データｘに対する特性情報ｙを出力する。この際、特性情報ｙは、原本データｘに対する特徴（Ｆｅａｔｕｒｅ）又はロジット（Ｌｏｇｉｔ）であり得る。また、特性情報ｙは、原本データ内の所定の特徴と関連する特徴値、又は所定の特徴と関連するベクトル（Ｖｅｃｔｏｒ）、行列（Ｍａｔｒｉｘ）及び座標（Ｃｏｏｒｄｉｎａｔｅ）のうち少なくとも一つに関する値を含むロジットであり得る。例えば、原本データが顔イメージデータである場合に、上記の結果は顔認識のためのクラス、顔の特徴、一例として、笑顔の表情、顔の特徴点（Ｌａｎｄｍａｒｋ Ｐｏｉｎｔ、例えば、目の両端点）に関する座標であり得る。
次に、データ変調装置１００は、（ｉ）特性情報ｙと、これに対応する第１原本正解とを参照して算出された少なくとも一つの第１ロスと、（ｉｉ）（ｉｉ−１）特性情報ｙを利用して生成された少なくとも一つのタスク特化出力と、（ｉｉ−２）これに対応する少なくとも一つの第２原本正解とを参照して算出された少なくとも一つの第２ロスとのうち少なくとも一部を利用したバックプロパゲーションを通じて原本データをアップデートするプロセスを遂行して、原本データに対応する変調済みデータを生成することができる。
この際、データ変調装置１００は、第１ロスと第２ロスとのうち少なくとも一つを利用したバックプロパゲーションの進行中にラーニングネットワーク１３０の学習済みパラメータは固定してアップデートせず、原本データに対してのみ第１ロスと第２ロスとのうち少なくとも一部を最小化するようにバックプロパゲーションを遂行することにより、原本データを変調するようになる。そうすると、変調済みデータは人にとっては原本データとは異なるデータとして認識されるが、ラーニングネットワークでは原本データと同一又は類似したデータとして認識され得る。
また、データ変調装置１００は、第１ロスと第２ロスとのうち少なくとも一部を利用したバックプロパゲーションの進行中に、第１ロスと第２ロスとのうち少なくとも一部を最小化するための少なくとも１つのロスグラディエント（Ｌｏｓｓ Ｇｒａｄｉｅｎｔ）を取得し、ロスグラディエントを原本データにバックプロパゲーションすることができる。
一方、タスク特化出力は、ラーニングネットワーク１３０が遂行しようとするタスク（Ｔａｓｋ）に対する出力であって、クラス分類のためのクラスに対する確率、位置検出のためのリグレッションによる座標値などのように、ラーニングネットワーク１３０によって学習済みのタスクによる様々な結果を有することができ、ラーニングネットワーク１３０から出力される特性情報に対して活性化ユニット（Ａｃｔｉｖａｔｉｏｎ Ｕｎｉｔ）の活性化関数（Ａｃｔｉｖａｔｉｏｎ Ｆｕｎｃｔｉｏｎ）が適用されて、ラーニングネットワーク１３０で遂行しようとするタスクによるタスク特化出力を生成することができる。この際、活性化関数としては、シグモイド（Ｓｉｇｍｏｉｄ）関数、線形（Ｌｉｎｅａｒ）関数、ソフトマックス（Ｓｏｆｔｍａｘ）関数、ＲｅＬＵ（Ｒｌｉｎｅａｒ）関数、二乗（Ｓｑｕａｒｅ）関数、ＳＱＲＴ関数、Ｓｒｌｉｎｅａｒ関数、ＡＢＳ関数、ＴＡＮＨ関数、Ｂｒｌｉｎｅａｒ関数などが使用され得るが、これに限定されない。
一例として、ラーニングネットワーク１３０がクラス分類のためのタスクを遂行する場合、データ変調装置１００のプロセッサ１２０は、ラーニングネットワーク１３０から出力される特性情報をクラスごとにマッピングして、原本データに対してクラスごとに少なくとも一つの確率を生成することができる。この際、クラスごとの確率はクラスごとにラーニングネットワーク１３０から出力される特性情報が正解である確率を示すことができる。例えば、原本データが顔イメージデータである場合に、顔が笑顔の状態である確率は０．７５、笑顔でない状態である確率は０．２５等のように出力され得る。この際、ラーニングネットワーク１３０から出力される特性情報をクラスごとにマッピングするのにソフトマックスアルゴリズムを使用することができるが、これに限定されず、特性情報をクラスごとにマッピングするために様々なアルゴリズムが利用され得る。
図３は、第１変調済みデータ乃至第ｎ変調済みデータをコンシール処理されたデータとして生成するための方法を簡略に示した図である。本発明の一実施例において第１変調済みデータ乃至第ｎ変調済みデータを利用して算出された出力結果は、学習済みパラメータを有する多数のラーニングネットワーク１３０＿１、１３０＿２、…、１３０＿ｎを利用して、原本データを利用して算出される結果と互いに同一又は類似し得る。この際，多数のラーニングネットワーク１３０＿１，１３０＿２，…、１３０＿ｎそれぞれは、少なくとも部分的に互いに異なるタスクを遂行するように学習済みの状態であり得る。下記の説明では、図２の説明で容易に理解可能な部分については詳細な説明を省略することにする。
先ず、原本データｘが取得されると、データ変調装置１００が、原本データｘを第１ラーニングネットワーク１３０＿１に入力して、第１ラーニングネットワーク１３０＿１をもって（ｉ）第１ラーニングネットワーク１３０＿１の少なくとも１つの第１学習済みパラメータを利用して、原本データに対してネットワーク演算を適用させて（ｉｉ）原本データに対する第１特性情報ｙを出力させる。
すなわち、コンシール処理のための原本データｘが取得されると、データ変換装置１００のメモリ１１０に格納されたインストラクションにしたがってデータ変換装置１００、すなわちプロセッサ１２０が、原本データｘを第１ラーニングネットワーク１３０＿１に入力する。
そうすると、第１ラーニングネットワーク１３０＿１は、入力される原本データｘに対して第１ラーニングネットワークの第１学習済みパラメータを利用して、ネットワーク演算を適用させて原本データｘに対する第１特性情報ｙ１を出力する。
次に、データ変調装置１００は、（ｉ）第１特性情報ｙと、これに対応する少なくとも一つの第１＿１原本正解とを参照して取得した少なくとも一つの第１＿１ロスと、（ｉｉ）（ｉｉ−１）第１特性情報ｙ１を利用して生成された少なくとも一つの第１タスク特化出力と、（ｉｉ−２）これに対応する少なくとも一つの第２＿１原本正解とを参照して算出された少なくとも一つの第２＿１ロスとのうち少なくとも一部を利用したバックプロパゲーションを通じて原本データをアップデートして、原本データに対応する第１変調済みデータを生成することができる。
以後、データ変調装置１００は、整数（ｉｎｔｅｇｅｒ）であるｋを２からｎまで増加させて行き、（ｉ）第ｋ−１変調済みデータを第ｋラーニングネットワークに入力して、第ｋラーニングネットワークをもって（ｉ−１）第ｋラーニングネットワークの少なくとも一つの第ｋ学習済みパラメータを利用して、第ｋ−１変調済みデータに対してネットワーク演算を適用させて（ｉ−２）第ｋ−１変調済みデータに対する第ｋ特性情報を出力させ、（ｉｉ）（ｉｉ−１）第ｋ特性情報と、これに対応する少なくとも一つの第１＿ｋ原本正解とを参照して算出された少なくとも一つの第１＿ｋロスと、（ｉｉ−２）（ｉｉ−２ａ）第ｋ特性情報を利用して生成された少なくとも一つの第ｋタスク特化出力と、（ｉｉ−２ｂ）これに対応する少なくとも一つの第２＿ｋ原本正解とを参照して算出された少なくとも一つの第２＿ｋロスとのうち少なくとも一部を利用したバックプロパゲーションを通じて第ｋ−１変調済みデータをアップデートして、第ｋ−１変調済みデータに対応する第ｋ変調済みデータを生成するプロセスを繰り返す。
このような方法により、データ変調装置１００は、第２ラーニングネットワーク１３０＿２乃至第ｎラーニングネットワーク１３０＿ｎをもって、それぞれ以前のラーニングネットワークを利用したバックプロパゲーションにより生成された以前の変調済みデータとして入力して、バックプロパゲーションを遂行させて第ｎ変調済みデータを生成するプロセスを繰り返した結果、原本データに対してコンシールされた変調済みデータとして第ｎ変調済みデータを生成することができる。
また、前記では、原本データに対してコンシールされた変調済みデータとして第ｎ変調済みデータを生成したが、第１ラーニングネットワーク１３０＿１乃至第ｎラーニングネットワーク１３０＿ｎをもって第１＿１ロス乃至第１＿ｎロスと、第２＿１乃至第２＿ｎロスとを利用させ、原本データをアップデートして原本データに対してコンシール処理された変調済みデータを生成することもできる。
すなわち、前記のような過程を通じて、第１ラーニングネットワーク１３０＿１乃至第ｎラーニングネットワーク１３０＿ｎを利用してデータ変調装置１００は、（ｉ）第１＿１ロス乃至第１＿ｎロスを平均した第１平均ロス、（ｉｉ）第２＿１ロス乃至第２＿ｎロスを平均した第２平均ロス、及び（ｉｉｉ）第１＿１ロス乃至第１＿ｎロスと、これにそれぞれ対応する第２＿１ロス乃至第２＿ｎロスとをそれぞれ要素ごとに合算（Ｐｉｅｃｅｗｉｓｅ Ｓｕｍｍａｔｉｏｎ）した第１合算ロス乃至第２合算ロスを平均した第３ロスのうち少なくとも一部を利用したバックプロパゲーションを通じて原本データをアップデートして、前記原本データに対するコンシール処理された変調済みデータを生成することができる。
一方、前記に示したように、データ変調装置１００は、第２ラーニングネットワーク１３０＿２乃至第ｎラーニングネットワーク１３０＿ｎそれぞれをもって、以前のラーニングネットワークを利用したバックプロパゲーションにより生成された以前の変調済みデータとして入力してバックプロパゲーションを遂行させて変調済みデータを生成したが、原本データｘを第１ラーニングネットワーク１３０＿１乃至第ｎラーニングネットワーク１３０＿ｎそれぞれに入力して、一度のバックプロパゲーションを通じて変調済みデータを生成することもできる。
すなわち、データ変調装置１００は、原本データｘを第１ラーニングネットワーク乃至第ｎラーニングネットワークそれぞれに入力して、それぞれの第１ラーニングネットワーク１３０＿１乃至第ｎラーニングネットワーク１３０＿ｎをもって（ｉ）第１ラーニングネットワーク１３０＿１乃至第ｎラーニングネットワーク１３０＿ｎそれぞれの第１学習済みパラメータ乃至第ｎ学習済みパラメータをそれぞれ利用して、原本データｘに対してネットワーク演算を適用させて（ｉｉ）第１学習済みパラメータ乃至第ｎ学習済みパラメータをそれぞれ利用して原本データｘに対するそれぞれの第１特性情報乃至第ｎ特性情報を出力させる。そして、データ変調装置１００は、（ｉ）第１特性情報乃至第ｎ特性情報と、（ｉｉ）これにそれぞれ対応する第１＿１原本正解乃至第１＿ｎ原本正解とを参照して算出された第１＿１ロス乃至第１＿ｎロスの平均である第１ロスを利用したバックプロパゲーションを通じて原本データをアップデートして、原本データに対応する変調済みデータを生成することができる。
また、データ変調装置１００は、（ｉ）第１特性情報乃至第ｎ特性情報それぞれを利用して生成された第１タスク特化出力乃至第ｎタスク特化出力と、（ｉｉ）これにそれぞれ対応する少なくとも１つの第２＿１原本正解乃至少なくとも１つの第２＿ｎ原本正解とを参照して算出された第２＿１ロス乃至第２＿ｎロスの平均である第２ロスを利用したバックプロパゲーションを通じて原本データをアップデートして、原本データに対応する変調済みデータを生成することができる。
これに加えて、データ変調装置１００は、第１＿１ロス乃至第１＿ｎロスと、これにそれぞれ対応する第２＿１ロス乃至第２＿ｎロスとをそれぞれ要素ごとに合算（Ｐｉｅｃｅｗｉｓｅ Ｓｕｍｍａｔｉｏｎ）した第１合算ロス乃至第ｎ合算ロスを平均した第３ロスを利用したバックプロパゲーションを通じて原本データをアップデートして、原本データに対応する変調済みデータを生成することもできる。
図４は、本発明の一実施例において、原本データを変換して生成された変換データを入力として、原本データに対応する変調済みデータをコンシール処理されたデータとして生成する方法を簡略に示したものである。下記の説明では、図２の説明で容易に理解可能な部分については詳細な説明を省略することにする。
まず、原本データｘが取得されると、データ変調装置１００が、原本データｘを変換して変換データｘ’を生成する。
この際、変換データｘ’は、原本データｘにランダムノイズ生成ネットワーク（図示せず）を通じて生成された少なくとも一つのランダムノイズを追加して生成することができる。一例として、ランダムノイズ生成ネットワークをもって正規分布Ｎ（０，σ）を有するランダムノイズを生成させ、生成されたノイズを原本データｘに追加して変換データｘ’を生成することができる。また、変換データｘ’はランダムノイズ以外にも、原本データｘをブラー（Ｂｌｕｒ）処理するか原本データｘの解像度を変更して生成することができるが、これに限定されず、原本データを変換する様々な方法が適用され得る。
次に、データ変調装置１００は、変換データｘ’をラーニングネットワーク１３０に入力して、ラーニングネットワーク１３０をもって（ｉ）ラーニングネットワーク１３０の学習済みパラメータを利用して、変換データに対してネットワーク演算を適用させて（ｉｉ）変換データに関する特性情報ｙを出力させることができる。
すなわち、コンシール処理のための原本データｘが取得されると、データ変換装置１００のメモリ１１０に格納されたインストラクションにしたがってデータ変換装置１００、すなわち、プロセッサ１２０が、原本データｘを変換データｘ’に変換した後、変換データｘ’をラーニングネットワーク１３０に入力する。
そうすると、ラーニングネットワーク１３０は、入力される変換データｘ’に対してラーニングネットワークの学習済みパラメータを利用して、ネットワーク演算を適用させて変換データｘ’に対する特性情報ｙを出力する。
次に、データ変調装置１００は、（ｉ）特性情報ｙと、これに対応する少なくとも一つの第１原本正解とを参照して算出された第１ロスと、（ｉｉ）（ｉｉ−１）特性情報ｙを利用して生成されたタスク特化出力と、（ｉｉ−２）これに対応する少なくとも一つの第２原本正解とを参照して算出された第２ロスとのうち少なくとも一部を利用したバックプロパゲーションを通じて原本データ又は変換データをアップデートするプロセスを遂行して原本データに対応する変調済みデータを生成することができる。
図５は、本発明の一実施例において、原本データを変換して生成された変換データを入力として、原本データに対応する第１変調済みデータ乃至第ｎ変調済みデータをコンシール処理されたデータとして生成する方法を簡略に示したものである。下記の説明では、図２乃至図４の説明で容易に理解可能な部分については詳細な説明を省略することにする。
まず、原本データｘが取得されると、データ変調装置１００が、原本データｘを変換して変換データｘ’を生成する。
次に、データ変調装置１００が、変換データｘ’を第１ラーニングネットワーク１３０＿１に入力して、第１ラーニングネットワーク１３０＿１をもって（ｉ）第１ラーニングネットワーク１３０＿１の第１学習済みパラメータを利用して、変換データに対してネットワーク演算を適用させて（ｉｉ）変換データに対する第１特性情報ｙを出力させる。
すなわち、コンシール処理のための原本データｘが取得されると、データ変換装置１００のメモリ１１０に格納されたインストラクションにしたがってデータ変換装置１００、すなわち、プロセッサ１２０が、原本データｘを変換データｘ’に変換した後、変換データｘ’を第１ラーニングネットワーク１３０＿１に入力する。
そうすると、第１ラーニングネットワーク１３０＿１は、入力される変換データｘ’に対して第１ラーニングネットワークの第１学習済みパラメータを利用して、ネットワーク演算を適用させて変換データｘ’に対する第１特性情報ｙ１を出力する。
次に、データ変調装置１００は、（ｉ）第１特性情報ｙ１と、これに対応する少なくとも一つの第１＿１原本正解とを参照して算出された少なくとも一つの第１＿１ロスと、（ｉｉ）（ｉｉ−１）第１特性情報ｙ１を利用して生成された少なくとも一つの第１タスク特化出力と、（ｉｉ−２）これに対応する少なくとも一つの第２＿１原本正解とを参照して算出された少なくとも一つの第２＿１ロスとのうち少なくとも一部を利用したバックプロパゲーションを通じて変換データをアップデートして変換データに対応する第１変調済みデータを生成することができる。
以後、データ変調装置１００は、整数であるｋを２からｎまで増加させて行き、（ｉ）第ｋ−１変調済みデータを第ｋラーニングネットワークに入力して、第ｋラーニングネットワークをもって（ｉ−１）第ｋラーニングネットワークの少なくとも一つの第ｋ学習済みパラメータを利用して、第ｋ−１変調済みデータに対してネットワーク演算を適用させて（ｉ−２）第ｋ−１変調済みデータに対する第ｋ特性情報を出力させ、（ｉｉ）（ｉｉ−１）第ｋ特性情報と、これに対応する少なくとも一つの第１＿ｋ原本正解とを参照して算出された少なくとも一つの第１＿ｋロスと、（ｉｉ−２）（ｉｉ−２ａ）第ｋ特性情報を利用して生成された少なくとも一つの第ｋタスク特化出力と、（ｉｉ−２ｂ）これに対応する少なくとも一つの第２＿ｋ原本正解とを参照して算出された少なくとも一つの第２＿ｋロスとのうち少なくとも一部を利用したバックプロパゲーションを通じて第ｋ−１変調済みデータをアップデートして第ｋ−１変調済みデータに対応する第ｋ変調済みデータを生成することができる。
このような方法により、データ変調装置１００は、第２ラーニングネットワーク１３０＿２乃至第ｎラーニングネットワーク１３０＿ｎをもって、それぞれ以前のラーニングネットワークを利用したバックプロパゲーションにより生成された以前の変調済みデータとして入力して、バックプロパゲーションをそれぞれ遂行させて第ｎ変調済みデータを生成するプロセスを繰り返すことにより、原本データに対してコンシールされた第ｎ変調済みデータを生成することができる。
また、前記では、原本データに対してコンシールされた変調済みデータとして第ｎ変調済みデータを生成したが、第１ラーニングネットワーク１３０＿１乃至第ｎラーニングネットワーク１３０＿ｎをもって第１＿１ロス乃至第１＿ｎロスと、第２＿１ロス乃至第２＿ｎロスとを利用させて原本データ又は変換データをアップデートして、原本データに対してコンシール処理された変調済みデータを生成することもできる。
すなわち、データ変調装置１００は、前記のような過程を通じて第１ラーニングネットワーク１３０＿１乃至第ｎラーニングネットワーク１３０＿ｎを利用して、（ｉ）第１＿１ロス乃至第１＿ｎロスを平均した第１平均ロス、（ｉｉ）第２＿１ロス乃至第２＿ｎロスを平均した第２平均ロス、及び（ｉｉｉ）第１＿１ロス乃至第１＿ｎロスと、これに対応する第２＿１ロス乃至第２＿ｎロスとをそれぞれ要素ごとに合算（Ｐｉｅｃｅｗｉｓｅ Ｓｕｍｍａｔｉｏｎ）した第１合算ロス乃至第２合算ロスを平均した第３平均ロスのうち少なくとも一部を利用したバックプロパゲーションを通じて原本データ又は変換データをアップデートして、原本データに対するコンシール処理された変調済みデータを生成することができる。
一方、前記では、第２ラーニングネットワーク１３０＿２乃至第ｎラーニングネットワーク１３０＿ｎをもって、それぞれ以前のラーニングネットワークを利用したバックプロパゲーションにより生成された以前の変調済みデータとして入力して、バックプロパゲーションをそれぞれ遂行して変調済みデータを生成したが、変換データｘ’を第１ラーニングネットワーク１３０＿１乃至第ｎラーニングネットワーク１３０＿ｎそれぞれに入力して、一度のバックプロパゲーションを通じて変調済みデータを取得することもできる。
すなわち、データ変調装置１００は、変換データｘ’を第１ラーニングネットワーク１３０＿１乃至第ｎラーニングネットワーク１３０＿ｎそれぞれに入力し、それぞれの第１ラーニングネットワーク１３０＿１乃至第ｎラーニングネットワーク１３０＿ｎをもって（ｉ）第１ラーニングネットワーク１３０＿１乃至第ｎラーニングネットワーク１３０＿ｎそれぞれの第１学習済みパラメータ乃至第ｎ学習済みパラメータを利用して、変換データｘ’に対してネットワーク演算を適用させて（ｉｉ）変換データｘ’に対するそれぞれの第１特性情報乃至第ｎ特性情報を出力させる。そして、データ変調装置１００は、（ｉ）第１特性情報乃至第ｎ特性情報と、（ｉｉ）これにそれぞれ対応する第１＿１原本正解乃至第１＿ｎ原本正解とを参照して算出された第１＿１ロス乃至第１＿ｎロスの平均である第１ロスを利用したバックプロパゲーションを通じて原本データ又は変換データをアップデートして、原本データに対応する変調済みデータを生成することができる。
また、データ変調装置１００は、（ｉ）第１特性情報乃至第ｎ特性情報それぞれを利用して生成された第１タスク特化出力乃至第ｎタスク特化出力と、（ｉｉ）これにそれぞれ対応する第２＿１原本正解乃至第２＿ｎ原本正解とを参照して算出された第２＿１ロス乃至第２＿ｎロスの平均である第２ロスを利用したバックプロパゲーションを通じて原本データ又は変換データをアップデートして、原本データに対応する変調済みデータを生成することができる。
これに加えて、データ変調装置１００は、第１＿１ロス乃至第１＿ｎロスと、これにそれぞれ対応する第２＿１ロス乃至第２＿ｎロスとをそれぞれ要素ごとに合算（Ｐｉｅｃｅｗｉｓｅ Ｓｕｍｍａｔｉｏｎ）した第１合算ロス乃至第ｎ合算ロスをそれぞれ平均した第３ロスを利用したバックプロパゲーションを通じて原本データ又は変換データをアップデートして、原本データに対応する変調済みデータを生成することもできる。
図６は、本発明のまた他の実施例において、データをコンシール処理する方法を示したものである。以下の説明において、図２乃至図５の説明から容易に理解可能な部分については詳細な説明を省略することにする。
まず、原本データｘが取得されると、データ変調装置１００が、原本データｘを変換して変換データｘ’を生成する。
次に、データ変調装置１００は、原本データｘをラーニングネットワーク１３０に入力して、ラーニングネットワークをもって（ｉ）ラーニングネットワークの少なくとも一つの学習済みパラメータを利用して、原本データｘに対してネットワーク演算を適用させて（ｉｉ）原本データに対する第１特性情報ｙを出力させる。また、データ変調装置１００は、変換データｘ’をラーニングネットワーク１３０に入力して、ラーニングネットワーク１３０をもって（ｉ）学習済みパラメータを利用して、変換データｘ’に対してネットワーク演算を適用させて（ｉｉ）変換データｘに対する第２特性情報ｙ’を出力させる。
次に、データ変調装置１００は、（ｉ）第１特性情報ｙと第２特性情報ｙ’とを参照して生成された少なくとも１つの第１ロスと、（ｉｉ）（ｉｉ−１）第２特性情報ｙ’を利用して生成された少なくとも１つのタスク特化出力と、（ｉｉ−２）これに対応する少なくとも１つの原本正解とを参照して生成された少なくとも１つの第２ロスとのうち少なくとも一部を参照して算出されたデータロスを利用したバックプロパゲーションを通じて原本データｘ又は変換データｘ’をアップデートして、原本データに対応する変調済みデータを生成することができる。
この際、第１特性情報と第２特性情報とを参照して第１ロスを算出するにおいて、データ変調装置１００は、第１特性情報と第２特性情報との間の差異値、一例として、ノルム（Ｎｏｒｍ）｜｜ｙ−ｙ’｜｜を利用して第１ロスを算出するか、 第１特性情報と第２特性情報との間のコサイン類似度（Ｃｏｓｉｎｅ Ｓｉｍｉｌａｒｉｔｙ）を利用して第１ロスを算出することができるが、これに限定されない。
また、データ変調装置１００は、データロスを利用したバックプロパゲーションの進行中にラーニングネットワーク１３０の学習済みパラメータは固定してアップデートせず、原本データ又は変換データに対してのみ、第１ロスと第２ロスとのうち少なくとも一部を最小化するようにバックプロパゲーションを遂行することにより、原本データを変調することができる。そうすると、変調済みデータは人にとっては原本データとは異なるデータとして認識されるが、ラーニングネットワークでは原本データと同一又は類似したデータとして認識され得る。
また、データ変調装置１００は、データロスを利用したバックプロパゲーションの進行中に、データロスを利用して第１ロスと第２ロスとのうち少なくとも一部を最小化するためのロスグラディエントを取得し、ロスグラディエントを原本データにバックプロパゲーションすることができる。
図７は、本発明のまた他の実施例において、第１変調済みデータ乃至第ｎ変調済みデータをコンシール処理されたデータとして生成する方法を簡略に示した図である。変調済みデータを利用して算出された出力結果は、本発明のまた他の実施例において、学習済みパラメータを有する多数のラーニングネットワーク１３０＿１、１３０＿２、…、１３０＿ｎを利用して、原本データを利用して算出された出力結果と同一であるか類似する。下記の説明では、図２乃至図６の説明で容易に理解可能な部分については詳細な説明を省略することにする。
まず、原本データｘが取得されると、データ変調装置１００が、原本データｘを変換して変換データｘ’を生成する。
次に、データ変調装置１００は、原本データｘを第１ラーニングネットワーク１３０＿１に入力して、第１ラーニングネットワーク１３０＿１をもって（ｉ）第１ラーニングネットワーク１３０＿１の第１学習済みパラメータを利用して、原本データｘに対してネットワーク演算を適用させて（ｉｉ）原本データに対する第１＿１特性情報ｙ１を出力させる。また、データ変調装置１００は、変換データｘ’を第１ラーニングネットワーク１３０＿１に入力して、第１ラーニングネットワーク１３０＿１をもって（ｉ）学習済みパラメータを利用して、変換データｘ’に対してネットワーク演算を適用させて（ｉｉ）変換データｘに対する第２＿１特性情報ｙ１’を出力させる。
次に、データ変調装置１００は、（ｉ）第１＿１特性情報ｙ１と第２＿１特性情報ｙ１’とを参照して生成された少なくとも一つの第１＿１ロスと、（ｉｉ）（ｉｉ−１）第２＿１特性情報ｙ１’を利用して生成した第１タスク特化出力と、（ｉｉ−２）これに対応する少なくとも一つの第１原本正解とを参照して生成された少なくとも一つの第２＿１ロスとのうち少なくとも一部を参照して算出された第１データロスを利用したバックプロパゲーションを通じて変換データｘ’をアップデートして第１変調済みデータを生成することができる。
以後、データ変調装置１００は、整数であるｋを２からｎまで増加させて行き、（ｉ）原本データｘを第ｋラーニングネットワークに入力して、第ｋラーニングネットワークをもって（ｉ−１）第ｋラーニングネットワークの第ｋ学習済みパラメータを利用して、原本データｘに対してネットワーク演算を適用させて（ｉ−２）原本データに対する第１＿ｋ特性情報ｙｋを出力させ、（ｉｉ）第ｋ−１変調済みデータを第ｋラーニングネットワークに入力して、第ｋラーニングネットワークをもって（ｉｉ−１）第ｋラーニングネットワークの第ｋ学習済みパラメータを利用して、第ｋ−１変調済みデータに対してネットワーク演算を適用させて（ｉｉ−２）第ｋ−１変調済みデータに対する第２＿ｋ特性情報ｙｋ’を出力させ、（ｉｉｉ）（ｉｉｉ−１）第１＿ｋ特性情報ｙｋと第２＿ｋ特性情報ｙｋ’とを参照して生成された少なくとも一つの第１＿ｋロスと、（ｉｉｉ−２）（ｉｉｉ−２ａ）第２＿ｋ特性情報ｙｋ’を利用して生成された少なくとも一つの第ｋタスク特化出力と、（ｉｉｉ−２ｂ）これに対応する少なくとも一つの第ｋ原本正解とを参照して生成された少なくとも一つの第２＿ｋロスとのうち少なくとも一部を参照して算出された少なくとも一つの第ｋデータロスを利用したバックプロパゲーションを通じて第ｋ−１変調済みデータをアップデートして、第ｋ−１変調済みデータに対応する第ｋ変調済みデータを生成するプロセスを繰り返すことにより、原本データに対応する変調済みデータである第ｎ変調済みデータを生成することができる。
また、前記では、原本データに対してコンシールされた変調済みデータとして第ｎ変調済みデータを生成したが、第１ラーニングネットワーク１３０＿１乃至第ｎラーニングネットワーク１３０＿ｎをもって第１データロス乃至第ｎデータロスを利用させて原本データ又は変換データをアップデートして、原本データに対してコンシール処理された変調済みデータを生成することもできる。
すなわち、データ変調装置１００は、前記のような過程を通じて（ｉ）第１ラーニングネットワーク１３０＿１乃至第ｎラーニングネットワーク１３０＿ｎを通じた第１データロス乃至第ｎデータロスを取得し、（ｉｉ）取得された第１データロス乃至第ｎデータロスを平均した少なくとも１つの平均データロスを利用したバックプロパゲーションを通じて原本データ又は変換データをアップデートして原本データに対するコンシール処理された変調済みデータを生成することができる。
また、前記では、第１ラーニングネットワーク１３０＿１乃至第ｎラーニングネットワーク１３０＿ｎそれぞれに原本イメージを入力して原本イメージに対する特性情報を取得し、これを利用して第１＿１ロス乃至第１＿ｎロスを算出したが、原本データを第１ラーニングネットワーク１３０＿１乃至第ｎラーニングネットワーク１３０＿ｎのうち少なくとも１つの特定のラーニングネットワークに入力して原本データに対する特定の特性情報を取得し、これを利用して原本データ又は変換データをアップデートすることもできる。
一例として、データ変調装置１００は、原本データｘを第１ラーニングネットワーク１３０＿１乃至第ｎラーニングネットワーク１３０＿ｎのうち少なくとも１つの特定のラーニングネットワークをもって（ｉ）特定のラーニングネットワークの少なくとも１つの特定の学習済みパラメータを利用して、原本データに対してネットワーク演算を適用させて（ｉｉ）原本データに対する特定の特性情報を出力させる。
そして、データ変調装置１００は、（ｉ）変換データｘ’を第１ラーニングネットワーク１３０＿１に入力して、第１ラーニングネットワーク１３０＿１をもって（ｉ−１）第１学習済みパラメータを利用して、変換データに対してネットワーク演算を適用させて（ｉｉ）変換データに対する第２＿１特性情報を出力させ、（ｉｉ）第２＿１特性情報をクラスごとにマッピングして生成された変換データに対する少なくとも一つの第１確率と、原本データに対応する少なくとも一つの原本正解とを参照して第１＿１ロスを算出し、（ｉｉｉ）前記第１＿１ロスを利用したバックプロパゲーションを通じて変換データをアップデートして、これに対応する第１変調済みデータを生成する。そして、データ変調装置１００は、整数であるｋを２からｎまで増加させて行き、（ｉ）第ｋ−１変調済みデータを第ｋラーニングネットワークに入力して、第ｋラーニングネットワークをもって（ｉ−１）第ｋラーニングネットワークの第ｋ学習済みパラメータを利用して、第ｋ−１変調済みデータに対してネットワーク演算を適用させて（ｉ−２）第ｋ−１変調済みデータに関する第２＿ｋ特性情報を出力させ、（ｉｉ）第２＿ｋ特性情報をクラスごとにマッピングして生成された第ｋ−１変調済みデータに対する少なくとも１つの第ｋ確率と、原本データに対応する少なくとも一つの原本正解とを参照して第１＿ｋロスを算出し、（ｉｉｉ）第１＿ｋロスを利用したバックプロパゲーションを通じて第ｋ−１変調済みデータをアップデートして、第ｋ−１変調済みデータに対応する第ｋ変調済みデータを生成するプロセスを繰り返して第ｎ変調済みデータを生成する。
以後、データ変調装置１００は、（ｉ）第１＿１ロス乃至第１＿ｎロスを参照して算出された少なくとも一つの第１サブロスと、（ｉｉ）（ｉｉ−１）特定の特性情報と（ｉｉ−２）第２＿１特性情報乃至第２＿ｎ特性情報とを参照して算出された少なくとも一つの第２サブロスとのうち少なくとも一部を利用して原本データ又は変換データをアップデートして、原本データに対応する変調済みデータを生成することができる。
この際、データ変調装置１００は、（ｉ）第１＿１ロス乃至第１＿ｎロスの平均ロスを少なくとも一つの第１サブロスとして生成し、（ｉｉ）第２＿１特性情報乃至第２＿ｎ特性情報の平均と特定の特性情報とを参照して第２サブロスを生成することができる。
一方、前記では、データ変調装置１００は、第２ラーニングネットワーク１３０＿２乃至第ｎラーニングネットワーク１３０＿ｎそれぞれをもって、以前のラーニングネットワークを利用したバックプロパゲーションにより生成された以前の変調済みデータを入力して、バックプロパゲーションをそれぞれ遂行して変調済みデータを生成したが、変換データｘ’を第１ラーニングネットワーク１３０＿１乃至第ｎラーニングネットワーク１３０＿ｎそれぞれに入力して、一度のバックプロパゲーションを通じて変調済みデータを生成することもできる。
すなわち、データ変調装置１００は、原本データｘを第１ラーニングネットワーク１３０＿１乃至第ｎラーニングネットワーク１３０＿ｎそれぞれに入力して、それぞれの第１ラーニングネットワーク１３０＿１乃至第ｎラーニングネットワーク１３０＿ｎをもって（ｉ）第１ラーニングネットワーク１３０＿１乃至第ｎラーニングネットワーク１３０＿ｎそれぞれの第１学習済みパラメータ乃至第ｎ学習済みパラメータをそれぞれ利用して、原本データｘに対してそれぞれのネットワークに対応するネットワーク演算を適用させて（ｉｉ）原本データｘに対するそれぞれの第１＿１特性情報ｙ１乃至第１＿ｎ特性情報ｙｎを出力させる。また、データ変換装置１００は、変換データｘ’を第１ラーニングネットワーク１３０＿１乃至第ｎラーニングネットワーク１３０＿ｎそれぞれに入力して、それぞれの第１ラーニングネットワーク１３０＿１乃至第ｎラーニングネットワーク１３０＿ｎをもって（ｉ）第１ラーニングネットワーク１３０＿１乃至第ｎラーニングネットワーク１３０＿ｎそれぞれの第１学習済みパラメータ乃至第ｎ学習済みパラメータをそれぞれ利用して、変換データｘ’に対してそれぞれのネットワークに対応するネットワーク演算を適用させて（ｉｉ）第１学習済みパラメータ乃至第ｎ学習済みパラメータをそれぞれ利用して、変換データｘ’に対するそれぞれの第２＿１特性情報ｙ１’乃至第２＿ｎ特性情報（ｙｎ’）を出力させる。
そして、データ変調装置１００は、（ｉ）第１＿１特性情報乃至第１＿ｎ特性情報と（ｉｉ）第１＿１特性情報乃至第１＿ｎ特性情報それぞれに対応する第２＿１特性情報乃至第２＿ｎ特性情報とを参照して算出された第１＿１ロス乃至第１＿ｎロスの平均である第１ロスを利用したバックプロパゲーションを通じて原本データ又は変換データをアップデートして、原本データに対応する変調済みデータを生成することができる。
また、データ変調装置１００は、（ｉ）第２＿１特性情報乃至第２＿ｎ特性情報それぞれを利用して生成された第１タスク特化出力乃至第ｎタスク特化出力と、（ｉｉ）これにそれぞれ対応する第１原本正解乃至第ｎ原本正解とを参照して算出された第２＿１ロス乃至第２＿ｎロスの平均である第２ロスを利用したバックプロパゲーションを通じて原本データ又は変換データをアップデートして、原本データに対応する変調済みデータを生成することができる。
これに加えて、データ変調装置１００は、第１＿１ロス乃至第１＿ｎロスと、これにそれぞれ対応する第２＿１ロス乃至第２＿ｎロスとをそれぞれ要素ごとに合算（Ｐｉｅｃｅｗｉｓｅ Ｓｕｍｍａｔｉｏｎ）した第１合算ロス乃至第ｎ合算ロスを平均した第３ロスを利用したバックプロパゲーションを通じて、原本データ又は変換データをアップデートして、原本データに対応する変調済みデータを生成することができる。
図８Ａ及び図８Ｂは、本発明の実施例において、原本データとコンシール処理された原本データとを簡略に示したものである。
図８Ａはカナダ高等研究所（ＣＩＦＡＲ：Ｃａｎａｄｉａｎ Ｉｎｓｔｉｔｕｔｅ ｆｏｒ Ａｄｖａｎｃｅｄ Ｒｅｓｅａｒｃｈ）においてイメージ分類の問題解決のために収集して整理したデータである、ＣＩＦＡＲ−１０データセットから選定された６４個のイメージサンプルを例示的に示す図面である。
図８Ａのイメージサンプルを原本データとして、本発明の実施例においてコンシール処理した変調済みデータは、図８Ｂのように示される。
図８Ａ及び図８Ｂを参照すると、本発明の実施例においてコンシール処理された図８Ｂの６４個の変調済みデータは、図８Ａの６４個の原本データとは視覚的に異なるが、ラーニングネットワークに入力する場合、ラーニングネットワークは原本データと同一であるか類似した結果を出力する。
一方、本発明の実施例において、データ変調装置１００でコンシール処理された変調済みデータは、イメージビッグデータの購入者に提供又は販売され得る。
また、本発明の一実施例によると、上記の購入者に対してコンシール処理されたイメージデータが提供又は販売されるとともに、データ変調装置１００における方法を多様なコンピュータ構成要素を通じて実行することができるプログラムインストラクションの形態で具現されて、コンピュータ読取り可能な記録媒体に格納されて提供され得る。本発明の一実施例によると、購入者は、記録媒体に格納されたプログラムインストラクションをコンピューティング装置を利用して実行することによって、自らが別途に保有しているか他の出処から取得された原本データからコンシール処理されたデータを生成することができ、コンシール処理されたデータを自らのラーニングネットワークで利用することが可能となる。また、購入者は、そのコンシール処理されたデータ、自らが保有しているか他の出処から取得された原本イメージデータ、及び自らに提供又は販売されたコンシール処理済みのイメージデータのうち少なくとも二つ以上を自らのラーニングネットワークで共に使用することも可能になる。
一方、本発明の一実施例によると、データ変調装置１００の方法を多様なコンピュータ構成要素を通じて実行され得るプログラムインストラクションの形態で具現した場合、正確度が高く設定されることから購入者のコンピューティング装置においてはコンピューティングオーバーヘッド（Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｏｖｅｒｈｅａｄ）を発生させることがあり得るため、購入者が設定を通じて正確度を減少させることができるようにして、コンピューティングオーバーヘッドを防止し得るようにすることが可能になる。
一方、本明細書に明示された「平均」は、加重平均（Ｗｅｉｇｈｔｅｄ Ａｖｅｒａｇｅ）を意味するが、これに限定されるわけではない。
以上にて説明された本発明による実施例は、多様なコンピュータの構成要素を通じて実行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（Ｆｌｏｐｔｉｃａｌ Ｄｉｓｋ）のような磁気−光メディア（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ Ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、かかる記載から多様な修正及び変形が行われ得る。
したがって、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等又は等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

Claims (28)

  1. 個人情報保護のために原本データをコンシール（Ｃｏｎｃｅａｌｉｎｇ）処理する方法において、
    （ａ）前記原本データが取得されると、データ変調装置（Ｄａｔａ Ｏｂｆｕｓｃａｔｉｏｎ Ｄｅｖｉｃｅ）が、前記原本データ又はこれに対応する変換データ（Ｍｏｄｉｆｉｅｄ Ｄａｔａ）をラーニングネットワーク（Ｌｅａｒｎｉｎｇ Ｎｅｔｗｏｒｋ）に入力して、前記ラーニングネットワークをもって（ｉ）前記ラーニングネットワークの少なくとも一つの学習済みパラメータを利用して、前記原本データ又は前記変換データに対してネットワーク演算を適用させて（ｉｉ）前記原本データ又は前記変換データに関する特性情報（Ｃｈａｒａｃｔｅｒｉｓｔｉｃ Ｉｎｆｏｒｍａｔｉｏｎ）を出力させる段階、及び
    （ｂ）前記データ変調装置が、（ｉ）前記特性情報とこれに対応する少なくとも一つの第１原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とを参照して算出された少なくとも一つの第１ロスと、（ｉｉ）（ｉｉ−１）前記特性情報を利用して生成された少なくとも一つのタスク特化出力（Ｔａｓｋ Ｓｐｅｃｉｆｉｃ Ｏｕｔｐｕｔ）及び（ｉｉ−２）これに対応する少なくとも一つの第２原本正解とを参照して算出された少なくとも一つの第２ロスとのうち少なくとも一部を利用したバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を通じて前記原本データ又は前記変換データをアップデートして、前記原本データに対応する変調済みデータ（Ｏｂｆｕｓｃａｔｅｄ Ｄａｔａ）を生成する段階を含む方法。
  2. 前記ラーニングネットワークは、少なくとも１つの第１学習済みパラメータ乃至少なくとも１つの第ｎ学習済みパラメータをそれぞれ有する第１ラーニングネットワーク乃至第ｎラーニングネットワークを含み、前記ｎは１以上の整数（ｉｎｔｅｇｅｒ）である場合、
    前記（ａ）段階で、
    前記データ変調装置は、前記原本データ又は前記変換データを前記第１ラーニングネットワークに入力して、前記第１ラーニングネットワークをもって（ｉ）前記第１ラーニングネットワークの前記第１学習済みパラメータを利用して、前記原本データ又は前記変換データに対してネットワーク演算を適用させて（ｉｉ）前記原本データ又は前記変換データに関する第１特性情報を出力させ、
    前記（ｂ）段階で、
    前記データ変調装置は、（ｉ）前記第１特性情報とこれに対応する少なくとも１つの第１＿１原本正解とを参照して算出された少なくとも１つの第１＿１ロスと、（ｉｉ）（ｉｉ−１）前記第１特性情報を利用して生成された少なくとも１つの第１タスク特化出力と、（ｉｉ−２）前記第１タスク特化出力に対応する少なくとも１つの第２＿１原本正解とを参照して算出された少なくとも一つの第２＿１ロスとのうち少なくとも一部を利用したバックプロパゲーションを通じて前記原本データ又は前記変換データをアップデートして、前記原本データ又は前記変換データに対応する第１変調済みデータを生成し、
    前記データ変調装置が、整数であるｋを２からｎまで増加させて行き、（ｉ）第ｋ−１変調済みデータを第ｋラーニングネットワークに入力して、前記第ｋラーニングネットワークをもって（ｉ−１）前記第ｋラーニングネットワークの少なくとも一つの第ｋ学習済みパラメータを利用して、前記第ｋ−１変調済みデータに対してネットワーク演算を適用させて（ｉ−２）前記第ｋ−１変調済みデータに対する第ｋ特性情報を出力させ、（ｉｉ）（ｉｉ−１）前記第ｋ特性情報と、これに対応する少なくとも一つの第１＿ｋ原本正解とを参照して生成された少なくとも一つの第１＿ｋロスと、（ｉｉ−２）前記第ｋ特性情報を利用して生成された少なくとも一つの第ｋタスク特定値及びこれに対応する少なくとも一つの第２＿ｋ原本正解とを参照して算出された少なくとも一つの第２＿ｋロスとのうち少なくとも一部を利用したバックプロパゲーションを通じて前記第ｋ−１変調済みデータをアップデートして、前記第ｋ−１変調済みデータに対応する第ｋ変調済みデータを生成するプロセスを繰り返すことにより、前記原本データに対応する前記変調済みデータである第ｎ変調済みデータを生成する請求項１に記載の方法。
  3. 前記データ変調装置は、（ｉ）前記第１＿１ロス乃至第１＿ｎロスを平均した第１平均ロス、（ｉｉ）前記第２＿１ロス乃至第２＿ｎロスを平均した第２平均ロス、及び（ｉｉｉ）前記第１＿１ロス乃至第１＿ｎロスと前記第１＿１ロス乃至第１＿ｎロスそれぞれに対応する前記第２＿１ロス乃至第２＿ｎロスとをそれぞれ要素別に合算（Ｐｉｅｃｅｗｉｓｅ Ｓｕｍｍａｔｉｏｎ）した第１合算ロス乃至第ｎ合算ロスを平均した第３平均ロスのうち少なくとも一部を利用したバックプロパゲーションを通じて前記原本データ又は前記変換データをアップデートして、前記変調済みデータを生成する請求項２に記載の方法。
  4. 前記（ｂ）段階で、
    前記データ変調装置は、前記第１ロスと前記第２ロスとのうち少なくとも一部を利用したバックプロパゲーションの進行中に前記ラーニングネットワークの前記学習済みパラメータを固定された値に保持する請求項１に記載の方法。
  5. 前記（ｂ）段階で、
    前記データ変調装置は、前記第１ロスと前記第２ロスとのうち少なくとも一部を最小化するための少なくとも一つのロスグラディエント（Ｌｏｓｓ Ｇｒａｄｉｅｎｔ）を取得し、前記ロスグラディエントを前記原本データ又は前記変換データにバックプロパゲーションする請求項１に記載の方法。
  6. 前記（ａ）段階で、
    前記データ変調装置は、前記原本データに対するランダムノイズ生成ネットワークを通じて生成されたランダムノイズ追加プロセス、前記原本データに対するブラー（Ｂｌｕｒ）処理プロセス、及び前記原本データの解像度変更プロセスのうち少なくとも一つのプロセスを遂行して前記原本データに対応する前記変換データを生成する請求項１に記載の方法。
  7. 前記ラーニングネットワークは、少なくとも１つの第１学習済みパラメータ乃至少なくとも１つの第ｎ学習済みパラメータを有する第１ラーニングネットワーク乃至第ｎラーニングネットワークを含み、前記ｎは１以上の整数である場合、
    前記（ａ）段階で、
    前記データ変調装置は、前記原本データ又は前記変換データを前記第１ラーニングネットワーク乃至前記第ｎラーニングネットワークそれぞれに入力して、それぞれの前記第１ラーニングネットワーク乃至前記第ｎラーニングネットワークをもって（ｉ）前記第１ラーニングネットワーク乃至前記第ｎラーニングネットワークそれぞれの前記第１学習済みパラメータ乃至前記第ｎ学習済みパラメータを利用して、前記原本データ又は前記変換データに対して当該ラーニングネットワークに対応するネットワーク演算を適用させて（ｉｉ）前記原本データ又は前記変換データに対するそれぞれの第１特性情報乃至第ｎ特性情報を出力させ、
    前記（ｂ）段階で、
    前記データ変調装置は、（ｉ）前記第１特性情報乃至前記第ｎ特性情報と、これにそれぞれ対応する少なくとも１つの第１＿１原本正解乃至少なくとも１つの第１＿ｎ原本正解とを参照して算出された第１＿１ロス乃至第１＿ｎロスの平均である第１ロスのうち一つ、（ｉｉ）前記第１特性情報乃至前記第ｎ特性情報それぞれを利用して生成された第１タスク特化出力乃至第ｎタスク特化出力と、これにそれぞれ対応する少なくとも１つの第２＿１原本正解乃至少なくとも１つの第２＿ｎ原本正解とを参照して生成された第２＿１ロス乃至第２＿ｎロスの平均である第２ロスのうち一つ、及び（ｉｉｉ）前記第１＿１ロス乃至前記第１＿ｎロスと、これにそれぞれ対応する前記第２＿１ロス乃至第２＿ｎロスとをそれぞれ要素ごとに合算（Ｐｉｅｃｅｗｉｓｅ Ｓｕｍｍａｔｉｏｎ）した第１合算ロス乃至第ｎ合算ロスを平均した第３ロスのうち少なくとも一部を利用したバックプロパゲーションを通じて前記原本データ又は前記変換データをアップデートして、前記原本データに対応する前記変調済みデータを生成する請求項１に記載の方法。
  8. 個人情報保護のために原本データをコンシール処理する方法において、
    （ａ）前記原本データが取得されると、データ変調装置が、前記原本データを変換して変換データを生成する段階と、
    （ｂ）前記データ変調装置が、（ｉ）前記原本データをラーニングネットワークに入力して、前記ラーニングネットワークをもって（ｉ−１）前記ラーニングネットワークの少なくとも一つの学習済みパラメータを利用して、前記原本データに対してネットワーク演算を適用させて（ｉ−２）前記原本データに対する第１特性情報を出力させ、（ｉｉ）前記変換データを前記ラーニングネットワークに入力して、前記ラーニングネットワークをもって（ｉｉ−１）前記学習済みパラメータを利用して、前記変換データに対してネットワーク演算を適用させて（ｉｉ−２）前記変換データに対する第２特性情報を出力させる段階と、
    （ｃ）前記データ変調装置が、（ｉ）前記第１特性情報と前記第２特性情報とを参照して算出された少なくとも一つの第１ロスと、（ｉｉ）（ｉｉ−１）前記第２特性情報を利用して生成された少なくとも一つのタスク特化出力と、（ｉｉ−２）これに対応する少なくとも一つの原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とを参照して算出された少なくとも一つの第２ロスとのうち少なくとも一部を参照して生成された少なくとも一つのデータロスを利用したバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を通じて前記原本データ又は前記変換データをアップデートして、前記原本データに対応する変調済みデータを生成する段階と、
    を含む方法。
  9. 前記ラーニングネットワークは、少なくとも１つの第１学習済みパラメータ乃至少なくとも１つの第ｎ学習済みパラメータを有する第１ラーニングネットワーク乃至第ｎラーニングネットワークを含み、前記ｎは１以上の整数である場合、
    前記（ｂ）段階で、
    前記データ変調装置は、（ｉ）前記原本データを前記第１ラーニングネットワークに入力して、前記第１ラーニングネットワークをもって（ｉ−１）前記第１ラーニングネットワークの少なくとも１つの第１学習済みパラメータを利用して、前記原本データに対してネットワーク演算を適用させて（ｉ−２）前記原本データに対する第１＿１特性情報を出力させ、（ｉｉ）前記変換データを前記第１ラーニングネットワークに入力して、前記第１ラーニングネットワークをもって（ｉｉ−１）前記第１学習済みパラメータを利用して、前記変換データに対してネットワーク演算を適用させて（ｉｉ−２）前記変換データに対する第２＿１特性情報を出力させ、
    前記（ｃ）段階で、
    前記データ変調装置は、（ｉ）前記第１＿１特性情報と前記第２＿１特性情報とを参照して生成された少なくとも一つの第１＿１ロスと、（ｉｉ）（ｉｉ−１）前記第２＿１特性情報を利用して生成された少なくとも一つの第１タスク特化出力と、（ｉｉ−２）これに対応する少なくとも一つの第１原本正解とを参照して生成された少なくとも一つの第２＿１ロスとのうち少なくとも一部を参照して算出された少なくとも一つの第１データロスを利用したバックプロパゲーションを通じて前記変換データをアップデートして、前記変換データに対応する第１変調済みデータを生成し、
    前記データ変調装置が、整数であるｋを２からｎまで増加させて行き、（ｉ）前記原本データを第ｋラーニングネットワークに入力して、前記第ｋラーニングネットワークをもって（ｉ−１）前記第ｋラーニングネットワークの少なくとも一つの第ｋ学習済みパラメータを利用して、前記原本データに対してネットワーク演算を適用させて（ｉ−２）前記原本データに対する第１＿ｋ特性情報を出力させるプロセス、（ｉｉ）第ｋ−１変調済みデータを前記第ｋラーニングネットワークに入力して、前記第ｋラーニングネットワークをもって（ｉｉ−１）前記第ｋ学習済みパラメータを利用して、前記第ｋ−１変調済みデータに対してネットワーク演算を適用させて（ｉｉ−２）前記第ｋ−１変調済みデータに対する第２＿ｋ特性情報を出力させるプロセス、及び（ｉｉｉ）（ｉｉｉ−１）前記第１＿ｋ特性情報と前記第２＿ｋ特性情報とを参照して算出された少なくとも１つの第１＿ｋロスと、（ｉｉｉ−２）前記第２＿ｋ特性情報を利用して生成された少なくとも１つの第ｋタスク特化出力と、これに対応する少なくとも１つの第ｋ原本正解とを参照して算出された少なくとも一つの第２＿ｋロスとのうち少なくとも一部を参照して生成された少なくとも１つの第ｋデータロスを利用したバックプロパゲーションを通じて前記第ｋ−１変調済みデータをアップデートして、前記第ｋ−１変調済みデータに対応する第ｋ変調済みデータを生成するプロセスを繰り返すことにより、前記原本データに対応する前記変調済みデータである第ｎ変調済みデータを生成する請求項８に記載の方法。
  10. 前記データ変調装置は、前記第１データロス乃至第ｎデータロスを平均した少なくとも一つの平均データロスを利用したバックプロパゲーションを通じて前記原本データ又は前記変換データをアップデートして、前記変調済みデータを生成する請求項９に記載の方法。
  11. （ｉ）前記第１＿１ロス乃至前記第１＿ｎロスを平均した少なくとも一つの平均を第１サブロス（Ｓｕｂ Ｌｏｓｓ）として算出し、（ｉｉ）特定の特性情報と前記第２＿１ロス乃至前記第２＿ｎロスを平均した平均値とを参照して第２サブロスを算出する請求項１０に記載の方法。
  12. 前記（ｃ）段階で、
    前記データ変調装置は、前記データロスを利用したバックプロパゲーションの進行中に前記ラーニングネットワークの前記学習済みパラメータを固定された値に保持する請求項８に記載の方法。
  13. 前記（ａ）段階で、
    前記データ変調装置は、前記原本データに対するランダムノイズ生成ネットワークを通じて生成されたランダムノイズ追加プロセス、前記原本データに対するブラー（Ｂｌｕｒ）処理プロセス、及び前記原本データの解像度変更プロセスのうち少なくとも一つのプロセスを遂行して前記原本データに対応する前記変換データを生成する請求項８に記載の方法。
  14. 前記ラーニングネットワークは、少なくとも１つの第１学習済みパラメータ乃至少なくとも１つの第ｎ学習済みパラメータを有する第１ラーニングネットワーク乃至第ｎラーニングネットワークを含み、前記ｎは１以上の整数である場合、
    前記（ｂ）段階で、
    前記データ変調装置は、（ｉ）前記原本データ及び前記変換データを前記第１ラーニングネットワーク乃至前記第ｎラーニングネットワークそれぞれに入力して、（ｉｉ）それぞれの前記第１ラーニングネットワーク乃至前記第ｎラーニングネットワークをもって（ｉｉ−１）前記第１ラーニングネットワーク乃至前記第ｎラーニングネットワークそれぞれの前記第１学習済みパラメータ乃至前記第ｎ学習済みパラメータを利用して、前記原本データ及び前記変換データに対して当該ラーニングネットワークに対応するネットワーク演算を適用させて（ｉｉ−２）前記原本データに対するそれぞれの第１＿１特性情報乃至第１＿ｎ特性情報を出力させ、（ｉｉ−３）前記変換データに対するそれぞれの第２＿１特性情報乃至第２＿ｎ特性情報を出力させ、
    前記（ｃ）段階で、
    前記データ変調装置は、（ｉ）前記第１＿１特性情報乃至前記第１＿ｎ特性情報と、これにそれぞれ対応する前記第２＿１特性情報乃至第２＿ｎ特性情報を参照して算出された第１＿１ロス乃至第１＿ｎロスの平均である前記第１ロスのうち一つ、（ｉｉ）前記第２＿１特性情報乃至前記第２＿ｎ特性情報それぞれを利用して生成された第１タスク特化出力乃至第ｎタスク特化出力と、これにそれぞれ対応する少なくとも一つの第１原本正解乃至少なくとも一つの第ｎ原本正解とを参照して算出された第２＿１ロス乃至第２＿ｎロスの平均である第２ロスのうち一つ、及び（ｉｉｉ）前記第１＿１ロス乃至前記第１＿ｎロスと、これにそれぞれ対応する前記第２＿１ロス乃至第２＿ｎロスとをそれぞれ要素ごとに合算（Ｐｉｅｃｅｗｉｓｅ Ｓｕｍｍａｔｉｏｎ）した第１合算ロス乃至第ｎ合算ロスを平均した第３ロスのうち少なくとも一部を利用したバックプロパゲーションを通じて前記原本データ又は前記変換データをアップデートして、前記原本データに対応する前記変調済みデータを生成する請求項８に記載の方法。
  15. 個人情報保護のために原本データをコンシール処理するデータ変調装置（Ｄａｔａ Ｏｂｆｕｓｃａｔｉｏｎ Ｄｅｖｉｃｅ）において、
    インストラクションを格納する少なくとも１つのメモリと、
    （Ｉ）前記原本データが取得されると、前記原本データ又はこれに対応する変換データ（Ｍｏｄｉｆｉｅｄ Ｄａｔａ）をラーニングネットワーク（Ｌｅａｒｎｉｎｇ Ｎｅｔｗｏｒｋ）に入力して、前記ラーニングネットワークをもって（ｉ）前記ラーニングネットワークの少なくとも一つの学習済みパラメータを利用して、前記原本データ又は前記変換データに対してネットワーク演算を適用させて（ｉｉ）前記原本データ又は前記変換データに関する特性情報（Ｃｈａｒａｃｔｅｒｉｓｔｉｃ Ｉｎｆｏｒｍａｔｉｏｎ）を出力させるプロセス、及び（ＩＩ）（ｉ）前記特性情報と、これに対応する少なくとも一つの第１原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とを参照して算出された少なくとも一つの第１ロスと、（ｉｉ）（ｉｉ−１）前記特性情報を利用して生成された少なくとも１つのタスク特化出力（Ｔａｓｋ Ｓｐｅｃｉｆｉｃ Ｏｕｔｐｕｔ）及び（ｉｉ−２）これに対応する少なくとも１つの第２原本正解を参照して算出された少なくとも１つの第２ロスとのうち少なくとも一部を利用したバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を通じて前記原本データ又は前記変換データをアップデートして、前記原本データに対応する変調済みデータ（Ｏｂｆｕｓｃａｔｅｄ Ｄａｔａ）を生成するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、
    を含むデータ変調装置。
  16. 前記ラーニングネットワークは、少なくとも１つの第１学習済みパラメータ乃至少なくとも１つの第ｎ学習済みパラメータをそれぞれ有する第１ラーニングネットワーク乃至第ｎラーニングネットワークを含み、前記ｎは１以上の整数である場合、
    前記（Ｉ）プロセスで、
    前記プロセッサは、前記原本データ又は前記変換データを前記第１ラーニングネットワークに入力して、前記第１ラーニングネットワークをもって（ｉ）前記第１ラーニングネットワークの前記第１学習済みパラメータを利用して、前記原本データ又は前記変換データに対してネットワーク演算を適用させて（ｉｉ）前記原本データ又は前記変換データに関する第１特性情報を出力させ、
    前記（ＩＩ）プロセスで、
    前記プロセッサは、（ｉ）前記第１特性情報と、これに対応する少なくとも１つの第１＿１原本正解とを参照して算出された少なくとも１つの第１＿１ロスと、（ｉｉ）（ｉｉ−１）前記第１特性情報を利用して生成された少なくとも１つの第１タスク特化出力と、（ｉｉ−２）これに対応する少なくとも１つの第２＿１原本正解とを参照して算出された少なくとも１つの第２＿１ロスとのうち少なくとも一部を利用したバックプロパゲーションを通じて前記原本データ又は前記変換データをアップデートして、前記原本データ又は前記変換データに対応する第１変調済みデータを生成し、
    前記プロセッサが、整数であるｋを２からｎまで増加させて行き、（ｉ）第ｋ−１変調済みデータを第ｋラーニングネットワークに入力して、前記第ｋラーニングネットワークをもって（ｉ−１）前記第ｋラーニングネットワークの少なくとも一つの第ｋ学習済みパラメータを利用して、前記第ｋ−１変調済みデータに対してネットワーク演算を適用させて（ｉ−２）前記第ｋ−１変調済みデータに対する第ｋ特性情報を出力させ、（ｉｉ）（ｉｉ−１）前記第ｋ特性情報とこれに対応する少なくとも一つの第１＿ｋ原本正解とを参照して生成された少なくとも一つの第１＿ｋロスと、（ｉｉ−２）前記第ｋ特性情報を利用して生成された少なくとも１つの第ｋタスク特定値及びこれに対応する少なくとも一つの第２＿ｋ原本正解とを参照して算出された少なくとも一つの第２＿ｋロスとのうち少なくとも一部を利用したバックプロパゲーションを通じて前記第ｋ−１変調済みデータをアップデートして、前記第ｋ−１変調済みデータに対応する第ｋ変調済みデータを生成するプロセスを繰り返すことにより、前記原本データに対応する前記変調済みデータである第ｎ変調済みデータを生成する請求項１５に記載のデータ変調装置。
  17. 前記プロセッサは、（ｉ）前記第１＿１ロス乃至第１＿ｎロスを平均した第１平均ロス、（ｉｉ）前記第２＿１ロス乃至第２＿ｎロスを平均した第２平均ロス、及び（ｉｉｉ）前記第１＿１ロス乃至第１＿ｎロスと前記第１＿１ロス乃至第１＿ｎロスそれぞれに対応する前記第２＿１ロス乃至第２＿ｎロスとをそれぞれ要素ごとに合算（Ｐｉｅｃｅｗｉｓｅ Ｓｕｍｍａｔｉｏｎ）した第１合算ロス乃至第ｎ合算ロスを平均した第３ロスのうち少なくとも一部を利用したバックプロパゲーションを通じて前記原本データ又は前記変換データをアップデートして、前記変調済みデータを生成する請求項１６に記載のデータ変調装置。
  18. 前記（ＩＩ）プロセスで、
    前記プロセッサは、前記第１ロスと前記第２ロスとのうち少なくとも一部を利用したバックプロパゲーションの進行中に前記ラーニングネットワークの前記学習済みパラメータを固定された値に保持する請求項１５に記載のデータ変調装置。
  19. 前記（ＩＩ）プロセスで、
    前記プロセッサは、前記第１ロスと前記第２ロスとのうち少なくとも一部を最小化するための少なくとも一つのロスグラディエント（Ｌｏｓｓ Ｇｒａｄｉｅｎｔ）を取得し、前記ロスグラディエントを前記原本データ又は前記変換データにバックプロパゲーションする請求項１５に記載のデータ変調装置。
  20. 前記（Ｉ）プロセスで、
    前記プロセッサは、前記原本データに対するランダムノイズ生成ネットワークを通じて生成されたランダムノイズ追加プロセス、前記原本データに対するブラー（Ｂｌｕｒ）処理プロセス、及び前記原本データの解像度変更プロセスのうち少なくとも一つのプロセスを遂行して前記原本データに対応する前記変換データを生成する請求項１５に記載のデータ変調装置。
  21. 前記ラーニングネットワークは、少なくとも１つの第１学習済みパラメータ乃至少なくとも１つの第ｎ学習済みパラメータを有する第１ラーニングネットワーク乃至第ｎラーニングネットワークを含み、前記ｎは１以上の整数である場合、
    前記（Ｉ）プロセスで、
    前記プロセッサは、前記原本データ又は前記変換データを前記第１ラーニングネットワーク乃至前記第ｎラーニングネットワークそれぞれに入力して、それぞれの前記第１ラーニングネットワーク乃至前記第ｎラーニングネットワークをもって（ｉ）前記第１ラーニングネットワーク乃至前記第ｎラーニングネットワークそれぞれの前記第１学習済みパラメータ乃至第ｎ学習済みパラメータを利用して、前記原本データ又は前記変換データに対して当該ラーニングネットワークに対応するネットワーク演算を適用させて（ｉｉ）前記原本データ又は前記変換データに対するそれぞれの第１特性情報乃至第ｎ特性情報を出力させ、
    前記（ＩＩ）プロセスで、
    前記プロセッサは、（ｉ）前記第１特性情報乃至前記第ｎ特性情報と、これにそれぞれ対応する少なくとも１つの第１＿１原本正解乃至少なくとも１つの第１＿ｎ原本正解とを参照して算出された第１＿１ロス乃至第１＿ｎロスの平均である第１ロスのうちの１つ、（ｉｉ）前記第１特性情報乃至前記第ｎ特性情報それぞれを利用して生成された第１タスク特化出力乃至第ｎタスク特化出力と、これにそれぞれ対応する少なくとも１つの第２＿１原本正解乃至少なくとも一つの第２＿ｎ原本正解とを参照して生成された第２＿１ロス乃至第２＿ｎロスの平均である第２ロスのうち一つ、及び（ｉｉｉ）前記第１＿１ロス乃至前記第１＿ｎロスと、これにそれぞれ対応する第２＿１ロス乃至第２＿ｎロスとをそれぞれ要素ごとに合算（Ｐｉｅｃｅｗｉｓｅ Ｓｕｍｍａｔｉｏｎ）した第１合算ロス乃至第ｎ合算ロスを平均した第３ロスのうち少なくとも一部を利用したバックプロパゲーションを通じて前記原本データ又は前記変換データをアップデートして、前記原本データに対応する前記変調済みデータを生成する請求項１５に記載のデータ変調装置。
  22. 個人情報保護のために原本データをコンシール処理するデータ変調装置において、
    インストラクションを格納する少なくとも１つのメモリと、
    （Ｉ）前記原本データが取得されると、前記原本データを変換して変換データを生成するプロセス、（ＩＩ）（ｉ）前記原本データをラーニングネットワークに入力して、前記ラーニングネットワークをもって（ｉ−１）前記ラーニングネットワークの少なくとも一つの学習済みパラメータを利用して、前記原本データに対してネットワーク演算を適用させて（ｉ−２）前記原本データに対する第１特性情報を出力させ、（ｉｉ）前記変換データを前記ラーニングネットワークに入力して、前記ラーニングネットワークをもって（ｉｉ−１）前記学習済みパラメータを利用して、前記変換データに対してネットワーク演算を適用させて（ｉｉ−２）前記変換データに対する第２特性情報を出力させるプロセス、及び（ＩＩＩ）（ｉ）前記第１特性情報と前記第２特性情報とを参照して算出された少なくとも１つの第１ロスと、（ｉｉ）（ｉｉ−１）前記第２特性情報を利用して生成された少なくとも１つのタスク特化出力と、（ｉｉ−２）これに対応する少なくとも１つの原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とを参照して算出された少なくとも１つの第２ロスとのうち少なくとも一部を参照して生成された少なくとも１つのデータロスを利用したバックプロパゲーション（Ｂａｃｋｐｒｏｐｒｏｐａｔｉｏｎ）を通じて前記原本データ又は前記変換データをアップデートして、前記原本データに対応する変調済みデータを生成するプロセスを遂行するための前記インストラクションを実行するか、他の装置をもって実行するように構成された少なくとも１つのプロセッサと、
    を含むデータ変調装置。
  23. 前記ラーニングネットワークは、少なくとも１つの第１学習済みパラメータ乃至少なくとも１つの第ｎ学習済みパラメータを有する第１ラーニングネットワーク乃至第ｎラーニングネットワークを含み、前記ｎは１以上の整数である場合、
    前記（ＩＩ）プロセスで、
    前記プロセッサは、（ｉ）前記原本データを前記第１ラーニングネットワークに入力して、前記第１ラーニングネットワークをもって（ｉ−１）前記第１ラーニングネットワークの少なくとも１つの第１学習済みパラメータを利用して、前記原本データに対してネットワーク演算を適用させて（ｉ−２）前記原本データに対する第１＿１特性情報を出力させ、（ｉｉ）前記変換データを前記第１ラーニングネットワークに入力して、前記第１ラーニングネットワークをもって（ｉｉ−１）前記第１学習済みパラメータを利用して、前記変換データに対してネットワーク演算を適用させて（ｉｉ−２）前記変換データに対する第２＿１特性情報を出力させ、
    前記（ＩＩＩ）プロセスで、
    前記プロセッサは、（ｉ）前記第１＿１特性情報と前記第２＿１特性情報とを参照して生成された少なくとも一つの第１＿１ロスと、（ｉｉ）（ｉｉ−１）前記第２＿１特性情報を利用して生成された少なくとも一つの第１タスク特化出力と、（ｉｉ−２）これに対応する少なくとも一つの第１原本正解とを参照して生成された少なくとも一つの第２＿１ロスとのうち少なくとも一部を参照して算出された少なくとも一つの第１データロスを利用したバックプロパゲーションを通じて前記変換データをアップデートして、前記変換データに対応する第１変調済みデータを生成し、
    前記プロセッサが、整数であるｋを２からｎまで増加させて行き、（ｉ）前記原本データを第ｋラーニングネットワークに入力して、前記第ｋラーニングネットワークをもって（ｉ−１）前記第ｋラーニングネットワークの少なくとも一つの第ｋ学習済みパラメータを利用して、前記原本データに対してネットワーク演算を適用させて（ｉ−２）前記原本データに対する第１＿ｋ特性情報を出力させるプロセス、（ｉｉ）第ｋ−１変調済みデータを前記第ｋラーニングネットワークに入力して、前記第ｋラーニングネットワークをもって（ｉｉ−１）前記第ｋ学習済みパラメータを利用して、前記第ｋ−１変調済みデータに対してネットワーク演算を適用させて（ｉｉ−２）前記第ｋ−１変調済みデータに対する第２＿ｋ特性情報を出力させるプロセス、及び（ｉｉｉ）（ｉｉｉ−１）前記第１＿ｋ特性情報と、前記第２＿ｋ特性情報とを参照して算出された少なくとも１つの第１＿ｋロスと、（ｉｉｉ−２）前記第２＿ｋ特性情報を利用して生成された少なくとも１つの第ｋタスク特化出力と、これに対応する少なくとも１つの第ｋ原本正解とを参照して算出された少なくとも１つの第２＿ｋロスとのうち少なくとも一部を参照して生成された少なくとも一つの第ｋデータロスを利用したバックプロパゲーションを通じて前記第ｋ−１変調済みデータをアップデートして、前記第ｋ−１変調済みデータに対応する第ｋ変調済みデータを生成するプロセスを繰り返すことにより、前記原本データに対応する前記変調済みデータである第ｎ変調済みデータを生成する請求項２２に記載のデータ変調装置。
  24. 前記データ変調装置は、前記第１データロス乃至第ｎデータロスを平均した少なくとも一つの平均データロスを利用したバックプロパゲーションを通じて前記原本データ又は前記変換データをアップデートして、前記変調済みデータを生成する請求項２３に記載のデータ変調装置。
  25. （ｉ）前記第１＿１ロス乃至前記第１＿ｎロスを平均した少なくとも一つの平均を第１サブロス（Ｓｕｂ Ｌｏｓｓ）として算出し、（ｉｉ）特定の特性情報と前記第２＿１ロス乃至前記第２＿ｎロスを平均した平均値とを参照して第２サブロスを算出する請求項２４に記載のデータ変調装置。
  26. 前記（ＩＩＩ）プロセスで、
    前記プロセッサは、前記データロスを利用したバックプロパゲーションの進行中に前記ラーニングネットワークの前記学習済みパラメータを固定された値に保持する請求項２２に記載のデータ変調装置。
  27. 前記（Ｉ）プロセスで、
    前記プロセッサは、前記原本データに対するランダムノイズ生成ネットワークを通じて生成されたランダムノイズ追加プロセス、前記原本データに対するブラー（Ｂｌｕｒ）処理プロセス、及び前記原本データの解像度変更プロセスのうち少なくとも一つのプロセスを遂行して前記原本データに対応する前記変換データを生成する請求項２２に記載のデータ変調装置。
  28. 前記ラーニングネットワークは、少なくとも１つの第１学習済みパラメータ乃至少なくとも１つの第ｎ学習済みパラメータを有する第１ラーニングネットワーク乃至第ｎラーニングネットワークを含み、前記ｎは１以上の整数である場合、
    前記（ＩＩ）プロセスで、
    前記プロセッサは、（ｉ）前記原本データ及び前記変換データを前記第１ラーニングネットワーク乃至前記第ｎラーニングネットワークそれぞれに入力して、（ｉｉ）それぞれの前記第１ラーニングネットワーク乃至前記第ｎラーニングネットワークをもって（ｉｉ−１）前記第１ラーニングネットワーク乃至前記第ｎラーニングネットワークそれぞれの前記第１学習済みパラメータ乃至第ｎ学習済みパラメータを利用して、前記原本データ及び前記変換データに対して当該ラーニングネットワークに対応するネットワーク演算を適用させて（ｉｉ−２）前記原本データに対するそれぞれの第１＿１特性情報乃至第１＿ｎ特性情報を出力させ、（ｉｉ−３）前記変換データに対するそれぞれの第２＿１特性情報乃至第２＿ｎ特性情報を出力させ、
    前記（ＩＩＩ）プロセスで、
    前記プロセッサは、（ｉ）前記第１＿１特性情報乃至前記第１＿ｎ特性情報と、これにそれぞれ対応する前記第２＿１特性情報乃至第２＿ｎ特性情報を参照して算出された第１＿１ロス乃至第１＿ｎロスの平均である前記第１ロスのうち一つ、（ｉｉ）前記第２＿１特性情報乃至前記第２＿ｎ特性情報それぞれを利用して生成された第１タスク特化出力乃至第ｎタスク特化出力と、これにそれぞれ対応する少なくとも一つの第１原本正解乃至少なくとも一つの第ｎ原本正解とをさらに参照して算出された第２＿１ロス乃至第２＿ｎロスの平均である前記第２ロスのうち一つ、及び（ｉｉｉ）前記第１＿１ロス乃至前記第１＿ｎロスと、これにそれぞれ対応する第２＿１ロス乃至第２＿ｎロスとをそれぞれ要素ごとに合算（Ｐｉｅｃｅｗｉｓｅ Ｓｕｍｍａｔｉｏｎ）した第１合算ロス乃至第ｎ合算ロスを平均した第３ロスのうち少なくとも一部を利用したバックプロパゲーションを通じて前記原本データ又は前記変換データをアップデートして、前記原本データに対応する前記変調済みデータを生成する請求項２２に記載のデータ変調装置。
JP2020564388A 2018-07-26 2019-07-19 データをコンシール処理する方法及びこれを利用したデータ変調装置 Active JP7041823B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020180086929A KR102035796B1 (ko) 2018-07-26 2018-07-26 데이터를 비식별 처리하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR10-2018-0086929 2018-07-26
PCT/KR2019/008937 WO2020022703A1 (en) 2018-07-26 2019-07-19 Method for concealing data and data obfuscation device using the same

Publications (2)

Publication Number Publication Date
JP2021523489A true JP2021523489A (ja) 2021-09-02
JP7041823B2 JP7041823B2 (ja) 2022-03-25

Family

ID=68423357

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020562066A Active JP7040712B2 (ja) 2018-07-26 2019-07-19 個人情報保護のために原本データをコンシーリング処理する変調ネットワークを学習する方法及びテストする方法、そして、これを利用した学習装置及びテスト装置
JP2020564388A Active JP7041823B2 (ja) 2018-07-26 2019-07-19 データをコンシール処理する方法及びこれを利用したデータ変調装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020562066A Active JP7040712B2 (ja) 2018-07-26 2019-07-19 個人情報保護のために原本データをコンシーリング処理する変調ネットワークを学習する方法及びテストする方法、そして、これを利用した学習装置及びテスト装置

Country Status (6)

Country Link
US (3) US10747854B2 (ja)
EP (2) EP3827365B1 (ja)
JP (2) JP7040712B2 (ja)
KR (1) KR102035796B1 (ja)
CN (1) CN111373403B (ja)
WO (3) WO2020022619A1 (ja)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7353032B2 (ja) * 2018-11-15 2023-09-29 株式会社Preferred Networks データ生成装置、データ生成方法及びプログラム
US11934558B2 (en) * 2018-12-26 2024-03-19 University Of Tsukuba Distributed data integration device, distributed data integration method, and program
JP7268368B2 (ja) * 2019-01-30 2023-05-08 富士通株式会社 学習装置、学習方法および学習プログラム
US11562134B2 (en) * 2019-04-02 2023-01-24 Genpact Luxembourg S.à r.l. II Method and system for advanced document redaction
KR102260039B1 (ko) * 2019-08-13 2021-06-03 주식회사 딥핑소스 개인 정보 보호를 위하여 원본 데이터를 컨실링 처리하는 변조 네트워크를 학습하는 방법 및 테스트하는 방법, 그리고, 이를 이용한 학습 장치 및 테스트 장치
US10621378B1 (en) * 2019-10-24 2020-04-14 Deeping Source Inc. Method for learning and testing user learning network to be used for recognizing obfuscated data created by concealing original data to protect personal information and learning device and testing device using the same
CN111078825A (zh) * 2019-12-20 2020-04-28 北京百度网讯科技有限公司 结构化处理方法、装置、计算机设备及介质
US11334408B2 (en) * 2020-01-08 2022-05-17 Bank Of America Corporation Big data distributed processing and secure data transferring with fault handling
US11379603B2 (en) * 2020-01-08 2022-07-05 Bank Of America Corporation Big data distributed processing and secure data transferring with fallback control
US11363029B2 (en) * 2020-01-08 2022-06-14 Bank Of America Corporation Big data distributed processing and secure data transferring with hyper fencing
US11321430B2 (en) * 2020-01-08 2022-05-03 Bank Of America Corporation Big data distributed processing and secure data transferring with obfuscation
US11314874B2 (en) * 2020-01-08 2022-04-26 Bank Of America Corporation Big data distributed processing and secure data transferring with resource allocation and rebate
KR102126197B1 (ko) * 2020-01-29 2020-06-24 주식회사 카카오뱅크 비식별화된 이미지를 이용한 신경망 학습 방법 및 이를 제공하는 서버
EP4100896A4 (en) 2020-03-06 2023-11-22 The Regents of the University of California METHODS OF PROVIDING DATA PRIVACY FOR ARTIFICIAL NEURAL NETWORK-BASED INFERENCE
US20210303662A1 (en) * 2020-03-31 2021-09-30 Irdeto B.V. Systems, methods, and storage media for creating secured transformed code from input code using a neural network to obscure a transformation function
US10956598B1 (en) * 2020-04-24 2021-03-23 Deeping Source Inc. Method for preventing breach of original data for deep learning and data breach preventing device using them
EP3905087B1 (en) 2020-04-27 2023-01-18 Brighter AI Technologies GmbH Method and system for selective and privacy-preserving anonymization
US11709954B2 (en) * 2020-05-01 2023-07-25 Microsoft Technology Licensing, Llc Image content obfuscation using a neural network
US11017319B1 (en) * 2020-06-23 2021-05-25 Deeping Source Inc. Method for training obfuscation network which conceals original data to be used for machine learning and training surrogate network which uses obfuscated data generated by obfuscation network and method for testing trained obfuscation network and learning device and testing device using the same
US11017320B1 (en) * 2020-06-24 2021-05-25 Deeping Source Inc. Method for training obfuscation network which conceals original data to be used for machine learning and training surrogate network which uses obfuscated data generated by obfuscation network and learning device using the same and method for testing trained obfuscation network and testing device using the same
US11334773B2 (en) 2020-06-26 2022-05-17 Amazon Technologies, Inc. Task-based image masking
CN112019502B (zh) * 2020-07-20 2021-06-29 北京邮电大学 一种环形守卫网络用户节点匿名保护方法及电子设备
US11023777B1 (en) * 2020-09-25 2021-06-01 Deeping Source Inc. Methods for training and testing obfuscation network capable of performing distinct concealing processes for distinct regions of original image and learning and testing devices using the same
US11244248B1 (en) * 2020-10-21 2022-02-08 Deeping Source Inc. Method for training and testing user learning network to be used for recognizing obfuscated data created by obfuscating original data to protect personal information and user learning device and testing device using the same
US11200494B1 (en) * 2020-10-21 2021-12-14 Deeping Source Inc. Method for training and testing obfuscation network capable of obfuscating data for privacy, and training device and testing device using the same
US11200342B1 (en) * 2020-10-21 2021-12-14 Deeping Source Inc. Method for training and testing obfuscation network capable of processing data to be obfuscated for privacy, and training device and testing device using the same
US12013968B2 (en) * 2020-10-22 2024-06-18 Robert Bosch Gmbh Data anonymization for data labeling and development purposes
KR102531368B1 (ko) * 2020-11-26 2023-05-12 주식회사 딥핑소스 원본 의료 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 의료 이미지를 컨실링 처리하는 변조 네트워크를 학습하는 방법 및 테스트하는 방법, 그리고 이를 이용한 학습 장치 및 테스트 장치
US11164046B1 (en) 2020-12-07 2021-11-02 Deeping Source Inc. Method for producing labeled image from original image while preventing private information leakage of original image and server using the same
KR20230125259A (ko) 2021-01-13 2023-08-29 엘지전자 주식회사 영상표시장치
US11366930B1 (en) * 2021-08-23 2022-06-21 Deeping Source Inc. Method for training and testing obfuscation network capable of obfuscating data to protect personal information, and learning device and testing device using the same
US11308359B1 (en) * 2021-10-27 2022-04-19 Deeping Source Inc. Methods for training universal discriminator capable of determining degrees of de-identification for images and obfuscation network capable of obfuscating images and training devices using the same
US11423643B1 (en) * 2021-11-29 2022-08-23 Deeping Source Inc. Method for generating obfuscated image to be used in training learning net work and labeling device using the same
US11669635B1 (en) * 2021-11-29 2023-06-06 Deeping Source Inc. Learning method and learning device for training obfuscation network capable of obfuscating original data for privacy and testing method and testing device using the same
US11886955B2 (en) 2022-02-16 2024-01-30 Protopia AI, Inc. Self-supervised data obfuscation in foundation models
EP4266216A1 (en) * 2022-04-20 2023-10-25 Deeping Source Inc. Learning method and learning device for training obfuscation network capable of obfuscating original data for privacy to achieve information restriction obfuscation and testing method and testing device using the same
CN116049840B (zh) * 2022-07-25 2023-10-20 荣耀终端有限公司 一种数据保护方法、装置、相关设备及系统
KR102648905B1 (ko) 2023-02-21 2024-03-18 (주)이지서티 프라이버시 보호 수준을 설정할 수 있는 데이터 변조 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07105165A (ja) * 1993-09-30 1995-04-21 Nri & Ncc Co Ltd ニューラルネットワーク情報処理装置
US5671335A (en) * 1991-05-23 1997-09-23 Allen-Bradley Company, Inc. Process optimization using a neural network
JP2002202889A (ja) * 2000-10-25 2002-07-19 Fujitsu Ltd 予測分析装置、予測分析プログラム及びそのプログラムの記録媒体

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4591211B2 (ja) 2005-05-31 2010-12-01 富士ゼロックス株式会社 画像処理装置、画像処理方法、媒体、符号読取装置、及びプログラム
JP4424364B2 (ja) * 2007-03-19 2010-03-03 ソニー株式会社 画像処理装置、画像処理方法
US8577387B2 (en) 2009-03-17 2013-11-05 Qualcomm Incorporated Position location using multiple carriers
US8667301B2 (en) * 2010-04-01 2014-03-04 Apple Inc. Obfuscating transformations on data array content and addresses
US9105119B2 (en) 2013-05-02 2015-08-11 Emotient, Inc. Anonymization of facial expressions
US9275308B2 (en) * 2013-05-31 2016-03-01 Google Inc. Object detection using deep neural networks
US10043035B2 (en) * 2013-11-01 2018-08-07 Anonos Inc. Systems and methods for enhancing data protection by anonosizing structured and unstructured data and incorporating machine learning and artificial intelligence in classical and quantum computing environments
JP6286329B2 (ja) * 2014-09-19 2018-02-28 株式会社沖データ 画像形成装置及び情報提供方法
US9454713B2 (en) 2014-12-30 2016-09-27 Ebay Inc. Similar item detection
WO2016145516A1 (en) * 2015-03-13 2016-09-22 Deep Genomics Incorporated System and method for training neural networks
US9773196B2 (en) * 2016-01-25 2017-09-26 Adobe Systems Incorporated Utilizing deep learning for automatic digital image segmentation and stylization
US9847974B2 (en) * 2016-04-28 2017-12-19 Xerox Corporation Image document processing in a client-server system including privacy-preserving text recognition
KR101784265B1 (ko) * 2016-06-09 2017-10-12 주식회사 그리즐리 빅데이터의 비식별화 처리 방법
US20180129900A1 (en) * 2016-11-04 2018-05-10 Siemens Healthcare Gmbh Anonymous and Secure Classification Using a Deep Learning Network
US10733530B2 (en) * 2016-12-08 2020-08-04 Resurgo, Llc Machine learning model evaluation in cyber defense
JP6567488B2 (ja) * 2016-12-22 2019-08-28 日本電信電話株式会社 学習データ生成装置、開発データ生成装置、モデル学習装置、それらの方法、及びプログラム
KR101861520B1 (ko) * 2017-03-15 2018-05-28 광주과학기술원 얼굴 비식별화 방법
KR101877372B1 (ko) * 2017-05-19 2018-07-13 주식회사 하루컴퍼니 워터마크 데이터의 임베딩 및 추출 방법
CN110506262A (zh) * 2017-06-12 2019-11-26 谷歌有限责任公司 使用机器学习模型的情境感知聊天历史协助
US11023593B2 (en) * 2017-09-25 2021-06-01 International Business Machines Corporation Protecting cognitive systems from model stealing attacks
US11481641B2 (en) * 2017-09-29 2022-10-25 Oracle International Corporation Methods and systems for configuring communication decision trees based on connected positionable elements on canvas
US10475169B2 (en) * 2017-11-28 2019-11-12 Adobe Inc. High dynamic range illumination estimation
US10535120B2 (en) * 2017-12-15 2020-01-14 International Business Machines Corporation Adversarial learning of privacy protection layers for image recognition services
US10748247B2 (en) * 2017-12-26 2020-08-18 Facebook, Inc. Computing high-resolution depth images using machine learning techniques
US10475538B2 (en) * 2018-01-11 2019-11-12 Siemens Healthcare Gmbh System for predicting computed tomography data from surface data
US10709394B2 (en) * 2018-01-15 2020-07-14 Siemens Healthcare Gmbh Method and system for 3D reconstruction of X-ray CT volume and segmentation mask from a few X-ray radiographs
US10535141B2 (en) * 2018-02-06 2020-01-14 Google Llc Differentiable jaccard loss approximation for training an artificial neural network

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5671335A (en) * 1991-05-23 1997-09-23 Allen-Bradley Company, Inc. Process optimization using a neural network
JPH07105165A (ja) * 1993-09-30 1995-04-21 Nri & Ncc Co Ltd ニューラルネットワーク情報処理装置
JP2002202889A (ja) * 2000-10-25 2002-07-19 Fujitsu Ltd 予測分析装置、予測分析プログラム及びそのプログラムの記録媒体

Also Published As

Publication number Publication date
CN111373403B (zh) 2024-04-23
EP3827366B1 (en) 2024-02-07
EP3827366C0 (en) 2024-02-07
WO2020022704A1 (en) 2020-01-30
US10635788B2 (en) 2020-04-28
US10896246B2 (en) 2021-01-19
US20200034565A1 (en) 2020-01-30
JP2021512442A (ja) 2021-05-13
KR102035796B1 (ko) 2019-10-24
EP3827365A1 (en) 2021-06-02
JP7040712B2 (ja) 2022-03-23
WO2020022619A1 (ko) 2020-01-30
EP3827365A4 (en) 2022-04-27
CN111373403A (zh) 2020-07-03
EP3827365B1 (en) 2024-12-25
EP3827366A1 (en) 2021-06-02
US10747854B2 (en) 2020-08-18
WO2020022703A1 (en) 2020-01-30
EP3827366A4 (en) 2022-06-08
JP7041823B2 (ja) 2022-03-25
US20200034520A1 (en) 2020-01-30
US20200201957A1 (en) 2020-06-25

Similar Documents

Publication Publication Date Title
JP7041823B2 (ja) データをコンシール処理する方法及びこれを利用したデータ変調装置
KR102183335B1 (ko) 프라이버시를 위하여 데이터를 컨실링 처리할 수 있는 변조 네트워크에 대응되는 적응 네트워크를 학습하는 방법 및 테스트하는 방법, 그리고 이를 이용한 학습 장치 및 테스트 장치
KR102184787B1 (ko) 개인 정보를 보호하기 위하여 원본 데이터를 컨실링 처리하여 생성된 변조 데이터를 인식하기 위해 사용되는 사용자 러닝 네트워크를 학습하는 방법 및 테스트하는 방법, 그리고 이를 이용한 학습 장치 및 테스트 장치
US11017319B1 (en) Method for training obfuscation network which conceals original data to be used for machine learning and training surrogate network which uses obfuscated data generated by obfuscation network and method for testing trained obfuscation network and learning device and testing device using the same
US11200494B1 (en) Method for training and testing obfuscation network capable of obfuscating data for privacy, and training device and testing device using the same
US11366930B1 (en) Method for training and testing obfuscation network capable of obfuscating data to protect personal information, and learning device and testing device using the same
US11200342B1 (en) Method for training and testing obfuscation network capable of processing data to be obfuscated for privacy, and training device and testing device using the same
JP2020522773A (ja) 画像内のオブジェクトの検出および表現
EP3929820A1 (en) Method for training obfuscation network which conceals original data to be used for machine learning and training surrogate network which uses obfuscated data generated by obfuscation network and learning device using the same and method for testing trained obfuscation network and testing device using the same
KR102570932B1 (ko) 개인 정보 보호를 위하여 원본 데이터를 변조하는 변조 네트워크를 학습하는 방법 및 테스트하는 방법, 그리고, 이를 이용한 학습 장치 및 테스트 장치
KR102395452B1 (ko) 개인 정보 보호를 위하여 원본 데이터를 비식별 처리한 변조 데이터를 인식하기 위한 사용자 러닝 네트워크를 학습하는 방법 및 테스팅하는 방법, 그리고, 이를 이용한 학습 장치 및 테스팅 장치
US20220004904A1 (en) Deepfake detection models utilizing subject-specific libraries
US11423643B1 (en) Method for generating obfuscated image to be used in training learning net work and labeling device using the same
CN114387656B (zh) 基于人工智能的换脸方法、装置、设备及存储介质
Chen et al. White-box content camouflage attacks against deep learning
KR102244190B1 (ko) 데이터를 컨실링 처리하는 방법 및 이를 이용한 데이터 변조 장치
KR102260039B1 (ko) 개인 정보 보호를 위하여 원본 데이터를 컨실링 처리하는 변조 네트워크를 학습하는 방법 및 테스트하는 방법, 그리고, 이를 이용한 학습 장치 및 테스트 장치
Zhang et al. A Differential privacy image publishing method based on wavelet transform
KR20210021881A (ko) 원본 데이터와 마크 데이터를 합성하여 마킹된 데이터를 생성하는 데이터 임베딩 네트워크를 학습하는 방법 및 테스트하는 방법, 그리고 이를 이용한 학습 장치 및 테스트 장치
CN116663055A (zh) 一种基于数据扰动的eeg数据用户身份隐私信息保护方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220118

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220209

R150 Certificate of patent or registration of utility model

Ref document number: 7041823

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250