JP2022505783A - 敵対的学習を経たプライバシー保護の視覚的認識 - Google Patents

Abstract

ディープネットワークの潜在的な表現からデータ再構成を防止することによって視覚的なプライベートデータを保護する方法が提供される。その方法は、入力画像（３１２）から潜在的な特徴（３１６）を取得することと、敵対的再構成の学習枠組み（３１８）を経て、有用な性能を維持しデータ再構成を防止するためプライバシー保護特徴表現を学習することと、を含み、データ再構成は、潜在的な特徴から入力画像を再構成するため、復号器（３３２）をトレーニングすることによってブラックボックスモデル反転攻撃をシミュレートすることと、タスク損失を最小化しつつ、復号器が潜在的な特徴を反転するのを防止するため、再構成の誤差を最大化するよう符号器（３１４）をトレーニングすることと、によって防止される。
【選択図】図１

Description

（関連出願情報）
本出願は、２０１８年１１月７日に出願された仮出願第６２／７５６，７６５号、および２０１９年７月２６日に出願された仮出願第６２／８７８，７８６号の優先権を主張する２０１９年１１月５日に出願された米国特許出願第１６／６７４，４２５の優先権を主張するものであり、その全体が参照により本明細書に組み込まれる。

（技術分野）
本発明は、視覚的認識システムに関し、より具体的には、敵対的学習を経たプライバシー保護の視覚的認識に関する。

（関連技術の説明）
ディープニューラルネットワークおよび大規模なデータを使用する機械学習（ＭＬ）アルゴリズムは、自然言語、音声、およびコンピュータ・ビジョンにわたる多くの分野で印象的な性能を示しているので、マシン・ラーニング・アズ・ア・サービスクラウドサービスへの関心が高まっている。これらのシステムは、サービス・プロバイダとそれらの顧客との間で頻繁なデータ伝送を要求し、ＭＬモデルまたはユーザがそれらのデータを評価するようにトレーニングする。例えば、顔認識システムを開発したい顧客は、関心のある人々を含む画像のセットをクラウドサービスプロバイダ（ＣＳＰｓ）と共有することができる。顔の表情に基づく推薦システムは、ユーザに写真をアップロードするように求めることができる。しかしながら、これらの処理は、プライバシーリスクにさらされるおそれがある。顧客から共有される機密情報を含むデータは、例えば、ＣＳＰｓによって誤用されるか、または敵対者によって取得されるおそれがある。

ディープネットワークの潜在的な表現からデータ再構成を防止することによって視覚的なプライベートデータを保護するための方法が提供される。前記方法は、入力画像から潜在的な特徴を取得することと、敵対的再構成の学習枠組みを経て、有用な性能を維持し前記データ再構成を防止するためプライバシー保護特徴表現を学習することと、を含み、前記データ再構成は、前記潜在的な特徴から前記入力画像を再構成するため、復号器をトレーニングすることを経てブラックボックスモデル反転攻撃をシミュレートすることと、前記タスク損失を最小化しつつ、前記復号器が前記潜在的な特徴を反転するのを防止するため、再構成の誤差を最大化するよう符号器をトレーニングすることと、によって防止される、前記有用な性能を維持し前記データ再構成を防止する。

ディープネットワークの潜在的な表現からデータ再構成を防止することによって視覚的なプライベートデータを保護するためのコンピュータ読み取り可能なプログラムを含む非一時的なコンピュータ読み取り可能な記憶媒体が提供され、前記コンピュータ読み取り可能なプログラムは、コンピュータで実行されるとき、入力画像から潜在的な特徴を取得するステップと、敵対的再構成の学習枠組みを経て、有用な性能を維持し前記データ再構成を防止するためプライバシー保護特徴表現を学習するステップと、を前記コンピュータに実行させ、前記データ再構成は、前記潜在的な特徴から前記入力画像を再構成するため、復号器をトレーニングすることによってブラックボックスモデル反転攻撃をシミュレートすることと、前記タスク損失を最小化しつつ、前記復号器が前記潜在的な特徴を反転するのを防止するため、再構成の誤差を最大化するよう符号器をトレーニングすることと、によって防止される。

ディープネットワークの潜在的な表現からデータ再構成を防止することによって視覚的なプライベートデータを保護するためのシステムが提供される。前記システムは、メモリと、入力画像から潜在的な特徴を取得し、敵対的再構成の学習枠組みを経て、有用な性能を維持し前記データ再構成を防止するためプライバシー保護特徴表現を学習するよう構成された前記メモリと通信する１つ以上のプロセッサとを含み、前記データ再構成は、前記潜在的な特徴から前記入力画像を再構成するため、復号器をトレーニングすることによってブラックボックスモデル反転攻撃をシミュレートすることと、前記タスク損失を最小化しつつ、前記復号器が前記潜在的な特徴を反転するのを防止するため、再構成の誤差を最大化するよう符号器をトレーニングすることと、によって防止される。

これらおよび他の特徴および利点は添付の図面に関連して読まれるべき、その例示的な実施形態の以下の詳細な説明から明らかになるであろう。

本開示は、以下の図面を参照して、好ましい実施形態の以下の説明において詳細を提供する。

本発明の実施形態による、データプライバシーを保護するための枠組みのブロック／フロー図である。

本発明の実施形態による、特徴表現再構成を防止するためのブロック／フロー図である。

本発明の実施形態による、敵対的学習ステップを使用する畳み込みニューラルネットワーク（ＣＮＮ）のブロック／フロー図である。

本発明の実施形態による、符号器およびｆを固定しつつ、Ｘ∈Ｘ₂を使用することによって復号器およびＤを更新することを示すブロック／フロー図である。

本発明の実施形態による、復号器を固定しつつ、Ｘ∈Ｘ₁を使用することによって符号器およびｆを更新することを示すブロック／フロー図である。

本発明の実施形態による、ディープネットワークの潜在的な表現からデータ再構成を防止することによって視覚的なプライベートデータを保護するための例示的な処理システムのブロック／フロー図である。

本発明の実施形態による、ディープネットワークの潜在的な表現からデータ再構成を防止することによって視覚的なプライベートデータを保護するための例示的な方法のブロック／フロー図である。

本発明の実施形態による、例示的な敵対的再構成の学習枠組みに使用される例示的な方程式のブロック／フロー図である。

本発明の例示的な実施形態は、プライバシー保護およびタスク指向のディープ表現をどのように学習するかを識別する。例示的な実施形態は、ブラックボックスモデル反転攻撃に対する防御に着目し、敵対者はプライベート顧客およびユーザデータの取得された特徴から入力を回復するため、自身のデータの無制限の推定を行うことを許可される。敵対者として、例示的な実施形態は、データ特徴の対を使用してデータを再構成するようにトレーニングされるニューラル復号器に基づくモデル反転（ＭＩ）攻撃を考慮する。知覚的および敵対的生成ネットワーク（ＧＡＮ）損失は、生成品質を改善するために使用される。最後に、例示的な実施形態は、符号器および復号器の交互のトレーニングを伴う敵対的データ再構成学習を識別する。敵対者の攻撃をシミュレートする復号器は特徴から入力を再構成するようにトレーニングされるのに対し、符号器はタスク損失を最小限にしつつ、復号器が特徴を反転することを防止するため再構成の誤差を最大化するようにトレーニングされる。

例示的な実施形態は、広範囲にわたる実験結果に伴う顔属性分析という文脈において、ＭＩ攻撃に対するディープネットワークの脆弱性を識別する。例示的な実施形態は、敵対的に学習された特徴を反転させることは困難であることを図示し、したがって、提案された方法は、強い反転攻撃に対してうまく防御する。

したがって、例示的な実施形態は、ニューラル復号器に基づくいくつかの強力な攻撃方法と共に、ブラックボックスモデル反転攻撃に対して防御するため敵対的データ再構成学習を識別する。例示的な実施形態はさらに、標準的なディープ特徴の脆弱性、およびデータ再構成を防止する例示的な方法で学習された特徴の有効性を示す。例示的な実施形態はさらに、負の知覚的な類似性の損失のハイパーパラメータの異なる選択で有用なプライバシー交換を図示し、復号器トレーニングの特徴、タスク、およびデータの異なる層についてプライバシー保護への影響を図示する。

本発明の例示的な実施形態のプライバシー保護特徴学習方法を導入する前に、敵対者のプライバシー攻撃方法を詳細に提示する。

適切な防御メカニズムを設計するため、例示的な実施形態は、第一に、敵対者の攻撃方法を理解する必要がある。その結果、例示的な実施形態は、敵対者の目的が特徴を入力に戻して反転することであるモデル反転（ＭＩ）攻撃に着目する。例示的な実施形態はさらに、敵対者がモデルの推定（Ｅｎｃ）に無制限にアクセスするが、モデルパラメータにはアクセスしないブラックボックス攻撃を仮定する。敵対者は、入力

と特徴

の大規模な対のデータベースを作ることができるので、これは敵対者に対する十分な設定である。

ここで、例示的な実施形態は、

を使用して、敵対者自身のデータセットとＣＳＰｓまたはそれらの顧客のプライベートトレーニングデータセット

を区別する。

対のデータセット

が与えられると、敵対者は復号器

を経て特徴を反転する。これは、再構成の損失

を最小化することで特徴Ｚから入力Ｘを再構成するようトレーニングされる。

そしてここで、

である。上記は、復号器（Ｅｎｃ）を介した誤差逆伝播法（バックプロバケーション）を伴わないことに注意すべきである。反転品質は、敵対的生成ネットワーク（ＧＡＮ）損失である、

で改善され得る。

そしてここで、Ｄは弁別器であり、以下の損失

を最大化することで生成された画像と実際の画像を区別する。

例示的な実施形態は、知覚的な類似性である、

を最小化することで反転品質をさらに改善することができる。

そしてここで、この方法は、ｇについてＩｍａｇｅＮｅｔ上で予めトレーニングされたＶＧＧニューラルネットワークのｃｏｎｖ１（畳み込み層１）からｃｏｎｖ２（畳み込み層２）の層を使用する。

したがって、敵対者の全体的なトレーニング目標は、

のように書くことができる。

攻撃タイプを実現すると、例示的な実施形態は、直ちにプライバシー保護およびタスク指向表現のトレーニング目標を識別する準備ができる。

タスク指向表現を学習するため、例示的な実施形態は、有用な損失

を最小化することでＺから有用なラベルＹを予測する多層パーセプトロン（ＭＬＰ）分類器ｆを採用する。

そしてここで、

、Ｙは有用な正解ラベルであり、

は有用な標準損失（例えば、交差エントロピー）である。

は、プライベートトレーニングデータであり、敵対者には手に入れることができないものであることに注意すべきである。

ＭＩ攻撃に対するプライバシー保護特徴を学習するため、Ｅｎｃは、如何なる復号器によっても入力Ｘに再構成することができないＺを出力する必要がある。しかしながら、すべての可能な復号器を列挙することは実現可能ではない。

代わりに、例示的な実施形態は、敵対的な学習を使用する。具体的には、復号器（Ｄｅｃ）は、再構成の損失

を最小化することで現在のＥｎｃのＺをＸに復号する方法でＥｎｃと競合するようにトレーニングされる。

さらに、再構成の品質は改善され、

によって与えられる知覚的な類似性を使用することによって強力な敵対者という結果になる。

他方、Ｅｎｃは再構成の損失または知覚的な類似性損失を最大化することによって、Ｄｅｃを騙したり、欺いたりすることを目的とする。

最後に、保護装置の全体的なトレーニング目標は、

である。そしてここで復号器Ｄｅｃは、ＤＥＣ^aと同じ損失関数によって更新される。

図４および図５は以下でさらに詳細に説明され、例示的な実施形態の主要なモジュールを示す。例示的な実施形態は、提案された学習枠組みの代替の更新戦略を採用する。Ｄｅｃ^aとＤは、（５）にしたがってパブリックデータ

上で最初に更新され、Ｅｎｃとｆが固定され、Ｅｎｃとｆが（９）によってプライベートデータ上で更新され、以下同様に収束まで更新される。

従来のシステムおよび方法とは対照的に、例示的な実施形態は高次元画像データまでスケールアップし、生画像の代替として画像表現を学習し、有用な性能をある程度維持し、学習された表現が、敵対的学習を経て不法に侵入されることから保護することができる。

図１に関して、従来のディープラーニングアルゴリズムの表現は、データプライバシーに関する問題を引き起こす敵対者のモデル反転攻撃に対して脆弱である。例示的な実施形態は負の再構成の損失を経てトレーニング段階で敵対者の行動をシミュレートすることによって、プライベート情報が入力空間に復号されることを防止しつつ、タスク指向の特徴を学習する。特に、敵対者１３０は、プライベート画像１１０を再構成しようと企てることができる。従来の学習方法１２０を使用することによって、敵対者は、許容可能な品質の画像１４０を再構成することができる。しかしながら、本発明の例示的なプライバシー保護方法１２５が使用される場合、敵対者１３０は画像１４５を再構成し、これは、敵対者１３０によって厳しく、または完全に遮られ、使用可能ではない。

したがって、本発明の例示的な実施形態は、潜在的な表現が元の入力データに復号されるのを防止する敵対的な再構成の学習枠組みを識別する。敵対者の予想される行動をシミュレートすることにより、例示的枠組みは負の画素再構成の損失または負の特徴再構成（例えば、知覚的な類似性）の損失を最小化することにより実現される。

図２に関して、敵対者１３０がプライベート情報１１０を不法に侵入するのを防止する１つの方法は、生画像の代わりに特徴表現としてデータを記憶することである。しかしながら、従来の方法１２０は、プライベート情報１１０を保護することなく特徴を学習する。かくして、敵対者１３０は潜在的に格納された特徴から画像を再構成することができ、プライベート情報を明らかにする。本発明の例示的な実施形態では、目的は特徴から視覚的に機密扱いの画像を再構成することを防止すること、したがって視覚的プライバシーを保護することである。実際のアプリケーションを考慮すると、一例は、顔属性認識２１６のため有用なモジュール２１４を通過するプライベートデータ２１２で有用なタスク２１０を実行することである。その一方で、本発明の例示的な実施形態は、有用なモジュール２１４と通信するプライバシーモジュール２２４を使用して、これらのプライベート顔画像２２２のプライバシー（プライバシー保護２２０）を保護し、第三者または敵対者１３０によって不法に侵入されることから同一性（顔同一性保護２２６）を保護する。

図３に関して、画像符号器３１０では、最初に、入力画像（I＿入力）３１２が画像符号器３１４に供給され、潜在的な特徴（Ｆ＿潜在性）３１６が取得され、この潜在的な特徴はさらなる処理のためクラウド上に送信され、記憶される。この潜在的な特徴に含まれるプライバシー情報を保護するため、例示的な実施形態は、Ｆ＿潜在性３１６から再構成された出力画像Ｉ＿出力３３２（ブロック３３０で導入される）が、元の画像（Ｉ＿入力）３１２と同じであるべきではないことを考慮することによって、敵対的学習ステップ（敵対的な損失３１８）を採用する。

目標タスクの有用なネットワーク３２０に関して、潜在的特徴Ｆ＿潜在性３１６が与えられると、例示的モデル（タスク分類器３２２）は、目標正解注釈（ＧＴ＿タスク３２６）に関して損失関数（タスク損失３２４）を計算することによって目標タスクを実行することを目的とする。

画像復号器３３２に関して、潜在的な特徴Ｆ＿潜在性３１６が与えられると、符号器（画像符号器３１４）の目的は、損失関数（再構成の損失３３６）を経て特徴から出力画像（Ｉ＿出力３３４）を再構成することである。このステップは、不法侵入者または敵対者１３０が潜在的な特徴を取得し、潜在的な特徴を復号してプライバシー情報を含む元のＲＧＢ空間に戻ろうとするときの手順をシミュレートする。これを防ぐには、ブロック３１０の敵対的な損失３１８は、この手順を再構成解除するのに利用される。

図４および図５に関して、敵対的データ再構成を伴うプライバシー保護表現学習方法の概要が識別される。図４において、システム４００は、公衆データＸ₂上の潜在的符号化Ｚ＝Ｅｎｃ（Ｘ）から入力Ｘを再構成するようにトレーニングされた復号器３３２（Ｄｅｃ）を示す。そして、図５においてシステム５００は、例示的な実施形態はプライベートデータＸ₁上のＥｎｃ３１４を更新し、分類器ｆを経て有用な予測性能を達成しつつ、Ｄｅｃ３３２によって入力Ｘの再構成を防止するなど、Ｄｅｃ３３２を騙したり欺いたりする出力Ｚを生成する。

したがって、例示的な方法は、モデル反転攻撃に対する敵対者の予想される行動をシミュレートすることによって開発され、ＥｎｃおよびＤｅｃネットワークを交互に更新することによって実現される。

要約すると、本発明の例示的な実施形態は、より少ないプライバシー情報を含む潜在的な特徴表現を学習する一方、これらの特徴は依然として目標タスクによって実行することができる。このようにして、各生データは１つの潜在的な特徴として符号化することができ、不法侵入者または敵対者からの攻撃を恐れることなく、処理のためクラウドに送信される。１つの課題はプライバシー情報を取得するため、潜在的特徴を解読して画像に戻ることを依然として試みることができることである。しかしながら、この問題を処理するため、本発明の例示的な実施形態は有用な性能を維持し、特徴が元の画像に復号されて戻るのを防止するという条件を満たすプライバシー保護特徴表現を学習するための敵対的学習枠組みを識別する。したがって、設計された枠組みは、画像を潜在的な表現に符号化することによってクラウド側のプライバシー保護を考慮に入れるだけでなく、潜在的な特徴が画像に戻るように再構成しようとする不法侵入者の視点も考慮する。

図６は、本発明の実施形態による、ディープネットワークの潜在的な表現からデータ再構成を防止することによって視覚的なプライベートデータを保護するための例示的な処理システムのブロック／フロー図である。

処理システムは、システムバス６０２を経て他の構成要素に動作可能に結合された少なくとも１つのプロセッサまたはプロセッサ装置（ＣＰＵ）６０４を含む。キャッシュ６０６、リードオンリーメモリ（ＲＯＭ）６０８、ランダムアクセスメモリ（ＲＡＭ）６１０、入力／出力（Ｉ／Ｏ）アダプタ６２０、ネットワークアダプタ６３０、ユーザインタフェースアダプタ６４０、およびディスプレイアダプタ６５０は、システムバス６０２に動作可能に結合される。データプライバシーシステム６６０は、バス６０２に接続される。データプライバシーシステム６６０は、符号器３１４および復号器３３２を使用することによって、敵対的再構成の学習枠組み６７０を使用することができる。

記憶装置６２２は、Ｉ／Ｏアダプタ６２０によってシステムバス６０２に動作可能に結合される。記憶装置６２２はディスク記憶装置（例えば、磁気または光ディスク記憶装置）、ソリッドステート磁気装置などの何れかとすることができる。

送受信機６３２は、ネットワークアダプタ６３０によってシステムバス６０２に動作可能に結合される。

ユーザ入力装置６４２は、ユーザインタフェースアダプタ６４０によってシステムバス６０２に動作可能に結合される。ユーザ入力装置６４２は、キーボード、マウス、キーパッド、画像取込装置、動作検知装置、マイク、前述の装置のうち少なくとも２つの機能を組み込んだ装置などの何れかとすることができる。もちろん、本発明の精神を維持しつつ、他のタイプの入力装置を使用することもできる。ユーザ入力装置６４２は、同じタイプのユーザ入力装置または異なるタイプのユーザ入力装置とすることができる。ユーザ入力装置６４２は、処理システムとの間で情報を入出力するために使用される。

ディスプレイ装置６５２は、ディスプレイアダプタ７５０によってシステムバス６０２に動作可能に結合される。

もちろん、処理システムは当業者によって容易に意図されるように、他の要素（図示せず）を含むことはもちろん、特定の要素を省略してもよい。例えば、当業者によって容易に理解されるように、様々な他の入力装置および／または出力装置は、システムの特定の実装に応じて、システムに含めることができる。例えば、様々なタイプの無線および／または有線の入力および／または出力装置を使用することができる。さらに、様々な構成の追加のプロセッサ、プロセッサ装置、コントローラ、メモリなども、当業者によって容易に理解されるように利用することができる。処理システムのこれらおよび他の変形は、本明細書で提供される本発明の教示を与えられた当業者によって容易に意図される。

図７は、本発明の実施形態による、ディープネットワークの潜在的な表現からデータ再構成を防止することによって、視覚的なプライベートデータを保護する例示的な方法のブロック／フロー図である。

ブロック７０１において、潜在的な特徴は入力画像から取得される。

ブロック７０３において、プライバシー保護特徴表現は有用な性能を維持し、データ再構成を防止するため敵対的再構成の学習枠組みを経て学習される。

ブロック７０５において、データ再構成は、潜在的な特徴から入力画像を再構成するため復号器をトレーニングすることでブラックボックスモデル反転攻撃をシミュレートすることによって防止される。

ブロック７０７において、データ再構成は、タスク損失を最小化しつつ、復号器が潜在的な特徴を反転することを防止するため、再構成の誤差を最大化するよう符号器をトレーニングすることによってさらに防止される。

図８は、本発明の実施形態による、敵対的再構成の学習枠組みで使用される例示的な方程式のブロック／フロー図である。

方程式８００は、保護装置の全体的なトレーニングの目標は、どのようにして取得されるかを識別する。

要約すると、本発明の例示的な実施形態は、画像空間内の変換ではなく、中間の潜在的な表現を学習して視覚的データのプライバシーを保護する敵対的学習の枠組みを識別する。例示的な枠組みは、敵対者の視点と保護装置の視点の両方から開発され、有用性とプライバシーとの間の最小最大駆け引きとして見ることができる。代替の更新戦略を採用することによって、例示的な枠組みは、プライバシー保護表現およびタスク指向表現を学習する。したがって、潜在的な特徴空間は、各画像を効率的に表現するための形態としてだけでなく、プライバシー情報を保護するためにも使用される。画像復号器から敵対的な信号を使用することによって、例示的な枠組みは、不法侵入者が潜在的な特徴空間から画像を再構成しようとする場合、機密扱いの情報を効果的に隠す。さらに、例示的な枠組みは、有用なタスクの競争力のある性能を依然として達成することができる。

本明細書で使用されるように、用語「データ」、「コンテンツ」、「情報」および同様の用語は様々な例示的な実施形態にしたがって、取り込まれ、送信され、受信され、表示され、および／または記憶されることが可能なデータを指すために、互換的に使用されることが可能である。したがって、このような用語の使用は、開示の精神および範囲を制限するものと解釈されるべきではない。さらに、他のコンピューティング装置からデータを受信するためコンピューティング装置が本明細書に記載される場合、データは他のコンピューティング装置から直接受信すること、または１つ以上の中間のコンピューティング装置、例えば、１つ以上のサーバ、リレー、ルータ、ネットワークアクセスポイント、基地局、および／またはそれに類するものなどを経て間接的に受信することができる。同様に、データを他のコンピューティング装置に送信するためコンピューティング装置が本明細書に記載される場合、データは直接、他のコンピューティング装置に送信されること、または、１つ以上の中間のコンピューティング装置、例えば、１つ以上のサーバ、リレー、ルータ、ネットワークアクセスポイント、基地局、および／またはそれに類するものなどを経て間接的に送信される。

ユーザとの対話を提供するため、本明細書に記載される主題の実施形態は、ユーザに情報を表示するためのディスプレイ装置、例えば、ＣＲＴ（陰極線管）またはＬＣＤ（液晶ディスプレイ）モニタと、キーボードと、ユーザがコンピュータに入力を提供することができるポインティング装置、例えば、マウスまたはトラックボールとを有するコンピュータ上で実施することができる。他の種類の装置も、ユーザとの対話を提供するために使用することができ、例えば、ユーザに提供されるフィードバックは任意の形態の感覚のフィードバック、例えば、視覚的なフィードバック、聴覚性のフィードバック、または触覚のフィードバックとすることができ、ユーザからの入力は、音響の入力、音声の入力、または触覚の入力を含む任意の形態で受信することができる。

当業者には理解されるように、本発明の態様は、システム、方法、またはコンピュータプログラム製品として具現化することができる。したがって、本発明の態様は完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、または本明細書では一般に「回路」、「モジュール」、「計算機」、「装置」、または「システム」と呼ばれ得るソフトウェアおよびハードウェアの態様を組み合わせた実施形態の形をとることができる。さらに、本発明の態様はその上に具現化されたコンピュータ読み取り可能なプログラムコードを有する１つ以上のコンピュータ読み取り可能な媒体に具現化されたコンピュータプログラム製品の形をとることができる。

１つ以上のコンピュータ読み取り可能な媒体の任意の組合せを利用することができる。コンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体またはコンピュータ読み取り可能な記憶媒体であってもよい。コンピュータ読み取り可能な記憶媒体は、例えば、電子、磁気、光学、電磁気、赤外線、または半導体システム、機器、または装置、あるいは前述の任意の適切な組合せとすることができるが、これらに限定されない。コンピュータ読み取り可能な記憶媒体のより具体的な例（非網羅的なリスト）は以下を含む。それは、１つ以上のワイヤ、携帯用コンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、携帯用コンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光データ記憶装置、磁気データ記憶装置、または前述の任意の適切な組み合わせを有する電気的接続である。本文書の文脈では、コンピュータ読み取り可能な記憶媒体は、命令実行システム、機器、または装置によって、または関連して使用するプログラムを含む、または記憶することができる任意の有形媒体であってもよい。

コンピュータ読み取り可能な信号媒体は、例えば、ベースバンドで、または搬送波の一部として、コンピュータ読み取り可能なプログラムコードが具現化された伝搬するデータ信号を含むことができる。このような伝搬する信号は電磁気、光学、またはそれらの任意の適切な組み合わせを含むが、これらに限定されない、任意の様々な形をとることができる。コンピュータ読み取り可能な信号媒体は、コンピュータ読み取り可能な記憶媒体ではなく、命令実行システム、機器、または装置によって、または関連して使用するプログラムを通信、伝搬、または移送することができる、任意のコンピュータ読み取り可能な媒体であってもよい。

コンピュータ読み取り可能な媒体に具現化されたプログラムコードは、無線、有線、光ファイバケーブル、ＲＦなど、または前述の任意の適切な組合せを含むが、これらに限定されない、任意の適切な媒体を使用して送信され得る。

本発明の態様に対する操作を実行するコンピュータプログラムコードは、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋等のオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または類似のプログラミング言語等の従来の手続き型プログラミング言語を含む、１つ以上のプログラミング言語の任意の組み合わせで書くことができる。プログラムコードは、ユーザのコンピュータ上で、部分的にはユーザのコンピュータ上で、スタンドアロンソフトウェアパッケージとして、部分的にはユーザのコンピュータ上で、部分的には遠隔のコンピュータ上で、または全体的には遠隔のコンピュータまたはサーバ上で、全体的に実行されてもよい。後者の場面では、遠隔のコンピュータはローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてもよく、または、接続は（例えば、インターネットサービスプロバイダを使用してインターネットを介して）外部コンピュータにすることもできる。

本発明の態様を、本発明の実施形態による方法、装置（システム）、およびコンピュータプログラム製品のフローチャート図および／またはブロック図を参照して以下に説明する。フローチャート図および／またはブロック図の各ブロック、ならびにフローチャート図および／またはブロック図のブロックの組合せは、コンピュータプログラム命令によって実施されることを理解されたい。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、または他のプログラマブルデータ処理機器のプロセッサに提供され、コンピュータまたは他のプログラマブルデータ処理機器のプロセッサを経て実行される命令がフローチャートおよび／またはブロック図の１つまたは複数のブロックまたはモジュールで指定された機能／動作を実施する手段を作成するように、マシンを生成することができる。

これらのコンピュータプログラム命令はコンピュータ、他のプログラマブルデータ処理機器、または他の装置に特定の方法で機能するように指示することができるコンピュータ読み取り可能な媒体に格納することもでき、その結果、コンピュータ読み取り可能な媒体に格納された命令は、フローチャートおよび／またはブロック図の１つまたは複数のブロックまたはモジュールで指定された機能／動作を実行する命令を含む製品を生成する。

コンピュータプログラム命令はまた、コンピュータ、他のプログラマブルデータ処理装置、または他の装置にロードされて、一連の動作ステップがコンピュータ、他のプログラマブル機器、または他の装置で実行されて、コンピュータ、または他のプログラマブル機器で実行する命令がフローチャートおよび／またはブロック図の１つまたは複数のブロックまたはモジュールで指定された機能／動作を実施する処理を提供するように、コンピュータ実施処理を生成する。

本明細書で使用される「プロセッサ」という用語は、例えば、ＣＰＵ（中央処理装置）および／または他の処理回路を含むものなど、任意の処理装置を含むことを意図している。「プロセッサ」という用語は１つ以上の処理装置を指すことができ、処理装置に関連する様々な要素は、他の処理装置によって共有され得ることも理解されたい。

本明細書で使用される「メモリ」という用語は、例えば、ＲＡＭ、ＲＯＭ、固定メモリ装置（例えば、ハードドライブ）、リムーバブルメモリ装置（例えば、ディスケット）、フラッシュメモリなど、プロセッサまたはＣＰＵに関連するメモリを含むことを意図している。このようなメモリは、コンピュータ読み取り可能な記憶媒体と考えることができる。

さらに、本明細書で使用される「入力／出力装置」または「Ｉ／Ｏ装置」という語句は、例えば、処理ユニットにデータを入力する１つ以上の入力装置（例えば、キーボード、マウス、スキャナなど）、および／または処理ユニットに関連付けられた結果を提示する１つ以上の出力装置（例えば、スピーカ、ディスプレイ、プリンタなど）を含むことが意図される。

以上の説明は、あらゆる点において、限定するものではなく例示的および典型的なものとして理解すべきであり、本明細書において開示されている本発明の範囲は、詳細な説明から決定されてはならず、そうではなく、特許法で許容されるすべての幅に応じて解釈される特許請求の範囲から決定されなければならない。本明細書において示され、かつ、説明された実施形態は、本発明の原理についての単なる例示的なものにすぎないこと、また、当業者は、本発明の範囲および精神から逸脱することなく、様々な修正を加えることができることを理解されたい。当業者は、本発明の範囲および精神から逸脱することなく、様々な他の特徴組合せを実現することが可能である。以上、本発明の態様について、特許法で要求される詳細および特異性と共に説明したが、特許請求され、特許証で保護されることが望ましいものは、添付の特許請求の範囲に説明されている。

Claims (20)

1. ディープネットワークの潜在的な表現からデータ再構成を防止することによって視覚的なプライベートデータを保護するためプロセッサで実行されるコンピュータ実行方法であって、前記方法は、
   入力画像（３１２）から潜在的な特徴（３１６）を取得することと、
   敵対的再構成の学習枠組み（３１８）を経て、有用な性能を維持し前記データ再構成を防止するためプライバシー保護特徴表現を学習することと、を含み、
   前記データ再構成は、
   前記潜在的な特徴から前記入力画像を再構成するため、復号器（３３２）をトレーニングすることによってブラックボックスモデル反転攻撃をシミュレートすることと、
   前記タスク損失を最小化しつつ、前記復号器が前記潜在的な特徴を反転するのを防止するため、再構成の誤差を最大化するよう符号器（３１４）をトレーニングすることと、によって防止される、方法。
2. 前記潜在的特徴は、さらなる処理のため、クラウド上に送信され記憶される、請求項１に記載の方法。
3. 前記敵対的再構成の学習枠組みは、有用な損失を最小化することによって、有用なラベルを予測する多層パーセプトロン（ＭＬＰ）分類器を採用する、請求項１に記載の方法。
4. 前記有用な損失は、
   

   

   によって与えられ、そしてここで、
   

   

   において、Ｙは有用な正解ラベルであり、
   

   

   は有用な標準損失であり、Ｘは入力であり、
   

   

   は、プライベートトレーニングデータである、請求項３に記載の方法。
5. 前記復号器は、前記復号器が再構成の損失を最小化することによって前記符号器の出力を復号化することを学習するように、前記符号器と競合するようにトレーニングされる、請求項４に記載の方法。
6. 前記再構成の損失は、
   

   

   によって与えられ、そしてここで、Ｘは入力であり、Ｚは前記符号器の前記出力であり、そして、
   

   

   は、プライベートトレーニングデータである、請求項５に記載の方法。
7. 再構成の品質は、
   

   

   によって与えられる知覚的な類似性の損失を使用することによって修正され、そしてここで、Ｘは入力であり、Ｚは前記符号器の前記出力であり、そして、
   

   

   は、プライベートトレーニングデータである、請求項６に記載の方法。
8. 保護装置の全体的なトレーニングの目的は、
   

   

   によって与えられ、そしてここで、
   

   

   は、前記有用な損失、
   

   

   は、前記再構成の損失、そして、
   

   

   は、前記知覚的な類似性の損失である、請求項7に記載の方法。
9. ディープネットワークの潜在的な表現からデータ再構成を防止することによって視覚的なプライベートデータを保護するためのコンピュータ読み取り可能なプログラムを含む非一時的なコンピュータ読み取り可能な記憶媒体であって、コンピュータで実行されるとき前記コンピュータ読み取り可能な記憶媒体は、
   入力画像（３１２）から潜在的な特徴（３１６）を取得するステップと、
   敵対的再構成の学習枠組み（３１８）を経て、有用な性能を維持し前記データ再構成を防止するためプライバシー保護特徴表現を学習するステップと、を前記コンピュータに実行させ、
   前記データ再構成は、
   前記潜在的な特徴から前記入力画像を再構成するため、復号器（３３２）をトレーニングすることによってブラックボックスモデル反転攻撃をシミュレートすることと、
   前記タスク損失を最小化しつつ、前記復号器が前記潜在的な特徴を反転するのを防止するため、再構成の誤差を最大化するよう符号器（３１４）をトレーニングすることと、によって防止される、非一時的なコンピュータ読み取り可能な記憶媒体。
10. 前記潜在的特徴は、さらなる処理のため、クラウド上に送信され記憶される、請求項９に記載の非一時的なコンピュータ読み取り可能な記憶媒体。
11. 前記敵対的再構成の学習枠組みは、有用な損失を最小化することによって、有用なラベルを予測する多層パーセプトロン（ＭＬＰ）分類器を採用する、請求項９に記載の非一時的なコンピュータ読み取り可能な記憶媒体。
12. 前記有用な損失は、
    

    

    によって与えられ、そしてここで、
    

    

    において、Ｙは有用な正解ラベルであり、
    

    

    は有用な標準損失であり、Ｘは入力であり、
    

    

    は、プライベートトレーニングデータである、請求項１１に記載の非一時的なコンピュータ読み取り可能な記憶媒体。
13. 前記復号器は、前記復号器が再構成の損失を最小化することによって前記符号器の出力を復号化することを学習するように、前記符号器と競合するようにトレーニングされる、請求項１２に記載の非一時的なコンピュータ読み取り可能な記憶媒体。
14. 前記再構成の損失は、
    

    

    によって与えられ、そしてここで、Ｘは入力であり、Ｚは前記符号器の前記出力であり、そして、
    

    

    は、プライベートトレーニングデータである、請求項１３に記載の非一時的なコンピュータ読み取り可能な記憶媒体。
15. 再構成の品質は、
    

    

    によって与えられる知覚的な類似性の損失を使用することによって修正され、そしてここで、Ｘは入力であり、Ｚは前記符号器の前記出力であり、そして、
    

    

    は、プライベートトレーニングデータである、請求項１４に記載の非一時的なコンピュータ読み取り可能な記憶媒体。
16. 保護装置の全体的なトレーニングの目的は、
    

    

    によって与えられ、そしてここで、
    

    

    は、前記有用な損失、
    

    

    は、前記再構成の損失、そして、
    

    

    は、前記知覚的な類似性の損失である、請求項１５に記載の非一時的なコンピュータ読み取り可能な記憶媒体。
17. ディープネットワークの潜在的な表現からデータ再構成を防止することによって視覚的なプライベートデータを保護するシステムであって、前記システムは、
    メモリと、
    前記メモリと通信する１つ以上のプロセッサとを含み、前記プロセッサは、
    入力画像（３１２）から潜在的な特徴（３１６）を取得し、
    敵対的再構成の学習枠組み（３１８）を経て、有用な性能を維持し前記データ再構成を防止するためプライバシー保護特徴表現を学習するよう構成されており、
    前記データ再構成は、
    前記潜在的な特徴から前記入力画像を再構成するため、復号器（３３２）をトレーニングすることによってブラックボックスモデル反転攻撃をシミュレートすることと、
    前記タスク損失を最小化しつつ、前記復号器が前記潜在的な特徴を反転するのを防止するため、再構成の誤差を最大化するよう符号器（３１４）をトレーニングすることと、によって防止される、システム。
18. 前記敵対的再構成の学習枠組みは、
    

    

    によって与えられえる有用な損失を最小化することによって、有用なラベルを予測する多層パーセプトロン（ＭＬＰ）分類器を採用し、そしてここで、
    

    

    において、Ｙは有用な正解ラベルであり、
    

    

    は有用な標準損失であり、Ｘは入力であり、
    

    

    は、プライベートトレーニングデータである、請求項１７に記載のシステム。
19. 前記復号器は、前記復号器が
    

    

    によって与えられる再構成の損失を最小化することによって前記符号器の出力を復号化することを学習するように、前記符号器と競合するようにトレーニングされ、そしてここで、Ｘは入力であり、Ｚは前記符号器の前記出力であり、そして、
    

    

    は、プライベートトレーニングデータである、請求項１８に記載のシステム。
20. 再構成の品質は、
    

    

    によって与えられる知覚的な類似性の損失を使用することによって修正され、そしてここで、Ｘは入力であり、Ｚは前記符号器の前記出力であり、そして、
    

    

    は、プライベートトレーニングデータである、請求項１９に記載のシステム。

Images