JP2019185134A

JP2019185134A - 情報処理装置、学習方法、及びプログラム

Info

Publication number: JP2019185134A
Application number: JP2018071117A
Authority: JP
Inventors: 和英福島; Kazuhide Fukushima; 清良披田野; Seira Hidano; 清本　晋作; Shinsaku Kiyomoto; 晋作清本
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2018-04-02
Filing date: 2018-04-02
Publication date: 2019-10-24
Anticipated expiration: 2038-04-02
Also published as: JP6961527B2

Abstract

【課題】通信ネットワークを介して学習モデルを利用する際の情報漏洩を抑制する。【解決手段】目的タスクを検出するための複数の層を備えるニューラルネットワークの各層の重みを生成する情報処理装置１において、入力変換部１１０は、ニューラルネットワークに入力する入力データを所定の変換手続きで変換して変換入力データを生成する。重み更新部１１１は、入力変換部１１０が生成した変換入力データを入力データとしてニューラルネットワークの各層の重みを更新する。ここで、入力変換部１１０が実行する所定の変換手続きは、変換前の空間における任意の２点間の距離と、変換後の空間における２点間の距離とが、定数倍の関係となる変換手続きである。【選択図】図３

Description

本発明は情報処理装置、学習方法、及びプログラムに関し、特にニューラルネットワークを用いた機械学習技術に関する。

近年、ＣＰＵ（Central Processing Unit）及びＧＰＵ（Graphics Processing Unit）の高速化、メモリの大容量化、及びニューラルネットワークを用いた機械学習技術が急速に進んできている。このため、数十万から百万といったオーダーの学習データを用いる機械学習が可能となり、精度の高い識別技術や分類技術が確立されつつある（非特許文献１参照）。

Yangqing Jia, Evan Shelhamer, Jeff Donahue, Sergey Karayev, Jonathan Long, Ross Girshick, Sergio Guadarrama, and Trevor Darrell. Caffe: Convolutional architecture for fast feature embedding. In Proceedings of the 22nd ACM international conference on Multimedia (pp. 675-678). ACM.

大量の学習データに基づく機械学習を実行するためには大量の計算コストがかかる。また、大量の学習データを用意すること、及び用意した学習データを機械学習に用いるためにする前処理にも膨大な労力を要する。学習モデルを生成したモデル作成者は、コストをかけて作成した学習モデルをクラウド上に構築し、通信ネットワークを介して学習モデルをユーザに利用させることで利益を得ることも行われるようになってきている。

学習モデルの入力データや出力データにプライバシ情報が含まれる場合には、通信ネットワークを介してそのような情報を送受信することになる。これは、プライバシ情報が漏洩する可能性がある。

本発明はこれらの点に鑑みてなされたものであり、通信ネットワークを介して学習モデルを利用する際の情報漏洩を抑制する技術を提供することを目的とする。

本発明の第１の態様は、情報処理装置である。この装置は、目的タスクを検出するための複数の層を備えるニューラルネットワークの各層の重みを生成する情報処理装置である。この装置は、前記ニューラルネットワークに入力する入力データを所定の変換手続きで変換して変換入力データを生成する入力変換部と、前記入力変換部が生成した変換入力データを入力データとして前記ニューラルネットワークの各層の重みを更新する重み更新部と、を備える。前記入力変換部が実行する所定の変換手続きは、変換前の空間における任意の２点間の距離と、変換後の空間における前記２点間の距離とが、定数倍の関係となる変換手続きである。

前記情報処理装置は、前記ニューラルネットワークの出力層が出力した出力ベクトルを、当該出力ベクトルが存在する空間における任意の２点間の距離と、変換後の空間における前記２点間の距離とが、定数倍の関係となる変換手続きで、前記出力ベクトルを変換して変換出力ベクトルを生成する出力変換部をさらに備えてもよい。

前記目的タスクはカラー画像を対象とする画像認識タスクであってもよく、前記入力変換部は、前記カラー画像の各画素の特徴を特定するための複数の変数を座標軸とする空間において、前記所定の変換手続きを実行してもよい。

前記所定の変換手続きは、拡大変換、縮小変換、等長変換、及び並行移動変換のいずれか一つの変換、又は２以上の変換の合成変換であってもよい。

本発明の第２の態様も、目的タスクを検出するための複数の層を備えるニューラルネットワークの各層の重みを生成する情報処理装置である。この装置は、目的タスク学習用データを入力データとして前記ニューラルネットワークの各層の重みを更新する重み更新部と、前記ニューラルネットワークの出力層が出力した出力ベクトルを、当該出力ベクトルが存在する空間における任意の２点間の距離と、変換後の空間における前記２点間の距離とが、定数倍の関係となる変換手続きで、前記出力ベクトルを変換して変換出力ベクトルを生成する出力変換部と、を備える。

本発明の第３の態様は、目的タスクを検出するための複数の層を備えるニューラルネットワークの各層の重みを生成する情報処理装置のプロセッサが実行する学習方法である。この方法において、前記プロセッサが、前記ニューラルネットワークに入力する入力データを所定の変換手続きで変換して変換入力データを生成するステップと、生成した前記変換入力データを入力データとして前記ニューラルネットワークの各層の重みを更新するステップと、を実行する。前記生成するステップにおける所定の変換手続きは、変換前の空間における任意の２点間の距離と、変換後の空間における前記２点間の距離とが、定数倍の関係となる変換手続きである。

本発明の第４の態様は、プログラムである。このプログラムは、目的タスクを検出するための複数の層を備えるニューラルネットワークの各層の重みを生成する情報処理装置に、前記ニューラルネットワークに入力する入力データを所定の変換手続きで変換して変換入力データを生成する機能と、生成した前記変換入力データを入力データとして前記ニューラルネットワークの各層の重みを更新する機能と、を実現させる。前記生成する機能における所定の変換手続きは、変換前の空間における任意の２点間の距離と、変換後の空間における前記２点間の距離とが、定数倍の関係となる変換手続きである。

本発明によれば、本発明はこれらの点に鑑みてなされたものであり、通信ネットワークを介して学習モデルを利用する際の情報漏洩を抑制することができる。

実施の形態に係るニューラルネットワークの構成を模式的に示す図である。実施の形態に係る学習モデル実行システムの概要を模式的に示す図である。実施の形態に係る情報処理装置の機能構成を模式的に示す図である。実施の形態に係る入力変換部及び出力変換部が実施する変換手続きを説明するための図である。実施の形態に係る入力変換部が実施する変換手続きの別の例を説明するための図である。実施の形態に係る情報処理装置が実行する学習処理の流れを説明するためのフローチャートである。

＜実施の形態の概要＞
図１は、実施の形態に係るニューラルネットワークの構成を模式的に示す図である。また、図２は、実施の形態に係る学習モデル実行システムＳの概要を模式的に示す図である。以下、図１及び図２を参照して、実施の形態の概要を述べる。

実施の形態に係る情報処理装置が学習モデルを生成するために利用するニューラルネットワークは、全体としては、入力層、中間層、及び出力層を含む一般的な構成である。図１に示すように、実施の形態に係る情報処理装置は、入力層に入力した学習用データが中間層を伝搬し、最終的に出力層が出力したデータ列と、学習用データに対応する正解ラベルとの誤差を損失関数を用いて算出する。情報処理装置は、算出した誤差に基づいて、誤差逆伝搬法を用いて中間層に設定された重みを更新する。

ここで、実施の形態に係る情報処理装置は、学習用データを入力層に入力する前に所定の変換手続きで学習用データを変換する「入力変換」と、出力層が出力したデータを所定の変換手続きで変換する「出力変換」との、少なくともいずれか一方の変換を実施する。

なお、図１は、情報処理装置が入力変換と出力変換とのいずれの変換も実施している場合の例を示している。詳細は後述するが、可読可能な情報を情報処理装置が入力変換すると、変換後の情報は可読が困難な情報となる。出力変換も同様である。また、学習データを入力変換してもニューラルネットワークの学習に影響がないように、入力変換は設計されている。

図２に示すように、実施の形態に係る学習モデル実行システムＳは、通信ネットワークＮを介して互いに通信可能な態様で接続する情報処理装置１とユーザ端末２とを含む。ユーザ端末２は、情報処理装置１から入力ＡＰＩ（Application Program Interface）と出力ＡＰＩとの提供を受けている。ユーザ端末２は、入力ＡＰＩを利用することにより、通信ネットワークＮを介して処理対象とするデータを情報処理装置１に送信することができる。また、ユーザ端末２は、出力ＡＰＩを利用することにより、通信ネットワークＮを介して情報処理装置１から学習モデルの実行結果を受信することができる。

入力ＡＰＩは、情報処理装置１が学習モデルを生成する際に実施した入力変換と同じ変換を処理対象データに施し、変換後の処理対象データを通信ネットワークＮを介して情報処理装置１に送信する。変換後の処理対象データは可読ではないため、通信ネットワークＮを介して情報処理装置１に送信中にデータが漏洩したとしても、データから情報が読み出されることを抑制できる。

また、出力ＡＰＩは、情報処理装置１が出力変換を施した後に学習モデルの出力結果をユーザ端末２に送信する場合には、取得した出力結果に対して出力変換の逆変換を施す。これにより、ユーザ端末２は、可読が困難な状態で通信された出力結果を可読な情報に戻すことができる。

このように、実施の形態に係る情報処理装置１が生成する学習モデルは、通信ネットワークを介して学習モデルを利用する際の情報漏洩を抑制することができる。さらに、入力変換を施す入力ＡＰＩを持たない第三者が、何らかの手段で処理対象データをオンラインの学習モデルに入力したとしても、正しい処理結果を得ることができない。これにより、実施の形態に係る情報処理装置１が生成する学習モデルは、学習モデルの不正な利用も抑制することができる。

＜実施の形態に係る情報処理装置１の機能構成＞
図３は、実施の形態に係る情報処理装置１の機能構成を模式的に示す図である。情報処理装置１は目的タスクを検出するための複数の層を備えるニューラルネットワークの各層の重みを生成する装置であり、記憶部１０と制御部１１とを備える。

記憶部１０は、情報処理装置１を実現するコンピュータのＢＩＯＳ（Basic Input Output System）等を格納するＲＯＭ（Read Only Memory）や情報処理装置１の作業領域となるＲＡＭ（Random Access Memory）、ＯＳ（Operating System）やアプリケーションプログラム、当該アプリケーションプログラムの実行時に参照される種々の情報を格納するＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の大容量記憶装置である。

制御部１１は、情報処理装置１のＣＰＵやＧＰＵ等のプロセッサであり、記憶部１０に記憶されたプログラムを実行することによって入力変換部１１０、重み更新部１１１、出力変換部１１２として機能する。

なお、図３は、情報処理装置１が単一の装置で構成されている場合の例を示している。しかしながら、情報処理装置１は、例えばクラウドコンピューティングシステムのように複数のプロセッサやメモリ等の計算リソースによって実現されてもよい。この場合、制御部１１を構成する各部は、複数の異なるプロセッサの中の少なくともいずれかのプロセッサがプログラムを実行することによって実現される。

入力変換部１１０は、ニューラルネットワークに入力する入力データを所定の変換手続きで変換して変換入力データを生成する。具体的には、入力変換部１１０が実行する変換手続きは、変換前の空間における任意の２点間の距離と、変換後の空間において対応する２点間の距離とが、定数倍（０倍を除く）の関係となる変換手続きである。

図４は、実施の形態に係る入力変換部１１０及び出力変換部１１２が実施する変換手続きを説明するための図である。図４において、入力データＩは図１に示す入力データを示している。入力データＩはベクトルで表現することができ、図４に示す例では、Ｎ１からＮｎまでのｎ個の要素で構成されているｎ次元ベクトルである。

任意のｎ次元ベクトルは、ｍ（１≦ｍ≦ｎ）番目の要素が１で、他の要素が０であるｎ個の規定ベクトルを軸とするｎ次元直交座標系における１点として表現することができる。図４において、Ｎ１軸の規定ベクトルは（１，０，・・・，０）であり、Ｎ２軸の規定ベクトルは（０，１，０，・・・，０）である。以下同様である。

ｎ次元直交座標系の原点をＯとし、ｎ次元空間における異なる２点をそれぞれ点Ａ及び点Ｂとする。また、入力変換部１１０による変換後の点Ａ及び点Ｂをそれぞれ点Ａ’及び点Ｂ’とする。ｎ次元空間における点Ａと点Ｂとの距離をＤ（Ａ，Ｂ）とすると、入力変換部１１０及び出力変換部１１２が実施する変換手続きは、任意の点Ａ及び点Ｂについて、ｋを０以外の実数としたとき、以下の式（１）が成り立つ。
Ｄ（Ａ，Ｂ）＝ｋＤ（Ａ’，Ｂ’）（１）

このような変換手続きの例は、拡大変換、縮小変換、等長変換（回転又は反転）、及び並行移動変換のいずれか一つの変換、又は２以上の変換の合成変換である。

図４において、線分ＯＡの長さＤ（Ｏ，Ａ）をａ、線分ＯＢの長さＤ（Ｏ，Ｂ）をｂ、線分ＡＢの長さＤ（Ａ，Ｂ）をｃとする。同様に、線分ＯＡ’の長さＤ（Ｏ，Ａ’）をａ’、線分ＯＢ’の長さＤ（Ｏ，Ｂ’）をｂ’、線分Ａ’Ｂ’の長さＤ（Ａ’，Ｂ’）をｃ’とする。また、角ＡＯＢをθ、角Ａ’ＯＢ’をθ’とする。このとき、余弦定理より、以下の式（２）及び式（３）が成り立つ。

ｃｏｓθ＝（ａ^２＋ｂ^２−ｃ^２）／（２ａｂ）（２）
ｃｏｓθ’＝（ａ’^２＋ｂ’^２−ｃ’^２）／（２ａ’ｂ’）（３）
が成り立つ。

入力変換部１１０及び出力変換部１１２が実施する変換手続きでは、ｎ次元空間における任意の２点について式（１）が成り立つので、ａ’＝ｋａ、ｂ’＝ｋｂ、ｃ’＝ｋｃが成り立つ。これらを式（３）に代入すると、以下の式（４）を得る。

ｃｏｓθ’＝（（ｋａ）^２＋（ｋｂ）^２−（ｋｃ）^２）／（２ｋａｋｂ）
＝（ａ^２＋ｂ^２−ｃ^２）／（２ａｂ）
＝ｃｏｓθ （４）

式（４）は、入力変換部１１０及び出力変換部１１２が実施する変換手続きでは角度が保存されることを示している。ここで、重み更新部１１１は、入力変換部１１０が生成した変換入力データを入力データとして、既知の誤差逆伝搬法を用いてニューラルネットワークの各層の重みを更新する。

既知の技術のため詳細は省略するが、誤差逆伝搬法は、ｎ次元空間における損失関数の勾配に基づいて、その損失関数の極値を求める問題に属する。損失関数の勾配は、いわばｎ次元空間における損失関数の「傾き角」を示している。誤差逆伝搬法は、損失関数の「傾き角」が大きい方向を選んでｎ次元空間における損失関数の「坂道」を進み、極値に到達するように設計されたアルゴリズムともいえる。

式（４）に示すように、実施の形態に係る入力変換部１１０及び出力変換部１１２が実施する変換手続きでは角度が保存される。これは、入力変換部１１０及び出力変換部１１２が実施する変換手続きによっても、損失関数の「傾き角」が変化しないことを意味する。したがって、実施の形態に係る入力変換部１１０が実施する変換手続きを入力データに施しても、重み更新部１１１は、変換手続きが施されない場合と同様に学習することができる。

また、実施の形態に係る出力変換部１１２が出力データに変換手続きを施しても、変換自体によって出力データの形が歪められないことが保証される。したがって、出力変換部１１２は、ニューラルネットワークの出力層が出力した出力ベクトルを、その出力ベクトルが存在する空間における任意の２点間の距離と、変換後の空間における２点間の距離とが定数倍の関係となる変換手続きで、出力ベクトルを変換して変換出力ベクトルを生成してもよい。これにより、万が一出力結果が通信ネットワークＮにおいて第三者に傍受されたとしても、出力ＡＰＩを保持していない第三者が変換出力ベクトルから情報を抜き出すことを抑制できる。

図５（ａ）−（ｂ）は、実施の形態に係る入力変換部１１０が実施する変換手続きの別の例を説明するための図である。具体的には、図５（ａ）はカラー画像の画素の構造を模式的に示す図であり、図５（ｂ）は色空間における変換手続きを模式的に示す図である。

図５（ａ）に示すように、デジタルカラー画像の多くは赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）の三色で一画素が構成されている。図示はしないが、この他にも例えばＹＣｂＣｒ等の式差信号を用いて表現されている場合でも、一画素は複数の信号成分を示す複数の変数から構成されている。

例えば、カラー画像の各画素がＲＧＢ三色の組み合わせで表現されているとする。この場合、カラー画像の各画素は、Ｒ、Ｇ、及びＢの各色を座標軸とする３次元空間内の一点として表現される。例えば、Ｒ、Ｇ、及びＢの各色の輝度値がそれぞれ６４、１２８、１９２である画素は、Ｒ、Ｇ、及びＢの各色を座標軸とする３次元空間内の点（６４，１２８，１９２）に対応する。

図５（ｂ）に示すように、入力変換部１１０は、目的タスクがカラー画像を対象とする画像認識タスクである場合、カラー画像の各画素の特徴を特定するための複数の変数を座標軸とする空間において、上述した変換手続きを実行してもよい。これにより、変換後の画像は変換前の画像と比較すると色相、彩度、及び輝度のバランスが崩れるので、入力変換部１１０は入力データの可読性を低下させることができる。

＜情報処理装置１が実行する学習方法の処理フロー＞
図６は、実施の形態に係る情報処理装置１が実行する学習処理の流れを説明するためのフローチャートである。本フローチャートにおける処理は、例えば情報処理装置１が起動したときに開始する。

入力変換部１１０は、目的タスクを検出するための複数の層を備えるニューラルネットワークの各層の重みを生成するための学習に用いる入力データを取得する（Ｓ２）。入力変換部１１０は、取得した入力データを所定の手続きで変換する（Ｓ４）。なお、入力変換部１１０が実行する所定の変換手続きは、変換前の空間における任意の２点間の距離と、変換後の空間における２点間の距離とが、定数倍の関係となる変換手続きである。

重み更新部１１１は、入力変換部１１０が生成した変換入力データを入力データとしてニューラルネットワークの各層の重みを更新する（Ｓ６）。入力変換部１１０は、ニューラルネットワークの出力層の出力と、正解ラベルとに基づいて損失関数を用いて算出した誤差が、更新終了の条件を満たすまでの間（Ｓ８のＮｏ）、重みの更新を継続する。

ニューラルネットワークの出力層の出力と、正解ラベルとに基づいて損失関数を用いて算出した誤差が、更新終了の条件を満たすと（Ｓ８のＹｅｓ）、重み更新部１１１はニューラルネットワークの各層の重みから構成されるモデルパラメータと、通信ネットワークＮを介してニューラルネットワークにアクセスするための入力ＡＰＩ及び出力ＡＰＩとを、モデルパラメータのユーザに提供する（Ｓ１０）。

入力変換部１１０がモデルパラメータと各種ＡＰＩとをユーザに提供すると、本フローチャートにおける処理は終了する。

＜実施の形態に係る情報処理装置１が奏する効果＞
以上説明したように、実施の形態に係る情報処理装置１によれば、通信ネットワークＮを介して学習モデルを利用する際の情報漏洩を抑制することができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の分散・統合の具体的な実施の形態は、以上の実施の形態に限られず、その全部又は一部について、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。

＜変形例＞
上記では、入力変換部１１０がニューラルネットワークに入力する入力データを所定の変換手続きで変換する場合について主に説明した。しかしながら、入力データは秘匿すべき情報ではなく、出力結果が秘匿すべき情報である場合には、入力変換部１１０は入力変換せずに出力変換部１１２が出力変換のみをするようにしてもよい。

一般に、ニューラルネットワークに入力する入力データと比較すると、ニューラルネットワークから出力される出力データのサイズは小さので、入力データの変換を省略することで計算コストの抑制、学習の高速化を期待できる点で効果がある。

１・・・情報処理装置
１０・・・記憶部
１１・・・制御部
１１０・・・入力変換部
１１１・・・重み更新部
１１２・・・出力変換部
２・・・ユーザ端末
Ｎ・・・通信ネットワーク
Ｓ・・・学習モデル実行システム

Claims

目的タスクを検出するための複数の層を備えるニューラルネットワークの各層の重みを生成する情報処理装置であって、
前記ニューラルネットワークに入力する入力データを所定の変換手続きで変換して変換入力データを生成する入力変換部と、
前記入力変換部が生成した変換入力データを入力データとして前記ニューラルネットワークの各層の重みを更新する重み更新部と、を備え、
前記入力変換部が実行する所定の変換手続きは、変換前の空間における任意の２点間の距離と、変換後の空間における前記２点間の距離とが、定数倍の関係となる変換手続きである、
情報処理装置。
前記ニューラルネットワークの出力層が出力した出力ベクトルを、当該出力ベクトルが存在する空間における任意の２点間の距離と、変換後の空間における前記２点間の距離とが、定数倍の関係となる変換手続きで、前記出力ベクトルを変換して変換出力ベクトルを生成する出力変換部をさらに備える、
請求項１に記載の情報処理装置。
前記目的タスクはカラー画像を対象とする画像認識タスクであり、
前記入力変換部は、前記カラー画像の各画素の特徴を特定するための複数の変数を座標軸とする空間において、前記所定の変換手続きを実行する、
請求項１又は２に記載の情報処理装置。
前記所定の変換手続きは、拡大変換、縮小変換、等長変換、及び並行移動変換のいずれか一つの変換、又は２以上の変換の合成変換である、
請求項１又は３のいずれか１項に記載の情報処理装置。
目的タスクを検出するための複数の層を備えるニューラルネットワークの各層の重みを生成する情報処理装置であって、
目的タスク学習用データを入力データとして前記ニューラルネットワークの各層の重みを更新する重み更新部と、
前記ニューラルネットワークの出力層が出力した出力ベクトルを、当該出力ベクトルが存在する空間における任意の２点間の距離と、変換後の空間における前記２点間の距離とが、定数倍の関係となる変換手続きで、前記出力ベクトルを変換して変換出力ベクトルを生成する出力変換部と、
を備える情報処理装置。
目的タスクを検出するための複数の層を備えるニューラルネットワークの各層の重みを生成する情報処理装置のプロセッサが実行する学習方法であって、前記プロセッサが、
前記ニューラルネットワークに入力する入力データを所定の変換手続きで変換して変換入力データを生成するステップと、
生成した前記変換入力データを入力データとして前記ニューラルネットワークの各層の重みを更新するステップと、を実行し、
前記生成するステップにおける所定の変換手続きは、変換前の空間における任意の２点間の距離と、変換後の空間における前記２点間の距離とが、定数倍の関係となる変換手続きである、
学習方法。
目的タスクを検出するための複数の層を備えるニューラルネットワークの各層の重みを生成する情報処理装置に、
前記ニューラルネットワークに入力する入力データを所定の変換手続きで変換して変換入力データを生成する機能と、
生成した前記変換入力データを入力データとして前記ニューラルネットワークの各層の重みを更新する機能と、を実現させ、
前記生成する機能における所定の変換手続きは、変換前の空間における任意の２点間の距離と、変換後の空間における前記２点間の距離とが、定数倍の関係となる変換手続きである、
プログラム。