JP2022129062A - 情報処理システム、情報処理装置、情報処理方法およびプログラム - Google Patents

Abstract

【課題】推論対象のデータのプライバシーを保護しつつ、推論対象のデータに対して推論を行う推論モデルの秘匿性を担保する情報処理システム、情報処理装置、情報処理方法、およびプログラムを提供する。【解決手段】情報処理システム１は、推論対象のデータを取得する第一の情報処理装置２と、第二の情報処理装置３と、を備える。第一の情報処理装置２は、入力層と、中間層の一部の中間層とで構成される第一の部分モデルを用いて、推論対象のデータに対して第一の推論処理を行う第一の推論部１２を有する。第二の情報処理装置３は、学習済みの推論モデルのうち第一の部分モデルを構成する層と異なる層から構成される第二の部分モデルを用いて、第一の推論処理が行われた結果を入力として第二の推論処理を行う第二の推論部７１を有する。【選択図】図１

Description

本発明は、推論モデルを用いて推論処理を行う情報処理システム、情報処理装置、情報処理方法、およびプログラムに関する。

医用撮像装置（モダリティ）によって取得された医用画像や医療情報システムから取得した医用情報などの医用データに対して機械学習技術を適用し、所定の疾患に関する推論（疾患検出、良悪性鑑別、予後予測、リスク予測など）を行うシステムが知られている。

非特許文献１には、画像を入力すると、画像圧縮をローカルにある第一の情報処理装置で実施し、圧縮結果をリモートのクラウドサービスにある第二の情報処理装置に転送して疾患のセグメンテーションを実施する技術が開示されている。

非特許文献２には、医用画像を入力としてエンコーダ・デコーダからなるモデルを学習し、推論モデル（エンコーダ部）を使用して特徴抽出を実施する技術が開示されている。

Ｚｉｈａｏ Ｌｉｕ ｅｔ ａｌ．，"Ｏｒｃｈｅｓｔｒａｔｉｎｇ Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ｃｏｍｐｒｅｓｓｉｏｎ ａｎｄ Ｒｅｍｏｔｅ Ｓｅｇｍｅｎｔａｔｉｏｎ Ｎｅｔｗｏｒｋｓ"，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｃｏｍｐｕｔｅｒ－Ａｓｓｉｓｔｅｄ Ｉｎｔｅｒｖｅｎｔｉｏｎ－ＭＩＣＣＡＩ２０２０． Ｂｅｈｚａｄ Ｂｏｚｏｒｇｔａｂａｒ ｅｔ ａｌ．，"ＳＡＬＡＤ： Ｓｅｌｆ－Ｓｕｐｅｒｖｉｓｅｄ Ａｇｇｒｅｇａｔｉｏｎ Ｌｅａｒｎｉｎｇ ｆｏｒ Ａｎｏｍａｌｙ Ｄｅｔｅｃｔｉｏｎ ｏｎ Ｘ－Ｒａｙｓ"，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｃｏｍｐｕｔｅｒ－Ａｓｓｉｓｔｅｄ Ｉｎｔｅｒｖｅｎｔｉｏｎ－ＭＩＣＣＡＩ２０２０．

非特許文献１に記載の技術では、医用画像のセグメンテーションを実施する際に、推論対象のデータである医用画像をクラウドサービスに送信することになる。この場合、医用画像等の推論対象のデータを病院内から外部の情報処理装置に送信するため、推論対象のデータのプライバシーを保護することが難しい。

また一方で非特許文献２に記載の技術のように、推論を行うユーザが管理する情報処理装置に、推論モデルをビルドする場合には、ユーザが推論モデルを複製し、第三者への頒布することや、推論モデルを改変する等の不正利用を防止することが難しいため、推論モデルの秘匿性を担保することができない。

本発明は、推論対象のデータのプライバシーを保護しつつ、該推論対象のデータに対して推論を行う推論モデルの秘匿性を担保することができる情報処理システム、情報処理方法およびプログラムを提供することを目的とする。

上記課題を解決するため、本発明の一態様による情報処理システムは、推論対象のデータを取得する第一の情報処理装置と、該第一の情報処理装置とネットワークを介して通信可能な第二の情報処理装置と、を備え、入力層、中間層及び出力層から構成されるニューラルネットワークに基づく学習済みの推論モデルを用いて、前記第一の情報処理装置が取得した推論対象のデータの推論処理を行う情報処理システムであって、前記第一の情報処理装置は、前記入力層と、前記中間層の一部の中間層とで構成される第一の部分モデルを用いて、前記推論対象のデータに対して第一の推論処理を行う第一の推論部を有し、前記第二の情報処理装置は、前記学習済みの推論モデルのうち前記第一の部分モデルを構成する層と異なる層から構成される第二の部分モデルを用いて、前記第一の推論処理が行われた結果を入力として第二の推論処理を行う第二の推論部を有する。

本発明によれば、推論対象のデータのプライバシーを保護しつつ、該推論対象のデータに対して推論を行う推論モデルの秘匿性を担保することができる。

第１の実施形態に係る情報処理システムの構成を示す図。 第１の実施形態に係る推論モデルの概略図。 第１の実施形態に係る第一の情報処理装置のハードウェア構成を示す図。 第１の実施形態に係る情報処理システムの推論処理を示すフロー図。 第２の実施形態に係る情報処理システムの構成を示す図。 第２の実施形態に係る推論モデルの概略図。 第２の実施形態に係る情報処理システムの推論処理を示すフロー図。 第３の実施形態に係る情報処理システムの構成を示す図。 第３の実施形態に係る推論モデルの概略図。 第３の実施形態に係る情報処理システムの学習処理を示すフロー図。 第４の実施形態に係る情報処理システムの概略図。 第４の実施形態に係る推論モデルの概略図。 第４の実施形態に係る情報処理システムの学習処理を示すフロー図。

本発明は、モダリティで取得した生データ（信号データ）や、生データから画像再構成によって生成された診断用の医用画像データ等の医用データに対して、好ましく適用できる。モダリティは、例えば、Ｘ線ＣＴ装置、ＭＲＩ装置、ＳＰＥＣＴ装置、ＰＥＴ装置、心電計を含む。なお、推論対象のデータおよび教師データは、医用データのみならず、患者のプライバシーに関連する、年齢や性別、疾患情報等の情報も対象としてもよい。

以下、本発明の情報処理システムにおける推論モデルによる推論工程に関して、第１の実施形態および第２の実施形態で説明をする。また第３の実施形態および第４の実施形態において、本発明の情報処理システムにおける推論モデルの学習工程に関して説明をする。なお、後述するが、推論工程において用いられる推論モデルは、本発明の第３の実施形態および第４の実施形態の学習工程を経て生成される推論モデルに限らない。推論工程において用いられる推論モデルは、公知の手法もしくは、本発明に記載する学習工程によって機械学習や深層学習に基づいて学習された学習済みの推論モデルである。ここで学習済みの推論モデルとは、所定の条件を満たすように学習処理が実施されていればよく、学習済みの推論モデルを、追加学習や、転移学習、ファインチューニング等の対象として用いてもよい。故に、公知の手法において学習した学習済みの推論モデルの追加学習として、後述する学習工程による学習処理が実施されてもよいし、その逆の手順で学習処理が実施されてもよい。

以下、添付図面を参照して本発明の好適な実施形態について説明する。

［第１の実施形態］
ここで、図１を用いて、本発明の情報処理システム１について説明をする。本発明における情報処理システム１は、第一の情報処理装置２と第二の情報処理装置３と、両情報処理装置を通信可能に接続するネットワーク４から構成される。

ここで、図２を参照しながら、本発明における情報処理システム１の構成について説明をする。情報処理システム１は、第一の情報処理装置２および第二の情報処理装置３から構成される。第一の情報処理装置２および第二の情報処理装置３は、推論対象の医用データに対して、推論処理をし、実行結果を出力する推論モデルの一部である部分モデルをそれぞれ有している。ここでの推論モデルとは、入力層、中間層、出力層から構成されるニューラルネットワークに基づく学習済みのモデルである。学習処理によって、推論結果を出力するためのパラメータを決定し、該パラメータとネットワークモデルとを対にしたモデルを推論モデルとして定義する。

第一の情報処理装置２は、上述した学習済みの推論モデルのうち、入力層と、中間層のうちすくなくとも一部の中間層とで構成される第一の部分モデルを用いて第一の推論処理を実行し、第二の情報処理装置３は、上述した学習済みの推論モデルのうち、第一の部分モデルとは異なる層から構成される第二の部分モデルを用いて第二の推論を実行する。以下、各情報処理装置の構成について説明をする。

ここで第一の情報処理装置２は、推論対象の医用データを管理する権限を有した推論モデルのユーザである、例えば医療従事者が操作できる情報処理装置である。一方、第二の情報処理装置３は、推論に用いる推論モデルを管理する権限を有したモデルの提供者が保有する情報処理装置である。第二の情報処理装置３は、第一の情報処理装置２の外部のサーバに存在し、ネットワーク４を介して通信可能に構成されている。

第一の情報処理装置２は、推論対象の医用データを取得する取得部１１と、医用データに対して推論処理を行う、入力層、中間層および出力層から構成されるニューラルネットワークに基づく学習済みの推論モデルのうち、入力層と、中間層のうち少なくとも一部の中間層とで構成される第一の部分モデルを用いて、前記推論対象の医用データに対して該推論処理のうち第一の推論処理を実施する第一の推論部１２と、第一の推論処理による第一の推論結果を、前記推論処理のうち前記第一の部分モデルを構成する層と異なる層から構成される第二の部分モデルを有する他の情報処理装置である第二の情報処理装置３へと出力する出力部１３とを含み構成される。

また第一の情報処理装置２は、学習済みの推論モデルの一部である第一の部分モデルや、推論対象の医用データを記憶する記憶部１０を有する。また他の情報処理装置である第二の情報処理装置３による第二の推論の結果を取得する推論結果取得部１４と、取得した推論結果を表示装置に表示させるための表示制御部１５を有する。

（記憶部１０）
記憶部１０は、学習済みの推論モデルの入力層を含む第一の部分モデルや、推論対象の医用データを記憶する。記憶部１０は、第一の部分モデルとして、該部分モデルに対応するネットワークと、ネットワークに対応する学習済みのパラメータを対応づけて記憶している。また、推論対象の医用データは、モダリティや外部の画像サーバから自動で転送された医用データでもよい。なお、学習済みの推論モデルの一部とは、ある層から別の層までの連続した部分を指すが、これに限らず、あるニューロンから別のニューロンまでの連続した部分や、孤立したニューロンであってもよい。また、部分モデルは、学習済みの推論モデル中の隣接しない複数の部分であってもよい。

（取得部１１）
取得部１１は、推論対象の医用データを記憶部１０から取得し、取得した推論対象の医用データを第一の推論部１２に送信する。

（第一の推論部１２）
第一の推論部１２は、記憶部１０から第一の部分モデルを取得し、推論対象の医用データに対して、第一の部分モデルによる第一の推論を実施する。第一の部分モデルによる第一の推論結果を出力部１３に送信する。本実施形態においては、第一の部分モデルは、学習済みの推論モデルのうち、入力層と、中間層のうちすくなくとも一部の中間層とで構成される第一の部分モデルであり、出力部１３へは中間層からの出力を送信する。ここで中間層の出力とは、テンソルの情報であり、推論モデルがＣＮＮに基づくモデルである場合には、該出力は特徴マップである。

（出力部１３）
出力部１３は、他の情報処理装置である第二の情報処理装置３に、第一の推論結果を送信する。また推論モデルが複数ある場合は、第一の推論に用いた部分モデルが対応する推論モデルの情報を第二の情報処理装置に出力をする。

（推論結果取得部１４）
推論結果取得部１４は、第二の情報処理装置３から推論対象の医用画像データに対する第二の推論処理の推論結果を取得する。推論結果取得部１４は、推論結果を取得すると、表示制御部１５に送信をする。

（表示制御部１５）
表示制御部１５は、推論結果取得部１４で取得した推論結果を表示装置に表示する制御を行う。表示装置は、情報処理装置に付属するディスプレイや外部サーバを経由した病院関係者のモバイル端末等である。

ここで、第一の情報処理装置２は、プロセッサ、メモリ、ストレージなどを備えたコンピュータにより構成してもよい。この場合、ストレージに格納されたプログラムをメモリにロードし、当該プログラムをプロセッサが実行することにより、記憶部１０、取得部１１、第一の推論部１２、出力部１３、推論結果取得部１４、表示制御部１５などの機能および処理が実現される。ただしこの構成に限らず、例えば、第一の情報処理装置２の構成の全部又は一部を、専用に設計されたプロセッサ（ＡＳＩＣなど）又はＦＰＧＡにより実現してもよい。あるいは、演算処理の一部をＧＰＵやＤＳＰなどのプロセッサで実行してもよい。また、第一の情報処理装置２は、単一のハードウェアで構成されていてもよいし、複数のハードウェアで構成されていてもよい。例えば、クラウドコンピューティングや分散コンピューティングを利用し、複数のコンピュータが協働して第一の情報処理装置２の機能および処理を実現してもよい。

図３は、第一の情報処理装置２の具体的な構成の一例を示している。この例では、ローカル情報処理装置２が、ＣＰＵ２０、ＧＰＵ２１、ＲＡＭ２２、ＲＯＭ２３、記憶装置２４を有しており、これらがシステムバス２５で接続されている。また、ローカル情報処理装置２には、表示装置２６と、マウスやキーボードなどの入力装置２７とが接続されている。

第一の情報処理装置２は、上述のように構成されることで、医用データの管理者である推論モデルのユーザは、推論対象の医用データを、外部の情報処理装置に送信する必要はなく、医用データのプライバシーを保護することができる。また推論モデルの提供者は、推論モデルの一部のみを第一の情報処理装置２に搭載することで、推論モデルの秘匿性を担保することができる。

一方、第二の情報処理装置３は、第一の情報処理装置２の外部のサーバに存在し、医用データに対して推論処理を行う、入力層、中間層および出力層から構成されるニューラルネットワークに基づく学習済みの推論モデルのうち、入力層と、中間層のうち少なくとも一部の中間層とで構成される第一の部分モデルを用いた、前記推論対象の医用データに対する該学習済みの推論モデルのうち、第一の推論処理の結果を入力として、前記推論処理のうち、第一の部分モデルを構成する層と異なる層から構成される第二の部分モデルを用いて、第二の推論処理を実施する第二の推論部７１から構成される。また第二の情報処理装置は３、第二の部分モデルを記憶する記憶部７０を有する。

本実施形態において、第二の部分モデルは、学習済みの推論モデルのうち、第一の推論モデルを構成する中間層と異なる中間層と、出力層とから構成される。なお、上述の部分モデルのネットワーク構成は、一例であり、部分モデルの数や情報処理装置の数は適宜変更可能である。

（記憶部７０）
記憶部７０は、第二の部分モデルに対応するネットワークと、ネットワークに対応する学習済みのパラメータを対応づけて記憶している。なお部分モデルとは、ある層から別の層までの連続した部分を指すが、これに限らず、あるニューロンから別のニューロンまでの連続した部分や、孤立したニューロンであってもよい。また、部分モデルは、推論モデル中の隣接しない複数の部分であってもよい。

（第二の推論部７１）
第二の推論部１２は、記憶部１０から第二の部分モデルを取得し、推論対象の医用データに対して、第二の部分モデルによる第二の推論を実施する。そして、第二の推論による推論結果を第一の情報処理装置２に送信する。ここで、学習済みの推論モデルの選択情報が第一の情報処理装置２から取得された場合には、該当する学習済みの推論モデルに対応する第二の部分モデルを取得し、第二の推論を実施する。ここで、本実施形態においては、第二の部分モデルが出力層を有するモデルであるため、第二の情報処理装置において、推論結果が出力される。他方で、第二の部分モデルが中間層のみから構成され、該中間層による出力を、第一の情報処理装置２に送信してもよい。

第二の情報処理装置３は、上述のように構成されることで、推論モデルの提供者は、学習済みの推論モデルの一部のみを第一の情報処理装置２に搭載し、学習済みの推論モデルの一部を自身が保有・管理する情報処理装置３内に留めておくことができ、推論モデルの秘匿性を担保することができる。

上述した、第一の情報処理装置２および第二の情報処理装置３から構成される情報処理システムによって、推論対象の医用データのプライバシーを保護しつつ、該推論対象の医用データに対して推論を行う推論モデルの秘匿性を担保することができる。

ここで、図４を用いて、本実施形態における情報処理システム１による推論工程について説明をする。

ステップＳ４０において、第一の情報処理装置２における取得部１１は、推論対象の医用データを取得する。取得部１１は、推論対象の医用データを取得すると、取得した推論対象の医用データを第一の推論部１２へ送信し、次のステップへ処理を進める。

ステップＳ４１において、第一の情報処理装置２における第一の推論部１２は、入力層と、中間層のうち少なくとも一部の中間層とで構成される第一の部分モデルを用いて、推論対象の医用データに対して、第一の推論処理を実行する。第一の推論部１２は、第一の推論処理の実行後、第一の推論処理による推論結果を出力部１３へ送信し、次のステップへ処理を進める。

ステップＳ４２において、第一の情報処理装置２における出力部１３は、第一の推論による推論結果を第二の情報処理装置２へ出力し、次のステップへ処理を進める。

ステップＳ４３において、第二の情報処理装置３における第二の推論部７１は、第一の部分モデルを構成する層と異なる層から構成される第二の部分モデルを用いて、第二の推論処理を実施する。本実施形態において、第二の部分モデルは、推論モデルのうち、第一の部分モデルを構成する中間層とは異なる中間層を含み構成される。また第二の部分モデルは、さらに出力層を有し、推論対象の医用データに対して推論結果を出力する。第二の推論部７１は、推論対象の医用データに対する推論結果を第一の情報処理装置２に送信すると次のステップへ処理を進める。

なお、第二の推論部７１は、第二の推論処理による推論結果を記憶部７０に記憶し、外部からのアクセスに応じて推論結果を提示してもよい。また出力先は、第一の情報処理装置２に限られず、指定された情報端末や、連絡先に該結果を送信してもよい。

ステップＳ４４において、第一の情報処理装置２における推論結果取得部１４は、第二の情報処理装置３の第二の推論部７１より第二の推論結果を取得する。推論結果取得部１４は、第二の推論結果を取得すると、表示制御部１５へ第二の推論結果を送信し、次のステップへ処理を進める。

ステップＳ４５において、表示制御部１５は、推論対象の医用データに対する推論結果を表示装置２５に表示させる。表示装置２５に表示される推論結果は、推論対象の医用データに対して、第一の情報処理装置２と第二の情報処理装置３による一連の推論処理（第一の推論処理及び第二の推論処理）を行った推論結果である。

表示制御部１５は、推論対象の医用データと、推論結果を対応付けて表示させてもよいし、該推論に用いられた推論モデルの情報等を表示してもよい。

よって、本情報処理システム１は、推論対象の医用データのプライバシーを保護しつつ、該推論対象の医用データに対して推論を行う推論モデルの秘匿性を担保しながらも、推論を実施することができる。

［第２の実施形態］
第１の実施形態では、医用データに対して推論処理を行う、入力層、中間層および出力層から構成されるニューラルネットワークに基づく学習済みの推論モデルのうち、入力層と、中間層の一部の中間層とで構成される第一の部分モデルを有する第一の情報処理装置２と、学習済みの推論モデルのうち、第一の部分モデルとは異なる層から構成される第二の部分モデルを有する第二の情報処理装置３から構成される情報処理システムについて説明をした。

本実施形態では、第一の情報処理装置２が、出力層を含む第三の部分モデルを用いて推論を行う第三の推論部をさらに有し、第一の情報処理装置側に出力することができる情報処理システムの構成について図５を用いて説明をする。また図６を用いて、本実施形態における推論モデルについて説明する。

なお、ここでは特に第１の実施形態との差異について説明し、重複部分に関しては適宜割愛をして説明をする。

本実施形態における情報処理システム１は、第一の実施形態と同様に、第一の情報処理装置２、第二の情報処理装置３、それぞれの情報処理装置を通信可能に接続するネットワーク４から構成される。また情報処理システム１は、３つの部分モデルから構成される。

ユーザ側にある第一の情報処理装置２には、医用データに対して推論処理を行う、入力層、中間層および出力層から構成されるニューラルネットワークに基づく学習済みの推論モデルのうち、入力層と、中間層のうち一部の中間層とで構成される第一の部分モデルとさらに、中間層のうち一部の中間層と、出力層とで構成される第三の部分モデルを有する。

一方で、推論モデルの管理者側にある第二の情報処理装置３には、推論モデルの中間層のうち、第一の部分モデルの中間層と、第三の部分モデルの中間層との間の中間層のすくなくとも一部から構成される第二の部分モデルを有する。なお、部分モデルの数は可変であり、入力層を有する部分モデルと、出力層を有する部分モデルが、推論対象の医用データを管理する権限を有したユーザ側にある第一の情報処理装置２に備わっていればよい。また第一の情報処理装置２に関しても、ユーザ側で管理されている情報処理装置であれば、その数も問わない。

本情報処理システム１によって、推論対象の医用データのプライバシーを保護しながら、該医用データに対する推論モデルの秘匿性を担保できるだけでなく、推論結果に関してもユーザ側で出力されることになるため、推論結果に関するプライバシーに関しても保護することができる。

例えば、推論モデルが高画質化を実施するような場合には、出力層がユーザ側でない情報処理装置にあった場合に、推論対象の医用データを高画質化した画像が第二の情報処理装置３で生成されるため、医用データのプライバシーの保護が難しい。よって、出力層を有する部分モデルを第一の情報処理装置２が有し、該部分モデルを用いた推論を行うことで出力に対するプライバシーを保護できる。

本実施形態に係る情報処理装置１は、記憶部１０、取得部１１、第一の推論部１２、出力部１３、推論結果取得部１４、表示制御部１５と、さらに上述した第三の部分モデルを用いて、第三の推論を行う第三の推論部５１を少なくとも有する。

また本実施形態に係る情報処理装置２は、記憶部７０と、第二の推論部７１とを含み構成される。なお、第二の推論部７１で用いられる第二の部分モデルは、学習済みの推論モデルのうち、第一の部分モデルの中間層と、第三の部分モデルの中間層との間にある中間層から構成されるネットワークから構成される。

以下、図７を用いて、本実施形態における推論工程について説明する。

ステップＳ４２までは、実施形態１と同様のフローのため説明を割愛する。

ステップＳ７３において、第二の情報処理装置３は、第一の推論部１２による推論結果を入力として、第二の部分モデルを用いて第二の推論を実施する。第二の部分モデルは、学習済みの推論モデルのうち、第一の部分モデルの中間層と、第三の部分モデルの中間層との間にある中間層から構成されるネットワークから構成される。第二の推論部７１は、第二の推論の結果として、第二の部分モデルによる中間層からの出力を第一の情報処理装置に送信すると、次のステップへ処理を進める。

ステップＳ７４において、第一の情報処理装置２における第三の推論部５１は、第二の推論結果を入力として、第三の部分モデルを用いた第三の推論を行う。第三の推論部５１は、第三の推論の結果を推論結果取得部１４へ送信し、次のステップへ処理を進める。

ステップＳ７５において、推論結果取得部１４は、第三の推論結果を推論対象の医用データに対する推論結果として取得し、取得した推論結果を表示制御部１５へ送信する。

ステップＳ４５は説明を省略するが、表示装置２５に表示される推論結果は、推論対象の医用データに対して、第一の情報処理装置２と第二の情報処理装置３による一連の推論処理（第一の推論処理、第二の推論処理及び第三の推論処理）を行った推論結果である。

本実施形態によって、推論対象の医用データのプライバシーを保護しながら、該医用データに対する推論モデルの秘匿性を担保できるだけでなく、推論結果に関するプライバシーも保護しながら推論処理を実施することができる。

以下、第３の実施形態および第４の実施形態において、本発明における推論モデルの学習工程に関して説明をする。なお、上述までの推論工程において用いられる推論モデルは、第３の実施形態、第４の実施形態の学習工程を経て生成される推論モデルに限られない。また、以降の実施形態における推論モデルとは、学習処理がされていない推論モデルであっても、学習処理がされた学習済みの推論モデルであってもよい。

［第３の実施形態］
第３の実施形態において、図８を用いて、本発明の情報処理システム８００を学習する構成について説明をする。情報処理システム８００は、推論モデルのユーザ側の情報処理装置である第一の情報処理装置９００と、推論モデルの提供者側の情報処理装置である第二の情報処理装置１０００と、情報処理装置間をつなぐネットワーク１１００から構成される。また図９を用いて、それぞれの情報処理装置に対応する推論モデルのネットワーク構成について説明をする。

第一の情報処理装置９００は、医用データに対して推論処理を行う、入力層、中間層および出力層から構成されるニューラルネットワークに基づく推論モデルのうち、該入力層と、該中間層のうち少なくとも一部の中間層とで構成される第一の部分モデルを有する。また第二の情報処理装置１０００は、推論モデルのうち第一の部分モデルを構成する層と異なる層から構成される第二の部分モデルを有する第二の部分モデルと有する。また本実施形態において、第二の部分モデルは、中間層の一部と、出力層とから構成される部分モデルである。このように、入力層を含む第一の部分モデルを、ユーザ側の第一の情報処理装置９００に設け、推論モデルの一部である第二の部分モデルを推論モデルの提供者側の第二の情報処理装置１０００に設けることによって、医用データのプライバシーを保護しながら推論モデルの秘匿性を担保した上で、推論モデルの学習処理を実施することができる。またここで、第一の部分モデルは、公開用のネットワークとして、第二の部分モデルが秘匿用のネットワークとして構成されてもよい。モデルの提供者は、第二の部分モデルを秘匿用のネットワークとすることで、さらに推論モデルの秘匿性を高めることができる。

第一の情報処理装置９００は、教師データや、推論モデルの情報を記憶する記憶部９０１を有する。さらに、記憶部９００から教師データを取得する教師データ取得部９０２と、取得した教師データに基づいて、第一の部分モデルを学習する第一の学習部９０３とを含み構成される。なお、記憶部９００は、推論モデルのユーザが管理する記憶装置等によって構成されてもよい。また第一の学習部９０３は、第一の部分モデルの学習処理が完了すると、記憶部９０１に学習済みの第一の部分モデルの情報を記憶する。

第二の情報処理装置１０００は、推論モデルの情報を記憶する記憶部１００１と、第二の部分モデルを学習する第二の学習部１００２とを有する。

ここで、学習部が行う学習処理とは、教師データを部分モデルに順伝播させ、誤差逆伝播法によって取得した誤差情報を用いて、部分モデルのパラメータを更新することを指す。また教師データとは、学習データと正解ラベルから構成され、学習データは例えば医用画像データで、正解ラベルは、該医用画像データに写り込んでいる対象を示す情報である。また正解ラベルは、画素ごとに写り込んでいる対象が何かを示した正解画像データとして設定されてもよい。また第一の情報処理装置９００は、第二の情報処理装置９００に対して、モデルの選択情報を送信することで、第一の部分モデルと第二の部分モデルのすくなくとも一方が複数存在する場合においても、適切なモデルを選択することができる。

以下、図１０のフローチャートを用いて、本実施形態における情報処理システム８００の学習工程の一例について説明をする。

ステップＳ５０において、教師データ取得部９０２は、学習データと正解ラベルが対になった教師データを記憶部９０１より取得する。教師データ取得部９０２は、学習データの情報を第一の学習部９０３へと送信し、正解ラベルを第二の情報処理装置１０００へ送信すると次のステップへと処理を進める。

ステップＳ５１において、第一の学習部９０３は、教師データ取得部９０２から送信された学習データと、記憶部９０１から第一の部分モデルの情報を取得する。ここで、第一の学習部９０３は、第二の情報処理装置１０００へ、取得した第一の部分モデルを示す情報を送信してもよい。

ステップＳ５２において、第二の学習部１００２は、記憶部１００１から第二の部分モデルの情報と、教師データ取得部９０２から正解ラベルの情報とを取得する。

ステップＳ５３において、第一の学習部９０３は、学習データを第一の部分モデルへ入力して順伝播させ、学習工程の一部である第一の学習処理を実施する。第一の学習処理が終了すると、第一の学習処理によって生成されたデータ、例えばテンソルを、第二の学習部１００２へと送信する。

ステップＳ５４において、第二の学習部１００２は、第一の学習部９０３から送信されたパラメータを第二の部分モデルへ入力し順伝播させ、学習工程の一部である第二の学習処理を実施する。

ステップＳ５５において、第二の学習部１００２は、出力層をネットワーク構成に含む第二の部分モデルによる順伝播による第二の部分モデルの出力と、正解ラベルとを比較し、損失関数を用いて誤差の情報を取得する。また第二の学習部１００２は、ここで、学習が完了したか否かを判定する。第二の学習部１００２は、算出した誤差の情報が、所定の値未満であるか、もしくは所定回数学習処理を実施したか等によって、当該学習処理の終了を判定する。第二の学習部１００２によって、学習処理の終了と判定された場合には、フローを終了する。一方で、学習処理の継続が判定された場合には、ステップＳ５６へと処理を進める。尚、ステップＳ５５は、第一の学習処理の開始前に第一の学習部９０３によって判定されてもよい。

ステップＳ５６において、第二の学習部１００２は、ステップＳ５５において算出した誤差の情報に基づいて、第二の部分モデルのパラメータを更新する。ここで、パラメータとは、例えば重みやバイアスを指す。そして、誤差情報を逆伝播（誤差逆伝播法）によって、出力層側に近い中間層から、入力層側へと誤差の情報を伝達する。第二の学習部１００２は、第二の部分モデルを構成する入力層側に近い中間層からの誤差情報を、第一の学習部９０３へと送信すると次のステップへと処理を進める。

ステップＳ５７において、第一の学習部９０３は、第二の学習部１００２から送信された誤差情報に基づいて、第一の部分モデルのパラメータを更新する。第一の部分モデルのパラメータを更新すると、ステップＳ５３へと処理を進める。尚、ステップＳ５５で説明をしたように、第一の学習部９０３がこのタイミングで、学習処理の終了を判定してもよい。

本発明における情報処理システム８００は、このように構成されることで、医用データのプライバシーおよび推論モデルの秘匿性を担保しつつ、推論モデルの学習を行うことができる。なお、部分モデルの数は２つに限定されず、入力層を含む部分モデルが推論モデルのユーザ側の情報処理装置にあれば、本発明を適用可能である。また、推論モデルが複数ある場合には、複数の推論モデルのそれぞれに対応する部分モデルを選択する情報を第一の学習部９０３から、第二の学習部１００２へと送信してもよい。部分モデルの選択は、ユーザによって選択されてもよいし、入力データに応じて情報処理装置によって選択されてもよい。

［第４の実施形態］
第３の実施形態では、入力層と、中間層のうち少なくとも一部の中間層とで構成される第一の部分モデルを第一の情報処理装置が有し、第一の部分モデルとは異なる層から構成される第二の部分モデルを第二の情報処理装置が有する情報処理システムにおける学習処理に関して説明をした。

本実施形態では、さらに、少なくとも第一の部分モデルと第二の部分モデルとは異なる中間層と、出力層とを含み構成される第三の部分モデルを第一の情報処理装置が有する情報処理システムの学習について図１１を用いて説明をする。また本実施形態における推論モデルのネットワーク構成について図１２を用いて説明をする。尚、第三の実施形態との重複部分に関しては、適宜説明を省略して説明をする。

本実施形態にかかる情報処理システム１２００は、推論モデルのユーザ側の情報処理装置である第一の情報処理装置１３００と、推論モデルの提供者側の情報処理装置である第二の情報処理装置１４００と、情報処理装置間をつなぐネットワーク１１００から構成される。

第一の情報処理装置１３００は、医用データに対して推論処理を行う、入力層、中間層および出力層から構成されるニューラルネットワークに基づく推論モデルのうち、該入力層と、該中間層のうち少なくとも一部の中間層とで構成される第一の部分モデルを有する。さらに、第一の情報処理装置１３００は、推論モデルのうち、すくなくとも出力層を含む第三の部分モデルを有する。

第二の情報処理装置１４００は、推論モデルの中間層のうち、すくなくとも一部の中間層から構成される第二の部分モデルを有する。

本実施形態の構成によって、さらに出力層を構成に含む第三の部分モデルを第一の情報処理装置１３００が有することで、教師データを構成する、学習データおよび正解ラベルを第二の情報処理装置１４００に送信しなくとも推論モデルの学習処理を実施することができる。さらに、推論モデルの提供者は、推論モデルを構成する中間層のうち、少なくとも一部の中間層を含む第二の部分モデルを有することによって、推論モデルの秘匿性を担保することができる。尚、本実施形態は、入力層を含む部分モデルと、出力層を含む部分モデルが第一の情報処理装置１３００にあれば、部分モデルの数や情報処理装置の数等は、適宜設計可能である。

第一の情報処理装置１３００は、教師データや、推論モデルの情報を記憶する記憶部１３０１を有する。また記憶部１３０１から教師データを取得する教師データ取得部９０２と、取得した教師データに基づいて、第一の部分モデルを学習する第一の学習部１３０３と、第三の部分モデルを学習する第三の学習部と、を含み構成される。

第二の情報処理装置１４００は、推論モデルの情報を記憶する記憶部１００１と、第二の部分モデルを学習する第二の学習部とを含み構成される。

ここで、学習処理とは、教師データを構成する学習データを部分モデルに順伝播させ、正解ラベルと出力層による出力値との誤差情報を逆伝播（誤差逆伝播法）することで、部分モデルのパラメータを更新する一連の処理を示す。また教師データは、学習データと正解ラベルから構成される。

以下、図１３のフローチャートを用いて、本実施形態における情報処理システム８００の学習工程の一例について説明をする。尚、ここでは、図１０との特に差分について説明をする。

ステップＳ１３０において、第三の学習部１３０４は、記憶部１３０１より第三の部分モデルの情報と、教師データ取得部１３０２より、正解ラベルの情報を取得する。

ステップＳ１３２において、第二の学習部１４０２は、第一の学習部９０３から送信されたパラメータを第二の部分モデルへ入力し順伝播させ、学習工程の一部である第二の学習処理を実施する。

ステップＳ１３３において、第三の学習部１３０４は、第二の学習部１４０２から送信されたパラメータを第三の部分モデルへ入力し順伝播させ、学習工程の一部である第三の学習処理を実施する。

ステップＳ１３４において、第三の学習部１３０４は、出力層をネットワーク構成に含む第三の部分モデルによる順伝播による第三の部分モデルの出力と、正解ラベルとを比較し、損失関数を用いて誤差の情報を取得する。また第三の学習部１３０４は、ここで、学習が完了したか否かを判定する。第三の学習部１３０４は、学習の完了を、算出した誤差の情報が、所定の値未満であるか、もしくは所定回数の学習処理を実施したか等によって、当該学習処理の終了を判定する。第三の学習部１３０４によって、学習処理の終了と判定された場合には、フローを終了する。一方で、第三の学習部１３０４によって学習処理の継続が判定された場合には、ステップＳ５３へと処理を進める。尚、ステップＳ１３４における学習処理の終了判定は、第一の学習処理の開始前に第一の学習部１３０３によって判定されてもよい。

ステップＳ１３５において、第三の学習部１３０４は、ステップＳ１３４において算出した誤差の情報に基づいて、第三の部分モデルのパラメータを更新する。ここで、パラメータとは、例えば重みやバイアスを指す。第三の学習部１３０４は、誤差情報を逆伝播によって、出力層側に近い中間層から、入力層側へと誤差の情報を伝達する。第三の学習部１３０４は、第三の部分モデルを構成する入力層側に近い中間層からの誤差情報を、第二の学習部１４０２へと送信すると次のステップへと処理を進める。

ステップＳ１３６において、第二の学習部１４０２は、第三の学習部１３０４から送信された誤差の情報に基づいて、第二の部分モデルのパラメータを更新する。第二の学習部１４０２は、誤差情報を逆伝播によって、出力層側に近い中間層から、入力層側へと誤差の情報を伝達し、入力層側に近い中間層からの出力を第一の学習部１３０３へと送信すると次のステップへと処理を進める。

ステップＳ１３７において、第一の学習部１３０３は、第二の学習部１４０２から送信された誤差情報に基づいて、第一の部分モデルのパラメータを更新する。第一の部分モデルのパラメータを更新すると、ステップＳ５３へと処理を進める。尚、ステップＳ１３４で説明をしたように、第一の学習部１３０３がこのタイミングで、学習処理の終了を判定してもよい。

本発明における情報処理システム１２００は、このように構成されることで、医用データのプライバシーおよび推論モデルの秘匿性を担保しつつ、推論モデルの学習処理を行うことができる。さらに教師データを構成する学習データおよび正解ラベルを推論モデルのユーザ側の情報処理装置から送信する必要がなく、より医用データの秘匿性を担保できる。

なお、第３の実施形態および第４の実施形態によって、学習された推論モデルを第１の実施形態および第２の実施形態における推論処理を行う推論モデルとしてもよい。また、推論処理を行う推論モデルの追加学習の手法としても第３および第４の学習処理は有効である。

［変形例１］
本変形例は、第３の実施形態および第４の実施形態において、適用が可能である。上述の学習処理においては、推論モデルを構成する部分モデルのパラメータを更新する学習処理について説明をしたが、一部の部分モデルのみのパラメータの更新を目的とした追加学習を実施してもよい。例えば、第二の部分モデルのパラメータを固定し、第一の部分モデルのパラメータを更新することや、第一の部分モデルのパラメータを固定し、第二の部分モデルのパラメータを更新することが挙げられる。

第一の学習部９０３が第一の部分モデルのパラメータを更新し、第二の学習部１００２が第二の部分モデルのパラメータを更新しない場合には、推論モデルのユーザにとって、第一の部分モデルを、自身が入力したいデータ等に応じてカスタマイズした学習処理をすることができる。例えば、第一の学習部９０３が第一の部分モデルに対して医用データを取得するモダリティの特性や、特定の撮影範囲等に特化した追加学習を行い、一方で、モデルの提供者にとって意図しないモデルの改変を防ぐ効果がある。

第二の学習部１００２が第二の部分モデルのパラメータを更新し、第一の学習部９０３が第一の部分モデルのパラメータを更新しない場合には、推論モデルの提供者の管理下にある第二の部分モデルの精度やロバスト性の向上が期待できる。

また上述の追加学習によって、第一の部分モデル、第二の部分モデルが複数作成されてもよいし、複数の部分モデルを適宜組み合わせて利用してもよい。

［変形例２］
上述の学習処理においては、出力層を含み構成される部分モデルが第一の情報処理装置にある場合と、第二の情報処理装置にある場合について説明をした。

本変形例では、推論モデルの出力に応じて、出力層を含む部分モデルを推論モデルのユーザ側の情報処理装置におくか、推論モデルの提供者側におくかを設定する構成について説明をする。

例えば、推論モデルの出力が、入力データの高解像度化等の入力された学習データと同等の出力を行う場合には、出力層を含む推論モデルを推論モデルのユーザ側の情報処理装置に置く。一方で、出力が、医用データをクラス分類や検出を行う推論モデルの場合には、出力層を含む推論モデルを推論モデルの提供者側の情報処理装置に置く。推論モデルの出力に応じて、部分モデルを構成することで、マシンリソースや、医用データの秘匿性のバランスをとりながら学習処理を実施することができる。尚、推論モデルの出力に応じた部分モデルを構成することは、推論処理においても有効である。例えば、複数の第一のモデルから、推論対象の医用データに応じて、第一の推論を行う第一の部分モデルが選択されてもよいし、複数の第二の部分モデルから、推論対象の医用データに応じて、第二の推論を行う第二の分類モデルが選択されてもよい。

［変形例３］
上述の学習処理においては、誤差逆伝播法を用いて推論モデルの学習処理を行った場合を説明した。

本変形例では、推論モデルの学習処理において、誤差逆伝播法以外の学習方法で学習処理を行う場合について説明する。

例えば、得られるであろう勾配を各層毎に推定するモデルを学習するＳｙｎｔｈｅｔｉｃ Ｇｒａｄｉｅｎｔのような手法や、誤差を逆伝搬する際に固定のランダム行列を使うＦｅｅｄｂａｃｋ Ａｌｉｇｎｍｅｎｔのような手法、誤差ではなく目標を伝搬させていくＴａｒｇｅｔ Ｐｒｏｐのような手法でもよいし、その他どのような手法でもよい。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (19)

1. 推論対象のデータを取得する第一の情報処理装置と、該第一の情報処理装置とネットワークを介して通信可能な第二の情報処理装置と、を備え、入力層、中間層及び出力層から構成されるニューラルネットワークに基づく学習済みの推論モデルを用いて、前記第一の情報処理装置が取得した推論対象のデータの推論処理を行う情報処理システムであって、
   前記第一の情報処理装置は、前記入力層と、前記中間層の一部の中間層とで構成される第一の部分モデルを用いて、前記推論対象のデータに対して第一の推論処理を行う第一の推論部を有し、
   前記第二の情報処理装置は、前記学習済みの推論モデルのうち前記第一の部分モデルを構成する層と異なる層から構成される第二の部分モデルを用いて、前記第一の推論処理が行われた結果を入力として第二の推論処理を行う第二の推論部を有することを特徴とする情報処理システム。
2. 前記第一の推論部は、前記第一の部分モデルを構成する前記中間層からの出力を第二の情報処理装置へ出力することを特徴とする請求項１に記載の情報処理システム。
3. 前記第一の情報処理装置は、さらに推論結果取得部を有し、
   該推論結果取得部は、前記第二の推論部による推論結果を取得することを特徴とする請求項１または２に記載の情報処理システム。
4. 前記第二の情報処理装置における、前記第二の部分モデルが前記出力層を含み、前記第二の推論部は、該第二の部分モデルによる第二の推論を実施することを特徴とする請求項１乃至３のいずれか一項に記載の情報処理システム。
5. 前記第二の情報処理装置における、前記第二の部分モデルが、前記中間層のうち第一の推論モデルを構成する中間層とは異なる中間層を含み、前記第二の推論部は、該第二の部分モデルによる第二の推論を実施することを特徴とする請求項３に記載の情報処理システム。
6. 前記第一の情報処理装置は、前記中間層のうち第一の推論モデルを構成する中間層とは異なる中間層を含む第二の部分モデルを構成する中間層からの出力を取得し、
   前記第二の部分モデルからの出力を、出力層を含む第三の部分モデルを用いた第三の推論を実施する第三の推論部を有することを特徴とする請求項５に記載の情報処理システム。
7. 前記第二の推論部は、複数の第二の部分モデルを有し、前記推論対象の医用データに応じた第二の部分モデルを用いて第二の推論を行うことを特徴とする請求項１乃至６のいずれか一項に記載の情報処理システム。
8. 前記第一の推論部は、複数の第一の部分モデルを有し、前記推論対象のデータに応じた第一の部分モデルを用いて第一の推論を行うことを特徴とする請求項１乃至７のいずれか一項に記載の情報処理システム。
9. 前記複数の第二の部分モデルのそれぞれは、前記第一の部分モデルのパラメータを固定した追加学習により生成される部分モデルであることを特徴とする請求項７に記載の情報処理システム。
10. 前記複数の第一の部分モデルのそれぞれは、前記第二の部分モデルのパラメータを固定した追加学習により生成される部分モデルであることを特徴とする請求項８に記載の情報処理システム。
11. 前記第一の部分モデルが前記推論モデルのユーザに公開用のネットワークであり、
    前記第二の部分モデルが該ユーザに秘匿用のネットワークであることを特徴とすることを特徴とする請求項１乃至１０のいずれか一項に記載の情報処理システム。
12. 前記第一の情報処理装置が、前記推論モデルのユーザによって操作される情報処理装置であることを特徴とする請求項１乃至１１のいずれか一項に記載の情報処理システム。
13. 前記推論対象のデータが、医用データであることを特徴とする請求項１乃至１２のいずれか一項に記載の情報処理システム。
14. 推論対象の医用データを取得する取得部と、
    医用データに対して推論処理を行う、入力層、中間層および出力層から構成されるニューラルネットワークに基づく学習済みの推論モデルのうち、
    前記入力層と、前記中間層のうち少なくとも一部の中間層とで構成される第一の部分モデルを用いて、前記推論対象の医用データに対して該推論処理のうち第一の推論処理を実施する第一の推論部と、
    前記第一の推論処理による第一の推論結果を、前記推論処理のうち前記第一の部分モデルを構成する層と異なる層から構成される第二の部分モデルを有する他の情報処理装置へと出力する出力部と、
    を有することを特徴とする情報処理装置。
15. 医用データに対して推論処理を行う、入力層、中間層および出力層から構成されるニューラルネットワークに基づく学習済みの推論モデルのうち、前記入力層と、前記中間層のうち少なくとも一部の中間層とで構成される第一の部分モデルを用いた、前記推論対象の医用データに対する該推論処理のうち、第一の推論処理の結果を、他の情報処理装置より取得する取得部と、
    前記取得された前記第一の推論結果を入力として、前記推論処理のうち前記第一の部分モデルを構成する層と異なる層から構成される第二の部分モデルを用いて、第二の推論処理を実施する第二の推論部と、
    を有することを特徴とする情報処理装置。
16. 推論対象の医用データを取得する取得ステップと、
    医用データに対して推論処理を行う、入力層、中間層および出力層から構成されるニューラルネットワークに基づく学習済みの推論モデルのうち、
    前記入力層と、前記中間層のうち少なくとも一部の中間層とで構成される第一の部分モデルを用いて、前記推論対象の医用データに対して該推論処理のうち第一の推論処理を実施する第一の推論ステップと、
    前記第一の推論処理による第一の推論結果を、前記推論処理のうち前記第一の部分モデルを構成する層と異なる層から構成される第二の部分モデルを有する他の情報処理装置へと出力する出力ステップと、
    を有することを特徴とする情報処理方法。
17. 医用データに対して推論処理を行う、入力層、中間層および出力層から構成されるニューラルネットワークに基づく学習済みの推論モデルのうち、前記入力層と、前記中間層のうち少なくとも一部の中間層とで構成される第一の部分モデルを用いた、前記推論対象の医用データに対する該推論処理のうち、第一の推論処理の結果を、他の情報処理装置より取得する取得ステップと、
    前記取得された前記第一の推論結果を入力として、前記推論処理のうち前記第一の部分モデルを構成する層と異なる層から構成される第二の部分モデルを用いて、第二の推論処理を実施する第二の推論ステップと、
    を有することを特徴とする情報処理方法。
18. 請求項１６または請求項１７に記載の情報処理方法をコンピュータで実行するためのプログラム。
19. 第一の情報処理装置と、該第一の情報処理装置とネットワークを介して通信可能な第二の情報処理装置とから構成される情報処理システムであって、
    ニューラルネットワークは中間層において第一のニューラルネットワークと第二のニューラルネットワークから構成され、前記第一のニューラルネットワークは前記第一の情報処理装置に記憶され、前記第二のニューラルネットワークは前記第二の情報処理装置に記憶されており、
    推論対象のデータに対して、前記第一の情報処理装置に記憶されている前記第一のニューラルネットワークと前記第二の情報処理装置に記憶されている前記第二のニューラルネットワークを用いて推論処理が行われることを特徴とする情報処理システム。

Images