JP2022129062A - 情報処理システム、情報処理装置、情報処理方法およびプログラム - Google Patents
情報処理システム、情報処理装置、情報処理方法およびプログラム Download PDFInfo
- Publication number
- JP2022129062A JP2022129062A JP2021027607A JP2021027607A JP2022129062A JP 2022129062 A JP2022129062 A JP 2022129062A JP 2021027607 A JP2021027607 A JP 2021027607A JP 2021027607 A JP2021027607 A JP 2021027607A JP 2022129062 A JP2022129062 A JP 2022129062A
- Authority
- JP
- Japan
- Prior art keywords
- inference
- information processing
- model
- processing device
- partial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 221
- 238000003672 processing method Methods 0.000 title claims abstract description 7
- 238000012545 processing Methods 0.000 claims abstract description 59
- 238000000034 method Methods 0.000 claims description 99
- 230000008569 process Effects 0.000 claims description 84
- 238000013528 artificial neural network Methods 0.000 claims description 20
- 238000010586 diagram Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 210000002569 neuron Anatomy 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 240000008415 Lactuca sativa Species 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 235000012045 salad Nutrition 0.000 description 1
- 238000002603 single-photon emission computed tomography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Computer Hardware Design (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Security & Cryptography (AREA)
- Bioethics (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Primary Health Care (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Epidemiology (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
【課題】推論対象のデータのプライバシーを保護しつつ、推論対象のデータに対して推論を行う推論モデルの秘匿性を担保する情報処理システム、情報処理装置、情報処理方法、およびプログラムを提供する。【解決手段】情報処理システム1は、推論対象のデータを取得する第一の情報処理装置2と、第二の情報処理装置3と、を備える。第一の情報処理装置2は、入力層と、中間層の一部の中間層とで構成される第一の部分モデルを用いて、推論対象のデータに対して第一の推論処理を行う第一の推論部12を有する。第二の情報処理装置3は、学習済みの推論モデルのうち第一の部分モデルを構成する層と異なる層から構成される第二の部分モデルを用いて、第一の推論処理が行われた結果を入力として第二の推論処理を行う第二の推論部71を有する。【選択図】図1
Description
本発明は、推論モデルを用いて推論処理を行う情報処理システム、情報処理装置、情報処理方法、およびプログラムに関する。
医用撮像装置(モダリティ)によって取得された医用画像や医療情報システムから取得した医用情報などの医用データに対して機械学習技術を適用し、所定の疾患に関する推論(疾患検出、良悪性鑑別、予後予測、リスク予測など)を行うシステムが知られている。
非特許文献1には、画像を入力すると、画像圧縮をローカルにある第一の情報処理装置で実施し、圧縮結果をリモートのクラウドサービスにある第二の情報処理装置に転送して疾患のセグメンテーションを実施する技術が開示されている。
非特許文献2には、医用画像を入力としてエンコーダ・デコーダからなるモデルを学習し、推論モデル(エンコーダ部)を使用して特徴抽出を実施する技術が開示されている。
Zihao Liu et al.,"Orchestrating Medical Image Compression and Remote Segmentation Networks",International Conference on Medical Image Computing and Computer-Assisted Intervention-MICCAI2020.
Behzad Bozorgtabar et al.,"SALAD: Self-Supervised Aggregation Learning for Anomaly Detection on X-Rays",International Conference on Medical Image Computing and Computer-Assisted Intervention-MICCAI2020.
非特許文献1に記載の技術では、医用画像のセグメンテーションを実施する際に、推論対象のデータである医用画像をクラウドサービスに送信することになる。この場合、医用画像等の推論対象のデータを病院内から外部の情報処理装置に送信するため、推論対象のデータのプライバシーを保護することが難しい。
また一方で非特許文献2に記載の技術のように、推論を行うユーザが管理する情報処理装置に、推論モデルをビルドする場合には、ユーザが推論モデルを複製し、第三者への頒布することや、推論モデルを改変する等の不正利用を防止することが難しいため、推論モデルの秘匿性を担保することができない。
本発明は、推論対象のデータのプライバシーを保護しつつ、該推論対象のデータに対して推論を行う推論モデルの秘匿性を担保することができる情報処理システム、情報処理方法およびプログラムを提供することを目的とする。
上記課題を解決するため、本発明の一態様による情報処理システムは、推論対象のデータを取得する第一の情報処理装置と、該第一の情報処理装置とネットワークを介して通信可能な第二の情報処理装置と、を備え、入力層、中間層及び出力層から構成されるニューラルネットワークに基づく学習済みの推論モデルを用いて、前記第一の情報処理装置が取得した推論対象のデータの推論処理を行う情報処理システムであって、前記第一の情報処理装置は、前記入力層と、前記中間層の一部の中間層とで構成される第一の部分モデルを用いて、前記推論対象のデータに対して第一の推論処理を行う第一の推論部を有し、前記第二の情報処理装置は、前記学習済みの推論モデルのうち前記第一の部分モデルを構成する層と異なる層から構成される第二の部分モデルを用いて、前記第一の推論処理が行われた結果を入力として第二の推論処理を行う第二の推論部を有する。
本発明によれば、推論対象のデータのプライバシーを保護しつつ、該推論対象のデータに対して推論を行う推論モデルの秘匿性を担保することができる。
本発明は、モダリティで取得した生データ(信号データ)や、生データから画像再構成によって生成された診断用の医用画像データ等の医用データに対して、好ましく適用できる。モダリティは、例えば、X線CT装置、MRI装置、SPECT装置、PET装置、心電計を含む。なお、推論対象のデータおよび教師データは、医用データのみならず、患者のプライバシーに関連する、年齢や性別、疾患情報等の情報も対象としてもよい。
以下、本発明の情報処理システムにおける推論モデルによる推論工程に関して、第1の実施形態および第2の実施形態で説明をする。また第3の実施形態および第4の実施形態において、本発明の情報処理システムにおける推論モデルの学習工程に関して説明をする。なお、後述するが、推論工程において用いられる推論モデルは、本発明の第3の実施形態および第4の実施形態の学習工程を経て生成される推論モデルに限らない。推論工程において用いられる推論モデルは、公知の手法もしくは、本発明に記載する学習工程によって機械学習や深層学習に基づいて学習された学習済みの推論モデルである。ここで学習済みの推論モデルとは、所定の条件を満たすように学習処理が実施されていればよく、学習済みの推論モデルを、追加学習や、転移学習、ファインチューニング等の対象として用いてもよい。故に、公知の手法において学習した学習済みの推論モデルの追加学習として、後述する学習工程による学習処理が実施されてもよいし、その逆の手順で学習処理が実施されてもよい。
以下、添付図面を参照して本発明の好適な実施形態について説明する。
[第1の実施形態]
ここで、図1を用いて、本発明の情報処理システム1について説明をする。本発明における情報処理システム1は、第一の情報処理装置2と第二の情報処理装置3と、両情報処理装置を通信可能に接続するネットワーク4から構成される。
ここで、図1を用いて、本発明の情報処理システム1について説明をする。本発明における情報処理システム1は、第一の情報処理装置2と第二の情報処理装置3と、両情報処理装置を通信可能に接続するネットワーク4から構成される。
ここで、図2を参照しながら、本発明における情報処理システム1の構成について説明をする。情報処理システム1は、第一の情報処理装置2および第二の情報処理装置3から構成される。第一の情報処理装置2および第二の情報処理装置3は、推論対象の医用データに対して、推論処理をし、実行結果を出力する推論モデルの一部である部分モデルをそれぞれ有している。ここでの推論モデルとは、入力層、中間層、出力層から構成されるニューラルネットワークに基づく学習済みのモデルである。学習処理によって、推論結果を出力するためのパラメータを決定し、該パラメータとネットワークモデルとを対にしたモデルを推論モデルとして定義する。
第一の情報処理装置2は、上述した学習済みの推論モデルのうち、入力層と、中間層のうちすくなくとも一部の中間層とで構成される第一の部分モデルを用いて第一の推論処理を実行し、第二の情報処理装置3は、上述した学習済みの推論モデルのうち、第一の部分モデルとは異なる層から構成される第二の部分モデルを用いて第二の推論を実行する。以下、各情報処理装置の構成について説明をする。
ここで第一の情報処理装置2は、推論対象の医用データを管理する権限を有した推論モデルのユーザである、例えば医療従事者が操作できる情報処理装置である。一方、第二の情報処理装置3は、推論に用いる推論モデルを管理する権限を有したモデルの提供者が保有する情報処理装置である。第二の情報処理装置3は、第一の情報処理装置2の外部のサーバに存在し、ネットワーク4を介して通信可能に構成されている。
第一の情報処理装置2は、推論対象の医用データを取得する取得部11と、医用データに対して推論処理を行う、入力層、中間層および出力層から構成されるニューラルネットワークに基づく学習済みの推論モデルのうち、入力層と、中間層のうち少なくとも一部の中間層とで構成される第一の部分モデルを用いて、前記推論対象の医用データに対して該推論処理のうち第一の推論処理を実施する第一の推論部12と、第一の推論処理による第一の推論結果を、前記推論処理のうち前記第一の部分モデルを構成する層と異なる層から構成される第二の部分モデルを有する他の情報処理装置である第二の情報処理装置3へと出力する出力部13とを含み構成される。
また第一の情報処理装置2は、学習済みの推論モデルの一部である第一の部分モデルや、推論対象の医用データを記憶する記憶部10を有する。また他の情報処理装置である第二の情報処理装置3による第二の推論の結果を取得する推論結果取得部14と、取得した推論結果を表示装置に表示させるための表示制御部15を有する。
(記憶部10)
記憶部10は、学習済みの推論モデルの入力層を含む第一の部分モデルや、推論対象の医用データを記憶する。記憶部10は、第一の部分モデルとして、該部分モデルに対応するネットワークと、ネットワークに対応する学習済みのパラメータを対応づけて記憶している。また、推論対象の医用データは、モダリティや外部の画像サーバから自動で転送された医用データでもよい。なお、学習済みの推論モデルの一部とは、ある層から別の層までの連続した部分を指すが、これに限らず、あるニューロンから別のニューロンまでの連続した部分や、孤立したニューロンであってもよい。また、部分モデルは、学習済みの推論モデル中の隣接しない複数の部分であってもよい。
記憶部10は、学習済みの推論モデルの入力層を含む第一の部分モデルや、推論対象の医用データを記憶する。記憶部10は、第一の部分モデルとして、該部分モデルに対応するネットワークと、ネットワークに対応する学習済みのパラメータを対応づけて記憶している。また、推論対象の医用データは、モダリティや外部の画像サーバから自動で転送された医用データでもよい。なお、学習済みの推論モデルの一部とは、ある層から別の層までの連続した部分を指すが、これに限らず、あるニューロンから別のニューロンまでの連続した部分や、孤立したニューロンであってもよい。また、部分モデルは、学習済みの推論モデル中の隣接しない複数の部分であってもよい。
(取得部11)
取得部11は、推論対象の医用データを記憶部10から取得し、取得した推論対象の医用データを第一の推論部12に送信する。
取得部11は、推論対象の医用データを記憶部10から取得し、取得した推論対象の医用データを第一の推論部12に送信する。
(第一の推論部12)
第一の推論部12は、記憶部10から第一の部分モデルを取得し、推論対象の医用データに対して、第一の部分モデルによる第一の推論を実施する。第一の部分モデルによる第一の推論結果を出力部13に送信する。本実施形態においては、第一の部分モデルは、学習済みの推論モデルのうち、入力層と、中間層のうちすくなくとも一部の中間層とで構成される第一の部分モデルであり、出力部13へは中間層からの出力を送信する。ここで中間層の出力とは、テンソルの情報であり、推論モデルがCNNに基づくモデルである場合には、該出力は特徴マップである。
第一の推論部12は、記憶部10から第一の部分モデルを取得し、推論対象の医用データに対して、第一の部分モデルによる第一の推論を実施する。第一の部分モデルによる第一の推論結果を出力部13に送信する。本実施形態においては、第一の部分モデルは、学習済みの推論モデルのうち、入力層と、中間層のうちすくなくとも一部の中間層とで構成される第一の部分モデルであり、出力部13へは中間層からの出力を送信する。ここで中間層の出力とは、テンソルの情報であり、推論モデルがCNNに基づくモデルである場合には、該出力は特徴マップである。
(出力部13)
出力部13は、他の情報処理装置である第二の情報処理装置3に、第一の推論結果を送信する。また推論モデルが複数ある場合は、第一の推論に用いた部分モデルが対応する推論モデルの情報を第二の情報処理装置に出力をする。
出力部13は、他の情報処理装置である第二の情報処理装置3に、第一の推論結果を送信する。また推論モデルが複数ある場合は、第一の推論に用いた部分モデルが対応する推論モデルの情報を第二の情報処理装置に出力をする。
(推論結果取得部14)
推論結果取得部14は、第二の情報処理装置3から推論対象の医用画像データに対する第二の推論処理の推論結果を取得する。推論結果取得部14は、推論結果を取得すると、表示制御部15に送信をする。
推論結果取得部14は、第二の情報処理装置3から推論対象の医用画像データに対する第二の推論処理の推論結果を取得する。推論結果取得部14は、推論結果を取得すると、表示制御部15に送信をする。
(表示制御部15)
表示制御部15は、推論結果取得部14で取得した推論結果を表示装置に表示する制御を行う。表示装置は、情報処理装置に付属するディスプレイや外部サーバを経由した病院関係者のモバイル端末等である。
表示制御部15は、推論結果取得部14で取得した推論結果を表示装置に表示する制御を行う。表示装置は、情報処理装置に付属するディスプレイや外部サーバを経由した病院関係者のモバイル端末等である。
ここで、第一の情報処理装置2は、プロセッサ、メモリ、ストレージなどを備えたコンピュータにより構成してもよい。この場合、ストレージに格納されたプログラムをメモリにロードし、当該プログラムをプロセッサが実行することにより、記憶部10、取得部11、第一の推論部12、出力部13、推論結果取得部14、表示制御部15などの機能および処理が実現される。ただしこの構成に限らず、例えば、第一の情報処理装置2の構成の全部又は一部を、専用に設計されたプロセッサ(ASICなど)又はFPGAにより実現してもよい。あるいは、演算処理の一部をGPUやDSPなどのプロセッサで実行してもよい。また、第一の情報処理装置2は、単一のハードウェアで構成されていてもよいし、複数のハードウェアで構成されていてもよい。例えば、クラウドコンピューティングや分散コンピューティングを利用し、複数のコンピュータが協働して第一の情報処理装置2の機能および処理を実現してもよい。
図3は、第一の情報処理装置2の具体的な構成の一例を示している。この例では、ローカル情報処理装置2が、CPU20、GPU21、RAM22、ROM23、記憶装置24を有しており、これらがシステムバス25で接続されている。また、ローカル情報処理装置2には、表示装置26と、マウスやキーボードなどの入力装置27とが接続されている。
第一の情報処理装置2は、上述のように構成されることで、医用データの管理者である推論モデルのユーザは、推論対象の医用データを、外部の情報処理装置に送信する必要はなく、医用データのプライバシーを保護することができる。また推論モデルの提供者は、推論モデルの一部のみを第一の情報処理装置2に搭載することで、推論モデルの秘匿性を担保することができる。
一方、第二の情報処理装置3は、第一の情報処理装置2の外部のサーバに存在し、医用データに対して推論処理を行う、入力層、中間層および出力層から構成されるニューラルネットワークに基づく学習済みの推論モデルのうち、入力層と、中間層のうち少なくとも一部の中間層とで構成される第一の部分モデルを用いた、前記推論対象の医用データに対する該学習済みの推論モデルのうち、第一の推論処理の結果を入力として、前記推論処理のうち、第一の部分モデルを構成する層と異なる層から構成される第二の部分モデルを用いて、第二の推論処理を実施する第二の推論部71から構成される。また第二の情報処理装置は3、第二の部分モデルを記憶する記憶部70を有する。
本実施形態において、第二の部分モデルは、学習済みの推論モデルのうち、第一の推論モデルを構成する中間層と異なる中間層と、出力層とから構成される。なお、上述の部分モデルのネットワーク構成は、一例であり、部分モデルの数や情報処理装置の数は適宜変更可能である。
(記憶部70)
記憶部70は、第二の部分モデルに対応するネットワークと、ネットワークに対応する学習済みのパラメータを対応づけて記憶している。なお部分モデルとは、ある層から別の層までの連続した部分を指すが、これに限らず、あるニューロンから別のニューロンまでの連続した部分や、孤立したニューロンであってもよい。また、部分モデルは、推論モデル中の隣接しない複数の部分であってもよい。
記憶部70は、第二の部分モデルに対応するネットワークと、ネットワークに対応する学習済みのパラメータを対応づけて記憶している。なお部分モデルとは、ある層から別の層までの連続した部分を指すが、これに限らず、あるニューロンから別のニューロンまでの連続した部分や、孤立したニューロンであってもよい。また、部分モデルは、推論モデル中の隣接しない複数の部分であってもよい。
(第二の推論部71)
第二の推論部12は、記憶部10から第二の部分モデルを取得し、推論対象の医用データに対して、第二の部分モデルによる第二の推論を実施する。そして、第二の推論による推論結果を第一の情報処理装置2に送信する。ここで、学習済みの推論モデルの選択情報が第一の情報処理装置2から取得された場合には、該当する学習済みの推論モデルに対応する第二の部分モデルを取得し、第二の推論を実施する。ここで、本実施形態においては、第二の部分モデルが出力層を有するモデルであるため、第二の情報処理装置において、推論結果が出力される。他方で、第二の部分モデルが中間層のみから構成され、該中間層による出力を、第一の情報処理装置2に送信してもよい。
第二の推論部12は、記憶部10から第二の部分モデルを取得し、推論対象の医用データに対して、第二の部分モデルによる第二の推論を実施する。そして、第二の推論による推論結果を第一の情報処理装置2に送信する。ここで、学習済みの推論モデルの選択情報が第一の情報処理装置2から取得された場合には、該当する学習済みの推論モデルに対応する第二の部分モデルを取得し、第二の推論を実施する。ここで、本実施形態においては、第二の部分モデルが出力層を有するモデルであるため、第二の情報処理装置において、推論結果が出力される。他方で、第二の部分モデルが中間層のみから構成され、該中間層による出力を、第一の情報処理装置2に送信してもよい。
第二の情報処理装置3は、上述のように構成されることで、推論モデルの提供者は、学習済みの推論モデルの一部のみを第一の情報処理装置2に搭載し、学習済みの推論モデルの一部を自身が保有・管理する情報処理装置3内に留めておくことができ、推論モデルの秘匿性を担保することができる。
上述した、第一の情報処理装置2および第二の情報処理装置3から構成される情報処理システムによって、推論対象の医用データのプライバシーを保護しつつ、該推論対象の医用データに対して推論を行う推論モデルの秘匿性を担保することができる。
ここで、図4を用いて、本実施形態における情報処理システム1による推論工程について説明をする。
ステップS40において、第一の情報処理装置2における取得部11は、推論対象の医用データを取得する。取得部11は、推論対象の医用データを取得すると、取得した推論対象の医用データを第一の推論部12へ送信し、次のステップへ処理を進める。
ステップS41において、第一の情報処理装置2における第一の推論部12は、入力層と、中間層のうち少なくとも一部の中間層とで構成される第一の部分モデルを用いて、推論対象の医用データに対して、第一の推論処理を実行する。第一の推論部12は、第一の推論処理の実行後、第一の推論処理による推論結果を出力部13へ送信し、次のステップへ処理を進める。
ステップS42において、第一の情報処理装置2における出力部13は、第一の推論による推論結果を第二の情報処理装置2へ出力し、次のステップへ処理を進める。
ステップS43において、第二の情報処理装置3における第二の推論部71は、第一の部分モデルを構成する層と異なる層から構成される第二の部分モデルを用いて、第二の推論処理を実施する。本実施形態において、第二の部分モデルは、推論モデルのうち、第一の部分モデルを構成する中間層とは異なる中間層を含み構成される。また第二の部分モデルは、さらに出力層を有し、推論対象の医用データに対して推論結果を出力する。第二の推論部71は、推論対象の医用データに対する推論結果を第一の情報処理装置2に送信すると次のステップへ処理を進める。
なお、第二の推論部71は、第二の推論処理による推論結果を記憶部70に記憶し、外部からのアクセスに応じて推論結果を提示してもよい。また出力先は、第一の情報処理装置2に限られず、指定された情報端末や、連絡先に該結果を送信してもよい。
ステップS44において、第一の情報処理装置2における推論結果取得部14は、第二の情報処理装置3の第二の推論部71より第二の推論結果を取得する。推論結果取得部14は、第二の推論結果を取得すると、表示制御部15へ第二の推論結果を送信し、次のステップへ処理を進める。
ステップS45において、表示制御部15は、推論対象の医用データに対する推論結果を表示装置25に表示させる。表示装置25に表示される推論結果は、推論対象の医用データに対して、第一の情報処理装置2と第二の情報処理装置3による一連の推論処理(第一の推論処理及び第二の推論処理)を行った推論結果である。
表示制御部15は、推論対象の医用データと、推論結果を対応付けて表示させてもよいし、該推論に用いられた推論モデルの情報等を表示してもよい。
よって、本情報処理システム1は、推論対象の医用データのプライバシーを保護しつつ、該推論対象の医用データに対して推論を行う推論モデルの秘匿性を担保しながらも、推論を実施することができる。
[第2の実施形態]
第1の実施形態では、医用データに対して推論処理を行う、入力層、中間層および出力層から構成されるニューラルネットワークに基づく学習済みの推論モデルのうち、入力層と、中間層の一部の中間層とで構成される第一の部分モデルを有する第一の情報処理装置2と、学習済みの推論モデルのうち、第一の部分モデルとは異なる層から構成される第二の部分モデルを有する第二の情報処理装置3から構成される情報処理システムについて説明をした。
第1の実施形態では、医用データに対して推論処理を行う、入力層、中間層および出力層から構成されるニューラルネットワークに基づく学習済みの推論モデルのうち、入力層と、中間層の一部の中間層とで構成される第一の部分モデルを有する第一の情報処理装置2と、学習済みの推論モデルのうち、第一の部分モデルとは異なる層から構成される第二の部分モデルを有する第二の情報処理装置3から構成される情報処理システムについて説明をした。
本実施形態では、第一の情報処理装置2が、出力層を含む第三の部分モデルを用いて推論を行う第三の推論部をさらに有し、第一の情報処理装置側に出力することができる情報処理システムの構成について図5を用いて説明をする。また図6を用いて、本実施形態における推論モデルについて説明する。
なお、ここでは特に第1の実施形態との差異について説明し、重複部分に関しては適宜割愛をして説明をする。
本実施形態における情報処理システム1は、第一の実施形態と同様に、第一の情報処理装置2、第二の情報処理装置3、それぞれの情報処理装置を通信可能に接続するネットワーク4から構成される。また情報処理システム1は、3つの部分モデルから構成される。
ユーザ側にある第一の情報処理装置2には、医用データに対して推論処理を行う、入力層、中間層および出力層から構成されるニューラルネットワークに基づく学習済みの推論モデルのうち、入力層と、中間層のうち一部の中間層とで構成される第一の部分モデルとさらに、中間層のうち一部の中間層と、出力層とで構成される第三の部分モデルを有する。
一方で、推論モデルの管理者側にある第二の情報処理装置3には、推論モデルの中間層のうち、第一の部分モデルの中間層と、第三の部分モデルの中間層との間の中間層のすくなくとも一部から構成される第二の部分モデルを有する。なお、部分モデルの数は可変であり、入力層を有する部分モデルと、出力層を有する部分モデルが、推論対象の医用データを管理する権限を有したユーザ側にある第一の情報処理装置2に備わっていればよい。また第一の情報処理装置2に関しても、ユーザ側で管理されている情報処理装置であれば、その数も問わない。
本情報処理システム1によって、推論対象の医用データのプライバシーを保護しながら、該医用データに対する推論モデルの秘匿性を担保できるだけでなく、推論結果に関してもユーザ側で出力されることになるため、推論結果に関するプライバシーに関しても保護することができる。
例えば、推論モデルが高画質化を実施するような場合には、出力層がユーザ側でない情報処理装置にあった場合に、推論対象の医用データを高画質化した画像が第二の情報処理装置3で生成されるため、医用データのプライバシーの保護が難しい。よって、出力層を有する部分モデルを第一の情報処理装置2が有し、該部分モデルを用いた推論を行うことで出力に対するプライバシーを保護できる。
本実施形態に係る情報処理装置1は、記憶部10、取得部11、第一の推論部12、出力部13、推論結果取得部14、表示制御部15と、さらに上述した第三の部分モデルを用いて、第三の推論を行う第三の推論部51を少なくとも有する。
また本実施形態に係る情報処理装置2は、記憶部70と、第二の推論部71とを含み構成される。なお、第二の推論部71で用いられる第二の部分モデルは、学習済みの推論モデルのうち、第一の部分モデルの中間層と、第三の部分モデルの中間層との間にある中間層から構成されるネットワークから構成される。
以下、図7を用いて、本実施形態における推論工程について説明する。
ステップS42までは、実施形態1と同様のフローのため説明を割愛する。
ステップS73において、第二の情報処理装置3は、第一の推論部12による推論結果を入力として、第二の部分モデルを用いて第二の推論を実施する。第二の部分モデルは、学習済みの推論モデルのうち、第一の部分モデルの中間層と、第三の部分モデルの中間層との間にある中間層から構成されるネットワークから構成される。第二の推論部71は、第二の推論の結果として、第二の部分モデルによる中間層からの出力を第一の情報処理装置に送信すると、次のステップへ処理を進める。
ステップS74において、第一の情報処理装置2における第三の推論部51は、第二の推論結果を入力として、第三の部分モデルを用いた第三の推論を行う。第三の推論部51は、第三の推論の結果を推論結果取得部14へ送信し、次のステップへ処理を進める。
ステップS75において、推論結果取得部14は、第三の推論結果を推論対象の医用データに対する推論結果として取得し、取得した推論結果を表示制御部15へ送信する。
ステップS45は説明を省略するが、表示装置25に表示される推論結果は、推論対象の医用データに対して、第一の情報処理装置2と第二の情報処理装置3による一連の推論処理(第一の推論処理、第二の推論処理及び第三の推論処理)を行った推論結果である。
本実施形態によって、推論対象の医用データのプライバシーを保護しながら、該医用データに対する推論モデルの秘匿性を担保できるだけでなく、推論結果に関するプライバシーも保護しながら推論処理を実施することができる。
以下、第3の実施形態および第4の実施形態において、本発明における推論モデルの学習工程に関して説明をする。なお、上述までの推論工程において用いられる推論モデルは、第3の実施形態、第4の実施形態の学習工程を経て生成される推論モデルに限られない。また、以降の実施形態における推論モデルとは、学習処理がされていない推論モデルであっても、学習処理がされた学習済みの推論モデルであってもよい。
[第3の実施形態]
第3の実施形態において、図8を用いて、本発明の情報処理システム800を学習する構成について説明をする。情報処理システム800は、推論モデルのユーザ側の情報処理装置である第一の情報処理装置900と、推論モデルの提供者側の情報処理装置である第二の情報処理装置1000と、情報処理装置間をつなぐネットワーク1100から構成される。また図9を用いて、それぞれの情報処理装置に対応する推論モデルのネットワーク構成について説明をする。
第3の実施形態において、図8を用いて、本発明の情報処理システム800を学習する構成について説明をする。情報処理システム800は、推論モデルのユーザ側の情報処理装置である第一の情報処理装置900と、推論モデルの提供者側の情報処理装置である第二の情報処理装置1000と、情報処理装置間をつなぐネットワーク1100から構成される。また図9を用いて、それぞれの情報処理装置に対応する推論モデルのネットワーク構成について説明をする。
第一の情報処理装置900は、医用データに対して推論処理を行う、入力層、中間層および出力層から構成されるニューラルネットワークに基づく推論モデルのうち、該入力層と、該中間層のうち少なくとも一部の中間層とで構成される第一の部分モデルを有する。また第二の情報処理装置1000は、推論モデルのうち第一の部分モデルを構成する層と異なる層から構成される第二の部分モデルを有する第二の部分モデルと有する。また本実施形態において、第二の部分モデルは、中間層の一部と、出力層とから構成される部分モデルである。このように、入力層を含む第一の部分モデルを、ユーザ側の第一の情報処理装置900に設け、推論モデルの一部である第二の部分モデルを推論モデルの提供者側の第二の情報処理装置1000に設けることによって、医用データのプライバシーを保護しながら推論モデルの秘匿性を担保した上で、推論モデルの学習処理を実施することができる。またここで、第一の部分モデルは、公開用のネットワークとして、第二の部分モデルが秘匿用のネットワークとして構成されてもよい。モデルの提供者は、第二の部分モデルを秘匿用のネットワークとすることで、さらに推論モデルの秘匿性を高めることができる。
第一の情報処理装置900は、教師データや、推論モデルの情報を記憶する記憶部901を有する。さらに、記憶部900から教師データを取得する教師データ取得部902と、取得した教師データに基づいて、第一の部分モデルを学習する第一の学習部903とを含み構成される。なお、記憶部900は、推論モデルのユーザが管理する記憶装置等によって構成されてもよい。また第一の学習部903は、第一の部分モデルの学習処理が完了すると、記憶部901に学習済みの第一の部分モデルの情報を記憶する。
第二の情報処理装置1000は、推論モデルの情報を記憶する記憶部1001と、第二の部分モデルを学習する第二の学習部1002とを有する。
ここで、学習部が行う学習処理とは、教師データを部分モデルに順伝播させ、誤差逆伝播法によって取得した誤差情報を用いて、部分モデルのパラメータを更新することを指す。また教師データとは、学習データと正解ラベルから構成され、学習データは例えば医用画像データで、正解ラベルは、該医用画像データに写り込んでいる対象を示す情報である。また正解ラベルは、画素ごとに写り込んでいる対象が何かを示した正解画像データとして設定されてもよい。また第一の情報処理装置900は、第二の情報処理装置900に対して、モデルの選択情報を送信することで、第一の部分モデルと第二の部分モデルのすくなくとも一方が複数存在する場合においても、適切なモデルを選択することができる。
以下、図10のフローチャートを用いて、本実施形態における情報処理システム800の学習工程の一例について説明をする。
ステップS50において、教師データ取得部902は、学習データと正解ラベルが対になった教師データを記憶部901より取得する。教師データ取得部902は、学習データの情報を第一の学習部903へと送信し、正解ラベルを第二の情報処理装置1000へ送信すると次のステップへと処理を進める。
ステップS51において、第一の学習部903は、教師データ取得部902から送信された学習データと、記憶部901から第一の部分モデルの情報を取得する。ここで、第一の学習部903は、第二の情報処理装置1000へ、取得した第一の部分モデルを示す情報を送信してもよい。
ステップS52において、第二の学習部1002は、記憶部1001から第二の部分モデルの情報と、教師データ取得部902から正解ラベルの情報とを取得する。
ステップS53において、第一の学習部903は、学習データを第一の部分モデルへ入力して順伝播させ、学習工程の一部である第一の学習処理を実施する。第一の学習処理が終了すると、第一の学習処理によって生成されたデータ、例えばテンソルを、第二の学習部1002へと送信する。
ステップS54において、第二の学習部1002は、第一の学習部903から送信されたパラメータを第二の部分モデルへ入力し順伝播させ、学習工程の一部である第二の学習処理を実施する。
ステップS55において、第二の学習部1002は、出力層をネットワーク構成に含む第二の部分モデルによる順伝播による第二の部分モデルの出力と、正解ラベルとを比較し、損失関数を用いて誤差の情報を取得する。また第二の学習部1002は、ここで、学習が完了したか否かを判定する。第二の学習部1002は、算出した誤差の情報が、所定の値未満であるか、もしくは所定回数学習処理を実施したか等によって、当該学習処理の終了を判定する。第二の学習部1002によって、学習処理の終了と判定された場合には、フローを終了する。一方で、学習処理の継続が判定された場合には、ステップS56へと処理を進める。尚、ステップS55は、第一の学習処理の開始前に第一の学習部903によって判定されてもよい。
ステップS56において、第二の学習部1002は、ステップS55において算出した誤差の情報に基づいて、第二の部分モデルのパラメータを更新する。ここで、パラメータとは、例えば重みやバイアスを指す。そして、誤差情報を逆伝播(誤差逆伝播法)によって、出力層側に近い中間層から、入力層側へと誤差の情報を伝達する。第二の学習部1002は、第二の部分モデルを構成する入力層側に近い中間層からの誤差情報を、第一の学習部903へと送信すると次のステップへと処理を進める。
ステップS57において、第一の学習部903は、第二の学習部1002から送信された誤差情報に基づいて、第一の部分モデルのパラメータを更新する。第一の部分モデルのパラメータを更新すると、ステップS53へと処理を進める。尚、ステップS55で説明をしたように、第一の学習部903がこのタイミングで、学習処理の終了を判定してもよい。
本発明における情報処理システム800は、このように構成されることで、医用データのプライバシーおよび推論モデルの秘匿性を担保しつつ、推論モデルの学習を行うことができる。なお、部分モデルの数は2つに限定されず、入力層を含む部分モデルが推論モデルのユーザ側の情報処理装置にあれば、本発明を適用可能である。また、推論モデルが複数ある場合には、複数の推論モデルのそれぞれに対応する部分モデルを選択する情報を第一の学習部903から、第二の学習部1002へと送信してもよい。部分モデルの選択は、ユーザによって選択されてもよいし、入力データに応じて情報処理装置によって選択されてもよい。
[第4の実施形態]
第3の実施形態では、入力層と、中間層のうち少なくとも一部の中間層とで構成される第一の部分モデルを第一の情報処理装置が有し、第一の部分モデルとは異なる層から構成される第二の部分モデルを第二の情報処理装置が有する情報処理システムにおける学習処理に関して説明をした。
第3の実施形態では、入力層と、中間層のうち少なくとも一部の中間層とで構成される第一の部分モデルを第一の情報処理装置が有し、第一の部分モデルとは異なる層から構成される第二の部分モデルを第二の情報処理装置が有する情報処理システムにおける学習処理に関して説明をした。
本実施形態では、さらに、少なくとも第一の部分モデルと第二の部分モデルとは異なる中間層と、出力層とを含み構成される第三の部分モデルを第一の情報処理装置が有する情報処理システムの学習について図11を用いて説明をする。また本実施形態における推論モデルのネットワーク構成について図12を用いて説明をする。尚、第三の実施形態との重複部分に関しては、適宜説明を省略して説明をする。
本実施形態にかかる情報処理システム1200は、推論モデルのユーザ側の情報処理装置である第一の情報処理装置1300と、推論モデルの提供者側の情報処理装置である第二の情報処理装置1400と、情報処理装置間をつなぐネットワーク1100から構成される。
第一の情報処理装置1300は、医用データに対して推論処理を行う、入力層、中間層および出力層から構成されるニューラルネットワークに基づく推論モデルのうち、該入力層と、該中間層のうち少なくとも一部の中間層とで構成される第一の部分モデルを有する。さらに、第一の情報処理装置1300は、推論モデルのうち、すくなくとも出力層を含む第三の部分モデルを有する。
第二の情報処理装置1400は、推論モデルの中間層のうち、すくなくとも一部の中間層から構成される第二の部分モデルを有する。
本実施形態の構成によって、さらに出力層を構成に含む第三の部分モデルを第一の情報処理装置1300が有することで、教師データを構成する、学習データおよび正解ラベルを第二の情報処理装置1400に送信しなくとも推論モデルの学習処理を実施することができる。さらに、推論モデルの提供者は、推論モデルを構成する中間層のうち、少なくとも一部の中間層を含む第二の部分モデルを有することによって、推論モデルの秘匿性を担保することができる。尚、本実施形態は、入力層を含む部分モデルと、出力層を含む部分モデルが第一の情報処理装置1300にあれば、部分モデルの数や情報処理装置の数等は、適宜設計可能である。
第一の情報処理装置1300は、教師データや、推論モデルの情報を記憶する記憶部1301を有する。また記憶部1301から教師データを取得する教師データ取得部902と、取得した教師データに基づいて、第一の部分モデルを学習する第一の学習部1303と、第三の部分モデルを学習する第三の学習部と、を含み構成される。
第二の情報処理装置1400は、推論モデルの情報を記憶する記憶部1001と、第二の部分モデルを学習する第二の学習部とを含み構成される。
ここで、学習処理とは、教師データを構成する学習データを部分モデルに順伝播させ、正解ラベルと出力層による出力値との誤差情報を逆伝播(誤差逆伝播法)することで、部分モデルのパラメータを更新する一連の処理を示す。また教師データは、学習データと正解ラベルから構成される。
以下、図13のフローチャートを用いて、本実施形態における情報処理システム800の学習工程の一例について説明をする。尚、ここでは、図10との特に差分について説明をする。
ステップS130において、第三の学習部1304は、記憶部1301より第三の部分モデルの情報と、教師データ取得部1302より、正解ラベルの情報を取得する。
ステップS132において、第二の学習部1402は、第一の学習部903から送信されたパラメータを第二の部分モデルへ入力し順伝播させ、学習工程の一部である第二の学習処理を実施する。
ステップS133において、第三の学習部1304は、第二の学習部1402から送信されたパラメータを第三の部分モデルへ入力し順伝播させ、学習工程の一部である第三の学習処理を実施する。
ステップS134において、第三の学習部1304は、出力層をネットワーク構成に含む第三の部分モデルによる順伝播による第三の部分モデルの出力と、正解ラベルとを比較し、損失関数を用いて誤差の情報を取得する。また第三の学習部1304は、ここで、学習が完了したか否かを判定する。第三の学習部1304は、学習の完了を、算出した誤差の情報が、所定の値未満であるか、もしくは所定回数の学習処理を実施したか等によって、当該学習処理の終了を判定する。第三の学習部1304によって、学習処理の終了と判定された場合には、フローを終了する。一方で、第三の学習部1304によって学習処理の継続が判定された場合には、ステップS53へと処理を進める。尚、ステップS134における学習処理の終了判定は、第一の学習処理の開始前に第一の学習部1303によって判定されてもよい。
ステップS135において、第三の学習部1304は、ステップS134において算出した誤差の情報に基づいて、第三の部分モデルのパラメータを更新する。ここで、パラメータとは、例えば重みやバイアスを指す。第三の学習部1304は、誤差情報を逆伝播によって、出力層側に近い中間層から、入力層側へと誤差の情報を伝達する。第三の学習部1304は、第三の部分モデルを構成する入力層側に近い中間層からの誤差情報を、第二の学習部1402へと送信すると次のステップへと処理を進める。
ステップS136において、第二の学習部1402は、第三の学習部1304から送信された誤差の情報に基づいて、第二の部分モデルのパラメータを更新する。第二の学習部1402は、誤差情報を逆伝播によって、出力層側に近い中間層から、入力層側へと誤差の情報を伝達し、入力層側に近い中間層からの出力を第一の学習部1303へと送信すると次のステップへと処理を進める。
ステップS137において、第一の学習部1303は、第二の学習部1402から送信された誤差情報に基づいて、第一の部分モデルのパラメータを更新する。第一の部分モデルのパラメータを更新すると、ステップS53へと処理を進める。尚、ステップS134で説明をしたように、第一の学習部1303がこのタイミングで、学習処理の終了を判定してもよい。
本発明における情報処理システム1200は、このように構成されることで、医用データのプライバシーおよび推論モデルの秘匿性を担保しつつ、推論モデルの学習処理を行うことができる。さらに教師データを構成する学習データおよび正解ラベルを推論モデルのユーザ側の情報処理装置から送信する必要がなく、より医用データの秘匿性を担保できる。
なお、第3の実施形態および第4の実施形態によって、学習された推論モデルを第1の実施形態および第2の実施形態における推論処理を行う推論モデルとしてもよい。また、推論処理を行う推論モデルの追加学習の手法としても第3および第4の学習処理は有効である。
[変形例1]
本変形例は、第3の実施形態および第4の実施形態において、適用が可能である。上述の学習処理においては、推論モデルを構成する部分モデルのパラメータを更新する学習処理について説明をしたが、一部の部分モデルのみのパラメータの更新を目的とした追加学習を実施してもよい。例えば、第二の部分モデルのパラメータを固定し、第一の部分モデルのパラメータを更新することや、第一の部分モデルのパラメータを固定し、第二の部分モデルのパラメータを更新することが挙げられる。
本変形例は、第3の実施形態および第4の実施形態において、適用が可能である。上述の学習処理においては、推論モデルを構成する部分モデルのパラメータを更新する学習処理について説明をしたが、一部の部分モデルのみのパラメータの更新を目的とした追加学習を実施してもよい。例えば、第二の部分モデルのパラメータを固定し、第一の部分モデルのパラメータを更新することや、第一の部分モデルのパラメータを固定し、第二の部分モデルのパラメータを更新することが挙げられる。
第一の学習部903が第一の部分モデルのパラメータを更新し、第二の学習部1002が第二の部分モデルのパラメータを更新しない場合には、推論モデルのユーザにとって、第一の部分モデルを、自身が入力したいデータ等に応じてカスタマイズした学習処理をすることができる。例えば、第一の学習部903が第一の部分モデルに対して医用データを取得するモダリティの特性や、特定の撮影範囲等に特化した追加学習を行い、一方で、モデルの提供者にとって意図しないモデルの改変を防ぐ効果がある。
第二の学習部1002が第二の部分モデルのパラメータを更新し、第一の学習部903が第一の部分モデルのパラメータを更新しない場合には、推論モデルの提供者の管理下にある第二の部分モデルの精度やロバスト性の向上が期待できる。
また上述の追加学習によって、第一の部分モデル、第二の部分モデルが複数作成されてもよいし、複数の部分モデルを適宜組み合わせて利用してもよい。
[変形例2]
上述の学習処理においては、出力層を含み構成される部分モデルが第一の情報処理装置にある場合と、第二の情報処理装置にある場合について説明をした。
上述の学習処理においては、出力層を含み構成される部分モデルが第一の情報処理装置にある場合と、第二の情報処理装置にある場合について説明をした。
本変形例では、推論モデルの出力に応じて、出力層を含む部分モデルを推論モデルのユーザ側の情報処理装置におくか、推論モデルの提供者側におくかを設定する構成について説明をする。
例えば、推論モデルの出力が、入力データの高解像度化等の入力された学習データと同等の出力を行う場合には、出力層を含む推論モデルを推論モデルのユーザ側の情報処理装置に置く。一方で、出力が、医用データをクラス分類や検出を行う推論モデルの場合には、出力層を含む推論モデルを推論モデルの提供者側の情報処理装置に置く。推論モデルの出力に応じて、部分モデルを構成することで、マシンリソースや、医用データの秘匿性のバランスをとりながら学習処理を実施することができる。尚、推論モデルの出力に応じた部分モデルを構成することは、推論処理においても有効である。例えば、複数の第一のモデルから、推論対象の医用データに応じて、第一の推論を行う第一の部分モデルが選択されてもよいし、複数の第二の部分モデルから、推論対象の医用データに応じて、第二の推論を行う第二の分類モデルが選択されてもよい。
[変形例3]
上述の学習処理においては、誤差逆伝播法を用いて推論モデルの学習処理を行った場合を説明した。
上述の学習処理においては、誤差逆伝播法を用いて推論モデルの学習処理を行った場合を説明した。
本変形例では、推論モデルの学習処理において、誤差逆伝播法以外の学習方法で学習処理を行う場合について説明する。
例えば、得られるであろう勾配を各層毎に推定するモデルを学習するSynthetic Gradientのような手法や、誤差を逆伝搬する際に固定のランダム行列を使うFeedback Alignmentのような手法、誤差ではなく目標を伝搬させていくTarget Propのような手法でもよいし、その他どのような手法でもよい。
(その他の実施例)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (19)
- 推論対象のデータを取得する第一の情報処理装置と、該第一の情報処理装置とネットワークを介して通信可能な第二の情報処理装置と、を備え、入力層、中間層及び出力層から構成されるニューラルネットワークに基づく学習済みの推論モデルを用いて、前記第一の情報処理装置が取得した推論対象のデータの推論処理を行う情報処理システムであって、
前記第一の情報処理装置は、前記入力層と、前記中間層の一部の中間層とで構成される第一の部分モデルを用いて、前記推論対象のデータに対して第一の推論処理を行う第一の推論部を有し、
前記第二の情報処理装置は、前記学習済みの推論モデルのうち前記第一の部分モデルを構成する層と異なる層から構成される第二の部分モデルを用いて、前記第一の推論処理が行われた結果を入力として第二の推論処理を行う第二の推論部を有することを特徴とする情報処理システム。 - 前記第一の推論部は、前記第一の部分モデルを構成する前記中間層からの出力を第二の情報処理装置へ出力することを特徴とする請求項1に記載の情報処理システム。
- 前記第一の情報処理装置は、さらに推論結果取得部を有し、
該推論結果取得部は、前記第二の推論部による推論結果を取得することを特徴とする請求項1または2に記載の情報処理システム。 - 前記第二の情報処理装置における、前記第二の部分モデルが前記出力層を含み、前記第二の推論部は、該第二の部分モデルによる第二の推論を実施することを特徴とする請求項1乃至3のいずれか一項に記載の情報処理システム。
- 前記第二の情報処理装置における、前記第二の部分モデルが、前記中間層のうち第一の推論モデルを構成する中間層とは異なる中間層を含み、前記第二の推論部は、該第二の部分モデルによる第二の推論を実施することを特徴とする請求項3に記載の情報処理システム。
- 前記第一の情報処理装置は、前記中間層のうち第一の推論モデルを構成する中間層とは異なる中間層を含む第二の部分モデルを構成する中間層からの出力を取得し、
前記第二の部分モデルからの出力を、出力層を含む第三の部分モデルを用いた第三の推論を実施する第三の推論部を有することを特徴とする請求項5に記載の情報処理システム。 - 前記第二の推論部は、複数の第二の部分モデルを有し、前記推論対象の医用データに応じた第二の部分モデルを用いて第二の推論を行うことを特徴とする請求項1乃至6のいずれか一項に記載の情報処理システム。
- 前記第一の推論部は、複数の第一の部分モデルを有し、前記推論対象のデータに応じた第一の部分モデルを用いて第一の推論を行うことを特徴とする請求項1乃至7のいずれか一項に記載の情報処理システム。
- 前記複数の第二の部分モデルのそれぞれは、前記第一の部分モデルのパラメータを固定した追加学習により生成される部分モデルであることを特徴とする請求項7に記載の情報処理システム。
- 前記複数の第一の部分モデルのそれぞれは、前記第二の部分モデルのパラメータを固定した追加学習により生成される部分モデルであることを特徴とする請求項8に記載の情報処理システム。
- 前記第一の部分モデルが前記推論モデルのユーザに公開用のネットワークであり、
前記第二の部分モデルが該ユーザに秘匿用のネットワークであることを特徴とすることを特徴とする請求項1乃至10のいずれか一項に記載の情報処理システム。 - 前記第一の情報処理装置が、前記推論モデルのユーザによって操作される情報処理装置であることを特徴とする請求項1乃至11のいずれか一項に記載の情報処理システム。
- 前記推論対象のデータが、医用データであることを特徴とする請求項1乃至12のいずれか一項に記載の情報処理システム。
- 推論対象の医用データを取得する取得部と、
医用データに対して推論処理を行う、入力層、中間層および出力層から構成されるニューラルネットワークに基づく学習済みの推論モデルのうち、
前記入力層と、前記中間層のうち少なくとも一部の中間層とで構成される第一の部分モデルを用いて、前記推論対象の医用データに対して該推論処理のうち第一の推論処理を実施する第一の推論部と、
前記第一の推論処理による第一の推論結果を、前記推論処理のうち前記第一の部分モデルを構成する層と異なる層から構成される第二の部分モデルを有する他の情報処理装置へと出力する出力部と、
を有することを特徴とする情報処理装置。 - 医用データに対して推論処理を行う、入力層、中間層および出力層から構成されるニューラルネットワークに基づく学習済みの推論モデルのうち、前記入力層と、前記中間層のうち少なくとも一部の中間層とで構成される第一の部分モデルを用いた、前記推論対象の医用データに対する該推論処理のうち、第一の推論処理の結果を、他の情報処理装置より取得する取得部と、
前記取得された前記第一の推論結果を入力として、前記推論処理のうち前記第一の部分モデルを構成する層と異なる層から構成される第二の部分モデルを用いて、第二の推論処理を実施する第二の推論部と、
を有することを特徴とする情報処理装置。 - 推論対象の医用データを取得する取得ステップと、
医用データに対して推論処理を行う、入力層、中間層および出力層から構成されるニューラルネットワークに基づく学習済みの推論モデルのうち、
前記入力層と、前記中間層のうち少なくとも一部の中間層とで構成される第一の部分モデルを用いて、前記推論対象の医用データに対して該推論処理のうち第一の推論処理を実施する第一の推論ステップと、
前記第一の推論処理による第一の推論結果を、前記推論処理のうち前記第一の部分モデルを構成する層と異なる層から構成される第二の部分モデルを有する他の情報処理装置へと出力する出力ステップと、
を有することを特徴とする情報処理方法。 - 医用データに対して推論処理を行う、入力層、中間層および出力層から構成されるニューラルネットワークに基づく学習済みの推論モデルのうち、前記入力層と、前記中間層のうち少なくとも一部の中間層とで構成される第一の部分モデルを用いた、前記推論対象の医用データに対する該推論処理のうち、第一の推論処理の結果を、他の情報処理装置より取得する取得ステップと、
前記取得された前記第一の推論結果を入力として、前記推論処理のうち前記第一の部分モデルを構成する層と異なる層から構成される第二の部分モデルを用いて、第二の推論処理を実施する第二の推論ステップと、
を有することを特徴とする情報処理方法。 - 請求項16または請求項17に記載の情報処理方法をコンピュータで実行するためのプログラム。
- 第一の情報処理装置と、該第一の情報処理装置とネットワークを介して通信可能な第二の情報処理装置とから構成される情報処理システムであって、
ニューラルネットワークは中間層において第一のニューラルネットワークと第二のニューラルネットワークから構成され、前記第一のニューラルネットワークは前記第一の情報処理装置に記憶され、前記第二のニューラルネットワークは前記第二の情報処理装置に記憶されており、
推論対象のデータに対して、前記第一の情報処理装置に記憶されている前記第一のニューラルネットワークと前記第二の情報処理装置に記憶されている前記第二のニューラルネットワークを用いて推論処理が行われることを特徴とする情報処理システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021027607A JP2022129062A (ja) | 2021-02-24 | 2021-02-24 | 情報処理システム、情報処理装置、情報処理方法およびプログラム |
PCT/JP2022/006263 WO2022181425A1 (ja) | 2021-02-24 | 2022-02-16 | 情報処理システム、情報処理装置、情報処理方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021027607A JP2022129062A (ja) | 2021-02-24 | 2021-02-24 | 情報処理システム、情報処理装置、情報処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022129062A true JP2022129062A (ja) | 2022-09-05 |
JP2022129062A5 JP2022129062A5 (ja) | 2024-02-28 |
Family
ID=83049320
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021027607A Pending JP2022129062A (ja) | 2021-02-24 | 2021-02-24 | 情報処理システム、情報処理装置、情報処理方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2022129062A (ja) |
WO (1) | WO2022181425A1 (ja) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180129900A1 (en) * | 2016-11-04 | 2018-05-10 | Siemens Healthcare Gmbh | Anonymous and Secure Classification Using a Deep Learning Network |
JP6802819B2 (ja) * | 2018-03-06 | 2020-12-23 | Kddi株式会社 | 学習装置、情報処理システム、学習方法、及びプログラム |
US11568257B2 (en) * | 2019-05-20 | 2023-01-31 | Vmware, Inc. | Secure cloud-based machine learning without sending original data to the cloud |
-
2021
- 2021-02-24 JP JP2021027607A patent/JP2022129062A/ja active Pending
-
2022
- 2022-02-16 WO PCT/JP2022/006263 patent/WO2022181425A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2022181425A1 (ja) | 2022-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20180144244A1 (en) | Distributed clinical workflow training of deep learning neural networks | |
US20170330319A1 (en) | Multiple landmark detection in medical images based on hierarchical feature learning and end-to-end training | |
CN108784655A (zh) | 针对医疗患者的快速评估和后果分析 | |
CN110537204A (zh) | 使用分割和分类神经网络的可泛化医学图像分析 | |
US11669729B2 (en) | Model training method and apparatus | |
US20180157928A1 (en) | Image analytics platform for medical data using expert knowledge models | |
JP7066385B2 (ja) | 情報処理方法、情報処理装置、情報処理システム及びプログラム | |
JP7033202B2 (ja) | 医用画像処理装置及び方法、機械学習システム、プログラム並びに記憶媒体 | |
US20200185086A1 (en) | Accelerating human understanding of medical images by dynamic image alteration | |
US20220375610A1 (en) | Multi-Variable Heatmaps for Computer-Aided Diagnostic Models | |
JP6894001B2 (ja) | 診断支援装置、内視鏡装置、管理装置、診断支援方法、管理方法、診断支援プログラム、及び管理プログラム | |
CN114223006A (zh) | 使用机器学习模型来诊断皮肤状况 | |
JP2020198041A (ja) | 訓練装置、訓練方法、推定装置及びプログラム | |
Zeghlache et al. | Longitudinal self-supervised learning using neural ordinary differential equation | |
WO2022181425A1 (ja) | 情報処理システム、情報処理装置、情報処理方法およびプログラム | |
WO2022181426A1 (ja) | 情報処理システム、情報処理装置、情報処理方法およびプログラム | |
JP6220435B2 (ja) | 診断支援装置及びその制御方法 | |
JP2018005317A (ja) | 医療データ処理装置、端末装置、情報処理方法、およびシステム | |
JP2023009569A (ja) | 情報処理システム、情報処理装置、情報処理方法およびプログラム | |
JP7485512B2 (ja) | 医用情報処理装置、医用情報処理方法、及び医用情報処理プログラム | |
US20220068480A1 (en) | Systems and methods for predicting and improving the healthcare decisions of a patient via predictive modeling | |
US20240054327A1 (en) | Information processing system | |
JP2023075681A (ja) | 情報処理システム及び情報処理方法 | |
Li et al. | Structural connectivity guided sparse effective connectivity for MCI identification | |
JP2020190913A (ja) | 読影支援装置および読影支援方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240219 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240219 |