JP2022174740A - 学習支援システムおよび学習支援方法 - Google Patents

学習支援システムおよび学習支援方法 Download PDF

Info

Publication number
JP2022174740A
JP2022174740A JP2022077581A JP2022077581A JP2022174740A JP 2022174740 A JP2022174740 A JP 2022174740A JP 2022077581 A JP2022077581 A JP 2022077581A JP 2022077581 A JP2022077581 A JP 2022077581A JP 2022174740 A JP2022174740 A JP 2022174740A
Authority
JP
Japan
Prior art keywords
learning
information
image
transfer
support system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022077581A
Other languages
English (en)
Inventor
周平 山本
Shuhei Yamamoto
隆二 澤田
Ryuji Sawada
啓晃 津島
Hiroaki Tsushima
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Publication of JP2022174740A publication Critical patent/JP2022174740A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

【課題】既存の学習済モデルを用いて転移学習を行う際に、転移学習に適した学習済モデルの選択を容易化することが可能な学習支援システムおよび学習支援方法を提供する。【解決手段】この学習支援システム100は、表示部21と、複数の学習済モデル50と、複数の学習済モデル50の各々の学習内容に関する情報60とを記憶する記憶部12と、複数の学習済モデル50のうちから、転移学習の処理に供する少なくとも1つの学習対象の選択を受け付ける制御部11と、を備える。制御部11は、複数の学習済モデル50を、複数の学習済モデル50の各々の学習内容に関する情報60とともに選択可能に表示する選択受付画面110を表示部21に表示させる制御を行う。【選択図】図1

Description

本発明は、学習支援システムおよび学習支援方法に関する。
従来、機械学習により作成された学習済モデルを用いて画像に対して画像処理を行う技術が開示されている(たとえば、特許文献1参照)。
上記特許文献1では、ホログラフィック顕微鏡で取得されたホログラムデータに基づいて作成される細胞画像に対して、機械学習により作成された学習済モデルを用いて、細胞に関連するセグメンテーション処理を行う技術が開示されている。機械学習は、実測により得られた細胞画像と、その細胞画像における領域(セグメンテーションによって区分すべき領域)を異なる表示色等で区分けして表した正解画像とが、学習データとして用いられる。
再公表特許WO2019/171453号
上記特許文献1には開示されていないが、機械学習を効率的に行う手法として、転移学習またはファインチューニングと呼ばれる学習手法が知られている。転移学習は、これから学習させたい学習データとは異なるデータによって事前に学習された学習済モデルに対して、学習データによる機械学習を行う手法である。この学習手法では、事前学習による学習の成果を機械学習に適用(転用)することによって、無学習の状態から学習を開始する場合と比較して学習効率を向上させることが期待される。研究開発等の過程では様々な学習済モデルが作成されることがあるため、過去に作成された学習済モデルを転移学習用の資源として活用できる点にもメリットがある。
しかし、学習済モデルの事前学習の学習内容によっては、転移学習による学習結果に差異が生じる。たとえば事前学習の学習内容が、転移学習による学習内容と乖離する場合、学習内容が近い場合と比べて学習済モデルの性能が低下したり、学習効率が低下したりすることがある。しかし、転移学習を行う際に、既存の学習済モデルの学習内容を1つ1つ調査することは煩雑であるため、転移学習に用いるのに適した学習済モデルの選択が困難であるという課題がある。
この発明は、上記のような課題を解決するためになされたものであり、この発明の1つの目的は、既存の学習済モデルを用いて転移学習を行う際に、転移学習に適した学習済モデルの選択を容易化することが可能な学習支援システムおよび学習支援方法を提供することである。
上記目的を達成するために、この発明の第1の局面における学習支援システムは、既存の学習済モデルに対して、細胞画像に対する画像処理の転移学習を行うための学習支援システムであって、表示部と、複数の学習済モデルと、複数の学習済モデルの各々の学習内容に関する情報とを記憶する記憶部と、複数の学習済モデルのうちから、転移学習の処理に供する少なくとも1つの学習対象の選択を受け付ける制御部と、を備え、制御部は、複数の学習済モデルを、複数の学習済モデルの各々の学習内容に関する情報とともに選択可能に表示する選択受付画面を表示部に表示させる制御を行う。
この発明の第2の局面における、学習支援方法は、既存の学習済モデルに対して、細胞画像に対する画像処理の転移学習を行うための学習支援方法であって、複数の学習済モデルと、複数の学習済モデルの各々の学習内容に関する情報とを取得するステップと、複数の学習済モデルを、複数の学習済モデルの各々の学習内容に関する情報とともに選択可能に表示する選択受付画面を表示するステップと、選択受付画面に表示された複数の学習済モデルのうちから、転移学習の処理に供する少なくとも1つの学習対象の選択を受け付けるステップと、を備える。
この発明の第3の局面における学習支援システムは、既存の学習済モデルに対して、画像に対する画像処理の転移学習を行うための学習支援システムであって、表示部と、複数の学習済モデルと、複数の学習済モデルの各々の学習内容に関する情報とを記憶する記憶部と、複数の学習済モデルのうちから、転移学習の処理に供する少なくとも1つの学習対象の選択を受け付ける制御部と、を備え、制御部は、複数の学習済モデルを、複数の学習済モデルの各々の学習内容に関する情報とともに選択可能に表示する選択受付画面を表示部に表示させる制御を行う。
なお、転移学習とファインチューニングとは、厳密な定義は異なるが、事前に学習された学習済モデルに対して機械学習を行う手法である点で共通する。そのため、本明細書における「転移学習」は、ファインチューニングを含む広い概念を意味するものとする。
上記第1の局面における学習支援システム、第2の局面おける学習支援方法、および第3の局面における学習支援システムでは、複数の学習済モデルを、複数の学習済モデルの各々の学習内容に関する情報とともに選択可能に表示する選択受付画面を表示させる。これにより、転移学習に用いる学習済モデルを選択する際、ユーザは、選択受付画面において、複数の学習済モデルの学習内容に関する情報を対比することができる。対比により、ユーザは、これから実施する転移学習の学習内容に近い事前学習が行われている学習済モデルを、容易に把握できる。その結果、既存の学習済モデルを用いて転移学習を行う際に、転移学習に適した学習済モデルの選択を容易化することができる。
第1実施形態による学習支援システムの概要を説明するためのブロック図である。 撮像部およびコンピュータの構成を説明するためのブロック図である。 サーバの構成を説明するためのブロック図である。 学習済みモデルによる画像処理の一例を示した図である。 画像処理される細胞画像と、画像処理後の処理画像とを示した模式図である。 通常の機械学習(事前学習)を説明するための模式図である。 転移学習を説明するための模式図である。 選択受付画面の一例を説明するための図である。 選択受付画面に代表画像を表示している状態を示した図である。 選択受付画面に学習曲線のグラフと、学習対象に推薦される学習済モデルとを表示している状態を示した図である。 学習支援システムの学習処理の流れを説明するためのフロー図である。 データセット登録画面の一例を示した図である。 学習設定画面の一例を示した図である。 学習結果画面の一例を示した図である。 学習モデル表示画面の一例を示した図である。 第2実施形態による学習支援システムの概要を説明するためのブロック図である。 画像処理されるX線画像(A)と、画像処理後の処理画像(B)とを示した模式図である。 事前学習と転移学習とを説明するための模式図である。 画像処理されるX線画像(A)と、実施例による画像処理後の処理画像(B)と、比較例による画像処理後の処理画像(C)と、を示した模式図である。 学習支援システムの第1の変形例を示したブロック図である。 学習支援システムの第2の変形例を示したブロック図である。
以下、本発明を具体化した実施形態を図面に基づいて説明する。
[第1実施形態]
図1~図10を参照して、第1実施形態による学習支援システムの構成および学習支援方法について説明する。
(学習支援システム)
図1に示す学習支援システム100は、既存の学習済モデル50に対して、細胞画像81に対する画像処理の転移学習を行うための学習支援システムである。具体的には、学習支援システム100は、ユーザが転移学習に用いる学習済モデル50を選択する際に、選択を容易化することが可能な情報提供を行うシステムである。
転移学習は、学習支援システム100が実行してもよいし、学習支援システム100と組み合わせて利用される学習システムが実行してもよい。第1実施形態では、学習支援システム100は、既存の学習済モデル50に対して、細胞画像81に対する画像処理の転移学習を行う機能を備えており、学習システムとしても機能する。
既存の学習済モデル50から、転移学習によって生成された学習済モデル(以下、転移学習済モデル55という、図3参照)は、細胞画像81に対する画像処理に用いられる。
転移学習済モデル55(図3参照)を用いた画像処理は、学習支援システム100が実行してもよいし、学習支援システム100と組み合わせて利用される画像処理システムが実行してもよい。第1実施形態では、学習支援システム100は、転移学習済モデル55を用いて細胞画像81に対する画像処理を行う機能を備えており、画像処理システムとしても機能する。
学習支援システム100は、少なくとも、表示部21と、記憶部12と、制御部11と、を備えている。
表示部21は、学習支援システム100のユーザに対して情報表示を行う。表示部21は、たとえば液晶表示装置である。表示部21は、エレクトロルミネッセンス表示装置、プロジェクタ、ヘッドマウントディスプレイなどでありうる。
記憶部12は、情報を記憶する装置である。記憶部12は、複数の学習済モデル50と、複数の学習済モデル50の各々の学習内容に関する情報60とを記憶する。記憶部12は、不揮発性記憶装置を含む。不揮発性記憶装置は、たとえば、ハードディスクドライブ、ソリッドステートドライブなどである。
制御部11は、複数の学習済モデル50のうちから、転移学習の処理に供する少なくとも1つの学習対象の選択を受け付けるように構成されている。選択を受け付けた学習済モデル50について、転移学習が実行される。制御部11は、CPU(Central Processing Unit)、FPGA(Field-Programmable Gate Array)、ASIC(Aplication Specific Integrated Circuit)などのプロセッサを含む。プロセッサが、所定のプログラムを実行することにより、学習支援システム100の制御部11としての演算処理が行われる。
制御部11は、複数の学習済モデル50を、複数の学習済モデル50の各々の学習内容に関する情報60とともに選択可能に表示する選択受付画面110を表示部21に表示させる制御を行うように構成されている。学習支援システム100のユーザは、表示部21から、選択受付画面110に表示された情報を取得する。ユーザは、選択受付画面110において、転移学習の処理に供する少なくとも1つの学習対象の選択を実行する。
図1では、クライアントサーバモデルで構築された学習支援システム100の例を示している。学習支援システム100は、サーバ10と、コンピュータ20と、撮像装置30とを含む。サーバ10と、コンピュータ20と、撮像装置30とは、ネットワーク40を介して相互に通信可能に接続されている。
図1の構成例では、表示部21は、コンピュータ20に接続された表示装置であり、コンピュータ20の制御の下、画面表示を行う。制御部11および記憶部12は、サーバ10に設けられている。
コンピュータ20は、ユーザが操作するクライアント端末であり、サーバ10に対して各種処理の要求を送信する。コンピュータ20は、撮像装置30により撮像された細胞画像81を撮像装置30から取得し、取得した細胞画像81を表示部21に表示することができる。コンピュータ20(および表示部21)は、学習支援システム100において1つまたは複数設けられ得る。
サーバ10は、コンピュータ20からのリクエスト(処理要求)に応じて、各種の情報処理を行う。
サーバ10(制御部11)は、コンピュータ20からのリクエストに応じて、選択受付画面110を表示するための情報を生成し、コンピュータ20へ送信する。情報を受信したコンピュータ20が、表示部21に選択受付画面110を表示させる。
サーバ10(制御部11)は、コンピュータ20からの学習済モデル50の選択に応じて、選択された学習済モデル50に対して、転移学習の処理を行う。転移学習の処理の結果、サーバ10(制御部11)は、転移学習済モデル55を作成する。
サーバ10(制御部11)は、コンピュータ20からのリクエストに応じて、細胞画像81に対して、転移学習済モデル55を用いた画像処理を行う。画像処理の結果、サーバ10(制御部11)は、細胞画像81の処理画像82を生成する。サーバ10(制御部11)は、生成した処理画像82をコンピュータ20へ送信する。情報を受信したコンピュータ20が、表示部21に処理画像82を表示させる。
撮像装置30は、細胞を撮像した細胞画像81を生成する。撮像装置30は、ネットワーク40を介して、コンピュータ20および/またはサーバ10に、生成した細胞画像81を送信できる。細胞画像81は、たとえば、細胞培養器具を用いて培養された培養細胞の画像である。撮像される細胞画像81は、顕微鏡画像である。撮像装置30は、明視野観察法、暗視野観察法、位相差観察法、微分干渉観察法などの撮影方法による画像化を行う。撮影方法に応じて、1種または複数種の撮像装置30が用いられる。学習支援システム100には、1つまたは複数の撮像装置30が設けられ得る。
ネットワーク40は、サーバ10と、コンピュータ20と、撮像装置30とを相互に通信可能に接続する。ネットワーク40は、たとえば施設内に構築されたLAN(Local Area Network)でありうる。ネットワーク40は、たとえばインターネットでありうる。ネットワーク40がインターネットである場合、学習支援システム100は、クラウドコンピューティングの形態で構築されるシステムでありうる。
(学習支援システムの具体的な装置構成)
次に、学習支援システム100の具体的な装置構成の一例について説明する。
図2に示す撮像装置30は、インライン型ホログラフィック顕微鏡である。撮像装置30は、レーザダイオードなどを含む光源部31とイメージセンサ32とを備える。撮像時には、光源部31とイメージセンサ32との間に、細胞コロニー(又は細胞単体)34を含む培養プレート33が配置される。撮像装置30は、細胞画像81であるIHM(In-line Holographic Microscopy)位相像を生成する。
コンピュータ20は、プロセッサ22と、記憶部23と、表示部21と、ユーザーインターフェイスである入力部24と、を備える。入力部24は、マウス、キーボードなどの入力装置を含む。
プロセッサ22は、記憶部23に記憶されたプログラムを実行することにより、撮像装置30の動作を制御するとともに撮像装置30で取得されたデータを処理するように構成されている。プロセッサ22は、撮像制御部22aと、細胞画像作成部22bとを機能ブロックとして含む。
プロセッサ22は、ユーザにより細胞コロニー34を含む培養プレート33が撮像装置30の所定位置にセットされ、入力部24を介して所定の操作を受け付けると、撮像制御部22aにより撮像装置30を制御してホログラムデータを取得する。
撮像装置30は、撮像制御部22aの制御に基づいて、光源部31からコヒーレント光を照射させる。撮像装置30は、培養プレート33および細胞コロニー34を透過した光と、培養プレート33上で細胞コロニー34の近傍領域を透過した光との干渉縞による像を、イメージセンサ32により取得する。イメージセンサ32は、ホログラムデータ(検出面上に形成されたホログラムの2次元的な光強度分布データ)を取得する。
細胞画像作成部22bは、撮像装置30により取得されたホログラムデータに対して、位相回復のための演算処理を実行することにより、位相情報を算出する。そして、細胞画像作成部22bは、算出された位相情報に基づいてIHM位相像(細胞画像81)を作成する。位相情報の算出やIHM位相像の作成手法は、公知の技術を利用することができるので、詳細な説明を省略する。
作成された細胞画像81は、記憶部23に記憶される。また、作成された細胞画像81は、プロセッサ22により、サーバ10(図1参照)に送信される。
(サーバ)
図3に示すように、サーバ10の制御部11は、学習部11aと、画面生成部11bと、画像処理部11cとを機能ブロックとして含む。サーバ10の記憶部12には、制御部11が実行するためのソフトウェア(プログラム)70と、学習済モデル50と、学習済モデル50の学習内容に関する情報60と、各種の画像データ80と、が記憶されている。
記憶部12は、事前学習によって作成された複数の学習済モデル50を記憶している。また、記憶部12は、転移学習によって作成された転移学習済モデル55も記憶する。記憶部12は、撮像装置30によって撮影された複数の細胞画像81を記憶している。たとえば、撮像装置30によって撮影された全ての細胞画像81が、自動的にサーバ10に送信され、記憶部12に記憶される。同様に、記憶部12は、細胞画像81から作成された教師ラベル画像86bを、元になった細胞画像81(入力画像86a)と関連付けて記憶する。機械学習(事前学習または転移学習)の実行時には、ユーザによって、記憶部12に記憶された画像データ80のうちから、学習データセットに含める入力画像86aおよび教師ラベル画像86bが選択される。記憶部12は、画像処理部11cにより、いずれかの学習済モデル(学習済モデル50または転移学習済モデル55)を用いて画像処理が行われた処理画像82についても記憶する。
記憶部12は、学習済モデル50の学習内容に関する情報60を、学習済モデル50および/または学習データ86に関連付けて記憶している。学習内容に関する情報60の一部は、たとえば、学習データ86として利用された細胞画像81に付与されたメタデータでありうる。そのような情報は、細胞画像81の生成時に、画像ファイルに自動的に付与されるか、またはユーザによって画像ファイルに記録されることにより、細胞画像81のデータの一部として記憶部12に記憶される。学習内容に関する情報60の一部は、たとえば、学習済モデル50のデータファイルに付与されたメタデータであって、事前学習の実行時に生成またはユーザによって登録されうる。学習内容に関する情報60には、たとえば、培養条件に関わる情報61、細胞画像81の撮影条件の情報62、学習済モデル50の性能評価指標63、を含む。これらの学習内容に関する情報60の詳細については、後述する。
〈学習部〉
学習部11aは、記憶部12に記憶された画像データ80を用いて、機械学習を行うように構成されている。学習部11aは、未学習の学習モデル51(図6参照)に対する機械学習(事前学習)の処理(図6参照)と、事前学習された既存の学習済モデル50に対する機械学習(転移学習)の処理(図7参照)と、を行う。
図4に示すように、学習済モデル50(図3参照)および転移学習済モデル55は、いずれも、機械学習により、入力された画像(細胞画像81、入力画像)に対して画像処理を施すことにより処理画像82を出力するように構成される。
第1実施形態では、画像処理は、細胞画像81のセグメンテーション処理を含む。本明細書において、「セグメンテーション処理」とは、入力画像を複数の領域に分割する処理であって、検出対象が写る領域にその検出対象を示すラベルを付与することにより、入力画像を複数のラベル領域に区分する処理である。ラベルは、画像部分が示す意味を表す情報である。ラベル領域とは、画像中で共通のラベルが付与された画素群によって構成される領域(画像の一部分)である。
図5に示すように、学習済モデル50は、入力された細胞画像81に対してセグメンテーション処理を行い、複数のラベル領域に分割した処理画像82を出力する。セグメンテーションは、画像中の1画素毎にラベルを付与することにより行われる。ラベルは、複数画素のまとまり(画素群)を単位として付与されてもよい。ラベルの種類のことを、クラスという。
図5では、セグメンテーション処理の一例として、細胞画像81の画像領域を、「細胞骨格」の領域と、「細胞核」の領域と、の2クラスに領域分割する例を示す。図示は省略するが、セグメンテーション処理の他の例は、たとえばiPS細胞やES細胞などの多能性幹細胞の画像(細胞画像)を、多能性を維持した細胞である「未分化細胞」領域、未分化状態を逸脱した細胞(分化が開始した細胞または分化しそうな細胞)である「未分化逸脱細胞」領域と、それら以外の「背景」領域と、の3クラスに領域分割する。このように、セグメンテーション処理では、作成される学習済モデル(転移学習済モデル55)の利用用途に応じて、クラス数や検出するラベル内容が異なりうる。
図6に示すように、学習済みモデルの機械学習法として、全層畳み込みニューラルネットワーク(FullyConvolutionalNetworks;FCN)、ニューラルネットワーク、サポートベクターマシン(SVM)、ブースティング等の任意の手法を用いることができる。学習済モデル50には、一例として、セマンティックセグメンテーションに頻用される畳み込みニューラルネットワークが用いられる。そのような学習済モデル50は、画像が入力される入力層、畳み込み層(中間層)、出力層を含んで構成される。
学習部11aは、記憶部12に記憶された画像データ80のうちから、学習用データセットを取得する。学習用データセットは、十分な数の学習データ86を含んで構成される。個々の学習データ86は、処理の対象となる入力画像86aと、教師ラベル画像86bと、を含む。入力画像86aは、図5に示した細胞画像81と同様であり、機械学習用に選択された細胞画像81である。教師ラベル画像86bは、入力画像86aに対する処理の結果、出力されるべき正解画像である。教師ラベル画像86bは、図5に示した処理画像82と同様の画像であり、機械学習用に予め作成されて記憶部12に記憶される。記憶部12に記憶された画像データ80のうち、学習用データセットにどの画像を用いるかは、ユーザによって選択される。
学習部11aは、学習モデル51または学習済モデル50に、入力画像86aを入力とし、教師ラベル画像86bを出力として、入力画像86aから教師ラベル画像86bへの変換処理(セグメンテーション処理)を学習させる。機械学習を行うことにより、セグメンテーション処理が可能な学習済モデル50が生成される。
図6に示すように、事前学習においては、未学習の学習モデル51に対して、第1の学習データセット85aを用いて機械学習が行われる。学習の結果、学習済モデル50が作成される。作成された学習済モデル50は、少なくとも中間層のパラメータが学習前から変化している。つまり、複数の学習データ86を用いた機械学習によって、中間層のパラメータの値が調整される。
図7に示すように、転移学習においては、事前学習によって作成された学習済モデル50に対して、第2の学習データセット85bを用いて機械学習が行われる。学習の結果、転移学習済モデル55(図3参照)が作成される。第2の学習データセット85bと第1の学習データセット85aとは、互いに異なる。つまり、第1の学習データセット85aに含まれる複数の学習データ86と、第2の学習データセット85bに含まれる複数の学習データ86とは、少なくとも一部が異なる。また、転移学習において、学習すべき画像処理の内容が、事前学習とは異なっていてもよい。たとえば多能性幹細胞の画像(細胞画像)に対して、「未分化細胞」領域と「未分化逸脱細胞」領域と、「背景」領域との3クラスのセグメンテーション処理を学習させた学習済モデル50に対して、「細胞骨格」領域と、「細胞核」領域と、の2クラスのセグメンテーション処理を転移学習させてもよい。
転移学習では、事前学習によって予め調整済みの中間層のパラメータを前提として、事前学習とは異なる学習データセット85bを用いて中間層のパラメータの再調整が行われることになる。このため、事前学習の学習内容と、転移学習の学習内容とに応じて、学習効率や学習成果に差異が生じる。概念的には、事前学習の学習データが属する母集団と、転移学習の学習データが属する母集団とが、近似しているほど、学習内容の重複する部分が多くなる。そのため、学習内容が近似しているほど、転移学習による目標性能に達するまでの学習量が低減されるか、または、転移学習により達成される転移学習済モデル55の性能を向上させることができると考えられる。
ただし、機械学習の処理において学習内容が近似しているか否かをユーザが判断するのは、容易ではない場合が少なくない。事前学習の学習内容と、転移学習の学習内容とを比較する際、たとえば同じ培養細胞を異なる日時で撮影した画像同士であれば近似していると容易に判別できるが、異なる種類の細胞を写した細胞画像同士や、異なる撮影方法で撮影された細胞画像同士では、学習内容が近似しているか否かを判断することは容易ではない。
そこで、第1実施形態の学習支援システム100は、図1に示したように、複数の学習済モデル50を、複数の学習済モデル50の各々の学習内容に関する情報60とともに選択可能に表示する選択受付画面110(図8参照)を表示部21に表示させる。
〈画面生成部〉
画面生成部11b(図3参照)は、図1に示すように、選択受付画面110を表示するための情報を生成する。画面生成部11bは、選択受付画面110に表示すべきコンテンツ、およびコンテンツのレイアウト情報などを生成して、コンピュータ20に送信する。これにより、選択受付画面110がコンピュータ20の表示部21に表示される。
図8は、選択受付画面110の一例を示す。選択受付画面110は、複数の学習済モデル50の名称と、学習内容に関する情報60を含む複数の学習済モデル50の各々についての表示情報とを、表形式(行列形式)で表示する。
選択受付画面110は、各行の項目として、複数の学習済モデル50を表示している。選択受付画面110は、各列の項目として、選択領域111、モデル表示領域112、情報表示領域113を含む。つまり、図8では、選択受付画面110の縦方向に、複数の学習済モデル50が並んで表示されている。選択受付画面110の横方向に、学習済モデル50の情報が項目ごとに表示されている。
選択領域111は、転移学習の処理に供する学習対象の選択を受け付けるように構成されている。選択領域111は、チェックボックスである。入力部24(図2参照)を介して選択領域111に対する入力操作が受け付けられると、その選択領域111の学習済モデル50が、転移学習の対象として選択される。選択済の選択領域111に対する同じ入力操作によって、選択の取り消しができる。なお、選択領域111において、複数の学習済モデル50を選択することが可能である。その場合、学習部11aは、選択された複数の学習済モデル50に対して、同じ転移学習を実施する。
モデル表示領域112は、学習済モデル50の名称を表示する表示領域である。名称は、学習済モデル50の作成時(機械学習時)に予め設定される。
情報表示領域113は、学習内容に関する情報60を表示する表示領域である。情報表示領域113は、複数の項目を含みうる。図8の例では、情報表示領域113は、性能評価指標表示欄113a、培養情報表示欄113b、撮影条件表示欄113c、を含んでいる。各欄には、学習内容に関する情報60が項目ごとに表示されている。
性能評価指標表示欄113aは、学習済モデル50の性能評価指標63(図3参照)を表示する表示欄である。性能評価指標63は、機械学習による学習済モデル50の性能評価に用いられる指標であれば、特に限定されない。性能評価指標63としては、たとえば、正確度(Accuracy)、精度(Precision)、検出率(recall)、IoU(Intersectional over Union)や、F値などが用いられ得る。図8の例では、性能評価指標表示欄113aは、正確度(Accuracy)を表示する表示項目114aと、IoUを表示する表示項目114bと、を含む。
このように、選択受付画面110は、複数の学習済モデル50の各々の性能評価指標63を表示するように構成されている。
培養情報表示欄113bは、培養条件に関わる情報61(図3参照)を表示する表示欄である。図8の例では、培養情報表示欄113bは、培養条件に関わる情報61として、細胞種の情報(細胞の種類)を表示する表示項目114cを含む。
細胞種の情報とは、学習済モデル50の機械学習(事前学習)に使用された学習用データセット(すなわち、第1の学習データセット85a)に含まれる細胞画像81に写る細胞の種類を示す情報である。細胞種は、図8に示したように、iPSC(iPS細胞)、MSC(間葉系幹細胞)、HUVEC(ヒト臍帯静脈内皮細胞)、CHO(チャイニーズハムスター卵巣細胞)、HeLa(ヒーラ細胞)などである。
培養条件に関わる情報61は、細胞種の他、たとえば、培養に用いた培地名、培養に用いた基質名、培養に用いた試薬名、継代数、培養日数(培養開始からの経過時間)、分化方向、ガス濃度(二酸化炭素濃度、酸素濃度)、温度、培養容器名、などを含む。分化方向は、未分化細胞が、どの分化細胞となるべく方向付けられているかを示す情報である。
撮影条件表示欄113cは、学習済モデル50の機械学習(事前学習)に使用した学習データセット(すなわち、第1の学習データセット85a)を構成する細胞画像81の撮影条件の情報62を表示する表示欄である。細胞画像81の撮影条件の情報62は、たとえば、画像サイズ(又はピクセル数)、撮像装置30の機種名、撮影方法、撮影倍率、などを含む。撮影方法は、明視野観察法、暗視野観察法、位相差観察法、微分干渉観察法などの、画像化の手法である。図8の例では、撮影条件表示欄113cは、画像サイズを表示する表示項目114dと、撮像装置30の機種名を表示する表示項目114eと、を含んでいる。
画面生成部11bは、入力部24(図2参照)を介した操作入力に応じて、各表示欄における表示項目の項目数および種類を設定可能および変更可能に構成されている。選択受付画面110には、表示項目114a~114eの5項目に限らず、設定に応じた数および種類の学習内容に関する情報60が表示される。
また、画面生成部11bは、入力部24(図2参照)を介した操作入力により抽出条件を取得すると、抽出条件に該当する学習済モデル50だけを抽出して選択受付画面110に表示するよう構成されている。たとえば、ユーザが細胞種の「iPSC」を抽出条件として入力した場合、細胞種が「iPSC」に該当する学習済モデル50だけが選択受付画面110に表示される。情報抽出条件は複数設定可能である。
図8では5つの学習済モデル50だけが表示されている例を示しているが、学習支援システム100の運用継続に伴って、サーバ10の記憶部12に記憶される学習済モデル50の数は増大し、たとえば100以上にもなり得る。そのため、転移学習の学習対象を選択する上で、表形式による表示、項目数の変更、および抽出条件を用いた表示が特に有用である。
また、第1実施形態では、図9に示すように、選択受付画面110は、複数の学習済モデル50の各々についての代表画像83をさらに表示するように構成されている。代表画像83は、学習済モデル50の機械学習(事前学習)に使用した学習データ86を構成する細胞画像81(入力画像86a)のうちから選択された1つまたは複数の画像である。図9では、一例として、いずれかの学習済モデル50が表示された行の上にカーソル(マウスカーソル)を移動させると、画面生成部11bが、その学習済モデル50の学習に使用された代表画像83をオーバーレイ表示させる。なお、代表画像83の表示態様は、特に限定されず、選択受付画面110に代表画像83の表示欄が予め設けられていてもよい。
また、図10に示すように、制御部11(画面生成部11b)は、1つ以上の学習済モデル50の選択を受け付けると、選択された学習済モデル50についての詳細情報を追加表示するように構成されている。図10の例では、追加表示される詳細情報として、選択された学習済モデル50の、事前学習の学習曲線を示すグラフ115を表示するように構成されている。図10では、3つの学習済モデル50が選択された例を示している。追加表示される詳細情報として、図9に示した代表画像83が表示されてもよい。
選択受付画面110に表示される情報は、サーバ10の記憶部12に学習内容に関する情報60として記憶されている。したがって、学習内容に関する情報60は、機械学習に使用された学習用データセット85aに含まれる細胞画像81に写る細胞種の情報を含む。学習内容に関する情報60は、機械学習に使用された学習用データセット85aに含まれる細胞画像81の撮影条件の情報62を含む。記憶部12は、複数の学習済モデル50の各々についての性能評価指標63をさらに記憶している。記憶部12は、複数の学習済モデル50の各々の機械学習に使用した学習用データセット85aに含まれる細胞画像81の代表画像83をさらに記憶している。
(学習対象に推薦される学習済モデルの表示)
図10に示すように、第1実施形態では、制御部11(画面生成部11b)は、学習内容に関する情報60に基づいて学習対象に推薦される学習済モデル50Rを、選択受付画面110に識別可能に表示させる制御を行うように構成されている。
具体的には、制御部11(画面生成部11b)は、学習内容に関する情報60と、転移学習の学習内容に関する情報65(図12参照)とに基づいて、学習済モデル50の学習内容と転移学習の学習内容との類似度を取得し、取得した類似度に基づいて学習対象に推薦される学習済モデル50Rを決定するように構成されている。転移学習の学習内容に関する情報65は、入力部24を介した操作入力によって取得され、サーバ10の記憶部12に記憶される。
制御部11(画面生成部11b)は、学習済モデル50の学習内容に関する情報60のうち、選択受付画面110に表示されている情報について、転移学習の学習内容との類似度を取得する。つまり、図8~図10に示した例の場合、学習内容に関する情報60のうち、表示項目114a~114eの情報に基づいて、類似度が取得される。上記のように、選択受付画面110の表示項目は操作入力に応じて設定可能であるため、ユーザが選択受付画面110に表示するように設定した項目が、転移学習の学習対象の選択においてユーザが重要視している項目であると推定されるためである。
制御部11(画面生成部11b)は、選択受付画面110の表示項目毎に、類似度を取得する。類似度は、たとえば0以上1以下の数値で、1に近いほど類似度が高いことを示す。たとえば、それぞれの学習済モデル50について表示項目114eに表示される機種名(顕微鏡A、顕微鏡B)の情報と、転移学習の学習内容に関する情報65(図12参照)に含まれる機種名の情報とが対比され、機種名が一致するか否かが判断される。機種名に関しては、たとえば一致していれば類似度「1」、不一致の場合には類似度「0」とする。同様に、たとえば表示項目114dに表示される画像サイズの情報と、学習用データセット85b(図12参照)に含まれる学習データの画像サイズ情報とが対比され、画像サイズ(または画素数)が近似しているほど高い類似度が与えられる。
制御部11(画面生成部11b)は、選択受付画面110の表示項目毎の類似度に重み係数を乗算し、得られた表示項目ごとの乗算値の総和である判定値を取得する。制御部11(画面生成部11b)は、大きい判定値を有する学習済モデル50の学習内容を、転移学習の学習内容との類似度が高いと判定する。判定値の一例は、下式で表される。
判定値P=K1X1+K2X2+・・・+KnXn
ここで、K1~Knは、重み係数である。表示項目毎の重み係数は、予め設定された定数である。X1~Xnは、表示項目毎の学習内容に関する情報の類似度である。添字1~nが、選択受付画面110の表示項目の番号を表す。
制御部11(画面生成部11b)は、たとえば、判定値Pが最大となる学習済モデル50を、学習対象に推薦される学習済モデル50Rとして決定する。
図10に示したように、制御部11(画面生成部11b)は、選択受付画面110において、学習対象に推薦される学習済モデル50Rが表示された行について、強調表示を行うことにより、他の学習済モデル50と識別可能に表示する。強調表示は、たとえば、学習対象に推薦される学習済モデル50Rが表示された行を枠線で囲むかまたは下線を付す、学習対象に推薦される学習済モデル50Rが表示された行の背景色を他の行と異ならせる、学習対象に推薦される学習済モデル50Rが表示された行のフォント、文字色などの表示態様を他の行と異ならせる、などである。表示を点滅させる処理などを行ってもよい。図10は、推薦される学習済モデル50Rが表示された行を枠線116で囲む例を示している。
推薦される学習済モデル50Rは、1つには限られない。制御部11(画面生成部11b)は、たとえば、判定値Pの上位5番目までの学習済モデル50を、学習対象に推薦される学習済モデル50Rとして決定してもよい。
〈画像処理部〉
図3に示した画像処理部11cは、記憶部12に記憶された学習済モデル(学習済モデル50または転移学習済モデル55)を用いて、細胞画像81に対する画像処理を行うように構成されている。画像処理部11cは、コンピュータ20からのリクエストに応じて、図4に示したように、処理対象として選択された細胞画像81を入力画像とし、選択された学習済みモデルに入力することにより、入力画像に対するセグメンテーション処理を行う。画像処理部11cは、セグメンテーション処理の結果、学習済みモデルに入力した細胞画像81が複数のラベル領域に分割されたラベル画像を処理画像82として出力する。画像処理部11cは、処理画像82をコンピュータ20に送信するとともに、記憶部12に記憶させる。
(学習支援方法)
次に、第1実施形態による学習支援方法について説明する。学習支援方法は、既存の学習済モデル50に対して、細胞画像81に対する画像処理の転移学習を行うための学習支援方法である、学習支援方法は、上記した学習支援システム100によって実行されうる。
学習支援方法は、少なくとも、以下のステップ(1)~(3)を備える。
(1)複数の学習済モデル50と、複数の学習済モデル50の各々の学習内容に関する情報60とを取得する。
(2)複数の学習済モデル50を、複数の学習済モデル50の各々の学習内容に関する情報60とともに選択可能に表示する選択受付画面110を表示する。
(3)選択受付画面110に表示された複数の学習済モデル50のうちから、転移学習の処理に供する少なくとも1つの学習対象の選択を受け付ける。
第1実施形態では、ステップ(1)は、制御部11(画面生成部11b)が、複数の学習済モデル50と、複数の学習済モデル50にそれぞれ関連付けられた学習内容に関する情報60とを、記憶部12から読み出すことによって行われる。
第1実施形態では、ステップ(2)では、制御部11(画面生成部11b)が、ステップ(1)で取得された情報に基づいて、選択受付画面110を表示するための情報を生成し、コンピュータ20に送信する。その結果、情報を受信したコンピュータ20の表示部21に、選択受付画面110が表示される。
第1実施形態では、ステップ(3)は、コンピュータ20が、表示部21に表示された選択受付画面110の選択領域111に対する、入力部24を介した操作入力を受け付けることにより行われる。コンピュータ20は、選択領域111に対する入力状態(チェックボックスのオン又はオフ)をサーバ10に送信する。これにより、サーバ10の制御部11が、転移学習の処理に供する少なくとも1つの学習対象の選択を受け付ける。
なお、学習支援システム100が転移学習を実行する機能を備えている第1実施形態では、サーバ10の制御部11(学習部11a)が、コンピュータ20からのリクエストに応じて、ステップ(3)で選択された学習対象(学習済モデル50)に対する転移学習の処理を実行することができる。学習支援システム100が転移学習を実行する機能を備えていない場合、学習対象の選択結果が学習システムに対して送信されることにより転移学習が実行されうる。
(学習支援システムの機械学習の処理の流れ)
次に、図8~図15を参照して、第1実施形態の学習支援システム100による機械学習(転移学習)の処理の流れについて説明する。学習支援システム100による機械学習の処理は、上記した学習支援方法の各ステップを含むものである。なお、第1実施形態の学習支援システム100は、上述の通り、機械学習によって作成した学習済モデルを用いて画像処理を行う機能を有しているが、画像処理の流れについては説明を省略する。
図11に示すように、ステップS1において、サーバ10の制御部11は、機械学習に用いる学習用データセットの登録を受け付ける。制御部11は、ユーザが操作するコンピュータ20からのアクセスを受け付けることにより、表示部21にデータセット登録画面120(図12参照)を表示させる。データセット登録画面120には、処理対象に相当する入力画像86a(細胞画像81)と、入力画像86aに対応する教師ラベル画像86bと、により構成された学習データ86が、表形式で個別に表示される。図12は、転移学習に用いる学習用データセット85bを登録する際のデータセット登録画面120の表示例を示している。
各学習データ86のパラメータ欄121には、転移学習の学習内容に関する情報65の一部(撮像装置30の機種名、撮影倍率、継代数、培養容器名、培養日数)を構成する情報が表示される。また、タイプ欄122は、機械学習におけるデータの用途が表示される。すなわち、タイプ欄122では、「NONE」、「TRAIN」、「VALID」、「TEST」の4タイプのいずれかであることが表示される。「NONE」は、学習用データセット85bに含めないことを示す。「TRAIN」は、学習用データセット85bのうち学習用のデータであることを示す。「VALID」は、学習用データセット85bのうち学習の進捗を確認するためのデータであることを示す。「TEST」は、学習後に上記した性能評価指標63を取得するためのデータであることを示す。入力画像欄123には学習データ86の入力画像86aとして用いられる細胞画像が表示される。ラベル画像欄124には学習データ86の教師ラベル画像86bが表示される。
学習用データセット85bは、データセット登録画面120において、学習用データセット85bに含める学習データ86の指定、および、その学習データ86のタイプの指定を受け付けることにより、登録される。なお、図示は省略するが、通常の機械学習における学習用データセット85aの登録も同様にデータセット登録画面120で行われる。
ステップS2において、サーバ10の制御部11は、学習用データセット85bを用いた学習処理が、通常の機械学習(事前学習)であるか、転移学習であるかを判断する。具体的には、制御部11は、表示部21に学習設定画面130(図13参照)を表示させ、機械学習処理の設定登録を受け付ける。制御部11は、学習設定画面130における操作入力に基づいて、通常の機械学習(事前学習)であるか、転移学習であるかを判断する。
学習設定画面130には、学習処理の名称設定領域131、モデル選択領域132、データセット選択領域133、エポック数設定領域134およびバッチサイズ設定領域135と、通常学習ボタン136、転移学習ボタン137およびキャンセルボタン138と、が表示される。
学習処理の名称設定領域131は、学習処理に割り当てられる名称の入力を受け付ける。モデル選択領域132には、記憶部12から、学習処理に用いる学習アルゴリズムを選択して設定できる。データセット選択領域133には、記憶部12から、学習に用いる学習用データセット85bを選択して設定できる。ステップS1において登録された学習用データセット85bの他、事前に登録済みとなっている学習用データセット85aが選択可能である。エポック数設定領域134およびバッチサイズ設定領域135では、機械学習処理におけるエポック数、バッチサイズがそれぞれ設定される。
制御部11は、転移学習ボタン137の入力を受け付けると、転移学習であると判断して、ステップS3に処理を進める。制御部11は、通常学習ボタン136の入力を受け付けると、通常の機械学習(事前学習)であると判断して、ステップS3に処理を進める。なお、キャンセルボタン138が入力された場合、学習処理を中止できるが、詳細は省略する。
転移学習ボタン137が入力された場合、制御部11(画面生成部11b)は、ステップS3において、図8~図10に示した選択受付画面110において、転移学習の学習対象の候補となる学習済モデル50を一覧表示させる。上記の通り、ユーザは、選択受付画面110における表示項目のフィルタリング等が可能であり、数十~百以上の学習済モデル50が記憶部12に記憶されていたとしても、各表示項目の内容を対比することによって、選択された学習データセット(第2の学習データセット85b)を用いた転移学習に適した学習済モデル50を選択できる。
制御部11(画面生成部11b)は、ステップS4において、図8~図10に示した選択受付画面110において、学習対象となる学習済モデル50の選択を受け付ける。すなわち、選択領域111のチェックボックスへの入力操作を受け付ける。制御部11(画面生成部11b)は、1つ以上の学習済モデル50の選択を受け付け、選択された学習済モデル50について、学習曲線のグラフ115(図10参照)を表示する。制御部11は、図示しない学習開始ボタンの操作入力を受け付けると、次のステップS5へ処理を進める。
ステップS5において、制御部11(学習部11a)は、ステップS4で選択された1つまたは複数の学習済モデル50に対して、学習設定画面130の設定内容に従って、学習用データセット85bを用いた転移学習の処理を実行する。
ステップS6において、制御部11(学習部11a)は、転移学習の学習結果画面140を表示する。このように、第1実施形態では、制御部11は、選択受付画面110において選択された学習対象に対する転移学習の学習結果を表示する学習結果画面140(図14参照)を表示部21に表示させる制御を行うように構成されている。
図14に示すように、複数の学習対象が選択された場合、学習結果画面140は、転移学習が行われた学習対象の各々についての性能評価指標を含む学習結果情報143を対比可能に表示する。図14の学習結果画面140は、学習前表示領域141と学習結果表示領域142とを含む。図14の上側の学習前表示領域141は、選択受付画面110の表示内容が表示され、転移学習前の学習済モデル50を示している。図14の下側の学習結果表示領域142では、転移学習が実施された転移学習済モデル55(学習前表示領域141でチェックボックスにチェックが付されている学習済モデル)の各々について、学習結果情報143が表形式で表示される。
学習結果情報143は、1つまたは複数の性能評価指標を含み、ユーザの操作入力に応じて表示変更可能である。図14の例では、性能評価指標として、正確度(Accuracy)およびIoUが表示されている。また、図14では、学習結果情報143は、学習時間(学習開始から終了までの時間)を含んでいる。学習結果画面140において、転移学習済モデル55の各々の学習結果情報143を対比することによって、転移学習の成果や最終的な性能の差を容易に把握できる。
ステップS7において、制御部11(学習部11a)は、学習結果画面140において、画像処理に採用する転移学習済モデル55の選択を受け付ける。選択受付画面110(学習前表示領域141)と同様、学習結果表示領域142にも、チェックボックスからなる選択領域144が設けられ、転移学習済モデル55を個別に選択できる。制御部11(学習部11a)は、選択領域144において、画像処理に採用する転移学習済モデル55の選択を受け付ける。
なお、選択受付画面110において1つの学習対象だけが選択された場合、ステップS7の処理はスキップされる。1つの学習対象だけが選択された場合は、ステップS7に加えてステップS6についてもスキップしてもよい。
ステップS8において、制御部11(学習部11a)は、作成および選択された転移学習済モデル55を記憶部12に記憶させ、学習支援システム100において利用可能な状態にする。ステップS9において、制御部11は、転移学習済モデル55の情報を示す学習モデル表示画面150(図15参照)を表示させる。図15に示す学習モデル表示画面150では、転移学習済モデル55の学習曲線、性能評価指標、個々の学習データの詳細情報などが表示される。
一方、図11のステップS2において、学習設定画面130の通常学習ボタン136の入力を受け付けた場合、制御部11は、ステップS10において、通常の機械学習(事前学習)を実行する。制御部11(学習部11a)は、学習設定画面130の設定内容に従って、未学習の学習モデルに対して、ステップS1で設定された学習用データセットを用いた機械学習の処理を実行する。これにより、機械学習(事前学習)による学習済モデル50が生成される。
その後、制御部11は、ステップS8において、生成された学習済モデル50を記憶部12に記憶させ、学習支援システム100において利用可能な状態にする。ステップS9において、制御部11は、学習済モデル50の情報を示す学習モデル表示画面150を表示させる。
以上のようにして、第1実施形態の学習支援システム100による機械学習の処理が実施される。
(第1実施形態の効果)
第1実施形態では、以下のような効果を得ることができる。
すなわち、第1実施形態による学習支援システム100および学習支援方法では、複数の学習済モデル50を、複数の学習済モデル50の各々の学習内容に関する情報60とともに選択可能に表示する選択受付画面110を表示させる。これにより、転移学習に用いる学習済モデル50を選択する際、ユーザは、選択受付画面110において、複数の学習済モデル50の学習内容に関する情報60を対比することができる。対比により、ユーザは、これから実施する転移学習の学習内容に近い事前学習が行われている学習済モデル50を、容易に把握できる。その結果、既存の学習済モデル50を用いて転移学習を行う際に、転移学習に適した学習済モデル50の選択を容易化することができる。
また、第1実施形態では、以下のように構成したことによって、更なる効果が得られる。
すなわち、第1実施形態では、学習内容に関する情報60は、機械学習に使用された学習用データセット85aに含まれる細胞画像81に写る細胞種の情報(表示項目114c)を含む。このように構成すれば、転移学習の選択肢となる複数の学習済モデル50について、どの細胞種の画像を用いて事前学習が行われたのかを把握できる。学習済モデル50の学習内容として、転移学習させる細胞画像81に写る細胞種と同じかまたは類似する細胞種の画像で事前学習を行っていれば、事前学習時と転移学習時とで画像中の細胞の形態が類似しているため、転移学習における学習効率を向上させることが期待できる。そのため、転移学習に用いるのに適した学習済モデル50を選択するための有用な判断材料となる情報を提供できる。
また、第1実施形態では、学習内容に関する情報60は、機械学習に使用された学習用データセット85aに含まれる細胞画像81の撮影条件の情報62(表示項目114d、114e)を含む。このように構成すれば、転移学習の選択肢となる複数の学習済モデル50について、どのような撮影条件で撮影された画像を用いて事前学習が行われたのかを把握できる。ここで、同一の細胞画像81でも、たとえば撮像装置の機種、撮影方式(明視野撮影、位相差撮影、など)撮影倍率、画像サイズなどの撮影条件が異なる場合、画像中の細胞の形態は全く異なって写る。そのため、学習済モデル50の学習内容として、転移学習させる細胞画像81の撮影条件と同じかまたは類似する撮影条件で取得された画像で事前学習を行っていれば、事前学習時と転移学習時とで画像中の細胞の形態が類似しているため、転移学習における学習効率を向上させることが期待できる。したがって、転移学習に用いるのに適した学習済モデル50を選択するための有用な判断材料となる情報を提供できる。
また、第1実施形態では、記憶部12は、複数の学習済モデル50の各々についての性能評価指標63を記憶し、選択受付画面110は、複数の学習済モデル50の各々の性能評価指標63(表示項目114a、表示項目114b)を表示する。このように構成すれば、転移学習に用いる学習済モデル50の選択に際して、各学習済モデル50の性能評価指標63を対比できる。たとえば類似した学習内容の学習済モデル50が複数存在した場合、性能評価指標63で表される性能が高い学習済モデル50の方が、転移学習後の性能も高くなる(あるいは、学習時間が短時間で済む)可能性が考えられる。そのため、性能評価指標63によって、転移学習に用いるのに適した学習済モデル50を選択するための有用な情報を提供できる。
また、第1実施形態では、記憶部12は、複数の学習済モデル50の各々の機械学習に使用した学習用データセット85aに含まれる細胞画像81の代表画像83を記憶し、選択受付画面110は、複数の学習済モデル50の各々についての代表画像83を表示する。このように構成すれば、複数の学習済モデル50の各々について、事前学習に使用した画像を対比できる。機械学習に習熟したユーザにとっては、学習に使用した画像を対比することで、転移学習する内容と事前学習の学習内容が近いか否かに関する有用な情報を得られる可能性がある。そのため、代表画像83によって、転移学習に用いるのに適した学習済モデル50を選択するための有用な情報を提供できる。
また、第1実施形態では、選択受付画面110は、複数の学習済モデル50の名称と、学習内容に関する情報60を含む複数の学習済モデル50の各々についての表示情報とを、表形式で表示する。このように構成すれば、表形式で表示された情報によって、ユーザは、転移学習の候補となる複数の学習済モデル50の各々を容易かつ効率的に対比できる。その結果、転移学習に用いるのに適した学習済モデル50の選択を効果的に容易化できる。
また、第1実施形態では、制御部11は、学習内容に関する情報60に基づいて学習対象に推薦される学習済モデル50Rを、選択受付画面110に識別可能に表示させる制御を行う。このように構成すれば、学習内容に関する情報60から導き出される、学習対象に推薦される学習済モデル50Rをユーザに提案できる。ユーザは、転移学習に用いる学習済モデル50を選択する際に、推薦される学習済モデル50を参考にできるので、より一層、転移学習に用いるのに適した学習済モデル50の選択を容易化できる。
また、第1実施形態では、記憶部12は、転移学習の学習内容に関する情報65をさらに記憶し、制御部11は、学習内容に関する情報60と、転移学習の学習内容に関する情報65とに基づいて、学習済モデル50の学習内容と転移学習の学習内容との類似度を取得し、取得した類似度に基づいて学習対象に推薦される学習済モデル50Rを決定するように構成されている。このように構成すれば、事前学習における学習内容に関する情報60と、転移学習の学習内容に関する情報65との類似度を取得することによって、学習対象に推薦される(すなわち、転移学習に用いるのに適していると推定される)学習済モデル50を、より高い確度で取得できる。
また、第1実施形態では、制御部11は、選択受付画面110において選択された学習対象に対する転移学習の学習結果を表示する学習結果画面140を表示部21に表示させる制御を行うように構成され、複数の学習対象が選択された場合、学習結果画面140は、転移学習が行われた学習対象の各々についての性能評価指標を含む学習結果情報143を対比可能に表示する。このように構成すれば、転移学習に用いる学習済モデル50の候補が複数存在する場合に、それらの学習済モデル50に実際に転移学習を実施することで、それぞれの学習済モデル50に対する転移学習の学習結果情報143をユーザに提示できる。これにより、ユーザは、それぞれの学習結果情報143を対比することによって、最も利用目的に合致した(画像処理の目的に適合した)学習済モデル50を容易に発見できる。また、学習結果情報143の対比によって、どの学習済モデル50が、転移学習に最も適していたかに関する知見を得ることができる。得られた知見は、転移学習を行う別の機会において、転移学習に用いる学習済モデル50を選択する際の有用な手がかりになり得る。
また、第1実施形態では、画像処理は、細胞画像81のセグメンテーション処理を含む。セグメンテーション処理は、画像中の画素単位でラベル付与を行う処理であるため、処理に用いる学習済モデル50の性能の影響が処理画像82に顕著に表れる。第1実施形態によれば、より適した学習済モデル50を用いて転移学習を行うことによって、より高い性能を実現したり、あるいは所望の性能に達するまでの学習時間を低減できることから、細胞画像81のセグメンテーション処理を行う学習済モデル50の転移学習に特に有用である。
[第2実施形態]
次に、図16~図19を参照して、第2実施形態による学習支援システム300について説明する。第2実施形態では、細胞画像81に対する画像処理の転移学習を行うための学習支援システム100を示した上記第1実施形態とは異なり、X線画像381に対する画像処理の転移学習を行うための学習支援システム300を示す。なお、第2実施形態において、上記第1実施形態と同様の構成については、同一の符号を付して説明を省略する。
X線画像381は、X線により被写体を撮像した画像である。被写体は、たとえば非破壊検査の検査対象物である。検査対象物は、電子部品、回路基板、工業製品(組立体)、樹脂成形品、鋳造品またはダイカスト製品、などである。
X線画像381を撮像するX線撮像装置330は、たとえばX線非破壊検査装置である。詳細は省略するが、X線撮像装置330は、X線を出射するX線源と、被写体を保持する被写体保持機構、X線源から出射され被写体を透過したX線を検出するX線検出器と、これらのX線源、被写体保持機構およびX線検出器を収容してX線を遮蔽する筐体と、を含んで構成される。X線撮像装置330は、X線源およびX線検出器から構成される撮像系を移動(回動)する移動機構を備えるか、または、被写体保持機構が被写体を移動(回動)させる機構を含むことにより、可動範囲内の所望の位置および可動範囲内の所望の撮影角度で被写体のX線画像381を撮像できる。
既存の学習済モデル50および転移学習済モデル55は、いずれも、X線画像381に対する画像処理に用いられる。第2実施形態では、画像処理は、X線画像381のセグメンテーション処理を含む。
図17は、入力画像(X線画像381)および処理画像の一例を示す。図17(A)に示すX線画像381は、はんだ部371が形成された回路基板370を被写体として撮像した画像である。回路基板370は、回路パターンが形成された樹脂製の基板である。X線画像381には、はんだ部371の他に、回路基板370を厚み方向に貫通する貫通部372も写っている。図17(A)は、撮影角度0°、および45°の2種類の撮影条件でそれぞれ取得された画像を示す。撮影角度は、回路基板370の法線に対するX線光軸のなす角である。撮影角度45°は、回路基板370を仰角45°の斜め上方から撮影することに相当する。
はんだ部371は、回路基板370の上面および下面にそれぞれ設けられている。一定の厚みの平板である樹脂基板はX線画像381において概ね一定の画素値になるため、X線画像381中、樹脂基板よりもX線吸収が高いはんだ部371と、樹脂基板よりもX線吸収が低い貫通部372とが、一定の画素値の背景(ハッチングで示す樹脂基板の部分)中にコントラストを有して見える。撮影角度0°のX線画像381では、上面側のはんだ部371と下面側のはんだ部371とが重なって見えるが、撮影角度45°のX線画像381では、上面側のはんだ部371と下面側のはんだ部371とが互いにずれて見える。なお、X線画像381には、回路基板370の上面および下面にそれぞれ形成された回路パターンも写るが、図17および後述する図19では便宜的に図示を省略している。
学習済モデル50、転移学習済モデル55は、いずれも、入力されたX線画像381に対してセグメンテーション処理を行い、複数のラベル領域に分割した処理画像382を出力する。図17では、セグメンテーション処理の一例として、X線画像381の画像領域を、「はんだ」の領域(白色)と、「はんだ以外」の領域(黒色)と、の2クラスに領域分割する例を示す。処理画像382の各画素が取り得る画素値の数は、ラベルの種類の数(クラス数)と同数であり、2クラスの場合、処理画像382は二値画像である。
「はんだ」の領域を特定した処理画像382は、たとえば回路基板370のはんだ部371の大きさの検査や、はんだブリッジの有無の検査に用いるのに適している。なお、はんだブリッジとは、回路パターン中の別々の配線部に跨がってはんだ部371が形成されることにより回路をショート(短絡)させる欠陥である。
図18に示すように、第2実施形態においても、上記第1実施形態と同様、事前学習においては、未学習の学習モデル51に対して、第1の学習データセット85aを用いて機械学習が行われる。転移学習においては、事前学習によって作成された学習済モデル50に対して、第2の学習データセット85bを用いて機械学習が行われる。学習の結果、転移学習済モデル55が作成される。
第2の学習データセット85bと第1の学習データセット85aとは、学習データの内容が互いに異なる。第2の学習データセット85bと第1の学習データセット85aとは、データセットを構成するX線画像381に写る被写体、および、X線画像の撮影条件の少なくとも一方が異なる。
第2実施形態における学習内容に関する情報60(図16参照)は、機械学習(事前学習)に使用された学習用データセット85aに含まれるX線画像381に写る被写体の情報、および、機械学習に使用された学習用データセット85aに含まれるX線画像381の撮影条件の情報の少なくとも一方を含む。被写体の情報は、被写体の種類を特定する情報であり、上記の例では「部品A」、「部品B」などの名称である。撮影条件の情報は、画像サイズ(又はピクセル数)、X線撮像装置330の機種名、撮影角度、X線源のパラメータ(管電圧、管電流)、X線照射時間などを含む。図17の例では、撮影条件の情報には、たとえば撮影角度が少なくとも含まれる。
図16に示したように、第2実施形態においても、制御部311は、複数の学習済モデル50のうちから、転移学習の処理に供する少なくとも1つの学習対象の選択を受け付ける。制御部311は、複数の学習済モデル50を、複数の学習済モデル50の各々の学習内容に関する情報60とともに選択可能に表示する選択受付画面110を表示部21に表示させる制御を行う。選択受付画面110の表示態様は、図8~図10に示した上記第1実施形態と同様である。
また、学習支援システム200による機械学習(転移学習)の処理の流れについても、図11~図15に示した上記第1実施形態と同様である。図示は省略するが、第2実施形態では、図11~図15において、表示される画像と、学習内容に関する情報60の内容とが、上記第1実施形態と異なる。
転移学習の具体例を説明する。図18に示すように、第2の学習データセット85bの複数の入力画像386aは、たとえば、「部品B」を構成する回路基板370のX線画像381である。第2の学習データセット85bの複数の入力画像386aは、たとえば、撮影角度0°、および45°の2種類の撮影条件で撮像された複数のX線画像381からなる。第2の学習データセット85bは、複数の入力画像386aのそれぞれと対応する教師ラベル画像386bを含む。これに対して、第1の学習データセット85aの複数の入力画像386aは、「部品B」とは異なる「部品A」を構成する回路基板370のX線画像381である。「部品A」は、「部品B」とは異なる部品であり、回路基板370に形成されたはんだ部371の個数および/または配置が「部品B」とは異なる。第1の学習データセット85aの複数の入力画像386aの撮影角度は、第2の学習データセット85bの複数の入力画像386aの撮影角度(0°、および45°)と同じでもよいし、異なっていてもよい。
この場合、ユーザは、第2の学習データセット85bに含まれる画像の撮影角度(0°、および45°)と同じ撮影角度で撮像された画像を含むこと、および、はんだ部371の配置などが「部品B」と似ている部品(部品A)の画像であることなどを基準として、選択受付画面110(図16参照)に表示された複数の学習済モデル50のうちから、適切な学習済モデル50を選択できる。
(実施例)
次に、図19を参照して、第2実施形態の効果を確認するための実験結果について説明する。実験は、同一の処理用画像(図19(A)、撮影角度0°および45°の2種類)に対して、実施例による転移学習済モデル55を用いた処理画像382(図19(B))と、比較用の学習済モデルを用いた処理画像383(図19(C))とをそれぞれ出力して、対比することにより行った。
実施例に用いた転移学習済モデル55は、図18に示した第1の学習データセット85aにより作製された学習済モデル50に対して、第2の学習データセット85bを用いた転移学習により作製した。比較用学習済モデルは、事前学習を行わずに、未学習の学習モデルに対する第2の学習データセット85bを用いた機械学習のみにより作製した。
学習済モデル50の事前学習に用いた第1の学習データセット85aを説明する。第1の学習データセット85aには、はんだ部371の配置が「部品B」と似ている「部品A」のX線画像381を含むデータセットを選択した。また、第1の学習データセット85aは、撮影角度0°、15°、30°、および45°の4種類の撮影条件で撮像された複数のX線画像381からなり、第2の学習データセット85bの撮影角度(0°、および45°)と同じ撮影角度で撮像された画像を含んでいる。第1の学習データセット85aの画像枚数は4枚である。第2の学習データセット85bの画像枚数は2枚である。
図19(B)に示すように、実施例の処理画像382では、撮影角度0°、45°のいずれにおいても、はんだ部371を高精度にセグメンテーションできている。一方、図19(C)に示す比較例では、特に撮影角度45°の処理画像383で、はんだ部371のセグメンテーション精度が低くなっている。この比較から、同じ第2の学習データセット85bを用いた同一データ数の学習を行う場合でも、未学習の学習モデルを用いるよりも、適切な学習済モデル50を用いて転移学習を行うことで、学習の精度が向上することが分かる。つまり、より少ないデータ数で効果的な機械学習が可能となることが分かる。
(第2実施形態の効果)
第2実施形態では、以下のような効果を得ることができる。
すなわち、第2実施形態による学習支援システム300および学習支援方法では、上記第1実施形態と同様、ユーザは、これから実施する転移学習の学習内容に近い事前学習が行われている学習済モデル50を、容易に把握できる。その結果、既存の学習済モデル50を用いて転移学習を行う際に、転移学習に適した学習済モデル50の選択を容易化することができる。また、図19に示したように、未学習の学習モデルを用いる場合よりも学習の精度を向上させることが可能な、適切な学習済モデル50を選択して転移学習を行うことができる。
また、第2実施形態では、上記のように、画像は、X線画像381であり、学習内容に関する情報60は、機械学習に使用された学習用データセット85aに含まれるX線画像381に写る被写体の情報、および、機械学習に使用された学習用データセット85aに含まれるX線画像の撮影条件の情報の少なくとも一方を含むように構成してもよい。このように構成すれば、転移学習の選択肢となる複数の学習済モデル50について、どのような被写体を撮影したX線画像381を用いて事前学習が行われたのか、および/または、どのような撮影条件で撮影されたX線画像381を用いて事前学習が行われたのかを把握できる。したがって、転移学習に用いるのに適した学習済モデルを選択するための有用な判断材料となる情報を提供できる。
第2実施形態のその他の効果は、上記第1実施形態と同様である。
[変形例]
なお、今回開示された実施形態および実施例は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態および実施例の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更(変形例)が含まれる。
たとえば、上記第1および第2実施形態では、学習支援システム100(200)が、転移学習を行う機能を備えている例を示したが、本発明はこれに限られない。学習支援システム100(200)は、転移学習を行う機能を備えていなくてもよい。すなわち、学習支援システム100(200)は、学習部11aを備えていなくてもよい。学習支援システム100(200)は、学習部11aを備えた学習システムと連携可能であってよい。
また、上記第1および第2実施形態では、学習支援システム100が、学習済モデル(学習済モデル50、転移学習済モデル55)を用いて細胞画像81に対する画像処理を行う機能を備えている例を示したが、本発明はこれに限られない。学習支援システム100は、学習済モデルと用いて画像処理を行う機能を備えていなくてもよい。すなわち、学習支援システム100(200)は、画像処理部11cを備えていなくてもよい。学習支援システム100は、画像処理部11cを備えた画像処理システムと連携可能であってよい。
また、上記第1および第2実施形態では、学習支援システム100(200)が、撮像装置30(X線撮像装置330)を含む例を示したが、本発明はこれに限られない。学習支援システム100(200)は、撮像装置30(X線撮像装置330)を含まなくてもよい。すなわち、学習支援システム100は、撮像装置30を備えた細胞画像の撮像システムと連携可能であってよい。
また、上記第1実施形態では、学習支援システム100のサーバ10が、画像処理部11cにより、学習済モデル(学習済モデル50、転移学習済モデル55)を用いて細胞画像81に対する画像処理を行う例を示したが、本発明はこれに限られない。たとえば図20に示す変形例のように、学習支援システム100のコンピュータ20に画像処理部11cを設けて、コンピュータ20が学習済モデルを用いた画像処理を行ってもよい。この場合、サーバ10は、学習部11aにより転移学習された転移学習済モデル55を生成すると、生成した転移学習済モデル55をコンピュータ20へ送信する。転移学習済モデル55を受信したコンピュータ20は、記憶部23(図2参照)に転移学習済モデル55を記憶する。コンピュータ20の画像処理部11cが、記憶部23に記憶された転移学習済モデル55を用いて、細胞画像に対する画像処理を行う。上記第2実施形態についても同様である。
また、上記第1および第2実施形態では、画像処理が、細胞画像81(X線画像381)のセグメンテーション処理である例を示したが、本発明はこれに限られない。画像処理は、セグメンテーション処理以外の処理であってもよい。たとえば、画像処理は、分類または判定処理であってもよい。たとえば、画像処理は、培養細胞の培養状態の良否を判定する処理や、細胞画像81に写る細胞の種類を分類する処理であってもよい。同様に、画像処理は、X線画像381に写る部品が良品か不良品かを判定(分類)する処理であってもよい。
また、上記第1実施形態では、学習内容に関する情報60が、細胞画像81に写る細胞種の情報を含む例を示したが、本発明はこれに限られない。本発明では、学習内容に関する情報60が、細胞画像81に写る細胞種の情報を含まなくてもよい。また、上記第1実施形態では、学習内容に関する情報60が、細胞画像81の撮影条件の情報62を含む例を示したが、本発明はこれに限られない。本発明では、学習内容に関する情報60が、細胞画像81の撮影条件の情報62を含まなくてもよい。また、上記第1実施形態では、複数の学習済モデル50の各々についての性能評価指標63を選択受付画面110に表示する例を示したが、本発明はこれに限られない。本発明では、性能評価指標63を選択受付画面110に表示しなくてもよい。また、上記第1実施形態では、複数の学習済モデル50の各々の機械学習に使用した学習用データセット85aに含まれる細胞画像81の代表画像83を選択受付画面110に表示する例を示したが、本発明はこれに限られない。本発明では、代表画像83を選択受付画面110に表示しなくてもよい。上記第2実施形態についても同様である。
また、上記第1実施形態では、選択受付画面110が、複数の学習済モデル50の名称と、学習内容に関する情報60を含む複数の学習済モデル50の各々についての表示情報とを、表形式で表示する例を示したが、本発明はこれに限られない。本発明では、選択受付画面110は、表形式の表示画面でなくてもよい。たとえば、選択受付画面110は、学習済モデル50およびその学習済モデル50の学習内容に関する情報60を、1つのタイル状表示領域に表示し、複数のタイル状表示領域をアレイ状に配列した表示態様で情報表示を行ってもよい。つまり、選択受付画面110は、サムネイル形式またはタイリング表示形式の表示画面であってもよい。上記第2実施形態についても同様である。
また、上記第1実施形態では、選択受付画面110の各表示欄における表示項目の項目数および種類を、操作入力に応じて設定可能および変更可能に構成されている例を示したが、本発明はこれに限られない。本発明では、選択受付画面110に表示される表示項目の項目数および種類が予め設定されて変更不可能であってもよい。上記第2実施形態についても同様である。
また、上記第1実施形態では、制御部11(画面生成部11b)が、抽出条件に該当する学習済モデル50だけを抽出して選択受付画面110に表示するよう構成されている例を示したが、本発明はこれに限られない。本発明では、抽出条件に該当する学習済モデル50を抽出しなくてもよい。選択受付画面110では、フィルタリング(抽出)なしで、記憶部12に記憶されている全ての学習済モデル50が表示されるだけでもよい。上記第2実施形態についても同様である。
また、上記第1実施形態では、学習内容に関する情報60に基づいて学習対象に推薦される学習済モデル50Rを、選択受付画面110に識別可能に表示させる例を示したが、本発明はこれに限られない。本発明では、学習対象に推薦される学習済モデル50Rを表示しなくてもよい。上記第2実施形態についても同様である。
また、上記第1実施形態では、学習済モデル50の学習内容と転移学習の学習内容との類似度を取得し、取得した類似度に基づいて学習対象に推薦される学習済モデル50Rを決定する例を示したが、本発明はこれに限られない。本発明では、学習済モデル50の学習内容と転移学習の学習内容との類似度以外の情報に基づいて学習対象に推薦される学習済モデル50Rを決定してもよい。学習対象に推薦される学習済モデル50Rの選出基準を、ユーザが設定できるようにしてもよい。上記第2実施形態についても同様である。
また、上記第1実施形態では、複数の学習対象が選択された場合、学習結果画面140において、転移学習が行われた学習対象の各々についての性能評価指標を含む学習結果情報143を対比可能に表示する例を示したが、本発明はこれに限られない。本発明では、複数の学習対象が選択された場合でも、学習結果情報143を対比可能に表示しなくてもよい。たとえば、学習結果情報143を表示する代わりに、学習結果画面140において、性能評価指標が最も優れた転移学習済モデル55を、他の転移学習済モデル55から識別可能に表示してもよい。この他、学習結果画面140において、性能評価指標が最も優れた1つの転移学習済モデル55を表示するようにしてもよい。なお、学習結果情報143は学習時間を含まなくてもよい。上記第2実施形態についても同様である。
また、上記第1実施形態では、クライアントサーバモデルで構築された学習支援システム100の例を示したが、本発明はこれに限られない。たとえば、図21に示す変形例のように、学習支援システム100が、単一のコンピュータ210、またはネットワーク40を介さずに直接接続された機器群によって構築されてもよい。図21の変形例では、単一のコンピュータ210の制御部211が、学習部11a、画面生成部11b、画像処理部11cを含む。記憶部212に、学習済モデル50、学習内容に関する情報60、転移学習済モデル55、画像データ80などが記憶される。コンピュータ210は、撮像装置30から細胞画像81を取得する。コンピュータ210は、コンピュータ210が備える表示部21に、選択受付画面110を表示する。コンピュータ210は、選択受付画面110において、転移学習の処理に供する学習対象の選択を受け付け、受け付けた選択対象(学習済モデル50)に対する転移学習を実行する。上記第2実施形態についても同様である。
[態様]
上記した例示的な実施形態は、以下の態様の具体例であることが当業者により理解される。
(項目1)
既存の学習済モデルに対して、細胞画像に対する画像処理の転移学習を行うための学習支援システムであって、
表示部と、
複数の学習済モデルと、前記複数の学習済モデルの各々の学習内容に関する情報とを記憶する記憶部と、
前記複数の学習済モデルのうちから、転移学習の処理に供する少なくとも1つの学習対象の選択を受け付ける制御部と、を備え、
前記制御部は、前記複数の学習済モデルを、前記複数の学習済モデルの各々の前記学習内容に関する情報とともに選択可能に表示する選択受付画面を前記表示部に表示させる制御を行う、学習支援システム。
(項目2)
前記学習内容に関する情報は、機械学習に使用された学習用データセットに含まれる前記細胞画像に写る細胞種の情報を含む、項目1に記載の学習支援システム。
(項目3)
前記学習内容に関する情報は、機械学習に使用された学習用データセットに含まれる前記細胞画像の撮影条件の情報を含む、項目1または2に記載の学習支援システム。
(項目4)
前記記憶部は、前記複数の学習済モデルの各々についての性能評価指標をさらに記憶し、
前記選択受付画面は、前記複数の学習済モデルの各々の前記性能評価指標をさらに表示する、項目1~3のいずれか1項に記載の学習支援システム。
(項目5)
前記記憶部は、前記複数の学習済モデルの各々の機械学習に使用した学習用データセットに含まれる前記細胞画像の代表画像をさらに記憶し、
前記選択受付画面は、前記複数の学習済モデルの各々についての前記代表画像をさらに表示する、項目1~4のいずれか1項に記載の学習支援システム。
(項目6)
前記選択受付画面は、前記複数の学習済モデルの名称と、前記学習内容に関する情報を含む前記複数の学習済モデルの各々についての表示情報とを、表形式で表示する、項目1~5のいずれか1項に記載の学習支援システム。
(項目7)
前記制御部は、前記学習内容に関する情報に基づいて前記学習対象に推薦される前記学習済モデルを、前記選択受付画面に識別可能に表示させる制御を行う、項目1~6のいずれか1項に記載の学習支援システム。
(項目8)
前記記憶部は、転移学習の学習内容に関する情報をさらに記憶し、
前記制御部は、前記学習内容に関する情報と、前記転移学習の学習内容に関する情報とに基づいて、前記学習済モデルの学習内容と転移学習の学習内容との類似度を取得し、取得した前記類似度に基づいて前記学習対象に推薦される前記学習済モデルを決定するように構成されている、項目7に記載の学習支援システム。
(項目9)
前記制御部は、前記選択受付画面において選択された前記学習対象に対する転移学習の学習結果を表示する学習結果画面を前記表示部に表示させる制御を行うように構成され、
複数の前記学習対象が選択された場合、前記学習結果画面は、転移学習が行われた前記学習対象の各々についての性能評価指標を含む学習結果情報を対比可能に表示する、項目1~8のいずれか1項に記載の学習支援システム。
(項目10)
前記画像処理は、前記細胞画像のセグメンテーション処理を含む、項目1~9のいずれか1項に記載の学習支援システム。
(項目11)
既存の学習済モデルに対して、細胞画像に対する画像処理の転移学習を行うための学習支援方法であって、
複数の学習済モデルと、前記複数の学習済モデルの各々の学習内容に関する情報とを取得するステップと、
前記複数の学習済モデルを、前記複数の学習済モデルの各々の前記学習内容に関する情報とともに選択可能に表示する選択受付画面を表示するステップと、
前記選択受付画面に表示された前記複数の学習済モデルのうちから、転移学習の処理に供する少なくとも1つの学習対象の選択を受け付けるステップと、を備える、学習支援方法。
(項目12)
既存の学習済モデルに対して、画像に対する画像処理の転移学習を行うための学習支援システムであって、
表示部と、
複数の学習済モデルと、前記複数の学習済モデルの各々の学習内容に関する情報とを記憶する記憶部と、
前記複数の学習済モデルのうちから、転移学習の処理に供する少なくとも1つの学習対象の選択を受け付ける制御部と、を備え、
前記制御部は、前記複数の学習済モデルを、前記複数の学習済モデルの各々の前記学習内容に関する情報とともに選択可能に表示する選択受付画面を前記表示部に表示させる制御を行う、学習支援システム。
(項目13)
前記画像は、X線画像であり、
前記学習内容に関する情報は、機械学習に使用された学習用データセットに含まれる前記X線画像に写る被写体の情報、および、機械学習に使用された学習用データセットに含まれる前記X線画像の撮影条件の情報の少なくとも一方を含む、項目12に記載の学習支援システム。
11、211、311 制御部
12、212 記憶部
21 表示部
23 記憶部
50 学習済モデル
50R 推薦される学習済モデル
60 学習内容に関する情報
62 撮影条件の情報
63 性能評価指標
65 転移学習の学習内容に関する情報
81 細胞画像
83 代表画像
85a、85b 学習用データセット
100、300 学習支援システム
381 X線画像
110 選択受付画面
140 学習結果画面
143 学習結果情報

Claims (13)

  1. 既存の学習済モデルに対して、細胞画像に対する画像処理の転移学習を行うための学習支援システムであって、
    表示部と、
    複数の学習済モデルと、前記複数の学習済モデルの各々の学習内容に関する情報とを記憶する記憶部と、
    前記複数の学習済モデルのうちから、転移学習の処理に供する少なくとも1つの学習対象の選択を受け付ける制御部と、を備え、
    前記制御部は、前記複数の学習済モデルを、前記複数の学習済モデルの各々の前記学習内容に関する情報とともに選択可能に表示する選択受付画面を前記表示部に表示させる制御を行う、学習支援システム。
  2. 前記学習内容に関する情報は、機械学習に使用された学習用データセットに含まれる前記細胞画像に写る細胞種の情報を含む、請求項1に記載の学習支援システム。
  3. 前記学習内容に関する情報は、機械学習に使用された学習用データセットに含まれる前記細胞画像の撮影条件の情報を含む、請求項2に記載の学習支援システム。
  4. 前記記憶部は、前記複数の学習済モデルの各々についての性能評価指標をさらに記憶し、
    前記選択受付画面は、前記複数の学習済モデルの各々の前記性能評価指標をさらに表示する、請求項3に記載の学習支援システム。
  5. 前記記憶部は、前記複数の学習済モデルの各々の機械学習に使用した学習用データセットに含まれる前記細胞画像の代表画像をさらに記憶し、
    前記選択受付画面は、前記複数の学習済モデルの各々についての前記代表画像をさらに表示する、請求項4に記載の学習支援システム。
  6. 前記選択受付画面は、前記複数の学習済モデルの名称と、前記学習内容に関する情報を含む前記複数の学習済モデルの各々についての表示情報とを、表形式で表示する、請求項5に記載の学習支援システム。
  7. 前記制御部は、前記学習内容に関する情報に基づいて前記学習対象に推薦される前記学習済モデルを、前記選択受付画面に識別可能に表示させる制御を行う、請求項1~6のいずれか1項に記載の学習支援システム。
  8. 前記記憶部は、転移学習の学習内容に関する情報をさらに記憶し、
    前記制御部は、前記学習内容に関する情報と、前記転移学習の学習内容に関する情報とに基づいて、前記学習済モデルの学習内容と転移学習の学習内容との類似度を取得し、取得した前記類似度に基づいて前記学習対象に推薦される前記学習済モデルを決定するように構成されている、請求項7に記載の学習支援システム。
  9. 前記制御部は、前記選択受付画面において選択された前記学習対象に対する転移学習の学習結果を表示する学習結果画面を前記表示部に表示させる制御を行うように構成され、
    複数の前記学習対象が選択された場合、前記学習結果画面は、転移学習が行われた前記学習対象の各々についての性能評価指標を含む学習結果情報を対比可能に表示する、請求項1~6のいずれか1項に記載の学習支援システム。
  10. 前記画像処理は、前記細胞画像のセグメンテーション処理を含む、請求項1~6のいずれか1項に記載の学習支援システム。
  11. 既存の学習済モデルに対して、細胞画像に対する画像処理の転移学習を行うための学習支援方法であって、
    複数の学習済モデルと、前記複数の学習済モデルの各々の学習内容に関する情報とを取得するステップと、
    前記複数の学習済モデルを、前記複数の学習済モデルの各々の前記学習内容に関する情報とともに選択可能に表示する選択受付画面を表示するステップと、
    前記選択受付画面に表示された前記複数の学習済モデルのうちから、転移学習の処理に供する少なくとも1つの学習対象の選択を受け付けるステップと、を備える、学習支援方法。
  12. 既存の学習済モデルに対して、画像に対する画像処理の転移学習を行うための学習支援システムであって、
    表示部と、
    複数の学習済モデルと、前記複数の学習済モデルの各々の学習内容に関する情報とを記憶する記憶部と、
    前記複数の学習済モデルのうちから、転移学習の処理に供する少なくとも1つの学習対象の選択を受け付ける制御部と、を備え、
    前記制御部は、前記複数の学習済モデルを、前記複数の学習済モデルの各々の前記学習内容に関する情報とともに選択可能に表示する選択受付画面を前記表示部に表示させる制御を行う、学習支援システム。
  13. 前記画像は、X線画像であり、
    前記学習内容に関する情報は、機械学習に使用された学習用データセットに含まれる前記X線画像に写る被写体の情報、および、機械学習に使用された学習用データセットに含まれる前記X線画像の撮影条件の情報の少なくとも一方を含む、請求項12に記載の学習支援システム。
JP2022077581A 2021-05-11 2022-05-10 学習支援システムおよび学習支援方法 Pending JP2022174740A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021080482 2021-05-11
JP2021080482 2021-05-11

Publications (1)

Publication Number Publication Date
JP2022174740A true JP2022174740A (ja) 2022-11-24

Family

ID=84144563

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022077581A Pending JP2022174740A (ja) 2021-05-11 2022-05-10 学習支援システムおよび学習支援方法

Country Status (1)

Country Link
JP (1) JP2022174740A (ja)

Similar Documents

Publication Publication Date Title
Ounkomol et al. Label-free prediction of three-dimensional fluorescence images from transmitted-light microscopy
Chen et al. An augmented reality microscope with real-time artificial intelligence integration for cancer diagnosis
US11686721B2 (en) Cell image analysis apparatus, cell image analysis system, method of generating training data, method of generating trained model, training data generation program, and method of producing training data
JP6947841B2 (ja) 病理学用の拡張現実顕微鏡
JP2021515240A (ja) 定量的バイオマーカデータのオーバレイを有する病理学用拡張現実顕微鏡
CN102414716B (zh) 显微剖切方法和信息处理系统
US20200184637A1 (en) Identifying the quality of the cell images acquired with digital holographic microscopy using convolutional neural networks
JP7428173B2 (ja) 細胞観察装置及び細胞観察方法
CN111837157A (zh) 细胞图像解析方法、细胞图像解析装置、及学习模型创建方法
Fantuzzo et al. Intellicount: high-throughput quantification of fluorescent synaptic protein puncta by machine learning
TWI833822B (zh) 用於自動映射流動體物體在基板上之方法及系統
WO2010146802A1 (ja) 細胞塊の状態判別手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法
CN114127307A (zh) 细胞图像解析方法和细胞图像解析装置
JP2021064115A (ja) 細胞画像解析方法及び細胞解析装置
Hussain et al. Exudate regeneration for automated exudate detection in retinal fundus images
JP7006832B2 (ja) 細胞解析装置
JP2022174740A (ja) 学習支援システムおよび学習支援方法
KR20220118288A (ko) 병리 슬라이드 이미지 내의 관심 영역을 검출하기 위한 방법 및 시스템
Li et al. CellBin enables highly accurate single-cell segmentation for spatial transcriptomics
Geng et al. Comparing optimization methods for deep learning in image processing applications
WO2022019110A1 (ja) プログラム、情報処理装置、情報処理方法及びモデル生成方法
WO2019043953A1 (ja) 細胞観察装置
JP7006833B2 (ja) 細胞解析装置
Deng et al. Automatic estimation of rice grain number based on a convolutional neural network
JP6947288B2 (ja) 細胞観察装置及び細胞観察用プログラム