JP2021018459A5 - - Google Patents

Claims (20)

1. 学習済みモデルの性能評価に用いられる第１の画像を取得する工程と、
   複数の第２の画像を生成する工程であって、前記複数の第２の画像の各々は、複数の学習済みモデルの各々による前記第１の画像の処理結果である、という工程と、
   前記複数の学習済みモデルの各々を、前記複数の第２の画像のうちの対応する第２の画像に関連付けて表示する工程と、を含む
   ことを特徴とする評価支援方法。
2. 請求項１に記載の評価支援方法において、
   前記第１の画像を取得する工程は、前記第１の画像を含む複数の第１の画像を取得する工程を含み、
   前記複数の第２の画像を生成する工程は、前記複数の第１の画像の各々に対して複数の第２の画像を生成する工程を含み、
   前記複数の学習済みモデルの各々を表示する工程は、前記複数の学習済みモデルの各々を、前記複数の第２の画像のうちの対応する少なくとも１つの第２の画像に関連付けて表示する工程と、を含む
   ことを特徴とする評価支援方法。
3. 請求項２に記載の評価支援方法において、
   前記複数の学習済みモデルの各々を表示する工程は、前記複数の学習済みモデルの各々を、前記少なくとも１つの第２の画像と、前記少なくとも１つの第２の画像に対応する少なくとも１つの第１の画像と、に関連付けて表示する工程と、を含み、
   前記少なくとも１つの第１の画像は、前記複数の第１の画像に含まれる
   ことを特徴とする評価支援方法。
4. 請求項２に記載の評価支援方法において、
   前記複数の学習済みモデルの各々を表示する工程は、前記複数の学習済みモデルの各々を、前記少なくとも１つの第２の画像と、前記複数の学習済みモデルのうちの対応する学習済みモデルに付随するメタデータと、に関連付けて表示する工程を含む
   ことを特徴とする評価支援方法。
5. 請求項４に記載の評価支援方法において、さらに、
   前記複数の学習済みモデルに付随する複数のメタデータに基づいて、複数の組み合わせに対して優先順位を割り当てる工程であって、前記複数の組み合わせの各々は、互いに対応する学習済みモデルと少なくとも１つの第２の画像とメタデータとの組み合わせである、という工程を含み、
   前記複数の学習済みモデルの各々を表示する工程は、前記優先順位に従った並び順で前記複数の組み合わせを表示する工程を含む
   ことを特徴とする評価支援方法。
6. 請求項２に記載の評価支援方法において、
   前記複数の学習済みモデルの各々を表示する工程は、前記複数の学習済みモデルの各々を、前記少なくとも１つの第２の画像と、前記少なくとも１つの第２の画像の各々の信頼度と、に関連付けて表示する工程を含む
   ことを特徴とする評価支援方法。
7. 請求項６に記載の評価支援方法において、さらに、
   前記複数の第２の画像に対応する複数の信頼度に基づいて、複数の組み合わせに対して優先順位を割り当てる工程であって、前記複数の組み合わせの各々は、互いに対応する学習済みモデルと少なくとも１つの第２の画像と前記少なくとも１つの第２の画像の各々の
   信頼度との組み合わせである、という工程を含み、
   前記複数の学習済みモデルの各々を表示する工程は、前記優先順位に従った並び順で前記複数の組み合わせを表示する工程を含む
   ことを特徴とする評価支援方法。
8. 請求項７に記載の評価支援方法において、
   前記優先順位を割り当てる工程は、組み合わせを構成する信頼度が低いほど前記組み合わせに高い優先順位を割り当てる工程を含む
   ことを特徴とする評価支援方法。
9. 請求項２に記載の評価支援方法において、さらに、
   複数の第１のラベル情報を取得する工程であって、前記複数の第１のラベル情報の各々は、前記複数の第１の画像の各々に対して期待する処理結果を示す、という工程と、
   前記複数の第２の画像に対応する複数の第１の評価情報を生成する工程であって、前記複数の第１の評価情報は、前記複数の第２の画像と前記複数の第１のラベル情報とに基づいて生成される、という工程と、を含み、
   前記複数の学習済みモデルの各々を表示する工程は、前記複数の学習済みモデルの各々を、前記少なくとも１つの第２の画像と、前記複数の第１の評価情報のうちの前記少なくとも１つの第２の画像に対応する少なくとも１つの第１の評価情報と、に関連付けて表示
   する工程を含む
   ことを特徴とする評価支援方法。
10. 請求項９に記載の評価支援方法において、さらに、
    前記複数の第１の評価情報に基づいて、複数の組み合わせに対して優先順位を割り当てる工程であって、前記複数の組み合わせの各々は、互いに対応する学習済みモデルと少なくとも１つの第２の画像と少なくとも１つの第１の評価情報との組み合わせである、とい
    う工程を含み、
    前記複数の学習済みモデルの各々を表示する工程は、前記優先順位に従った並び順で前記複数の組み合わせを表示する工程を含む
    ことを特徴とする評価支援方法。
11. 請求項９に記載の評価支援方法において、さらに、
    前記複数の学習済みモデルの利用頻度に基づいて、複数の組み合わせに対して優先順位を割り当てる工程であって、前記複数の組み合わせの各々は、互いに対応する学習済みモデルと少なくとも１つの第２の画像と少なくとも１つの第１の評価情報との組み合わせで
    ある、という工程を含み、
    前記複数の学習済みモデルの各々を表示する工程は、前記優先順位に従った並び順で前記複数の組み合わせを表示する工程を含む
    ことを特徴とする評価支援方法。
12. 請求項２に記載の評価支援方法において、さらに、
    前記複数の第１の画像の各々に対して、前記複数の第２の画像から前記少なくとも１つの第２の画像を選別する工程を含む
    ことを特徴とする評価支援方法。
13. 請求項１に記載の評価支援方法において、さらに、
    複数の第３の画像を取得する工程であって、前記複数の第３の画像の各々は、前記複数の学習済みモデルのうちの対応する学習済みモデルの訓練過程で使用された画像である、
    という工程と、
    複数の第４の画像を生成する工程であって、前記複数の第４の画像の各々は、前記複数の学習済みモデルのうちの対応する学習済みモデルによる前記複数の第３の画像のうちの対応する第３の画像の処理結果である、という工程と、
    前記複数の学習済みモデルの各々を表示する工程は、前記複数の学習済みモデルの各々を、前記複数の第２の画像のうちの対応する第２の画像と、前記複数の第４の画像のうちの対応する第４の画像に関連付けて表示する工程と、を含む
    ことを特徴とする評価支援方法。
14. 請求項１乃至請求項１３のいずれか１項に記載の評価支援方法において、
    前記複数の第２の画像の各々は、ヒートマップである
    ことを特徴とする評価支援方法。
15. 請求項１乃至請求項１４のいずれか１項に記載の評価支援方法において、さらに、
    学習済みモデルに付随するメタデータに基づいて、前記複数の学習済みモデルを選択する工程を含む
    ことを特徴とする評価支援方法。
16. 請求項１に記載の評価支援方法において、
    前記学習済みモデルが、セグメンテーションタイプ、ディテクションタイプ、クラシフィケーションタイプのいずれかである
    ことを特徴とする評価支援方法。
17. 学習済みモデルの評価支援システムであって、
    複数の学習済みモデルが格納された非一過性のコンピュータ読取可能記憶媒体と、
    少なくとも１つのプロセッサと、を備え、
    前記プロセッサは、
    学習済みモデルの性能評価に用いられる第１の画像を取得する工程と、
    複数の第２の画像を生成する工程であって、前記複数の第２の画像の各々は、前記複数の学習済みモデルの各々による前記第１の画像の処理結果である、という工程と、
    前記複数の学習済みモデルの各々を、前記複数の第２の画像のうちの対応する第２の画像に関連付けて表示する工程と、を行う
    ことを特徴とする評価支援システム。
18. 請求項１７に記載の評価支援システムにおいて、さらに、
    表示装置を備え、
    前記表示装置は、前記学習済みモデルの各々を、前記複数の第２の画像の内の対応する第２の画像と共に関連付けて表示する
    ことを特徴とする評価支援システム。
19. 請求項１７に記載の評価支援システムにおいて、さらに、
    データベースを備え、
    前記プロセッサは、前記データベースから前記データベースに登録された前記複数の学習済みモデルの抽出を行う
    ことを特徴とする評価支援システム。
20. 学習済みモデルの性能評価に用いられる第１の画像を取得する手順と、
    複数の第２の画像を生成する手順であって、前記複数の第２の画像の各々は、複数の学習済みモデルの各々による前記第１の画像の処理結果である、という手順と、
    前記複数の学習済みモデルの各々を、前記複数の第２の画像のうちの対応する第２の画像に関連付けて表示する手順と、
    をコンピュータに実行させることを特徴とするプログラム。