JP2020095428A - モデル学習システム、モデル学習方法、プログラム、及び記憶媒体 - Google Patents

Abstract

【課題】学習に必要なデータ数を削減できる、モデル学習システム、モデル学習方法、プログラム、及び記憶媒体を提供する。【解決手段】実施形態に係るモデル学習システムは、処理部を備える。前記処理部は、第１画像をモデルに入力して前記モデルから出力された第２画像を取得し、前記第２画像を補正して第３画像を生成し、前記第１画像を入力データ、前記第３画像を教師データとして用いて前記モデルを学習させる。【選択図】図１

Description

本発明の実施形態は、モデル学習システム、モデル学習方法、プログラム、及び記憶媒体に関する。

モデルの教師あり学習では、学習に大量のデータが必要となる。このため、学習に必要なデータ数を削減できる技術の開発が望まれている。

国際公開ＷＯ２０１８／１６８５３９

本発明が解決しようとする課題は、モデルの学習に必要なデータ数を削減できる、モデル学習システム、モデル学習方法、プログラム、及び記憶媒体を提供することである。

実施形態に係るモデル学習システムは、処理部を備える。前記処理部は、第１画像をモデルに入力して前記モデルから出力された第２画像を取得し、前記第２画像を補正して第３画像を生成し、前記第１画像を入力データ、前記第３画像を教師データとして用いて前記モデルを学習させる。

実施形態に係るモデル学習システムの構成を表すブロック図である。 実施形態に係るモデル学習システムの動作の一例を表すフローチャートである。 第１実施例に係るモデル学習システムによる処理を表す画像である。 第１実施例に係るモデル学習システムによる処理を表す画像である。 第１実施例に係るモデル学習システムによる処理を表す画像である。 第１実施例に係るモデル学習システムによる処理を表す画像である。 第１実施例に係るモデル学習システムによる処理を表す画像である。 第１実施例に係るモデル学習システムによる処理を表す画像である。 第２実施例に係るモデル学習システムによる処理を表す画像である。 第２実施例に係るモデル学習システムによる処理を表す画像である。 第２実施例に係るモデル学習システムによる処理を表す画像である。 実施形態に係るモデル学習システムの動作の別の一例を表すフローチャートである。 実施形態に係るモデル学習システムの動作の別の一例を表すフローチャートである。 実施形態に係るモデル学習システムの動作の別の一例を表すフローチャートである。

以下に、本発明の各実施形態について図面を参照しつつ説明する。
本願明細書と各図において、既に説明したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。

図１は、実施形態に係るモデル学習システムの構成を表すブロック図である。
実施形態に係るモデル学習システム１は、処理部１０を備える。図１に表した例では、モデル学習システム１は、入力部２０、表示部３０、モデル記憶部４０、及び画像記憶部５０をさらに備える。

モデル記憶部４０は、モデルを記憶している。画像記憶部５０は、モデルの学習に用いられる画像を記憶している。処理部１０は、画像記憶部５０に記憶された画像を用いて、モデル記憶部４０に記憶されたモデルの学習を行う。処理部１０は、モデルを学習させると、そのモデルをモデル記憶部４０に保存する。

モデルは、例えば、ニューラルネットワークである。処理部１０は、例えば、中央演算処理装置からなる処理回路を含む。モデル記憶部４０及び画像記憶部５０は、例えば、ハードディスクドライブ（ＨＤＤ）、ネットワーク接続ハードディスク（ＮＡＳ）、組み込み用マルチメディアカード（ｅＭＭＣ）、ソリッドステートドライブ（ＳＳＤ）、及びソリッドステートハイブリッドドライブ（ＳＳＨＤ）の少なくともいずれかを含む。１つの記憶装置が、モデル記憶部４０及び画像記憶部５０として機能しても良い。

入力部２０は、処理部１０へ情報を入力する操作を受け付ける。入力部２０は、例えば、キーボード、タッチパッド、及びマイク（音声入力）の少なくともいずれかを含む。

表示部３０は、処理部１０から送信された情報をユーザに向けて表示する。表示部３０は、例えば、モニタ及びプリンタの少なくともいずれかを含む。入力部２０及び表示部３０の両方として機能するタッチパネルなどが用いられても良い。

処理部１０、入力部２０、表示部３０、モデル記憶部４０、及び画像記憶部５０は、有線通信、無線通信、又はネットワークにより相互に接続される。

図２は、実施形態に係るモデル学習システムの動作の一例を表すフローチャートである。
図２は、学習済みのモデルを、モデル学習システム１により再学習する際の動作を表している。

図２に表したように、処理部１０は、モデル記憶部４０及び画像記憶部５０にアクセスし、学習済みのモデルに第１画像（入力画像）を入力する（ステップＳ１）。モデルは、画像を入力すると、別の画像を出力するように学習されている。処理部１０は、モデルから出力された第２画像（出力画像）を取得する（ステップＳ２）。

処理部１０は、第２画像を補正し、第２画像とは異なる第３画像（補正画像）を生成する（ステップＳ３）。処理部１０は、第１画像を入力データとして用い、第３画像を教師データとして用いてモデルを再学習させる（ステップＳ４）。処理部１０は、学習させたモデルを、モデル記憶部４０に保存する（ステップＳ５）。

実施形態の効果を説明する。
実施形態に係るモデル学習システム１では、処理部１０は、学習済みのモデル及び第１画像を基に得られた第２画像を補正し、第３画像を生成する。処理部１０は、この第３画像を教師データとして用いて、モデルを再学習させる。このため、実施形態に係るモデル学習システム１によれば、再学習において、必要となる教師データの数を削減することができる。
また、実施形態に係るモデル学習システム１によれば、再学習に用いる教師データが、入力データを基にして生成される。このため、モデルに入力されるデータの傾向が学習時に用いたデータから変化した場合でも、適切な出力データが得られるようにモデルが再学習される。

処理部１０は、生成された第３画像を、表示部３０に表示させても良い。これにより、ユーザは、第３画像が教師データとして適切か容易に確認できる。例えば、ユーザの意図しない学習がモデルに対して実行されることを防止できる。

（第１実施例）
図３〜図８は、第１実施例に係るモデル学習システムによる処理を表す画像である。
第１実施例では、モデルに溶接時の様子を撮影した画像が入力され、その画像の特徴を示す別の画像がモデルから出力される。図３（ａ）は、撮影された画像の一例である。図３（ａ）の画像は、金属部材のアーク溶接中に撮影された画像である。処理部１０は、モデルに図３（ａ）に表した画像を入力する。例えば、モデルは、図３（ａ）の画像の特徴を示す、図３（ｂ）に表した画像を出力する。図３（ａ）は、動画から静止画をキャプチャしたものでもいい。

図３（ｂ）に表した画像には、一方向に沿った２つの線Ｌ１及びＬ２と、曲がった線Ｌ３と、が含まれる。線Ｌ１〜Ｌ３は、溶接時の画像の特徴を示している。例えば、図３（ｂ）の画像では、線Ｌ１及びＬ２は、赤色で表される。線Ｌ３は、緑色で表される。その他の部分は、青色で表される。処理部１０は、図３（ｂ）に表した画像を補正する。例えば、処理部１０は、補正において、特徴を示す線を削除又は補完し、且つ画像に含まれるノイズを除去する。以下では、補正の具体的な一例を説明する。

図４（ａ）、図４（ｂ）、及び図４（ｃ）の画像は、図３（ｂ）に表した画像を色ごとに分けたものである。図４（ａ）の画像は、線Ｌ１及びＬ２のみを含む。図４（ｂ）の画像は、線Ｌ３のみを含む。図４（ｃ）の画像は、他の要素のみを含む。この例では、図４（ｃ）の画像には、実質的に何も含まれていない。

処理部１０は、各画像を二値化する。二値化は、線Ｌ１〜Ｌ３の輝度が、その他の部分の輝度と異なるように、実行される。処理部１０は、二値画像に、縮小処理及び拡大処理の少なくともいずれかを加える。例えば、処理部１０は、二値画像に、縮小処理と拡大処理の両方を加える。処理部１０は、拡大処理及び縮小処理を、複数回実行しても良い。拡大処理と縮小処理が交互に繰り返されても良い。拡大処理と縮小処理の実行順序は、適宜変更可能である。処理部１０は、縮小処理又は拡大処理の実行時に、回転処理を加えてもいい。これにより、図４（ｄ）〜図４（ｆ）に表した画像が生成される。縮小処理及び拡大処理により、画像中のノイズが除去される。

処理部１０は、図５（ａ）に表したように、線Ｌ１及びＬ２を含む画像に２つの領域（領域Ｒ１及び領域Ｒ２）を設定する。領域Ｒ１と領域Ｒ２の境界は、画像の第１方向Ｄ１の中心である。第１方向Ｄ１は、線Ｌ１及びＬ２を結ぶ方向である。また、処理部１０は、線Ｌ１及びＬ２を含む画像について、第１方向Ｄ１の各点における、第２方向Ｄ２の濃淡値の合計を算出する。第２方向Ｄ２は、第１方向Ｄ１に垂直な方向である。

図５（ｂ）は、濃淡値の合計の算出結果を表す。図５（ｂ）において、横軸は、第１方向Ｄ１における位置Ｐを表す。縦軸は、濃淡値の合計Ｓｕｍを表す。処理部１０は、領域Ｒ１及びＲ２のそれぞれにおける合計Ｓｕｍのピークを検出する。領域Ｒ１又はＲ２で複数のピークが検出された場合、画像の第１方向Ｄ１の中心により近いピークのみを残し、他のピークは除去する。これにより、領域Ｒ１及びＲ２のそれぞれに、１つの線のみが存在する画像が得られる。

例えば、モデルから出力された画像において、線Ｌ１及びＬ２以外に、一方向に沿った別の線が存在する可能性がある。上記の処理により、中心から遠い線は、除去される。図５（ａ）及び図５（ｂ）の例では、領域Ｒ１及びＲ２で、それぞれ１つのピークのみが検出されている。このため、図５（ａ）及び図５（ｂ）の例では、ピークの削除は行われない。次に、処理部１０は、線Ｌ１及びＬ２を直線近似する。これにより、図５（ａ）に表した画像から、図５（ｃ）に表した画像が得られる。

処理部１０は、線Ｌ１及びＬ２の位置情報を基に、図４（ｅ）に表した画像に対して、図６（ａ）に表したように、５つの領域Ｒ１１〜Ｒ１５を設定する。領域Ｒ１１とＲ１２の境界の位置は、線Ｌ１の位置に対応する。領域Ｒ１４とＲ１５の境界の位置は、線Ｌ２の位置に対応する。領域Ｒ１２〜Ｒ１４は、線Ｌ１に対応する境界と線Ｌ２に対応する境界との間の領域を、３等分することで設定される。

処理部１０は、線Ｌ３の一部が領域Ｒ１１及びＲ１５に存在するとき、その部分を除去する。すなわち、処理部１０は、領域Ｒ１１及びＲ１５に含まれる画素の輝度を、全て黒色に対応する値に設定する。また、処理部１０は、領域Ｒ１２及びＲ１４に存在する線Ｌ３の一部を、曲線近似する。処理部１０は、領域Ｒ１３に存在する線Ｌ３の一部には、処理を加えない。これらの処理により、図６（ｂ）に表した画像が生成される。

処理部１０は、図４（ｆ）に表した画像と、図５（ｃ）に表した画像と、図６（ｂ）に表した画像と、を結合し、図６（ｃ）に表した画像を生成する。図３（ｂ）に表した画像では、線Ｌ１〜Ｌ３が不鮮明であったが、補正によりこれらの線が鮮明となっている。処理部１０は、図３（ａ）の画像を入力データとし、図６（ｃ）の画像を教師データとして用いてモデルを学習させる。

例えば、品質検査やインプロセスモニタリングなどでは、溶接時の画像から抽出される特徴に基づき、溶接の良否を判定する。このとき、特徴が抽出された画像が不鮮明であったり、特徴が正確に抽出されていなかったりすると、溶接の良否を正確に判定できない。実施形態に係るモデル学習システム１によれば、特徴が抽出された画像について、補正により、不要な線が削除されたり、必要な線が鮮明化される。補正された画像を用いてモデルを学習することで、モデルが溶接時の画像から特徴をより正確に抽出できるようになる。

図７（ａ）〜図７（ｅ）及び図８（ａ）〜図８（ｃ）は、その他の例を表す。処理部１０は、図７（ａ）の画像をモデルに入力し、図７（ｂ）の画像を取得する。図７（ｂ）の画像では、線Ｌ１が不鮮明となっている。また、図７（ｂ）の画像には、線Ｌ１〜Ｌ３に加え、線Ｌ４が含まれている。処理部１０は、図７（ｂ）の画像に、上記と同様の処理を加えて補正し、図７（ｃ）の画像を生成する。補正により、線Ｌ１が鮮明となり、線Ｌ４が除去される。処理部１０は、図７（ａ）の画像を入力データとし、図７（ｃ）の画像を教師データとして用いてモデルを学習させる。

図７（ｄ）は、図７（ａ）の画像を別のモデルに入力して得られた画像を表す。図７（ｄ）の画像では、線Ｌ２が不鮮明となっている。また、図７（ｄ）の画像においても、線Ｌ１〜Ｌ３に加え、線Ｌ４が含まれている。処理部１０は、図７（ｄ）の画像を補正し、図７（ｅ）の画像を生成する。補正により、線Ｌ２が鮮明となり、線Ｌ４が除去される。処理部１０は、図７（ａ）の画像を入力データとし、図７（ｅ）の画像を教師データとして用いてモデルを学習させる。

同様に、処理部１０は、図８（ａ）の画像をモデルに入力し、図８（ｂ）の画像を取得する。処理部１０は、図８（ｂ）の画像を補正し、図８（ｃ）の画像を生成する。処理部１０は、図８（ａ）の画像を入力データとし、図８（ｃ）の画像を教師データとして用いてモデルを学習させる。

（第２実施例）
図９〜図１１は、第２実施例に係るモデル学習システムによる処理を表す画像である。
第２実施例では、モデルに段ボールの画像（写真）が入力される。モデルは、その画像から、段ボールへの付着物や印字などが除去された、段ボールの画像を出力する。図９（ａ）は、段ボールの画像の一例である。モデルは、図９（ａ）の画像から、段ボール以外のものや印字が除去された、図９（ｂ）に表した画像を出力する。処理部１０は、図９（ｂ）に表した画像を補正する。例えば、処理部１０は、補正において、段ボールの形状をより明確にし、且つ画像に含まれるノイズを除去する。以下では、補正の具体的な一例を説明する。

処理部１０は、図９（ｂ）に表した画像を二値化し、図１０（ａ）に表した画像を生成する。次に、処理部１０は、図１０（ａ）に表した画像に収縮処理及び拡大処理を加え、印字に対応する画素やノイズを除去する。これにより、図１０（ｂ）に表した画像を生成する。処理部１０は、図１０（ｂ）に表した画像をポリゴン近似し、図１０（ｃ）に表した画像を生成する。処理部１０は、図１０（ｃ）に表した画像に基づき、図１０（ｄ）に表したように、形状推定を実行する。これにより、段ボールの各面が識別される。

処理部１０は、図１１（ａ）〜図１１（ｃ）に表したように、段ボールの面ごとに色を補正する。例えば、処理部１０は、図１０（ｄ）に表した段ボールの各面について、図９（ｂ）の画像中の類似する部分を基に、色を補正する。処理部１０は、図１１（ａ）〜図１１（ｃ）に表した画像を結合し、平滑化することで、図１１（ｄ）に表した画像を生成する。処理部１０は、図９（ａ）の画像を入力データとし、図１１（ｄ）の画像を教師データとして用いてモデルを学習させる。

以上の通り、第２実施例によれば、段ボールの画像から、付着物や印字が除去され、段ボール自体の画像が生成される。例えば、段ボール自体の画像から、段ボールに凹みや傷などが無いか容易に確認できるようになる。

上述した各実施例で示したように、実施形態に係るモデル学習システム１は、特に工業的な用途に好適に用いられる。また、工業的な用途においては、第２画像を二値化し、縮小処理及び拡大処理を加える第１処理と、第２画像に近似処理を加える第２処理と、の少なくともいずれかが実行され、第２画像が補正されることが好ましい。これらの処理により、画像がより鮮明となり、画像に設計情報や工程の特徴がより反映され易くなるためである。

図１２は、実施形態に係るモデル学習システムの動作の別の一例を表すフローチャートである。
図１２に表したフローチャートは、未学習のモデルを、モデル学習システム１により学習する際の動作を含む。

処理部１０は、入力画像（例えば第１学習画像）及び教師画像（例えば第２学習画像）を用いてモデルを学習させる（ステップＳ１１）。処理部１０は、モデルの学習について、所定の条件が充足されたか判定する（ステップＳ１２）。条件が満たされていると、処理部１０は、モデルの学習を終了させ、ステップＳ１３に進む。条件が満たされていないと、処理部１０は、条件が満たされるまで、ステップＳ１１を繰り返す。条件は、例えば、予め登録された入力画像及び教師画像が全て学習されることである。条件は、ユーザによる学習を終了させる操作の入力であっても良い。

モデルの学習が完了すると、モデル学習システム１は、モデルを用いて画像を取得しつつ、モデルを適宜再学習させる。以降のステップＳ１３〜Ｓ１７は、図２に表したフローチャートのステップＳ１〜Ｓ５と同様である。すなわち、処理部１０は、学習済みのモデルに第１画像を入力し（ステップＳ１３）、第２画像を取得する（ステップＳ１４）。処理部１０は、第２画像を補正して第３画像を生成する（ステップＳ１５）。処理部１０は、第１画像を入力データとして用い、第３画像を教師データとして用いてモデルを再学習させる（ステップＳ１６）。処理部１０は、学習させたモデルを、モデル記憶部４０に保存する（ステップＳ１７）。

図１３は、実施形態に係るモデル学習システムの動作の別の一例を表すフローチャートである。
処理部１０は、上述した通り、モデルから出力された出力画像に基づく補正画像の生成と、前記補正画像を教師データとして用いたモデルの学習と、を含む学習動作を実行可能である。実施形態に係るモデル学習システム１は、この学習動作に関する情報を表示しても良い。この情報は、図１２に表したフローチャートのステップＳ１１の学習から、ステップＳ１３〜Ｓ１６の学習動作への切り替えをユーザが判断するために用いられる。

図１３に表したように、処理部１０は、モデルを学習させる（ステップＳ２１）。処理部１０は、学習動作に関する情報を表示部３０に表示させる（ステップＳ２２）。その後、例えば、処理部１０は、モデルの学習について、所定の条件が充足されたか判断する（ステップＳ２３）。処理部１０は、条件が満たされるまで、ステップＳ２１及びＳ２２を繰り返す。例えば、条件が満たされた後、処理部１０は、学習動作（例えば、図１２のフローチャートのステップＳ１３〜Ｓ１６）を実行しても良い。

例えば、学習動作に関する情報は、学習動作の実行についての評価値を含む。例えば、評価値が低いほど、学習動作の実行が推奨されていることを示す。評価値が高いほど、学習動作の実行は推奨されない（非推奨である）ことを示す。情報は、学習動作の実行を推奨する推奨情報、又は学習動作の実行を推奨しない非推奨情報を含んでも良い。例えば、推奨情報は、学習動作の実行が推奨されることを示す文章を含み、非推奨情報は、学習動作の実行が推奨されないことを示す文章を含む。

学習動作によれば、上述した通り、学習に必要なデータ数を削減できる。ただし、モデルから出力された出力画像を基に教師画像を生成するため、モデルが十分に学習されていないと、適切な教師画像が得られない。従って、学習動作は、モデルが十分に学習された後に実行されることが望ましい。例えば、実施形態に係るモデル学習システム１は、学習動作に関する情報をユーザに向けて表示する。ユーザは、この情報を基に、通常の入力画像と教師画像のペアデータを要する学習から、上記学習動作に切り替えるタイミングを判断することができる。これにより、ユーザの利便性を向上させることができる。

例えば、処理部１０は、ある入力画像及びある教師画像を用いて、モデルを学習させる。処理部１０は、学習の前又は後で、その入力画像をモデルに入力し、モデルから出力された出力画像を得る。処理部１０は、教師画像と出力画像との差分を算出する。差分の算出には、例えば、平均二乗誤差などの方法が用いられる。
その後、処理部１０は、別の入力画像及び別の教師画像を用いて、モデルを学習させる。処理部１０は、その学習の前又は後で、その別の入力画像をモデルに入力し、モデルから出力された別の出力画像を得る。処理部１０は、別の教師画像と別の出力画像との差分を算出する。以降は、同様にして、学習時に、教師画像と出力画像との差分を算出する。

処理部１０は、これらの差分の変化を計算する。例えば、処理部１０は、変化の割合又は変化の量を、評価値とする。この場合、評価値が大きいと、モデルの学習が十分では無いことを示し、評価値が小さいと、モデルの学習が十分であることを示す。例えば、評価値が表示されることで、ユーザは、評価値に基づき、上記学習動作への切り替えを判断できる。
又は、処理部１０は、評価値が所定の閾値を超えるとき、非推奨情報を表示しても良い。処理部１０は、評価値が所定の閾値以下となったとき、推奨情報を表示しても良い。推奨情報又は非推奨情報が表示されることで、ユーザは、上記学習動作への切り替えを容易に判断できるようになる。

この他に、評価値として、補正による画像の変化を示す値が用いられても良い。
例えば、処理部１０は、ある入力画像を用いてモデルを学習させた際、学習の前又は後で、その入力画像をモデルに入力して出力画像を得る。処理部１０は、出力画像を補正し、補正画像を生成する。処理部１０は、出力画像と補正画像との差分を算出する。
その後、処理部１０は、別の入力画像を用いてモデルを学習させた際、その学習の前又は後で、別の入力画像をモデルに入力して別の出力画像を得る。処理部１０は、別の出力画像を補正し、別の補正画像を生成する。処理部１０は、別の出力画像と別の補正画像との差分を算出する。

処理部１０は、これらの差分の変化を計算する。処理部１０は、この計算により得られた変化の割合又は変化の量を、評価値としても良い。この場合も、評価値が大きいと、モデルの学習が十分では無いことを示し、評価値が小さいと、モデルの学習が十分であることを示す。モデルの学習が十分で無いと、モデルからは、不鮮明であったり、適切に特徴が反映されていない画像が出力され易くなる。このような画像は、補正により大きく変更される。従って、モデルの学習が十分では無いほど、出力画像と補正画像との差分も大きくなる。この差分の変化に基づく評価値でも、学習動作の推奨又は非推奨を適切にユーザに知らせることができる。

図１４は、実施形態に係るモデル学習システムの動作の別の一例を表すフローチャートである。
処理部１０は、第３画像（補正画像）を用いたモデルの学習について、ユーザから評価を受け付けても良い。図１４に表したフローチャートのステップＳ３１〜３３は、図２に表したフローチャートのステップＳ１〜３と同様である。次に、処理部１０は、第３画像を表示部３０に表示させる（ステップＳ３４）。

ユーザは、第３画像を確認し、第３画像に関する評価を入力部２０を用いて入力する。処理部１０は、ユーザからの評価を受け付ける（ステップＳ３５）。処理部１０は、評価が肯定的か判断する（ステップＳ３６）。評価が肯定的ではない場合、処理部１０は、モデルを再学習させず、処理を終了する。

評価が肯定的である場合、処理部１０は、第２画像と第３画像の差分を算出する。処理部１０は、この差分が所定の閾値を超えるか判断する（ステップＳ３７）。差分が閾値を超えるとき、処理部１０は、第１画像を入力データ、第３画像を教師データとして用いてモデルを再学習させる（ステップＳ３８）。処理部１０は、再学習させたモデルを保存する（ステップＳ３９）。差分が閾値以下のとき、処理部１０は、処理を終了する。

図１４に表した動作によれば、教師データとして適切な第３画像のみがモデルの再学習に用いられる。このため、よりユーザの意図する結果が出力されるよう、モデルを適切に学習させることができる。

図１４に表した動作において、第３画像についての評価が肯定的であった場合、処理部１０は、第２画像と第３画像の差分に拘わらず、ステップＳ３８を実行しても良い。ただし、差分が小さい場合、十分に望ましい画像がモデルから出力されていることを示す。従って、第３画像を用いて再学習を実行する必要性は薄い。差分に基づいて再学習の実行を判断することで、無用にモデルが再学習されることを抑制できる。これにより、処理部１０により計算量を低減できる。また、モデルが過学習され、モデルの汎化能力が低減することを抑制できる。

以上で説明した実施形態に係るモデル学習システム及びモデル学習方法によれば、モデルの学習に必要なデータ数を削減できる。同様に、コンピュータを、モデル学習システムとして動作させるためのプログラムを用いることで、モデルの学習に必要なデータ数を削減できる。

また、以上では、入力データ及び教師データとして画像を用いる場合について説明した。しかし、実施形態に係るモデル学習システム、モデル学習方法、プログラム、及び記憶媒体は、画像以外のデータが入力されるモデルに対しても適用可能である。例えば、モデルには、文章が入力されても良い。このモデルは、第１文章が入力されると、第２文章を出力する。処理部１０は、第２文章を補正し、第３文章を生成する。処理部１０は、第１文章を入力データ、第３文章を教師データとして用いてモデルを学習させる。これにより、モデルの学習に必要なデータ数を削減できる。

上記の種々のデータの処理は、例えば、プログラム（ソフトウェア）に基づいて実行される。例えば、コンピュータが、このプログラムを記憶し、このプログラムを読み出すことにより、上記の種々の情報の処理が行われる。

上記の種々の情報の処理は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク及びハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷなど）、半導体メモリ、または、他の記録媒体に記録されても良い。

例えば、記録媒体に記録された情報は、コンピュータ（または組み込みシステム）により読み出されることが可能である。記録媒体において、記録形式（記憶形式）は任意である。例えば、コンピュータは、記録媒体からプログラムを読み出し、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させる。コンピュータにおいて、プログラムの取得（または読み出し）は、ネットワークを通じて行われても良い。

実施形態に係る処理部は、１つまたは複数の装置（例えばパーソナルコンピュータなど）を含む。実施形態に係る処理部は、ネットワークにより接続された複数の装置を含んでも良い。

以上、本発明のいくつかの実施形態を例示したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更などを行うことができる。これら実施形態やその変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。また、前述の各実施形態は、相互に組み合わせて実施することができる。

１ モデル学習システム、 １０ 処理部、 ２０ 入力部、 ３０ 表示部、 ４０ モデル記憶部、 ５０ 画像記憶部、 Ｄ１ 第１方向、 Ｄ２ 第２方向、 Ｌ１〜Ｌ４ 線、 Ｐ 位置、 Ｒ１、Ｒ２、Ｒ１１〜Ｒ１５ 領域、 Ｓｕｍ 合計

Claims (12)

1. 第１画像をモデルに入力して前記モデルから出力された第２画像を取得し、
   前記第２画像を補正して第３画像を生成し、
   前記第１画像を入力データ、前記第３画像を教師データとして用いて前記モデルを学習させる、
   処理部を備えたモデル学習システム。
2. 第１学習画像を入力データ、第２学習画像を教師データとして用いてモデルを学習させ、
   前記モデルに第１画像を入力して前記モデルから出力された第２画像を取得し、
   前記第２画像を補正して第３画像を生成し、
   前記第１画像を入力データ、前記第３画像を教師データとして用いて前記モデルを学習させる、
   処理部を備えたモデル学習システム。
3. 前記第３画像を表示する表示部をさらに備えた請求項１又は２に記載のモデル学習システム。
4. 第１画像をモデルに入力して前記モデルから出力された第２画像を取得し、前記第２画像を補正して第３画像を生成する処理部と、
   前記第３画像を表示する表示部と、
   前記第３画像に関する評価を受け付ける入力部と、
   を備え、
   前記評価に基づき、前記処理部は、前記第１画像を入力データ、前記第３画像を教師データとして用いて、前記モデルを学習させる学習動作を実行可能であるモデル学習システム。
5. 前記処理部は、前記評価が前記第３画像に肯定的である場合、前記第２画像と前記第３画像との差分を算出し、前記差分が所定の閾値を超えていると、前記学習動作を実行する請求項４記載のモデル学習システム。
6. 前記処理部は、
   前記第２画像を二値化し、縮小処理及び拡大処理の少なくともいずれかを加える第１処理と、
   前記第２画像に近似処理を加える第２処理と、
   の少なくともいずれかを実行することで、前記第２画像を補正する請求項１〜５のいずれか１つに記載のモデル学習システム。
7. モデルから出力された出力画像に基づく補正画像の生成と、前記補正画像を教師データとして用いた前記モデルの学習と、を含む学習動作を実行可能であり、前記モデルの学習時に前記学習動作に関する情報を出力する処理部を備えたモデル学習システム。
8. 前記情報は、前記学習動作の実行についての評価値を含む請求項７記載のモデル学習システム。
9. 前記処理部は、
   前記モデルの学習時に、前記学習動作の実行についての評価値を算出し、
   前記評価値が所定の閾値を超えていると、前記学習動作の実行を推奨する推奨情報を含んだ前記情報を出力する、
   請求項７記載のモデル学習システム。
10. 第１画像をモデルに入力して前記モデルから出力された第２画像を取得し、
    前記第２画像を補正して第３画像を生成し、
    前記第１画像を入力データ、前記第３画像を教師データとして用いて前記モデルを学習させるモデル学習方法。
11. 処理装置に、
    第１画像をモデルに入力させて前記モデルから出力された第２画像を取得させ、
    前記第２画像を補正させて第３画像を生成させ、
    前記第１画像を入力データ、前記第３画像を教師データとして用いて前記モデルを学習させる、
    プログラム。
12. 請求項１１記載のプログラムを記憶した記憶媒体。