JP2019152948A - 画像判定システム、モデル更新方法およびモデル更新プログラム - Google Patents

Abstract

【課題】使用に応じて画像を判定する精度を向上させることができる画像判定システムを提供する。【解決手段】学習部８１は、画像が表す種別ごとの確からしさを推定するモデルを、学習用画像データを用いて学習する。評価部８２は、学習されたモデルの精度を評価する。また、学習部８１は、モデルが推定する確からしさが予め定めた基準を満たしていないとして種別を判別できなかった画像に対して正解ラベルが付与された学習用画像データを用いて、モデルを再学習し、評価部８２は、再学習前のモデルと再学習後のモデルの精度を比較して、より精度の高いモデルを選択する。【選択図】図４

Description

本発明は、画像の種別を判定する画像判定システム、並びに、画像の種別を推定するモデルを更新するモデル更新方法およびモデル更新プログラムに関する。

様々な種別の画像に対して対応する後続処理を適切に行うため、画像の内容を人手で確認して、画像を各種別に分類することが一般的に行われている。一方、人手で確認する作業を効率化し、作業コストを低減させる方法も提案されている。

特許文献１には、複数の帳票の種別の中から、オペレータが容易に正しい種別を指定できる情報処理装置が記載されている。特許文献１に記載された情報処理装置では、学習データとして各クラスに分類される画像データそれぞれに対応する特徴量が用意され、各クラスを分類するための分類器が用意される。そして、特許文献１に記載された情報処理装置は、２クラス分類器を多クラス分類器に拡張する方法であるＯＶＡ（Ｏｎｅ−Ｖｅｒｓｕｓ−Ａｌｌ）を利用して、各分類器の出力を対象クラスの信頼度とする。

特開２０１７−１０７４５５号公報

学習するための画像が少ない場合や、判定が難しいような類似する種別の画像が混在するような場合では、初期段階から精度の高い判定を行うことは困難である。このような状況では、判定器を利用して画像データの種別の確からしさをもとに種別を特定したとしても、人手による再確認が必要不可欠である。そこで、人手による確認の手間を減らすために、判定器で用いられる精度の高い学習モデルを生成することが求められている。

判定対象の画像について全ての種別で判定の確率が高くならない場合、各種別を判定するための閾値を低く設定することが考えられる。しかし、閾値を低くし過ぎると、判定ミスを誘発するおそれが高くなるため、人手で確認する作業および修正の作業が増加する可能性がある。一方、初期段階から閾値を高く設定してしまうと、どの種別にも判定されなくなってしまう恐れが高くなるため、人手で設定する作業が増加する可能性もある。

特許文献１には、画像データを使用して分類器を学習することは記載されているが、どの程度の画像データを学習に用いるか不明であり、精度が十分高い分類器を初期段階から生成できているとは言い難い。そのため、画像データが適切なクラスに分類されるかどうかは不明であり、精度が低い分類器ではかえって人手による作業が増加してしまうという問題がある。

そこで、本発明は、使用に応じて画像を判定する精度を向上させることができる画像判定システム、モデル更新方法およびモデル更新プログラムを提供することを目的とする。

本発明による画像判定システムは、画像が表す種別ごとの確からしさを推定するモデルを、学習用画像データを用いて学習する学習部と、学習されたモデルの精度を評価する評価部とを備え、学習部が、モデルが推定する確からしさが予め定めた基準を満たしていないとして種別を判別できなかった画像に対して正解ラベルが付与された学習用画像データを用いて、モデルを再学習し、評価部が、再学習前のモデルと再学習後のモデルの精度を比較して、より精度の高いモデルを選択することを特徴とする。

本発明によるモデル更新方法は、画像が表す種別ごとの確からしさを推定するモデルを、そのモデルが推定する確からしさが予め定めた基準を満たしていないとして種別を判別できなかった画像に対して正解ラベルが付与された学習用画像データを用いて再学習し、再学習前のモデルと再学習後のモデルの精度を比較して、より精度の高いモデルを選択することを特徴とする。

本発明によるモデル更新プログラムは、コンピュータに、画像が表す種別ごとの確からしさを推定するモデルを、学習用画像データを用いて学習する学習処理、および、学習されたモデルの精度を評価する評価処理を実行させ、学習処理で、モデルが推定する確からしさが予め定めた基準を満たしていないとして種別を判別できなかった画像に対して正解ラベルが付与された学習用画像データを用いて、モデルを再学習させ、評価処理で、再学習前のモデルと再学習後のモデルの精度を比較して、より精度の高いモデルを選択させることを特徴とする。

本発明によれば、使用に応じて画像を判定する精度を向上させることができる。

本発明による画像判定システムの一実施形態を示すブロック図である。 画像判定システムの動作例を示すフローチャートである。 画像判定システムの動作の具体例を示す説明図である。 本発明による画像判定システムの概要を示すブロック図である。

以下、本発明の実施形態を図面を参照して説明する。

図１は、本発明による画像判定システムの一実施形態を示すブロック図である。本実施形態の画像判定システム１００は、画像入力部１０と、画像種別推定部２０と、判別器３０と、再学習用データ記憶部３１と、テスト用データ記憶部３２と、種別設定部４０と、学習器５０と、評価部６０と、出力部７０とを備えている。

出力部７０は、画像判定システムによる各種結果を出力する。出力部７０は、例えば、ディスプレイ装置や、プリンタなどにより実現される。

画像入力部１０は、画像種別推定部２０が種別の推定に用いる画像を入力する。画像入力部１０は、通信ネットワークを介して画像を入力してもよいし、他のシステムの記憶部（図示せず）に記憶された画像を読み取ってもよい。

画像種別推定部２０は、画像が表す種別ごとの確からしさを推定するモデル（以下、単にモデルまたは学習済モデルと記す。）を用いて、入力された画像の種別の確からしさを推定する。種別の確からしさの表し方は任意であり、例えば、種別らしさの確率であってもよく、種別ごとの信頼度であってもよい。

画像の分類に用いられる種別の設定方法は任意である。種別は、異なる種類の画像ごとに設定されてもよく、同じ種類の画像について、その画像が表す対象の程度に応じて設定されてもよい。異なる種類の画像ごとに設定される例として、異なる種類の帳票ごと（住民票、婚姻届、印鑑証明など）、地図ごと（道路地図、地形図など）、見取り図ごと（住居用、オフィス用、など）に設定する場合が挙げられる。また、同じ種類の画像ごとに設定される例として、同じ建築物の劣化の度合いや病変の進行度合いに応じて設定する場合が挙げられる。

画像種別推定部２０が使用するモデルの態様は任意であり、例えば、ディープラーニングにより生成されたモデルである。この場合、画像種別推定部２０は、入力された画像をモデルに適用して、種別ごとの確率を推定してもよい。例えば、画像Ａの種別の候補が種別Ａ〜Ｄの４種類存在し、種別Ａらしさが最も高い場合、画像種別推定部２０は、種別ごとに「種別Ａ：８５％」、「種別Ｂ：１０％」、「種別Ｃ：３％」、「種別Ｄ：２％」のように確率を推定してもよい。なお、画像種別推定部２０が使用するモデルを学習する方法については後述される。

判別器３０は、画像種別推定部２０によって推定された画像の種別の確からしさに基づいて、画像の種別を判別する。具体的には、判別器３０は、画像種別推定部２０が推定に使用したモデルによって推定される確からしさが閾値を超える画像の種別を判別する。

判別に用いられる閾値には、種別ごとに値が設定されていてもよく、種別全体で共通の値が設定されていてもよい。例えば、推定が容易な種別には、他の種別の閾値よりも高い閾値が設定されてもよい。

また、例えば、複数の種別が設定されていても、ある種別（例えば、種別Ｘとする。）とそれ以外の種別との判断が出来ればよい場合や、非常に高い確率で判別可能な種別（例えば、種別Ｙとする。）が存在する場合も考えられる。このような場合、その種別（種別Ｘ，種別Ｙ）のみ判別器３０に判別させればよいような場合、その種別に対して適切な閾値を設定し、それ以外の種別に対しては、非常に高い閾値を設定してもよい。このようにすることで、人手で判別させることが好ましい種別の画像を抽出することが可能になる。

なお、判別器３０が用いる閾値は、後述する評価部６０によって更新される。初期段階では、ユーザの経験等や既存の推定確率に基づいて閾値が設定されてもよい。また、現在のモデルを用いて正解データが付与された画像の種別の確率を推定し、推定される確率を満たすような閾値が設定されてもよい。なお、閾値を更新する方法は後述される。

判別器３０は、種別を判別した画像（すなわち、種別を判別できた画像）をテスト用データ記憶部３２に登録する。また、判別器３０は、種別を判別した画像を後続の処理に送信してもよい。判別器３０は、例えば、種別を判別した画像を、出力部７０に種別とともに出力させてもよいし、種別に対応する後続処理を行う処理器（図示せず）に画像を通知してもよい。

一方、判別器３０は、画像の種別が判別できなかった場合、種別が判別できなかった画像（以下、判別不可画像と記す。）を再学習用データ記憶部３１に登録する。登録された画像は、後続の種別設定部４０で利用される。なお、判別器３０は、判別不可画像を再学習用データ記憶部３１に登録せず、種別設定部４０に直接送信してもよい。

種別設定部４０は、判別器３０によって種別が判別できなかった画像（すなわち、判別不可画像）に対して正解データ（ラベル）である種別を付与する。種別設定部４０は、例えば、ユーザに対して判別不可画像を表示し、人手で正解データを付与してもよい。なお、正解データが付与された判別不可画像は、後続の再学習処理で教師データとして用いられるため、精度高く正解データが付与されることが好ましい。また、正解ラベルが付与された画像はテストデータとして用いることが可能であるため、種別設定部４０は、この画像をテスト用データ記憶部３２に記憶する。

学習器５０は、判別器３０で用いられるモデル（すなわち、画像が表す種別ごとの確からしさを推定するモデル）を学習用の画像データを用いて学習する。初期段階では、学習器５０は、例えば、既存の画像データを学習データとして用いてモデルを学習すればよい。

さらに、学習器５０は、判別不可画像に対して正解ラベルが付与されたデータを学習用画像データとして用いて、モデルを再学習する。判別不可画像は、モデルが種別の精度を高く推定できなかった画像、または、判別器３０が要求する精度（すなわち、設定された閾値の精度）で種別を推定できなかった画像であると言える。このような画像に対して正解ラベルを付与した学習用画像データを生成し、この学習用画像データに基づいて再学習を行うことにより、再学習済モデルが種別を推定する精度を向上させることが可能になる。

学習器５０が再学習を行う方法は任意である。例えば、種別が増加しない場合、学習器５０は、学習用画像データを用いて追加学習を行ってもよいし、過去に学習に用いた画像と正解ラベルが付与された判別不可画像とを学習データとして用いて、新たにモデルの学習を行ってもよい。

その際、学習器５０が再学習に用いるデータも、学習方法に応じて選択することが可能である。学習器５０は、例えば、正解ラベルが付与された判別不可画像の全てを学習用画像データとして用いて、モデルの再学習を行ってもよい。また、学習時間の短縮や、特定の種別に対する推定精度の強化のため、学習器５０は、正解ラベルが付与された判別不可画像のうち、特定の種別の画像のみを学習用画像データとして用いてもよい。

例えば、該当すると推定される場合の確率が低い種別（すなわち、他の種別よりも確率が高く、その種別に該当すると推定される場合であっても、その確率が低い種別）の推定精度を向上させたいとする。例えば、種別Ａ〜Ｄが存在する場合に、種別Ｄの推定確率が５１％だったとする。この場合、他の種別と比較すると最も高く推定される種別ではあるが、推定確率自体は低いと考えられる。この場合、学習器５０は、その種別（例えば、種別Ｄ）が正解ラベルとして設定された学習用画像データを用いて、再学習を行ってもよい。

また、学習器５０は、判別不可画像のうち、最も多く設定された（または、最も割合が多い）種別の画像データを用いて再学習を行ってもよい。このような種別の画像は、推定精度が低いと考えられるからである。このような画像を用いて再学習を行うことで、推定精度の低い種別について、その種別を精度よく推定することが可能なモデルを生成できる。

一方、学習器５０が再学習を行うタイミングも任意である。学習器５０は、所定期間経過後に再学習を行ってもよく、精度を確保できそうな数として予め定めた数の学習用画像データが溜まった場合に再学習を行ってもよい。また、学習器５０は、判別器３０によって種別が判別できない画像の割合（以下、判別不可比率と記す。）が所定の基準を満たさなくなった場合に、再学習を行ってもよい。学習器５０は、例えば、判別対象の画像の全体数に対して種別が判別できなかった画像の数の割合を判別不可比率として算出し、判別不可比率が予め定めた基準を超えた場合に再学習を行ってもよい。このようにすることで、例えば、入力される画像の傾向が変わった場合、自動で再学習できるようになるため好ましい。

評価部６０は、学習器５０によって学習されたモデルの精度を評価する。そして、評価部６０は、既存のモデル（再学習前のモデル）と再学習後のモデルの精度を比較して、より精度の高いモデルを選択する。評価部６０は、選択されたモデルを画像種別推定部２０が使用するモデルとして自動的に置き換えてもよく、ユーザ等の指示に応じて置き換えてもよい。

評価部６０は、単一の指標に基づいてモデルの精度を評価してもよく、複数の指標を総合的に判断してモデルの精度を評価してもよい。その際、評価部６０は、テスト用データ記憶部３２に記憶されたデータである種別が判別できた画像および判別不可画像の両方を利用してモデルの精度を評価してもよく、いずれか一方のデータを利用してモデルの精度を評価してもよい。評価部６０は、例えば、既存のモデルと再学習後のモデルとを並行して判別不可画像を判別させ、各種別の確からしさが、既存のモデルよりも再学習後のモデルの方が高くなった場合に、精度が高くなったと判断して再学習後のモデルを選択してもよい。

また、評価部６０は、既存のモデルで判別不可と判断された画像を再学習後のモデルで判別した結果、判別が可能になった数（または割合）を算出してもよい。そして、評価部６０は、算出した数（または割合）が所定の基準を満たした場合に、再学習後のモデルがより精度の高いモデルになったと判断して、そのモデルを選択してもよい。

他にも、評価部６０は、複数のテストデータを既存のモデルと再学習後のモデルの双方に適用して、種別ごとの確からしさを算出し、テストデータごとの評価結果を統計処理（例えば、確からしさの平均値を算出、確からしさの標準偏差を算出）してもよい。例えば、統計処理として平均値が算出された場合、評価部６０は、確からしさの平均値が高いモデルをより精度の高いモデルとして選択してもよい。また、例えば、統計処理として標準偏差が算出された場合、評価部６０は、確からしさの標準偏差が小さい（すなわち、評価にブレが少ない）モデルをより精度の高いモデルとして選択してもよい。なお、統計処理に用いるテストデータは、学習させた種別の過去のデータ全てであってもよく、予め選択した件数のデータであってもよい。

さらに、評価部６０は、画像種別推定部２０が使用するモデルを更新する際に、判別器３０が用いる閾値を併せて更新してもよい。例えば、更新の際に閾値を変更する度合いを予め定めておき、評価部６０は、その度合いに応じて閾値を更新してもよい。このとき、定めておく度合いは、種別ごとであってもよく、全体で共通であってもよい。

他にも、評価部６０は、既存のモデルと再学習後のモデルとを比較した結果、向上した精度に応じて閾値を増加させる度合いを決定してもよい。例えば、向上した精度に応じて閾値を変化させた場合の過去の判別不可比率の変化を学習しておき、評価部６０は、向上した精度と向上させた閾値と判別不可比率との関係から、閾値を変化させる度合いを決定してもよい。

具体的には、精度の高いモデルに更新することにより画像種別推定部２０による推定確率が向上すれば判別不可比率は減少する。一方、判別器３０が用いる判別の閾値を増加させれば判別不可比率が増加することになる。そのため、評価部６０は、予め定めた許容できる判別不可比率に応じて、閾値を増加させてもよい。閾値を変更する方法の一例とし、正解が既に分かっている画像を利用して既存のモデルと再学習後のモデルとを評価する方法が挙げられる。評価部６０は、全ての画像を既存のモデルで評価した場合の判定確率と、全ての画像を再学習後のモデルで評価した場合の判定確率を算出する。評価部６０は、これらの判定結果を比較し、再学習後のモデルでの判定確率が高かった場合、その判定確率を閾値とするように変更してもよい。

再学習用データ記憶部３１は、判別不可画像を記憶する。なお、再学習用データ記憶部３１は、判別不可画像を種別設定部４０によって付与された正解ラベルに対応付けて記憶してもよい。また、テスト用データ記憶部３２は、判別または付加された種別を画像と対応付けて記憶する。再学習用データ記憶部３１およびテスト用データ記憶部３２は、例えば、磁気ディスク装置により実現される。

画像入力部１０と、画像種別推定部２０と、判別器３０と、種別設定部４０と、学習器５０と、評価部６０とは、プログラム（モデル更新プログラム）に従って動作するコンピュータのＣＰＵによって実現される。例えば、プログラムは、画像判定システムが備える記憶部（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、画像入力部１０、画像種別推定部２０、判別器３０、種別設定部４０、学習器５０および評価部６０として動作してもよい。

画像入力部１０と、画像種別推定部２０と、判別器３０と、種別設定部４０と、学習器５０と、評価部６０とは、それぞれが専用のハードウェアで実現されていてもよい。

次に、本実施形態の動作を説明する。図２は、本実施形態の画像判定システムの動作例を示すフローチャートである。なお、画像種別推定部２０が初期段階で推定に用いるモデルは予め学習されているとする。

画像入力部１０は、判別の対象とする画像を入力する（ステップＳ１１）。画像種別推定部２０は、入力された画像に対してモデルを適用し、入力された画像の種別の確からしさを推定する（ステップＳ１２）。判別器３０は、推定された画像の種別の確からしさに基づいて、画像の種別を判別する（ステップＳ１３）。

画像の種別が判別できなかった場合（ステップＳ１３におけるＮｏ）、種別設定部４０は、判別不可画像に対して正解データを付与し（ステップＳ１４）、再学習用データ記憶部３１に記憶する。その後ステップＳ１５の処理が行われる。一方、画像の種別が判別できた場合（ステップＳ１３におけるＹｅｓ）、判別器３０は、種別に対応する後続処理を行う処理器（図示せず）に画像を通知する（ステップＳ１５）。また、判別器３０は、判別された種別を画像と対応付けてテスト用データ記憶部３２に記憶する。

学習器５０は、判別不可画像に対して正解ラベルが付与されたデータを学習用画像データとして用いて、モデルを再学習する（ステップＳ１６）。学習器５０は、予め定められた条件に応じたタイミングおよび方法で再学習を行う。評価部６０は、学習器５０によって学習されたモデルの精度を評価し、既存のモデルよりも精度が高くなっているか否か判断する（ステップＳ１７）。精度が高くなっている場合（ステップＳ１７におけるＹｅｓ）、評価部６０は、画像種別推定部２０が推定に用いている既存のモデルを再学習後のモデルに置き換える（ステップＳ１８）。さらに評価部６０は、判別器３０が判別に用いる閾値を更新する（ステップＳ１９）。一方、精度が高くなっていない場合（ステップＳ１７におけるＮｏ）、既存のモデルはそのままに処理を終了する。

次に、本実施形態の画像判定システムの具体例を説明する。図３は、本実施形態の画像判定システムの動作の具体例を示す説明図である。図３に示す例では、画像記憶器１１に判別対象の画像が記憶されているとする。図３に例示するＡＩ（Artificial Intelligence ）２１は、画像種別推定部２０に対応し、モデルを使用して種別Ａ、種別Ｂ、種別Ｃおよび種別Ｄの確からしさを推定する。

次に、判別器３０が、推定された種別の確からしさを設定された閾値と比較し、閾値よりも大きい確からしさの種別を特定する。ここで、閾値（８０％）よりも大きい種別が特定された画像は、判別済３０ｘに分類され、種別が特定されなかった画像は、判別不可３０ｙに分類される。判別不可３０ｙに分類された画像（すなわち、判別不可画像）に対し、ユーザが種別設定部４０を介して、種別Ａ〜Ｄを設定する。このデータは、再学習用データとして利用される。

判別済３０ｘに分類された画像および種別が設定された判別不可画像は、それぞれの処理を行う処理器Ｐａ〜Ｐｄに入力され、各処理が行われる。また、これらの画像は、判別済画像の記憶装置３３に記憶される。この記憶装置３３は、テスト用データ記憶部３２に対応する。

その後、ＡＩ５１は、再学習用データを用いてモデルの再学習を行い、再学習済モデルを生成する。なお、ＡＩ５１は、学習器５０に対応し、予め定められた条件に応じたタイミングおよび方法で再学習を行う。そして、再学習モデルの評価器６１は、既存のモデルｐｍと再学習後のモデルｒｍの精度を比較して、より精度の高いモデルを選択する。再学習後のモデルｒｍが選択された場合、評価器６１は、ＡＩ２１が使用するモデルを置き換える。併せて、評価器６１は、判別器３０が使用する閾値を変更する。なお、評価器６１は、評価部６０に対応する。

以上のように、本実施形態では、学習器５０が、判別不可画像を学習用データとして用いてモデルを再学習し、評価部６０が、再学習前のモデルと再学習後のモデルの精度を比較して、より精度の高いモデルを選択する。よって、使用に応じて画像を判定する精度を向上させることができる。すなわち、使用に応じてより精度の高いモデルが選択されるため、そのモデルを用いて画像を判定することにより、精度を向上させることが可能になる。

次に、本発明の概要を説明する。図４は、本発明による画像判定システムの概要を示すブロック図である。本発明による画像判定システム８０（例えば、画像判定システム１００）は、画像が表す種別ごとの確からしさを推定するモデルを、学習用画像データを用いて学習する学習部８１（例えば、学習器５０）と、学習されたモデルの精度を評価する評価部８２（例えば、評価部６０）とを備えている。

学習部８１は、モデルが推定する確からしさが予め定めた基準（例えば、閾値）を満たしていないとして種別を判別できなかった画像（例えば、判別不可画像）に対して正解ラベルが付与された学習用画像データを用いて、モデルを再学習し、評価部８２は、再学習前のモデルと再学習後のモデルの精度を比較して、より精度の高いモデルを選択する。

そのような構成により、使用に応じて画像を判定する精度を向上させることができる。

また、画像判定システム８０は、モデルが推定する確からしさが閾値を超える画像の種別を判別する判別部（例えば、判別器３０）を備えていてもよい。そして、学習部８１は、判別部が判別できなかった画像である判別不可画像に対し正解ラベルが付与された学習用画像データを用いて、モデルを再学習してもよい。そのような構成によれば、設定する閾値に応じて判別の可否を調整できるため、後続の処理の負荷を調整することが可能になる。

その際、学習部８１は、判別部によって種別が判別できない画像の割合である判別不可比率が所定の基準を満たさなくなった場合に、再学習を行ってもよい。そのような構成によれば、傾向の違う画像が判別対象になった場合に、自動的にモデルを更新することが可能になる。

また、評価部８２は、既存のモデルと再学習後のモデルとを用いて判別不可画像を判別し、既存のモデルよりも再学習後のモデルの方が、判別された種別の確からしさが高くなった場合に、再学習後のモデルを選択してもよい。このように、再学習の評価に判別不可画像を用いることで、判別不可画像の判定可否に応じてモデルの精度の向上を判断できる。

また、評価部８２は、判別に用いられるモデルがより精度の高いモデルに変更された際に、判別部が判別に用いる閾値を増加させてもよい。精度の高いモデルに変更されたことにより、種別の確からしさが増加すると考えられる。よって、判別の精度を向上させつつ、後続の人手の負荷を適切に調整することが可能になる。

また、評価部８２は、複数のテストデータをモデルに適用して種別ごとの確からしさを算出し、算出されたテストデータごとの確からしさを統計処理（例えば、平均の計算、偏差の計算、など）した値をモデルの精度として用いてもよい。このように、モデルが算出する種別の確からしさを用いることで、適切にモデルの精度を判断することが可能になる。

１０ 画像入力部
１１ 画像記憶器
２０ 画像種別推定部
２１ ＡＩ
３０ 判別器
３１ 再学習用データ記憶部
３２ テスト用データ記憶部
４０ 種別設定部
５０ 学習器
５１ ＡＩ
６０ 評価部
６１ 評価器
７０ 出力部
Ｐａ〜Ｐｂ 処理器
１００ 画像判定システム

Claims (10)

1. 画像が表す種別ごとの確からしさを推定するモデルを、学習用画像データを用いて学習する学習部と、
   学習された前記モデルの精度を評価する評価部とを備え、
   前記学習部は、前記モデルが推定する確からしさが予め定めた基準を満たしていないとして前記種別を判別できなかった画像に対して正解ラベルが付与された学習用画像データを用いて、前記モデルを再学習し、
   前記評価部は、再学習前のモデルと再学習後のモデルの精度を比較して、より精度の高いモデルを選択する
   ことを特徴とする画像判定システム。
2. モデルが推定する確からしさが閾値を超える画像の種別を判別する判別部を備え、
   学習部は、前記判別部が判別できなかった画像である判別不可画像に対し正解ラベルが付与された学習用画像データを用いて、モデルを再学習する
   請求項１記載の画像判定システム。
3. 学習部は、判別部によって種別が判別できない画像の割合である判別不可比率が所定の基準を満たさなくなった場合に、再学習を行う
   請求項２記載の画像判定システム。
4. 評価部は、既存のモデルと再学習後のモデルとを用いて判別不可画像を判別し、既存のモデルよりも再学習後のモデルの方が、判別された種別の確からしさが高くなった場合に、前記再学習後のモデルを選択する
   請求項２または請求項３記載の画像判定システム。
5. 評価部は、判別に用いられるモデルがより精度の高いモデルに変更された際に、判別部が判別に用いる閾値を増加させる
   請求項２から請求項４のうちのいずれか１項に記載の画像判定システム。
6. 評価部は、複数のテストデータをモデルに適用して種別ごとの確からしさを算出し、算出された前記テストデータごとの確からしさを統計処理した値をモデルの精度として用いる
   請求項１から請求項５のうちのいずれか１項に記載の画像判定システム。
7. 画像が表す種別ごとの確からしさを推定するモデルを、当該モデルが推定する確からしさが予め定めた基準を満たしていないとして前記種別を判別できなかった画像に対して正解ラベルが付与された学習用画像データを用いて再学習し、
   再学習前のモデルと再学習後のモデルの精度を比較して、より精度の高いモデルを選択する
   ことを特徴とするモデル更新方法。
8. モデルが推定する確からしさが閾値を超える画像の種別を判別し、
   前記判別ができなかった画像である判別不可画像に対し正解ラベルが付与された学習用画像データを用いて、モデルを再学習する
   請求項７記載のモデル更新方法。
9. コンピュータに、
   画像が表す種別ごとの確からしさを推定するモデルを、学習用画像データを用いて学習する学習処理、および、
   学習された前記モデルの精度を評価する評価処理を実行させ、
   前記学習処理で、前記モデルが推定する確からしさが予め定めた基準を満たしていないとして前記種別を判別できなかった画像に対して正解ラベルが付与された学習用画像データを用いて、前記モデルを再学習させ、
   前記評価処理で、再学習前のモデルと再学習後のモデルの精度を比較して、より精度の高いモデルを選択させる
   ためのモデル更新プログラム。
10. コンピュータに、
    モデルが推定する確からしさが閾値を超える画像の種別を判別する判別処理を実行させ、
    学習処理で、前記判別処理で判別できなかった画像である判別不可画像に対し正解ラベルが付与された学習用画像データを用いて、モデルを再学習させる
    請求項９記載のモデル更新プログラム。

Images