JP2019106119A - 検出システム、情報処理装置、評価方法及びプログラム - Google Patents

Abstract

【課題】追加学習を行った場合に、識別精度が向上する対象物とそれ以外の対象物を定量的に評価してユーザの目的に合致した識別器を得るための検出システム、情報処理装置、評価方法及びプログラムを提供する。【解決手段】識別器を用いて対象物に含まれる検出対象の有無を識別する画像処理装置と、画像処理装置に識別器を提供する管理装置１００とを備える。管理装置１００は、学習用データを用いて識別器を追加学習させ、対象物の複数の属性の各々に対応づけられる評価用データを用いて追加学習の前後における識別器の識別精度を属性ごとに評価する評価部５０２と、属性ごとに識別精度を出力する出力部５０３とを有する。【選択図】図５

Description

本発明は、検出システム、情報処理装置、評価方法及びプログラムに関する。

ＦＡ（Factory Automation）分野において、検査対象物であるワークを撮影し、撮影した画像を自動で解析することでワークを検査する技術が普及している。

特許文献１には、外観の良否が既知の検査対象物に対して少なくとも２つ以上の異なる撮像条件で撮像した画像から、検査対象物の良否を識別するための特徴量を選択し、選択した特徴量に基づいて、検査対象物の良否を識別する識別器を生成することが記載されている。

特開２０１７−０４９９７４号公報

機械学習により生成された識別器の識別精度を向上させたい場合、一般的には、対象物に検出対象が含まれる新たな学習用データを用意して識別器に追加的に学習させることで、識別器の識別精度の向上を図ることができる。しかしながら、一般的に機械学習では、学習結果の予測が難しく、また、学習データに対して過剰に適合してしまう過学習が生じる可能性もあることから、識別器を追加的に学習させることで、追加的に学習させた学習用データに含まれる対象物以外の識別精度が学習前と比較して劣化する可能性もあり得る。例えば、表面が金属製の光沢のある対象物について識別器を追加学習させると、表面が光沢のある対象物については識別精度が向上する一方で、表面に凹凸のある対象物については識別精度が劣化することがあり得る。そのため、追加学習させた識別器を利用すると、所定の対象物について、ユーザが予期しなかった識別精度の劣化が見られることがあり、識別させようとする対象物やユーザの目的によっては、学習をやり直す必要が生じることがある。

そこで、本発明は、識別器に対して追加的に学習を行った場合に、識別精度が向上する対象物とそれ以外の対象物を定量的に評価して、ユーザの目的に合致した識別器を得るための技術を提供することを目的とする。

本発明の一態様に係る検出システムは、撮像部と学習可能な識別器とを備え、識別器を用いて、撮像部によって撮像された対象物に含まれる検出対象の有無を識別する画像処理装置と、画像処理装置に識別器を提供する情報処理装置と、を備える検出システムであって、情報処理装置は、対象物に含まれる検出対象の有無を識別するように学習された識別器を記憶する第１記憶部と、対象物の複数の属性の各々に対応づけて、識別器の識別精度を評価するために用いられる評価用データを記憶する第２記憶部と、識別器を追加学習するための学習用データを記憶する第３記憶部と、学習用データを用いて識別器を追加学習させる学習部と、評価用データを用いて、追加学習させる前と追加学習させた後における識別器の識別精度を、属性ごとに評価する評価部と、属性ごとに識別精度を出力する出力部と、を有する。この態様によれば、追加学習の影響範囲を可視化してユーザに提示することができることから、ユーザは、識別器に対して追加的に学習を行った場合に、識別精度が向上する対象物とそれ以外の対象物を定量的に評価して、ユーザの目的に合致した識別器を得ることが可能になる。

上記態様において、情報処理装置は、ユーザから複数の属性のうち少なくとも１つの属性の指定を受け付ける受付部を更に有し、評価部は、受け付けた少なくとも１つの属性について、追加学習させる前と追加学習させた後における識別器の識別精度を評価するようにしてもよい。第３記憶部は、学習用データに、複数の属性のうち少なくとも１つの属性を対応づけて記憶し、出力部は、学習用データに対応づけられた少なくとも１つの属性を区別できるように出力するようにしてもよい。情報処理装置は、ユーザから、学習用データと、当該学習用データに対応づける少なくとも１つの属性とを受け付けて、第３記憶部に登録する登録部を更に有するようにしてもよい。これらの態様によれば、追加学習の前後における識別器の識別精度を、ユーザから指定された学習用データの一部を用いて評価することができるため、ユーザは、識別器が所望の識別精度を発揮するように学習されたのか否かを、より定量的に確認することが可能になる。

上記態様において、情報処理装置は、評価部による属性ごとの識別精度の評価に基づいて、画像処理装置が備える識別器を、学習部で追加学習された識別器に更新するための処理を行う更新部を更に有するようにしてもよい。更新部は、学習用データに対応づけられた少なくとも１つの属性について、評価用データを用いて評価された識別精度が、追加学習させる前よりも追加学習させた後の方が高いとき、画像処理装置が備える識別器を、学習部で追加学習された識別器に更新するための処理を行うようにしてもよい。これらの態様によれば、追加学習を行った場合に、追加学習を行った検査対象物の属性において学習効果が得られたとの評価結果が得られた場合に、検出装置が備える識別器を追加学習済みの識別器に更新することができるため、より識別精度の高い検出装置を提供することが可能になる。

上記態様において、ユーザから識別器を更新する旨の指示を受け付けたとき、画像処理装置が備える識別器を、学習部で追加学習された識別器に更新するための処理を行うようにしてもよい。この態様によれば、ユーザの許可無しに検査装置の識別器が更新されることを抑止することができる。

上記態様において、登録部は、学習用データに対応づけられた少なくとも１つの属性に対応づけて、学習用データを新たな評価用データとして、第２記憶部に追加登録するようにしてもよい。この態様によれば、評価用データの数を増やすことができ、識別器の評価をより詳細に行うことが可能になる。

上記態様において、評価部は、ユーザから、識別器の評価に用いられる評価用データのデータ数の指定を属性ごとに受け付け、受け付けたデータ数の評価用データを用いて、識別精度を属性ごとに評価するようにしてもよい。この態様によれば、例えば不要な属性については少ないデータ数で評価を行うといった対応が可能になり、情報処理装置のＣＰＵリソース及びメモリリソースを削減することが可能になる。

本発明の他の態様に係る情報処理装置は、対象物に含まれる検出対象の有無を識別するように学習された識別器を記憶する第１記憶部と、対象物の複数の属性の各々に対応づけて、識別器の識別精度を評価するために用いられる評価用データを記憶する第２記憶部と、識別器を追加学習するための学習用データを記憶する第３記憶部と、学習用データを用いて識別器を追加学習させる学習部と、評価用データを用いて、追加学習させる前と追加学習させた後における識別器の識別精度を、属性ごとに評価する評価部と、属性ごとに識別精度を出力する出力部と、を有する。この態様によれば、追加学習の影響範囲を可視化してユーザに提示することができることから、ユーザは、識別器に対して追加的に学習を行った場合に、識別精度が向上する対象物とそれ以外の対象物を定量的に評価して、ユーザの目的に合致した識別器を得ることが可能になる。

本発明の他の態様に係る評価方法は、対象物に含まれる検出対象の有無を識別するように学習された識別器を記憶する第１記憶部と、対象物の複数の属性の各々に対応づけて、識別器の識別精度を評価するために用いられる評価用データを記憶する第２記憶部と、識別器を追加学習するための学習用データを記憶する第３記憶部とを有する情報処理装置が実行する評価方法であって、学習用データを用いて識別器を追加学習させるステップと、評価用データを用いて、追加学習させる前と追加学習させた後における識別器の識別精度を、属性ごとに評価するステップと、属性ごとに識別精度を出力するステップとを有する。この態様によれば、追加学習の影響範囲を可視化してユーザに提示することができることから、ユーザは、識別器に対して追加的に学習を行った場合に、識別精度が向上する対象物とそれ以外の対象物を定量的に評価して、ユーザの目的に合致した識別器を得ることが可能になる。

本発明の他の態様に係るプログラムは、コンピュータを、対象物に含まれる検出対象の有無を識別するように学習された識別器を記憶する第１記憶手段と、対象物の複数の属性の各々に対応づけて、識別器の識別精度を評価するために用いられる評価用データを記憶する第２記憶手段と、識別器を追加学習するための学習用データを記憶する第３記憶手段と、学習用データを用いて識別器を追加学習させる学習手段と、評価用データを用いて、追加学習させる前と追加学習させた後における識別器の識別精度を、属性ごとに評価する評価手段と、属性ごとに識別精度を出力する出力手段として機能させる。この態様によれば、追加学習の影響範囲を可視化してユーザに提示することができることから、ユーザは、識別器に対して追加的に学習を行った場合に、識別精度が向上する対象物とそれ以外の対象物を定量的に評価して、ユーザの目的に合致した識別器を得ることが可能になる。

本発明によれば、識別器に対して追加的に学習を行った場合に、識別精度が向上する対象物とそれ以外の対象物を定量的に評価して、ユーザの目的に合致した識別器を得るための技術を提供することができる。

本実施形態に係る画像処理システムの適用場面の一例を模式的に例示する。 識別器の動作の一例を例示する。 本実施形態に係る管理装置のハードウェア構成の一例を模式的に例示する。 本実施形態に係る画像処理装置のハードウェア構成の一例を模式的に例示する。 本実施形態に係る管理装置の機能構成の一例を模式的に例示する。 本実施形態に係る画像処理装置の機能構成の一例を模式的に例示する。 管理装置が行う処理手順の一例を例示する。 追加学習用データの登録及び評価対象属性の設定を行う処理手順の一例を例示する。 追加学習用データ及びカテゴリ指定画面の一例を例示する。 識別器の評価に用いる評価用データのデータ数の設定を受け付ける画面の一例を例示する。 追加学習用データ（学習用）を用いた識別器の評価を行う処理手順の一例を例示する。 評価用データを用いた識別器の評価を行う処理手順の一例を例示する。 評価結果を表示する画面の一例を例示する。 識別器を更新する際の処理手順の一例を例示する。

添付図面を参照して、本発明の好適な実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。

§１ 適用例
まず、図１を用いて、本発明が適用される場面の一例について説明する。図１は、本実施形態に係る画像処理システム１の適用場面の一例を模式的に例示する。画像処理システム１は、典型的には、生産ラインなどに組み込まれる。画像処理システム１は、生産ライン上を搬送される検査対象物を撮像することによって得られる画像に基づいて、検査対象物の検査や文字の認識といった処理を実行する。なお、検査対象物は、本発明の「対象物」の一例である。画像処理システム１は、本発明の「検出システム」の一例である。また、検査対象物はどのような対象物であってもよいが、本実施形態では、製造過程にある部品、製品等であるワークであるものとして説明する。

図１に示すように、画像処理システム１は、管理装置１００と、管理装置１００とネットワーク２を介して通信する１以上の画像処理装置２００とを含む。たとえば、ワークはベルトコンベヤなどの搬送機構によって所定方向に搬送され、それぞれの画像処理装置２００は、この搬送経路に相対して予め定められた位置に配置される。管理装置１００は、１以上の画像処理装置２００を管理するための装置である。画像処理装置２００はワークを検査するための識別器を備えている。画像処理装置２００が備える識別器は、機械学習により生成された識別器であり、図２に示すように、ワークを撮影した画像に含まれる検出対象の有無を識別することでワークの検査を行う。以下、検出対象は欠陥であることを前提に説明するが、欠陥は、本発明の「検出対象」の一例であり、本実施形態は欠陥に限られずあらゆる検出対象に適用することができる。ここで、欠陥とは、ワークが有する異常であって、例えば、キズ、色等のムラ、汚れ、打痕、欠け、バリ、異物、印字のかすれ、印字等の位置ずれ等を含む。なお、管理装置１００は、本発明の「情報処理装置」の一例である。また、欠陥は、本発明の「検出対象」の一例である。

管理装置１００は、画像処理装置２００が備える識別器と同一ないし同種の識別器を備えている。また、管理装置１００のデータベースには、識別器が欠陥の有無を識別する際の識別精度を評価するために用いられる画像データ（以下、「評価用データ」と言う。）が格納されている。このとき、ワークが備える可能性のある複数の属性に対して、属性ごとに少なくとも所定数の評価用データが対応付けられて、管理装置１００のデータベースに格納されている。

本実施形態において、ワークの属性は、ワークの外観に関する特徴によって表されるものであり、より具体的には、ワークの外観に関する１つ又は複数の特徴の組み合わせにより定められるものとしてよい。また、ワークの外観に関する特徴は、例えば、“表面形状”、“反射率”、“透明度”等、ワークの性質に関する観点と、各々の性質に対する「低、中、高」等の程度、又は、“滑らか”、“ざらつき”、“凸凹”等の状態に関する観点とが組み合わされて表されるものとしてよい。ワークの外観に関する特徴の具体例としては、例えば、“表面形状が滑らか”、“反射率が高い”、“透明度が低い”等が挙げられる。また、ワークの属性の具体例としては、例えば、“表面形状が滑らかであり、表面の反射率が高く、かつ透明度が低い外観”、“表面形状がざらついており、表面の反射率が低く、かつ透明度が低い外観”等が挙げられる。ワークの属性は、本発明の「対象物の属性」の一例である。

また、管理装置１００のデータベースには、識別器を追加的に学習させるための画像データ（以下、「追加学習用データ」と言う。）が格納されている。管理装置１００は、ユーザから、ワークを撮影した複数の画像データを受け付けて、追加学習用データとしてデータベースに格納することができる。このとき、撮影されたワークの備える属性に応じて、追加学習用データに属性を対応づけて、データベースに格納してもよい。このとき、表面の一部に光沢があり、残りの部分に凹凸のあるワークなど、複数の属性を備えるワークを撮影した画像をもとに追加学習用データを生成する場合、追加学習用データに複数の属性を対応づけてもよい。なお、追加学習用データは、本発明の「学習用データ」の一例である。

続いて、本実施形態に係る画像処理システム１の動作概要を説明する。まず、管理装置１００は、追加学習用データを用いて、管理装置１００が備える識別器を追加学習（再学習）させる。このとき、管理装置１００は、ワークが備える可能性のある複数の属性のそれぞれに対応付けられた評価用データを用いて、追加学習の前後における識別器の識別精度を属性ごとに評価し、評価結果として、追加学習の前後における複数の属性ごとの識別精度を出力する。管理装置１００は、評価結果が所定の条件を満たすとき、又は、出力された評価結果を参照したユーザから所定の指示を受け付けたとき、評価結果が良好であると判断し、画像処理装置２００が備える識別器を追加学習後の識別器に更新する。

本実施形態によれば、追加学習の前後における識別器の識別精度の変化を、複数の属性の各々に対応づけられた評価用データを用いて評価することによって、対象物の属性ごとに、識別精度が向上する対象物とそれ以外の対象物を定量的に評価して出力している。このように、追加学習の影響範囲を可視化してユーザに提示することで、ユーザは、追加学習によってユーザの目的に合致した識別器を得られたか否かを、識別器を画像処理装置２００に組み込んで稼働させる前に確認することが可能になる。従って、追加学習が適切に行われなかった識別器を画像処理装置２００で動作させてしまい、画像処理装置２００のＣＰＵリソースやメモリリソースを無駄に消費してしまうことを抑止することが可能になる。

なお、追加学習用データは、実際に識別器を学習させるために用いられるデータ（以下、「追加学習用データ（学習用）」と言う。）と、学習済み識別器を評価するためのデータ（以下、「追加学習用データ（テスト用）」と言う）とに分けられていてもよい。評価用データと追加学習用データ（テスト用）との相違点は、前者は予め管理装置１００にプリセットされた画像データであり、後者はユーザが用意した画像データであると言うことができる。

また、管理装置１００は、評価用データを用いた識別器の評価結果に加えて、追加学習用データ（テスト用）を用いて、追加学習の前後における識別器の識別精度を評価して評価結果を出力するようにしてもよい。前述の通り、追加学習用データは少なくとも１つの属性に対応づけられていることから、その一部である追加学習用データ（テスト用）も、当該少なくとも１つの属性に対応づけられていることになる。これにより、追加学習用データに対応づけられている属性を有するワークの識別精度を、学習の前後で定量的に評価することができるため、ユーザは、識別器が所望の識別精度を発揮するように学習されたのか否かを、より正確に確認することが可能になる。

§２ 構成例
［ハードウェア構成］
＜管理装置＞
次に、図３を用いて、本実施形態に係る管理装置１００のハードウェア構成の一例について説明する。図３は、本実施形態に係る管理装置１００のハードウェア構成の一例を模式的に例示する。図３の例では、管理装置１００は、プロセッサ１０１と、メモリ１０２と、ＨＤＤ（Hard Disk Drive）などの記憶装置１０３と、ネットワークインターフェイス（Ｉ／Ｆ）１０４と、表示部１０５と、操作部１０６と、メモリカードリーダ・ライタ１０７とを含んでいてもよい。これらの各部は、内部バス１０８を介して、互いに通信可能に接続されている。

プロセッサ１０１は、記憶装置１０３に格納されているプログラム（命令コード）１０３Ａをメモリ１０２へ展開した上で実行することで、管理装置１００が備える各種機能を実現する。メモリ１０２及び記憶装置１０３は、それぞれ揮発的及び不揮発的にデータを格納する。記憶装置１０３は、ＯＳ（Operating System）に加えて、プログラム１０３Ａを保持している。

ネットワークインターフェイス１０４は、ネットワーク２を介して、画像処理装置２００との間でデータを送受信する。

表示部１０５は、プロセッサ１０１がプログラム１０３Ａを実行することで実現される各種の画面などを表示する。表示部１０５は、例えば、ＬＣＤ（Liquid Crystal Display）といったディスプレイなどからなる。

操作部１０６は、ユーザ操作を受け付け、その受け付けた操作を示す内部指令をプロセッサ１０１などへ出力する。操作部１０６は、例えば、キーボード、マウス、タッチパネル、タブレット、音声認識装置などからなる。

メモリカードリーダ・ライタ１０７は、記憶媒体１０７Ａからデータを読み出し、及び記憶媒体１０７Ａへデータを書き込む。記憶媒体１０７Ａは、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。管理装置１００は、この記憶媒体１０７Ａから、プログラム１０３Ａを取得してもよい。

＜画像処理装置＞
次に、図４を用いて、本実施形態に係る画像処理装置２００のハードウェア構成の一例について説明する。図４は、本実施形態に係る画像処理装置２００のハードウェア構成の一例を模式的に例示する。図４の例では、画像処理装置２００は、照明部２１０と、制御装置２２０と、撮像部２３０とを含んでいてもよい。

照明部２１０は、検査対象であるワークに撮像に必要な光を照射する。つまり、照明部２１０は、撮像部２３０の撮像範囲に光を照射する。より具体的には、照明部２１０は、照明基板上に設けられる複数の照明制御ユニット２１１を含む。これらのユニットは、照明基板上に配置される。照明制御ユニット２１１の各々は、照明レンズ２１２と、ＬＥＤ２１３とを含む。照明制御ユニット２１１は、制御装置２２０からの指令に従って、光を照射する。より具体的には、ＬＥＤ２１３で発生した光は、照明レンズ２１２を通じてワークへ照射される。

撮像部２３０は、照明部２１０が照射した光の反射光を受けて、画像信号を出力する。この画像信号は、制御装置２２０へ送られる。より具体的には、撮像部２３０は、撮像レンズ２３１などの光学系に加えて、ＣＣＤ（Coupled Charged Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの複数の画素に区画された撮像素子２３２を含む。

制御装置２２０は、画像処理装置２００の全体を制御する。すなわち、制御装置２２０は、照明部２１０および撮像部２３０を制御するとともに、撮像部２３０からの画像信号に基づいて画像処理を行う。より具体的には、制御装置２２０は、処理部２２１と、記憶装置２２２と、ネットワーク通信部２２３とを含む。

処理部２２１は、ＣＰＵ２２１ＡやＦＰＧＡ２２１Ｂといった集積回路によって構成される。あるいは、処理部２２１は、ＤＳＰ、ＧＰＵ、ＡＳＩＣ（Application Specific Integrated Circuit）、その他の集積回路によって構成されてもよい。

記憶装置２２２は、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＨＤＤ、およびＳＳＤ（Solid State Drive）といった不揮発性記憶装置、および／または、ＲＡＭ（Random Access Memory）などの不揮発メモリを含む。典型的に、処理部２２１が記憶装置２２２に格納されたプログラム（命令コード）２２２Ａを実行することで、画像処理装置２００が備える各種の画像処理を実現する。また、記憶装置２２２は、識別器２２２Ｂを格納する。プログラム２２２Ａには、識別器２２２Ｂを実行させることでワークの検査を行うためのプログラムが記述されており、処理部２２１は、プログラム２２２Ａの指示に基づいて識別器２２２Ｂを実行することで、ワークの検査を行う。

ネットワーク通信部２２３は、ネットワーク２を介して、管理装置１００との間でデータを送受信するためのインターフェイスである。より具体的には、ネットワーク通信部２２３は、Ｅｔｈｅｒｎｅｔ（登録商標）などに従う構成が採用される。

［機能構成］
＜管理装置＞
次に、図５を用いて、本実施形態に係る管理装置１００の機能構成の一例について説明する。図５は、本実施形態に係る管理装置１００の機能構成の一例を模式的に例示する。

追加学習部５０１は、追加学習に関する処理を行う処理部であり、追加学習用データＤＢ（DataBase）５０１１と登録部５０１２と識別器ＤＢ５０１３と学習処理部５０１４とを含む。追加学習用データＤＢ５０１１には、追加学習用データが格納される。追加学習用データＤＢ５０１１は、本発明の「第３記憶部」の一例である。識別器ＤＢ５０１３には識別器５０１３Ａが格納される。識別器ＤＢ５０１３は、例えば、本発明の「第１記憶部」の一例である。

登録部５０１２は、追加学習用データを追加学習用データＤＢ５０１１に格納する。具体的には、登録部５０１２は、ワークに関する複数の画像をユーザから受け付けて、追加学習用データとして追加学習用データＤＢ５０１１に登録する。このとき、受け付けた複数の画像の一部を追加学習用データ（学習用）として、残りを追加学習用データ（テスト用）として、追加学習用データＤＢ５０１１に登録してもよい。また、学習用データに対応づけられた属性（評価用データに対応づけられた複数の属性のうち少なくとも１つの属性）の指定をユーザから受け付けて、追加学習用データに当該指定された属性を対応づけて追加学習用データＤＢ５０１１に登録してもよい。登録部５０１２は、ユーザから属性の指定を受け付ける処理を行うことから「受付部」と呼ばれてもよい。

識別器５０１３Ａは、任意の機械学習モデルに対して学習処理と評価処理とを行うことにより生成された識別器である。機械学習モデルは、所定のモデル構造と、学習処理によって変動する処理パラメータと、を有し、学習用データから得られる経験に基づいてその処理パラメータが最適化されることで、認識結果の精度が向上するモデルである。すなわち、本実施形態の識別器５０１３Ａは、より詳細には、所定のモデル構造と最適化された処理パラメータとの組み合わせである、所謂「学習済みモデル」を含むことになる。機械学習モデルのアルゴリズムは、例えば、サポートベクターマシン、ロジスティック回帰、ニューラルネットワーク、ディープニューラルネットワーク等を用いることができるが、その種類は特に限定されない。

学習処理部５０１４は、追加学習用データ（学習用）を用いて識別器５０１３Ａを追加学習させる処理を行う。

評価部５０２は、識別器５０１３Ａの評価を行う処理部であり、評価用データＤＢ５０２１と設定部５０２２と評価処理部５０２３とを含む。評価用データＤＢ５０２１には、評価用データが格納される。評価用データＤＢ５０２１は、例えば、本発明の「第２記憶部」の一例である。

設定部５０２２は、追加学習した識別器５０１３Ａを評価する際に、評価対象とする属性（以下、「評価対象属性」と言う。）の設定をユーザから受け付ける。また、設定部５０２２は、評価対象属性に対応づけられた評価用データのうち、識別器の評価処理に用いられる評価用データのデータ数（画像の枚数）の設定をユーザから受け付ける。

評価処理部５０２３は、識別器５０１３Ａを追加学習させる前における識別器５０１３Ａの識別精度と、識別器５０１３Ａを追加学習させた後における識別器５０１３Ａの識別精度とを、評価用データを用いて属性ごとに評価する。なお、評価処理部５０２３は、評価対象属性が設定された場合、追加学習の前後の識別精度を、評価対象属性に含まれる属性ごとに評価する。一方、評価処理部５０２３は、評価対象属性が設定されない場合、追加学習の前後の識別精度を全ての属性について属性ごとに評価する。評価処理部５０２３は、登録部５０１２で受け付けた、ユーザから指定された属性について、追加学習の前後の識別精度を評価するようにしてもよい。

また、評価処理部５０２３は、設定部５０２２により、識別器５０１３Ａの評価に用いる評価用データのデータ数が設定された場合、設定されたデータ数の評価用データを用いて識別器５０１３Ａの評価を行う。なお、評価処理部５０２３は、更に、追加学習用データ（テスト用）を用いて、識別器５０１３Ａの識別精度を評価するようにしてもよい。

出力部５０３は、評価部５０２による評価結果である、識別器５０１３Ａを追加学習させる前と追加学習させた後における属性ごとの識別器５０１３Ａの識別精度を、表示部１０５に出力する処理を行う。出力部５０３は、属性ごとの識別器５０１３Ａの識別精度を出力する際、追加学習用データに対応づけられた属性を区別できるように識別精度を出力する。

受付部５０４は、画像処理装置２００が備える識別器２２２Ｂを追加学習済みの識別器５０１３Ａに更新するか否かの指示をユーザから受け付ける処理を行う。

更新部５０５は、画像処理装置２００が備える識別器２２２Ｂを、追加学習済みの識別器５０１３Ａに更新する処理を行う。なお、更新とは、追加学習済みの識別器５０１３Ａのモデル構造と処理パラメータとを画像処理装置２００に送信することで、追加学習済みの識別器５０１３Ａを画像処理装置２００で有効化させる処理を含む。

更新部５０５は、評価用データを用いて評価された属性ごとの識別精度のうち、追加学習用データに対応付けられた属性についての識別精度が、追加学習させる前よりも追加学習させた後の方が高いときに、画像処理装置２００が備える識別器２２２Ｂを追加学習済みの識別器５０１３Ａに更新するようにしてもよい。また、更新部５０５は、追加学習用データ（テスト用）を用いて評価された識別精度が、追加学習させる前よりも追加学習させた後の方が高く、かつ、評価用データを用いて評価された属性ごとの識別精度のうち、追加学習用データ（学習用）に対応付けられた属性についての識別精度が、追加学習させる前よりも追加学習させた後の方が高いときに、画像処理装置２００が備える識別器２２２Ｂを追加学習済みの識別器５０１３Ａに更新するようにしてもよい。また、更新部５０５は、受付部５０４により更新するとの指示を受けた場合に、画像処理装置２００が備える識別器２２２Ｂを、学習処理部５０１４で追加学習された識別器５０１３Ａに更新する処理を行うようにしてもよい。

＜画像処理装置＞
図６は、本実施形態に係る画像処理装置２００の機能構成の一例を模式的に例示する。受付部６１０は、管理装置１００から、管理装置１００で追加学習された識別器５０１３Ａの設定を受け付けて、識別器２２２Ｂとして記憶装置２２２に格納する。識別部６２０は、記憶装置２２２に記憶された識別器２２２Ｂを用いて、撮像部２３０で撮像されたワークに含まれる欠陥の有無を識別する。

＜その他＞
本実施形態では、管理装置１００の各機能がいずれもプロセッサ１０１によって実現される例について説明している。しかしながら、以上の機能の一部又は全部が、１又は複数の専用のプロセッサ等により実現されてもよい。また、画像処理装置２００それぞれの機能構成に関して、実施形態に応じて、適宜、機能の省略、置換及び追加が行われてもよい。

§３ 動作例
次に、管理装置１００の動作例を説明する。以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。

［処理手順の全体像］
図７は、管理装置１００が行う処理手順の一例を例示するフローチャートである。まず、登録部５０１２は、ユーザから追加学習用データとその属性の指定とを受け付けて、受け付けた追加学習用データを指定された属性に対応づけて追加学習用データＤＢ５０１１に格納する。また、設定部５０２２は、ユーザから評価対象属性の設定を受け付ける（Ｓ１０）。続いて、学習処理部５０１４は、追加学習用データ（学習用）を用いて識別器５０１３Ａの追加学習を行う（Ｓ１１）。続いて、評価処理部５０２３は、追加学習が完了した識別器５０１３Ａを、追加学習用データ（テスト用）を用いて評価する（Ｓ１２）。この評価は、検証とも言う。また、評価処理部５０２３は、追加学習が完了した識別器５０１３Ａを、評価用データを用いて属性ごとに評価する（Ｓ１３）。続いて、評価処理部５０２３は、識別器５０１３Ａを評価した評価結果を表示部１０５に表示する（Ｓ１４）。続いて、更新部５０５は、画像処理装置２００が備える識別器２２２Ｂを追加学習後の識別器５０１３Ａに更新する（Ｓ１５）。

［追加学習用データの登録、評価対象属性の設定］
図８は、追加学習用データの登録及び評価対象属性の設定を行う処理手順の一例を例示するフローチャートである。図８を用いて、図７のステップＳ１０の処理手順について詳細に説明する。

まず、登録部５０１２は、ユーザから追加学習用データとその属性の指定とを受け付ける（Ｓ１０１）。追加学習用データはユーザが自らワーク等を撮影することで用意した画像データであってもよいし、管理装置１００が備える、追加学習用データを生成するための画面等を用いてユーザが生成した画像データであってもよい。追加学習用データには、欠陥を含む画像データ（欠陥を含むと認識されるべき画像データ）と、欠陥を含まない画像データ（欠陥を含むと認識されるべきではない画像データ）とを含んでいてもよい。欠陥を含む画像データとは、例えば、欠陥と認識されるべきサイズや形状等の欠陥を含む画像データを意味する。欠陥を含まない画像データとは、例えば、欠陥を有しない画像データと、欠陥と認識されるべきではない（つまり欠陥とは言えない）サイズや形状等を有する欠陥を含む画像データとの両方を意味する。

登録部５０１２は、追加学習用データに対応づける属性をユーザに指定させるための画面を表示部１０５に表示してもよい。

図９（ａ）に追加学習用データの一例を例示し、図９（ｂ）に属性指定画面の一例を例示する。例えばユーザは、図９（ａ）に示すように、ワークの一部が“表面形状が滑らかであり、表面の反射率が高く、かつ透明度が低い”属性を有し、残りの部分が“表面形状がざらついており、表面の反射率が低く、かつ透明度が低い”属性を有するワークの画像を、追加学習用データとして登録しようとしたものと仮定する。このとき、ユーザは、属性指定画面において、「表面形状：滑らか」、「反射率：高」及び「透明度：低」である行と、「表面形状：ざらつき」、「反射率：低」及び「透明度：低」である行の「追加学習用データ」欄（図９（ｂ）において「○」が付与されている箇所）を選択することで、追加学習データがこれらの行に対応する属性を有するものであることを指定する。登録部５０１２は、属性指定画面で選択された行の「追加学習用データ」欄の表示を「−」から「○」に変更するとともに、当該行に対応する属性を、追加学習用データに対応づけられた属性であると解釈する。

続いて、登録部５０１２は、追加学習用データを、追加学習用データ（学習用）と追加学習用データ（テスト用）に分割し、これらをステップＳ１０１の処理手順で指定された属性と対応づけて追加学習用データＤＢ５０１１に登録する。このとき、登録部５０１２は、追加学習用データ（学習用）と追加学習用データ（テスト用）を、属性指定画面で指定された属性に対応づけて追加学習用データＤＢ５０１１に登録してもよい（Ｓ１０２）。分割の方法はどのような方法であってもよいが、登録部５０１２は、例えば、ユーザの指示に基づいて追加学習用データを分割するようにしてもよいし、追加学習用データをランダムに分割するようにしてもよい。

続いて、設定部５０２２は、評価対象属性の設定を受け付ける。このとき、識別器５０１３Ａの評価に用いる評価用データのデータ数の設定をユーザから受け付けてもよい（Ｓ１０３）。設定部５０２２は、評価対象属性の設定をユーザから受け付けるための画面及び評価に用いる評価用データのデータ数の設定を受け付けるための画面を表示部１０５に表示し、当該画面上で、評価対象属性と、評価対象属性ごとに評価に使用するデータ数とをユーザに指定させるようにしてもよい。若しくは、設定部５０２２は、所定のルールに基づいて評価対象属性を設定するようにしてもよい。所定のルールとは、例えば、追加学習用データに対応づけられた属性と、当該属性に類似する属性とを評価対象属性に設定するといったルールであってもよい。どの属性同士が類似するかについての情報は、予め設定ファイル等で規定されていてもよい。また、属性を構成する複数の特徴のうち、少なくとも一部が共通する場合に、属性同士が類似すると判断してもよい。なお、評価対象属性の設定は任意であり、ユーザの指示により、ステップＳ１０３の処理手順は省略されてもよい。

図１０に、識別器５０１３Ａの評価に用いる評価用データのデータ数の設定を受け付ける画面の一例を例示する。図１０（ａ）は、初期状態のデータ数の一例を示している。「評価データ数」は、識別器５０１３Ａの評価に用いる評価用データのデータ数の初期値（図１０の例では１００データ）を示している。「全データ数」は、評価用データＤＢに格納されている評価用データのデータ数を属性ごとに示している。なお、評価データ数が全データ数よりも少なく設定されている場合、評価処理部５０２３は、実際に評価に用いる評価用データを、評価用データＤＢに格納されている評価用データの中からランダムに選択するようにしてもよい。

図１０（ｂ）は、ユーザが、識別器５０１３Ａの評価に用いる評価用データのデータ数を変更した場合の一例を示している。ユーザは、属性ごとに、全データ数の範囲内で、評価用データのデータ数を任意に変更することができる。なお、図１０（ｂ）の例では、表面形状：ざらつき」、「反射率：低」及び「透明度：低」である属性の全データ数が１０００から３０００に増加している。これは、ユーザの指示に応じて、評価用データＤＢに新たな評価用データを追加登録されたことを示している。追加登録する評価用データは、ユーザが任意に生成した評価用データであってもよいし、過去に追加学習に使用した追加学習用データ（テスト用）であってもよい。また、クラウドサービスや所定のサーバ等からネットワーク経由で新たな評価用データを取得してもよい。

これにより、例えば、ユーザは、追加学習用データに対応づけられた属性や、識別精度を劣化させたくない属性については評価用データのデータ数を他の属性よりも増加させることで、追加学習後の識別器５０１３Ａを高精度に評価することが可能になる。また、ユーザは、識別精度が劣化しても特に問題にならないような属性については評価用データのデータ数を減らすことで、評価用データを用いて識別器５０１３Ａを評価する際に要する時間を短縮させることが可能になる。

続いて、評価処理部５０２３は、ステップＳ１０４で評価対象属性が設定されたか否かを確認する（Ｓ１０４）。評価対象属性が設定された場合はステップＳ１０５に遷移し、評価対象属性が設定されなかった場合はステップＳ１０６に遷移する。

続いて、評価処理部５０２３は、ステップＳ１０４で設定された評価対象属性に対応づけられた全ての評価用データを対象に、評価用データリストを生成する（Ｓ１０５）。評価用データリストは、例えば、識別器５０１３Ａを評価する際に使用する全ての評価用データについて、各々の評価用データに対応する属性と具体的なデータ名（ファイル名）とを並べたリストファイルであってもよい。

続いて、評価処理部５０２３は、評価用データＤＢに格納されている全ての評価用データを対象に評価用データリストを生成する（Ｓ１０６）。ステップＳ１０６の処理手順で生成される評価用データリストは、評価用データＤＢに格納されている全ての評価用データについて、各々の評価用データに対応する属性と具体的なデータ名（ファイル名）とを並べたリストファイルであってもよい。

［追加学習用データ（テスト用）を用いた識別器の評価］
図１１は、追加学習用データ（学習用）を用いた識別器の評価を行う処理手順の一例を例示するフローチャートである。図１１を用いて、図７のステップＳ１２の処理手順について詳細に説明する。

まず、評価処理部５０２３は、追加学習用データＤＢから取得した追加学習用データ（テスト用）のうちいずれか１つの追加学習用データ（テスト用）を、追加学習前の識別器５０１３Ａ及び追加学習後の識別器５０１３Ａに設定し（Ｓ２０１）、設定した追加学習用データ（テスト用）を追加学習前の識別器５０１３Ａ及び追加学習後の識別器５０１３Ａに識別させる（Ｓ２０２）。評価処理部５０２３は、識別結果を記憶しておく。続いて、評価処理部５０２３は、ステップＳ２０１及びステップＳ２０２の処理手順を、全ての追加学習用データ（テスト用）対して行い、全ての追加学習用データ（テスト用）について識別が終了した場合、ステップＳ２０４の処理手順に進む（Ｓ２０３）。

続いて、評価処理部５０２３は、ステップＳ２０１〜ステップＳ２０３の処理手順で得られた追加学習用データ（テスト用）ごとの識別結果を用いて、追加学習前の識別器５０１３Ａ及び追加学習後の識別器５０１３Ａの両方における識別器５０１３Ａの識別精度の算出を行う（Ｓ２０４）。ここで、識別精度とは、より具体的には、前述した正解率及び／又は欠陥識別率であってもよい。

［評価用データを用いた識別器の評価］
図１２は、評価用データを用いた識別器の評価を行う処理手順の一例を例示するフローチャートである。図１２を用いて、図７のステップＳ１３の処理手順について詳細に説明する。

まず、評価処理部５０２３は、評価用データリストを参照し、評価用データリストに格納されている複数の属性の中からいずれか１つの属性を選択する。続いて、評価処理部５０２３は、選択した属性に該当する評価用データを評価用データＤＢから取得する（Ｓ３０１）。

続いて、評価処理部５０２３は、評価用データＤＢから取得した評価用データのうちいずれか１つの評価用データを、追加学習前の識別器５０１３Ａ及び追加学習後の識別器５０１３Ａに設定し（Ｓ３０２）、設定した評価用データを追加学習前の識別器５０１３Ａ及び追加学習後の識別器５０１３Ａに識別させる（Ｓ３０３）。評価処理部５０２３は、識別結果を記憶しておく。続いて、評価処理部５０２３は、ステップＳ３０２及びステップＳ３０３の処理手順を、ステップＳ３０１の処理手順で評価用データＤＢから取得した評価用データに対して行い、設定されたデータ数の評価用データについて識別が終了した場合、ステップＳ３０５の処理手順に進む（Ｓ３０４）。

続いて、評価処理部５０２３は、ステップＳ３０２〜ステップＳ３０４の処理手順で得られた評価用データごとの識別結果を用いて、追加学習前の識別器５０１３Ａ及び追加学習後の識別器５０１３Ａの両方における識別器５０１３Ａの識別精度を算出する（Ｓ３０５）。ここで、識別精度とは、より具体的には、正解率及び／又は欠陥識別率であってもよい。

正解率とは、識別器５０１３Ａに識別させた評価用データのうち、識別器５０１３Ａによって欠陥の有無が正しく識別された評価用データの割合である。具体的には、正解率は、「欠陥が含まれている評価用データに対して欠陥が含まれていると識別された評価用データの数」及び「欠陥が含まれていない評価用データに対して欠陥が含まれていないと識別された評価用データの数」の合計数を、「識別器５０１３Ａに識別させた評価用データの数」で除算することで得られる割合である。

また、欠陥識別率とは、識別器５０１３Ａに識別させた欠陥が含まれている評価用データのうち、識別器５０１３Ａによって欠陥が含まれていることが正しく識別された評価用データの割合である。具体的には、欠陥識別率は、「欠陥が含まれている評価用データに対して欠陥が含まれていると識別された評価用データの数」を、「識別器５０１３Ａに識別させた欠陥が含まれている評価用データの数」で除算することで得られる割合である。

続いて、評価処理部５０２３は、ステップＳ３０１〜ステップＳ３０５の処理手順を、評価用データリストに格納されている各評価用データの属性に対応する全ての属性に対して行い、全ての属性について識別器５０１３Ａの識別精度の算出が終了した場合に処理を終了する（Ｓ３０６）。また、一部の属性について、属性ごとに識別精度を算出するものとしてもよい。

図１３は、評価結果を表示する画面の一例を例示する。図１３（ａ）は、評価用データによる評価結果を表示する画面の一例である。なお、図８のステップＳ１０３の処理手順において、評価対象属性が設定された場合、図１３（ａ）に示す画面には設定された評価対象属性に含まれる属性ごとに評価結果（追加学習前及び追加学習後の識別精度）が表示される。一方、評価対象属性が設定されなかった場合、図１３（ａ）に示す画面には、全ての属性について属性ごとに評価結果が表示される。図１３（ｂ）は、追加学習用データ（テスト用）による評価結果を表示する画面の一例である。ユーザは、図１３（ａ）の画面を参照することで、追加学習用データに対応づけられた属性について識別器５０１３Ａの識別精度が向上したか否かを確認することができると共に、追加学習用データに対応していない属性についても識別器５０１３Ａの識別精度の変化を確認することができる。また、ユーザは、図１３（ｂ）の画面を参照することで、追加学習により識別器５０１３Ａの識別精度が向上したか否かを確認することができる。

［識別器の更新］
図１４は、識別器を更新する際の処理手順の一例を例示するフローチャートである。図１４を用いて、図７のステップＳ１５の処理手順について詳細に説明する。まず、評価処理部５０２３は、少なくとも、追加学習用データの属性に対応づけられる評価用データを用いて算出された識別精度と、追加学習用データ（テスト用）を用いて算出された識別精度との両方が、追加学習の前後で向上したか否かを判定する（Ｓ４０１）。追加学習の前後で識別精度が向上していない場合はステップＳ４０２に進み、追加学習の前後で識別精度が向上した場合はステップＳ４０３に進む。

なお、評価処理部５０２３は、ユーザのニーズに従い、追加学習の前後で識別精度が向上したか否かを判定する範囲を決定するようにしてもよい。例えば、少なくとも追加的に学習させた属性（追加学習用データに対応づけられた属性）についてのみ識別精度が向上すればよいと考えるユーザに対しては、評価処理部５０２３は、追加学習用データの属性と同じ属性に対応づけられた評価用データを用いて算出された識別精度と、追加学習用データ（テスト用）を用いて算出された識別精度との両方が追加学習の前後で向上した場合にステップＳ４０３の処理手順に進むようにしてもよい。一方、追加的に学習させた属性に類似する属性についても識別精度を劣化させたくないと考えるユーザに対しては、評価処理部５０２３は、更に、追加的に学習させた属性に類似する属性において追加学習の前後で識別精度が低下していないか否かを判定し、低下していない場合にステップＳ４０３に進むようにしてもよい。どの属性同士が類似するかについての情報は、予め設定ファイル等で規定されていてもよい。

続いて、受付部５０４は、画像処理装置２００が備える識別器２２２Ｂを追加学習済みの識別器５０１３Ａに更新するか否かの指示をユーザから受け付ける処理を行う（Ｓ４０２）。更新するとの指示を受けた場合はステップＳ４０３に進み、更新しないとの指示を受けた場合は処理を終了する。更新部５０５は、画像処理装置２００が備える識別器２２２Ｂを追加学習済みの識別器５０１３Ａに更新する（Ｓ４０３）。

なお、図１４に示す処理手順において、ステップＳ４０１の処理手順の結果に関わらず、ステップＳ４０２の処理手順に進むようにしてもよい。すなわち、ステップＳ４０２の処理手順において、追加学習の前後で識別精度が向上したか否かに関わらず、画像処理装置２００の識別器２２２Ｂを追加学習済みの識別器５０１３Ａに更新するか否かをユーザに確認するようにしてもよい。これにより、ユーザの許可無しに画像処理装置２００の識別器２２２Ｂが更新されることがないため、ユーザの安心感を向上させることができる。

以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。

（付記１）
撮像部（２３０）と学習可能な識別器とを備え、前記識別器を用いて、前記撮像部（２３０）によって撮像された対象物に含まれる検出対象の有無を識別する画像処理装置（２００）と、
前記画像処理装置に前記識別器を提供する情報処理装置（１００）と、
を備える検出システム（１）であって、
前記情報処理装置（１００）は、
対象物に含まれる検出対象の有無を識別するように学習された識別器を記憶する第１記憶部（５０１３）と、
対象物の複数の属性の各々に対応づけて、前記識別器の識別精度を評価するために用いられる評価用データを記憶する第２記憶部（５０２１）と、
前記識別器を追加学習するための学習用データを記憶する第３記憶部（５０１１Ａ）と、
前記学習用データを用いて前記識別器を追加学習させる学習部（５０１４）と、
前記評価用データを用いて、前記追加学習させる前と前記追加学習させた後における前記識別器の識別精度を、前記属性ごとに評価する評価部（５０２３）と、
前記属性ごとに前記識別精度を出力する出力部（５０３）と、を有する、
検出システム（１）。

（付記２）
前記情報処理装置（１００）は、ユーザから前記複数の属性のうち少なくとも１つの属性の指定を受け付ける受付部（５０１２）を更に有し、
前記評価部（５０２３）は、前記受け付けた前記少なくとも１つの属性について、前記追加学習させる前と前記追加学習させた後における前記識別器の識別精度を評価する、
付記１に記載の検出システム。

（付記３）
前記第３記憶部（５０１１Ａ）は、前記学習用データに、前記複数の属性のうち少なくとも１つの属性を対応づけて記憶し、
前記出力部（５０３）は、前記学習用データに対応づけられた前記少なくとも１つの属性を区別できるように出力する、
付記１又は２に記載の検出システム。

（付記４）
前記情報処理装置（１００）は、ユーザから、前記学習用データと、当該学習用データに対応づける前記少なくとも１つの属性とを受け付けて、前記第３記憶部（５０１１Ａ）に登録する登録部（５０１２）を更に有する、
付記３に記載の検出システム。

（付記５）
前記情報処理装置（１００）は、前記評価部（５０２３）による前記属性ごとの識別精度の評価に基づいて、前記画像処理装置が備える識別器を、前記学習部（５０１４）で追加学習された識別器に更新するための処理を行う更新部（５０５）を更に有する、
付記３又は４に記載の検出システム。

（付記６）
前記更新部（５０５）は、前記学習用データに対応づけられた前記少なくとも１つの属性について、前記評価用データを用いて評価された識別精度が、前記追加学習させる前よりも前記追加学習させた後の方が高いとき、前記画像処理装置が備える識別器を、前記学習部（５０１４）で追加学習された識別器に更新するための処理を行う、
付記５に記載の検出システム。

（付記７）
前記更新部（５０５）は、ユーザから前記識別器を更新する旨の指示を受け付けたとき、前記画像処理装置が備える識別器を、前記学習部（５０１４）で追加学習された識別器に更新するための処理を行う、
付記５に記載の検出システム。

（付記８）
前記登録部（５０１２）は、前記学習用データに対応づけられた少なくとも１つの属性に対応づけて、前記学習用データを新たな評価用データとして、前記第２記憶部（５０２１）に追加登録する、
付記４に記載の検出システム。

（付記９）
前記評価部（５０２３）は、ユーザから、前記識別器の評価に用いられる前記評価用データのデータ数の指定を前記属性ごとに受け付け、受け付けたデータ数の前記評価用データを用いて、前記識別精度を前記属性ごとに評価する、
付記１乃至８のいずれか一項に記載の検出システム。

（付記１０）
対象物に含まれる検出対象の有無を識別するように学習された識別器を記憶する第１記憶部（５０１３）と、
対象物の複数の属性の各々に対応づけて、前記識別器の識別精度を評価するために用いられる評価用データを記憶する第２記憶部（５０２１）と、
前記識別器を追加学習するための学習用データを記憶する第３記憶部（５０１１Ａ）と、
前記学習用データを用いて前記識別器を追加学習させる学習部（５０１４）と、
前記評価用データを用いて、前記追加学習させる前と前記追加学習させた後における前記識別器の識別精度を、前記属性ごとに評価する評価部（５０２３）と、
前記属性ごとに前記識別精度を出力する出力部（５０３）と、
を有する情報処理装置（１００）。

（付記１１）
対象物に含まれる検出対象の有無を識別するように学習された識別器を記憶する第１記憶部（５０１３）と、対象物の複数の属性の各々に対応づけて、前記識別器の識別精度を評価するために用いられる評価用データを記憶する第２記憶部（５０２１）と、前記識別器を追加学習するための学習用データを記憶する第３記憶部（５０１１Ａ）とを有する情報処理装置（１００）が実行する評価方法であって、
前記学習用データを用いて前記識別器を追加学習させるステップと、
前記評価用データを用いて、前記追加学習させる前と前記追加学習させた後における前記識別器の識別精度を、前記属性ごとに評価するステップと、
前記属性ごとに前記識別精度を出力するステップと、
を有する評価方法。

（付記１２）
コンピュータ（１００）を、
対象物に含まれる検出対象の有無を識別するように学習された識別器を記憶する第１記憶手段（５０１３）と、
対象物の複数の属性の各々に対応づけて、前記識別器の識別精度を評価するために用いられる評価用データを記憶する第２記憶手段（５０２１）と、
前記識別器を追加学習するための学習用データを記憶する第３記憶手段（５０１１Ａ）と、
前記学習用データを用いて前記識別器を追加学習させる学習手段（５０１４）と、
前記評価用データを用いて、前記追加学習させる前と前記追加学習させた後における前記識別器の識別精度を、前記属性ごとに評価する評価手段（５０２３）と、
前記属性ごとに前記識別精度を出力する出力手段（５０３）と、
して機能させるプログラム。

１…画像処理システム、１００…管理装置、１０１…プロセッサ、１０２…メモリ、１０３…記憶装置、１０３Ａ…プログラム、１０４…ネットワークインターフェイス、１０５…表示部、１０６…操作部、１０７…メモリカードリーダ・ライタ、１０７Ａ…記憶媒体、１０８…内部バス、１２１Ａ…ＣＰＵ、２００…画像処理装置、２１０…照明部、２１１…照明制御ユニット、２１２…照明レンズ、２２０…制御装置、２２１…処理部、２２２…記憶装置、２２２Ａ…プログラム、２２２Ｂ…識別器、２２３…ネットワーク通信部、２３０…撮像部、２３１…撮像レンズ、２３２…撮像素子、５０１…追加学習部、５０２…評価部、５０３…出力部、５０４…受付部、５０５…更新部、６１０…受付部、６２０…識別部、５０１１…追加学習用データＤＢ、５０１２…登録部、５０１３…識別器ＤＢ、５０１３Ａ…識別器、５０１４…学習処理部、５０２１…評価用データＤＢ、５０２２…設定部、５０２３…評価処理部

Claims (12)

1. 撮像部と学習可能な識別器とを備え、前記識別器を用いて、前記撮像部によって撮像された対象物に含まれる検出対象の有無を識別する画像処理装置と、
   前記画像処理装置に前記識別器を提供する情報処理装置と、
   を備える検出システムであって、
   前記情報処理装置は、
   対象物に含まれる検出対象の有無を識別するように学習された識別器を記憶する第１記憶部と、
   対象物の複数の属性の各々に対応づけて、前記識別器の識別精度を評価するために用いられる評価用データを記憶する第２記憶部と、
   前記識別器を追加学習するための学習用データを記憶する第３記憶部と、
   前記学習用データを用いて前記識別器を追加学習させる学習部と、
   前記評価用データを用いて、前記追加学習させる前と前記追加学習させた後における前記識別器の識別精度を、前記属性ごとに評価する評価部と、
   前記属性ごとに前記識別精度を出力する出力部と、を有する、
   検出システム。
2. 前記情報処理装置は、ユーザから前記複数の属性のうち少なくとも１つの属性の指定を受け付ける受付部を更に有し、
   前記評価部は、前記受け付けた前記少なくとも１つの属性について、前記追加学習させる前と前記追加学習させた後における前記識別器の識別精度を評価する、
   請求項１に記載の検出システム。
3. 前記第３記憶部は、前記学習用データに、前記複数の属性のうち少なくとも１つの属性を対応づけて記憶し、
   前記出力部は、前記学習用データに対応づけられた前記少なくとも１つの属性を区別できるように出力する、
   請求項１又は２に記載の検出システム。
4. 前記情報処理装置は、ユーザから、前記学習用データと、当該学習用データに対応づける前記少なくとも１つの属性とを受け付けて、前記第３記憶部に登録する登録部を更に有する、
   請求項３に記載の検出システム。
5. 前記情報処理装置は、前記評価部による前記属性ごとの識別精度の評価に基づいて、前記画像処理装置が備える識別器を、前記学習部で追加学習された識別器に更新するための処理を行う更新部を更に有する、
   請求項３又は４に記載の検出システム。
6. 前記更新部は、前記学習用データに対応づけられた前記少なくとも１つの属性について、前記評価用データを用いて評価された識別精度が、前記追加学習させる前よりも前記追加学習させた後の方が高いとき、前記画像処理装置が備える識別器を、前記学習部で追加学習された識別器に更新するための処理を行う、
   請求項５に記載の検出システム。
7. 前記更新部は、ユーザから前記識別器を更新する旨の指示を受け付けたとき、前記画像処理装置が備える識別器を、前記学習部で追加学習された識別器に更新するための処理を行う、
   請求項５に記載の検出システム。
8. 前記登録部は、前記学習用データに対応づけられた少なくとも１つの属性に対応づけて、前記学習用データを新たな評価用データとして、前記第２記憶部に追加登録する、
   請求項４に記載の検出システム。
9. 前記評価部は、ユーザから、前記識別器の評価に用いられる前記評価用データのデータ数の指定を前記属性ごとに受け付け、受け付けたデータ数の前記評価用データを用いて、前記識別精度を前記属性ごとに評価する、
   請求項１乃至８のいずれか一項に記載の検出システム。
10. 対象物に含まれる検出対象の有無を識別するように学習された識別器を記憶する第１記憶部と、
    対象物の複数の属性の各々に対応づけて、前記識別器の識別精度を評価するために用いられる評価用データを記憶する第２記憶部と、
    前記識別器を追加学習するための学習用データを記憶する第３記憶部と、
    前記学習用データを用いて前記識別器を追加学習させる学習部と、
    前記評価用データを用いて、前記追加学習させる前と前記追加学習させた後における前記識別器の識別精度を、前記属性ごとに評価する評価部と、
    前記属性ごとに前記識別精度を出力する出力部と、
    を有する情報処理装置。
11. 対象物に含まれる検出対象の有無を識別するように学習された識別器を記憶する第１記憶部と、対象物の複数の属性の各々に対応づけて、前記識別器の識別精度を評価するために用いられる評価用データを記憶する第２記憶部と、前記識別器を追加学習するための学習用データを記憶する第３記憶部とを有する情報処理装置が実行する評価方法であって、
    前記学習用データを用いて前記識別器を追加学習させるステップと、
    前記評価用データを用いて、前記追加学習させる前と前記追加学習させた後における前記識別器の識別精度を、前記属性ごとに評価するステップと、
    前記属性ごとに前記識別精度を出力するステップと、
    を有する評価方法。
12. コンピュータを、
    対象物に含まれる検出対象の有無を識別するように学習された識別器を記憶する第１記憶手段と、
    対象物の複数の属性の各々に対応づけて、前記識別器の識別精度を評価するために用いられる評価用データを記憶する第２記憶手段と、
    前記識別器を追加学習するための学習用データを記憶する第３記憶手段と、
    前記学習用データを用いて前記識別器を追加学習させる学習手段と、
    前記評価用データを用いて、前記追加学習させる前と前記追加学習させた後における前記識別器の識別精度を、前記属性ごとに評価する評価手段と、
    前記属性ごとに前記識別精度を出力する出力手段と、
    して機能させるプログラム。