JP2019220116A - 情報処理装置、判定方法、および対象物判定プログラム - Google Patents

Abstract

【課題】画像に写る対象物の分類精度を向上させる。【解決手段】判定装置（１）は、機械学習結果に基づき、画像（２０１）の画像領域のうち対象物が写っている対象領域を抽出して部分画像を生成する第２抽出部（１０３）と、機械学習結果に基づき上記部分画像から対象物の分類カテゴリを判定する分類部（１０５）と、を備えている。【選択図】図１

Description

本発明は、対象物を撮影した画像から当該対象物の分類カテゴリを判定する情報処理装置等に関する。

対象物を撮像した画像から、対象物を検出する技術や、検出した対象物を分類する技術が従来から知られている。例えば、下記の特許文献１には、商品を撮像した画像から商品の種別および商品に付された値引きシールの情報を認識することにより、故意または過誤により誤った値引きシールが付されていることを検出する商品登録装置が記載されている。

特開２０１６−１７７４１９号公報

一般に、値引きシールのサイズは、商品のサイズと比べれば小さいものであり、このため、撮像された画像の画像領域全体に占める、値引きシールが写っている領域の割合は低いものとなる。それゆえ、上述のような従来技術には、値引きシールを高精度に認識することが難しいという問題がある。また、このような問題は、値引きシールの内容認識を行う装置に限られず、対象物が画像の一部分に写っている画像に基づいて当該対象物を識別あるいは分類する装置に共通して生じる課題である。

本発明の一態様は、上記の問題点に鑑みてなされたものであり、その目的は、画像に写る対象物の分類精度を従来よりも向上させることが可能な情報処理装置等を実現することを目的とする。

上記の課題を解決するために、本発明の一態様に係る情報処理装置は、対象物を撮影した対象画像から、当該対象物の分類カテゴリが、所定の複数の分類カテゴリの何れに該当するかを判定する情報処理装置であって、機械学習の結果に基づき、上記対象画像から上記対象物が写っている領域を抽出して部分画像を生成する機械学習抽出部と、機械学習の結果に基づき、上記部分画像から上記対象物の分類カテゴリを判定する分類部と、を備えている。

また、本発明の一態様に係る判定方法は、上記の課題を解決するために、１または複数の装置により、対象物を撮影した対象画像から、当該対象物の分類カテゴリが、所定の複数の分類カテゴリの何れに該当するかを判定する判定方法であって、機械学習の結果に基づき、上記対象画像から上記対象物が写っている領域を抽出して部分画像を生成する抽出ステップと、機械学習の結果に基づき、上記部分画像から上記対象物の分類カテゴリを判定する分類ステップと、を含む。

本発明の一態様によれば、画像に写る対象物の分類精度を従来よりも向上させることが可能になる。

本発明の一実施形態に係る判定装置の要部構成の一例を示すブロック図である。 食品生産工場において、生産された食品を判定装置の判定対象物として撮影した例を示す図である。 上記判定装置が実行する判定処理の一例を示すフローチャートである。 上記判定装置の判定結果の表示例を示す図である。 上記判定装置が、新規対象物画像が所定数以上記憶されたことを契機として開始する機械学習に関する処理の一例を示すフローチャートである。 機械学習に関する処理において表示装置に表示させる画像例を示す図である。

〔判定システムの概要〕
本発明の一実施形態について図１〜図６に基づいて説明する。まず、本実施形態に係る判定装置（情報処理装置）１の概要を図１に基づいて説明する。図１は、判定装置１の要部構成の一例を示すブロック図である。

判定装置１は、複数の対象物をそれぞれ撮影した画像２０１から各対象物の分類カテゴリを判定する。詳細は以下説明するが、判定装置１は、まず画像２０１において対象物が写っている領域を機械学習結果に基づいて抽出し、次に抽出した領域の部分画像から上記対象物の分類カテゴリを機械学習結果に基づいて判定するという特徴的構成を備えている。これにより、対象物の分類カテゴリを高精度に判定することができる。また、詳細は以下説明するが、判定装置１は、上記の機械学習に用いる訓練データの生成に関する特徴点も有している。

判定装置１は、判定装置１の各部を統括して制御する制御部１０、および、判定装置１が使用する各種データを記憶する記憶部２０を備えている。また、判定装置１は、判定装置１に対するデータの入力を受け付ける入力部３０、判定装置１が他の装置と通信するための通信部４０、および判定装置１がデータを出力するための出力部５０を備えている。

制御部１０には、画像取得部１０１、第１抽出部（抽出部）１０２、第２抽出部（機械学習抽出部）１０３、抽出成否判定部１０４、分類部１０５、分類成否判定部１０６、目視判定部１０７、合否判定部１０８、学習部１０９、抽出精度判定部１１０、画像加工部１１１、訓練データ生成部（分類部訓練データ生成部、抽出部訓練データ生成部）１１２、および領域入力受付部１１３が含まれている。また、記憶部２０には、画像（対象画像）２０１、新規対象物画像（訓練用画像）２０２、分類部訓練データセット２０３、および抽出部訓練データセット２０４が記憶されている。

画像取得部１０１は、判定装置１による判定の対象物を撮影した画像を取得する。本実施形態では、対象物を撮影した画像は、入力部３０を介して判定装置１に入力されて、記憶部２０に画像２０１として記憶される。このため、画像取得部１０１は、記憶部２０から画像２０１を取得する。無論、画像取得部１０１が画像２０１を取得する方法は特に限定されない。例えば、画像取得部１０１は、撮像装置を制御して対象物を撮像させ、当該撮像装置から画像２０１を取得してもよい。

第１抽出部１０２は、第２抽出部１０３および分類部１０５の機械学習用の訓練データの元になる画像である新規対象物画像２０２から対象物が写っている領域を抽出して部分画像を生成する。なお、領域抽出（例えば対象物が写っている領域を示す座標値の出力）と、部分画像の生成を別のブロックで実行するようにしてもよい。第１抽出部１０２は、第２抽出部１０３と同様に、画像から対象物が写っている領域を抽出して部分画像を生成する機能を有しているが、抽出の手法が第２抽出部１０３とは異なっている。第１抽出部１０２の抽出手法は、第２抽出部１０３では領域抽出が難しい画像からの抽出が可能なものであることが望ましい。例えば、第１抽出部１０２は、機械学習を行うことなく対象物の抽出を行うものであってもよい。本実施形態では、第１抽出部１０２が特徴点マッチングにより対象物を抽出する例を説明する。無論、これは一例であり、例えばパターンマッチング等他の手法を適用することも可能である。

第２抽出部１０３は、機械学習の結果に基づき、画像２０１から対象物が写っている領域を抽出して部分画像を生成する。なお、領域抽出（例えば対象物が写っている領域を示す座標値の出力）と、部分画像の生成を別のブロックで実行するようにしてもよい。第２抽出部１０３を対象物の写り方（サイズ、向き、光の当り具合、ピント等）が異なる様々な画像で機械学習させておくことにより、対象物の写り方が変わっても高精度で対象物を抽出することができる。

機械学習するアルゴリズムは特に限定されないが、高い判定精度が望まれる場合、ニューラルネットワーク等の機械学習アルゴリズムを利用することが好ましく、特に深層学習したニューラルネットワークにより判定を行うものとすることがより好ましい。本実施形態では、第２抽出部１０３としてYolo（You Only Look Once）を適用する例を説明する。なお、Yoloは、対象物が写っている領域を抽出する機能と、対象物を識別（分類）する機能とを備えているが、そのうち領域抽出機能のみを第２抽出部１０３として利用する。

抽出成否判定部１０４は、第１抽出部１０２による抽出が成功したか否かを判定する。また、抽出成否判定部１０４は、第２抽出部１０３による抽出が成功したか否かを判定する。具体的には、抽出成否判定部１０４は、抽出した領域の面積が、所定の範囲内であるか否かにより、抽出の成否を判定する。つまり、ここでは、画像２０１において対象物が占める面積がどの程度であるかが既知であることを想定している。なお、抽出の成否を判定する方法はこの例に限られない。例えば、抽出成否判定部１０４は、第１抽出部１０２の抽出結果を示す画像（例えば抽出元の画像に抽出領域を示す情報を重畳した画像）を表示装置に表示させ、その画像の閲覧者（目視検査員）に抽出成否を入力させることにより、抽出成否を判定してもよい。または、闘値を設け、第２抽出部１０３が算出する確度（抽出結果の確からしさ）が、上記闘値を上回るか下回るかで抽出の成否を判定してもよい。第２抽出部１０３による抽出の成否の判定も同様である。なお、第１抽出部１０２による抽出の成否と、第２抽出部１０３による抽出の成否を別のブロックで判定してもよい。

分類部１０５は、第２抽出部１０３が出力する部分画像に基づいて対象物の分類カテゴリを判定する。この判定は、画像と該画像に写る対象物の分類カテゴリとの対応関係を機械学習した結果に基づいて行われる。この機械学習には、複数の分類カテゴリのそれぞれに該当する対象物がそれぞれ写っている画像から当該対象物が写っている領域を抽出して生成された部分画像を訓練データとして用いることが好ましい。これにより、機械学習に対する対象物の背景の影響をゼロにするかまたは低減することができるので、分類部１０５の機械学習を短時間で完了させることが可能になると共に、背景を含む画像で機械学習させる場合よりも判定精度を高めることが可能になる。

分類部１０５として適用可能なアルゴリズムは特に限定されないが、高い判定精度が望まれる場合、ニューラルネットワーク等の機械学習アルゴリズムを利用することが好ましく、特に深層学習したニューラルネットワーク（例えばResNet：Residual Network等）により判定を行うものとすることがより好ましい。本実施形態では分類部１０５が、部分画像を入力データとして、所定の複数の分類カテゴリのそれぞれのスコアを出力するResNetである例を説明する。このスコアは、部分画像に写る対象物が各分類カテゴリに該当する確度（確からしさ）を示す数値であり、スコアが最も高い分類カテゴリが、対象物の分類カテゴリとして最も確からしいということになる。したがって、スコアが最も高い分類カテゴリが分類部１０５の判定結果ということになる。

分類成否判定部１０６は、分類部１０５の判定結果が所定の評価基準を満たしているか否かを判定する。具体的には、分類成否判定部１０６は、分類部１０５が出力するスコアと閾値とを比較することで評価基準を満たしているか否かを判定する。そして、分類成否判定部１０６は、分類部１０５が各分類カテゴリについて出力したスコアの何れもが評価基準を満たしていなければ分類部１０５の分類は失敗と判定し、評価基準を満たしているスコアがあれば分類成功と判定する。なお、分類カテゴリごとにスコアの精度が異なる場合、分類成否判定部１０６は、各分類カテゴリに応じた値の閾値を用いることが好ましい。

目視判定部１０７は、画像２０１に写る対象物が所定の分類カテゴリの何れにも該当しない場合、画像２０１を表示装置に表示させて、目視検査員による分類カテゴリの入力を受け付けることにより、対象物の分類カテゴリを判定する。また、目視判定部１０７は、分類成否判定部１０６が、分類部１０５の判定結果の確度が閾値未満であると判定した場合にも同様にして対象物の分類カテゴリを判定する。

なお、本実施形態では、上記表示装置が、目視検査員が使用する目視検査端末に接続された（または目視検査端末が備える）表示装置である例を説明する。目視検査端末は、目視検査員の入力を受け付けて、その入力内容を判定装置１に有線または無線通信で通知する。よって、目視判定部１０７は、通信部４０を介してこの通知を受信することにより、対象物の分類カテゴリを判定する。目視検査端末は、対象物がある施設（例えば、対象物が工場で生産される製品であれば工場内）に配置されていてもよいし、当該施設外に配置されていてもよく、据え置き型の装置であってもよいし、携帯型の装置であってもよい。また、目視検査端末および目視検査員の数は、複数であってもよい。

なお、目視検査員が、対象物自体を目視できるのであれば、目視判定部１０７は、対象物を目視した目視検査員による対象物の分類カテゴリの入力を受け付けることにより、対象物の分類カテゴリを判定してもよい。この場合、表示装置に画像２０１を表示させる必要はない。また、上記入力は目視検査端末で受け付けて判定装置１に送信する構成としてもよいし、入力部３０で受け付ける構成としてもよい。

合否判定部１０８は、分類部１０５の判定結果と、画像２０１に本来写っているべき対象物を示す情報を照合して、画像２０１に写る対象物の合否を判定する。合否判定部１０８は、例えば、後述する図２の例のように生産ライン６００にて食品６０１が搬送される場合に、食品６０１に正しいラベル６０１１が貼り付けられているかを確認するために用いられる。

例えば、「XXファーム 和牛」と印字されたラベル６０１１を貼り付けた食品６０１搬送しているときに撮影された画像２０１に基づき、分類部１０５が「XXファーム 和牛」のラベルと判定した場合には、正しいラベル６０１１が貼り付けられている。よって、この場合には、合否判定部１０８は、合格と判定する。一方、この場合に、分類部１０５が「XXファーム 黒豚」のラベルと判定した場合には、誤ったラベル６０１１が貼り付けられた食品６０１が搬送されているので、合否判定部１０８は不合格と判定する。これにより、誤ったラベル６０１１が貼り付けられた食品６０１が搬送されているのを自動で検出することが可能になる。なお、このような検出が不要であれば、合否判定部１０８を省略してもよい。

学習部１０９は、抽出精度判定部１１０が算出する評価値（詳細は後述）に基づいて第２抽出部１０３の再学習を行うタイミングを決定し、決定したタイミングで第２抽出部１０３の再学習を行う。第２抽出部１０３の再学習には、抽出部訓練データセット２０４に記憶されている訓練データ（抽出部訓練データ）を用いる。また、学習部１０９は、分類部訓練データセット２０３に記憶されている訓練データ（分類部訓練データ）を用いて、分類部１０５の再学習を行う。なお、再学習を行うタイミングの決定と、再学習を行う処理とは別のブロックで実行するようにしてもよい。また、分類部１０５の再学習を学習部１０９とは別のブロックで実行するようにしてもよい。

抽出精度判定部１１０は、第１抽出部１０２の抽出結果と第２抽出部１０３の抽出結果に基づいて第２抽出部の抽出精度の評価値を算出する。この評価値は、第２抽出部の抽出精度を示すものであればよい。本実施形態では、抽出精度判定部１１０が、第１抽出部１０２が新規対象物画像２０２から抽出した領域と、第２抽出部１０３が新規対象物画像２０２から抽出した領域との重なり合いの程度を示す評価値（ＩｏＵ：Intersection over Union）を算出する例を説明する。ＩｏＵは、第１抽出部１０２が抽出した領域と、第２抽出部が抽出した領域とが完全に重なっていれば１００（％）、全く重なっていなければ０（％）となる。なお、人の手間が増える点が許容できるのであれば、第１抽出部１０２の抽出結果を用いる代わりに、目視検査員が対象物の写る領域を抽出した結果と、第２抽出部１０３の抽出結果に基づいてＩｏＵを算出してもよい。

画像加工部１１１は、新規対象物画像２０２に所定の画像処理を施すことによって１または複数の画像を生成する。これにより、第２抽出部１０３の機械学習に用いる訓練用画像の数を増やし、第２抽出部１０３の再学習の効果を高めることができる。特に、対象物の写り方の変化に対する第２抽出部１０３の適応性を高めることができる。所定の画像処理は、新規対象物画像２０２とは異なる画像であって、第２抽出部１０３の訓練データとして使用可能な画像を生成するものであればよい。例えば、画像加工部１１１は、新規対象物画像２０２にアフィン変換（affine transformation）を施して、新規対象物画像２０２の内容は変えずに回転等の変換を加えた画像を生成してもよい。また、例えば、画像加工部１１１は、アフィン変換の代わりに、あるいはアフィン変換に加えて、輝度値やコントラスト等を変化させる画像処理を施してもよい。

訓練データ生成部１１２は、訓練用画像（新規対象物画像２０２および新規対象物画像２０２を加工した画像）と第１抽出部１０２または領域入力受付部１１３が抽出した領域とを対応付けて、第２抽出部１０３の機械学習用の訓練データ（抽出部訓練データ）を生成する。また、訓練データ生成部１１２は、第１抽出部１０２が生成した部分画像と、該部分画像に写る対象物の分類カテゴリとを対応付けて、分類部１０５の機械学習用の訓練データ（分類部訓練データ）を生成する。なお、抽出部訓練データの生成と、分類部訓練データの生成を別のブロックで実行するようにしてもよい。

領域入力受付部１１３は、第１抽出部１０２および第２抽出部１０３の何れによっても対象物が写った領域の抽出が困難である場合に、上述した目視検査端末の表示装置に画像を表示させて、その画像の閲覧者（目視検査員）による領域の入力を受け付ける。そして、領域入力受付部１１３は、入力された領域を抽出して部分画像を生成する。なお、領域抽出と、部分画像の生成を別のブロックで実行するようにしてもよい。

画像２０１は、上述のとおり、判定の対象物を撮影した画像である。また、新規対象物画像２０２は、判定の対象物を撮影した画像のうち、分類部１０５が学習済みの分類カテゴリの何れにも該当しない対象物、つまり新規（未学習）の対象物が写っている画像である。新規対象物画像２０２は、第２抽出部１０３および分類部１０５の訓練データとして用いられる。

分類部訓練データセット２０３は、分類部１０５の機械学習に用いる訓練データセットである。また、抽出部訓練データセット２０４は、第２抽出部１０３の機械学習に用いる訓練データセットである。

〔判定装置の用途一例〕
判定装置１の用途は特に限定されないが、例えば食品生産工場の品質管理に利用することができる。これについて図２に基づいて説明する。図２は、食品生産工場において、生産された食品を判定装置１の判定対象物として撮影した例を示す図である。

図２の（ａ）には、食品の生産ライン６００の一部を示している。生産ライン６００には、食品６０１を同図の白抜き矢印の方向に搬送する搬送部６０２が含まれている。また、搬送部６０２には、搬送部６０２の上方に撮像装置６０３を保持する撮像台６０４が設けられている。これにより、搬送部６０２にて搬送されている食品６０１を真上から撮影することができる。

図２の（ｂ）には、同図の（ａ）の撮像装置６０３で撮影された画像２０１の例を示している。この画像２０１には、パック詰めされた食肉である食品６０１が写っている。また、画像２０１には、食品６０１のパックに貼られたラベル６０１１と値札シール６０１２も写っている。ラベル６０１１は、食品６０１の標識として貼り付けられたものであり、例えば食品６０１の製造元、生産者、およびブランドの少なくとも何れかを示すものであってもよい。値札シール６０１２は、食品６０１の値段等を示すものであり、値札シール６０１２にはバーコード等も印字されている。

判定装置１により、生産ライン６００上の食品６０１に貼られたラベル６０１１の種別を判定することにより、食品６０１に貼られたラベル６０１１が正しいか否かを確認することができる。図２の（ｂ）の例のように、画像２０１に占めるラベル６０１１の領域は小さいが、判定装置１によれば、ラベル６０１１の領域を抽出した上で、ラベル６０１１の種別を判定するので、高精度な判定が可能になる。そして、これによりラベル６０１１の貼り間違えによる食品６０１の品質誤認等の問題の発生を未然に回避することができる。

なお、値札シール６０１２は、ラベル６０１１と外観が類似しているため、ラベル６０１１が写っている領域を精度よく抽出させるためには、ラベル６０１１と値札シール６０１２とを識別機能を判定装置１に持たせることが好ましい。

例えば、本実施形態では第２抽出部１０３としてYoloを利用しているが、Yoloには対象物を識別（分類）する機能があるから、この機能を利用して、抽出時に対象物の分類も行うようにしてもよい。この場合、判定装置１は、上記分類の結果がラベルである領域を抽出して部分画像を生成する。これにより、値札シール６０１２が写っている領域を誤って抽出しまうことを防ぎ、ラベル領域の抽出精度を高めることができる。なお、この場合、ラベル６０１１と値札シール６０１２とを分類できるように、使用するYoloについて予め機械学習を行っておく。

また、例えば、分類部１０５（ResNet）をラベル６０１１と値札シール６０１２との分類ができるように機械学習しておいてもよい。この場合、第２抽出部１０３または第１抽出部１０２により、値札シール６０１２の領域が抽出されたとしても、分類部１０５にてその領域に写る対象物が値札シール６０１２であると分類されるので、ラベル６０１１の分類には影響がない。

この他にも、例えば値札シール６０１２またはラベル６０１１の位置（食品６０１が写っている領域内の位置）に基づいて、値札シール６０１２とラベル６０１１を識別することも可能である。例えば、値札シール６０１２を、食品６０１を真正面から見てその右下隅の位置に貼り付けることが決まっている場合、第１抽出部１０２および第２抽出部１０３は、食品６０１の右下隅以外の領域を対象としてラベル領域を抽出してもよい。また、例えばラベル６０１１を値札シールの対角（食品６０１の左上隅）の位置に貼り付けることが決まっている場合、第１抽出部１０２および第２抽出部１０３は、食品６０１の右上隅の領域からラベル領域を抽出してもよい。

〔判定処理の流れ〕
判定装置１が実行する判定処理の流れを図３に基づいて説明する。図３は、判定装置１が実行する判定処理（判定方法）の一例を示すフローチャートである。なお、以下では、パック詰めされた食品の表面に貼り付けられたラベルの分類カテゴリを判定装置１が判定する例を説明する。

Ｓ１では、画像取得部１０１が、記憶部２０に記憶されている画像２０１を取得する。この画像２０１は、例えば撮像装置６０３で撮影した食品６０１の画像であってもよい（図２参照）。また、合否判定部１０８は、上記ラベルの種類を示すラベルＩＤを取得する。なお、図２のような生産ライン６００では、所定のラベルが貼り付けられた食品を搬送するので、搬送されている食品に貼り付けられたラベルのラベルＩＤを取得することができる。ただし、誤って他の種類のラベルが貼り付けられることがあり得るので、判定装置１による判定を行って、誤ったラベルが貼り付けられた食品６０１を検出する。

Ｓ２では、画像取得部１０１は、Ｓ１で取得した画像２０１が新規ラベルの画像であるか否かを判定する。新規ラベルとは、そのラベルの画像を用いた機械学習が行われていないラベルである。新規ラベルの画像であるか否かは、例えばＳ１で取得されたラベルＩＤと、機械学習に用いた各ラベルのラベルＩＤとを照合することで判定できる。Ｓ２で新規ラベルであると判定された場合（Ｓ２でＹＥＳ）、処理はＳ３に進む。一方、Ｓ２で新規ラベルではないと判定された場合（Ｓ２でＮＯ）、処理はＳ５に進む。

Ｓ３では、画像取得部１０１は、Ｓ１で取得した画像２０１を新規ラベルの画像として記憶部２０に記憶する。なお、図１における新規対象物画像２０２が、この新規ラベルの画像に対応している。上述のように、新規対象物画像２０２は、機械学習の訓練データの生成に用いられる。

Ｓ４では、目視判定部１０７が、目視判定を行う。具体的には、目視判定部１０７は、画像２０１（またはＳ３で記憶した新規対象物画像２０２）を上述した目視検査端末の表示装置に表示させて、目視検査員による分類カテゴリの入力を受け付けることにより、対象物の分類カテゴリを判定する。判定装置１が目視判定部１０７を備えていることにより、新規ラベルの分類カテゴリや、第２抽出部１０３と分類部１０５では十分な精度の判定結果が得られなかった場合にも、正確な判定を行うことが可能になる。

また、目視判定部１０７は、目視検査員にラベルの合否判定（正しいラベルが貼り付けられているか否かの判定）を行わせ、その判定結果の入力を受け付ける。その後、目視判定部１０７は、判定結果を出力部５０に出力させてもよい。Ｓ４の処理の終了により、判定処理は終了する。

また、目視判定部１０７は、目視検査員に対象物の領域を入力させてもよい。そして、訓練データ生成部１１２は、入力された領域と目視判定部１０７が判定の対象とした画像とを対応付けて抽出部訓練データセット２０４に追加してもよい。さらに、訓練データ生成部１１２は、入力された上記領域の部分画像と、入力された分類カテゴリとを対応付けて分類部訓練データセット２０３に追加してもよい。

Ｓ５（抽出ステップ）では、第２抽出部１０３が、Ｓ１で取得された画像２０１から、当該画像２０１の画像領域のうち、ラベルが写っている領域であるラベル領域を抽出する。そして、第２抽出部１０３は、上記抽出結果に基づいて画像２０１の部分画像を生成する。この部分画像は、画像２０１の画像領域のうち、ラベル領域の部分を含む画像である。なお、部分画像はラベル領域の部分の全体を含み、他の部分を含まないことが好ましい。ただし、分類部１０５の判定精度に大きく影響しない範囲であれば、部分画像において、ラベル領域の一部が欠けていたり、ラベル以外の部分が含まれていたりしても許容できる。また、この抽出における演算処理は、処理負荷が大きくなる場合がある。このため、第２抽出部１０３は、この演算処理を外部のサーバに行わせて、抽出結果を当該サーバから取得してもよい。

Ｓ６では、抽出成否判定部１０４が、Ｓ５の抽出が成功したか否かを判定する。この判定は、例えば、Ｓ５で抽出された領域の面積と既知のラベル面積との関係に基づいて行ってもよい。具体的には、抽出成否判定部１０４は、Ｓ５で抽出された領域の面積が、既知のラベル面積の所定範囲内であれば抽出成功と判定し、所定範囲外であれば抽出失敗と判定してもよい。Ｓ６で抽出成功と判定された場合（Ｓ６でＹＥＳ）、処理はＳ７に進む。一方、Ｓ６で抽出失敗と判定された場合（Ｓ６でＮＯ）、処理はＳ４に進む。

Ｓ７（分類ステップ）では、分類部１０５が、ラベルの分類カテゴリを判定する。具体的には、分類部１０５は、Ｓ５で生成された部分画像を入力データとして、予め設定された複数の分類カテゴリ（ラベルの種類）のそれぞれについて、当該分類カテゴリに該当する確度を示すスコアを出力する。部分画像を入力データとするため、Ｓ１で取得された画像２０１をそのまま入力データとする構成と比べて、高精度な分類結果を得ることができる。なお、この判定における演算処理は、処理負荷が大きくなる場合がある。このため、分類部１０５は、この演算処理を外部のサーバに行わせて、演算結果であるスコアを当該サーバから取得してもよい。

Ｓ８では、分類成否判定部１０６が、Ｓ７の分類が成功したか否かを判定する。具体的には、分類成否判定部１０６は、Ｓ７の判定結果に閾値以上のスコアが含まれているか否かを判定する。閾値以上のスコアが含まれていれば分類成功、含まれていなければ分類失敗ということになる。Ｓ８において、分類成否判定部１０６は、分類成功（閾値以上のスコアが含まれる）と判定した場合（Ｓ８でＹＥＳ）、スコアが最も大きかった分類カテゴリを合否判定部１０８に通知し、処理はＳ９に進む。一方、Ｓ８で分類失敗（閾値以上のスコアが含まれない）と判定された場合（Ｓ８でＮＯ）、処理はＳ４に進む。

Ｓ９では、合否判定部１０８が、Ｓ７の分類結果に基づいてラベルの合否判定を行う。具体的には、合否判定部１０８は、分類成否判定部１０６から通知された分類カテゴリ（スコアが最も大きかった分類カテゴリ）と、Ｓ１で取得したラベルＩＤの示す種類とが一致すれば合格と判定し、判定処理は終了する。一方、一致しなければ合否判定部１０８は不合格と判定し、処理はＳ４に進む。これにより、不合格と判定された画像２０１のうち、合否判定部１０８の判定（分類部１０５の分類）が誤りであった場合については、目視検査により正しい分類カテゴリが定められる。よって、目視検査により定められた正しい分類カテゴリと当該画像２０１とを対応付けて分類部１０５の訓練データとすることができる。また、合否判定部１０８の判定が誤りであった場合に、それを目視検査により検出することもできる。なお、合否判定部１０８は、判定結果を出力部５０に出力させてもよい。

なお、判定結果の出力の態様は任意である。例えば、出力部５０が表示装置であれば、合格または不合格であることを示す画像を表示させてもよい。また、分類カテゴリのスコアを表示してもよい。また、表示以外の態様で出力を行ってもよい。例えば不合格である場合にはブザー等の音を出力することにより、誤ったラベルが貼られた食品６０１があることを報知してもよい。また、例えば生産ライン６００に搬送中の食品６０１の搬送経路を分岐させる機構が設けられている場合には、その機構を制御して、不合格と判定された食品６０１を生産ライン６００から除外してもよい。

〔判定結果の表示例〕
上述のように、合否判定部１０８は、判定結果を出力部５０に出力させてもよい。ここでは、分類部１０５の判定結果を表示出力させる例を図４に基づいて説明する。図４は、判定結果の表示例を示す図である。

図４の表示例における判定結果は、スコアが大きい上位３つの分類カテゴリ（第１〜第３候補）と、そのスコアの値を含む。このような表示により、判定結果の確からしさをユーザに認識させることができる。この例では、第１候補のラベル「ＸＸファーム 和牛」のスコアが、第２、第３候補と比較して十分に大きく、これにより、この判定結果が信頼できるものであることをユーザに認識させることができる。また、図４の表示例には、第１〜第３候補のラベルの画像が含まれる。これにより、判定結果がどのような外観のラベルとなったかを、ユーザに容易に認識させることができる。

〔新規対象物画像を用いた機械学習に関する処理の流れ〕
判定装置１では、新規対象物画像２０２が所定数（例えば１０個）以上記憶されたことを契機として、機械学習に関する処理が行われる。これについて、図５に基づいて説明する。図５は、新規対象物画像２０２が所定数以上記憶されたことを契機として開始される機械学習に関する処理の一例を示すフローチャートである。なお、所定数の新規対象物画像２０２は、何れも同じ分類カテゴリに属するラベルが写った画像であるとする。また、新規対象物画像２０２が所定数記憶されたことは、例えば画像取得部１０１が検出する構成とすればよい。

Ｓ２１では、第１抽出部１０２が、新規ラベルの画像である新規対象物画像２０２からラベル領域を抽出する。そして、第１抽出部１０２は、上記抽出結果に基づいて新規対象物画像２０２の部分画像を生成する。これらの処理は、新規対象物画像２０２のそれぞれについて行う。

なお、Ｓ２１の抽出精度を高めるため、Ｓ２１の処理前の新規対象物画像２０２に前処理を施してもよい。例えば、新規ラベルが貼られている商品が、透明フィルムで包装された食肉であれば、赤色（食肉の色）の領域はラベル領域ではないと推定される。このため、新規対象物画像２０２のうち赤色の領域を検出し、その領域を抽出対象外とする処理をＳ２１の前処理として行うことにより、抽出範囲を適切に絞り込むことができるので、Ｓ２１の抽出精度を高めることができる。

Ｓ２２では、抽出成否判定部１０４が、Ｓ２１の抽出の成否を判定する。この判定は、例えばＳ２１の抽出結果を示す情報を重畳した新規対象物画像２０２を、上述した目視検査端末の表示装置に表示させ、目視検査員に抽出成否を判断させて、その判断結果の入力を受け付けることによって行ってもよい。無論、抽出成否判定部１０４は、抽出された領域の面積に基づいて抽出成否を判定してもよく、この場合は目視検査員による判定は不要である。ただし、Ｓ２２で抽出成功と判定された場合、その抽出結果に基づく部分画像がそのまま分類部１０５の訓練データとして用いられるので、Ｓ２２ではできるだけ高精度な判定を行うことが好ましい。後述するＳ２５の判定も同様である。

Ｓ２３では、訓練データ生成部１１２が、Ｓ２２で抽出成功と判定された新規対象物画像２０２の部分画像をラベルの分類カテゴリと対応付けて、分類部１０５の訓練データセット（図１の「分類部訓練データセット２０３」）に追加する。このように、判定装置１では、ラベル領域の抽出と、訓練データの生成が自動で行われるので、分類部訓練データの生成にかかる手間を著しく低減することができる。

Ｓ２４では、第２抽出部１０３が、Ｓ２２で抽出失敗と判定された新規対象物画像２０２からラベル領域を抽出し、部分画像を生成する。Ｓ２２で抽出失敗と判定された新規対象物画像２０２が複数ある場合には、第２抽出部１０３はそのそれぞれからラベル領域を抽出し、部分画像を生成する。なお、ラベル６０１１の外形形状は、分類カテゴリが変わっても同様である場合も多いため、新規対象物画像２０２からであっても第２抽出部１０３がラベル領域を正確に抽出できる可能性がある。このように、第１抽出部１０２が抽出失敗した場合に、第２抽出部１０３が抽出する構成としたことにより、新規対象物画像２０２の大部分から自動でラベル領域を抽出することが可能になる。

Ｓ２５では、Ｓ２２と同様にして、抽出成否判定部１０４が、Ｓ２４の抽出の成否を判定する。Ｓ２５で抽出成功と判定（Ｓ２５でＹＥＳ）された新規対象物画像２０２については、Ｓ２７の処理が行われる。一方、Ｓ２５で抽出失敗と判定（Ｓ２５でＮＯ）された新規対象物画像２０２については、Ｓ２６の処理が行われる。

ここで、Ｓ２５では、抽出成否判定部１０４は、例えば図６の（ａ）のような画像を上述した目視検査端末の表示装置に表示させて、抽出の成否を目視検査員に判断させてもよい。図６は、抽出成否判定部１０４が表示させる画像の一例を示す図である。同図の（ａ）の画像には、ラベル６０１１が写った新規対象物画像２０２が含まれている。また、この画像においては、新規対象物画像２０２に重畳して、第２抽出部１０３が抽出したラベル領域を示す枠線３０１が表示されている。

このような表示を見た目視検査員は、ラベル６０１１が枠線３０１の内側に収まっているか、また収まっている場合には枠線３０１の内側にラベル６０１１ではない領域が多く含まれていないか確認する。そして、何れの確認結果も肯定的であれば抽出成功と判断して、抽出成功である旨を入力部３０に入力し、一方、何れかの確認結果が否定的であれば抽出失敗と判断して、抽出失敗である旨を入力部３０に入力する。なお、抽出失敗した場合のみ入力部３０に入力する構成としてもよい。この場合、抽出成否判定部１０４は、所定時間内に目視検査員の入力が確認されなければ抽出成功と判定する。

Ｓ２６では、領域入力受付部１１３が、目視検査員が入力した領域をラベル領域として抽出する。例えば、図６の（ａ）に示すような画像を表示していた場合、目視検査端末は、枠線３０１に対する入力操作を受け付けてラベル領域を特定し、そのラベル領域を判定装置１に通知する。そして、領域入力受付部１１３は、通知されたラベル領域を抽出する。

この場合、枠線３０１の位置および範囲は、目視検査端末に対する入力操作により任意に変更可能としておく。これにより、目視検査員は、目視検査端末に対する入力操作により枠線３０１の位置および範囲を変更して、図６の（ｂ）に示すように、ラベル６０１１が写っている領域と一致する状態とすることができる。そして、この状態で、目視検査員がラベル領域を確定させる操作を行ったことに応じて、目視検査端末は、該操作時において枠線３０１が示す画像領域をラベル領域として特定することができる。

Ｓ２７では、訓練データ生成部１１２が、Ｓ２５で抽出成功と判定された新規対象物画像２０２の部分画像と、Ｓ２６でラベル領域が抽出された新規対象物画像２０２の部分画像を分類部訓練データセット２０３に追加する。なお、Ｓ２３と同様に、訓練データ生成部１１２は、部分画像とラベルの分類カテゴリとを対応付けて追加する。

Ｓ２８では、画像加工部１１１が、新規対象物画像２０２を加工する。加工する新規対象物画像２０２は、Ｓ２２で抽出成功と判定された新規対象物画像２０２、Ｓ２５で抽出成功と判定された新規対象物画像２０２、およびＳ２６でラベル領域が抽出された新規対象物画像２０２である。

Ｓ２９では、訓練データ生成部１１２が、Ｓ２８の加工後の新規対象物画像２０２（加工前の新規対象物画像２０２を含んでいてもよい）に、Ｓ２１、Ｓ２４、またはＳ２６で抽出された領域と対応付けて抽出部訓練データを生成する。そして、生成した抽出部訓練データを抽出部訓練データセット２０４に追加する。このように、判定装置１では、ラベル領域の抽出と、訓練データの生成が自動で行われるので、抽出部訓練データの生成にかかる手間を著しく低減することができる。

Ｓ３０では、第２抽出部１０３の抽出テストが行われる。この抽出テストでは、第２抽出部１０３が、Ｓ２８の加工後の新規対象物画像２０２からラベル領域を抽出する。Ｓ２８の加工後の新規対象物画像２０２が複数ある場合、第２抽出部１０３そのそれぞれからラベル領域を抽出する。

Ｓ３１では、抽出精度判定部１１０が、Ｓ３０の抽出の精度を示す評価値を算出し、学習部１０９が、この評価値に基づいて第２抽出部１０３の再学習を行うタイミングを決定する。具体的には、抽出精度判定部１１０は、Ｓ２１において抽出したラベル領域と、Ｓ３０で第２抽出部１０３が抽出したラベル領域との重なり合いの程度を示す評価値（ＩｏＵ）を算出する。なお、新規対象物画像２０２は、第２抽出部１０３の機械学習に用いられていない画像であるから、新規対象物画像２０２からの抽出精度は、基本的に第１抽出部１０２の方が高い。このため、ＩｏＵが高いほど第２抽出部１０３の抽出精度は高いといえる。また、Ｓ３１において、抽出精度判定部１１０は、Ｓ２４またはＳ２６において抽出したラベル領域と、Ｓ３０で第２抽出部１０３が抽出したラベル領域との重なり合いの程度を示す評価値を算出してもよい。

そして、学習部１０９は、算出された評価値が所定の閾値以上であるか否かを判定する。閾値は必要な判定精度に応じて適宜決めておけばよく、例えば８０（％）としてもよい。なお、Ｓ３０で複数の新規対象物画像２０２からラベル領域を抽出した場合、Ｓ３１では、抽出精度判定部１１０は、各抽出結果について指標を算出し、学習部１０９は、その平均値が閾値以上であるかを判定してもよい。Ｓ３１で閾値以上と判定された場合（Ｓ３１でＹＥＳ）、図５の処理は終了する。一方、Ｓ３１で閾値未満と判定された場合（Ｓ３１でＮＯ）、処理はＳ３２に進む。

Ｓ３２では、学習部１０９が、抽出部訓練データセット２０４を用いて、第２抽出部１０３の再学習を行い、これにより図５の処理は終了する。抽出部訓練データセット２０４には、新規対象物画像２０２を加工した画像が含まれているので、この再学習により、第２抽出部１０３は、新規ラベルの画像から精度よくラベル領域を抽出することが可能になる。このように、判定装置１は、第２抽出部１０３の再学習を行うタイミングを自動で決定するので、判定装置１のユーザが再学習のタイミングを判断することなく、適切なタイミングで再学習を行い、判定精度を維持することができる。

なお、図５の例と比べて目視検査員の作業量が増えることを許容するのであれば、新規対象物画像２０２を用いた訓練データの生成において、目視判定部１０７は、新規対象物画像２０２のそれぞれについて、目視検査員に対象物の領域を入力させてもよい。そして、訓練データ生成部１１２は、入力された領域と目視判定部１０７が判定の対象とした画像とを対応付けて抽出部訓練データセット２０４に追加してもよい。さらに、訓練データ生成部１１２は、入力された上記領域の部分画像と、入力された分類カテゴリとを対応付けて分類部訓練データセット２０３に追加してもよい。

〔他の適用例〕
判定装置１は、食品に貼り付けられたラベルに限られず、任意の対象物の分類カテゴリの判定に利用できる。特に、判定装置１は第２抽出部１０３を備えていることから、画像中に占める領域が狭い対象物の分類カテゴリの判定に好適である。例えば、衣類に付されたタグの分類カテゴリの判定などにも好適に利用できる。

また、判定装置１は、第１抽出部１０２の抽出結果に基づいて、抽出部訓練データを生成し、第２抽出部１０３の抽出精度を判定する。この観点からは、対象物や判定の対象の画像は、第１抽出部１０２による抽出が容易なものであることが好ましいといえる。例えば、第１抽出部１０２が特徴点マッチングによる抽出を行うものである場合、対象物は矩形や円形など単純な外形を有するものであることが好ましく、対象物の背景には対象物と紛らわしい外形のものが写っていないことが好ましい。

具体例を挙げれば、判定装置１は、例えば路面を撮影した画像から標識が写っている領域を抽出し、その標識の分類カテゴリを判定するという用途にも利用できる。また、例えば、判定装置１は、レシートを撮影した画像からレシートが写っている領域や、レシート中の特定の項目を抽出し、その内容を判定するという用途にも利用できる。この場合、分類部１０５としては、例えばTextBoxesのような文字認識性能の高い機械学習アルゴリズムを適用することが好ましい。名刺などの紙片についても同様である。このように、判定装置１は、文字が描かれた対象物を判定対象とし、その文字の内容を加味した分類を行うことも可能である。

〔システムによる実現例〕
判定装置１の機能は、相互に通信可能な複数の装置からなるシステムで実現することもできる。この場合、上述の各処理は、該システムを構成する複数の装置の何れかが行う。例えば、第１抽出部１０２および訓練データ生成部１１２を備えた情報処理装置により、分類部訓練データを生成する構成とし、判定装置１はこの分類部訓練データを用いて機械学習を行う構成としてもよい。また、例えば、抽出精度判定部１１０および学習部１０９を備えた情報処理装置により、第２抽出部１０３の再学習を行うタイミングを決定する構成とし、判定装置１は決定されたタイミングで再学習を行う構成としてもよい。なお、再学習は、情報処理装置の制御によって行ってもよいし、ユーザが判定装置１を操作して行うようにしてもよい。

〔ソフトウェアによる実現例〕
判定装置１の制御ブロック（特に制御部１０に含まれる各部）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

後者の場合、判定装置１は、各機能を実現するソフトウェアであるプログラム（対象物判定プログラム）の命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

〔付記事項〕
本発明の一態様にかかる情報処理装置は、対象物を撮影した対象画像から、当該対象物の分類カテゴリが、所定の複数の分類カテゴリの何れに該当するかを判定する情報処理装置であって、機械学習の結果に基づき、上記対象画像から上記対象物が写っている領域を抽出して部分画像を生成する機械学習抽出部と、機械学習の結果に基づき、上記部分画像から上記対象物の分類カテゴリを判定する分類部と、を備えている。

上記分類部は、上記複数の分類カテゴリのそれぞれに該当する対象物がそれぞれ写っている画像から当該対象物が写っている領域を抽出して生成された部分画像を訓練データとした機械学習の結果に基づいて上記対象物の分類カテゴリを判定する構成であってもよい。

上記情報処理装置は、上記対象画像に写る上記対象物が上記複数の分類カテゴリの何れにも該当しない場合、または上記分類部の判定結果の確度が閾値未満であった場合に、上記対象画像または上記対象物の閲覧者による分類カテゴリの入力を受け付けることにより、上記対象物の分類カテゴリを判定する目視判定部を備えている構成であってもよい。

上記情報処理装置は、上記分類部の機械学習用の分類部訓練データの元になる訓練用画像から上記対象物が写っている領域を抽出して部分画像を生成する抽出部と、上記抽出部が生成した部分画像と、該部分画像に写る対象物の分類カテゴリとを対応付けて、上記分類部訓練データを生成する分類部訓練データ生成部と、を備えている構成であってもよい。

上記情報処理装置は、上記抽出部が上記訓練用画像から上記領域を抽出できなかった場合に、上記機械学習抽出部が上記訓練用画像から上記領域を抽出して、上記分類部訓練データの生成に用いる部分画像を生成する構成であってもよい。

上記情報処理装置は、上記抽出部の抽出結果と上記機械学習抽出部の抽出結果に基づいて上記機械学習抽出部の抽出精度の評価値を算出する抽出精度判定部と、上記評価値に基づいて上記機械学習抽出部の再学習を行うタイミングを決定する学習部と、を備えている構成であってもよい。

上記情報処理装置は、上記訓練用画像と上記抽出部が抽出した上記領域とを対応付けて、上記機械学習抽出部の機械学習用の抽出部訓練データを生成する抽出部訓練データ生成部を備えている構成であってもよい。

上記情報処理装置においては、上記抽出部訓練データ生成部は、上記訓練用画像に所定の画像処理を施すことによって生成された１または複数の画像のそれぞれと、上記抽出部が抽出した上記領域とを対応付けて上記抽出部訓練データを生成する構成であってもよい。

本発明の一態様にかかる判定方法は、１または複数の装置により、対象物を撮影した対象画像から、当該対象物の分類カテゴリが、所定の複数の分類カテゴリの何れに該当するかを判定する判定方法であって、機械学習の結果に基づき、上記対象画像から上記対象物が写っている領域を抽出して部分画像を生成する抽出ステップと、機械学習の結果に基づき、上記部分画像から上記対象物の分類カテゴリを判定する分類ステップと、を含む。

上記情報処理装置としてコンピュータを機能させるための対象物判定プログラムであって、上記機械学習抽出部および上記分類部としてコンピュータを機能させるための対象物判定プログラムも本発明の範疇に含まれる。

本発明の他の一態様にかかる情報処理装置は、画像から該画像に写る対象物の分類カテゴリを判定する分類部の機械学習に用いる分類部訓練データを生成する情報処理装置であって、上記分類部訓練データの元になる訓練用画像から上記対象物が写っている領域を抽出して部分画像を生成する抽出部と、上記抽出部が生成した部分画像と、該部分画像に写る対象物の分類カテゴリとを対応付けて、上記分類部訓練データを生成する分類部訓練データ生成部と、を備えている。

本発明のさらに他の一態様にかかる情報処理装置は、機械学習の結果に基づき、画像から対象物が写っている領域を抽出する機械学習抽出部の再学習のタイミングを決定する情報処理装置であって、上記画像から上記対象物が写っている領域を抽出する抽出部の抽出結果と、上記機械学習抽出部が上記画像から上記対象物が写っている領域を抽出した抽出結果とに基づいて、上記機械学習抽出部の抽出精度の評価値を算出する抽出精度判定部と、上記評価値に基づいて上記機械学習抽出部の再学習を行うタイミングを決定する学習部と、を備えている。

１ 判定装置（情報処理装置）
１０２ 第１抽出部（抽出部）
１０３ 第２抽出部（機械学習抽出部）
１０５ 分類部
１０７ 目視判定部
１０９ 学習部
１１０ 抽出精度判定部
１１２ 訓練データ生成部（分類部訓練データ生成部、抽出部訓練データ生成部）
２０１ 画像（対象画像）

Claims (12)

1. 対象物を撮影した対象画像から、当該対象物の分類カテゴリが、所定の複数の分類カテゴリの何れに該当するかを判定する情報処理装置であって、
   機械学習の結果に基づき、上記対象画像から上記対象物が写っている領域を抽出して部分画像を生成する機械学習抽出部と、
   機械学習の結果に基づき、上記部分画像から上記対象物の分類カテゴリを判定する分類部と、を備えていることを特徴とする情報処理装置。
2. 上記分類部は、上記複数の分類カテゴリのそれぞれに該当する対象物がそれぞれ写っている画像から当該対象物が写っている領域を抽出して生成された部分画像を訓練データとした機械学習の結果に基づいて上記対象物の分類カテゴリを判定することを特徴とする請求項１に記載の情報処理装置。
3. 上記対象画像に写る上記対象物が上記複数の分類カテゴリの何れにも該当しない場合、または上記分類部の判定結果の確度が閾値未満であった場合に、上記対象画像または上記対象物の閲覧者による分類カテゴリの入力を受け付けることにより、上記対象物の分類カテゴリを判定する目視判定部を備えていることを特徴とする請求項１または２に記載の情報処理装置。
4. 上記分類部の機械学習用の分類部訓練データの元になる訓練用画像から上記対象物が写っている領域を抽出して部分画像を生成する抽出部と、
   上記抽出部が生成した部分画像と、該部分画像に写る対象物の分類カテゴリとを対応付けて、上記分類部訓練データを生成する分類部訓練データ生成部と、を備えていることを特徴とする請求項１から３の何れか１項に記載の情報処理装置。
5. 上記抽出部が上記訓練用画像から上記領域を抽出できなかった場合に、上記機械学習抽出部が上記訓練用画像から上記領域を抽出して、上記分類部訓練データの生成に用いる部分画像を生成することを特徴とする請求項４に記載の情報処理装置。
6. 上記抽出部の抽出結果と上記機械学習抽出部の抽出結果に基づいて上記機械学習抽出部の抽出精度の評価値を算出する抽出精度判定部と、
   上記評価値に基づいて上記機械学習抽出部の再学習を行うタイミングを決定する学習部と、を備えていることを特徴とする請求項４または５に記載の情報処理装置。
7. 上記訓練用画像と上記抽出部が抽出した上記領域とを対応付けて、上記機械学習抽出部の機械学習用の抽出部訓練データを生成する抽出部訓練データ生成部を備えていることを特徴とする請求項４から６の何れか１項に記載の情報処理装置。
8. 上記抽出部訓練データ生成部は、上記訓練用画像に所定の画像処理を施すことによって生成された１または複数の画像のそれぞれと、上記抽出部が抽出した上記領域とを対応付けて上記抽出部訓練データを生成することを特徴とする請求項７に記載の情報処理装置。
9. １または複数の装置により、対象物を撮影した対象画像から、当該対象物の分類カテゴリが、所定の複数の分類カテゴリの何れに該当するかを判定する判定方法であって、
   機械学習の結果に基づき、上記対象画像から上記対象物が写っている領域を抽出して部分画像を生成する抽出ステップと、
   機械学習の結果に基づき、上記部分画像から上記対象物の分類カテゴリを判定する分類ステップと、を含むことを特徴とする判定方法。
10. 請求項１に記載の情報処理装置としてコンピュータを機能させるための対象物判定プログラムであって、上記機械学習抽出部および上記分類部としてコンピュータを機能させるための対象物判定プログラム。
11. 画像から該画像に写る対象物の分類カテゴリを判定する分類部の機械学習に用いる分類部訓練データを生成する情報処理装置であって、
    上記分類部訓練データの元になる訓練用画像から上記対象物が写っている領域を抽出して部分画像を生成する抽出部と、
    上記抽出部が生成した部分画像と、該部分画像に写る対象物の分類カテゴリとを対応付けて、上記分類部訓練データを生成する分類部訓練データ生成部と、を備えていることを特徴とする情報処理装置。
12. 機械学習の結果に基づき、画像から対象物が写っている領域を抽出する機械学習抽出部の再学習のタイミングを決定する情報処理装置であって、
    上記画像から上記対象物が写っている領域を抽出する抽出部の抽出結果と、上記機械学習抽出部が上記画像から上記対象物が写っている領域を抽出した抽出結果とに基づいて、上記機械学習抽出部の抽出精度の評価値を算出する抽出精度判定部と、
    上記評価値に基づいて上記機械学習抽出部の再学習を行うタイミングを決定する学習部と、を備えていることを特徴とする情報処理装置。

Images