JP2021157550A

JP2021157550A - 検出装置及びプログラム

Info

Publication number: JP2021157550A
Application number: JP2020057704A
Authority: JP
Inventors: 龍太今村; Ryuta Imamura; 宏明大庭; Hiroaki Oba; 千紘溝根; Chihiro Mizone; 高志森川; Takashi Morikawa
Original assignee: NTT TechnoCross Corp
Current assignee: NTT TechnoCross Corp
Priority date: 2020-03-27
Filing date: 2020-03-27
Publication date: 2021-10-07
Anticipated expiration: 2040-03-27
Also published as: JP7469100B2

Abstract

【課題】画像中の検出対象を検出する際の検出率を向上させること。【解決手段】一実施形態に係る検出装置は、１以上の検出対象の物体を撮影した撮影画像を入力する入力手段と、前記撮影画像から地色と異なる色を抽出することで色差分画像を作成する第１の作成手段と、任意の方法により、前記撮影画像中の物体を検知した判定結果と、前記色差分画像とを用いて、前記判定結果で検出されなかった未検出物体を特定する特定手段と、前記未検出物体を含む所定の大きさの画像領域を前記撮影画像から切り出した未検出物体画像を作成する第２の作成手段と、を有することを特徴とする。【選択図】図１

Description

本発明は、検出装置及びプログラムに関する。

画像処理技術や機械学習技術を用いて、製品の検品や不良品の選別、物品数の計測等が従来から行われている（例えば、非特許文献１〜３）。

"画像判定トータルソリューション｜日立ソリューションズ『画像判定トータルソリューション』のシステム、サービス概要・価格や、解決出来る課題をご紹介"，インターネット＜ＵＲＬ：https://www.hitachi-solutions.co.jp/mfigazouhantei/＞ "ブレインパッド、キユーピーの食品工場における不良品の検知をディープラーニングによる画像解析で支援ブレインパッド"，インターネット＜ＵＲＬ：http://www.brainpad.co.jp/news/2016/10/25/3816＞ "微小・軽量部品数量カウント補助システムめばかり君｜inrevium｜東京エレクトロンデバイス株式会社"，インターネット＜ＵＲＬ：https://www.inrevium.com/product/mebakarikun/＞

しかしながら、従来では、例えば、検出対象の個体差等により画像から物品を検出できない場合があった。

本発明の一実施形態は、上記の点に鑑みてなされたもので、画像中の検出対象を検出する際の検出率を向上させることを目的とする。

上記の目的を達成するため、一実施形態に係る検出装置は、１以上の検出対象の物体を撮影した撮影画像を入力する入力手段と、前記撮影画像から地色と異なる色を抽出することで色差分画像を作成する第１の作成手段と、任意の方法により、前記撮影画像中の物体を検知した判定結果と、前記色差分画像とを用いて、前記判定結果で検出されなかった未検出物体を特定する特定手段と、前記未検出物体を含む所定の大きさの画像領域を前記撮影画像から切り出した未検出物体画像を作成する第２の作成手段と、を有することを特徴とする。

画像中の検出対象を検出する際の検出率を向上させることができる。

推論時における物品判定装置の全体構成の一例を示す図である。本実施形態に係る物品判定処理の一例を示すフローチャートである。判定対象画像の一例を示す図である。物体検出及びクラス分類結果の画像の一例を示す図である。色差分を抽出した画像の一例を示す図である。未検出物体を含む領域を切り出した画像の一例を示す図である。学習時における物品判定装置の全体構成の一例を示す図である。第１のモデルパラメータを学習するための学習用画像の作成を説明する図である。第２のモデルパラメータを学習するための学習用画像の作成を説明する図である。本実施形態に係る学習処理の一例を示すフローチャートである。

以下、本発明の一実施形態について説明する。本実施形態では、１以上の物品を撮影した画像からその物品の種類（例えば、物品名）を判定し、物品の種類毎の物品数を算出する物品判定装置１０について説明する。本実施形態に係る物品判定装置１０を用いることで、例えば、製品の検品や不良品の選別、物品数の計測等の際に、作業者個人の経験やスキルに依らずに画一的に物品の種類（良品又は不良品等）を判定したりその種類毎の物品数を算出したりすることが可能になる。また、作業者が一つ一つの物品を目視確認する必要がなくなり効率的に物品の種類を判定したりその種類毎の物品数を算出したりすることが可能になる。

以降では、一例として、判定対象の物品は「ネジ」であり、その種類には「プラスネジ」と「マイナスネジ」とがあるものとする。ただし、これは一例であって、本実施形態は、外観上視認可能な任意の対象（例えば、任意の物品や物体、動植物、食品、物品や物体上の傷又は形状的な欠陥等）を判定対象として、その対象の種類（例えば、物品の機能又は用途等によって分類される種類、物品が良品又は不良品のいずれであるかを示す種類、傷の種類等）を判定する場合にも同様に適用することが可能である。

ここで、本実施形態に係る物品判定装置１０は、ニューラルネットワークでそれぞれ実現される２つの分類モデル（第１の分類モデル及び第２の分類モデル）により、画像中の物品の種類を判定する。このため、本実施形態に係る物品判定装置１０には、第１の分類モデル及び第２の分類モデルをそれぞれ実現するニューラルネットワークのパラメータを学習する「学習時」と、学習済みのパラメータを用いて第１の分類モデル及び第２の分類モデルにより物品の種類を判定（推論）する「推論時」とがある。そこで、本実施形態では、物品判定装置１０の学習時と推論時についてそれぞれ説明する。なお、以降では、第１の分類モデルを実現するニューラルネットワークのパラメータを「第１のモデルパラメータ」、第２の分類モデルを実現するニューラルネットワークのパラメータを「第２のモデルパラメータ」と表す。

［推論時］
まず、第１のモデルパラメータ及び第２のモデルパラメータはそれぞれ学習済みであるものとして、第１のモデルパラメータ及び第２のモデルパラメータを用いて画像中の物品の種類とその数とを判定する推論時について説明する。

＜推論時における物品判定装置１０の全体構成＞
推論時における物品判定装置１０の全体構成について、図１を参照しながら説明する。図１は、推論時における物品判定装置１０の全体構成の一例を示す図である。

図１に示すように、推論時における物品判定装置１０は、入力部１０１と、第１の判定部１０２と、色差分抽出部１０３と、未検出物体特定部１０４と、画像切出部１０５と、第２の判定部１０６と、算出部１０７とを有する。これら各部は、例えば、物品判定装置１０にインストールされた１以上のプログラムが、ＣＰＵ（Central Processing Unit）等のプロセッサに実行させる処理により実現される。

入力部１０１は、判定対象となる１以上の物品を撮影した画像（以下、「判定対象画像」という。）を入力する。

第１の判定部１０２は判定対象画像に対して物体検出と当該物体のクラス分類とを行う第１の分類モデルであり、第１のモデルパラメータを用いて、判定対象画像中に含まれる物品の検出と当該物品（ネジ）が「プラスネジ」又は「マイナスネジ」のいずれのクラスに属するかのクラス分類とを行う。これにより、判定対象画像に対して物体検出及びクラス分類を行った結果を示す画像（以下、「第１の分類結果画像」という。）が得られる。

なお、第１のモデルパラメータは、後述するように、１以上の物品（ネジ）が含まれる画像に対して、画像領域指定を行い、それらの物品が「プラスネジ」又は「マイナスネジ」のいずれのクラスに属するかを示すアノテーションを行った学習用画像を第１の分類モデルに入力し、各物品のクラス分類結果とアノテーションの結果との誤差を最小化するように学習されたものである。

色差分抽出部１０３は、判定対象画像から地色（背景）と異なる色の部分を抽出した画像（以下、「色差分画像」という。）を作成する。

未検出物体特定部１０４は、第１の分類結果画像と色差分画像とを用いて、判定対象画像中の物体のうち、第１の判定部１０２で検出されなかった物体（つまり、未検出物体）を特定する。

画像切出部１０５は、判定対象画像中の未検出物体を含む部分領域を切り出した画像（以下、「未検出物体画像」という。）を作成する。

第２の判定部１０６は未検出物体画像のクラス分類を行う第２の分類モデルであり、第２のモデルパラメータを用いて、未検出物体画像が「プラスネジ」、「マイナスネジ」又は「ネジ以外」のいずれのクラスに属するかのクラス分類を行う。これにより、未検出物体画像に対してクラス分類を行った結果を示す画像（以下、「第２の分類結果画像」という。）が得られる。

ここで、第２の分類モデルには、未検出物体画像が「プラスネジ」又は「プラスネジ以外」のいずれのクラスに属するかのクラス分類を行う第３の分類モデルと、未検出物体画像が「マイナスネジ」又は「マイナスネジ以外」のいずれのクラスに属するかのクラス分類を行う第４の分類モデルとが含まれる。第２の判定部１０６は、第３の分類モデルにより未検出物体画像に対してクラス分類を行って「プラスネジ」又は「プラスネジ以外」のいずれであるかを判定し、「プラスネジ以外」であると判定された場合は第４の分類モデルにより未検出物体画像に対してクラス分類を行って「マイナスネジ」又は「マイナスネジ以外」のいずれであるかを判定し、「マイナスネジ以外」であると判定された場合は「ネジ以外」と判定する。これにより、未検出物体画像に含まれる物体が「プラスネジ」、「マイナスネジ」又は「ネジ以外」のいずれかに分類される。

また、このとき、第２のモデルパラメータには、第３の分類モデルを実現するニューラルネットワークのパラメータである第３のモデルパラメータと、第４の分類モデルを実現するニューラルネットワークのパラメータである第４のパラメータとが含まれる。

なお、第３のモデルパラメータは、後述するように、１つの物品（ネジ）が含まれる画像に対してその物品（ネジ）が「プラスネジ」又は「プラスネジ以外」のいずれのクラスに属するか示すラベルを付与した学習用画像を第３の分類モデルに入力し、当該物品のクラス分類結果とラベルとの誤差を最小化するように学習されたものである。同様に、第４のモデルパラメータは、後述するように、１つの物品（ネジ）が含まれる画像に対してその物品が「マイナスネジ」又は「マイナスネジ以外」のいずれのクラスに属するか示すラベルを付与した学習用画像を第４の分類モデルに入力し、当該物品のクラス分類結果とラベルとの誤差を最小化するように学習されたものである。

算出部１０７は、未検出物体特定部１０４により未検出物体が特定されなかった場合は第１の分類結果画像から種類毎の物品数を算出し、未検出物体特定部１０４により未検出物体が特定された場合は第１の分類結果画像と第２の分類結果画像から種類毎の物品数を算出する。

＜物品判定処理＞
次に、本実施形態に係る物品判定装置１０により判定対象画像中の物品の種類を判定し、その種類毎の物品数を算出する処理について、図２を参照しながら説明する。図２は、本実施形態に係る物品判定処理の一例を示すフローチャートである。

入力部１０１は、判定対象画像を入力する（ステップＳ１０１）。ここで、判定対象画像は少なくとも１以上の物品が含まれる画像であり、例えば、物品の製造工程や検品工程等を撮影することで生成された画像である。判定対象画像の一例を図３に示す。図３に示す判定対象画像１０００には物品（ネジ）Ｓ１〜Ｓ８が含まれる。なお、物品は一部が重なっていてもよいし、物品以外の物体（例えば、他の物品、塵や埃、異物等）が含まれていてもよい。図３に示す例では、物品Ｓ６と物品Ｓ７とが一部重なっている。また、図３に示す例では判定対象の物品（ネジ）以外の物品としてナットＮが含まれている。

次に、第１の判定部１０２は、第１のモデルパラメータを用いて、判定対象画像に対して物体検出と当該物体のクラス分類とを行って、判定対象画像中の物品（ネジ）を検出した上で、検出した物品が「プラスネジ」又は「マイナスネジ」のいずれのクラスに属するかを分類する（ステップＳ１０２）。これにより、判定対象画像に対して物体検出及びクラス分類を行った結果を示す第１の分類結果画像が得られる。ここで、図３に示す判定対象画像１０００に対して物体検出及びクラス分類を行った結果を示す第１の分類結果画像の一例を図４に示す。図４に示す第１の分類結果画像２０００では、物品Ｓ１〜Ｓ２及びＳ４〜Ｓ７の画像領域はプラスネジと分類された画像領域であり、物品Ｓ８の画像領域はマイナスネジと分類された画像領域である。これにより、物品Ｓ１〜Ｓ２及びＳ４〜Ｓ７はプラスネジ、物品Ｓ８はマイナスネジと判定される。

一方で、図４に示す第１の分類結果画像２０００では、物品Ｓ３及びナットＮは第１の判定部１０２では物体検出及びクラス分類されていない。このように、判定対象の物品（ネジ）であっても、何等かの原因（例えば、光の当たり方や物品の向き、物品の個体差、学習用画像の不足等）によっては第１の分類モデルで検出できないことがある。また、第１の分類モデルでは判定対象の物品（ネジ）以外の物体（例えば、他の物品、塵や埃、異物等）を検出する可能性は極めて低い。

次に、色差分抽出部１０３は、判定対象画像から地色（背景）と異なる色の抽出した色差分画像を作成する（ステップＳ１０３）。ここで、図３に示す判定対象画像１０００から地色と異なる色を抽出した色差分画像の一例を図５に示す。図５に示す色差分画像３０００では、判定対象画像１０００中の全ての物体（つまり、物品（ネジ）Ｓ１〜Ｓ８、ナットＮ）の画像領域が色差分領域として抽出される。

次に、未検出物体特定部１０４は、第１の分類結果画像と色差分画像とを用いて、判定対象画像中の物体のうち、第１の判定部１０２で検出されなかった物体（つまり、未検出物体）を特定する（ステップＳ１０４）。未検出物体特定部１０４は、第１の分類結果画像と色差分画像とを重畳させた場合に、プラスネジの画像領域及びマイナスネジの画像領域と全く重ならない色差分領域を未検出物体の画像領域とすることで、未検出物体を特定する。より具体的には、未検出物体特定部１０４は、第１の分類結果画像におけるプラスネジ又はマイナスネジの各画像領域中の各画素の位置座標と、色差分画像における各色差分領域中の各画素の位置座標とを比較し、プラスネジ又はマイナスネジの画像領域に全く重ならない色差分領域を未検出物体の画像領域とすることで、未検出物体を特定する。

例えば、図４に示す第１の分類結果画像２０００と図５に示す色差分画像３０００とを重畳させた場合、物品（ネジ）Ｓ３の色差分領域とナットＮの色差分領域は共にプラスネジの画像領域及びマイナスネジの画像領域と全く重ならない。このため、この場合、物品Ｓ３とナットＮとが未検出物体として特定される。

上記のステップＳ１０４で未検出物体が特定されなかった場合（ステップＳ１０５でＮＯ）、算出部１０７は、第１の分類結果画像から物品の種類毎の物品数を算出する（ステップＳ１０６）。すなわち、算出部１０７は、第１の分類結果画像中でプラスネジと判定された物品数とマイナスネジと判定された物品数とをそれぞれ算出する。これにより、判定対象画像中の物品の種類毎の数が得られる。

一方で、上記のステップＳ１０４で未検出物体が特定された場合（ステップＳ１０５でＹＥＳ）、画像切出部１０５は、判定対象画像中の未検出物体を含む部分領域をそれぞれ切り出して、未検出物体画像を作成する（ステップＳ１０７）。画像切出部１０５は、例えば、判定対象画像中の未検出物体を含み、かつ、所定の大きさ（サイズ）の矩形の画像領域をそれぞれ切り出することで、１以上の未検出物体画像を作成すればよい。具体的には、例えば、判定対象画像１０００中の未検出物体である物品（ネジ）Ｓ３及びナットＮをそれぞれ含み、かつ、所定の大きさの矩形の画像領域を切り出すことで、図６（ａ）に示す未検出物体画像４１００と図６（ｂ）に示す未検出物体画像４２００とが作成される。図６（ａ）に示す未検出物体画像４１００は物品Ｓ３を含む所定の大きさの画像であり、図６（ｂ）に示す未検出物体画像４２００はナットＮを含む所定の大きさの画像である。

次に、第２の判定部１０６は、第２のモデルパラメータを用いて、各未検出物体画像のクラス分類をそれぞれ行って、これら各未検出物体画像のそれぞれが「プラスネジ」、「マイナスネジ」又は「ネジ以外」のいずれのクラスに属するかを分類する（ステップＳ１０８）。

具体的には、第２の判定部１０６は、まず、第３のモデルパラメータを用いて、未検出物体画像に対してクラス分類を行って、当該未検出物体画像が「プラスネジ」又は「プラスネジ以外」のいずれのクラスに属するかを分類する。「プラスネジ以外」と分類された場合は、第２の判定部１０６は、第４のモデルパラメータを用いて、当該未検出物体画像に対してクラス分類を行って、当該未検出物体画像が「マイナスネジ」又は「マイナスネジ以外」のいずれのクラスに属するかを分類する。「マイナスネジ以外」と分類された場合は、第２の判定部１０６は、当該未検出物体画像を「ネジ以外」のクラスに属すると分類する。これにより、未検出物体画像中の物体が「プラスネジ」、「マイナスネジ」又は「ネジ以外」のいずれかのクラスに分類される。具体的には、例えば、図６（ａ）に示す未検出物体画像４１００中の物体（ネジＳ３）は「プラスネジ」のクラスに分類され、図６（ａ）に示す未検出物体画像４２００中の物体（ナットＮ）は「ネジ以外」のクラスに分類される。

なお、本実施形態では、一例として、「プラスネジ」及び「プラスネジ以外」の２クラス分類を行う第３の分類モデルと、「マイナスネジ」及び「マイナスネジ以外」の２クラス分類を行う第４の分類モデルとで第２の分類モデルが構成されている場合について説明したが、これに限られず、例えば、第２の分類モデルは「プラスネジ」、「マイナスネジ」及び「ネジ以外」の３クラス分類を行うモデルであってもよい。

そして、算出部１０７は、第１の分類結果画像と第２の分類結果画像から物品の種類毎の物品数を算出する（ステップＳ１０９）。すなわち、算出部１０７は、第１の分類結果画像中でプラスネジと判定された物品数をａ_１、第１の分類結果画像中でマイナスネジと判定された物品数ｂ_１、画像中の物体がプラスネジと判定された第２の分類結果画像数をａ_２、画像中の物体がマイナスネジと判定された第２の分類結果画像数ｂ_２として、プラスネジの物体数をａ_１＋ａ_２で算出し、マイナスネジの物体数をｂ_１＋ｂ_２で算出する。これにより、判定対象画像中の物品の種類毎の数が得られる。

以上のように、本実施形態に係る物品判定装置１０は、１以上の物品を撮影した判定対象画像（例えば、物品の製造工程や検品工程等を撮影した画像）を入力として、これらの物品の種類（例えば、プラスネジ又はマイナスネジ）を判定し、その種類毎の物品数を算出することができる。しかも、本実施形態に係る物品判定装置１０は、判定対象画像から色差分画像を作成して未検出物体を特定することで、第１の判定部１０２（第１の分類モデル）で検出されなかった物体のみを第２の判定部１０６（第２の分類モデル）で判定することが可能となる。これにより、物品の種類及びその種類毎の物体数を効率的かつ高い精度で判定することが可能になる（したがって、判定対象画像中の物品を検出する際の検出率を向上させることが可能になる。）。

また、本実施形態に係る物品判定装置１０は、ニューラルネットワークで実現される第１の分類モデル及び第２の分類モデルにより物品の種類を判定するため、例えば、画像中の物品同士の一部が重なっていたとしても高い精度でその種類で判定することが可能になると共に、１以上の物品を撮影する際の撮影環境に依存せずに高い精度で物品の種類を判定することが可能になる。このように、本実施形態に係る物品判定装置１０は、ニューラルネットワークで実現される第１の分類モデル及び第２の分類モデルを用いることで、例えば、物品同士の重なりや撮影環境の変化等に対して高いロバスト性を獲得することができる。

［学習時］
次に、第１のモデルパラメータ及び第２のモデルパラメータはそれぞれ学習済みでないものとして、これらの第１のモデルパラメータ及び第２のモデルパラメータを学習する学習時について説明する。

＜学習時における物品判定装置１０の全体構成＞
学習時における物品判定装置１０の全体構成について、図７を参照しながら説明する。図７は、学習時における物品判定装置１０の全体構成の一例を示す図である。

図７に示すように、学習時における物品判定装置１０は、入力部１０１と、第１の判定部１０２と、第２の判定部１０６と、学習用画像作成部１０８と、学習部１０９とを有する。これら各部は、例えば、物品判定装置１０にインストールされた１以上のプログラムが、ＣＰＵやＧＰＵ（Graphics Processing Unit）等のプロセッサに実行させる処理により実現される。

学習用画像作成部１０８は、種類が既知の１以上の物品を撮影した画像（以下、「撮影画像」という。）から学習用画像を作成する。

ここで、第１のモデルパラメータを学習する際は、１以上の物品（ネジ）を撮影した撮影画像を用いて、この撮影画像に対して、画像領域指定を行い、これらの物品が「プラスネジ」又は「マイナスネジ」のいずれのクラスに属するかを示すアノテーションを行った第１の学習用画像を作成する。具体的には、例えば、図８に示すように、物品（ネジ）Ｓ１１〜Ｓ１９を撮影した撮影画像５０００を用いて、これらの物品Ｓ１１〜Ｓ１９の画像領域に対してプラスネジ又はマイナスネジを示すアノテーションを行うことで第１の学習用画像６０００を作成する。図８に示す例では、物品Ｓ１１、Ｓ１３〜Ｓ１５及びＳ１７〜Ｓ１８の画像領域にはプラスネジを示すアノテーションが行われ、物品Ｓ１２、Ｓ１６及びＳ１９の画像領域にはマイナスネジを示すアノテーションが行われている。

また、第３のモデルパラメータを学習する際は、プラスネジである物品を撮影した撮影画像を用いて、この撮影画像に対して当該物品が「プラスネジ」に属することを示すラベルを付与した第２の学習用画像を作成する。同様に、第４のモデルパラメータを学習する際は、マイナスネジである物品を撮影した撮影画像を用いて、この撮影画像に対して当該物品が「マイナスネジ」に属することを示すラベルを付与した第３の学習用画像を作成する。具体的には、図９に示すように、プラスネジである物品Ｓ２１を撮影した撮影画像６１００を用いて、この撮影画像６１００に対してプラスネジを示すラベルを付与することで第２の学習用画像７１００を作成する。同様に、マイナスネジである物品Ｓ２２を撮影した撮影画像６２００を用いて、この撮影画像６２００に対してマイナスネジを示すラベルを付与することで第３の学習用画像７２００を作成する。

なお、アノテーションには、画像領域を指定する処理と、ラベルを付与する処理とを含むが、画像領域を指定する作業は画素単位に手作業で行ってもよいし、プラスネジ又はマイナスネジのいずれかのラベル付与を手作業で行ってもよい。この際、例えば、プラスネジ又はマイナスネジのいずれのラベルを付与するかを複数の評価者が判断してもよい。これにより、物品（ネジ）の種類がプラスネジ又はマイナスネジのいずれであるかを判断する際のばらつきを抑制することができる。また、所定の評価基準に基づいて学習用画像作成部１０８が自動的にアノテーションを行ってもよい。

撮影画像に対してラベルを付与する際も同様であり、手作業でラベルを付与してもよいし、所定の評価基準に基づいて学習用画像作成部１０８が自動的にラベルを付与してもよい。また、ラベルを手作業で付与する際には、同様に、いずれのラベルを付与するかを複数の評価者が判断してもよい。

入力部１０１は、学習用画像作成部１０８により作成された学習用画像（第１の学習用画像、第２の学習用画像又は第３の学習用画像）を入力する。

第１の判定部１０２は、第１のモデルパラメータを用いて、第１の学習用画像中に含まれる物品（ネジ）の検出と当該物品が「プラスネジ」又は「マイナスネジ」のいずれのクラスに属するかのクラス分類とを行う。

第２の判定部１０６は、第２のモデルパラメータを用いて、第２の学習用画像又は第３の学習用画像が「プラスネジ」又は「マイナスネジ」のいずれのクラスに属するかのクラス分類を行う。

学習部１０９は、第１の判定部１０２による検出結果及び判定結果と第１の学習用画像に対して行われたアノテーションの結果との誤差を用いて、この誤差が最小となるように第１のモデルパラメータを更新する。同様に、学習部１０９は、第２の判定部１０６による判定結果と第２の学習用画像又は第３の学習用画像に対して付与されたラベルとの誤差を用いて、この誤差が最小となるように第２のモデルパラメータに含まれる第３のモデルパラメータ又は第４のモデルパラメータを更新する。

＜学習処理＞
次に、本実施形態に係る物品判定装置１０により第１のモデルパラメータ又は第２のモデルパラメータに含まれる第３のモデルパラメータ若しくは第４のモデルパラメータを学習する処理について、図１０を参照しながら説明する。図１０は、本実施形態に係る学習処理の一例を示すフローチャートである。

まず、入力部１０１は、学習用画像作成部１０８により作成された学習用画像（第１の学習用画像、第２の学習用画像又は第３の学習用画像）を入力する（ステップＳ２０１）。

次に、第１の判定部１０２又は第２の判定部１０６は、学習用画像に対してクラス分類を行う（ステップＳ２０２）。すなわち、上記のステップＳ２０１で第１の学習用画像が入力された場合、第１の判定部１０２は、第１のモデルパラメータを用いて、第１の分類モデルにより第１の学習用画像中に含まれる物品（ネジ）の検出と当該物品が「プラスネジ」又は「マイナスネジ」のいずれのクラスに属するかのクラス分類とを行う。また、上記のステップＳ２０１で第２の学習用画像が入力された場合、第２の判定部１０６は、第３のモデルパラメータを用いて、第３の分類モデルにより第２の学習用画像が「プラスネジ」又は「プラスネジ以外」のいずれのクラスに属するかのクラス分類を行う。同様に、上記のステップＳ２０１で第３の学習用画像が入力された場合、第２の判定部１０６は、第４のモデルパラメータを用いて、第４の分類モデルにより第３の学習用画像が「マイナスネジ」又は「マイナスネジ以外」のいずれのクラスに属するかのクラス分類を行う。

そして、学習部１０９は、第１の判定部１０２又は第２の判定部１０６による判定結果（クラス分類結果）と学習用画像に対して行われたアノテーションの結果又は学習用画像に付与されたラベルとの誤差を用いて、この誤差が最小となるように第１のモデルパラメータ又は第２のモデルパラメータを更新する（ステップＳ２０３）。すなわち、上記のステップＳ２０１で第１の学習用画像が入力された場合、学習部１０９は、第１の判定部１０２による各物品（ネジ）のクラス分類結果と当該物品の画像領域に対して行われたアノテーションの結果との誤差を算出し、算出した誤差が最小となるように第１のモデルパラメータを更新する。また、上記のステップＳ２０１で第２の学習用画像が入力された場合、学習部１０９は、第２の判定部１０６による第２の学習用画像のクラス分類結果と当該第２の学習用画像に付与されたラベルとの誤差を算出し、算出した誤差が最小となるように第３のモデルパラメータを更新する。同様に、上記のステップＳ２０１で第３の学習用画像が入力された場合、学習部１０９は、第２の判定部１０６による第３の学習用画像のクラス分類結果と当該第３の学習用画像に付与されたラベルとの誤差を算出し、算出した誤差が最小となるように第４のモデルパラメータを更新する。なお、第１のモデルパラメータと第２のモデルパラメータに含まれる第３のモデルパラメータ及び第４のモデルパラメータとの更新には既知の最適化手法を用いればよい。

以上により、本実施形態に係る物品判定装置１０は、第１のモデルパラメータと第２のモデルパラメータを学習することができる。なお、図１０に示す学習処理では、一例として、オンライン学習により第１のモデルパラメータと第２のモデルパラメータを学習する場合について説明したが、これに限られず、例えば、バッチ学習やミニバッチ学習等により第１のモデルパラメータと第２のモデルパラメータが学習されてもよい。

本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲の記載から逸脱することなく、種々の変形や変更、既知の技術との組み合わせ等が可能である。

１０物品判定装置
１０１入力部
１０２第１の判定部
１０３色差分抽出部
１０４未検出物体特定部
１０５画像切出部
１０６第２の判定部
１０７算出部
１０８学習用画像作成部
１０９学習部

Claims

１以上の検出対象の物体を撮影した撮影画像を入力する入力手段と、
前記撮影画像から地色と異なる色を抽出することで色差分画像を作成する第１の作成手段と、
任意の方法により、前記撮影画像中の物体を検知した判定結果と、前記色差分画像とを用いて、前記判定結果で検出されなかった未検出物体を特定する特定手段と、
前記未検出物体を含む所定の大きさの画像領域を前記撮影画像から切り出した未検出物体画像を作成する第２の作成手段と、
を有することを特徴とする検出装置。
学習済みの第２のニューラルネットワークのモデルパラメータを用いて、前記未検出物体画像中に含まれる物体の種類を判定する第２の判定手段、
を有することを特徴とする請求項１に記載の検出装置。
学習済みの第１のニューラルネットワークのモデルパラメータを用いて、前記撮影画像中に含まれる物体を検出し、検出した物体の種類を判定する第１の判定手段、
を有することを特徴とする請求項２に記載の検出装置。
前記第１の判定手段は、
検出した物体を、第１の種類を示すクラス又は第２の種類を示すクラスのいずれかに分類することで、前記物体の種類を判定する、ことを特徴とする請求項３に記載の検出装置。
前記未検出物体が特定されなかった場合は前記第１の判定手段による判定結果から前記検出対象の物体の種類毎の物体数を算出し、前記未検出物体が特定された場合は前記第１の判定手段による判定結果と前記第２の判定手段による判定結果とから前記検出対象の物体の種類毎の物体数を算出する算出手段、を有することを特徴とする請求項３又は４に記載の検出装置。
前記第２の判定手段は、
前記未検出物体画像中に含まれる物体を、第１の種類を示すクラス、第２の種類を示すクラス又は前記検出対象以外を示すクラスのいずれかに分類することで、前記物体が検出対象であるか否かと前記物体が検出対象である場合における種類とを判定する、ことを特徴とする請求項２乃至５の何れか一項に記載の検出装置。
前記撮影画像から学習用画像を作成する第３の作成手段と、
前記学習用画像を用いて、前記第１のニューラルネットワークのモデルパラメータと前記第２のニューラルネットワークのモデルパラメータとを学習する学習手段と、を有し、
前記第３の作成手段は、
所定の評価基準に基づいて、前記撮影画像に対して第１の種類を示すラベル又は第２の種類を示すラベルのいずれかを付与する、又は、前記撮影画像中に含まれる物体の画像領域を指定し、該画像領域に対して第一の種類を示すラベル又は第二の種類を示すラベルを付与するアノテーションを行うことで、前記学習用画像を作成する、ことを特徴とする請求項３に記載の検出装置。
コンピュータを、請求項１乃至７の何れか一項に記載の検出装置における各手段として機能させるためのプログラム。