JP2020101996A - 物品計数装置、物品計数方法およびプログラム - Google Patents

Abstract

【課題】物品の識別を容易にして、物品の計数の精度を上げて、計数に要する時間および工数を短縮する。【解決手段】物品計数装置は、計数対象の物品の画像を撮像するカメラ２と、物品の撮像画像から物品の少なくとも１つの色の領域を抽出する色領域抽出部２２と、色の領域から特徴量を抽出してテンプレートデータを作成するテンプレートデータ作成部２３と、複数の物品の撮像画像から色領域抽出部２２によって抽出された色の領域をテンプレートデータと比較することによってテンプレートデータとマッチする領域を特定して物品を識別するマッチング部２４と、識別された物品を計数する計数部２５と、を備える。【選択図】図３

Description

本発明は、物品計数装置、物品計数方法およびプログラムに関する。

従来、物品を計数するために、物品を画像認識して物品を計数する物品計数装置が知られている（例えば、特許文献１）。
この物品計数装置は、撮像手段により撮像した物品の画像から画素を２値化して計数するべき物品のテンプレートデータを生成した後に、計数を行うべき物品が複数存在する計数対象画像を取得する。計数対象画像に対して、ラベリング処理を施して画素が連結した状態の画素の集合を求め、画素の集合について、テンプレートデータを用いて形状認識を行い、物品を計数する。

特開２０１１−３９８７２号公報

しかしながら、撮像した物品の画像全体からテンプレートデータ生成しているので、物品の形状が複雑である場合、計数対象物品が複数重なり合っている状態において形状認識しにくい。例えば、コンデンサ、抵抗等のディスクリート部品を計数する場合、リード線が重なり合って形状認識できないことから、個々の物品を識別することができず、物品を正しく計数することができなくなる。

本発明は、上述の事情に鑑みてなされたものであり、物品の識別を容易にして、物品の計数の精度を上げて、計数に要する時間および工数を短縮する物品計数装置を提供することを目的とする。

上記目的を達成するために、本発明の物品計数装置は、計数対象の物品の画像を撮像する撮像手段と、前記物品の撮像画像から前記物品の少なくとも１つの色の領域を抽出する色領域抽出手段と、前記色の領域から特徴量を抽出してテンプレートデータを作成するテンプレートデータ作成手段と、複数の前記物品の撮像画像から前記色領域抽出手段によって抽出された前記色の領域を前記テンプレートデータと比較することによって前記テンプレートデータとマッチする領域を特定して前記物品を識別するマッチング手段と、識別された前記物品を計数する計数手段と、を備える。

本発明によれば、物品の色の領域に基づき個々の物品を識別して計数することから、物品の識別を容易にして、物品の計数の精度を上げて、計数に要する時間および工数を短縮することができる。

本発明の実施の形態に係る物品計数装置の構成を示す図である。 図１の作業台の構成を示す図である。 物品計数装置の機能的構成を示す図である。 図１の画像処理装置のハードウェア構成を示す図である。 計数画面を示す図である。 計数処理を示すフローチャートである。 テンプレートデータ登録の登録画面を示す図であり、（ａ）は抽出したい色部分を指定する画面、（ｂ）は物品全体を囲んでテンプレートデータ登録を行う画面を示す図である。 計数処理時の計数画面を示す図である。

以下、本発明の実施の形態にかかる物品計数装置、物品計数方法およびプログラムについて図面を参照して詳細に説明する。

図１は、本発明の実施の形態に係る物品計数装置１の全体構成を示す図である。
物品計数装置１は、計数対象の物品を撮像する撮像手段であるカメラ２と、カメラ２で撮像された物品の画像を処理する画像処理装置３と、カメラ２で撮像されている物品の画像を表示するモニタ４と、物品を載置して計数作業を行う作業台５と、作業台５の上方から照明光を照射する第１の照明である反射照明６と、作業台５の下方から照明光を照射する第２の照明であるバックライト７と、電力を供給するバッテリ電源９を備える。

カメラ２は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラであり、作業台５の上方に設けられ、作業台５に載置された複数の物品を上方から撮像する。カメラ２に設けられたレンズ８は、作業台５上の物品に焦点が合わせられ、物品はレンズ８の視野内に収まるように作業台５上に載置される。カメラ２は画像処理装置３に接続されている。カメラ２で撮像された画像はＡ／Ｄ（Analog/Digital）変換されて画像処理装置３に送られる。なお、カメラ２は、ＣＣＤ（Charge Coupled Device）カメラ、ハイパースペクトルカメラ、ＴＯＦ（Time of Flight）カメラ等であってもよい。
画像処理装置３は、パーソナルコンピュータからなり、カメラ２から入力された物品の撮像画像を画像処理する。画像処理装置３は、計数対象の物品のテンプレートデータを登録するとともに、計数対象の複数の物品の画像の中から登録されたテンプレートデータと似ている画像を探すテンプレートマッチングを行い、識別された物品を計数する。画像処理装置３の詳細については、後述する。画像処理装置３はモニタ４に接続されており、撮像画像をモニタ４に送出する。
モニタ４は、液晶パネル、有機ＥＬ（Electro Luminescence）パネル等で構成され、画像処理装置３から送出された画像を表示する。例えば、テンプレートデータ登録時の登録画面、物品計数時の計数画面、その他各種パラメータの設定画面、操作画面等が表示される。ここで、モニタ４の代わりにウェアラブルグラスであってもよい。
作業台５は、計数する複数の物品を載置する作業板を有する台である。作業台５には、カメラ２を作業台５の上方に設置するスタンド（図示せず）と作業台５に載置された物品に照明光を照射する照明が設けられている。照明は、物品の上方から照明光を照射する反射照明６と、物品の下方から照明光を照射するバックライト７と、を備える。反射照明６、バックライト７は、画像処理装置３に接続される。画像処理装置３は、反射照明６、バックライト７のどちらか一方あるいは両方を使用する切替制御を行う。
バッテリ電源９は、画像処理装置３、カメラ２、モニタ４、反射照明６、バックライト７に電力を供給する補助電源である。通常、電力は外部の商用電源から供給される。バッテリ電源９を設けることによって、物品計数装置１は商用電源のない所で使用が可能であり、様々な場所に持ち運んで使用することができる。

次に作業台５の詳細について、図２に示す。
作業台５は、安定した撮像環境を提供する反射照明６を備える。反射照明６は、光源であるライト１１と、ライト１１からの照明光を反射する第１の反射板である反射板１２と、を備える。反射板１２は、傘状の形状を有しており、カメラ２の上方を覆っている。ライト１１は、ＬＥＤ（Light Emitting Diode）照明等であり、反射板１２の端部下方に設けられ、反射板１２の反射面に向かって、照明光を照射する。反射板１２に照射された照明光は、反射板１２によって反射され、反射された光は拡散光となって、作業台５に向かって照射される。作業台５上には、計数対象の複数の物品１３，１４が載置される。
反射板１２は、カメラ２の上方でなく、カメラ２の下方の位置に設けられてもよい。この場合、カメラ２が撮像する視野に反射板１２が入らないために、反射板１２に貫通穴が設けられる。

さらに、作業台５の周囲に、第２の反射板である拡散反射板１５が設けられる。拡散反射板１５は、作業台５の周りを囲む複数枚の反射板から構成されてもよく、あるいは、１枚の反射板を湾曲することにより形成されてもよい。拡散反射板１５は、例えば、表面に凹凸が設けられ、入射した光を拡散する。反射板１２によって反射された反射光の一部は、拡散反射板１５に照射される。拡散反射板１５に照射された反射光は、拡散反射板１５によって拡散反射されて作業台５上の計数対象の物品１３，１４に照射される。物品１３，１４には、反射板１２の反射光のみならず、拡散反射板１５によって反射された拡散反射光が照射されることにより、複数の異なる方向から照明光が物品１３，１４に照射される。したがって、物品１３，１４の近くで、拡散反射板１５によって、さらに照明光が拡散されることにより、物品１３，１４は無影状態となる。無影状態となることによって、物品１３，１４の色、形状、面積を正確に認識することができ、テンプレートマッチング時の物品の誤認識が少なくなる。

また、作業板の下方に、バックライト７が設けられている。作業台５は、光を透過するアクリル板等からなる。バックライト７は、作業台５を通じて物品１３，１４の下から照明光を照射する。物品１３，１４の下方から光を照射することによって、物品１３，１４のシルエットが明瞭となる。物品表面の色は不明瞭となるが、シルエットが明瞭となることにより、形状、面積を正確に認識することができる。
反射照明６とバックライト７のどちらを使用するかは、物品の種類によって選択する。物品の色により物品を認識しやすい場合は、反射照明６を選択する。また、金属類など光を反射してしまう物品や色により認識する必要がない物品は、シルエットにより認識するため、バックライト７を選択する。

次に、物品計数装置１の画像処理装置３の機能的構成を図３に示す。
画像処理装置３は、カメラ２から画像を取得する画像取得部２１と、物品の撮像画像から色領域を抽出する色領域抽出手段である色領域抽出部２２と、テンプレートデータを作成するテンプレートデータ作成手段であるテンプレートデータ作成部２３と、テンプレートマッチング処理を行うマッチング手段であるマッチング部２４と、物品を計数する計数手段である計数部２５と、テンプレートデータを記憶するテンプレートデータ記憶手段であるテンプレートデータ記憶部２６と、計数結果を含むログ情報を記憶するログ記憶部２７を備える。
画像取得部２１は、カメラ２が撮像した計数対象の物品の画像を取得し記憶する。
色領域抽出部２２は、物品の撮像画像から物品の色領域を抽出する。
テンプレートデータ作成部２３は、計数対象の物品の画像からエッジ検出等を行い、マッチング部２４でテンプレートマッチング処理を行うためのテンプレートデータを作成し登録する。
マッチング部２４は、計数対象の複数の物品の画像について、テンプレートデータ作成部２３で登録されたテンプレートデータとマッチング処理を行うことによって個々の物品を識別する。
計数部２５は、マッチング部２４で識別された物品を計数する。
テンプレートデータ記憶部２６は、テンプレートデータ作成部２３で作成されたテンプレートデータを記憶する。
ログ記憶部２７は、計数部２５で計数された結果と、作業者名、作業日時、物品名、作業内容等を含むログ情報を記憶する。ログ情報は、外部システムに送信される。

次に、画像処理装置３のハードウェア構成を図４に示す。
画像処理装置３は、通常のパーソナルコンピュータであり、装置の動作を制御するＣＰＵ（Central Processing Unit）３１と、不揮発性の記憶手段であるＲＯＭ（Read Only Memory）３２と、一時的な記憶手段であるＲＡＭ（Random Access Memory）３３と、大容量の記憶装置であるハードディスク装置３４と、入出力インタフェースである入出力部３５と、操作入力を行う操作部３６と、を備える。画像処理装置３が備える各構成要素は、バスを介して相互に接続される。なお、ハードディスク装置３４は、ＳＳＤ（Solid State Drive）であってもよく、ハードディスク装置とＳＳＤの両方を有するものであってもよい。

ＣＰＵ３１は、画像処理装置３の全体の動作を制御する。ＣＰＵ３１は、ＲＯＭ３２に格納されているプログラムに従って動作し、ＲＡＭ３３をワークエリアとして使用する。ＲＯＭ３２は、画像処理装置３の全体の動作を制御するためのプログラム、データを記憶する。ＲＡＭ３３は、ＣＰＵ３１のワークエリアとして機能し、ＣＰＵ３１は、ＲＡＭ３３にプログラムやデータを一時的に書き込む。
ハードディスク装置３４は、各種の情報を記憶する不揮発性の記憶装置である。ハードディスク装置３４は、画像処理のソフトウェアプログラム、テンプレートデータ、その他の各種プログラム、データを記憶している。
入出力部３５は、カメラ２、モニタ４等の接続機器を接続し、接続機器との間でデータを送受信する入出力インタフェースである。また、入出力部３５は、外部システムと接続され、外部システムにログ情報を送信する。
操作部３６は、ＣＰＵ３１に種々の指示を入力する装置であり、キーボード、マウス等を備える。

次に物品計数装置１の処理動作について説明する。
物品計数装置１の電源がオンにされると、モニタ４に図５に示す計数画面４１が表示される。計数画面４１上の中央からやや左側の位置に、作業台５の上方に設置されたカメラ２からの撮像画面４２が表示される。
計数画面４１の右側に、環境を設定する環境ボタン４３、品種パラメータを設定する品種ボタン４４、計数する物品を表示する計数物品表示画面４５、物品を検索する物品検索ボタン４６、計量数を設定する計数設定ボタン４７、計数を開始する開始ボタン４８、累積して計数を行う累積ボタン４９、計数を終了する完了ボタン５０が表示される。
環境ボタン４３は、撮像環境を設定する環境設定メニューを表示し、撮像環境を設定するためのボタンである。品種ボタン４４は、画像の２値化、色抽出、エッジ情報抽出等のためのパラメータを設定するパラメータ設定メニューを表示し、パラメータを設定するためのボタンである。計数設定ボタン４７は、計数したい物品の数量を入力し、計数する数量を設定するためのボタンである。物品検索ボタン４６は、物品名を入力し、品種の呼び出しを行うためのボタンである。開始ボタン４８は、物品の計数を開始するためのボタンである。累積ボタン４９は、物品の計数後、計数値を維持したまま、累積して引き続き計数を行うためのボタンである。完了ボタン５０は、作業を終了するためのボタンであり、計数値が設定数量に達したら、ボタンを押すことにより作業を完了する。

次に物品計数装置１が物品の計数を行う処理を図６のフローチャートに基づいて説明する。
最初に、計数作業を行う作業者は、作業者のＩＤの登録を行う（ステップＳ１０１）。既に作業者登録されている場合には、選択リストから自身の名前を選択する。作業者を登録することにより、どの作業者が計数作業を行ったかのログ情報の作成が可能となる。ログ情報は、作業完了とともに自動的に作成される。
次に作業者は、計数する物品を入力する（ステップＳ１０２）。計数する物品の設定は物品検索ボタン４６によって行われる。
作業者は、物品検索ボタン４６の下に設けられた入力欄にキーボードにより物品名を入力した後、物品検索ボタン４６を押すことによって物品の検索を行う。検索された物品が既に登録されている場合、テンプレートデータ記憶部２６から登録されているテンプレートデータが読み出される。
画像処理装置３は、入力された物品が新規の登録であるか否かを判断する（ステップＳ１０３）。入力された物品が新規の登録、すなわち未登録である場合（ステップＳ１０３：Ｙｅｓ）、テンプレートデータ登録処理を行う。

テンプレートデータ作成部２３は、テンプレートデータの作成および登録処理を行う。テンプレートデータは、計数処理のベースとなる物品登録情報であり、計数対象の物品の特徴量を有するデータである。テンプレートデータは、画像から物品の形状を認識するために抽出したエッジ情報等を含む。物品の計数処理において、テンプレートデータを用いてマッチング処理が行われる。カメラ２によって撮像された計数対象の複数の物品の画像はテンプレートデータと比較される。比較の結果、撮像画像中にテンプレートデータと形状がマッチすると、物品が識別される。識別された物品の個数をカウントすることにより物品は計数される。

作業者は、テンプレート登録処理方法について、物品の種類に応じて、バックライト７を使って物品を撮像してモノクロ画像からテンプレートデータを作成するモノクロ処理を行うか、もしくは反射照明６を使ってカラー画像からテンプレートデータを作成するカラー処理を行うかを選択する。ここで、モノクロ処理は、ネジ、ワッシャ等の金属部品のように反射照明６では光が大きく反射してしまって撮像画像から正しく形状、面積を認識できない物品、色により認識する必要がない物品に行われる処理である。モノクロ処理において、バックライト７を点灯して物品の底面に向かって照明光を照射し、物品の撮像画像から色抽出を行わず、物品のシルエットから物品のエッジ情報を抽出する。カラー処理は、上記のような金属部品等でなく、表面に特徴となる色を有している物品に行われる処理である。カラー処理において、反射照明６を点灯して物品の上面に向かって照明光を照射し、物品の撮像画像から色抽出を行い、抽出された色の領域のエッジ情報を抽出する。したがって、作業者は、テンプレートデータの登録を行おうとする物品が、反射照明６では光が大きく反射してしまって撮像画像から正しく形状、面積を認識できない金属等からなる物品、色により認識する必要がない物品であるか否かによって処理を選択する。
作業者が、処理を選択すると、テンプレートデータ作成部２３は、どちらの処理が選択されたかを判断する（ステップＳ１０４）。
なお、モノクロ処理を行うか、もしくはカラー処理を行うかの判断は、作業者が入力するのではなく、カメラ２が撮像した画像からテンプレートデータ作成部２３が自ら判断してもよい。テンプレートデータ作成部２３は、バックライト７を使用した場合の物品の撮像画像のコントラスト値と、反射照明６を使用して色抽出後、２値化した撮像画像のコントラスト値を比較し、よりコントラスト値が高い方を選択する。すなわち、バックライト７を使用した場合の物品の撮像画像のコントラスト値の方が高い場合は、モノクロ処理を選択し、反射照明６を使用した場合の物品の撮像画像のコントラスト値の方が高い場合は、カラー処理を選択する。当該処理の選択は、本発明の選択手段として機能する。

カラー処理が選択されると（ステップＳ１０４：Ｙｅｓ）、テンプレートデータ作成部２３は、カラー処理を実行する。カラー処理では、物品の表面の色を抽出するため、作業台５上に置かれた物品の撮影環境は、物品の上方から照明光を照射する反射照明６であることが望ましい。したがって、テンプレートデータ作成部２３は、照明光を反射照明６に切り替える指示を行う（ステップＳ１０５）。指示に応じて照明光として反射照明６が点灯される。

テンプレートデータ登録を行う場合、図７（ａ）に示すように、モニタ４の画面が登録画面５１に変更される。登録画面５１上の右側に、登録処理を開始する登録ボタン５２、登録数を表示する登録数表示画面５３が、設けられている。登録画面５１上の中央からやや左側の位置に、作業台５の上方に設置されたカメラ２が撮像した物品の画像が表示される撮像画面５４が設けられている。図７（ａ）において、撮像画面５４に、一例として電気部品であるコンデンサ５５が表示されている。
また、登録画面５１内の案内画面５６上に、テンプレートデータ登録の手順を示す案内が表示される。作業者は、この案内にしたがい、テンプレートデータ登録を行う（ステップＳ１０６）。これにより作業者は、迷わずスムーズに登録を行うことができる。

まず、物品の特徴となる色の抽出を行う。
案内画面５６上に、「登録する物品１個を画面中央に置いて下さい」と、案内が表示される。作業者は、図７（ａ）に示すように、コンデンサ５５を１個だけ作業台５上に載置する。カメラ２は作業台５上に置かれたコンデンサ５５を撮像し、撮像画像はモニタ４の画面に表示される。作業者は、このモニタ４の画面を見ながら、モニタ４の画面の中央にコンデンサ５５が表示される位置までコンデンサ５５を移動する。コンデンサ５５は２本のリード線を有しており、リード線を除くコンデンサ５５の本体全体は青色に着色されている。コンデンサ５５が画面の中央に表示される位置に置かれたら、案内画面５６上に、「抽出したい色の部分を囲んで下さい」と、案内が表示される。作業者は、図７（ａ）に示すように、コンデンサ５５の青色の本体部分を矩形枠５７で囲むことにより抽出したい色部分を指定する。抽出したい色部分が指定されると、色領域抽出部２２は、画像取得部２１により取得されたコンデンサ５５の画像の各画素のＨＳＶ色空間上の画素値を求める。ＨＳＶの色空間上の画素は、色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）の各画素である。ここで、求める画素値は、色相（Ｈ）、彩度（Ｓ）のみでもよい。求められた各画素値に基づいて色の特定を行う。色によって、色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）の各画素値は異なっている。色領域抽出部２２は、各色に応じた色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）の各画素値とコンデンサ５５の撮像画像から求められた画素値とを比較して色を特定する。この結果、指定された色部分は青色であると特定される。なお、抽出された色部分は物品を識別するための特徴量となることから、識別しやすい部分を指定することが望ましい。

物品の色が抽出されたら、抽出された色の領域についてエッジ情報の抽出を行う。
案内画面５６上に、「物品全体を囲んでから、登録ボタンを押して下さい」と、案内が表示される。作業者は、図７（ｂ）に示すように、コンデンサ５５の全体を矩形枠５８で囲み、登録ボタン５２を押す。
色領域抽出部２２は、矩形枠５８で囲まれた部分から、抽出した色である青色の画素にラベリング処理を施して色領域を抽出する。ラベリング処理は、連続する色領域の画素に対して同じ番号を割り振る処理である。
テンプレートデータ作成部２３は、ラベリング処理された色領域についてエッジ検出を行い、色領域の幾何情報である輪郭形状を抽出してエッジ情報を求め、テンプレートデータを作成する。エッジ情報は、画像中の物品の輪郭線の屈折部、屈曲部等の特徴点の特徴量である。

案内画面５６上に、「置き方によりシルエットが変わる場合は位置を変えて、再度登録ボタンを押して下さい」と、案内が表示される。置き方によって形状が変わってしまう物品の場合、作業者は、物品の置き方を変え、再度登録ボタン５２を押してテンプレートデータを作成する。

テンプレートデータが作成されると、続いて調整処理が行われる。調整処理は、色抽出、エッジ情報抽出等のためのパラメータについて最適なパラメータを設定し、テンプレートマッチングにおける最適なテンプレートデータを選択する処理である。パラメータは、例えば、フィルタサイズ、最小濃度値、最小エッジ強さ等である。

調整処理を行うために、案内画面５６上に、「調整をしますので、物品の姿勢を適当に変えて、登録ボタンを押して下さい」と、案内が表示される。作業者は、指示にしたがい、コンデンサ５５の姿勢を変え、登録ボタン５２を押す。
登録ボタン５２が押されると、画像取得部２１はカメラ２で撮像されたコンデンサ５５の画像を取得する。テンプレートデータ作成部２３は、先ほどのテンプレートデータ作成処理において、異なる複数のパラメータパターンを用いて複数のテンプレートデータを作成しておく。複数のパラメータパターンは、例えば、標準的なパラメータパターンと、これに対して一定の数値間隔でパラメータ値を異ならした複数のパラメータパターンからなる。
テンプレートデータ作成部２３は、画像取得部２１により取得されたコンデンサ５５の画像について、これらの複数のテンプレートデータを用いて順番にマッチング処理を行う。すべてのテンプレートデータとのマッチング処理が終了すると、テンプレートデータ作成部２３は、マッチング処理の結果に基づき、最も相関がとれているテンプレートデータを最適なテンプレートデータとして選択する。選択されたテンプレートデータは、コンデンサ５５のテンプレートデータとしてテンプレートデータ記憶部２６に登録される。また、選択されたテンプレートデータを生成するためのパラメータは、最適なパラメータとして自動設定される。
以上により、カラー処理によるテンプレートデータの登録処理は終了する。

ステップＳ１０４において、モノクロ処理が選択されると（ステップＳ１０４：Ｎｏ）、テンプレートデータ作成部２３は、モノクロ処理を実行する。モノクロ処理では、物品の表面の色を抽出せず、物品のシルエットからエッジ情報を抽出するので、物品の下方から照明光を照射するバックライト７が望ましい。したがって、テンプレートデータ作成部２３は、照明光をバックライト７に切り替える指示を行う（ステップＳ１０７）。指示に応じて照明光としてバックライト７が点灯する。

モノクロ処理がカラー処理と異なる点は、図７（ａ）の色抽出処理がない点である。
案内画面５６上に、「物品全体を囲んでから、登録ボタンを押して下さい」と、案内が表示される。作業者は、図７（ｂ）に示すように、コンデンサ５５の全体を矩形枠５８で囲み、登録ボタン５２を押す。
テンプレートデータ作成部２３は、画像取得部２１が取得した画像の画素値を閾値と比較して２値化処理を行う。２値化処理が行われた後、この２値化された画像にラベリング処理を施す。ラベリング処理では、連続する同じ２値化画像の画素に対して同じ番号が割り振られる。テンプレートデータ作成部２３は、ラベリング処理された同じ番号の領域についてエッジ検出を行い、幾何情報である輪郭形状を抽出してエッジ情報を求め、テンプレートデータを作成する。

テンプレートデータの作成が終了すると、続いて、案内画面５６上に、「置き方によりシルエットが変わる場合は位置を変えて、再度登録ボタンを押して下さい」と、案内が表示される。置き方によって形状が変わってしまう物品の場合、作業者は、カラー処理の場合と同様に置き方を変えて再度登録ボタン５２を押してテンプレートデータを作成する。続いて調整処理を行うために、案内画面５６上に、「調整をしますので、物品の姿勢を適当に変えて、登録ボタンを押して下さい」と、案内が表示される。調整処理は、カラー処理で説明したことと同様の処理である。調整処理において、画像の２値化、エッジ情報抽出等のためのパラメータの自動設定が行われることにより、最適なテンプレートデータが選択され、テンプレートデータ記憶部２６に登録される（ステップＳ１０８）。

テンプレートデータの登録処理が終了すると、モニタ４の画面が、図５に示す計数画面４１に変更され、物品の計数処理が可能となる。作業者は計数値を設定し、計数する複数の物品を作業台５の上に置いた後、開始ボタン４８を押すことによって、計数処理に移行する（ステップＳ１１０）。

ステップＳ１０３において、入力された物品についてテンプレートデータの登録が既に以前に行われ、データが存在する場合（ステップＳ１０３：Ｎｏ）、その物品に応じた照明環境の切替処理が行われる。
画像処理装置３は、テンプレートデータ記憶部２６から読み出されたテンプレートデータから、カラー処理が必要であるか、モノクロ処理が必要であるかを読み出し、反射照明６にするのか、バックライト７にするのか、照明の切替指示を行う。指示に応じて照明が切り替えられる（ステップＳ１０９）。
続いて作業者は計数値を設定し、計数する複数の物品を作業台５上に置いた後、開始ボタン４８を押すことによって、計数処理に移行する（ステップＳ１１０）。ここで、計数処理には、計数するごとに計数値が０から１，２，３とアップするカウントアップモードと、計数設定値から計数するごとにカウントダウンするカウントダウンモードが設けられている。作業者は、計数値の設定時等にどちらのモードにするかを選択する。

カメラ２は、作業台５上に置かれた複数のコンデンサ５５を撮像する。撮像された画像は画像取得部２１により取得され、色領域抽出部２２が取得された撮像画像からコンデンサ５５の色抽出を行う。
色領域抽出部２２は、テンプレートデータ登録の場合と同様に、ＨＳＶ色空間上の画素値を求め、これを各色に応じた画素値と比較することにより色を特定する。画像には複数の色が存在するため、色抽出において複数の色が抽出される。次に、色領域抽出部２２は、テンプレートデータ記憶部２６から読み出したテンプレートデータから特徴量であるコンデンサ５５の色情報と撮像画像から色抽出された色とを照合する。照合の結果、撮像画像から抽出された色がコンデンサ５５の特徴色である青色と一致すると、撮像画像中の一致する色部分についてラベリング処理を施して色領域を抽出する。
マッチング部２４は、抽出された色領域についてエッジ検出を行い、色領域の幾何情報である輪郭形状を抽出し、エッジ情報を求める。エッジ情報が抽出されると、マッチング部２４は、撮像画像についてテンプレートデータを用いてテンプレートマッチングを行う。

撮像画像中の色領域をテンプレートデータと比較して、色領域の輪郭形状とテンプレートデータの輪郭形状が一致する場合、撮像画像中のその色領域は１個のコンデンサ５５であると識別される。コンデンサ５５であると識別されると、計数部２５は、識別された数にしたがってカウントする。

複数のコンデンサ５５が重なり合っていても、輪郭形状の特徴量を検出することができれば、１個のコンデンサ５５を認識することができる。エッジ情報に基づきコンデンサ５５であると識別されると、計数部２５は、識別された数に応じてコンデンサ５５の数をさらにカウントする。

コンデンサ５５のような長いリード線を有する物品の場合、物品同士がどうしても重なり合ってしまう。リード線を含む物品全体の輪郭形状のテンプレートデータを用いて撮像画像についてマッチング処理を行った場合、物品が重なり合うことによりマッチせず、物品を識別できない場合が生じる。これに対して、物品の色抽出を行い、抽出された色領域の輪郭形状のテンプレートデータを用いて撮像画像についてマッチング処理を行うことにより、多少物品が重なり合っていても、物品を識別することができる。コンデンサ５５の場合、リード線同士は重なり合っていても、コンデンサ本体部分はそれほど重なり合っておらず、輪郭形状を認識することができ、個々のコンデンサを識別することができる。

作業台５上には、複数の物品が置かれているので、なかには物品が重なり合って塊となっている場所がある。塊があると、マッチング処理において個々の物品を認識できず、計数不可能となる場合がある。計数部２５は、計数不可能となっていないか判断する（ステップＳ１１１）。複数のコンデンサ５５が重なり合ってこれ以上計数できない場合（ステップＳ１１１：Ｙｅｓ）、作業台５に置かれたコンデンサ５５を重ならないように分離させる「ばらし」の指示を行う（ステップＳ１１２）。「ばらし」の指示は、図８に示すように、案内画面６１の表示によってなされる。案内画面６１の下の計数値表示部６３に表示された数字は、計数設定値に対する現在までの計数値と過不足数を示している。また、物品が重なり合って密集することにより領域のサイズが大きくなっている部分を赤色で枠組みした矩形枠６２で表示する。矩形枠６２で囲まれた部分は計数されていない部分である。なお、矩形枠６２は必ずしも赤枠でなくてもよく、その他のマーキング手法であってもよい。矩形枠６２を表示することに加えて、案内画面６１上に、「枠の部分を手でばらして下さい」と、案内が表示される。案内が表示されると、作業者は、矩形枠６２で囲まれた部分を手でばらす作業を行う。手によるばらしの作業は、矩形枠６２の表示が消えるまで行われる。矩形枠６２の表示が消えると、画像認識による計数処理が可能な状態であることを示す。

矩形枠６２の表示が消えることにより、ステップＳ１１０の計数処理に戻る。
マッチング部２４は、再びマッチング処理を開始する。マッチング処理により個々のコンデンサ５５を識別できたら、計数部２５は、識別された数に応じてコンデンサ５５の数をさらにカウントする。作業者が重なり合った複数のコンデンサ５５をばらすことで、マッチング部２４は、適切な数量になるまで繰り返し計数する。

計数が再開され、ばらしの指示がないまま、作業台５に置かれた複数のコンデンサ５５の計数が終了する。このとき、計数不可能な物品の塊は存在しないので（ステップＳ１１１：Ｎｏ）、計数部２５は、計数値が設定値と同じ値であるか否かを判断する（ステップＳ１１３）。計数値が設定値と同じ値でない場合（ステップＳ１１３：Ｎｏ）、計数処理が続行される（ステップＳ１１０）。計数部２５は、設定値に対する計数値の過不足を計算し、計算結果を計数画面４１の計数値表示部６３に表示する（ステップＳ１１４）。
計数値が設定値に達しない場合（ステップＳ１１３：Ｎｏ）、カウントアップモードにおいて、不足数がマイナス値で計数値表示部６３に表示される。この場合、作業者はコンデンサ５５を追加して、追加したコンデンサ５５を作業台５上に置き、計数作業を続行する（ステップＳ１１０）。
計数値が設定値を越えている場合（ステップＳ１１３：Ｎｏ）、過剰数がプラス値で計数値表示部６３に表示される。この場合、作業者はコンデンサ５５を取り除いて、計数作業を続行する（ステップＳ１１０）。この作業を計数値が設定値と同じ値になるまで続ける。
図８は、カウントアップモードで表示された例を示しており、計数設定値が２０、計数値が４の場合を示している。したがって、計数値表示部６３に計数値として「４／２０」が表示され、その右横に過不足数として、設定値に対して１６足りないので、「−１６」が表示される。なお、カウントダウンモードに設定されているとき、表示値は設定値から計数値を引いた数となるので、最初から過不足数を示していることになる。計数値が設定値に達しない場合、不足数はプラス値で表示される。また、計数値が設定値を越えている場合、過剰数はマイナス値で表示される。例えば、計数設定値が２０、計数値が４の場合、計数値表示部６３に「＋１６／２０」と表示される。
計数値が設定値と同じ値になったら（ステップＳ１１３：Ｙｅｓ）、計数処理は終了する。

一回の作業で計数が終わらない場合、作業者は、累積ボタン４９を押して、計数した物品を作業台５から移動させる。続いて、物品を追加して、追加した物品を作業台５上に置き、計数作業を再開する。累積ボタン４９を押すことによって、計数した物品を作業台５から取り除いても、今まで計数した値がリセットされないで維持される。新たに物品を作業台５上に置いて計数を再開させると、維持された計数値から計数を再開する。
作業者は、計数作業を完了したい場合、完了ボタン５０を押す。これによって計数作業は完了する。なお、ばらしの指示が表示された状態で、累積ボタン４９または完了ボタン５０が押された場合、計数値に誤りが含まれる可能性があるため、作業者に注意喚起のメッセージを表示する。
計数作業が完了すると、作業者は、計数を終えた物品を袋に詰め、全部の作業を終了する。

以上のように、面積、形状以外に色情報を特徴量として使用することで、複雑な形状の物品計数を単純化することが可能となり、認識率、計数正答率の向上につながる。

上記実施の形態は、物品から１色のみを抽出し、抽出した色領域の特徴量に基づいてマッチング処理を行った。これに対して、物品が２色以上の複数の色から構成されている場合、複数の色を抽出し、抽出された複数の色領域の特徴量に基づいてマッチング処理を行ってもよい。この場合、テンプレートデータ作成時において、色領域抽出部２２は、複数の色の抽出を行う。作業者は、図７（ａ）に示すように、抽出したい色部分を矩形枠５７で囲む際に、抽出したい複数の色部分を含んで指定する。
色領域抽出部２２は、複数の色部分についてＨＳＶ色空間上の画素値を求め、これを各色に応じた画素値と比較することにより色を特定する。画像には複数の色が存在するため、色抽出において複数の色が抽出される。ここで作業者は、抽出された複数の色からテンプレートデータに含める色を選択してもよい。色が選択されると、選択された色の色領域に基づいてテンプレートマッチングが行われる。
次に作業者は、図７（ｂ）に示すように、物品全体を矩形枠５８で囲み、登録ボタン５２を押す。色領域抽出部２２は、矩形枠５８で囲まれた部分から、抽出した複数の色部分の画素にラベリング処理を施して複数の色領域を抽出する。
テンプレートデータ作成部２３は、ラベリング処理された色領域についてエッジ検出を行い、色領域の幾何情報である輪郭形状を抽出してエッジ情報を求め、テンプレートデータを作成する。作成されたテンプレートデータは、テンプレートデータ記憶部２６に登録される。

マッチング処理の際、色領域抽出部２２は、テンプレートデータ記憶部２６からテンプレートデータを読み出し、テンプレートデータ登録された物品の複数の色の色情報と撮像画像から色抽出された色とを照合する。照合の結果、撮像画像から抽出された色がテンプレートデータ登録された物品の複数の色と一致すると、撮像画像中の一致する色部分についてラベリング処理を施して色領域を抽出する。
マッチング部２４は、抽出された複数の色領域についてエッジ検出を行い、それぞれの色領域の幾何情報である輪郭形状を抽出し、エッジ情報を求める。エッジ情報が抽出されると、マッチング部２４は、撮像画像についてテンプレートデータを用いてテンプレートマッチングを行う。撮像画像中の色領域の輪郭形状とテンプレートデータの輪郭形状がマッチすると、物品が識別される。物品が識別されると、計数部２５は、識別された数にしたがってカウントする。
複数の色領域に基づきテンプレートマッチングを行うことにより、より正確に物品を識別することができる。

上記実施の形態において、テンプレートデータ作成時に、作業者はキーボード等の入力装置により物品名を入力して、物品検索ボタン４６を押すことによって物品を検索して、テンプレートデータ作成対象の物品を設定していた。これに対して、バーコードを読み込むことにより物品を設定してもよい。バーコードリーダは画像処理装置３に接続される。バーコードの読み込みは、例えば在庫管理において使用されているバーコードを利用する。物品が収納された収納ケース、梱包箱に物品名、物品数等が記録されたバーコードが付されている場合等がある。作業者は、物品名を入力する代わりに、バーコードリーダで、収納ケース等に付されたバーコードを読み出す。あるいは、バーコードが表示された物品の管理表等の書類からバーコードを読み出して物品名を入力してもよい。
テンプレートデータ作成部２３は、バーコードから物品名を読み出し、既にテンプレート登録されているか、または新規登録であるかを判断する。テンプレートデータ登録されている場合、登録されているテンプレートデータをテンプレートデータ記憶部２６から読み出す。新規登録である場合、読み出された物品名で新しいテンプレートデータを作成することもできる。
なお、バーコードにより物品名を読み出すだけでなく、物品数を読み出して、これを計数設定値としてもよい。

上記実施の形態において、物品の輪郭形状を抽出してエッジ情報を求め、求められたエッジ情報によりテンプレートマッチング処理を行ったが、これに限らず、例えば画像の領域の面積の一致によりマッチング処理を行ってもよい。面積は、ラベリング処理された同じ番号の色領域の画素数から求められる。
また面積とエッジ情報の組合せによりマッチング処理を行ってもよい。また、マッチング処理に正規化相関法を用いてもよい。

上記実施の形態において、テンプレートデータとマッチング処理を行うことで、計数処理を行ったが、簡易カウントモードとして、テンプレートデータとマッチング処理を行わずにカウントするモードを設けてもよい。

一例として、作業者が計数処理の基準となる面積値を設定可能とし、この設定値よりも大きな面積の物体の塊を１個とカウントする。したがって、この場合、正しく計数するために、作業者は作業台５に置かれた計数対象の複数の物品を確実に物品ごとに分離する必要がある。面積を指定することにより、小さなゴミなどが存在した場合に、それを１つの物品としてカウントしてしまうことを防ぐことができる。

他の例として、事前にテンプレートデータを登録しないで、計数時において複数の物品の撮像画像の中から特徴量が一致する物品の色領域を抽出してこれを計数することにより物品を計数してもよい。

カメラ２は、作業台５上に置かれた複数の物品を撮像する。撮像された画像は画像取得部２１により取得され、色領域抽出部２２が取得された撮像画像から物品の色抽出を行う。
色領域抽出部２２は、テンプレートデータ登録の場合と同様に、ＨＳＶ色空間上の画素値を求め、これを各色に応じた画素値と比較することにより色を特定する。画像には複数の色が存在するため、色抽出において複数の色が抽出される。次に、色領域抽出部２２は、抽出された色部分についてラベリング処理を施して色領域を抽出する。
マッチング部２４は、抽出された色領域についてエッジ検出を行い、色領域の幾何情報である輪郭形状を抽出し、エッジ情報を求める。複数の物品の撮像画像から、複数の色領域とその領域のエッジ情報が抽出されると、マッチング部２４は、抽出された複数の色領域について、特徴量である色情報、エッジ情報が一致する色領域を抽出する。一致する色領域があれば、これらを同じ物品であると識別する。物品であると識別されると、計数部２５は、識別された数にしたがってカウントする。なお、色領域の一致は色領域の面積の一致により判断してもよいし、面積とエッジ情報の組合せにより判断してもよい。
以上によって、事前にテンプレートデータ登録をしないで、物品の計数を行うことができる。

以上、本発明の好ましい実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。

１…物品計数装置、２…カメラ、３…画像処理装置、４…モニタ、５…作業台、６…反射照明、７…バックライト、８…レンズ、９…バッテリ電源、１１…ライト、１２…反射板、１３，１４…物品、１５…拡散反射板、２１…画像取得部、２２…色領域抽出部、２３…テンプレートデータ作成部、２４…マッチング部、２５…計数部、２６…テンプレートデータ記憶部、２７…ログ記憶部、３１…ＣＰＵ、３２…ＲＯＭ、３３…ＲＡＭ、３４…ハードディスク装置、３５…入出力部、３６…操作部、４１…計数画面、４２，５４…撮像画面、４３…環境ボタン、４４…品種ボタン、４５…計数物品表示画面、４６…物品検索ボタン、４７…計数設定ボタン、４８…開始ボタン、４９…累積ボタン、５０…完了ボタン、５１…登録画面、５２…登録ボタン、５３…登録数表示画面、５５…コンデンサ、５６，６１…案内画面、５７，５８，６２…矩形枠、６３…計数値表示部

Claims (7)

1. 計数対象の物品の画像を撮像する撮像手段と、
   前記物品の撮像画像から前記物品の少なくとも１つの色の領域を抽出する色領域抽出手段と、
   前記色の領域から特徴量を抽出してテンプレートデータを作成するテンプレートデータ作成手段と、
   複数の前記物品の撮像画像から前記色領域抽出手段によって抽出された前記色の領域を前記テンプレートデータと比較することによって前記テンプレートデータとマッチする領域を特定して前記物品を識別するマッチング手段と、
   識別された前記物品を計数する計数手段と、
   を備える物品計数装置。
2. 計数対象の物品の画像を撮像する撮像手段と、
   複数の前記物品の撮像画像から前記物品の少なくとも１つの色の領域を抽出する色領域抽出手段と、
   前記色の領域から特徴量を抽出し、抽出された特徴量が一致する色の領域から前記物品を識別するマッチング手段と、
   識別された前記物品を計数する計数手段と、
   を備える物品計数装置。
3. 前記特徴量は、前記色の領域の輪郭形状である、
   請求項１または２に記載の物品計数装置。
4. 前記物品の上面に向かって照明光を照射する第１の照明と、
   前記物品の底面に向かって照明光を照射する第２の照明と、
   前記物品の種類に応じて前記第１の照明と前記第２の照明の少なくとも一方を選択する選択手段と、
   をさらに備える請求項１から３のいずれか１項に記載の物品計数装置。
5. 前記物品を載置する作業台と、
   前記作業台の上方に配置され、照明光を反射して前記作業台に拡散光を照射する第１の反射板、および、前記作業台の周囲に配置され、照明光を反射して前記作業台に拡散光を照射する第２の反射板のうちの少なくとも一方と、
   をさらに備える請求項１から４のいずれか１項に記載の物品計数装置。
6. 計数対象の物品の画像を撮像するステップと、
   前記物品の撮像画像から前記物品の少なくとも１つの色の領域を抽出するステップと、
   前記色の領域から特徴量を抽出してテンプレートデータを作成するステップと、
   複数の前記物品の撮像画像から前記色の領域を抽出し、前記テンプレートデータと比較することによって前記テンプレートデータとマッチする領域を特定して前記物品を識別するステップと、
   識別された前記物品を計数するステップと、
   を備える物品計数方法。
7. コンピュータに、
   計数対象の物品の画像を撮像するステップと、
   前記物品の撮像画像から前記物品の少なくとも１つの色の領域を抽出するステップと、
   前記色の領域から特徴量を抽出してテンプレートデータを作成するステップと、
   複数の前記物品の撮像画像から前記色の領域を抽出し、前記テンプレートデータと比較することによって前記テンプレートデータとマッチする領域を特定して前記物品を識別するステップと、
   識別された前記物品を計数するステップと、
   を実行させるプログラム。

Images