JP2014044480A - 物品照合装置および方法並びにプログラム - Google Patents

Abstract

【課題】照合対象物品を撮影した画像データと、予め記憶された複数の物品の画像データとを照合して複数の物品の中から照合対象物品に該当する物品を抽出する場合において、高精度かつ簡易に１つの該当物品を抽出する。
【解決手段】複数の物品の全体的な外観を表す全体画像情報と、各物品の外観の一部分の位置情報およびその一部分に含まれる各物品の属性情報を含む部分特徴情報とが対応付けられて記憶された物品マスターテーブル２６と、照合対象物品を撮影した画像と、各物品の全体画像情報とに基づいて第１の照合を行う第１照合部２３と、第１の照合によって複数の物品候補が抽出された場合、その複数の物品候補の部分特徴情報に含まれる属性情報と、部分特徴情報に含まれる位置情報に対応する照合対象物品の画像の一部とを比較して第２の照合を行う第２照合部２４とを備える。
【選択図】図１

Description

本発明は、所定の照合対象の物品を撮影した画像と、予め記憶された複数の物品の画像情報とを照合する物品照合装置および方法並びにプログラムに関するものである。

従来、商品を最終消費者に販売する小売業においては、実際の在庫の数量を確認して、その確認した実際の在庫の数量と在庫管理表に記載のある在庫の数量との差異を把握する在庫確認作業が定期的に行われている。例えば、店舗にある全ての商品について、商品に付されたバーコードを読み込んで商品番号を取得し、その取得した商品番号に基づいて商品ごとに個数を集計して在庫表を作成し、予め記憶されていた在庫管理表と比較することにより、実際の在庫の数量との差異情報を取得することが行われている。

しかし、近来の商品の多様化に伴い、大型の店舗などでは、多様な多数の商品が存在する場合も多い。このため、１つ１つ商品を陳列棚から取り出してバーコードを読み取って在庫確認作業をすることはコストや作業時間を要するものであるため小売業者の大きな負担となっている。このため、店舗の在庫商品を自動的に認証して集計する技術が期待されている。

そこで、たとえば特許文献１においては、陳列棚に陳列されている商品を撮影した画像データを取得し、その画像データと、予め商品毎に記憶された商品マスターファイルに含まれている画像データとを照合し、これらが一致したものについて在庫管理用のファイルを作成して記憶し、この記憶した在庫管理用のファイルのファイルリストを出力したり、集計したりすることによって在庫管理を簡単に実行する方法が提案されている。

特許第３４９３００７号公報 国際公開第９８／１１５０９号 特開２００５−１０７９７８号公報

しかしながら、特許文献１に記載の方法においては、商品を撮影した画像データと、商品マスターファイルに含まれている画像データとを照合した際、これらの画像データが一致すると判定された商品マスターファイルが複数検索された場合には、ユーザがその複数の商品マスターファイルの中から正しい商品マスターファイルを手動で選択する必要があり、手間がかかるという問題がある。

なお、特許文献２にも書籍を撮影した画像データに基づいて、その書籍の種類を判別する方法が提案されているが、複数候補の書籍の種類が検索された場合の解決方法については何も提案されていない。また、特許文献３には、ＣＤなどの被写体を撮影した画像データに基づいて、そのＣＤに録音されている音声情報などをサーバから検索するシステムが提案されているが、画像データに対応する検索情報が複数候補検索された場合の解決方法については何も提案されていない。

本発明は、上記事情に鑑み、所定の照合対象の物品を撮影した画像データと、予め記憶された複数の種々の物品の画像データとを照合することによって、種々の物品の中から照合対象の物品に該当する物品を抽出する場合において、照合対象の物品に該当すると判定された物品が複数候補抽出された場合においても、その複数の候補の中から高精度かつ簡易に１つの該当物品を自動的に抽出することができる物品照合装置および方法並びにプログラムを提供することを目的とするものである。

本発明の物品照合装置は、複数の物品について、各物品の全体的な外観を表す全体画像情報と、各物品の外観の一部分の位置情報およびその一部分に含まれる各物品の属性情報を含む部分特徴情報とが対応付けられて記憶されている物品情報記憶部と、物品情報記憶部に記憶された物品の全体画像情報と部分特徴情報とに基づいて、所定の照合対象物品の照合を行う物品照合部とを備え、物品照合部が、照合対象物品を撮影した画像を取得し、その取得した画像と、物品情報記憶部に記憶された各物品の全体画像情報とに基づいて第１の照合を行う第１照合部と、第１照合部における第１の照合によって複数の物品の候補が抽出された場合、その抽出された複数の物品の候補の部分特徴情報に含まれる属性情報と、部分特徴情報に含まれる位置情報に対応する照合対象物品の画像の一部とを比較することによって第２の照合を行う第２照合部とを備えたことを特徴とする。

また、上記本発明の物品照合装置においては、属性情報の種類として、シリーズ番号、巻数、号数、規格品番記号、製造年のうちの少なくとも１つを用いることができる。

また、上記画像を、陳列棚に陳列された照合対象物品を撮影したものとできる。

また、上記画像を、複数の照合対象物品を含むものとし、その画像から各照合対象物品の単品画像データをそれぞれ区分して抽出する単品画像抽出部を設け、第１および第２の照合部を、単品画像データを用いて第１および第２の照合を行うものとできる。

また、第２照合部を、複数の物品の候補の部分特徴情報に含まれる属性情報の内容を示す文字が、部分特徴情報に含まれる位置情報に対応する照合対象物品の画像の一部に含まれるか否かを認識することによって第２の照合を行うものとできる。

また、部分特徴情報の位置情報を、矩形領域の位置情報とすることができる。

また、全体画像情報を、物品を複数の方向から見た画像を有するものとできる。

また、第１の照合の結果と第２の照合の結果とに基づいて更新される照合結果在庫テーブルを設けることができる。

また、物品を、化粧品、書籍および所定の情報を記録した記録媒体商品のいずれか１つとすることができる。

本発明の物品照合方法は、複数の物品について、各物品の全体的な外観を表す全体画像情報と、各物品の外観の一部分の位置情報およびその一部分に含まれる各物品の属性情報を含む部分特徴情報とが対応付けられて記憶されている物品情報記憶部を用い、物品情報記憶部に記憶された物品の全体画像情報と部分特徴情報とに基づいて、所定の照合対象物品の照合を行う物品照合方法であって、照合対象物品を撮影した画像を取得し、その取得した画像と、物品情報記憶部に記憶された各物品の全体画像情報とに基づいて第１の照合を行い、第１の照合によって複数の物品の候補が抽出された場合、その抽出された複数の物品の候補の部分特徴情報に含まれる属性情報と、部分特徴情報に含まれる位置情報に対応する照合対象物品の画像の一部とを比較することによって第２の照合を行うことを特徴とする。

本発明の物品照合プログラムは、複数の物品について、各物品の全体的な外観を表す全体画像情報と、各物品の外観の一部分の位置情報およびその一部分に含まれる各物品の属性情報を含む部分特徴情報とが対応付けられて記憶されている物品情報記憶部を用い、物品情報記憶部に記憶された物品の全体画像情報と部分特徴情報とに基づいて、所定の照合対象物品の照合を行う手順をコンピュータに実行させる物品照合プログラムであって、所定の照合対象物品の照合を行う手順において、照合対象物品を撮影した画像を取得し、その取得した画像と、物品情報記憶部に記憶された各物品の全体画像情報とに基づいて第１の照合を行う手順と、第１の照合によって複数の物品の候補が抽出された場合、その抽出された複数の物品の候補の部分特徴情報に含まれる属性情報と、部分特徴情報に含まれる位置情報に対応する照合対象物品の画像の一部とを比較することによって第２の照合を行う手順とを実行させることを特徴とする。

本発明の物品照合装置および方法並びにプログラムによれば、複数の物品について、各物品の全体的な外観を表す全体画像情報と、各物品の外観の一部分の位置情報およびその一部分に含まれる各物品の属性情報を含む部分特徴情報とを対応付けて記憶しておき、まず、所定の照合対象物品を撮影した画像と、予め記憶した各物品の全体画像情報とに基づいて第１の照合を行い、その第１の照合によって複数の物品の候補が抽出された場合には、その抽出された複数の物品の候補の部分特徴情報に含まれる属性情報と、部分特徴情報に含まれる位置情報に対応する照合対象物品の画像の一部とを比較することによって第２の照合を行うようにしたので、物品の外観の部分的な特徴に着目して第２の照合を行うことができ、所定の照合対象物品に該当する物品を高精度かつ簡易に特定することができる。

本発明の物品照合装置の一実施形態を用いた物品照合システムの概略構成を示すブロック図 物品マスターテーブルの一例を示す図 照合結果在庫テーブルの一例を示す図 本発明の物品照合装置の一実施形態を用いた物品照合システムの作用を説明するためのフローチャート 照合対象物品の画像を撮影する方法を説明するための図 第２の照合処理を説明するためのフローチャート 第２の照合処理を説明するための図 物品マスターテーブルを作成する物品マスターテーブル登録システムの一実施形態の概略構成を示すブロック図 図８に示す物品マスターテーブル登録システムの作用を説明するためのフローチャート 部分特徴情報を取得する方法を説明するためのフローチャート

以下、本発明の物品照合装置および方法並びにプログラムの一実施形態を用いた物品照合システムについて、図面を参照しながら詳細に説明する。本実施形態の物品照合システムは、陳列棚に陳列された物品を撮影した画像データを取得し、その画像データと、物品マスターテーブルに予め登録された在庫の物品情報と照合することによって物品の在庫確認処理を行うものである。図１は、本実施形態の物品照合システム１の概略構成を示すブロック図である。

本実施形態の物品照合システム１は、図１に示すように、カメラ１０と、物品照合装置２０と、モニタ３０とを備えている。

カメラ１０は、陳列棚に陳列された照合対象物品を撮影するためのものである。カメラ１０によって撮影された画像データは物品照合装置２０に出力される。なお、カメラ１０による撮影については、複数の照合対象物品をまとめて撮影する方が効率が良いが、これに限らず、単品毎にそれぞれ撮影を行うようにしてもよい。

物品照合装置２０は、図１に示すように、画像取得部２１と、単品画像抽出部２２と、第１照合部２３と、第２照合部２４と、マスターデータベース２５と、通信部２９とを備えている。なお、第１照合部２３と第２照合部２４とが請求項における物品照合部に相当し、マスターデータベース２５が請求項における物品情報記憶部に相当するものである。

物品照合装置２０は、コンピュータに本発明の物品照合プログラムの一実施形態がインストールされたものである。そして、中央処理装置（ＣＰＵ）によって上記物品照合プログラムが実行されることによって画像取得部２１、単品画像抽出部２２、第１照合部２３、第２照合部２４および通信部２９が機能し、第１照合部２３および第２照合部２４によってマスターデータベース２５が参照される。上記物品照合プログラムは、ＣＤ−ＲＯＭなどの記録媒体に記録されたものでもよいし、インターネットを経由してサーバなどからダウンロードしたものでもよい。

画像取得部２１は、カメラ１０によって撮影された照合対象物品の画像データを取得し、これを半導体メモリやハードディスクなどの記憶媒体に一旦記憶するものである。

単品画像抽出部２２は、画像取得部２１から照合対象物品の画像データを読み出し、その画像データ内に複数の照合対象物品の画像データが含まれる場合に、１つ１つの照合対象物品の単品画像データをそれぞれ区分して抽出するものである。単品画像データの抽出については、たとえば撮影された画像データ内に含まれる矩形領域を自動的に抽出し、その１つ１つの矩形領域の画像データを単品画像データとしてもよいし、物品の外形を表すテンプレートデータを予め記憶しておき、撮影された画像データとテンプレートデータとでテンプレートマッチングを行うことによって単品画像データを抽出するようにしてもよい。なお、単品画像データの抽出については、その他の種々の公知な方法を用いることができる。

また、撮影された画像データに１つの照合対象物品の画像データしか含まれていない場合には、撮影された画像データをそのまま単品画像データとしてもよいし、撮影された画像データから物品の背景の画像データを除去したものを単品画像データとして抽出するようにしてもよい。

第１照合部２３および第２照合部２４は、単品画像抽出部２２から出力された単品画像データと、マスターデータベース２５に予め登録された在庫の物品情報とに基づいて、照合対象物品の照合処理を行うものである。

ここで、第１照合部２３および第２照合部２４は、照合対象商品の照合処理を行う際、上述したようにマスターデータベース２５に予め登録された在庫の物品情報を参照するものであるが、照合処理の説明の前に、まず、マスターデータベース２５に登録されている在庫の物品情報について説明する。

マスターデータベース２５には、図１に示すように、複数の在庫の物品情報を有する物品マスターテーブル２６が登録されている。図２は、この物品マスターテーブル２６の一例を示すものである。

物品マスターテーブル２６は、図２に示すように、複数の物品を識別するための物品コード（識別情報）と、その各物品コードによって特定される物品の全体画像情報、類似物品コード、属性情報および部分特徴情報とを対応付けたものである。

ここで、物品としては、陳列棚に陳列されて展示販売される商品であれば如何なるものでもよい。このような展示販売される商品としては、たとえば化粧品や書籍のほか、映像情報が記録されたＤＶＤやＢＤ、音楽情報が記録されたＣＤ、ソフトウェアアプリケーションが記録されたＣＤ−ＲＯＭ、メモリカード、磁気テープなどといった所定の情報が記録された記録媒体商品などがある。また、物品としては、上述したような商品として販売されるものに限らず、図書館の陳列棚に陳列される書籍などでもよい。

本実施形態の物品マスターテーブル２６は、上述したような化粧品、書籍、ＤＶＤなどの物品のうちのいずれか１つについて作成されたものである。

物品マスターテーブル２６における物品コードは、上述したように個々の物品を識別するための識別情報であり、たとえば物品が化粧品の場合には、ＪＡＮ（Japanese Article Number）コードが使用される。また、物品が書籍の場合には、ＩＳＢＮ（International Standard Book Number）コードが使用される。物品コードとしては、ＪＡＮやＩＳＢＮに限らず、個々の物品を識別できるものであれば如何なるものを用いてもよい。なお、同一の物品については同じ物品コードが付されるため、たとえば同一の物品が在庫として複数個存在したとしても、その物品に対応する物品コードのテーブルは１つだけ存在するものとする。

全体画像情報は、物品の全体的な外観を表すものであり、具体的には、たとえば物品全体を前後左右からカメラなどによって撮影した画像データである。物品マスターテーブル２６に登録される全体画像情報は、画像データそのものでも良いし、画像データが保存されたデータサーバのＵＲＬ（Uniform Resource Locator）や保存フォルダのディレクトリなどといった接続先のリンク情報でもよい。また、全体画像情報は、物品を陳列棚に陳列した際に正面方向となり得る方向から撮影した画像データを含むものであるが、たとえば円筒形状の物品である場合には、前後左右方向に限らず、その他の方向からの画像データを含めるようにしてもよい。

類似物品コードは、物品コードによって特定される物品と類似した全体画像情報を有する物品の物品コードである。

属性情報は、物品コードによって特定される物品に属する情報であり、その物品に関連する情報であれば如何なる情報でもよい。たとえば物品が化粧品である場合には、属性情報の種類としては、たとえば図２に示すように、その化粧品の「製品名」、化粧品の「価格」、化粧水、口紅、ファンデーションなどといった化粧品の「分類」、化粧品の「メーカ」、化粧品の「製造年」、化粧品の「サイズ（高さ）」や「サイズ（幅）」などがある。

また、たとえば物品が書籍である場合には、属性情報の種類としては、たとえば、書籍の「タイトル」、書籍の「価格」、文庫本、単行本、漫画、雑誌などといった書籍の「分類」、書籍の「出版社」、書籍の「シリーズ番号」、1巻、２巻、３巻といった書籍の「巻数」、１月号、２月号、３月号といった書籍の「号数」、書籍の「発行年」、書籍の「著作者」、書籍の「サイズ（高さ）」や「サイズ（幅）」などがある。

また、たとえば物品がＤＶＤである場合には、属性情報の種類としては、たとえば、ＤＶＤに記録された映画などの「タイトル」、ＤＶＤの「価格」、アクション、アニメ、ホラー、ドキュメンタリーなどといったＤＶＤに記録された映画の「分類」、ＤＶＤを発行している「発行元」、ＤＶＤの「規格品番記号」、1巻、２巻、３巻といったＤＶＤの「巻数」、ＤＶＤの「発行年」、ＤＶＤのパッケージの「サイズ（高さ）」や「サイズ（幅）」などがある。なお、「規格品番記号」は、ＤＶＤ以外の一般的な商品に付されるものである。

なお、上記説明では、化粧品、書籍、ＤＶＤおよびＣＤの属性情報について説明したが、これに限らず、物品の種類に応じて種々の属性情報が登録されるものとする。

物品マスターテーブル２６には、上述したような属性情報の種類とその内容とが対応付けられて登録される。属性情報の内容とは、たとえば属性情報の種類が、化粧品の「メーカ」である場合には、そのメーカの具体的な名称である「○○社」であり、また、属性情報の種類が化粧品の「製造年」である場合には、その化粧品の具体的な製造年である「２０１２年」である。

部分特徴情報は、物品の外観の一部の範囲の情報である。具体的には、物品の外観の一部の範囲に現れている上述した属性情報の種類および内容と、その属性情報の内容が現れている一部の範囲の位置情報とが部分特徴情報として登録される。

本実施形態においては、一部の範囲の位置情報として、水平方向をＸ方向、垂直方向をＹ方向とした場合のＸ座標、Ｙ座標およびサイズとが登録される。一部の範囲のＸ座標およびＹ座標としては、一部の範囲を矩形領域で定義した場合には、たとえばその矩形領域の左上の角の点の位置座標や、矩形領域の中心座標などを用いることができる。また、一部の範囲のサイズとしては、一部の範囲のＸ方向のサイズとＹ方向のサイズとが登録される。なお、上記一部の範囲の位置情報は、物品の全体的な外観における相対的な位置情報であって、物品の外観の一部の範囲に現れている属性情報の内容が正面方向に向いているときの位置情報とする。

また、部分特徴情報は必ずしも１つでなくてもよく、属性情報の種類および内容とその位置情報との組み合わせを複数組登録するようにしてもよい。

そして、物品マスターテーブル２６には、全ての在庫の物品の物品コードと、上述した全体画像情報、類似物品コード、属性情報および部分特徴情報とが対応付けられて登録されている。なお、物品マスターテーブル２６は、後述する物品マスターテーブル登録システムにおける物品マスターテーブル作成装置によって作成されるものであるが、その作成方法については後で詳述する。

第１照合部２３と第２照合部２４は、上述した物品マスターテーブル２６を用いて照合対象物品の照合を行うものである。

第１照合部２３は、単品画像抽出部２２から出力された照合対象物品の単品画像データと、物品マスターテーブル２６に登録されている各物品の全体画像情報とを用いて第１の照合処理を行うものである。

第１の照合処理は、たとえば照合対象物品の単品画像データと、物品マスターテーブル２６の各物品の画像データとのテンプレートマッチングによって行われる。具体的には、たとえば所定の相関関数を用いて照合対象物品の単品画像データと、物品マスターテーブル２６の各物品の画像データとの類似度を算出し、その類似度が所定の基準値よりも高い画像データを含む全体画像情報の物品を物品マスターテーブル２６から抽出する。なお、第１の照合処理としては、上述したようなテンプレートマッチングに限らず、その他の公知の照合処理を用いるようにしてもよい。

第２の照合部２４は、上述した第１の照合処理によって物品マスターテーブル２６から複数の物品候補が抽出された場合に、さらにその複数の物品候補からの絞り込みを行うために第２の照合処理を行うものである。第２の照合処理は、第１の照合処理によって抽出された複数の物品候補の部分特徴情報に含まれる属性情報と、上記部分特徴情報に含まれる位置情報に対応する照合対象物品の単品画像データの一部とを比較することによって行われる。なお、第２の照合処理については、後で詳述する。

マスターデータベース２５は、上述した物品マスターテーブル２６とともに、図１に示すような照合結果在庫テーブル２７および管理在庫テーブル２８を記憶するものである。

照合結果在庫テーブル２７は、図３に示すように、各物品コードとその物品コードによって特定される物品の在庫数とが対応付けられたものである。そして、照合結果在庫テーブル２７は、上述した第１の照合部２３または第２の照合部２４における照合処理の結果に基づいて更新されるものである。具体的には、照合処理によって所定の照合対象物品に対応する１つの物品が物品マスターテーブル２６から抽出された際、照合結果在庫テーブル２７におけるその物品の物品コードの在庫数が１つインクリメントされて照合結果在庫テーブル２７が更新される。

管理在庫テーブル２８も、照合結果在庫テーブル２７と同様に、各物品コードとその物品コードによって特定される物品の在庫数とが対応付けられたものであるが、管理在庫テーブル２８は、店舗や図書館などに物品が搬入および搬出される毎に更新されるものである。具体的には、管理在庫テーブル２８は、店舗や図書館などに物品が搬入される度に、その物品の物品コードに対応する在庫数が１つインクリメントされ、かつ物品が搬出される度に、その物品の物品コードに対応する在庫数が１つデクリメントされて更新されるものである。なお、店舗における物品の搬入とは物品が入荷されたことを意味し、物品の搬出とはその物品が売れて持ち出されたことを意味する。

つまり、管理在庫テーブル２８は、店舗や図書館などにおいて管理されている物品の在庫状況を表すものであり、照合結果在庫テーブル２７は、実際に店舗や図書館内に存在する物品の在庫状況を表すものである。管理在庫テーブル２８と照合結果在庫テーブル２７とは、本来、上述した照合処理が終了した時点において一致するものである。しかしながら、たとえば物品が盗まれたり、物品の搬入や搬出の時点において管理在庫テーブル２８の更新にミスがあったりした場合にはこれらのテーブルは一致しないことになる。照合結果在庫テーブル２７と管理在庫テーブルとはモニタ３０に表示されるものである。

通信部２９は、インターネットやＬＡＮなどの通信ネットワークを介して後述する物品マスターテーブル登録システムと通信を行うものである。物品マスターテーブル登録システムは、後で詳述するが、上述した物品マスターテーブル２６を作成するものであり、通信部２９は、物品マスターテーブル登録システムにおいて作成された物品マスターテーブル２６を通信ネットワークを介して取得し、マスターデータベース２５に出力するものである。

モニタ３０は、上述したように照合結果在庫テーブル２７や管理在庫テーブル２８を表示するものであるが、その他にも物品マスターテーブル２６や、画像取得部２１によって取得された画像データや、単品画像抽出部２２において抽出された単品画像データなども表示するものである。

次に、本実施形態の物品照合システム１の作用について、図４に示すフローチャートを参照しながら説明する。

まず、陳列棚に陳列された複数の照合対象の物品がユーザによって整理される（Ｓ１０）。これは、上述したような物品の撮影画像データに基づく照合処理が適切に行われるように実施される作業である。このとき照合対象の各物品は、上述した各物品の部分特徴情報に含まれる属性情報が正面方向に向くように整理されるが、ユーザが部分特徴情報の属性情報の内容を把握していない場合には、物品の外観の一部に現れている所定の文字列が正面方向に向くように整理される。

次に、上述したような物品の整理が終了した後、ユーザによってカメラ１０を用いて陳列棚に並んだ物品の撮影が行われる（Ｓ１２）。具体的には、たとえば図５に示すように、陳列棚２００の所定の棚に陳列された複数の照合対象の物品１０１〜１０５が含まれるようにカメラ１０の撮影範囲が設定されて撮影が行われる。なお、撮影範囲については、図５に示すような撮影範囲に限らず、たとえば一段の棚に陳列された複数の物品の全てが含まれるように撮影範囲を設定するようにしてもよいし、陳列棚２００全体が含まれるように撮影範囲を設定するようにしてもよい。

そして、カメラ１０によって撮影された画像データは、有線または無線によってカメラ１０に接続された物品照合装置２０の画像取得部２１によって取得されて一旦記憶される（Ｓ１４）。

次いで、画像取得部２１に記憶された画像データは単品画像抽出部２２によって読み出され、単品画像抽出部２２は、読み出した画像データから１つ１つの照合対象物品の単品画像データをそれぞれ区分して抽出する（Ｓ１６）。

そして、単品画像抽出部２２によって抽出された単品画像データは第１照合部２３に出力され、第１照合部２３は、入力された単品画像データを用いて第１の照合処理を行う（Ｓ１８）。

第１照合部２３は、具体的には、単品画像データと、物品マスターテーブル２６に登録されている各物品の全体画像情報の画像データとのテンプレートマッチングを行い、類似度が所定の基準値よりも高い画像データを含む全体画像情報の物品を、該当する物品候補として抽出する。

そして、この第１の照合処理によって１つの物品候補のみが抽出された場合には（Ｓ２０，ＹＥＳ）、その物品候補の物品マスターテーブル２６の情報をモニタ３０に表示する（Ｓ２８）。次いで、モニタ３０に表示された情報がユーザによって確認され、該当物品であることが確認された場合には、ユーザによって所定の入力部を用いて照合結果在庫テーブル２７を更新するように指示入力が行われ、第１照合部２３は、その指示入力に応じて照合結果在庫テーブル２７における該当物品の物品コードに対応する在庫数を１つインクリメントして照合結果在庫テーブルを更新する（Ｓ３０）。

一方、第１の照合処理によって複数の物品候補が抽出された場合には（Ｓ２０，ＮＯ、Ｓ２２，ＹＥＳ）、第２照合部２４において、抽出された複数の物品候補の部分特徴情報と、単品画像データの一部とに基づいて第２の照合処理が行われる（Ｓ２４）。

ここで、第２の照合処理について、図６に示すフローチャートを参照しながら詳細に説明する。

第２の照合処理においては、まず、複数の物品候補のそれぞれについて、物品マスターテーブル２６を参照して部分特徴情報が取得される（Ｓ４０）。

次に、複数の物品候補のうちの所定の物品候補の部分特徴情報に含まれる位置情報と属性情報とが取得される（Ｓ４２）。そして、その取得した位置情報が、たとえばＸ座標がＸ１、Ｙ座標がＹ１、サイズがＷ１×Ｈ１である場合には、図７に示すように、位置情報によって示される矩形領域が単品画像データ上に対応付けられ、その矩形領域内の単品画像データの一部と、部分特徴情報に含まれる属性情報の内容とが照合される（Ｓ４４）。具体的には、たとえば、部分特徴情報に含まれる属性情報の種類が「シリーズ番号」、「巻数」、「号数」、「規格品番記号」または「製造年」であって、その属性情報の内容がこれらの属性情報を表す数字である場合には、上述した矩形領域内の単品画像データの一部にその数字が含まれているか否かを認識することによって照合が行われる。そして、矩形領域内の単品画像データの一部にその数字が含まれていた場合には、その物品候補が該当物品であるとする。上記のような第２の照合処理を複数の物品候補の全てについて行う。また、１つの物品候補について複数の部分特徴情報が登録されている場合には、その全ての部分特徴情報について上述した照合が行われる。

そして、図４に示すフローチャートに戻り、上述した第２の照合処理によって１つの物品候補が抽出された場合には（Ｓ２６，ＹＥＳ）、その物品候補の物品マスターテーブル２６の情報をモニタ３０に表示する（Ｓ２８）。次いで、モニタ３０に表示された情報がユーザによって確認され、該当物品であることが確認された場合には、ユーザによって所定の入力部を用いて照合結果在庫テーブル２７を更新するよう指示入力が行われ、第２照合部２４は、その指示入力に応じて照合結果在庫テーブル２７における該当物品の物品コードに対応する在庫数を１つインクリメントして照合結果在庫テーブルを更新する（Ｓ３０）。

一方、第２の照合処理によって１つの物品候補が抽出されなかった場合には（Ｓ２６，ＮＯ）、該当物品を抽出することができなかった旨がモニタ３０に表示される（Ｓ３２）。そして、モニタ３０を確認したユーザは、照合対象物品の外観や商品コードなどを手作業によって直接確認し（Ｓ３４）、その確認した結果に基づいて照合結果在庫テーブル２７を更新する（Ｓ３０）。

なお、第２の照合処理によって１つの物品候補が抽出されなかった場合に限らず、上述した第１の照合処理において該当する物品候補が抽出されなかった場合においても、該当する物品候補を抽出することができなかった旨がモニタ３０に表示され（Ｓ３２）、モニタ３０を確認したユーザによって照合対象物品の外観や商品コードなどが手作業によって直接確認され（Ｓ３４）、その確認した結果に基づいて照合結果在庫テーブル２７が更新される（Ｓ３０）。

そして、全ての照合対象物品の単品画像データについて、上述したような第１の照合処理と第２の照合処理とが同様にして行われ、照合結果在庫テーブル２７が更新される。なお、本実施形態においては、上述したように１つの照合対象物品の第１および第２の照合処理が行われる度に、照合結果在庫テーブル２７を更新するようにしたが、これに限らず、全ての照合対象物品の第１および第２の照合処理が終了した後に、その結果に基づいて、全ての照合対象物品の照合結果在庫テーブル２７の更新をまとめて行うように指示入力してもよい。

なお、全ての照合対象物品の照合が終了した時点において、照合結果在庫テーブル２７の在庫数と管理在庫テーブル２８の在庫数とを比較し、在庫数が異なるものがある場合には、その旨を示す情報をモニタ３０に表示するようにしてもよい。

上記実施形態の物品照合システム１によれば、各物品の全体的な外観を表す全体画像情報と、各物品の外観の一部分の位置情報およびその一部分に含まれる各物品の属性情報を含む部分特徴情報とが対応付けられた物品マスターテーブル２６を用い、まず、所定の照合対象物品を撮影した画像データと、予め物品マスターテーブル２６に記憶された各物品の全体画像情報とに基づいて第１の照合を行い、その第１の照合によって複数の物品の候補が抽出された場合には、その抽出された複数の物品の候補の部分特徴情報に含まれる属性情報と、部分特徴情報に含まれる位置情報に対応する照合対象物品の画像の一部とを比較することによって第２の照合を行うようにしたので、物品の外観の部分的な特徴に着目して第２の照合を行うことができ、所定の照合対象物品に該当する物品を高精度かつ簡易に特定することができる。

次に、上述した物品マスターテーブル２６を作成する物品マスターテーブル登録システムについて説明する。図８は、物品マスターテーブル登録システム２の概略構成を示すブロック図である。

本実施形態の物品マスターテーブル登録システム２は、図８に示すように、カメラ４０と、物品マスターテーブル作成装置５０と、モニタ７０とを備えている。

カメラ４０は、物品マスターテーブル６２への登録対象の物品の全体的な外観を撮影するものであり、カメラ４０によって物品の全体的な外観を撮影した画像データに基づいて、物品マスターテーブル６２に登録される全体画像情報が取得される。したがって、カメラ４０による撮影は、たとえば登録対象物品の前後左右方向から行われる。また、上記画像データに物品コードを表すバーコード画像が含まれる場合には、そのバーコード画像に基づいて、物品マスターテーブル６２に登録される物品コードが取得される。なお、登録対象物品の全体的な外観の画像データに物品コードを表すバーコード画像が含まれていない場合には、そのバーコード画像が含まれる部分がカメラ４０によって別途撮影される。また、バーコード画像をバーコードリーダによって別途読み取るようにしてもよい。なお、登録対象物品の撮影については、１つの物品毎に行われる。

また、本実施形態においては、カメラ４０によって撮影された画像データを用いて登録対象の物品の全体画像情報や物品コードを取得するようにしたが、たとえば物品が書籍であるような場合には、スキャナを用いて画像データを取得するようにしてもよい。

また、物品の全体的な外観の画像データやバーコード画像を含む画像データは、必ずしもカメラによる撮影やスキャナによる光電的な読取りによって取得する必要はなく、たとえば書籍については、書籍を編集する過程において予め作成された表表紙、裏表紙および背表紙の画像データを取得し、その画像データに基づいて全体画像情報や物品コードを取得するようにしてもよい。

物品マスターテーブル作成装置５０は、図８に示すように、画像取得部５１、画像領域抽出部５２、類似判断部５３、部分領域抽出部５４、文字認識部５５、物品コード領域抽出部５６、物品コード認識部５７、物品属性取得部５８、物品属性情報データベース５９、文字一致判断部６０、マスターデータベース６１および通信部６３を備えている。

画像取得部５１は、カメラ４０によって撮影された登録対象物品の画像データを取得し、これを半導体メモリやハードディスクなどの記憶媒体に一旦記憶するものである。

画像領域抽出部５２は、画像取得部５１から登録対象物品の画像データを読み出し、その画像データから物品の背景の画像データを削除することによって物品領域画像データを取得するものである。なお、物品領域画像データの取得方法については、種々の公知の方法を用いることができる。画像領域抽出部５２によって取得された物品領域画像データ（たとえば前後左右の画像データ）は、登録対象物品の全体画像情報として物品マスターテーブル６２に登録される。

類似判断部５３は、画像領域抽出部５２において取得された物品領域画像データを取得し、その物品領域画像データと、既に物品マスターテーブル６２に登録されている複数の物品の全体画像情報とを照合し、登録対象物品の物品領域画像データと類似する画像データを含む全体画像情報を有する物品コードを類似物品コードとして取得するものである。物品領域画像データと登録済の物品の全体画像情報との照合は、たとえばテンプレートマッチングを用いて類似度を算出することによって行うようにすればよい。類似判断部５３によって取得された類似物品コードは、登録対象物品の類似物品コードとして物品マスターテーブル６２に登録される。

部分領域抽出部５４は、画像領域抽出部５２によって取得された物品領域画像データが入力され、その物品領域画像データに基づいて、登録対象物品の上述した属性情報の内容が現れている可能性がある部分領域を抽出するものである。

具体的には、部分領域抽出部５４は、物品領域画像データ内において文字情報が現れている領域を部分領域として抽出する。部分領域抽出部５４は、たとえば物品領域画像データを２値化し、その２値化データに対してラベリングを施し、そのラベリングの情報に基づいて文字情報が存在すると思われる塊領域を部分領域として抽出する。なお、ここでいう文字情報には、ひらがな、カタカナ、漢字や英文字などだけでなく、数字や記号なども含まれるものとする。また、複数の文字などからなるものだけでなく、１つの文字なども含むものとする。

なお、文字情報の領域（部分領域）の抽出方法については、これに限らず、種々の公知の方法を用いることができる。また、部分領域は１つに限らず、複数の文字情報の領域が抽出された場合には、その複数の文字情報の領域を部分領域として抽出するようにしてもよい。部分領域抽出部５４によって抽出された部分領域のラベリングデータは、文字認識部５５に出力される。

文字認識部５５は、部分領域抽出部５４によって抽出された部分領域内のラベリングデータに基づいて文字認識処理を行って部分領域内に存在する文字情報を認識する。文字認識処理については既に公知であるので詳細な説明は省略する。文字認識部５５において認識された文字情報は文字一致判断部６０に出力される。

物品コード領域抽出部５６は、画像取得部５１から登録対象物品の画像データを読み出し、その画像データから物品コードを表すバーコード画像が存在する領域を物品コード領域として抽出するものである。バーコード画像が存在する領域の抽出については、所定長の線分が複数配列されている領域を抽出するようにすればよいが、その抽出方法については種々の公知の方法を用いることができる。物品コード領域抽出部５６によって抽出された物品コード領域の情報は物品コード認識部５７に出力される。

物品コード認識部５７は、入力された物品コード領域の情報に基づいて、物品コード領域内に存在するバーコード画像を認識することによって、登録対象物品の物品コードを取得するものである。物品コード認識部５７によって取得された物品コードは、登録対象物品の物品コードとして物品マスターテーブル６２に登録される。

物品属性取得部５８は、物品コード認識部５７において認識された物品コードを取得し、その物品コードの内容に基づいて、物品属性情報データベース５９から登録対象物品の属性情報の種類とその内容を取得するものである。属性情報の種類としては、上述したとおり、たとえば「シリーズ番号」、「巻数」、「号数」、「規格品番記号」または「製造年」などがあり、属性情報の内容とは、「シリーズ番号」、「巻数」、「号数」、「規格品番記号」または「製造年」を表す具体的な数字である。

そして、物品属性取得部５８において取得された属性情報の種類とその内容は、登録対象物品の属性情報として物品マスターテーブル６２に登録される。なお、登録対象物品の属性情報としては、物品コードに基づいて取得されるものに限らず、たとえばユーザによる入力部を用いた設定入力によって取得されるものでもよい。物品属性取得部５８によって取得された属性情報の内容については、文字一致判断部６０にも出力される。

そして、文字一致判断部６０は、文字認識部５５において認識された文字情報と、物品属性取得部５８から取得された属性情報の内容とを比較し、これらが一致する場合には、その文字情報によって表される属性情報の内容および種類と、その文字情報が存在する部分領域の位置情報とを、登録対象物品の部分特徴情報として物品マスターテーブル６２に登録する。具体的には、たとえば、文字認識部５５において認識された文字情報と物品属性取得部５８から取得された属性情報の内容とがともに「２２２３３３」であった場合には、その「２２２３３３」と、その「２２２３３３」の属性情報の種類（たとえばシリーズ番号など）と、その「２２２３３３」の文字情報が存在する部分領域の位置情報とを、登録対象物品の部分特徴情報として物品マスターテーブル６２に登録する。一方、文字認識部５５において認識された文字情報と、物品属性取得部５８から取得された属性情報の内容とを比較し、これらが一致しない場合には、文字一致判断部６０は、その文字情報を部分特徴情報としては登録しないものである。

物品属性情報データベース５９は、種々の物品コードによって表される属性情報の種類や内容を記憶したものである。

マスターデータベース６１は、登録物品対象の物品マスターテーブル６２を記憶するものである。物品マスターテーブル６２の詳細については、上述した物品照合装置２０のマスターデータベース２５に記憶されている物品マスターテーブル２６と同様である。また、マスターデータベース６１に、物品マスターテーブル６２における各物品の全体画像情報の画像データ６２ａを記憶するようにしてもよい。

物品マスターテーブル作成装置５０における物品マスターテーブル６２は、新しい登録対象物品のテーブルが登録される度に更新されるものである。そして、物品マスターテーブル作成装置５０における物品マスターテーブル６２は、通信部６３および通信ネットワークを介して物品照合システム１の物品照合装置２０に出力され、物品マスターテーブル作成装置５０における物品マスターテーブル６２の内容が、物品照合装置２０における物品マスターテーブル２６に上書きされることによって物品マスターテーブル２６が更新される。物品照合装置２０の物品マスターテーブル２６の更新は、物品マスターテーブル作成装置５０の物品マスターテーブル６２が更新される度に更新するようにしてもよいし、所定の期間毎に定期的に行うようにしてもよいし、ユーザによる更新指示入力に応じて任意のタイミングで行うようにしてもよい。

モニタ７０は、物品マスターテーブル６２や、画像領域抽出部５２によって取得された物品領域画像データなどを表示するものである。

次に、本実施形態の物品マスターテーブル登録システム２の作用について、図９および図１０に示すフローチャートを参照しながら説明する。

まず、登録対象の物品がユーザによって所定の位置に設置される（Ｓ５０）。そして、ユーザによってカメラ４０を用いて登録対象の物品の全体的な外観が撮影される（Ｓ５２）。なお、このとき物品の全体的な外観の画像データに物品コードを表すバーコード画像が含まれていない場合には、そのバーコード画像が含まれる部分がカメラ４０によって別途撮影される。

次いで、カメラ４０によって撮影された画像データは、有線または無線によってカメラ４０に接続された物品マスターテーブル作成装置５０の画像取得部５１によって取得されて一旦記憶される。

画像取得部５１によって取得された画像データは物品コード領域抽出部５６に出力され、物品コード領域抽出部５６は、入力された画像データから物品コードを表すバーコード画像が存在する領域を物品コード領域として抽出する（Ｓ５４）。

そして、物品コード領域抽出部５６によって抽出された物品コード領域の情報は物品コード認識部５７に出力され、物品コード認識部５７は、入力された物品コード領域の情報に基づいて、物品コード領域内に存在するバーコード画像を認識し（Ｓ５６）、登録対象物品の物品コードを取得する（Ｓ５８）。物品コード認識部５７によって取得された物品コードは、登録対象物品の物品コードとして物品マスターテーブル６２に登録される。

次に、画像取得部５１によって取得された画像データは画像領域抽出部５２に出力され、画像領域抽出部５２は、入力された画像データから物品の背景の画像データを削除することによって物品領域画像データを取得する。そして、画像領域抽出部５２によって取得された物品領域画像データ（たとえば前後左右の画像データ）は、登録対象物品の全体画像情報として物品マスターテーブル６２に登録される（Ｓ６０）。

また、画像領域抽出部５２によって取得された物品領域画像データは類似判断部５３に出力され、類似判断部５３は、入力された物品領域画像データと、既に物品マスターテーブル６２に登録されている複数の物品の全体画像情報とを照合し、登録対象物品の物品領域画像データと類似する画像データを含む全体画像情報を有する物品コードを類似物品コードとして取得する（Ｓ６２）。類似判断部５３によって取得された類似物品コードは、登録対象物品の類似物品コードとして物品マスターテーブル６２に登録される。

次に、物品コード認識部５７において認識された物品コードが物品属性取得部５８に出力され、物品属性取得部５８は、その物品コードの内容に基づいて、物品属性情報データベース５９から登録対象物品の属性情報の種類とその内容を取得する（Ｓ６４）。そして、物品属性取得部５８において取得された属性情報の種類とその内容は、登録対象物品の属性情報として物品マスターテーブル６２に登録される。

そして、さらに登録対象物品について部分特徴情報が取得されるが、この部分特徴情報の取得の作用については、図１０に示すフローチャートを参照しながら説明する。

まず、画像領域抽出部５２によって取得された物品領域画像データが部分領域抽出部５４に入力され、部分領域抽出部５４は、入力された物品領域画像データに基づいて、物品領域画像データ内において文字情報が現れている領域を部分領域として抽出する（Ｓ７０）。

そして、部分領域抽出部５４によって抽出された部分領域のラベリングデータが、文字認識部５５に出力され、文字認識部５５は、部分領域内のラベリングデータに基づいて文字認識処理を行って部分領域内に存在する文字情報を認識する（Ｓ７２）。文字認識部５５において認識された文字情報は文字一致判断部６０に出力される。

一方、物品属性取得部５８において物品コードに基づいて取得された属性情報の内容も文字一致判断部６０に出力される。

そして、文字一致判断部６０は、文字認識部５５において認識された文字情報と、物品属性取得部５８から取得された属性情報の内容とを比較し、これらが一致する場合には、その文字情報によって表される属性情報の内容およびその種類と、その文字情報が存在する部分領域の位置情報とを、登録対象物品の部分特徴情報として物品マスターテーブル６２に登録する（Ｓ７６）。一方、文字認識部５５において認識された文字情報と、物品属性取得部５８から取得された属性情報の内容とを比較し、これらが一致しない場合には、文字一致判断部６０は、その文字情報を部分特徴情報としては登録しない。

上述したようにして、新しい登録対象物品の物品マスターテーブル６２への登録が行われる。

上記実施形態の物品マスターテーブル登録システム２によれば、部分特徴情報の属性情報と位置情報とを高精度かつ簡易に抽出することができる。

１ 物品照合システム
２ 物品マスターテーブル登録システム
１０ カメラ
２０ 物品照合装置
２１ 画像取得部
２２ 単品画像抽出部
２３ 第１照合部
２４ 第２照合部
２６ 物品マスターテーブル
２７ 照合結果在庫テーブル
２８ 管理在庫テーブル
３０ モニタ
４０ カメラ
５０ 物品マスターテーブル作成装置
５１ 画像取得部
５２ 画像領域抽出部
５３ 類似判断部
５４ 部分領域抽出部
５５ 文字認識部
５６ 物品コード領域抽出部
５７ 物品コード認識部
５８ 物品属性取得部
５９ 物品属性情報データベース
６０ 文字一致判断部
６１ マスターデータベース
６２ 物品マスターテーブル

Claims (11)

1. 複数の物品について、前記各物品の全体的な外観を表す全体画像情報と、前記各物品の外観の一部分の位置情報および該一部分に含まれる前記各物品の属性情報を含む部分特徴情報とが対応付けられて記憶されている物品情報記憶部と、
   該物品情報記憶部に記憶された前記物品の前記全体画像情報と前記部分特徴情報とに基づいて、所定の照合対象物品の照合を行う物品照合部とを備え、
   前記物品照合部が、
   前記照合対象物品を撮影した画像を取得し、該取得した画像と、前記物品情報記憶部に記憶された前記各物品の全体画像情報とに基づいて第１の照合を行う第１照合部と、
   該第１照合部における第１の照合によって複数の前記物品の候補が抽出された場合、該抽出された複数の物品の候補の前記部分特徴情報に含まれる前記属性情報と、前記部分特徴情報に含まれる前記位置情報に対応する前記照合対象物品の画像の一部とを比較することによって第２の照合を行う第２照合部とを備えたことを特徴とする物品照合装置。
2. 前記属性情報の種類が、シリーズ番号、巻数、号数、規格品番記号、製造年のうちの少なくとも１つであることを特徴とする請求項１記載の物品照合装置。
3. 前記画像が、陳列棚に陳列された前記照合対象物品を撮影したものであることを特徴とする請求項１または２記載の物品照合装置。
4. 前記画像が、複数の前記照合対象物品を含むものであり、
   前記画像から各前記照合対象物品の単品画像データをそれぞれ区分して抽出する単品画像抽出部を備え、
   前記第１および第２の照合部が、前記単品画像データを用いて前記第１および第２の照合を行うものであることを特徴とする請求項１から３いずれか１項記載の物品照合装置。
5. 前記第２照合部が、前記複数の物品の候補の前記部分特徴情報に含まれる前記属性情報の内容を示す文字が、前記部分特徴情報に含まれる前記位置情報に対応する前記照合対象物品の画像の一部に含まれるか否かを認識することによって前記第２の照合を行うものであることを特徴とする請求項１から４いずれか１項記載の物品照合装置。
6. 前記部分特徴情報の位置情報が、矩形領域の位置情報であることを特徴とする請求項１から５いずれか１項記載の物品照合装置。
7. 前記全体画像情報が、前記物品を複数の方向から見た画像を有するものであることを特徴とする請求項１から６いずれか１項記載の物品照合装置。
8. 前記第１の照合の結果と前記第２の照合の結果とに基づいて更新される照合結果在庫テーブルを備えたものであることを特徴とする請求項１から７いずれか１項記載の物品照合装置。
9. 前記物品が、化粧品、書籍および所定の情報を記録した記録媒体商品のいずれか１つであることを特徴とする請求項１から８いずれか１項記載の物品照合装置。
10. 複数の物品について、前記各物品の全体的な外観を表す全体画像情報と、前記各物品の外観の一部分の位置情報および該一部分に含まれる前記各物品の属性情報を含む部分特徴情報とが対応付けられて記憶されている物品情報記憶部を用い、該物品情報記憶部に記憶された前記物品の前記全体画像情報と前記部分特徴情報とに基づいて、所定の照合対象物品の照合を行う物品照合方法であって、
    前記照合対象物品を撮影した画像を取得し、該取得した画像と、前記物品情報記憶部に記憶された前記各物品の全体画像情報とに基づいて第１の照合を行い、
    該第１の照合によって複数の前記物品の候補が抽出された場合、該抽出された複数の物品の候補の前記部分特徴情報に含まれる前記属性情報と、前記部分特徴情報に含まれる前記位置情報に対応する前記照合対象物品の画像の一部とを比較することによって第２の照合を行うことを特徴とする物品照合方法。
11. 複数の物品について、前記各物品の全体的な外観を表す全体画像情報と、前記各物品の外観の一部分の位置情報および該一部分に含まれる前記各物品の属性情報を含む部分特徴情報とが対応付けられて記憶されている物品情報記憶部を用い、該物品情報記憶部に記憶された前記物品の前記全体画像情報と前記部分特徴情報とに基づいて、所定の照合対象物品の照合を行う手順をコンピュータに実行させる物品照合プログラムでであって、
    前記所定の照合対象物品の照合を行う手順において、
    前記照合対象物品を撮影した画像を取得し、該取得した画像と、前記物品情報記憶部に記憶された前記各物品の全体画像情報とに基づいて第１の照合を行う手順と、
    該第１の照合によって複数の前記物品の候補が抽出された場合、該抽出された複数の物品の候補の前記部分特徴情報に含まれる前記属性情報と、前記部分特徴情報に含まれる前記位置情報に対応する前記照合対象物品の画像の一部とを比較することによって第２の照合を行う手順とを実行させることを特徴とする物品照合プログラム。

Images