JP2014043287A - 物品マスターテーブル作成装置および方法並びにプログラム - Google Patents

Abstract

【課題】物品の外観の一部の文字情報に着目して物品マスターテーブルとの照合を行う場合において、文字情報の範囲を適切に特定することができる物品マスターテーブルを作成し、かつ文字情報および文字情報の範囲を簡易かつ高精度に特定して物品マスターテーブルに含める。
【解決手段】物品の外観を表す画像を取得する画像取得部５１と、画像取得部５１によって取得された画像内における文字を抽出する部分領域抽出部５４および文字認識部５５と、物品の属性情報を取得する属性情報取得部５８と、抽出した文字と属性情報とを比較し、文字が属性情報を表すものであるか否かを判断する文字一致判断部６０と、文字一致判断部６０によって文字が属性情報を表すものであると判断された場合に、文字とその文字の画像内における位置情報とを含む物品マスターテーブルを作成するマスターテーブル作成部６１とを備える。
【選択図】図１

Description

本発明は、いわゆる物品の在庫管理などにおいて在庫の物品を特定するために用いられる物品マスターテーブルを作成する物品マスターテーブル作成装置および方法並びにプログラムに関するものである。

従来、商品を最終消費者に販売する小売業においては、実際の在庫の数量を確認して、その確認した実際の在庫の数量と在庫管理表に記載のある在庫の数量との差異を把握する在庫確認作業が定期的に行われている。例えば、店舗にある全ての商品について、商品に付されたバーコードを読み込んで商品番号を取得し、その取得した商品番号に基づいて商品ごとに個数を集計して在庫表を作成し、予め記憶されていた在庫管理表と比較することにより、実際の在庫の数量との差異情報を取得することが行われている。

しかし、近来の商品の多様化に伴い、大型の店舗などでは、多様な多数の商品が存在する場合も多い。このため、１つ１つ商品を陳列棚から取り出してバーコードを読み取って在庫確認作業をすることはコストや作業時間を要するものであるため小売業者の大きな負担となっている。このため、店舗の在庫商品を自動的に認証して集計する技術が期待されている。

そこで、たとえば特許文献１においては、陳列棚に陳列されている商品を撮影した画像データを取得し、その画像データと、予め商品毎に記憶された商品マスターファイルに含まれている画像データとを照合し、これらが一致したものについて在庫管理用のファイルを作成して記憶し、この記憶した在庫管理用のファイルのファイルリストを出力したり、集計したりすることによって在庫管理を簡単に実行する方法が提案されている。

そして、特許文献１には、商品の画像データの照合だけでは一致する商品マスターファイルが抽出されなかった場合には、商品を撮影した画像データから文字を抽出し、その文字に対応する文字が商品マスターファイルに含まれているかを検索することによって、該当する商品マスターファイルを抽出する方法が提案されている。

特許第３４９３００７号公報 特開２００５−１０７９７８号公報 国際公開第９８／１１５０９号

しかしながら、特許文献１に記載の方法では、画像データから文字を抽出する際に、その抽出エリアを特に限定していないため、たとえ抽出した文字と商品マスターファイル内の文字とが一致したとしても、撮影された画像データ内における文字の位置と、商品マスターファイルによって特定される商品の外観上における文字の位置とが全く異なる位置である場合もあり、このような場合、類似する商品を誤って抽出してしまう問題がある。

また、画像データから抽出された文字の一部と、商品マスターファイル内の文字の一部とが一致したとしても、これらの文字によって表される内容が全く異なるものである場合もあり、このような場合も、類似する商品を誤って抽出してしまう問題がある。

また、特許文献２には、ＣＤなどの被写体を撮影した画像データにおける所定の認識範囲内の画像データを画像認識し、その認識した結果に基づいてＣＤなどの種類を特定するシステムが提案されているが、その認識範囲をどのようにして設定するかについては何も提案されていない。

なお、特許文献３にも書籍を撮影した画像データに基づいて、その書籍の種類を判別する方法が提案されているが、画像データ内の文字を用いて書籍の種類を判別する方法については何も提案されていない。

本発明は、上記事情に鑑み、物品の外観の一部の文字情報に着目して物品マスターテーブルとの照合を行う場合において、その文字情報の範囲を適切に特定することができる物品マスターテーブルを作成でき、文字情報およびその文字情報の範囲を簡易かつ高精度に特定して物品マスターテーブルに含めることができる物品マスターテーブル作成装置および方法並びにプログラムを提供することを目的とするものである。

本発明の物品マスターテーブル作成装置は、登録対象の物品の外観を表す画像を取得する画像取得部と、画像取得部によって取得された画像内における文字を抽出する文字抽出部と、登録対象の物品の属性情報を取得する属性情報取得部と、文字抽出部によって抽出された文字と、属性情報取得部によって取得された属性情報とを比較し、文字が属性情報を表すものであるか否かを判断する文字判断部と、文字判断部によって文字が属性情報を表すものであると判断された場合に、文字とその文字の画像内における位置情報とを含む登録対象の物品の物品マスターテーブルを作成するマスターテーブル作成部とを備えたことを特徴とする。

また、上記本発明の物品マスターテーブル作成装置においては、登録対象の物品を識別するための識別情報を取得する識別情報取得部を設け、属性情報取得部を、識別情報に基づいて属性情報を取得するものとできる。

また、画像取得部を、識別情報を含む登録対象の物品の画像を取得するものとし、識別情報取得部を、識別情報を含む画像に基づいて、識別情報を取得するものとできる。

また、マスターテーブル作成部を、識別情報と、属性情報を表す文字およびその文字の画像内における位置情報とを対応付けて物品マスターテーブルを作成するものとできる。

また、マスターテーブル作成部を、文字が現れている部分のサイズも含めて物品マスターテーブルを作成するものとできる。

また、属性情報として、シリーズ番号、巻数、号数、規格品番記号、メーカ、出版社、製造年発行年、著作者のうちの少なくとも１つを用いることができる。

また、上記位置情報として、文字を囲む矩形領域の位置情報を用いることができる。

また、マスターテーブル作成部を、登録対象の物品の外観を表す画像も含めて物品マスターテーブルを作成するものとできる。

また、上記物品を、化粧品、書籍および所定の情報を記録した記録媒体商品のいずれかとすることができる。

本発明の物品マスターテーブル作成方法は、登録対象の物品の外観を表す画像を取得し、その取得した画像内における文字を抽出し、登録対象の物品の属性情報を取得し、抽出した文字と取得した属性情報とを比較し、文字が属性情報を表すものであるか否かを判断し、文字が属性情報を表すものであると判断された場合に、文字とその文字の画像内における位置情報とを含む登録対象の物品の物品マスターテーブルを作成することを特徴とする。

本発明の物品マスターテーブル作成プログラムは、コンピュータを、登録対象の物品の外観を表す画像を取得する画像取得部と、画像取得部によって取得された画像内における文字を抽出する文字抽出部と、登録対象の物品の属性情報を取得する属性情報取得部と、文字抽出部によって抽出された文字と、属性情報取得部によって取得された属性情報とを比較し、文字が属性情報を表すものであるか否かを判断する文字判断部と、文字判断部によって文字が属性情報を表すものであると判断された場合に、文字とその文字の画像内における位置情報とを含む登録対象の物品の物品マスターテーブルを作成するマスターテーブル作成部として機能させることを特徴とする。

本発明の物品マスターテーブル作成装置および方法並びにプログラムによれば、登録対象の物品の外観を表す画像を取得し、その取得した画像内における文字を抽出し、登録対象の物品の属性情報を取得し、抽出した文字と取得した属性情報とを比較し、文字が属性情報を表すものであるか否かを判断し、文字が属性情報を表すものであると判断された場合に、文字とその文字の画像内における位置情報とを含む物品マスターテーブルを作成するようにしたので、たとえば物品の外観の一部の文字情報に着目して物品マスターテーブルとの照合を行う場合において、上述した物品マスターテーブルに含まれる位置情報を用いることによって、照合対象物品における文字の位置を適切に特定することができる。

また、物品の属性情報に基づいて物品の画像内における文字とその文字の位置情報を特定して物品マスターテーブルに含めるようにしたので、簡易かつ高精度に文字とその文字の位置情報とを特定して物品マスターテーブルに含めることができる。

本発明の物品マスターテーブル作成装置の一実施形態を用いた物品マスターテーブル登録システムの概略構成を示すブロック図 物品マスターテーブルの一例を示す図 本発明の物品マスターテーブル作成装置の一実施形態を用いた物品マスターテーブル登録システムの作用を説明するためのフローチャート 部分特徴情報を取得する方法を説明するためのフローチャート 図２に示す物品マスターテーブルを用いて所定の照合対象物品の照合処理を行う物品照合システムの概略構成を示すブロック図 照合結果在庫テーブルの一例を示す図 図５に示す物品照合システムの作用を説明するためのフローチャート 照合対象物品の画像を撮影する方法を説明するための図 第２の照合処理を説明するためのフローチャート 第２の照合処理を説明するための図

以下、本発明の物品マスターテーブル作成装置および方法並びにプログラムの一実施形態を用いた物品マスターテーブル登録システムについて、図面を参照しながら詳細に説明する。本実施形態の物品マスターテーブル登録システムは、いわゆる物品の在庫確認を行う際に、在庫の物品を特定するために用いられる物品マスターテーブルを作成して登録するものである。より具体的には、陳列棚に陳列された物品を撮影した画像データと、物品マスターテーブルに予め登録された物品情報と照合することによって物品の在庫確認処理を行う際における物品マスターテーブルを作成して登録するものである。

図１は、本実施形態の物品マスターテーブル登録システム１の概略構成を示すブロック図である。図２は、本実施形態の物品マスターテーブル登録システム１によって作成される物品マスターテーブルの一例を示すものである。

本実施形態の物品マスターテーブル登録システム１の構成を説明する前に、まず、物品マスターテーブルの内容について、図２を参照しながら説明する。

物品マスターテーブル６３は、図２に示すように、複数の物品を識別するための物品コード（識別情報）と、その各物品コードによって特定される物品の全体画像情報、類似物品コード、属性情報および部分特徴情報とを対応付けたものである。

ここで、物品としては、陳列棚に陳列されて展示販売される商品であれば如何なるものでもよい。このような展示販売される商品としては、たとえば化粧品や書籍のほか、映像情報が記録されたＤＶＤやＢＤ、音楽情報が記録されたＣＤ、ソフトウェアアプリケーションが記録されたＣＤ−ＲＯＭ、メモリカード、磁気テープなどといった所定の情報が記録された記録媒体商品などがある。また、物品としては、上述したような商品として販売されるものに限らず、図書館の陳列棚に陳列される書籍などでもよい。

本実施形態の物品マスターテーブル６３は、上述したような化粧品、書籍、ＤＶＤなどの物品のうちのいずれか１つについて作成されたものである。

物品マスターテーブル６３における物品コードは、上述したように個々の物品を識別するための識別情報であり、たとえば物品が化粧品の場合には、ＪＡＮ（Japanese Article Number）コードが使用される。また、物品が書籍の場合には、ＩＳＢＮ（International Standard Book Number）コードが使用される。物品コードとしては、ＪＡＮやＩＳＢＮに限らず、個々の物品を識別できるものであれば如何なるものを用いてもよい。なお、同一の物品については同じ物品コードが付されるため、たとえば同一の物品が在庫として複数個存在したとしても、その物品に対応する物品コードのテーブルは１つだけ存在するものとする。

全体画像情報は、物品の全体的な外観を表すものであり、具体的には、たとえば物品全体を前後左右からカメラなどによって撮影した画像データである。物品マスターテーブル６３に登録される全体画像情報は、画像データそのものでも良いし、画像データが保存されたデータサーバのＵＲＬ（Uniform Resource Locator）や保存フォルダのディレクトリなどといった接続先のリンク情報でもよい。また、全体画像情報は、物品を陳列棚に陳列した際に正面方向となり得る方向から撮影した画像データを含むものであるが、たとえば円筒形状の物品である場合には、前後左右方向に限らず、その他の方向からの画像データを含めるようにしてもよい。

類似物品コードは、物品コードによって特定される物品と類似した全体画像情報を有する物品の物品コードである。

属性情報は、物品コードによって特定される物品に属する情報であり、その物品に関連する情報であれば如何なる情報でもよい。たとえば物品が化粧品である場合には、属性情報の種類としては、たとえば図２に示すように、その化粧品の「製品名」、化粧品の「価格」、化粧水、口紅、ファンデーションなどといった化粧品の「分類」、化粧品の「メーカ」、化粧品の「製造年」、化粧品の「サイズ（高さ）」や「サイズ（幅）」などがある。

また、たとえば物品が書籍である場合には、属性情報の種類としては、たとえば、書籍の「タイトル」、書籍の「価格」、文庫本、単行本、漫画、雑誌などといった書籍の「分類」、書籍の「出版社」、書籍の「シリーズ番号」、1巻、２巻、３巻といった書籍の「巻数」、１月号、２月号、３月号といった書籍の「号数」、書籍の「発行年」、書籍の「著作者」、書籍の「サイズ（高さ）」や「サイズ（幅）」などがある。

また、たとえば物品がＤＶＤである場合には、属性情報の種類としては、たとえば、ＤＶＤに記録された映画などの「タイトル」、ＤＶＤの「価格」、アクション、アニメ、ホラー、ドキュメンタリーなどといったＤＶＤに記録された映画の「分類」、ＤＶＤを発行している「発行元」、ＤＶＤの「規格品番記号」、1巻、２巻、３巻といったＤＶＤの「巻数」、ＤＶＤの「発行年」、ＤＶＤのパッケージの「サイズ（高さ）」や「サイズ（幅）」などがある。

なお、上記説明では、化粧品、書籍、ＤＶＤおよびＣＤの属性情報について説明したが、これに限らず、物品の種類に応じて種々の属性情報が登録されるものとする。

物品マスターテーブル６３には、上述したような属性情報の種類とその内容とが対応付けられて登録される。属性情報の内容とは、たとえば属性情報の種類が、化粧品の「メーカ」である場合には、そのメーカの具体的な名称である「○○社」であり、また、属性情報の種類が化粧品の「製造年」である場合には、その化粧品の具体的な製造年である「２０１２年」である。

部分特徴情報は、物品の外観の一部の範囲の情報である。具体的には、物品の外観の一部の範囲に現れている上述した属性情報の種類および内容と、その属性情報の内容が現れている一部の範囲の位置情報とが部分特徴情報として登録される。

本実施形態においては、一部の範囲の位置情報として、水平方向をＸ方向、垂直方向をＹ方向とした場合のＸ座標、Ｙ座標およびサイズとが登録される。一部の範囲のＸ座標およびＹ座標としては、一部の範囲を矩形領域で定義した場合には、たとえばその矩形領域の左上の角の点の位置座標や、矩形領域の中心座標などを用いることができる。また、一部の範囲のサイズとしては、一部の範囲のＸ方向のサイズとＹ方向のサイズとが登録される。なお、上記一部の範囲の位置情報は、物品の全体的な外観における相対的な位置情報であって、物品の外観の一部の範囲に現れている属性情報の内容が正面方向に向いているときの位置情報とする。

また、部分特徴情報は必ずしも１つでなくてもよく、属性情報の種類および内容とその位置情報との組み合わせを複数組登録するようにしてもよい。

そして、物品マスターテーブル６３には、全ての在庫の物品の物品コードと、上述した全体画像情報、類似物品コード、属性情報および部分特徴情報とが対応付けられて登録されている。

次に、上述したような物品マスターテーブル６３を作成、登録するための物品マスターテーブル登録システム１について説明する。

本実施形態の物品マスターテーブル登録システム１は、図１に示すように、カメラ４０と、物品マスターテーブル作成装置５０と、モニタ７０とを備えている。

カメラ４０は、物品マスターテーブル６３への登録対象の物品の全体的な外観を撮影するものであり、カメラ４０によって物品の全体的な外観を撮影した画像データに基づいて、物品マスターテーブル６３に登録される全体画像情報が取得される。したがって、カメラ４０による撮影は、たとえば登録対象物品の前後左右方向から行われる。また、上記画像データに物品コードを表すバーコード画像が含まれる場合には、そのバーコード画像に基づいて、物品マスターテーブル６２に登録される物品コードが取得される。なお、登録対象物品の全体的な外観の画像データに物品コードを表すバーコード画像が含まれていない場合には、そのバーコード画像が含まれる部分がカメラ４０によって別途撮影される。また、バーコード画像をバーコードリーダによって別途読み取るようにしてもよい。なお、登録対象物品の撮影については１つの物品毎に行われる。

また、本実施形態においては、カメラ４０によって撮影された画像データを用いて登録対象の物品の全体画像情報や物品コードを取得するようにしたが、たとえば物品が書籍であるような場合には、スキャナを用いて画像データを取得するようにしてもよい。

また、物品の全体的な外観の画像データやバーコード画像を含む画像データは、必ずしもカメラによる撮影やスキャナによる光電的な読取りによって取得する必要はなく、たとえば書籍については、書籍を編集する過程において予め作成された表表紙、裏表紙および背表紙の画像データを取得し、その画像データに基づいて全体画像情報や物品コードを取得するようにしてもよい。

物品マスターテーブル作成装置５０は、図１に示すように、画像取得部５１、画像領域抽出部５２、類似判断部５３、部分領域抽出部５４、文字認識部５５、物品コード領域抽出部５６、物品コード認識部５７、属性情報取得部５８、物品属性情報データベース５９、文字一致判断部６０、マスターテーブル作成部６１、マスターデータベース６２および通信部６４を備えている。なお、本実施形態においては、部分領域抽出部５４および文字認識部５５が請求項における文字抽出部に相当し、文字一致判断部６０が請求項における文字判断部に相当する。

物品マスターテーブル作成装置５０は、コンピュータに本発明の物品マスターテーブル作成プログラムの一実施形態がインストールされたものである。そして、中央処理装置（ＣＰＵ）によって上記物品マスターテーブル作成プログラムが実行されることによって画像取得部５１、画像領域抽出部５２、類似判断部５３、部分領域抽出部５４、文字認識部５５、物品コード領域抽出部５６、物品コード認識部５７、属性情報取得部５８、物品属性情報データベース５９、文字一致判断部６０、マスターテーブル作成部６１が機能する。上記物品マスターテーブル作成プログラムは、ＣＤ−ＲＯＭなどの記録媒体に記録されたものでもよいし、インターネットを経由してサーバなどからダウンロードしたものでもよい。

画像取得部５１は、カメラ４０によって撮影された登録対象物品の画像データを取得し、これを半導体メモリやハードディスクなどの記憶媒体に一旦記憶するものである。

画像領域抽出部５２は、画像取得部５１から登録対象物品の画像データを読み出し、その画像データから物品の背景の画像データを削除することによって物品領域画像データを取得するものである。なお、物品領域画像データの取得方法については、種々の公知の方法を用いることができる。画像領域抽出部５２によって取得された物品領域画像データ（たとえば前後左右の画像データ）は、登録対象物品の全体画像情報として、マスターテーブル作成部６１に出力される。

類似判断部５３は、画像領域抽出部５２において取得された物品領域画像データを取得し、その物品領域画像データと、既に物品マスターテーブル６３に登録されている複数の物品の全体画像情報とを照合し、登録対象物品の物品領域画像データと類似する画像データを含む全体画像情報を有する物品コードを類似物品コードとして取得するものである。物品領域画像データと登録済の物品の全体画像情報との照合は、たとえばテンプレートマッチングを用いて類似度を算出することによって行うようにすればよい。類似判断部５３によって取得された類似物品コードは、登録対象物品の類似物品コードとして、マスターテーブル作成部６１に出力される。

部分領域抽出部５４は、画像領域抽出部５２によって取得された物品領域画像データが入力され、その物品領域画像データに基づいて、登録対象物品の上述した属性情報の内容が現れている可能性がある部分領域を抽出するものである。

具体的には、部分領域抽出部５４は、物品領域画像データ内において文字情報が現れている領域を部分領域として抽出する。部分領域抽出部５４は、たとえば物品領域画像データを２値化し、その２値化データに対してラベリングを施し、そのラベリングの情報に基づいて文字情報が存在すると思われる塊領域を部分領域として抽出する。なお、ここでいう文字情報には、ひらがな、カタカナ、漢字や英文字などだけでなく、数字や記号なども含まれるものとする。また、複数の文字などからなるものだけでなく、１つの文字なども含むものとする。

なお、文字情報の領域（部分領域）の抽出方法については、これに限らず、種々の公知の方法を用いることができる。また、部分領域は１つに限らず、複数の文字情報の領域が抽出された場合には、その複数の文字情報の領域を部分領域として抽出するようにしてもよい。部分領域抽出部５４によって抽出された部分領域のラベリングデータは、文字認識部５５に出力される。

文字認識部５５は、部分領域抽出部５４によって抽出された部分領域内のラベリングデータに基づいて文字認識処理を行って部分領域内に存在する文字情報を認識する。文字認識処理については既に公知であるので詳細な説明は省略する。文字認識部５５において認識された文字情報は文字一致判断部６０に出力される。

物品コード領域抽出部５６は、画像取得部５１から登録対象物品の画像データを読み出し、その画像データから物品コードを表すバーコード画像が存在する領域を物品コード領域として抽出するものである。バーコード画像が存在する領域の抽出については、所定長の線分が複数配列されている領域を抽出するようにすればよいが、その抽出方法については種々の公知の方法を用いることができる。物品コード領域抽出部５６によって抽出された物品コード領域の情報は物品コード認識部５７に出力される。

物品コード認識部５７は、入力された物品コード領域の情報に基づいて、物品コード領域内に存在するバーコード画像を認識することによって、登録対象物品の物品コードを取得するものである。物品コード認識部５７によって取得された物品コードは、登録対象物品の物品コードとして、マスターテーブル作成部６１に出力される。

属性情報取得部５８は、物品コード認識部５７において認識された物品コードを取得し、その物品コードの内容に基づいて、物品属性情報データベース５９から登録対象物品の属性情報の種類とその内容を取得するものである。属性情報の種類としては、上述したとおり、たとえば「シリーズ番号」、「巻数」、「号数」、「規格品番記号」または「製造年」などがあり、属性情報の内容とは、「シリーズ番号」、「巻数」、「号数」、「規格品番記号」または「製造年」を表す具体的な数字である。

そして、属性情報取得部５８において取得された属性情報の種類とその内容は、登録対象物品の属性情報として、マスターテーブル作成部６１に出力される。なお、登録対象物品の属性情報としては、物品コードに基づいて取得されるものに限らず、たとえばユーザによる入力部を用いた設定入力によって取得されるものでもよい。属性情報取得部５８によって取得された属性情報の内容については、文字一致判断部６０にも出力される。

物品属性情報データベース５９は、種々の物品コードによって表される属性情報の種類や内容を記憶したものである。

文字一致判断部６０は、文字認識部５５において認識された文字情報と、属性情報取得部５８から取得された属性情報の内容とを比較し、これらが一致する場合には、その文字情報によって表される属性情報の内容および種類と、その文字情報が存在する部分領域の位置情報とを、登録対象物品の部分特徴情報として、マスターテーブル作成部６１に出力するものである。具体的には、文字認識部５５において認識された文字情報と物品属性取得部５８から取得された属性情報の内容とがともに「２２２３３３」であった場合には、その「２２２３３３」と、その「２２２３３３」の属性情報の種類（たとえばシリーズ番号など）と、その「２２２３３３」の文字情報が存在する部分領域の位置情報とを、登録対象物品の部分特徴情報として物品マスターテーブル６２に登録する。一方、文字認識部５５において認識された文字情報と、属性情報取得部５８から取得された属性情報の内容とを比較し、これらが一致しない場合には、文字一致判断部６０は、その文字情報を部分特徴情報としては認識しない。

マスターテーブル作成部６１は、物品コード認識部５７から出力された登録対象物品の物品コードと、画像領域抽出部５２から出力された登録対象物品の全体画像情報と、類似判断部５３から出力された登録対象物品の類似物品コード、属性情報取得部５８から出力された登録対象物品の属性情報と、文字一致判断部６０から出力された登録対象物品の部分特徴情報とを対応付けて登録対象物品の物品マスターテーブル６３を作成し、これをマスターデータベース６２に出力して記憶させるものである。

マスターデータベース６２は、登録物品対象の物品マスターテーブル６３を記憶するものである。また、マスターデータベース６２に、物品マスターテーブル６３における各物品の全体画像情報の画像データ６３ａを記憶するようにしてもよい。

物品マスターテーブル作成装置５０における物品マスターテーブル６３は、新しい登録対象物品のテーブルが登録される度に更新されるものである。そして、物品マスターテーブル作成装置５０における物品マスターテーブル６３は、通信部６４および通信ネットワークを介して、後述する物品照合システム２の物品照合装置２０に出力され、物品マスターテーブル作成装置５０における物品マスターテーブル６３の内容が、物品照合装置２０における物品マスターテーブル２６に上書きされることによって物品照合装置２０における物品マスターテーブル２６が更新される。物品照合装置２０の物品マスターテーブル２６の更新は、物品マスターテーブル作成装置５０の物品マスターテーブル６３が更新される度に更新するようにしてもよいし、所定の期間毎に定期的に行うようにしてもよいし、ユーザによる更新指示入力に応じて任意のタイミングで行うようにしてもよい。なお、物品照合装置２０については、後で詳述する。

モニタ７０は、物品マスターテーブル６３や、画像領域抽出部５２によって取得された物品領域画像データなどを表示するものである。

次に、本実施形態の物品マスターテーブル登録システム１の作用について、図３および図４に示すフローチャートを参照しながら説明する。

まず、登録対象の物品がユーザによって所定の位置に設置される（Ｓ５０）。そして、ユーザによってカメラ４０を用いて登録対象の物品の全体的な外観が撮影される（Ｓ５２）。なお、このとき物品の全体的な外観の画像データに物品コードを表すバーコード画像が含まれていない場合には、そのバーコード画像が含まれる部分がカメラ４０によって別途撮影される。

次いで、カメラ４０によって撮影された画像データは、有線または無線によってカメラ４０に接続された物品マスターテーブル作成装置５０の画像取得部５１によって取得されて一旦記憶される。

画像取得部５１によって取得された画像データは物品コード領域抽出部５６に出力され、物品コード領域抽出部５６は、入力された画像データから物品コードを表すバーコード画像が存在する領域を物品コード領域として抽出する（Ｓ５４）。

そして、物品コード領域抽出部５６によって抽出された物品コード領域の情報は物品コード認識部５７に出力され、物品コード認識部５７は、入力された物品コード領域の情報に基づいて、物品コード領域内に存在するバーコード画像を認識し（Ｓ５６）、登録対象物品の物品コードを取得する（Ｓ５８）。物品コード認識部５７によって取得された物品コードは、登録対象物品の物品コードとして、マスターテーブル作成部６１に出力される。

次に、画像取得部５１によって取得された画像データは画像領域抽出部５２に出力され、画像領域抽出部５２は、入力された画像データから物品の背景の画像データを削除することによって物品領域画像データを取得する。そして、画像領域抽出部５２によって取得された物品領域画像データ（たとえば前後左右の画像データ）は、登録対象物品の全体画像情報として、マスターテーブル作成部６１に出力される（Ｓ６０）。

また、画像領域抽出部５２によって取得された物品領域画像データは類似判断部５３に出力され、類似判断部５３は、入力された物品領域画像データと、既に物品マスターテーブル６３に登録されている複数の物品の全体画像情報とを照合し、登録対象物品の物品領域画像データと類似する画像データを含む全体画像情報を有する物品コードを類似物品コードとして取得する（Ｓ６２）。類似判断部５３によって取得された類似物品コードは、登録対象物品の類似物品コードとして、マスターテーブル作成部６１に出力される。

次に、物品コード認識部５７において認識された物品コードが属性情報取得部５８に出力され、属性情報取得部５８は、その物品コードの内容に基づいて、物品属性情報データベース５９から登録対象物品の属性情報の種類とその内容を取得する（Ｓ６４）。そして、属性情報取得部５８において取得された属性情報の種類とその内容は、登録対象物品の属性情報として、マスターテーブル作成部６１に出力される。

そして、さらに登録対象物品について部分特徴情報が取得されるが、この部分特徴情報の取得の作用については、図４に示すフローチャートを参照しながら説明する。

まず、画像領域抽出部５２によって取得された物品領域画像データが部分領域抽出部５４に入力され、部分領域抽出部５４は、入力された物品領域画像データに基づいて、物品領域画像データ内において文字情報が現れている領域を部分領域として抽出する（Ｓ７０）。

そして、部分領域抽出部５４によって抽出された部分領域のラベリングデータが、文字認識部５５に出力され、文字認識部５５は、部分領域内のラベリングデータに基づいて文字認識処理を行って部分領域内に存在する文字情報を認識する（Ｓ７２）。文字認識部５５において認識された文字情報は文字一致判断部６０に出力される。

一方、属性情報取得部５８において物品コードに基づいて取得された属性情報の内容も文字一致判断部６０に出力される。

そして、文字一致判断部６０は、文字認識部５５において認識された文字情報と、属性情報取得部５８から取得された属性情報の内容とを比較し、これらが一致する場合には、その文字情報によって表される属性情報の内容およびその種類と、その文字情報が存在する部分領域の位置情報とを、登録対象物品の部分特徴情報として、マスターテーブル作成部６１に出力される（Ｓ７６）。一方、文字認識部５５において認識された文字情報と、属性情報取得部５８から取得された属性情報の内容とを比較し、これらが一致しない場合には、文字一致判断部６０は、その文字情報を部分特徴情報としては認識しない。

そして、マスターテーブル作成部６１は、入力された物品コード認識部５７から出力された登録対象物品の物品コードと、画像領域抽出部５２から出力された登録対象物品の全体画像情報と、類似判断部５３から出力された登録対象物品の類似物品コード、属性情報取得部５８から出力された登録対象物品の属性情報と、文字一致判断部６０から出力された登録対象物品の部分特徴情報とを対応付けて登録対象物品の物品マスターテーブル６３を作成し、これをマスターデータベース６２に出力して記憶させる（Ｓ６８）。

上述したようにして、新しい登録対象物品の物品マスターテーブル６３への登録が行われる。

上記実施形態の物品マスターテーブル登録システム２によれば、登録対象の物品の外観を表す画像を取得し、その取得した画像内における文字を抽出し、登録対象の物品の属性情報を取得し、抽出した文字と取得した属性情報とを比較し、文字が属性情報を表すものであるか否かを判断し、文字が属性情報を表すものであると判断された場合に、文字とその文字の画像内における位置情報とを含む物品マスターテーブル６３を作成するようにしたので、たとえば物品の外観の一部の文字情報に着目して物品マスターテーブル６３との照合を行う場合において、上述した物品マスターテーブル６３に含まれる位置情報を用いることによって、照合対象物品における文字の位置を適切に特定することができる。

また、物品の属性情報に基づいて物品の画像内における文字とその文字の位置情報を特定して物品マスターテーブル６３に含めるようにしたので、簡易かつ高精度に文字とその文字の位置情報とを特定して物品マスターテーブル６３に含めることができる。

次に、上述したような部分特徴情報を含む物品マスターテーブルと、陳列棚に陳列された物品を撮影した画像データとを照合することによって物品の在庫確認処理を行う物品照合システム２について説明する。図５は、物品照合システム２の概略構成を示すブロック図である。

物品照合システム２は、図５に示すように、カメラ１０と、物品照合装置２０と、モニタ３０とを備えている。

カメラ１０は、陳列棚に陳列された照合対象物品を撮影するためのものである。カメラ１０によって撮影された画像データは物品照合装置２０に出力される。なお、カメラ１０による撮影については、複数の照合対象物品をまとめて撮影する方が効率が良いが、これに限らず、単品毎にそれぞれ撮影を行うようにしてもよい。

物品照合装置２０は、図５に示すように、画像取得部２１と、単品画像抽出部２２と、第１照合部２３と、第２照合部２４と、マスターデータベース２５と、通信部２９とを備えている。

物品照合装置２０は、コンピュータに本発明の物品照合プログラムの一実施形態がインストールされたものである。そして、中央処理装置（ＣＰＵ）によって上記物品照合プログラムが実行されることによって画像取得部２１、単品画像抽出部２２、第１照合部２３、第２照合部２４および通信部２９が機能し、第１照合部２３および第２照合部２４によってマスターデータベース２５が参照される。上記物品照合プログラムは、ＣＤ−ＲＯＭなどの記録媒体に記録されたものでもよいし、インターネットを経由してサーバなどからダウンロードしたものでもよい。

画像取得部２１は、カメラ１０によって撮影された照合対象物品の画像データを取得し、これを半導体メモリやハードディスクなどの記憶媒体に一旦記憶するものである。

単品画像抽出部２２は、画像取得部２１から照合対象物品の画像データを読み出し、その画像データ内に複数の照合対象物品の画像データが含まれる場合に、１つ１つの照合対象物品の単品画像データをそれぞれ区分して抽出するものである。単品画像データの抽出については、たとえば撮影された画像データ内に含まれる矩形領域を自動的に抽出し、その１つ１つの矩形領域の画像データを単品画像データとしてもよいし、物品の外形を表すテンプレートデータを予め記憶しておき、撮影された画像データとテンプレートデータとでテンプレートマッチングを行うことによって単品画像データを抽出するようにしてもよい。なお、単品画像データの抽出については、その他の種々の公知な方法を用いることができる。

また、撮影された画像データに１つの照合対象物品の画像データしか含まれていない場合には、撮影された画像データをそのまま単品画像データとしてもよいし、撮影された画像データから物品の背景の画像データを除去したものを単品画像データとして抽出するようにしてもよい。

第１照合部２３および第２照合部２４は、単品画像抽出部２２から出力された単品画像データと、マスターデータベース２５に予め登録された物品マスターテーブル２６とに基づいて、照合対象物品の照合処理を行うものである。なお、マスターデータベース２５に登録された物品マスターテーブル２６は、上述した物品マスターテーブル登録システム１によって作成された物品マスターテーブル６３を通信ネットワークおよび通信部２９を介して取得することによって登録および更新されるものである。

第１照合部２３は、単品画像抽出部２２から出力された照合対象物品の単品画像データと、物品マスターテーブル２６に登録されている各物品の全体画像情報とを用いて第１の照合処理を行うものである。

第１の照合処理は、たとえば照合対象物品の単品画像データと、物品マスターテーブル２６の各物品の画像データとのテンプレートマッチングによって行われる。具体的には、たとえば所定の相関関数を用いて照合対象物品の単品画像データと、物品マスターテーブル２６の各物品の画像データとの類似度を算出し、その類似度が所定の基準値よりも高い画像データを含む全体画像情報の物品を物品マスターテーブル２６から抽出する。なお、第１の照合処理としては、上述したようなテンプレートマッチングに限らず、その他の公知の照合処理を用いるようにしてもよい。

第２の照合部２４は、上述した第１の照合処理によって物品マスターテーブル２６から複数の物品候補が抽出された場合に、さらにその複数の物品候補からの絞り込みを行うために第２の照合処理を行うものである。第２の照合処理は、第１の照合処理によって抽出された複数の物品候補の部分特徴情報に含まれる属性情報と、上記部分特徴情報に含まれる位置情報に対応する照合対象物品の単品画像データの一部とを比較することによって行われる。なお、第２の照合処理については、後で詳述する。

マスターデータベース２５は、上述した物品マスターテーブル２６とともに、図５に示すような照合結果在庫テーブル２７および管理在庫テーブル２８を記憶するものである。

照合結果在庫テーブル２７は、図６に示すように、各物品コードとその物品コードによって特定される物品の在庫数とが対応付けられたものである。そして、照合結果在庫テーブル２７は、上述した第１の照合部２３または第２の照合部２４における照合処理の結果に基づいて更新されるものである。具体的には、照合処理によって所定の照合対象物品に対応する１つの物品が物品マスターテーブル２６から抽出された際、照合結果在庫テーブル２７におけるその物品の物品コードの在庫数が１つインクリメントされて照合結果在庫テーブル２７が更新される。

管理在庫テーブル２８も、照合結果在庫テーブル２７と同様に、各物品コードとその物品コードによって特定される物品の在庫数とが対応付けられたものであるが、管理在庫テーブル２８は、店舗や図書館などに物品が搬入および搬出される毎に更新されるものである。具体的には、管理在庫テーブル２８は、店舗や図書館などに物品が搬入される度に、その物品の物品コードに対応する在庫数が１つインクリメントされ、かつ物品が搬出される度に、その物品の物品コードに対応する在庫数が１つデクリメントされて更新されるものである。なお、店舗における物品の搬入とは物品が入荷されたことを意味し、物品の搬出とはその物品が売れて持ち出されたことを意味する。

つまり、管理在庫テーブル２８は、店舗や図書館などにおいて管理されている物品の在庫状況を表すものであり、照合結果在庫テーブル２７は、実際に店舗や図書館内に存在する物品の在庫状況を表すものである。管理在庫テーブル２８と照合結果在庫テーブル２７とは、本来、上述した照合処理が終了した時点において一致するものである。しかしながら、たとえば物品が盗まれたり、物品の搬入や搬出の時点において管理在庫テーブル２８の更新にミスがあったりした場合にはこれらのテーブルは一致しないことになる。照合結果在庫テーブル２７と管理在庫テーブルとはモニタ３０に表示されるものである。

通信部２９は、インターネットやＬＡＮなどの通信ネットワークを介して後述する物品マスターテーブル登録システム１と通信を行うものであり、上述したように物品マスターテーブル登録システム１において作成された物品マスターテーブル２６を通信ネットワークを介して取得し、マスターデータベース２５に出力するものである。

モニタ３０は、上述したように照合結果在庫テーブル２７や管理在庫テーブル２８を表示するものであるが、その他にも物品マスターテーブル２６や、画像取得部２１によって取得された画像データや、単品画像抽出部２２において抽出された単品画像データなども表示するものである。

次に、本実施形態の物品照合システム２の作用について、図７に示すフローチャートを参照しながら説明する。

まず、陳列棚に陳列された複数の照合対象の物品がユーザによって整理される（Ｓ１０）。これは、上述したような物品の撮影画像データに基づく照合処理が適切に行われるように実施される作業である。このとき照合対象の各物品は、上述した各物品の部分特徴情報に含まれる属性情報が正面方向に向くように整理されるが、ユーザが部分特徴情報の属性情報の内容を把握していない場合には、物品の外観の一部に現れている所定の文字列が正面方向に向くように整理される。

次に、上述したような物品の整理が終了した後、ユーザによってカメラ１０を用いて陳列棚に並んだ物品の撮影が行われる（Ｓ１２）。具体的には、たとえば図８に示すように、陳列棚２００の所定の棚に陳列された複数の照合対象の物品１０１〜１０５が含まれるようにカメラ１０の撮影範囲が設定されて撮影が行われる。なお、撮影範囲については、図８に示すような撮影範囲に限らず、たとえば一段の棚に陳列された複数の物品の全てが含まれるように撮影範囲を設定するようにしてもよいし、陳列棚２００全体が含まれるように撮影範囲を設定するようにしてもよい。

そして、カメラ１０によって撮影された画像データは、有線または無線によってカメラ１０に接続された物品照合装置２０の画像取得部２１によって取得されて一旦記憶される（Ｓ１４）。

次いで、画像取得部２１に記憶された画像データは単品画像抽出部２２によって読み出され、単品画像抽出部２２は、読み出した画像データから１つ１つの照合対象物品の単品画像データをそれぞれ区分して抽出する（Ｓ１６）。

そして、単品画像抽出部２２によって抽出された単品画像データは第１照合部２３に出力され、第１照合部２３は、入力された単品画像データを用いて第１の照合処理を行う（Ｓ１８）。

第１照合部２３は、具体的には、単品画像データと、物品マスターテーブル２６に登録されている各物品の全体画像情報の画像データとのテンプレートマッチングを行い、類似度が所定の基準値よりも高い画像データを含む全体画像情報の物品を、該当する物品候補として抽出する。

そして、この第１の照合処理によって１つの物品候補のみが抽出された場合には（Ｓ２０，ＹＥＳ）、その物品候補の物品マスターテーブル２６の情報をモニタ３０に表示する（Ｓ２８）。次いで、モニタ３０に表示された情報がユーザによって確認され、該当物品であることが確認された場合には、ユーザによって所定の入力部を用いて照合結果在庫テーブル２７を更新するように指示入力が行われ、第１照合部２３は、その指示入力に応じて照合結果在庫テーブル２７における該当物品の物品コードに対応する在庫数を１つインクリメントして照合結果在庫テーブル２７を更新する（Ｓ３０）。

一方、第１の照合処理によって複数の物品候補が抽出された場合には（Ｓ２０，ＮＯ、Ｓ２２，ＹＥＳ）、第２照合部２４において、抽出された複数の物品候補の部分特徴情報と、単品画像データの一部とに基づいて第２の照合処理が行われる（Ｓ２４）。

ここで、第２の照合処理について、図９に示すフローチャートを参照しながら詳細に説明する。

第２の照合処理においては、まず、複数の物品候補のそれぞれについて、物品マスターテーブル２６を参照して部分特徴情報が取得される（Ｓ４０）。

次に、複数の物品候補のうちの所定の物品候補の部分特徴情報に含まれる位置情報と属性情報とが取得される（Ｓ４２）。そして、その取得した位置情報が、たとえばＸ座標がＸ１、Ｙ座標がＹ１、サイズがＷ１×Ｈ１である場合には、図１０に示すように、位置情報によって示される矩形領域が単品画像データ上に対応付けられ、その矩形領域内の単品画像データの一部と、部分特徴情報に含まれる属性情報の内容とが照合される（Ｓ４４）。具体的には、たとえば、部分特徴情報に含まれる属性情報の種類が「シリーズ番号」、「巻数」、「号数」、「規格品番号記号」または「製造年」であって、その属性情報の内容がこれらの属性情報を表す数字である場合には、上述した矩形領域内の単品画像データの一部にその数字が含まれているか否かを認識することによって照合が行われる。そして、矩形領域内の単品画像データの一部にその数字が含まれていた場合には、その物品候補が該当物品であるとする。上記のような第２の照合処理を複数の物品候補の全てについて行う。また、１つの物品候補について複数の部分特徴情報が登録されている場合には、その全ての部分特徴情報について上述した照合が行われる。

そして、図７に示すフローチャートに戻り、上述した第２の照合処理によって１つの物品候補が抽出された場合には（Ｓ２６，ＹＥＳ）、その物品候補の物品マスターテーブル２６の情報をモニタ３０に表示する（Ｓ２８）。次いで、モニタ３０に表示された情報がユーザによって確認され、該当物品であることが確認された場合には、ユーザによって所定の入力部を用いて照合結果在庫テーブル２７を更新するよう指示入力が行われ、第２照合部２４は、その指示入力に応じて照合結果在庫テーブル２７における該当物品の物品コードに対応する在庫数を１つインクリメントして照合結果在庫テーブルを更新する（Ｓ３０）。

一方、第２の照合処理によって１つの物品候補が抽出されなかった場合には（Ｓ２６，ＮＯ）、該当物品を抽出することができなかった旨がモニタ３０に表示される（Ｓ３２）。そして、モニタ３０を確認したユーザは、照合対象物品の外観や商品コードなどを手作業によって直接確認し（Ｓ３４）、その確認した結果に基づいて照合結果在庫テーブル２７を更新する（Ｓ３０）。

なお、第２の照合処理によって１つの物品候補が抽出されなかった場合に限らず、上述した第１の照合処理において該当する物品候補が抽出されなかった場合においても、該当する物品候補を抽出することができなかった旨がモニタ３０に表示され（Ｓ３２）、モニタ３０を確認したユーザによって照合対象物品の外観や商品コードなどが手作業によって直接確認され（Ｓ３４）、その確認した結果に基づいて照合結果在庫テーブル２７が更新される（Ｓ３０）。

そして、全ての照合対象物品の単品画像データについて、上述したような第１の照合処理と第２の照合処理とが同様にして行われ、照合結果在庫テーブル２７が更新される。なお、本実施形態においては、上述したように１つの照合対象物品の第１および第２の照合処理が行われる度に、照合結果在庫テーブル２７を更新するようにしたが、これに限らず、全ての照合対象物品の第１および第２の照合処理が終了した後に、その結果に基づいて、全ての照合対象物品の照合結果在庫テーブル２７の更新をまとめて行うように指示入力してもよい。

なお、全ての照合対象物品の照合が終了した時点において、照合結果在庫テーブル２７の在庫数と管理在庫テーブル２８の在庫数とを比較し、在庫数が異なるものがある場合には、その旨を示す情報をモニタ３０に表示するようにしてもよい。

なお、上記物品照合システム２における照合処理方法は、上記物品マスターテーブル２６を用いた照合処理方法の一例であって、上記物品マスターテーブル２６は、その他の照合処理方法にも用いることができるものである。

１ 物品マスターテーブル登録システム
２ 物品照合システム
１０ カメラ
２０ 物品照合装置
２１ 画像取得部
２２ 単品画像抽出部
２３ 第１照合部
２４ 第２照合部
２５ マスターデータベース
２６ 物品マスターテーブル
２７ 照合結果在庫テーブル
２８ 管理在庫テーブル
４０ カメラ
５０ 物品マスターテーブル作成装置
５１ 画像取得部
５２ 画像領域抽出部
５３ 類似判断部
５４ 部分領域抽出部
５５ 文字認識部
５６ 物品コード領域抽出部
５７ 物品コード認識部
５８ 属性情報取得部
５９ 物品属性情報データベース
６０ 文字一致判断部
６１ マスターテーブル作成部
６２ マスターデータベース
６３ 物品マスターテーブル

Claims (11)

1. 登録対象の物品の外観を表す画像を取得する画像取得部と、
   該画像取得部によって取得された画像内における文字を抽出する文字抽出部と、
   前記登録対象の物品の属性情報を取得する属性情報取得部と、
   前記文字抽出部によって抽出された文字と、前記属性情報取得部によって取得された属性情報とを比較し、前記文字が前記属性情報を表すものであるか否かを判断する文字判断部と、
   該文字判断部によって前記文字が前記属性情報を表すものであると判断された場合に、前記文字と該文字の前記画像内における位置情報とを含む前記登録対象の物品の物品マスターテーブルを作成するマスターテーブル作成部とを備えたことを特徴とする物品マスターテーブル作成装置。
2. 前記登録対象の物品を識別するための識別情報を取得する識別情報取得部を備え、
   前記属性情報取得部が、前記識別情報に基づいて前記属性情報を取得するものであることを特徴とする請求項１記載の物品マスターテーブル作成装置。
3. 前記画像取得部が、前記識別情報を含む前記登録対象の物品の画像を取得するものであり、
   前記識別情報取得部が、前記識別情報を含む画像に基づいて、前記識別情報を取得するものであることを特徴とする請求項２記載の物品マスターテーブル作成装置。
4. 前記マスターテーブル作成部が、前記識別情報と、前記属性情報を表す文字および該文字の前記画像内における位置情報とを対応付けて前記物品マスターテーブルを作成するものであることを特徴とする請求項２または３記載の物品マスターテーブル作成装置。
5. 前記マスターテーブル作成部が、前記文字が現れている部分のサイズも含めて前記物品マスターテーブルを作成するものであることを特徴とする請求項１から４いずれか１項記載の物品マスターテーブル作成装置。
6. 前記属性情報が、シリーズ番号、巻数、号数、規格品番記号、メーカ、出版社、製造年発行年、著作者のうちの少なくとも１つであることを特徴とする請求項１から５いずれか１項記載の物品マスターテーブル作成装置。
7. 前記位置情報が、前記文字を囲む矩形領域の位置情報であることを特徴とする請求項１から６いずれか１項記載の物品マスターテーブル作成装置。
8. 前記マスターテーブル作成部が、前記登録対象の物品の外観を表す画像も含めて前記物品マスターテーブルを作成するものであることを特徴とする請求項１から７いずれか１項記載の物品マスターテーブル作成装置。
9. 前記物品が、化粧品、書籍および所定の情報を記録した記録媒体商品のいずれかであることを特徴とする請求項１から８いずれか１項記載の物品マスターテーブル作成装置。
10. 登録対象の物品の外観を表す画像を取得し、
    該取得した画像内における文字を抽出し、
    前記登録対象の物品の属性情報を取得し、
    前記抽出した文字と前記取得した属性情報とを比較し、前記文字が前記属性情報を表すものであるか否かを判断し、
    前記文字が前記属性情報を表すものであると判断された場合に、前記文字と該文字の前記画像内における位置情報とを含む前記登録対象の物品の物品マスターテーブルを作成することを特徴とする物品マスターテーブル作成方法。
11. コンピュータを、登録対象の物品の外観を表す画像を取得する画像取得部と、
    該画像取得部によって取得された画像内における文字を抽出する文字抽出部と、
    前記登録対象の物品の属性情報を取得する属性情報取得部と、
    前記文字抽出部によって抽出された文字と、前記属性情報取得部によって取得された属性情報とを比較し、前記文字が前記属性情報を表すものであるか否かを判断する文字判断部と、
    該文字判断部によって前記文字が前記属性情報を表すものであると判断された場合に、前記文字と該文字の前記画像内における位置情報とを含む前記登録対象の物品の物品マスターテーブルを作成するマスターテーブル作成部として機能させることを特徴とする物品マスターテーブル作成プログラム。

Images