JP2016112059A

JP2016112059A - 商品管理装置及びプログラム

Info

Publication number: JP2016112059A
Application number: JP2014251158A
Authority: JP
Inventors: 勇太佐々木; Yuta Sasaki
Original assignee: Toshiba TEC Corp
Current assignee: Toshiba TEC Corp
Priority date: 2014-12-11
Filing date: 2014-12-11
Publication date: 2016-06-23
Anticipated expiration: 2034-12-11
Also published as: JP6239492B2

Abstract

【課題】回転寿司等の店舗において、商品の管理を効率的に行うことが可能な商品管理装置及びプログラムを提供する。【解決手段】商品が搬送される搬送路上を撮像する撮像装置から撮像画像を取り込む取込手段と、前記取込手段が取り込んだ撮像画像から前記商品を表す商品領域を検出する商品検出手段と、前記商品領域に表された商品の状態が所定の適正状態にあるかを判定する判定手段と、前記判定手段が不適正状態と判定した場合に報知を行う報知手段と、を備える。【選択図】図５

Description

本発明の実施形態は、商品管理装置及びプログラムに関する。

従来、回転寿司と呼ばれる寿司店が存在している。係る店舗では、商品である寿司を皿に載せ、厨房や客席に接するように設けられた回転レーン上に載置することで、客席に寿司を循環搬送している。

ところで、上記の店舗では、回転レーン上にある寿司が不適正な状態で搬送される場合がある。例えば、循環搬送される中で、寿司の形が崩れたり、寿司ネタの鮮度が劣化したりすることで、適正な状態から逸脱した不適正な状態となる場合がある。また、寿司の製造時において、トッピングに間違いがあるような場合、当該寿司は不適正な状態で搬送されることになる。このような場合、店舗側では、不適正な状態の寿司を回転レーン上から取り除く等することで対応する必要がある。しかしながら、従来の構成では、店員が回転レーン上の各寿司を監視することになるため労力が大きく、見落としが発生する可能性もあった。

本発明が解決しようとする課題は、回転寿司等の店舗において、商品の管理を効率的に行うことが可能な商品管理装置及びプログラムを提供することである。

実施形態の商品管理装置は、取込手段と、商品検出手段と、判定手段と、報知手段とを備える。取込手段は、商品が搬送される搬送路上を撮像する撮像装置から撮像画像を取り込む。商品検出手段は、前記取込手段が取り込んだ撮像画像から前記商品を表す商品領域を検出する。判定手段は、前記商品領域に表された商品の状態が所定の適正状態にあるかを判定する。報知手段は、前記判定手段が不適正状態と判定した場合に報知を行う。

図１は、実施形態に係る店舗システムを模式的に示す図である。図２は、商品管理装置のハードウェア構成の一例を示すブロック図である。図３は、第１辞書ファイルのデータ構成の一例を模式的に示す図である。図４は、第２辞書ファイルのデータ構成の一例を模式的に示す図である。図５は、商品管理装置の機能構成の一例を示すブロック図である。図６は、商品管理装置が行う商品管理処理の手順を示すフローチャートである。図７は、店舗システムの他の構成例を模式的に示す図である。

以下では、回転寿司と呼ばれる寿司店（店舗）で用いられる商品管理装置及びプログラムについて、図面を参照して説明する。

図１は、本実施形態に係る店舗システム１を模式的に示す図である。図１に示すように、店舗システム１は、搬送装置１０と、カメラ２０と、報知装置３０と、商品管理装置４０とを有する。ここで、カメラ２０、報知装置３０及び商品管理装置４０は、図示しない通信回線を介して通信可能に接続される。

搬送装置１０は、本店舗での商品となる寿司を搬送するための搬送装置である。搬送装置１０は、略Ｕ字状に形成された循環型の搬送路（回転レーン）１０ａを有する。この回転レーン１０ａのうち、一部がバックヤードＲ１に配設され、他の部分が客室Ｒ２に配設される。

バックヤードＲ１では、主に商品となる寿司等の製造が行われる。このバックヤードＲ１において、店員は、製造した寿司を搬送体となる皿Ｄに載せ、この皿Ｄを回転レーン１０ａ上に載置する。また、客室Ｒ２には、回転レーン１０ａに沿ってカウンターテーブル等の客席（図示せず）が設けられる。搬送装置１０は、回転レーン１０ａ上に載置された皿Ｄを図中矢印方向に搬送することで、商品を客席に循環配送する。なお、搬送装置１０の搬送については、公知の技術を用いるものとする。また、回転レーン１０ａの形状は図１に限定されないものとする。

カメラ２０は、カラーＣＣＤ（Charge Coupled Device）やカラーＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を備えた撮像装置である。カメラ２０は、バックヤードＲ１側において、例えば客室Ｒ２との境界部分に設けられ、回転レーン１０ａを上方から撮像する。つまり、カメラ２０は、回転レーン１０ａ上に載置された皿Ｄを上方から撮像する。カメラ２０は、例えば３０ｆｐｓ等のフレームレートで動画像を撮像し、撮像画像として商品管理装置４０に送信する。なお、本実施形態では、カメラ２０を２台備える構成としたが、カメラ２０の台数は特に問わないものとする。また、本実施形態では、カメラ２０をバックヤードＲ１側に設ける構成としたが、これに限らず、客室Ｒ２側に設ける構成としてもよい。

報知装置３０は、バックヤードＲ１等に設けられる報知装置である。具体的に、報知装置３０は、商品管理装置４０の制御に従い動作することで、不適正な商品が存在することを店員に報知する。なお、報知装置３０の報知方法は特に問わないものとする。例えば、報知装置３０を電光掲示版や表示装置とすることで、メッセージや画像の出力により報知を行う構成としてもよい。また、報知装置３０をブザーやスピーカ等の音声出力装置とすることで、音声の出力により報知を行う構成としてもよい。

商品管理装置４０は、バックヤードＲ１等に設けられるＰＣ（Personal Computer）等の情報処理装置である。商品管理装置４０は、カメラ２０で撮像された商品（寿司等）の画像に基づき、回転レーン１０ａによって搬送される商品の状態を管理する。以下、商品管理装置４０について説明する。

図２は、商品管理装置４０のハードウェア構成の一例を示すブロック図である。商品管理装置４０は、情報処理を実行する情報処理部としてのマイクロコンピュータ４１を備える。マイクロコンピュータ４１は、主にＣＰＵ（Central Processing Unit）４２と、ＲＯＭ（Read Only Memory）４３と、ＲＡＭ（Random Access Memory）４４とにより構成される。ＲＯＭ４３は、ＣＰＵ４２が実行可能な各種プログラムを記憶する。ＲＡＭ４４は、商品管理装置４０の主記憶装置である。

また、商品管理装置４０のＣＰＵ４２には、通信部４５が接続される。通信部４５は、ＣＰＵ４２の制御の下、カメラ２０や報知装置３０との間でデータ通信を行う。

また、商品管理装置４０のＣＰＵ４２には、ＨＤＤやＳＳＤ等の記憶部４６が接続される。記憶部４６は、ＣＰＵ４２が実行可能な各種プログラムや各種ファイルを記憶する。また、記憶部４６は、商品を載置する各皿Ｄの特徴量を格納した第１辞書ファイルＦ１と、各商品の特徴量を格納した第２辞書ファイルＦ２とを記憶する。

図３は、第１辞書ファイルＦ１のデータ構成の一例を模式的に示す図である。第１辞書ファイルＦ１は、皿識別子に関連付けて、皿特徴量を記憶する。皿識別子は、皿の種別毎にユニークに割り当てられた識別子である。一般的に、回転寿司店においては、商品毎に価格がランク分けされており、当該価格毎に異なる模様の皿Ｄを用いて商品を搬送している。そこで、第１辞書ファイルＦ１の皿識別子には、商品の搬送に用いる皿Ｄの種別毎に、当該種別を識別可能な識別子が格納される。また、皿特徴量は、皿Ｄの形状や皿Ｄの模様等、各皿Ｄが有する外観上の特徴をパラメータ化したデータである。

図４は、第２辞書ファイルＦ２のデータ構成の一例を模式的に示す図である。第２辞書ファイルＦ２は、各商品に関する情報を格納する。具体的に、第２辞書ファイルＦ２は、各商品の商品識別子に関連付けて、当該商品の品目を表す商品名、皿識別子、第１商品特徴量及び第２商品特徴量等を記憶する。

ここで、商品識別子は、商品の種別毎に割り当てられた固有の識別子である。皿識別子は、商品を載置する皿Ｄの皿識別子である。第１商品特徴量は、商品の色合い、つや、模様、凹凸状況等、商品を構成する食材の外観上（表面）の特徴をパラメータ化したデータである。この第１商品特徴量は、主に商品の種別を特定するのに用いられる。また、第２商品特徴量は、商品を皿Ｄに載置した際の、当該商品の形やレイアウト、トッピング等の外形上の特徴をパラメータ化したデータである。この第２商品特徴量は、主に商品が所定の外形（適正外形）で皿Ｄに載置されているか否かを判定するのに用いられる。なお、第１商品特徴量及び第２商品特徴量は、適正な状態の商品に基づき作成されたものであるとする。

次に、図５を参照して、商品管理装置４０の機能構成について説明する。図５は、商品管理装置４０の機能構成の一例を示すブロック図である。商品管理装置４０は、ＣＰＵ４２と、ＲＯＭ４３や記憶部４６に記憶されたプログラムとの協働により、画像取込部４１１、皿検出部４１２、商品特定部４１３、外形判定部４１４、商品管理部４１５及び報知処理部４１６を、機能部として備える。

画像取込部４１１は、通信部４５を介して、カメラ２０が撮像した撮像画像の取り込みを行う機能部である。具体的に、画像取込部４１１は、図示しない通信回線を介して、カメラ２０が撮像した撮像画像を順次取り込み、ＲＡＭ４４上に保存する。

皿検出部４１２は、パターンマッチング技術等の公知技術を用いることで、画像取込部４１１により取り込まれた撮像画像内から皿Ｄ等を表す領域を検出する。ここで、皿検出部４１２の検出方法は特に問わないものとする。

例えば、皿検出部４１２は、撮像画像から抽出した輪郭線と、第１辞書ファイルＦ１の皿特徴量に定義された形状とを比較する。そして、皿検出部４１２は、皿特徴量の形状に合致した撮像画像中の領域を、皿領域として検出する。また、皿検出部４１２は、皿領域内に表された模様と、第１辞書ファイルＦ１の皿特徴量に定義された模様とを比較し、合致する模様を特定する。そして、皿検出部４１２は、皿領域から合致した模様を取り除いた残りの領域を商品領域として検出する。また、皿検出部４１２は、皿領域の模様に合致した皿特徴量の模様の皿識別子を、皿Ｄの種別として特定する。

商品特定部４１３は、画像取込部４１１により取り込まれた撮像画像から、当該撮像画像に含まれた商品を特定する。具体的に、商品特定部４１３は、皿検出部４１２で検出された商品領域から、外観上（表面）の特徴を表すデータを第１商品特徴量として抽出する。商品特定部４１３は、商品領域から抽出した第１商品特徴量と、第２辞書ファイルＦ２に登録された各登録商品の第１商品特徴量とを比較し、類似度をそれぞれ算出する。ここで、類似度は、撮像画像中の商品と、各登録商品とがどの程度類似しているかを定量的に示すものである。なお、商品特定部４１３は、皿検出部４１２で特定された皿識別子に基づき、当該皿識別子に関連付けられた各登録商品の第１商品特徴量を比較の対象として、類似度を算出する。そして、商品特定部４１３は、算出した類似度のうち、所定の閾値を上回り、且つ類似度の最も高い登録商品を、商品領域に表された商品の品目として特定（認識）する。

このように画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれる。一般物体認識については、例えば下記の文献において各種認識技術が解説されている。
柳井啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６、[平成２４年９月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >

また、画像をオブジェクト毎に領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２４年９月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.30４６&rep=rep1&type=pdf >

なお、類似度の算出方法は特に問わないものとする。例えば、類似度は、絶対評価として算出してもよいし、相対評価として算出してもよい。類似度を絶対評価として算出する場合は、撮像画像中の商品の第１商品特徴量と、第２辞書ファイルＦ２に登録された各第１商品特徴量とを１対１で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、類似度を相対評価として算出する場合には、類似度の総和が１００％となるよう算出すればよい。

外形判定部４１４は、パターンマッチング技術等の公知技術を用いることで、撮像画像に含まれた商品の外形が、適正か否かを判定する。具体的に、外形判定部４１４は、皿検出部４１２で検出された皿領域及び商品領域から、当該領域に存在する商品の形やレイアウト、トッピング等の外形上の特徴を第２商品特徴量として抽出する。また、外形判定部４１４は、商品特定部４１３が特定した登録商品の第２商品特徴量を第２辞書ファイルＦ２から読み出す。そして、外形判定部４１４は、皿領域から抽出した第２商品特徴量と、第２辞書ファイルＦ２から読み出した第２商品特徴量とを比較することで、商品の外形が合致するか否かを判定する。ここで、外形判定部４１４の判定結果が合致を示す場合、商品の外形が適正状態にあることを意味する。

商品管理部４１５は、皿検出部４１２〜外形判定部４１４の処理結果に基づき、回転レーン１０ａ上を搬送される各商品の管理を行う機能部である。具体的に、商品管理部４１５は、皿検出部４１２〜外形判定部４１４の処理結果に基づき、各商品が適正な状態にあるか否かを判定する。例えば、報知処理部４１６は、以下に示す処理結果（第１の処理結果、第２の処理結果、第３の処理結果）の場合に、商品が不適正状態にあると判定する。

第１の処理結果としては、皿検出部４１２が皿領域を検出したにも関わらず、当該皿検出部４１２が商品領域を検出できない場合が挙げられる。また、第２の処理結果としては、皿検出部４１２が検出した商品領域から、商品特定部４１３が商品を特定できない場合が挙げられる。これらの処理結果が生じる原因としては、皿Ｄの上に商品が載置されていないことや、鮮度の劣化等により商品が本来有する特徴（色やつや等）が失われたことが考えられる。また、皿Ｄと商品との組み合わせが間違っていることが考えられる。そこで、商品管理部４１５は、第１又は第２の処理結果となった場合に、商品が不適正状態にあると判定する。

また、第３の処理結果としては、商品特定部４１３が商品を特定したにも関わらず、外形判定部４１４が相違と判定した場合が挙げられる。第３の処理結果が生じる原因としては、皿Ｄに載置された商品の形やレイアウトが崩れていることや、トッピングに間違いがある可能性がある。そこで、商品管理部４１５は、第３の処理結果となった場合、商品が不適正状態にあると判定する。

報知処理部４１６は、図示しない通信回線を介して報知装置３０を制御し、報知を行う機能部である。具体的に、報知処理部４１６は、商品管理部４１５が不正行為と判定した場合、報知装置３０を動作させることで、商品が不適正状態にあることを店員に報知する。なお、報知処理部４１６は、処理結果（第１〜第３の処理結果）に応じて、報知するメッセージ等や報知方法を切り替える構成としてもよい。これにより、店員は、報知内容を確認することで商品の状態を把握できるため、商品管理に係る利便性を向上させることができる。

以下、図６を参照して、商品管理装置４０が行う商品管理処理について説明する。ここで、図６は、商品管理装置４０が行う商品管理処理の手順を示すフローチャートである。

まず、画像取込部４１１は、カメラ２０で撮像される撮像画像を順次取り込む（ステップＳ１１）。皿検出部４１２は、ステップＳ１１で順次取り込まれる撮像画像から、皿領域を検出するまで待機する（ステップＳ１２；Ｎｏ）。皿検出部４１２は、皿領域を検出すると（ステップＳ１２；Ｙｅｓ）、当該皿領域から商品領域を検出できたか否かを判定する（ステップＳ１３）。ここで、皿検出部４１２が商品領域を検出できない場合（ステップＳ１３；Ｎｏ）、商品管理部４１５は、商品が不適正状態にあると判定し、ステップＳ１９を実行させる。

一方、皿検出部４１２が、商品領域を検出した場合には（ステップＳ１３；Ｙｅｓ）、ステップＳ１４に移行する。なお、画像取込部４１１は、皿領域を検出する際に、皿種別（皿識別子）の特定も行うものとする。

続いて、商品特定部４１３は、ステップＳ１２で検出された商品領域から第１商品特徴量を抽出する（ステップＳ１４）。次いで、商品特定部４１３は、抽出した第１商品特徴量と、第１辞書ファイルＦ１に登録された各登録商品の第１商品特徴量とを比較し、類似度を算出する（ステップＳ１５）。そして、商品特定部４１３は、ステップＳ１４で算出した類似度に基づき、商品（品種）の特定を行う（ステップＳ１６）。なお、商品特定部４１３は、ステップＳ１２で特定された皿識別子に基づき、当該皿識別子が関連付けられた登録商品の第１特徴量と比較を行うものとする。

商品特定部４１３が商品を特定できなかった場合（ステップＳ１６；Ｎｏ）、商品管理部４１５は、商品が不適正状態にあると判定し、ステップＳ１９を実行させる。

また、商品特定部４１３が商品を特定した場合（ステップＳ１６；Ｙｅｓ）、外形判定部４１４は、商品領域に表された商品の外形に係る特徴を第２商品特徴量として抽出する（ステップＳ１７）。続いて、外形判定部４１４は、ステップＳ１７で抽出した第２商品特徴量が、ステップＳ１５で特定された商品の第２商品特徴量に合致するか否かを判定する（ステップＳ１８）。

外形判定部４１４の判定結果が相違を示す場合（ステップＳ１８；Ｎｏ）、商品管理部４１５は、商品が不適正状態にあると判定し、ステップＳ１９を実行させる。

ステップＳ１９では、報知処理部４１６が、報知装置３０を用いて報知を行い（ステップＳ１９）、ステップＳ１２に戻る。また、外形判定部４１４の判定結果が合致を示す場合には（ステップＳ１８；Ｙｅｓ）、商品管理部４１５は、商品が適正状態にあると判定し、ステップＳ１２に戻る。

以上のように、本実施形態の商品管理装置４０は、回転レーン１０ａ上を搬送される商品の中から不適正状態の商品を検出し、その旨を店員に報知する。これにより、商品状態の監視に係る店員の労力を省くことができ、不適正状態の商品が搬送され続けてしまう事態を防ぐことができるため、商品の管理を効率的に行うことが可能となる。

以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加、組み合せ等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば、上記実施形態の商品管理装置４０では、商品が不適正な状態にあると判定した場合に報知を行う構成としたが、これに限らないものとする。例えば、商品管理装置４０は、商品が不適正な状態にあると判定した場合に、当該商品を回転レーン１０ａ上から排除する構成としてもよい。この構成を採用する場合、店舗システム１は、図７に示すように、排除装置５０を更に備える。

ここで、図７は、店舗システム１の他の構成例（変形例）を示す図である。排除装置５０は、バックヤードＲ１側において、回転レーン１０ａの一側に設けられる。排除装置５０は、図示しない通信回線を介して商品管理装置４０に接続されており、商品管理装置４０の制御に従い動作する。具体的に、排除装置５０は、回転レーン１０ａ上に載置された皿Ｄ（商品）を他側（図中矢印方向）へと押し出すことで、当該皿Ｄを回転レーン１０ａ上から排除する。なお、排除装置５０は、回転レーン１０ａの搬送方向において、カメラ２０が撮像する回転レーン１０ａ上の領域の後段に設置することが好ましい。

一方、商品管理装置４０では、商品管理部４１５が、報知対象となる処理結果を検知すると、報知装置３０を用いて報知するとともに、排除装置５０を用いることで該当する商品を回転レーン１０ａ上から排除する。具体的に、商品管理部４１５は、報知対象となる処理結果を検出すると、その処理の対象となった商品が排除装置５０の設置位置に搬送されたタイミングで排除装置５０を動作させる。なお、排除装置５０を動作させるタイミングは、排除装置５０の設置位置や回転レーン１０ａの搬送速度等に応じて、予め定められているものとする。これにより、不適正な状態の商品を回転レーン１０ａ上から排除することができるため、商品管理に係る店員の労力を削減することができる。

なお、本変形例では、商品管理部４１５が、排除装置５０を制御する構成としたが、これに限らず、排除装置５０の制御を行う専用の機能部を備えてもよい。

また、上記実施形態では、店舗の一例として回転寿司を例に挙げたが、これに限らず、寿司以外の商品を取り扱う他の店舗に適用してもよい。なお、搬送路は循環型か否かを問わないものとする。

また、上記実施形態の各装置で実行されるプログラムは、各装置が備える記憶媒体（ＲＯＭ又は記憶部）に予め組み込んで提供するが、これに限らないものとする。例えば、プログラムは、インストール可能な形式又は実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して提供してもよい。係る記憶媒体は、例えばＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等が挙げられる。更に、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らないものとする。例えば、記憶媒体は、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードすることで、記憶又は一時記憶した記憶媒体も含まれる。

また、上記各実施形態の各装置で実行されるプログラムは、インターネット等のネットワーク経由で提供又は配布する構成としてもよい。

１店舗システム
１０搬送装置
１０ａ回転レーン
２０カメラ
３０報知装置
４０商品管理装置
５０排除装置
４１１画像取込部
４１２皿検出部
４１３商品特定部
４１４外形判定部
４１５商品管理部
４１６報知処理部

特開２００６−２０８８１号公報

Claims

商品が搬送される搬送路上を撮像する撮像装置から撮像画像を取り込む取込手段と、
前記取込手段が取り込んだ撮像画像から前記商品を表す商品領域を検出する商品検出手段と、
前記商品領域に表された商品の状態が所定の適正状態にあるかを判定する判定手段と、
前記判定手段が不適正状態と判定した場合に報知を行う報知手段と、
を備える商品管理装置。
前記商品領域に表された商品を特定する特定手段を更に備え、
前記判定手段は、前記特定手段が前記商品を特定できない場合に、不適正状態と判定する請求項１に記載の商品管理装置。
前記商品領域に表された商品の外形が所定の適正外形に合致するかを判定する外形判定手段を更に備え、
前記判定手段は、前記外形判定手段が相違すると判定した場合に、不適正状態と判定する請求項１又は２に記載の商品管理装置。
前記商品は搬送体に載置された状態で前記搬送路上を搬送され、
前記取込手段が取り込んだ撮像画像から前記搬送体を表す搬送体領域を検出する搬送体領域検出手段を更に備え、
前記商品検出手段は、前記搬送体領域の中から前記商品領域を検出し、
前記判定手段は、前記商品検出手段が前記搬送体領域の中から前記商品領域を検出できない場合に、不適正状態と判定する請求項１〜３の何れか一項に記載の商品管理装置。
前記判定手段が不適正状態と判定した商品を前記搬送路上から排除する排除手段を更に備える請求項１〜４の何れか一項に記載の商品管理装置。
コンピュータを、
商品が搬送される搬送路上を撮像する撮像装置から撮像画像を取り込む取込手段と、
前記取込手段が取り込んだ撮像画像から前記商品を表す商品領域を検出する商品検出手段と、
前記商品領域に表された商品の状態が所定の適正状態にあるかを判定する判定手段と、
前記判定手段が不適正状態と判定した場合に報知を行う報知手段と、
して機能させるためのプログラム。