JP2015049582A - 商品登録装置およびプログラム - Google Patents

Abstract

【課題】画像認識モードにて商品を認識するときのオペレータの負担を軽減する。
【解決手段】撮像部で撮像された商品画像を元に、商品を認識登録して登録する。撮像された商品画像にバーコードが添付されていないかどうかを検出する。バーコードが検出された場合は、撮像された商品画像を元にした商品の認識登録を抑制するようにした。これにより、バーコードが添付されているにも関わらず、画像認識による商品登録作業に入ってしまう無駄な処理時間を削減することができる。
【選択図】図４

Description

この発明の実施形態は、撮像手段を用いて商品を撮像し、撮像された画像を元に商品登録を行う商品登録装置およびプログラムに関する。

従来の商品登録装置では、バーコード読み取りモードと画像認識モードの２つのモードをオペレータが切り換えて、商品登録を行なってきた。バーコードの付されている商品を登録する際にはオペレータは商品登録装置をバーコード読み取りモードに切り換え、バーコードの付いた商品を商品登録装置に読み取らせることで商品登録を行う。一方、バーコードの付されていない商品を登録する際にはオペレータは商品登録装置を画像認識モードに切り換え、商品を商品登録装置に読み取らせることで商品登録を行う。

従来の技術で商品登録を行う場合は、オペレータは目視で商品上のバーコードの有無を確認してモードを切り換える必要があり、オペレータがバーコードの付されている商品のバーコードを見落としてしまった場合、画像認識モードにて商品を誤登録してしまう、という問題があった。このため、オペレータはバーコードの有無のチェックを確実に行わなければならないという心理的負担を強いられる、という課題があった。

特開２０１３−１２１１３４号公報

この発明が解決しようとする課題は、商品を認識するときのオペレータの負担を軽減するようにした商品登録装置およびプログラムを提供することである。

実施形態の商品登録装置は、商品を撮像し、画像として取得する撮像手段と、前記画像に基づき、商品を認識して登録を行う商品認識登録手段と、前記画像に基づき、光学符号の有無を検出する光学符号検出手段と、を備え、前記画像内に前記光学符号が検出された場合は、前記商品認識登録手段による商品登録を抑制するようにした。

また、実施形態の商品登録装置のプログラムは、オペレータの操作により商品の登録を行う商品登録装置にあって、商品を撮像し、画像として取得する撮像手段と、前記画像に基づき、商品を認識して登録を行う商品認識登録手段と、前記画像に基づき、光学符号の有無を検出する光学符号検出手段と、を備え、前記画像内に前記光学符号が検出された場合は、前記商品認識登録手段による商品登録を抑制する機能させる。

商品登録装置にかかる一実施形態について説明するための外観を示す斜視図である。 図１の登録装置のハードウェア構成を示すブロック図である。 ＰＬＵファイルの一例について説明するための説明図である。 この実施形態の処理動作について説明するためのフローチャートである。 図４の一部の詳しい処理動作について説明するためのフローチャートである。

以下、実施形態について、図面を参照しながら詳細に説明する。

図１は、商品登録装置にかかる一実施形態について説明するための外観の斜視図である。商品登録装置の適用例として、スーパーマーケットなどのレジスタを挙げている。レジスタには、チェックアウト業務担当の店員であるキャッシャの作業領域１に向けて、商品の登録に用いる登録装置１００と、登録された商品の決済に用いるＰＯＳ（Point Of Sales）端末２００とが設けられている。

登録装置１００は、チェックアウトカウンタ２に固定されている。ＰＯＳ端末２００は、レジスタ台３の上にドロワ４を介して載置されている。登録装置１００とＰＯＳ端末２００とは、通信ケーブル７（図２参照）により接続されている。

チェックアウトカウンタ２は、その奥側の顧客通路に沿って細長い形状をしている。レジスタ台３は、チェックアウトカウンタ２に沿って移動する顧客の移動方向に対して下流側のチェックアウトカウンタ２の端部手前側に、チェックアウトカウンタ２に対して略垂直に置かれている。そして、このチェックアウトカウンタ２の手前側とレジスタ台３の手前側が、キャッシャの作業領域１となっている。

ＰＯＳ端末２００は、商品の決済に必要なデバイスとして、キーボード２１、オペレータ用ディスプレイ２２、客用ディスプレイ２３、レシートプリンタ２４などを備えている。

登録装置１００は、商品の登録に必要なデバイスとして、バーコード読取装置１１、キーボード１２、オペレータ用ディスプレイ１３、客用ディスプレイ１４などを備えている。

バーコード読取装置１１は、直方体の箱型形状をなしており、チェックアウトカウンタ２の略中央において、長軸がチェックアウトカウンタ２の面より垂直となるように立設されている。バーコード読取装置１１は、光学符号であるバーコードを読み取るものであるが、同じような光学符号であるＱＲコード（登録商標）などでも構わない。商品に付されたコードが読み取りできる読取装置であればよい。

キーボード１２とオペレータ用ディスプレイ１３は、バーコード読取装置１１の上部に、作業領域１側を向けて取り付けられている。客用ディスプレイ１４は、バーコード読取装置１１の上部に、作業領域１とは反対側を向けて取り付けられている。

バーコード読取装置１１の作業領域１側の一面には、矩形状の読取枠１５が形成されている。そして、また、読取枠１５の上側と下側には、この読取枠１５に囲われたバーコード読取領域内にかざされた商品を照射する照射手段として、図示しないＬＥＤ光源が取り付けられている。

チェックアウトカウンタ２のバーコード読取装置１１を挟んで顧客移動方向上流側の荷受面は、顧客が購入する商品Ｍが収容された買物容器５を置くためのスペースとなっている。また、下流側の荷受面は、バーコード読取装置１１により登録された商品Ｍを入れるための買物容器６を置くためのスペースとなっている。

作業領域１内のキャッシャは、買物容器５に収容された商品Ｍを１品ずつ取り出し、その商品Ｍのバーコードが添付された面をバーコード読取装置１１の読取枠１５の枠内にかざす。そして、バーコード読取装置１１によりバーコードが認識されたならば、その商品Ｍを買物容器６に入れる。以上の作業を、買物容器５に収容された商品Ｍについて１品毎に繰返し行い、完了したならば、ＰＯＳ端末２００を操作して決済を行う。

図２は、登録装置１００およびＰＯＳ端末２００のハードウェア構成を示すブロック図である。

登録装置１００は、画像から「自動車」や「野菜」といった一般的なオブジェクトを検出する一般物体認識（オブジェクト認識）の技術を採用する。この技術は、対象となる物品（オブジェクト）を、カメラで撮像した画像データから、当該物品の種別などを画像認識するものである。

登録装置１００は、制御部本体としてＣＰＵ（Central Processing Unit）１０１を搭載する。ＣＰＵ１０１は、画像データからこの画像に含まれる物品の外観特徴量を抽出する。そしてＣＰＵ１０１は、認識辞書ファイルに登録された基準画像の特徴量データと照合して類似度を算出し、この類似度に基づいて当該物品の種別などを認識する。画像中に含まれる物品を認識する技術については、例えば特開２０１３−１２０４８２号公報に紹介されている。

また、画像をオブジェクト毎に領域分割することによって、画像認識を行う技術については、例えば特開２００９−１２３２３４号公報、再表２００７/０６９３９３号公報に紹介されている。

ＣＰＵ１０１には、アドレスバス、データバスなどのバスラインＢＵＳを介して、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、ＨＤＤ（Hard Disk Drive）１０４、接続インターフェース１０５が接続される。

また、ＣＰＵ１０１には撮像部１０６、モード切換スイッチ１０７、音声出力部１０８、バーコード読取装置１１、キーボード１２、オペレータ用ディスプレイ１３、タッチパネル１３１、顧客用ディスプレイ１４が各種の図示しない入出力回路を介して接続される。ＣＰＵ１０１は、接続インターフェース１０５を経由して、ＰＯＳ端末２００内の接続インターフェース２０４と通信可能な状態に接続される。

ＲＯＭ１０２には、ＣＰＵ１０１によって実行されるプログラムが記憶される。ＲＡＭ１０３は、登録装置１００の主記憶部として機能する。ＨＤＤ１０４は、補助記憶部とし機能する。ＨＤＤ１０４は、ＳＳＤ（Solid State Drive）などでも構わない。

ＨＤＤ１０４には、登録装置１００およびＰＯＳ端末２００プログラムＰＲや各種ファイルが記憶されている。ＨＤＤ１０４に記憶されているプログラムや各種ファイルは、登録装置１００の起動時に、その全部または一部がＲＡＭ１０３にコピーされてＣＰＵ１０１により順次実行される。

ＨＤＤ１０４に記憶されているプログラムの一例は、商品販売データ処理用のプログラムＰＲである。ＨＤＤ１０４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて格納されている少なくとも商品の商品コードおよび品名を有する商品データが登録されているＰＬＵファイルＦ１である。

ＰＬＵファイルＦ１は、店舗に陳列して販売する商品Ｍの各々について、商品Ｍの売上登録にかかる情報と、その商品Ｍの撮像画像との関連付けが設定された商品ファイルである。

ＰＬＵファイルＦ１には、図３に示すように、商品毎に、商品ＩＤデータＤ１１、商品分類データＤ１２、商品名データＤ１３、価格データＤ１４、商品識別データＤ１５、それに類似度データＤ１６が格納されている。

商品ＩＤデータＤ１１は、商品Ｍを特定するためにユニークに割り当てるためのデータである。

商品分類データＤ１２は、商品Ｍがどの商品分類に属するかを特定するためのデータである。

商品名データＤ１３は、商品Ｍの商品名を特定するためのデータである。

価格データＤ１４は、単価や値引きなどの商品Ｍに関するデータである。

商品識別データＤ１５は、商品Ｍを撮像画像から特定するための画像認識用の特徴量データ（色合い、外形形状、表面の凹凸形状などに関するデータ）や商品Ｍに割り当てられたバーコードなどのコードシンボルを特定するためのデータなどである。

類似度データＤ１６は、画像認識において、当該商品Ｍであると特定する場合の閾値の下限値のデータである。

なお、ＰＬＵファイルＦ１のデータ構成は、図３に示すＤ１１〜Ｄ１６に限定されるものではない。例えば、商品識別データとして、典型的な商品画像を格納する形態としてもよい。

撮像部１０６は、画像を撮像する撮像手段で、ＬＥＤなどを用いた照明とＣＭＯＳやＣＣＤなどのイメージセンサを用いたカメラなどで構成されている。撮像部１０６は、ＣＰＵ１０１の動作が制御される。撮像部１０６では、例えば３０ｆｐｓの動画像の撮像を行う。撮像部１０６が所定のフレームレートで順次撮像したフレーム画像（撮像画像）はＲＡＭ１０３に保存される。

モード切換スイッチ１０７は、画像認識モードかバーコード読み取りモードかを切り換えるスイッチである。画像認識モードは撮像部１０６で撮影した画像を元に商品を認識し、バーコード読み取りモードは、バーコード読み取り商品を認識する。このモード切換スイッチ１０７は、タッチパネル１３１上に設けられたスイッチを操作するようにしてもよい。

音声出力部１０８は、ＣＰＵ１０１の制御の下で警告音などの音声による報知を行う。音声出力部１０８は、読み取りモードが画像認識モードである状態でオペレータがバーコード付き商品の読み取りを試みた場合に、ＣＰＵ１０１の制御によりオペレータにエラーを報知するためのエラー報知手段である。音声出力部１０８は、あらかじめ設定された警告音などを発生するための音声回路とスピーカなどで構成される。

オペレータ用ディスプイ１３は、タッチパネル１３１と兼用として運用される。商品登録を行う商品登録キー入力手段としてのタッチパネル１３１は、オペレータがタッチ操作で入力可能なキーがオペレータ用ディスプイ１３上に表示される。表示されるキーとしては、商品を１タッチで登録するＰＬＵキーや複数のキーを組み合わせて登録する部門キー、金額キーなどがある。

さらに、ＣＰＵ１０１には、ＰＯＳ端末２００の接続インターフェース２０４に接続して、ＰＯＳ端末２００との間でデータ送受信を可能にする接続インターフェース１０５が接続されている。

ＣＰＵ１０１は、タッチパネル１３１の操作情報によりＰＬＵキーが押下されたことを検出した場合、当該ＰＬＵキーに相当する商品コードをＰＯＳ端末２００に送信する。また、ＣＰＵ１０１が部門キーや金額キーなどが押下されたことを検出した場合は、それぞれのキーコードをＰＯＳ端末２００に送信する。

また、ＰＯＳ端末２００は、情報処理を実行する情報処理部としてのＣＰＵ２０１を備える。ＣＰＵ２０１は、各種演算処理を実行し各部を制御する。ＣＰＵ２０１には、ＲＯＭ２０２とＲＡＭ２０３とがバスラインＢＵＳに接続されている。

なお、ＰＯＳ端末２００に、ＲＡＭ２０３の補助記憶部として機能するＨＤＤは、登録装置１００のＨＤＤ１０４を共用する構成としたが、ＰＯＳ端末２００側専用のものを設置してもよい。

ＨＤＤ１０４には、ＰＯＳ端末２００のプログラムＰＲや各種ファイルも記憶されている。ＨＤＤ１０４に記憶されているプログラムや各種ファイルは、登録装置１００の起動時に、その全部または一部がＲＡＭ２０３にコピーされてＣＰＵ２０１により順次実行される。ＨＤＤ１０４は、接続インターフェース２０５を介して、ＰＯＳ端末２００が読み出し可能に構成されている。

ＰＯＳ端末２００のＣＰＵ２０１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２０６が図示しない入出力回路を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤードなどに設置されている。ストアコンピュータＳＣ内のＨＤＤには、ＰＯＳ端末２００に配信されるＰＬＵファイルＦ１が格納されている。ストアコンピュータＳＣとデータ通信実行のための通信インターフェース２０６は、登録装置１００側にあっても構わない。

ＰＯＳ端末２００のＣＰＵ２０１には、ドロワ４、キーボード２１、オペレータ用ディスプレイ２２、タッチパネル２２１、顧客用ディスプレイ２３などが、いずれも図示しない各種の入出力回路を介して接続されている。これらは、ＣＰＵ２０１による制御を受ける。なお、タッチパネル２２１は、登録装置１００のタッチパネル１３１と同じように、オペレータがタッチ操作することで入力可能なキーが、オペレータ用ディスプイ２２に表示される。

キーボード２１は、［１］，［２］，［３］…などの数字や「×」という乗算の演算子などが上面に表示されているテンキー２２ａ、仮締めキー２２ｂ、および締めキー２２ｃを含む。

また、ＰＯＳ端末２００のＣＰＵ２０１には、登録装置１００との間でデータ送受信を可能にする接続インターフェース２０４が接続されている。接続インターフェース２０４には、登録装置１００が接続されている。さらに、ＣＰＵ２０１には、レシートなどに印字を行うシートプリンタ２４が接続されている。ＰＯＳ端末２００は、ＣＰＵ２０１の制御の下、一取引の取引内容をレシートに印字する。

図４は、画像認識モードにて商品を認識するときのオペレータの負担を軽減するＣＰＵ１０１の処理について説明するためのフローチャートである。なお、この処理は、登録装置１００の起動後に開始される。

先ず、ＣＰＵ１０１は、撮像部１０６を起動して画像の取得を開始する。撮像部１０６で撮像されたフレーム画像は、ＲＡＭ１０３に順次保存される（ＡＣＴ１１）。

ＣＰＵ１０１は、モード切換スイッチ１０７の切り換え状態に基づき、読み取りモードを切り換える（ＡＣＴ１２）。

ここで、ＡＣＴ１２の読み取りモードの切り換え処理について図５のフローチャートを用いてさらに説明する。

図５の読み取りモードの切り換え処理は、図４に示した処理の一部（ＡＣＴ１２）として開始される（ＡＣＴ１２１）。ＣＰＵ１０１は、モード切換スイッチ１０７の状態を確認し（ＡＣＴ１２２）、モード切換スイッチ１０７の切り換え状態に応じて読み取りモードを切り換える（ＡＣＴ１２３）。モード切換スイッチ１０７がＯＮであった場合は、読み取りモードを画像認識モードに変更し（ＡＣＴ１２４）、モード切換スイッチ１０７がＯＦＦであった場合は、読み取りモードをバーコード読み取りモードに変更する（ＡＣＴ１２５）。読み取りモードの切り換え処理の終了後には、図４に示したメイン処理に戻る（ＡＣＴ１２６）。

次に、ＣＰＵ１０１は、読み取りモードが画像認識モードかバーコード読み取りモードかの判断を行う（ＡＣＴ１３）。

ＡＣＴ１３において、バーコード読み取りモードであった場合（Ｎｏ）は、ＲＡＭ１０３に保存された画像を用いてバーコードの検出を試みる（ＡＣＴ１４）。

ＡＣＴ１４において、バーコードが検出されなかった場合（Ｎｏ）は、ＡＣＴ１１に戻り、次の商品画像を取り込む。ＡＣＴ１４において、バーコードが検出された場合（Ｙｅｓ）は、バーコードの読み取りを試みる（ＡＣＴ１５）。

ＡＣＴ１５において、バーコードの読み取りが成立しなかった場合（Ｎｏ）は、ＡＣＴ１１に戻り、次の商品の画像を取り込む。ＡＣＴ１５において、バーコードの読み取りが成立した場合（Ｙｅｓ）は、読み取った商品コードを、ＰＯＳ端末２００へ送信することで商品登録処理を行う（ＡＣＴ１６）。そして、ＡＣＴ１１に戻り、次の商品の画像を取り込む。

ＡＣＴ１３において、読み取りモードが画像認識モードであった場合（Ｙｅｓ）は、ＲＡＭ１０３に保存された画像を用いてバーコードの検出を試みる（ＡＣＴ１７）。なお、ＡＣＴ１７においては、バーコードの検出は必ずしも全体が読み取り可能な状態で検出される必要はなく、バーコードの一部やハーフセグメントのみの検出でも良い。

ＡＣＴ１７において、バーコードが検出された場合（Ｙｅｓ）は、オペレータにバーコードが検出されたことを伝えるために、音声出力部１０８から例えばブザーを鳴らしてエラーを報知する（ＡＣＴ１８）。このエラー報知は、音声によるものばかりではなく、オペレータ用ディスプレイ１３上にエラーメッセージを表示するようにしてもよい。音声による報知が不都合な場所などの場合には表示のみでもよい。表示によるエラーメッセージの場合は、エラーメッセージをフラッシングすることで、オペレータに確実にエラーを認識させることができる。エラーメッセージ報知は、他に光や振動などによる方法も考えられる。

エラーメッセージ報知後にＣＰＵ１０１は、バーコードの読み取りを試みる（ＡＣＴ１９）。

ＡＣＴ１９において、バーコードの読み取りが成立しなかった場合（Ｎｏ）は、ＡＣＴ１１に戻り、次の商品の画像を取り込む。ＡＣＴ１９において、バーコードの読み取りが成立した場合（Ｙｅｓ）は、読み取った商品コードをＰＯＳ端末２００へ送信することで商品登録処理を行う（ＡＣＴ２０）。そして、ＡＣＴ１１に戻り、次の商品の画像を取り込む。

ＣＰＵ１０１は、ＡＣＴ１７においてバーコードが検出されなかった場合（Ｎｏ）には、ＡＣＴ２１に移行し、商品認識を試みる
ＡＣＴ２１において、商品認識が成立しなかった場合（Ｎｏ）は、ＡＣＴ１１に戻って、次の商品の画像を取り込む。ＡＣＴ２１において、商品認識が成立した場合（Ｙｅｓ）は、認識した商品に相当する商品コードをＰＯＳ端末２００へ送信することで、商品登録処理を行う（ＡＣＴ２２）。その後、ＡＣＴ１１に戻って、次の商品の画像を取り込む。

このようにして、画像認識モードにおいてバーコード商品を画像認識により誤登録してしまう確率を低減することが可能となる。また、エラー報知音により間違ったモードで読み取りを行ったことをオペレータが容易に把握することが可能となる。

この実施形態では、画像認識モードにて商品を認識する際、商品登録装置がバーコードの有無を確認し誤登録の発生を低減させ、オペレータに強いる負担を軽減することが可能となる。

上記の実施形態に限定されるものではない。例えば、画像認識モードにて商品を認識するときのＣＰＵ１０１の処理では、ＡＣＴ１９の画像認識モードにおいてバーコードの読み取りを行なっている。これは必須ではなくバーコード検出の報知を処理するＡＣＴ１８のみ行うようにしても良い。

いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００ 登録装置
２００ ＰＯＳ端末
７ 通信ケーブル
１１ バーコード
１２ キーボード
１３ オペレータ用ディスプレイ
１３１ タッチパネル
１４ 顧客用ディスプレイ
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ ＨＤＤ
ＰＲ プログラム
Ｆ１ ＰＬＵファイル
１０５，２０４ 接続インターフェース
１０６ 撮像部
１０７ モード切換スイッチ
１０８ 音声出力部
２０６ 通信インターフェース
ＳＣ ストアコンピュータ

Claims (6)

1. 商品を撮像し、画像として取得する撮像手段と、
   前記画像に基づき、商品を認識して登録を行う商品認識登録手段と、
   前記画像に基づき、光学符号の有無を検出する光学符号検出手段と、を備え、
   前記画像内に前記光学符号が検出された場合は、前記商品認識登録手段による商品登録を抑制するようにした、商品登録装置。
2. 前記光学符号検出手段により画像から光学符号を検出されたことを報知する光学符号検出報知手段を備え、
   画像内に前記光学符号が検出された場合は、前記商品認識登録手段による商品登録を抑制するとともに、前記光学符号検出報知手段にて報知する、請求項１記載の商品登録装置。
3. 前記光学符号検出報知手段は、音声またはディプレイ上の視覚情報の少なくとも一方でオペレータに報知する、請求項２記載の商品登録装置。
4. 画像から前記光学符号を読み取り、対応の商品を登録する光学符号読取登録手段を備え、
   画像内に前記光学符号が検出された場合は、前記商品認識登録手段による商品登録を抑制するとともに、前記光学符号読取登録手段にて前記光学符号を読み取り登録する、請求項１乃至３のうちいずれか一項に記載の商品登録装置。
5. 前記商品認識登録手段と前記光学符号読取登録手段は、画像内に前記光学符号が検出されたかどうかにより、自動的に切り換えられるようにした、請求項４記載の商品登録装置。
6. コンピュータに、
   商品を撮像して得られた画像に基づき、商品を認識して登録を行う商品認識登録手段と、
   前記画像に基づき、光学符号の有無を検出する光学符号検出手段として機能させ、
   前記画像内に前記光学符号が検出された場合は、前記商品認識登録手段による商品登録を抑制するプログラム。

Images