【０００１】
【発明の属する技術分野】
本発明は、コンビニエンスストアや、店舗において使用する販売時点情報管理装置（以下、単にＰＯＳ装置という。）に関する。
【０００２】
【従来の技術】
従来、コンビニエンスストアや小人数で運営する店舗においては、商品に表示されたバーコードと商品の金額とが関連付けられた商品テーブルを予めＰＯＳ装置が格納し、商品に表示されたバーコードをバーコード読取り装置に読み取らせ、読み取らせたバーコードに示されるバーコード情報に基づいてＰＯＳ装置が商品の金額を勘定する方法が採用されている。この方法では、商品に表示されたバーコードをバーコード読取り装置に読取らせるよう店員が以下に示す工程を実行する必要がある。
（１）商品毎にバーコードが表示された部分を表に向ける。
（２）商品に表示されたバーコードにバーコード読取り装置を近づける。
（３）商品に表示されたバーコードが読取られたことを確認する。
【０００３】
また、商品を撮像し、撮像した商品の画像から商品を識別し、識別した商品の商品コードを求めるようにしているものもある（特許文献１参照）。この種のＰＯＳ装置は、図７に示すように、前記制御プログラムと各種データとを記憶する記憶装置１と、記憶装置１に記憶されている制御プログラムを実行する中央処理装置（以下単に、ＣＰＵという。）２と、表示部３と、キー入力部４と、プリンタ出力部５と、光学的入力装置６と、ＣＰＵ２の指令を受けて表示部３、キー入力部４、プリンタ出力部５、光学的入力装置６の入出力制御を行う周辺機器制御部７とによって構成されている。
【０００４】
光学的入力装置６は、画像処理装置８と光学的入力端末９とによって構成されている。光学的入力端末９は、商品及びこの商品に貼り付けられたバーコードを画像として入力し、画像処理装置８は、光学的入力端末９によって入力された画像を処理し、処理した画像に、商品に貼り付けられたバーコードの画像が含まれていればバーコードの画像から商品コードを求め、商品に貼り付けられたバーコードの画像が含まれていなければ商品の形状、大きさ、色彩などの特徴から商品を識別し、識別した商品の商品コードを求めるものであった。
【０００５】
【特許文献１】
特開平０７−１５２９６１号公報（第２−３頁、第１図）
【０００６】
【発明が解決しようとする課題】
しかしながら、商品毎に表示されたバーコードを見つけてバーコード読取り装置に読み取らせていたのでは、商品を会計処理する能率が悪くなりがちであるという問題があった。また、商品を撮像した画像から商品を識別する方法であっても、商品毎に撮像した画像から商品を識別していたのでは、短時間で能率良く商品を会計処理することができないという問題があった。
【０００７】
本発明はこのような問題点を解決するためになされたもので、複数の商品がそれぞれ識別できたか否を確認し、短時間で能率良く商品の会計処理を済ませることができる販売時点情報管理装置を提供するものである。
【０００８】
【課題を解決するための手段】
本発明の販売時点情報管理装置は、商品の特徴を示す特徴情報を格納する特徴情報格納手段と、前記商品を撮像する商品撮像手段と、この商品撮像手段によって撮像された前記商品の画像を取得し、取得した前記画像から前記商品の特徴を抽出する特徴抽出手段と、この特徴抽出手段よって抽出された前記商品の特徴と前記特徴情報格納手段に格納された前記特徴情報が示す前記商品の特徴とを比較し、前記商品の特徴と前記特徴情報とが一致するか否かを判定し、前記商品を識別する商品識別手段と、この商品識別手段によって識別された前記商品毎に前記画像に識別済マーカを添付するマーカ添付手段と、このマーカ添付手段によって前記識別マーカが添付された前記映像を表示する映像表示手段とを備えた構成を有している。
【０００９】
この構成により、撮像された商品が識別できたことを示す識別済マーカを識別できた商品と関連付けて画面に表示することにより、商品毎に識別できたか否かを確認することができる。
【００１０】
本発明の販売時点情報管理装置は、前記商品識別手段は、撮像された前記商品が識別できないと判定したとき、前記商品が識別できないことを示す識別不能情報を前記マーカ添付手段に出力し、前記マーカ添付手段は、前記識別不能情報を入力し、入力した前記識別不能情報に基づいて前記商品識別手段によって識別できないと判定した前記商品に前記識別不能マーカを添付した画像を前記画像表示手段に表示させる構成を有している。
【００１１】
この構成により、撮像された商品が識別できないことを示す識別不能マーカを識別できない商品と関連付けて画面に表示することにより、商品毎に識別できたか否かを確認することができる。
【００１２】
本発明の販売時点情報管理装置は、前記マーカ添付手段は、識別できないと判定した前記商品から抽出された特徴に関連する少なくとも２つ以上の商品候補を前記識別不能マーカと関連付けて前記画像表示手段に表示させ、前記商品識別手段は、前記商品候補から１つを選択する選択情報を取得し、識別できないと判定した前記商品を識別する構成を有している。
【００１３】
この構成により、撮像された商品が識別されなかったことを示す識別不能マーカと関連付けて２つ以上の商品候補を画面に表示し、表示された商品候補から１つを選択する選択情報を取得し、商品の識別を確定することができる。
【００１４】
本発明の販売時点情報管理装置は、音声を含む音を発生する音発生手段を備え、前記商品識別手段は、前記商品が識別できたことを示す音を前記音発生手段に発生させる構成を有している。
【００１５】
この構成により、画像が示す商品毎に識別できたことを示す音を発生することにより、商品毎に識別できたか否かを確認することができる。
【００１６】
本発明の販売時点情報管理装置は、音声を含む音を発生する音発生手段を備え、前記画像が示す前記商品全ての識別が完了したとき、前記画像が示す前記商品全ての識別が完了したことを示す音を前記音発生手段に発生させるさせる構成を有している。
【００１７】
この構成により、画像が示す商品全てが識別できたことを示す音を発生することにより、商品毎に識別できたか否かを確認することができる。
【００１８】
本発明の販売時点情報管理装置は、音を発生する音発生手段を備え、前記商品識別手段は、撮像された前記商品が識別できないと判定したとき、前記商品毎に識別できないことを示す音を前記音発生手段に発生させる構成を有している。
【００１９】
この構成により、画像が示す商品が識別できないことを示す音を発生することにより、商品毎に識別できたか否かを確認することができる。
【００２０】
本発明の販売時点情報管理装置は、撮像された視野内で移動する前記商品を追跡する商品追跡手段を備え、前記商品追跡手段は、前記商品が移動した画面上の位置を示す位置情報を含む追跡情報を前記マーカ添付手段に出力し、前記マーカ添付手段は、前記追跡情報を入力し、入力した前記追跡情報に基づいて前記識別済マーカおよび前記識別不能マーカが前記商品に追従して移動する画像を前記画像表示手段に表示させる構成を有している。
【００２１】
この構成により、識別済マーカおよび識別不能マーカが商品に追従して移動する画像を画面に表示し、撮像された商品が移動しても商品と関連付けて画面に表示することにより、商品毎に識別できたか否かを確認することができる。
【００２２】
本発明の販売時点情報管理装置は、前記識別済マーカが添付された前記商品を会計処理する会計処理手段を備え、商品追跡手段が、前記識別済マーカを添付した前記商品が前記視野外に移動したと判定したとき、前記会計処理手段は、前記視野外に移動した商品の商品情報を取得して前記商品を会計処理する構成を有している。
【００２３】
この構成により、前記識別済マーカが添付された商品が視野外に移動しても商品を会計処理することができる。
【００２４】
【発明の実施の形態】
以下、図面を参照し、本発明の実施の形態の販売時点情報管理装置について説明する。
【００２５】
図１に示すように、本発明の実施の形態の販売時点情報管理装置１００は、店舗内に陳列された複数の商品の特徴が示された特徴情報を格納する特徴情報格納手段１１０と、商品を撮像する商品撮像手段１０５と、この商品撮像手段１０５よって撮像された画像を表示する画像表示手段１２０と、画像から商品の特徴を抽出する特徴抽出手段１３０と、この特徴抽出手段１３０よって抽出された商品の特徴と特徴情報格納手段１１０に格納された特徴情報が示す商品の特徴とを比較し、比較した商品の特徴が一致するか否かを判定し、商品を識別する商品識別手段と、に基づいて撮像された商品を識別する商品識別手段１４０と、この商品識別手段１４０によって識別された商品に識別済マーカを添付した画像を画像表示手段１２０に表示させるマーカ添付手段１５０とを備えている。
【００２６】
商品撮像手段１０５は、少なくとも１つのカメラを有し、複数の画像を時系列で入力するようになっている。また、商品撮像手段１０５は、例えば、商品が会計されるレジカウンタを上方から撮像するカメラとレジカウンタの下方から透明なガラス板を通してレジカウンタに置かれた商品を撮像するカメラとを含む複数のカメラを有してもよい。
【００２７】
特徴情報格納手段１１０は、店舗内に陳列された複数の商品に対応する大きさと形状の情報を含む第１情報と、複数の商品に対応する包装の図柄と色彩の情報を含む第２情報と、複数の商品に対応する商品の包装に記載されたキーワードを含む第３情報とを予め格納し、特徴抽出手段１３０が、商品を撮像した画像から第１情報に対応する商品の特徴を抽出し、商品識別手段１４０が、抽出した第１情報に対応する商品の特徴と予め格納された第１情報を比較して商品候補を絞り込むようになっている。また、第２情報および第３情報に対する商品の特徴も抽出し、商品識別手段１４０は、さらに、商品候補を絞り込み、商品を識別するようになっている。
【００２８】
ここで示した第１情報から第３情報までの特徴情報が、識別できる商品を限定するものではない。撮像された商品にバーコード情報が含まれている場合には、特徴抽出手段１３０が商品に印刷されたバーコード情報を抽出し、商品識別手段１４０は、特徴抽出手段１３０によって抽出されたバーコード情報から商品を識別してもよい。さらに、電磁波に応答するタグが添付されている商品には、特徴抽出手段１３０が商品に添付されたタグに予め設定された電磁波を照射してタグから商品情報を抽出し、商品識別手段１４０は、特徴抽出手段１３０によって抽出された商品情報から商品を識別してもよい。
【００２９】
また、特徴抽出手段１３０によって抽出された商品の特徴と特徴情報格納手段１１０に格納された特徴情報が示す商品の特徴とを比較するとは、商品毎に予め設定された部分の特徴を比較することであり、商品が識別できる特徴であれば、色であっても、文字であってもよい。また、商品毎に予め設定された部分の特徴と特徴情報格納手段１１０に格納された特徴情報が示す商品の特徴とを比較し、予め設定された部分の特徴が同じものであると認識したとき、商品の特徴が一致したという。
【００３０】
マーカ添付手段１５０は、さらに、商品識別手段１４０が識別した商品の画面上の位置が示された位置情報を取得し、取得した位置情報が示す位置に表示された商品が商品識別手段１４０によって識別できたことを示す識別済マーカを添付した画像を画像表示手段１２０に表示させるようになっている。
【００３１】
また、販売時点情報管理装置１００は、さらに、撮像された視野内で移動する商品を追跡する商品追跡手段１６０を備え、商品追跡手段１６０は、商品が移動した画面上の位置を示す位置情報を含む追跡情報をマーカ添付手段１５０に出力し、マーカ添付手段１５０は、追跡情報を入力し、入力した追跡情報に基づいて識別済マーカおよび識別不能マーカが商品に追従して移動する画像を画像表示手段１２０に表示させるようになっている。また、識別済マーカおよび識別不能マーカは、商品の画像と重ねて画像表示手段１２０に表示してもよい。
【００３２】
また、販売時点情報管理装置１００は、さらに、音声を含む音を発生する音発生手段１７０を備え、商品識別手段１４０は、商品が識別できたことを示す音を音発生手段１７０に発生させるようになっている。商品が識別できたことを示す音とは、例えば、商品の名称と金額「カップ麺、１３５円」の発声であってもよい。
【００３３】
商品識別手段１４０は、撮像された商品全ての識別が完了したとき、商品の識別が完了したことを示す音を音発生手段１７０に発生させるようになっている。商品の識別が完了したことを示す音とは、例えば、ピッピッというような電子音であってもよい。
【００３４】
商品識別手段１４０は、撮像された商品が識別できないと判定したとき、商品が識別できないことを示す音を音発生手段１７０に発生させるようになっている。商品の識別ができないことを示す音とは、例えば、「識別できません」の発声であってもよい。
【００３５】
商品識別手段１４０が、撮像された商品が識別できないと判定したとき、マーカ添付手段１５０は、さらに、商品識別手段１４０が識別できないと判定した商品の画面上の位置が示された位置情報を取得し、取得した位置情報が示す画面上の位置に表示された商品が商品識別手段１４０によって識別できないことを示す識別不能マーカを画像表示手段１２０に表示させるようになっている。また、識別不能マーカは、商品の画像と重ねて画像表示手段１２０に表示してもよい。
【００３６】
マーカ添付手段１５０は、識別できないと判定した商品から抽出された特徴に関連する少なくとも２つ以上の商品候補を識別不能マーカと関連付けて画像表示手段１２０に表示させ、商品識別手段１４０は、２つ以上の商品候補から１つを選択する選択情報を取得し、一旦識別できないと判定した商品を識別するようになっている。
【００３７】
画像表示手段１２０は、画面に表示される情報と関連付けて情報を入力することができるタッチパネルを有し、識別済マーカがタッチされたことを検出し、例えば、音発声手段１７０に識別された商品の名称と金額「カップ麺、１３５円」を発声させてもよい。また、商品識別手段１４０は、識別不能マーカがタッチされたことを検出し、特徴抽出手段１３０によって抽出された商品の特徴からでは１つの商品に絞り込めなかった２つ以上の商品候補を画像表示手段１２０に表示させるようになっている。さらに、商品識別手段１４０は、商品を識別する補助的な情報として、表示された２つ以上の商品候補から１つを選択するようタッチパネルがタッチされたことを検出し、検出した１つの商品候補から商品を決定するようになっている。
【００３８】
本発明の実施の形態の販売時点情報管理装置１００は、さらに、識別済マーカが添付された商品を会計処理する会計処理手段１８０を備え、商品追跡手段１６０が、識別済マーカを添付した商品が視野外に移動したと判定したとき、会計処理手段１８０は、視野外に移動した商品の商品情報を取得して商品を会計処理するようになっている。したがって、撮像する視野内に商品を入れて次々に商品を識別し、識別の完了した商品から順に取出すことにより連続して会計を続け、最後に商品の会計を締めてもよい。
【００３９】
次に、図２のフローチャートを参照し、本発明の実施の形態の販売時点情報管理装置１００の動作について説明する。
【００４０】
まず、商品が商品撮像手段１０５によって撮像される（ステップＳ１０１）。次いで、商品撮像手段１０５によって撮像された商品の画像が画像表示手段１２０によって表示される（ステップＳ１０２）。次に、商品撮像手段１０５によって撮像された商品の特徴が特徴抽出手段１３０によって抽出される（ステップＳ１０３）。このとき、複数の商品が撮像されているか否かが判定され、複数の商品が撮像されていると判定されたときには、複数の商品の特徴がそれぞれ抽出される。そして、画像表示手段１２０によって表示された商品の画面上の位置を示す位置情報が商品追跡手段１６０によって取得される（ステップＳ１０４）。次いで、特徴抽出手段１３０によって抽出された商品の特徴と特徴情報格納手段１１０に格納された特徴情報が示す商品の特徴とが比較される（ステップＳ１０５）。特徴情報格納手段１１０には、店舗内に陳列された複数の商品に対応する大きさと形状の情報を含む第１情報と、複数の商品に対応する包装の図柄と色彩の情報を含む第２情報と、複数の商品に対応する商品の包装に記載されたキーワードを含む第３情報とが予め少なくとも格納されている。
【００４１】
このステップＳ１０５では、少なくとも第１情報から第３情報までの特徴情報に応じて順次抽出された特徴が比較され、比較された結果から商品候補を絞り込むという動作が繰返される。まず、特徴抽出手段１３０によって抽出された第１情報に対応する商品の特徴と予め格納された第１情報とが商品識別手段１４０によって比較され、特徴情報格納手段１１０に格納された特徴情報と一致するものを商品候補として絞り込む。このとき、特徴情報格納手段１１０に格納された特徴情報と一致するものが１つであったときには、商品の識別を完了する。次に、特徴抽出手段１３０によって抽出された第２情報に対応する商品の特徴と予め格納された第２情報とが商品識別手段１４０によって比較され、特徴情報格納手段１１０に格納された特徴情報と一致するものを商品候補として絞り込む。このとき、特徴情報格納手段１１０に格納された特徴情報と一致するものが１つであったときには、商品の識別を完了する。そして、特徴抽出手段１３０によって抽出された第３情報に対応する商品の特徴と予め格納された第３情報とが商品識別手段１４０によって比較され、特徴情報格納手段１１０に格納された特徴情報と一致するものを商品候補として絞り込む。このとき、特徴情報格納手段１１０に格納された特徴情報と一致するものが１つであったときには、商品の識別を完了する（ステップＳ１０６）。
【００４２】
図３に示すように、２つの商品ａと商品ｂとが撮像された画像から商品ａと商品ｂの識別を試みた結果、商品ａは識別できたが、商品ｂは識別できないと判定したことを、この画面１２１から確認することができる。また、図４に示すように、識別不能マーカが添付されたとしても、商品を識別する過程で１つの商品に確定するまで商品候補を絞り込めなかったことを示しているものであり、商品候補を表示し、何処まで商品候補を絞り込んでいるか確認することができる。また、操作者が複数の商品候補が表示された中から１つを選択し、選択した１つの商品候補を入力することより、入力した１つの商品候補に基づいて、商品識別手段が商品を確定することができる。また、一方向からだけでは、商品候補が絞りきれない商品を販売する店舗においては、図５に示すように、上方向から撮影した画像と横から商品を撮影した画像とから商品の特徴を抽出することより、商品を識別することができる。
【００４３】
次いで、識別できたことを示す識別済マーカが識別された商品と関連付けて画像表示手段１２０に表示される（ステップＳ１０７）。次に、識別されたことを示す音、例えば、商品の名称と金額「カップ麺、１３５円」という音声が音発生手段１７０によって発生される（ステップＳ１０８）。そして、撮像された商品の識別が完了したとき、商品の識別が完了したことを示す音が音発生手段１７０によって発生される（ステップＳ１０９）。
【００４４】
一方、撮像された商品が識別できないと商品識別手段１４０によって判定されたとき、識別できなかったことを示す識別不能マーカが識別されなかった商品と関連付けて画像表示手段１２０に表示される（ステップＳ１１０）。次いで、商品が識別できないことを示す音、例えば、「識別できません」という音声が音発生手段１７０によって発生される（ステップＳ１１１）。次に、商品候補を表示する指示が入力されたとき、識別できないと判定された商品から抽出された特徴に関連する少なくとも２つ以上の商品候補が画像表示手段１２０に表示される（ステップＳ１１２）。そして、画像表示手段１２０に表示された少なくとも２つ以上の商品候補から１つが選択されたことにより、識別できないと判定した商品が識別される（ステップＳ１１３）。
【００４５】
また、撮像された商品の画面上の位置情報が逐次更新されるよう、撮像された視野内で移動する商品が商品追跡手段１６０によって追跡され、追跡された商品の位置情報はマーカ添付手段１０５に出力される（ステップＳ１１４）。
【００４６】
以上説明したように、本発明の販売時点情報管理装置は、複数の商品を撮像した画像が画像表示手段に表示され、識別されたことを示すマーカが表示され、さらに、識別されたことを示す音声が発生することにより、複数の商品がそれぞれ識別できたことを確認することができる。
【００４７】
【発明の効果】
以上説明したように、本発明の販売時点情報管理装置は、複数の商品を撮像した画像から商品それぞれが識別できたか否を確認することができ、短時間で能率良く商品の会計処理を済ませることができる販売時点情報管理装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態の販売時点情報管理装置の構成を示すブロック図
【図２】本発明の実施の形態の販売時点情報管理装置の動作を示すフローチャート
【図３】本発明の実施の形態の販売時点情報管理装置が商品毎に識別マーカまたは識別不能マーカを添付した画面を示した図
【図４】本発明の実施の形態の販売時点情報管理装置が商品毎に識別マーカまたは識別不能マーカを添付し、さらに識別不能マーカに関連する商品候補を表示した画面を示した図
【図５】本発明の実施の形態の販売時点情報管理装置が２方向から商品を撮像した２つの画像から商品を識別し、識別した商品に識別マーカを添付した画面を示した図
【図６】従来の販売時点情報管理装置の構成を示すブロック図
【符号の説明】
１００ 販売時点情報管理装置
１０５ 商品撮像手段
１１０ 特徴情報格納手段
１２０ 画像表示手段
１３０ 特徴抽出手段
１４０ 商品識別手段
１５０ マーカ添付手段
１６０ 商品追跡手段
１７０ 音発生手段
１８０ 商品会計手段[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a point-of-sale information management device (hereinafter, simply referred to as a POS device) used in a convenience store or a store.
[0002]
[Prior art]
Conventionally, in a convenience store or a store operated by a small number of people, a POS device previously stores a product table in which a bar code displayed on a product and a price of the product are associated with each other, and a bar code displayed on the product is stored in a bar code. A method is adopted in which a POS device counts the price of a product based on barcode information indicated by a barcode read by a reading device. In this method, the clerk needs to execute the following steps so that the bar code displayed on the product is read by the bar code reader.
(1) The part where the barcode is displayed for each product is turned to the front.
(2) Bring the barcode reader closer to the barcode displayed on the product.
(3) Confirm that the barcode displayed on the product has been read.
[0003]
In some cases, a product is imaged, the product is identified from the captured image of the product, and the product code of the identified product is obtained (see Patent Document 1). As shown in FIG. 7, this type of POS device includes a storage device 1 that stores the control program and various data, and a central processing unit (hereinafter simply referred to as a CPU) that executes the control program stored in the storage device 1. 2, a display unit 3, a key input unit 4, a printer output unit 5, an optical input device 6, and a display unit 3, a key input unit 4, a printer output unit 5, It comprises a peripheral device control unit 7 for controlling input and output of the optical input device 6.
[0004]
The optical input device 6 includes an image processing device 8 and an optical input terminal 9. The optical input terminal 9 inputs a product and a barcode affixed to the product as an image, and the image processing device 8 processes the image input by the optical input terminal 9 and converts the processed image into a product. If the barcode image attached to the product is included, the product code is obtained from the barcode image.If the barcode image attached to the product is not included, the product shape, size, color, etc. The product is identified from the characteristics of the above, and the product code of the identified product is obtained.
[0005]
[Patent Document 1]
JP-A-07-152961 (page 2-3, FIG. 1)
[0006]
[Problems to be solved by the invention]
However, if a barcode displayed for each product is found and read by a barcode reader, there is a problem that the efficiency of accounting processing of the product tends to deteriorate. Further, even in the method of identifying a product from an image of the product, if the product is identified from the image of each product, there is a problem that the product cannot be processed efficiently in a short time. there were.
[0007]
The present invention has been made in order to solve such a problem, and a point-of-sale information management apparatus capable of confirming whether or not a plurality of products can be individually identified and efficiently completing the accounting process of the products in a short time. Is provided.
[0008]
[Means for Solving the Problems]
The point-of-sale information management device of the present invention acquires a feature information storage unit that stores feature information indicating a feature of a product, a product imaging unit that captures the product, and an image of the product that is captured by the product imaging unit. A feature extracting unit for extracting the feature of the product from the acquired image; a feature of the product indicated by the feature of the product extracted by the feature extracting unit and the feature information stored in the feature information storage unit To determine whether or not the feature of the product and the feature information match, a product identification unit for identifying the product, and an image identification unit for each of the products identified by the product identification unit. And a video display means for displaying the video to which the identification marker has been attached by the marker mounting means.
[0009]
With this configuration, it is possible to confirm whether or not each of the products has been identified by displaying the identified marker indicating that the captured product has been identified on the screen in association with the identified product.
[0010]
The point-of-sale information management device of the present invention, when the product identification unit determines that the imaged product cannot be identified, outputs unidentifiable information indicating that the product cannot be identified to the marker attaching unit. The marker attaching unit inputs the unidentifiable information, and displays, on the image display unit, an image in which the unidentifiable marker is attached to the product determined to be unidentifiable by the product identifying unit based on the input unidentifiable information. It has the structure to make it.
[0011]
With this configuration, it is possible to confirm whether or not each of the products has been identified by displaying the indistinguishable marker indicating that the imaged product cannot be identified on the screen in association with the unidentifiable product.
[0012]
In the point-of-sale information management device according to the present invention, the marker attaching unit associates at least two or more product candidates related to a feature extracted from the product determined to be unidentifiable with the indistinguishable marker and displays the image display unit. And the product identification means acquires selection information for selecting one of the product candidates, and identifies the product determined to be unidentifiable.
[0013]
With this configuration, two or more product candidates are displayed on the screen in association with the indistinguishable marker indicating that the imaged product has not been identified, and selection information for selecting one of the displayed product candidates is obtained. , The identification of the product can be determined.
[0014]
The point-of-sale information management device of the present invention includes a sound generating unit that generates a sound including a sound, and the product identification unit has a configuration in which the sound generating unit generates a sound indicating that the product has been identified. are doing.
[0015]
With this configuration, it is possible to confirm whether or not identification has been performed for each product by generating a sound indicating that the product has been identified for each product indicated by the image.
[0016]
The point-of-sale information management device of the present invention includes a sound generating unit that generates sound including sound, and when the identification of all the products indicated by the image is completed, the identification of all the products indicated by the image is completed. Is generated by the sound generating means.
[0017]
With this configuration, it is possible to confirm whether or not each product has been identified by generating a sound indicating that all the products indicated by the image have been identified.
[0018]
The point-of-sale information management device of the present invention includes a sound generating unit that generates a sound. When the product identification unit determines that the imaged product cannot be identified, a sound indicating that the product cannot be identified is output. The sound generating means has a configuration for generating the sound.
[0019]
With this configuration, it is possible to confirm whether or not each product has been identified by generating a sound indicating that the product indicated by the image cannot be identified.
[0020]
The point-of-sale information management device of the present invention includes a product tracking unit that tracks the product that moves within the imaged visual field, and the product tracking unit includes position information indicating a position on the screen where the product has moved. The tracking information is output to the marker attaching means, and the marker attaching means inputs the tracking information, and the identified marker and the unidentifiable marker move following the product based on the input tracking information. The image display means is configured to display an image.
[0021]
With this configuration, an image in which the identified marker and the unidentifiable marker move following the product is displayed on the screen, and even if the imaged product moves, the image is displayed on the screen in association with the product, thereby identifying each product. It is possible to confirm whether or not it was completed.
[0022]
The point-of-sale information management device of the present invention includes accounting processing means for accounting for the commodity to which the identified marker is attached, and wherein the commodity tracking means moves the commodity to which the identified marker is attached out of the field of view. When it is determined that the transaction has been performed, the accounting processing means has a configuration for acquiring the product information of the product that has moved out of the field of view and performing the accounting process on the product.
[0023]
According to this configuration, even if the product to which the identified marker is attached moves out of the field of view, the product can be processed for accounting.
[0024]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, a point-of-sale information management device according to an embodiment of the present invention will be described with reference to the drawings.
[0025]
As shown in FIG. 1, a point-of-sale information management device 100 according to an embodiment of the present invention includes a feature information storage unit 110 that stores feature information indicating features of a plurality of products displayed in a store; , An image display unit 120 for displaying an image captured by the product imaging unit 105, a feature extraction unit 130 for extracting features of the product from the image, and an image extracted by the feature extraction unit 130. A product identification unit that compares the feature of the product and the feature of the product indicated by the feature information stored in the feature information storage unit 110, determines whether the feature of the compared product matches, and identifies the product; A product identification unit 140 for identifying a product imaged based on the product, and an image in which an identified marker is attached to the product identified by the product identification unit 140 is displayed on the image display unit 120. That and a marker attached means 150.
[0026]
The commodity imaging means 105 has at least one camera, and inputs a plurality of images in time series. In addition, the product imaging unit 105 includes, for example, a plurality of cameras including a camera that captures an image of a cashier counter where goods are paid out from above and a camera that captures an image of a product placed on the cashier counter through a transparent glass plate from below the cashier counter. It may have a camera.
[0027]
The characteristic information storage means 110 includes first information including information on size and shape corresponding to a plurality of products displayed in the store, and second information including information on design and color of packaging corresponding to the plurality of products. And the third information including the keyword described in the packaging of the product corresponding to the plurality of products is stored in advance, and the feature extracting unit 130 extracts the feature of the product corresponding to the first information from the image obtained by capturing the product. The product identification means 140 narrows down product candidates by comparing the feature of the product corresponding to the extracted first information with the first information stored in advance. In addition, the feature of the product corresponding to the second information and the third information is also extracted, and the product identification unit 140 further narrows down the product candidates and identifies the product.
[0028]
The feature information from the first information to the third information shown here does not limit the products that can be identified. When barcode information is included in the imaged product, the feature extraction unit 130 extracts the barcode information printed on the product, and the product identification unit 140 outputs the barcode information extracted by the feature extraction unit 130. The product may be identified from the information. Further, for a product to which a tag responding to an electromagnetic wave is attached, the feature extracting unit 130 irradiates a predetermined electromagnetic wave to the tag attached to the product to extract product information from the tag, and the product identifying unit 140 Alternatively, a product may be identified from the product information extracted by the feature extracting unit 130.
[0029]
In addition, comparing the feature of the product extracted by the feature extraction unit 130 with the feature of the product indicated by the feature information stored in the feature information storage unit 110 means comparing the feature of a part set in advance for each product. If the feature is such that the product can be identified, it may be a color or a character. Further, when the feature of the part set in advance for each product is compared with the feature of the product indicated by the feature information stored in the feature information storage unit 110, and it is recognized that the feature of the preset portion is the same. , The features of the product were matched.
[0030]
The marker attaching unit 150 further acquires position information indicating the position on the screen of the item identified by the item identifying unit 140, and identifies the item displayed at the position indicated by the acquired position information by the item identifying unit 140. An image to which an identified marker indicating the completion of the operation is attached is displayed on the image display means 120.
[0031]
In addition, the point-of-sale information management device 100 further includes a product tracking unit 160 that tracks a product that moves within the imaged visual field, and the product tracking unit 160 stores position information indicating a position on the screen where the product has moved. The tracking information including the tracking information is output to the marker attaching means 150. The marker attaching means 150 inputs the tracking information, and displays an image in which the identified marker and the unidentifiable marker move following the product based on the input tracking information. Means 120 are displayed. In addition, the identified marker and the unidentifiable marker may be displayed on the image display unit 120 so as to overlap the image of the product.
[0032]
In addition, the point-of-sale information management device 100 further includes a sound generation unit 170 that generates a sound including a voice, and the product identification unit 140 causes the sound generation unit 170 to generate a sound indicating that the product has been identified. It has become. The sound indicating that the product has been identified may be, for example, the name of the product and the utterance of the amount “cup noodle, 135 yen”.
[0033]
The commodity identification means 140 is configured to cause the sound generation means 170 to emit a sound indicating that the identification of the commodity has been completed, when the identification of all the photographed commodities is completed. The sound indicating that the identification of the product has been completed may be, for example, an electronic sound such as a beep.
[0034]
When it is determined that the imaged product cannot be identified, the product identification unit 140 causes the sound generation unit 170 to generate a sound indicating that the product cannot be identified. The sound indicating that the product cannot be identified may be, for example, an utterance of “cannot be identified”.
[0035]
When the product identification unit 140 determines that the imaged product cannot be identified, the marker attaching unit 150 further obtains position information indicating the position on the screen of the product determined by the product identification unit 140 to be unidentifiable. Then, an unidentifiable marker indicating that the product displayed at the position on the screen indicated by the acquired position information cannot be identified by the product identification means 140 is displayed on the image display means 120. Further, the unidentifiable marker may be displayed on the image display unit 120 so as to overlap the image of the product.
[0036]
The marker attaching unit 150 causes the image display unit 120 to display at least two or more product candidates related to the feature extracted from the product determined to be unidentifiable in association with the unidentifiable marker. Selection information for selecting one of the above product candidates is acquired, and a product once determined to be unidentifiable is identified.
[0037]
The image display means 120 has a touch panel capable of inputting information in association with the information displayed on the screen, detects that the identified marker has been touched, and for example, the product identified by the sound utterance means 170 And the amount "cup noodle, 135 yen" may be uttered. Also, the product identification unit 140 detects that the unidentifiable marker has been touched, and displays two or more product candidates that could not be narrowed down to one product based on the features of the product extracted by the feature extraction unit 130. Means 120 are displayed. Further, the product identification unit 140 detects that the touch panel is touched to select one of the displayed two or more product candidates as auxiliary information for identifying the product, and detects the detected one product candidate. To determine the product.
[0038]
The point-of-sale information management apparatus 100 according to the embodiment of the present invention further includes accounting processing means 180 for accounting for a product to which the identified marker is attached. When it is determined that the product has moved out of the field of view, the accounting processing unit 180 acquires the product information of the product that has moved out of the field of view and performs the accounting process on the product. Therefore, it is also possible to put the goods in the field of view to be imaged, identify the goods one after another, sequentially take out the goods whose identification is completed, continue the accounting, and finally close the accounting for the goods.
[0039]
Next, the operation of the point-of-sale information management apparatus 100 according to the embodiment of the present invention will be described with reference to the flowchart of FIG.
[0040]
First, a product is imaged by the product imaging means 105 (step S101). Next, the image of the product captured by the product imaging unit 105 is displayed by the image display unit 120 (Step S102). Next, the feature of the product imaged by the product imaging unit 105 is extracted by the feature extraction unit 130 (step S103). At this time, it is determined whether or not a plurality of products are imaged, and when it is determined that a plurality of products are imaged, features of the plurality of products are respectively extracted. Then, position information indicating the position on the screen of the product displayed by the image display means 120 is obtained by the product tracking means 160 (step S104). Next, the feature of the product extracted by the feature extraction unit 130 is compared with the feature of the product indicated by the feature information stored in the feature information storage unit 110 (step S105). The characteristic information storage means 110 has first information including size and shape information corresponding to a plurality of products displayed in the store, and second information including packaging design and color information corresponding to the plurality of products. And at least third information including a keyword described in packaging of a product corresponding to a plurality of products is stored in advance.
[0041]
In this step S105, an operation of sequentially comparing the features extracted at least according to the feature information from the first information to the third information, and narrowing down the product candidates from the comparison result is repeated. First, the feature of the product corresponding to the first information extracted by the feature extraction unit 130 and the first information stored in advance are compared by the product identification unit 140 and coincide with the feature information stored in the feature information storage unit 110. Are narrowed down as product candidates. At this time, if there is only one item that matches the feature information stored in the feature information storage unit 110, the identification of the product is completed. Next, the feature of the product corresponding to the second information extracted by the feature extraction unit 130 and the second information stored in advance are compared by the product identification unit 140, and the feature information stored in the feature information storage unit 110 is compared with the feature information stored in the feature information storage unit 110. Narrow matching items as product candidates. At this time, if there is only one item that matches the feature information stored in the feature information storage unit 110, the identification of the product is completed. Then, the feature of the product corresponding to the third information extracted by the feature extraction unit 130 and the third information stored in advance are compared by the product identification unit 140 and coincide with the feature information stored in the feature information storage unit 110. Are narrowed down as product candidates. At this time, if there is only one item that matches the feature information stored in the feature information storage unit 110, the identification of the product is completed (step S106).
[0042]
As shown in FIG. 3, as a result of trying to identify the product a and the product b from the image obtained by capturing the two products a and b, it was determined that the product a could be identified but the product b could not be identified. Can be confirmed from this screen 121. Further, as shown in FIG. 4, even if an unidentifiable marker is attached, it is indicated that the product candidates could not be narrowed down until the product was determined to be one product in the process of identifying the product. Is displayed, and it is possible to confirm how far the product candidates have been narrowed down. Further, the operator selects one of the plurality of displayed product candidates and inputs the selected one of the product candidates, so that the product identification means determines the product based on the input single product candidate. can do. Also, in a store that sells products for which product candidates cannot be narrowed down from only one direction, as shown in FIG. 5, the features of the products are extracted from an image taken from the top and an image taken from the side. By doing so, the product can be identified.
[0043]
Next, an identified marker indicating that identification has been performed is displayed on the image display unit 120 in association with the identified product (step S107). Next, a sound indicating the identification, for example, a sound of the name of the product and the amount “cup noodle, 135 yen” is generated by the sound generating means 170 (step S108). Then, when the identification of the imaged product is completed, a sound indicating that the identification of the product is completed is generated by the sound generation unit 170 (step S109).
[0044]
On the other hand, when the product identification unit 140 determines that the imaged product cannot be identified, an unidentifiable marker indicating that the product could not be identified is displayed on the image display unit 120 in association with the unidentified product (step S110). ). Next, a sound indicating that the product cannot be identified, for example, a sound of "cannot be identified" is generated by the sound generating means 170 (step S111). Next, when an instruction to display a product candidate is input, at least two or more product candidates related to a feature extracted from a product determined to be indistinguishable are displayed on the image display means 120 (step S112). . Then, by selecting one of the at least two or more product candidates displayed on the image display means 120, the product determined to be unidentifiable is identified (step S113).
[0045]
Also, the goods moving in the imaged visual field are tracked by the goods tracking means 160 so that the position information on the screen of the picked-up goods is sequentially updated, and the position information of the tracked goods is sent to the marker attaching means 105. It is output (step S114).
[0046]
As described above, in the point-of-sale information management apparatus of the present invention, an image of a plurality of products is displayed on the image display means, a marker indicating that the product has been identified is displayed, and further, the identification is provided. By generating the sound, it can be confirmed that each of the plurality of products can be identified.
[0047]
【The invention's effect】
As described above, the point-of-sale information management device of the present invention can confirm whether or not each product can be identified from images obtained by capturing a plurality of products, and can efficiently complete the accounting process of the product in a short time. Can be provided.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of a point-of-sale information management device according to an embodiment of the present invention; FIG. 2 is a flowchart illustrating an operation of a point-of-sale information management device according to an embodiment of the present invention; FIG. 4 is a diagram showing a screen in which the point-of-sale information management device of the embodiment attaches an identification marker or an unidentifiable marker to each product. FIG. 5 is a diagram showing a screen on which an unidentifiable marker is attached and a product candidate related to the unidentifiable marker is displayed. FIG. FIG. 6 is a diagram showing a screen in which a product is identified from an image and an identification marker is attached to the identified product. FIG. 6 is a block diagram showing a configuration of a conventional point-of-sale information management device.
100 Point-of-sale information management device 105 Product imaging means 110 Feature information storage means 120 Image display means 130 Feature extraction means 140 Product identification means 150 Marker attachment means 160 Product tracking means 170 Sound generation means 180 Product accounting means
