JP2016066300A - スキャナ装置及びプログラム - Google Patents

スキャナ装置及びプログラム Download PDF

Info

Publication number
JP2016066300A
JP2016066300A JP2014195591A JP2014195591A JP2016066300A JP 2016066300 A JP2016066300 A JP 2016066300A JP 2014195591 A JP2014195591 A JP 2014195591A JP 2014195591 A JP2014195591 A JP 2014195591A JP 2016066300 A JP2016066300 A JP 2016066300A
Authority
JP
Japan
Prior art keywords
product
unit
output
captured image
command
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014195591A
Other languages
English (en)
Inventor
英浩 内藤
Hidehiro Naito
英浩 内藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Priority to JP2014195591A priority Critical patent/JP2016066300A/ja
Priority to EP15185911.3A priority patent/EP3002721A1/en
Publication of JP2016066300A publication Critical patent/JP2016066300A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/08Payment architectures
    • G06Q20/20Point-of-sale [POS] network systems
    • G06Q20/208Input by product or record sensing, e.g. weighing or scanner processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/38Payment protocols; Details thereof
    • G06Q20/40Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/409Device specific authentication in transaction processing
    • G06Q20/4097Device specific authentication in transaction processing using mutual authentication between devices and transaction partners
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7788Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/987Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns with the intervention of an operator
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers
    • G07G1/0036Checkout procedures
    • G07G1/0045Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers
    • G07G1/0036Checkout procedures
    • G07G1/0045Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/68Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Computer Security & Cryptography (AREA)
  • Cash Registers Or Receiving Machines (AREA)

Abstract

【課題】撮像画像の出力を制限することが可能なスキャナ装置及びプログラムを提供する。【解決手段】撮像手段と、外部の情報処理装置と接続可能な接続手段と、前記撮像手段で撮像された撮像画像を前記情報処理装置に出力する出力手段と、前記情報処理装置から所定の第1コマンドが入力されるまでの間、前記撮像画像の出力を抑制し、前記情報処理装置から前記第1コマンドが入力されると、前記撮像画像を前記出力手段から出力させる制御手段と、を備える。【選択図】図7

Description

本発明の実施形態は、スキャナ装置及びプログラムに関する。
従来、物品を撮像した画像(撮像画像)から抽出される当該物品の特徴量と、辞書に予め登録された照合用の特徴量とを比較し、その類似度に応じて当該物品の種別等を認識する技術が存在する。また、この物品認識に係る技術を青果品等の商品の識別に用い、識別された商品を売上登録するシステムが提案されている。係るシステムは、商品の撮像を行うスキャナ装置(撮像装置)と、商品の認識を行う情報処理装置(PC等)とを接続して構成される。
ところで、スキャナ装置から出力される撮像画像には、撮像条件や画像処理の方法等、技術上の機密事項が含まれる。しかしながら、撮像画像の出力を汎用的な通信規格を用いて行う場合には、この通信規格に対応した他の機器でも撮像画像の取得が可能となるため、機密事項が不用意に流出することになる。そのため、撮像画像の出力を制限することが可能な技術が要求されている。
本発明が解決しようとする課題は、撮像画像の出力を制限することが可能なスキャナ装置及びプログラムを提供することである。
実施形態のスキャナ装置は、撮像手段と、外部の情報処理装置と接続可能な接続手段と、前記撮像手段で撮像された撮像画像を前記情報処理装置に出力する出力手段と、前記情報処理装置から所定の第1コマンドが入力されるまでの間、前記撮像画像の出力を抑制し、前記情報処理装置から前記第1コマンドが入力されると、前記撮像画像を前記出力手段から出力させる制御手段と、を備える。
図1は、実施形態に係るチェックアウトシステムの一例を示す斜視図である。 図2は、商品読取装置及び商品精算装置のハードウェア構成を示すブロック図である。 図3は、PLUファイルのデータ構成の一例を模式的に示す図である。 図4は、商品読取装置の機能構成を示すブロック図である。 図5は、商品精算装置の機能構成を示すブロック図である。 図6は、商品読取装置の表示・操作部に表示された商品候補画面の表示例を示す図である。 図7は、商品読取装置及び商品精算装置が行う売上登録処理の一例を示すフローチャートである。
以下では、チェックアウトシステムを例として、本実施形態に係るスキャナ装置及びプログラムについて、図面を参照して説明する。店舗システムは、一取引に係る商品の登録、精算を行うPOS端末を備えるチェックアウトシステム(POSシステム)等である。本実施形態は、スーパーマーケット等の店舗に導入されたチェックアウトシステムへの適用例である。
図1は、チェックアウトシステム1の一例を示す斜視図である。図1に示すように、チェックアウトシステム1は、商品読取装置10と、商品精算装置20とを備える。本実施形態では、商品読取装置10がスキャナ装置に対応し、商品精算装置20(POS端末21)が情報処理装置に対応する。なお、商品精算装置20は、商品読取装置10との接続が許可された正規の情報処理装置であるとする。
商品読取装置10は、カウンタ台31の略中央に配置され、ハウジング11と、表示・操作部12とを備える。ハウジング11は、矩形形状に形成されており、オペレータの操作側となる面の略中央に読取窓13が設けられている。読取窓13の奥側には、後述する撮像部104(図2参照)が設けられる。
表示・操作部12は、ハウジング11の上部に設けられる。表示・操作部12は、後述するCPU101(図2参照)の制御の下、文字や画像等を表示する。また、表示・操作部12は、商品読取装置10を操作するオペレータの操作入力を受け付ける。表示・操作部12は、例えばタッチパネルディスプレイを用いて実現される。
カウンタ台31の上面には、荷受け面311が形成されている。この荷受け面311には、商品Gを収納する買物カゴ41が載置される。買物カゴ41は、顧客によって持ち込まれる第1の買物カゴ41aと、第1の買物カゴ41aから商品読取装置10を挟んだ位置に載置される第2の買物カゴ41bがある。なお、買物カゴ41は、いわゆるカゴ形状のものに限るものではなく、トレー状や箱状、袋状等であってもよい。
第1の買物カゴ41aには、一取引に係る商品Gが収納される。第1の買物カゴ41a内の商品Gは、商品読取装置10を操作するオペレータにより第2の買物カゴ41bに移動される。この移動過程で、商品Gが商品読取装置10の読取窓13に提示される。このとき、読取窓13内の撮像部104(図2参照)は、ユーザー(以下、装置の操作者を含めてオペレータと称する)の手に把持された商品Gを撮像する。
一方、商品精算装置20は、カウンタ台31とL字を形成するようにして配置されたチェックアウト台32上に設けられる。商品精算装置20は、POS端末21とドロワ22とを有し、POS端末21はドロワ22の上部に載置されている。ドロワ22は、紙幣及び硬貨を収納し、POS端末21によって開放動作の制御を受ける。
POS端末21の上面には、オペレータによって押下操作されるキーボード23が配置される。キーボード23は、「1」、「2」、「3」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー、仮締めキー、及び締めキー等(何れも図示せず)を含む。
また、POS端末21は、第1表示部24と、回転可能に立設された第2表示部25とを備える。第1表示部24及び第2表示部25は、後述するCPU201(図2参照)の制御の下、文字や画像等の情報を表示する。第1表示部24は、キーボード23を操作するオペレータに向けて配置されることで、オペレータに情報を表示する。また、第2表示部25は、図1の奥側に向くように回転させることによって、主に客に向けて情報を表示する。なお、第1表示部24は、タッチパネルディスプレイとすることで、後述する操作部204として用いる構成としてもよい。
上記の構成において、POS端末21は、商品精算装置20で撮像された商品Gを認識し、その商品Gに対応する商品の商品分類、商品名、単価等の情報を、図示しない売上マスタファイル等に登録する。また、POS端末21では、一取引に係る各商品の単価や販売点数から、一取引分の合計金額を算出し、当該合計金額に基づいて精算を行う。
次に、商品読取装置10及び商品精算装置20の構成について説明する。図2は、商品読取装置10及び商品精算装置20のハードウェア構成を示すブロック図である。
図2に示すように、商品読取装置10は、情報処理を実行するマイクロコンピュータ100を備える。マイクロコンピュータ100は、主にCPU(Central Processing Unit)101と、ROM(Read Only Memory)102と、RAM(Random Access Memory)103とにより構成される。ROM102は、CPU101が実行可能な各種プログラムを記憶する。RAM103は、商品読取装置10の主記憶装置である。
商品読取装置10のCPU101には、撮像部104が接続される。撮像部104は、カラーCCDイメージセンサやカラーCMOSイメージセンサ等の撮像装置である。撮像部104は、CPU101の制御の下、例えば30fps等のフレームレートで動画像の撮像を行う。撮像部104が撮像した画像(撮像画像)は、CPU101の制御の下、RAM103上に順次保存される。
また、商品読取装置10のCPU101には、上述した表示・操作部12が接続される。表示・操作部12の各部は、CPU101や、POS端末21のCPU201によって動作が制御される。例えば、表示・操作部12は、CPU101やCPU201の制御の下、後述する商品候補画面(図6参照)等の各種画面を表示する。
また、商品読取装置10のCPU101には、記憶部105が接続される。記憶部105は、HDD(Hard Disk Drive)やSSD(Solid State Drive)等の記憶装置である。記憶部105は、各種プログラムや各種ファイルを記憶する。
更に、商品読取装置10のCPU101には、接続I/F106が接続される。接続I/F106は、POS端末21等の外部装置との間でデータ通信を実現するためのインタフェースである。なお、接続I/F106の接続規格は、特に問わず、例えば、USB(Universal Serial Bus)等の汎用規格を用いてもよい。
一方、商品精算装置20は、POS端末21内に、情報処理を実行するマイクロコンピュータ200を備える。マイクロコンピュータ200は、主にCPU201と、ROM202とRAM203とにより構成される。ROM202は、CPU201が実行可能な各種プログラムを記憶する。RAM203は、POS端末21の主記憶装置である。
商品精算装置20のCPU201には、前述したドロワ22、第1表示部24及び第2表示部25が接続される。また、商品精算装置20のCPU201には、操作部204が接続される。係る操作部204は、上述したキーボード23や、第1表示部24に設けられるタッチパネル等である。
また、商品精算装置20のCPU201には、HDDやSSD等の記憶部205が接続される。記憶部205は、各種プログラムや各種ファイルを記憶する。記憶部205は、例えば、PLUファイルF1を記憶する。PLUファイルF1は、店舗で販売する商品Gの各々について、当該商品Gの売上登録に係る情報が格納された商品ファイルである。また、PLUファイルF1は、商品G各々の外観上の特徴を示した特徴量を記憶する。この特徴量は、商品の標準的な形状、表面の色合い、模様、凹凸状況等の外観の特徴をパラメータ化したものである。
図3は、PLUファイルF1のデータ構成の一例を模式的に示す図である。図3に示すように、PLUファイルF1は、各商品Gの商品情報を格納する。商品情報は、商品G毎にユニークに割り当てられた識別情報である商品ID、商品Gが属する商品分類、商品名、単価等の商品に関する情報を含む。また、商品情報は、商品Gを示すイラスト画像と、その商品Gの特徴量とを含む。係る特徴量は、後述する類似度の判定の際に、照合用のデータとして用いられる。
図2に戻り、商品精算装置20のCPU201には、通信I/F206が接続される。通信I/F206は、ストアコンピュータSCとの間でデータ通信を実現するためのインタフェースである。ストアコンピュータSCは、例えば商品精算装置20(POS端末21)の各々にPLUファイルF1の配信等を行う。
また、商品精算装置20のCPU201には、プリンタ207が接続される。プリンタ207は、レシート用紙等の所定の用紙に印字を行うプリンタ装置である。プリンタ207は、CPU101の制御の下、例えば、一取引の取引内容を示すレシートをレシート用紙に印字する。
更に、商品精算装置20のCPU201には、接続I/F208が接続される。接続I/F208は、商品読取装置10等の外部装置との間でデータ通信を実現するためのインタフェースである。なお、接続I/F208の接続規格は、商品読取装置10の接続I/F106に準ずるものとする。
次に、図4を参照して、商品読取装置10の機能構成について説明する。図4は、商品読取装置10の機能構成を示すブロック図である。商品読取装置10は、CPU101と、ROM102や記憶部105に記憶されたプログラムとの協働により、図4に示す各機能部を備える。
画像取込部111は、撮像部104が撮像した撮像画像の取り込みを行う機能部である。具体的に、画像取込部111は、撮像部104の撮像により生成される撮像画像を順次取り込み、RAM103上に保存する。なお、画像取込部111は、撮像画像の取得の際に、当該撮像画像に対し画像処理を施す構成としてもよい。例えば、撮像部104の撮像画像がベイヤ方式で表される場合、画像取込部111は、その撮像画像をRGB方式やYUV方式等に変換する構成としてもよい。
画像出力部112は、画像取込部111が取り込んだ撮像画像を、接続I/F106を介して商品精算装置20に出力する。具体的に、画像出力部112は、RAM103上に保存された撮像画像を順次出力する。なお、撮像画像の出力方法や出力方式は特に問わず、例えば、USBビデオクラス等の汎用的な通信規格を用いてもよい。
ところで、商品読取装置10から出力される撮像画像には、撮像条件や画像処理の方法等、技術上の機密事項が含まれる。機密事項は、例えば撮像部104のシャッタ時間、照明(図示せず)や背景の状態、画像処理の種別や条件等、撮像画像から直接或いは間接的に取得可能な情報を意味する。しかしながら、撮像画像の出力を汎用的な通信規格を用いて行う場合には、この通信規格に対応したPOS端末21以外の機器でも撮像画像を取得することが可能であるため、機密事項が不用意に流出することになる。そのため、撮像画像の出力を制限することが可能な技術が要求されている。
そこで、本実施形態の商品読取装置10では、出力制御部113の機能により撮像画像の出力を制限する。具体的に、出力制御部113は、接続I/F208を介して所定の第1コマンド(以下、イネーブルコマンド)の入力を受け付けると、画像出力部112から撮像画像を出力させる。また、出力制御部113は、イネーブルコマンドが未入力の状態では(以下、デフォルト状態という)、画像出力部112からダミー画像を出力させることで、撮像画像の出力を抑制する。例えば、ダミー画像は、単一色の画像やスクリーンセーバー画像、「専用機器を使用して下さい等」の注意を促すメッセージを含んだ画像等を用いることができる。
また、出力制御部113は、所定の第2コマンド(以下、ディセーブルコマンド)の入力を受け付けると、デフォルト状態に戻すことで、撮像画像の出力を抑制する。また、出力制御部113は、接続I/F106の状態を監視し、オフラインを検知すると、デフォルト状態に戻すことで、撮像画像の出力を抑制する。なお、出力制御部113は、外部装置(商品精算装置20)との交信ができない場合にオフラインと判定する。
ここで、イネーブルコマンド及びディセーブルコマンドは、商品読取装置10との接続が許可された正規の情報処理装置(商品精算装置20)から出力されるものとする。正規の情報処理装置は、イネーブルコマンド及びディセーブルコマンドを出力可能な後述する画像取得部211を備え、当該機能部の機能により自らの装置の正当性を商品読取装置10に通知する。これにより、商品読取装置10では、撮像画像の出力先を正規の情報処理装置に制限できるため、機密事項の流出を防ぐことができる。
なお、出力制御部113は、デフォルト状態の間、撮像部104又は画像取込部111の動作を停止することで、撮像画像自体が生成されないよう制御する構成としてもよい。この構成を採用する場合、出力制御部113は、イネーブルコマンドの入力に応じて、撮像部104又は画像取込部111の動作を開始させるものとする。また、出力制御部113は、ディセーブルコマンドの入力に応じて、撮像部104又は画像取込部111の動作を停止させるものとする。
次に、図5を参照して、商品精算装置20の機能構成について説明する。図5は、商品精算装置20の機能構成を示すブロック図である。商品精算装置20は、CPU201と、ROM202やHDD204に記憶されたプログラムとの協働により、図5に示す各機能部を備える。
画像取得部211は、接続I/F208を介して、商品読取装置10(撮像部104)から撮像画像(或いはダミー画像)を取得する。
具体的に、画像取得部211は、操作部204を介して取引開始の指示を受け付けると、商品読取装置10にイネーブルコマンドを出力する。そして、画像取得部211は、イネーブルコマンドの出力に伴い、商品読取装置10(画像出力部112)から入力される撮像画像を順次取得する。また、画像取得部211は、操作部204を介して取引終了の指示を受け付けると、商品読取装置10にディセーブルコマンドを出力する。
なお、本実施形態では、取引開始や取引終了の操作指示に応じて、イネーブルコマンド又はディセーブルコマンドを出力する構成としたが、コマンド出力のタイミングはこれに限らないものとする。例えば、画像取得部211は、接続I/F208の状態を監視し、外部装置(商品読取装置10)との接続を検知した場合に、イネーブルコマンドを出力する構成としてもよい。
商品検出部212は、画像取得部211により取り込まれた撮像画像から、商品Gの全部又は一部を検出する。ここで、商品Gの検出方法は特に問わず、パターンマッチング技術等の公知技術を用いてもよい。例えば、商品検出部212は、撮像画像を2値化した画像から輪郭線等を抽出する。次いで、商品検出部212は、前回の撮像画像から抽出された輪郭線と、今回の撮像画像から抽出された輪郭線とを比較し、読取窓13に向けられた商品を検出する。
また、他の検出方法として、商品検出部212は、取り込まれたフレーム画像からオペレータの手に相当する肌色領域の有無を検出する。商品検出部212は、肌色領域を検出すると、この肌色領域の近傍において上述した輪郭線の検出を行う。これにより、商品検出部212は、オペレータの手が把持していると想定される商品Gの輪郭抽出を試みる。具体的に、商品検出部212は、手の形状を示す輪郭と、手の輪郭の近傍に手以外の物体の輪郭とを検出した場合に、この物体の輪郭から商品Gを検出する。
類似度算出部213は、商品検出部212が商品Gを検出した撮像画像から、その商品Gの色合いや凹凸状況等の表面の状態を特徴量として抽出する。なお、類似度算出部213は、処理時間の短縮を図るため、商品Gの輪郭や大きさは考慮しないものとする。
また、類似度算出部213は、PLUファイルF1に登録された各商品(以下、登録商品)の特徴量と、商品Gの特徴量とを比較することで、商品Gと登録商品との類似度を算出する。ここで、類似度は、登録商品の画像を100%=「類似度:1.0」とした場合に、商品Gの全部又は一部の画像がどの程度類似しているかを示すものである。なお、類似度算出部213は、表面の色合や表面の凹凸状況等、特徴量の種別毎に重み付けを変えて類似度を算出してもよい。
このように画像中に含まれる物体を認識することは一般物体認識(generic object recognition)と呼ばれる。一般物体認識については、例えば下記の文献において各種認識技術が解説されている。
柳井 啓司,“一般物体認識の現状と今後”,情報処理学会論文誌,Vol.48,No.SIG16 [平成24年9月10日検索],インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
また、画像をオブジェクト毎に領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら,“Semantic Texton Forests for Image Categorization and Segmentation”,[平成24年9月10日検索],インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
なお、撮像された商品Gの画像と、登録商品との類似度の算出方法は特に問わないものとする。例えば、類似度は、撮像された商品Gの画像と各登録商品との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。
類似度を絶対評価として算出する場合は、撮像された商品Gの画像と、各登録商品とを1対1で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、類似度を相対評価として算出する場合は、撮像された商品Gと、各登録商品との類似度の総和が1.0(100%)となるよう算出すればよい。
また、類似度は、商品Gの特徴量と、PLUファイルF1に登録された商品の基準の特徴量とを比較し、両特徴量がどの程度類似しているかを示す値(類似度)であればよい。なお、類似度の概念は、この例に限らず、PLUファイルF1に登録された各登録商品の特徴量との一致度を示す値や、商品Gの特徴量とPLUファイルF1に登録された各登録商品の特徴量とがどの程度相関するかを示す値であってもよい。
類似度判定部214は、算出した類似度のうち、その値が所定の閾値以上となる登録商品(商品ID)を、撮像部104で撮像された商品Gの候補(商品候補)として認識する。ここで、類似度が閾値以上の登録商品の中で、その値が他と比べて非常に高くなる登録商品が一つ存在するような場合、類似度判定部214は、その登録商品を確定商品として自動確定してもよい。なお、類似度の比較基準は任意に設定可能であるとする。
商品提示部215は、類似度判定部214で商品候補と認識された登録商品に関する情報を、商品読取装置10の表示・操作部12に表示させる。より詳細には、商品提示部215は、商品候補として認識された登録商品のレコードをPLUファイルF1から読み出すと、当該レコードに基づき商品候補画面を表示・操作部12に表示させる。
図6は、表示・操作部12に表示された商品候補画面の表示例を示す図である。図6に示すように、商品候補画面A1は、撮像画像領域A11と、商品候補領域A12とを含む。
撮像画像領域A11は、画像取得部211が取得した撮像画像を表示するための領域である。なお、撮像画像領域A11には、画像取込部111が取り込んだ画像を直接表示する構成としてもよい。
撮像画像領域A11の下部には、部門コードや商品リスト等から手動で商品Gを認識(登録)するための手動登録ボタンB1が設けられる。商品提示部215は、手動登録ボタンB1の操作に応じて、商品Gの認識(登録)を手動で行うための手動登録画面(図示せず)を表示・操作部12に表示させる。なお、手動登録画面を介して指定された商品は、確定商品として処理される。
商品候補領域A12は、商品候補として認識された登録商品に関する情報を表示するための領域である。商品候補領域A12には、表示領域A2が配置される。図6では、商品候補領域A12に4つの表示領域A2を配置した例を示しているが、表示領域A2の個数は特に問わないものとする。商品提示部215は、表示領域A2に、商品候補の商品画像や商品名等の商品情報(XX、XA等)を配置して表示する。なお、商品候補領域A12に表示された商品候補は、操作・操作部12のタッチパネル(図示せず)を介して選択可能に構成される。上記の構成により、オペレータは、商品候補領域A12に表示された商品候補の中から、商品Gに該当する商品候補を確定商品として選択することができる。
入力受付部216は、操作部204に対する入力操作を受け付ける。また、入力受付部216は、接続I/F208を介して、商品精算装置20の表示・操作部204に対する入力操作を受け付ける。例えば、入力受付部216は、商品候補画面に表示された商品候補に対する選択操作に基づき、商品Gに該当する確定商品の選択操作を受け付ける。
売上登録部217は、入力受付部216が受け付けた商品IDと販売個数とに基づいて、対応する商品の売上登録を行う。具体的に、売上登録部217は、PLUファイルF1を参照して、通知された商品ID及び当該商品IDに対応する商品分類、商品名、単価等を、販売個数とともに売上マスタファイル等に記録して売上登録を行う。
以下、チェックアウトシステム1の動作について説明する。図7は、商品読取装置10及び商品精算装置20が行う売上登録処理の一例を示すフローチャートである。なお、商品読取装置10と商品精算装置20とは、接続I/F106及び接続I/F208を介して接続されているものとする。
まず、商品精算装置20の画像取得部211は、取引開始の指示を受け付けるまで待機する(ステップS11;No)。画像取得部211は、取引開始の指示を受け付けると(ステップS11;Yes)、商品精算装置20に対しイネーブルコマンドを出力する(ステップS12)。
一方、商品読取装置10の出力制御部113は、イネーブルコマンドが未入力のデフォルト状態の間、画像出力部112からダミー画像を出力させる(ステップS31;No→ステップS32)。出力制御部113は、イネーブルコマンドの入力を受け付けると(ステップS31;Yes)、画像出力部112から撮像画像を順次出力させる(ステップS33)。
商品精算装置20では、画像取得部211が、商品精算装置20から入力される撮像画像を順次取得する(ステップS13)。次いで、商品精算装置20の商品検出部212は、その撮像画像から商品Gの検出を試みる(ステップS14)。ここで、商品検出部212は、撮像画像から商品Gを検出できない場合(ステップS14;No)、ステップS13に処理を戻す。また、商品検出部212は、撮像画像から商品Gを検出すると(ステップS14;Yes)、ステップS15に処理を進める。
商品精算装置20の類似度算出部213は、ステップS14で商品Gが検出された撮像画像から、当該商品Gの特徴量を抽出する(ステップS15)。次いで、類似度算出部213は、ステップS15で抽出した特徴量と、PLUファイルF1に登録された各登録商品の特徴量とを比較し、その類似度をそれぞれ算出する(ステップS16)。
類似度判定部214は、ステップS16で算出された類似度のうち、その値が所定の閾値以上の登録商品が存在するか否かを判定する(ステップS17)。類似度が閾値以上の登録商品が存在しない場合(ステップS17;No)、類似度判定部214は、ステップS13に処理を戻す。また、類似度が閾値以上の登録商品が存在する場合(ステップS17;Yes)、類似度判定部214は、その登録商品(商品ID)を商品候補として認識する。
続いて、商品提示部215は、ステップS17で認識された商品候補を、商品読取装置10の表示・操作部12に表示する(ステップS18)。次いで、入力受付部216は、商品読取装置10の表示・操作部12を介して、確定商品の選択を受け付けたか否かを判定する(ステップS19)。ここで、確定商品の選択操作を受け付けない場合(ステップS19;No)、商品提示部215は、ステップS13に処理を戻す。
また、ステップS19において、確定商品の選択操作が行われると(ステップS19;Yes)、入力受付部216は、その確定商品の商品IDを受け付ける。ここで、表示・操作部12を介して販売個数が別途入力された場合、入力受付部216は、ステップS20において、商品IDとともに販売個数を受け付ける。なお、販売個数の入力が行われない場合、入力受付部216が、デフォルト値として販売個数“1”を入力する形態としてもよい。
続いて、売上登録部217は、確定商品の商品IDに基づき、PLUファイルF1から商品種別や単価等の商品情報を読み出す。そして、売上登録部217は、読み出した商品情報を、販売個数とともに売上マスタファイル等に記録することで売上登録を行う(ステップS20)。
続いて、画像取得部211は、操作部204を介して一取引の終了が指示されたか否かを判定する(ステップS21)。取引が継続する場合(ステップS21;No)、画像取得部211は、ステップS13に処理を戻す。また、画像取得部211は、一取引の終了指示を受け付けると(ステップS21;Yes)、商品精算装置20に対しディセーブルコマンドを出力する(ステップS22)。
一方、商品読取装置10の出力制御部113は、撮像画像を出力させている間、つまりディセーブルコマンドが入力されるまでの間、接続I/F106の状態を監視する(ステップS34;No→ステップS35;No)。出力制御部113は、接続I/F106のオフラインを検出すると(ステップS34;Yes)、ステップS11に処理を戻すことで、撮像画像の出力を抑制する。また、出力制御部113は、イネーブルコマンドの入力を受け付けると(ステップS35;Yes)、ステップS31に処理を戻すことで、撮像画像の出力を抑制する。
以上のように、本実施形態の商品読取装置10では、商品精算装置20からイネーブルコマンドが入力されるまでの間、ダミー画像を出力することで撮像画像の出力を抑制する。また、商品読取装置10は、商品精算装置20からイネーブルコマンドが入力されると、当該商品精算装置20に撮像画像を出力する。これにより、商品読取装置10は、イネーブルコマンドを入力した正規の情報処理装置に撮像画像を出力し、当該コマンドを入力しない非正規の情報処理装置に撮像画像が出力されないよう制限することができる。したがって、商品読取装置10では、撮像画像が不用意に出力されてしまうことを抑制できるため、機密事項の流出を防ぐことができる。
また、本実施形態の商品読取装置10では、撮像画像を出力している間に接続I/F106がオフラインとなった場合、デフォルト状態に戻すことで、撮像画像の出力を抑制する。これにより、商品読取装置10では、撮像画像が不用意に出力されてしまうことを抑制できるため、機密事項の流出を防ぐことができる。
以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加、組合せ等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
例えば、上記実施形態の商品読取装置10では、デフォルト状態の時にダミー画像を出力する構成としたが、これに限らず、何れの画像も出力しない構成としてもよい。
また、例えば、イネーブルコマンド及びディセーブルコマンドは、平文に限らず暗号化した状態で出力する構成としてもよい。この構成を採用する場合、商品精算装置20の画像取得部211は、イネーブルコマンド及びディセーブルコマンドを暗号化した状態で出力する。また、商品読取装置10の出力制御部113は、暗号化されたイネーブルコマンド及びディセーブルコマンドを復号し、そのコマンド内容に応じて撮像画像の出力を制御する。
また、上記実施形態の各装置で実行されるプログラムは、各装置が備える記憶媒体(ROM又は記憶部)に予め組み込んで提供するが、これに限らないものとする。例えば、プログラムは、インストール可能な形式又は実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して提供してもよい。係る記憶媒体は、例えばCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等が挙げられる。更に、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らないものとする。例えば、記憶媒体は、LANやインターネット等により伝達されたプログラムをダウンロードすることで、記憶又は一時記憶した記憶媒体も含まれる。
また、上記各実施形態の各装置で実行されるプログラムは、インターネット等のネットワーク経由で提供又は配布する構成としてもよい。
1 チェックアウトシステム
10 商品読取装置
20 商品精算装置
21 POS端末
22 ドロワ
111 画像取込部
112 画像出力部
113 出力制御部
211 画像取得部
212 商品検出部
213 類似度算出部
214 類似度判定部
215 商品提示部
216 入力受付部
217 売上登録部
特開2013−89085号公報

Claims (6)

  1. 撮像手段と、
    外部の情報処理装置と接続可能な接続手段と、
    前記撮像手段で撮像された撮像画像を前記情報処理装置に出力する出力手段と、
    前記情報処理装置から所定の第1コマンドが入力されるまでの間、前記撮像画像の出力を抑制し、前記情報処理装置から前記第1コマンドが入力されると、前記撮像画像を前記出力手段から出力させる制御手段と、
    を備えるスキャナ装置。
  2. 前記制御手段は、前記情報処理装置から前記第1コマンドが入力されると、前記出力手段に前記撮像画像を出力させ、前記情報処理装置から所定の第2コマンドが入力されると、前記第1コマンドが未入力の状態に戻す請求項1に記載のスキャナ装置。
  3. 前記制御手段は、前記第1コマンドが入力されるまでの間、前記撮像画像とは異なるダミー画像を前記出力手段から出力させる請求項1又は2に記載のスキャナ装置。
  4. 前記制御手段は、前記撮像画像を出力している間に前記接続手段がオフラインとなった場合、前記第1コマンドが未入力の状態に戻す請求項1〜3の何れか一項に記載のスキャナ装置。
  5. 前記制御手段は、前記第1コマンドの入力に応じて、前記撮像手段の撮像動作を開始させる請求項1〜4の何れか一項に記載のスキャナ装置。
  6. 撮像手段と、外部の情報処理装置と接続可能な接続手段とを備えたスキャナ装置のコンピュータを、
    前記撮像手段で撮像された撮像画像を前記情報処理装置に出力する出力手段と、
    前記情報処理装置から所定の第1コマンドが入力されるまでの間、前記撮像画像の出力を抑制し、前記情報処理装置から前記第1コマンドが入力されると、前記撮像画像を前記出力手段から出力させる制御手段と、
    して機能させるためのプログラム。
JP2014195591A 2014-09-25 2014-09-25 スキャナ装置及びプログラム Pending JP2016066300A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014195591A JP2016066300A (ja) 2014-09-25 2014-09-25 スキャナ装置及びプログラム
EP15185911.3A EP3002721A1 (en) 2014-09-25 2015-09-18 Scanner apparatus and method for outputting image by the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014195591A JP2016066300A (ja) 2014-09-25 2014-09-25 スキャナ装置及びプログラム

Publications (1)

Publication Number Publication Date
JP2016066300A true JP2016066300A (ja) 2016-04-28

Family

ID=54325302

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014195591A Pending JP2016066300A (ja) 2014-09-25 2014-09-25 スキャナ装置及びプログラム

Country Status (2)

Country Link
EP (1) EP3002721A1 (ja)
JP (1) JP2016066300A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6987664B2 (ja) * 2018-02-13 2022-01-05 東芝テック株式会社 商品販売データ登録装置およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011004856A1 (ja) * 2009-07-08 2011-01-13 京セラ株式会社 携帯電子機器
US20130054397A1 (en) * 2011-08-31 2013-02-28 Toshiba Tec Kabushiki Kaisha Store system and method
JP2014089669A (ja) * 2012-10-31 2014-05-15 Toshiba Tec Corp 商品読取装置、商品販売データ処理装置および商品読取プログラム
JP2014171018A (ja) * 2013-03-01 2014-09-18 Canon Inc 映像処理装置及び映像処理システム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4287887B2 (ja) * 2007-03-05 2009-07-01 東芝テック株式会社 ショッピングシステム及びこのシステムに用いられる携帯端末,決済端末,サーバ並びにプログラム
JP5781554B2 (ja) * 2013-02-07 2015-09-24 東芝テック株式会社 情報処理装置及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011004856A1 (ja) * 2009-07-08 2011-01-13 京セラ株式会社 携帯電子機器
US20130054397A1 (en) * 2011-08-31 2013-02-28 Toshiba Tec Kabushiki Kaisha Store system and method
JP2013050924A (ja) * 2011-08-31 2013-03-14 Toshiba Tec Corp 店舗システム及びプログラム
JP2014089669A (ja) * 2012-10-31 2014-05-15 Toshiba Tec Corp 商品読取装置、商品販売データ処理装置および商品読取プログラム
JP2014171018A (ja) * 2013-03-01 2014-09-18 Canon Inc 映像処理装置及び映像処理システム

Also Published As

Publication number Publication date
EP3002721A1 (en) 2016-04-06

Similar Documents

Publication Publication Date Title
JP5194160B1 (ja) 情報処理装置、情報処理方法及びプログラム
JP6348827B2 (ja) 情報処理装置、店舗システムおよびプログラム
JP2013210971A (ja) 情報処理装置及びプログラム
JP2015130068A (ja) 情報処理装置、店舗システム及びプログラム
JP2013089084A (ja) 商品データ処理装置、商品データ処理方法及び制御プログラム
JP2013117872A (ja) 店舗システムおよびプログラム
JP6258761B2 (ja) 情報処理装置及びプログラム
JP2014052810A (ja) 情報処理装置及びプログラム
JP5551140B2 (ja) 情報処理装置及びプログラム
JP2016126578A (ja) 情報処理装置、店舗システム及びプログラム
JP2013186548A (ja) 情報処理装置、店舗システム及びプログラム
JP2014052800A (ja) 情報処理装置及びプログラム
JP2017211881A (ja) 情報処理装置及びプログラム
JP2018055716A (ja) 情報処理装置及びプログラム
JP6239460B2 (ja) 情報処理装置及びプログラム
JP2015038719A (ja) 情報処理装置及びプログラム
JP2017211880A (ja) 情報処理装置及びプログラム
JP6376955B2 (ja) 情報処理装置、販売データ処理装置およびプログラム
JP5770899B2 (ja) 情報処理装置及びプログラム
JP2016038796A (ja) 情報処理装置及びプログラム
JP2013156940A (ja) 情報処理装置、店舗システム及びプログラム
JP2016066300A (ja) スキャナ装置及びプログラム
JP5529982B2 (ja) 情報処理装置
JP6057971B2 (ja) 情報処理装置及びプログラム
JP2018136621A (ja) 情報処理装置およびプログラム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20160201

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160714

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180323

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180821