JP2017058977A - 情報処理装置及びプログラム - Google Patents

情報処理装置及びプログラム Download PDF

Info

Publication number
JP2017058977A
JP2017058977A JP2015183435A JP2015183435A JP2017058977A JP 2017058977 A JP2017058977 A JP 2017058977A JP 2015183435 A JP2015183435 A JP 2015183435A JP 2015183435 A JP2015183435 A JP 2015183435A JP 2017058977 A JP2017058977 A JP 2017058977A
Authority
JP
Japan
Prior art keywords
product
information
candidate
display
selection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015183435A
Other languages
English (en)
Other versions
JP6329112B2 (ja
Inventor
英浩 内藤
Hidehiro Naito
英浩 内藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Priority to JP2015183435A priority Critical patent/JP6329112B2/ja
Priority to US15/226,704 priority patent/US20170076698A1/en
Priority to EP16185612.5A priority patent/EP3144854B1/en
Publication of JP2017058977A publication Critical patent/JP2017058977A/ja
Application granted granted Critical
Publication of JP6329112B2 publication Critical patent/JP6329112B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Shopping interfaces
    • G06Q30/0643Graphical representation of items or shoppers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/08Payment architectures
    • G06Q20/20Point-of-sale [POS] network systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/68Food, e.g. fruit or vegetables
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0666Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0686Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/08Arrangements within a display terminal for setting, manually or automatically, display parameters of the display terminal
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/14Solving problems related to the presentation of information to be displayed

Abstract

【課題】上位の商品候補のそれぞれの選択ボタンの表示位置を所定の位置に固定することが可能な情報処理装置及びプログラムを提供する。【解決手段】撮像手段により取り込まれた物品の画像に基づいて抽出された該物品の上位の商品候補情報の、商品候補別のそれぞれの選択情報を、例えばプリセット画面の商品ボタンの表示位置や、各商品と選択情報の表示位置との関係を示す表示位置情報において指定される表示位置などに表示させる表示制御手段を備える。【選択図】図4

Description

本発明の実施形態は、情報処理装置及びプログラムに関する。
従来、物品の撮像画像から抽出される特徴量を基に当該物品の商品候補を画面に表示するオブジェクト認識スキャナの開発が、POS(Point-of-Sale)システムなどにおいて進められている。オブジェクト認識スキャナを利用すると、キャッシャが買物カゴの中の物品を撮像エリアに翳した際に、その物品の特徴量に類似する上位の商品候補が類似度の高い順に表示領域に並べて表示されるようになる。キャッシャは、撮像エリアに翳した物品に該当する商品をその商品候補の中から選択することにより、その物品の商品情報を登録することができる。
ところで、同じカテゴリ内の物品を撮像エリアに翳すと、それぞれの上位の商品候補として同様の商品が並ぶ可能性が高くなる。しかし、翳した物品は異なるため、上位の商品候補の順序は入れ替わる。つまり、表示領域に類似度の高い順に並ぶ各商品候補の表示位置が同じカテゴリ内の別の物品を翳した場合にそれぞれ別の表示位置に移動することになる。キャッシャは、熟練度が増すと、撮像エリアに翳した物品がどの商品に対応するかを瞬時に判断できるようになる。このように熟練度の増したキャッシャにとっては、類似度の上位順に並んだ選択ボタンよりも、商品を示す選択ボタンが決まった場所に表示される方が操作性が増す。しかし、従来のシステムでは、物品に対応する商品が分かっても、その選択ボタンの表示位置が物品に応じて異なる位置に移動してしまう。そのため、キャッシャによっては、商品登録の度に、商品の選択ボタンを探す手間が生じ、商品登録をスムーズに行えないという問題がある。
本発明が解決しようとする課題は、上位の商品候補のそれぞれの選択ボタンの表示位置を所定の位置に固定することが可能な情報処理装置及びプログラムを提供することである。
実施形態の情報処理装置は、撮像手段により取り込まれた物品の画像に基づいて抽出された該物品の上位の商品候補情報を対象に、商品候補別のそれぞれの選択情報を商品単位の予め決められた表示位置に表示させる表示制御手段を備える。
図1は、第1の実施形態に係るチェックアウトシステムの一例の外観斜視図である。 図2は、チェックアウトシステムのハードウェア構成の一例を示すブロック図である。 図3は、PLUファイルのデータ構成の一例を示す図である。 図4は、チェックアウトシステムの機能ブロック構成の一例を示す図である。 図5は、チェックアウトシステムの一取引分の処理例を示すフロー図である。 図6は、プリセット画面と選択画面の表示例を示す図である。 図7は、第2の実施形態に係る選択画面の構成例を示す図である。 図8は、位置指定ファイルのデータ構成例を示す図である。 図9は、チェックアウトシステムの一取引分の処理例を示すフロー図である。 図10は、商品候補を選択ボタンへ設定する処理のフロー図である。 図11は、選択画面の表示例を示す図である。 図12は、第3の実施形態に係るセルフPOSの構成を示す外観斜視図である。 図13は、セルフPOSのハードウェア構成を示すブロック図である。
(第1の実施形態)
以下、添付図面を参照して、情報処理装置及びプログラムの実施形態を詳細に説明する。本実施形態では、係る情報処理装置及びプログラムの一実施形態として、スーパーマーケット等の店舗に設けられたチェックアウトシステムの商品読取装置への適用例を示す。
図1は、チェックアウトシステム1の一例の外観斜視図である。図1に示すように、チェックアウトシステム1は、物品を読み取って商品候補を表示する商品読取装置101と、商品読取装置101が出力する商品識別情報の商品を登録して精算処理を行う商品精算装置(POS(Point-of-Sale)端末)11とを備える。本実施形態において、POS端末11は、係る情報処理装置及びプログラムを適用したものである。POS端末11は、商品読取装置101から出力される物品の特徴量を示す情報に基づき商品候補を決定し、ユーザ(本例では、キャッシャ)に商品候補を選択させるための画面情報を商品読取装置101に出力する。
図1の例において、POS端末11は、レジ台41上にドロワ21に載置した状態で設けられる。POS端末11は、上面に、操作用の押下キーが配列されたキーボード22を有する。また、POS端末11は、キーボード22の上方に、キャッシャが入力等に使用する第1の表示デバイス23と、客が確認に使用する第2の表示デバイス24を有する。第1の表示デバイス23は、液晶等の表示パネル23aを有し、表示パネル23aにタッチパネル26が積層されたタッチ入力式のものである。第2の表示デバイス24は液晶等の表示パネル24aを有する。第2の表示デバイス24は、POS端末11の上部に回転可能に立設されている。ドロワ21は、内部に紙幣や硬貨などを収納し、POS端末11からの制御により開放する。
レジ台41の隣には、レジ台41と共にL字を形成するサッカー台151を設けている。サッカー台151は、上面に、買物カゴ153などを載置するための荷受面152が形成されている。図1中には、買物カゴ153として、第1の買物カゴ153aと第2の買物カゴ153bとを示している。第1の買物カゴ153aは、客が持ち込んだ買物カゴ、つまり読取前の物品(例えば物品G)の入った買い物カゴである。第2の買物カゴ153bは、読み取りを終えた物品を収納するための買物カゴである。キャッシャは、第1の買物カゴ153aから読取前の例えば物品Gを手に取り、商品読取装置101により物品Gを読み取らせた後、物品Gを第2の買物カゴ153bに移し替える。
商品読取装置101はサッカー台151の荷受面152の中央部に立設され、POS端末11と有線又は無線によりデータ送受信可能に接続されている。商品読取装置101は、ハウジング102に読取窓103が正面に配置された読取ユニット110(図2参照)を備える。読取窓103は透明なガラス板等により構成されている。また、商品読取装置101は、ハウジング102の上部に、表示・操作ユニット104を備える。表示・操作ユニット104は主にキャッシャが入力に使用するための液晶等の第3の表示デバイス106を有する。第3の表示デバイス106の画面は、タッチパネル105を積層することにより、タッチ入力が可能となっている。また、第3の表示デバイス106の右隣にキーボード107を設け、キャッシャによるキーボード入力も可能となっている。更に、商品読取装置101は、主に客が確認に使用するための第4の表示デバイス109を表示・操作ユニット104の背面側に備える。
読取ユニット110は、読取窓103の奥に、物品等を撮像するための撮像部164(撮像手段、図2参照)を備える。物品が撮像部164により撮像されると、読取ユニット110は撮像画像から物品の特徴量を抽出し、その特徴量をPOS端末11に対して出力する。
表示・操作ユニット104は、POS端末11から出力された、プリセット画面や商品候補の選択画面等の各種画面を第3の表示デバイス106に入力可能に表示する。プリセット画面は、商品を選択するための多数の商品ボタンや個数などを入力するためのテンキーなどが予め決まった位置(固有位置)に配置されている画面である。選択画面については、後述する。
次に、POS端末11及び商品読取装置101のハードウェア構成について説明する。
図2は、POS端末11及び商品読取装置101のハードウェア構成を示すブロック図である。POS端末11は、CPU(Central Processing Unit)61、ROM(Read Only Memory)62、RAM(Random Access Memory)63、HDD64、接続インターフェース65、プリンタ66、ドロワ21、キーボード22、第1の表示デバイス23、第2の表示デバイス24、通信インターフェース25、タッチパネル26などを有する。CPU61と、ROM62と、RAM63はバスにより接続されている。また、ドロワ21、キーボード22、第1の表示デバイス23、第2の表示デバイス24、通信インターフェース25、タッチパネル26、HDD64、接続インターフェース65、プリンタ66は、いずれも各種の入出力回路(いずれも図示せず)を介して上記バスに接続されている。
CPU61は、POS端末11の全体の制御を司る中央演算処理装置である。ROM62は固定プログラムなどを格納する不揮発性メモリである。RAM63は、CPU61が作業エリアなどとして使用する揮発性メモリである。
HDD64は、各種プログラムや各種ファイルを記憶するハードディスク等の記憶部である。各種プログラムには、商品候補を決定し、その商品候補を示す情報を選択画面に配置するなどの処理を含む、商品販売データ処理のためのプログラムPRなどが含まれる。各種ファイルは、ストアコンピュータSCから配信されて格納されたPLUファイルF1などである。また、その他、商品を登録するための登録テーブルや売上テーブルなどが記憶されている。
通信インターフェース25は、ストアコンピュータSCとデータ通信を行うためのネットワークカード等である。ストアコンピュータSCは、店舗のバックヤード等に設置されたものである。ストアコンピュータSCは、HDD(図示せず)に、POS端末11に配信するためのPLUファイルF1を格納している。
接続インターフェース65は、商品読取装置101の接続インターフェース175や接続インターフェース176と通信を行うためのインターフェースである。通信は、有線又は無線により行う。プリンタ66は、取引内容をレシート等に印字し、そのレシートを排出する印字装置である。
商品読取装置101は、CPU161、ROM162、RAM163、撮像部164、音声出力部165、接続インターフェース175、接続インターフェース176、タッチパネル105、第3の表示デバイス106、キーボード107、第4の表示デバイス109などを有する。CPU161と、ROM162と、RAM163はバスにより接続されている。また、撮像部164、音声出力部165、接続インターフェース175は、いずれも各種の入出力回路(いずれも図示せず)を介して上記バスに接続されている。また、タッチパネル105、第3の表示デバイス106、キーボード107、第4の表示デバイス109は、いずれも各種の入出力回路(いずれも図示せず)を介して接続インターフェース176に接続されている。
CPU161は、商品読取装置101の全体の制御を司る中央演算処理装置である。ROM162は制御プログラムなどを格納する不揮発性メモリである。制御プログラムには、物品画像から特徴量を抽出し、それをPOS端末11に出力する処理のプログラムなどが含まれる。RAM163は、CPU161が作業エリアなどとして使用する揮発性メモリである。
撮像部164は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を有するカラーイメージセンサである。撮像部164は、CPU161からの撮像オン信号により撮像を開始し、読取窓103に翳された物品を所定のフレームレート(例えば30fpsなど)で電気信号に変換し、フレーム画像を順次出力する。
音声出力部165は、予め設定された読取音(“ピッ”)や警告音や音声等を再生するための再生回路やスピーカ等を有する。音声出力部165は、CPU161からの制御信号により読取音や警告音や音声等を再生して読取状態等を音で報知する。
更に、CPU161には接続インターフェース175が接続されている。接続インターフェース175は、POS端末11の接続インターフェース65と通信接続し、商品読取装置101とPOS端末11との間のデータ送受信を可能にする。
接続インターフェース176は、POS端末11の接続インターフェース65と通信接続し、商品読取装置101とPOS端末11との間のデータ送受信を可能にする。
ここで、PLUファイルF1について説明する。
PLUファイルF1は、物品別に商品情報と特徴量とが対応付けされたデータファイルである。商品情報は、商品を一意に識別するための商品識別情報(商品ID等)や、商品分類や、商品を示すイラスト画像や、単価などを示す情報である。特徴量は、それぞれの物品のサンプル画像から所定のアルゴリズムで事前に抽出した物品別の特徴を示す特徴量である。
図3は、PLUファイルF1のデータ構成の一例を示す図である。PLUファイルF1は、物品別に商品情報と特徴量が対応付けられたデータを格納する。図3に示す例では、商品情報として、「商品ID」f1、「商品分類」f2、「商品名」f3、「単価」f4、「イラスト画像」f5などについてのデータを格納する。これらの商品情報に、商品の「特徴量」f6のデータが対応付けられている。「特徴量」f6に格納されるデータは、後述する類似度の判定の際に、照合用のデータとして用いられるものである。なお、「商品ID」f1に示すデータ「XXXXXXXX」は、ユニーク値とする。また、「特徴量」f6に示すデータ「YYYYYYYY」は、商品毎に算出されたランダム値とする。
次に、POS端末11及び商品読取装置101の機能ブロックの構成について説明する。
図4は、POS端末11及び商品読取装置101のそれぞれの機能ブロックの構成の一例を示す図である。商品読取装置101では、図2に示すCPU161がROM162の格納プログラムを適宜実行する。これにより、図4に示されるように、CPU161に、画像取込部51、商品検知部52、特徴量抽出部53などの機能部が実現される。また、POS端末11では、図2に示すCPU61がROM62やHDD64の格納プログラムを適宜実行する。これにより、図4に示されるように、CPU61に、商品候補抽出部71、表示制御部72、入力受付部73、売上登録部74などの機能部が実現される。
画像取込部51は、撮像部164(図2参照)に撮像オン信号を出力して撮像部164に撮像動作を開始させる。その後、画像取込部51は、撮像部164から出力されるフレーム画像を取り込み、RAM163(図2参照)に順次保存する。
商品検知部52は、連続する複数のフレーム画像に基づいて物品が読取窓103(図1参照)に翳されたことを検知する。具体的に、商品検知部52は、撮像部164(図2参照)から出力されたフレーム画像をRAM163(図2参照)から読み出し、直近に読み出したフレーム画像との輝度を比較する。商品検知部52は、その輝度の比較により、輝度階調に差分があった場合に手や物品等の何等かの写り込みがあるフレーム画像と判断する。更に、商品検知部52は、写り込みのあるフレーム画像と連続するフレーム画像を2値化して物品の輪郭線を抽出する。そして、商品検知部52は、連続するフレーム画像の輪郭線の位置に変化があったときに、その輪郭線内の画像を読取窓103に翳された物品を示す物品画像として特定する。このようにして、商品検知部52は、物品が読取窓103に翳されたことを検知する。
なお、物品画像を特定する方法は上記に限らず、他の方法を用いても良い。例えば、フレーム画像内の物品の輪郭線ではなく、肌色領域の有無により特定するようにしても良い。肌色領域が有る場合、キャッシャの手の写り込みがあることが予想される。従って、そのフレーム画像において輪郭線を抽出し、手の形状を示す輪郭線の、手で物品を把持する位置の輪郭線内の画像を、物品画像として特定する。
特徴量抽出部53は、フレーム画像内の物品を認識するためのオブジェクト認識処理を物品画像に対して施し、物品画像から特徴量を抽出する。そして、特徴量抽出部53は、その特徴量をPOS端末11の商品候補抽出部71に出力する。具体的に、特徴量抽出部53は、RAM163(図2参照)から物品画像を含むフレーム画像を読み出す。そして、特徴量抽出部53は、その物品画像から物品の色合いや表面の凹凸等の表面状態を示す物品固有の特徴量を抽出する。更に、特徴量抽出部53は、その特徴量を接続インターフェース175(図2参照)に出力する。接続インターフェース175がその特徴量を接続インターフェース65(図2参照)に出力し、接続インターフェース65から商品候補抽出部71にその特徴量が通知される。
なお、画像中に含まれる物体を認識するオブジェクト認識は、一般物体認識(generic object recognition)とも呼ばれている。一般物体認識の各種認識技術については、下記の文献のように解説されたものがあるため、詳しくはそちらを参照されたい。
柳井 啓司,“一般物体認識の現状と今後”,情報処理学会論文誌,Vol.48,No.SIG16 [平成22年8月10日検索],インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
Jamie Shottonら,“Semantic Texton Forests for Image Categorization and Segmentation”,[平成22年8月10日検索],インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
商品候補抽出部71は、通知された特徴量をPLUファイルF1(図3参照)に登録されている各商品の特徴量と照合し、PLUファイルF1から類似度順の商品情報(商品候補情報)を抽出する。そして、商品候補抽出部71は、その商品候補情報を表示制御部72に出力する。
類似度は、例えばPLUファイルF1内の各商品の特徴量を100%=「類似度:1.0」とした場合に、物品画像の特徴量がどの程度類似しているかを示すものである。類似度の結果は、絶対評価で算出しても良いし、相対評価で算出しても良い。
例えば類似度を絶対評価で算出するとする。その場合、物品画像の特徴量と、PLUファイルF1の各商品の特徴量とを1対1で比較し、この比較の結果算出される類似度をそのまま採用する。ここで類似度95%を閾値にしたとする。その場合、商品候補抽出部71は、類似度95%以上の商品(商品候補情報)を類似度の順に順番付けを行って表示制御部72に出力する。
また、類似度を相対評価で算出するとする。その場合、PLUファイルF1の各商品との類似度の総和が1.0(100%)となるよう算出する。例えばPLUファイルF1に5つの商品(第1の商品、第2の商品、第3の商品、第4の商品、第5の商品)の特徴量が登録されているものとする。その場合の類似度は、例えば第1の商品に対する類似度「0.6」、第2の商品に対する類似度「0.1」、第3の商品に対する類似度「0.1」、第4の商品に対する類似度「0.1」、第5の商品に対する類似度「0.1」等とし、類似度の総和が常に1.0になるようにする。ここで類似度0.5を閾値にしたとする。その場合、商品候補抽出部71は、類似度0.5以上の商品の商品情報(商品候補情報)を類似度の順に順番付けを行って表示制御部72に出力する。
表示制御部72は、第1の表示デバイス23(図2参照)、第2の表示デバイス24(図2参照)、第3の表示デバイス106(図2参照)、及び第4の表示デバイス109(図2参照)の表示を制御する。特に第3の表示デバイス106に対して、表示制御部72は、商品を選択するための複数の商品ボタンや個数などを入力するためのテンキーなどが所定位置に配列されたプリセット画面等を表示させる。更に、商品候補抽出部71から商品候補情報が出力されると、表示制御部72は、第3の表示デバイス106に対して、選択情報を含む選択画面を表示させる。
具体的に、表示制御部72は、商品候補情報に指定されている上位の商品候補の商品ボタンの表示の設定を、商品候補であることを示す設定とし、その他の商品ボタンの表示の設定を商品候補でないことを示す設定とした、プリセット画面の更新情報を生成する。本例では、商品候補であることを示す設定として、商品ボタンの通常表示「点灯」を示す。また、商品候補でないことを示す設定として、グレーアウトによる商品ボタンの「消灯」を示す。なお、これらの設定は、商品候補の商品ボタンか候補外の商品ボタンかをキャッシャが相対的に判断できるものであれば適宜変形しても良い。その後、表示制御部72は、その更新情報を接続インターフェース65に出力する。そして、その更新情報は、接続インターフェース65から接続インターフェース176に出力され、接続インターフェース176から第3の表示デバイス106にその更新情報が出力される。これにより、第3の表示デバイス106が表示画面を更新し、商品候補の選択画面を表示する。
入力受付部73は、キーボード22、107、タッチパネル26、105などの入出力回路からの各種入力操作を受付ける。例えば第3の表示デバイス106に商品候補の選択画面が表示されている間に、キャッシャがキーボード107の商品ボタン(商品選択ボタン)を押下したり、タッチパネル105の商品ボタン(商品選択ボタン)をタッチしたりしたとする。その場合、操作された商品ボタンの操作情報がその入出力回路から接続インターフェース176に出力される。そして、その操作情報は、接続インターフェース176から接続インターフェース65に出力され、接続インターフェース65から入力受付部73に通知される。
売上登録部74は、入力受付部73がキーボード107やタッチパネル105から受け付けた商品ボタンの操作情報に基づき、操作情報に対応する一商品の商品情報を登録テーブル等に登録する。また、売上登録部74は、入力受付部73がタッチパネル26などから受け付けた締めの操作情報に基づき、それまでに登録した一取引分の商品の精算処理を行って、その売上情報を売上テーブル等に登録する。
次に、チェックアウトシステム1の動作について説明する。
図5は、チェックアウトシステム1の商品登録及び精算処理の一取引分の処理の一例を示すフロー図である。以下、図5に示すフロー図を例にチェックアウトシステム1の動作について説明する。なお、以下において、POS端末11では、CPU61によるROM62やHDD64の格納プログラムの実行により、商品候補抽出部71、表示制御部72、入力受付部73、売上登録部74などの機能部が立ち上げられているものとする。また、商品読取装置101では、CPU161によるROM162の格納プログラムの実行により、画像取込部51、商品検知部52、特徴量抽出部53などの機能部が立ち上げられているものとする。更に、商品読取装置101では、第3の表示デバイス106にプリセット画面(図6(a)参照)が表示され、撮像部164も常時起動されているものとする。
先ず、商品読取装置101は、読取窓103に翳された物品の読取処理を行う(S1)。具体的に、キャッシャが、第1の買物カゴ153a(図1参照)から読取前の物品(例えば物品G)を手に取り、第2の買物カゴ153b(図1参照)に移す際に、物品G(図1参照)を読取窓103(図1参照)に翳して商品の外観を撮像部164(図2参照)に読み取らせる。商品読取装置101では、撮像部164により撮像されたフレーム画像を画像取込部51が取り込んでRAM163に保存する。そして、商品検知部52がそのフレーム画像から物品画像を検知し、特徴量抽出部53が物品画像から特徴量を抽出する。
次に、商品読取装置101(特徴量抽出部53)は、読取窓に翳された物品の特徴量をPOS端末11(商品候補抽出部71)に通知する(S2)。
POS端末11では、商品候補抽出部71が、商品読取装置101から通知された特徴量を基にPLUファイルF1から類似度順の商品情報(商品候補情報)を抽出し、その商品候補情報を表示制御部72に出力する(S3)。商品候補情報の出力点数は、適宜設定して良い。本例では上位4点の商品候補情報を抽出するものとして説明する。
更に、POS端末11では、表示制御部72が、商品候補情報に指定されている上位4点の商品候補の商品ボタンを「点灯」に設定し、その他の商品ボタンをグレーアウトに設定するプリセット画面の更新情報を、商品読取装置101の第3の表示デバイス106に向けて出力する(S4)。
商品読取装置101では、表示制御部72により出力された更新情報に基づき、第3の表示デバイス106が、表示中のプリセット画面を更新して、商品候補の選択画面(図6(b)参照)を表示する(S5)。
更に、商品読取装置101では、キャッシャによりタッチパネル105(又はキーボード107)を介して選択画面の商品候補に対応する商品ボタンが操作されると、その操作情報(商品識別情報)をタッチパネル105(又はキーボード107)の入出力回路(不図示)がPOS端末11の入力受付部73に通知する(S6)。
POS端末11では、商品読取装置101からの商品識別情報を入力受付部73で受け付けると、売上登録部74がその一商品の商品情報を登録テーブル等に登録する(S7)。
以上のステップS1〜ステップS7の処理が買物カゴ153a(図1参照)内の物品の全てに対して行われる。その後、POS端末11において、キャッシャがキーボード22やタッチパネル26の締めキーを押下する。この操作により、POS端末11では、入力受付部73からのその通知を受け、売上登録部74が、一取引分の商品の精算処理を行って、その売上情報を売上テーブル等に登録する(S8)。
図6は、プリセット画面と選択画面の第3の表示デバイス106における表示例である。図6(a)がプリセット画面の表示例を示し、図6(b)が選択画面の表示例を示す。
図6(a)に示すプリセット画面G1は、タブT1、T2、・・・と、商品ボタン表示エリアE1と、画像表示エリアE2などを有する。タブT1、T2、・・・は、商品ボタンをカテゴリ別に切り替えて表示させるためのタブボタンである。商品ボタン表示エリアE1は、タブT1、T2、・・・により指定された一カテゴリの商品ボタンK1、K2・・・をそれぞれの決められた位置に表示する表示エリアである。画像表示エリアE2は、オブジェクト認識する物品の画像の表示エリアである。キャッシャは画面のタッチ入力などにより、タブT1、T2、・・・からカテゴリを指定し、更に商品ボタン表示エリアE1から該当する商品ボタンK1、K2・・・を選択する。この操作により、選択された商品ボタンK1、K2・・・の操作情報がPOS端末11の入力受付部73により受け付けられ、その商品情報が売上登録部74により登録される。
図6(b)に示す選択画面G2は、図6(a)に示すプリセット画面G1を対象に、商品候補の商品ボタンを点灯させ、商品候補以外の商品ボタンをグレーアウトさせたもの、つまりプリセット画面G1の更新画面となっている。本例では、オブジェクト認識対象の物品をバラのキャベツ1個とし、上位4点の商品候補として第1候補「キャベツ1個」、第2候補「レタス1個」、第3候補「白菜1個」、第4候補「キャベツ1/2個」が抽出された場合の表示例を示している。図6(b)に示すように、選択画面G2において、「キャベツ1個」、「レタス1個」、「白菜1個」、「キャベツ1/2個」に対応する商品ボタン(それぞれ、商品ボタンK1、商品ボタンK7、商品ボタンK10、商品ボタンK2)が「点灯」の設定状態のまま表示される。また、それ以外の商品ボタンはグレーアウトの設定により全てグレーアウトで表示される。
POS端末11の入力受付部73では、商品ボタンK1、K2・・・からの操作入力を点灯中の商品ボタンK1、K2、K7、K10のみ受け付ける。キャッシャは画面のタッチ入力などにより、点灯中の商品ボタンK1、K2、K7、K10の何れか一つを選択する。この操作により、キャッシャが選択した商品ボタンの操作情報がPOS端末11の入力受付部73で受け付けられ、売上登録部74がその商品情報を商品登録する。
図6(b)の選択画面G2の表示例は、同一カテゴリの他の商品をオブジェクト認識させた場合においても同様の結果となる。例えば、「レタス1個」をオブジェクト認識させた場合に、「レタス1個」が第1候補となるなどして、順番は異なるが上位4点の商品候補の種類が同じとなる場合がある。また、同じ種類の物品でも形や色など表面状態の異なる物品をオブジェクト認識させた場合に、上位4点の商品候補の種類は同じであるが、候補の順番が異なる場合がある。そのような場合に、同様の結果となる。従って、本実施形態の態様であれば、上位4点の各商品候補に対応する個々の商品ボタンのそれぞれの表示位置を常に固定位置に表示させることができる。
なお、上位4点全てではなく一部の商品候補が同じとなる場合であっても、その一部の商品候補については、対応する商品ボタンを固定位置に表示させることができる。
本実施形態では、上位の商品候補が同一カテゴリの同一ページに属する場合の例を示したが、上位の商品候補は同一カテゴリの複数のページ、或いは他のカテゴリに渡っていても良い。例えば、同一カテゴリの商品数が多いために1画面に表示できない場合に、表示制御部72は、商品ボタン表示エリアE1に示す商品ボタンを複数頁に分けて頁単位で画面に表示する。その場合、表示制御部72は、商品ボタン表示エリアE1に第1候補の商品を含む頁の商品ボタンを配置する。そして、表示制御部72は、その頁内に含まれている上位の商品候補の商品ボタンを「点灯」に設定し、それ以外の商品ボタンをグレーアウトに設定するなどした更新情報を第3の表示デバイス106に出力する。
更に、表示制御部72は、他の頁に含まれる第2商品候補以下の商品候補をグレーアウトに設定した商品ボタンに選択可能なように割り当てて第3の表示デバイス106に出力しても良い。
また、本実施形態では、上位の商品候補に対応する商品ボタンを「点灯」し、それ以外の商品ボタンをグレーアウトにする例を示したが、表示態様はこの限りではない。これらの設定は、商品候補の商品ボタンか候補外の商品ボタンかをキャッシャが相対的に判断できるものであれば適宜変形しても良い。例えば「点滅」や、「異なる色による表示」や、商品ボタンの形状を異ならせるなど、上記「点灯」による設定を適宜変更しても良い。
また、本実施形態では、上位の商品候補に対応する商品ボタンを類似度順を示すことなく一律に点灯する例を示したが、表示態様はこの限りではない。例えば、類似度の順番が見た目で分かるように、点灯する商品ボタンの色や濃度を類似度の順番に応じて変更しても良い。また、商品ボタンに類似度の順番を示す数字を表示させても良い。
本実施形態では、説明を理解しやすいように、物品に付されたバーコードのバーコードスキャナ等による読取機能についての説明を省略した。バーコードの読取機能について、本実施形態のチェックアウトシステムに適宜組合せて実施することは言うまでもない。
以上により、本実施形態では、物品の読み取り毎に類似度の順番が入れ替わる場合であっても、商品候補のそれぞれに対応する選択ボタンを、プリセット画面に予め設定された各商品候補に対応する商品ボタンの位置に表示させることが可能となる。また、商品候補が他の頁や他のカテゴリに渡って抽出された場合であっても、少なくとも第1商品候補に対応する選択ボタンについては、プリセット画面に予め設定された商品ボタンの位置に表示させることが可能である。従って、上位の商品候補のそれぞれの選択ボタンの表示位置を所定の位置に固定することが可能となる。
(第2の実施形態)
第1の実施形態では、プリセット画面に設定されている商品ボタンを、商品候補の選択ボタンとして点灯させる(選択情報として示す)場合のチェックアウトシステムの一態様を示した。第2の実施形態では、商品候補の選択専用の画面を設けた場合のチェックアウトシステムの一態様を示す。なお、以下では、第1の実施形態と異なる部分を主に説明し、第1の実施形態と同様の部分の図示及び説明を適宜省略する。
第2の実施形態のチェックアウトシステムは、商品候補を選択するための専用の選択画面と、商品候補の選択ボタン(商品選択ボタン)を商品毎に所定の位置に表示させるための位置指定ファイル(表示位置情報)とを更に備える。選択画面や位置指定ファイルは、HDD64等に記憶させて使用する。
図7は、第2の実施形態に係る選択画面の画面構成の一例を示す図である。図7に示す選択画面G10は選択画面G10内の4か所の決められたエリア(第1のエリアE20、第2のエリアE21、第3のエリアE22、第4のエリアE23)に、それぞれ、商品候補の選択ボタンK20、K21、K22、K23を配置した画面構成となっている。また、本例では、4か所のエリア外にオブジェクト認識処理の再実行を指示するための再認識ボタンK30を設けている。本例では、選択ボタンK20、K21、K22、K23のそれぞれの配置場所を図7に示される位置に固定し、以下、それぞれの選択ボタンK20、K21、K22、K23の識別を、図7の配置場所を示す「A」、「B」、「C」、「D」により行う。
図8は、位置指定ファイルのデータ構成の一例を示す図である。図8に示す位置指定ファイルF2は、商品別に、「商品ID」f20と、「選択ボタン識別情報」f21と、「商品名情報」f22のそれぞれのデータが対応づけて格納されているデータファイルである。図8の例では、「キャベツ1」や「キャベツ1/2」が選択ボタン「A」に対応づけられる。「レタス1」や「レタス1/2」が選択ボタン「B」に対応付けられる。「白菜1」や「白菜1/2」や「白菜1/4」が選択ボタン「C」に対応付けられる。「こまつ菜束」や「グリーンアスパラ1」が選択ボタン「D」に対応付けられる。その他の商品については、説明を省略する。
また、第2の実施形態において、POS端末11の表示制御部72(図4参照)は、商品候補抽出部71(図4参照)により商品候補情報が出力されると、次のように第3の表示デバイス106(図2参照)へ選択画面を表示する処理を行う。
表示制御部72は、先ず、位置指定ファイルF2(図8参照)から、上位4点の商品候補についての表示位置を示す情報等を抽出する。例えば、表示制御部72は、商品候補情報として出力された上位4点のそれぞれの商品IDを使用し、商品ID毎に、位置指定ファイルF2において「商品ID」f20に対応付けられている「選択ボタン識別情報」f21と「商品名情報」f22のデータのペアを抽出する。更に、表示制御部72は、「選択ボタン識別情報」f21の抽出データが指定する選択ボタンに、ペアとして抽出した「商品名情報」f22のデータ(商品名情報)を表示可能に設定する。そして、表示制御部72は、その選択画面を第3の表示デバイス106に出力する。
なお、表示制御部72は、選択ボタンに「商品名情報」を表示可能に設定した場合に、それの「選択ボタン識別情報」と「商品ID」を対応情報としてRAM63などに一時的に保存する。これにより、表示制御部72は、選択ボタンと、選択ボタンに設定されている商品候補とを紐付けて管理する。
ここで、上位4点の商品候補中に、「選択ボタン識別情報」f2に指定されている選択ボタンが同じもの(共通の表示位置を指定するもの)が含まれていたとする。その場合には、表示制御部72は、類似度の高い商品候補の順に選択ボタンに商品名情報を設定する。例えば、表示制御部72が、ある選択ボタンに類似度の高い商品候補の商品名情報を設定し、更に、他の商品候補により同じ選択ボタンが商品名情報の設定先として指定されたとする。その場合、先ず、その他の各選択ボタンに、それぞれを設定先とする商品候補の商品名情報を設定し、残った選択ボタンに、選択ボタンの指定先が重なった残りの商品候補の商品名情報を設定する。
次に、第2の実施形態のチェックアウトシステムの動作を説明する。
図9は、第2の実施形態のチェックアウトシステムの商品登録及び精算処理の一取引分の処理の一例を示すフロー図である。ステップS1〜ステップS3の動作は第1の実施形態と同様であるためここでの説明を省略する。以下では、ステップS4−1の処理から説明する。
表示制御部72は、商品候補抽出部71により上位4点の商品候補情報が出力されると、次の処理を実行する。すなわち、表示制御部72は、商品候補情報として出力された上位4点の商品候補の、それぞれの商品名情報を、決まった表示位置つまり位置指定ファイルF2において指定された選択ボタンに設定し、その選択ボタンを含む選択画面情報を第3の表示デバイス106に向けて出力する(S4−1)。
すると、商品読取装置101では、第3の表示デバイス106が、表示制御部72により出力された選択画面情報を表示する(S5−1)。
更に、商品読取装置101では、選択画面の商品候補に対応する選択ボタンがキャッシャによりタッチパネル105(又はキーボード107)を介して操作されると、その位置情報をタッチパネル105(又はキーボード107)の入出力回路(不図示)がPOS端末11の入力受付部73に通知する(S6)。
POS端末11では、商品読取装置101からの位置情報を入力受付部73が受け付け、その位置情報から選択画面内の選択ボタンを特定し、RAM63等に保存された対応情報から商品識別情報を売上登録部74に出力する。すると、売上登録部74がその一商品の商品情報を登録テーブル等に登録する(S7)。
以上のステップS1〜ステップS7の処理が買物カゴ153a(図1参照)内の物品の全てに対して行われる。その後、POS端末11において、キャッシャがキーボード22やタッチパネル26の締めキーを押下する。すると、POS端末11では、売上登録部74が、一取引分の商品の精算処理を行って、その売上情報を売上テーブル等に登録する(S8)。
なお、選択画面上で再認識ボタンが押下された場合は、POS端末11の入力受付部73が、その位置情報をタッチパネル105(又はキーボード107)の入出力回路(不図示)から受け付ける。入力受付部73は、その位置情報から再認識ボタンを特定し、表示制御部72や商品候補抽出部71にその旨を通知する。表示制御部72は、選択画面を閉じ、RAM63等に保存した対応情報を消去する。また、商品候補抽出部71は、その後に商品読取装置101から通知されてくる特徴量を基に商品候補情報を再び抽出し、抽出した商品候補情報を表示制御部72に出力する。
図10は、商品候補の商品名情報を選択ボタンへ設定する表示制御部72の処理のフロー図である。先ず、表示制御部72は、変数N(N=1、2、3、・・・)に初期値「1」を設定する(S50)。
次に、表示制御部72は、商品候補抽出部71により抽出された商品候補情報から上位N番目の商品候補の商品IDを取得する(S51)。
次に、表示制御部72は、位置指定ファイルF2から、商品IDに対応する選択ボタン識別情報と商品名情報を抽出する(S52)。
ここで、選択ボタン識別情報の示す選択ボタンに商品名情報が設定されているかを判定する(S53)。
選択ボタン識別情報の示す選択ボタンに商品名情報が設定されていない場合(ステップS53:No判定)、表示制御部72は、ステップS52で抽出した商品名情報を当該選択ボタンに設定する(S54)。
選択ボタン識別情報の示す選択ボタンに商品名情報が設定されている場合(ステップS53:Yes判定)は、表示制御部72は、ステップS52で抽出した商品名情報をRAM63等に一時的に保存し、選択ボタンへの設定を保留する(S55)。
ステップS54、ステップS55の処理後、表示制御部72は、変数Nの値をインクリメントする(S56)。
次に、表示制御部72は、変数Nが閾値(本例では上位候補4点を示す「4」)を超えたか判定する(S57)。
変数Nが「4」以下の場合(ステップS57:No判定)、表示制御部72は、ステップS51の処理に戻り、次の上位の商品候補(2巡目は上位2番目の商品候補)を対象に上述の処理を繰り返す。
そして、変数Nが「4」を超えると(ステップS57:Yes判定)、続いて、表示制御部72は、保留したものがあるか判定する(S58)。
保留したものがある場合(ステップS58:Yes判定)、保留したものの中からより上位の商品候補の商品名情報を取得する(S59)。
そして、表示制御部72は、商品名情報を設定していない残りの何れかの選択ボタンに、ステップS59で取得した商品名情報を設定する(S60)。
ステップS60の処理後、表示制御部72は、ステップS58の判定処理に戻り、ステップS58から上述した処理を同様に繰り返す。そして、保留したものがなくなると(ステップS58:No判定)、表示制御部72は、本設定処理を終了し、設定を行った選択ボタンを含む選択画面情報を第3の表示デバイス106に向けて出力する。
図11は、選択画面G10(図7参照)の選択ボタンK20、K21、K22、K23に商品名情報が設定された場合の第3の表示デバイス106における表示例である。図11に示す選択画面G11は、上位4点の商品候補として第1候補「キャベツ1個」、第2候補「レタス1個」、第3候補「白菜1個」、第4候補「キャベツ1/2個」が抽出された場合の表示例を示している。
位置指定ファイルF2(図8参照)には、第1候補の「キャベツ1」に選択ボタン「A」が対応付けられている。従って、図11の選択ボタンK20(図7の配置場所「A」に対応)に商品名情報として「キャベツ1」が表示される。
また、位置指定ファイルF2(図8参照)には、第2候補の「レタス1」に選択ボタン「B」が対応付けられている。従って、図11の選択ボタンK21(図7の配置場所「B」に対応)に商品名情報として「レタス1」が表示される。
また、位置指定ファイルF2(図8参照)には、第3候補の「白菜1」に選択ボタン「C」が対応付けられている。従って、図11の選択ボタンK22(図7の配置場所「C」に対応)に商品名情報として「白菜1」が表示される。
更に、位置指定ファイルF2(図8参照)には、第4候補の「キャベツ1/2」に選択ボタン「A」が対応付けられている。しかし、図11の選択ボタンK20(図7の配置場所「A」に対応)には上位の商品候補を示す「キャベツ1」が設定される。また、図11の選択ボタンK21と選択ボタンK22には、それぞれ、単独で指定される「レタス1」と「白菜1」が設定される。従って「キャベツ1/2」は残りの選択ボタンである選択ボタンK23(図7の配置場所「D」)に設定されることになる。これにより、図11の選択ボタンK23(図7の配置場所「D」に対応)に商品名情報として「キャベツ1/2」が表示される。商品名情報の設定された選択ボタンK20〜選択ボタンK23が選択情報の一例となる。
第2の実施形態では、上位4点の商品候補の選択ボタンを表示する例を示したがこの限りではない。商品候補の数を3や5などと適宜増減させ、それに応じて選択ボタンを増減させても良い。
また、第2の実施形態では、各選択ボタンの位置をそれぞれの所定位置に固定し、表示制御部72が位置指定ファイルF2に指定された位置の選択ボタンに商品候補の商品名情報を表示設定する例を示した。しかし、商品候補を示す選択ボタンを固定位置に表示させる手段はこの限りではない。例えば、予め作成した商品名情報を含む選択ボタンを位置指定ファイルF2に指定された位置に配置するなどしても良い。
また、第2の実施形態では、選択ボタンの例を示したが選択情報がこれに限定されるものではない。選択情報は、キャッシャが商品候補から物品に対応する商品を選択することのできるものであれば、その他の形態であっても良い。
以上により、第2の実施形態においては、上位の商品候補を大きな選択ボタンにより選択することが可能になる。また、商品の選択ボタンは毎回決まった位置に表示されるようになる。選択ボタンの数を減らすことにより複数の商品の表示先として同じ位置を指定することになるが、その位置を指定する商品候補が一つであれば、その商品の選択ボタンは決まった位置に表示される。その位置を指定する商品候補としてそれとは別の商品が抽出された場合でも、その位置を指定する商品候補が一つであれば、その商品の選択ボタンは決まった位置に表示される。キャッシャは、熟練度が増すと、一つの表示位置に表示される選択キーの商品の系統を覚える。そのため、翳した物品に応じて表示位置に異なる商品の選択ボタンが表示されても、翳した物品を基に、どこにどの商品の選択ボタンが表示されるのか直ぐに判断することができる。
また、同じ位置を指定する商品候補が複数あった場合でも、物品に一致する可能性が高いより上位の商品候補の選択ボタンと、その他の商品候補の選択ボタンについては、決まった位置に表示されることになる。
従って、上位の商品候補のそれぞれの選択ボタンの表示位置を所定の位置に固定することが可能となる。
第1及び第2の実施形態では、POS端末11を情報処理装置とし、そのCPU61が商品候補抽出部71、表示制御部72、入力受付部73、売上登録部74などの機能部を実現するものとして説明したが、この限りではない。CPU61がCPU161による機能の一部又は全てを実現するように構成しても良い。或いは、読取ユニット110を情報処理装置として機能させ、そのCPU161がCPU61による機能の一部又は全てを実現するように構成しても良い。
また、第1及び第2の実施形態では、係る情報処理装置及びプログラムをチェックアウトシステムへ適用した場合の例を示した。しかし、係る情報処理装置及びプログラムを、その態様に限定するものではない。例えば商品読取の処理と登録/精算の処理とを一装置で行うセルフPOSのように、その他のものに適用しても良い。
(第3の実施形態)
第3の実施形態では、係る情報処理装置及びプログラムをセルフPOSへ適用する場合のセルフPOSの構成例を示す。なお、以下では、図1および図2に示されるものと同一のもの(又はそれに相当するもの)には同一の符号を付し、その部分の説明を省略する。
図12は、セルフPOS200の構成を示す外観斜視図である。
図13は、セルフPOS200のハードウェア構成を示すブロック図である。
図12及び図13に示すように、セルフPOS200の本体202は、タッチパネル105が表面に配設された第3の表示デバイス106や、商品画像を読み取るための読取ユニット110などを備える。第3の表示デバイス106は、実施形態に示すプリセット画面や候補商品の選択画面の他に、精算画面などを表示する。また、本体202は、右側に未精算の商品の入った第1の買物カゴ153a(図1参照)を置くための商品載置台203を備え、左側に精算済みの商品を置くための商品載置台204を備える。商品載置台204は、精算済みの商品を入れるための袋を掛ける袋掛けフック205や、精算済みの商品を袋に入れる前に一時的に置いておくための一時置き台206を備える。商品載置台203、204は、計量器207、208をそれぞれ兼ね備え、精算前後で商品の重量が同じであることを確認するための機能を有する。更に、本体202は、前面に釣り銭器201などを備える。
セルフPOS200は、CPU161がROM162の格納プログラムを適宜実行して、第1の実施形態(又は第2の実施形態)に示す画像取込部51、商品検知部52、特徴量抽出部53などの機能部を実現する。また、CPU61がROM62やHDD64の格納プログラムを適宜実行して、第1の実施形態(又は第2の実施形態)に示す商品候補抽出部71、表示制御部72、入力受付部73、売上登録部74などの機能部を実現する。
読取ユニット110から特徴量が出力されると、当該特徴量は接続インターフェース175と接続インターフェース65を介してCPU61に入力される。また、表示制御部72が生成した選択画面は、接続インターフェース65と接続インターフェース176を介して第3の表示デバイス106に出力される。また、タッチパネル105で商品候補の選択ボタンが押下されると、その位置情報が接続インターフェース176と接続インターフェース65を介してCPU61に入力される。
なお、セルフPOS200の動作は、第1の実施形態(又は第2の実施形態)で説明したものと略同様に説明することができる。ここでは、動作の説明は繰り返しになるため省略する。
なお、第3の実施形態においても、第1及び第2の実施形態のように、各機能部の一部又は全てをCPU61とCPU161の何れか一方で実現できるように適宜変形して良い。
本実施形態及びその変形の情報処理装置で使用する各種プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供し、情報処理装置のHDDやフラッシュROMなどに読み込ませて実行してもよい。
また、当該プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。
以上の各実施形態及びその変形において、情報処理装置及びプログラムについての構成を説明したが、実施形態及びその変形は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態及び変形は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
11 POS端末
51 画像取込部
52 商品検知部
53 特徴量抽出部
71 商品候補抽出部
72 表示制御部
73 入力受付部
74 売上登録部
101 商品読取装置
特開2013−145526号公報

Claims (6)

  1. 撮像手段により取り込まれた物品の画像に基づいて抽出された該物品の上位の商品候補情報を対象に、商品候補別のそれぞれの選択情報を商品単位の予め決められた表示位置に表示させる表示制御手段、を備える情報処理装置。
  2. 前記表示制御手段は、各商品の商品選択ボタンをそれぞれの固有位置に表示させるプリセット画面情報の、前記商品候補に対応する商品選択ボタンの表示設定を、商品候補であることを示す設定とすることにより、前記商品候補の商品選択ボタンを前記選択情報として商品単位の予め決められた表示位置に表示させる、
    請求項1に記載の情報処理装置。
  3. 前記表示制御手段は、前記プリセット画面情報の、所定の上位の商品候補を除く商品に対応する商品選択ボタンの表示設定を、商品候補ではないことを示す設定にする、
    請求項2に記載の情報処理装置。
  4. 前記表示制御手段は、商品と該商品の選択情報の表示位置の関係を示す表示位置情報に従い、前記商品候補の各商品の選択情報を前記表示位置情報が示す表示位置に表示させる、
    請求項1に記載の情報処理装置。
  5. 前記表示制御手段は、一つの商品の選択情報の表示位置又は複数の商品の選択情報の共通の表示位置として商品と該商品の選択情報の表示位置との対応関係を示す表示位置情報に従い、前記対応関係が一対一の場合は、前記商品候補の選択情報を前記表示位置情報が示す表示位置に表示させ、前記対応関係が多対一の場合は、より上位の商品候補を共通の表示位置に表示させる、
    請求項4に記載の情報処理装置。
  6. コンピュータを、
    撮像手段により取り込まれた物品の画像に基づいて抽出された該物品の上位の商品候補情報を対象に、商品候補別のそれぞれの選択情報を商品単位の予め決められた表示位置に表示させる表示制御手段、
    として機能させるためのプログラム。
JP2015183435A 2015-09-16 2015-09-16 情報処理装置及びプログラム Active JP6329112B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015183435A JP6329112B2 (ja) 2015-09-16 2015-09-16 情報処理装置及びプログラム
US15/226,704 US20170076698A1 (en) 2015-09-16 2016-08-02 Image recognition system that displays a user-friendly graphical user interface
EP16185612.5A EP3144854B1 (en) 2015-09-16 2016-08-25 Image recognition system that displays a user-friendly graphical user interface

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015183435A JP6329112B2 (ja) 2015-09-16 2015-09-16 情報処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2017058977A true JP2017058977A (ja) 2017-03-23
JP6329112B2 JP6329112B2 (ja) 2018-05-23

Family

ID=56802317

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015183435A Active JP6329112B2 (ja) 2015-09-16 2015-09-16 情報処理装置及びプログラム

Country Status (3)

Country Link
US (1) US20170076698A1 (ja)
EP (1) EP3144854B1 (ja)
JP (1) JP6329112B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019149026A (ja) * 2018-02-27 2019-09-05 株式会社寺岡精工 商品販売データ処理装置及びプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11216786B2 (en) * 2018-07-17 2022-01-04 Kavita Ramchandani Snyder System and method for dispatching intelligent invitations to users within a network
US11842376B2 (en) * 2021-06-25 2023-12-12 Toshiba Global Commerce Solutions Holdings Corporation Method, medium, and system for data lookup based on correlation of user interaction information
CN113918017B (zh) * 2021-10-11 2024-05-03 厦门顶尖电子有限公司 一种基于识别秤秤台的指令输入方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010198137A (ja) * 2009-02-23 2010-09-09 Nec Infrontia Corp 定置スキャナ、pos端末、決済商品選別方法、決済商品選別プログラムおよびプログラム記録媒体
JP2013117872A (ja) * 2011-12-02 2013-06-13 Toshiba Tec Corp 店舗システムおよびプログラム
JP2013186548A (ja) * 2012-03-06 2013-09-19 Toshiba Tec Corp 情報処理装置、店舗システム及びプログラム
JP2015041157A (ja) * 2013-08-20 2015-03-02 東芝テック株式会社 商品認識装置およびその制御プログラム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0816822B2 (ja) * 1989-10-11 1996-02-21 パイオニア株式会社 車載ナビゲーション装置
US5546475A (en) * 1994-04-29 1996-08-13 International Business Machines Corporation Produce recognition system
US7034864B2 (en) * 2000-05-19 2006-04-25 Canon Kabushiki Kaisha Image display apparatus, image display system, and image display method
US7845554B2 (en) * 2000-10-30 2010-12-07 Fujitsu Frontech North America, Inc. Self-checkout method and apparatus
US7653878B1 (en) * 2002-01-11 2010-01-26 Oracle International Corporation Visually organizing and highlighting a list of items to show how they satisfy multiple criteria selected by a user
US8166412B2 (en) * 2006-01-13 2012-04-24 Adobe Systems Incorporated Visual cue discernment on scattered data
KR101398478B1 (ko) * 2008-04-10 2014-05-26 엘지전자 주식회사 가변 메뉴 아이콘을 사용하는 휴대 단말기 및 그 제어방법
KR20110040188A (ko) * 2009-10-13 2011-04-20 삼성전자주식회사 기능에 대한 아이콘을 표시하는 화상형성장치 및 그 아이콘 표시 방법
JP5485954B2 (ja) * 2011-09-06 2014-05-07 東芝テック株式会社 店舗システム及びプログラム
JP5579202B2 (ja) * 2012-01-16 2014-08-27 東芝テック株式会社 情報処理装置、店舗システム及びプログラム
US8489469B1 (en) * 2012-08-30 2013-07-16 Elbex Video Ltd. Method and structure for simplified coding of display pages for operating a closed circuit E-commerce
US10531145B2 (en) * 2012-11-02 2020-01-07 Sony Interactive Entertainment Inc. Information processing apparatus and information processing method
CN103853606B (zh) * 2012-11-29 2018-05-01 北京三星通信技术研究有限公司 切换应用程序的方法及设备
US9537802B2 (en) * 2013-02-12 2017-01-03 Priceline.Com Llc Shareable favorites sets
DE112013006968T5 (de) * 2013-04-22 2016-01-07 Mitsubishi Electric Corporation Dynamische Beschriftungsanordnungsvorrichtung, Anzeigevorrichtung, dynamisches Beschriftungsanordnungsverfahren und Anzeigeverfahren
JP2015038719A (ja) * 2013-07-16 2015-02-26 東芝テック株式会社 情報処理装置及びプログラム
JP5826801B2 (ja) * 2013-07-19 2015-12-02 東芝テック株式会社 商品認識装置及び商品認識プログラム
US9542071B2 (en) * 2013-10-22 2017-01-10 Linkedin Corporation System for inline expansion of social network content and method therefor
US20150189070A1 (en) * 2013-12-20 2015-07-02 Richard L. Baker Mobile platform functionalities employing proximal variants and advanced personalization methods to control dynamic icon display on a mobile computing device display screen
JP6555866B2 (ja) * 2014-09-22 2019-08-07 カシオ計算機株式会社 商品登録装置及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010198137A (ja) * 2009-02-23 2010-09-09 Nec Infrontia Corp 定置スキャナ、pos端末、決済商品選別方法、決済商品選別プログラムおよびプログラム記録媒体
JP2013117872A (ja) * 2011-12-02 2013-06-13 Toshiba Tec Corp 店舗システムおよびプログラム
JP2013186548A (ja) * 2012-03-06 2013-09-19 Toshiba Tec Corp 情報処理装置、店舗システム及びプログラム
JP2015041157A (ja) * 2013-08-20 2015-03-02 東芝テック株式会社 商品認識装置およびその制御プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019149026A (ja) * 2018-02-27 2019-09-05 株式会社寺岡精工 商品販売データ処理装置及びプログラム
JP7113489B2 (ja) 2018-02-27 2022-08-05 株式会社寺岡精工 商品販売データ処理装置及びプログラム
JP7455415B2 (ja) 2018-02-27 2024-03-26 株式会社寺岡精工 データ処理装置及びプログラム

Also Published As

Publication number Publication date
JP6329112B2 (ja) 2018-05-23
EP3144854B1 (en) 2019-04-24
EP3144854A1 (en) 2017-03-22
US20170076698A1 (en) 2017-03-16

Similar Documents

Publication Publication Date Title
JP5579202B2 (ja) 情報処理装置、店舗システム及びプログラム
JP5194160B1 (ja) 情報処理装置、情報処理方法及びプログラム
JP6348827B2 (ja) 情報処理装置、店舗システムおよびプログラム
JP5551143B2 (ja) 店舗システムおよびプログラム
JP6193897B2 (ja) 情報処理装置、店舗システム及びプログラム
JP6258761B2 (ja) 情報処理装置及びプログラム
JP6813310B2 (ja) 物品読取装置およびプログラム
JP6747873B2 (ja) 情報処理装置及びプログラム
JP6329112B2 (ja) 情報処理装置及びプログラム
JP5551140B2 (ja) 情報処理装置及びプログラム
JP2018055716A (ja) 情報処理装置及びプログラム
JP6425636B2 (ja) 情報処理装置及びプログラム
JP5437404B2 (ja) 情報処理装置、店舗システム及びプログラム
JP5770899B2 (ja) 情報処理装置及びプログラム
JP6517398B2 (ja) 情報処理装置及びプログラム
JP2013156940A (ja) 情報処理装置、店舗システム及びプログラム
JP6339542B2 (ja) 情報処理装置及びプログラム
JP2018136621A (ja) 情報処理装置およびプログラム
JP5802803B2 (ja) 情報処理装置及びプログラム
JP5529982B2 (ja) 情報処理装置
JP6851193B2 (ja) 情報処理装置及びプログラム
JP5820011B2 (ja) 情報処理装置、情報処理システムおよび情報処理方法
JP2016012324A (ja) 情報処理装置及びプログラム
JP7030946B2 (ja) 物品読取装置およびプログラム
JP7281569B2 (ja) 物品読取装置およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180403

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180419

R150 Certificate of patent or registration of utility model

Ref document number: 6329112

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150