JP2020067782A - 読取装置及びプログラム - Google Patents

Abstract

【課題】適切な位置に金券をかざさせることができる読取装置及びプログラムを提供する。【解決手段】読取装置は、撮像制御手段と、類似度算出手段と、抽出手段と、表示制御手段とを備える。前記撮像制御手段は、撮像部に画像を撮像させる。前記類似度算出手段は、記憶部に記憶された各種金券の特徴量と、前記撮像部が撮像した金券の前記画像から抽出した特徴量との類似度を算出する。前記抽出手段は、前記類似度算出手段が算出した前記類似度に基づいて、前記撮像部が撮像した前記金券の候補を抽出する。前記表示制御手段は、前記撮像部が撮像した前記金券と、当該金券のかざす位置を示すガイド画像とを表示する。【選択図】図４

Description

本発明の実施形態は、読取装置及びプログラムに関する。

従来、撮像部が撮像した撮像画像から対象物品の特徴量を抽出し、予め用意された照合用の特徴量と比較することで、対象物品の種別等を認識する一般物体認識（オブジェクト認識）に関する技術がある。このオブジェクト認識を用いて、販売対象の商品を認識するＰＯＳ（Point Of Sales）端末が提案されている。

ところで、一取引にかかる会計で商品券等の金券を利用する場合、ＰＯＳ端末を操作する店員は、対象の金券を認識して、ＰＯＳ端末に金券を登録する必要がある。そこで、オブジェクト認識を用いて金券を登録することで店員の負担を軽減させる方策が考えられる。

ところが、撮像部にかざされた金券の位置に応じて、撮像画像も異なる。よって、撮像部にかざされた金券の位置に応じて、撮像画像から抽出する特徴量も異なっている。そのため、任意の位置にかざされた金券をオブジェクト認識により認識する場合、金券の位置ごとに照合用の特徴量を用意しなければならない。

ここで、金券がかざれる任意の位置は、多数あるため、金券の位置ごとに照合用の特徴量を用意には多大な労力が必要となる。しかしながら、毎回、適切な位置に金券をかざさせることができれば、適切な位置にかざされた金券の照合用特徴量が有ればよいので、用意しなければならない照合用特徴量の数を削減することができる。

本発明が解決しようとする課題は、適切な位置に金券をかざさせることができる読取装置及びプログラムを提供することである。

実施形態の読取装置は、撮像制御手段と、類似度算出手段と、抽出手段と、表示制御手段とを備える。前記撮像制御手段は、撮像部に画像を撮像させる。前記類似度算出手段は、記憶部に記憶された各種金券の特徴量と、前記撮像部が撮像した金券の前記画像から抽出した特徴量との類似度を算出する。前記抽出手段は、前記類似度算出手段が算出した前記類似度に基づいて、前記撮像部が撮像した前記金券の候補を抽出する。前記表示制御手段は、前記撮像部が撮像した前記金券と、当該金券のかざす位置を示すガイド画像とを表示する。

図１は、第１の実施形態に係るＰＯＳ端末の外観の一例を示す外観斜視図である。 図２は、ＰＯＳ端末のハードウェア構成の一例を示すブロック図である。 図３は、金券情報テーブルのデータ構成の一例を説明する説明図である。 図４は、ＰＯＳ端末が備える特徴的な機能構成の一例を示すブロック図である。 図５は、金券認識画面の一例を示す説明図である。 図６は、金券が含まれてない撮像画像表示領域の一例を示す説明図である。 図７は、適切な位置にかざされた金券の画像を含む撮像画像表示領域の一例を示す説明図である。 図８は、不適切な位置にかざされた金券の画像を含む撮像画像表示領域の一例を示す説明図である。 図９は、不適切な位置にかざされた金券の画像を含む撮像画像表示領域の一例を示す説明図である。 図１０は、不適切な位置にかざされた金券の画像を含む撮像画像表示領域の一例を示す説明図である。 図１１は、不適切な位置にかざされた金券の画像を含む撮像画像表示領域の一例を示す説明図である。 図１２は、不適切な位置にかざされた金券の画像を含む撮像画像表示領域の一例を示す説明図である。 図１３は、ＰＯＳ端末が実行する学習処理の一例を示すフローチャートである。 図１４は、ＰＯＳ端末が実行する金券認識処理の一例を示すフローチャートである。 図１５は、第２の実施形態に係るＰＯＳ端末の外観の一例を示す外観斜視図である。

以下、添付図面を参照して、読取装置及びプログラムの実施形態を詳細に説明する。なお、以下に説明する実施形態は、読取装置及びプログラムの一実施形態であって、その構成や仕様等を限定するものではない。本実施形態の読取装置及びプログラムは、小売店の店舗に設置されたＰＯＳ（Point Of Sales）端末への適用例である。

（第１の実施形態）
図１は、第１の実施形態に係るＰＯＳ端末１の外観の一例を示す外観斜視図である。ＰＯＳ端末１は、オブジェクト認識によりＰＯＳ端末１の前方にかざされた商品券等の金券を認識することができる。

ＰＯＳ端末１は、表示部１１と、第１ユニット１２と、第２ユニット１３と、第３ユニット１４とを備えている。

表示部１１は、第１ユニット１２の上面に配置されている。表示部１１は、表示面上にタッチパネルが積層されたタッチパネルディスプレイである。

第１ユニット１２は、正面に読取窓１２１を備えている。読取窓１２１は、光を透過可能な板で形成されている。第１ユニット１２は、読取窓１２１の内部に撮像部１０４（図２参照）を備えている。撮像部１０４は、撮像部１０４の前方にかざされた商品や金券等の物品を撮像する。ＰＯＳ端末１は、撮像部１０４が撮像した画像に含まれている商品や金券の種別をオブジェクト認識により認識する。また、第１ユニット１２は、第２ユニット１３の上面に配置されている。

第２ユニット１３は、正面にレシート排出口１３１を備えている。レシート排出口１３１は、第２ユニット１３の内部に格納された印字部１０５が発行したレシート等を排出する排出口である。また、第３ユニット１４は、第２ユニット１３の側面に配置されている。

第３ユニット１４は、正面にカード挿入口１４１を備えている。カード挿入口１４１は、第３ユニット１４の内部に格納されたカードリーダライタ１０６に会員カードやクレジットカードを挿入する挿入口である。カードリーダライタ１０６は、挿入された会員カードやクレジットカード等のカードに対して情報を読み書きする。

ＰＯＳ端末１のハードウェア構成について説明する。図２は、ＰＯＳ端末１のハードウェア構成の一例を示すブロック図である。ＰＯＳ端末１は、制御部１０１、記憶部１０２、通信インタフェース１０３、表示部１１、撮像部１０４、印字部１０５、及びカードリーダライタ１０６を備える。これら各部は、データバスやアドレスバス等のシステムバス１０７を介して相互に接続している。

制御部１０１は、ＰＯＳ端末１の全体の動作を制御し、ＰＯＳ端末１が有する各種の機能を実現するコンピュータである。制御部１０１は、ＣＰＵ（Central Processing Unit）と、ＲＯＭ（Read Only Memory）と、ＲＡＭ（Random Access Memory）とを備える。ＣＰＵは、ＰＯＳ端末１の動作を統括的に制御する。ＲＯＭは、電力が供給されていなくても各種データを保持する不揮発性の記憶媒体である。ＲＡＭは、指定した領域に対してデータを読み書き可能な記憶媒体である。そして、ＣＰＵは、ＲＡＭをワークエリア（作業領域）としてＲＯＭ又は記憶部１０２等に格納されたプログラムを実行する。

記憶部１０２は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などの記憶装置である。記憶部１０２は、制御プログラム１０８と、金券情報テーブル１０９とを記憶する。なお、金券情報テーブル１０９は、記憶部１０２に限らず、店舗サーバ等の他の装置が記憶していてもよい。

制御プログラム１０８は、オペレーティングシステムや、ＰＯＳ端末１が提供する機能を実現させるプログラムである。制御プログラム１０８には、本実施形態に係る機能を実現させるプログラムが含まれる。

図３は、金券情報テーブル１０９のデータ構成の一例を説明する説明図である。金券情報テーブル１０９は、金券の各種情報を記憶する情報テーブルである。金券情報テーブル１０９は、金券コード、金券種類、名称、金額、見本画像、特徴量、及び利用可否を関連付けて記憶する。

金券コードは、金券の種別を識別可能な識別情報である。金券種類は、金券の種類の名称を示す情報である。例えば、金券の種類には、クレジットカード会社が発行する商品券や、ビールの会計に利用可能なビール券や、特定の地域で利用可能な地域振興券等が含まれる。名称は、金券の名称を示す情報である。金額は、金券が有している価値を示す情報である。見本画像は、金券の見本となる画像の情報である。特徴量は、金券の外観の特徴を示す照合用の情報である。金券の外観の特徴には、金券の大きさや、金券の形状や、金券に印字されている数字や文字等の文字情報や、金券の色彩等が含まれる。利用可否は、会計に利用可能な金券であるか否かを示す情報である。

通信インタフェース１０３は、ネットワークを介して接続された装置との通信を実行する。

次に、ＰＯＳ端末１が備える特徴的な機能について説明する。ここで、図４は、ＰＯＳ端末１が備える特徴的な機能構成の一例を示すブロック図である。

ＰＯＳ端末１の制御部１０１は、記憶部１０２の制御プログラム１０８をＲＡＭに展開し、制御プログラム１０８に従って動作することで、図４に示す各機能部をＲＡＭ上に生成する。具体的には、ＰＯＳ端末１の制御部１０１は、操作制御部１００１、商品登録部１００２、撮像制御部１００３、金券検出部１００４、特徴量抽出部１００５、類似度算出部１００６、候補抽出部１００７、利用判定部１００８、表示制御部１００９、報知制御部１０１０、金券登録部１０１１、会計処理部１０１２、及び学習制御部１０１３を備える。

操作制御部１００１は、表示部１１に積層されたタッチパネルを制御して、各種操作を受け付ける。

商品登録部１００２は、販売対象の商品を登録する商品登録処理を制御する。例えば、商品登録部１００２は、撮像部１０４が商品を識別可能な商品コードを読み取った場合に、読み取った商品コードにより特定される商品を登録する。なお、商品登録部１００２は、商品コードの読み取りに限らず、操作入力により特定された商品を登録してもよい。

撮像制御部１００３は、撮像制御手段の一例である。撮像制御部１００３は、撮像部１０４を制御して、撮像部１０４に画像を撮像させる。撮像制御部１００３は、例えば３０ｆｐｓ（Flame Per Second）等の一定周期で画像を撮像させる。そして、撮像制御部１００３は、撮像部１０４が順次撮像した画像をＲＡＭ等に記憶させる。

金券検出部１００４は、撮像制御部１００３が撮像部１０４に撮像させた画像に含まれている金券を検出する。例えば、金券検出部１００４は、画像に含まれる金券の全部または一部を、パターンマッチング技術等を用いて検出する。具体的には、金券検出部１００４は、画像を２値化した画像から輪郭線等を抽出する。金券検出部１００４は、予め用意した画像から抽出した輪郭線と、検出対象の画像から抽出した輪郭線との差分に基づいて金券を検出する。ここで、予め用意した画像は、金券等が含まれていない背景を撮像部１０４が撮像した画像である。よって、金券検出部１００４は、検出対象の画像に金券が含まれていることを条件に、予め用意した画像から抽出した輪郭線にはない輪郭線を、検出対象の画像から抽出した輪郭線から検出することができる。そして、金券検出部１００４は、予め用意した画像から抽出した輪郭線にはない輪郭線に基づいて金券を検出する。

特徴量抽出部１００５は、撮像部１０４が撮像した画像から金券検出部１００４が検出した金券の外観の特徴量を抽出する。すなわち、特徴量抽出部１００５は、金券の大きさや、金券の形状や、金券に印字されている数字や文字等の文字情報や、金券の色彩等の特徴量を抽出する。

類似度算出部１００６は、類似度算出手段の一例である。類似度算出部１００６は、金券情報テーブル１０９に登録された金券の照合用特徴量と、特徴量抽出部１００５が抽出した金券の特徴量とを比較することで、金券情報テーブル１０９に登録された金券の種別ごとの類似度を算出する。ここで、類似度は、金券情報テーブル１０９に記憶されている金券の照合用特徴量を１００％＝「類似度：１．０」とした場合に、金券の全部または一部がどの程度類似しているかを示すものである。なお、類似度算出部１００６は、例えば、大きさと形状と文字情報と色彩とでは、重み付けを変えて類似度を算出してもよい。

このように画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成３０年１０月１８日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >

また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成３０年１０月１８日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >

なお、金券情報テーブル１０９に登録された各種金券の照合用特徴量と、特徴量抽出部１００５が抽出した金券の特徴量との類似度の算出方法は特に問わないものとする。例えば、類似度算出部１００６は、金券情報テーブル１０９に登録された金券の照合用特徴量と、特徴量抽出部１００５が抽出した金券の特徴量との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。

候補抽出部１００７は、抽出手段の一例である。候補抽出部１００７は、撮像制御部１００３が撮像させた画像に含まれている金券の候補となる候補金券を示す金券コードを抽出する。さらに詳しくは、候補抽出部１００７は、類似度算出部１００６が算出した各種金券ごとの類似度に基づいて、撮像制御部１００３が撮像部１０４に撮像させた画像に含まれる金券の候補の金券コードを抽出する。例えば、候補抽出部１００７は、類似度が閾値以上の一又は複数の金券の金券コードを、候補金券として抽出する。

利用判定部１００８は、候補抽出部１００７が抽出した候補金券が会計に利用可能であるか否かを判定する。例えば、利用判定部１００８は、候補抽出部１００７が抽出した候補金券の金券コードに関連付けられている金券情報テーブル１０９の利用可否に基づいて利用可能であるか否かを判定する。利用判定部１００８は、金券情報テーブル１０９の利用可否に可能と設定されている場合に、会計に利用可能と判定する。また、利用判定部１００８は、金券情報テーブル１０９の利用可否に不可と設定されている場合に、会計への利用不可と判定する。

表示制御部１００９は、表示部１１を制御して、各種画面を表示させる。例えば、表示制御部１００９は、金券認識画面Ｇ１（図５参照）を表示させる。ここで、図５は、金券認識画面Ｇ１の一例を示す説明図である。金券認識画面Ｇ１は、候補抽出部１００７が抽出した候補金券から、会計で利用する金券を選択させる画面である。金券認識画面Ｇ１には、撮像画像表示領域Ｇ１１と、ガイド画像Ｇ１２と、金券候補ボタンＧ１３と、キャンセルボタンＧ１４とが含まれている。

撮像画像表示領域Ｇ１１は、撮像部１０４が撮像した画像を表示する表示領域である。また、撮像画像表示領域Ｇ１１は、金券のかざす位置を示すガイド画像Ｇ１２が含まれている。表示制御部１００９は、撮像部１０４に金券がかざされておらず、金券が撮像されていない場合には、金券が含まれておらず、ガイド画像Ｇ１２が表示された撮像画像表示領域Ｇ１１を表示する。そして、表示制御部１００９は、撮像部１０４に金券がかざされた場合には、撮像制御部１００３が撮像させた金券が含まれる画像と、ガイド画像Ｇ１２とを合成した画像を撮像画像表示領域Ｇ１１に表示する。

ここで、第１基準線Ｇ１２ａと、第２基準線Ｇ１２ｂとを有している。第１基準線Ｇ１２ａは、金券の輪郭線の上側の辺を合わせる帯状の画像である。第２基準線Ｇ１２ｂは、金券の輪郭線の下側の辺を合わせる帯状の画像である。金券の輪郭線の上側の辺が第１基準線Ｇ１２ａの範囲内に含まれており、且つ金券の輪郭線の下側の辺が第２基準線Ｇ１２ｂの範囲内に含まれている場合に、金券は、適切な位置にかざされていると判定される。なお、図５に示す撮像画像表示領域Ｇ１１には、金券の輪郭線の右辺及び左辺を合わせる基準線は表示されていない。しかし、撮像部１０４が撮像する画像の画角が、金券の長手方向の長さよりも広い場合には、金券の輪郭線の右辺及び左辺を合わせる基準線が表示されていてもよい。

金券候補ボタンＧ１３は、会計に利用する金券を選択するボタンである。表示制御部１００９は、候補抽出部１００７が抽出した候補金券のうち、利用判定部１００８が利用可能と判定した金券の各種情報が含まれる金券候補ボタンＧ１３を金券認識画面Ｇ１に表示する。金券候補ボタンＧ１３には、金券の名称と、金券の金額と、金券の見本画像とが含まれている。そして、表示制御部１００９は、利用判定部１００８が利用可能と判定した金券の名称と、金券の金額と、金券の見本画像とを金券情報テーブル１０９から抽出することで金券候補ボタンＧ１３を表示する。図５に示す金券認識画面Ｇ１には、「ＡＡＡ ＧＩＦＴ ＣＡＲＤ ￥１０００」の金券候補ボタンＧ１３ａと、「ＣＣＣ ＮＩＣＥ ＣＡＲＤ ￥１０００」の金券候補ボタンＧ１３ｂと、「ＡＡＡ ＧＩＦＴ ＣＡＲＤ ￥５０００」の金券候補ボタンＧ１３ｃとが表示されている。キャンセルボタンＧ１４は、金券の登録をキャンセルするボタンである。

報知制御部１０１０は、報知手段の一例である。報知制御部１０１０は、撮像制御部１００３が撮像部１０４に撮像させた画像に含まれる金券が、ガイド画像Ｇ１２が示す位置に無い場合に報知する。すなわち、報知制御部１０１０は、金券検出部１００４が検出した輪郭線において、金券の輪郭線の上側の辺が第１基準線Ｇ１２ａの範囲内に無い場合、又は金券の輪郭線の下側の辺が第２基準線Ｇ１２ｂの範囲内に無い場合に報知する。そして、報知制御部１０１０は、金券の輪郭線の位置に応じたメッセージで報知する。

ここで、図６から図１２を用いて、報知制御部１０１０による報知について説明する。

図６は、金券が含まれてない撮像画像表示領域Ｇ１１の一例を示す説明図である。図６に示す撮像画像表示領域Ｇ１１には、金券が表示されていない。この場合、報知制御部１０１０は、撮像部１０４に金券をかざすことを要求するメッセージ等を表示制御部１００９に表示させることで報知する。

図７は、適切な位置にかざされた金券の画像を含む撮像画像表示領域Ｇ１１の一例を示す説明図である。図７に示す撮像画像表示領域Ｇ１１には、第１基準線Ｇ１２ａの範囲に金券の上側の辺が含まれ、且つ第２基準線Ｇ１２ｂの範囲に金券の下側の辺が含まれている金券が表示されている。この場合、報知制御部１０１０は、金券が適切な位置にかざされていると判定する。そして、報知制御部１０１０は、金券のかざし方には問題がないため、かざし方については報知しなくてもよいし、正しくかざされていることを報知してもよい。

図８は、不適切な位置にかざされた金券の画像を含む撮像画像表示領域Ｇ１１の一例を示す説明図である。図８に示す撮像画像表示領域Ｇ１１には、第１基準線Ｇ１２ａの範囲よりも上方に、金券の上側の辺が配置されており、且つ第２基準線Ｇ１２ｂの範囲よりも上方に、金券の下側の辺が配置されている。この場合、報知制御部１０１０は、金券が適切な位置よりも上方の不適切な位置にかざされていると判定する。例えば、報知制御部１０１０は、金券をかざす位置を下げることを要求するメッセージを報知する。なお、報知制御部１０１０は、金券の上側の辺と下側の辺との両方の配置に限らず、何れか一方の配置で、金券が適切な位置よりも上方の不適切な位置にかざされていると判定してもよい。すなわち、報知制御部１０１０は、第１基準線Ｇ１２ａの範囲よりも上方に金券の上側の辺が配置されている場合、又は第２基準線Ｇ１２ｂの範囲よりも上方に金券の下側の辺が配置されている場合に、不適切な位置にかざされていると判定してもよい。

図９は、不適切な位置にかざされた金券の画像を含む撮像画像表示領域Ｇ１１の一例を示す説明図である。図９に示す撮像画像表示領域Ｇ１１には、第１基準線Ｇ１２ａの範囲よりも下方に、金券の上側の辺が配置されており、且つ第２基準線Ｇ１２ｂの範囲よりも下方に、金券の下側の辺が配置されている。この場合、報知制御部１０１０は、金券が適切な位置よりも下方の不適切な位置にかざされていると判定する。例えば、報知制御部１０１０は、金券をかざす位置を上げることを要求するメッセージを報知する。なお、報知制御部１０１０は、金券の上側の辺と下側の辺との両方の配置に限らず、何れか一方の配置で、金券が適切な位置よりも下方の不適切な位置にかざされていると判定してもよい。すなわち、報知制御部１０１０は、第１基準線Ｇ１２ａの範囲よりも下方に金券の上側の辺が配置されている場合、又は第２基準線Ｇ１２ｂの範囲よりも下方に金券の下側の辺が配置されている場合に、不適切な位置にかざされていると判定してもよい。

図１０は、不適切な位置にかざされた金券の画像を含む撮像画像表示領域Ｇ１１の一例を示す説明図である。図１０に示す撮像画像表示領域Ｇ１１には、第１基準線Ｇ１２ａの範囲よりも上方に、金券の上側の辺が配置されており、且つ第２基準線Ｇ１２ｂの範囲よりも下方に、金券の下側の辺が配置されている。この場合、報知制御部１０１０は、金券が適切な位置よりも撮像部１０４に近い位置にかざされていると判定する。例えば、報知制御部１０１０は、金券をかざす位置を撮像部１０４の読取窓１２１から遠ざけることを要求するメッセージを報知する。

図１１は、不適切な位置にかざされた金券の画像を含む撮像画像表示領域Ｇ１１の一例を示す説明図である。図１１に示す撮像画像表示領域Ｇ１１には、第１基準線Ｇ１２ａの範囲よりも下方に、金券の上側の辺が配置されており、且つ第２基準線Ｇ１２ｂの範囲よりも上方に、金券の下側の辺が配置されている。この場合、報知制御部１０１０は、金券が適切な位置よりも撮像部１０４に遠い位置にかざされていると判定する。例えば、報知制御部１０１０は、金券をかざす位置を撮像部１０４の読取窓１２１に近づけることを要求するメッセージを報知する。

図１２は、不適切な位置にかざされた金券の画像を含む撮像画像表示領域Ｇ１１の一例を示す説明図である。図１２に示す撮像画像表示領域Ｇ１１には、第１基準線Ｇ１２ａと金券の上側の辺とが平行になっておらず、且つ第２基準線Ｇ１２ｂと金券の下側の辺とが平行になっていない。この場合、報知制御部１０１０は、金券が傾けられて撮像部１０４にかざされていると判定する。例えば、報知制御部１０１０は、金券が傾いているため、金券を水平にして撮像部１０４にかざすことを要求するメッセージを報知する。なお、報知制御部１０１０は、金券の上側の辺と下側の辺との両方の配置に限らず、何れか一方が平行でない場合に、金券が傾けられて撮像部１０４にかざされていると判定してもよい。すなわち、報知制御部１０１０は、第１基準線Ｇ１２ａと金券の上側の辺とが平行になっていない場合、又は第２基準線Ｇ１２ｂと金券の下側の辺とが平行になっていない場合、金券が傾けられて撮像部１０４にかざされていると判定してもよい。

金券登録部１０１１は、会計に利用する金券を登録する。金券登録部１０１１は、金券認識画面Ｇ１の金券候補ボタンＧ１３により特定された金券を、会計に利用する金券として登録する。また、金券登録部１０１１は、会計での金券の利用枚数を計数する。例えば、金券登録部１０１１は、金券候補ボタンＧ１３の押下回数を会計での利用枚数として登録する。または、金券登録部１０１１は、入力された枚数を会計での利用枚数として登録する。

会計処理部１０１２は、商品登録部１００２が販売登録した商品の会計処理を制御する。例えば、会計処理部１０１２は、商品登録部１００２が販売登録した商品の合計価格を算出する。また、会計処理部１０１２は、顧客から受領した金額から合計価格を減算してお釣りを算出する。さらに、会計処理部１０１２は、金券登録部１０１１により金券が登録されている場合には、販売登録した商品の合計価格から登録されている金券の合計金額を減算する。このようにして、会計処理部１０１２は、請求金額を算出する。

学習制御部１０１３は、学習手段の一例である。学習制御部１０１３は、ガイド画像Ｇ１２が示す位置に金券がかざされている画像を金券情報テーブル１０９に記憶させる。さらに詳しくは、学習制御部１０１３は、学習対象となる金券の種類を特定する操作を受け付ける。そして、店員等は、学習対象となる金券を撮像部１０４にかざして、オブジェクト認識を実行させる。学習制御部１０１３は、撮像制御部１００３が撮像部１０４に撮像させた画像に含まれる金券の輪郭線が、金券認識画面Ｇ１の撮像画像表示領域Ｇ１１に含まれるガイド画像Ｇ１２が示す位置に有る画像を金券情報テーブル１０９記憶させる。なお、学習制御部１０１３は、画像に限らず、画像から抽出した特徴量を照合用特徴量として金券情報テーブル１０９に記憶させてもよいし、他の情報を金券情報テーブル１０９に記憶させてもよい。

次に、ＰＯＳ端末１が実行する学習処理について説明する。ここで、図１３は、ＰＯＳ端末１が実行する学習処理の一例を示すフローチャートである。

操作制御部１００１は、金券の学習を実行する操作を受け付ける（ステップＳ１）。

操作制御部１００１は、金券の学習に関する各種操作を受け付ける（ステップＳ２）。例えば、操作制御部１００１は、学習対象の金券の種類を特定する操作や、金券情報テーブル１０９に記憶させる画像の枚数等の指定を受け付ける。

表示制御部１００９は、金券認識画面Ｇ１を表示部１１に表示させる（ステップＳ３）。すなわち、表示制御部１００９は、第１基準線Ｇ１２ａと、第２基準線Ｇ１２ｂとが含まれる撮像画像表示領域Ｇ１１を表示させる。

撮像制御部１００３は、撮像部１０４に画像を撮像させる（ステップＳ４）。

表示制御部１００９は、撮像制御部１００３が撮像させた画像と、ガイド画像Ｇ１２とを合成した画像を撮像画像表示領域Ｇ１１に表示させる（ステップＳ５）。すなわち、表示制御部１００９は、撮像制御部１００３が撮像させた画像と、第１基準線Ｇ１２ａと、第２基準線Ｇ１２ｂとを合成した画像を撮像画像表示領域Ｇ１１に表示させる。

金券検出部１００４は、ステップＳ４で撮像制御部１００３が撮像させた画像から金券を検出する（ステップＳ６）。すなわち、金券検出部１００４は、画像から金券の輪郭線を検出する。

報知制御部１０１０は、ガイド画像Ｇ１２と、金券検出部１００４が画像から検出した金券の輪郭線とを比較する（ステップＳ７）。すなわち、報知制御部１０１０は、第１基準線Ｇ１２ａと、第２基準線Ｇ１２ｂと、金券検出部１００４が画像から検出した金券の輪郭線とを比較する。

報知制御部１０１０は、比較結果に基づいて、ステップＳ４で撮像制御部１００３が撮像させた画像に含まれている金券は適切な位置で撮像部１０４にかざされているか否かを判定する（ステップＳ８）。

金券が適切な位置で撮像部１０４にかざされていない場合に（ステップＳ８；Ｎｏ）、報知制御部１０１０は、金券の輪郭線の位置に応じたメッセージを表示して報知する（ステップＳ１１）。そして、ＰＯＳ端末１は、ステップＳ４に移行する。

一方、金券が適切な位置で撮像部１０４にかざされている場合に（ステップＳ８；Ｙｅｓ）、学習制御部１０１３は、金券が適切な位置で撮像部１０４にかざされている画像を金券情報テーブル１０９に記憶させる（ステップＳ９）。また、学習制御部１０１３は、画像から抽出した特徴量を照合用特徴量として金券情報テーブル１０９に記憶させてもよい。さらに、学習制御部１０１３は、画像や特徴量に限らず、金券が適切な位置で撮像部１０４にかざされている画像に関連する情報を金券情報テーブル１０９に記憶させてもよい。

学習制御部１０１３は、ステップＳ２等で指定された枚数の画像を金券情報テーブル１０９に記憶させたか否かを判定する（ステップＳ１０）。指定枚数の画像を金券情報テーブル１０９に記憶させていない場合に（ステップＳ１０；Ｎｏ）、ＰＯＳ端末１は、ステップＳ４に移行して学習処理を継続する。

一方、指定枚数の画像を金券情報テーブル１０９に記憶させた場合に（ステップＳ１０；Ｙｅｓ）、ＰＯＳ端末１は、学習処理を終了する。

次に、ＰＯＳ端末１が実行する金券認識処理について説明する。ここで、図１４は、ＰＯＳ端末１が実行する金券認識処理の一例を示すフローチャートである。

操作制御部１００１は、画像認識により金券を認識させる金券認識処理の実行を要求する操作を受け付ける（ステップＳ２１）。

表示制御部１００９は、金券認識画面Ｇ１を表示部１１に表示させる（ステップＳ２２）。すなわち、表示制御部１００９は、第１基準線Ｇ１２ａと、第２基準線Ｇ１２ｂとが含まれる撮像画像表示領域Ｇ１１を表示させる。

撮像制御部１００３は、撮像部１０４に画像を撮像させる（ステップＳ２３）。

表示制御部１００９は、撮像制御部１００３が撮像させた画像と、ガイド画像Ｇ１２とを合成した画像を撮像画像表示領域Ｇ１１に表示させる（ステップＳ２４）。すなわち、表示制御部１００９は、撮像制御部１００３が撮像させた画像と、第１基準線Ｇ１２ａと、第２基準線Ｇ１２ｂとを合成した画像を撮像画像表示領域Ｇ１１に表示させる。

金券検出部１００４は、ステップＳ２３で撮像制御部１００３が撮像させた画像から金券を検出する（ステップＳ２５）。すなわち、金券検出部１００４は、画像から金券の輪郭線を検出する。

報知制御部１０１０は、ガイド画像Ｇ１２と、金券検出部１００４が画像から検出した金券の輪郭線とを比較する（ステップＳ２６）。すなわち、報知制御部１０１０は、第１基準線Ｇ１２ａと、第２基準線Ｇ１２ｂと、金券検出部１００４が画像から検出した金券の輪郭線とを比較する。

報知制御部１０１０は、比較結果に基づいて、ステップＳ２３で撮像制御部１００３が撮像させた画像に含まれている金券は適切な位置で撮像部１０４にかざされているか否かを判定する（ステップＳ２７）。

金券が適切な位置で撮像部１０４にかざされていない場合に（ステップＳ２７；Ｎｏ）、報知制御部１０１０は、金券の輪郭線の位置に応じたメッセージを表示して報知する（ステップＳ２８）。そして、ＰＯＳ端末１は、ステップＳ２３に移行する。

一方、金券が適切な位置で撮像部１０４にかざされている場合に（ステップＳ２７；Ｙｅｓ）、特徴量抽出部１００５、類似度算出部１００６、及び候補抽出部１００７は、画像認識により金券を認識する（ステップＳ２９）。

特徴量抽出部１００５、類似度算出部１００６、及び候補抽出部１００７は、画像認識により金券を認識したか否かを判定する（ステップＳ３０）。金券を認識しなかった場合に（ステップＳ３０；Ｎｏ）、ＰＯＳ端末１は、ステップＳ２３に移行する。

一方、金券を認識しなかった場合に（ステップＳ３０；Ｎｏ）、表示制御部１００９は、認識結果を表示させる（ステップＳ３１）。すなわち、表示制御部１００９は、特徴量抽出部１００５、類似度算出部１００６、及び候補抽出部１００７が認識した金券の候補である候補金券を、金券候補ボタンＧ１３として金券認識画面Ｇ１に表示する。

以上により、ＰＯＳ端末１は、金券認識処理を終了する。

以上のように、第１の実施形態に係るＰＯＳ端末１は、撮像部１０４が撮像した金券を表示する撮像画像表示領域Ｇ１１に、金券をかざす位置を示すガイド画像Ｇ１２を表示する。よって、店員等は、ガイド画像Ｇ１２を見ながら金券をかざすことで、適切な位置に金券をかざさせることができる。

（第２の実施形態）
次に、第２の実施形態について説明する。なお、第１の実施形態との相違点の説明を主に行い、第１の実施形態と同様の機能を有する構成要素については、第１の実施形態と同様の名称・符号を付し、その説明を省略する。

図１５は、第２の実施形態に係るＰＯＳ端末１ａの外観の一例を示す外観斜視図である。第２の実施形態に係るＰＯＳ端末１ａは、撮像部１０４の前方に金券を押し当てるガイド部２０を備えている。

第１の実施形態に係るＰＯＳ端末１は、撮像画像表示領域Ｇ１１に表示された金券と、ガイド画像Ｇ１２との位置関係に基づいて、金券から撮像部１０４までの距離が適切であるか否かを判定することができる。しかしながら、第１の実施形態に係るＰＯＳ端末１では、読取窓１２１と平行方向において、どの位置に金券を配置するのが適切であるかを店員が把握することは困難である。

そこで、第２の実施形態に係るＰＯＳ端末１ａは、金券を適切な位置に配置させるガイド部２０を備えている。ガイド部２０は、金券を押し当てた場合に撮像部１０４が金券の略中央を撮像する位置まで、読取窓１２１と平行方向に伸びている。そして、ガイド部２０は、撮像部１０４が金券の略中央を撮像する位置で、読取窓１２１と直交する方向であって、撮像部１０４が向けられている方向に曲げられている。

店員は、金券の表側を撮像部１０４に向けて、金券の短辺をガイド部２０に押し当てる。この状態で金券を撮像すると、ＰＯＳ端末１ａは、金券の略中央を撮像することができる。すなわち、ＰＯＳ端末１ａは、読取窓１２１と平行方向において、適切な位置にかざされた状態で金券を撮像することができる。

以上のように、第２の実施形態に係るＰＯＳ端末１ａは、読取窓１２１と平行方向において、金券を適切な位置に配置させるガイド部２０を備えている。よって、店員等は、金券を押し当てることで、適切な位置に金券をかざさせることができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

上記実施形態や変形例の各装置で実行されるプログラムは、各装置が備える記憶媒体（ＲＯＭ又は記憶部）に予め組み込んで提供するものとするが、これに限らないものとする。例えば、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。

また、上記実施形態や変形例の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよいし、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。

１ ＰＯＳ端末
１１ 表示部
２０ ガイド部
１０１ 制御部
１０２ 記憶部
１０４ 撮像部
１０８ 制御プログラム
１０９ 金券情報テーブル
１２１ 読取窓
１００１ 操作制御部
１００２ 商品登録部
１００３ 撮像制御部
１００４ 金券検出部
１００５ 特徴量抽出部
１００６ 類似度算出部
１００７ 候補抽出部
１００８ 利用判定部
１００９ 表示制御部
１０１０ 報知制御部
１０１１ 金券登録部
１０１２ 会計処理部
１０１３ 学習制御部
Ｇ１ 金券認識画面
Ｇ１２ ガイド画像
Ｇ１２ａ 第１基準線
Ｇ１２ｂ 第２基準線
Ｇ１３、Ｇ１３ａ、Ｇ１３ｂ、Ｇ１３ｃ 金券候補ボタン

特開２０１５−１３００９７号公報

Claims (6)

1. 撮像部に画像を撮像させる撮像制御手段と、
   記憶部に記憶された各種金券の特徴量と、前記撮像部が撮像した金券の前記画像から抽出した特徴量との類似度を算出する類似度算出手段と、
   前記類似度算出手段が算出した前記類似度に基づいて、前記撮像部が撮像した前記金券の候補を抽出する抽出手段と、
   前記撮像部が撮像した前記金券と、当該金券のかざす位置を示すガイド画像とを表示する表示制御手段と、
   を備える読取装置。
2. 前記撮像部が撮像した前記画像に含まれる前記金券の輪郭線が、前記ガイド画像が示す位置に無い場合に報知する報知手段を更に備える、
   請求項１に記載の読取装置。
3. 前記報知手段は、前記撮像部が撮像した前記画像に含まれる前記金券の前記輪郭線が、前記ガイド画像が示す位置に無い場合に、前記輪郭線の位置に応じたメッセージで報知する、
   請求項２に記載の読取装置。
4. 前記ガイド画像が示す位置に前記金券がかざされている前記画像を記憶させる学習手段を更に備える、
   請求項１乃至３の何れか一項に記載の読取装置。
5. 前記撮像部の前方に前記金券を押し当てるガイド部を更に備える、
   請求項１乃至４の何れか一項に記載の読取装置。
6. コンピュータを、
   撮像部に画像を撮像させる撮像制御手段と、
   記憶部に記憶された各種金券の特徴量と、前記撮像部が撮像した金券の前記画像から抽出した特徴量との類似度を算出する類似度算出手段と、
   前記類似度算出手段が算出した前記類似度に基づいて、前記撮像部が撮像した前記金券の候補を抽出する抽出手段と、
   前記撮像部が撮像した前記金券と、当該金券のかざす位置を示すガイド画像とを表示する表示制御手段と、
   して機能させるためのプログラム。

Images