JP2017059208A - チェックアウト装置 - Google Patents

Abstract

【課題】 複数の商品を高精度で認識できるチェックアウト装置を提供する。【解決手段】 実施形態によれば、チェックアウト装置は、スクリーンと、撮像部と、商品識別部と、表示部と、操作部と、決済処理部と、を有する。スクリーンは、光を透過する。撮像部は、スクリーンを通して商品の画像を取得する。商品識別部は、撮像部が取得した画像から決済対象の全ての商品を識別し、識別した各商品を決済するための情報を取得する。表示部は、商品識別部により識別した各商品の決済に関する情報を表示する。操作部は、表示部が表示した決済に関する情報に対する決済の可否が入力される。決済処理部は、操作部により決済可が入力された場合、商品識別部が識別した各商品の決済処理を行う。【選択図】図１

Description

本発明の実施形態は、チェックアウト装置に関する。

従来、チェックアウト装置には、様々な方式で決済対象の商品を認識するシステムがある。例えば、商品上に特殊インキで形成したバーコードを立体スキャナがＸ線（又は超音波、電磁波）を照射して読み取るシステムがある。このシステムは、Ｘ線（又は超音波、電磁波）に対する安全管理が必要で、装置が大型化し、特殊インキで商品にバーコードを印刷するためのコストがかかる。また、各商品に取り付けたＲＦＩＤタグから商品情報を読み取るシステムもある。このシステムは、ＲＦＩＤタグを各商品に付与するためのコストがかかる。さらに、商品上のバーコードを光学スキャナで読み取るシステムもある。このシステムは、ランダムに配置された複数の商品から一括してバーコードの画像を読み取ることが難しい。

特開平１０−３０２０２１号公報

本発明が解決しようとする課題は、複数の商品を高精度で認識できるチェックアウト装置を提供することにある。

実施形態によれば、チェックアウト装置は、スクリーンと、撮像部と、商品識別部と、表示部と、操作部と、決済処理部と、を有する。スクリーンは、光を透過する。撮像部は、スクリーンを通して商品の画像を取得する。商品識別部は、撮像部が取得した画像から決済対象の全ての商品を識別し、識別した各商品を決済するための情報を取得する。表示部は、商品識別部により識別した各商品の決済に関する情報を表示する。操作部は、表示部が表示した決済に関する情報に対する決済の可否が入力される。決済処理部は、操作部により決済可が入力された場合、商品識別部が識別した各商品の決済処理を行う。

図１は、各実施形態に係るセルフチェックアウト端末（チェックアウト装置）１の基本的な機能の構成を示す図である。 図２は、各実施形態に係るセルフチェックアウト端末の外観構成例を示す図である。 図３は、第１の実施形態に係るセルフチェックアウト端末の制御系の構成例を示すブロック図である。 図４は、第１の実施形態に係るセルフチェックアウト端末における画像取得部の構成例を示す図である。 図５は、第１の実施形態に係るセルフチェックアウト端末における画像取得部の構成例を示す斜視図である。 図６は、第１の実施形態に係るセルフチェックアウト端末における照明の構成例を示す図である。 図７は、第１の実施形態に係るセルフチェックアウト端末における画像取得部のカメラの構成例を示す図である。 図８は、第１の実施形態に係るセルフチェックアウト端末における画像取得部におけるカメラの撮像素子の感度特性と照明の各光源の発光スペクトルとの例を示す図である。 図９は、第１の実施形態に係るセルフチェックアウト端末における画像取得部におけるカメラのフィルタにおける透過特性を示す図である。 図１０は、第１の実施形態に係るセルフチェックアウト端末におけるユーザインターフェースにおける表示例を示す。 図１１は、第１の実施形態に係るセルフチェックアウト端末における基本的な処理の流れを概略的に示す状態遷移図である。 図１２は、第１の実施形態に係るセルフチェックアウト端末のプロセッサが実行する処理の流れを説明するためのフローチャートである。 図１３は、第２実施形態に係るセルフチェックアウト端末の構成例を示すブロック図である。 図１４は、第２実施形態に係るセルフチェックアウト端末のプロセッサが実現する処理の流れを説明するためのフローチャートである。 図１５は、第３実施形態に係るセルフチェックアウト端末の構成例を示すブロック図である。 図１６は、第３実施形態に係るセルフチェックアウト端末のユーザインターフェース構成例を示す図である。 図１７は、第３実施形態に係るセルフチェックアウト端末における決済処理の例を説明するためのフローチャートである。 図１８は、第４実施形態に係るセルフチェックアウト端末の構成例を示すブロック図である。 図１９は、第４実施形態に係るセルフチェックアウト端末における画像取得部の第１の構成例を示す図である。 図２０は、第４実施形態に係るセルフチェックアウト端末における画像取得部の第２の構成例を示す図である。

以下、各実施形態について、図面を参照して説明する。
まず、各実施形態に係るセルフチェックアウト端末（チェックアウト装置、決済装置）１について説明する。
各実施形態に係るセルフチェックアウト端末は、所定領域にセットされた決済対象の全商品をそれぞれ識別し、識別した全商品に対する決済処理を行う装置である。セルフチェックアウト端末１は、例えば、商品を販売する店舗などに設置される。セルフチェックアウト端末１は、利用者が自ら操作するセルフレジ（セルフチェックアウト装置）として設置しても良い。また、セルフチェックアウト端末１Ａは、店舗の店員が操作するレジとして運用しても良い。なお、後述する各実施形態に係るセルフチェックアウト端末は、利用者自身が所定領域に決済対象の全商品をセットする運用形態を想定するものとする。

図１は、各実施形態に係るセルフチェックアウト端末（チェックアウト装置）１の基本的な機能の構成を示す図である。
図１に示すように、セルフチェックアウト端末１は、本体２とユーザインターフェース（ＵＩ）３とを有する。セルフチェックアウト端末１は、画像取得部１１、商品識別部１２、決済処理部１３、表示部１５、操作部１６、および、入力部１７を有する。図１に示す例において、画像取得部１１、商品識別部１２および決済処理部１３は、本体２が有する機能である。また、表示部１５、操作部１６および入力部１７は、ユーザインターフェース３が有する機能である。

画像取得部１１は、撮像部１８およびスクリーン２１を有する。撮像部１８は、決済対象とする１又は複数の商品の画像を含む２次元の画像を取得する。撮像部１８は、スクリーン２１を通して商品の画像を光学的に撮影する。画像取得部１１は、商品識別部１２が個々の商品を識別するための画像情報を撮影するものであれば良い。例えば、画像取得部１１は、近赤外光により画像を読み取るものであっても良い。画像取得部１１は、撮像部１８が撮影した画像を商品識別部１２へ供給する。

商品識別部１２は、画像取得部１１から供給される画像（取得画像）に含まれる１又は複数の商品をそれぞれ識別する。商品識別部１２は、画像処理部を有する。商品識別部１２は、画像処理部を用いて取得画像から各商品を特定するための手掛かりとなる情報を抽出する。例えば、商品識別部１２は、取得画像から各商品に印刷されているバーコードの画像を抽出する。商品識別部１２は、取得画像から抽出した各商品の情報により取得画像に存在する全ての商品を識別する。商品識別部１２は、識別した商品を示す情報（商品情報）を決済処理部１３へ供給する。

なお、商品識別部１２は、商品をバーコードの画像により識別するものに限定されるものではない。商品識別部１２は、取得画像から個々の商品を識別できるものであれば良い。例えば、商品識別部１２は、商品の画像から抽出する画像特徴量から商品を識別しても良い。

決済処理部１３は、商品識別部１２が特定した全商品の代金を決済する。決済処理部１３は、ユーザインターフェース３によりユーザが入力する情報に応じて全商品の決済処理を行う。例えば、決済処理部１３は、決済に関する情報を表示部１５に表示しつつ、ユーザが操作部１６により入力する情報に応じて全商品の決済処理を実行する。また、決済処理部１３は、入力部１７が取得する決済に関する情報により決済を行う。

表示部１５は、本体２から供給される表示情報を表示する。例えば、表示部１５は、商品に関する情報、決済に関する情報、入力案内、或いは、操作ガイドなどの情報を表示する。
操作部１６は、利用者（操作者）が情報を入力する。操作部１６は、表示部１５の表示画面上に設けたタッチスクリーン（タッチパネル）であっても良いし、テンキー又はキーボードなどのボタンであっても良い。操作部１６は、入力された情報を決済処理部１３へ通知する。
入力部１７は、決済に関する情報を入力する。例えば、入力部１７は、利用者が提示するカード又は携帯端末などの記録媒体から決済処理に用いる情報を読み取る。なお、入力部１７は、カード読取装置等に限定されるものではなく、決済に関する情報を入力するものであれば良い。入力部１７は、入力された情報を決済処理部１３へ供給する。

図２は、各実施形態に係るセルフチェックアウト端末１の外観構成例を示す図である。
図２に示すように、セルフチェックアウト端末１は、本体２とユーザインターフェース３とを有する。本体２は、上面にスクリーン２１を有する。スクリーン２１は、決済対象とする商品２０をセットする領域となる。スクリーン２１には、決済対象とする全ての商品２０が載置される。本体２は、図１に示す画像取得部１１、商品識別部１２および決済処理部１３としての機能を有する。

ユーザインターフェース３は、ディスプレイ２５、タッチスクリーン２６、および、カード処理部２７などを有する。ディスプレイ２５は、図１に示す表示部１５として機能する。タッチスクリーン２６は、図１に示す操作部１６として機能する。カード処理部２７は、入力部１７として機能する。
以下、セルフチェックアウト端末１の具体的な構成例としての各実施形態についてさらに詳細に説明する。

（第１の実施形態）
図３は、第１の実施形態に係るセルフチェックアウト端末１Ａの制御系の構成例を示すブロック図である。
本体２Ａは、照明３１、カメラ３２、プロセッサ３３、ＲＯＭ３４、ＲＡＭ３５、不揮発性メモリ３６、通信部３７、各種インターフェース（Ｉ／Ｆ）３８（３８ａ、３８ｂ、３８ｃ）を有する。ユーザインターフェース３Ａは、ディスプレイ２５、タッチスクリーン２６、および、カード処理部２７を有する。

照明３１は、スクリーン２１上の商品に照射する光を発光する。カメラ３２は、スクリーン２１上の商品の画像を取得する。すなわち、カメラ３２は、照明３１からの光があてられるスクリーン２１を含む撮影範囲の画像を取得する撮像部１８である。カメラ３２は、照明３１が発光する光に応じて感度特性を有する２次元イメージセンサを有する。

照明３１及びカメラ３２は、セルフチェックアウト端末１Ａにおける画像取得部１１Ａを構成する。照明３１及びカメラ３２は、プロセッサ３３により動作が制御される。第１の実施形態に係るセルフチェックアウト端末１Ａにおける照明３１及びカメラ３２を含む画像取得部１１Ａの構成例については、後で詳細に説明する。

プロセッサ３３は、例えば、ＣＰＵである。プロセッサ３３は、ＲＯＭ３４又は不揮発性メモリ３６に記憶したプログラムを実行することにより各種の制御および処理機能を実現する。たとえば、プロセッサ３３は、ＲＯＭ３４又は不揮発性メモリ３６に記憶したプログラムを実行することにより各部を制御するコントローラとして機能する。また、プロセッサ３３は、ＲＯＭ３４又は不揮発性メモリ３６に記憶したプログラムを実行することにより各種の処理機能（例えば、商品識別部、決済処理部）を実現する。

ＲＯＭ３４は、プロセッサ３３が実行するプログラム及び制御データなどを記憶する不揮発性のメモリである。ＲＡＭ３５は、ワーキングメモリとして機能する揮発性のメモリである。ＲＡＭ３５は、作業用のデータなどを一時的に記憶する。例えば、ＲＡＭ３５は、カメラ３２が撮影した取得画像を記憶する。不揮発性メモリ３６は、書換え可能な不揮発性のメモリである。不揮発性メモリ３６は、例えば、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）などである。

また、不揮発性メモリ３６は、商品に関する情報を記憶する商品情報データベース３６ａを有する。商品情報データベース３６ａは、商品に関する情報を記憶する記憶領域である。商品情報データベース３６ａは、例えば、各商品の識別情報（例えば、ＪＡＮコード）に対応づけて代金などの情報を記憶する。商品情報データベース３６ａは、少なくとも商品の決済代金を決定するための情報を記憶する。なお、商品情報データベース３６ａは、通信部３７を介して通信可能な外部装置に設けても良い。

通信部３７は、外部の機器と通信する通信インターフェースである。Ｉ／Ｆ３８（３８ａ、３８ｂ、３８ｃ）は、ユーザインターフェース３の各部を接続するインターフェースである。例えば、Ｉ／Ｆ３８ａは、ディスプレイ２５に接続するインターフェースである。Ｉ／Ｆ３８ｂは、タッチスクリーン２６に接続するインターフェースである。Ｉ／Ｆ３８ｃは、カード処理部２７に接続するインターフェースである。

ディスプレイ２５は、Ｉ／Ｆ３８ａを介してプロセッサ３３から与えられる制御信号に従って画面に情報を表示する。例えば、ディスプレイ２５は、利用者に対する操作案内などを表示する。
タッチスクリーン２６は、ディスプレイ２５の表示画面上において人がタッチした位置を検知する。タッチスクリーン２６は、Ｉ／Ｆ３８ｂを介して人がタッチした位置を示す信号をプロセッサ３３へ出力する。

カード処理部２７は、カードを処理する。例えば、カード処理部２７は、ＩＣカード（スマートカード）のリーダライタである。カード処理部２７は、クレジットカードなどのカードから決済情報を取得する。カード処理部２７は、Ｉ／Ｆ３８ｃを介してプロセッサ３３から与えられる制御命令に応じて動作する。カード処理部２７は、Ｉ／Ｆ３８ｃを介してカードから読み取った情報（例えば、決済に関する情報）をプロセッサ３３へ供給する。

次に、第１の実施形態に係るセルフチェックアウト端末１Ａにおける画像取得部１１Ａの構成について説明する。
図４は、第１の実施形態に係るセルフチェックアウト端末１Ａにおける画像取得部１１Ａの構成例を示す図である。
図４に示すように、画像取得部１１Ａは、本体２Ａ内に設けられる。画像取得部１１Ａは、スクリーン２１、照明３１、カメラ３２および反射体４０を有する。
スクリーン２１は、本体２Ａの上面に設置する。照明３１は、スクリーン２１の下側（一方の面側）からスクリーン２１上の商品２０を照明する光（照明光）が出射する。反射体４０は、照明３１からの光を下側からスクリーン２１へ向けて反射するように配置する。カメラ３２は、スクリーン２１の下側からスクリーン２１へ向けて設置する。カメラ３２は、スクリーン２１の下側からスクリーン２１を通して商品（スクリーン上にある商品）の画像を取得する。

スクリーン２１は、照明光を透過する部材で構成する。例えば、スクリーン２１は、透明あるいは半透明なガラス又はブラスチックなどで構成する。スクリーン２１は、決済対象となる商品２０が置かれる台である。言い換えると、スクリーン２１は、決済対象の商品２０をセットする所定領域となる。商品２０は、被撮影面が下向きになるように、スクリーン２１の上面に置かれる。言い換えると、商品２０は、被撮影面がスクリーン２１に対向するように、スクリーン２１の他方の面にセットされる。スクリーン２１上にセットされた商品２０は、被撮影面がスクリーン２１の下側（一方の面）から画像が取得できる状態となる。

照明３１は、カメラ３２が撮影する商品の被撮影面を十分な照度とするための光を発光する。反射体４０は、照明３１からの光をスクリーン２１上の商品の被撮影面に導く。反射体４０は、例えば、拡散反射体である。照明３１が発光する光（照明光）は、反射体４０を介してスクリーン２１上の商品２０の被撮影面に照射される。

照明３１は、出射する照明光による光沢反射を避けるために商品２０の被撮影面に直接入射しないように、反射体４０側に出射する光学的な配置となる。反射体４０からの反射光は、拡散された照明光として商品２０の被撮影面をスクリーン２１越しに照明する。照明３１および反射体４０は、カメラ３２の撮影視野を遮らないよう取り付けられる。

また、照明３１から出射する光（照明光）は、反射体４０で反射されてスクリーン２１の全面を照明する。反射体４０で反射された照明光は、商品２０が置かれていない部分では、スクリーン２１を通して上方へ照射される。このため、照明光を白色光などの可視光とすると、セルフチェックアウト端末１Ａを操作する利用者は、スクリーン２１が眩しく感じる可能性がある。このため、照明３１は、照明光として、可視光の波長領域を外れた光を用いても良い。例えば、照明３１は、照明光として、７００ｎｍ以上の近赤外光を用いる。照明３１が出射する照明光が近赤外光であれば、利用者は、照明光を直視しても眩しく感じなくなる。

カメラ３２は、スクリーン２１の下側からスクリーン２１を通して画像を取得する。カメラ３２は、スクリーン２１上に置かれた商品２０の被撮影面の画像を含む取得画像を取得する。カメラ３２は、取得した画像（取得画像）を本体２のＲＡＭ３５に記憶する。本体２内の商品識別部１２として機能するプロセッサ３３は、ＲＡＭ３５に記憶した取得画像に対して画像処理を行う。また、カメラ３２は、照明光を照射した商品の画像を取得するため、照明光として近赤外光を用いる場合には近赤外光の画像を取得するものとする。

また、カメラ３２は、スクリーン２１の上面（スクリーン２１上に置かれた商品２０の少なくとも一部が接する面）付近にフォーカスを合わせる。これにより、カメラ３２は、少なくとも一部がスクリーン２１の上面に接する商品２０の被撮影面にフォーカスを合わせた状態で画像を取得ができる。例えば、スクリーン２１上に複数の商品を置いた場合であっても、各商品の形状に依らず、各商品の被撮影面がスクリーン２１の上面に近接する。このため、スクリーン２１の上面にフォーカスを合わせたカメラ３２は、全商品の被撮影面にピントが合った状態で画像（商品の画像）を取得しやすくなる。

言い換えると、平面に置いた形状の異なる複数の商品を上側から画像を取得する場合に比べて、カメラ３２は、スクリーン２１上の全商品の被撮影面にピントを合わせことが容易である。従って、カメラ３２は、被写界深度が狭くても良く、撮影距離を近接させて十分に高い解像度で画像を取得することが可能となる。また、カメラ３２の撮影距離を近接させることが可能なため、セルフチェックアウト端末自体も小型化することが可能となる。

次に、画像取得部１１Ａの具体的な構成例について説明する。
図５は、画像取得部１１Ａの構成例を示す斜視図である。図６は、照明３１の構成例を示す図である。なお、図６は、図５に示す照明３１の下側（図５に示す面とは反対側の面）の構成を示すものであり、照明光を上側に照射する状態で図示している。
図５及び図６に示す構成例において、照明３１は、円環状に配置した複数の光源３１ａを有する。各光源３１ａは、例えば、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）光源により構成する。各光源３１ａは、近赤外光を発光する。各光源３１ａは、反射体４０に向かって近赤外光を出射するように配置する。

反射体４０は、半球ドーム状を成しており、スクリーン２１に向かって各光源３１ａからの光（照明光）を拡散して反射する。反射体４０の中央部には、開口部４０ａがある。カメラ３２は、反射体４０の開口部４０ａを通してスクリーン２１の上面を含む撮影範囲Ｒにおける画像を取得する。

図７は、カメラ３２の構成例を示す図である。
図７に示す構成例において、カメラ３２は、撮像素子３２ａ、フィルタ３２ｂ、および、レンズ群３２ｃを有する。レンズ群３２ｃは、撮影範囲Ｒからの光を集光し、集光した光を撮像素子３２ａに照射する。レンズ群３２ｃは、複数のレンズなどにより構成する。フィルタ３２ｂは、レンズ群３２ｃから撮像素子３２ａに照射する光にフィルタをかける。フィルタ３２ｂは、例えば、迷光の原因となる光を排除する。撮像素子３２ａは、光電変換素子などを有する二次元イメージセンサである。撮像素子３２ａは、例えば、ＣＣＤ（Ｃｈａｒｇｅｄ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）あるいはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ−Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などで構成する。撮像素子３２ａは、照明３１が発光する光の特性に応じて感度特性を有する。例えば、照明３１からの照明光が近赤外光である場合、撮像素子３２ａは、感度特性が可視光の波長域から近赤外の波長領域に亘っている。この場合、フィルタ３２ｂが迷光の原因となる可視光を排除する。これにより、撮像素子３２ａは、高精度で画像情報を取得できる。

図８は、カメラ３２の撮像素子３２ａにおける感度特性と照明３１の各光源３１ａにおける発光スペクトルとの例を示す。図９は、カメラ３２のフィルタ３２ｂにおける透過特性を示す図である。
図８によれば、撮像素子３２ａは、可視光波長領域となる４００〜７００ｎｍと近赤外領域となる７００〜１０００ｎｍ双方の波長領域に感度特性を有する。また、図８に示す例では、光源３１ａの発光スペクトルは９４０ｎｍ付近にピークを有し、近赤外の波長領域にのみ発光強度を持つ。フィルタ３２ｂは、図９に示すように、８００ｎｍ以上を透過する特性を持つ。これにより、フィルタ３２ｂは、端末の外部から入射する可視光領域の迷光をカットし、光源３１ａからの光により照明された成分のみに限定して撮影できる。

なお、スクリーン２１にフィルタ３２ｂと同様の特性を持たせても良い。この場合も、端末内に混入する外部光をカットすることが可能となり、同様の効果を得ることが可能となる。また、フィルタ３２ｂとスクリーン２１との双方に図９に示す透過特性（波長フィルタリング機能）を持たせることにより、迷光分離を更に高めることも可能である。
上記のように、画像取得部１１Ａは、照明３１が発光する照明光の波長を近赤外領域に設定し、カメラ３２が画像を取得する手前で可視光をカットするフィルタ３２ｂを設ける。これにより、セルフチェックアウト端末１Ａは、利用者（操作者）が照明光に対して眩しさを感じることなく、また迷光の原因となる端末の外部からの照明光を効率良く分離できる。この結果、セルフチェックアウト端末１Ａの画像取得部１１Ａは、明るく画像品位の良い取得画像を得ることが可能となる。

次に、セルフチェックアウト端末１Ａにおけるユーザインターフェース３Ａの表示例について説明する。
図１０は、ユーザインターフェース３Ａのディスプレイ２５における表示例を示す。
ユーザインターフェース３Ａにおいて、ディスプレイ２５は、決済対象となる商品に関する情報（商品情報）、決済に関する情報（決済情報）、および、操作に関する情報（操作情報）などの情報を表示する。例えば、ディスプレイ２５は、商品情報として、決済対象とする商品名、単価、商品の点数、小計額を表示する。また、ディスプレイ２５は、決済情報として、決済のための合計金額を表示する。また、ディスプレイ２５は、操作情報として、選択メニューなどを表示する。ディスプレイ２５は、操作情報としての選択メニューにおいて、タッチスクリーン２６で選択可能なボタン（アイコン）を表示できる。

例えば、図１０に示す表示例において、ディスプレイ２５は、「はい」と表示するアイコンと「いいえ」と表示するアイコンとを表示する。利用者は、「はい」と表示するアイコンか「いいえ」と表示するアイコンの何れかを選択する。利用者は、表示された商品情報及び決済情報が満足する内容であれば、「はい」と表示された部位に触れる。利用者は、表示された商品情報及び決済情報が満足する内容でなければ（修正が必要である場合）、「いいえ」と表示された部位に触れる。

利用者が「はい」と表示された部位に触れると、タッチスクリーン２６は、「はい」アイコンへの入力を示す検知信号をプロセッサ３３へ通知する。これにより、プロセッサ３３は、「はい」が選択されたことを検出する。「はい」が選択されると、プロセッサ３３は、決済処理を開始する。
また、利用者が「いいえ」と表示された部位に触れると、タッチスクリーン２６は、「いいえ」アイコンへの入力を示す検知信号をプロセッサ３３へ通知する。これにより、プロセッサ３３は、「いいえ」が選択されたことを検出する。「いいえ」が選択されると、プロセッサ３３は、決済を中止する処理、又は、商品情報或いは決済情報を修正するための処理を実行する。

次に、第１の実施形態に係るセルフチェックアウト端末１Ａにおける処理の流れについて説明する。
図１１は、セルフチェックアウト端末１Ａにおける基本的な処理の流れを概略的に示す状態遷移図である。
利用者は、決済対象となる全ての商品をスクリーン２１上にセットする（ＡＣＴ１１）。商品をスクリーン２１上にセットした後、利用者は、ユーザインターフェース３のタッチスクリーン２６によりチェックアウト処理の開始を指示する（ＡＣＴ１２）。タッチスクリーン２６は、利用者が入力したチェックアウト処理の開始指示を検知し（ＡＣＴ１２）、プロセッサ３３へ通知する。

プロセッサ３３は、タッチスクリーン２６に入力されたチェックアウト処理の開始指示に応じてチェックアウト処理を開始する。例えば、プロセッサ３３は、タッチスクリーン２６により選択可能な処理開始を指示するボタン（アイコン）をディスプレイ２５に表示しても良い。この場合、プロセッサ３３は、処理開始を指示するアイコンへのタッチの検知に応じて処理を開始する。また、プロセッサ３３は、利用者が提示するカードをカード処理部２７が読み取った場合に、チェックアウト処理を開始しても良い。

プロセッサ３３は、チェックアウト処理を開始すると、画像取得部１１Ａによる画像の取得を実行する（ＡＣＴ１３）。画像取得部１１Ａは、プロセッサ３３からの制御指示に応じて、照明３１を点灯させ、カメラ３２によるスクリーン２１を含む撮影範囲の撮影を行う。カメラ３２は、取得した画像（取得画像）をＲＡＭ３５に記憶する。

カメラ３２が画像を取得した後、プロセッサ３３は、カメラ３２が取得した画像に対して商品識別部１２の画像処理機能により画像処理を実行する（ＡＣＴ１４）。プロセッサ３３は、画像処理機能により、取得画像から商品を特定する手掛かりとなる画像情報を抽出する。例えば、プロセッサ３３は、取得画像から各商品を特定するための画像情報としてバーコードを検出する。プロセッサ３３は、取得画像から検出するバーコードにより各商品を識別するための識別情報を特定する。各商品の識別情報を特定すると、プロセッサ３３は、各商品の識別情報を基に商品データベースから各商品の商品情報を取得する（ＡＣＴ１５）。

各商品の商品情報を取得すると、プロセッサ３３は、決済処理機能により各商品の商品情報をまとめ、購入する全商品に対する決済内容を決定する（ＡＣＴ１６）。例えば、プロセッサ３３は、全商品の合計金額を算出し、決済内容を決定する。決済内容を決定すると、プロセッサ３３は、ディスプレイ２５に決済内容を示す決済情報を含む決済メニュー画面を表示する（ＡＣＴ１７）。例えば、プロセッサ３３は、決済メニュー画面として、図１０に示すような案内をディスプレイ２５に表示させる。

決済メニュー画面を表示した後、プロセッサ３３は、利用者による決済の可否を示す入力待ちの状態となる。利用者は、決済メニュー画面により決済内容を確認する。利用者は、決済内容の確認結果として決済可と判断した場合（ＡＣＴ１８、決済可）、決済可をタッチスクリーン２６により入力する。また、利用者は、決済不可と判断した場合（ＡＣＴ１８、決済不可）、決済不可をタッチスクリーン２６により入力する。

タッチスクリーン２６に決済可が入力された場合（ＡＣＴ１９）、プロセッサ３３は、決済内容に対する決済処理を実行する（ＡＣＴ２０）。例えば、プロセッサ３３は、決済額を利用者がカード処理部２７に提示するカードにより決済する。決済が完了すると、プロセッサ３３は、決済完了（チェックアウトの正常終了）を示す案内をディスプレイ２５に表示し（ＡＣＴ２１）、処理を終了する。

また、タッチスクリーン２６に決済不可が入力された場合（ＡＣＴ２２）、プロセッサ３３は、修正メニュー画面をディスプレイ２５に表示させる（ＡＣＴ２３）。例えば、修正メニューは、チェックアウト処理の中止、商品の再セット、商品画像の再取得、商品識別処理の再実行などを利用者に選択させるもので良い。利用者は、修正メニュー画面を表示した状態においてタッチスクリーン２６により修正内容を入力する（ＡＣＴ２４）。プロセッサ３３は、利用者が入力する修正内容に応じて処理の再実行又は処理の中止を行う。

例えば、修正メニューにおいて処理中止の指示が入力された場合、プロセッサ３３は、処理を中止する。また、商品の再セットの指示が入力された場合、プロセッサ３３は、スクリーン２１上への商品のセット案内をディスプレイ２５に表示し、ＡＣＴ１１からの処理を再実行する。商品画像の再取得の指示が入力された場合、プロセッサ３３は、ＡＣＴ１３へ戻り、画像取得部１１Ａによる画像の再取得を実行する。商品識別処理の再実行の指示が入力された場合、プロセッサ３３は、ＡＣＴ１４へ戻り、画像処理及び商品情報の照会処理を再実行する。

次に、第１の実施形態に係るセルフチェックアウト端末１Ａの本体２Ａ内における処理について詳細に説明する。
図１２は、セルフチェックアウト端末１Ａのプロセッサ３３が実行する処理の流れを説明するためのフローチャートである。図１２に示す処理例は、バーコードにより商品を識別する画像処理と識別した商品の商品情報を取得する処理とを含む処理である。

プロセッサ３３は、商品２０がセットされるスクリーン２１を含む撮影範囲Ｒの画像を画像取得部１１Ａにより取得する（ＡＣＴ３１）。例えば、プロセッサ３３は、処理開始の指示に応じて、照明３１に照明光を発光させ、カメラ３２に画像を撮影させる。画像取得部１１Ａのカメラ３２は、取得した画像をＲＡＭ３５等のメモリ上に記憶する。ＲＡＭ３５に取得画像を保持すると、プロセッサ３３は、取得画像に対して商品識別部１２の画像処理機能としての画像処理を実行する。

取得画像を取得すると、プロセッサ３３は、取得画像中における各商品の画像領域を抽出する（ＡＣＴ３２）。例えば、プロセッサ３３は、取得画像における各商品の画像領域として、各商品のパッケージの画像領域を検出する。商品のパッケージの画像領域を抽出する毎に、プロセッサ３３は、抽出した商品数をカウントする（ＡＣＴ３３）。取得画像内における商品の総数Ｎのカウント（全商品の画像領域の抽出）が終了すると、プロセッサ３３は、抽出した各商品を識別する処理を行う。

第１実施形態においては、決済対象となる商品２０のパッケージには、バーコードが印刷されているものとする。また、商品２０は、バーコードが印刷された面（バーコードの印刷面）の画像をカメラ３２が取得できるようにスクリーン２１上にセットされるものとする。商品２０がバーコードの印刷面をカメラ３２に向けてスクリーン２１上にセットされた状態であれば、カメラ３２は、バーコードを含む商品のパッケージの画像を取得できる。

商品２０がスクリーン２１上に正しくセットされた状態でカメラ３２が取得した画像は、商品２０のパッケージの外周を示す商品パッケージの画像領域を含む。さらに、当該取得画像中の商品パッケージの画像領域は、バーコードの画像領域を含む。従って、プロセッサ３３は、画像処理として、取得画像から商品のパッケージの画像領域を抽出し、商品パッケージの画像領域の中から更にバーコードの画像領域を抽出する。

プロセッサ３３は、スクリーン２１上に複数の商品がある場合、各商品のパッケージの画像領域毎に、バーコードの画像領域を抽出する処理を行う。このため、プロセッサ３３は、処理した商品数をカウントするための変数ｎを初期化（ｎ＝０）する（ＡＣＴ３４）。プロセッサ３３は、変数ｎを初期化した後、n＝ｎ＋１とし（ＡＣＴ３５）、ｎ個目の商品に対する商品識別処理を行う。

図１２に示す処理例では、プロセッサ３３は、商品識別処理として、商品毎のパッケージ領域からバーコードに関連する画像特徴を抽出し（ＡＣＴ３６）、バーコードの画像領域の候補を絞り込む（ＡＣＴ３７）。プロセッサ３３は、バーコードの画像領域の候補を絞り込むと、絞り込んだ画像領域がバーコードであるか否かを判定する（ＡＣＴ３８）。プロセッサ３３は、絞り込んだ画像領域がバーコードであると判定した場合（ＡＣＴ３８、ＹＥＳ）、当該バーコードをデコードする（ＡＣＴ３９）。

プロセッサ３３は、バーコードをデコードした情報をバーコードシンボルに対応する商品の識別情報としてのＪＡＮコードに変換する。プロセッサ３３は、バーコードから得たＪＡＮコードに基づいて商品データベース（ＤＢ）３６ａを検索（照会）することにより、当該商品の商品情報を取得する（ＡＣＴ４０）。プロセッサ３３は、取得した商品の商品情報から商品の価格などの決済に必要な情報を抽出する。プロセッサ３３は、例えば、決済に必要な情報として抽出した情報をＲＡＭ３５などのメモリに保持する。

プロセッサ３３は、ｎ個目の商品に関する決済に必要な情報を抽出（保持）すると、識別処理した商品数ｎがカウントした商品総数Ｎに達したか否かを判断する（ＡＣＴ４１）。プロセッサ３３は、識別した商品数ｎが商品総数Ｎに達していないと判断した場合（ＡＣＴ４１、ＮＯ）、上記ＡＣＴ３５へ戻り、次の商品の画像領域（パッケージ領域）に対する識別処理を実行する。

また、プロセッサ３３は、識別処理した商品数ｎが商品総数Ｎに達したと判断した場合（ＡＣＴ４１、ＹＥＳ）、抽出した各商品の情報をまとめて全商品に対する決済処理を実行する（ＡＣＴ４２）。例えば、プロセッサ３３は、決済内容を確定し、確定した決済内容に対する利用者の確認が得られた場合、利用者が提示するカードを用いた決済処理を実行する。

なお、プロセッサ３３は、商品の画像領域からバーコードを検出できないと判定した場合（ＡＣＴ３８、ＮＯ）、例外処理を行う（ＡＣＴ４３）。例えば、プロセッサ３３は、当該商品のパッケージ領域に対する商品の識別が不能と判断してエラー処理を実行する。エラー処理としては、ＡＣＴ３１、ＡＣＴ３２、又はＡＣＴ３６からの処理を再実行するものであっても良いし、一連の処理を中止するものであっても良い。また、プロセッサ３３は、例外処理として、バーコードによる商品識別処理以外の処理により商品を識別するようにしても良い。

上記のように、第１実施形態に係るセルフチェックアウト端末は、スクリーンの下側に設置したカメラで、スクリーン上に置かれた商品の被撮影面の画像を取得する。このような構成により、セルフチェックアウト端末は、商品の形状及びサイズに依らず、カメラから商品の被撮影面（スクリーンに接する側の面）までの撮影距離をほぼ一定に保つことができる。この結果、セルフチェックアウト端末は、カメラの性能に依らず、商品のパッケージ表面にピントの合った画像を容易に得ることができる。例えば、セルフチェックアウト端末は、近距離から撮影可能なため、解像度の低い安価なカメラを利用できる。また、セルフチェックアウト端末は、カメラから商品までの距離を短くすることができるため、装置自体を小型化することが可能となる。

また、第１実施形態に係るセルフチェックアウト端末は、スクリーン上の商品の被撮影面に照射する近赤外光を発光する照明と近赤外光の画像を取得するカメラとを有する。これにより、セルフチェックアウト端末は、スクリーンの下側から照射する照明光によって利用者に眩しさを感じさせないようにできる。

また、第１実施形態に係るセルフチェックアウト端末は、照明光を近赤外光とし、カメラの撮像デバイスに入射する光に対して可視光の波長成分をカットするフィルタを設ける。これにより、セルフチェックアウト端末は、装置外部の照明環境からの影響を受けにくく、高精度な取得画像を取得できる。

（第２実施形態）
次に、第２実施形態に係るセルフチェックアウト端末について説明する。
図１３は、第２実施形態に係るセルフチェックアウト端末１Ｂの構成例を示すブロック図である。
セルフチェックアウト端末１Ｂは、第１実施形態で説明したセルフチェックアウト端末１Ａと同様な機能を有し、さらに商品の画像自体から商品を識別する機能を有する。すなわち、セルフチェックアウト端末１Ｂは、取得する画像中のバーコードの画像で商品を識別するだけでなく、それ以外の処理でも商品を識別する機能を有する。例えば、商品識別部１２としてのプロセッサ３３は、取得画像に含まれる商品の画像（商品のパッケージ画像）に対する認識処理により商品を識別する機能を有する。以下、セルフチェックアウト端末１Ｂは、バーコードで識別ができなかった商品を当該商品の画像に対する認識処理により識別するものとする。

なお、図１３に示す構成については、セルフチェックアウト端末１Ａと同様な構成で実現できるものについては同一符号を付して詳細な説明を省略する。例えば、セルフチェックアウト端末１Ｂの画像取得部、決済処理部及びユーザインターフェース等は、セルフチェックアウト端末１Ａと同様なもので実現できる。

図１３に示すように、第２の実施形態に係るセルフチェックアウト端末１Ｂは、本体２Ｂとユーザインターフェース３Ｂとを有する。本体２Ｂは、照明３１、カメラ３２、プロセッサ３３、ＲＯＭ３４、ＲＡＭ３５、不揮発性メモリ３６、通信部３７、各種インターフェース（Ｉ／Ｆ）３８（３８ａ、３８ｂ、３８ｃ）を有する。ユーザインターフェース３Ｂは、ディスプレイ２５、タッチスクリーン２６およびカード処理部２７を有する。なお、ユーザインターフェース３Ｂは、第１実施形態で説明したユーザインターフェース３Ｂと同様な構成により実現できる。

プロセッサ３３は、ＲＯＭ３４又は不揮発性メモリ３６に記憶したプログラムを実行することにより各種の制御および処理機能を実現する。セルフチェックアウト端末１Ｂのプロセッサ３３は、セルフチェックアウト端末１Ａで説明した処理機能に加えて、商品の画像により商品を識別する処理機能（画像認識機能）を有する。プロセッサ３３は、ＲＯＭ３４又は不揮発性メモリ３６が記憶するプログラムを実行することにより画像認識機能を実現する。

また、不揮発性メモリ３６は、さらに商品の画像に関する情報を記憶する商品画像データベース（ＤＢ）３６ｂを有する。商品画像ＤＢ３６ｂは、商品の画像（商品のパッケージの画像）に関する情報を記憶する記憶領域である。商品画像ＤＢ３６ｂは、個々の商品毎に、商品を様々な方向から撮影した画像（スクリーン上に様々な向きで置いた状態で撮影した画像）から商品を識別するための情報を記憶する。商品画像ＤＢ３６ｂは、例えば、各商品の画像から抽出可能な画像特徴と各商品の識別情報（例えば、ＪＡＮコード）とを対応づけた情報を記憶する。なお、商品画像ＤＢ３６ｂは、通信部３８を介して通信可能な外部装置に設けても良い。

例えば、商品画像ＤＢ３６ｂは、バーコードをデコードすることにより得られるＪＡＮコードと同等な識別情報を、各商品の画像特徴に対応づけて記憶する。商品画像ＤＢ３６ｂは、各商品のパッケージの取得画像に対する画像特徴の抽出処理で得られる画像特徴（画像特徴量）と各商品のＪＡＮコードとを対応づけてデータベース形式で保存する。画像特徴は、例えば、パッケージ面の模様、色、文字のロゴなど商品のパッケージデザインに依存する画像情報から形成される。また、各商品の画像特徴は、バーコードの印刷面だけでは無く、スクリーン２１上に商品２０が置かれる可能性がある各向きの取得画像毎に抽出される。

次に、第２の実施形態に係るセルフチェックアウト端末１Ｂの本体２Ｂ内における処理例について詳細に説明する。なお、セルフチェックアウト端末１Ｂにおける基本的な処理の流れは、図１１に示す処理と同様で良い。
図１４は、セルフチェックアウト端末１Ｂのプロセッサ３３が実現する処理の流れを説明するためのフローチャートである。
図１４に示す処理例は、図１２に示す処理に加えて、バーコードで識別ができなかった商品を、商品の画像（パッケージ画像）の認識処理により識別する処理を含む処理例である。このため、図１４に示すＡＣＴ５１−６２、６５の各処理は、図１２に示すＡＣＴ３１−４３の各処理と同様な処理であっても良い。

すなわち、プロセッサ３３は、スクリーン２１を含む撮影範囲Ｒの画像を画像取得部１１Ａにより取得する（ＡＣＴ５１）。画像取得部が画像を取得すると、プロセッサ３３は、取得画像中における各商品の画像領域を抽出する（ＡＣＴ５２）。例えば、プロセッサ３３は、取得画像における各商品の画像領域として、各商品のパッケージの画像領域を検出する。商品のパッケージの画像領域を抽出する毎に、プロセッサ３３は、抽出した商品数をカウントする（ＡＣＴ５３）。取得画像内における商品の総数Ｎのカウント（全商品の画像領域の抽出）が終了すると、プロセッサ３３は、抽出した各商品を識別する処理を行う。

プロセッサ３３は、スクリーン２１上に複数の商品がある場合、各商品のパッケージの画像領域毎に、バーコードの画像領域を抽出する処理を行う。このため、プロセッサ３３は、処理した商品数をカウントするための変数ｎを初期化（ｎ＝０）する（ＡＣＴ５４）。プロセッサ３３は、変数ｎを初期化した後、n＝ｎ＋１とし（ＡＣＴ５５）、ｎ個目の商品に対する商品識別処理を行う。

図１４に示す例において、プロセッサ３３は、商品識別処理として、商品毎のパッケージ領域からバーコードに関連する画像特徴を抽出し（ＡＣＴ５６）、バーコードの画像領域の候補を絞り込む（ＡＣＴ５７）。プロセッサ３３は、絞り込んだ画像領域がバーコードであるか否かを判定する（ＡＣＴ５８）。プロセッサ３３は、絞り込んだ画像領域がバーコードであると判定した場合（ＡＣＴ５８、ＹＥＳ）、当該バーコードをデコードする（ＡＣＴ５９）。プロセッサ３３は、バーコードをデコードした情報をバーコードシンボルに対応する商品の識別情報としてのＪＡＮコードに変換する。

プロセッサ３３は、バーコードから得たＪＡＮコードに基づいて商品データベース（ＤＢ）を検索（照会）することにより、当該商品の商品情報を取得する（ＡＣＴ６０）。プロセッサ３３は、取得した商品の商品情報から商品の価格などの決済に必要な情報をＲＡＭ３５などのメモリに保持する。１つの商品の決済に必要な情報を抽出（保持）した後、プロセッサ３３は、識別処理した商品数ｎが商品総数Ｎに達していなければ（ＡＣＴ６１、ＮＯ）、上記ＡＣＴ５４へ戻る。また、プロセッサ３３は、識別処理した商品数ｎが商品総数Ｎに達した場合（ＡＣＴ６１、ＹＥＳ）、抽出した各商品の情報をまとめて全商品に対する決済処理を実行する（ＡＣＴ６２）。

さらに、プロセッサ３３は、取得画像から抽出した商品の画像領域からバーコードが検出できなかった場合（ＡＣＴ５８、ＮＯ）、商品の画像により商品を識別する画像認識（パッケージ認識）処理を行う（ＡＣＴ６３）。すなわち、プロセッサ３３は、画像認識処理において、取得画像における商品の画像（商品のパッケージの画像）から画像特徴を抽出する。プロセッサ３３は、ＡＣＴ５６の処理において商品の画像領域から画像認識に用いる画像特徴を抽出し、抽出した画像特徴をメモリに保持しておくようにしても良い。プロセッサ３３は、商品の画像領域から抽出した画像特徴と商品画像ＤＢ３６ｂが記憶する各商品の画像特徴とのマッチングにより商品を識別する。

例えば、プロセッサ３３は、商品の画像領域から抽出した画像特徴と商品画像ＤＢ３６ｂが記憶する各商品の画像特徴との類似度を判定する。プロセッサ３３は、商品の画像領域から抽出した画像特徴とＤＢ３６ｂが記憶する画像特徴との類似度が最大となるものを特定する。プロセッサ３３は、最大の類似度が所定の閾値以上であれば、当該画像領域の商品が最大の類似度となる画像特徴に対応する商品であると判定する。また、プロセッサ３３は、最大の類似度が所定の閾値未満である場合、当該商品の画像領域に対する画像認識処理が失敗した（画像認識による商品の識別が不可）と判断しても良い。

画像認識による商品の識別が成功した場合（ＡＣＴ６４、ＹＥＳ）、プロセッサ３３は、当該商品の識別情報としてのＪＡＮコードを商品画像ＤＢ３６ｂから取得する。プロセッサ３３は、画像認識により得たＪＡＮコードに基づいて商品情報ＤＢ３６ａを検索（照会）することにより、当該商品の決済に必要な情報を取得する（ＡＣＴ６０）。プロセッサ３３は、当該商品の決済に必要な情報をＲＡＭ３５などのメモリに保持し、ＡＣＴ６１へ進む。

また、画像認識による商品の識別が失敗した場合（ＡＣＴ６４、ＮＯ）、プロセッサ３３は、例外処理を行う（ＡＣＴ６５）。プロセッサ３３は、例外処理として、当該商品のパッケージ領域に対する商品の識別が不能と判断してエラー処理を実行する。エラー処理としては、ＡＣＴ５１、ＡＣＴ５２、又はＡＣＴ５６からの処理を再実行するものであっても良いし、一連の処理を中止するものであっても良い。また、プロセッサ３３は、例外処理として、バーコードによる商品識別処理および画像認識による商品識別処理以外の処理により商品を識別するようにしても良い。

上記のような第２実施形態に係るセルフチェックアウト端末は、取得画像からバーコードが抽出できない場合、商品の画像の特徴から商品を特定する機能を有する。これにより、セルフチェックアウト端末は、取得画像からバーコードが認識できない商品（バーコードの印刷面がスクリーン２１側に向けて置かれていない商品）であっても、商品の画像自体（パッケージの画像特徴）から商品を識別できる。つまり、第２実施形態に係るセルフチェックアウト端末は、利用者が任意の向きで置いた決済対象の各商品を特定することが可能となる。この結果、セルフチェックアウト端末は、利用者が商品を置く向きを気にすることなくチェックアウト処理を行える。さらに、セルフチェックアウト端末は、商品を識別する処理のエラーによる中止、或いは、商品を識別する処理のやり直し回数が減るため、利用者の利便性が向上する。

（第３実施形態）
次に、第３実施形態に係るセルフチェックアウト端末について説明する。
図１５は、第３実施形態に係るセルフチェックアウト端末１Ｃの構成例を示すブロック図である。
第３実施形態に係るセルフチェックアウト端末１Ｃは、生体認証を用いた決済処理を行うものである。ここでは、第１実施形態で説明したセルフチェックアウト端末に生体認識による決済処理を追加したセルフチェックアウト端末１Ｃについて説明する。なお、第３実施形態に係るセルフチェックアウト端末は、第２実施形態に係るセルフチェックアウト端末１Ｂに生体認証による決済処理を追加することにより実現しても良い。

図１５は、第３実施形態に係るセルフチェックアウト端末１Ｃの構成例を示すブロック図である。
セルフチェックアウト端末１Ｃは、第１実施形態で説明したセルフチェックアウト端末１Ａと同様な機能を有し、さらに個人認証として生体認証を行う機能を有する。すなわち、セルフチェックアウト端末１Ｃは、生体認証を用いることにより利用者自身の操作による決済処理を実現する。

なお、図１５に示す構成については、セルフチェックアウト端末１Ａと同様な構成で実現できるものについては同一符号を付して詳細な説明を省略する。セルフチェックアウト端末１Ｃの画像取得部等の構成は、第１実施形態で説明したセルフチェックアウト端末１Ａと同様なものであっても良い。

図１５に示すように、第３実施形態に係るセルフチェックアウト端末１Ｃは、本体２Ｃとユーザインターフェース３Ｃとを有する。本体２Ｃは、照明３１、カメラ３２、プロセッサ３３、ＲＯＭ３４、ＲＡＭ３５、不揮発性メモリ３６、通信部３７、各種インターフェース（Ｉ／Ｆ）３８（３８ａ、３８ｂ、３８ｃ、３８ｄ、３８ｅ）を有する。

プロセッサ３３は、ＲＯＭ３４又は不揮発性メモリ３６に記憶したプログラムを実行することにより各種の制御および処理機能を実現する。セルフチェックアウト端末１Ｃのプロセッサ３３は、セルフチェックアウト端末１Ａで説明した処理機能に加えて、生体認証、および認証結果に応じた決済処理機能を有する。また、セルフチェックアウト端末１Ｃのプロセッサ３３は、生体認証としての顔認証を行う処理機能を有し、生体認証部として機能する。

また、不揮発性メモリ３６は、さらに会員に関する情報を記憶する会員情報データベース（ＤＢ）３６ｃを有する。会員情報ＤＢ３６ｃは、各会員に対する認証情報を含む会員に関する情報を記憶する記憶領域である。会員情報ＤＢ３６ｃは、各会員の識別情報と各会員に対する認証情報（生体情報およびパスワードを含む認証情報）とを対応づけた会員情報を記憶する。会員情報ＤＢ３６ｃは、各会員の認証情報として、各会員の顔認証用の辞書データを記憶する顔データベースと各会員の指紋認証用の辞書データを記憶する指紋データベースとを有する。顔データベースは、顔認証の辞書データとして、各会員の顔の特徴量を記憶する。また、顔データベースは、各会員の登録用の顔画像を記憶しても良い。指紋データベースは、指紋認証の辞書データとして、各会員の指紋の特徴量を記憶する。指紋データベースは、各会員の登録用の指紋画像を記憶しても良い。

また、会員情報ＤＢ３６ｃは、各会員に対する決済に関連する情報を記憶する。例えば、会員情報ＤＢ３６ｃは、各会員が決済に用いるカード（クレジットカード等）に関する情報を記憶する。また、会員情報ＤＢ３６ｃは、決済額等に応じて付与されるポイント情報を会員ごとに記憶しても良い。また、会員情報ＤＢ３６ｃは、各会員が決済した商品に関する情報（例えば購入履歴情報）を記憶しても良い。なお、会員情報ＤＢ３６ｃは、通信部３８を介して通信可能な外部装置に設けても良い。

また、図１６は、ユーザインターフェース３Ｃの外観構成例と表示例とを示す図である。
図１５及び図１６に示すように、ユーザインターフェース３Ｃは、ディスプレイ２５、タッチスクリーン２６、カード処理部２７、カメラ４１および指紋センサ４２を有する。なお、ディスプレイ２５、タッチスクリーン２６及びカード処理部２７は、第１実施形態で説明したセルフチェックアウト端末１Ａと同様な構成で実現できる。

カメラ４１は、利用者の顔を撮影する。カメラ４１は、利用者（決済者）の生体情報としての顔画像を取得する生体情報取得部として機能する。カメラ４１は、タッチスクリーン２６を操作する利用者の顔が撮影できるように設置する。カメラ４１は、本体２Ｃのインターフェース（Ｉ／Ｆ）３８ｄに接続する。カメラ４１は、撮影した画像をＩ／Ｆ３８ｄを介して本体２Ｃへ供給する。また、カメラ４１は、Ｉ／Ｆ３８ｄを介して接続されるプロセッサ３３により制御される。

指紋センサ４２は、利用者の指紋を撮像（検知）する。指紋センサ４２は、利用者の指が翳される検知部を有する。例えば、指紋センサ４２は、検知部により利用者の指の指紋をスキャンする。指紋センサ４２は、本体２Ｃのインターフェース（Ｉ／Ｆ）３８ｅに接続する。指紋センサ４２は、撮影した画像をＩ／Ｆ３８ｅを介して本体２Ｃへ供給する。また、指紋センサ４２は、Ｉ／Ｆ３８ｅを介して接続されるプロセッサ３３により制御される。

また、図１６に示す例において、ディスプレイ２５は、暗証番号（パスワード）の入力、又は、指紋の読取りの案内を表示する。暗証番号は、ディスプレイ２５に表示したキーをタッチスクリーン２６で選択することにより入力される。また、指紋は、指紋センサで読み取る。この状態においてカメラ４１が利用者の顔を撮影することにより、パスワードの入力又は指紋の読取りを実行している利用者の顔画像が撮影できる。

すなわち、本体２Ｃのプロセッサ３３は、図１６に示す表示画面を表示した状態において、利用者の顔画像と共に、パスワード又は指紋画像の何れかを取得する。言い換えると、プロセッサ３３は、カメラ４１が撮影する顔画像による生体認証の結果に応じて、パスワード又は指紋画像の何れかを取得するようにできる。

次に、上記のように構成されるセルフチェックアウト端末１Ｃにおける決済処理について説明する。
図１７は、セルフチェックアウト端末１Ｃにおける決済処理の例を説明するためのフローチャートである。
決済処理が開始されると、プロセッサ３３は、カメラ４１により利用者の顔を撮影する（ＡＣＴ７２）。カメラ４１は、プロセッサ３３からの指示に応じて撮影を行い、撮影した画像をプロセッサ３３へ供給する。プロセッサ３３は、カメラ４１が撮影した撮影画像を取得し、顔認証処理（生体認証処理）を実行する（ＡＣＴ７３）。なお、カメラ４１は、ＡＣＴ７２において生体認証取得部として機能し、プロセッサ３３は、ＡＣＴ７３において生体認証部として機能する。

プロセッサ３３は、顔認証処理として、カメラ４１が撮影した撮影画像から利用者の顔の画像領域（顔画像）を検出する。なお、カメラ４１は、撮影した画像から顔の画像領域（顔画像）を検出し、検出できた顔画像をプロセッサ３３へ供給するようにしても良い。カメラ４１の撮影画像から顔画像が検出できた場合、プロセッサ３３は、検出した顔画像から顔の特徴量を抽出する。プロセッサ３３は、撮影画像から検出した顔の特徴量と会員情報ＤＢ３６ｃの顔ＤＢに登録されている各会員の顔の特徴量とのマッチングを行う。

例えば、プロセッサ３３は、撮影画像から検出した顔の特徴量と顔ＤＢに登録されている各会員の顔の特徴量との類似度を判定する。プロセッサ３３は、各会員との類似度のうち最大の類似度を特定する。プロセッサ３３は、最大の類似度が所定の閾値以上であるかを判定する。最大の類似度が閾値以上である場合、プロセッサ３３は、利用者が最大の類似度となった会員であると同定する。プロセッサ３３は、顔認証の結果として、当該会員の識別情報（例えば、会員ＩＤ）を決定する。また、最大の類似度が閾値未満である場合、プロセッサ３３は、顔認証では利用者が会員と同定できなかったものとする。

なお、上述の処理では、決済処理を開始した後に顔認証を行うものとしたが、顔認証処理は、決済処理の開始よりも先に開始しても良い。例えば、プロセッサ３３は、商品を識別する処理と並行して顔の撮影及び顔認証処理を実施しても良い。また、プロセッサ３３は、利用者を検知するセンサを設け、当該センサが利用者を検知すると直に顔の撮影と顔認証処理を実施しても良い。また、プロセッサ３３は、カメラ４１により所定の周期で継続的に撮影を行って、撮影画像から顔を検出すると直に顔認証処理を実施するようにしても良い。

また、上述した処理例では、第１の認証処理として顔認証を行う処理例について説明したが、顔認証に代えて他の生体認証を行っても良い。例えば、第１の認証処理は、声紋、目の虹彩、手の静脈パターン、目の網膜、或いは、目の瞬きなどによる生体認証を用いても良い。

顔認証により利用者が特定の会員と同定できた場合（ＡＣＴ７４、ＹＥＳ）、プロセッサ３３は、利用者が顔認証で特定した会員であることを確認する会員認証を行う。プロセッサ３３は、会員認証を行うため、第２の認証情報としての指紋又はパスワードの入力案内をディスプレイ２５に表示する（ＡＣＴ７５）。利用者が指紋又はパスワードを入力した場合、プロセッサ３３は、指紋又はパスワードによる本人認証処理（第２の認証処理）を行う（ＡＣＴ７６）。ここで、プロセッサ３３は、顔認証で特定された会員の認証情報（パスワード又は指紋情報）を会員情報ＤＢ３６ｃから取得する。プロセッサ３３は、会員情報ＤＢ３６ｃから取得する登録済みのパスワード（登録パスワード）又は登録済みの指紋情報（登録指紋情報）と、利用者が入力するパスワード又は指紋とを照合する。

例えば、タッチスクリーン２６により利用者が入力したパスワードを取得した場合、プロセッサ３３は、入力されたパスワードと顔認証で特定した会員の登録パスワードとを照合する。また、指紋センサ４２により利用者の指紋を読み取った場合、プロセッサ３３は、指紋センサ４２が読み取った指紋情報（入力された指紋情報）と顔認証で特定した会員の登録指紋情報とを照合する。

入力されたパスワード又は指紋と顔認証で特定した会員の認証情報とが一致した場合、プロセッサ３３は、利用者が顔認証で特定した会員であることが確認できたものとする。会員であることが確認できた場合（会員認証が成功した場合）（ＡＣＴ７７、ＹＥＳ）、プロセッサ３３は、会員情報ＤＢ３６ｃに登録されている当該会員の会員情報を用いて決済処理を実行する（ＡＣＴ７８）。例えば、プロセッサ３３は、会員情報ＤＢ３６ｃに登録されている当該会員のカードに関する情報を用いて決済処理を実行する。

また、会員であることが確認できなかった場合（会員認証が失敗した場合）（ＡＣＴ７７、ＮＯ）、プロセッサ３３は、利用者が会員に登録されていないと見做し、非会員に対する決済処理を実行する（ＡＣＴ７９、８０）。例えば、プロセッサ３３は、非会員に対する決済処理として、カード処理部２７により利用者が提示するカードを読み取る（ＡＣＴ７９）。プロセッサ３３は、利用者が提示するカードから読み取った情報による決済処理を実行する（ＡＣＴ８０）。

上記のように、第３実施形態に係るセルフチェックアウト端末は、生体認証により利用者が会員であるかをチェックする。セルフチェックアウト端末は、生体認証により会員であることが確認できた場合、会員情報を用いて当該利用者（会員）に対する決済処理を行う。これにより、会員は、カードなどを必要とせずに、登録済みの会員情報を用いて決済処理が可能となる。この結果、カードなどを持参することなく、手ぶらで決済処理を行うことができ、利便性の向上を図ることができる。

また、第３実施形態に係るセルフチェックアウト端末は、生体認証を用いて会員確認を確実に行うことができる。また、生体認証として顔認証を用いるセルフチェックアウト端末は、カメラが決済処理を行う利用者の顔画像を撮影する。このため、顔認証を用いたセルフチェックアウト端末は、利用者の操作負担が少なく、利用者に対するさらなる利便性の向上が期待できる。

さらに、第３実施形態に係るセルフチェックアウト端末は、顔認証を用いて会員を特定した後、パスワード認証又は指紋認証などの別の認証方法により特定した会員であるかを確認する。これにより、利用者が顔認証で特定した会員であることを確実に確認できるため、登録済みの会員情報を用いた決済処理を安全に行うことができる。

（第４実施形態）
次に、第４実施形態に係るセルフチェックアウト端末について説明する。
図１８は、第４実施形態に係るセルフチェックアウト端末１Ｄの構成例を示すブロック図である。
第４実施形態に係るセルフチェックアウト端末１Ｄは、第１実施形態で説明したセルフチェックアウト端末１Ａにおける画像取得部１１Ａを画像取得部１１Ｄ、１１Ｄ´に置き換えたものである。すなわち、セルフチェックアウト端末１Ｄにおける画像取得部以外の構成は、セルフチェックアウト端末１Ａと同様なもので実現できる。なお、第４実施形態で説明した画像取得部１１Ｄ、１１Ｄ´は、第１実施形態に係るセルフチェックアウト端末だけではなく、第２又は第３実施形態で説明したセルフチェックアウト端末１における画像取得部に適用しても良い。

図１８に示す構成については、セルフチェックアウト端末１Ａと同様な構成で実現できるものについては同一符号を付して詳細な説明を省略するものとする。
図１８に示すように、第４実施形態に係るセルフチェックアウト端末１Ｄの本体２Ｄは、照明５１、移動機構５２および撮像部５３を含む画像取得部１１Ｄを有する。
照明５１は、スクリーン２１全体を含む撮影範囲に照射する照明光を発光する。照明５１は、撮像部５３が撮影可能な照明光を発光するものであれば良い。例えば、照明５１は、近赤外領域に発光スペクトルを有する近赤外光を発光するＬＥＤ光源を採用する。これにより、照明光がスクリーン２１を介して利用者に照射されても、利用者が眩しくなることを抑制できる。

移動機構５２は、撮影範囲をスキャン走査するための機構である。移動機構５２は、照明５１と撮像部５３とを搭載したキャリッジ、又は、照明５１を搭載したキャリッジを走査方向に移動させる。例えば、撮像部５３が主走査方向の１ライン分のラインイメージセンサを有する構成である場合、移動機構５２は、キャリッジを副走査方向に移動させる。

撮像部５３は、入射する光を画像情報に変換する撮像装置である。撮像部５３は、例えば、主走査方向における１ライン分の光電変換素子などで構成する撮像素子５３ａを有する。撮像部５３は、移動機構５２により副走査方向に移動するスキャン位置からの光を画像情報に変換することにより撮影範囲全体の画像を取得する。

また、撮像部５３は、撮像素子５３ａに入射する不要な光をカットするためのフィルタ５３ｂを有する。照明５１が近赤外光を発光する構成とした場合、撮像部５３は、撮像素子５３ａに入射する光における可視光をカットするフィルタ５３ｂを有する。これにより、撮像部５３は、明るく迷光によるノイズの少ない取得画像を得ることが可能となる。

図１９は、セルフチェックアウト端末１Ｄにおける画像取得部１１Ｄの第１の構成例を示す図である。
図１９に示す画像取得部１１Ｄは、照明５１と撮像部５３とが移動する（スキャン走査）することにより撮影範囲の画像を取得する。画像取得部１１Ｄは、照明５１と撮像部５３とを搭載したキャリッジ６０を有する。画像を取得する場合、キャリッジ６０が移動機構５２により一次元方向（副走査方向）に移動する。照明５１が光を照射する位置（スキャン位置）は、キャリッジ６０の移動に伴って副走査方向に移動する。

撮像部５３は、照明５１が光を照射する位置における主走査方向の１ライン分の画像情報を撮像する。例えば、撮像部５３は、撮像素子５３ａに密着型（ＣＩＳ：Ｃｏｎｔａｃｔ Ｉｍａｇｅ Ｓｅｎｓｏｒ）一次元イメージセンサを用いる。撮像部５３は、キャリッジ６０の移動に伴って副走査方向に移動するスキャン位置の画像を順次取得する。これにより、撮像部５３は、スクリーン２１を含む撮影範囲全体の画像を取得する。

図１９に示す第１の構成例では、画像取得部１１Ｄは、照明光を反射させるための反射体などを省略することが可能なため、画像取得部１１Ｄを小型化することが可能となる。この結果として、セルフチェックアウト端末１Ｄは、本体２Ｄ全体としても小型化が可能となる。また、照明５１は、スキャン位置に近い位置に配置される。このため、照明５１が発光する光の光量も削減することが可能となり、低消費電力での動作が可能となる。

また、照明５１は、近赤外領域に発光スペクトルを有する近赤外光を発光するものとして良い。この場合、撮像部５３は、撮像素子５３ａの前段に可視光をカットするフィルタ５３ｂを有する。フィルタ５３ｂは、近赤外光を透過し、外光などの可視光の成分をカットする。これにより、画像取得部１１Ｄは、利用者にとって眩しくない照明光を採用し、かつ、明るく迷光によるノイズの少ない取得画像を得ることが可能となる。

図２０は、セルフチェックアウト端末１Ｄにおける画像取得部１１Ｄ´の第２の構成例を示す図である。
図２０に示す第２の構成例の画像取得部１１Ｄ´は、図１９に示す画像取得部１１Ｄと同様に、スキャン位置を副走査方向に走査することにより撮影範囲の画像を取得する。画像取得部１１Ｄ´は、第１キャリッジ７１と第２キャリッジ７２とを有する。第１キャリッジ７１は、照明５１と第１ミラー７３とを搭載する。第２キャリッジ７２は、第２ミラー７４及び第３ミラー７５を搭載する。第１乃至第３ミラー７３−７５は、スキャン位置からの光を撮像部５３へ導く光学系を形成する。第１キャリッジ７１は、移動機構５２により副走査方向に移動する。第２キャリッジ７２は、第１キャリッジ７１の１／２の速度で第１キャリッジと同方向に移動する。第１乃至第３ミラー７３−７５により形成されるスキャン位置から撮像部５３までの光路は一定に保たれる。つまり、画像取得部１１Ｄ´における光学系は、縮小光学系を形成する。

撮像部５３は、撮像素子５３ａとフィルタ５３ｂとレンズ群５３ｃとを有する。撮像素子５３ａは、光学系により入射されるスキャン位置からの光を主走査方向の１ライン分の画像情報として撮像する。撮像部５３は、例えば、撮像素子５３ａとしてＣＣＤラインイメージセンサを有する。レンズ群５３ｃは、第１乃至第３ミラー７３−７５によりスキャン位置から導かれた光を撮像素子５３ａへ入射させる。フィルタ５３ｂは、照明５１が照射する近赤外光以外の可視光をカットするフィルタである。これらの構成により、図２０に示す撮像部５３は、明るくノイズの少ない取得画像を得ることが可能となる。

上記のような第４実施形態に係るセルフチェックアウト端末は、一次元ラインイメージセンサからなる撮像素子を有する撮像部とスキャン位置を副走査方向に走査させる機構とを含む画像取得部を有する。これにより、第４実施形態に係るセルフチェックアウト端末は、画像取得部を小型化できる。また、第４実施形態に係るセルフチェックアウト端末は、照明をスキャン位置に近い位置に配置できるため、照明の消費電力で低減できる。

なお、上述した各実施形態では、装置内のメモリにプロセッサが実行するプログラムが予め記憶されている場合で説明をした。しかし、プロセッサが実行するプログラムは、ネットワークから装置にダウンロードしても良いし、記憶媒体から装置にインストールしてもよい。記憶媒体としては、ＣＤ−ＲＯＭ等のプログラムを記憶でき、かつ装置が読み取り可能な記憶媒体であれば良い。また、予めインストールやダウンロードにより得る機能は、装置内部のＯＳ（オペレーティング・システム）等と協働して実現させるものであってもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１（１Ａ、１Ｂ、１Ｃ、１Ｄ）…セルフチェックアウト端末（チェックアウト装置、決済装置）、１１（１１Ａ、１１Ｄ）…画像取得部、１２…商品識別部、１３…決済処理部、１５…表示部、１６…操作部、１７…入力部、１８…撮像部、２１…スクリーン、２５…ディスプレイ、２６…タッチスクリーン、２７…カード処理部、３１…照明、３２…カメラ、３２ａ…撮像素子、３２ｂ…フィルタ、３２ｃ…レンズ群、３３…プロセッサ、３６ａ…商品情報データベース、３７…通信部、４０…反射体、４１…カメラ、４２…指紋センサ、５１…照明、５２…移動機構、５３…撮像部。

Claims (5)

1. 光を透過するスクリーンと、
   前記スクリーンを通して商品の画像を取得する撮像部と、
   前記撮像部が取得した画像から決済対象の全ての商品を識別し、識別した各商品を決済するための情報を取得する商品識別部と、
   前記商品識別部が識別した各商品の決済処理を行う決済処理部と、
   を有するチェックアウト装置。
2. さらに、前記スクリーンの一方の面側からスクリーンに向けて照射する照明光として近赤外光を発光する照明を有し、
   前記撮像部は、前記照明が発光する近赤外光に対して感度特性を有するイメージセンサを含む、
   請求項１に記載のチェックアウト装置。
3. 前記撮像部と前記スクリーンを挟んで前記スクリーンの他方の面側にある商品との間の光路上に設置した可視光成分をカットするフィルタを有する、
   請求項２に記載のチェックアウト装置。
4. 前記撮像部は、主走査方向の１ライン分の画像を取得する１次元イメージセンサを具備し、
   さらに、前記１次元イメージセンサが取得する位置を副走査方向に移動させる移動機構を有する、
   請求項１に記載のチェックアウト装置。
5. 前記商品識別部は、取得画像から各商品の画像領域を抽出し、各商品の画像領域から得られる画像特徴により商品を識別する、
   請求項１に記載のチェックアウト装置。