JP2023158300A - セルフレジ装置及びセルフレジシステム - Google Patents

Abstract

【課題】店頭における人員の削減と利用者の利便性の向上とを両立すること。【解決手段】利用者によって商品の登録及び決済が行われるセルフレジ装置であって、利用者の顔画像を取得する画像取得部と、顔画像に基づいて利用者の顔認証を行う顔認証部と、利用者によって登録される商品が年齢制限商品であるか否かを判断する商品登録部と、利用者によって登録される商品が年齢制限商品である場合、利用者が年齢制限対象者であるか否かを判定する年齢判定部と、を備え、年齢判定部は、顔画像に基づいて利用者の顔認証を行うことができる場合は、顔認証により特定される利用者の年齢情報に基づき、利用者が年齢制限対象者であるか否かを判定し、顔画像に基づいて利用者の顔認証を行うことができない場合は、顔画像を管理装置に送信し、管理装置から受信した判定結果に基づき利用者が年齢制限対象者であるか否かを判定する。【選択図】図１

Description

本発明は、店舗などで用いられるセルフレジ装置及びセルフレジシステムに関するものである。

近年、コンビニエンスストア又はスーパーマーケットなどの店舗において、利用者が購入する商品を自ら登録し、決済を行うセルフレジシステムの導入が進んでいる。セルフレジシステムを導入することで、店頭に店員を常駐させない店頭無人店舗とすることが可能となる。また、セルフレジシステムにおいて、決済処理を簡素化するため、利用者の顔認証を行って購入する商品の決済を行うシステムも提案されている（例えば特許文献１）。

特開２０２１－１７４３８１号公報

店舗などにおいて、酒類又は煙草などの年齢制限商品を購入する場合、利用者の年齢確認を行う必要がある。従来のセルフレジシステムにおいては、店員が利用者を目視して年齢確認が行われていた。この場合は、店頭に店員を常駐させる必要があり、店頭の人員を削減することができない。また、利用者が店員による年齢確認を待つ必要があり、利便性も損なわれてしまう。

一方、特許文献１に記載のシステムでは、顔認証によって利用者を特定し、特定した利用者の年齢情報に基づいて、利用者が年齢制限対象者であるか否かを判断することができるため、店員による確認は不要になる。しかしながら、利用者を特定する顔認証のために、事前の顔画像登録が必須となるため、自身の顔画像をサーバに登録するということに高い心理的抵抗を覚える利用者は、店舗において年齢制限商品を購入できず、利便性が損なわれてしまう。

本発明は、上記のような課題を解決するものであり、店頭における人員の削減と利用者の利便性の向上とを両立することができるセルフレジ装置及びセルフレジシステムを提供することを目的としている。

本発明に係るセルフレジ装置は、利用者によって商品の登録及び決済が行われるセルフレジ装置であって、利用者の顔画像を取得する画像取得部と、顔画像に基づいて利用者の顔認証を行う顔認証部と、利用者によって登録される商品が年齢制限商品であるか否かを判断する商品登録部と、利用者によって登録される商品が年齢制限商品である場合、利用者が年齢制限対象者であるか否かを判定する年齢判定部と、を備え、年齢判定部は、顔画像に基づいて利用者の顔認証を行うことができる場合は、顔認証により特定される利用者の年齢情報に基づき、利用者が年齢制限対象者であるか否かを判定し、顔画像に基づいて利用者の顔認証を行うことができない場合は、顔画像を管理装置に送信し、管理装置から受信した判定結果に基づき利用者が年齢制限対象者であるか否かを判定する。

本発明に係る別のセルフレジ装置は、利用者によって商品の登録及び決済が行われるセルフレジ装置であって、利用者の顔画像を取得する画像取得部と、顔画像に基づいて利用者の顔認証を行う顔認証部と、利用者によって登録される商品が年齢制限商品であるか否かを判断する商品登録部と、利用者によって登録される商品が年齢制限商品である場合、利用者が年齢制限対象者であるか否かを判定する年齢判定部と、を備え、年齢判定部は、顔画像に基づいて利用者の顔認証を行うことができる場合は、顔認証により特定される利用者の年齢情報に基づき、利用者が年齢制限対象者であるか否かを判定し、顔画像に基づいて利用者の顔認証を行うことができない場合は、学習済みモデルを用いて顔画像から利用者の年齢を推定し、利用者が年齢制限対象者であるか否かを判定する。

本発明に係るセルフレジシステムは、上記何れかのセルフレジ装置と、利用者の顔画像を撮影する撮影装置と、管理装置と、を備え、管理装置は、セルフレジ装置から受信した顔画像を表示する表示装置と、管理者が利用者の年齢の判定結果を入力するための操作装置と、判定結果をセルフレジ装置に送信する通信装置と、を備える。

本発明では、顔認証を行うことができる場合は、顔認証により特定される利用者の年齢情報に基づき年齢判定が行われ、顔認証を行うことができない場合は、管理装置から受信した判定結果又は学習済みモデルを用いて推定した年齢に基づき年齢判定が行われる。これにより、店頭における人員の削減と利用者の利便性の向上とを両立することができる。

実施の形態１に係るセルフレジシステムの概略構成図である。 実施の形態１に係るセルフレジシステムの制御ブロック図である。 利用者の顔画像が登録されている場合のセルフレジ装置の動作を示すフローチャートである。 利用者の顔画像が登録されていない場合のセルフレジ装置の動作を示すフローチャートである。 実施の形態２に係るセルフレジ装置の動作を示すフローチャートである。 実施の形態３に係るセルフレジ装置の動作を示すフローチャートである。

以下、図面を参照して、本発明の実施の形態のセルフレジ装置１及びセルフレジシステム１００について説明する。なお、各図中、同一又は相当する部分には、同一符号を付して、その説明を適宜省略又は簡略化する。また、各図に記載の構成について、その形状、大きさ及び配置等は、本発明の範囲内で適宜変更することができる。

実施の形態１．
図１は、実施の形態１に係るセルフレジシステム１００の概略構成図である。本実施の形態のセルフレジシステム１００は、コンビニエンスストア又はスーパーマーケットなどの店舗において用いられるものである。図１に示すように、セルフレジシステム１００は、セルフレジ装置１と、撮影装置２と、管理装置３と、顔認証サーバ４と、管理サーバ５とからなる。

セルフレジ装置１と撮影装置２とは、ＵＳＢケーブル又はＢｌｕｅｔｏｏｔｈ（登録商標）により、有線又は無線通信可能に接続されている。セルフレジ装置１と、管理装置３と、顔認証サーバ４と、管理サーバ５とは、ＷＡＮ又はインターネットなどのネットワーク２００を介して通信可能に接続されている。

セルフレジ装置１及び撮影装置２は、店舗の店頭に設置され、管理装置３は店舗のバックヤードに設けられている。セルフレジ装置１は、店舗に買い物に訪れた利用者が自ら商品の登録及び決済を行うために用いられるＰＯＳ端末である。撮影装置２は、セルフレジ装置１を操作する利用者の顔画像を撮影し、セルフレジ装置１に送信する。管理装置３は、店舗の管理者による店舗の監視、販売管理又は在庫管理などに用いられる。なお、図１では１組のセルフレジ装置１及び撮影装置２が示されているが、セルフレジ装置１及び撮影装置２は、複数設けられてもよい。

顔認証サーバ４及び管理サーバ５は、例えばクラウド上の仮想サーバである。顔認証サーバ４は、登録された利用者の顔画像を保存し、顔画像に基づき利用者の特定を行う。管理サーバ５は、登録された利用者の識別番号及び年齢情報などを含む利用者情報、及び店舗における商品情報を管理する。

図２は、実施の形態１に係るセルフレジシステム１００の制御ブロック図である。図２に示すように、セルフレジ装置１は、制御装置１１と、表示装置１２と、操作装置１３と、読取装置１４と、印刷装置１５と、決済装置１６と、通信装置１７と、を備えている。

制御装置１１は、セルフレジ装置１の各装置を制御する。制御装置１１は、例えばＣＰＵなどのプロセッサと、メモリとを備えている。制御装置１１は、画像取得部１１１と、顔認証部１１２と、年齢判定部１１３と、商品登録部１１４と、決済処理部１１５と、表示制御部１１６とを有している。制御装置１１の各部は、プロセッサがメモリに記憶されるプログラムを実行することで実現される機能部である。なお、制御装置１１の各部の少なくとも何れかを、ＡＳＩＣ又はＦＰＧＡなどの処理回路で実現してもよい。

画像取得部１１１は、撮影装置２に画像取得指示を行い、撮影装置２にて撮影された利用者の顔画像を取得する。画像取得部１１１は、取得した顔画像を顔認証部１１２又は年齢判定部１１３に出力する。

顔認証部１１２は、画像取得部１１１によって取得された顔画像を顔認証サーバ４に送信し、顔認証サーバ４から顔認証結果を受信する。利用者の顔画像が顔認証サーバ４に登録されている場合、顔認証サーバ４から、顔認証結果として利用者の識別番号を受信する。一方、利用者の顔画像が顔認証サーバ４に登録されていない場合、顔認証サーバ４から、顔認証結果として顔画像が登録されていないことを示すエラー通知を受信する。顔認証部１１２は、顔認証サーバ４から受信した顔認証結果を年齢判定部１１３及び決済処理部１１５に出力する。

年齢判定部１１３は、利用者が年齢制限対象者であるか否かを判定する。具体的には、顔認証部１１２から顔認証結果を受信した場合であって、顔認証結果が利用者の識別番号である場合、年齢判定部１１３は、利用者の識別番号を管理サーバ５に送信し、管理サーバ５から識別番号に対応する利用者情報を受信する。そして、年齢判定部１１３は、管理サーバ５から受信した利用者情報に含まれる年齢情報に基づき、利用者が年齢制限対象者であるか否かを判定する。

また、顔認証部１１２から顔認証結果を受信した場合であって、顔認証結果がエラー通知である場合、又は顔認証部１１２から顔認証結果を受信していない場合、年齢判定部１１３は、画像取得部１１１により取得された利用者の顔画像を管理装置３に送信する。そして、年齢判定部１１３は、管理装置３から利用者が年齢制限対象者であるか否かの判定結果を受信し、受信した判定結果を自身の判定結果とする。

商品登録部１１４は、読取装置１４によって読み取られた商品を購入された商品として登録して精算する。また、商品登録部１１４は、読取装置１４によって読み取られた商品が、年齢制限商品であるか否かを判定する。年齢制限商品は、例えば酒類及び煙草である。商品登録部１１４は、読取装置１４によって読み取られた商品が、年齢制限商品である場合、その旨を表示制御部１１６及び年齢判定部１１３に通知する。

決済処理部１１５は、商品登録部１１４によって登録された商品の決済処理を行う。本実施の形態のセルフレジ装置１では、顔認証、現金、プリペイドカード、クレジットカード、電子マネー、又はバーコードによる決済が可能となっている。決済処理部１１５は、利用者により顔認証による決済が選択された場合であって、顔認証結果が利用者の識別番号である場合、利用者の識別番号を管理サーバ５に送信し、管理サーバ５から識別番号に対応する利用者情報を受信する。そして、決済処理部１１５は、管理サーバ５から受信した利用者情報に含まれる決済情報（例えばクレジットカード番号）に基づき、決済処理を行う。また、決済処理部１１５は、利用者により現金、プリペイドカード、クレジットカード、電子マネー、又はバーコードによる決済が選択された場合は、決済装置１６への入力に対して決済処理を行う。

表示制御部１１６は、表示装置１２を制御して、読取装置１４によって読み取られた商品の情報、後述する初期画面、注意喚起画面、確認画面、及びエラー画面等を表示させる。

表示装置１２は、例えば液晶ディスプレイであり、登録される商品の情報、商品の精算に関する情報、初期画面、注意喚起画面、確認画面、及びエラー画面等を表示する。

操作装置１３は、例えば表示装置１２と一体に形成されたタッチパネルである。操作装置１３は、利用者によって操作され、支払いの指示、決済方法の選択、又は年齢確認の選択などが入力される。

読取装置１４は、レーザ走査線を商品に照射して、商品に付されたバーコードを読み取る装置である。読取装置１４は、固定されたスキャナ又はハンディスキャナ、もしくはその両方である。読取装置１４に読み取られた商品の情報は、制御装置１１に送信される。

印刷装置１５は、決済処理部１１５による決済が終了した場合、利用者が購入した商品名、商品の売価、預かり金額及び釣銭金額などの情報が記載されたレシートを印刷して出力する。

決済装置１６は、カードリーダ、バーコードリーダ、釣札機及び釣銭機を含むものであり、現金、クレジットカード、プリペイドカード、電子マネー、又はバーコードによる支払いを受け付け、必要に応じて釣銭を出力する。

通信装置１７は、ネットワーク２００を介して管理装置３、顔認証サーバ４、及び管理サーバ５とデータの送受信を行うネットワークインターフェースである。通信装置１７の通信手段は、有線又は無線の何れであってもよい。通信装置１７は、管理装置３及び顔認証サーバ４に利用者の顔画像を送信し、管理サーバ５に利用者の識別番号を送信する。また、通信装置１７は、管理装置３から年齢判定結果を受信し、顔認証サーバ４から顔認証結果を受信し、管理サーバ５から利用者情報を受信する。

撮影装置２は、セルフレジ装置１に隣接して設置され、セルフレジ装置１を操作する利用者の顔画像を撮影するカメラである。なお、撮影装置２は、カメラ機能を有するスマートフォン又はタブレットであってもよい。撮影装置２によって撮影された画像は、セルフレジ装置１に送信される。撮影装置２によって撮影される画像は、静止画及び動画の何れであってもよい。

管理装置３は、店舗の管理者（店員）が使用するパーソナルコンピュータ又はワークステーションなどである。図２に示すように、管理装置３は、制御装置３１と、表示装置３２と、操作装置３３と、通信装置３４とを備えている。

制御装置３１は、例えばＣＰＵなどのプロセッサと、メモリとを備えている。制御装置３１は、セルフレジ装置１から受信した顔画像を表示装置３２に表示させる。また、制御装置３１は、操作装置３３を介して入力された管理者による年齢判定結果をセルフレジ装置１に送信する。

表示装置３２は、例えば液晶ディスプレイである。表示装置３２は、セルフレジ装置１から送信された利用者の顔画像と、管理者によって選択される年齢判定ボタンとを含む画面を表示する。年齢判定ボタンは、例えば利用者が年齢制限対象者でない場合に選択される「ＯＫ」ボタンと、利用者が年齢制限対象者である場合に選択される「ＮＧ」ボタンとを含む。

操作装置３３は、例えばマウス又はキーボードである。操作装置３３は、管理者による年齢判定の際に操作される。管理者は、表示装置３２に表示された利用者の顔画像を目視で確認し、操作装置３３を操作して「ＯＫ」ボタン又は「ＮＧ」ボタンの何れかを選択する。

通信装置３４は、ネットワーク２００を介してセルフレジ装置１とデータの送受信を行うネットワークインターフェースである。通信装置３４の通信手段は、有線又は無線の何れであってもよい。通信装置３４は、セルフレジ装置１から利用者の顔画像を受信する。また通信装置３４は、管理者による年齢判定結果をセルフレジ装置１に送信する。

顔認証サーバ４は、セルフレジ装置１から受信した顔画像に対して顔認証を行い、顔認証結果をセルフレジ装置１に送信する。顔認証サーバ４は、制御装置４１と、通信装置４２と、顔情報データベース４３とを備えている。なお、図２においては「データベース」を「ＤＢ」と略記している。

制御装置４１は、例えばＣＰＵなどのプロセッサと、メモリとを備えている。制御装置４１は、セルフレジ装置１から受信した顔画像から顔領域を検出し、検出した顔領域から特徴点を抽出し、顔情報データベース４３に登録された顔情報に含まれる特徴点と照合して、顔画像に対応する利用者を特定する。制御装置４１は、セルフレジ装置１から受信した顔画像に対応する利用者が特定できた場合、顔認証結果として特定された利用者の識別番号をセルフレジ装置１に送信する。一方、セルフレジ装置１から受信した顔画像に対応する利用者が特定できなかった場合、制御装置４１は、顔認証結果として、エラー通知をセルフレジ装置１に送信する。

通信装置４２は、ネットワーク２００を介してセルフレジ装置１とデータの送受信を行うネットワークインターフェースである。通信装置４２の通信手段は、有線又は無線の何れであってもよい。通信装置４２は、セルフレジ装置１から顔画像を受信し、顔認証結果をセルフレジ装置１に送信する。

顔情報データベース４３は、登録された利用者の識別番号と、顔画像とを記憶する記憶装置である。本実施の形態においては、顔認証での決済を希望する利用者によって、識別番号と顔画像とが予め入力され、顔情報データベース４３に登録される。顔情報データベース４３に記憶される利用者の識別番号は、管理サーバ５に記憶される利用情報の識別番号と同じである。

管理サーバ５は、店舗を利用する利用者の利用者情報と、店舗の商品に関する情報とを管理する。管理サーバ５は、制御装置５１と、通信装置５２と、利用者情報データベース５３とを備えている。なお、管理サーバ５は、商品情報データベース等をさらに備えてもよい。

制御装置５１は、例えばＣＰＵなどのプロセッサと、メモリとを備えている。制御装置５１は、セルフレジ装置１から受信した識別番号に対応する利用者情報を利用者情報データベース５３から抽出し、セルフレジ装置１に送信する。

通信装置５２は、ネットワーク２００を介してセルフレジ装置１とデータの送受信を行うネットワークインターフェースである。通信装置５２の通信手段は、有線又は無線の何れであってもよい。通信装置５２は、セルフレジ装置１から利用者の識別番号を受信し、識別番号に対応する利用者情報をセルフレジ装置１に送信する。

利用者情報データベース５３は、店舗を利用する利用者の利用者情報を記憶する記憶装置である。利用者情報は、利用者の識別番号、名前、住所、年齢及び決済情報などを含む。利用者情報は、利用者によって予め入力され、利用者情報データベース５３に登録される。なお、利用者情報の入力の際には、身分証を合わせて入力又は確認することで、年齢の詐称等を抑制することができる。

続いて、図３及び図４を参照して、本実施の形態のセルフレジ装置１の動作について説明する。図３は、利用者の顔画像が登録されている場合のセルフレジ装置１の動作を示すフローチャートであり、図４は、利用者の顔画像が登録されていない場合のセルフレジ装置１の動作を示すフローチャートである。利用者の顔画像が登録されている場合は、言い換えると利用者の顔画像に基づいて顔認証を行うことができる場合であり、利用者の顔画像が登録されていない場合は、言い換えると利用者の顔画像に基づいて顔認証を行うことができない場合である。

まず、図３に示すように、制御装置１１の表示制御部１１６は、表示装置１２に初期画面を表示させる（Ｓ１）。初期画面は、セルフレジ装置１に商品を登録する前に表示される画面である。初期画面は、顔認証決済を行う際に操作される「顔認証決済」ボタンを含んでいる。

そして、顔認証部１１２は、顔認証決済が選択されたか否かを判断する（Ｓ２）。顔認証部１１２は、初期画面において「顔認証決済」ボタンが操作された場合、顔認証決済が選択されたと判断する。顔認証決済が選択された場合（Ｓ２：ＹＥＳ）、撮影装置２によって利用者の顔画像が撮影され、画像取得部１１１によって顔画像が取得される（Ｓ３）。

そして、顔認証部１１２は、利用者の顔認証が行われたか否かを判断する（Ｓ４）。顔認証部１１２は、画像取得部１１１によって取得された利用者の顔画像を顔認証サーバ４に送信する。利用者の顔画像が顔認証サーバ４にて登録されている場合、顔認証サーバ４から顔画像に対応する利用者の識別番号が送信される。顔認証部１１２は、顔認証サーバ４から識別番号を受信した場合、利用者の顔認証が行われたと判断する。

顔認証が行われたと判断された場合（Ｓ４：ＹＥＳ）、商品登録部１１４は、商品の登録を行う（Ｓ５）。ここでは、利用者が商品のバーコードを読取装置１４にかざすことで、読取装置１４によって商品のバーコードが読み取られ、商品登録部１１４によって商品が登録される。登録される商品の情報（商品名及び単価など）は、表示装置１２に表示される。また、このとき、表示装置１２には、商品の登録に終了の際に操作される「支払い」ボタンも表示される。

続いて、商品登録部１１４は、登録される商品が年齢制限商品であるか否かを判断する（Ｓ６）。登録される商品が年齢制限商品でない場合（Ｓ６：ＮＯ）、商品の登録が終了するまで、商品の登録が継続される。一方、登録される商品が年齢制限商品である場合（Ｓ６：ＹＥＳ）、表示制御部１１６は、表示装置１２に注意喚起画面を表示させる（Ｓ７）。注意喚起画面は、例えば「未成年の飲酒、喫煙は法律で禁止されています」などのメッセージを含む画面である。

そして、年齢判定部１１３は、利用者が年齢制限対象者であるか否かを判定する（Ｓ８）。ここでは、年齢判定部１１３は、顔認証サーバ４から受信した利用者の識別番号を管理サーバ５に送信し、管理サーバ５から受信した利用者情報に含まれる年齢情報に基づき、利用者が年齢制限対象者であるか否かを判定する。年齢判定部１１３は、利用者の年齢が対象年齢（例えば２０歳）以上である場合は、利用者が年齢制限対象者でないと判断し、利用者の年齢が対象年齢未満である場合は、利用者が年齢制限対象者であると判定する。

年齢判定部１１３により、利用者が年齢制限対象者ではないと判定された場合（Ｓ８：ＮＯ）、商品登録部１１４は、年齢制限商品を購入される商品として登録し、登録が終了したか否かを判定する（Ｓ９）。商品登録部１１４は、操作装置１３を介して表示装置１２に表示された「支払い」ボタンが操作された場合に、登録が終了したと判断する。商品の登録が終了しない場合（Ｓ９：ＮＯ）、ステップＳ５に戻って、引き続き商品の登録が行われる。

なお、２回目以降、ステップＳ６において年齢制限対象商品であると判断された場合、年齢判定部１１３は、ステップＳ８の処理を簡素化することができる。具体的には、年齢判定部１１３は、利用者の顔画像を顔認証サーバ４に送信することなく、前回の判定結果を用いて利用者が年齢制限対象者であるか否かを判定する。

そして、商品の登録が終了した場合（Ｓ９：ＹＥＳ）、すなわち「支払い」ボタンが操作された場合、商品登録部１１４によって購入される商品の精算が行われ、決済処理部１１５による決済処理が行われる（Ｓ１０）。決済処理部１１５は、顔認証により特定された利用者の識別番号を管理サーバ５に送信し、管理サーバ５から受信した利用者情報に含まれる決済情報を用いて決済を行う。

一方、年齢判定部１１３により、利用者が年齢制限対象者であると判定された場合（Ｓ８：ＹＥＳ）、エラー処理が行われる（Ｓ１１）。エラー処理では、商品登録部１１４は、年齢制限商品を購入される商品として登録しない。また、表示制御部１１６は、表示装置１２にエラー画面を表示させる。エラー画面は、年齢制限商品の購入が不可であること、及び年齢制限商品を所定の位置に戻すことを通知するメッセージを含む画面である。エラー処理の後は、ステップＳ９に進み、以降の処理を実行する。

一方、ステップＳ２において顔認証決済が選択されていない場合（Ｓ２：ＮＯ）、又はステップＳ４において顔認証が行われなかった場合（Ｓ４：ＮＯ）、制御装置１１は、図４に示す顔画像が登録されていない場合の動作を実行する。

顔画像が登録されていない場合、顔認証を行うことなく、商品登録部１１４による商品の登録が行われる（Ｓ２１）。そして、商品登録部１１４は、登録される商品が年齢制限商品であるか否かを判断する（Ｓ２２）。登録される商品が年齢制限商品でない場合（Ｓ２２：ＮＯ）、商品の登録が終了するまで、商品の登録が継続される。一方、登録される商品が年齢制限商品である場合（Ｓ２２：ＹＥＳ）、表示制御部１１６は、表示装置１２に、利用者が対象年齢以上であるか否かを確認するための確認画面を表示させる（Ｓ２３）。確認画面は、例えば「２０歳以上ですか？」とのメッセージと、「はい」、「いいえ」のボタンを含む画面である。

確認画面において、「はい」が選択された場合、すなわち利用者が対象年齢以上である場合（Ｓ２４：ＹＥＳ）、年齢判定部１１３は、管理装置３に年齢確認を指示する通知を送信する（Ｓ２５）。そして、撮影装置２によって利用者の顔画像が撮影され、画像取得部１１１によって顔画像が取得される。そして、年齢判定部１１３は、画像取得部１１１によって取得された顔画像を管理装置３に送信する（Ｓ２６）。セルフレジ装置１から送信された顔画像は、管理装置３の表示装置３２に表示される。管理者は、表示装置３２に表示された利用者の顔画像を目視し、年齢制限対象者か否かを判定する。そして、管理者は、操作装置３３を操作して判定結果を入力する。入力された判定結果は、通信装置３４からセルフレジ装置１に送信される。

年齢判定部１１３は、管理装置３から受信した判定結果に基づき、利用者が年齢制限対象者であるか否かを判定する（Ｓ２７）。利用者が年齢制限対象者でない場合、すなわち管理者によって年齢制限対象者でないと判定された場合（Ｓ２７：ＮＯ）、商品登録部１１４は、年齢制限商品を購入される商品として登録し、登録が終了したか否かを判断する（Ｓ２８）。ここでは、操作装置１３を介して表示装置１２に表示された「支払い」ボタンが押された場合に、登録が終了したと判断する。商品の登録が終了しない場合（Ｓ２８：ＮＯ）、ステップＳ２１に戻って、引き続き商品の登録が行われる。

なお、２回目以降、ステップＳ２２において年齢制限対象商品であると判断された場合、ステップＳ２５及びＳ２６の処理を省略し、ステップＳ２７の処理を簡素化することができる。具体的には、年齢判定部１１３は、利用者の顔画像の取得及び管理装置３への送信を行うことなく、前回の判定結果を用いて利用者が年齢制限対象者であるか否かを判定する。

そして、商品の登録が終了した場合（Ｓ２８：ＹＥＳ）、すなわち「支払い」ボタンが押された場合、商品登録部１１４によって購入される商品の精算が行われ、決済処理部１１５により決済処理が行われる（Ｓ２９）。ここでは、決済装置１６に入力された現金、クレジットカード、プリペイドカード、電子マネー、又はバーコードの情報に基づいて決済処理が行われる。

一方、年齢判定部１１３により、利用者が年齢制限対象者であると判定された場合（Ｓ２７：ＹＥＳ）、又は利用者が対象年齢未満である場合（Ｓ２４：ＮＯ）、エラー処理が行われる（Ｓ３０）。エラー処理では、顔画像の登録がある場合と同様に、商品登録部１１４は、年齢制限商品を購入される商品として登録しない。また、表示制御部１１６は、表示装置１２にエラー画面を表示させる。エラー画面は、年齢制限商品の購入が不可であること、及び年齢制限商品を所定の位置に戻すことを通知するメッセージを含む画面である。エラー処理の後は、ステップＳ２８に進み、以降の処理を実行する。

以上のように、本実施の形態のセルフレジシステム１００においては、利用者が顔画像を登録済みの場合、顔認証により利用者の年齢確認を行うことができるため、年齢確認のための人員を店頭に常駐させる必要がない。これにより、店舗の人員を削減することができる。また、利用者も、店員による年齢確認を待つこと又は年齢確認のための操作を行うことが不要となるため、利便性が向上する。また、利用者が顔画像を登録していない場合も、管理装置３を用いて利用者の年齢確認を行うことで、利用者が年齢制限商品を購入することができる。また、店頭から離れた場所から遠隔で年齢確認を行うことができるため、人員を店頭に常駐させる必要がなく、店舗の人員を削減することができる。従って、本実施の形態のセルフレジシステム１００によれば、店頭における人員の削減と利用者の利便性の向上とを両立することができる。

実施の形態２．
実施の形態２について説明する。実施の形態２のセルフレジシステム１００は、顔画像が登録されていない場合の利用者の年齢確認方法において、実施の形態１と相違する。実施の形態２のセルフレジシステム１００の構成及びその他の動作は、実施の形態１と同じである。

図５は、実施の形態２に係るセルフレジ装置１の動作を示すフローチャートである。図５に示すように、本実施の形態におけるステップＳ２１～Ｓ２４の処理は、実施の形態１と同じである。そして、確認画面において、「はい」が選択された場合、すなわち利用者が対象年齢以上である場合（Ｓ２４：ＹＥＳ）、撮影装置２によって利用者の顔画像が撮影され、画像取得部１１１によって撮影された顔画像が取得される（Ｓ２０５）。

そして、年齢判定部１１３は、利用者の顔画像に基づき、利用者の年齢を推定する（Ｓ２０６）。ここでは、年齢判定部１１３は、取得された利用者の顔画像を学習済みモデルに入力し、推定される年齢を出力として得る。ここで用いられる学習済みモデルは、ディープラーニングなどの機会学習されたモデルであり、顔画像から皮膚の色又はシワなどの特徴量を算出し、年齢を推定するものである。出力される年齢は、例えば３０歳～３５歳などの幅を有するものであってもよい。

そして、年齢判定部１１３は、推定した年齢に基づき、利用者が年齢制限対象者であるか否かを判断する（Ｓ２０７）。推定した年齢が幅を有する場合、年齢判定部１１３は、例えば推定した年齢幅の最小値に基づき、利用者が年齢制限対象者であるか否かを判断する。利用者が年齢制限対象者でない場合（Ｓ２０７：ＮＯ）、商品登録部１１４は、年齢制限商品を購入される商品として登録し、ステップＳ２８へ進む。一方、利用者が年齢制限対象者である場合（Ｓ２０７：ＹＥＳ）、商品登録部１１４は、年齢制限商品を購入される商品として登録せずに、ステップＳ３０へ進む。ステップＳ２８以降の処理は実施の形態１と同じである。

なお、２回目以降、ステップＳ２２において年齢制限対象商品であると判断された場合、ステップＳ２０５及びＳ２０６の処理を省略し、ステップＳ２０７の処理を簡素化することができる。具体的には、年齢判定部１１３は、利用者の顔画像の取得及び年齢の推定を行うことなく、前回の判定結果を用いて利用者が年齢制限対象者であるか否かを判定する。

以上のように、本実施の形態では、顔画像が登録されていない場合は、利用者の顔画像から年齢を推定して年齢確認を行うことができる。これにより、管理者による目視の年齢確認が不要となるため、店舗の人員をさらに削減することができ、無人店舗を実現することができる。なお、上記では、セルフレジ装置１の年齢判定部１１３において年齢推定を行うこととしたが、顔認証サーバ４又は別の装置において利用者の顔画像から年齢推定を行ってもよい。

実施の形態３．
実施の形態３について説明する。実施の形態３のセルフレジシステム１００は、顔画像が登録されていない場合の利用者の年齢確認方法において、実施の形態１と相違する。実施の形態３のセルフレジシステム１００の構成及びその他の動作は、実施の形態１と同じである。

図６は、実施の形態３に係るセルフレジ装置１の動作を示すフローチャートである。本実施の形態におけるステップＳ２１～Ｓ２７の処理は、実施の形態１と同じである。そして、利用者の顔画像に基づいて、利用者が年齢制限対象者であると判定された場合（Ｓ２７：ＹＥＳ）、表示制御部１１６は、年齢を確認できる身分証を撮影装置２に提示するよう依頼するメッセージを含む画面を表示装置１２に表示させる（Ｓ２１１）。

そして、撮影装置２によって身分証の画像が撮影され、画像取得部１１１によって身分証の画像が取得される。そして、年齢判定部１１３は、画像取得部１１１が取得した身分証の画像を管理装置３に送信する（Ｓ２１２）。セルフレジ装置１から送信された身分証の画像は、管理装置３の表示装置３２に表示される。管理者は、表示装置３２に表示された身分証の画像を目視し、身分証に記載された生年月日から、利用者が年齢制限対象者か否かを判定する。そして、管理者は、操作装置３３を操作して判定結果を入力する。入力された判定結果は、通信装置３４からセルフレジ装置１に送信される。

年齢判定部１１３は、管理装置３から受信した判定結果に基づき、利用者が年齢制限対象者であるか否かを判定する（Ｓ２１３）。利用者が年齢制限対象者でない場合、すなわち管理者によって年齢制限対象者でないと判定された場合（Ｓ２１３：ＮＯ）、実施の形態１と同じステップＳ２８に進み、以降の処理が実行される。一方、年齢判定部１１３により、利用者が年齢制限対象者であると判定された場合（Ｓ２１３：ＹＥＳ）、実施の形態１と同じステップＳ３０に進み、エラー処理が行われる。

なお、２回目以降、ステップＳ２２において年齢制限対象商品であると判断された場合は、ステップＳ２１１～Ｓ２１３の処理を省略する。２回目以降の場合は、年齢判定部１１３は、前回の判定結果を用いて利用者が年齢制限対象者であるか否かを判定できるためである。

以上のように、本実施の形態では、顔画像のみでは年齢確認が困難な場合も、身分証によって年齢確認を行うことができる。これにより、実際には年齢制限対象者でないにも関わらず、顔画像によって年齢制限対象者とされてしまうことを抑制でき、利用者の利便性が向上する。なお、本実施の形態においては、管理者が管理装置３に表示される身分証の画像を確認して年齢確認を行う構成としたが、これに限定されない。例えば、年齢判定部１１３において、身分証の画像に含まれる生年月日の文字及び数字を検出して解析し、年齢を推定してもよい。又は、管理者が店頭に行き、利用者の身分証を直接確認してもよい。

以上が本発明の実施の形態の説明であるが、上記の実施の形態は変形及び組み合わせることが可能である。例えば、セルフレジ装置１、管理装置３、顔認証サーバ４、及び管理サーバ５の各機能の全て又は一部を他の装置又はサーバが備えてもよい。具体例としては、セルフレジ装置１の制御装置１１の機能部の何れかを管理装置３又は管理サーバ５が備えてもよいし、管理サーバ５が顔認証サーバ４の機能を備えてもよい。もしくは、管理サーバ５又は顔認証サーバ４の機能をセルフレジ装置１又は管理装置３が備えてもよい。例えば、セルフレジ装置１又は管理装置３が顔情報データベース４３を備え、顔領域の検出、特徴点の抽出及び顔情報データベース４３との照合を行ってもよい。この場合は、顔認証サーバ４を省略することができる。もしくは、セルフレジ装置１又は管理装置３で、顔領域の検出及び特徴点の抽出までを行い、顔情報データベース４３を備える顔認証サーバ４又はその他の顔情報データベース４３をクラウド上で、照合を行ってもよい。

また、上記実施の形態では、管理装置３は、店舗のバックヤードに設置されるものとしたが、これに限定されるものではない。管理装置３は、セルフレジ装置１が設置された店舗から離れた管理センター等に設置されてもよい。また、顔認証サーバ４は、店舗に設置され、セルフレジ装置１と、管理装置３と、顔認証サーバ４とは、ＬＡＮを介して通信してもよい。

さらに、実施の形態２に、実施の形態１の管理者による目視の年齢確認、又は実施の形態３の身分証による年齢確認を組み合わせてもよい。例えば、学習済みモデルを用いて推定した年齢が、対象年齢を含む所定の範囲である場合、又は推定した年齢幅の確信度スコアが所定の閾値以下である場合、利用者の顔画像を管理装置３に送信し、管理者の目視により最終的な年齢確認を行ってもよい。又は、身分証の提示を要求し、身分証による最終的な年齢確認を行ってもよい。もしくは、目視及び身分証による確認の両方を行ってもよい。対象年齢を含む所定の範囲は、例えば対象年齢が２０歳の場合、１０～２０歳又は１５～２５歳等である。また、確信度スコアは、学習済みモデルを用いた推定結果の確からしさを示す指標であり、例えば０～１．０の数値で表される。所定の閾値は、例えば０．５である。

１ セルフレジ装置、２ 撮影装置、３ 管理装置、４ 顔認証サーバ、５ 管理サーバ、１１ 制御装置、１２ 表示装置、１３ 操作装置、１４ 読取装置、１５ 印刷装置、１６ 決済装置、１７ 通信装置、３１ 制御装置、３２ 表示装置、３３ 操作装置、３４ 通信装置、４１ 制御装置、４２ 通信装置、４３ 顔情報データベース、５１ 制御装置、５２ 通信装置、５３ 利用者情報データベース、１００ セルフレジシステム、１１１ 画像取得部、１１２ 顔認証部、１１３ 年齢判定部、１１４ 商品登録部、１１５ 決済処理部、１１６ 表示制御部、２００ ネットワーク。

Claims (5)

1. 利用者によって商品の登録及び決済が行われるセルフレジ装置であって、
   前記利用者の顔画像を取得する画像取得部と、
   前記顔画像に基づいて前記利用者の顔認証を行う顔認証部と、
   前記利用者によって登録される商品が年齢制限商品であるか否かを判断する商品登録部と、
   前記利用者によって登録される商品が前記年齢制限商品である場合、前記利用者が年齢制限対象者であるか否かを判定する年齢判定部と、を備え、
   前記年齢判定部は、
   前記顔画像に基づいて前記利用者の前記顔認証を行うことができる場合は、前記顔認証により特定される前記利用者の年齢情報に基づき、前記利用者が前記年齢制限対象者であるか否かを判定し、
   前記顔画像に基づいて前記利用者の前記顔認証を行うことができない場合は、前記顔画像を管理装置に送信し、前記管理装置から受信した判定結果に基づき前記利用者が前記年齢制限対象者であるか否かを判定するセルフレジ装置。
2. 利用者によって商品の登録及び決済が行われるセルフレジ装置であって、
   前記利用者の顔画像を取得する画像取得部と、
   前記顔画像に基づいて前記利用者の顔認証を行う顔認証部と、
   前記利用者によって登録される商品が年齢制限商品であるか否かを判断する商品登録部と、
   前記利用者によって登録される商品が前記年齢制限商品である場合、前記利用者が年齢制限対象者であるか否かを判定する年齢判定部と、を備え、
   前記年齢判定部は、
   前記顔画像に基づいて前記利用者の前記顔認証を行うことができる場合は、前記顔認証により特定される前記利用者の年齢情報に基づき、前記利用者が前記年齢制限対象者であるか否かを判定し、
   前記顔画像に基づいて前記利用者の前記顔認証を行うことができない場合は、学習済みモデルを用いて前記顔画像から前記利用者の年齢を推定し、前記利用者が前記年齢制限対象者であるか否かを判定するセルフレジ装置。
3. 前記顔画像に基づいて前記利用者の前記顔認証を行うことができない場合であって、前記年齢判定部によって、前記利用者が前記年齢制限対象者であると判定された場合、
   前記画像取得部は、前記利用者の身分証の画像を取得し、
   前記年齢判定部は、前記身分証の画像を管理装置に送信し、前記管理装置から受信した判定結果に基づき前記利用者が前記年齢制限対象者であるか否かを判定する請求項１又は２に記載のセルフレジ装置。
4. 前記年齢判定部は、推定した前記利用者の年齢が年齢制限の対象年齢を含む所定の年齢幅である場合、又は推定した前記利用者の年齢幅の確信度スコアが所定の閾値以下である場合、前記顔画像を管理装置に送信し、前記管理装置から受信した判定結果に基づき前記利用者が前記年齢制限対象者であるか否かを判定する請求項２に記載のセルフレジ装置。
5. 請求項１に記載のセルフレジ装置と、
   前記利用者の前記顔画像を撮影する撮影装置と、
   前記管理装置と、を備え、
   前記管理装置は、
   前記セルフレジ装置から受信した前記顔画像を表示する表示装置と、
   管理者が前記利用者の年齢の前記判定結果を入力するための操作装置と、
   前記判定結果を前記セルフレジ装置に送信する通信装置と、を備えるセルフレジシステム。

Images