JP2023166150A - 情報処理装置、およびプログラム - Google Patents

Abstract

【課題】本発明が解決しようとする課題は、顧客が意図しない商品登録を抑制することが可能な情報処理装置、およびプログラムを提供することである。【解決手段】実施形態の情報処理装置は、店舗内を移動する顧客によって操作される情報処理装置であって、商品を識別する商品識別情報を取得する第１取得部と、顧客の画像である顧客画像を取得する第２取得部と、前記第１取得部が取得した商品識別情報で識別される商品の商品情報を取引対象として登録する登録部と、前記第２取得部が取得した顧客画像に基づいて、前記登録部による登録を許可するか否か判定する判定部と、を備える。【選択図】図６

Description

本発明の実施形態は、情報処理装置、およびプログラムに関する。

従来、スーパーマーケット等の店舗において、スマートフォンやタブレット端末などの携帯端末を用いて顧客自身の操作により購入する商品の商品登録を行う精算システムが知られている（例えば、特許文献１）。

この精算システムでは、顧客は、売場において購入しようとする商品を手に取り、当該商品に付されたバーコードをスキャナによってスキャンする。携帯端末は、スキャンにより読み取った商品コードに基づいて商品登録を行う。

顧客は、購入しようとする商品全てについて商品登録が完了すると、会計装置が設置された会計エリアに移動する。携帯端末は、顧客の操作に基づいて、商品登録された情報を含む会計情報を会計装置に送信する。会計装置は、受信した会計情報に基づいて、顧客の購入代金の決済を含む会計処理を実行する。上記従来の精算システムでは、決済を行う会計装置で商品登録が行われないため、会計装置での処理が短時間で済み、いわゆるレジ待ち時間を短縮することができる。

しかしながら、上記従来技術では、商品登録に不慣れな顧客が売場内を移動しながら商品登録を行うため、顧客が意図しない商品登録が行われてしまう可能性がある。例えば、スキャナによるスキャンが可能な状態で顧客が売場内を移動している際に、商品陳列棚に陳列されている商品に付されたバーコードをスキャンしてしまうことがある。

本発明が解決しようとする課題は、顧客が意図しない商品登録を抑制することが可能な情報処理装置、およびプログラムを提供することである。

実施形態の情報処理装置は、店舗内を移動する顧客によって操作される情報処理装置であって、商品を識別する商品識別情報を取得する第１取得部と、顧客の画像である顧客画像を取得する第２取得部と、前記第１取得部が取得した商品識別情報で識別される商品の商品情報を取引対象として登録する登録部と、前記第２取得部が取得した顧客画像に基づいて、前記登録部による登録を許可するか否か判定する判定部と、を備える。

図１は、第１の実施形態の携帯端末を含む会計システムの概略を示す図である。 図２は、第１の実施形態の携帯端末の主たるハードウェア構成を示すブロック図である。 図３は、第１の実施形態の携帯端末に記憶される商品情報部のデータ構成を示す図である。 図４は、第１の実施形態の携帯端末の表示部による表示の一例を示す図である。 図５は、第１の実施形態の携帯端末の制御部の主たる機能構成を示すブロック図である。 図６は、第１の実施形態の携帯端末の制御部による登録処理の流れを示すフローチャートである。 図７は、第２の実施形態の携帯端末に記憶される商品情報部のデータ構成を示す図である。 図８は、第２の実施形態の携帯端末の制御部による登録処理の流れを示すフローチャートである。

以下、図面を参照して実施形態の情報処理装置、およびプログラムについて説明する。なお、以下に説明する各実施形態によりこの発明が限定されるものではない。例えば、以下に説明する各実施形態では、情報処理装置を顧客が所有するスマートフォンなどの携帯端末とした例について説明するが、情報処理装置は店舗が用意したタブレット端末などの携帯端末としてもよい。

また、以下に説明する各実施形態では、携帯端末が、商品コードを認識するための商品画像を撮像する第１撮像部と、当該商品画像を撮像している顧客の画像である顧客画像を撮像する第２の撮像部とを備えた例について説明するが、これに限らない。携帯端末は、第１撮像部および第２撮像部を備えずに、例えばショッピングカートに設けられたカメラなどの外部装置から上記商品画像および顧客画像を取得してもよい。

（第１の実施形態）
以下、第１の実施形態の情報処理装置、およびプログラムについて説明する。図１は、会計システム１００の概略を示す図である。本実施形態の会計システム１００は、例えば、スーパーマーケットなど商品を販売する店舗に適用される。

会計システム１００は、携帯端末１と、会計装置２と、サーバ装置３と、を有する。会計装置２とサーバ装置３とは、ＬＡＮ（Local Area Network）等のネットワークＮを介して互いに通信可能に接続されている。携帯端末１は、無線ＬＡＮ等を介して会計装置２およびサーバ装置３に通信可能に接続される。

携帯端末１は、例えば顧客Ｃが所有するスマートフォンで構成される。携帯端末１には買物用アプリケーションプログラム（以下、「買物アプリ」ともいう）がインストールされている。携帯端末１は、店舗内で買物アプリを動作させることによって、店舗の無線ＬＡＮに接続可能となり、店舗で買物をするための処理等を行うことができる。携帯端末１は、情報処理装置の一例である。

例えば、携帯端末１は、顧客Ｃの操作によって商品に付されたバーコード等のコードシンボル（以下、「商品バーコード」ともいう）を撮像し、当該商品バーコードが示す商品コードを読取る。商品コードは、商品を識別する情報であり、商品識別情報の一例である。また、商品バーコードを撮像した画像は、商品識別情報を認識するための商品画像の一例である。なお、携帯端末１は、一般物体認識（オブジェクト認識）により商品コードを読取ってもよく、この場合、商品の外観を撮像した画像が商品識別情報を認識するための商品画像となる。

携帯端末１は、読取った商品コードが取引対象であると判定すると、当該商品コードに基づいて商品登録を行う。ここで、商品登録とは、取引対象であると判定された商品コードに基づいて、商品情報（商品名、価格等）を取得して記憶部に登録（記憶）することである。携帯端末１は、商品登録装置として機能する。

携帯端末１は、商品バーコードを撮像している顧客Ｃの画像（以下、「顧客画像」ともいう）を撮像し、当該顧客画像に基づいて、読取った商品コードが取引対象か否か判定する。言い換えれば、携帯端末１は、商品コードを読取った場合に、顧客画像に基づいて、当該商品コードで識別される商品の商品登録を許可するか否か判定する。

例えば、商品バーコードを撮像している顧客Ｃが撮像中の商品バーコードを表示する画面を目視している場合、当該顧客Ｃが意識的に商品コードを読取っていると判断して、当該商品コードに基づく商品登録を許可する。反対に、商品バーコードを撮像している顧客Ｃが、撮像中の商品バーコードを表示する画面を目視していない場合、当該顧客Ｃが意図しない商品コードの読取りであると判断して、当該商品コードに基づく商品登録を許可しない。

これにより、顧客Ｃとともに売場を移動する携帯端末１によって、顧客Ｃが購入しようとしていない商品を不用意に商品登録してしまうことを抑制する。例えば、商品陳列棚に陳列された商品の商品バーコードを読取ってしまい、意図しない商品登録が行われることを抑制することができる。なお、商品バーコードを撮像している顧客Ｃが撮像中の商品バーコードを表示する画面を目視しているか否かの判断は、公知の画像処理技術を用いて顧客画像を分析することによってなされる。

会計装置２は、店舗内の会計エリアに複数台設置される。これら会計装置２は、例えば顧客Ｃが自身で購入代金の支払いに係る操作を行う、いわゆるセルフ式の会計装置である。会計装置２は、携帯端末１から受信した会計情報（商品登録された情報を含む）に基づいて、現金決済、あるいはクレジット決済などのキャッシュレス決済による支払に係る会計処理を実行する。会計処理とは、顧客Ｃが購入する商品の代金の支払を行うために会計装置２が実行する処理である。なお、会計装置２は、店員が操作するＰＯＳ（Point Of Sales）端末であってもよい。また、携帯端末１がクレジット決済などによる会計処理機能を備えていてもよく、この場合、会計装置２は設けられていなくてもよい。

サーバ装置３は、店舗の情報を管理する店舗サーバとして機能する。サーバ装置３は、各会計装置２から、会計処理にて決済された商品の商品情報や決済方法等に関する決済情報を受信して、店舗の売上情報を管理する。また、サーバ装置３は、商品コードと商品情報とを対応付けた商品マスタを記憶する。サーバ装置３は、携帯端末１に商品マスタを適宜送信する。

次に、携帯端末１の構成、機能について詳細に説明する。図２は、携帯端末１の主たるハードウェア構成を示すブロック図である。携帯端末１は、制御部１０と、表示部１１と、操作部１２と、アウトカメラ１３と、インカメラ１４と、通信部１５と、記憶部１６と、を備えている。制御部１０、表示部１１、操作部１２、アウトカメラ１３、インカメラ１４、通信部１５、および記憶部１６は、バス１７等を介して互いに接続されている。

制御部１０は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３を備えたコンピュータ構成となっている。ＣＰＵ１０１、ＲＯＭ１０２、およびＲＡＭ１０３は、バス１７を介して互いに接続されている。

ＣＰＵ１０１は携帯端末１の全体の動作を制御する。ＲＯＭ１０２は、ＣＰＵ１０１の駆動に用いられるプログラムなどの各種プログラムや各種データを記憶する。ＲＡＭ１０３は、ＣＰＵ１０１のワークエリアとして使用され、ＲＯＭ１０２や記憶部１６に記憶された各種プログラムや各種データを展開する。制御部１０は、ＣＰＵ１０１がＲＯＭ１０２や記憶部１６に記憶されＲＡＭ１０３に展開された制御プログラムに従って動作することによって、携帯端末１の各種制御処理を実行する。

また、ＲＡＭ１０３は、商品情報部１０３１を備える。商品情報部１０３１は、アウトカメラ１３が読取った商品コードのうち、取引対象であると判断された商品コードに係る商品情報等を記憶する。商品情報部１０３１に取引対象の商品の商品情報が記憶されることで商品登録が実行される。図３は、商品情報部１０３１のデータ構成を示す図である。商品情報部１０３１は、商品を識別する商品コードに対応付けて商品情報を記憶する。商品情報は、商品名、価格、個数を含む。なお、商品情報部１０３１に記憶される商品情報は図示の例に限らず、例えば商品の外観を示すイラストなどを含んでいてもよい。

表示部１１は、例えば液晶パネルで構成されており、各種情報を表示する。例えば、表示部１１は、商品登録された商品の商品情報を表示する。また、表示部１１は、商品バーコードが付されていない商品を商品登録するための登録画面や各種情報を入力するための操作子等を表示する。

さらに、表示部１１は、アウトカメラ１３が撮像している商品画像を表示する。具体的には、表示部１１は、商品コードを読取るためにアウトカメラ１３が撮像している商品バーコードを含む撮像画像を表示する。図４は、アウトカメラ１３が撮像している撮像画像を表示する表示画面の一例を示す図である。

表示部１１は、当該表示部１１の裏面側に向けて設けられたアウトカメラ１３が撮像する画像を表示する。言い換えれば、表示部１１は、アウトカメラ１３によって撮像された、表示部１１の裏面側の撮像画像を表示する。このとき、表示部１１には、例えば「枠内にバーコードを合わせてください。」などのメッセージ１１１、および枠１１２が表示される。

枠１１２内に商品バーコードが位置することにより、アウトカメラ１３は、商品バーコードを認識して商品コードを読取ることが可能となる。顧客Ｃは、表示部１１を目視しながら、購入しようとする商品の商品バーコードを枠１１２内に合せるよう携帯端末１を移動させる。枠１１２内に商品バーコードが位置して、アウトカメラ１３が商品コードを読取ると、表示部１１は、読取った商品コードに係る商品情報や各種操作子を表示する画面を表示する。

操作部１２は、制御部１０に各種情報を入力するためのもので、表示部１１の表面に設けられるタッチパネルなどで構成される。操作部１２は、顧客Ｃが表示部１１に表示された操作子を操作することによって、当該操作子対応する情報を制御部１０に入力する。例えば、操作部１２は、商品バーコードが付されていない商品の商品コードを制御部１０に入力する。また、操作部１２は、商品登録された情報を含む会計情報の会計装置２への送信を指示するための会計情報送信指示を制御部１０に入力する。

アウトカメラ１３は、表示部１１の裏面側に向けて設けられる。アウトカメラ１３は、例えばＣＣＤ（Charge Coupled Device）等の光学的撮像素子を備えるもので、商品画像を撮像する第１撮像部の一例である。アウトカメラ１３は、商品バーコードから商品コードを読取るスキャナとして機能する。具体的には、アウトカメラ１３は、顧客Ｃが購入する商品の商品バーコードを撮像して認識し、当該商品バーコードをデコードして商品コードを読み取る。なお、アウトカメラ１３が撮像した商品画像に基づく商品バーコードの認識、および当該商品バーコードのデコードは、制御部１０で行ってもよい。また、アウトカメラ１３は、商品の外観を撮像するものであってもよく、この場合、一般物体認識（オブジェクト認識）によって商品コードを読取る（認識する）ようにしてもよい。

インカメラ１４は、表示部１１の表面側に向けて設けられる。インカメラ１４は、例えばＣＣＤ（Charge Coupled Device）等の光学的撮像素子を備えるもので、顧客画像を撮像する第２撮像部の一例である。具体的には、インカメラ１４は、表示部１１を目視しながら商品バーコードを撮像している顧客Ｃの顔画像等を撮像する。

通信部１５は、会計装置２、サーバ装置３などの外部装置と通信するためのインターフェイスである。制御部１０は、通信部１５を介して外部装置と接続されることで、外部装置と情報（データ）の送受信が可能となる。

記憶部１６は、ＨＤＤやフラッシュメモリ等の記憶媒体で構成されており、電源を遮断しても記憶内容を維持する。記憶部１６は、制御プログラム１６１、および商品マスタ１６２を記憶する。

制御プログラム１６１は、携帯端末１を商品登録装置として機能させるための買物アプリなどである。商品マスタ１６２は、店舗が販売する商品に関する情報を記憶したマスタファイルである。商品マスタ１６２は、上述したとおり、商品コードと、商品名や価格などを含む商品情報とを対応付けて記憶する。店舗で取り扱う商品は日々変化するので、商品マスタ１６２はサーバ装置３によって適宜更新される。

なお、記憶部１６は、商品マスタ１６２を記憶しない構成としてもよい。この場合、携帯端末１は、サーバ装置３と適宜通信して当該サーバ装置３に記憶された商品マスタを参照することで、商品マスタ１６２を記憶する構成と同様にサーバ装置３の商品マスタを取り扱うことができる。

続いて、携帯端末１の制御部１０の主たる機能構成について説明する。図５は、携帯端末１の制御部１０の機能構成を示すブロック図である。制御部１０は、ＣＰＵ１０１がＲＯＭ１０２や記憶部１６に記憶された制御プログラムにしたがって動作することで、受付部１００１、取得部１００２、判定部１００３、登録部１００４、送受信部１００５、および表示制御部１００６として機能する。なお、これら各機能を専用回路等のハードウェアで構成してもよい。

受付部１００１は、操作部１２から各種情報を受付ける。例えば、受付部１００１は、操作部１２から買物アプリ起動指示、スキャン開始指示、会計情報送信指示などを受付ける。買物アプリ起動指示は、買物アプリの起動を指示するための情報である。スキャン開始指示は、アウトカメラ１３を動作させて商品バーコードのスキャンの開始、すなわち商品コードの読取りの開始を指示するための情報である。会計情報送信指示は、商品情報部１０３１に登録されている情報を含む会計情報を会計装置２に送信することを指示するための情報である。

取得部１００２は、商品を識別する商品識別情報を取得する。具体的には、取得部１００２は、アウトカメラ１３から当該アウトカメラ１３が読取った商品コードを取得する。取得部１００２は、第１取得部として機能する。なお、アウトカメラ１３が撮像した商品画像に基づく商品バーコードの認識、および当該商品バーコードのデコードを制御部１０のデコード処理部（図示せず）で行う場合、取得部１００２は、当該デコード処理部から商品コードを取得することができる。

また、取得部１００２は、商品識別情報を認識するための商品画像を撮像している顧客Ｃの画像である顧客画像を取得する。具体的には、取得部１００２は、インカメラ１４から当該インカメラ１４が撮像した顧客Ｃの顔などの顧客画像を取得する。顧客画像は、顧客Ｃがアウトカメラ１３によって商品バーコードを撮像している画像である。取得部１００２は、第２取得部としても機能する。

判定部１００３は、第２取得部（取得部１００２）が取得した顧客画像に基づいて、登録部１００４による登録を許可するか否か判定する。具体的には、判定部１００３は、取得部１００２がインカメラ１４から取得した顧客画像について画像処理を行い、顧客画像の対象である顧客Ｃが意識して商品コードの読取りを行ったか否か判断する。そして、判定部１００３は、顧客Ｃが意識して読み取ったと判断される商品コードを取引対象と判断する。

例えば、取得部１００２が商品コードを取得した際の顧客画像、すなわち顧客Ｃが商品コードの読取りを行ったときの顧客画像において、当該顧客Ｃが表示部１１を目視していると判断される場合、判定部１００３は登録部１００４による商品登録を許可する。つまり、この場合、判定部１００３は、取得部１００２が取得した商品コードが、顧客Ｃによって意識的に読み取られたものであり、顧客Ｃが購入しようとする商品の商品コードであると判断して商品登録することを許可する。

一方、取得部１００２が商品コードを取得した際の顧客画像において、顧客Ｃが表示部１１を目視していないと判断される場合、判定部１００３は、登録部１００４による商品登録を許可しない。つまり、この場合、判定部１００３は、取得部１００２が取得した商品コードが顧客Ｃの意図しない読取りによる商品コードであると判断して商品登録を不許可とする。

ここで、顧客Ｃが表示部１１を目視しているか否かの判断は、公知の画像処理技術を用いて行われる。例えば、判定部１００３は、顧客画像から顔領域を抽出し、目の領域が認識できる場合は目の領域や瞳孔の位置から目視方向を特定し、目の領域が認識できない場合は鼻もしくは口の位置から目視方向を特定する。そして、判定部１００３は、特定した目視方向によって顧客Ｃが表示部１１を目視しているか否か判断する。また、判定部１００３は、顧客画像から顔領域を抽出できない場合は、顧客Ｃが表示部１１を目視していないと判断する。

なお、判定部１００３は、別の方法によって、取得部１００２が取得した商品コードが顧客Ｃによって意識的に読み取られたものであるか否か判断してもよい。例えば、判定部１００３は、アウトカメラ１３によって撮像された画像が、人の手が商品を持っている画像であると認められる場合、商品バーコードは顧客Ｃによって意識的に読取られたものであると判断してもよい。顧客Ｃが購入しようとする商品の商品バーコードを撮像する場合、通常は当該商品を手に取って当該商品バーコードの撮像を行うと考えられるからである。

また、顧客Ｃが意識的に商品バーコードを読取ったか否かの判断は、機械学習を用いて実行されてもよい。機械学習は、大量の学習データを使ってパターンを学習し、学習結果を使って未知のデータを推定する公知の技術である。例えば、判定部１００３は、顧客画像に基づいて、読取られた商品コードの商品が購入されたか否かを推定する学習モデルを用いることも可能である。

登録部１００４は、第１取得部が取得した商品識別情報で識別される商品の商品情報を取引対象として登録する。具体的には、登録部１００４は、判定部１００３によって商品情報の登録を許可された商品、すなわち判定部１００３によって取引対象の商品と判断された商品について、商品登録を実行する。より詳細には、登録部１００４は、顧客Ｃが意識的に読み取ったと判断される商品コードに対応する商品情報を商品マスタ１６２から読み出して、商品情報部１０３１に登録する。登録部１００４は、一商品について商品登録が完了すると、顧客Ｃに商品登録がなされたことを知らせる報知音を図示しないスピーカ部から出力する。

なお、登録部１００４は、取引対象でないと判断された商品の商品情報も商品情報部１０３１に記憶してもよい。この場合、登録部１００４は、取引対象であると判断された商品の商品情報と、取引対象でないと判断された商品の商品情報とを区別して記憶する。本明細書において、取引対象でないと判断された商品の商品情報を商品情報部１０３１に記憶することは商品登録の概念に含まれない。

また、記憶部１６に商品マスタ１６２が記憶されていない場合、登録部１００４は、商品マスタ１６２を記憶するサーバ装置３と通信して、当該サーバ装置３から商品情報を取得することもできる。

送受信部１００５は、外部装置との間で情報を送受信する。例えば、送受信部１００５は、会計装置２に対して商品情報部１０３１に登録された商品情報を含む会計情報を送信する。また、送受信部１００５は、会計装置２から会計処理にて決済が完了したことを示す決済完了通知を受信する。さらに、送受信部１００５は、サーバ装置３から商品マスタを受信する。

表示制御部１００６は、表示部１１に各種情報を表示させる。例えば、表示制御部１００６は、登録部１００４が登録した商品情報を表示部１１に表示させる。また、表示制御部１００６は、判定部１００３によって登録部１００４による登録が不許可とされた商品の商品情報を、商品登録されないことを示す情報とともに表示部１１に表示させる。さらに、表示制御部１００６は、アウトカメラ１３が撮像している商品画像を表示部１１に表示させる。表示制御部１００６は、その他の情報、例えばアプリ起動指示や会計情報送信指示などの情報を入力するための各種操作子等を表示部１１に表示させる。

次に、上記構成の携帯端末１が商品登録を行うための処理について説明する。図６は、携帯端末１の制御部１０による登録処理の流れを示すフローチャートである。ここで、携帯端末１は買物アプリが起動している状態であるものとする。

制御部１０は、受付部１００１が操作部１２からスキャン開始指示を受付けたか否か判断し（ステップＳ１）、スキャン開始指示を受付けなければ（ステップＳ１のＮ）、ステップＳ１の処理に戻って待機する。

受付部１００１がスキャン開始指示を受付けると（ステップＳ１のＹ）、制御部１０は、取得部１００２がアウトカメラ１３から商品コードを取得したか否か判断し（ステップＳ２）、商品コードを取得しなければ（ステップＳ２のＮ）、ステップＳ２の処理に戻って待機する。なお、ステップＳ１の処理は省略してもよく、この場合、買物アプリが起動すると制御部１０はステップＳ２以降の処理を実行するようにしてもよい。

取得部１００２は、商品コードを取得すると（ステップＳ２のＹ）、インカメラ１４から顧客画像を取得する（ステップＳ３）。取得部１００２は、顧客Ｃがアウトカメラ１３を用いて商品バーコードを撮像しているときの画像を顧客画像として取得する。

続いて、判定部１００３は、取得部１００２が取得した顧客画像が、顧客Ｃが表示部１１を目視している画像であるか否か判断する（ステップＳ４）。顧客Ｃが表示部１１を目視している画像でない場合（ステップＳ４のＮ）、表示制御部１００６は、表示部１１に未登録商品表示を表示させる（ステップＳ５）。未登録商品表示は、取得部１００２が取得した商品コード、すなわちアウトカメラ１３が読取った商品コードに基づく商品登録が行われなかったことを示す表示である。例えば、未登録商品表示は、アウトカメラ１３が読取った商品コードに基づく商品登録が行われなかったことを示すメッセージと、当該商品コードに係る商品の商品情報とを表示するものである。

ステップＳ５の未登録商品表示の後、制御部１０は、ステップＳ１の処理に戻る。未登録商品表示を行うことによって、顧客Ｃが商品登録されていない商品を商品登録済商品と誤認識してしまうことを防止できる。例えば、顧客Ｃが購入しようとする商品について、万一、表示部１１を目視しないで商品コードの読取りを行ったとしても、未登録商品表示をすることにより、顧客Ｃは当該商品が商品登録されていないことを認識することができる。したがって、顧客Ｃは、未登録商品表示で表示された商品について、あらためて商品バーコードの読取りを行うことができる。

本実施形態においては、商品登録した際に顧客Ｃに対して報知音によって商品登録されたことを報知するようにしている。これにより、顧客Ｃが表示部１１を目視しないで商品コードの読取りを行った場合、顧客Ｃは報知音が鳴らなかったことにより商品登録されなかったことを認識可能としている。しかしながら、騒々しい売場内では当該報知音が聞こえない可能性がある。あるいは、携帯端末１がスマートフォンでマナーモードになっていると上記報知音が発せられない。したがって、売場内において顧客Ｃのスマートフォンを用いて商品登録を行う場合、顧客Ｃが報知音の有無で商品登録がなされなかったことを認識するのは困難な場合があり、このような環境下において未登録表示により商品登録が行われなかったことを報知することは特に有効である。

加えて、本実施形態では、商品コードの読取りを行う度に顧客Ｃがスキャン開始指示を行うようにしている。このため、顧客Ｃは商品コードの読取りを行う度に表示部１１を目視する。したがって、顧客Ｃが未登録商品表示を見落とすことが防止され、顧客Ｃは商品登録されていないことをより確実に認識することができる。

ステップＳ４の処理において、取得部１００２が取得した顧客画像が、顧客Ｃが表示部１１を目視している画像である場合（ステップＳ４のＹ）、登録部１００４は商品登録を行う（ステップＳ６）。続いて、表示制御部１００６は、商品登録した商品の商品情報を表示部１１に表示させる（ステップＳ７）。このとき、表示制御部１００６は、スキャン開始指示入力のための操作子、および会計情報送信指示のための操作子も併せて表示部１１に表示させる。

次いで、制御部１０は、受付部１００１が操作部１２から会計情報送信指示を受付けたか否か判断し（ステップＳ８）、会計情報送信指示を受付けなければ（ステップＳ８のＮ）、ステップＳ１の処理に戻る。

受付部１００１が会計情報送信指示を受付けると（ステップＳ８のＹ）、送受信部１００５は、商品情報部１０３１に記憶された情報を読み出し、当該情報を含む会計情報を会計装置２に送信する（ステップＳ９）。会計情報は、ネットワークＮを介して会計装置２に送信されてもよいし、ＮＦＣ（Near Field Communication）等の近距離無線通信によって会計装置２に送信されてもよい。そして、制御部１０は登録処理を終了する。

上記登録処理によって、携帯端末１は、顧客Ｃが意識的に読取ったと判断される商品コードの商品のみを商品登録する。これにより、顧客Ｃが意図しない商品登録が防止可能となるので、顧客Ｃが購入商品として買物カゴに入れた商品と、実際に商品登録された商品との不一致が生じることを抑制できる。このため、顧客Ｃが購入する商品について、誤った取引金額で取引されることを防ぐことが可能となる。

（第２の実施形態）
次に、第２の実施形態について説明する。第２の実施形態は、取得部１００２が商品コードを取得したにも拘わらず取引対象としなかった商品の商品情報を、会計情報送信指示の後に表示部１１に表示して、顧客Ｃが確認できるようにした点において第１の実施形態と異なる。以下、第１の実施形態と同様の構成、機能については、説明を省略する場合がある。以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。

本実施形態における商品情報部１０３１は、アウトカメラ１３が読取った全ての商品コードに係る商品の商品情報を記憶する。詳細には、商品情報部１０３１は、取引対象の商品と取引対象でない商品とを区別して、これら商品の商品情報を記憶する。図７は、商品情報部１０３１のデータ構成を示す図である。商品情報部１０３１は、商品を識別する商品コードに対応付けて商品情報および取引対象フラグを記憶する。

商品情報は、商品名、価格を含む。取引対象フラグは、判定部１００３によって取引対象と判断された商品か否かを示す情報である。取引対象フラグには、取引対象と判断された商品については「１」が登録され、取引対象でないと判断された商品については「０」が登録される。

次に、本実施形態における登録処理について説明する。図８は、携帯端末１の制御部１０による登録処理の流れを示すフローチャートである。第１の実施形態と同様の処理については同一符号を付している。また、第１の実施形態と同様に、携帯端末１は買物アプリが起動している状態であるものとする。

ステップＳ１～ステップＳ４の処理は、第１の実施形態と同様である。ステップＳ４の処理において、顧客Ｃが表示部１１を目視している画像でない場合（ステップＳ４のＮ）、登録部１００４は、取引非対象登録を行う（ステップＳ１１）。取引非対象登録は、取得部１００２が取得した商品コードに係る商品の商品情報を、取引対象でないことを示す情報に対応付けて記憶する処理である。

具体的には、登録部１００４は、取得部１００２が取得した商品コードに対応する商品情報を商品マスタ１６２から読み出して商品情報部１０３１に登録する。このとき、登録部１００４は、商品情報に対応付けられた取引対象フラグに取引対象でないことを示す「０」を登録する。ステップＳ１１の取引非対象登録の後、制御部１０は、ステップＳ１の処理に戻る。

ステップＳ４の処理において、顧客Ｃが表示部１１を目視している画像である場合（ステップＳ４のＹ）、制御部１０は、第１の実施形態と同様にステップＳ６～ステップＳ８の処理を実行する。

ステップＳ８の処理において、会計情報送信指示がなされると（ステップＳ８のＹ）、表示制御部１００６は、表示部１１に取引非対象の商品情報表示を行う（ステップＳ１２）。取引非対象の商品情報表示は、商品情報部１０３１に記憶された情報のうち、取引対象フラグに「０」が登録されている商品の商品情報を表示するものである。このとき、表示制御部１００６は、商品情報に加えてメッセージを表示してもよい。例えば、表示制御部１００６は、「表示されている商品を購入する場合には、あらためてバーコードの読取を行ってください」など、商品登録されていない商品について商品登録を促すメッセージを表示することができる。

次いで、制御部１０は、受付部１００１が操作部１２から確認入力を受け付けたか否か判断する（ステップＳ１３）。確認入力は、顧客Ｃが取引非対象の商品表示を確認し、表示された商品情報に係る商品を購入しないことを示す情報を入力するものである。言い換えれば、確認入力は、取引対象でないものとして商品情報部１０３１に登録された商品について、顧客Ｃが購入しないことを宣言する情報を入力するものである。確認入力の操作方法は問わないが、例えば、取引非対象の商品表示において商品情報とともに表示される確認ボタン（操作子）が操作されることで行われるようにしてもよい。

受付部１００１が操作部１２から確認入力を受け付けると（ステップＳ１３のＹ）、送受信部１００５は、商品情報部１０３１に記憶された情報のうち、取引対象フラグに「１」が登録されている情報を読み出し、当該情報を含む会計情報を会計装置２に送信する（ステップＳ９）。すなわち、送受信部１００５は、取引対象として商品情報部１０３１に登録されている商品に関する情報を会計装置２に送信する。そして、制御部１０は登録処理を終了する。

ステップＳ１３の処理において、受付部１００１が確認入力を受け付けないと（ステップＳ１３のＮ）、制御部１０は、受付部１００１が修正入力を受け付けたか否か判断する（ステップＳ１４）。修正入力は、顧客Ｃが取引非対象の商品表示を確認し、表示された商品情報に係る商品を購入する場合に入力されるもので、購入する商品を特定する情報を入力するものである。言い換えれば、修正入力は、取引対象でないものとして商品情報部１０３１に登録された商品のうち、顧客Ｃが購入する商品を特定する情報を入力するものである。修正入力の操作方法は問わないが、例えば、取引非対象の商品表示において商品情報に対応付けて表示される購入ボタン（操作子）が操作されることで行われるようにしてもよい。

修正入力がなされない場合（ステップＳ１４のＮ）、制御部１０は、ステップＳ１３の処理に戻る。修正入力がなされると（ステップＳ１４のＹ）、登録部１００４は、購入する商品として修正された商品について追加商品登録を行う（ステップＳ１５）。具体的には、登録部１００４は、購入する商品として指定された商品について、商品情報部１０３１の取引対象フラグを「０」から「１」に書き換える。取引対象フラグが「１」に書き換えられた商品は取引対象として登録される。すなわち、商品登録される。追加商品登録がなされると、制御部１０はステップＳ１２の処理に戻る。

上記登録処理によって、第１の実施形態と同様に、顧客Ｃが購入する商品について、誤った取引金額で取引されることを防ぐことが可能となる。さらに、携帯端末１は、会計装置２に会計情報を送信する前に、取得部１００２が取得した商品コードに係る商品のうち取引対象でないと判断された商品について商品情報を表示する。そして、携帯端末１は、商品情報が表示された商品の商品登録を受付ける。これにより、顧客Ｃは、購入代金の支払いを行う前に、購入しようとした商品が商品登録されていないことを確認し、当該商品の商品登録を行うことができる。したがって、この点においても、誤った取引金額で取引されることを防ぐことができる。

以上説明したとおり、各実施形態の携帯端末１は、店舗内を移動する顧客Ｃによって操作される情報処理装置であって、商品を識別する商品識別情報（商品コード）を取得する第１取得部（取得部１００２）と、前記商品識別情報を認識するための商品画像を撮像している顧客Ｃの画像である顧客画像を取得する第２取得部（取得部１００２）と、前記第１取得部が取得した商品識別情報で識別される商品の商品情報を取引対象として登録する登録部１００４と、前記第２取得部が取得した顧客画像に基づいて、登録部１００４による登録を許可するか否か判定する判定部１００３と、を備える。

これにより、携帯端末１は、顧客Ｃが意図しない商品登録を抑制でき、誤った取引金額で取引されることを防ぐことが可能となる。

また、各実施形態の携帯端末１は、判定部１００３によって登録部１００４による登録が不許可とされた商品の商品情報を表示する表示部１１をさらに備える。

これにより、顧客Ｃが購入しようする商品が判定部１００３により取引対象でないと万一判断された場合、顧客Ｃはそのことを認識することができる。このため、顧客Ｃはあらためて表示された商品を商品登録することができるので、誤った取引金額で取引されることをより防止することができる。

さらに、各実施形態の携帯端末１は、商品画像を撮像する第１撮像部（アウトカメラ１３）と、顧客画像を撮像する第２撮像部（インカメラ１４）と、をさらに備え、表示部１１は、前記第１撮像部が撮像している商品画像を表示する。

これにより、携帯端末１は、顧客Ｃが商品コードを読取る際の操作性を良好とすることができる。

加えて、各実施形態の携帯端末１の判定部１００３は、第２取得部（取得部１００２）によって取得された顧客画像が、顧客Ｃが表示部１１を目視している画像である場合に、登録部１００４による登録を許可すると判定する。

これにより、携帯端末１は、取得部１００２が取得した商品コードに係る商品が取引対象商品か否かを容易に判断することができる。具体的には、顧客Ｃによる商品コードの読取りに際して当該顧客Ｃが商品画像を表示する表示部１１を目視する点に着目することで、判定部１００３は、容易に取引対象商品か否か判断することができる。より詳細には、判定部１００３は、顧客Ｃが商品コードを読取る際の操作性を良好とする構成、すなわち商品画像を表示する表示部１１を活用して、登録部１００４による登録を許可するか否か判定することができる。

また、各実施形態の携帯端末１の判定部１００３は、顧客画像における顧客Ｃの顔の向きを認識する。

これにより、携帯端末１は、公知の画像処理技術を用いることで、取得部１００２が取得した商品コードに係る商品が取引対象商品か否かを判断することができるので、当該判断をより容易に行うことができる。

なお、上記実施形態において、携帯端末１で実行される制御プログラムは、ＣＤ－ＲＯＭ等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、上記実施形態の携帯端末１で実行される制御プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良く、さらには、インターネット等のネットワーク経由で提供するように構成しても良い。

以上、本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。

１ 携帯端末（情報処理装置）
１１ 表示部
１３ アウトカメラ（第１撮像部）
１４ インカメラ（第２撮像部）
１００２ 取得部（第１取得部、第２取得部）
１００３ 判定部
１００４ 登録部

特開２０２１-１２４８９４号公報

Claims (6)

1. 店舗内を移動する顧客によって操作される情報処理装置であって、
   商品を識別する商品識別情報を取得する第１取得部と、
   顧客の画像である顧客画像を取得する第２取得部と、
   前記第１取得部が取得した商品識別情報で識別される商品の商品情報を取引対象として登録する登録部と、
   前記第２取得部が取得した顧客画像に基づいて、前記登録部による登録を許可するか否か判定する判定部と、
   を備える情報処理装置。
2. 前記判定部によって前記登録部による登録が不許可とされた商品の商品情報を表示する表示部をさらに備える、
   請求項１に記載の情報処理装置。
3. 前記商品識別情報を認識するための商品画像を撮像する第１撮像部と、
   前記顧客画像を撮像する第２撮像部と、をさらに備え、
   前記表示部は、前記第１撮像部が撮像している商品画像を表示する、
   請求項２に記載の情報処理装置。
4. 前記判定部は、前記第２取得部によって取得された顧客画像が、顧客が前記表示部を目視している画像である場合に、前記登録部による登録を許可すると判定する、
   請求項３に記載の情報処理装置。
5. 前記判定部は、前記顧客画像における顧客の顔の向きを認識する、
   請求項４に記載の情報処理装置。
6. 店舗内を移動する顧客によって操作される情報処理装置をコンピュータで制御するためのプログラムであって、
   前記コンピュータを、
   商品を識別する商品識別情報を取得する第１取得部と、
   顧客の画像である顧客画像を取得する第２取得部と、
   前記第１取得部が取得した商品識別情報で識別される商品の商品情報を取引対象として登録する登録部と、
   前記第２取得部が取得した顧客画像に基づいて、前記登録部による登録を許可するか否か判定する判定部と、
   して機能させるプログラム。

Images