JP2022117795A - 表示装置及びサーバ装置 - Google Patents

Abstract

【課題】商品の注文支援を行うことが可能な表示装置及びサーバ装置を提供する。【解決手段】商品を収容する収容装置を撮像した第１撮像画像に含まれる、同一品目の商品又は商品群が表された領域に、当該商品を識別可能な識別情報を関連付けた第２撮像画像を表示器に表示する表示手段と、前記第２撮像画像に含まれた前記領域に対する操作に応じて、当該領域に関連付けられた前記商品情報に対応する商品を、注文の対象商品として受け付ける第１受付手段と、前記対象商品の識別情報を出力する出力手段と、を備える。【選択図】図１２

Description

本発明の実施形態は、表示装置及びサーバ装置に関する。

従来、コンビニエンスストア等の店舗では、店舗内で調理する商品（以下、ＦＦ（Fast Food）商品ともいう）を、レジ周辺に陳列して販売する。例えば、ＦＦ商品は、おでん、中華饅頭等が挙げられる。このような店舗では、ユーザはＰＯＳ端末等の商品販売データ処理装置が置かれたレジ前等において、所望するＦＦ商品の名称を店員に伝えることで、ＦＦ商品の注文が行われる。そして、店員は注文されたＦＦ商品を棚等から取り出し、当該ＦＦ商品をＰＯＳ端末等の商品販売データ処理装置に登録することで、ＦＦ商品の販売が行われている。

また、従来、このようなＦＦ商品の販売処理を行うために、例えば、ＦＦ商品の調理日時や販売期限日を管理することが可能な商品販売データ登録装置が提案されている。

ところで、ＦＦ商品を注文する際には、一般的には、客は所望するＦＦ商品の商品名を店員に伝える。しかしながら、この注文方法では、口頭での伝達となるため、店員がＦＦ商品の名称を聞き間違える可能性がある。また、店員は、客から口頭で伝えられたＦＦ商品を収容装置から取り出しながら当該ＦＦ商品の登録を行うことになるため、操作が煩雑となりミスが発生する可能性があった。

本発明が解決しようとする課題は、商品の注文支援を行うことが可能な表示装置及びサーバ装置を提供することである。

実施形態の表示装置は、表示手段と、第１受付手段と、出力手段とを備える。表示手段は、商品を収容する収容装置を撮像した第１撮像画像に含まれる、同一品目の商品又は商品群が表された領域に、当該商品を識別可能な識別情報を関連付けた第２撮像画像を表示器に表示する。第１受付手段は、前記第２撮像画像に含まれた前記領域に対する操作に応じて、当該領域に関連付けられた前記商品情報に対応する商品を、注文の対象商品として受け付ける。出力手段は、前記対象商品を識別可能な識別情報を出力する。

図１は、実施形態にかかる注文支援システムの構成の一例を示す図である。 図２は、実施形態に係る注文支援システムの店内レイアウトの一例を示す図である。 図３は、実施形態に係る注文支援システムの店内レイアウトの一例を示す図である。 図４は、実施形態に係る表示端末のハードウェア構成の一例を示す図である。 図５は、実施形態に係るＰＯＳ端末のハードウェア構成の一例を示す図である。 図６は、実施形態に係るサーバ装置のハードウェア構成の一例を示す図である。 図７は、実施形態に係るＦＦ商品マスタのデータ構成の一例を示す図である。 図８は、実施形態に係るサーバ装置の機能構成の一例を示す図である。 図９は、実施形態に係る表示端末の機能構成の一例を示す図である。 図１０は、実施形態の撮像装置で撮像された第１撮像画像の一例を示す図である。 図１１は、実施形態のサーバ装置で生成された第２撮像画像の一例を示す図である。 図１２は、実施形態の表示端末に表示された第２撮像画像の一例を示す図である。 図１３は、実施形態に係るＰＯＳ端末の機能構成の一例を示す図である。 図１４は、実施形態のサーバ装置が実行する処理の一例を示すフローチャートである。 図１５は、実施形態の表示端末が実行する処理の一例を示すフローチャートである。 図１６は、実施形態のＰＯＳ端末が実行する処理の一例を示すフローチャートである。 図１７は、変形例２に係るサーバ装置の機能構成の一例を示す図である。 図１８は、変形例２に係る表示端末の機能構成の一例を示す図である。 図１９は、変形例２のサーバ装置が実行する処理の一例を示すフローチャートである。 図２０は、変形例２の表示端末が実行する処理の一例を示すフローチャートである。

以下、図面を参照して、実施形態について詳細に説明する。なお、以下に説明する実施形態によりこの発明が限定されるものではない。

図１は、実施形態にかかる注文支援システムの構成例を示す図である。注文支援システム１は、例えば、コンビニエンスストア等の店舗に導入される。注文支援システム１は、図１に示すように、表示端末１０と、ＰＯＳ端末２０と、撮像装置３０と、商品収容具４０と、サーバ装置５０とを有する。

ここで、表示端末１０、ＰＯＳ端末２０、撮像装置３０及びサーバ装置５０は、ＬＡＮ（Local Area network）等のネットワークＮを介して、通信可能に接続される。なお、ネットワークＮに接続される各装置の台数は、図１の例に限定されないものとする。

表示端末１０は、表示装置の一例である。表示端末１０は、ＬＣＤ（Liquid Crystal Display）等で構成される表示部１４を備えた、サイネージ端末やタブレット端末等の表示装置であり。表示端末１０は、例えば、店舗内においてＰＯＳ端末２０の近傍に設置される。表示端末１０は、ＰＯＳ端末２０及びサーバ装置５０と協働することで、店舗で調理し販売されるＦＦ商品の注文を支援するための画面を表示する。

ＰＯＳ端末２０は、商品販売データ処理装置の一例である。ＰＯＳ端末２０は、例えば店舗内に１又は複数台設置され、店舗で販売される商品（ＦＦ商品を含む）の登録及び決済（会計）を実行する。

撮像装置３０は、ＣＣＤ（Charge Coupled Device）イメージセンサ、ＣＭＯＳ（Complementary MOS）イメージセンサ等の撮像素子を備え、撮像によって得られた撮像画像をデジタルデータとして出力する。本実施形態において、撮像装置３０は、商品収容具４０内の商品が収容または載置される領域を撮像する。

商品収容具４０は、収容装置の一例であり、店舗で販売されるＦＦ商品を収容する。例えば、商品収容具４０は、ＦＦ商品の一例である、おでんを収容するおでん鍋や、中華饅頭等を収容する保温器等である。撮像装置３０は、商品収容具４０に収容されるＦＦ商品を撮像可能な位置に設けられる。

例えば、商品収容具４０がおでん鍋の場合、撮像装置３０は、おでん鍋の上方等に設けられ、おでん鍋の上方から当該おでん鍋に収容されたＦＦ商品（おでん）を撮像する。また、商品収容具４０が保温器である場合、撮像装置３０は、保温器の側方等に設けられ、保温器の側方から当該保温器に収容されたＦＦ商品（中華饅頭等）を撮像する。なお、本実施形態では、商品収容具４０がおでん鍋である例について説明する。

サーバ装置５０は、サーバ装置の一例である。サーバ装置５０は、撮像装置３０で撮像された撮像画像を取得し、当該撮像画像を用いてＦＦ商品の注文を支援するためのＵＩ（User Interface）画像を生成する。以下、撮像装置３０で撮像される撮像画像を第１撮像画像とも表記する。また、サーバ装置５０で生成されるＵＩ画像を第２撮像画像とも表記する。

なお、上述した表示端末１０、ＰＯＳ端末２０、撮像装置３０及び商品収容具４０の店舗内でのレイアウト（以下、店内レイアウトともいう）は特に問わず、任意の店内レイアウトを採用することができる。例えば、図２及び図３に示す店内レイアウトとしてもよい。

図２及び図３は、注文支援システム１の店内レイアウトの一例を示す図である。ここで、図２は、ＰＯＳ端末２０が設置されるレジカウンター２をユーザ（客）側（矢印Ｙ方向）から見た図である。図３は、図２のレジカウンター２を側面（矢印Ｘ方向）から見た図である。なお、矢印Ｚ方向は、高さ方向（上下方向）を意味する。

図２及び図３に示すように、表示端末１０は、一例としてＰＯＳ端末２０の近傍に配置される。なお、ＰＯＳ端末２０は、ユーザＵに面する側（以下、ユーザ側ともいう）に後述する表示部２４を備える。また、ＰＯＳ端末２０は、店員Ｃに面する側（以下、店員側ともいう）に図示しない表示部２４を備える。

ここで、表示端末１０は、ユーザ側に２個の表示部１４を備えており、このユーザ側の表示部１４を用いてユーザに対する画面表示を行う。また、表示端末１０は、店員側にも２個の表示部１４を備えており、店員側の表示部１４を用いて店員に対する画面表示を行う。つまり、図２及び図３では、ユーザＵと店員Ｃとは、表示端末１０を介して対峙する形態となっている。なお、表示部１４の個数やレイアウトは、図２の例に限定されないものとする。

また、表示端末１０は、後述するように、表示部１４を介した操作を接触又は非接触で受け付けることが可能な構成（後述する操作部１５）を有する。具体的には、表示端末１０は、表示部１４に対峙したユーザＵ又は店員Ｃから操作を受け付ける。なお、操作部１５は、ユーザ側及び店員側の何れか一方の表示部１４に設けられてもよいし、両方の表示部１４に設けられてもよい。なお、本実施形態では、少なくともユーザ側の表示部１４に操作部１５が設けられるものとする。

また、商品収容具４０は、例えば図３に示すように、レジカウンター２の上面に配置される。ここでは、商品収容具４０を表示端末１０の店員側の背面に配置した例を示している。このような配置とすることで、店員Ｃは、店員側の表示部１４を見ながら、商品収容具４０から商品を取り出すことができる。また、この場合、撮像装置３０は、例えば商品収容具４０の上方に設けることで、商品収容具４０に収容された商品を上方から撮像することができる。

次に、注文支援システム１が有する主要な装置の構成について説明する。

図４は、表示端末１０のハードウェア構成の一例を示す図である。図４に示すように、表示端末１０は、ＣＰＵ（Central Processing Circuit）１１、ＲＯＭ（Read Only Memory）１２、及びＲＡＭ（Random Access Memory）１３等のコンピュータ構成を備える。

ＣＰＵ１１は、プロセッサの一例であり、表示端末１０の各部を統括的に制御する。ＲＯＭ１２は、各種プログラムを記憶する。ＲＡＭ１３は、プログラムや各種データを展開するワークスペースである。

また、表示端末１０は、表示部１４と、操作部１５と、記憶部１６と、通信部１７とを備える。

表示部１４は、ＬＣＤ（Liquid Crystal Display）等の表示デバイスで構成される。表示部１４は、ＣＰＵ１１の制御の下、各種の情報を表示する。なお、表示部１４は、図２及び図３で説明したように、複数台で構成されてもよい。

操作部１５は、表示部１４に対する操作を受け付け、受け付けた操作内容を示す操作信号をＣＰＵ１１に出力する。例えば、操作部１５は、表示部１４の表示画面に設けられたタッチパネルであり、表示部１４に対する接触操作を受け付ける。また、例えば、操作部１５は、非接触式のタッチパネルであり、表示部１４に対する非接触操作を受け付ける。

なお、非接触操作を実現する方法は特に問わず、赤外線等の反射光によって指の位置や動きを検出する方法や、カメラで撮像した画像から指の位置や動きを検出する方法、静電容量方式による非接触操作の方法等、公知の技術を用いることができる。

記憶部１６は、ＨＤＤ（Hard Disk Drive）やフラッシュメモリ等の記憶媒体で構成されており、電源を遮断しても記憶内容を維持する。記憶部１６は、ＣＰＵ１１が実行することが可能なプログラムや各種の設定情報を記憶する。ＣＰＵ１１は、ＲＯＭ１２や記憶部１６に記憶されＲＡＭ１３に展開されたプログラムに従って動作することによって、各種の処理を実行する。

通信部１７は、ネットワークＮに接続可能な通信インタフェースである。通信部１７は、ネットワークＮを介してＰＯＳ端末２０やサーバ装置５０等の外部装置と通信を行う。

図５は、ＰＯＳ端末２０のハードウェア構成の一例を示す図である。図５に示すように、ＰＯＳ端末２０は、ＣＰＵ２１、ＲＯＭ２２、及びＲＡＭ２３等のコンピュータ構成を備える。

ＣＰＵ２１は、プロセッサの一例であり、ＰＯＳ端末２０の各部を統括的に制御する。ＲＯＭ２２は、各種プログラムを記憶する。ＲＡＭ２３は、プログラムや各種データを展開するワークスペースである。

また、ＰＯＳ端末２０は、表示部２４と、操作部２５と、記憶部２６と、読取部２７と、通信部２８とを備える。

表示部２４は、ＬＣＤ等の表示デバイスで構成される。表示部２４は、ＣＰＵ２１の制御の下、各種の情報を表示する。操作部２５は、数字や算術演算子が上面に表示されているテンキーや、小計キー、締めキー等を有するキーボード、ポインティングデバイス等を有する。操作部２５は、操作者から受け付けた操作内容をＣＰＵ２１に出力する。なお、操作部２５は、表示部２４の表示画面に設けられるタッチパネルであってもよい。

記憶部２６は、ＨＤＤやフラッシュメモリ等の記憶媒体で構成されており、電源を遮断しても記憶内容を維持する。記憶部２６は、ＣＰＵ２１が実行することが可能なプログラムや各種の設定情報を記憶する。ＣＰＵ２１は、ＲＯＭ２２や記憶部２６に記憶されＲＡＭ２３に展開されたプログラムに従って動作することによって、各種の処理を実行する。なお、記憶部２６は、後述する商品マスタ５４１やＦＦ商品マスタ５４２を記憶する形態としてもよい。

読取部２７は、バーコードや二次元コードを読み取ることが可能なコードスキャナである。読取部２７は、店舗で販売される商品（非ＦＦ商品、以下一般商品ともいう）に付されたコードシンボルから、当該商品を識別可能なＪＡＮコード等の商品ＩＤを読み取る。

通信部２８は、ネットワークＮに接続可能な通信インタフェースである。通信部２８は、ネットワークＮを介して表示端末１０やサーバ装置５０等の外部装置と通信を行う。

図６は、サーバ装置５０のハードウェア構成の一例を示す図である。図６に示すように、サーバ装置５０は、ＣＰＵ５１、ＲＯＭ５２、及びＲＡＭ５３等のコンピュータ構成を備える。

ＣＰＵ５１は、プロセッサの一例であり、サーバ装置５０の各部を統括的に制御する。ＲＯＭ５２は、各種プログラムを記憶する。ＲＡＭ５３は、プログラムや各種データを展開するワークスペースである。

また、サーバ装置５０は、記憶部５４と、通信部５５とを備える。

記憶部５４は、ＨＤＤやフラッシュメモリ等の記憶媒体で構成されており、電源を遮断しても記憶内容を維持する。記憶部５４は、ＣＰＵ５１が実行することが可能なプログラムや各種の設定情報を記憶する。ＣＰＵ５１は、ＲＯＭ５２や記憶部５４に記憶されＲＡＭ５３に展開されたプログラムに従って動作することによって、各種の処理を実行する。

また、記憶部５４は、商品マスタ５４１と、ＦＦ商品マスタ５４２とを記憶する。

商品マスタ５４１は、店舗で販売される一般商品に関する情報を記憶する。具体的には、商品マスタ５４１は、一般商品の各々を識別可能な商品ＩＤに関連付けて、当該一般商品の商品名、価格等を記憶する。

ＦＦ商品マスタ５４２は、店舗で販売されるＦＦ商品に関する情報を記憶する。図７は、ＦＦ商品マスタ５４２のデータ構成の一例を示す図である。図７に示すように、ＦＦ商品マスタ５４２は、商品ＩＤに関連付けて、商品名、価格、特徴量等を記憶する。

ここで、商品ＩＤは、ＦＦ商品を識別するための識別子である。商品ＩＤは、一般商品と同様のコード体系（例えばＪＡＮコード）であってもよいし、一般商品とは異なるコード体系であってもよい。商品名は、商品ＩＤに対応するＦＦ商品の品目を示す情報である。価格は、商品ＩＤに対応するＦＦ商品の単価を示す情報である。

特徴量は、商品ＩＤに対応するＦＦ商品の外観上の特徴を示す情報である。例えば、特徴量は、ＦＦ商品を撮像した撮像画像から抽出された、ＦＦ商品の形状や、表面の色合い、模様、凹凸状況等の外観上の特徴をパラメータ化した情報である。なお、ＦＦ商品の撮像画像を特徴量として記憶する構成としてもよい。

なお、ＦＦ商品マスタ５４２は、図７のデータ構成に限らず、他の項目を記憶してもよい。例えば、ＦＦ商品マスタ５４２は、商品ＩＤに関連付けて、店舗のおすすめ商品であることを示す情報や、売上の順位等を示す付加情報を格納してもよい。

図６に戻り、通信部５５は、ネットワークＮに接続可能な通信インタフェースである。通信部５５は、ネットワークＮを介して表示端末１０やＰＯＳ端末２０、撮像装置３０等の外部装置と通信を行う。

次に、上述した表示端末１０、ＰＯＳ端末２０、及びサーバ装置５０の機能構成について説明する。なお、説明の便宜上、サーバ装置５０、表示端末１０、ＰＯＳ端末２０の順で説明する。

図８は、サーバ装置５０の機能構成の一例を示す図である。図８に示すように、サーバ装置５０は、画像取得部５１１と、画像解析部５１２と、関連付部５１３と、画像提供部５１４とを備える。

サーバ装置５０が備える機能部の一部又は全ては、サーバ装置５０のプロセッサ（例えばＣＰＵ５１）とメモリ（例えばＲＯＭ５２、記憶部５４）に記憶されたプログラムとの協働により実現されるソフトウェア構成であってもよい。また、サーバ装置５０が備える機能部の一部又は全ては、サーバ装置５０に搭載された専用回路等で実現されるハードウェア構成であってもよい。

画像取得部５１１は、取得手段の一例である。画像取得部５１１は、ＦＦ商品を収容する商品収容具４０を撮像した撮像装置３０の第１撮像画像を、撮像装置３０から取得する。第１撮像画像は、例えば、時系列的に連続したフレームで構成される動画である。以下では、フレームを第１撮像画像ともいう。

画像解析部５１２は、認識手段の一例である。画像取得部５１１が取得した第１撮像画像を解析し、第１撮像画像に表されたＦＦ商品と当該ＦＦ商品の位置とを認識する。具体的には、画像解析部５１２は、ＦＦ商品マスタ５４２に記憶された各ＦＦ商品の特徴量に基づいて、第１撮像画像に表されたＦＦ商品（品目）を認識する。また、画像解析部５１２は、認識したＦＦ商品が存在する第１撮像画像中の位置を特定する。

なお、ＦＦ商品の認識方法は特に問わず、例えば一般物体認識や形状認識等の公知の技術を用いることができる。また、画像解析部５１２は、ＦＦ商品の特徴量を使用することなく、ディープラーニング等の機械学習の手法により各ＦＦ商品の外観上の特徴を学習した学習済モデルを用いて、第１撮像画像に表されたＦＦ商品の品目と位置とを認識してもよい。

関連付部５１３は、関連付手段の一例である。関連付部５１３は、画像解析部５１２の認識結果に基づいて、同一品目のＦＦ商品又はＦＦ商品群が表された第１撮像画像の領域に対し、当該ＦＦ商品の商品ＩＤを関連付ける処理を実行する。そして、関連付部５１３は、商品ＩＤを関連付けた第１撮像画像を第２撮像画像として生成する。

具体的には、関連付部５１３は、画像解析部５１２により、第１撮像画像からちくわ等の同一品目のＦＦ商品が存在する位置が認識されると、このＦＦ商品が存在する第１撮像画像中の領域を区分し、商品ＩＤを関連付ける対象領域に設定する。このとき、関連付部５１３は、画像解析部５１２で認識された同一品目のＦＦ商品間の距離が閾値以下である場合、同一品目のＦＦ商品群が存在すると判定し、このＦＦ商品を包含する第１撮像画像中の領域を関連付けの対象領域に設定する。そして、関連付部５１３は、設定した対象領域の各々に、当該対象領域に存在するＦＦ商品の品目に対応する商品ＩＤをアノテーション等の手法を用いて関連付け、第２撮像画像を生成する。

なお、関連付部５１３が設定する対象領域は、関連付けの対象となるＦＦ商品（又はＦＦ商品群）の画像を少なくとも包含するものとするが、その形状は任意に設定することが可能であるとする。例えば、対象領域は、ＦＦ商品（又はＦＦ商品群）の外形に沿った形状としてもよい。また、対象領域は、矩形等の形状であってもよい。また、関連付部５１３は、異なる品種の対象領域同士が重畳しないように配置を行うものとする。

画像提供部５１４は、提供手段の一例である。画像提供部５１４は、関連付部５１３が生成した第２撮像画像を、当該第２撮像画像を表示する表示装置に提供する。本実施形態では、画像提供部５１４は、表示装置の一例である表示端末１０に第２撮像画像を提供する。なお、画像提供部５１４は、ＰＯＳ端末２０に第２撮像画像を提供してもよい。

図９は、表示端末１０の機能構成の一例を示す図である。図９に示すように、表示端末１０は、画像取得部１１１と、表示制御部１１２と、操作受付部１１３と、情報出力部１１４とを備える。

表示端末１０が備える機能部の一部又は全ては、表示端末１０のプロセッサ（例えばＣＰＵ１１）とメモリ（例えばＲＯＭ１２、記憶部１６）に記憶されたプログラムとの協働により実現されるソフトウェア構成であってもよい。また、表示端末１０が備える機能部の一部又は全ては、表示端末１０に搭載された専用回路等で実現されるハードウェア構成であってもよい。

画像取得部１１１は、サーバ装置５０から提供される第２撮像画像を取得する。表示制御部１１２は、表示手段の一例である。表示制御部１１２は、画像取得部１１１が取得した第２撮像画像を表示部１４に表示する。

操作受付部１１３は、第１受付手段の一例である。操作受付部１１３は、操作部１５と協働することで、表示部１４に表示された第２撮像画像に対する操作を受け付ける。

具体的には、操作受付部１１３は、第２撮像画像に含まれる同一品目のＦＦ商品又はＦＦ商品群が表された領域（即ち対象領域）に対する操作を受け付ける。操作受付部１１３は、対象領域に対する操作を受け付けると、その対象領域に関連付けられた商品ＩＤを、購入対象の対象商品として受け付ける。

また、操作受付部１１３は、対象領域に対する所定の操作により、対象商品の購入個数が入力されると、その対象領域に関連付けられた商品ＩＤに関連付けて、入力された購入個数を保持する。ここで、購入個数の入力方法は特に問わず、種々の方法を採用することが可能である。例えば、操作受付部１１３は、同一の対象領域が操作（選択操作）された回数を、その対象領域に対応する対象商品の購入個数として受け付ける。

情報出力部１１４は、出力手段の一例である。情報出力部１１４は、操作受付部１１３が受け付けた対象商品の商品ＩＤを外部装置に出力する。例えば、情報出力部１１４は、対象商品の商品ＩＤをＰＯＳ端末２０に出力する。また、操作受付部１１３が購入個数の指定を受け付けた場合、情報出力部１１４は、対象商品の商品ＩＤとともに指定された購入個数をＰＯＳ端末２０に出力する。なお、情報出力部１１４は、注文を確定する操作等に応じて、出力を開始することが好ましい。

以下、図１０～図１２を参照して、第１撮像画像及び第２撮像画像に係るサーバ装置５０及び表示端末１０の動作について説明する。

図１０は、撮像装置３０で撮像された第１撮像画像の一例を示す図である。図１０に示すように、第１撮像画像６０には、商品収容具４０に収容された各種ＦＦ商品を表す画像が含まれる。サーバ装置５０の画像解析部５１２は、第１撮像画像６０を解析することで、第１撮像画像６０に表された各種ＦＦ商品の品種とその位置を認識する。

また、関連付部５１３は、画像解析部５１２の認識結果に基づき、同一品種のＦＦ商品又はＦＦ商品群が表された領域を対象領域に設定し、当該対象領域に商品ＩＤを関連付けた第２撮像画像を生成する。

図１１は、関連付部５１３が生成した第２撮像画像の一例を示す図である。図１１に示すように、第２撮像画像７０では、同一品目のＦＦ商品又はＦＦ商品群が表された領域が対象領域７１によって区分される。ここでは、対象領域７１を、矩形状で表しており、対象領域７１内には同一品目のＦＦ商品が存在する。また、対象領域７１の各々には、対応するＦＦ商品の商品ＩＤが関連付けられている。

上述したように、第２撮像画像７０は表示端末１０に提供され、図１２に示すように、表示端末１０の表示部１４に表示される。図１２は、表示端末１０の表示部１４に表示された第２撮像画像の一例を示す図である。

表示端末１０の表示制御部１１２は、サーバ装置５０から提供された第２撮像画像７０を表示部１４に表示させる。このとき、表示制御部１１２は、図１２に示すように、第２撮像画像７０に含まれる対象領域７１の各々を視認可能な状態で表示させてもよい。例えば、関連付部５１３が、各対象領域の境界を表す情報（例えば、境界線等）を付加して第２撮像画像７０を生成し、表示部１４に表示させてもよい。なお、表示部１４に表示される第２撮像画像７０は、対象領域７１の境界を表す情報を表示しなくてもよい。

また、表示制御部１１２は、対象領域７１に対する操作に応じて、第２撮像画像７０の表示形態を変更させてもよい。例えば、表示制御部１１２は、操作受付部１１３が何れかの対象領域７１に対する操作を受け付けると、操作の対象となった対象領域７１を強調して表示させる。図１２では、第２撮像画像７０に含まれる複数の対象領域７１のうち、操作の対象となった対象領域７１１、７１２、７１３を強調表示させた例を示している。

また、表示制御部１１２は、対象商品の購入個数を入力する操作に応じて、第２撮像画像７０の表示形態を変更させてもよい。例えば、表示制御部１１２は、対象領域７１に対する選択操作の回数を購入個数として、操作の対象となった対象領域７１に重畳して表示させる。図１２では、操作の対象となった対象領域７１１、７１２、７１３の各々に、購入個数を重畳表示させた例を示している。

このように、表示端末１０では、サーバ装置５０で生成された第２撮像画像７０を用いることで、ＦＦ商品の注文を受け付けるためのインタフェースを提供する。これにより、表示端末１０では、ユーザが購入を所望するＦＦ商品の選択（入力）を容易且つ確実に行うことができる。また、表示端末１０は、注文の対象となったＦＦ商品の商品ＩＤをＰＯＳ端末２０に入力することができる。したがって、表示端末１０は、ＦＦ商品の注文支援を行うことができる。

なお、表示制御部１１２は、上述した購入個数以外の情報を第２撮像画像７０上に重畳表示させてもよい。例えば、表示制御部１１２は、対象領域７１に関連付けられた商品ＩＤに対応する商品名や価格をＦＦ商品マスタ５４２から読み出し、読み出した商品名や価格を該当する対象領域７１上に重畳表示させてもよい。また、例えば、表示制御部１１２は、ＦＦ商品マスタ５４２からおすすめ商品の商品ＩＤを読み出し、該当する対象領域７１上に、おすすめ商品であることを示す情報を重畳表示させてもよい。また、例えば、表示制御部１１２は、ＦＦ商品マスタ５４２ら、各ＦＦ所品の売上順位を読み出し、該当する対象領域７１上に売上順位を示す情報を重畳表示させてもよい。

また、図２及び図３で説明した表示端末１０の構成では、ユーザ側及び店員側の表示部１４に第２撮像画像７０を表示することで、ユーザ及び店員の利便性向上を図ることができる。

例えば、ユーザ側の表示部１４に表示された第２撮像画像７０を用いてユーザＵ自身がＦＦ商品の注文入力を行う場合、表示制御部１１２は、当該第２撮像画像７０に上述した対象領域の強調表示や購入個数の重畳表示を行う。これにより、ユーザＵは、選択したＦＦ商品やその購入個数を容易に確認することができるため、利便性の向上を図ることができる。また、このとき、表示制御部１１２は、店員側の表示部１４に、ユーザ側の表示部１４に表示した第２撮像画像７０と同じ画面を表示させる。これにより、店員Ｃは、ユーザＵが選択したＦＦ商品やその購入個数を容易把握することができるため、利便性の向上を図ることができる。

また、例えば、ユーザＵが口頭で伝えたＦＦ商品を店員Ｃが店員側の表示部１４に表示された第２撮像画像７０を用いて注文入力を行う場合も同様に、表示制御部１１２は、当該第２撮像画像７０に上述した対象領域の強調表示や購入個数の重畳表示を行う。これにより、店員Ｃは、選択したＦＦ商品やその購入個数を容易に確認することができるため、利便性の向上を図ることができる。また、このとき、表示制御部１１２は、ユーザ側の表示部１４に、店員側の表示部１４に表示した第２撮像画像７０と同じ画面を表示させる。これにより、ユーザＵは、店員Ｃが操作したＦＦ商品やその購入個数を容易に確認することができるため、誤注文発生の低減化を図ることができる。

次に、図１３を参照してＰＯＳ端末２０の機能構成について説明する。図１３は、ＰＯＳ端末２０の機能構成の一例を示す図である。

図１３に示すように、ＰＯＳ端末２０は、表示制御部２１１と、操作受付部２１２と、商品登録部２１３と、決済処理部２１４とを備える。

ＰＯＳ端末２０が備える機能部の一部又は全ては、ＰＯＳ端末２０のプロセッサ（例えばＣＰＵ２１）とメモリ（例えばＲＯＭ２２、記憶部２６）に記憶されたプログラムとの協働により実現されるソフトウェア構成であってもよい。また、ＰＯＳ端末２０が備える機能部の一部又は全ては、ＰＯＳ端末２０に搭載された専用回路等で実現されるハードウェア構成であってもよい。

表示制御部２１１は、各種の画面を表示部２４に表示させる。例えば、表示制御部２１１は、商品登録部２１３及び決済処理部２１４が実行する商品登録や決済処理に係る操作画面を表示部２４に表示させる。また、表示制御部２１１は、サーバ装置５０から提供される第２撮像画像を表示部２４に表示させてもよい。この場合、ＰＯＳ端末２０は、表示装置の一例と考えることができ、表示制御部２１１は表示手段の一例として機能する。

操作受付部２１２は、操作部２５を介して入力された操作を受け付ける。例えば、操作受付部２１２は、テンキーや、小計キー、締めキー等の操作を受け付ける。また、操作受付部２１２は、表示部２４に表示された第２撮像画像に対する操作を受け付けてもよい。この場合、操作受付部２１２は、第１受付手段の一例として機能する。

商品登録部２１３は、ユーザが購入する商品の登録処理を実行する。具体的には、商品登録部２１３は、読取部２７と協働することで、読取部２７が読み取った一般商品の商品ＩＤを購入対象として登録する。また、商品登録部２１３は、表示端末１０からＦＦ商品の商品ＩＤ（及び購入個数）が入力されると、その商品ＩＤを購入対象として登録する。ここで、商品の登録とは、対象商品の商品ＩＤを当該対象商品の購入個数等と関連付けて、ＲＡＭ２３等に保持することを意味する。

また、商品登録部２１３は、サーバ装置５０が保持する商品マスタ５４１及びＦＦ商品マスタ５４２を参照し、登録した商品ＩＤに対応する一般商品又はＦＦ商品の商品名、価格等を読み出すと、読み出した情報を表示部２４に表示させる。

決済処理部２１４は、商品登録部２１３が登録した商品の決済処理を実行する。具体的には、決済処理部２１４は、商品登録の終了を指示する操作（例えば、小計キーの操作）に応じて、商品マスタ５４１及びＦＦ商品マスタ５４２に記憶された価格と、登録された各商品の購入個数とに基づき、登録された商品の合計金額を算出する。そして、決済処理部２１４は、ユーザが支払った金額で商品の合計金額を決済する決済処理を実行する。

以下、注文支援システム１の動作例について説明する。

図１４は、サーバ装置５０が実行する処理の一例を示すフローチャートである。まず、画像取得部５１１は、撮像装置３０から第１撮像画像を取得する（ステップＳ１１）。画像解析部５１２は、ステップＳ１１で取得された第１撮像画像を解析し、第１撮像画像に表されたＦＦ商品の品種とその位置を認識する（ステップＳ１２）。

続いて、関連付部５１３は、ステップＳ１２の認識結果に基づいて、同一品目のＦＦ商品又はＦＦ商品群が表された領域を区分する（ステップＳ１３）。次いで、関連付部５１３は、第１撮像画像の各領域に、対応するＦＦ商品の商品ＩＤを関連付けた第２撮像画像を生成する（ステップＳ１４）。

そして、画像提供部５１４は、ステップＳ１４で生成された第２撮像画像を表示端末１０に提供し（ステップＳ１５）、ステップＳ１１に処理を戻す。これにより、第２撮像画像は、第１撮像画像の１フレーム毎又は所定のフレーム毎に生成されるため、商品収容具４０のリアルタイムの状態が表示端末１０に表示されることになる。

図１５は、表示端末１０が実行する処理の一例を示すフローチャートである。なお、本処理の前提として、画像取得部１１１は、サーバ装置５０から提供される第２撮像画像を順次取得しているものとする（ステップＳ２１）。

表示制御部１１２は、ステップＳ２１で取得された第２撮像画像を表示部１４に表示させる（ステップＳ２２）。また、表示制御部１１２は、第２撮像画像に設定された領域（対象領域）を視認可能な状態で表示させてもよい。

次いで、操作受付部１１３は、表示部１４に表示された第２撮像画像に基づき、注文の対象とする対象商品が選択されたか否かを判定する（ステップＳ２３）。ここで、対象商品が選択されない場合（ステップＳ２３；Ｎｏ）、ステップＳ２６に移行する。

また、第２撮像画像に含まれる対象領域の選択により、何れかの対象商品が選択されると（ステップＳ２３；Ｙｅｓ）、表示制御部１１２は、選択された対象領域を強調表示させる（ステップＳ２４）。また、表示制御部１１２は、その対象領域に対して行われた選択操作の累計回数を購入個数として、当該対象領域に重畳表示させる（ステップＳ２５）。

続いて、情報出力部１１４は、所定の確定操作により注文の確定が指示されたか否かを判定する（ステップＳ２６）。ここで、確定操作が行われない場合には（ステップＳ２６；Ｎｏ）、ステップＳ２３に処理を戻す。

また、ステップＳ２６で確定操作を受け付けた場合には（ステップＳ２６；Ｙｅｓ）、情報出力部１１４は、選択された対象商品毎に商品ＩＤと購入個数とを関連付けてＰＯＳ端末２０に出力し（ステップＳ２７）、本処理を終了する。

なお、ステップＳ２６の確定操作は、店員がユーザに確認を行った上で店員が行う構成としてもよい。また、この場合、確定操作を行う際に、出力先となるＰＯＳ端末２０を指定できるように構成してもよい。これにより、例えばＰＯＳ端末２０が複数台設置されているような場合でも、所望のＰＯＳ端末２０に出力させることができるため、ＦＦ商品の決済を行う際の利便性を向上させることができる。

図１６は、ＰＯＳ端末２０が実行する処理の一例を示すフローチャートである。まず、商品登録部２１３は、表示部２４、読取部２７又は表示端末１０を介して商品ＩＤが入力されたか否かを判定する（ステップＳ３１）。商品ＩＤが入力されない場合（ステップＳ３１；Ｎｏ）、ステップＳ３３に移行する。

また、商品登録部２１３は、商品ＩＤが入力されると（ステップＳ３１；Ｙｅｓ）、商品マスタ５４１及びＦＦ商品マスタ５４２から、入力された商品ＩＤに対応する一般商品又はＦＦ商品を特定し、注文の対象商品として登録する（ステップＳ３２）。

続いて、商品登録部２１３は、小計キー等の操作により登録終了が指示されたか否かを判定する（ステップＳ３３）。登録終了が指示されない場合（ステップＳ３３；Ｎｏ）、商品登録部２１３は、ステップＳ３１に処理を戻す。

また、登録終了が指示されると（ステップＳ３３；Ｙｅｓ）、決済処理部２１４は、それまでに登録された対象商品の合計金額を算出し、算出した合計金額に基づいて決済処理を実行する（ステップＳ３４）。

以上のように、本実施形態の表示端末１０は、ＦＦ商品を収容する商品収容具４０を撮像した第１撮像画像に含まれる、同一品目のＦＦ商品又はＦＦ商品群が表された対象領域に、当該ＦＦ商品を識別可能な商品ＩＤを関連付けた第２撮像画像を表示部１４に表示させる。また、表示端末１０は、第２撮像画像に含まれた対象領域に対する操作に応じて、当該対象領域に関連付けられた商品ＩＤに対応する商品を、注文の対象商品として受け付け、その対象商品を識別可能な商品ＩＤをＰＯＳ端末２０に出力する。

これにより、表示端末１０操作者は、第２撮像画像に対する操作により、注文の対象となるＦＦ商品を選択することができるため、ＦＦ商品の注文を容易且つ確実に行うことができる。したがって、表示端末１０は、ＦＦ商品の注文支援を行うことができる。

また、表示端末１０は、第２撮像画像に含まれた対象領域の各々を視認可能な状態で表示する。これにより、表示端末１０は、ＦＦ商品の選択及び注文に係る操作性を向上させることができる。

また、表示端末１０は、操作された対象領域を強調して表示する。これにより、表示端末１０の操作者は、第２撮像画像を見ることで、自己が操作した対象領域、つまりＦＦ商品を容易に確認することができる。また、表示端末１０の観察者は、第２撮像画像を見ることで、操作者によって選択された対象領域を容易に確認することができる。したがって、表示端末１０は、ＦＦ商品の選択及び注文に係る利便性を向上させることができる。

また、表示端末１０は、対象商品の購入個数を、当該対象商品に対応する対象領域に重畳して表示する。これにより、表示端末１０の操作者は、第２撮像画像を見ることで、自己が注文したＦＦ商品の購入個数を容易に確認することができる。また、表示端末１０の観察者は、第２撮像画像を見ることで、操作者によって注文されたＦＦ商品の購入個数を容易に確認することができる。したがって、表示端末１０は、ＦＦ商品の選択及び注文に係る利便性を向上させることができる。

また、本実施形態のサーバ装置５０は、ＦＦ商品を収容する商品収容具４０を撮像した第１撮像画像を取得し、第１撮像画像に表されたＦＦ商品と当該ＦＦ商品の位置とを認識する。また、サーバ装置５０は、認識結果に基づいて、同一品目のＦＦ商品又はＦＦ商品群が表された対象領域毎に、当該ＦＦ商品を識別可能な商品ＩＤを関連付け、第２撮像画像として表示端末１０に提供する。

これにより、表示端末１０では、サーバ装置５０で生成された第２撮像画像を用いてＦＦ商品の選択操作を受け付けることで、上述したように、ＦＦ商品の注文受付を確実に行うことができる。したがって、サーバ装置５０は、ＦＦ商品の注文支援を行うことができる。

また、サーバ装置５０は、リアルタイムで撮像される第１撮像画像から第２撮像画像を生成することができるため、表示端末１０では、商品収容具４０のリアルタムの状態を反映した第２撮像画像を用いてＦＦ商品の選択を受け付けることができる。したがって、注文支援システム１では、ＦＦ商品の在庫管理を特段行うことなく、商品収容具４０に現存するＦＦ商品の注文を受け付けることができる。また、表示端末１０に表示された第２撮像画像を見ることで、ＦＦ商品の在庫数や有無を容易に確認することができる。したがって、注文支援システム１では、ＦＦ商品の管理に係る処理の効率化を図ることができる。

なお、上述した実施形態は、上述した各装置が有する構成又は機能の一部を変更することで、適宜に変形して実施することも可能である。そこで、以下では、上述した実施形態に係るいくつかの変形例を他の実施形態として説明する。なお、以下では、上述した実施形態と異なる点を主に説明することとし、既に説明した内容と共通する点については詳細な説明を省略する。また、以下で説明する変形例は、個別に実施されてもよいし、適宜組み合わせて実施されてもよい。

（変形例１）
上述の実施形態では、サーバ装置５０が第２撮像画像を生成する形態としたが、これに限らず、サーバ装置５０以外の他の装置（情報処理装置、画像処理装置等）が生成する形態としてもよい。

一例として、ＰＯＳ端末２０が、撮像装置３０で撮像された第１撮像画像から、第２撮像画像を生成する形態としてもよい。この場合、ＰＯＳ端末２０は、例えば上述した画像取得部５１１、画像解析部５１２、関連付部５１３、画像提供部５１４等の機能部を備え、撮像装置３０から取得した第１撮像画像から第２撮像画像を生成する。

なお、ＰＯＳ端末２０は、生成した第２撮像画像を表示部２４に表示させてもよいし、表示装置１０に提供してもよい。また、例えばＰＯＳ端末２０は、表示制御部１１２の機能部を具備するとともに、表示装置１０の操作受付部１１３と協働することで、表示装置１０に対する操作に応じて、表示部１４に表示する第２撮像画像を制御してもよい。

（変形例２）
上述の実施形態では、表示端末１０が表示する第２撮像画像に対する操作により、注文の対象となるＦＦ商品の入力（注文）を受け付ける構成を説明した。しかしながら、ＦＦ商品の入力方法はこれに限らないものとする。

例えば、表示端末１０が、音声を認識可能な音声入力装置を別途備え、音声入力装置を介してＦＦ商品の商品名が入力される形態としてもよい。この場合、表示制御部１１２は、入力された商品名に対応する商品ＩＤを特定し、当該商品ＩＤに対応する対象領域を強調表示させてもよい。

また、例えば、撮像装置３０が撮像する第１撮像画像を解析することで、店員により商品収容具４０から取り出されたＦＦ商品を認識し、その認識結果に基づいて対象商品を入力する形態としてもよい。以下、この形態に係るサーバ装置５０及び表示端末１０の機能構成について説明する。

図１７は、本変形例に係るサーバ装置５０の機能構成の一例を示す図である。図１７に示すように、サーバ装置５０は、上述した画像取得部５１１、画像解析部５１２、関連付部５１３、及び画像提供部５１４に加えて、動作認識部５１５と対象商品通知部５１６とを備える。

動作認識部５１５は、画像取得部５１１が取得する第１撮像画像を監視し、商品収容具４０に対して行われた人の動作を認識する。具体的には、動作認識部５１５は、店員が商品収容具４０からＦＦ商品を取り出す動作を認識する。動作認識部５１５は、ＦＦ商品の取り出し動作を認識すると、取り出されたＦＦ商品の品目を更に認識する。

ここで、動作の認識方法は特に問わず、公知の技術を用いることが可能である。例えば、ＦＦ商品を取り出す際の体の向きや手の動き等を機械学習した学習済モデルを用いて認識する構成としてもよい。また、取り出しの対象となったＦＦ商品の認識は、画像解析部５１２と協働することで行ってもよい。

対象商品通知部５１６は、動作認識部５１５で認識されたＦＦ商品の商品ＩＤを、購入対象の対象商品として外部装置に通知する。具体的には、対象商品通知部５１６は、ＦＦ商品マスタ５４２を参照し、動作認識部５１５で認識されたＦＦ商品の商品ＩＤを特定すると、その商品ＩＤを表示端末１０及びＰＯＳ端末２０に出力する。

なお、対象商品通知部５１６からの通知を受け付けたＰＯＳ端末２０は、通知された商品ＩＤを用いて対象商品の登録を行うものとする。また、対象商品通知部５１６は、表示端末１０にのみ通知を行うことで、表示端末１０からＰＯＳ端末２０に対象商品の商品ＩＤが入力されるように構成してもよい。

図１８は、本変形例に係る表示端末１０の機能構成の一例を示す図である。図１８に示すように、表示端末１０は、上述した画像取得部１１１、表示制御部１１２、操作受付部１１３、及び情報出力部１１４に加えて、通知受付部１１５を備える。

通知受付部１１５は、第２受付手段の一例である。通知受付部１１５は、対象商品通知部５１６から通知されるＦＦ商品の商品ＩＤを受け付ける。また、表示制御部１１２は、通知受付部１１５が商品ＩＤを受け付けると、表示部１４に表示された第２撮像画像に含まれる対象領域のうち、通知受付部１１５が受け付けた商品ＩＤに対応する対象領域を強調表示する。さらに、表示制御部１１２は、同一の対象領域に対する商品ＩＤの通知回数を、当該商品ＩＤに対応するＦＦ商品の購入個数として該当する対象領域に重畳表示させる。

これにより、ユーザは、表示端末１０に表示される第２撮像画像を見ることで、どのＦＦ商品が何個取り上げられたかを容易に把握することができる。また、ユーザが口頭等で注文したＦＦ商品と異なるＦＦ商品が取り上げられたような場合であっても、表示端末１０に表示された第２撮像画像を見ることで、誤注文の発生を容易に確認することができる。したがって、本変形例の注文支援システム１では、商品の登録に係る処理を支援することができる。

以下、本変形例に係る注文支援システム１の動作例について説明する。

図１９は、本変形例のサーバ装置５０が実行する処理の一例を示すフローチャートである。なお、本処理の前提として、画像取得部５１１は、撮像装置３０で撮像される第１撮像画像を順次取得しているものとする（ステップＳ４１）。

動作認識部５１５は、ステップＳ１１で取得された第１撮像画像を解析し、ＦＦ商品の取り出し動作を認識するまで待機する（ステップＳ４２；Ｎｏ）。ここで、ＦＦ商品の取り出し動作を認識すると（ステップＳ４２；Ｙｅｓ）、動作認識部５１５は、取り出されたＦＦ商品を認識し、当該ＦＦ商品の商品ＩＤを特定する（ステップＳ４３）。

そして、対象商品通知部５１６は、ステップＳ４３で特定された商品ＩＤを表示端末１０やＰＯＳ端末２０に通知する（ステップＳ４４）。

図２０は、本変形例の表示端末１０が実行する処理の一例を示すフローチャートである。なお、本処理の前提として、画像取得部１１１は、サーバ装置５０から提供される第２撮像画像を順次取得しているものとする（ステップＳ５１）。また、表示部１４には第２撮像画像が表示されているものとする。また、本処理では、表示端末１０から対象商品の商品ＩＤをＰＯＳ端末２０に送信（入力）する例について説明する。

まず、通知受付部１１５は、サーバ装置５０から対象商品（ＦＦ商品）の商品ＩＤが通知されるまで待機する（ステップＳ５２；Ｎｏ）。ここで、通知受付部１１５が商品ＩＤの通知を受け付けると（ステップＳ５２；Ｙｅｓ）、表示制御部１１２は、通知された商品ＩＤに対応する対象領域を強調表示する（ステップＳ５３）。また、表示制御部１１２は、同一の商品ＩＤが通知された回数を購入個数として、該当する対象領域上に重畳表示する（ステップＳ５４）。

続いて、情報出力部１１４は、所定の確定操作により注文の確定が指示されたか否かを判定する（ステップＳ５５）。ここで、確定操作が行われない場合には（ステップＳ５５；Ｎｏ）、ステップＳ５２に処理を戻す。

また、ステップＳ５５で確定操作を受け付けた場合（ステップＳ５５；Ｙｅｓ）、情報出力部１１４は、対象商品毎に商品ＩＤと購入個数とを関連付けてＰＯＳ端末２０に出力し（ステップＳ５６）、本処理を終了する。

以上のように、本変形例のサーバ装置５０は、商品収容具４０からＦＦ商品が取り出されるとＦＦ商品を認識し、注文の対象商品の商品ＩＤとして表示端末１０等に出力する。また、表示端末１０は、サーバ装置５０から対象商品の商品ＩＤが通知されると、表示部１４に表示された第２撮像画像のうち、通知された商品ＩＤに対応する対象領域を強調して表示する。

これにより、表示端末１０の観察者は、第２撮像画像を見ることで、商品収容具４０から取り出されたＦＦ商品を確認することができるため、取り出されたＦＦ商品が注文された商品と一致するか否かを容易に確認することができる。したがって、表示端末１０は、ＦＦ商品の注文に係る利便性を向上させることができる。

なお、上述の実施形態の各装置で実行されるプログラムは、ＲＯＭや記憶部等に予め組み込まれた状態で提供される。上述の実施形態の各装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、上述の実施形態の各装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の実施形態の各装置で実行されるプログラムをインターネット等のネットワーク経由で提供又は配布するように構成してもよい。

以上、本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの新規な実施形態やその変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 注文支援システム
１０ 表示端末
２０ ＰＯＳ端末
３０ 撮像装置
４０ 商品収容具
５０ サーバ装置
１１１ 画像取得部
１１２ 表示制御部
１１３ 操作受付部
１１４ 情報出力部
１１５ 通知受付部
２１１ 表示制御部
２１２ 操作受付部
２１３ 商品登録部
２１４ 決済処理部
５１１ 画像取得部
５１２ 画像解析部
５１３ 関連付部
５１４ 画像提供部
５１５ 動作認識部
５１６ 対象商品通知部

特開２０２０－１１９２７７号公報

Claims (6)

1. 商品を収容する収容装置を撮像した第１撮像画像に含まれる、同一品目の商品又は商品群が表された領域に、当該商品を識別可能な識別情報を関連付けた第２撮像画像を表示器に表示する表示手段と、
   前記第２撮像画像に含まれた前記領域に対する操作に応じて、当該領域に関連付けられた前記識別情報に対応する商品を、注文の対象商品として受け付ける第１受付手段と、
   前記対象商品を識別可能な識別情報を出力する出力手段と、
   を備える表示装置。
2. 前記表示手段は、前記第２撮像画像に含まれた前記領域の各々を視認可能な状態で表示する、請求項１に記載の表示装置。
3. 前記表示手段は、操作された前記領域を強調して表示する、請求項１又は２に記載の表示装置。
4. 外部装置から前記対象商品の識別情報を指示した通知を受け付ける第２受付手段を更に備え、
   前記表示手段は、通知された前記識別情報に対応する前記領域を強調して表示する、請求項１～３の何れか一項に記載の表示装置。
5. 前記表示手段は、前記対象商品の購入個数を、当該対象商品に対応する領域に重畳して表示する、請求項１～４の何れか一項に記載の表示装置。
6. 商品を収容する収容装置を撮像した第１撮像画像を取得する取得手段と、
   前記第１撮像画像に表された商品と当該商品の位置とを認識する認識手段と、
   前記認識手段の認識結果に基づいて、同一品目の商品又は商品群が表された領域毎に、当該商品を識別可能な識別情報を関連付ける関連付手段と、
   前記識別情報が関連付けられた前記第１撮像画像を、第２撮像画像として表示装置に提供する提供手段と、
   を備えるサーバ装置。

Images