JP2021114046A - 情報処理システム及び情報処理方法 - Google Patents

Abstract

【課題】ＰＯＳ端末における過去の取引情報を容易に確認することが可能な情報処理システム及び情報処理方法を提供する。【解決手段】情報処理システム（監視システム１）は、ＰＯＳ端末における取引情報を取得する取引情報取得部１１１と、ＰＯＳ端末に対応する領域を撮像する撮像装置から撮像画像を取得する画像取得部１１２と、取引情報取得部１１１により取得される取引情報に対応する取引の時間に応じた長さを有するタイムバーを、取引の内容に応じた表示態様で表示画面に表示させる取引表示部１１４と、取引情報取得部１１１により取得される取引情報に対応する撮像画像を表示画面に表示させる画像表示部１１５と、を備える。【選択図】図１

Description

本発明は、情報処理システム及び情報処理方法に関する。

従来、ＰＯＳ端末における取引情報と、ＰＯＳ端末周辺をカメラで撮影した撮影画像とを時刻情報に関連付けて記憶することにより、過去の取引に関する取引情報及び映像を検索することが可能なシステムが提案されている（例えば特許文献１参照）。

特許４２８３０８０号公報

しかしながら、従来の技術では、過去の取引情報を検索する際に、ユーザーは検索画面において取引番号、取引日時などの情報を入力しなければならない。このため、ユーザー操作の利便性が低く、また、ユーザーが確認したい取引情報を容易に検索することが困難である。

本発明の目的は、ＰＯＳ端末における過去の取引情報を容易に確認することが可能な情報処理システム及び情報処理方法を提供することにある。

本発明の一の局面に係る情報処理システムは、ＰＯＳ端末における取引情報を取得する取引情報取得部と、前記ＰＯＳ端末に対応する領域を撮像する撮像装置から撮像画像を取得する画像取得部と、前記取引情報取得部により取得される前記取引情報に対応する取引の時間に応じた長さを有するタイムバーを、当該取引の内容に応じた表示態様で表示画面に表示させる取引表示部と、前記取引情報取得部により取得される前記取引情報に対応する前記撮像画像を前記表示画面に表示させる画像表示部と、を備える。

本発明の他の局面に係る情報処理方法は、ＰＯＳ端末における取引情報を取得する取引情報取得ステップと、前記ＰＯＳ端末に対応する領域を撮像する撮像装置から撮像画像を取得する画像取得ステップと、前記取引情報取得ステップにより取得される前記取引情報に対応する取引の時間に応じた長さを有するタイムバーを、当該取引の内容に応じた表示態様で表示画面に表示させる取引表示ステップと、前記取引情報取得ステップにより取得される前記取引情報に対応する前記撮像画像を前記表示画面に表示させる画像表示ステップと、を一又は複数のプロセッサーにより実行する。

本発明によれば、ＰＯＳ端末における過去の取引情報を容易に確認することが可能となる。

図１は、本発明の実施形態に係る監視システムの構成を示すブロック図である。 図２は、本発明の実施形態に係るＰＯＳ端末から出力されるレシートの一例を示す図である。 図３は、本発明の実施形態に係る監視装置で利用される取引情報の一例を示す図である。 図４は、本発明の実施形態に係る監視装置で利用されるブックマーク情報の一例を示す図である。 図５は、本発明の実施形態に係る監視装置に表示される表示画面の一例を示す図である。 図６は、本発明の実施形態に係る監視装置に表示される取引情報の一例を示す図である。 図７は、本発明の実施形態に係る監視装置に表示されるブックマーク編集画面の一例を示す図である。 図８は、本発明の実施形態に係る監視装置に表示される表示画面の一例を示す図である。 図９は、本発明の実施形態に係る監視装置で実行される取引処理の手順の一例を示すフローチャートである。 図１０は、本発明の実施形態に係る監視装置で実行されるブックマーク登録処理の手順の一例を示すフローチャートである。 図１１は、本発明の実施形態に係る監視装置で実行される再生処理の手順の一例を示すフローチャートである。 図１２は、本発明の実施形態に係る監視装置で実行されるブックマーク編集処理の手順の一例を示すフローチャートである。 図１３は、本発明の実施形態に係る監視装置で利用される識別情報の一例を示す図である。 図１４は、本発明の実施形態に係る監視装置で利用される取引情報の一例を示す図である。 図１５は、本発明の実施形態に係る監視装置に表示される表示画面の一例を示す図である。 図１６は、本発明の実施形態に係る監視装置に表示されるブックマーク編集画面の一例を示す図である。 図１７は、本発明の実施形態に係る監視装置に表示される色設定画面の一例を示す図である。 図１８は、本発明の実施形態に係る監視装置で実行されるブックマーク編集処理の手順の一例を示すフローチャートである。 図１９は、本発明の実施形態に係る監視装置に表示される表示画面の一例を示す図である。 図２０は、本発明の実施形態に係る監視装置に表示される表示画面の一例を示す図である。

以下添付図面を参照しながら、本発明の実施形態について説明し、本発明の理解に供する。なお、以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定するものではない。

本発明に係る情報処理システムは、小売店、飲食店などの店舗（施設）に設置されるＰＯＳ端末周辺のエリアを監視する。例えば、前記情報処理システムは、店舗のレジに設置されるＰＯＳ端末周辺を含む監視エリアを１又は複数のカメラにより撮影して、利用客、従業員などによる不審な行動を検出する。また、前記情報処理システムは、前記カメラにより撮像される撮像画像を再生可能に記録する。

本実施形態では、監視装置１０単体が本発明に係る情報処理システムに相当する。但し、本発明に係る情報処理システムは、ＰＯＳ端末２０単体で構成されてもよいし、監視装置１０及びＰＯＳ端末２０で構成されてもよい。例えば、監視装置１０及びＰＯＳ端末２０のうち複数の構成要素が協働して後述する各種処理（図９〜図１２参照）を分担して実行する場合には、その処理を実行する複数の構成要素を含むシステムが、本発明に係る情報処理システムに相当する。

［監視システム１］
図１に示すように、本発明の実施形態に係る監視システム１は、監視装置１０とＰＯＳ端末２０とカメラ３０とを含む。監視装置１０、ＰＯＳ端末２０、及びカメラ３０は、インターネット、ＬＡＮ、ＷＡＮ、又は公衆電話回線などの通信網Ｎ１を介して通信可能である。例えば、カメラ３０は、ネットワークカメラで構成される。ＰＯＳ端末２０及びカメラ３０は、店舗において、１台ずつ設置されてもよいし、複数台ずつ設置されてもよい。また、１台のＰＯＳ端末２０に対応して、少なくとも１台のカメラ３０が設置されている。図１には、一例として、店舗のレジ領域Ｒ１に設置された１台のＰＯＳ端末２０と、レジ領域Ｒ１を撮影可能な１台のカメラ３０と、レジ領域Ｒ２に設置された１台のＰＯＳ端末２０と、レジ領域Ｒ２を撮影可能な１台のカメラ３０とを示している。

［ＰＯＳ端末２０］
ＰＯＳ端末２０は、小売店の販売商品の取引処理を行い、商品情報、会計情報などの取引情報を管理する。ＰＯＳ端末２０は、商品情報、会計情報を表示する操作表示部を備える。前記操作表示部は、ユーザー（例えば店員）の操作を受け付ける操作画面などを表示する。また、ＰＯＳ端末２０は、前記取引情報を監視装置１０に出力する。さらに、ＰＯＳ端末２０は、前記取引に対応するジャーナルデータ（レシートデータ）を生成してレシートを印刷する。図２には、前記レシートの一例を示している。前記取引情報は、レシート情報、利用客情報、ＰＯＳ端末２０の操作者（店員）情報、取引種別、及び取引日時の少なくともいずれかを含む。

具体的には、ＰＯＳ端末２０の制御部は、ＰＯＳ端末２０の記憶部に記憶される制御プログラムを実行することにより後述の取引処理（図９参照）を実行する。

［カメラ３０］
カメラ３０は、本発明の撮像装置の一例である。カメラ３０は、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を備え、被写体を撮像する。カメラ３０は、被写体を所定のフレームレートで連続して撮像し、所定の解像度のフレーム画像を生成して逐次、監視装置１０に送信する。カメラ３０は、周知の構成を適用することができる。カメラ３０は、対応するＰＯＳ端末２０周辺のレジ領域（監視エリア）を撮影可能な所定の位置に設置される。なお、カメラ３０は、監視装置１０の構成要素に含まれてもよいし、ＰＯＳ端末２０の構成要素に含まれてもよい。また、カメラ３０は、店舗に既設のものであってもよい。

［監視装置１０］
図１に示すように、監視装置１０は、制御部１１、操作表示部１２、記憶部１３、通信部１４などを備える。

操作表示部１２は、各種の情報を表示する液晶ディスプレイ又は有機ＥＬディスプレイのような表示部と、操作を受け付けるマウス、キーボード、又はタッチパネルなどの操作部とを備えるユーザーインターフェースである。例えば、監視装置１０の管理者（ユーザー）は、操作表示部１２において、前記取引情報に対応するブックマークの編集操作（後述）、撮像画像の再生操作（後述）などを行う。操作表示部１２は、本発明の表示画面の一例である。

通信部１４は、監視装置１０を有線又は無線で通信網Ｎ１に接続し、通信網Ｎ１を介してＰＯＳ端末２０及びカメラ３０などの外部機器との間で所定の通信プロトコルに従ったデータ通信を実行するための通信インターフェースである。

記憶部１３は、各種の情報を記憶するフラッシュメモリー、ＨＤＤなどの不揮発性の記憶部である。例えば、記憶部１３には、制御部１１に後述のブックマーク登録処理（図１０参照）を実行させるためのブックマーク登録プログラム、再生処理（図１１参照）を実行させるための再生プログラム、ブックマーク編集処理（図１２参照）を実行させるためのブックマーク編集プログラム、などの制御プログラムが記憶されている。例えば、ブックマーク登録プログラム、再生プログラム、及びブックマーク編集プログラムは、ＣＤ又はＤＶＤなどのコンピュータ読取可能な記録媒体に非一時的に記録されており、監視装置１０に電気的に接続されるＣＤドライブ又はＤＶＤドライブなどの読取装置（不図示）で読み取られて記憶部１３に記憶される。

また記憶部１３には、取引情報Ｄ１、ブックマーク情報Ｄ２などのデータが記憶される。また、記憶部１３には、カメラ３０により撮像される撮像画像の画像データが記憶される。図３は、取引情報Ｄ１の一例を示す図である。図４は、ブックマーク情報Ｄ２の一例を示す図である。

図３に示すように、取引情報Ｄ１には、ＰＯＳ端末２０から出力される前記取引情報が登録される。具体的には、取引情報Ｄ１には、取引ごとに対応する「ＩＤ」、「取引開始日時」、「取引終了日時」、「タイトル」、「詳細」、「種別」などの情報が登録される。「ＩＤ」は、取引の識別情報であり、取引（例えば会計）ごとに番号などの情報が登録される。「取引開始日時」は、前記取引を開始した日時を示し、「取引終了日時」は、前記取引を終了した日時を示す。例えば、レジにおいて利用客の購入予定商品のうち１つ目の商品の情報コードを読み取った（スキャンした）時刻が、前記取引開始日時として登録される。また例えば、レジにおいて利用客の購入予定商品の会計処理が終了してジャーナルデータが生成された時刻が、前記取引終了日時として登録される。すなわち、前記取引開始日時は、１つの取引について取引操作が開始される日時情報であり、前記取引終了日時は、１つの取引について取引操作が終了される日時情報である。

「タイトル」には、前記取引情報に関する種々の情報が登録される。例えば、前記取引が行われた店舗に関する情報（店名、店ＩＤなど）、前記取引が行われたＰＯＳ端末２０に関する情報（端末名、端末ＩＤなど）、前記取引を担当した担当者の関する情報（店員名、店員ＩＤなど）などが登録される。「詳細」は、取引内容に関する商品情報（商品名、価格など）及び会計情報である。「詳細」に列挙される前記商品情報は、例えばレジにおいて商品の情報コードが読み取られた順に登録される。「種別」は、前記取引の種別（種類）を示す情報である。前記種別には、売上処理、返品処理、取消処理、両替処理などが含まれる。前記種別は、例えばＰＯＳ端末２０に表示される操作画面において店員が売上処理、返品処理、取消処理、両替処理などを選択することにより特定される。

取引情報Ｄ１の各情報は、ＰＯＳ端末２０において取引が行われるごとにＰＯＳ端末２０から出力される前記取引情報が監視装置１０に受信されて、制御部１１により登録される。

図４に示すように、ブックマーク情報Ｄ２には、ＰＯＳ端末２０から取得する前記取引情報とカメラ３０から取得する撮影画像の画像情報とが互いに関連付けられて登録される。具体的には、ブックマーク情報Ｄ２には、取引ごとに対応する「ＩＤ」、「取引開始日時」、「取引終了日時」、「画像ＩＤ」などの情報が登録される。「ＩＤ」は、前記取引の識別情報であり、取引情報Ｄ１に含まれる前記ＩＤに対応する。「取引開始日時」及び「取引終了日時」は、取引情報Ｄ１に含まれる前記取引開始日時及び前記取引終了日時に対応する。「画像ＩＤ」は、前記取引開始日時から前記取引終了日時までの画像データの識別情報である。ここで、カメラ３０において撮像される画像データには、撮像日時などの日時情報が付与されている。制御部１１は、前記画像データから、前記取引開始日時から前記取引終了日時までの画像データを抽出することが可能である。制御部１１は、前記取引開始日時から前記取引終了日時までの画像データに識別情報を設定して前記画像ＩＤに登録する。

ブックマーク情報Ｄ２の各情報は、ＰＯＳ端末２０において取引が行われるごとにＰＯＳ端末２０から出力される前記取引情報が監視装置１０に受信されて、制御部１１により、前記取引情報とカメラ３０から出力される画像データの情報とが互いに関連付けられて登録される。すなわち、各取引に対応する取引情報には、当該取引が行われたＰＯＳ端末２０周辺を撮影した撮像画像が関連付けられて登録される。

なお、他の実施形態として、取引情報Ｄ１、ブックマーク情報Ｄ２、前記画像データなどの情報の一部又は全部が、監視装置１０から通信網Ｎ１を介してアクセス可能な他のサーバに記憶されてもよい。この場合、監視装置１０の制御部１１は、前記他のサーバから前記情報を取得して、後述の各制御処理などの各処理を実行してもよい。

制御部１１は、ＣＰＵ、ＲＯＭ、及びＲＡＭなどを有する。前記ＣＰＵは、各種の演算処理を実行するプロセッサーである。前記ＲＯＭは、前記ＣＰＵに各種の処理を実行させるためのＢＩＯＳ及びＯＳなどの制御プログラムを予め記憶する。前記ＲＡＭは、各種の情報を記憶し、前記ＣＰＵが実行する各種の処理の一時記憶メモリー（作業領域）として使用される。そして、制御部１１は、前記ＲＯＭ又は記憶部１３に予め記憶された各種の制御プログラムを前記ＣＰＵで実行することにより監視装置１０を制御する。

具体的に、制御部１１は、図１に示すように、取引情報取得部１１１、画像取得部１１２、記録処理部１１３、取引表示部１１４、画像表示部１１５、再生処理部１１６などの各種の処理部を含む。なお、制御部１１は、前記ＣＰＵで前記ブックマーク登録プログラム、前記再生プログラム、及び前記ブックマーク編集プログラムに従った各種の処理を実行することによって前記各種の処理部として機能する。また、制御部１１に含まれる一部又は全部の処理部が電子回路で構成されていてもよい。なお、前記ＣＰＵで前記ブックマーク登録プログラム、前記再生プログラム、及び前記ブックマーク編集プログラムは、複数のプロセッサーを前記各種の処理部として機能させるためのプログラムであってもよい。

取引情報取得部１１１は、ＰＯＳ端末２０における前記取引情報を取得する。取引情報取得部１１１は、本発明の取引情報取得部の一例である。具体的には、取引情報取得部１１１は、ＰＯＳ端末２０において取引が行われるごとにＰＯＳ端末２０から出力される前記取引情報を取得する。

画像取得部１１２は、ＰＯＳ端末２０に対応する領域を撮像するカメラ３０から撮像画像を取得する。画像取得部１１２は、本発明の画像取得部の一例である。例えば、画像取得部１１２は、カメラ３０がレジ領域Ｒ１を撮像した撮像画像の画像データをカメラ３０から取得する。また例えば、画像取得部１１２は、カメラ３０がレジ領域Ｒ２を撮像した撮像画像の画像データをカメラ３０から取得する。画像取得部１１２は、取得した画像データを記憶部１３に記憶する。

記録処理部１１３は、前記取引の前記取引開始日時と、前記取引終了日時時と、前記取引の内容を示す取引内容とを互いに関連付けて記録する。記録処理部１１３は、本発明の記録処理部の一例である。具体的には、記録処理部１１３は、取引情報取得部１１１が取得した前記取引情報に含まれる前記取引開始日時、前記取引終了日時、前記タイトル、前記詳細、前記種別などを、当該取引に対応するＩＤを付与して取引情報Ｄ１（図２参照）に登録する。

また、記録処理部１１３は、画像取得部１１２が取得した前記画像データのうち前記取引開始日時から前記取引終了日時までの画像データに対応する識別情報（画像ＩＤ）を設定して、ブックマーク情報Ｄ２（図３参照）に登録する。このように、記録処理部１１３は、互いに関連付けられた前記取引情報と前記画像情報とを含む情報（ブックマーク情報）をブックマークとして登録する。

取引表示部１１４は、取引情報取得部１１１により取得される前記取引情報に対応する取引の時間に応じた長さを有するタイムバーを操作表示部１２（表示画面）に表示させる。具体的には、取引表示部１１４は、前記取引開始日時から前記取引終了日時までの長さのタイムバーを操作表示部１２に表示させる。詳細には、取引表示部１１４は、所定の長さを有する基準タイムバーＴＢを操作表示部１２に表示させ、１又は複数の前記取引に対応する１又は複数の前記タイムバーを時系列に従って基準タイムバーＴＢに重ねて表示させる。取引表示部１１４は、本発明の取引表示部の一例である。

例えば、図５に示すように、取引表示部１１４は、操作表示部１２の表示領域に応じた長さの基準タイムバーＴＢを表示させる。図５に示す基準タイムバーＴＢの全長（横幅）は、「１３：５０〜１４：００」の１０分間の長さに対応する。また、取引表示部１１４は、ＩＤ「０００１」の取引に対応するタイムバーＴ１と、ＩＤ「０００２」の取引に対応するタイムバーＴ２と、ＩＤ「０００３」の取引に対応するタイムバーＴ３と、を時系列に従って基準タイムバーＴＢに重ねて表示させる。また、取引表示部１１４は、タイムバーＴ１を取引時間（１３：５０：１５〜１３：５０：５８）に応じた長さで表示させ、タイムバーＴ２を取引時間（１３：５５：１０〜１３：５６：２５）に応じた長さで表示させ、タイムバーＴ３を取引時間（１３：５７：１０〜１３：５９：５３）に応じた長さで表示させる。

また、取引表示部１１４は、操作表示部１２において前記取引に対応するタイムバーが選択された場合に当該タイムバーに対応する前記取引情報を操作表示部１２に表示させる。例えば、図５に示す表示画面において、ユーザーがタイムバーＴ２をマウスポインタＭＰ、指などにより指定（マウスオーバー操作、タッチ操作など）した場合、図６に示すように、取引表示部１１４は、タイムバーＴ２に対応する取引情報Ｆ１を操作表示部１２に表示させる。取引情報Ｆ１には、タイムバーＴ２に対応するＩＤ「０００２」の取引内容、取引種別「売上処理」が表示される。

また、取引表示部１１４は、操作表示部１２において前記取引に対応するタイムバーが選択された場合に当該タイムバーに対応する前記取引情報を編集するための編集ボタンＫ２と、当該取引に対応する撮像画像を動画再生させるための再生ボタンＫ１とを表示させる。なお、取引表示部１１４は、編集ボタンＫ２及び再生ボタンＫ１のいずれか一方を表示させてもよい。また、取引表示部１１４は、図６に示すように、取引情報Ｆ１を削除するための削除ボタンＫ３をさらに表示させてもよい。取引表示部１１４は、本発明の取引表示部の一例である。

ここで、例えば、図６に示す取引情報Ｆ１において、ユーザーが編集ボタンＫ２を選択（タッチ）した場合、取引表示部１１４は、図７に示すブックマーク編集画面Ｆ２を表示させる。ブックマーク編集画面Ｆ２において、ユーザーは、ブックマーク名称（前記タイトル）、詳細（取引内容）、種別などの取引情報を編集することが可能である。またユーザーは、保存ボタンＫ４を押下することにより編集内容を上書き保存することが可能である。前記取引情報が編集された場合、記録処理部１１３は、取引情報Ｄ１（図２参照）を更新する。

画像表示部１１５は、操作表示部１２に前記撮像画像を表示させる。具体的には、画像表示部１１５は、取引情報取得部１１１により取得される前記取引情報に対応する前記撮像画像を操作表示部１２に表示させる。より具体的には、画像表示部１１５は、操作表示部１２において前記タイムバーが選択された場合に当該タイムバーに対応する前記取引情報に対応する前記撮像画像を操作表示部１２に表示させる。画像表示部１１５は、本発明の画像表示部の一例である。

例えば、画像表示部１１５は、操作表示部１２において前記タイムバーが選択された場合に、当該タイムバーの選択位置に応じた日時の前記撮像画像を操作表示部１２に表示させる。例えば図５に示す表示画面において、ユーザーがタイムバーＴ２をマウスポインタＭＰ、指などにより指定した場合、図６に示すように、画像表示部１１５は、タイムバーＴ２に対応するＩＤ「０００２」が関連付けられた画像ＩＤ「Ｐ０００２」（図４参照）の撮像画像（１３：５５：１０〜１３：５６：２５の撮像画像）のうち、前記選択位置に応じた日時の撮像画像を操作表示部１２に表示させる。

再生処理部１１６は、前記撮像画像を動画再生させる。具体的には、再生処理部１１６は、操作表示部１２において前記タイムバーが選択された場合に、当該タイムバーに対応する前記取引開始日時から前記取引終了日時までの前記撮像画像を操作表示部１２に動画再生させる。例えば、図６に示す取引情報Ｆ１において、ユーザーが再生ボタンＫ１を選択（タッチ）した場合、再生処理部１１６は、取引情報Ｆ１に対応する撮像画像（１３：５５：１０〜１３：５６：２５の撮像画像）を操作表示部１２において動画再生させる。再生処理部１１６は、本発明の再生処理部の一例である。

また、再生処理部１１６は、図８に示すように、動画再生中の日時（撮像位日時）を示す情報を操作表示部１２に表示させる。なお、図８では、再生ポインタＳＰが取引開始日時を指し示している。

［取引処理］
次に、図９を参照しつつ、ＰＯＳ端末２０の前記制御部によって実行される取引処理の手順の一例について説明する。前記制御部は、レジにおいて利用客の購入予定商品のうち１つ目の商品の情報コードを読み取ることにより前記制御プログラムの実行を開始することによって、前記取引処理の実行を開始する。ここで、ステップＳ１１、Ｓ１２、・・・は、前記制御部により実行される処理手順（ステップ）の番号を表している。

なお、ここで説明する前記取引処理に含まれる一又は複数のステップが適宜省略されてもよい。また、前記取引処理における各ステップは、同様の作用効果を生じる範囲で実行順序が異なってもよい。さらに、ここではＰＯＳ端末２０の前記制御部によって前記取引処理における各ステップが実行される場合を例に挙げて説明するが、他の実施形態では、他の複数のプロセッサーによって前記取引処理における各ステップが分散して実行されてもよい。また、本発明は、前記取引処理に含まれる一又は複数のステップを実行する取引方法の発明として捉えることができる。

ＰＯＳ端末２０の前記制御部は、取引操作（前記読み取り操作）が開始されると（Ｓ１１：Ｙｅｓ）、取引開始日時を取得する（Ｓ１２）。

前記制御部は、前記取引操作（前記読み取り操作）が終了するまで、すなわち全ての購入予定商品の読み取り操作が終了するまで、前記読み取り操作を行う（Ｓ１３）。

前記取引操作が終了すると、前記制御部は、ジャーナルデータを生成する（Ｓ１４）。また、前記制御部は、前記ジャーナルデータに基づいて、レシート（図２参照）を出力する。

次に、前記制御部は、取引終了日時を取得する（Ｓ１５）。次に、前記制御部は、前記取引開始日時、前記取引終了日時、前記タイトル、前記詳細、前記種別などの情報を含む前記取引情報を監視装置１０に出力する（Ｓ１６）。

前記制御部は、取引ごとに上述の取引処理を実行する。なお、前記取引には、商品購入に関する売上処理、購入商品の返品処理、売上の取消処理、両替処理などが含まれる。

［ブックマーク登録処理］
次に、図１０を参照しつつ、監視装置１０の制御部１１によって実行されるブックマーク登録処理の手順の一例について説明する。制御部１１は、監視エリア（例えばＰＯＳ端末２０周辺のレジ領域）の録画（撮像）を開始することにより前記ブックマーク登録プログラムの実行を開始することによって、前記ブックマーク登録処理の実行を開始する。

なお、ここで説明する前記ブックマーク登録処理に含まれる一又は複数のステップが適宜省略されてもよい。また、前記ブックマーク登録処理における各ステップは、同様の作用効果を生じる範囲で実行順序が異なってもよい。さらに、ここでは監視装置１０の制御部１１によって前記ブックマーク登録処理における各ステップが実行される場合を例に挙げて説明するが、他の実施形態では、他の複数のプロセッサーによって前記ブックマーク登録処理における各ステップが分散して実行されてもよい。また、本発明は、前記ブックマーク登録処理に含まれる一又は複数のステップを実行するブックマーク登録方法の発明として捉えることができる。

ステップＳ２１において、制御部１１は、カメラ３０に前記監視エリアの撮影を開始させる。次にステップＳ２２において、制御部１１は、カメラ３０から撮像画像の画像データを取得して記憶部１３への記録を開始する。ステップＳ２２は、本発明の画像取得ステップの一例である。

次にステップＳ２３において、制御部１１は、ＰＯＳ端末２０から前記取引情報を取得したか否かを判定する。制御部１１がＰＯＳ端末２０から前記取引情報を取得した場合（Ｓ２３：Ｙｅｓ）、処理はステップＳ２４に移行する。また、制御部１１は、前記取引情報を取引情報Ｄ１（図２参照）に登録する。ステップＳ２３は、本発明の取引情報取得ステップの一例である。

ステップＳ２４において、制御部１１は、ＰＯＳ端末２０から取得した前記取引情報とカメラ３０から取得した撮影画像の画像情報とを互いに関連付けたブックマーク情報をブックマークに登録する。例えば、制御部１１は、前記ブックマーク情報をブックマーク情報Ｄ２（図３参照）に登録する。

制御部１１は、ＰＯＳ端末２０から前記取引情報を取得するごとに、前記ブックマーク登録処理を実行する（Ｓ２３、Ｓ２４）。

［再生処理］
次に、図１１を参照しつつ、監視装置１０の制御部１１によって実行される再生処理の手順の一例について説明する。制御部１１は、ユーザーが操作表示部１２に表示された前記取引に対応する前記タイムバーをマウスポインタＭＰなどにより指定することにより前記再生プログラムの実行を開始することによって、前記再生処理の実行を開始する。

なお、ここで説明する前記再生処理に含まれる一又は複数のステップが適宜省略されてもよい。また、前記再生処理における各ステップは、同様の作用効果を生じる範囲で実行順序が異なってもよい。さらに、ここでは監視装置１０の制御部１１によって前記再生処理における各ステップが実行される場合を例に挙げて説明するが、他の実施形態では、他の複数のプロセッサーによって前記再生処理における各ステップが分散して実行されてもよい。また、本発明は、前記再生処理に含まれる一又は複数のステップを実行する再生方法の発明として捉えることができる。

制御部１１は、操作表示部１２において前記取引に対応するタイムバーが指定された場合に（Ｓ３１：Ｙｅｓ）、当該取引に対応する取引情報及びブックマーク情報を取得する（Ｓ３２）。例えば、図５に示す表示画面において、ユーザーがタイムバーＴ２をマウスポインタＭＰにより指定（マウスオーバー操作）した場合、制御部１１は、取引情報Ｄ１（図２参照）からタイムバーＴ２に対応する取引情報を取得し、ブックマーク情報Ｄ２（図３参照）からブックマーク情報を取得する。

次にステップＳ３３において、制御部１１は、タイムバーＴ２に対応する取引情報Ｆ１（図６参照）及び撮像画像を操作表示部１２に表示させる。ステップＳ３３は、本発明の取引表示ステップの一例であり、画像表示ステップの一例である。

次にステップＳ３４において、制御部１１は、取引情報Ｆ１に、前記取引情報Ｆ１を編集するための編集ボタンＫ２と、当該取引に対応する撮像画像を動画再生させるための再生ボタンＫ１とを表示させる（図６参照）。

取引情報Ｆ１において再生ボタンＫ１が押下された場合（Ｓ３５：Ｙｅｓ）、処理はステップＳ３６に移行し、取引情報Ｆ１において編集ボタンＫ２が押下された場合（Ｓ３８：Ｙｅｓ）、処理はステップＳ３９に移行する。

ユーザーにより再生ボタンＫ１が押下されると、制御部１１は、再生ポインタＳＰを取引開始日時に表示させ（Ｓ３６）、前記撮像画像の動画再生を開始する（Ｓ３７）。

ユーザーにより編集ボタンＫ２が押下されると、制御部１１は、後述のブックマーク編集処理を実行する（Ｓ３９）。

ユーザーがタイムバーを指定するごとに、制御部１１は、前記再生処理を実行する。

［ブックマーク編集処理］
次に、図１２を参照しつつ、監視装置１０の制御部１１によって実行されるブックマーク編集処理の手順の一例について説明する。制御部１１は、ユーザーが操作表示部１２に表示された取引情報Ｆ１において編集ボタンＫ２を選択することにより前記ブックマーク編集プログラムの実行を開始することによって、前記ブックマーク編集処理の実行を開始する。

なお、ここで説明する前記ブックマーク編集処理に含まれる一又は複数のステップが適宜省略されてもよい。また、前記ブックマーク編集処理における各ステップは、同様の作用効果を生じる範囲で実行順序が異なってもよい。さらに、ここでは監視装置１０の制御部１１によって前記ブックマーク編集処理における各ステップが実行される場合を例に挙げて説明するが、他の実施形態では、他の複数のプロセッサーによって前記ブックマーク編集処理における各ステップが分散して実行されてもよい。また、本発明は、前記ブックマーク編集処理に含まれる一又は複数のステップを実行するブックマーク編集方法の発明として捉えることができる。

ステップＳ４１において、制御部１１は、取引情報Ｄ１（図２参照）から取引情報Ｆ１（図６参照）に含まれる前記取引情報を取得する。

次にステップＳ４２において、制御部１１は、操作表示部１２においてブックマーク編集画面Ｆ２（図７参照）及び前記取引情報を表示させる。例えば、制御部１１は、ブックマーク編集画面Ｆ２の表示欄Ｂ１にブックマーク名称（タイトル）を表示させ、表示欄Ｂ２に詳細情報（取引内容）を表示させ、表示欄Ｂ３に取引種別を表示させる。

次にステップＳ４３において、制御部１１は、ブックマーク編集画面Ｆ２（図７参照）に保存ボタンＫ４、キャンセルボタンＫ５を表示させる。ユーザーは、ブックマーク編集画面Ｆ２（図７参照）において、必要に応じた表示欄Ｂ１〜Ｂ３の表示内容を変更する。

ブックマーク編集画面Ｆ２において保存ボタンＫ４が押下された場合（Ｓ４４：Ｙｅｓ）、処理はステップＳ４５に移行する。一方、ブックマーク編集画面Ｆ２においてキャンセルボタンＫ５が押下された場合（Ｓ４８：Ｙｅｓ）、処理はステップＳ４７に移行する。

ブックマーク編集画面Ｆ２において保存ボタンＫ４が押下された場合（Ｓ４４：Ｙｅｓ）には、制御部１１は、前記取引情報が変更（編集）されていれば（Ｓ４５：Ｙｅｓ）、前記取引情報を更新する（Ｓ４６）。具体的には、制御部１１は、取引情報Ｄ１（図２参照）において、編集された情報を更新する。

ステップＳ４７において、制御部１１は、ブックマーク編集画面Ｆ２を非表示にする。

以上のように、本実施形態に係る監視装置１０は、ＰＯＳ端末２０における取引情報に対応する取引の時間に応じた長さを有するタイムバーを表示画面に表示させ、前記表示画面において当該タイムバーが選択された場合に当該タイムバーに対応する前記取引情報を前記表示画面に表示させる。また、監視装置１０は、前記取引情報に対応する前記撮像画像を前記表示画面に表示させる。これにより、過去の取引情報を確認する際にユーザーは表示画面においてタイムバーを選択することにより、ユーザーは所望の取引情報を容易に確認することが可能となる。

本発明の監視装置は上述の実施形態に限定されない。本発明の監視装置は、以下に示す形態であってもよい。

他の実施形態として、監視装置１０は、操作表示部１２に表示される各取引に対応するタイムバーを、取引種別を識別可能な表示態様で表示させてもよい。具体的には、記憶部１３に、取引種別と識別情報（例えば色情報）とが互いに関連付けられた識別情報Ｄ３が記憶されている。また、記録処理部１１３は、ＰＯＳ端末２０から前記取引情報を取得すると、前記取引情報に含まれる取引種別に対応する前記識別情報を識別情報Ｄ３から特定し、特定した前記識別情報を取引情報Ｄ１に登録する（図１４参照）。前記識別情報は、色情報に限定されず、模様情報、文字情報、図形情報、記号情報などであってもよい。

取引表示部１１４は、操作表示部１２に表示される各取引に対応するタイムバーを、取引内容に応じた表示態様で表示させる。例えば、取引表示部１１４は、図１５に示すように、前記取引種別が売上処理の場合に「青色」（本発明の第１表示色の一例）でタイムバーＴ１，Ｔ２を操作表示部１２に表示させ、前記取引種別が返品処理（又は取消処理）の場合に「赤色」（本発明の第２表示色の一例）のタイムバーＴ３を操作表示部１２に表示させる。また、例えば、取引表示部１１４は、前記取引種別が売上処理の場合にタイムバーＴ１，Ｔ２を通常表示させ、前記取引種別が返品処理（又は取消処理）の場合にタイムバーＴ３を点滅表示させてもよい。

ここで、例えば、取引情報Ｆ１においてユーザーが編集ボタンＫ２を選択（タッチ）した場合、取引表示部１１４は、図１６に示すブックマーク編集画面Ｆ２を表示させる。また、取引表示部１１４は、ブックマーク編集画面Ｆ２において、色情報の表示欄Ｂ４を表示させる。ユーザーは、ブックマーク編集画面Ｆ２において、ブックマーク名称（前記タイトル）、詳細（取引内容）、種別、色情報などの取引情報を編集することが可能である。

ここで、ユーザーが色情報の表示欄Ｂ４を押下した場合、取引表示部１１４は、図１７に示す色設定画面Ｆ３を表示させる。色設定画面Ｆ３には、例えば複数の色パレットと、ＲＧＢ値の入力欄とが含まれる。ユーザーが色設定画面Ｆ３において所望の色を選択すると、記録処理部１１３は、前記取引情報に関連付けられた色情報（図１４参照）を前記選択された色に更新する。

このように、取引表示部１１４は、操作表示部１２において前記タイムバーが選択された場合に、前記タイムバーの前記表示態様の変更を受け付ける画面（例えば色設定画面Ｆ３）を表示させる。

［ブックマーク登録処理］
図１８には、前記他の実施形態に係る監視装置１０の制御部１１によって実行されるブックマーク登録処理の手順の一例を示している。

ステップＳ５１において、制御部１１は、カメラ３０に前記監視エリアの撮影を開始させる。次にステップＳ５２において、制御部１１は、カメラ３０から撮像画像の画像データを取得して記憶部１３への記録を開始する。

次にステップＳ５３において、制御部１１は、ＰＯＳ端末２０から前記取引情報を取得したか否かを判定する。制御部１１がＰＯＳ端末２０から前記取引情報を取得した場合（Ｓ５３：Ｙｅｓ）、処理はステップＳ５４に移行する。また、制御部１１は、前記取引情報を取引情報Ｄ１（図２参照）に登録する。

ステップＳ５４において、制御部１１は、取引種別を特定する。具体的には、制御部１１は、前記取引情報に基づいて前記取引種別を特定する。

次にステップＳ５５において、制御部１１は、前記取引種別に対応する色を決定する。具体的には、制御部１１は、識別情報Ｄ３（図１３参照）を参照して、前記取引種別に対応する色を決定する。

ステップＳ５６において、制御部１１は、ＰＯＳ端末２０から取得した前記取引情報（色情報を含む）とカメラ３０から取得した撮影画像の画像情報とを互いに関連付けたブックマーク情報をブックマークに登録する。

上述の実施形態によれば、表示画面に表示されたタイムバーごとに、取引種別を容易に把握することができる。このため、例えば不正が生じ易い処理（例えば返品処理、取消処理など）を一見して把握することが可能となる。

また、本発明の他の実施形態として、監視装置１０は、各取引に対応する撮像画像をサムネイル形式で操作表示部１２に表示させてもよい。例えば図１９に示すように、取引表示部１１４は、タイムバーＴ１の取引（ＩＤ「０００１」）に対応する撮像画像と、タイムバーＴ１の取引（ＩＤ「０００２」）に対応する撮像画像と、タイムバーＴ１の取引（ＩＤ「０００２２」）に対応する撮像画像とをサムネイル形式で操作表示部１２に表示させる。なお、各サムネイル画像は、各取引の前記取引開始日時の撮像画像であってもよいし、前記取引開始日時から前記取引終了日時までの間の所定の時刻の撮像画像であってもよい。

また、本発明の他の実施形態として、監視装置１０は、ＰＯＳ端末２０ごとに、対応する基準タイムバーＴＢ及び撮像画像を並べて操作表示部１２に表示させてもよい。例えば図２０に示すように、取引表示部１１４は、店舗のＡ店のレジ領域Ｒ１（図１参照）に設置されたＰＯＳ端末２０における取引に対応する基準タイムバーＴＢ１と、店舗のＢ店のレジ領域Ｒ２（図１参照）に設置されたＰＯＳ端末２０における取引に対応する基準タイムバーＴＢ２とを並べて操作表示部１２に表示させる。

また、取引表示部１１４は、図２０に示すように、Ａ店におけるＩＤ「０００１」の取引に対応するタイムバーＴ１とＩＤ「０００２」の取引に対応するタイムバーＴ２とＩＤ「０００３」の取引に対応するタイムバーＴ３とを時系列に従って基準タイムバーＴＢ１に重ねて表示させ、Ｂ店におけるＩＤ「０００４」の取引に対応するタイムバーＴ４とＩＤ「０００５」の取引に対応するタイムバーＴ５とＩＤ「０００５」の取引に対応するタイムバーＴ６とＩＤ「０００７」の取引に対応するタイムバーＴ７とを時系列に従って基準タイムバーＴＢ２に重ねて表示させる。なお、取引表示部１１４は、例えば、タイムバーＴ１，Ｔ２，Ｔ４，Ｔ６，Ｔ７を「売上処理」に対応する表示態様（例えば「青色」）で表示させ、タイムバーＴ３，Ｔ５を「返品処理」に対応する表示態様（例えば「赤色」）で表示させる。

また、本発明の他の実施形態として、監視装置１０は、前記取引の優先度に応じて前記タイムバーを表示させてもよい。例えば、監視装置１０は、前記取引情報に含まれる商品の内容に応じて優先度を設定し、優先度に応じて前記タイムバーを表示させてもよい。例えば、監視装置１０は、高額商品の優先度を高く設定し、低額商品の優先度を低く設定する。そして、監視装置１０は、優先度が高い商品の読み取り操作を行った時間帯のタイムバーのみを表示させてもよいし、当該タイムバーを、優先度が低い商品の読み取り操作を行った時間帯のタイムバーとは異なる表示態様で表示させてもよい。

また、監視装置１０は、前記取引に高額商品が含まれる場合は当該取引に対応するタイムバーの優先度を高く設定し、前記取引に高額商品が含まれない場合は当該取引に対応するタイムバーの優先度を低く設定してもよい。この場合、監視装置１０は、優先度が高いタイムバーのみを表示させてもよいし、当該タイムバーを、優先度が低いタイムバーとは異なる表示態様で表示させてもよい。

また、本発明の他の実施形態として、監視装置１０は、ユーザーの指示に基づいて、所定のタイムバーを表示させてもよい。例えば、ユーザーが検索画面において、所定の商品を入力した場合、監視装置１０は、検索結果画面において、当該商品を含む取引に対応するタイムバー及び撮像画像を表示させる。

尚、本発明に係る情報処理システムは、各請求項に記載された発明の範囲において、以上に示された各実施形態を自由に組み合わせること、或いは各実施形態を適宜、変形又は一部を省略することによって構成されることも可能である。

１ ：監視システム
１０ ：監視装置
２０ ：ＰＯＳ端末
３０ ：カメラ
１１１ ：取引情報取得部
１１２ ：画像取得部
１１３ ：記録処理部
１１４ ：取引表示部
１１５ ：画像表示部
１１６ ：再生処理部

Claims (11)

1. ＰＯＳ端末における取引情報を取得する取引情報取得部と、
   前記ＰＯＳ端末に対応する領域を撮像する撮像装置から撮像画像を取得する画像取得部と、
   前記取引情報取得部により取得される前記取引情報に対応する取引の時間に応じた長さを有するタイムバーを、当該取引の内容に応じた表示態様で表示画面に表示させる取引表示部と、
   前記取引情報取得部により取得される前記取引情報に対応する前記撮像画像を前記表示画面に表示させる画像表示部と、
   を備える情報処理システム。
2. 前記取引表示部は、前記取引の種別が売上処理の場合に第１表示色で前記タイムバーを前記表示画面に表示させ、前記種別が返品処理又は取消処理の場合に第２表示色で前記タイムバーを前記表示画面に表示させる、
   請求項１に記載の情報処理システム。
3. 前記取引表示部は、前記表示画面において前記タイムバーが選択された場合に、前記タイムバーの前記表示態様の変更を受け付ける画面を表示させる、
   請求項１又は請求項２に記載の情報処理システム。
4. 前記取引表示部は、前記表示画面において前記タイムバーが選択された場合に当該タイムバーに対応する前記取引情報を前記表示画面に表示させる、
   請求項１から請求項３のいずれか１項に記載の情報処理システム。
5. 前記画像表示部は、前記表示画面において前記タイムバーが選択された場合に当該タイムバーに対応する前記取引情報に対応する前記撮像画像を前記表示画面に表示させる、
   請求項１から請求項４のいずれか１項に記載の情報処理システム。
6. 前記取引の開始日時を示す取引開始日時と、前記取引の終了日時を示す取引終了日時と、前記取引の内容を示す取引内容とを互いに関連付けて記録する記録処理部をさらに備え、
   前記取引表示部は、前記取引開始日時から前記取引終了日時までの長さの前記タイムバーを前記表示画面に表示させ、
   前記画像表示部は、前記表示画面において前記タイムバーが選択された場合に、当該タイムバーの選択位置に応じた日時の前記撮像画像を前記表示画面に表示させる、
   請求項１から請求項５のいずれか１項に記載の情報処理システム。
7. 前記撮像画像を動画再生させる再生処理部をさらに備え、
   前記再生処理部は、前記表示画面において前記タイムバーが選択された場合に、当該タイムバーに対応する前記取引開始日時から前記取引終了日時までの前記撮像画像を前記表示画面に動画再生させる、
   請求項６に記載の情報処理システム。
8. 前記取引表示部は、前記表示画面において前記タイムバーが選択された場合に、前記取引情報を編集するための編集ボタンと、前記撮像画像を動画再生させるための再生ボタンとの少なくともいずれかを表示させる、
   請求項７に記載の情報処理システム。
9. 前記表示画面に表示される前記取引情報は、レシート情報、利用客情報、前記ＰＯＳ端末の操作者情報、取引種別、及び取引日時の少なくともいずれかを含む、
   請求項１から請求項８のいずれか１項に記載の情報処理システム。
10. 前記取引表示部は、所定の長さを有する基準タイムバーを前記表示画面に表示させ、１又は複数の前記取引に対応する１又は複数の前記タイムバーを時系列に従って前記基準タイムバーに重ねて表示させる、
    請求項１から請求項９のいずれか１項に記載の情報処理システム。
11. ＰＯＳ端末における取引情報を取得する取引情報取得ステップと、
    前記ＰＯＳ端末に対応する領域を撮像する撮像装置から撮像画像を取得する画像取得ステップと、
    前記取引情報取得ステップにより取得される前記取引情報に対応する取引の時間に応じた長さを有するタイムバーを、当該取引の内容に応じた表示態様で表示画面に表示させる取引表示ステップと、
    前記取引情報取得ステップにより取得される前記取引情報に対応する前記撮像画像を前記表示画面に表示させる画像表示ステップと、
    を一又は複数のプロセッサーにより実行する情報処理方法。

Images