JP2020064500A - カメラ異常検出装置及びプログラム - Google Patents

Abstract

【課題】カメラの画角が遮られた状況をリアルタイムに検出して、カメラによる監視効果を高める。【解決手段】カメラ異常検出装置は、取得手段と、通知手段と、を備える。取得手段は、搬送体の籠受部に置かれた籠の内部を撮影可能に搬送体に設けられたカメラで撮影された画像から籠の上縁が写されていると推定される領域の画像を取得する。通知手段は、取得手段で取得した画像を基に、カメラの画角が遮られているか否かを通知する。【選択図】 図７

Description

本発明の実施形態は、カメラ異常検出装置及びコンピュータを当該カメラ異常検出装置として機能させるためのプログラムに関する。

近年、ショッピングカートを装備した小売店向けに、カートＰＯＳ（Point Of Sales）システムが提案されている。以下では、ショッピングカートをカートと称する。本システムは、カートにタッチパネル、スキャナ等を備えた情報端末を設ける。カートを使用する客は、買上商品をカートに載せる際に、その買上商品の識別コードをスキャナで読み取らせて商品登録を行う。このように、客自身が買い物をしながら商品登録を行うので、会計場、いわゆるレジの混雑を緩和できる。さらには、セルフ式の会計機を使用することで、買上商品の登録から会計までをフルセルフで行えるようになる。

一方、カートＰＯＳシステムの場合、商品が陳列されている売場で客が買上商品をカートの籠受部に置かれた籠に入れる際に自ら商品登録を行うため、店員の目が届きにくい。そこで、籠受部に置かれた籠を撮影できるようにカートにカメラを設置して監視することが考えられる。しかしながら、カートにカメラを設置してもその画角が遮られてしまうと、籠を撮影できなくなるためカメラによる監視効果が薄れてしまう懸念がある。

特開２００８−４０９９９号公報

本発明の実施形態が解決しようとする課題は、カメラの画角が遮られた状況をリアルタイムに検出でき、カメラによる監視効果を高め得るカメラ異常検出装置及びそのプログラムを提供しようとするものである。

一実施形態において、カメラ異常検出装置は、取得手段と、通知手段と、を備える。取得手段は、搬送体の籠受部に置かれた籠の内部を撮影可能に搬送体に設けられたカメラで撮影された画像から籠の上縁が写されていると推定される領域の画像を取得する。通知手段は、取得手段で取得した画像を基に、カメラの画角が遮られているか否かを通知する。

第１の実施形態に係るカートＰＯＳシステムの全体構成図。 同実施形態における情報端末の要部回路構成を示すブロック図。 図２のメインメモリに設けられる主要なワークエリアを示す模式図。 同実施形態の情報端末が設けられたカートの一例を示す斜視図。 同実施形態において、カートに載置される籠の上面図。 同実施形態における基本画像を説明するための模式図。 同実施形態において、情報端末のプロセッサがプログラムに従って実行する処理の主要な手順を示す流れ図。 第２の実施形態における基本画像を説明するための模式図。 第２の実施形態において、情報端末のプロセッサがプログラムに従って実行する処理の主要な手順を示す流れ図。 第２の実施形態において、籠に商品が収納されている第１の状態を示す模式図。 第２の実施形態において、籠に商品が収納されている第２の状態を示す模式図。

以下、カメラの画角が遮られた状況をリアルタイムに検出でき、カメラによる監視効果を高め得るカメラ異常検出装置の実施形態について、図面を用いて説明する。なお、この実施形態は、フルセルフ方式のカートＰＯＳシステムで使用されるカートに取り付けられたカメラの画角が遮られた状況を異常として検出する場合である。

［第１の実施形態］
図１は、第１の実施形態に係るカートＰＯＳシステム１の全体構成図である。カートＰＯＳシステム１は、サーバ１０、会計機２０、情報端末３０及びアテンダント端末４０を含む。情報端末３０は、カートＣに設けられている。複数のカートＣに、それぞれ情報端末３０が設けられている。カートＣは、そのカートＣのユーザである客の買上商品を籠に入れて搬送する搬送体の一例である。

サーバ１０、会計機２０及びアテンダント端末４０は、ＬＡＮ（Local Area Network）等のネットワーク５０に接続されている。ネットワーク５０には、アクセスポイント５１も接続されている。情報端末３０は、無線ユニットを備えている。情報端末３０は、アクセスポイント５１と無線通信を行う。アクセスポイント５１は、ネットワーク５０に繋がる各機器、すなわちサーバ１０、会計機２０及びアテンダント端末４０と、情報端末３０との通信を中継する。アクセスポイント５１は、図１では１台のみ示しているが、店舗の規模等により２台以上あってもよい。かくして情報端末３０は、アクセスポイント５１及びネットワーク５０を介して、サーバ１０、会計機２０及びアテンダント端末４０とデータ通信を行えるようになっている。

情報端末３０は、買上商品の登録に係るデータ入力を客が自ら行うようにした機器である。会計機２０は、買上商品の会計を客が自ら行うようにした機器である。すなわちカートＰＯＳシステム１は、買上商品の登録から会計までを客が自ら行うフルセルフ方式を実現する。会計機２０は、一店舗に複数台設置されていてもよい。図１では、１店舗に３台の会計機２０が設置されたカートＰＯＳシステム１を示している。

アテンダント端末４０は、監視員、いわゆるアテンダントが常駐するアテンダントカウンタに設けられる。アテンダント端末４０は、各情報端末３０及び会計機２０の状態を表示するための表示デバイスを備えている。アテンダントは、表示デバイスに表示される情報から、各情報端末３０及び会計機２０の状態をリアルタイムで監視する。

サーバ１０は、情報端末３０と会計機２０との間で仮想のＰＯＳ端末としての機能を有する。すなわちサーバ１０は、情報端末３０で入力されたデータから買上商品のリストデータを作成する。サーバ１０は、会計機２０を使用する客を特定し、その客の買上商品のリストデータを当該会計機２０に送信する。

図２は、情報端末３０の要部回路構成を示すブロック図である。情報端末３０は、プロセッサ３１、メインメモリ３２、補助記憶デバイス３３、無線ユニット３４、タッチパネル３５、スキャナ３６、リーダ３７、カメラ３８及びシステム伝送路３９を備える。システム伝送路３９は、アドレスバス、データバス、制御信号線等を含む。情報端末３０では、システム伝送路３９に、プロセッサ３１、メインメモリ３２、補助記憶デバイス３３、無線ユニット３４、タッチパネル３５、スキャナ３６、リーダ３７、カメラ３８を接続する。情報端末３０では、プロセッサ３１、メインメモリ３２及び補助記憶デバイス３３と、これらを接続するシステム伝送路３９とによってコンピュータが構成される。

プロセッサ３１は、上記コンピュータの中枢部分に相当する。プロセッサ３１は、オペレーティングシステム又はアプリケーションプログラムに従って、情報端末３０としての各種の機能を実現するべく各部を制御する。プロセッサ３１は、例えばＣＰＵ（Central Processing Unit）である。

メインメモリ３２は、上記コンピュータの主記憶部分に相当する。メインメモリ３２は、不揮発性のメモリ領域と揮発性のメモリ領域とを含む。メインメモリ３２は、不揮発性のメモリ領域ではオペレーティングシステム又はアプリケーションプログラムを記憶する。メインメモリ３２は、プロセッサ３１が各部を制御するための処理を実行する上で必要なデータを不揮発性又は揮発性のメモリ領域で記憶する場合もある。メインメモリ３２は、揮発性のメモリ領域を、プロセッサ３１によってデータが適宜書き換えられるワークエリアとして使用する。ワークエリアとしては、特に図３に示すように、第１画像メモリＭ１と、第２画像メモリＭ２と、警告カウンタｎのメモリＭ３と、を備えている。不揮発性のメモリ領域は、例えばＲＯＭ（Read Only Memory）である。揮発性のメモリ領域は、例えばＲＡＭ（Random Access Memory）である。

補助記憶デバイス３３は、上記コンピュータの補助記憶部分に相当する。例えばＥＥＰＲＯＭ（Electric Erasable Programmable Read-Only Memory）、ＨＤＤ（Hard Disc Drive）、あるいはＳＳＤ（Solid State Drive）等が補助記憶デバイス３３となり得る。補助記憶デバイス３３は、プロセッサ３１が各種の処理を行う上で使用するデータ、あるいはプロセッサ３１での処理によって作成されたデータ等を保存する。補助記憶デバイス３３は、上記のアプリケーションプログラムを記憶する場合もある。

無線ユニット３４は、アクセスポイント５１との間で無線通信プロトコルに従って行う無線通信を制御する。

タッチパネル３５は、情報端末３０の入力デバイスと表示デバイスとを兼ね備えた機器である。タッチパネル３５は、表示された画像に対するタッチ位置を検出し、そのタッチ位置情報をプロセッサ３１に出力する。

スキャナ３６は、商品に付されたバーコード、二次元データコード等のコードシンボルを読み取る。商品には、その商品の識別コードを表すコードシンボルが付されている。スキャナ３６は、読み取ったコードシンボルのデータをプロセッサ３１に出力する。スキャナ３６は、レーザ光の走査によりコードシンボルを読み取るタイプであってもよいし、撮像デバイスで撮像した画像からコードシンボルを読み取るタイプであってもよい。

リーダ３７は、記録媒体に記録されたデータを読み取り、読み取ったデータをプロセッサ３１に出力する。リーダ３７は、記録媒体が磁気カードの場合は磁気カードリーダであり、接触式ＩＣカードの場合にはＩＣカードリーダである。非接触式ＩＣカード又はスマートフォン等のようにＲＦＩＤ（Radio Frequency Identification）を使用した記録媒体の場合には、ＲＦＩＤリーダがリーダ３７として使用される。

カメラ３８は、カートＣの籠受部に置かれた籠を上方から撮影できるように、カートＣに設けられている。カメラ３８は、カートＣのユーザである客が買上商品を正しく籠に入れたか否かを監視するためのものである。

以上のような回路構成要素を備えた情報端末３０において、プロセッサ３１、メインメモリ３２、補助記憶デバイス３３、無線ユニット３４及びタッチパネル３５は、タブレット端末ＴＭによって構成されている。そしてこのタブレット端末ＴＭに、スキャナ３６、リーダ３７及びカメラ３８を、システム伝送路３９を介して電気的に接続することで、情報端末３０が構成されている。

図４は、情報端末３０が設けられたカートＣの一例を示す斜視図である。カートＣは、移動用のキャスタ部Ｃ１と、ハンドルフレーム部Ｃ２と、籠受部Ｃ３とを備えている。キャスタ部Ｃ１は、床面上を円滑に移動させるための４輪の車輪Ｃ１１を有している。またキャスタ部Ｃ１は、籠６０に入らないような大きな荷物を置くための受け部Ｃ１２を備えている。ハンドルフレーム部Ｃ２は、キャスタ部Ｃ１の後輪側に立設された一対の縦フレームＣ２１，Ｃ２１と、これら縦フレームＣ２１，Ｃ２１の上端を連結するハンドルバーＣ２２と、を含む。籠受部Ｃ３は、ハンドルフレーム部Ｃ２の中途部位から前方にある。カートＣは、籠受部Ｃ３に、店備え付けの籠６０を載置することができる。籠６０は、商品を収容するためのものである。

スキャナ３６は、ハンドルバーＣ２２の中途部にある。スキャナ３６は、手前側に読取窓が位置するようにハンドルバーＣ２２に取り付けられている。手前側は、ハンドルバーＣ２２を持ってカートＣを押す客が立つ側である。

一方の縦フレームＣ２１に、ポールＣ４が取り付けられている。ポールＣ４は、その先端がハンドルバーＣ２２よりも上方に位置している。タブレット端末ＴＭは、タッチパネル３５の画面を手前にしてポールＣ４の先端部に取り付けられている。リーダ３７は、カードスリットが手前側に位置するようにタブレット端末ＴＭに取り付けられている。図４においては、リーダ３７を磁気カードリーダとしている。カメラ３８は、籠受部Ｃ３に置かれた籠６０の全体を上方から撮像するように、ポールＣ４の中途部に取り付けられている。

バッテリＢＴは、ハンドルフレーム部Ｃ２の下端側に、縦フレームＣ２１，Ｃ２１に亘って取り付けられている。バッテリＢＴは、タブレット端末ＴＭ、スキャナ３６、リーダ３７及びカメラ３８の駆動電源となる。

図５は、籠６０の上面図である。籠６０は、長方形の底壁６１の各縁から４面の側壁６２Ａ，６２Ｂ，６２Ｃ，６２Ｄを外側に若干傾斜するように上方に立設することで、その内部に上面開口の収容部６３を形成している。また籠６０は、各側壁６２Ａ，６２Ｂ，６２Ｃ，６２Ｄの上端部６３Ａ，６３Ｂ，６３Ｃ，６３Ｄに、コの字形の一対の取っ手６４Ａ，６４Ｂを取り付けている。一方の取っ手６４Ａは、底壁６１の長手方向の縁から立設した一対の側壁６２Ａ，６２Ｃの各上端部６３Ａ，６３Ｃの間の側壁６２Ｄ寄りに掛け渡され、各上端部６３Ａ，６３Ｃに対して回動自在に支持されている。そして、取っ手６４Ａは、側壁６２Ｄの側に回動すると、側壁６２Ｄの上端部６３Ｄに当接して、取っ手６４Ａと上端部６３Ａ，６３Ｄ，６３Ｃとが重なった状態となる。他方の取っ手６４Ｂは、同じく上端部６３Ａと上端部６３Ｃとの間の側壁６２Ｂ寄りに掛け渡され、各上端部６３Ａ，６３Ｃに対して回動自在に支持されている。そして取っ手６４Ｂは、側壁６２Ｂの側に回動すると、側壁６２Ｂの上端部６３Ｂに当接して、取っ手６４Ｂと上端部６３Ａ，６３Ｂ，６３Ｃとが重なった状態となる。

前述したように、カートＣに設けられたカメラ３８は、籠受部Ｃ３に置かれた籠６０を上方から撮影する。籠６０は、底壁６１の長手方向が、客がカートＣを押したときに進む方向と平行となるように籠受部Ｃ３に載置されている。このため、空の籠６０を籠受部Ｃ３に載置した場合には、カメラ３８によって撮影される籠６０の画像は、籠６０の位置がその長手方向に若干ずれることはあるものの、略同じ画像となる。一方、籠６０の収容部６３に商品が収容された場合には、その収容部６３の画像が籠６０毎に異なる。

そこで第１の実施形態では、図６に示すように、籠６０を上方から見たときの各側壁６２Ａ，６２Ｂ，６２Ｃ，６２Ｄの上端部６３Ａ，６３Ｂ，６３Ｃ，６３Ｄと、この上端部６３Ａ，６３Ｂ，６３Ｃ，６３Ｄに重ねられた一対の取っ手６４Ａ，６４Ｂとの画像を基本画像Ｐ１とし、補助記憶デバイス３３で記憶する。そして情報端末３０は、カメラ３８で撮影された画像から籠６０の上縁、すなわち上端部６３Ａ，６３Ｂ，６３Ｃ，６３Ｄが映し出されていると推定される部分を切出し、基本画像Ｐ１と比較する。そして、一致率が第１の閾値Ａよりも低い場合には、情報端末３０は、カメラ３８の画角が遮られていると判定して、客若しくはアテンダントに通知する。ここに、情報端末３０は、カメラ異常検出装置としての機能を有する。

以下、このような第１の実施形態の動作について、具体的に説明する。
はじめに、カートＣを使用して買物を行う客は、籠受部Ｃ３に空の籠６０を載置する。そして客は、タッチパネル３５にタッチする。タッチパネル３５がタッチされると、アイドル状態であったプロセッサ３１が起動する。プロセッサ３１は、図７の流れ図に示す手順の情報処理を開始する。

図７は、情報端末３０のプロセッサ３１が、プログラムに従って実行する処理の主要な手順を示す流れ図である。プログラムは、メインメモリ３２または補助記憶デバイス３３に記憶されている。なお、図７の流れ図に示すとともに以下に説明する処理の内容は一例である。同様な結果が得られるのであれば、その処理の手順は特に限定されるものではない。

プロセッサ３１は、Ａｃｔ１としてタッチパネル３５に登録画面を表示させる。登録画面は、例えば当該情報端末３０で登録された商品の名称、価格等を表示するための画面である。登録画面は、客が買上商品の会計を指示するための会計ボタンの画像を含む。プロセッサ３１は、Ａｃｔ２として補助記憶デバイス３３から基本画像Ｐ１を読出し、第２画像メモリＭ２に記憶する。プロセッサ３１は、Ａｃｔ３としてカメラ３８を起動する。プロセッサ３１は、Ａｃｔ４として警告カウンタメモリＭ３の警告カウンタｎを“０”にリセットする。なお、Ａｃｔ１乃至Ａｃｔ４の各処理の順序はこれに限定されるものではなく、適宜入れ替えてもよい。プロセッサ３１は、いかなる順序であっても、Ａｃｔ１乃至Ａｃｔ４の処理を実行すればよい。

Ａｃｔ１乃至Ａｃｔ４の処理を終えると、プロセッサ３１は、Ａｃｔ５へと進む。プロセッサ３１は、Ａｃｔ５として商品の識別コードを取得したか否かを確認する。識別コードを取得していない場合、プロセッサ３１は、Ａｃｔ５においてＮＯと判定し、Ａｃｔ６へと進む。プロセッサ３１は、Ａｃｔ６として会計ボタンがタッチされたか否かを確認する。会計ボタンがタッチされていない場合、プロセッサ３１は、Ａｃｔ６においてＮＯと判定し、Ａｃｔ９へと進む。そしてプロセッサ３１は、後述するＡｃｔ９乃至Ａｃｔ１９の処理を実行する。そしてＡｃｔ９乃至Ａｃｔ１９の処理を終えると、プロセッサ３１は、Ａｃｔ５へと戻る。

ここにプロセッサ３１は、Ａｃｔ５及びＡｃｔ６において、商品の識別コードを取得するか、会計ボタンがタッチされるのを待ち受ける。そして待ち受けている間、プロセッサ３１は、Ａｃｔ９乃至Ａｃｔ１９の処理を繰り返し実行する。

客は、タッチパネル３５に登録画面が表示されたことを確認した後、買物を開始する。そして購入を希望する商品を見つけると、客は、その商品に付されたバーコード等のコードシンボルをスキャナ３６で読み取らせてから、商品を籠６０に入れる。コードシンボルには、そのコードシンボルが付された商品の識別コードが含まれている。なお、商品にコードシンボルが付されていない場合には、客は、タッチパネル３５を操作してコードシンボルがない商品の一覧をタッチパネル３５に表示させ、その一覧の中から購入を希望する商品を選択する。商品を選択することで、その商品の識別コードが入力されるので、客は、その商品を籠６０に入れる。

Ａｃｔ５及びＡｃｔ６の待ち受け状態において、プロセッサ３１は、スキャナ３６又はタッチパネル３５を介して商品の識別コードを取得すると、Ａｃｔ５においてＹＥＳと判定し、Ａｃｔ７へと進む。プロセッサ３１は、Ａｃｔ７として買上商品の登録処理を行う。

すなわちプロセッサ３１は、商品登録データをサーバ１０へと送信するように無線ユニット３４を制御する。この制御により、無線ユニット３４は、商品登録データをサーバ１０宛に送信する。商品登録データには、取得した商品の識別コードが含まれる。商品登録データには、当該情報端末３０を個々に識別するために端末毎に設定された端末ＩＤも含まれる。商品登録データを受信したサーバ１０は、情報端末３０の端末ＩＤ別に買上商品のリストデータを作成する。またサーバ１０は、買上商品の商品名、価格等の商品データを情報端末３０宛に送信する。情報端末３０のプロセッサ３１は、サーバ１０から受信した商品データが登録画面に表示されるように、登録画面を更新する。

なお、籠６０に入れた商品を戻す場合には、客は、先ず、タッチパネル３５を操作して返品モードとする。次いで客は、買上時と同様に、その商品の識別コードを情報端末３０に入力した後、商品を元の棚に戻す。このときプロセッサ３１は、買上商品の返品処理を行う。すなわちプロセッサ３１は、商品返品データをサーバ１０へと送信するように無線ユニット３４を制御する。この制御により、無線ユニット３４は、商品返品データをサーバ１０宛に送信する。商品返品データには、取得した商品の識別コードが含まれる。商品返品データには、当該情報端末３０の端末ＩＤも含まれる。商品返品データを受信したサーバ１０は、端末ＩＤ別のリストデータから返品商品のデータを削除する。またサーバ１０は、返品商品の商品名、価格等の商品データを情報端末３０宛に送信する。情報端末３０のプロセッサ３１は、サーバ１０から受信した商品データが登録画面から削除されるように、登録画面を更新する。

プロセッサ３１は、買上商品の登録処理又は返品商品の返品処理を終えると、Ａｃｔ６へと進む。すなわちプロセッサ３１は、会計ボタンがタッチされたか否かを確認する。会計ボタンがタッチされていない場合、プロセッサ３１は、Ａｃｔ９乃至Ａｃｔ１９の処理を実行する。そしてＡｃｔ９乃至Ａｃｔ１９の処理を終えると、プロセッサ３１は、Ａｃｔ５へと戻る。すなわちプロセッサ３１は、Ａｃｔ５及びＡｃｔ６の待ち受け状態に戻る。

こうして、買物を終えた客は、登録画面に表示されている会計ボタンにタッチする。
Ａｃｔ５及びＡｃｔ６の待ち受け状態において、プロセッサ３１は、タッチパネル３５を介して会計ボタンがタッチされたこと検知すると、Ａｃｔ６においてＹＥＳと判定し、Ａｃｔ８へと進む。プロセッサ３１は、Ａｃｔ８として会計処理を行う。

すなわちプロセッサ３１は、会計指示データをサーバ１０へと送信するように無線ユニット３４を制御する。この制御により、無線ユニット３４は、会計指示データをサーバ１０宛に送信する。会計指示データには、当該情報端末３０の端末ＩＤが含まれる。会計指示データを受信したサーバ１０は、会計を行う会計機２０を選択する。例えばサーバ１０は、空いている会計機２０を選択する。そしてサーバ１０は、その会計機２０で会計を行うことを案内するためのデータを、情報端末３０宛に送信する。情報端末３０のプロセッサ３１は、サーバから受信したデータを基に客を会計機２０へと案内する画面をタッチパネル３５に表示させる。

プロセッサ３１は、会計処理を終えると、この流れ図に示す手順の情報処理を終了する。その後、プロセッサ３１は、操作入力のない時間が一定時間経過すると、アイドル状態となる。

次に、Ａｃｔ５及びＡｃｔ６の待ち受け状態のときにプロセッサ３１が実行するＡｃｔ９乃至Ａｃｔ１９の処理について具体的に説明する。

プロセッサ３１は、Ａｃｔ９としてカメラ３８で撮影されているフレーム画像を取り込み、その画像を第１画像メモリＭ１に記憶する。プロセッサ３１は、Ａｃｔ１０として第１画像メモリＭ１に記憶した画像を解析して、籠６０の上縁、すなわち上端部６３Ａ，６３Ｂ，６３Ｃ，６３Ｄが映し出されていると推定される部分を切出す。そしてプロセッサ３１は、Ａｃｔ１１として切出した画像と、第２画像メモリＭ２において記憶している基本画像Ｐ１とを比較する。例えばプロセッサ３１は、切出した画像と基本画像Ｐ１とを画素毎に輝度、色成分等を照合し、全画素に対して一致している画素の比率、すなわち一致率を求める。

プロセッサ３１は、Ａｃｔ１２として一致率が第１の閾値Ａよりも低いか否かを判定する。第１の閾値Ａは任意である。例えば、全長が長い商品を一方の側壁に立て掛けて籠６０に収容した場合、籠６０を上から見ると、商品の一部によって側壁の上端部が隠される場合がある。側壁の上端部が商品によって隠されると、一致率が低下する。しかし、カメラ３８の画角が遮られているわけではない。これに対し、カメラ３８のレンズの手前に全長が長い商品が立て掛けられてカメラ３８の画角の大部分が遮られた場合には、一致率は大きく低下する。また、客が意図的にレンズを布等で覆った場合にも、一致率は大きく低下する。第１の閾値Ａは、カメラ３８の画角が遮られているか否かを識別するための値である。システムの管理者は、上記の事象を考慮して第１の閾値Ａを設定する。

プロセッサ３１は、一致率が第１の閾値Ａ以上である場合、Ａｃｔ１２においてＮＯと判定し、Ａｃｔ１３へと進む。プロセッサ３１は、Ａｃｔ１３として警告カウンタｎが“１”以上であるか否かを確認する。警告カウンタｎが“１”以上でない、つまり警告が発生していない場合には、プロセッサ３１は、Ａｃｔ１３においてＮＯと判定し、Ａｃｔ５へと戻る。

一致率が第１の閾値Ａよりも低い場合には、プロセッサ３１は、Ａｃｔ１４として警告カウンタｎを“１”だけカウントアップする。そしてプロセッサ３１は、Ａｃｔ１５として警告カウンタｎが第３の閾値Ｎ１を超えたか否かを判定する。

本実施形態では、一致率が第１の閾値Ａよりも低い場合には、情報端末３０のユーザである客に対して、カメラ３８の画角が遮られていることを警告する。しかし、その後も一致率が第１の閾値Ａよりも低い状況が改善されないまま一定時間Ｔを超えた場合には、アテンダントに対してカメラ３８の画角が遮られていること通知する。つまり第３の閾値Ｎ１は、警告カウンタｎが一定時間Ｔに達するまでのカウント値となる。なお、一定時間Ｔをどの程度の時間とするかは任意である。

プロセッサ３１は、警告カウンタｎが第３の閾値Ｎ１を超えていない場合、Ａｃｔ１５においてＮＯと判定し、Ａｃｔ１６へと進む。プロセッサ３１は、Ａｃｔ１６として第１警告を行う。第１警告とは、例えば、情報端末３０のタッチパネル３５に、カメラ３８の画角が遮られていることを通知するためのメッセージを表示させる処理である。第１警告とは、情報端末３０にブザーが備えられている場合、メッセージの表示とともにブザーを鳴動させてもよい。第１警告を行ったプロセッサ３１は、Ａｃｔ５へと戻る。

プロセッサ３１は、警告カウンタｎが第３の閾値Ｎ１を超えた場合には、Ａｃｔ１５においてＹＥＳと判定し、Ａｃｔ１７へと進む。プロセッサ３１は、Ａｃｔ１７として第２警告を行う。第２警告とは、例えば、第１警告の処理に加えて、無線ユニット３４からサーバ１０宛に警告信号を送信する処理を含むものである。第２警告の処理により、無線ユニット３４からサーバ１０宛に警告信号が送信される。警告信号には、当該情報端末３０のＩＤが含まれる。サーバ１０は、そのＩＤで識別される情報端末３０においてカメラ３８の画角が遮られていることをアテンダントに通知するためのメッセージがアテンダント端末４０の表示デバイスに表示されるように、アテンダント端末４０を制御する。第２警告を行ったプロセッサ３１は、Ａｃｔ５へと戻る。

一致率が第１の閾値Ａ以上の場合において、警告カウンタｎが“１”以上である場合、プロセッサ３１は、Ａｃｔ１３においてＹＥＳと判定し、Ａｃｔ１８へと進む。プロセッサ３１は、Ａｃｔ１８として警告解除を行う。この警告解除により、第１警告が解除される。すなわち、タッチパネル３５に表示されていた警告のためのメッセージが消去される。また、第２警告が行われていた場合には、その第２警告も解除される。すなわち、アテンダント端末４０の表示デバイスに表示されていた同様のメッセージが消去される。

プロセッサ３１は、Ａｃｔ１９として警告カウンタｎを“０”にリセットする。その後、プロセッサ３１は、Ａｃｔ５へと戻る。

ここに、プロセッサ３１を主体とするコンピュータは、Ａｃｔ９及びＡｃｔ１０の処理により、取得手段を構成する。また同コンピュータは、Ａｃｔ１１，Ａｃｔ１２，Ａｃｔ１４乃至Ａｃｔ１７の処理により、通知手段を構成する。

このように第１の実施形態において、プロセッサ３１は、カートＣの籠受部Ｃ３に置かれた籠６０の全体を撮影可能にカートＣに設けられたカメラ３８で撮影された画像から、籠６０の上縁が写されていると推定される画像を取得し、第１画像メモリＭ１に記憶する。一方、第２画像メモリＭ２には、籠６０を上方から見たときの各側壁６２Ａ，６２Ｂ，６２Ｃ，６２Ｄの上端部６３Ａ，６３Ｂ，６３Ｃ，６３Ｄと、この上端部６３Ａ，６３Ｂ，６３Ｃ，６３Ｄに重ねられた一対の取っ手６４Ａ，６４Ｂとの画像が基本画像Ｐ１として記憶されている。

プロセッサ３１は、第１画像メモリＭ１の画像と第２画像メモリＭ２の基本画像Ｐ１とを比較し、その一致率を求める。そしてその一致率が第１の閾値Ａよりも低い場合、プロセッサ３１は、第１警告を行う。これにより、カメラ３８の画角が遮られていることを警告するためのメッセージが情報端末３０のタッチパネル３５に表示される。したがって、カートＣを使用する客は、タッチパネル３５に表示されたメッセージから、カメラ３８の画角が遮られていることを知り得る。

例えば、籠６０に入れた商品がカメラ３８のレンズの手前に位置していたために、カメラ３８の画角の大部分が遮られる場合がある。このような場合、メッセージを確認した客は、カメラ３８の画角を遮らないように、籠６０の中の商品を移動させる。その結果、一致率が第１の閾値Ａ以上になると、メッセージは消去される。かくしてカメラ３８は、客が買上商品を籠６０に入れる動作、あるいは返品商品を籠６０から取り出す動作を安定に撮影できるので、カメラ３８による監視効果を高めることができる。

その一方で、意図的にレンズあるいは籠６０の開口部を布等で覆ってしまい、カメラ３８で籠６０が撮影されないようにする客がいる場合が想定される。このような場合もカメラ３８の画角が遮られていることを警告するためのメッセージが情報端末３０のタッチパネル３５に表示されるが、客は、警告を無視してそのまま放置すると考えられる。そのような場合、本実施形態では、警告カウンタｎが第３の閾値Ｎを超えると、プロセッサ３１は、第２警告を行う。これにより、当該情報端末３０においてカメラ３８の画角が遮られていることをアテンダントに通知するためのメッセージがアテンダント端末４０の表示デバイスに表示される。

したがって、例えばアテンダントが売場まで行き、カメラ３８のレンズあるいは籠６０の開口部を覆っている布などを取り除くように客に注意することができる。そして、このような注意が行われることを客に周知させることで、意図的にレンズあるいは籠６０の開口部を布等で覆うような不正を未然に防止できるようになるので、カメラ３８による監視効果をより一層高めることができる。

［第２の実施形態］
次に、第２の実施形態について説明する。
第１の実施形態では、籠受部Ｃ３に置かれた籠６０の上縁を表す画像を基本画像Ｐ１とした。第２の実施形態では、初期段階として、籠受部Ｃ３に置かれた空の籠６０を表す画像を基本画像Ｐ２とする。そして基本画像Ｐ２は、籠６０の収容部６３の状態が変化する事象が発生する毎に、変化後の画像に更新される。なお、第１の実施形態において、図１乃至図５を用いて説明した部分は第２の実施形態においても共通であるので、同一部分には同一符号を付して、ここでの説明は省略する。

図８は、初期段階の基本画像Ｐ２の一例である。図示するように基本画像Ｐ２は、籠６０の底壁６１と、４面の側壁６２Ａ，６２Ｂ，６２Ｃ，６２Ｄと、各側壁６２Ａ，６２Ｂ，６２Ｃ，６２Ｄの上端部６３Ａ，６３Ｂ，６３Ｃ，６３Ｄと、コの字形の一対の取っ手６４Ａ，６４Ｂと、を表したものである。収容部６３は、空となっている。

情報端末３０は、基本画像Ｐ２を補助記憶デバイス３３で記憶する。そして情報端末３０は、カメラ３８で撮影された画像から籠６０の収容部６３が写されていると推定される領域を含む画像を取得する。また情報端末３０は、籠６０の収容部６３の状態が変化する事象を認識する。すなわち情報端末３０は、収容部６３に商品が投入される事象又は収容部６３から商品が取り除かれる事象を認識する。

このような事象を認識すると、情報端末３０は、取得した画像と基本画像Ｐ２とを比較して変化の度合いを求める。このとき、変化の度合いが第２の閾値Ｂよりも大きい場合には、情報端末３０は、基本画像Ｐ２を、取得した画像に更新する。そして、再び籠６０の収容部６３が変化する事象を認識すると、情報端末３０は、新たに取得した画像と、更新後の基本画像Ｐ２とを比較して変化の度合いを求める。このとき、変化の度合いが第２の閾値Ｂ以下の場合には、情報端末３０は、カメラ３８の画角が遮られていると判定して、客若しくはアテンダントに通知する。ここに、情報端末３０は、カメラ異常検出装置としての機能を有する。

以下、このような第２の実施形態の動作について、具体的に説明する。
第２の実施形態においても、カートＣを使用して買物を行う客は、籠受部Ｃ３に空の籠６０を載置する。そして客は、タッチパネル３５にタッチする。タッチパネル３５がタッチされると、アイドル状態であったプロセッサ３１が起動する。プロセッサ３１は、図９の流れ図に示す手順の情報処理を開始する。

図９は、情報端末３０のプロセッサ３１が、プログラムに従って実行する処理の主要な手順を示す流れ図である。プログラムは、メインメモリ３２または補助記憶デバイス３３に記憶されている。なお、図９の流れ図に示すとともに以下に説明する処理の内容は一例である。同様な結果が得られるのであれば、その処理の手順は特に限定されるものではない。

プロセッサ３１は、Ａｃｔ２１としてタッチパネル３５に登録画面を表示させる。登録画面は、第１の実施形態と共通である。プロセッサ３１は、Ａｃｔ２２として補助記憶デバイス３３から基本画像Ｐ２を読出し、第２画像メモリＭ２に記憶する。プロセッサ３１は、Ａｃｔ２３としてカメラ３８を起動する。プロセッサ３１は、Ａｃｔ２４として警告カウンタメモリＭ３の警告カウンタｎを“０”にリセットする。なお、Ａｃｔ２１乃至Ａｃｔ２４の各処理の順序はこれに限定されるものではなく、適宜入れ替えてもよい。プロセッサ３１は、いかなる順序であっても、Ａｃｔ２１乃至Ａｃｔ２４の処理を実行すればよい。

上記Ａｃｔ２１乃至Ａｃｔ２４の処理を終えると、プロセッサ３１は、Ａｃｔ２５へと進む。プロセッサ３１は、Ａｃｔ２５として商品の識別コードを取得したか否かを確認する。識別コードを取得していない場合、プロセッサ３１は、Ａｃｔ２５においてＮＯと判定し、Ａｃｔ２６へと進む。プロセッサ３１は、Ａｃｔ２６として登録画面の会計ボタンがタッチされたか否かを確認する。会計ボタンがタッチされていない場合、プロセッサ３１は、Ａｃｔ２６においてＮＯと判定し、Ａｃｔ２５へと戻る。

ここにプロセッサ３１は、Ａｃｔ２５及びＡｃｔ２６において、商品の識別コードを取得するか、会計ボタンがタッチされるのを待ち受ける。この待ち受け状態において、プロセッサ３１は、スキャナ３６又はタッチパネル３５を介して商品の識別コードを取得すると、Ａｃｔ２５においてＹＥＳと判定し、Ａｃｔ２７へと進む。プロセッサ３１は、Ａｃｔ２７として第１の実施形態と同様に買上商品の登録処理又は返品処理を行う。

買上商品の登録処理又は返品処理を終えると、プロセッサ３１は、Ａｃｔ２９へと進む。そしてプロセッサ３１は、Ａｃｔ２９乃至Ａｃｔ４０の処理を実行する。このＡｃｔ２９乃至Ａｃｔ４０の処理については、後述する。

Ａｃｔ２５及びＡｃｔ２６の待ち受け状態において、プロセッサ３１は、タッチパネル３５を介して会計ボタンがタッチされたこと検知すると、Ａｃｔ２６においてＹＥＳと判定し、Ａｃｔ２８へと進む。プロセッサ３１は、Ａｃｔ２８として第１の実施形態と同様に会計処理を行う。プロセッサ３１は、会計処理を終えると、この流れ図に示す手順の情報処理を終了する。その後、プロセッサ３１は、操作入力のない時間が一定時間経過すると、アイドル状態となる。

次に、プロセッサ３１が実行するＡｃｔ２９乃至Ａｃｔ４０の処理について具体的に説明する。

買上商品の登録処理又は返品処理を終えると、プロセッサ３１は、Ａｃｔ２９としてカメラ３８で撮影されているフレーム画像を取り込み、その画像を第１画像メモリＭ１に記憶する。プロセッサ３１は、Ａｃｔ３０として第１画像メモリＭ１に記憶した画像を解析して、籠６０の収容部６３を含む全域が映し出されていると推定される部分を切出す。そしてプロセッサ３１は、Ａｃｔ３１として切出した画像と、第２画像メモリＭ２において記憶している基本画像Ｐ２とを比較する。例えばプロセッサ３１は、切出した画像と基本画像Ｐ２とを画素毎に輝度、色成分等を照合し、全画素に対して変化している画素の比率、すなわち変化率を求める。

プロセッサ３１は、Ａｃｔ３２として変化率が第２の閾値Ｂよりも大きいか否かを判定する。第２の閾値Ｂは任意である。例えば、籠６０の収容部６３に商品が投入されると、その商品の投入前と投入後とで、収容部６３の画像に変化が生じる。これに対し、カメラ３８のレンズが遮られていた場合には、たとえ商品が投入されても、商品の投入前と投入後とで撮影画像に変化は生じない。収容部６３から商品が取り除かれた場合も同様である。第２の閾値Ｂは、カメラ３８の画角が遮られているか否かを識別するための値である。システムの管理者は、上記の事象を考慮して第２の閾値Ｂを設定する。

プロセッサ３１は、変化率が第２の閾値Ｂよりも大きい場合、Ａｃｔ３２においてＹＥＳと判定し、Ａｃｔ３３へと進む。プロセッサ３１は、Ａｃｔ３３として警告カウンタｎが“１”以上であるか否かを確認する。警告カウンタｎが“１”以上でない、つまり警告が発生していない場合には、プロセッサ３１は、Ａｃｔ３３においてＮＯと判定し、Ａｃｔ４０へと進む。

これに対し、変化率が第２の閾値Ｂ以下の場合には、プロセッサ３１は、Ａｃｔ３２においてＮＯと判定し、Ａｃｔ３４へと進む。プロセッサ３１は、Ａｃｔ３４として警告カウンタｎを“１”だけカウントアップする。そしてプロセッサ３１は、Ａｃｔ３５として警告カウンタｎが第４の閾値Ｎ２を超えたか否かを判定する。

本実施形態では、変化率が第２の閾値Ｂ以下の場合に、情報端末３０のユーザに対して、カメラ３８の画角が遮られていることを警告する。しかし、その後も変化率が第２の閾値Ｂ以下の状況が改善されないまま一定回数Ｋの登録処理又は返品処理が実施された場合には、アテンダントに対してカメラ３８の画角が遮られていることを通知する。つまり第４の閾値Ｎ２は、一定回数Ｋよりも“１”だけ小さい値となる。なお、一定回数Ｋを何回とするかは任意である。

プロセッサ３１は、警告カウンタｎが第４の閾値Ｎ２を超えていない場合、Ａｃｔ３５においてＮＯと判定し、Ａｃｔ３６へと進む。プロセッサ３１は、Ａｃｔ３６として第１警告を行う。第１警告の内容は、第１の実施形態と同様でよい。第１警告を行ったプロセッサ３１は、Ａｃｔ４０へと進む。

プロセッサ３１は、警告カウンタｎが第４の閾値Ｎ２を超えた場合、Ａｃｔ３５においてＹＥＳと判定し、Ａｃｔ３７へと進む。プロセッサ３１は、Ａｃｔ３７として第２警告を行う。第２警告の内容は、第１の実施形態と同様でよい。第２警告を行ったプロセッサ３１は、Ａｃｔ４０へと進む。

変化率が第２の閾値Ｂよりも大きい場合において、警告カウンタｎが“１”以上である場合、プロセッサ３１は、Ａｃｔ３３においてＹＥＳと判定し、Ａｃｔ３８へと進む。プロセッサ３１は、Ａｃｔ３８として第１の実施形態と同様に警告解除を行う。またプロセッサ３１は、Ａｃｔ３９として警告カウンタｎを“０”にリセットする。その後、プロセッサ３１は、Ａｃｔ４０へと進む。

このように、プロセッサ３１は、Ａｃｔ３３において、警告カウンタｎが“０”の場合、あるいはＡｃｔ３６、Ａｃｔ３７またはＡｃｔ３９の処理を終えると、Ａｃｔ４０へと進む。プロセッサ３１は、Ａｃｔ４０として第２画像メモリＭ２に、Ａｃｔ３０の処理で切り出した画像を記憶する。すなわちプロセッサ３１は、第２画像メモリＭ２で記憶される基本画像Ｐ２を、その時点で籠６０の収容部６３を含む全域が映し出されていると推定される画像に更新する。

こうして、第２画像メモリＭ２で記憶される基本画像Ｐ２が、登録処理又は返品処理が行われた後の籠６０の収容部６３を含む画像に変更されたならば、プロセッサ３１は、Ａｃｔ２５へと戻る。したがってプロセッサ３１は、新たに商品の識別コードを取得し、その識別コードで登録処理又は返品処理を行ったならば、Ａｃｔ２９乃至Ａｃｔ４０の処理を再び実行する。

ここに、プロセッサ３１を主体とするコンピュータは、Ａｃｔ２５及びＡｃｔ２７の処理により、認識手段を構成する。また同コンピュータは、Ａｃｔ２９及びＡｃｔ３０の処理により、取得手段を構成する。また同コンピュータは、Ａｃｔ３１，Ａｃｔ３２，Ａｃｔ３４乃至Ａｃｔ３７の処理により、通知手段を構成する。

このように第２の実施形態において、プロセッサ３１は、スキャナ３６又はタッチパネル３５を介して買上商品又は返品商品の識別コードが入力され、その識別コードを基に登録又は返品処理を実行すると、籠６０に収容されている商品が変化する事象が生じたと認識する。そしてプロセッサ３１は、その事象が発生する前の籠６０の収容部６３を含む画像、つまりは第２画像メモリＭ２で記憶している画像と、事象が発生した後の籠６０の収容部６３を含む画像、つまりは第１画像メモリＭ１で記憶している画像とを比較する。その結果、両画像の変化率が第２の閾値Ｂよりも大きいと判定した場合には、プロセッサ３１は、カメラ３８の画角が遮られていないと判定する。

例えば、図１０に示すように籠６０の収容部６３に商品７１が収納されている状態を第１の状態し、図１１に示すように収容部６３に商品７１と商品７２とが収納されている状態を第２の状態とする。この例において、第１の状態から商品７２が収納されて第２の状態に変化すると、カメラ３８で撮影されている画像も、第１の状態の画像から第２の状態の画像に変化する。同様に、第２の状態から商品７２が取り除かれて第１の状態に変化すると、カメラ３８で撮影されている画像も、第２の状態の画像から第１の状態の画像に変化する。

このように、カメラ３８で撮影されている画像が変化していることをプロセッサ３１が認識した場合、情報端末３０では、警告処理が行われない。ところが、カメラ３８の画角が遮られていると、第１の状態から第２の状態又は第２の状態から第１の状態に変化しても、カメラ３８で撮影されている画像に変化を生じない。このときプロセッサ３１は、第１警告、さらには第２警告を行う。したがって、第２の実施形態においても、第１の実施形態と同様の作用効果を奏することができる。

以上、カメラ３８の画角が遮られた状況をリアルタイムに検出でき、カメラ３８による監視効果を高め得るカメラ異常検出装置の実施形態について説明したが、かかる実施形態はこれに限定されるものではない。

例えば第１の実施形態では、籠６０を上方から見たときの各側壁６２Ａ，６２Ｂ，６２Ｃ，６２Ｄの上端部６３Ａ，６３Ｂ，６３Ｃ，６３Ｄと、この上端部６３Ａ，６３Ｂ，６３Ｃ，６３Ｄに重ねられた一対の取っ手６４Ａ，６４Ｂとの画像を基本画像Ｐ１とした。他の実施形態としては、籠６０を上方から見たときの各側壁６２Ａ，６２Ｂ，６２Ｃ，６２Ｄの上端部６３Ａ，６３Ｂ，６３Ｃ，６３Ｄの画像を基本画像Ｐ１としてもよい。

第１又は第２の実施形態では、第２警告として、第１警告の処理に加えて、無線ユニット３４からサーバ１０宛に警告信号を送信する処理を含むものとした。他の実施形態としては、第１警告の処理を止めて、無線ユニット３４からサーバ１０宛に警告信号を送信する処理だけとする。その場合も、情報端末３０においてカメラ３８の画角が遮られていることをアテンダントに通知するためのメッセージがアテンダント端末４０の表示デバイスに表示されるので、アテンダントによりカメラ３８の画角が遮られている状況を改善することができる。

第１又は第２の実施形態では、カメラ３８の画角が遮られた状況を異常として検出する場合を例示した。他の実施形態としては、カメラ３８の画角が遮られていない状況を正常として検出して、客若しくはアテンダントに通知することが考えられる。例えば第１の実施形態では、図７のＡｃｔ１２において一致率が第１の閾値Ａ以上であるとき、カメラ３８の画角が遮られていない正常な状態であることを通知するメッセージをタッチパネル３５に表示させるとともにアテンダント端末４０に通知する。こうすることにより、客又はアテンダントは、メッセージが表示されなくなったならばカメラ３８の画角が遮られていると判断することができる。

情報端末３０に対するプログラムの譲渡は、リムーバブルな記録媒体に記録して、あるいはネットワークを介した通信により行うことができる。記録媒体は、ＣＤ−ＲＯＭ，メモリカード等のようにプログラムを記憶でき、かつ装置が読み取り可能であれば、その形態は問わない。

この他、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態及びその変形は、発明の範囲に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…カートＰＯＳシステム、１０…サーバ、２０…会計機、３０…情報端末、３１…プロセッサ、３２…メインメモリ、３３…補助記憶デバイス、３４…無線ユニット、３５…タッチパネル、３６…スキャナ、３７…リーダ、３８…カメラ、４０…アテンダント端末、５０…ネットワーク、６０…籠、Ｃ…カート。

Claims (6)

1. 搬送体の籠受部に置かれた籠の内部を撮影可能に前記搬送体に設けられたカメラで撮影された画像から前記籠の上縁が写されていると推定される領域の画像を取得する取得手段と、
   この取得手段で取得した画像を基に、前記カメラの画角が遮られているか否かを通知する通知手段と、
   を具備するカメラ異常検出装置。
2. 前記通知手段は、前記取得手段で取得した画像と前記籠の上縁を表す基本画像との一致率に応じて、前記カメラの画角が遮られているか否かを通知する、請求項１記載のカメラ異常検出装置。
3. 前記通知手段は、前記取得手段で取得した画像と前記籠の上縁を表す基本画像との一致率が第１の閾値よりも低い場合に、前記カメラの画角が遮られていることを通知し、前記一致率が前記第１の閾値よりも低い状態が一定時間以上継続すると通知先を追加または変更する、請求項２記載のカメラ異常検出装置。
4. 搬送体の籠受部に置かれた籠の内部を撮影可能に前記搬送体に設けられたカメラで撮影された画像から前記籠の内部が写されていると推定される領域の画像を取得する取得手段と、
   前記籠に収容されている品が変化する事象を認識する認識手段と、
   前記事象が発生する前後に前記取得手段で取得した画像の変化の度合いから、前記カメラの画角が遮られているか否かを通知する通知手段と、
   を具備するカメラ異常検出装置。
5. 前記通知手段は、前記画像の変化の度合いが第２の閾値よりも大きい場合に、前記カメラの画角が遮られていることを通知し、前記変化の度合いが前記第２の閾値よりも大きい状態が一定時間以上継続すると通知先を追加または変更する、請求項４記載のカメラ異常検出装置。
6. 搬送体の籠受部に置かれた籠の内部を撮影可能に前記搬送体に設けられたカメラで撮影された画像を取り込むコンピュータに、
   前記カメラで撮影された画像から前記籠の上縁が写されていると推定される領域の画像を取得する機能、及び、
   この取得した画像を基に、前記カメラの画角が遮られているか否かを通知する機能、
   を実現させるためのプログラム。