JP2013152634A - 防犯装置及びプログラム - Google Patents

Abstract

【課題】不正行為を有効に抑止することが可能な防犯装置及びプログラムを提供する。
【解決手段】上下左右方向に回動可能な可動部を少なくとも有する構造体と、前記可動部に設けられ、前記構造体周辺の画像を撮像する撮像部と、前記画像中から所定の対象物を認識する認識手段と、前記可動部を駆動し、前記認識手段が認識した対象物を追跡する追跡手段と、を備える。
【選択図】図８

Description

本発明の実施形態は、防犯装置及びプログラムに関する。

近年、購入する商品の販売登録および会計処理を顧客自身が行うためのセルフチェックアウト端末が備えられ、客が商品の販売登録および会計処理を行う販売形態を採用する店舗が増加している。一般的に、このようなセルフチェックアウト端末では、客が商品に付されたコードシンボルをスキャナでスキャンして商品の販売登録を行う。また、セルフチェックアウト端末では、不正行為を防止するため重量チェック等の対策技術が採用されている。また、従来、無人店舗に係る技術として、当該無人店舗に異常が発生した場合に、警報装置により警報を発する管理システムが提案されている。

しかしながら、従来の技術では、不正行為に対する抑止力という点で改善の余地があり、不正行為を有効に抑止できるような技術が望まれている。

実施の形態の防犯装置は、構造体と、撮像部と、認識手段と、追跡手段とを備える。構造体は、上下左右方向に回動可能な可動部を少なくとも有する。撮像部は、可動部に設けられ、構造体周辺の画像を撮像する。認識手段は、画像中から所定の対象物を認識する。追跡手段は、可動部を駆動し、認識手段が認識した対象物を追跡する。

図１は、実施形態に係る防犯装置の使用例を示す図である。 図２は、実施形態に係る防犯装置（アシストロボット）の外観を示す斜視図である。 図３は、実施形態に係る防犯装置（アシストロボット）の外観の一部を示す正面図である。 図４は、実施形態に係る防犯装置（アシストロボット）の外観を示す底面図である。 図５は、実施形態に係る防犯装置（アシストロボット）の外観を示す側面図であって、腕部が回動した状態を示す図である。 図６は、実施形態に係る防犯装置（アシストロボット）の頭部の外観を示す平面図である。 図７は、実施形態に係る防犯装置（アシストロボット）の頭部の外観を示す側面図である。 図８は、実施形態に係る防犯装置（アシストロボット）の構成を示す図である。 図９は、商品データのデータ構成の一例を模式的に示す図である。 図１０は、商品認識部の動作を説明するための図である。 図１１は、本実施形態の防犯装置（アシストロボット）が行う防犯処理の手順を示すフローチャートである。 図１２は、本実施形態の防犯装置（アシストロボット）が行う妨害検知処理の手順を示すフローチャートである。 図１３は、本実施形態の防犯装置（アシストロボット）が行うアシスト処理の手順を示すフローチャートである。

図１は、実施形態に係る防犯装置の使用例を示す図である。本実施形態の防犯装置は、マスコットロボット等と称される人型や動物型のロボット（アシストロボット１）として実現され、監視対象となる対象物の近傍に設けられる。本実施形態では、図１に示すように、アシストロボット１をショッピングセンター等の店舗で利用されるセルフチェックアウト端末１０１に設けた例について説明する。

まず、セルフチェックアウト端末１０１について説明する。図１に示すように、セルフチェックアウト端末１０１は、決済端末２０１と秤装置３０１とから構成されている。

決済端末２０１は、顧客が購入しようとする商品を入れた籠（図示せず）を載置するための商品籠載置台１０２が右端から突出したハウジング２０２を有している。商品籠載置台１０２の上面には、籠を位置決めするための突部１０３がＬ字形状に突出形成されている。

上部ハウジング２０２ｂには、各種ユーザインターフェースが設けられている。つまり、上部ハウジング２０２ｂには、右側に商品コード読取部としてのバーコードスキャナ２０３が配置され、左側にプリンタカバー２０４が配置され、これらのバーコードスキャナ２０３とプリンタカバー２０４の間には決済部としてのカード読取部２０５及びテンキー２０６が配置されている。バーコードスキャナ２０３は、商品に付された商品コードを読み取る商品コード読取部として機能する縦型スキャナである。プリンタカバー２０４には、レシート発行口２０７が設けられている。

プリンタカバー２０４の奥側にはレシートプリンタ（図示せず）が上部ハウジング２０２ｂに内蔵され、このレシートプリンタによって印字されるレシートは、レシート発行口２０７から発行されるように構成されている。プリンタカバー２０４は、上部ハウジング２０２ｂに対して開閉自在に取り付けられ、フラップ２０８の引っ張り操作で開放される。カード読取部２０５は、図示しない非接触ＩＣカードと無線通信を確立し、非接触ＩＣカードに対して情報を読み書きする。非接触ＩＣカードは、一例として現金と等価な価値を有する電子マネーを記憶保存することが可能であり、別の一例として、引き落し銀行口座を特定するための識別番号を記憶保存し、決済に際して利用される。図１中、丸印の中に「ＣＡＲＤ」と記されている部分の奥側に図示しないアンテナが内蔵され、このアンテナを介して非接触ＩＣカードとの間の無線通信が確立される。テンキー２０６は、非接触ＩＣカードでの決済に際して、暗証番号の入力のために用いられる。

ベースハウジング２０２ａには、硬貨と紙幣との入出金装置（図示せず）が内蔵されている。入出金装置の一部として、ベースハウジング２０２ａの中央上面には硬貨投入口２０９が配置され、その左側には硬貨払出口２１０が配置されている。また、ベースハウジングの前面右上方位置には、紙幣投入口２１１と紙幣払出口２１２とが配置されている。このような入出金装置は、貨幣及び紙幣の取扱いを可能にする機構部とこの機構部を制御する制御部とを有している（いずれも図示せず）。このような機構部の構造及び制御部での処理手順等については、その内容が周知なので、説明を省略する。

さらに、ベースハウジング２０２ａの背面からは、セルフチェックアウト端末１０１の現在の状態を表示する表示ポール２１３が立設されている。この表示ポール２１３は、先端部に青色と赤色とに選択的に発光する発光部２１４を有する。

秤装置３０１は、秤ハウジング３０２の上部に秤皿３０３が設けられ、この秤皿３０３に袋保持具３０４が取り付けられて構成されている。秤皿３０３は、その上面に載置台３０３ａを有する。袋保持具３０４は載置台３０３ａに取り付けられている。したがって、袋保持具３０４からすると、秤皿３０３は台座を構成する。つまり、載置台３０３ａの後方中央部にはポール形状のアーム支持部３０５が立設され、このアーム支持部３０５の上端には品物を載置するための一時置き台３０６が固定されている。一時置き台３０６は、上面が平坦面となっており、決済端末２０１のバーコードスキャナ２０３でバーコードを読み取った後の商品を一時的に置く用途で用いられる台である。この一時置き台３０６の下面には、レジ袋やマイバック（以下、総称してレジ袋という）を保持するための一対の保持アーム３０７が取り付けられている。

また、秤装置３０１には、ロードセルユニット（図示せず）が内蔵されている。ロードセルユニットは、レジ袋に収納された商品及び一時置き台３０６に載置された商品の重量を計量し、決済端末２０１に出力する。

セルフチェックアウト端末１０１を利用する顧客は、購入しようとする商品を籠に入れてセルフチェックアウト端末１０１に持ち込み、商品を籠ごとセルフチェックアウト端末１０１の商品籠載置台１０２に載せる。次に、顧客は、バーコードスキャナ２０３の前に商品をかざし、商品に付されたバーコードを読み取らせる。これにより、決済端末２０１は、バーコードによって特定される商品コードを認識し、各商品を特定する商品コードに関連付けて単価、重量等を記憶したＰＬＵファイルから、その商品コードに対応する単価、重量等を検索する検索処理を実行する。なお、ＰＬＵファイルはセルフチェックアウト端末１０１が保持する形態としてもよいし、外部装置に保持される形態としてもよい。

続いて、顧客は、バーコードスキャナ２０３によってバーコードを読み取らせた商品をレジ袋に入れ、或いは一時置き台３０６に置く。これにより、レジ袋に収納された商品及び一時置き台３０６に載置された商品は、秤装置３０１の秤皿３０３に荷重をかけることになり、その荷重が秤装置３０１のロードセルユニットによって計量されることになる。ロードセルユニットによる計量結果は、前述したように決済端末２０１に出力される。決済端末２０１は、秤装置３０１から計量結果を受信し、重量チェック処理を実行する。ここで、重量チェック処理は、バーコードの読み取り後に秤装置３０１によって計量された重量が、検索処理によってＰＬＵファイルから取得した重量と同一性を有しているかどうかを判定する処理である。

重量チェック処理の結果、両重量間に同一性がないと判定された場合は、何らかの操作ミスか又は不正が行われたことになる。そこで、この場合、決済端末２０１は、商品販売データ処理の進行を停止し、表示ポール２１３の先端部に設けられている発光部２１４の発光色を青色から赤色に変更し、何らかの操作ミスか又は不正が行われたことを、例えば案内係（アテンダント）の店員等に向けて報知する。

これに対して、重量チェック処理の結果、両重量間に同一性があると判定された場合には、バーコードスキャナ２０３によってバーコードを読み取らせた商品が、正しくレジ袋に入れられ、或いは一時置き台３０６に置かれたことになるので、決済端末２０１は、商品販売データ処理の進行を許容する。

全商品のバーコード読み取りが完了した後、ボタン操作等により顧客から決済処理の実行が指示されると、決済端末２０１は、硬貨投入口２０９や紙幣投入口２１１等から投入された現金に基づいて、決済処理を実行する。なお、決済処理は、検索処理により取得した各商品の単価に基づいて行われるものとする。

次に、アシストロボット１について説明する。図２は、アシストロボット１の外観を示す斜視図である。同図に示すように、アシストロボット１は、基部２と、本体部としての胴体部３及び頭部４と、左右の腕部５、６とを備えている。胴体部３、頭部４及び腕部５、６は、詳しくは後述するが、基部２に対して相対動（回動）可能となっている。胴体部３、頭部４及び腕部５、６は、可動部の一例である。なお、アシストロボット１の駆動電源は、内蔵するバッテリパックや外部（商用電源）から供給されるものとする。

基部２は、図２や図３に示すように、基部ハウジング２ａと、左右の足部２ｂとを有している。左右の足部２ｂは、基部ハウジング２ａに一体形成されている。アシストロボット１がセルフチェックアウト端末１０１（図１）に設置された状態では、基部ハウジング２ａの底部と左右の足部２ｂの底部とがセルフチェックアウト端末１０１に当接している。

胴体部３は、図２や図３に示すように、基部２の上方に配置されている。胴体部３は、胴体ハウジング３ａを有している。胴体部３は、連結機構（図示せず）によって、回動軸Ａ１（図３、図５）回りに回動可能に基部２に連結されている。連結機構は、別の言い方をすると例えば関節部である。胴体部３の可動範囲は、図４に示すように、基準姿勢に対して左右に規定の規定角度α１ずつとなっている。図４中の矢印Ｂ１は、胴体部３の回動方向を示している。胴体部３は、第１のモータ１４ａ（図８）に連結されており、第１のモータ１４ａによって回動軸Ａ１回りに回動駆動される。胴体部３の回動軸Ａ１回りの回動動作は、腰振り動作とも称される。

また、図２〜図７では図示を省略しているが、胴体部３には、音声によるメッセージや報知音等を出力するためのスピーカー１２（図８参照）や、利用者の音声を収音するためのマイク１３（図８参照）が設けられている。

左右の腕部５、６は、図２に示すように、胴体部３の側方に配置されて、胴体部３の胴体ハウジング３ａを挟む位置に位置する。左（一方）の腕部５の構成と右（他方）の腕部６の構成とは、左右対称であるので、以下では左の腕部５について詳細に説明し、右の腕部６について重複する説明は省略する。

腕部５は、図３や図５に示すように、概略円板状に形成されるとともに、外周部から内周部に向かうにつれて厚さが厚くなっている。腕部５は、連結機構７によって、胴体部３の上部に連結されている。腕部５は、連結機構７によって、回動軸Ａ２（図２）回りに回動可能に基部２に連結されている。詳しくは、腕部５は、上下に回動可能であって、閉位置（図２）と開位置（図３）との間で回動可能となっている。胴体部３の回動軸Ａ２回りの可動範囲は、図２に示すように、基準姿勢に対して上方に規定の規定角度α２となっている。図２、図３中の矢印Ｂ２は、回動軸Ａ２回りの胴体部３の回動方向を示している。腕部５は、第２のモータ１４ｂ（図８）に連結されており、第２のモータ１４ｂによって回動軸Ａ２回りに回動駆動される。腕部５の回動軸Ａ２回りの回動動作は、羽ばたき動作とも称される。なお、右の腕部６の羽ばたき動作用のモータは、第３のモータ１４ｃ（図８）である。つまり、各腕部５、６に、羽ばたき動作用のモータが設けられている。

また、腕部５は、連結機構７によって、回動軸Ａ３（図２）回りに回動可能に基部２に連結されている。詳しくは、腕部５は、前後に回動可能である。回動軸Ａ３回りの胴体部３の可動範囲は、図５に示すように、基準姿勢に対して一方向（前方）に規定の規定角度α３、基準姿勢に対して他方向（後方）に規定の規定角度α４となっている。図２、図５中の矢印Ｂ３は、回動軸Ａ３回りの胴体部３の回動方向を示している。腕部５は、第４のモータ１４ｄ（図８）に連結されており、第４のモータ１４ｄによって回動軸Ａ３回りに回動駆動される。腕部５の回動軸Ａ３回りの回動動作は、腕振り動作とも称される。なお、右の腕部６の腕振り動作用のモータは、第５のモータ１４ｅ（図８）である。つまり、各腕部５、６に、腕振り動作用のモータが設けられている。

頭部４は、図２や図５に示すように、胴体部３の上方に配置されている。頭部４は、頭部ハウジング４ａを有している。頭部ハウジング４ａの正面の目（左目）に相当する位置には、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を有した撮像部１１が設けられている。撮像部１１の撮像範囲は、アシストロボット１の基準姿勢において、商品籠載置台１０２から秤装置３０１の範囲を包含するよう設定されている。なお、本実施形態では、一台の撮像部１１を設ける構成としたが、両目部分に一対の撮像部１１を設ける形態としてもよい。

また、頭部４は、連結機構（図示せず）によって、回動軸Ａ４（図５）回りに回動可能に胴体部３に連結されている。詳しくは、頭部４は、左右に回動可能となっている。図６に示すように、頭部４の回動軸Ａ４回りの可動範囲は、基準姿勢に対して左右に規定角度α５ずつとなっている。図６中の矢印Ｂ４は、胴体部３の回動軸Ａ４回りの回動方向を示している。頭部４は、第６のモータ１４ｆ（図８）に連結されており、第６のモータ１４ｆによって回動軸Ａ４回りに回動駆動される。頭部４の回動軸Ａ４回りの回動動作は、首横振り動作とも称される。

また、頭部４は、連結機構（図示せず）によって、回動軸Ａ５（図６）回りに回動可能に胴体部３に連結されている。詳しくは、頭部４は、上下に回動可能となっている。図７に示すように、頭部４の回動軸Ａ５回りの可動範囲は、基準姿勢に対して上下に規定の規定角度α６ずつとなっている。図７中の矢印Ｂ５は、胴体部３の回動軸Ａ５回りの回動方向を示している。頭部４は、第７のモータ１４ｇ（図８）に連結されており、第７のモータ１４ｇによって回動軸Ａ５回りに回動駆動される。頭部４の回動軸Ａ５回りの回動動作は、首縦振り動作とも称される。

可動部（胴体部３、頭部４、左右の腕部５、６）を駆動する第１〜第７のモータ１４ａ〜１４ｇは、胴体ハウジング３ａに収容されて、胴体ハウジング３ａに固定されている。第１〜第７のモータ１４ａ〜１４ｇは、可動部を駆動する駆動部（アクチュエータ）の一例である。第１〜第７のモータ１４ａ〜１４ｇは、基部２および可動部（胴体部３、頭部４、左右の腕部５、６）とともに、構造体を構成している。なお、以下では、便宜上、第１のモータ１４ａ〜第７のモータ１４ｇを、単にモータ１４と称することもある。

また、アシストロボット１は、図８に示すように、記憶部２１と、制御部２２と、通信部２３とを備えている。ここで、図８は、アシストロボット１の構成を示す図である。

記憶部２１は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の記憶媒体であって、一例として胴体ハウジング３ａに収容されている。記憶部２１は、後述するＣＰＵ（Central Processing Unit）が実行する各種プログラムや各種設定データを記憶している。また、記憶部２１は、商品データ２１ａと、メッセージデータ２１ｂとを記憶している。

図９は、商品データ２１ａのデータ構成の一例を模式的に示す図である。同図に示すように、商品データ２１ａには、店舗で販売される各商品の特徴を示した特徴情報と、その商品に関する関連情報（例えば、類似度判定の閾値や商品名等）とが関連付けて記憶されている。ここで、特徴情報は、商品の形状や表面の色合い、模様等の商品を外観上の特徴を表した情報であって、商品の一部又は全体を撮像した画像や、後述する特徴ベクトル等を用いることができる。

また、メッセージデータ２１ｂには、アシストロボット１が発する音声に係るデータが予め登録されている。メッセージデータ２１ｂには、例えば「まだ商品が残っています」、「商品のバーコードを読み取ってください」、「顔の前に手や物を置かないでください」等のメッセージを表したデータが含まれる。なお、メッセージデータ２１ｂに登録されるデータは、音声データであってもよいし、音声合成用のテキストデータであってもよい。

制御部２２は、ＣＰＵ、プログラムや設定情報を格納したＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を含むコンピュータであって、一例として胴体ハウジング３ａに収容されている。ＣＰＵは、ＲＯＭ又は記憶部２１に記憶されたプログラムと協働することで、アシストロボット１の動作を統括的に制御する。

制御部２２には、バスライン２４等を介して、撮像部１１、スピーカー１２、マイク１３、第１〜第７のモータ１４ａ〜１４ｇ、記憶部２１、通信部２３等が接続されている。通信部２３は、一例としてセルフチェックアウト端末１０１や、店員等が管理するアテンダント端末等の外部装置と通信を行う。

また、制御部２２は、画像取得部２２ａと、商品認識部２２ｂと、商品追跡部２２ｃと、報知処理部２２ｄと、動作制御部２２ｅとを機能部として備えている。これら機能部は、ＣＰＵとＲＯＭ又は記憶部２１に記憶された所定のプログラムとの協働により実現されるソフトウェア構成であってもよいし、専用のプロセッサ等で構成されるハードウェア構成であってもよい。

画像取得部２２ａは、撮像部１１で撮像された画像を取得する。なお、画像取得部２２ａは、撮像部１１で撮像されたフレーム毎の画像を順次取得する形態としてもよいし、所定の時間間隔（例えば２秒等）毎に取得する形態としてもよい。

商品認識部２２ｂは、画像取得部２２ａは取得した画像に対して画像認識を行うことで、当該画像に含まれた商品を認識する。画像認識処理については、例えば下記の文献に記載された手法を用いることができるが、これに限定されるものではなく、他の画像認識技術を用いてもよい。以下では、下記文献に記載された手法を用いて画像認識を行う際の手順について説明する。
中居友弘,伊藤聡,柴田智行,窪田進, “共起特徴とｋ近傍法による追加学習型オブジェクト認識システム”, 画像の認識・理解シンポジウム(MIRU2011),pp.1701-1702, 2011.

まず、商品認識部２２ｂは、図１０のように画像を複数のブロックＢＬに分割し、当該ブロックＢＬ分の部分画像の特徴を表した特徴ベクトルをブロックＢＬ毎に導出する。ここで、特徴ベクトルの導出は、例えば下記の文献に記載された手法を用いることができる。
Satoshi Ito and Susumu Kubota, “Object classification using heterogeneous co-occurrence features”, Proceedings of the 11th European Conference of Computer Vision, vol.2, pp.209-２２ｂ, 2010.

次に、商品認識部２２ｂは、導出した特徴ベクトルの各々に対して、ｋ近傍法により、その特徴ベクトルに最も近いｋ個の学習サンプルを商品データ２１ａの中から検索する。この場合、学習サンプルは、商品データ２１ａに登録された各商品の特徴ベクトル（特徴情報）となる。全てのブロックＢＬに対してそれぞれｋ個の学習サンプルが求まるので、例えばブロックＢＬがＮ個ある場合はｋＮ個の学習サンプルが得られる。そこで、商品認識部２２ｂは、ｋＮ個の学習サンプルを商品名毎に集計し、ｋＮで割ることで正規化した値を類似度として用いる。そして、商品認識部２２ｂは、求めた類似度が所定の閾値を上回った学習サンプルの商品を画像内から認識（検出）する。

商品追跡部２２ｃは、頭部４を回動させることで、商品認識部２２ｂが認識した商品を追跡する。具体的に、商品追跡部２２ｃは、時間的に連続する各画像から商品認識部２２ｂが認識した商品の画像内での位置から、該商品を撮像部１１の撮像範囲の略中央に位置させる方向を特定し、この特定した方向に頭部４を回動させる指示情報を動作制御部２２ｅに出力する。

例えば、セルフチェックアウト端末１０１を利用する顧客が、籠から商品を取りだし、その商品をバーコードスキャナ２０３にかざし、レジ袋に入れ或いは一時置き台３０６に置くといった一連の動作を行った場合、商品追跡部２２ｃの制御により、顧客が把持する商品の移動（軌跡）にあわせてアシストロボット１の頭部４が回動する。このように、アシストロボット１の頭部４が商品を追うように動くことで、顧客に監視されているという印象を与えることができるため、万引き等の不正行為を有効に抑止することができる。

また、商品認識部２２ｂが複数の商品を認識した場合には、時間的に連続する複数の画像から各商品のオプティカルフロー（動きベクトル）を検出し、より動きのある商品の追跡を行うものとする。また、追跡中の商品がレジ袋への収納により消失した場合や、一時置き台３０６への載置により追跡中の商品が所定時間（例えば３秒等）静止した場合は、頭部４を回動角度ゼロの基準位置に戻すものとする。なお、レジ袋への収納又は一時置き台３０６への載置をより確実に判定するため、胴体部３や頭部４の回動角度から、画像内での秤装置３０１の位置（つまりレジ袋や一時置き台３０６の位置）を特定し、当該位置で追跡中の商品が消失又は所定時間静止した場合に、頭部４を基準位置に戻す形態としてもよい。

報知処理部２２ｄは、画像取得部２２ａで取得される画像や、商品追跡部２２ｃの状態に基づき、当該状態に応じた報知内容を顧客に報知する。

具体的に、報知処理部２２ｄは、画像取得部２２ａが取得した時間的に連続する画像間の変化量を算出し、この変化量が所定の閾値以上となった場合に、撮像部１１が手や物で覆われたと判断し、「顔の前に手や物を置かないでください」等の撮像の妨害を制止する旨のメッセージをスピーカー１２から音声出力する。また、撮像部１１が手や物で覆われたと判断した場合には、その旨を示すアラート信号を、通信部２３を介してアテンダント端末等に送信する形態としてもよい。なお、画像間の変化量の算出は、公知の方法を用いることが可能である。

また、報知処理部２２ｄは、自装置周辺の所定位置に対応する画像内での位置を特定し、この特定した位置で商品が認識された場合に、当該位置に応じて報知内容を切り換える。なお、画像内での位置の特定方法は特に問わず、例えば、基準位置に撮像される画像内での所定位置の配置を基準とし、胴体部３や頭部４の回動角度に基づいて特定する形態としてもよいし、所定位置に存在するオブジェクトを画像中から画像認識することで特定する形態としてもよい。

例えば、報知処理部２２ｄは、胴体部３や頭部４の回動角度に基づいて、商品籠載置台１０２に対応する画像内での位置（つまり、籠の位置）を特定し、この特定した位置に商品認識部２２ｂが認識した商品が存在するか否かを判定する。そして、報知処理部２２ｄは、商品籠載置台１０２の位置に商品が存在し、且つ胴体部３及び頭部４が所定時間（例えば１０秒等）静止した場合に、「まだ商品が残っています。商品のバーコードを読み取って下さい」等のバーコードの読み取りを促すメッセージをスピーカー１２から音声出力する。

また、他の例として、報知処理部２２ｄは、胴体部３や頭部４の回動角度に基づいて、商品籠載置台１０２及び秤装置３０１以外の領域に対応する画像内での位置（つまり、籠、レジ袋及び一時置き台３０６以外の位置）を特定し、この特定した位置に商品認識部２２ｂが認識した商品が存在するか否かを判定する。そして、報知処理部２２ｄは、レジ袋及び一時置き台３０６以外の位置に商品が存在し、且つ胴体部３及び頭部４が所定時間（例えば１０秒等）静止した場合に、「商品のバーコードを読み取り、レジ袋又は一時置き台に載置して下さい」等、読み取り後の商品を所定位置に載置することを促すメッセージをスピーカー１２から音声出力する。

また、報知処理部２２ｄは、上記メッセージの音声出力にあわせて、自装置に所定の動作パターンの実行を指示した指示情報を動作制御部２２ｅに出力することで、顧客の注意を促す動作をアシストロボット１に行わせる。ここで、動作パターンは、アシストロボット１の可動部の駆動方法を定義するものであって、例えば、腕部５、６を羽ばたき動作させるための回動角度や動作速度、頭部４を首横振り動作させるための回動角度や動作速度が予め定められている。

動作制御部２２ｅは、商品追跡部２２ｃや報知処理部２２ｄから入力される指示情報に基づき、アシストロボット１のモータ１４（第１〜第７のモータ１４ａ〜１４ｇ）を駆動することで、アシストロボット１に所定の動作を行わせる。

次に、図１１〜図１３を参照し、アシストロボット１の動作について説明する。図１１は、アシストロボット１が行う防犯処理の手順を示すフローチャートである。なお、本処理の前提としてアシストロボット１は基準姿勢にあるものとする。

まず、画像取得部２２ａは、撮像部１１が撮像した画像を順次取得する（ステップＳ１１）。商品認識部２２ｂは、取得された各画像に対して画像認識を行うことで、当該画像に含まれた商品を認識する（ステップＳ１２）。次いで、商品追跡部２２ｃは、動作制御部２２ｅと協働することで、商品認識部２２ｂが認識した商品を頭部４の回動により追跡する（ステップＳ１３）。

続いて、商品追跡部２２ｃは、胴体部３や頭部４の回動角度から、画像内での秤装置３０１の位置を特定し、当該位置での商品の動きに基づいて、追跡中の商品がレジ袋に収納又は一時置き台３０６に載置されたか否かを判定する（ステップＳ１４）。ここで、ステップＳ１４の条件に該当しない場合には（ステップＳ１４；Ｎｏ）、ステップＳ１３に再び戻る。また、ステップＳ１４の条件に該当した場合（ステップＳ１４；Ｙｅｓ）、商品追跡部２２ｃは、頭部４を基準位置に戻し（ステップＳ１５）、ステップＳ１１に再び戻る。

このように、アシストロボット１では、上記の防犯処理の実行により、アシストロボット１の頭部４を、顧客が把持した商品を追うように動かすことで、顧客に監視されているという印象を与えることができるため、万引き等の不正行為の発生を有効に抑止することができる。

図１２は、アシストロボット１が行う妨害検知処理の手順を示すフローチャートである。なお、本処理は、上記防犯処理が実行中の間、常時又は所定の時間間隔毎に並列実行されるものである。

まず、報知処理部２２ｄは、画像取得部２２ａが取得した時間的に連続する画像間の変化量を順次算出し（ステップＳ２１）、この変化量が所定の閾値以上か否かを判定する（ステップＳ２２）。ここで、算出した変化量が閾値未満の場合には（ステップＳ２２；Ｎｏ）、ステップＳ２１に戻る。

ステップＳ２２において、算出した変化量が閾値以上と判定した場合（ステップＳ２２；Ｙｅｓ）、報知処理部２２ｄは、撮像部１１が手や物で覆われたと判断し、「顔の前に手や物を置かないでください」等の撮像の妨害を制止する旨のメッセージをスピーカー１２から音声出力する（ステップＳ２３）。また、報知処理部２２ｄは、動作制御部２２ｅと協働し、腕部５、６に羽ばたき動作等させることで、顧客の注意を促す動作を自装置に行わせる（ステップＳ２４）。

続いて、報知処理部２２ｄは、通信部２３を介して、撮像の妨害が行われた旨を示すアラート信号をアテンダント端末等に送信し（ステップＳ２５）、本処理を終了する。

このように、アシストロボット１では、撮像部１１が手や物で覆われた場合に、撮像の妨害を制止する旨を音声出力やアシストロボット１の動作により報知を行うため、顧客の行動の改善を有効に促すことができる。また、撮像の妨害が行われた旨を示すアラート信号をアテンダント端末に送信することで、店員等に注意を促すことができる。

図１３は、アシストロボット１が行うアシスト処理の手順を示すフローチャートである。なお、本処理は、上記防犯処理が実行中の間、常時又は所定の時間間隔毎に並列実行されるものである。

まず、報知処理部２２ｄは、胴体部３や頭部４の回動角度から、画像内での商品籠載置台１０２の位置を特定する（ステップＳ３１）。次いで、報知処理部２２ｄは、商品認識部２２ｂの認識結果に基づき、商品籠載置台１０２の位置に商品が存在するか否かを判定する（ステップＳ３２）。ここで、商品が認識されていない場合には（ステップＳ３２；Ｎｏ）、ステップＳ３１に再び戻る。

また、商品籠載置台１０２の位置で商品が認識されている場合（ステップＳ３２；Ｙｅｓ）、報知処理部２２ｄは、胴体部３及び頭部４が所定時間静止状態にあるか否かを判定する（ステップＳ３３）。ここで、胴体部３及び頭部４が回動中の場合又は静止状態が所定時間未満の場合（ステップＳ３３；Ｎｏ）、ステップＳ３１に再び戻る。

一方、胴体部３及び頭部４が所定時間を超えて静止状態にある場合（ステップＳ３３；Ｙｅｓ）、報知処理部２２ｄは、「まだ商品が残っています。商品のバーコードを読み取って下さい」等の商品の読み取りを促すメッセージをスピーカー１２から音声出力する。（ステップＳ３４）。また、報知処理部２２ｄは、動作制御部２２ｅと協働し、腕部５、６に羽ばたき動作等させることで、顧客の注意を促す動作を自装置に行わせ（ステップＳ３５）、本処理を終了する。

このように、アシストロボット１では、籠の中に商品が残っている状態で、且つ商品の読み取り動作が所定時間行われていない場合に、バーコードの読み取りを促す旨を音声出力やアシストロボット１の動作により報知する。これにより、バーコードの読み取りを有効に促すことができるため、顧客の操作を補助することができる。なお、本処理では、商品籠載置台１０２の位置について報知を行う例を説明したが、他の位置についても同様の手順で当該他の位置に応じたメッセージを報知することができる。

以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば、上記実施形態では、アシストロボット１が画像取得部２２ａ、商品認識部２２ｂ、商品追跡部２２ｃ、報知処理部２２ｄ及び動作制御部２２ｅの機能部を備える構成としたが、これに限らず、これら各機能部の一部又は全てをセルフチェックアウト端末１０１等の外部装置に備え、当該外部装置から有線又は無線通信等により、アシストロボット１の動作を制御する構成としてもよい。

また、上記実施形態では、頭部４を動かすことで商品を追跡する形態としたが、これに限らず、胴体部３を同様に動かすことで商品を追跡する形態としてもよい。

また、上記実施形態のアシストロボット１は、セルフチェックアウト端末１０１と独立して動作する形態としたが、セルフチェックアウト端末１０１と有線又は無線通信することで、当該セルフチェックアウト端末１０１と連携して動作する形態としてもよい。この場合、例えば、籠の中に商品が残っている状態で、セルフチェックアウト端末１０１に精算処理の実行が顧客から指示された場合に、上記アシスト処理のステップＳ３４、Ｓ３５を実行する形態としてもよい。

また、上記実施形態のアシストロボット１で実行されるプログラムは、アシストロボット１が備える記憶媒体（ＲＯＭ又は記憶部２１）に予め組み込んで提供するものとするが、これに限らず、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。

また、上記実施形態のアシストロボット１で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。

１ アシストロボット（防犯装置）
２ 基部
３ 胴体部
４ 頭部
５ 腕部
６ 腕部
１１ 撮像部
１２ スピーカー
１３ マイク
１４ モータ
２１ 記憶部
２１ａ 商品データ
２１ｂ メッセージデータ
２２ 制御部
２２ａ 画像取得部
２２ｂ 商品認識部
２２ｃ 商品追跡部
２２ｄ 報知処理部
２２ｅ 動作制御部
２３ 通信部
２４ バスライン
１０１ セルフチェックアウト端末

特開２００７−１０９０７２号公報

Claims (6)

1. 上下左右方向に回動可能な可動部を少なくとも有する構造体と、
   前記可動部に設けられ、前記構造体周辺の画像を撮像する撮像部と、
   前記画像中から所定の対象物を認識する認識手段と、
   前記可動部を駆動し、前記認識手段が認識した対象物を追跡する追跡手段と、
   を備える防犯装置。
2. 時間的に連続する前記画像間の変化量を算出する算出手段と、
   前記変化量が所定の閾値以上か否かを判定する第１判定手段と、
   前記第１判定手段により前記変化量が前記閾値以上と判定された場合に、報知を行う報知手段と、
   を更に備える請求項１に記載の防犯装置。
3. 前記構造体周辺の所定位置に対応する前記画像内での位置を特定する特定手段と、
   前記報知手段は、前記特定手段が特定した位置で前記対象物が認識された場合、当該位置に応じた報知内容を報知する請求項２に記載の防犯装置。
4. 前記構造体は、前記撮像部が設けられ上下左右方向に回動可能な本体部と、当該本体部に連結された左右一対の腕部とを前記可動部として有し、
   前記報知手段は、音声出力により前記報知を行うとともに、前記可動部を駆動することで所定の動作を前記構造体に行わせる請求項２又は３に記載の防犯装置。
5. 前記構造体は、セルフチェックアウト端末に設けられ、
   前記認識手段は、前記セルフチェックアウト端末の利用者が持ち込んだ商品を、前記対象物として認識する請求項１〜４の何れか一項に記載の防犯装置。
6. 上下左右方向に回動可能な可動部を少なくとも有する構造体と、前記可動部に設けられ、前記構造体周辺の画像を撮像する撮像部とを備えた防犯装置のコンピュータを、
   前記画像中から所定の対象物を認識する認識手段と、
   前記可動部を駆動し、前記認識手段が認識した対象物を追跡する追跡手段と、
   して機能させるためのプログラム。

Images