JP2020184198A - 情報処理装置及び情報処理プログラム - Google Patents

Abstract

【課題】人を撮影して、その人の行動を監視するにあたって、その人の移動軌跡データを用いて、警戒すべき人物を記憶したブラックリストを生成することができる情報処理装置及び情報処理プログラムを提供する。【解決手段】情報処理装置は、人を撮影した画像から、該人の移動を表現した人移動軌跡データを生成する生成手段と、人移動軌跡データと予め定められた行動のパターンデータを用いて、人の行動が警戒すべき行動であるか否かを分析する分析手段と、分析手段によって、警戒すべき行動であると分析された人の特徴を内容に含むブラックリストを生成するブラックリスト生成手段を有する。【選択図】図１

Description

本発明は、情報処理装置及び情報処理プログラムに関する。

非特許文献１には、悪性サイト情報サービスでは、国内の企業や官公庁に導入されているセキュリティ機器などで検知したサイバー攻撃情報をセキュリティオペレーションセンターの分析基盤に収集、独自の手法で悪性サイト情報を精査し、ブラックリスト化することが記載されている。
非特許文献２には、スーパーやコンビニ等の小売店で商品棚をスマートフォン等で撮影することでリアルタイムに商品の陳列状況を分析できる商品棚画像認識エンジンが記載されている。
非特許文献３には、顔画像等の認識技術が記載されている。

日経新聞社，ＮＴＴコム、高精度な悪性サイト情報サービス「アクティブ ブラックリスト スレットインテリジェンス」の提供を開始，２０１７／９／２５，https://www.nikkei.com/article/DGXLRSP458112_V20C17A9000000/ ＮＴＴドコモ，商品棚画像認識エンジンを開発−ドコモのＡＩ技術により、商品棚の配置状況が一目でわかる−, https://www.nttdocomo.co.jp/info/news_release/2018/03/01_01.html MathWorks, 画像認識, https://jp.mathworks.com/discovery/image-recognition.html

人の画像が撮影された画像、例えば、店舗内の顧客を撮影した画像を、担当者が監視して、警戒すべき人物であるか否かを判断することが行われている。
しかし、複数の担当者がいる場合は、担当者間で警戒すべき人物に関する情報を共有する必要がある。また、担当者の疲労又は担当すべき領域が広いこと等によって、警戒すべき人物を見逃してしまうこと、逆に、一般人（警戒すべきでない人）を過度に警戒してしまうこと等が発生し得る。
本発明は、人を撮影して、その人の行動を監視するにあたって、その人の移動軌跡データを用いて、警戒すべき人物を記憶したブラックリストを生成することができる情報処理装置、及び情報処理プログラムを提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項１の発明は、人を撮影した画像から、該人の移動を表現した人移動軌跡データを生成する生成手段と、前記人移動軌跡データと予め定められた行動のパターンデータを用いて、前記人の行動が警戒すべき行動であるか否かを分析する分析手段と、前記分析手段によって、警戒すべき行動であると分析された人の特徴を内容に含むブラックリストを生成するブラックリスト生成手段を有することを特徴とする情報処理装置である。

請求項２の発明は、人を撮影した画像から、該人の部位をベクトル表現したワイヤーフレームデータに変換するワイヤーフレーム変換手段をさらに有し、前記生成手段は、前記ワイヤーフレームデータを用いて、前記人の部位の移動を表現した人移動軌跡データを生成する、請求項１に記載の情報処理装置である。

請求項３の発明は、前記画像は、店舗内の人を撮影した画像であり、前記警戒すべき行動として、少なくとも盗難の行動が含まれており、前記分析手段による分析結果を通知する通知手段をさらに有する請求項１に記載の情報処理装置である。

請求項４の発明は、人を撮影した画像から、該人の顔を認識する認識手段をさらに有し、前記生成手段は、前記認識手段による認識結果を用いて、同一人物の人移動軌跡データを生成し、前記分析手段は、前記認識手段によって認識された顔の人物が、前記ブラックリストにあるか否かを分析する、請求項１に記載の情報処理装置である。

請求項５の発明は、コンピュータを、人を撮影した画像から、該人の移動を表現した人移動軌跡データを生成する生成手段と、前記人移動軌跡データと予め定められた行動のパターンデータを用いて、前記人の行動が警戒すべき行動であるか否かを分析する分析手段と、前記分析手段によって、警戒すべき行動であると分析された人の特徴を内容に含むブラックリストを生成するブラックリスト生成手段として機能させることを特徴とする情報処理プログラムである。

請求項１の情報処理装置によれば、人を撮影して、その人の行動を監視するにあたって、その人の移動軌跡データを用いて、警戒すべき人物を記憶したブラックリストを生成することができる。

請求項２の情報処理装置によれば、ワイヤーフレームデータを用いることによって、画像そのものを用いる場合に比べて、警戒すべき行動であるとの分析処理を高速化することができる。

請求項３の情報処理装置によれば、店舗内の少なくとも盗難（万引き等）の行動を検出することができる。

請求項４の情報処理装置によれば、顔画像を用いて、より正確な人移動軌跡データを生成することができる。

請求項５の情報処理プログラムによれば、人を撮影して、その人の行動を監視するにあたって、その人の移動軌跡データを用いて、警戒すべき人物を記憶したブラックリストを生成することができる。

本実施の形態の構成例（１）についての概念的なモジュール構成図である。 本実施の形態の構成例（２）についての概念的なモジュール構成図である。 本実施の形態の構成例（３）についての概念的なモジュール構成図である。 本実施の形態の構成を店舗内に設置した場合の例を示す説明図である。 本実施の形態のモデルの構成例を示す説明図である。 本実施の形態による処理例を示すフローチャートである。 特徴テーブルのデータ構造例を示す説明図である。 動線テーブルのデータ構造例を示す説明図である。 人部位移動軌跡テーブルのデータ構造例を示す説明図である。 本実施の形態による処理例を示すフローチャートである。 顔移動軌跡テーブルのデータ構造例を示す説明図である。 本実施の形態による処理例を示すフローチャートである。 本実施の形態による処理例を示すフローチャートである。 ブラックリストテーブルのデータ構造例を示す説明図である。 行動テーブルのデータ構造例を示す説明図である。 本実施の形態による処理例を示すフローチャートである。 通知のユーザーインタフェース例を示す説明図である。 本実施の形態による処理例を示すフローチャートである。 本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。

以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図１は、本実施の形態の構成例（１）についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム（コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム）、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するという意味である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係、ログイン等）の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態にしたがって、又はそれまでの状況・状態にしたがって定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、２以上の値（もちろんのことながら、全ての値も含む）が同じであってもよい。また、「Ａである場合、Ｂをする」という記載は、「Ａであるか否かを判断し、Ａであると判断した場合はＢをする」の意味で用いる。ただし、Ａであるか否かの判断が不要である場合を除く。また、「Ａ、Ｂ、Ｃ」等のように事物を列挙した場合は、断りがない限り例示列挙であり、その１つのみを選んでいる場合（例えば、Ａのみ）を含む。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」（社会システム）にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスクドライブ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略）、外部記憶媒体、通信回線を介した記憶装置、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略）内のレジスター等を含んでいてもよい。

本実施の形態（１）である情報処理装置１００、撮影装置１５０は、人の動作の人移動軌跡データを対象とした動線検出によるブラックリストの生成、警告装置を提供する。具体的には、人の動線を検出及び記録し、例えば、小売店（スーパーマーケット、コンビニエンスストア等）の店舗における盗難（いわゆる万引き）、異物混入などの特定動作を検出し、次回以降の来店時の警戒に活用する。つまり、撮影装置１５０によって人の動作を取得し、その人の動線に基づいて、ブラックリストを生成する。そして、そのブラックリストを用いて、警告を行う。
なお、小売店の店舗に限らず、カメラに撮影された人の匿名化を行った上で、行動の分析を行う場合に適用できる。例えば、病院、介護施設、スポーツ用施設（例えば、体育館、サッカー場、野球場等）等に、同様の方法で複数カメラを設置し、人の行動を分析することができるようにしてもよい。以下、主な例示として、小売店の店舗に適用する場合を用いて説明する。

また、人移動軌跡データを生成するのに、画像内の人画像そのものを用いるようにしてもよいし、ワイヤーフレームモデル（例えば、人体の３次元ワイヤーフレームモデル）を用いるようにしてもよい。なお、以下の説明では、ワイヤーフレームモデルを例示して説明する。
ブラックリストを用いた異常検知は、セキュリティの分野では広く使われる手段であるが（例えば、非特許文献１）、本実施の形態では、撮影装置１５０により人の動線を取得し、その動線によってブラックリストを作成し、ブラックリストと対象となっている人の動線とを照合して警告を発するようにしている。

情報処理装置１００と撮影装置１５０は、通信回線を介して接続されている。通信回線は、無線、有線、これらの組み合わせであってもよく、例えば、通信インフラとしてのインターネット、イントラネット等であってもよい。また、情報処理装置１００による機能は、クラウドサービスとして実現してもよい。図２で説明するカメラ群１５５と情報処理装置２００との通信回線、図３で説明するカメラ群３５５と情報処理装置１００との通信回線、情報処理装置２００の解釈については同様である。
撮影装置１５０は、情報処理装置１００に対して、ワイヤーフレームモジュール１６５による処理結果であるワイヤーフレームデータ又は人体の部位の移動軌跡データ（以下、人体移動軌跡データともいう）、顔認識モジュール１７０による処理結果である人体の顔の移動軌跡データ（以下、顔移動軌跡データともいう）を送信する。

撮影装置１５０は、図１の例に示すように、カメラ群１５５、ワイヤーフレームモジュール１６５、顔認識モジュール１７０を有しており、情報処理装置１００と接続されている。
カメラ群１５５は、カメラ１６０Ａ、カメラ１６０Ｂ等を有している。カメラ群１５５は、複数のカメラ１６０を有している。
カメラ１６０（カメラ１６０Ａ、カメラ１６０Ｂ等）は、人を撮影する。一般的には、動画であるが、予め定められた間隔で撮影した静止画（複数の静止画）であってもよい。カメラ１６０は施設に設置されている。例えば、小売店の店舗に設置されている場合は、店舗内の人を撮影することになる。カメラ１６０の具体例として、市販されている単眼カメラ、全天球カメラ（３６０°カメラ、ＶＲカメラ、全方位カメラともいわれる）等があり、また、既に設置されている既存の防犯カメラ、監視カメラ等をそのまま流用してもよい。

ワイヤーフレームモジュール１６５は、人を撮影した画像（カメラ群１５５が撮影した画像）から、その人の移動を表現した人移動軌跡データを生成する。具体的には、ワイヤーフレームモジュール１６５は、人を撮影した画像から、その人の部位をベクトル表現したワイヤーフレームデータに変換する。そして、ワイヤーフレームモジュール１６５は、そのワイヤーフレームデータを用いて、人の部位の移動を表現した人移動軌跡データを生成する。
なお、ワイヤーフレームデータに変換することによって、対象となっている人の匿名化を行うことができる。
人の部位としては、関節間の部分が該当し、例えば、頭部、首、肩、胴体、腕（肩から肘までの部分、肘から手までの部分）、手、足（胴体から膝までの部分、膝からくるぶしまでの部分、くるぶしから先の部分）等がある。ワイヤーフレームデータの生成方法として、既に知られている技術を用いればよい。例えば、人体の関節（足、足首、膝、股関節、肘、手首、首等）を検出し、その関節間を結ぶ線をワイヤーフレームとして抽出すればよい。したがって、画像そのものを用いている場合と比べて、ワイヤーフレームデータを用いる場合は、特定の個人を識別することができない。つまり、従来のマスク処理等を一切することなく、画像でなく画像に含まれる人体の動きのみを取得することにより、匿名化の度合いを高度にしている。ただし、少なくともブラックリストに含める人物については、特定する必要があるので、顔認識モジュール１７０を用いる。
具体的には、ワイヤーフレームモジュール１６５は、既存の方法を用いて、画像内の人の各部位の店舗内における３次元の位置（座標）を取得する。

なお、ワイヤーフレームモジュール１６５だけでは、人が早く移動した場合、複数人が近くにいた場合等では、同一人物と判断することが困難になる。そこで、顔認識モジュール１７０で顔認識を行って、同一人物であることの判断に用いる。つまり、ワイヤーフレームモジュール１６５は、顔認識モジュール１７０による認識結果を用いて、同一人物の人移動軌跡データを生成する。
顔認識モジュール１７０は、人を撮影した画像（カメラ群１５５が撮影した画像）から、その人の顔を認識する。ただし、ここでの顔認識は、警戒すべき行動を行った人物については、個人を特定するための処理を行うが、それ以外の人物（一般的な顧客）については、個人を特定するための処理ではなく、店舗内で同一人物であることを認識できる程度としてもよい。一般的な顧客に対しては、それ以上の認識（例えば、個人の氏名の認識等）は行わないようにしてもよい。つまり、別時刻における人物の顔画像を比べて同一人物であるか否かを判断できる程度でよい。例えば、顔画像に対して特徴抽出（髪の色、長さ、目鼻等の相対的位置関係等）を行い、特徴空間上での距離計算（いわゆる類似判断）を行ってもよいし、機械学習で得たアルゴリズムによって判断するようにしてもよい。そして、顔認識モジュール１７０による出力データは、ある時刻における人ＩＤと他の時刻における人ＩＤは同じであることを保証できればよい。例えば、顔認識モジュール１７０は、後述する顔移動軌跡テーブル１１００を生成する。そして、顔認識モジュール１７０による認識結果（認識対象の顔画像、認識処理にともなう中間結果等のデータ等を含めてもよい）を、その認識結果を送信した時点、又は、その人が店舗を退出した場合に削除する。
具体的には、顔認識モジュール１７０は、既存の方法を用いて（例えば、非特許文献３に記載された技術等）、画像内の顔を識別し、その顔の店舗内における３次元の位置（座標）を取得する。
また、顔認識モジュール１７０は、顔認識だけでなく、画像内の人物の特徴（年齢、性別、服装等）を抽出してもよい。

情報処理装置１００は、受付モジュール１０５、動線軌跡記憶モジュール１１０、動線軌跡ＤＢ（ＤａｔａＢａｓｅの略）１１５、動作検出モジュール１２０、ブラックリストＤＢ１２５、顔軌跡ＤＢ１３０、行動分析モジュール１３５、警告モジュール１４０を有しており、撮影装置１５０と接続されている。
受付モジュール１０５は、動線軌跡記憶モジュール１１０、顔軌跡ＤＢ１３０、行動分析モジュール１３５と接続されている。受付モジュール１０５は、撮影装置１５０から人移動軌跡データ（ワイヤーフレームモジュール１６５による処理結果）、顔移動軌跡データ（顔認識モジュール１７０による処理結果）を受信する。そして、人移動軌跡データを動線軌跡記憶モジュール１１０に渡し、顔移動軌跡データを顔軌跡ＤＢ１３０に記憶させる。

動線軌跡記憶モジュール１１０は、受付モジュール１０５、動線軌跡ＤＢ１１５と接続されている。動線軌跡記憶モジュール１１０は、受付モジュール１０５が受け付けた人移動軌跡データを動線軌跡ＤＢ１１５に記憶させる。
動線軌跡ＤＢ１１５は、動線軌跡記憶モジュール１１０、動作検出モジュール１２０と接続されている。動線軌跡ＤＢ１１５は、人移動軌跡データを記憶している。

動作検出モジュール１２０は、動線軌跡ＤＢ１１５、ブラックリストＤＢ１２５、顔軌跡ＤＢ１３０と接続されている。動作検出モジュール１２０は、動線軌跡ＤＢ１１５に記憶されている人移動軌跡データ又は／及び顔軌跡ＤＢ１３０に記憶されている顔移動軌跡データを用いて、ブラックリストを生成し、ブラックリストＤＢ１２５に記憶させる。例えば、ブラックリストＤＢ１２５内のブラックリストに含まれている人物が店内にいる場合は、その人物の人移動軌跡データをブラックリストＤＢ１２５内のブラックリストに登録する。また、ブラックリストＤＢ１２５内のブラックリストに含まれている移動軌跡データと類似している行動を行っている人物が店内にいる場合は、その人物の顔画像等の特徴をブラックリストＤＢ１２５内のブラックリストに登録する。

ブラックリストＤＢ１２５は、動作検出モジュール１２０、行動分析モジュール１３５と接続されている。ブラックリストＤＢ１２５は、ブラックリストを記憶している。過去に店舗内で窃盗等を行った人物の顔画像、指名手配されている人物の特徴（顔画像等）を、予め記憶していてもよい。なお、顔画像そのものではなく、その顔画像から抽出した特徴を記憶していてもよい。また、過去に店舗内で窃盗等を行った人物の動線データ、部位軌跡データ（例えば、手の動き等）を、予め記憶していてもよい。また、典型的な窃盗等の行為を予め撮影しておき、それらの動線データ、部位軌跡データを生成させ、予め記憶していてもよい。
顔軌跡ＤＢ１３０は、受付モジュール１０５、動作検出モジュール１２０、行動分析モジュール１３５と接続されている。顔軌跡ＤＢ１３０は、受付モジュール１０５が受け付けた顔移動軌跡データを記憶している。

行動分析モジュール１３５は、受付モジュール１０５、ブラックリストＤＢ１２５、顔軌跡ＤＢ１３０、警告モジュール１４０と接続されている。行動分析モジュール１３５は、人移動軌跡データと予め定められた行動のパターンデータを用いて、人の行動が警戒すべき行動であるか否かを分析する。ここで「警戒すべき行動」として、少なくとも盗難の行動が含まれており、盗難の他に、例えば、異物混入等を含めてもよい。「警戒すべき行動」に該当する場合は、警告モジュール１４０によって警告を発生させる。
そして、行動分析モジュール１３５は、警戒すべき行動であると分析された人の特徴を内容に含むブラックリストを生成する。
また、行動分析モジュール１３５は、顔認識モジュール１７０によって認識された顔の人物が、ブラックリストにあるか否かを分析する。ブラックリストにある場合は、警告モジュール１４０によって警告を発生させる。
なお、ブラックリストに含める「人の特徴」として、その人物の顔画像、顔画像の特徴抽出結果、その人の移動軌跡データ等のいずれか１つ以上を含む。

警告モジュール１４０は、行動分析モジュール１３５と接続されている。警告モジュール１４０は、行動分析モジュール１３５による分析結果を管理者等に通知する。ブラックリストに含まれる「警戒すべき行動」を行っている人物が店内にいること、又は、ブラックリストに含まれる顔の人物が店内にいること、が行動分析モジュール１３５によって判明した場合は、警告を発生する。

図２は、本実施の形態の構成例（２）についての概念的なモジュール構成図である。
なお、図１の例に示した部位と同種の部位には同一符号を付し重複した説明を省略する（以下、同様）。
カメラ群１５５と情報処理装置２００とは通信回線を介して接続されている。なお、個別のカメラ１６０と情報処理装置２００がそれぞれ通信回線を介して接続されていてもよい。
カメラ群１５５は、従来のカメラ（カメラ１６０）を複数有していればよい。
情報処理装置２００は、受付モジュール１０５、ワイヤーフレームモジュール２６５、顔認識モジュール２７０、動線軌跡記憶モジュール１１０、動線軌跡ＤＢ１１５、動作検出モジュール１２０、ブラックリストＤＢ１２５、顔軌跡ＤＢ１３０、行動分析モジュール１３５、警告モジュール１４０を有しており、カメラ群１５５と接続されている。
つまり、情報処理装置２００は、図１に例示した情報処理装置１００に、ワイヤーフレームモジュール１６５に相当するワイヤーフレームモジュール２６５と顔認識モジュール１７０に相当する顔認識モジュール２７０を付加したものである。

受付モジュール１０５は、ワイヤーフレームモジュール２６５、顔認識モジュール２７０と接続されている。受付モジュール１０５は、カメラ群１５５から、カメラ１６０が撮影した画像を受信する。
ワイヤーフレームモジュール２６５は、受付モジュール１０５、動線軌跡記憶モジュール１１０、行動分析モジュール１３５と接続されている。ワイヤーフレームモジュール２６５は、受付モジュール１０５が受信した画像に対して、ワイヤーフレームモジュール１６５と同等の処理を行い、その結果（人移動軌跡データ）を動線軌跡記憶モジュール１１０、行動分析モジュール１３５に渡す。
動線軌跡記憶モジュール１１０は、ワイヤーフレームモジュール２６５、動線軌跡ＤＢ１１５と接続されている。
顔認識モジュール２７０は、受付モジュール１０５、顔軌跡ＤＢ１３０と接続されている。顔認識モジュール２７０は、受付モジュール１０５が受信した画像に対して、顔認識モジュール１７０と同等の処理を行い、その結果（顔移動軌跡データ）を顔軌跡ＤＢ１３０に渡す。
顔軌跡ＤＢ１３０は、顔認識モジュール２７０、動作検出モジュール１２０、行動分析モジュール１３５と接続されている。
行動分析モジュール１３５は、ワイヤーフレームモジュール２６５、ブラックリストＤＢ１２５、顔軌跡ＤＢ１３０、警告モジュール１４０と接続されている。
カメラ群１５５は、カメラ１６０Ａ、カメラ１６０Ｂ等を有しており、情報処理装置２００と接続されている。

図３は、本実施の形態の構成例（３）についての概念的なモジュール構成図である。
カメラ群３５５と情報処理装置１００とは通信回線を介して接続されている。なお、個別のカメラ３６０と情報処理装置１００がそれぞれ通信回線を介して接続されていてもよい。
情報処理装置１００は、受付モジュール１０５、動線軌跡記憶モジュール１１０、動線軌跡ＤＢ１１５、動作検出モジュール１２０、ブラックリストＤＢ１２５、顔軌跡ＤＢ１３０、行動分析モジュール１３５、警告モジュール１４０を有しており、カメラ群３５５と接続されている。

カメラ群３５５は、カメラ３６０Ａ、カメラ３６０Ｂ等を有しており、情報処理装置１００と接続されている。
各カメラ３６０は、撮像モジュール３５０、ワイヤーフレームモジュール１６５、顔認識モジュール１７０を有している。
撮像モジュール３５０は、画像を撮影する撮影手段としての一例であるカメラである。
ワイヤーフレームモジュール１６５は、撮像モジュール３５０によって撮影された画像から、人の部位をベクトル表現したワイヤーフレームデータに変換する。そして、撮像モジュール３５０によって撮影された画像の代わりに、そのワイヤーフレームデータを受付モジュール１０５に送信する。
顔認識モジュール１７０は、撮像モジュール３５０によって撮影された画像から人物の顔画像を抽出し、その顔画像の移動軌跡を表現した顔移動軌跡データを生成し、その顔移動軌跡データを受付モジュール１０５に送信する。

図４は、本実施の形態の構成を店舗内に設置した場合の例を示す説明図である。
店舗４００内には、商品棚４１０（商品棚４１０−１等）、レジスタ４２０（レジスタ４２０−１等）、撮影装置４５０（撮影装置４５０−１等）が設置されている。例えば、撮影装置４５０は、店舗４００の天井、壁等に設置される。撮影装置４５０は、前述の撮影装置１５０、カメラ群１５５、カメラ群３５５に該当する。
顧客は、店舗４００に入った後、店内を移動し、商品棚４１０（商品棚４１０−１等）から商品を取り出し、手に持ち（ショッピングカー、買い物かご等に入れる、であってもよい）、レジスタ４２０（レジスタ４２０−１等）で支払いを済ませ、店舗４００から出る。
これらの行動は、撮影装置４５０によって撮影され、情報処理装置１００（又は情報処理装置２００）に人移動軌跡データ、顔移動軌跡データが送信される。情報処理装置１００（又は情報処理装置２００）は、受信した人移動軌跡データ、顔移動軌跡データを分析し、その結果（ブラックリストに登録された行動を行った者、ブラックリストに登録された人物）を管理者等が使用するユーザー端末（携帯端末等であってもよい）に出力する。そして、その管理者等は、盗難、異物混入等を防止することができる。

図５は、本実施の形態のモデルの構成例を示す説明図である。
本実施の形態を、概念的なモデルを用いて説明する。本実施の形態は、複数のカメラ５０５、個体認識（顔認識）５１０、特徴追跡５２０、動線分析５３０、意図理解（文法、動作基本単位）５４０を階層的に有したモデルで説明できる。
まず、個体認識（顔認識）５１０は、複数のカメラ５０５を通して、個体（同一人物）を認識する。
次に、個体認識（顔認識）５１０は、顔認識技術を用いて、特定人物を認識する。
そして、特徴追跡５２０は、人物の特徴（性別、年齢など）を抽出する。
動線分析５３０は、抽出した個体ごとに、位置、時間からなる動線を分析する。
意図理解（文法、動作基本単位）５４０は、個体の振る舞い（行動）から、盗難、異物混入、迷いなどの動作意図を分析する。そして、この分析結果を管理者等に知らせる。

図６は、本実施の形態（撮影装置１５０、カメラ３６０）による処理例を示すフローチャートである。特に、ワイヤーフレームモジュール１６５、ワイヤーフレームモジュール２６５による処理例を示す。
ステップＳ６０２では、店舗内を撮影する。人（顧客）が撮影されることになる。
ステップＳ６０４では、撮影した人の特徴を抽出する。既存の技術を用いて、人の特徴を抽出すればよい。例えば、特徴テーブル７００を生成する。図７は、特徴テーブル７００のデータ構造例を示す説明図である。特徴テーブル７００は、人ＩＤ欄７０５、特徴１欄７１０、特徴２欄７１５、特徴３欄７２０を有している。人ＩＤ欄７０５は、本実施の形態において、人を一意に識別するための情報（人ＩＤ：ＩＤｅｎｔｉｆｉｃａｔｉｏｎの略）を記憶している。なお、ここでの「一意に識別する」とは、店舗内で同一人物であることを示す程度であればよく、人物名までを認識する必要はない。なお、同一人物であるか否かは、次の時刻（例えば、１秒後等）で予め定められた距離内（例えば、３０ｃｍ以内等）にいる人を同一人物としてもよいし、さらに、同一人物であることの正確性を高めるために、顔認識モジュール１７０による顔認識結果（後述する顔移動軌跡テーブル１１００）を用いて同一人物を抽出してもよい。特徴１欄７１０は、その人物の特徴１（例えば、年齢等）を記憶している。特徴２欄７１５は、その人物の特徴２（例えば、性別）を記憶している。特徴３欄７２０は、その人物の特徴３（例えば、服装）を記憶している。もちろんのことながら、特徴としてこれら以外のものを採用してもよい。例えば、顔認識の結果（顔画像の特徴等を含む）を、特徴テーブル７００に記憶させてもよい。

ステップＳ６０６では、撮影した画像から人体のワイヤーフレームを生成する。既存の技術を用いて、ワイヤーフレームを生成すればよい。
ステップＳ６０８では、動線データ（体の各部位の移動軌跡）を生成する。ワイヤーフレームデータを用いて、同一人物の各部位の移動を抽出する。例えば、動線テーブル８００、人部位移動軌跡テーブル９００を生成する。図８は、動線テーブル８００のデータ構造例を示す説明図である。動線テーブル８００は、人ＩＤ欄８０５、始点欄８１０、終点欄８１５、始点時刻欄８２０、終点時刻欄８２５を有している。人ＩＤ欄８０５は、人ＩＤを記憶している。始点欄８１０は、その人の移動における始点の座標を記憶している。終点欄８１５は、その人の移動における終点の座標を記憶している。始点時刻欄８２０は、始点時刻（年、月、日、時、分、秒、秒以下、又はこれらの組み合わせであってもよい）を記憶している。終点時刻欄８２５は、終点時刻を記憶している。つまり、動線テーブル８００は、人毎にその人の動線を始点と終点からなるベクトルで表現しており、その移動に始点の時刻から終点の時刻までの時間を要していることを示している。
図９は、人部位移動軌跡テーブル９００のデータ構造例を示す説明図である。人部位移動軌跡テーブル９００は、人ＩＤ欄９０５、部位ＩＤ欄９１０、店内座標ｘ欄９１５、店内座標ｙ欄９２０、店内座標ｚ欄９２５、時刻欄９３０を有している。人ＩＤ欄９０５は、人ＩＤを記憶している。部位ＩＤ欄９１０は、本実施の形態において、その人の部位を一意に識別するための情報（部位ＩＤ）を記憶している。店内座標ｘ欄９１５は、その部位の店内座標ｘを記憶している。店内座標ｙ欄９２０は、その部位の店内座標ｙを記憶している。店内座標ｚ欄９２５は、その部位の店内座標ｚを記憶している。時刻欄９３０は、その部位が撮影された時刻を記憶している。同一人物の同一部位の座標を時系列にたどることによって、移動軌跡（ベクトルデータ）を生成できる。人部位移動軌跡テーブル９００内の各行は、予め定められた間隔で撮影された画像の処理結果である。なお、店内座標は、複数のカメラ１６０の撮影の向きと位置を予め記録しておき、複数のカメラ１６０からその店内の座標に変換した上で記録されたものである。
ステップＳ６１０では、データを送信する。特徴テーブル７００、動線テーブル８００、人部位移動軌跡テーブル９００は、動線軌跡ＤＢ１１５に記憶される。

図１０は、本実施の形態（撮影装置１５０、カメラ３６０）による処理例を示すフローチャートである。特に、顔認識モジュール１７０、顔認識モジュール２７０による処理例を示す。
ステップＳ１００２では、撮影する。人（顧客）が撮影されることになる。
ステップＳ１００４では、撮影した画像から顔を認識する。
ステップＳ１００６では、顔の移動軌跡を生成する。例えば、顔移動軌跡テーブル１１００を生成する。図１１は、顔移動軌跡テーブル１１００のデータ構造例を示す説明図である。顔移動軌跡テーブル１１００は、人ＩＤ欄１１０５、店内座標ｘ欄１１１０、店内座標ｙ欄１１１５、店内座標ｚ欄１１２０、時刻欄１１２５を有している。人ＩＤ欄１１０５は、人ＩＤを記憶している。店内座標ｘ欄１１１０は、その人の店内座標ｘを記憶している。店内座標ｙ欄１１１５は、その人の店内座標ｙを記憶している。店内座標ｚ欄１１２０は、その人の店内座標ｚを記憶している。時刻欄１１２５は、その人が撮影された時刻を記憶している。なお、店内座標は、複数のカメラ１６０の撮影の向きと位置を予め記録しておき、複数のカメラ１６０からその店内の座標に変換した上で記録されたものである。
ステップＳ１００８では、データを送信する。顔移動軌跡テーブル１１００は、顔軌跡ＤＢ１３０に記憶される。

図１２は、本実施の形態による処理例を示すフローチャートである。
ステップＳ１２０２では、店舗内の特徴テーブル７００、動線テーブル８００、人部位移動軌跡テーブル９００、顔移動軌跡テーブル１１００を抽出する。
ステップＳ１２０４では、対象としている人物（又は行動）とブラックリスト内との類似判定を行う。ステップＳ１２０４の詳細な処理については、図１３又は図１６の例に示すフローチャートを用いて後述する。
ステップＳ１２０６では、類似しているか否かを判断し、類似している場合はステップＳ１２０８へ進み、それ以外の場合はステップＳ１２１２へ進む。
ステップＳ１２０８では、警告表示を行う。
ステップＳ１２１０では、ブラックリストにその人物（又は警戒すべき行動）を追加する。
ステップＳ１２１２では、一般客であるので、一般表示（警告表示ではない表示）を行う。

図１３は、本実施の形態による処理例を示すフローチャートである。
ステップＳ１３０２では、ブラックリスト内と同一人物であるか否かを判断し、同一人物の場合はステップＳ１３０４へ進み、それ以外の場合はステップＳ１３０８へ進む。例えば、ブラックリストとして、ブラックリストテーブル１４００、行動テーブル１５００を用いる。図１４は、ブラックリストテーブル１４００のデータ構造例を示す説明図である。ブラックリストテーブル１４００は、人ＩＤ欄１４０５、行動ＩＤ欄１４１０、時刻欄１４１５を有している。人ＩＤ欄１４０５は、人ＩＤを記憶している。具体的には、特徴テーブル７００内の特徴を指し示すことになる。行動ＩＤ欄１４１０は、本実施の形態において、その人の行動を一意に識別するための情報（行動ＩＤ）を記憶している。具体的には、後述する行動テーブル１５００内の行動を指し示すことになる。時刻欄１４１５は、その行動が発生した時刻（その行動を撮影した時刻）を記憶している。具体的には、ステップＳ１３０２では、ブラックリストテーブル１４００の人ＩＤ欄１４０５の人ＩＤから、特徴テーブル７００を参照することによって、警告対象となる人の特徴（顔を含めてもよい）を抽出することができる。

ステップＳ１３０４では、ブラックリスト内の行動（動線、部位軌跡）に類似するか否かを判断し、類似する場合はステップＳ１３０６へ進み、それ以外の場合はステップＳ１３０８へ進む。具体的には、ステップＳ１３０４では、ブラックリストテーブル１４００の行動ＩＤ欄１４１０の行動ＩＤから、行動テーブル１５００を参照することによって、警告すべき行動（動線）を抽出することができる。
図１５は、行動テーブル１５００のデータ構造例を示す説明図である。行動テーブル１５００は、行動ＩＤ欄１５０５、ラベル欄１５１０、詳細欄１５１５、動線データ欄１５２０、部位軌跡データ欄１５２５を有している。行動ＩＤ欄１５０５は、行動ＩＤを記憶している。ラベル欄１５１０は、その行動のラベル（その行動を示す内容）を記憶している。例えば、ラベルとして「万引き」、「挙動不審」等がある。詳細欄１５１５は、その行動の詳細内容を記憶している。例えば、「（商品を）かばんに入れる」、「（商品を）コートに隠す」、「多数の商品に触れる」等がある。動線データ欄１５２０は、動線データを記憶している。例えば、人の動線を示す始点と終点からなるベクトルデータが該当する。具体的には、動線テーブル８００の始点欄８１０、終点欄８１５が該当する。部位軌跡データ欄１５２５は、部位軌跡データを記憶している。例えば、人の部位（例えば、手）の動きを示す始点と終点からなるベクトルデータが該当する。具体的には、人部位移動軌跡テーブル９００の部位ＩＤ欄９１０、店内座標ｘ欄９１５、店内座標ｙ欄９２０、店内座標ｚ欄９２５が該当する。動線データ欄１５２０、部位軌跡データ欄１５２５には、ベクトルデータの他に、時間情報（それらの行動を行うのに要した時間であり、その行動の速度を示すことになる）を記憶していてもよい。

ステップＳ１３０６では、類似と判断する。
ステップＳ１３０８では、非類似と判断する。
ステップＳ１３０６、ステップＳ１３０８の判断結果が、図１２の例に示したフローチャートのステップＳ１２０６での判断に用いられる。

図１６は、本実施の形態による処理例を示すフローチャートである。図１３の例に示したフローチャートでは、人の特徴を用いたが、行動（動線、部位の軌跡）だけでブラックリスト内の行動に該当するか否かを判断するようにした処理例を示すものである。
ステップＳ１６０２では、ブラックリスト内の行動（動線、部位軌跡）に類似するか否かを判断し、類似する場合はステップＳ１６０４へ進み、それ以外の場合はステップＳ１６０６へ進む。
ステップＳ１６０４では、類似と判断する。
ステップＳ１６０６では、非類似と判断する。
ステップＳ１６０４、ステップＳ１６０６の判断結果が、図１２の例に示したフローチャートのステップＳ１２０６での判断に用いられる。

図１７は、通知のユーザーインタフェース例を示す説明図である。
警告モジュール１４０は、管理者等のユーザー端末に画面１７００の内容を表示する。画面１７００には、店舗４００のレイアウトを表示し、そのレイアウト上に、顧客の動線を表示する。図１７の例では、３人の顧客１７０２、顧客１７０４、顧客１７０６がおり、その顧客の動線１７１２、動線１７１４、動線１７１６を示している。動線１７１２、動線１７１４は、一般的な行動（動線）であることを示しており、動線１７１６は、ブラックリストに登録されている行動と類似の行動を行っていることから警戒すべき行動であると分析される。そして、画面１７００上の顧客１７０６、動線１７１６を、他の顧客、動線とは異なる形態（色、形状、文字等の付加、点滅等）で表示する。例えば、顧客１７０６、動線１７１６を赤色で表示する。また、店員等の確認によって盗難であると判明した場合は、顧客１７０６の画像から抽出した特徴（顔画像そのものであってもよい）、動線１７１６をブラックリストに登録する。

図１８は、本実施の形態による処理例（ブラックリストへの登録処理例）を示すフローチャートである。
ステップＳ１８０２では、特定動作の確認がとれたか否かを判断し、確認がとれた場合はステップＳ１８０４へ進み、それ以外の場合は処理を終了する（ステップＳ１８９９）。具体的には、警告モジュール１４０によって警告が表示され、店員等によって盗難であると判明した場合に、ステップＳ１８０４へ進むことになる。
ステップＳ１８０４では、その人の特徴データ、動線データ、人部位移動軌跡データ、顔移動軌跡データを抽出する。
ステップＳ１８０６では、ステップＳ１８０４で抽出したデータを、ブラックリストテーブル１４００、行動テーブル１５００に登録する。
以後、このブラックリストテーブル１４００、行動テーブル１５００を用いて、警戒すべき人物、行動を抽出して、警告を発することができるようになる。

なお、本実施の形態（情報処理装置１００、撮影装置１５０、カメラ３６０）としてのプログラムが実行されるコンピュータのハードウェア構成は、図１９に例示するように、一般的なコンピュータであり、具体的にはパーソナルコンピュータ、サーバーとなり得るコンピュータ等である。つまり、具体例として、処理部（演算部）としてＣＰＵ１９０１を用い、記憶装置としてＲＡＭ１９０２、ＲＯＭ１９０３、ＨＤＤ１９０４を用いている。ＨＤＤ１９０４として、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略）、フラッシュ・メモリであるＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅの略）等を用いてもよい。受付モジュール１０５、動線軌跡記憶モジュール１１０、動作検出モジュール１２０、行動分析モジュール１３５、警告モジュール１４０、ワイヤーフレームモジュール１６５、顔認識モジュール１７０、ワイヤーフレームモジュール２６５、顔認識モジュール２７０等のプログラムを実行するＣＰＵ１９０１と、そのプログラムやデータを記憶するＲＡＭ１９０２と、本コンピュータを起動するためのプログラム等が格納されているＲＯＭ１９０３と、動線軌跡ＤＢ１１５、ブラックリストＤＢ１２５、顔軌跡ＤＢ１３０等としての機能を有する補助記憶装置であるＨＤＤ１９０４と、キーボード、マウス、タッチスクリーン、マイク、カメラ（視線検知カメラ等を含む）等に対する利用者の操作（動作、音声、視線等を含む）に基づいてデータを受け付ける受付装置１９０６と、ＣＲＴ、液晶ディスプレイ、スピーカー等の出力装置１９０５と、ネットワークインタフェースカード等の通信ネットワークと接続するための通信回線インタフェース１９０７、そして、それらをつないでデータのやりとりをするためのバス１９０８により構成されている。これらのコンピュータが複数台互いにネットワークによって接続されていてもよい。

前述の実施の形態のうち、コンピュータ・プログラムによるものについては、本ハードウェア構成のシステムにソフトウェアであるコンピュータ・プログラムを読み込ませ、ソフトウェアとハードウェア資源とが協働して、前述の実施の形態が実現される。
なお、図１９に示すハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図１９に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）や再構成可能な集積回路（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ：ＦＰＧＡ）等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続している形態でもよく、さらに図１９に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、特に、パーソナルコンピュータの他、携帯情報通信機器（携帯電話、スマートフォン、モバイル機器、ウェアラブルコンピュータ等を含む）、情報家電、ロボットなどに組み込まれていてもよい。

前述の実施の形態においては、小売店の店舗に適用する場合を例示したが、他の施設における人の行動を分析するようにしてもよい。前述したように、例えば、病院、介護施設、スポーツ用施設等に、同様の方法で複数カメラを設置し、通院又は入院している患者、入所している利用者、観客等のブラックリストを生成し、他の患者、他の利用者、他の観客等への影響を防ぐようにしてもよい。

なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌの略）メモリーカード等が含まれる。
そして、前記のプログラムの全体又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分若しくは全部であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。

１００…情報処理装置
１０５…受付モジュール
１１０…動線軌跡記憶モジュール
１１５…動線軌跡ＤＢ
１２０…動作検出モジュール
１２５…ブラックリストＤＢ
１３０…顔軌跡ＤＢ
１３５…行動分析モジュール
１４０…警告モジュール
１５０…撮影装置
１５５…カメラ群
１６０…カメラ
１６５…ワイヤーフレームモジュール
１７０…顔認識モジュール
２００…情報処理装置
２６５…ワイヤーフレームモジュール
２７０…顔認識モジュール
３５０…撮像モジュール
３５５…カメラ群
３６０…カメラ

Claims (5)

1. 人を撮影した画像から、該人の移動を表現した人移動軌跡データを生成する生成手段と、
   前記人移動軌跡データと予め定められた行動のパターンデータを用いて、前記人の行動が警戒すべき行動であるか否かを分析する分析手段と、
   前記分析手段によって、警戒すべき行動であると分析された人の特徴を内容に含むブラックリストを生成するブラックリスト生成手段
   を有することを特徴とする情報処理装置。
2. 人を撮影した画像から、該人の部位をベクトル表現したワイヤーフレームデータに変換するワイヤーフレーム変換手段
   をさらに有し、
   前記生成手段は、前記ワイヤーフレームデータを用いて、前記人の部位の移動を表現した人移動軌跡データを生成する、
   請求項１に記載の情報処理装置。
3. 前記画像は、店舗内の人を撮影した画像であり、
   前記警戒すべき行動として、少なくとも盗難の行動が含まれており、
   前記分析手段による分析結果を通知する通知手段
   をさらに有する請求項１に記載の情報処理装置。
4. 人を撮影した画像から、該人の顔を認識する認識手段
   をさらに有し、
   前記生成手段は、前記認識手段による認識結果を用いて、同一人物の人移動軌跡データを生成し、
   前記分析手段は、前記認識手段によって認識された顔の人物が、前記ブラックリストにあるか否かを分析する、
   請求項１に記載の情報処理装置。
5. コンピュータを、
   人を撮影した画像から、該人の移動を表現した人移動軌跡データを生成する生成手段と、
   前記人移動軌跡データと予め定められた行動のパターンデータを用いて、前記人の行動が警戒すべき行動であるか否かを分析する分析手段と、
   前記分析手段によって、警戒すべき行動であると分析された人の特徴を内容に含むブラックリストを生成するブラックリスト生成手段
   として機能させることを特徴とする情報処理プログラム。