JP2020184197A - 情報処理装置、画像撮影装置、情報処理プログラム及び画像撮影プログラム - Google Patents
情報処理装置、画像撮影装置、情報処理プログラム及び画像撮影プログラム Download PDFInfo
- Publication number
- JP2020184197A JP2020184197A JP2019088295A JP2019088295A JP2020184197A JP 2020184197 A JP2020184197 A JP 2020184197A JP 2019088295 A JP2019088295 A JP 2019088295A JP 2019088295 A JP2019088295 A JP 2019088295A JP 2020184197 A JP2020184197 A JP 2020184197A
- Authority
- JP
- Japan
- Prior art keywords
- person
- data
- product
- movement locus
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 69
- 238000003384 imaging method Methods 0.000 title abstract description 8
- 230000033001 locomotion Effects 0.000 claims abstract description 160
- 238000004458 analytical method Methods 0.000 claims abstract description 52
- 230000009471 action Effects 0.000 claims description 29
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 11
- 230000006399 behavior Effects 0.000 description 64
- 238000012545 processing Methods 0.000 description 37
- 238000000034 method Methods 0.000 description 29
- 238000004891 communication Methods 0.000 description 21
- 238000001514 detection method Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 14
- 238000004590 computer program Methods 0.000 description 6
- 210000003423 ankle Anatomy 0.000 description 3
- 210000003127 knee Anatomy 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 210000002683 foot Anatomy 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 210000003739 neck Anatomy 0.000 description 2
- 230000003442 weekly effect Effects 0.000 description 2
- 238000012356 Product development Methods 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 210000000617 arm Anatomy 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000001513 elbow Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 210000004394 hip joint Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000002832 shoulder Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 210000005010 torso Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Abstract
【課題】人を撮影して、その人の行動を分析するにあたって、特定の個人が識別できないようにしたワイヤーフレームデータを用いるようにした情報処理装置を提供する。【解決手段】撮影装置１５０において、ワイヤーフレームモジュール１６５は、人を撮影した画像から、その人の部位をベクトル表現したワイヤーフレームデータに変換し、その人の匿名化を行い、ワイヤーフレームデータを用いて、人の部位の移動を表現した人移動軌跡データを生成する。情報処理装置１００において、行動分析モジュール１２０は、人移動軌跡データと予め定められた行動のパターンデータを用いて人の行動を分析し、通知モジュール１３０は、分析結果をユーザーに通知する。【選択図】図１
Description
本発明は、情報処理装置、画像撮影装置、情報処理プログラム及び画像撮影プログラムに関する。
非特許文献１には、レジに並ばずに自動で支払いが完了する店舗が記載されている。
非特許文献２には、スーパーやコンビニ等の小売店で商品棚をスマートフォン等で撮影することでリアルタイムに商品の陳列状況を分析できる商品棚画像認識エンジンが記載されている。
非特許文献３には、顔画像等の認識技術が記載されている。
非特許文献４には、事業者が、カメラ画像の利活用に際し、生活者に対して、プライバシー保護の観点から配慮が必要な項目が記載されている。
非特許文献５には、パーソナルデータの匿名化が重要であることが記載されている。
非特許文献２には、スーパーやコンビニ等の小売店で商品棚をスマートフォン等で撮影することでリアルタイムに商品の陳列状況を分析できる商品棚画像認識エンジンが記載されている。
非特許文献３には、顔画像等の認識技術が記載されている。
非特許文献４には、事業者が、カメラ画像の利活用に際し、生活者に対して、プライバシー保護の観点から配慮が必要な項目が記載されている。
非特許文献５には、パーソナルデータの匿名化が重要であることが記載されている。
What is Amazon Go, where is it, and how does it work?, https://www.pocket-lint.com/phones/news/amazon/139650-what-is-amazon-go-where-is-it-and-how-does-it-work
ＮＴＴドコモ，商品棚画像認識エンジンを開発−ドコモのＡＩ技術により、商品棚の配置状況が一目でわかる−, https://www.nttdocomo.co.jp/info/news_release/2018/03/01_01.html
MathWorks, 画像認識, https://jp.mathworks.com/discovery/image-recognition.html
経済産業省，カメラ画像利活用 ガイドブック，http://www.meti.go.jp/press/2016/01/20170131002/20170131002-1.pdf
国立情報学研究所，パーソナルデータ利活用（ＮＩＩ Ｔｏｄａｙ），https://www.nii.ac.jp/userdata/results/pr_data/NII_Today/63/p8-9.pdf
人の画像が撮影された画像、例えば、店舗内の顧客を撮影し、マーケティングデータを取得することが行われている。
しかし、人が撮影された画像はパーソナルデータであり、その画像を用いるためには、個人情報保護法の遵守、生活者のプライバシーに配慮する必要があることから、匿名化処理を施す必要がある。例えば、カメラ画像にモザイク処理等を施し、特定の個人が識別できないように加工することが必要である。
本発明は、人を撮影して、その人の行動を分析するにあたって、特定の個人が識別できないようにしたワイヤーフレームデータを用いるようにした情報処理装置、画像撮影装置、情報処理プログラム及び画像撮影プログラムを提供することを目的としている。
しかし、人が撮影された画像はパーソナルデータであり、その画像を用いるためには、個人情報保護法の遵守、生活者のプライバシーに配慮する必要があることから、匿名化処理を施す必要がある。例えば、カメラ画像にモザイク処理等を施し、特定の個人が識別できないように加工することが必要である。
本発明は、人を撮影して、その人の行動を分析するにあたって、特定の個人が識別できないようにしたワイヤーフレームデータを用いるようにした情報処理装置、画像撮影装置、情報処理プログラム及び画像撮影プログラムを提供することを目的としている。
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項１の発明は、人を撮影した画像から、該人の部位をベクトル表現したワイヤーフレームデータに変換し、該人の匿名化を行うワイヤーフレーム変換手段と、前記ワイヤーフレームデータを用いて、前記人の部位の移動を表現した人移動軌跡データを生成する生成手段と、前記人移動軌跡データと予め定められた行動のパターンデータを用いて、前記人の行動を分析する分析手段と、前記分析手段による分析結果を通知する通知手段を有することを特徴とする情報処理装置である。
請求項１の発明は、人を撮影した画像から、該人の部位をベクトル表現したワイヤーフレームデータに変換し、該人の匿名化を行うワイヤーフレーム変換手段と、前記ワイヤーフレームデータを用いて、前記人の部位の移動を表現した人移動軌跡データを生成する生成手段と、前記人移動軌跡データと予め定められた行動のパターンデータを用いて、前記人の行動を分析する分析手段と、前記分析手段による分析結果を通知する通知手段を有することを特徴とする情報処理装置である。
請求項２の発明は、前記画像は、店舗内の人を撮影した画像であり、商品を撮影した画像から抽出された該商品の移動軌跡を表現した商品移動軌跡データを生成する第２の生成手段をさらに有し、前記行動のパターンデータは、人が商品に対して行った行動を示すパターンデータであり、前記分析手段は、前記人移動軌跡データと前記商品移動軌跡データから、前記パターンデータに該当するか否かを判断する、請求項１に記載の情報処理装置である。
請求項３の発明は、前記行動のパターンデータは、グループに属する複数人が商品に対して行った行動を示すパターンデータであり、前記分析手段は、グループに属する人を推定し、該グループ内の複数人の前記人移動軌跡データと前記商品移動軌跡データから、前記パターンデータに該当するか否かを判断する、請求項２に記載の情報処理装置である。
請求項４の発明は、人を撮影した画像から、該人の顔を認識する認識手段をさらに有し、前記生成手段は、前記認識手段による認識結果を用いて、同一人物の人移動軌跡データを生成する、請求項１に記載の情報処理装置である。
請求項５の発明は、前記認識手段による認識結果は、前記生成手段による人移動軌跡データの生成のみに用い、前記認識手段による認識結果を、前記人が店舗を退出した場合に削除する、請求項４に記載の情報処理装置である。
請求項６の発明は、画像を撮影する撮影手段と、前記撮影手段によって撮影された画像から、人の部位をベクトル表現したワイヤーフレームデータに変換する変換手段と、前記撮影手段によって撮影された画像の代わりに、前記変換手段によって変換されたワイヤーフレームデータを出力する出力手段を有することを特徴とする画像撮影装置である。
請求項７の発明は、コンピュータを、人を撮影した画像から、該人の部位をベクトル表現したワイヤーフレームデータに変換し、該人の匿名化を行うワイヤーフレーム変換手段と、前記ワイヤーフレームデータを用いて、前記人の部位の移動を表現した人移動軌跡データを生成する生成手段と、前記人移動軌跡データと予め定められた行動のパターンデータを用いて、前記人の行動を分析する分析手段と、前記分析手段による分析結果を通知する通知手段として機能させることを特徴とする情報処理プログラムである。
請求項８の発明は、画像を撮影する撮影手段を有するコンピュータを、前記撮影手段によって撮影された画像から、人の部位をベクトル表現したワイヤーフレームデータに変換する変換手段と、前記撮影手段によって撮影された画像の代わりに、前記変換手段によって変換されたワイヤーフレームデータを出力する出力手段として機能させることを特徴とする画像撮影プログラムである。
請求項１の情報処理装置によれば、人を撮影して、その人の行動を分析するにあたって、特定の個人が識別できないようにしたワイヤーフレームデータを用いることができる。
請求項２の情報処理装置によれば、店舗内の人を撮影して、その人が商品に対して行った行動を分析することができる。
請求項３の情報処理装置によれば、グループに属する複数人が商品に対して行った行動を分析することができる。
請求項４の情報処理装置によれば、顔認識を用いない場合に比べて、より正確な人移動軌跡データを生成することができる。
請求項５の情報処理装置によれば、顔認識結果は、人移動軌跡データの生成以外には用いないようにすることができる。
請求項６の画像撮影装置によれば、画像ではなく、特定の個人が識別できないようにしたワイヤーフレームデータを出力することができる。
請求項７の情報処理プログラムによれば、人を撮影して、その人の行動を分析するにあたって、特定の個人が識別できないようにしたワイヤーフレームデータを用いることができる。
請求項８の画像撮影プログラムによれば、画像ではなく、特定の個人が識別できないようにしたワイヤーフレームデータを出力することができる。
以下、図面に基づき本発明を実現するにあたっての好適な各種の実施の形態の例を説明する。
＜第１の実施の形態＞
図１は、第１の実施の形態の構成例（１）についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム（コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム）、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するという意味である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係、ログイン等）の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態にしたがって、又はそれまでの状況・状態にしたがって定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、２以上の値（もちろんのことながら、全ての値も含む）が同じであってもよい。また、「Ａである場合、Ｂをする」という記載は、「Ａであるか否かを判断し、Ａであると判断した場合はＢをする」の意味で用いる。ただし、Ａであるか否かの判断が不要である場合を除く。また、「Ａ、Ｂ、Ｃ」等のように事物を列挙した場合は、断りがない限り例示列挙であり、その１つのみを選んでいる場合（例えば、Ａのみ）を含む。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」（社会システム）にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスクドライブ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略）、外部記憶媒体、通信回線を介した記憶装置、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略）内のレジスタ等を含んでいてもよい。
＜第１の実施の形態＞
図１は、第１の実施の形態の構成例（１）についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム（コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム）、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するという意味である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係、ログイン等）の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態にしたがって、又はそれまでの状況・状態にしたがって定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、２以上の値（もちろんのことながら、全ての値も含む）が同じであってもよい。また、「Ａである場合、Ｂをする」という記載は、「Ａであるか否かを判断し、Ａであると判断した場合はＢをする」の意味で用いる。ただし、Ａであるか否かの判断が不要である場合を除く。また、「Ａ、Ｂ、Ｃ」等のように事物を列挙した場合は、断りがない限り例示列挙であり、その１つのみを選んでいる場合（例えば、Ａのみ）を含む。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」（社会システム）にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスクドライブ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略）、外部記憶媒体、通信回線を介した記憶装置、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略）内のレジスタ等を含んでいてもよい。
第１の実施の形態である情報処理装置１００、撮影装置１５０は、人を撮影して、その人の行動を分析する機能を有している。
本実施の形態では、例えば、人の動作のワイヤーフレームモデルを対象とした複数カメラによる匿名化マーケティング行動検出を行う。具体例として、小売店（スーパーマーケット、コンビニエンスストア等）の店舗に複数のカメラを設置し、そのカメラから、人体の３次元ワイヤーフレームを取得することにより、匿名化の行動分析を行う。さらに、商品の移動軌跡と組み合わせることによって、棚から一度手にとった商品を棚にすぐ返す行動の軌跡、および、多数の人の候補から物理的距離の近い数人を同一グループとしてグループ化し、そのグループがレジスタで会計をするまでの軌跡を、マーケティングデータとして提供する。ここでグループとして、例えば、家族、友人、恋人等が該当する。
なお、小売店の店舗に限らず、カメラに撮影された人の匿名化を行った上で、行動の分析を行う場合に適用できる。例えば、スポーツ用施設（例えば、体育館、サッカー場、野球場等）に、同様の方法で複数カメラを設置し、観客の行動を分析することができるようにしてもよい。以下、主な例示として、小売店の店舗に適用する場合を用いて説明する。
本実施の形態では、例えば、人の動作のワイヤーフレームモデルを対象とした複数カメラによる匿名化マーケティング行動検出を行う。具体例として、小売店（スーパーマーケット、コンビニエンスストア等）の店舗に複数のカメラを設置し、そのカメラから、人体の３次元ワイヤーフレームを取得することにより、匿名化の行動分析を行う。さらに、商品の移動軌跡と組み合わせることによって、棚から一度手にとった商品を棚にすぐ返す行動の軌跡、および、多数の人の候補から物理的距離の近い数人を同一グループとしてグループ化し、そのグループがレジスタで会計をするまでの軌跡を、マーケティングデータとして提供する。ここでグループとして、例えば、家族、友人、恋人等が該当する。
なお、小売店の店舗に限らず、カメラに撮影された人の匿名化を行った上で、行動の分析を行う場合に適用できる。例えば、スポーツ用施設（例えば、体育館、サッカー場、野球場等）に、同様の方法で複数カメラを設置し、観客の行動を分析することができるようにしてもよい。以下、主な例示として、小売店の店舗に適用する場合を用いて説明する。
情報処理装置１００と撮影装置１５０は、通信回線を介して接続されている。通信回線は、無線、有線、これらの組み合わせであってもよく、例えば、通信インフラとしてのインターネット、イントラネット等であってもよい。また、情報処理装置１００による機能は、クラウドサービスとして実現してもよい。図２で説明するカメラ群１５５と情報処理装置２００との通信回線、図３で説明するカメラ群３５５と情報処理装置１００との通信回線、図１３で説明する撮影装置１３５０と情報処理装置１３００との通信回線、情報処理装置２００、情報処理装置１３００の解釈については同様である。
撮影装置１５０は、情報処理装置１００に対して、ワイヤーフレームモジュール１６５による処理結果であるワイヤーフレームデータ又は人体の部位の移動軌跡データ（以下、人部位移動軌跡データともいう）、商品特定モジュール１７０による処理結果である商品の移動軌跡データ（以下、商品移動軌跡データともいう）を送信する。
撮影装置１５０は、情報処理装置１００に対して、ワイヤーフレームモジュール１６５による処理結果であるワイヤーフレームデータ又は人体の部位の移動軌跡データ（以下、人部位移動軌跡データともいう）、商品特定モジュール１７０による処理結果である商品の移動軌跡データ（以下、商品移動軌跡データともいう）を送信する。
撮影装置１５０は、図１の例に示すように、カメラ群１５５、ワイヤーフレームモジュール１６５、商品特定モジュール１７０を有しており、情報処理装置１００と接続されている。
カメラ群１５５は、カメラ１６０Ａ、カメラ１６０Ｂ等を有している。カメラ群１５５は、複数のカメラ１６０を有している。
カメラ１６０（カメラ１６０Ａ、カメラ１６０Ｂ等）は、人を撮影する。一般的には、動画であるが、予め定められた間隔で撮影した静止画（複数の静止画）であってもよい。カメラ１６０は施設に設置されている。例えば、小売店の店舗に設置されている場合は、店舗内の人を撮影することになる。カメラ１６０の具体例として、市販されている単眼カメラ、全天球カメラ（３６０°カメラ、ＶＲカメラ、全方位カメラともいわれる）等があり、また、既に設置されている既存の防犯カメラ、監視カメラ等をそのまま流用してもよい。
カメラ群１５５は、カメラ１６０Ａ、カメラ１６０Ｂ等を有している。カメラ群１５５は、複数のカメラ１６０を有している。
カメラ１６０（カメラ１６０Ａ、カメラ１６０Ｂ等）は、人を撮影する。一般的には、動画であるが、予め定められた間隔で撮影した静止画（複数の静止画）であってもよい。カメラ１６０は施設に設置されている。例えば、小売店の店舗に設置されている場合は、店舗内の人を撮影することになる。カメラ１６０の具体例として、市販されている単眼カメラ、全天球カメラ（３６０°カメラ、ＶＲカメラ、全方位カメラともいわれる）等があり、また、既に設置されている既存の防犯カメラ、監視カメラ等をそのまま流用してもよい。
ワイヤーフレームモジュール１６５は、人を撮影した画像（カメラ群１５５が撮影した画像）から、その人の部位をベクトル表現したワイヤーフレームデータに変換し、その人の匿名化を行う。人の部位としては、関節間の部分が該当し、例えば、頭部、首、肩、胴体、腕（肩から肘までの部分、肘から手までの部分）、手、足（胴体から膝までの部分、膝からくるぶしまでの部分、くるぶしから先の部分）等がある。ワイヤーフレームデータの生成方法として、既に知られている技術を用いればよい。例えば、人体の関節（足、足首、膝、股関節、肘、手首、首等）を検出し、その関節間を結ぶ線をワイヤーフレームとして抽出すればよい。したがって、画像そのものを用いている場合と比べて、ワイヤーフレームデータを用いる場合は、特定の個人を識別することができない。つまり、従来のマスク処理等を一切することなく、画像でなく画像に含まれる人体の動きのみを取得することにより、匿名化の度合いを高度にしている。
具体的には、ワイヤーフレームモジュール１６５は、既存の方法を用いて（例えば、非特許文献２に記載された技術等）、画像内の人の各部位の店舗内における３次元の位置（座標）を取得する。
具体的には、ワイヤーフレームモジュール１６５は、既存の方法を用いて（例えば、非特許文献２に記載された技術等）、画像内の人の各部位の店舗内における３次元の位置（座標）を取得する。
さらに、ワイヤーフレームモジュール１６５は、人の部位である「顔の部分」は、ワイヤーフレームデータに変換せず（顔部分のワイヤーフレームデータがない）、又は、簡略化したワイヤーフレームデータに変換するようにしてもよい。目、鼻、口等の輪郭を再現できるような詳細なワイヤーフレームデータでは、特定の個人を識別できる可能性があるからである。なお、「簡略化したワイヤーフレームデータ」とは、特定の個人が識別できない程度であればよく、例えば、顔の部位（目、鼻、口等）を、単なる線若しくは点で表現したワイヤーフレームデータとすること、又は、顔の部位の一部のみをワイヤーフレームデータとすること等がある。具体的には、「顔の部位の一部のみ」として、口のみをワイヤーフレームデータに変換し、他の目等の部位はワイヤーフレームデータに変換しないようにしてもよい。この場合、会話をしているか否かを、口のワイヤーフレームデータから識別することはできるが、特定の個人を識別することはできない。
そして、ワイヤーフレームモジュール１６５は、ワイヤーフレームデータを用いて、人の部位の移動を表現した人移動軌跡データを生成する。例えば、後述する人部位移動軌跡テーブル７００を生成する。
そして、ワイヤーフレームモジュール１６５は、ワイヤーフレームデータを用いて、人の部位の移動を表現した人移動軌跡データを生成する。例えば、後述する人部位移動軌跡テーブル７００を生成する。
商品特定モジュール１７０は、商品を撮影した画像から抽出されたその商品の移動軌跡を表現した商品移動軌跡データを生成する。例えば、後述する商品移動軌跡テーブル９００を生成する。
なお、ワイヤーフレームモジュール１６５、商品特定モジュール１７０は、機械学習で得たアルゴリズムによって識別するようにしてもよい。
具体的には、商品特定モジュール１７０は、既存の方法を用いて（例えば、非特許文献３に記載された技術等）、画像内の商品のラベル等を認識して特定し、その商品の店舗内における３次元の位置（座標）を取得する。
なお、ワイヤーフレームモジュール１６５、商品特定モジュール１７０は、機械学習で得たアルゴリズムによって識別するようにしてもよい。
具体的には、商品特定モジュール１７０は、既存の方法を用いて（例えば、非特許文献３に記載された技術等）、画像内の商品のラベル等を認識して特定し、その商品の店舗内における３次元の位置（座標）を取得する。
情報処理装置１００は、図１の例に示すように、受付モジュール１０５、人体部位移動軌跡ＤＢ（ＤａｔａＢａｓｅの略）１１０、商品移動軌跡ＤＢ１１５、行動分析モジュール１２０、通知モジュール１３０を有しており、撮影装置１５０と接続されている。
受付モジュール１０５は、人体部位移動軌跡ＤＢ１１０、商品移動軌跡ＤＢ１１５と接続されている。受付モジュール１０５は、撮影装置１５０から人移動軌跡データ、商品移動軌跡データを受信する。そして、人移動軌跡データを人体部位移動軌跡ＤＢ１１０に記憶させ、商品移動軌跡データを商品移動軌跡ＤＢ１１５に記憶させる。
受付モジュール１０５は、人体部位移動軌跡ＤＢ１１０、商品移動軌跡ＤＢ１１５と接続されている。受付モジュール１０５は、撮影装置１５０から人移動軌跡データ、商品移動軌跡データを受信する。そして、人移動軌跡データを人体部位移動軌跡ＤＢ１１０に記憶させ、商品移動軌跡データを商品移動軌跡ＤＢ１１５に記憶させる。
人体部位移動軌跡ＤＢ１１０は、受付モジュール１０５、行動分析モジュール１２０と接続されている。人体部位移動軌跡ＤＢ１１０は、人移動軌跡データを記憶している。
商品移動軌跡ＤＢ１１５は、受付モジュール１０５、行動分析モジュール１２０と接続されている。商品移動軌跡ＤＢ１１５は、商品移動軌跡データを記憶している。
商品移動軌跡ＤＢ１１５は、受付モジュール１０５、行動分析モジュール１２０と接続されている。商品移動軌跡ＤＢ１１５は、商品移動軌跡データを記憶している。
行動分析モジュール１２０は、人位置追跡モジュール１２２、グループ推定モジュール１２４、単一マーケティング行動検出モジュール１２６、グループマーケティング行動検出モジュール１２８を有しており、人体部位移動軌跡ＤＢ１１０、商品移動軌跡ＤＢ１１５、通知モジュール１３０と接続されている。行動分析モジュール１２０は、画像に写っている人（複数人であってもよい）の行動を分析する。店舗内の画像である場合は、顧客のマーケティング行動を分析することになる。
人位置追跡モジュール１２２は、人体部位移動軌跡ＤＢ１１０内の人移動軌跡データと、商品移動軌跡ＤＢ１１５内の商品移動軌跡データを統合して、対象となっている人がどのような商品を手に取ったか、逆に、どのような商品を棚に戻したか等を把握する。例えば、撮影日時（年、月、日、時、分、秒、秒以下、又はこれらの組み合わせであってもよい）、その撮影日時における人の位置と商品の位置が重複している場合は、その人がその商品を手に取ったこととして把握し、商品を手に取った後に、その商品が棚の位置に戻った場合は商品を棚に戻したこととして把握すればよい。
グループ推定モジュール１２４は、グループに属する人を推定する。例えば、（１）人と人との間の距離を算出し、予め定められた距離内である期間が予め定められた期間以上である場合は、その人達をグループと判断してもよいし、（２）人と人との間の距離を算出し、予め定められた距離内にいる人達の口が交互に開いている場合（つまり、会話している場合）は、その人達をグループと判断してもよいし、（３）一方の人から他方の人へ、商品が渡された場合は、その人達をグループと判断してもよい。
グループ推定モジュール１２４は、グループに属する人を推定する。例えば、（１）人と人との間の距離を算出し、予め定められた距離内である期間が予め定められた期間以上である場合は、その人達をグループと判断してもよいし、（２）人と人との間の距離を算出し、予め定められた距離内にいる人達の口が交互に開いている場合（つまり、会話している場合）は、その人達をグループと判断してもよいし、（３）一方の人から他方の人へ、商品が渡された場合は、その人達をグループと判断してもよい。
単一マーケティング行動検出モジュール１２６は、人移動軌跡データと予め定められた行動のパターンデータを用いて、人の行動を分析する。例えば、行動のパターンデータとして、人（単一の人）が商品に対して行った行動を示すパターンデータを用いてもよい。この場合、単一マーケティング行動検出モジュール１２６は、人移動軌跡データと商品移動軌跡データから、そのパターンデータに該当するか否かを判断する。パターンデータは、試験者が予め定められた行動を行って、その行動の軌跡をパターンデータとしてもよいし、顧客がとった行動を管理者が確認し、予め定められた行動を行った場合に、その行動の軌跡をパターンデータとして作成してもよい。予め定められた行動として、例えば、「棚から一度手にとった商品を棚にすぐ返す」、「棚から２つの商品を交互に手に取る動作を繰り返し一つの商品をかごに入れる」、「同一の商品の中からラベルを見比べて一つの商品に決め、かごに入れる」等がある。そして、これらのパターンデータに一致した行動の回数を計数してもよい。つまり、分析結果として、例えば、「棚から一度手にとった商品を棚にすぐ返す」ことが何回発生した等となる。商品を特定（商品名を抽出）して、計数してもよい。例えば、「商品Ａについて、棚から一度手にとったが棚にすぐ返す」ことが何回発生した等となる。
グループマーケティング行動検出モジュール１２８は、グループ推定モジュール１２４の処理結果（グループに属する人）を用いて、グループ内の複数人の人移動軌跡データと商品移動軌跡データから、行動のパターンデータに該当するか否かを判断する。ここでの行動のパターンデータは、グループに属する複数人が商品に対して行った行動を示すパターンデータである。パターンデータは、複数の試験者がグループとして予め定められた行動を行って、その複数人の行動の軌跡をパターンデータとしてもよいし、グループである複数の顧客がとった行動を管理者が確認し、予め定められた行動を行った場合に、その行動の軌跡をパターンデータとして作成してもよい。予め定められた行動として、例えば、「３人で２つの商品を次々に手に取り一つの商品をかごに入れる」、「１人が商品を手に取ったがもう１人の方を向き棚に返す」等がある。そして、これらのパターンデータに一致した行動の回数を計数してもよい。つまり、分析結果として、例えば、「３人で２つの商品を次々に手に取り一つの商品をかごに入れる」ことが何回発生した等となる。商品を特定（商品を抽出）して、計数してもよい。例えば、「商品Ａと商品Ｂについて、３人でその２つの商品Ａ、商品Ｂを次々に手に取り一つの商品Ｂをかごに入れる」ことが何回発生した等となる。
通知モジュール１３０は、行動分析モジュール１２０と接続されている。通知モジュール１３０は、行動分析モジュール１２０による分析結果をユーザー（例えば、管理者等）に通知する。例えば、単一マーケティング行動検出モジュール１２６による処理結果、グループマーケティング行動検出モジュール１２８による処理結果を、管理者等の端末に出力する。
図２は、第１の実施の形態の構成例（２）についての概念的なモジュール構成図である。
なお、図１の例に示した部位と同種の部位には同一符号を付し重複した説明を省略する（以下、同様）。
カメラ群１５５と情報処理装置２００とは通信回線を介して接続されている。なお、個別のカメラ１６０と情報処理装置２００がそれぞれ通信回線を介して接続されていてもよい。
カメラ群１５５は、従来のカメラ（カメラ１６０）を複数を有していればよい。
情報処理装置２００は、受付モジュール１０５、ワイヤーフレームモジュール２６５、商品特定モジュール２７０、人体部位移動軌跡ＤＢ１１０、商品移動軌跡ＤＢ１１５、行動分析モジュール１２０、通知モジュール１３０を有しており、カメラ群１５５と接続されている。
つまり、情報処理装置２００は、図１に例示した情報処理装置１００に、ワイヤーフレームモジュール１６５に相当するワイヤーフレームモジュール２６５と商品特定モジュール１７０に相当する商品特定モジュール２７０を付加したものである。
なお、図１の例に示した部位と同種の部位には同一符号を付し重複した説明を省略する（以下、同様）。
カメラ群１５５と情報処理装置２００とは通信回線を介して接続されている。なお、個別のカメラ１６０と情報処理装置２００がそれぞれ通信回線を介して接続されていてもよい。
カメラ群１５５は、従来のカメラ（カメラ１６０）を複数を有していればよい。
情報処理装置２００は、受付モジュール１０５、ワイヤーフレームモジュール２６５、商品特定モジュール２７０、人体部位移動軌跡ＤＢ１１０、商品移動軌跡ＤＢ１１５、行動分析モジュール１２０、通知モジュール１３０を有しており、カメラ群１５５と接続されている。
つまり、情報処理装置２００は、図１に例示した情報処理装置１００に、ワイヤーフレームモジュール１６５に相当するワイヤーフレームモジュール２６５と商品特定モジュール１７０に相当する商品特定モジュール２７０を付加したものである。
受付モジュール１０５は、ワイヤーフレームモジュール２６５、商品特定モジュール２７０と接続されている。受付モジュール１０５は、カメラ群１５５から、カメラ１６０が撮影した画像を受信する。
ワイヤーフレームモジュール２６５は、受付モジュール１０５、人体部位移動軌跡ＤＢ１１０と接続されている。ワイヤーフレームモジュール２６５は、受付モジュール１０５が受信した画像に対して、ワイヤーフレームモジュール１６５と同等の処理を行う。
商品特定モジュール２７０は、受付モジュール１０５、商品移動軌跡ＤＢ１１５と接続されている。商品特定モジュール２７０は、受付モジュール１０５が受信した画像に対して、商品特定モジュール１７０と同等の処理を行う。
人体部位移動軌跡ＤＢ１１０は、ワイヤーフレームモジュール２６５、行動分析モジュール１２０と接続されている。
商品移動軌跡ＤＢ１１５は、商品特定モジュール２７０、行動分析モジュール１２０と接続されている。
ワイヤーフレームモジュール２６５は、受付モジュール１０５、人体部位移動軌跡ＤＢ１１０と接続されている。ワイヤーフレームモジュール２６５は、受付モジュール１０５が受信した画像に対して、ワイヤーフレームモジュール１６５と同等の処理を行う。
商品特定モジュール２７０は、受付モジュール１０５、商品移動軌跡ＤＢ１１５と接続されている。商品特定モジュール２７０は、受付モジュール１０５が受信した画像に対して、商品特定モジュール１７０と同等の処理を行う。
人体部位移動軌跡ＤＢ１１０は、ワイヤーフレームモジュール２６５、行動分析モジュール１２０と接続されている。
商品移動軌跡ＤＢ１１５は、商品特定モジュール２７０、行動分析モジュール１２０と接続されている。
図３は、第１の実施の形態の構成例（３）についての概念的なモジュール構成図である。
カメラ群３５５と情報処理装置１００とは通信回線を介して接続されている。なお、個別のカメラ３６０と情報処理装置１００がそれぞれ通信回線を介して接続されていてもよい。
情報処理装置１００は、受付モジュール１０５、人体部位移動軌跡ＤＢ１１０、商品移動軌跡ＤＢ１１５、行動分析モジュール１２０、通知モジュール１３０を有しており、カメラ群３５５と接続されている。
カメラ群３５５と情報処理装置１００とは通信回線を介して接続されている。なお、個別のカメラ３６０と情報処理装置１００がそれぞれ通信回線を介して接続されていてもよい。
情報処理装置１００は、受付モジュール１０５、人体部位移動軌跡ＤＢ１１０、商品移動軌跡ＤＢ１１５、行動分析モジュール１２０、通知モジュール１３０を有しており、カメラ群３５５と接続されている。
カメラ群３５５は、カメラ３６０Ａ、カメラ３６０Ｂ等を有しており、情報処理装置１００と接続されている。
各カメラ３６０は、撮像モジュール３５０、ワイヤーフレームモジュール１６５、商品特定モジュール１７０を有している。
撮像モジュール３５０は、画像を撮影する撮影手段としての一例であるカメラである。
ワイヤーフレームモジュール１６５は、撮像モジュール３５０によって撮影された画像から、人の部位をベクトル表現したワイヤーフレームデータに変換する。そして、撮像モジュール３５０によって撮影された画像の代わりに、そのワイヤーフレームデータを受付モジュール１０５に送信する。
商品特定モジュール１７０は、撮像モジュール３５０によって撮影された画像から商品を抽出し、その商品の移動軌跡を表現した商品移動軌跡データを生成し、その商品移動軌跡データを受付モジュール１０５に送信する。
各カメラ３６０は、撮像モジュール３５０、ワイヤーフレームモジュール１６５、商品特定モジュール１７０を有している。
撮像モジュール３５０は、画像を撮影する撮影手段としての一例であるカメラである。
ワイヤーフレームモジュール１６５は、撮像モジュール３５０によって撮影された画像から、人の部位をベクトル表現したワイヤーフレームデータに変換する。そして、撮像モジュール３５０によって撮影された画像の代わりに、そのワイヤーフレームデータを受付モジュール１０５に送信する。
商品特定モジュール１７０は、撮像モジュール３５０によって撮影された画像から商品を抽出し、その商品の移動軌跡を表現した商品移動軌跡データを生成し、その商品移動軌跡データを受付モジュール１０５に送信する。
なお、商品特定モジュール１７０は、カメラ３６０には内蔵せずに情報処理装置１００内の機能としてもよいが、ワイヤーフレームモジュール１６５は内蔵させる。
つまり、各カメラ３６０は、撮像モジュール３５０が撮影した画像をワイヤーフレームに変換するワイヤーフレームモジュール１６５が内蔵されており、出力はワイヤーフレームデータのみ（さらに、商品移動軌跡データを含めてもよい）であり、画像（例えば、人が撮影されている画像等）は出力しないカメラとしてもよい。このようなカメラ３６０を用いることによって、特定の個人が識別できるパーソナルデータを、情報処理装置１００が扱う必要がなくなる。そして、そのようなパーソナルデータの漏洩を防止することができる。
つまり、各カメラ３６０は、撮像モジュール３５０が撮影した画像をワイヤーフレームに変換するワイヤーフレームモジュール１６５が内蔵されており、出力はワイヤーフレームデータのみ（さらに、商品移動軌跡データを含めてもよい）であり、画像（例えば、人が撮影されている画像等）は出力しないカメラとしてもよい。このようなカメラ３６０を用いることによって、特定の個人が識別できるパーソナルデータを、情報処理装置１００が扱う必要がなくなる。そして、そのようなパーソナルデータの漏洩を防止することができる。
図４は、本実施の形態の構成を店舗内に設置した場合の例を示す説明図である。
店舗４００内には、商品棚４１０（商品棚４１０−１等）、レジスタ４２０（レジスタ４２０−１等）、撮影装置４５０（撮影装置４５０−１等）が設置されている。例えば、撮影装置４５０は、店舗４００の天井、壁等に設置される。撮影装置４５０は、前述の撮影装置１５０、カメラ群１５５、カメラ群３５５に該当する。
顧客４３０（顧客４３０−１等）は、商品棚４１０（商品棚４１０−１等）から商品４４０（商品４４０−１等）を取り出し、手にとっている（ショッピングカー、買い物かご等に入れている、であってもよい）。これらの行動は、撮影装置４５０によって撮影され、情報処理装置１００（又は情報処理装置２００）に人移動軌跡データが送信される。情報処理装置１００（又は情報処理装置２００）は、受信した人移動軌跡データを分析し、その結果を管理者等が使用するユーザー端末４９０に出力する。そして、その管理者等は、その行動がとられた原因等の推定に役立てることができる。また、グループがレジスタ４２０で会計をするまでの軌跡を追跡し、購入の決定権を持つ人の分析、すぐかごに入れられる商品と時間をかけて議論された後にかごに入れられる商品の割合の分析等、購入前のマーケティング行動の分析を行い、商品開発に役立てることができる。
店舗４００内には、商品棚４１０（商品棚４１０−１等）、レジスタ４２０（レジスタ４２０−１等）、撮影装置４５０（撮影装置４５０−１等）が設置されている。例えば、撮影装置４５０は、店舗４００の天井、壁等に設置される。撮影装置４５０は、前述の撮影装置１５０、カメラ群１５５、カメラ群３５５に該当する。
顧客４３０（顧客４３０−１等）は、商品棚４１０（商品棚４１０−１等）から商品４４０（商品４４０−１等）を取り出し、手にとっている（ショッピングカー、買い物かご等に入れている、であってもよい）。これらの行動は、撮影装置４５０によって撮影され、情報処理装置１００（又は情報処理装置２００）に人移動軌跡データが送信される。情報処理装置１００（又は情報処理装置２００）は、受信した人移動軌跡データを分析し、その結果を管理者等が使用するユーザー端末４９０に出力する。そして、その管理者等は、その行動がとられた原因等の推定に役立てることができる。また、グループがレジスタ４２０で会計をするまでの軌跡を追跡し、購入の決定権を持つ人の分析、すぐかごに入れられる商品と時間をかけて議論された後にかごに入れられる商品の割合の分析等、購入前のマーケティング行動の分析を行い、商品開発に役立てることができる。
図５は、本実施の形態のモデルの構成例を示す説明図である。
本実施の形態を、概念的なモデルを用いて説明する。本実施の形態は、複数カメラによって撮影した画像を対象として、人の動作のワイヤーフレームモデル５１０によって匿名化を行い、そして、体の各部位のベクトル表現による動作モデル５３０によって動作を解析し、一方、その画像から商品移動軌跡５２０のデータ生成を行う。次に、商品移動軌跡５２０、体の各部位のベクトル表現による動作モデル５３０による処理結果を用いて、マーケティング行動分析５４０を行う。
具体的には、小売店の店舗に複数のカメラを設置し、そのカメラから、人体の３次元ワイヤーフレームを取得することにより、匿名化の行動分析を行う。さらに、商品の移動軌跡と組み合わせることによって、棚から一度手にとった商品を棚にすぐ返す行動の軌跡等、さらには、多数の人の候補から物理的距離の近い数人を同一グループとしてグループ化し、そのグループがレジスタで会計をするまでの軌跡を、マーケティングデータとして提供する。
本実施の形態を、概念的なモデルを用いて説明する。本実施の形態は、複数カメラによって撮影した画像を対象として、人の動作のワイヤーフレームモデル５１０によって匿名化を行い、そして、体の各部位のベクトル表現による動作モデル５３０によって動作を解析し、一方、その画像から商品移動軌跡５２０のデータ生成を行う。次に、商品移動軌跡５２０、体の各部位のベクトル表現による動作モデル５３０による処理結果を用いて、マーケティング行動分析５４０を行う。
具体的には、小売店の店舗に複数のカメラを設置し、そのカメラから、人体の３次元ワイヤーフレームを取得することにより、匿名化の行動分析を行う。さらに、商品の移動軌跡と組み合わせることによって、棚から一度手にとった商品を棚にすぐ返す行動の軌跡等、さらには、多数の人の候補から物理的距離の近い数人を同一グループとしてグループ化し、そのグループがレジスタで会計をするまでの軌跡を、マーケティングデータとして提供する。
図６は、第１の実施の形態（撮影装置１５０、カメラ３６０）による処理例を示すフローチャートである。
ステップＳ６０２では、店舗内を撮影する。人（顧客）が撮影されることになる。
ステップＳ６０４では、撮影した画像から人体のワイヤーフレームを生成する。
ステップＳ６０６では、体の各部位の移動軌跡を生成する。例えば、人部位移動軌跡テーブル７００を生成する。
ステップＳ６０８では、その移動軌跡のデータを情報処理装置１００に送信する。
ステップＳ６０２では、店舗内を撮影する。人（顧客）が撮影されることになる。
ステップＳ６０４では、撮影した画像から人体のワイヤーフレームを生成する。
ステップＳ６０６では、体の各部位の移動軌跡を生成する。例えば、人部位移動軌跡テーブル７００を生成する。
ステップＳ６０８では、その移動軌跡のデータを情報処理装置１００に送信する。
図７は、人部位移動軌跡テーブル７００のデータ構造例を示す説明図である。人部位移動軌跡テーブル７００は、人ＩＤ欄７０５、部位ＩＤ欄７１０、店内座標ｘ欄７１５、店内座標ｙ欄７２０、店内座標ｚ欄７２５、時刻欄７３０を有している。人ＩＤ欄７０５は、本実施の形態において、人を一意に識別するための情報（人ＩＤ：ＩＤｅｎｔｉｆｉｃａｔｉｏｎの略）を記憶している。なお、ここでの「一意に識別する」とは、店舗内で同一人物であることを示す程度であればよく、人物名までを認識する必要はない（むしろ、パーソナルデータとなるものではない）。なお、同一人物であるか否かは、次の時刻（例えば、１秒後等）で予め定められた距離内（例えば、３０ｃｍ以内等）にいる人を同一人物とすればよい。部位ＩＤ欄７１０は、本実施の形態において、その人の部位を一意に識別するための情報（部位ＩＤ）を記憶している。店内座標ｘ欄７１５は、その部位の店内座標ｘを記憶している。店内座標ｙ欄７２０は、その部位の店内座標ｙを記憶している。店内座標ｚ欄７２５は、その部位の店内座標ｚを記憶している。時刻欄７３０は、その部位が撮影された時刻を記憶している。同一人物の同一部位の座標を時系列にたどることによって、移動軌跡（ベクトルデータ）を生成できる。人部位移動軌跡テーブル７００内の各行は、予め定められた間隔で撮影された画像の処理結果である。なお、店内座標は、複数のカメラ１６０の撮影の向きと位置を予め記録しておき、複数のカメラ１６０からその店内の座標に変換した上で記録されたものである。
図８は、第１の実施の形態（撮影装置１５０、カメラ３６０）による処理例を示すフローチャートである。
ステップＳ８０２では、店舗内（特に、商品棚）を撮影する。商品が撮影されることになる。
ステップＳ８０４では、撮影した画像から商品を特定する。例えば、商品に印刷されたバーコード、ＱＲコード（登録商標）を識別してもよいし、商品に印刷された商品名等を認識してもよい。
ステップＳ８０６では、商品の移動軌跡を生成する。例えば、商品移動軌跡テーブル９００を生成する。
ステップＳ８０８では、その商品の移動軌跡のデータを送信する。
ステップＳ８０２では、店舗内（特に、商品棚）を撮影する。商品が撮影されることになる。
ステップＳ８０４では、撮影した画像から商品を特定する。例えば、商品に印刷されたバーコード、ＱＲコード（登録商標）を識別してもよいし、商品に印刷された商品名等を認識してもよい。
ステップＳ８０６では、商品の移動軌跡を生成する。例えば、商品移動軌跡テーブル９００を生成する。
ステップＳ８０８では、その商品の移動軌跡のデータを送信する。
図９は、商品移動軌跡テーブル９００のデータ構造例を示す説明図である。商品移動軌跡テーブル９００は、商品ＩＤ欄９０５、店内座標ｘ欄９１０、店内座標ｙ欄９１５、店内座標ｚ欄９２０、時刻欄９２５を有している。商品ＩＤ欄９０５は、本実施の形態において、商品を一意に識別するための情報（商品ＩＤ）を記憶している。店内座標ｘ欄９１０は、その商品の店内座標ｘを記憶している。店内座標ｙ欄９１５は、その商品の店内座標ｙを記憶している。店内座標ｚ欄９２０は、その商品の店内座標ｚを記憶している。時刻欄９２５は、その商品が撮影された時刻を記憶している。同一商品の座標を時系列にたどることによって、移動軌跡（ベクトルデータ）を生成できる。商品移動軌跡テーブル９００内の各行は、予め定められた間隔で撮影された画像の処理結果である。なお、店内座標は、複数のカメラ１６０の撮影の向きと位置を予め記録しておき、複数のカメラ１６０からその店内の座標に変換した上で記録されたものである。
図１０は、第１の実施の形態（情報処理装置１００、情報処理装置２００）による処理例を示すフローチャートである。
ステップＳ１００２では、人部位移動軌跡テーブル７００と商品移動軌跡テーブル９００を抽出する。
ステップＳ１００４では、人部位移動軌跡テーブル７００と商品移動軌跡テーブル９００を照合し、人と商品の組み合わせを生成する。具体的には、同時刻（多少のズレを許容してもよい）に撮影された画像の人部位（特に手の部分）の位置（店内座標ｘ、ｙ、ｚ）と商品の位置（店内座標ｘ、ｙ、ｚ）が一致する（多少のズレを許容してもよい）場合に、その人がその商品を手に取ったと認識する。
ステップＳ１００２では、人部位移動軌跡テーブル７００と商品移動軌跡テーブル９００を抽出する。
ステップＳ１００４では、人部位移動軌跡テーブル７００と商品移動軌跡テーブル９００を照合し、人と商品の組み合わせを生成する。具体的には、同時刻（多少のズレを許容してもよい）に撮影された画像の人部位（特に手の部分）の位置（店内座標ｘ、ｙ、ｚ）と商品の位置（店内座標ｘ、ｙ、ｚ）が一致する（多少のズレを許容してもよい）場合に、その人がその商品を手に取ったと認識する。
ステップＳ１００６では、人の移動軌跡を、予め定められたパターンと照合する。パターンとしては、前述したように、「棚から一度手にとった商品を棚にすぐ返す」、「棚から２つの商品を交互に手に取る動作を繰り返し一つの商品をかごに入れる」、「同一の商品の中からラベルを見比べて一つの商品に決め、かごに入れる」等がある。つまり、分析したい行動をパターンとして登録している。
ステップＳ１００８では、人の移動軌跡を用いて、グループを推定する。具体例について、図１１を用いて後述する。
ステップＳ１０１０では、グループ内の複数人の移動軌跡を、予め定められたパターンと照合する。パターンとしては、前述したように、「３人で２つの商品を次々に手に取り一つの商品をかごに入れる」、「１人が商品を手に取ったがもう１人の方を向き棚に返す」等がある。つまり、分析したいグループ行動をパターンとして登録している。
ステップＳ１０１２では、担当者に分析結果を通知する。具体例について、図１２を用いて後述する。
ステップＳ１００８では、人の移動軌跡を用いて、グループを推定する。具体例について、図１１を用いて後述する。
ステップＳ１０１０では、グループ内の複数人の移動軌跡を、予め定められたパターンと照合する。パターンとしては、前述したように、「３人で２つの商品を次々に手に取り一つの商品をかごに入れる」、「１人が商品を手に取ったがもう１人の方を向き棚に返す」等がある。つまり、分析したいグループ行動をパターンとして登録している。
ステップＳ１０１２では、担当者に分析結果を通知する。具体例について、図１２を用いて後述する。
図１１は、グループを推定する処理例を示す説明図である。
人位置追跡モジュール１２２による処理結果を用いて、グループ推定モジュール１２４が複数人からなるグループを判断する。
グループ推定モジュール１２４は、一人に対して他の人との距離が予め定められた距離以内（例えば、３メートル以内等）にいる時間が予め定められた時間（例えば、１０分以上等）である場合は、同一グループとして推定する。
例えば、図１１に示すように、ｘ軸１１１０、ｙ軸１１２０で位置を示す店舗内において、３人の顧客（人１１０１、人１１０２、人１１０３）がいるとする。
この３人の顧客は、ある時刻で図１１（ａ）に示す位置にいる。つまり、人１１０１を中心とした範囲１１３０（予め定められた距離を示す範囲）内に人１１０２がおり、範囲１１３０外に人１１０３がいる。次の時刻には、３人の顧客は図１１（ｂ）の位置にいる。つまり、依然として、人１１０１を中心とした範囲１１３０内に人１１０２がおり、範囲１１３０外に人１１０３がいる。さらに、次の時刻には、３人の顧客は図１１（ｃ）の位置にいる。つまり、人１１０１を中心とした範囲１１３０内には誰もおらず、範囲１１３０外に人１１０２、人１１０３がいる。人１１０１と人１１０２は、予め定められた距離以上に離れたことになる。この場合、図１１（ａ）と図１１（ｂ）の時間間隔が予め定められた時間以内であれば、人１１０１と人１１０２は同一グループであると推定する。
人位置追跡モジュール１２２による処理結果を用いて、グループ推定モジュール１２４が複数人からなるグループを判断する。
グループ推定モジュール１２４は、一人に対して他の人との距離が予め定められた距離以内（例えば、３メートル以内等）にいる時間が予め定められた時間（例えば、１０分以上等）である場合は、同一グループとして推定する。
例えば、図１１に示すように、ｘ軸１１１０、ｙ軸１１２０で位置を示す店舗内において、３人の顧客（人１１０１、人１１０２、人１１０３）がいるとする。
この３人の顧客は、ある時刻で図１１（ａ）に示す位置にいる。つまり、人１１０１を中心とした範囲１１３０（予め定められた距離を示す範囲）内に人１１０２がおり、範囲１１３０外に人１１０３がいる。次の時刻には、３人の顧客は図１１（ｂ）の位置にいる。つまり、依然として、人１１０１を中心とした範囲１１３０内に人１１０２がおり、範囲１１３０外に人１１０３がいる。さらに、次の時刻には、３人の顧客は図１１（ｃ）の位置にいる。つまり、人１１０１を中心とした範囲１１３０内には誰もおらず、範囲１１３０外に人１１０２、人１１０３がいる。人１１０１と人１１０２は、予め定められた距離以上に離れたことになる。この場合、図１１（ａ）と図１１（ｂ）の時間間隔が予め定められた時間以内であれば、人１１０１と人１１０２は同一グループであると推定する。
図１２は、通知のユーザーインタフェース例を示す説明図である。
通知モジュール１３０は、画面１２００に、店内地図表示領域１２１０、分析結果表示領域１２２０を表示する。
店内地図表示領域１２１０には、店舗内の様子を表示する。リアルタイムで表示してもよいし、分析結果表示領域１２２０で選択された行動を表示するようにしてもよい。なお、顧客は画像でなく点で表している。つまり、パーソナルデータではなく（そもそも情報処理装置１００は顧客を撮影した画像を取得していないので）、個人を特定できない様子で表示している。
分析結果表示領域１２２０には、分析結果を表示する。例えば、（１）現在の状況として、お客様（顧客）の数、グループの数、（２）本日の統計（個人としての分析結果）として、総客数、行動「棚から一度手にとった商品を棚にすぐ返す」の数、行動「棚から２つの商品を交互に手に取り１つをかごに戻す」の数、行動「同一の商品の中からラベルを見比べて決定」の数、（３）本日の統計（グループとしての分析結果）として、総グループ数、行動「ｎ人でｍ個の商品を手に取り１つの商品に決定」の数、行動「１人が商品を手に取ったがもう１人の方を向き棚に戻す」の数、（４）週における統計、（５）月における統計等を表示する。このように、リアルタイムの客の数、グループの数、定義したマーケティング行動の数等を、日単位、週単位、月単位等で統計値を表示してもよい。
通知モジュール１３０は、画面１２００に、店内地図表示領域１２１０、分析結果表示領域１２２０を表示する。
店内地図表示領域１２１０には、店舗内の様子を表示する。リアルタイムで表示してもよいし、分析結果表示領域１２２０で選択された行動を表示するようにしてもよい。なお、顧客は画像でなく点で表している。つまり、パーソナルデータではなく（そもそも情報処理装置１００は顧客を撮影した画像を取得していないので）、個人を特定できない様子で表示している。
分析結果表示領域１２２０には、分析結果を表示する。例えば、（１）現在の状況として、お客様（顧客）の数、グループの数、（２）本日の統計（個人としての分析結果）として、総客数、行動「棚から一度手にとった商品を棚にすぐ返す」の数、行動「棚から２つの商品を交互に手に取り１つをかごに戻す」の数、行動「同一の商品の中からラベルを見比べて決定」の数、（３）本日の統計（グループとしての分析結果）として、総グループ数、行動「ｎ人でｍ個の商品を手に取り１つの商品に決定」の数、行動「１人が商品を手に取ったがもう１人の方を向き棚に戻す」の数、（４）週における統計、（５）月における統計等を表示する。このように、リアルタイムの客の数、グループの数、定義したマーケティング行動の数等を、日単位、週単位、月単位等で統計値を表示してもよい。
＜第２の実施の形態＞
図１３は、第２の実施の形態の構成例についての概念的なモジュール構成図である。
第２の実施の形態は、第１の実施の形態に顔認識モジュール１３８０、顔軌跡ＤＢ１３１５を付加したものである。
なお、第１の実施の形態と同種の部位には同一符号を付し重複した説明を省略する。
第１の実施の形態では、同一人物であることの判断は、前述したように、次の時刻で予め定められた距離内にいる人を同一人物としているが、例えば、早く移動した場合、複数人が近くにいた場合等では、同一人物と判断することが困難になる。そこで、顔認識を行って、同一人物であることの判断に用いる。
図１３は、第２の実施の形態の構成例についての概念的なモジュール構成図である。
第２の実施の形態は、第１の実施の形態に顔認識モジュール１３８０、顔軌跡ＤＢ１３１５を付加したものである。
なお、第１の実施の形態と同種の部位には同一符号を付し重複した説明を省略する。
第１の実施の形態では、同一人物であることの判断は、前述したように、次の時刻で予め定められた距離内にいる人を同一人物としているが、例えば、早く移動した場合、複数人が近くにいた場合等では、同一人物と判断することが困難になる。そこで、顔認識を行って、同一人物であることの判断に用いる。
撮影装置１３５０は、カメラ群１５５、ワイヤーフレームモジュール１６５、商品特定モジュール１７０、顔認識モジュール１３８０を有しており、情報処理装置１３００と接続されている。撮影装置１３５０は、撮影装置１５０と同等の処理を行った上、顔認識モジュール１３８０による処理を行う。
顔認識モジュール１３８０は、カメラ１６０によって撮影された画像（人を撮影した画像）から、その人の顔を認識する。ただし、ここでの顔認識は、個人を特定するための処理ではなく、店舗内で同一人物であることを認識できる程度であればよい。それ以上の認識（例えば、個人の氏名の認識等）は行わない。つまり、別時刻における人物の顔画像と比べて同一人物であるか否かを判断できる程度でよい。例えば、顔画像に対して特徴抽出（髪の色、長さ、目鼻等の相対的位置関係等）を行い、特徴空間上での距離計算（いわゆる類似判断）を行ってもよいし、機械学習で得たアルゴリズムによって判断するようにしてもよい。そして、顔認識モジュール１３８０による出力データは、ある時刻における人ＩＤと他の時刻における人ＩＤは同じであることを保証できればよい。例えば、顔認識モジュール１３８０は、後述する顔移動軌跡テーブル１５００を生成する。そして、顔認識モジュール１３８０による認識結果（認識対象の顔画像、認識処理にともなう中間結果等のデータ等を含めてもよい）を、その認識結果を送信した時点、又は、その人が店舗を退出した場合に削除する。
具体的には、顔認識モジュール１３８０は、既存の方法を用いて（例えば、非特許文献４に記載された技術等）、画像内の顔を識別し、その顔の店舗内における３次元の位置（座標）を取得する。
なお、図２の例で示したように、ワイヤーフレームモジュール１６５、商品特定モジュール１７０、顔認識モジュール１３８０を撮影装置１３５０ではなく、情報処理装置１３００に設けてもよい。ただし、顔認識モジュール１３８０だけは、撮影装置１３５０に設置するのが望ましい。パーソナルデータを情報処理装置１３００で扱わないようにするためである。また、図３の例で示したように、ワイヤーフレームモジュール１６５、商品特定モジュール１７０、顔認識モジュール１３８０を各カメラ１６０に内蔵させてもよい。
顔認識モジュール１３８０は、カメラ１６０によって撮影された画像（人を撮影した画像）から、その人の顔を認識する。ただし、ここでの顔認識は、個人を特定するための処理ではなく、店舗内で同一人物であることを認識できる程度であればよい。それ以上の認識（例えば、個人の氏名の認識等）は行わない。つまり、別時刻における人物の顔画像と比べて同一人物であるか否かを判断できる程度でよい。例えば、顔画像に対して特徴抽出（髪の色、長さ、目鼻等の相対的位置関係等）を行い、特徴空間上での距離計算（いわゆる類似判断）を行ってもよいし、機械学習で得たアルゴリズムによって判断するようにしてもよい。そして、顔認識モジュール１３８０による出力データは、ある時刻における人ＩＤと他の時刻における人ＩＤは同じであることを保証できればよい。例えば、顔認識モジュール１３８０は、後述する顔移動軌跡テーブル１５００を生成する。そして、顔認識モジュール１３８０による認識結果（認識対象の顔画像、認識処理にともなう中間結果等のデータ等を含めてもよい）を、その認識結果を送信した時点、又は、その人が店舗を退出した場合に削除する。
具体的には、顔認識モジュール１３８０は、既存の方法を用いて（例えば、非特許文献４に記載された技術等）、画像内の顔を識別し、その顔の店舗内における３次元の位置（座標）を取得する。
なお、図２の例で示したように、ワイヤーフレームモジュール１６５、商品特定モジュール１７０、顔認識モジュール１３８０を撮影装置１３５０ではなく、情報処理装置１３００に設けてもよい。ただし、顔認識モジュール１３８０だけは、撮影装置１３５０に設置するのが望ましい。パーソナルデータを情報処理装置１３００で扱わないようにするためである。また、図３の例で示したように、ワイヤーフレームモジュール１６５、商品特定モジュール１７０、顔認識モジュール１３８０を各カメラ１６０に内蔵させてもよい。
情報処理装置１３００は、受付モジュール１０５、人体部位移動軌跡ＤＢ１１０、商品移動軌跡ＤＢ１１５、顔軌跡ＤＢ１３１５、行動分析モジュール１２０、通知モジュール１３０を有しており、撮影装置１３５０と接続されている。
受付モジュール１０５は、人体部位移動軌跡ＤＢ１１０、商品移動軌跡ＤＢ１１５、顔軌跡ＤＢ１３１５と接続されている。受付モジュール１０５は、顔認識モジュール１３８０からの顔移動軌跡データを顔軌跡ＤＢ１３１５に記憶させる。
顔軌跡ＤＢ１３１５は、受付モジュール１０５、行動分析モジュール１２０と接続されている。顔軌跡ＤＢ１３１５は、顔移動軌跡データを記憶している。
行動分析モジュール１２０は、人位置追跡モジュール１２２、グループ推定モジュール１２４、単一マーケティング行動検出モジュール１２６、グループマーケティング行動検出モジュール１２８を有しており、人体部位移動軌跡ＤＢ１１０、商品移動軌跡ＤＢ１１５、顔軌跡ＤＢ１３１５、行動分析モジュール１２０と接続されている。
人位置追跡モジュール１２２は、人移動軌跡データと顔移動軌跡データ（顔認識モジュール１３８０による認識結果）を用いて、同一人物の移動軌跡データを生成する。つまり、例えば、撮影日時、その撮影日時における人の位置と顔の位置が重複している場合は、その人とその顔が対応しており、他の時刻における人物が同一人物であるか否かは、顔移動軌跡データを用いて判断する。
なお、顔移動軌跡データは、人位置追跡モジュール１２２による人移動軌跡データの生成のみに用い、他の処理には用いないようにする。そして、顔移動軌跡データを、人位置追跡モジュール１２２による処理が終了した時点、又は、その人が店舗を退出した場合に削除する。
受付モジュール１０５は、人体部位移動軌跡ＤＢ１１０、商品移動軌跡ＤＢ１１５、顔軌跡ＤＢ１３１５と接続されている。受付モジュール１０５は、顔認識モジュール１３８０からの顔移動軌跡データを顔軌跡ＤＢ１３１５に記憶させる。
顔軌跡ＤＢ１３１５は、受付モジュール１０５、行動分析モジュール１２０と接続されている。顔軌跡ＤＢ１３１５は、顔移動軌跡データを記憶している。
行動分析モジュール１２０は、人位置追跡モジュール１２２、グループ推定モジュール１２４、単一マーケティング行動検出モジュール１２６、グループマーケティング行動検出モジュール１２８を有しており、人体部位移動軌跡ＤＢ１１０、商品移動軌跡ＤＢ１１５、顔軌跡ＤＢ１３１５、行動分析モジュール１２０と接続されている。
人位置追跡モジュール１２２は、人移動軌跡データと顔移動軌跡データ（顔認識モジュール１３８０による認識結果）を用いて、同一人物の移動軌跡データを生成する。つまり、例えば、撮影日時、その撮影日時における人の位置と顔の位置が重複している場合は、その人とその顔が対応しており、他の時刻における人物が同一人物であるか否かは、顔移動軌跡データを用いて判断する。
なお、顔移動軌跡データは、人位置追跡モジュール１２２による人移動軌跡データの生成のみに用い、他の処理には用いないようにする。そして、顔移動軌跡データを、人位置追跡モジュール１２２による処理が終了した時点、又は、その人が店舗を退出した場合に削除する。
図１４は、第２の実施の形態（撮影装置１３５０）による処理例を示すフローチャートである。
ステップＳ１４０２では、店舗内を撮影する。人（顧客）が撮影されることになる。
ステップＳ１４０４では、撮影した画像から顔を認識する。
ステップＳ１４０６では、顔の移動軌跡を生成する。例えば、顔移動軌跡テーブル１５００を生成する。
ステップＳ１４０８では、データを送信する。
ステップＳ１４１０では、データを削除する。
ステップＳ１４０２では、店舗内を撮影する。人（顧客）が撮影されることになる。
ステップＳ１４０４では、撮影した画像から顔を認識する。
ステップＳ１４０６では、顔の移動軌跡を生成する。例えば、顔移動軌跡テーブル１５００を生成する。
ステップＳ１４０８では、データを送信する。
ステップＳ１４１０では、データを削除する。
図１５は、顔移動軌跡テーブル１５００のデータ構造例を示す説明図である。顔移動軌跡テーブル１５００は、人ＩＤ欄１５０５、店内座標ｘ欄１５１０、店内座標ｙ欄１５１５、店内座標ｚ欄１５２０、時刻欄１５２５を有している。人ＩＤ欄１５０５は、人ＩＤを記憶している。店内座標ｘ欄１５１０は、その顔の店内座標ｘを記憶している。店内座標ｙ欄１５１５は、その顔の店内座標ｙを記憶している。店内座標ｚ欄１５２０は、その顔の店内座標ｚを記憶している。時刻欄１５２５は、その顔が撮影された時刻を記憶している。同一人物の同一顔の座標を時系列にたどることによって、移動軌跡（ベクトルデータ）を生成できる。顔移動軌跡テーブル１５００内の各行は、予め定められた間隔で撮影された画像の処理結果である。なお、店内座標は、複数のカメラ１６０の撮影の向きと位置を予め記録しておき、複数のカメラ１６０からその店内の座標に変換した上で記録されたものである。なお、顔は人体の部位の一例である。
図１６は、第２の実施の形態（情報処理装置１３００）による処理例を示すフローチャートである。
ステップＳ１６０２では、人部位移動軌跡テーブル７００と顔移動軌跡テーブル１５００と商品移動軌跡テーブル９００を抽出する。
ステップＳ１６０４では、人部位移動軌跡テーブル７００と顔移動軌跡テーブル１５００を照合し、同一人物の移動軌跡を生成する。具体的には、同時刻（多少のズレを許容してもよい）に撮影された画像の人部位（特に頭部）の位置（店内座標ｘ、ｙ、ｚ）と顔の位置（店内座標ｘ、ｙ、ｚ）が一致する（多少のズレを許容してもよい）場合に、同一人物と認識し、他の時刻においても顔認識の結果の人ＩＤを用いて同一人物を特定する。
ステップＳ１６０２では、人部位移動軌跡テーブル７００と顔移動軌跡テーブル１５００と商品移動軌跡テーブル９００を抽出する。
ステップＳ１６０４では、人部位移動軌跡テーブル７００と顔移動軌跡テーブル１５００を照合し、同一人物の移動軌跡を生成する。具体的には、同時刻（多少のズレを許容してもよい）に撮影された画像の人部位（特に頭部）の位置（店内座標ｘ、ｙ、ｚ）と顔の位置（店内座標ｘ、ｙ、ｚ）が一致する（多少のズレを許容してもよい）場合に、同一人物と認識し、他の時刻においても顔認識の結果の人ＩＤを用いて同一人物を特定する。
ステップＳ１６０６では、不要となった顔移動軌跡テーブル１５００を削除する。
ステップＳ１６０８では、ステップＳ１６０４で生成した移動軌跡と商品移動軌跡テーブル９００を照合し、人と商品の組み合わせを生成する。具体的には、同時刻（多少のズレを許容してもよい）に撮影された画像の人部位（特に手の部分）の位置（店内座標ｘ、ｙ、ｚ）と商品の位置（店内座標ｘ、ｙ、ｚ）が一致する（多少のズレを許容してもよい）場合に、その人がその商品を手に取ったと認識する。
ステップＳ１６１０では、人の移動軌跡を、予め定められたパターンと照合する。図１０の例に示したフローチャート内のステップＳ１００６と同等の処理である。
ステップＳ１６０８では、ステップＳ１６０４で生成した移動軌跡と商品移動軌跡テーブル９００を照合し、人と商品の組み合わせを生成する。具体的には、同時刻（多少のズレを許容してもよい）に撮影された画像の人部位（特に手の部分）の位置（店内座標ｘ、ｙ、ｚ）と商品の位置（店内座標ｘ、ｙ、ｚ）が一致する（多少のズレを許容してもよい）場合に、その人がその商品を手に取ったと認識する。
ステップＳ１６１０では、人の移動軌跡を、予め定められたパターンと照合する。図１０の例に示したフローチャート内のステップＳ１００６と同等の処理である。
ステップＳ１６１２では、人の移動軌跡を用いて、グループを推定する。図１０の例に示したフローチャート内のステップＳ１００８と同等の処理である。
ステップＳ１６１４では、グループ内の複数人の移動軌跡を、予め定められたパターンと照合する。図１０の例に示したフローチャート内のステップＳ１０１０と同等の処理である。
ステップＳ１６１６では、担当者に分析結果を通知する。図１０の例に示したフローチャート内のステップＳ１０１２と同等の処理である。
ステップＳ１６１４では、グループ内の複数人の移動軌跡を、予め定められたパターンと照合する。図１０の例に示したフローチャート内のステップＳ１０１０と同等の処理である。
ステップＳ１６１６では、担当者に分析結果を通知する。図１０の例に示したフローチャート内のステップＳ１０１２と同等の処理である。
非特許文献１に記載の技術では、多数のカメラを小売店舗に設置し、消費者の行動を分析しているが、第２の実施の形態は、ワイヤーフレーム分析により匿名化をしており、特に、顔軌跡ＤＢ１３１５（人位置追跡モジュール１２２を含めてもよい）を情報処理装置１３００から物理的に分離しておけば、より匿名化を完全にしたマーケティング分析が可能となる。
非特許文献２には、カメラ画像を活用する際に、どの程度が個人情報であるかの基準が示されている。そして、撮影した画像・動画を、モザイク処理などの従来の画像処理をして匿名化する方法が示されている。もちろんのことながら、非特許文献２には、ワイヤーフレーム分析によって人体の動きのみで匿名化する方法は含まれていない。
非特許文献５では、プライバシー保護とデータの有用性を両立させる社会的動きを解説している。顔をどう匿名化するかなどが議論されている。もちろんのことながら、非特許文献５にも、ワイヤーフレーム分析によって人体の動きのみで匿名化する方法は含まれていない。
なお、本実施の形態（情報処理装置１００、撮影装置１５０、情報処理装置２００、カメラ３６０、情報処理装置１３００、撮影装置１３５０）としてのプログラムが実行されるコンピュータのハードウェア構成は、図１７に例示するように、一般的なコンピュータであり、具体的にはパーソナルコンピュータ、カメラ等の組み込み型コンピュータ、サーバーとなり得るコンピュータ等である。つまり、具体例として、処理部（演算部）としてＣＰＵ１７０１を用い、記憶装置としてＲＡＭ１７０２、ＲＯＭ１７０３、ＨＤＤ１７０４を用いている。ＨＤＤ１７０４として、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略）、フラッシュ・メモリであるＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅの略）等を用いてもよい。受付モジュール１０５、行動分析モジュール１２０、人位置追跡モジュール１２２、グループ推定モジュール１２４、単一マーケティング行動検出モジュール１２６、グループマーケティング行動検出モジュール１２８、通知モジュール１３０、ワイヤーフレームモジュール１６５、商品特定モジュール１７０、ワイヤーフレームモジュール２６５、商品特定モジュール２７０、顔認識モジュール１３８０等のプログラムを実行するＣＰＵ１７０１と、そのプログラムやデータを記憶するＲＡＭ１７０２と、本コンピュータを起動するためのプログラム等が格納されているＲＯＭ１７０３と、人体部位移動軌跡ＤＢ１１０、商品移動軌跡ＤＢ１１５、顔軌跡ＤＢ１３１５等としての機能を有する補助記憶装置であるＨＤＤ１７０４と、キーボード、マウス、タッチスクリーン、マイク、カメラ（視線検知カメラ等を含む）等に対する利用者の操作（動作、音声、視線等を含む）に基づいてデータを受け付ける受付装置１７０６と、ＣＲＴ、液晶ディスプレイ、スピーカー等の出力装置１７０５と、ネットワークインタフェースカード等の通信ネットワークと接続するための通信回線インタフェース１７０７、そして、それらをつないでデータのやりとりをするためのバス１７０８により構成されている。これらのコンピュータが複数台互いにネットワークによって接続されていてもよい。
前述の実施の形態のうち、コンピュータ・プログラムによるものについては、本ハードウェア構成のシステムにソフトウェアであるコンピュータ・プログラムを読み込ませ、ソフトウェアとハードウェア資源とが協働して、前述の実施の形態が実現される。
なお、図１７に示すハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図１７に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）や再構成可能な集積回路（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ：ＦＰＧＡ）等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続している形態でもよく、さらに図１７に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、特に、パーソナルコンピュータの他、携帯情報通信機器（携帯電話、スマートフォン、モバイル機器、ウェアラブルコンピュータ等を含む）、情報家電、ロボットなどに組み込まれていてもよい。
なお、図１７に示すハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図１７に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）や再構成可能な集積回路（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ：ＦＰＧＡ）等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続している形態でもよく、さらに図１７に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、特に、パーソナルコンピュータの他、携帯情報通信機器（携帯電話、スマートフォン、モバイル機器、ウェアラブルコンピュータ等を含む）、情報家電、ロボットなどに組み込まれていてもよい。
前述の実施の形態においては、小売店の店舗に適用する場合を例示したが、他の施設における人の行動を分析するようにしてもよい。前述したように、例えば、スポーツ用施設に、同様の方法で複数カメラを設置し、単一マーケティング行動検出モジュール１２６、グループマーケティング行動検出モジュール１２８に予め特定パターン（危険な行動パターン等）を定義しておき、分析することによって、安全な観客と危険な観客（例えば、フーリガン（ｈｏｏｌｉｇａｎ）等）の推定、異常検知が可能となる。
なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌの略）メモリーカード等が含まれる。
そして、前記のプログラムの全体又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分若しくは全部であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌの略）メモリーカード等が含まれる。
そして、前記のプログラムの全体又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分若しくは全部であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。
１００…情報処理装置
１０５…受付モジュール
１１０…人体部位移動軌跡ＤＢ
１１５…商品移動軌跡ＤＢ
１２０…行動分析モジュール
１２２…人位置追跡モジュール
１２４…グループ推定モジュール
１２６…単一マーケティング行動検出モジュール
１２８…グループマーケティング行動検出モジュール
１３０…通知モジュール
１５０…撮影装置
１５５…カメラ群
１６０…カメラ
１６５…ワイヤーフレームモジュール
１７０…商品特定モジュール
２００…情報処理装置
２６５…ワイヤーフレームモジュール
２７０…商品特定モジュール
３５０…撮像モジュール
３５５…カメラ群
３６０…カメラ
３５０…撮像モジュール
１３００…情報処理装置
１３１５…顔軌跡ＤＢ
１３５０…撮影装置
１３８０…顔認識モジュール
１０５…受付モジュール
１１０…人体部位移動軌跡ＤＢ
１１５…商品移動軌跡ＤＢ
１２０…行動分析モジュール
１２２…人位置追跡モジュール
１２４…グループ推定モジュール
１２６…単一マーケティング行動検出モジュール
１２８…グループマーケティング行動検出モジュール
１３０…通知モジュール
１５０…撮影装置
１５５…カメラ群
１６０…カメラ
１６５…ワイヤーフレームモジュール
１７０…商品特定モジュール
２００…情報処理装置
２６５…ワイヤーフレームモジュール
２７０…商品特定モジュール
３５０…撮像モジュール
３５５…カメラ群
３６０…カメラ
３５０…撮像モジュール
１３００…情報処理装置
１３１５…顔軌跡ＤＢ
１３５０…撮影装置
１３８０…顔認識モジュール
Claims (8)
- 人を撮影した画像から、該人の部位をベクトル表現したワイヤーフレームデータに変換し、該人の匿名化を行うワイヤーフレーム変換手段と、
前記ワイヤーフレームデータを用いて、前記人の部位の移動を表現した人移動軌跡データを生成する生成手段と、
前記人移動軌跡データと予め定められた行動のパターンデータを用いて、前記人の行動を分析する分析手段と、
前記分析手段による分析結果を通知する通知手段
を有することを特徴とする情報処理装置。 - 前記画像は、店舗内の人を撮影した画像であり、
商品を撮影した画像から抽出された該商品の移動軌跡を表現した商品移動軌跡データを生成する第２の生成手段
をさらに有し、
前記行動のパターンデータは、人が商品に対して行った行動を示すパターンデータであり、
前記分析手段は、前記人移動軌跡データと前記商品移動軌跡データから、前記パターンデータに該当するか否かを判断する、
請求項１に記載の情報処理装置。 - 前記行動のパターンデータは、グループに属する複数人が商品に対して行った行動を示すパターンデータであり、
前記分析手段は、グループに属する人を推定し、該グループ内の複数人の前記人移動軌跡データと前記商品移動軌跡データから、前記パターンデータに該当するか否かを判断する、
請求項２に記載の情報処理装置。 - 人を撮影した画像から、該人の顔を認識する認識手段
をさらに有し、
前記生成手段は、前記認識手段による認識結果を用いて、同一人物の人移動軌跡データを生成する、
請求項１に記載の情報処理装置。 - 前記認識手段による認識結果は、前記生成手段による人移動軌跡データの生成のみに用い、
前記認識手段による認識結果を、前記人が店舗を退出した場合に削除する、
請求項４に記載の情報処理装置。 - 画像を撮影する撮影手段と、
前記撮影手段によって撮影された画像から、人の部位をベクトル表現したワイヤーフレームデータに変換する変換手段と、
前記撮影手段によって撮影された画像の代わりに、前記変換手段によって変換されたワイヤーフレームデータを出力する出力手段
を有することを特徴とする画像撮影装置。 - コンピュータを、
人を撮影した画像から、該人の部位をベクトル表現したワイヤーフレームデータに変換し、該人の匿名化を行うワイヤーフレーム変換手段と、
前記ワイヤーフレームデータを用いて、前記人の部位の移動を表現した人移動軌跡データを生成する生成手段と、
前記人移動軌跡データと予め定められた行動のパターンデータを用いて、前記人の行動を分析する分析手段と、
前記分析手段による分析結果を通知する通知手段
として機能させることを特徴とする情報処理プログラム。 - 画像を撮影する撮影手段を有するコンピュータを、
前記撮影手段によって撮影された画像から、人の部位をベクトル表現したワイヤーフレームデータに変換する変換手段と、
前記撮影手段によって撮影された画像の代わりに、前記変換手段によって変換されたワイヤーフレームデータを出力する出力手段
として機能させることを特徴とする画像撮影プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019088295A JP7337354B2 (ja) | 2019-05-08 | 2019-05-08 | 情報処理装置及び情報処理プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019088295A JP7337354B2 (ja) | 2019-05-08 | 2019-05-08 | 情報処理装置及び情報処理プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020184197A true JP2020184197A (ja) | 2020-11-12 |
| JP7337354B2 JP7337354B2 (ja) | 2023-09-04 |
Family
ID=73045147
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019088295A Active JP7337354B2 (ja) | 2019-05-08 | 2019-05-08 | 情報処理装置及び情報処理プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7337354B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7276542B1 (ja) | 2022-03-22 | 2023-05-18 | 株式会社リコー | 情報処理装置、情報処理システム、料金管理方法及びプログラム |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000099827A (ja) * | 1998-09-25 | 2000-04-07 | Fujitsu Ltd | 無線識別及び視覚デ―タ伝送を使用する顧客認識のためのシステム及び方法 |
| JP2004054376A (ja) * | 2002-07-17 | 2004-02-19 | Japan Science & Technology Corp | グループ属性推定方法及びグループ属性推定装置 |
| JP2013206242A (ja) * | 2012-03-29 | 2013-10-07 | Nikon Corp | 撮像装置、及びコンテンツ生成システム、並びにコンテンツ生成方法 |
| WO2015033576A1 (ja) * | 2013-09-06 | 2015-03-12 | 日本電気株式会社 | セキュリティシステム、セキュリティ方法及び非一時的なコンピュータ可読媒体 |
| WO2015033577A1 (ja) * | 2013-09-06 | 2015-03-12 | 日本電気株式会社 | 顧客行動分析システム、顧客行動分析方法、非一時的なコンピュータ可読媒体及び棚システム |
| JP2015114950A (ja) * | 2013-12-13 | 2015-06-22 | 富士通株式会社 | 動作判定方法、動作判定装置および動作判定プログラム |
| JP2016045654A (ja) * | 2014-08-21 | 2016-04-04 | 日本システム開発株式会社 | 利用者識別装置、利用者識別方法及びコンピュータプログラム |
| JP2019028509A (ja) * | 2017-07-25 | 2019-02-21 | 株式会社クオンタム | 検出装置、検出システム、画像処理装置、検出方法、画像処理プログラム、画像表示方法、及び画像表示システム |
-
2019
- 2019-05-08 JP JP2019088295A patent/JP7337354B2/ja active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000099827A (ja) * | 1998-09-25 | 2000-04-07 | Fujitsu Ltd | 無線識別及び視覚デ―タ伝送を使用する顧客認識のためのシステム及び方法 |
| JP2004054376A (ja) * | 2002-07-17 | 2004-02-19 | Japan Science & Technology Corp | グループ属性推定方法及びグループ属性推定装置 |
| JP2013206242A (ja) * | 2012-03-29 | 2013-10-07 | Nikon Corp | 撮像装置、及びコンテンツ生成システム、並びにコンテンツ生成方法 |
| WO2015033576A1 (ja) * | 2013-09-06 | 2015-03-12 | 日本電気株式会社 | セキュリティシステム、セキュリティ方法及び非一時的なコンピュータ可読媒体 |
| WO2015033577A1 (ja) * | 2013-09-06 | 2015-03-12 | 日本電気株式会社 | 顧客行動分析システム、顧客行動分析方法、非一時的なコンピュータ可読媒体及び棚システム |
| JP2015114950A (ja) * | 2013-12-13 | 2015-06-22 | 富士通株式会社 | 動作判定方法、動作判定装置および動作判定プログラム |
| JP2016045654A (ja) * | 2014-08-21 | 2016-04-04 | 日本システム開発株式会社 | 利用者識別装置、利用者識別方法及びコンピュータプログラム |
| JP2019028509A (ja) * | 2017-07-25 | 2019-02-21 | 株式会社クオンタム | 検出装置、検出システム、画像処理装置、検出方法、画像処理プログラム、画像表示方法、及び画像表示システム |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7276542B1 (ja) | 2022-03-22 | 2023-05-18 | 株式会社リコー | 情報処理装置、情報処理システム、料金管理方法及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7337354B2 (ja) | 2023-09-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230370432A1 (en) | Information output device, camera, information output system, information output method, and program | |
| KR102189205B1 (ko) | 사람의 활동 개요 생성 시스템 및 방법 | |
| JP6992874B2 (ja) | セルフレジシステム、購入商品管理方法および購入商品管理プログラム | |
| CN110033293B (zh) | 获取用户信息的方法、装置及系统 | |
| JP2019020986A (ja) | 人流分析方法、人流分析装置、及び人流分析システム | |
| CN105659279A (zh) | 信息处理设备、信息处理程序、记录介质和信息处理方法 | |
| CN111738199B (zh) | 图像信息验证方法、装置、计算装置和介质 | |
| JP2019139321A (ja) | 顧客行動分析システムおよび顧客行動分析方法 | |
| Liciotti et al. | An automatic analysis of shoppers behaviour using a distributed rgb-d cameras system | |
| JP7337354B2 (ja) | 情報処理装置及び情報処理プログラム | |
| Zhu et al. | Egoobjects: A large-scale egocentric dataset for fine-grained object understanding | |
| JP2023153148A (ja) | セルフレジシステム、購入商品管理方法および購入商品管理プログラム | |
| JP6112156B2 (ja) | 行動分析装置及び行動分析プログラム | |
| JP7362102B2 (ja) | 情報処理装置及び情報処理プログラム | |
| US11722763B2 (en) | System and method for audio tagging of an object of interest | |
| CN112132868B (zh) | 一种支付信息的确定方法、装置及设备 | |
| KR20230022596A (ko) | 인공지능 기반의 영상 분석 모델을 이용하여 무인 매장 고객의 행동 패턴을 분석하는 방법 및 장치 | |
| CN112669352A (zh) | 一种对象识别方法、装置及设备 | |
| Santarcangelo et al. | Egocentric vision for visual market basket analysis | |
| JP6773144B2 (ja) | コンテンツ選択装置、コンテンツ選択方法、コンテンツ選択システム及びプログラム | |
| Menosky | Walk out technology: The need to amend section 5 of the federal trade commission act to protect consumer privacy and promote corporate transparency | |
| Gurulian et al. | May the force be with you: Force-based relay attack detection | |
| CN115588239B (zh) | 交互行为识别方法、装置、设备及存储介质 | |
| Borges et al. | Are you lost? using facial recognition to detect customer emotions in retail stores | |
| WO2016038902A1 (ja) | 行動分析装置、行動分析方法、行動分析プログラム、及び記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220421 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230328 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230524 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230815 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230815 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7337354 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |