図1は、一実施形態に係る情報処理装置の構成例を示すブロック図である。
図2は、一実施形態に係るシステムの対象とする画像の一例である。
図3は、一実施形態に係るシステムの機能の一例である。
図4は、一実施形態に係るシステムの利用可能なデータの一例である。
図5は、一実施形態に係るシステムの利用可能な実画像と参照画像の関係を示す一例である。
図6は、一実施形態に係るシステムの利用可能なデータの一例である。
図7は、一実施形態に係るシステムの利用可能な実画像と参照画像の関係を示す一例である。
図8は、一実施形態に係るシステムの利用可能なデータの一例である。
図9は、一実施形態に係るシステムが表示可能な画面の一例である。
図10は、一実施形態に係るシステムが表示可能な画面の一例である。
図11は、一実施形態に係るシステムが表示可能な画面の一例である。
図12は、一実施形態に係るシステムが表示可能な画面の一例である。
図13は、一実施形態に係るシステムが実施可能なフローの一例である。
図14は、一実施形態に係るシステムが表示可能な画面の一例である。
図15は、一実施形態に係るシステムが表示可能な画面の一例である。
図16は、一実施形態に係るシステムが実施可能なフローの一例である。
図17は、一実施形態に係るシステムが実施可能なフローの一例である。
図18は、一実施形態に係るシステムが実施可能なフローの一例である。
図19は、一実施形態に係るシステムが利用可能な情報の分類の一例である。
図20は、一実施形態に係るシステムの利用可能なデータの一例である。
図21は、一実施形態に係るシステムの利用可能なルールの一例である。
図22は、一実施形態に係るシステムの利用可能なデータの一例である。
図23は、一実施形態に係るシステムが対応可能な状況の一例である。
図24は、一実施形態に係るシステムの構成の一例である。
図25は、一実施形態に係るシステムの利用可能なデータの一例である。
図26は、一実施形態に係るシステムが実施可能なフローの一例である。
図27は、一実施形態に係るシステムが実施可能なフローの一例である。
図28は、一実施形態に係るシステムが実施可能なフローの一例である。
図29は、一実施形態に係るシステムの利用可能なデータの一例である。
図30は、一実施形態に係るシステムの利用可能なデータの一例である。
図31は、一実施形態に係るシステムの利用可能な参照画像の領域の一例である。
図32は、一実施形態に係るシステムの利用可能なデータの一例である。
図33は、一実施形態に係るシステムの利用可能なデータの一例である。
図34は、一実施形態に係るシステムが表示可能な画面の一例である。
図35は、一実施形態に係るシステムの利用可能なデータの一例である。
図36は、一実施形態に係るシステムの利用可能なデータの一例である。
図37は、一実施形態に係るシステムの利用可能なデータの一例である。
図38は、一実施形態に係るシステムの利用可能なデータの一例である。
図39は、一実施形態に係るシステムが表示可能な画面の一例である。
図40は、一実施形態に係るシステムが対応可能な撮像装置の位置の一例である。
図41は、一実施形態に係るシステムが実施可能なフローの一例である。
図42は、一実施形態に係るシステムが利用可能な参照画像の領域の一例である。
図43は、一実施形態に係るシステムの利用可能なデータの一例である。
図44は、一実施形態に係るシステムが表示可能な画面の一例である。
図45は、一実施形態に係るシステムが利用可能な参照画像の領域の一例である。
図46は、一実施形態に係るシステムが表示可能な画面の一例である。
図47は、一実施形態に係るシステムが利用可能な参照画像の領域の一例である。
図48は、一実施形態に係るシステムの利用可能なデータの一例である。
図49は、一実施形態に係るシステムが利用可能な参照画像の領域の一例である。
図50は、一実施形態に係るシステムが表示可能な画面の一例である。
図51は、一実施形態に係るシステムが表示可能な画面の一例である。
図52は、一実施形態に係るシステムの利用可能なデータの一例である。
図53は、一実施形態に係るシステムが表示可能な画面の一例である。
図54は、一実施形態に係るシステムが表示可能な画面の一例である。
図55は、一実施形態に係るシステムが利用可能な参照画像の領域の一例である。
図56は、一実施形態に係るシステムの接続可能な構成例を示すブロック図である。
図57は、一実施形態に係るシステムの利用可能なデータの一例である。
図58は、一実施形態に係るシステムが実施可能なフローの一例である。
図59は、一実施形態に係るシステムが実施可能なフローの一例である。
図60は、一実施形態に係るシステムの利用可能なデータの一例である。
図61は、一実施形態に係るシステムの利用可能なデータの一例である。
図62は、一実施形態に係るシステムの利用可能な状況を示す一例である。
図63は、一実施形態に係るシステムが実施可能なフローの一例である。
図64は、一実施形態に係るシステムのフローの一例である。
図65は、一実施形態に係るシステムのデータ構造の一例である。
図66は、一実施形態に係るシステムのデータ構造の一例である。
図67は、一実施形態に係るシステムのデータ構造の一例である。
図68は、一実施形態に係るシステムのデータ構造の一例である。
図69は、一実施形態に係るシステムのデータ構造の一例である。
図70は、一実施形態に係るシステムのデータ構造の一例である。
1.情報処理装置10の各構成
本実施形態のシステムは、例えば、図1に示すような構成であってよい。本実施形態のシステムは、情報処理装置10から構成される。情報処理装置10を構成する一例としては、例えば、図1のように、バス11、演算装置12、記憶装置13、入力装置14、表示装置15及び通信IF16を有する構成であってよい。また、情報処理装置10は、ネットワーク19と、直接的または間接的に接続される構成であってよい。
バス11は、演算装置12、記憶装置13、入力装置14、表示装置15及び通信IF16の間の情報を伝達する機能を有する。
演算装置12は、プログラムの命令を実行できる装置である。例えばプロセッサが挙げられる。これは、CPUであってもよいし、MPUであってもよい。また、グラフィックスプロセッシングユニット、デジタルシグナルプロセッサなどを有してもよい。
記憶装置13は、情報を記録する装置である。記憶は、一時的な記憶であってもよいし、長期的な記憶であってもよい。記憶装置13は、内部メモリ若しくは外部メモリのいずれか又はこれら両方であってもよい。また、記憶装置13は、磁気ディスク(ハードディスク)、光ディスク、磁気テープ、半導体メモリなどでもよい。また、記憶装置13は、図示されていないが、ネットワークを介した記憶装置又は、ネットワークを介したクラウド上の記憶装置であってよい。
なお、演算装置に近い位置で情報を記憶する、レジスタ、L1キャッシュ、L2キャッシュなどは、図1のブロック図においては、演算装置12内に含まれる場合もあるが、計算機アーキテクチャのデザインにおいて、情報を記録する装置として、記憶装置13がこれらを含んでもよい。要するに、演算装置12、記憶装置13及びバス11が協調して、情報処理を実行できるよう構成されていればよい。
記憶装置13は、本願発明に関連する技術を実行するプログラムを備えることができ、また、本願発明に関連する際に必要なデータを、適宜記録することもできる。例えば、後述する機械学習に必要な学習用データを取得した場合には記憶し、機械学習を実行するためのプログラムを記憶し、機械学習を実行した後に学習することで生成される属性情報生成機能に必要な情報を記憶してよい。また、記憶装置13は、データベースを含んでよい。また、記憶装置13は、短期的な記憶装置であってもよいし、長期的な記憶装置であってもよい。短期的な記憶装置としては、例えば、キャッシュが挙げられ、長期的な記憶装置としては、HDDなどが挙げられる。
また、上記は、演算装置12が、記憶装置13に備えられたプログラムに基づいて実行される場合を一例として説明したが、上記のバス11、演算装置12と記憶装置13が組み合わされた形式の一つとして、本願システムに係る情報処理を、ハードウェア回路自体を変更することができるプログラマブルロジックデバイス又は実行する情報処理が決まっている専用回路で実現されてもよい。プログラマブルロジックデバイスまたは専用回路で実現された場合、より高速に本願システムを処理できる利点がある。また、演算装置12は、並列計算が可能なよう構成されてもよい。例えば、演算装置12が機械学習を行う場合、複数の学習データに対して、同時に機械学習が実現できるようされてよい。
入力装置14は、情報を入力するものである。入力装置14としては、キーボード、マウス、タッチパネル、又はペン型の指示装置などの入力装置が挙げられる。なお、タッチパネルが表示機能を有するように、入力装置14は、他の機能を有していてもよい。
表示装置15は、情報を表示する機能を有する。例えば、液晶ディスプレイ、プラズマディスプレイ、有機ELディスプレイなどが挙げられるが、要するに、情報を表示できる装置であればよい。また、タッチパネルのように入力装置14を一部に備えてもよい。
ネットワーク19は、通信IF16と共に、情報を伝達する機能を有する。例えば、情報処理装置10が有する情報を、ネットワーク19を介して他の情報処理装置に伝達できる機能を有する。通信IF16は、どのような接続形式を備えてもよい。例えば、USB、IEEE1394、イーサネット(登録商標)、PCI、SCSIなどでよい。ネットワーク19は、有線と無線のいずれでもよく、有線の場合は、光ファイバ、又は同軸ケーブルなどを用いてよい。
情報処理装置10は、本願書類に記載された技術の一部又は全部の専用の情報処理装置であってもよいし、本願書類に記載された技術以外の技術を実行できる情報処理装置であってもよい。情報処理装置10は、サーバー、ワークステーション、デスクトップパソコン、ラップトップパソコン、ノートパソコン、PDA、携帯電話、スマートフォンなどでもよい。
図1では、一台の情報処理装置10として説明したが、情報処理装置10は、複数の情報処理装置で構成されてもよい。当該複数の情報処理装置は、内部的に接続されていてもよいし、ネットワークを介して外部的に接続されていてもよい。また、情報処理装置10が複数の情報処理装置で構成される場合、その所有者または管理者が異なっていても、本処理に記載の技術を実行する際に、アクセス権があるなどによって情報処理装置を利用できる状態であればよい。また、情報処理装置10は、物理的な存在であってもよいし、仮想的なものであってもよい。例えば、クラウドコンピューティングを用いて、情報処理装置10を仮想的に実現されてもよい。また、図1は、本実施形態のシステムの基本的構成を説明したものであるが、これらに他の情報処理装置と連携する場合などには、入力装置14や表示装置15を有しない形態であってもよい。
2.用語の説明
本出願書類において、「実画像」は、撮像装置で撮像されたものを示す。実画像は、動画であっても静止画であってもよい。実画像は、後述する対象がいない背景であってもよいし、対象がいるものであってもよい。また、実画像は、動画の一停止画像であってもよいし、動画が再生中のものであってもよい。カメラは、種々の位置に備えられているものであってよい。動画は、カメラの設置された種々の位置から、種々の角度で撮像されたものでよい。例えば、地面に対して、30度、45度、50度、55度、60度などの角度で下方を撮像できる位置に設置されたカメラによって撮像された動画であってもよいし、上方に向けて撮像できる位置に設置されたカメラによって撮像された動画であってもよい。また、カメラは、地面に対して、真上に設置されて、真下を撮像するものでもよいし、真横を撮像するものでもよく、撮像される方向に制限はない。
ここで、実画像は、動画内に、基準となるものが含まれていてもよいが、基準となるものが含まれている必要はない。例えば、実画像又はその元となる動画は、基準となる物体を設置した後に、当該基準となる物体を視野内に含むよう撮像された動画である必要は無い。そのため、利用者は、カメラの撮像前に、基準となるものを設置する負担が減少する。また、基準となる物体の設置が不要であることから、基準となる物体を含ませずに撮像された過去の動画を活用できる利点がある。
また、実画像は、動画内に、以下の種々の目的に応じた種々の対象が含まれているものであってもよいし、含まれていないものでもよい。例えば、人の動きを特定する目的、又は、人の人数を数える目的で、実画像と後述する参照画像の関係性を生成するにあたり、実画像内に、人が含まれていてもよいし、人が含まれなくてもよい。本実施形態のシステムが、人が含まれる実画像を利用する場合、予め人が含まれない動画を用意する必要がない点で、負担が減少する利点がある。
図2は、動画の一停止画面である実画像の一例を模式化したものであり、ビルの谷間と公園を示すものである。一実施形態のシステムが使用する実画像は、このような撮像装置で撮像された一画面であってよい。
「参照画像」は、動画で撮像された対象を示すものである。参照画像が示す対象は、実画像で示されたものと一致していてもよいし、実画像の一部であってもよい。例えば、一の参照画像と位置の実画像が一致していてもよいし、複数の参照画像が組み合わさることで一の実画像と一致することでもよいし、複数の参照画像を組み合わせることで、実画像の一部と一致することでもよい。また、参照画像の一部が、実画像で示されたものと一致していてもよい。例えば、一の参照画像が、複数の実画像が組み合わされたものと一致してもよい。また、参照画像の一例は、地図や図面であるが、正確な地図や図面であってもよいし、不正確な地図や図面であってもよい。参照画像は、実画像と異なる縮尺の地図や図面であってもよいし、フリーハンドの地図や図面であってもよいし、一部が誇張された地図や図面であってもよいし、一部が歪んだ地図や図面であってもよい。動画が、店舗内の一部や、通路などに設置された撮像装置で撮像された物であれば、参照画像は、店舗や施設の図面であってよい。また、建物の外や道路に設置された撮像装置で撮像された動画については、参照画像は、建物周辺の地図や道路図などであってもよい。
3.システムの機能の一例
一例のシステムは以下に述べる幾つかの機能の一部又は全部を有してよい。ここでは、システムの機能を、まとめて説明するが、本願書類に含まれた発明は、これらの機能の全てを常に使う必要は無く、一部の機能であってもその一部の機能が備える技術的意義を有する発明である。以下では、図3にある、位置関係生成部31、対象情報収集部32、位置生成部33、統計処理部34、を順に説明する。
3.1.位置関係生成部31
位置関係生成部は、実画像と、実画像に対応する参照画像の位置の関係を生成する機能を有する。
位置関係生成部を用いることにより、利用者は、次のようにして、実画像と参照画像の関係を生成することができる。まず、利用者が、実画像内におけるA1の場所をタッチして指定し、実画像内のA1の箇所に対応する参照画像内の場所であるAt1をタッチして指定する。同様に、利用者は、実画像内におけるA2の場所をタッチして指定し、実画像内のA1の箇所に対応する参照画像内の場所であるAt2をタッチして指定する。このようにして、実画像内の場所の指定に対応する場所を参照画像内で指定する。位置関係生成部は、これらの指定に対して、各位置情報を取得して記憶する。例えば、A1の場所に対応して(Ax1、Ay1)の座標情報を取得し、At1の場所に対応して(Atx1、Aty1)の座標情報を取得する。同様に、A2の場所に対して、(Ax2、Ay2)の座標情報を取得し、At2の場所に対応して(Atx2、Aty2)の座標情報を取得する。ここで、例えば、N箇所の座標情報を取得したとすると、位置関係生成部は、実画像内のA1乃至ANに対して、夫々対応するAt1乃至AtNの位置情報を取得できる。図4は、位置情報として、座標情報について、実画像と参照画像の位置関係を記憶したデータの一例である。
上述の位置の指定は、情報処理装置の入力機能が用いられてよい。入力機能は、タッチパネルであってもよいし、ペン型等のポインターでもよいし、マウスでもよい。入力機能と表示機能が同一の装置内に含まれていてもよい。
また、上述のとおり、実画像と参照画像の関係は、一対一のみでなく、多対一、一対多、又は多対多であってもよい。ここで、多は複数を意味する。複数の実画像に対し、前記複数よりも少ない数の参照画像が設定される場合としては、例えば、複数の撮像装置で撮像される場所を一の参照地図で対応する場合がある。より具体的には、複数のカメラで撮像される一店舗内に対し、前記一店舗を示す地図である場合がある。このとき、各撮像装置に対して参照画像を用意する必要がないため、利用者による位置関係生成の入力の負担が減少する利点がある。
例えば、複数の撮像装置C1、C2において撮像された各実画像A1、A2に対して、参照画像Rが一つであってよい。この場合、撮像装置C1による動画A1内の位置に対し、参照画像Rの一部の位置について、位置関係生成部が位置関係情報を生成し、撮像装置C2による動画A2内の位置に対し、参照画像Rの一部について、位置関係生成部が位置関係情報を生成してよい。図5は、実画像A1、A2と、参照画像Rにおける位置情報の対応関係を概略的に示す図であり、図6は、位置関係生成部が生成したデータの一例である。実画像A1は参照画像R内の上方に位置し、実画像A2は参照画像R内の下方に位置され、実画像A1内での位置情報と参照画像R内での位置情報との関係、実画像A2内での位置情報と参照画像R内での位置情報との関係が、データ内に記憶されることとなる。
例えば、複数の撮像装置が設置されているデパートや駅ビルなどの商業施設について、各フロアに対して、一の参照画像が存在する場合が挙げられる。なお、複数の撮像装置の視野の全ての部分について参照画像が対応する部分を有する場合、撮像装置で撮像された動画の全ての部分について、参照画像内に位置を関係づけることができる利点があるが、必ずしも撮像装置の視野の全ての部分について、参照画像が対応する部分を有しなくてもよい。
他方、撮像装置Cに対し、複数の参照画像R1、R2があってよい。例えば、遠方の撮像対象に対し、高精度の撮像装置によって撮像された対象について、参照画像では人の目では把握しにくい場合に、一の実画像に対応する参照画像を、複数の参照画像として対応付けてよい。例えば、高層ビルに設置された高精度の一のカメラによる視野内の領域を複数の参照画像によって対応付ける場合などが挙げられる。この場合、視野内の複数の領域に対し、利用者の理解しやすいレベルの細かさの参照画像に対して、位置関係を特定できる利点がある。この場合、撮像装置Cによる動画内の位置の一部に対し、参照画像R1について、位置関係生成部が位置関係情報を生成し、撮像装置Cによる動画内の位置の一部に対し、参照画像R2について、位置関係生成部が位置関係情報を生成してよい。図7は、実画像Aと、参照画像R1及びR2における位置情報の対応関係を概略的に示す図であり、図8は、位置関係生成部が生成したデータの一例である。実画像Aの上方が参照画像R1内に位置し、実画像Aの下方は参照画像R内に位置され、実画像A内上方の位置情報と参照画像R1内での位置情報との関係、実画像A内下方の位置情報と参照画像R2内での位置情報との関係が、データ内に記憶されることとなる。
例えば、一の撮像装置が、二つの店舗の出入口の両方を視野に含む場合等において、これらの2つの店舗の参考画像がある場合が挙げられる。なお、撮像装置の視野の全ての部分について複数の参照画像のいずれかが対応する部分を有する場合、撮像装置で撮像された動画の全ての部分について、参照画像内に位置を関係づけることができる利点があるが、必ずしも撮像装置の視野の全ての部分について、参照画像が対応する部分を有しなくてもよい。
また、参照画像R1と参照画像R2は、互いに重複部分を有するよう設定されてもよい。互いに重複部分を有する場合、位置関係を生成するための後述の複数の点を、重複部分に設けることが可能となり、一の参照画像から他の参照画像に位置関係情報を伝播させることが可能となる利点がある。
また、撮像装置が移動する場合もある。例えば、広範囲の視野を得るために、撮像装置が視野を変更する場合もある。この場合、実画像内の位置情報と、撮像装置の視野の方向の情報と、参照画像内の位置情報と、を関連付けることデータすることにより、特定の視野における実画像内の位置情報を、参照画像内の位置情報に変換できるものとされてよい。視野の方向の情報は、動きの角度や、動きと関連付けられた時刻における時刻などであってよい。
また、撮像装置は、パノラマ撮像装置、180度視野の撮像装置、360度視野の撮像装置であってもよい。このような場合でも、同様に、これらの撮像装置で撮像された実画像内の位置情報と、前記撮像装置に対応する参照画像の位置情報との関連付けがされてよい。
ここで、位置関係生成部は、A1乃至ANの位置情報を取得した後に、At1乃至AtNの位置情報を取得してもよいし、A1の位置情報を取得し、At1の位置情報を取得し、その後に、A2の位置情報を取得し、At2の位置情報を取得する、と実画像内の位置情報と参照画像内の位置情報を交互に取得してもよい。要するに、位置関係生成部は、実画像内の位置情報を1乃至複数の所定の個数取得し、その後に、前記実画像内の位置情報に対置付けて、参照画像内の位置情報を前記所定の個数取得し、記憶する態様であってもよい。
また、位置関係生成部は、At1乃至AtNの位置情報を取得した後に、A1乃至ANの位置情報を取得してもよいし、At1の位置情報を取得し、A1の位置情報を取得し、その後に、At2の位置情報を取得し、A2の位置情報を取得する、と参照画像内の位置情報と実画像内の位置情報を交互に取得してもよい。要するに、上述同様に、位置関係生成部は、参照画像内の位置情報を一乃至複数の所定の個数取得し、その後に、各前記参照画像内の位置情報に対応付けて、実画像内の位置情報を前記所定の個数取得し記憶する態様であってもよい。
また、位置関係生成部が、位置情報を取得する入力画面の構成は、種々のものであってよい。例えば、図9は、実画像と参照画像とが、同一画面上に表示されている例である。実画像と参照画像とが、同一画面上に表示されているため、利用者は、実画像と参照画像を見比べながら、参照画像内の場所を指定できる利点がある。
また、位置関係生成部が、A1の位置情報を取得しAt1の位置情報を取得し、その後に、A2の位置情報を取得しAt2の位置情報を取得する、と実画像内の位置情報と参照画像内の位置情報を交互に取得する態様の場合、位置関係生成部は、次に、実画像内の位置情報と参照画像内の位置情報のどちらの情報を取得するのかの情報を明示してもよい。例えば、現在の受付状態を示してよい。どちらの情報を取得するのかの情報は、種々の情報によって表示されてよい。例えば、実画像又は参照画像のうち、入力を受けつける側が異なる態様で表示されてもよいし、交互の入力において入力されない側は入力されない状況とされてもよい。この場合、利用者は、実画像と参照画像のどちらに次に入力をすればよいかを理解できる利点がある。なお、参照画像内の位置情報の取得の後に対応する実画像内の位置情報の取得を行う場合は、上述の参照画像と実画像を逆としてよい。
また、実画像内の場所を指定した後、位置関係生成部は、実画像内で指定された場所を表示してもよい。当該表示により、利用者は、実画像内で指定した場所をシステムが記憶したことを確認できる利点がある。なお、参照画像内の位置情報の取得の後に対応する実画像内の位置情報の取得を行う場合は、上述の参照画像と実画像を逆としてよい。
また、位置関係生成部は、実画像内で指定された場所を、参照画像内の位置情報の入力を受け付ける期間表示してもよい。当該期間の表示により、利用者は、実画像内で指定した場所と見比べながら、参照画像内の場所を指定できる利点がある。なお、参照画像内の位置情報の取得の後に対応する実画像内の位置情報の取得を行う場合は、上述の参照画像と実画像を逆としてよい。
また、位置関係生成部は、実画像内で指定された場所を、実画像内の場所の指定を受け付ける期間中表示してよい。当該期間中表示されることにより、利用者は、既に指定した場所を認識した上で、当該指定済みの場所と異なる場所を指定できるため、指定済みの箇所と近接しすぎる箇所を再度指定せずにすみ、利用者による過剰な指定の負担が軽減できる。なお、参照画像内の位置情報の取得の後に対応する実画像内の位置情報の取得を行う場合は、上述の参照画像と実画像を逆としてよい。
また、位置関係生成部は、実画像内で指定された位置と、参照画像内で指定された位置との組み合わせを理解しやすい表示がされてもよい。例えば、図10のように、実画像内で指定された位置と関連付けられている参照画像内で指定された位置とを、結合した線で表示したり、双方の位置を含む図形を表示してもよい。線は、直線であってもよいし、曲線であってもよい。図形は、楕円や多角形などでもよい。
また、位置関係生成部が、A1乃至ANの位置情報を取得した後に、At1乃至AtNの位置情報を取得するという、実画像内の位置情報を連続して取得した後に参照画像内の位置情報を連続して取得する態様の場合、利用者は、実画像内又は参照画像内のみに対して入力をすればよいため、実画像内と離れた参照画像の位置を交互に入力する態様に比べて、入力するために動作すべき範囲を短くできる利点がある。なお、参照画像内の位置情報の取得の後に対応する実画像内の位置情報の取得を行う場合は、上述の参照画像と実画像を逆としてよい。
また、位置関係生成部が、A1乃至ANの位置情報を取得した後に、At1乃至AtNの位置情報を取得するという、実画像内の位置情報を連続して取得した後に参照画像内の位置情報を連続して取得する態様の場合、位置関係生成部は、参照画像内で入力を受け付ける位置情報に対応する位置情報を実画像内で表示してもよい。なお、参照画像内の位置情報の取得の後に対応する実画像内の位置情報の取得を行う場合は、上述の参照画像と実画像を逆としてよい。
例えば、図11は、実画像内に位置1乃至6を入力した後、参照画像内で位置1乃至3を入力した時点を示している。次に入力するものは実画像内の位置4に対応する参照画像内の位置であることから、実画像内の位置4が表示されている例である。このように、位置関係生成部が、参照画像内で入力を受け付ける位置情報に対応する位置情報を実画像内で表示できるよう構成されることにより、利用者は、参照画像内で位置情報を入力しようとする箇所が、実画像内のどの位置情報に対応しているかを理解して、入力することが可能となる。なお、参照画像内の位置情報の取得の後に対応する実画像内の位置情報の取得を行う場合は、上述の参照画像と実画像を逆としてよい。
また、参照画像内で入力を受け付ける位置情報に対応する位置情報を実画像内で表示する際、前記実画像内の位置4が他の実画像内の位置と異なる態様で表示されてよい。異なる態様は、種々のものであってよいが、例えば、数値又は文字の書式について、フォント、スタイル、下線、色、サイズ、文字飾り、配置、等が異なる態様であってよく、また、数値又は属性情報に係る欄や背景について、塗りつぶしやパターン等が異なる態様であってもよい。このように参照画像内で入力を受け付ける位置情報に対応する位置情報を実画像内で表示する際、他の位置情報と異なる態様で表示される場合、利用者は、参照画像内で位置情報を入力しようとする箇所が、実画像内のどの位置情報に対応しているかを、実画像内の他の位置情報と混同せずに理解できる利点がある。なお、参照画像内の位置情報の取得の後に対応する実画像内の位置情報の取得を行う場合は、上述の参照画像と実画像を逆としてよい。
また、図12は、実画像と参照画像とが、重複する態様で表示される例である。タブ01とタブ02が設置され、利用者が指示装置等で選択した一方又は位置関係部が選択した一方が、画面03に表示される構成とされている。参照画像02が画面03にこの場合、表示画面のスペースを減少できる利点がある。また、入力終了ボタン(04)も表示されており、当該ボタンに対する入力により、入力を終了することができる。
図12を用いた表示の一例を図13のフローを用いて説明すると、まず、位置関係生成部は、実画像01のタブをアクティブ状態とし、画面03内に実画像を表示させ、実画像に対する入力を受け付け状態とする(ステップ01)。
次に、画面03内における実画像01内の位置の入力を受け付けると、当該位置の情報を実画像内の位置として、記憶する(ステップ02)。
次に、位置関係生成部は、実画像01のタブを非アクティブ状態とし、参照画像02のタブをアクティブ状態とし、画面03内に参照画像を表示させ、入力受付状態とする(ステップ03)。
次に、位置関係生成部は、画面03内における参照画像内の02内の位置の入力を受け付けると、当該位置の情報を、前記実画像内の位置に対応する参照画像内の位置として、記憶する(ステップ04)。
次に、位置関係生成部は、参照画像02のタブが非アクティブ状態とし、実画像01のタブをアクティブ状態とし、画面03内に実画像を表示し、入力受付状態とする(ステップ05)。この後、ステップ02に戻る。なお、入力終了を検知した場合は、入力を終了してよい。
上述では、実画像内の位置の入力を受け付けた後に、前記実画像内の位置の入力に対応する位置として、参照画像の入力を受け付ける構成を説明したが、逆の構成であってもよい。すなわち、参照画像内の位置の入力を受け付けた後に、前記参照画像内の位置の入力に対応する位置として、実画像の入力を受け付ける構成としてもよい。この場合、位置関係生成部は、まず、参照画像内の位置の情報を取得し、その後に取得する実画像内の位置の情報を、前記取得した参照画像内の位置と関連付けて記憶する構成とされてよい。
また、上述のタブは一例であり、利用者が入力している対象が、実画像であるか参照画像であるかが判明するような情報であれば他の態様であってもよい。例えば、参照画像及び/又は実画像を示すアイコンが設置され、参照画像又は実画像のいずれが現在表示されているかを示す態様であってもよいし、画面03内自体から実画像の入力受付であるのか参照画像の入力受付であるのかが判明できる表示がされてもよい。
他方、実画像と参照画像とがどちらかのみが表示される態様で表示されると、表示されていない情報を利用者が忘れてしまう場合もある。例えば、実画像で場所を指定した後、参照画像を指定する場合において、実画像内のどの場所を具体的に指定したのかを忘れてしまう場合もある。そこで、実画像又は参照画像の一方の透明度を変更して表示する構成とされてもよい。
また、利用者が指定した場所に対応する座標は、実画像又は参照画像内の位置を特定する情報であれば、座標でない他の手段であってもよい。例えば、実画像又は参照画像内を予め複数の領域に区分けしておき、かかる区分けされた領域の一を特定する情報によって、実画像又は参照画像内の位置を特定されてもよい。また、
また、上述では、実画像の位置情報を取得した後に、参照画像の位置情報を取得する構成とされたが、同様に、参照画像の位置情報を取得した後に、実画像の位置情報を取得する構成とされてもよい。
従来、撮像装置によって得られた動画又は停止画の画像内の情報を、当該画像に対応する地図と関係づける場合、予め準備が必要であった。例えば、動画内に基準点を設け、当該基準点を地図上の位置と関係づける等の作業が必要であった。この場合、対応付け作業の負担があること、また、過去撮影されたものが利用できない問題があった。上述の動画と参照画像の対応する位置を指定するのみで、動画内の位置と参照画像内の位置の対応関係を記憶させることができ、後述のとおり、動画内の位置から参照画像内の位置を特定できるため、本技術は、少ない負担で、動画内の位置に対応する参照画像内の位置を生成できる利点がある。
<推奨表示>
また、位置関係生成部は、入力が推奨される領域を表示する機能を有してよい。撮像装置から得られる実画像と参照画像と位置関係の正確性は、入力数とその具体的な位置によって決定する。そこで、本実施形態のシステムが、入力が推奨される領域を表示する場合、利用者は、正確性をある程度担保した状態で、入力できる利点がある。
入力が推奨される領域は、一定の面積を有してもよいし、線であってもよい。入力が推奨される領域は、実画像内において表示されてよい。
入力が推奨される領域は、種々の形により特定されてよい。例えば、入力が推奨される領域は、所定の長さを用いた図形に基づいて、特定されてよい。図形は、丸や楕円形などの円形、三角形や四角形等の多角形、又は特定の円形若しくは多角形以外の領域などとして特定されてよい。円形であれば、所定の長さの半径の丸、所定の長さの長径や短径の楕円などであってよい。
入力が推奨される領域は、種々の計算によって算出され、表示されてよい。例えば、実画像A内において指定された位置を中心として、所定の半径の円C1を描き、それ以外の領域を、入力が推奨される領域としてよい。この場合、次に実画像A内において指定された位置を中心として、同様に所定の半径の円C2を描き、実画像Aから、図形C1及びC2の共通面積を取り除いた、差分の面積を、入力が推奨される領域としてよい。また、実画像内において新たに入力された位置情報に基づいて、入力が推奨される領域を減少して表示されてよい。また、この円の半径は、例えば、実画像Aの辺を基準に決定された長さであってよい。例えば、辺の3分の1と算出される値であってよい。ここで辺は、実画像Aの長辺であってもよいし、短辺であってもよい。
また、入力が推奨される領域は、実画像A内において指定された位置を中心として、重心と頂点の距離が所定の長さの四角形R1を描き、それ以外の領域を、入力が推奨される領域としてよい。この場合、次に実画像A内において指定された位置を中心として、同様に重心と頂点の距離が所定の長さの四角形R2を描き、実画像Aから、図形R1及びR2の共通面積を取り除いた、差分の面積を、入力が推奨される領域としてよい。また、実画像内において新たに入力された位置情報に基づいて、入力が推奨される領域を減少して表示されてよい。また、この重心と頂点の距離が所定の長さは、例えば、実画像Aの辺を基準に決定された長さであってよい。例えば、辺の3分の1と算出される値であってよい。ここで辺は、実画像Aの長辺であってもよいし、短辺であってもよい。
また、位置関係生成部は、上述の円形又は多角形の線上を好ましい領域として示してもよい。この場合、利用者は、より具体的にどの箇所について、位置情報を入力すればよいのか、具体的に理解できる利点がある。
また、位置関係生成部は、上述の円形又は多角形の内部側を正確性が高くなる領域として示してもよい。この場合、利用者は、位置関係の正確性を高くするために位置情報を入力したい場合に、どの箇所について位置情報を入力すればよいのかを理解することができる利点がある。
なお、以上の入力が推奨される領域として、実画像内の領域を中心に説明したが、実画像に限定されるものではなく、参照画像内の領域について、同様に入力が推奨される領域が生成され、表示されてよい。
<入力サポート>
また、位置関係生成部は、実画像内の位置情報と参照画像内の位置情報との関係を推定することによる入力サポートをしてもよい。推定が正しい場合、利用者は、実画像内の位置情報と参照画像内の位置情報を入力する負担が減少する利点がある。
図14は、一の実画像内の位置情報と、これらに対応する参照画像内の位置情報を用いて、前記一の実画像内の位置情報に対応する参照画像内の位置情報を推定する例である。なお、以下においても、一の参照画像内の位置情報に対応する実画像内の位置情報を推定してもよい。
位置1乃至3は、既に、利用者によって、実画像内の位置情報と参照画像内の位置情報が入力されているとする。このとき、位置4について、実画像内の位置情報と参照画像内の位置情報が推定されている例である。
上述における実画像内の位置情報と参照画像内の位置情報との関係の推定は、入力済みの位置情報の全部又は一部の、実画像及び参照画像内の、位置情報を使用してよい。この推定を、図15を用いて、図16を参照して説明する。
まず、一例のシステムの位置関係生成部は、実画像内の位置1乃至3について記憶し、これらに対応する位置として、参照画像内の位置1乃至3を記憶しているとする(ステップ1)。
次に、位置関係生成部は、実画像内に、位置4を設定する(ステップ2)。実画像内に設定される位置は、どのような場所であってもよく、入力済みの位置に対して、一定程度離れている位置であってよい。ここでは、位置4が設定されたとする。位置4の位置を設定する領域の一つの設定方法は、例えば、実画像を複数の領域に区分けし、位置が入力済みである領域(以下、「位置入力領域」という)と位置が入力されていない領域(以下、「位置未入力領域」という)のうち、位置未入力領域かつ位置入力領域と隣り合う領域であってよい。位置入力領域と近い領域において、位置情報を推定するための設定することにより、位置入力領域における実画像と参照画像の位置関係の正確性を大きく減じることなく前記位置関係の情報を伝達できるためである。また、位置は、位置未入力領域内においても、どのような場所であってもよい。例えば、位置は、位置未入力領域に対して定められた個数の位置が均等に離れるような位置に設置されてよい。この場合、均等に離れる位置であることから、位置入力領域における実画像と参照画像の位置関係の正確性を大きく減じることなく前記位置関係の情報を伝達できるためである。ここで、定められた個数は、位置未入力領域の面積に応じて決定されてよい。面積が大きいほど、位置情報を多数設定した方が、位置入力領域における実画像と参照画像の位置関係の正確性を大きく減じることなく前記位置関係の情報を伝達できるためである。また、位置は、所定の長さを互いに離して設定されてもよい。位置の互いの距離が所定の距離とされることにより、位置入力領域における実画像と参照画像の位置関係の正確性を大きく減じることなく前記位置関係の情報を伝達できるためである。また、位置は、位置入力領域に近い箇所から、設定されてよい。位置入力領域に近い位置から設定されることで、位置入力領域における実画像と参照画像の位置関係の正確性を大きく減じることなく前記位置関係の情報を伝達できるためである。
次に、位置4と最も近い実画像内の3点とそれらの対応する参照画像内の3点とを用いて、位置4に対応する参照画像内の位置を特定する(ステップ3)。ここで、位置4に対応する参照画像内の位置は、後述する位置生成部における機能が用いられてよい。
次に、位置関係生成部は、位置未入力領域内に、位置5を設定する(ステップ4)。位置5も、上述の位置4と同様の手法により、設定されてよい。図15においては、既に領域Bにおいて位置4が設定されていることから、位置5は、領域Bにおいて、位置4と所定の長さの位置に設定されたとする。
次に、位置関係生成部は、位置5と最も近い実画像内の3点とそれらの対応する参照画像内の3点とを用いて、位置5に対応する参照画像内の位置を特定する(ステップ5)。ここで、位置5と最も近い実画像内の3点の1点は、上述の利用者によって入力された位置1乃至3ではなく、位置関係生成部が実画像内で設定した位置4であってもよい。参照画像内に位置情報を生成するために使用する実画像内の位置として、利用者によって入力された位置ではなく、位置関係生成部が設定した位置であることにより、位置入力領域における実画像と参照画像の位置関係の正確性を大きく減じることなく前記位置関係の情報を伝達できる利点がある。
以上を繰り返すことにより、位置を推定して設定してよい。
また、参照画像内において推定された位置の推定について、利用者から実画像内の位置を修正する情報を取得してもよい。位置の修正を行う方法としては、種々の手法があってよい。
例えば、上述のステップ3の後であってステップ4に進む前において、位置関係生成部が推定した参照画像内の位置4の位置を、利用者に確認するステップがあってもよい。例えば、参照画像内の位置4の位置について、利用者が確認したことを示す情報を取得できる機能、及び、参照画像内の位置4の位置を変更できる位置変更情報を取得できる機能を有してよい。かかる機能を備えた一例のシステムは、利用者が、参照画像内の位置4に照らし、実画像内の位置4の位置について正しいと考えた場合、確認したことを示す情報を受領し、正しくないと考えた場合、利用者自ら設定した参照画像内の位置4を受領できる構成とされてよい。位置関係生成部がこの機能を備えた場合、利用者は、各位置を確認して必要に応じて修正しつつ、位置情報の入力が軽減できる。
また、位置の修正は、入力サポートによって、実画像内の位置の設定と対応する参照画像内の位置の推定を複数回行った後に、利用者の入力を受け付けるよう構成されてもよい。この場合、例えば、実画像内において位置4乃至Nまでの位置に対応して、参照画像内の位置4乃至Nの位置が設定されている状態において、利用者は、実画像内の位置に照らし、正しくないと考えた参照画像内の位置について、対象を選択して、正しい位置を設定できるよう構成されてよい。この場合、位置関係生成部は、参照画像内のある位置Xが選択され、前記位置Xの位置が変更された場合、当該参照画像内の位置Xに対応する実画像内の位置Xの位置情報と前記変更された参照画像内の位置Xとの関係を記憶する。そして、位置関係生成部は、実画像内の位置Xと参照画像内の位置Xとの関係を用いて算出された、参照画像内の一又は複数の位置について、前記実画像内の位置Xの位置情報と前記変更された参照画像内の位置Xとの関係を用いて、上述のような計算を再度行ってよい。また、計算された結果の参照画像内の位置について、参照画像内に表示してよい。この場合、利用者は、位置4乃至Nについて、まとめて位置を推定することができるため、位置推定機能が正しく機能した場合、利用者の入力負担を軽減できる利点がある。
次に、一の実画像内の位置情報を、一の実画像とは異なる他の実画像内の位置情報に、位置入力領域における実画像と参照画像の位置関係の正確性を大きく減じることなく前記位置関係の情報を伝達できる手法を説明する。例えば、利用者が、一の撮像装置で撮像された動画について位置情報を入力した場合、前記一の撮像装置と重複部分を有する他の撮像装置で撮像された動画にもその位置情報を伝達できるため、利用者は、各撮像装置に関する動画について、位置情報の入力する負担が減少する利点がある。
本実施形態は、一の実画像内の位置情報と、これらに対応する参照画像内の位置情報を用いて、前記一の実画像とは異なる他の実画像内の位置情報に対応する参照画像内の位置情報を推定する例である。図17を用いて、説明する。
まず、位置関係生成部は、一の実画像内と他の実画像の重複部分X内において、一の実画像内の位置情報A1を記録する(ステップ1)。ここで、位置情報A1は、利用者からの入力によって取得してもよいし、上述の推定機能により設定されたものでもよい。
次に、位置関係生成部は、前記一の実画像内の位置情報A1に対応する参照画像内の位置情報Rを取得し、前記位置情報A1と関連付けて記憶する(ステップ2)。ここで、位置情報Rは、利用者からの入力によって取得してもよいし、上述の推定機能により設定されたものでもよい。
次に、位置関係生成部は、前記一の実画像内で指定された位置A1に対応する位置A2を、他の実画像内において特定する(ステップ3)。前記一の実画像内で指定された位置A1は、前記一の実画像と前記他の実画像の重複部分X内であることから、前記一の実画像内で指定された位置A1は、前記他の実画像内に存在する。特定方法は、種々の方法であってよい。例えば、前記一の実画像内で指定された位置を含む領域を、前記他の実画像内の前記重複部分内に、パターンマッチによって、特定してよい。パターンマッチは、限られた領域において、存在することが前提のパターンマッチであることから、マッチする可能性が高いと判定されたものによって特定されてよい。なお、ステップ3とステップ2の順番は、前後してよい。
また、パターンマッチに代えて、学習機能を用いて適用してもよい。例えば、学習機能として、ディープラーニングに基づくニューラルネットワークを用いる場合、参照画像内の位置Rと、前記一の実画像と、前記一の実画像内の位置A1と、の関係をディープラーニングにより学習したニューラルネットワークに対して、参照画像内の位置Rと、前記他の実画像と、を適用し、前記参照画像Rに対応する前記他の実画像内の位置A2を特定してよい。
次に、位置関係生成部は、前記他の実画像内で特定された位置A2と、前記一の実画像内で指定された位置A1に対応して指定された参照画像内の位置Rと、を関連付けて、記憶する(ステップ4)。
前記重複部分内において、複数の点の位置情報を取得した場合、位置関係生成部は、前記他の実画像内の複数の位置情報と、前記各位置情報に対応した参照画像内の位置情報を関係づけて記憶できるため、位置関係生成部は、更に、前記他の実画像内において、前記一の実画像と重複しない領域についても、上述の技術によって、他の実画像内の位置情報と参照画像内の位置情報とを関連付けてよい。本技術により、利用者が、一の撮像装置に関する実画像と参照画像との位置関係を入力すると、前記一の撮像装置に係る実画像と重複する実画像を含む他の撮像装置と参照画像との関係の位置関係を推定できる利点がある。
また、撮像装置C1乃至C3に対応する動画M1乃至M3について、撮像装置C1とC2が重複視野を有し、撮像装置C2とC3が重複視野を有する場合、撮像装置C1とC3が重複する視野を有するかどうかによらず、位置関係生成部が、撮像装置C1内の実画像と参照画像との位置関係を取得すれば、まず重複部分を介して撮像装置C2内の実画像と参照画像との位置関係を推定し、次に撮像装置C3内の実画像と参照画像との位置関係を推定することが可能である。このように、一例のシステムは、重複を有しない参照画像同士においても、位置関係を推定できる構成であってよい。
以上、入力のサポートの例として、参照画像内の位置情報が推定され、確認され、修正される一例のシステムを主に説明したが、これらは参照画像に限定されるものではなく、一例のシステムとして、実画像内の位置情報について推定され、確認され、修正される構成とされてもよい。
3.2.対象情報収集部32
対象情報収集部は、動画の一画像から、対象に関する情報を収集する機能を有する。例えば、対象が人である場合、対象に関する情報は、ファッションアイテム属性、人属性、人各部位置などであってよい(以下、これらをまとめて「人情報」という。)。ファッションアイテム属性、人属性は、後述する。人各部情報は、例えば、目、耳、手首、肘、肩、腰、膝、又は、足首の左右の位置の情報であってもよいし、鼻、又は、首の位置の情報の一部又は全部であってよい。また、人属性は、人の年齢、人の性別、人の身長、人の重さ、人の体格、人の職業、人の表情、人の国籍、化粧の有無と程度、髪型などの情報の一部又は全部であってよい。また、人情報内の下位の概念(例えば、ファッションンアイテム属性、ファッションアイテム種別、トップス、人属性、人の年齢層、人の年齢、30才など)は、「人特性」ということもあり、「人特性で区分けする」とは、例えば、トップスとボトムスで区分けしたり、男性と女性で区分けしたり、20歳代、30歳代、40歳代で区分けしたり、髪型の種類で区分けしたり、化粧のタイプで区分けしたりする場合に用いる。
対象情報収集部によって得られた情報は、「対象データベース」に記憶されてよい。対象データベースは、一のデータベースから構成されてもよいし、複数のデータベースから構成されてよく、例えば、複数のデータベースがID等を介して関連付けられているリレーショナルデータベースであってもよい。
対象情報収集部は、情報を収集する前提として、対象を検知する機能を有してよい。検知する手法は種々の手法であってよい。例えば、対象がいない状態である背景画像と、動画の一停止画像とを比較して、異なる部分を、動画内に現れた対象として判定する手法であってよいし、対象を検知する被静止画とその前の静止画とを比較して異なる部分を検知する対象と判定する手法であってもよい。なお後段については、異なる部分として検知されない動画内の対象は動きがなかったものとして扱ってよい。
対象情報収集部が、動画の一画像から、人情報を取得する手法は、種々の手法が用いられてよく、その手法に制限はない。
対象情報収集部は、人情報を用いて、人加工情報を生成してよい。例えば、人加工情報としては、人位置情報、又は、人行動情報、の一部又は全部を生成してよい。人加工情報は、対象データベースに格納されてよい。
人位置情報は、動画の一画像内の人に関し、前記動画に対応する実画像における位置の情報であってよい。
例えば、人位置情報は、種々の手法で算出される情報であってよいが、画像内において人の位置と合理的に考えられるものである必要がある。例えば、人の位置は、両足の中央の位置としてもよいし、首と腰の中央とを結ぶ直線が地面と交わる位置としてもよい。また、首の位置に代えて、両肩の中央の位置としてもよいし、両手首の中央の位置としてもよい。種々の計算手法を適用する意義は、動画の一画像において、人の全体が表れていない場合も人位置情報を算出できることにある。動画の一画像外に人の一部がある場合もあれば、他の人や他の物によって人の全体が隠されている場合もある。上述のように、対象情報部が、人の各部の位置を、複数の手段によって人の位置を計算できることにより、人の各部の情報の一部からも、人位置情報を算出できる利点がある。
ここで、人Aが動画内にいる場合において、前記動画の一画像から人Aの人位置情報を取得する処理の例は、例えば、図18のフローのとおりである。すなわち、動画の一画像から、人Aに関する人情報を取得する(ステップ01)。次に、人Aに関する人情報において、左右の足首の情報があれば、左右の足首の中央の座標を、人Aについての人位置情報とする(ステップ02)。次に、人Aに関する人情報において、左右の足首の情報がなく、左右の腰の情報と、首の情報があれば、首と、左右の腰の中央と、の線を人の股下分延長した点を、人Aについての人位置情報とする(ステップ03)。股下分は、他の情報から算出されてよい。例えば、頭と左右の腰の中央の長さと、前記頭と左右の腰の中央の長さの人における股下長さの平均長さを用いて、股下分を算出して計算されてよい。次に、人Aに関する人情報において、左右の足首の情報がなく、首の情報がなく、左右の両肩の情報があれば、左右の両肩の中央の座標と、左右の腰の中央と、の線を人の股下分延長した点を、人Aについての人位置情報とする(ステップ04)。
人行動情報は、人の行動に関する情報であってよく、人の行動を示す情報や、人の行動について予め定められた分類された情報であってもよい。人行動情報は、種々の手法によって収集されてよく、その手法に制限はない。例えば、後述の人工知能技術が用いられてよいし、他の手法であってもよい。
例えば、人行動情報として、予め定められた分類された情報としては、人の行動を複数に分類し、それらの一を特定する情報であってよい。人の行動を複数に分類することは、技術の利用目的に応じて、分類されるものであってよい。
ここでは、ファッションアイテムに関連する商業施設において、ファッションアイテムに対する興味を分類する手法を、例を用いて説明する。
一例のシステムにおいては、人行動情報が、図19における1乃至6の一に分類されてよい。すなわち、1)目と鼻の方向が同一であること、2)手を伸ばすこと、3)手を戻すこと、4)一定時間、手を肩にあてること、5)首と足首が近づくこと、6)首と腰と足首が近づくこと、である。人行動情報は、人各部情報と、時間と、の組み合わせによって、特定されてよい。
1)は、目と鼻の方向が同一の方向であることからその方向のものに興味を持っていると考えられる。例えば、店内の特定の棚を見ていれば、その棚にあるものに、興味を持っていることが推定される。特に、所定の時間、目と鼻の方向が同一であることが検知された場合、興味を持っていることが推定されてよい。この場合、目と鼻の方向が同一である方向の情報も取得されてよい。方向は、参照画像内の方向であってもよいし、実画像内で方向を決定した上で参照画像内の方向に変換されてもよい。
2)は、手を伸ばすということは、特にその手を伸ばした先のものを取ろうとしていることが推定され、その手を伸ばした先のものに興味があることが推定される。例えば、店内の棚の上にある商品に手を伸ばしている場合は、その商品に興味があることが推定される。手を伸ばすことは、所定期間内における手首、肘、肩の位置と、これらによって算出される距離によって検知されてよい。また、手を伸ばす方向の情報も取得されてよい。方向は、参照画像内の方向であってもよいし、実画像内で方向を決定した上で参照画像内の方向に変換されてもよい。
3)は、手を戻すということから、何かものを手元に取ることが推定され、特に手を伸ばしたものに対して興味があることが推定される。手を戻すことは、所定期間内における手首、肘、肩の位置と、これらによって算出される距離によって検知されてよい。また、手を戻す方向の情報も取得されてよい。方向は、参照画像内の方向であってもよいし、実画像内で方向を決定した上で参照画像内の方向に変換されてもよい。
4)は、一定時間、手を肩にあてることから、ファッションアイテムを手に取って、自分の体に合わせていることが推定される。これにより、当該商品について、特に興味を持っていることが推定される。
5)腰の位置があまり変わらずに、首と足首が近づくことは、中腰になっている状態が推定され、店内の棚の前であれば、中段の物に興味があることが推定される。この場合、顔の正面の方向及び/又は視線の方向の情報も取得されてよい。方向は、参照画像内の方向であってもよいし、実画像内で方向を決定した上で参照画像内の方向に変換されてもよい。
6)首と腰と足首が近づくことは、しゃがんでいる状態が推定され、店内の棚の前であれば、下段の物に興味があることが推定される。この場合、顔の正面の方向及び/又は視線の方向の情報も取得されてよい。方向は、参照画像内の方向であってもよいし、実画像内で方向を決定した上で参照画像内の方向に変換されてもよい。
図20は、人各部情報の一例である。人各部情報の位置情報が、座標情報として、記録されている例である。ここで、スライドIDは、動画の一停止画像である各実画像に対応し、動画の各時刻における画像に対応する。これらの情報が用いられて、人行動情報が生成されてよい。
図21は、対象情報収集部が、人各部情報を用いて、人行動情報を生成するためのルールの一例である。図21においては、人各部情報と、時間情報を用いて、判定されている例である。時間情報は、動画における時刻情報が用いられてもよいし、これに実質的に対応することとなる動画の停止画像のID又は時刻と対象する画像などが用いられてもよい。図C4で示される各ルールは、一例にすぎず、種々の判定手法であってよい。
人行動情報は、所定の時間を経て判定されるものである。そのため、人行動情報を含むデータベースは、所定の時間帯における人行動情報の情報として記憶されてもよいし、所定の時刻を人行動情報の開始時間として記憶されてもよい。図22は、所定の時間帯と、各人IDと、人位置情報と、人行動情報と、人行動補足情報が特定されたデータの一例である。なお、人行動補足情報は、各人行動に対応する方向の情報を含んでよい。方向は、ここでは、参照画像内におけるデカルト座標におけるYを0とした正のX軸を0度とした角度で表した。また、人行動情報として、上述は6つのパターンで説明したが、これ以外にも、歩行、立つ、などの情報を検知してもよいし、データベースの記憶量を減少させる観点から、これらの情報は記憶しないよう構成されてもよい。
<車両情報>
また、対象情報収集部は、対象として、車両の情報を収集してよい。車両は、自動車、バイク、軽車両、などを含む。車両に関する情報は、例えば、車種、色、車両番号、であってよい。これらの情報は、種々の手法によって収集されてよい。また、車両の場合、どちらの方向に進行しているかの情報を、対象情報収集部は、特定してよい。進行方向は、動画に関する複数の実画像とその時刻の関係によって、動きの方向が特定されてよい。
<動物情報>
対象情報収集部は、対象として、動物の情報を収集してよい。動物に関する情報は、各動物の種類に応じた姿勢や動作であってよい。姿勢は、横たわる姿勢、立つ姿勢、歩く姿勢、走る姿勢、威嚇する姿勢、攻撃する姿勢、食べ物を食べる姿勢、寝る姿勢、などであってよい。また、動作は、寝る動作、歩く動作、走る動作、威嚇動作、攻撃動作、食べる動作、などであってよい。
<同一性判定機能>
対象情報収集部は、対象の同一性を判定する機能を有してよい。対象は、実画像間の対象であってもよいし、参照画像間の対象であってもよいし、対象データベース内に記憶された対象であってもよい。
対象情報収集部は、このような対象の同一性を、種々の手法によって、判定してよい。例えば、対象情報収集部は、対象の位置情報に基づいて、対象の同一性を判定してよい。具体的には、対象情報収集部は、ある時刻において、対象Xについて、実画像内における位置情報を取得した場合において、前記時刻よりも前の実画像において、前記位置情報と最も近い位置情報を有するものの対象Yを、対象Xと同一であると判定してよい。この場合、対象YのIDを、前記対象の対象IDとして設定してよい。
また、対象情報収集部は、ある時刻において、対象Xについて、参照画像内における位置情報を取得した場合において、前記時刻よりも前の参照画像において、前記位置情報と最も近い位置情報を有するものの対象Yを、対象Xと同一であると判定してよい。この場合、対象YのIDを、前記対象の対象IDとして設定してよい。
例えば、図23は動画を対象Bと対象Cの移動の一例を示す図である。すなわち、時刻t1において、対象BはB1の位置で対象CはC1の位置にあり、時刻t2において、対象BはB2の位置で対象CはC2の位置にあるとする。この図では、分かりやすいように、対象Bと対象Cを点ではなく一定の領域を有するものとして描いた。この図においては、B2とC1の距離よりもB2とB1の距離が短いため、B2はB1と同じ対象IDが設定されてよい。また、C2とB1の距離よりもC2とC1の距離の方が短いことから、C2はC1と同じ対象IDが設定されてよい。
なお、所定時間経過後、複数の対象が接近する場合がある。例えば、所定時間の設定によっては、所定時間経過後、B1がC2の位置に移動し、C1がB2の位置にするこの場合、経過する所定の時間を、より短くすることにより、B1がC2の位置に移動する前の位置及びC1がB2の位置に移動する前の位置が判明する。そこで、追跡機能は、閾値よりも少ない所定時間の経過後に、位置特定機能を使用するよう構成されてよい。
また、対象情報収集部は、対象の同一性の認定として、対象に係る他の情報を用いてもよい。例えば、対象の色、形、動き、などの情報を用いてよい。また、対象に係る色、形、動き、などの情報は、種々の手法によって取得されてよい。例えば、対象の色が異なる場合、各色を用いて、対象の同一性を認定してもよい。対象の色は、対象に係る複数の場所に係る各色を用いてもよい。例えば、対象が人である場合、人は、トップス、ボトムス、靴下、靴、などのファッションアイテムを着ているため、これらの一部又は全部を用いてよい。
対象情報収集部が、対象の同一性の認定を行う際に、対象に係る情報を用いる他の例を説明する。例えば、撮像装置C1乃至Cnがあり、各撮像装置で撮像された実画像がA1乃至Anであるとする。これらはデパートやアミューズメントパーク内の一部又は全ての撮像装置であってよい。また、対象情報収集部は、人情報及び/又は人加工情報を有するデータベース(「人関連データベース」という。)を有してよい。
対象情報収集部は、撮像装置C1乃至Cnにおいて、時刻t1で撮像された実画像A1t1乃至Antnについて、順に、新たな対象である人を検知し、順に人について、仮IDを付してよい。また、対象情報収集部は、各人に関する人情報及び/又は人加工情報を生成してよい。対象情報収集部は、生成された人情報及び/又は人加工情報を、人関連データベース内の人と対比することにより、同一人として特定できた場合には、人関連データベース内の人IDを前記仮IDに代えて使用して、対象データベースに人IDと位置情報などを登録してよい。他方、対象情報収集部が、生成された人情報及び/又は人加工情報を、人関連データベース内に記憶された人と対比することにより、異なる情報が所定以上であるなど同一人として特定できない場合、新たに人IDを付与し、対象データベースに登録しつつ人関連データベース内に登録してよい。この場合、人関連データベース内には、対象情報収集部が得た人情報が登録されるため、例えば、領域内に撮像装置の視野外である部分があるなどにより撮像装置の視野のみでは連続して人を追跡できない場合においても、一度撮像装置の視野外に出た人が一定時間経過後に再度撮像装置の視野内に人が入れば、当該人について人関連データベースが記憶していることから、同一人であると判定できる利点がある。なお、人関連データベース内の情報は、一定時間毎に削除されてもよい。例えば、情報として記憶する時間として一日とし、一日経過後には削除する構成とされてもよい。これは日が異なると異なる複数を着用しうることから、同一性判定機能がファッションアイテム属性を重視して(重み付けとして高い値を設定して)判定する場合、同一性の判定に誤差が生じうるためである。他方、同一性判定機能が、人を対象とする場合において顔や髪型を重視して(重み付けとして高い値を設定して)判定する場合、情報として保持する期間を長期なものとしてもよい。例えば、1週間、1ヶ月、3ヶ月、半年などとしてもよい。特に顔の情報であればこのような期間に変動しないことから、所定期間内において、どの程度来店したのかという同一人の来店数や来店回数などを生成できる利点がある。
ここで、複数の撮像装置がある箇所において、同一人が、複数の撮像装置に、順にあらわれている場合を考える。このとき、人の目であれば、同一人であることを、人の顔、服装、動きなどから、同一人であることを理解できる。
図24は、上述で説明された状況を図示したものである。例えば、対象として人2401が、紙面上左端から右端へ、通路2402を移動しているとする。この場合、人2401は、まず撮像装置2405の視野内2403の左端から現れて右端へ移動して右端から消え、次に撮像装置2406の視野内2404の左端から現れて右端へ移動して右端から消えることとなる。撮像装置2405および2406の撮像された情報は、情報処理装置2407に伝送され、処理がされる。
図25は、人2401の上記の状態を記録した対象データベースの一例である。対象時刻に対し、撮像装置2405に関連する情報と、撮像装置2406に関連する情報と、が纏められている。撮像装置2405において、実画像に現れた人2401を検知することにより、対象情報収集部が、対象IDを割り当て、対象に関する情報を収集し記録してよい。本図においては、実画像内の座標情報が記録されてよい。なお、ここでは、撮像装置2405の視野内2403は傾きがあり座標情報は複雑になるため、xとyによって表示した。位置生成部は、実画像の位置情報を用いて、参照画像内における位置情報を生成してよい。本図においては、時刻t6において人01が実画像内の座標(x4、y4)に移動した後、時刻t7において視野2403から消えることを想定した。これにより、撮像装置2405から消えるため、実画像及び参照画像の双方から位置情報が消え、対象IDの記憶も消えている。次に、時刻t8において、人2401は撮像装置2406の視野内2404に現れるとした。この時、対象情報収集部は、撮像装置2406の実画像内に現れた人について、上述のとおり、対象情報収集部が人情報を収集し、これと対象ID5の情報と同一としてよいかどうかを判定してよい。そして、この新たに表れた人を対象ID5と同一であると判定すると、対象情報収集部は、撮像装置2406における対象IDとして5を割り当て、また、実画像の座標(x5、y5)を取得してよい。これ以降、事項t11まで撮像装置2406内の視野内2404を人01は移動する。これに対応し、位置生成部は、実画像の位置情報を用いて、参照画像内における位置情報を生成してよい。なお、この例においては、y座標は、撮像装置2405の参照画像においては5とし、撮像装置2406の参照画像においては4と算出されるものとした。
3.3.位置生成部33
位置生成部は、対象の位置情報を生成する。また、位置生成部は、実画像内における対象の位置情報を使用して、参照画像内における対象の位置情報を生成してよい。位置生成部によって生成された情報は、対象データベースに記憶されてよい。
例えば、実画像を背景とする動画内に人Bが登場し、対象情報収集部によって、実画像内における人Bの位置情報B1の座標情報(B1x1、B1y1)が生成されたとする。位置生成部は、実画像内に位置づけられるB1の座標である(B1x1、B1y1)から、対応する参照画像内の位置であるBt1の座標である(B1tx1、B1ty1)を生成してよい。その手法は、種々の手法が考えられるが、例えば、次の手法が考えられる。
<手法1>
手法1を、図26を参照しつつ、説明する。まず、B1と近い順に3つの点を特定する。これらの3つの点は、上述のA1乃至ANの中から選択される。ここでは、これらを、Ai1、Ai2、Ai3とする。これらの3つの点は、B1の座標とA1乃至ANの座標の間の距離を測定し、最も短い距離となる座標を、A1乃至ANの中から特定してよい。距離は、例えば、ユークリッド距離であってよい。
次に、B1からAi1、Ai2、Ai3の3つの各辺に対して、夫々垂線を引き、夫々の垂線と、各辺の交点を特定する。各辺は、Ai1とAi2間の直線、Ai2とAi3間の直線、Ai3とAi1間の直線、となる。そして、B1から、各辺に対する垂線の、交点は、各辺の線上にあり、これらを順に、Ak1、Ak2、Ak3とする。なお、Ak1
Ak2及びAk3は、これらの各辺の上にあるとは限らず、これらの各辺の延長線上にあってよい。すなわち、Ak1はAi1とAi2を結ぶ線の直線上にあり、Ak2はAi2とAi3を結ぶ線の直線上にあり、Ak3はAi3とAi1を結ぶ線の直線上にある。
次に、各辺内における各交点の夫々の比率を特定する。すなわち、Ai1とAk1の距離とAi2とAk1の距離の比、Ai2とAk2の距離とAi3とAk2の距離の比、Ai3とAk3の距離とAi1とAk3の距離の比を算出して特定する。
次に、上述の3つの各辺に対応する参照画像内の各辺において、上述の交点に対応する点を、上述の比に基づいて、特定する。例えば、実画像内のAk1に対応する参照画像内のAtk1は、Ai1とAk1の距離とAi2とAk1の距離の比と、Ati1とAtk1の距離とAti2とAtk1の距離の比とが同一になるように、設定される。なお、実画像内のAi1、Ai2、Ai3に対応する参照画像内の点は、それぞれ、Ati1、Ati2、Ati3とする。同様に、Ak2、Ak3に対応する点を、Atk2、Atk3と設定する。なお、上述の算出により、Atk2、Atk3は、それぞれ、Ati2とAti3を結ぶ線の直線上、Ati3とAti1を結ぶ線の直線上にある。
次に、Atk1、Atk2、Atk3とそれぞれに対応する各辺の垂線の交点を算出する。当該交点がAt1となる。
<手法2>
手法2を、図27を用いて説明する。次の手法は、まず、B1(B1x1、B1y1)と順に近い3つの点を特定する。当該点の取得手法は、上述と同様であり、同じく、Ai1、Ai2、Ai3とする。なお、これらに対応する参照画像内の点を、Ati1、Ati2、Ati3とする。
次に、各3つの点を基準点からのベクトルとみなし、3つのベクトルの平均ベクトルを算出する。例えば、Ai1、Ai2、Ai3の各点を実画像内の基準点からの3つのベクトルとみなした場合における平均のベクトルをAiaとし、Ati1、Ati2、Ati3の各3点を参照画像内の基準点からの3つのベクトルとみなした場合における平均のベクトルをAtiaとする。そして、ベクトルAiaをベクトルAtiaに変換する関数Faiaを導出し、FaiaをB1を実画像内のベクトルにみなしたものに適用した点B1t(B1tx1、B1ty1)を導出して、実画像B1に対応する参照画像内の点を特定する。
手法2は、実画像内の点に対応する点を、参照画像内において、簡易に導出できる利点がある。
<手法3>
手法3を図28を用いて説明する。次の手法は、手法2と同様に、B1(B1x1、B1y1)と順に近い3つの点を特定する。当該点の取得手法は、上述と同様であり、3点を、Ai1、Ai2、Ai3とし、これらに対応する参照画像内の点を、Ati1、Ati2、Ati3とする。
次に、上述と同様に、実画像内の3点及び参照画像内の3点を各画像内の基準点からのベクトルとみなし、各ベクトルの変換に対応する関数を求める。より具体的には、Ai1をAti1に変換する関数FAi1、Ai2をAti2に変換する関数FAi2、Ai3をAti3に変換する関数FAi3を生成する。
次に、実画像と参照画像の関係を示す各関数を、B1(B1x1、B1y1)に適用する。すなわち、関数FAi1乃至FAi3のそれぞれを、B1(B1x1、B1y1)に対して適用する。
次に、得られた3点をベクトルとみなした場合における平均ベクトルを生成し、平均座標としてB1t(B1tx1、B1ty1)を算出する。
手法3も、実画像内の点に対応する点を、参照画像内において、簡易に導出できる利点がある。同様に、実画像を背景とする動画内の対象物の座標B1乃至BMに対し、順次、対応する座標Bt1乃至BtMを算出してよい。
なお、上述の算出において、実画像内又は参照画像という表現を用いたが、これらは、実画像内又は参照画像内に表示されていると考えると分かりやすいため、かかる表現をもちいたものにすぎない。Bt1からBt1を算出するにあたり、実画像及び参照画像は、なくてもよい。
上述の手法1乃至3において、位置情報が座標情報として、参照画像内の位置情報を生成する例を説明したが、利用者によって指定された場所が領域であっても同様の考え方で参照画像内の場所が特定されてよい。例えば、領域に対して、その重心座標、下端座標、上端座標、右端座標、左端座標、又はこれらの平均座標などの領域内の一点の座標を代表座標として上述の座標変換の計算を適用してもよいし、領域内で定められた複数の座標に対して上述の座標変換の計算を適用してもよい。
<領域特定部>
位置生成部は、領域を用いる場合、領域特定部を有してよい。領域特定部は、参照画像内における対象について、参照画像内に設定される一又は複数の領域を特定する機能を有する。領域が設定されている場合、後述する統計処理部が、領域を用いて情報を生成できる利点がある。例えば、領域毎に、数値を生成したり、判定できる利点がある。領域特定部によって特定された情報は、対象データベースに記憶されてよい。
領域特定部は、参照画像内における対象の位置情報と、参照画像内に設定される一又は複数の領域の位置情報とを比較し、前記対象の位置情報が、前記一又は複数の領域に含まれると判定する場合、前記対象の位置情報が、前記一又は複数の領域に属するとの情報を生成してよい。
ここで、図29は、複数の領域の位置情報を示すデータの一例である。ここでは、各領域が、シンプルにX座標とY座標の上限及び下限で規定される例を示した。各領域は、必ずしも四角形になる必要は無く、多角形や円形やこれらの組み合わせであってもよい。これらは、各種の数式を用いることで表現されてよい。そして各領域が、各種の数式によって規定され、その範囲の充足性により、対象の位置情報が含まれるかどうかが判定されてよい。図30は、各領域が、x座標とy座標で示される関数によって表現される一例である。
図31は、参照画像内における領域の一例である。領域は、多角形、円形、楕円形、その他の種々の関数によって範囲が規定されてよい。また、領域は、関数によって区切られてもよい。
図32は、対象が、領域に属すると生成された情報が記憶されたデータの一例である。このデータは、領域2に対象ID2が属し、領域3に対象ID1と対象ID3の対象が属し、領域5に対象ID3が属する状況を表している例である。
また、対象が点ではなく一定の領域(以下、「対象領域」という。)である場合、対象領域の一部と、参照画像内に設定された領域の一部とに重複がある場合に前記領域を特定してもよいし、対象領域の全てが参照画像内に設定された領域の一部とに重複がある場合に前記領域を特定してもよい。対象領域の一部が、設定された領域と重複されている場合に前記領域を特定してもよい。
また、領域は、階層化されていてもよい。領域特定部は、対象の位置情報に基づいて、階層化された複数の領域を特定してもよい。また、一の対象は、複数の領域に特定されてもよい。
図33は、対象が、階層化された領域について、特定された領域が記憶されたデータの一例である。このデータは、領域1の下位階層として領域1.1と領域1.2と領域1.3が設定され、領域1.3には、更に下位階層として、領域1.3.1と領域1.3.2が設定されている例である。そして、対象ID1は領域1.2が特定され、対象ID2は領域2.1が特定され、対象ID3は領域1.3.2が特定された状態を示す例である。なお、本データにおいては分かりやすさの観点から3列に分けてデータが記憶されている例を示しているが、一列のデータにおいて、下位階層における領域を含むデータが記憶される態様であってもよい。また、上述の階層構造の情報は下位階層が特定されれば上位層が特定できる構成であるため、下位階層のみで特定されてもよい。
また、領域は、予め設定されてもよいし、利用者による入力によって設定されてもよい。
例えば、図34は、利用者が、領域を設定するための一画面を示す。画面内の領域指定図形01のメニューには、領域を指定できる手段が提供される。領域を指定できる手段として、線分によって領域を指定できるようにされてもよいし、予め定められた図形が用意されて当該図形を用いて領域を指定できるようにされてもよい。例えば、図においては、四角形02、円03が表示されているが、これ以外にも種々の多角形、楕円形などが用意04されてよい。領域を指定できる箇所05は、参照画像に対応し、この画面内において、利用者は、領域を指定できる手段を用いて、領域を指定する。利用者による領域の指定手法は、線分を設置したり、図形を設置することで、領域が指定されてよい。また、これらの線分や予め指定された図形は、利用者によって、変形されて、指定手段として利用されてよい。利用者は、これらの線分や図形を、マウス入力手段によって、選択してドラッグして設置してもよいし、タッチパネルによるタッチ入力で設置してもよい。また、その他の入力手段が使用されてもよい。また、一の撮像装置で撮像される視野に対応する参照画像を一の領域としてみなしてもよい。この場合、撮像装置のIDなどが、事実上、領域を特定する情報の役割を果たしてよい。この場合、複数の撮像装置で夫々撮像された各実画像に対応する各参照画像について、各領域が設定されているとして、別々に扱うことが可能である利点がある。
領域特定部は、利用者による領域指定手段を用いた入力に応じて、線分又は図形に応じた領域を生成してよい。線分であれば、線分と、線分・他の図形・参照画像の枠などにより閉じられた範囲を領域としてよい。図形が複数重なる場合、階層化された領域と設定されるようにしてもよいし、図形の重畳によって得られた図形を一の領域とするよう設定してもよい。かかる選択肢を利用者に提供するための選択肢に関する入力手段が設けられてもよい。
3.4.統計処理部
統計処理部は、対象データベースを用いて、統計情報を生成する機能を有する。生成された統計情報は、表示装置において表示されてもよいし、表示装置で表示されるために表示装置に送信されてよい。
統計情報は、対象の数、対象の数の合計、対象の数の平均値、又は、対象の数について統計的処理をした数であってよい。また、統計情報は、所定期間における、対象の数、対象の数の合計、対象の数の平均値、又は、対象の数について統計的処理をした数であってよい。対象は、上述のとおり、人、動物、車両などであってよい。統計情報は、対象データベース内の情報を用いて生成されてよい。
また、統計処理部が統計情報を生成するために使用する情報は、対象データベース内の限定された情報であってよい。統計情報を生成するために使用する情報は、対象の種類、時間的要素、場所的要素により、限定されてよい。対象の種類は、人であれば、性別、年齢、年齢層、職業、表情、化粧、人位置情報、ファッションアイテム属性(種別、色、加工など)などであってよい。時間的要素は、時間帯、平日と休日、週、月、季節、年などであってよい。場所的要素は、上述の領域、テナント、施設内の階、施設、地理的な区画などであってよい。
また、以下の各実施形態で詳述する通り、各例のシステムの統計処理部は、対象が人である場合において、訪問者数、領域に係る人数、領域内の人数、領域内の商品に係る人数、商品に興味があると推定される人数、広告に興味があると推定される人数、店舗毎の訪問者数、店舗訪問者割合、通行人数、施設訪問者数、施設出入口店舗訪問者数、同一グループ人数など(以下、「対象人数」ということもある)について、所定期間内の数として生成してもよいし、所定期間毎の数として生成してもよい。ここで、対象人数の対象となるもの(例えば、訪問者数における訪問する店舗、領域に係る人数における領域、領域内の人数における領域、領域内の商品に係る人数における商品、商品に興味があると推定される人数における商品、広告に興味があると推定される人数における広告、店舗毎の訪問者数における各店舗、店舗訪問者割合における店舗、通行人数における通路、施設訪問者数に係る出入口、施設出入口店舗訪問者数に係る施設又は店舗)を「対象人数に係るもの」ということもある。なお、同様に、対象が人でない場合も、領域に係る数について、所定期間内の数として生成してもよいし、所定期間毎の数として生成してもよい。また、所定期間は、1時間、2時間等のような時間の単位であってもよいし、半日、一日、1営業日、平日、休日、1週間、1ヶ月、3ヶ月、半年、1年などであってもよい。また対象人数は、これらの所定期間の合計数であってもよいし、所定期間の平均値であってもよい。対象人数は、所定期間毎に生成されることにより、所定期間毎の客足を検討できる利点がある。例えば、朝、昼、夕方、夜、午前中、午後などにより客足は異なりうるためである。また、対象人数は、平日と休日を区分けして、平日の合計数と休日の合計数や、平日の平均値と休日の平均値であってもよい。平日と休日で客足が異なりうるため、平日と休日の客足の違いを把握できる利点がある。また、対象人数は、曜日で区分けして、各月の各曜日の合計数や各月の各曜日の平均値であってもよい。店舗によっては、平日又は休日よりもより詳細に曜日で客足が異なりうるため、曜日の違いによる客足の違いを把握できる利点がある。
また、統計処理部は、対象人数を、人特性で区分けして、生成してよい。人特性は、機械学習技術の適用により生成された人情報に基づいてよい。人特性として、性別、年齢層、職業、表情、髪型、化粧、ファッションアイテム種別、ファッションアイテム色、などで区分けされて表示されることにより、対象人数についてのこれらの人特性の違いを把握することができる。また、人特性は複数の観点で区分けしてもよい。例えば、性別と年齢層の両方の視点で区分けしてもよい。具体的には、男性の20歳代、男性の30歳代、男性の40歳代などと、女性の20歳代、女性の30歳代、女性の40歳代などとしてもよい。また、同様に、紺色のトップスの男性、黒色のトップスの男性、青色のボトムスの女性、ベージュのボトムの女性などであってもよい。人特性は、機械学習技術の適用により生成された人情報に基づいてよい。機械学習技術の適用により生成された人特性に基づくことにより、高精度に、人特性を区分けでき、よりマーケティングに有用な情報を生成できる利点がある。
また、統計処理部は、対象人数を、人特性で区分けして、グラフを作成してよい。グラフを作成することにより、より特定の観点で整理された情報を得ることができる利点がある。グラフは、横軸を所定期間の時間軸として、縦軸において、人特性に区分けして、対象人数としてよい。これにより、所定期間における人特性の対象人数を把握できる利点がある。より具体的には、一例として、横軸を一日の時間帯とし、縦軸を、対象人数について、性別で区分けしたり、年齢層で区分けしたり、ファッションアイテム種別とファッションアイテム加工と髪型の組み合わせで区分けしたり、性別と年齢層の組み合わせで区分けしたりしてよい。
また、統計処理部は、対象人数を、人特性で区分けして、ランキングを生成してよい。ランキングは、対象人数について、人特性のランキングを生成してもよいし、特定の人特性について、対象人数のランキングを生成してもよい。前者は、対象人数に係るものについて、人数の多い人特性をランキングするものである。例えば、対象人数に係るものが領域であれば、その領域と関連付けられる人特性は、人数の多い順に、40代、30代、20代、50代、などとされてよい。これにより、対象人数に係るものの顧客層を検討できる利点がある。後者は、一の人特性について、人数の多い対象人数に係るものをランキングするものである。例えば、対象人数に係るものが商品であれば、20代女性については、商品A、商品B、商品Cの順にランキングされる、などとされてよい。これにより、特定の顧客層のいる対象に係るものを検討できる利点がある。
また、対象人数が、実画像内の位置と対応付けられた参照画像内の位置情報が用いられて生成される場合、又は前記位置情報に基づいた領域が用いられて生成される場合、撮像装置で撮像された動画から容易に対象人数を生成できる利点がある。
また、視野内に基準点を設けず撮像された動画を用いて、前記動画における実画像内の位置と対応付けられた参照画像内の位置情報を使用される場合、過去に撮像された動画を用いて対象人数を生成できる利点がある。これにより、例えば、異なる時期の対象人数を比較できる利点がある。例えば、イベントの前後で、対象人数の違いを生成し、これによりイベントの効果を検討することができる。イベントは、特定のプロモーションや、特定のサービス、レイアウト変更、などであってよい。より具体的には、統計処理部は、一の時期の対象人数と、他の時期の対象人数とを、生成してよい。一の時期と他の時期は、夫々が対応する所定期間であってよい。これにより、イベント前後を数値として比較できる利点がある。また、統計処理部は、前記一の時期の対象人数と、他の時期の対象人数との関係を生成してよい。関係は、割合や百分率であってよい。これにより、イベント前後の対象人数に与える影響を数値で把握できる利点がある。
また、これらの生成された情報は、後述する施設管理者端末及び/又は店舗管理者端末に送信され、表示されてよい。これにより、施設管理者及び/又は店舗管理者は、これらの情報を把握し、検討ができる利点がある。
統計処理部によって生成された情報は、統計処理データベースに記憶されてよい。
ここでは、統計処理部が、合計数を生成する一例を説明する。図35は、一画像内の対象ID1、ID2、ID3等が、複数の領域F1、F2、F3等に属すると判定された対象データベースの一例である。ここで、時刻が、t1、t2、t3と流れ、各時刻において、各対象についての位置情報と、属する領域の情報が定められている。
統計処理部は、このような対象データベースの内容を用いて、各領域における対象の合計数を生成してよい。例えば、図36は、図35について、統計処理部が数えた結果をデータにしたものである。時刻が、t1からt3に流れるに従い、対象の位置が移動することもあり、時刻に応じて、各領域内の対象の個数は変化する。また、t3の時刻において、対象ID7が登場していることから、t1及びt2での個数の合計は6であるのに対し、t3における個数の合計は7とされている。
また、統計処理部は、対象の数を、対象の種別に、数える機能を有してよい。図37においては、各対象IDに対して、種別の情報として、1又は2が付されている。図38は、図37に対して、対象の数を、種別に数えた例である。対象の種別の例としては、対象を人としたときには、人特性であってよい。
<グルーピング機能>
統計処理部は、対象をグルーピングした上で、対象がグループ化されたグループの数を数える機能を有してよい。グルーピングは、複数の対象を、一つのグループとして扱うことである。例えば、対象を人とすると、統計処理部は、人をグルーピングし、人のグループの数を数えてよい。グルーピングは、対象の一定の関係に基づいて、行われてよい。例えば、グルーピングは、人の位置情報に基づいて、行われてよい。例えば、人Aと人Bとの位置情報が近接している場合に、人Aと人Bとをグルーピング化してよい。位置情報の近接の判定は、予め定められた所定の値以下の場合を近接していると判定してよい。近接の判定は、動画内の一画像に基づいて判定されてもよいし、動画内の複数の画像を用いて判定されてもよい。
ここで、本システムが、人のグルーピング機能を有する場合におけるフローの一例を、図39を用いて説明する。まず、前提として、本システムの位置関係生成部が、動画と参照画像との関係を生成し、本システムの対象情報収集部は、動画内の一場面における人々の各位置情報を収集し、本システムの位置生成部が、動画内の一場面における人々の各位置情報に対応する参照画像内の各位置情報を生成しているとする。
統計処理部が、各人々のうちの2者の距離を、所定の時間、参照画像内の各位置情報を用いて、算出する。
次に、統計処理部は、所定の時間分、算出された、各2者の複数の距離情報に基づいて、各2者の距離の平均値を算出する。
次に、統計処理部は、各2者の距離の平均値と所定の値とを比較し、前記平均値が前記所定の値よりも小さい2者を同じグループの者として、グルーピングの関係付けを行う。
統計処理部は、グルーピングの関係付けをされた人々のグループ数を生成する。
4.実施形態
4.1.店舗内の実施形態
一例のシステムを、図40を用いて説明する。本図は、店内を模式化した図である。カメラ02乃至10が設置されており、顧客を撮像できるようになっている。具体的には、出入口01を利用する顧客を撮像できるように、カメラ09が設置されている。また、商品が備えられる各商品棚の前の顧客を撮像できるように、カメラ03乃至08が設置されている。カメラ09は、レジ部分の顧客を撮像できるものであるが、同時にその視野内の商品棚周辺の顧客も撮像できるようになっている。カメラ02乃至10は、防犯上の理由で設置され撮像されているものでもよい。また、カメラ02と03、カメラ05と06、カメラ07と08は、夫々、顧客が通過する通路上を撮像するものであるが、同じ通路の各商品棚に面する顧客の正面を含む視野に設置されている。顧客の正面は、真正面でなく、顔を前方側方から撮像するものであってよい。これにより、顧客の表情、顧客の視線、又は、顧客の顔面が向いている方向を含み撮像されてよい。
次に、一例のシステムの一のフローを図41を用いて説明する。まず、利用者によって、カメラ02乃至10で撮像された画像と、参照画像の対応情報がシステムに入力され、本システムがかかる情報を取得する(ステップ01)。カメラ02乃至10は、9つの動画であるが、本システムは、これらの動画の各一停止画像と、参照画像との関係の情報が取得されてもよいし、これらの動画の再生中と、参照画像との関係の情報が取得されてもよい。また、参照画像は、予め利用者が用意するものであってよい。参照画像は、画像ファイルであれば、どのようなファイルであってもよい。例えば、施設のビルの見取り図などの図面のファイルであってもよいし、利用者がフリーハンドで作成した図をスキャンしたファイルであってもよいし、地図などであってもよい。
また、領域特定部が、参照画像内において、領域を設定する。本ステップは、上記ステップの前に行われてもよい。図42は、領域の設定の一例である。領域11、領域12、領域13が一例であり、それらは、右上左下斜線、左上右下斜線などにより、各領域を分かりやすく示した。カメラ09の視野は、領域11を主にカバーするが、領域12の一部も含んでいる状況を示す。また、カメラ03は、領域12及び領域13が主であるが、領域11の一部も含んでいる状況を示す。また、カメラ02は、領域12と領域13を含み、その他の図示していない領域も視野内含んでいる状況を示す。なお、領域14は、店の外であるが、出入口が開いた場合にカメラ09内の視野に入る部分である。領域14を設定する場合、領域11から領域14への人の移動、又は、領域14から領域11への人の移動も対象データベースに含ませることが可能となる。
次に、カメラ02乃至10で撮像された動画に基づいて、対象情報収集部が、動画内の人情報を収集し、記憶する(ステップ02)。また、実画像と参照画像との関係を用いて、位置生成部は、人位置情報を生成して記憶する(ステップ03)。
一例のシステムの対象情報収集部及び位置生成部が記憶する対象データベースの一例は、例えば図43である。図43は、各時刻において、領域情報と、人情報が記憶されている例である。本対象データベースにおいては、人情報として、人IDと人位置を含む態様を示しているが、他の人情報が、同データベースに含まれていてもよいし、人IDで関連付けられている他のデータベースに含まれていてもよい。
一例のシステムの統計処理部は、領域に係る数を、対象データベースから、算出してよい。領域に係る数は、領域の境界を超える数を数えてもよいし、領域の中の対象の数を算出してもよいし、領域の中の対象の数を加工して算出してもよい。統計処理部によって生成された情報は、店舗管理者端末において表示されてよい。
また、一例のシステムの統計処理部は、訪問者数を生成してよい。訪問者数は、対象データベースにおける、領域14から領域11への人の移動の数を算出することにより生成されてよい。また、訪問者数は、領域11から領域14への人の移動の数を算出することで生成されてもよい。例えば、図44は、統計処理部が数えた訪問者数を表示した一例である。
また、出入口の外側の領域に限らず、出入口に設置された撮像装置内の視野内の人について、対象情報収集部が収集した人を用いて、訪問者数を生成してもよい。この場合、対象情報収集部が、人情報を収集し、同一性判定機能を用いることで、店舗への訪問者数を生成してもよい。この場合、訪問者数を所定期間内で限定して生成する場合、所定期間内に重複して訪問した人を除外できる利点がある。
また、一例のシステムの統計処理部は、上述のとおり、訪問者数を、所定期間を対象に生成してよいし、所定期間毎に生成してもよいし、人特性で区分けして生成してよいし、人特性で区分けして所定期間毎に生成してもよいし、人特性で区分けしてグラフを作成してもよいし、人特性で区分けしてランキングを生成してもよいし、人特性で区分けして所定期間毎にランキングを生成してもよい。
図45は、領域11乃至15を設定した一例であり、図46は、かかる領域に対して、時間毎に人数をグラフにしたものである。かかる領域により、店舗内において、顧客がどの場所に存在し、どの場所に存在しないのかを、閲覧者は理解することができる。また、時間毎に人数が表示されることにより、より時間毎に顧客が存在する領域を理解することができる。また、領域と商品を結びつけた場合、商品と顧客の多少の関係も理解することができる。また、領域と広告を結びつけた場合、広告と顧客の多少の関係も理解することができる。また、領域とイベントを結びつけた場合、イベントと顧客の多少の関係も理解することができる。
また、一例のシステムの統計処理部は、領域内の人数を算出してよい。領域内の人数は、領域と関連付けられて、表示されてよい。領域内の人数が算出されることにより、領域内の人数の多いところに店舗の人員を多く配置させる、領域内の人数の多いところのスペースを広げる、領域の人数の多いところに警備員を配置させる、領域内の人数の多いところの商品を領域の人数の少ないところに分散させる、など状況に応じて検討できる利点がある。
また、統計処理部は、上述のとおり、領域内の人数を、所定期間を対象に生成してよいし、所定期間毎に生成してもよいし、人特性で区分けして生成してよいし、人特性で区分けして所定期間毎に生成してもよいし、人特性で区分けしてグラフを作成してもよいし、人特性で区分けしてランキングを生成してもよいし、人特性で区分けして所定期間毎にランキングを生成してもよい。
領域内の人数を、人特性で区分けして、ランキングを生成する例をより具体的に説明すると、ランキングは、特定の領域内の人数について、ランキングで、人特性を生成してもよいし、特定の人特性について、ランキングで、特定の領域内の人数を生成してもよい。ランキングされたものは、表示されてよい。前者は、一の特定の領域について、関係づけられる人数の多い人特性をランキングするものである。例えば、一の特定の領域と関連付けられる人特性は、人数の多い順に、40代、30代、20代、50代、などとされてよい。これにより、特定の領域の顧客層を検討できる利点がある。後者は、一の人特性について、関係づけられる人数の多い領域をランキングするものである。例えば、20代女性については、領域A、領域B、領域Cの順にランキングされる、などとされてよい。これにより、特定の顧客層のいる領域を検討できる利点がある。
また、一例のシステムの統計処理部は、領域内の人数を、人数の多少を表現するイメージで表示する機能を有してよい。人数の多少を表現するイメージは、人が直感的に感じられるものであれば種々のものであってよく、例えば、該当領域を示す箇所について、パターンの透明度であったり、グラデーションの透明度であったり、線の量、色、又は人数の多少を示すマークなどであってよい。パターンやグラデーションの透明度は、透明度が低いほど人数が多いことを示し、透過性が高いほど人数が少ないことを示し、線の量は多いほど人数が多いことを示し線の量が少ないほど人数が少ないことを示し、色は赤系であるほど人数が多いことを示し青系であるほど人数が少ないことを示す、などの人の感性に関連するものが選択されてよい。また、マークは、予め定められたマークがされてよい。例えば、人数が多いマーク、人数が中ぐらいのマーク、人数が少ないマークなどが予め定められており、かかるマークが、対象とされる領域に表示される態様であってよい。図47は、パターンの透明度で表示した一例である。対応する領域において、パターンの透明度において、人数の多少を示している一例である。また、表示16は、時間帯を示しており、現在は13時〜14時を示している一例である。時間帯と関連付けられて、領域内のパターンは各時間帯における各領域内の人数の多少を示すアニメーションによって、表示されてもよい。
上述の人数の多少のイメージは、リアルタイムに生成されてよい。リアルタイムに領域の人数が生成される場合、所定の期間の人数でなくてもよいし、所定の期間として1分、3分、5分、30分、1時間など、閲覧の状況に応じて比較的短い期間であってよい。人数の多少がリアルタイムに表示された場合、閲覧者は、各領域の混雑度を理解することができる。本システムの統計処理部が、店舗の管理者を閲覧者とするように店舗用の端末で人数の多少のイメージを表示する場合、混雑箇所に店舗の人員を配置する、顧客を誘導するなど、混雑に適切に対応可能となる。また、一例のシステムの統計処理部が、店舗の訪問者を閲覧者とするように、例えば、店舗の入り口周辺の箇所であれば、来店者に対して、混雑箇所の情報を提供することができる利点がある。また、リアルタイムに表示される場所がWEB上であれば、利用者は携帯端末を利用したWEB上で混雑箇所を理解することができる利点がある。
また、一例のシステムは、商品データベースを備えてもよい。商品データベースは、商品情報と領域情報とを含んでよい。例えば、図48は、商品データベースの一例である。商品IDと領域情報を含んでいる。商品に関する具体的な情報は、別のデータベースなどに含まれており、リレーショナルデータベースとして、商品IDで関連付けられていてよい。また、領域情報は、商品が備えられている場所に対応するものであってよい。また、図49は、商品A乃至Dを備える商品棚に対応して領域12乃至15が設定されている例である。
一例のシステムの統計処理部は、商品データベース内の特定の商品と関連付けられた領域内の人数(本願書類において、「領域内の商品に係る人数」ということもある。)を生成してよい。
統計処理部は、上述のとおり、領域内の商品に係る人数を、所定期間を対象に生成してよいし、所定期間毎に生成してもよいし、人特性で区分けして生成してよいし、人特性で区分けして所定期間毎に生成してもよいし、人特性で区分けしてグラフを作成してもよいし、人特性で区分けしてランキングを生成してもよいし、人特性で区分けして所定期間毎にランキングを生成してもよい。
領域内の商品に係る人数を、人特性で区分けして、ランキングを生成する例をより具体的に説明すると、ランキングは、特定の商品に係る人数について、ランキングで、人特性を生成してもよいし、特定の人特性について、ランキングで、特定の商品に係る人数を生成してもよい。ランキングされたものは、表示されてよい。前者は、一の特定の商品に係る人数について、関係づけられる人数の多い人特性をランキングするものである。例えば、一の特定の商品に係る人数と関連付けられる人特性は、人数の多い順に、40代、30代、20代、50代、などとされてよい。これにより、特定の商品に係る人数の顧客層を検討できる利点がある。後者は、一の人特性について、関係づけられる人数の多い商品に係る人数をランキングするものである。例えば、20代女性については、商品A、商品B、商品Cの順にランキングされる、などとされてよい。これにより、特定の顧客層のいる領域を検討できる利点がある。
また、視野内に基準点を設けず撮像された動画を用いて、前記動画における実画像内の位置と対応付けられた参照画像内の位置情報に基づいた領域に基づき算出される場合、過去に撮像された動画を用いて領域内の人数を算出できる利点がある。より具体的には、一例のシステムの統計処理部は、第1の時期に撮像された第1時期動画に基づき、前記第1時期動画における実画像内の位置と対応付けられた参照画像内の位置情報に基づいた領域に基づき生成された第1時期商品情報と、第2の時期に撮像された第2時期動画に基づき、前記第2時期動画における実画像内の位置と対応付けられた参照画像内の位置情報に基づいた領域に基づき生成された第2時期商品情報と、を生成してよい。これらの情報は、対比して表示されてよい。商品は、売り場の場所によっても、売り上げに影響があることから、同じ商品であっても、どの場所で販売するかによって、店舗内の全体の収益を検討できる利点がある。
なお、図50は、各時間帯について、各商品に対応された領域について、人数を数えたものを表示した一例である。一例のシステムが、商品データベースを備え、前記商品データベース内の商品と領域情報とを関連付けて、顧客がいる領域と関連する商品を、顧客の人数と関連付けて示すことにより、顧客が注目する商品に関する情報を理解することが可能となる。
また、一例のシステムの統計処理部は、領域内の人数に代えて、商品に興味を有すると推定できる情報を得た人数(本願書類において、「商品に興味があると推定される人数」ということもある。)を生成してもよい。統計処理部がかかる構成を有する場合、より商品に対して興味を有する人数の数を精緻に生成することができる利点がある。「商品に興味があると推定できる情報」は、例えば、人が特定の領域に所定の時間以上滞在する情報、人の顔の方向が商品に向いている情報、人の視線が商品に向いている情報、人の腕や指が商品に向いている情報、などが挙げられる。人が特定の領域に所定の時間以上滞在する情報の場合、前記特定の領域と関連付けられた商品データベース内の商品が、興味がある対象である商品とされてよい。人の顔の方向が商品に向いている情報、人の視線が商品に向いている情報、人の腕や指が商品に向いている情報の場合は、これらの商品が興味がある対象である商品とされてよい。より具体的には、人位置情報と、人行動情報と、人行動補足情報と、商品データベースを用いて、参照画像内における人位置情報から、人行動補足情報内の方向と、人行動情報から、商品データベース内の商品の位置から、興味があると推定される商品を特定してよい。
統計処理部は、上述のとおり、商品に興味があると推定される人数を、所定期間を対象に生成してよいし、所定期間毎に生成してもよいし、人特性で区分けして生成してよいし、人特性で区分けして所定期間毎に生成してもよいし、人特性で区分けしてグラフを作成してもよいし、人特性で区分けしてランキングを生成してもよいし、人特性で区分けして所定期間毎にランキングを生成してもよい。
商品に興味があると推定される人数を、人特性で区分けして、ランキングを生成する例をより具体的に説明すると、ランキングは、特定の商品に係る人数について、ランキングで、人特性を生成してもよいし、特定の人特性について、ランキングで、特定の商品に係る人数を生成してもよい。ランキングされたものは、表示されてよい。前者と後者の例は、例えば、上述のとおりである。
また、上述のように、一例のシステムの統計処理部は、第1の時期に撮像された第1時期動画に基づき、前記第1時期動画における実画像内の位置と対応付けられた参照画像内の位置情報に基づいた領域に基づき生成された興味があると推定される第1時期商品情報と、第2の時期に撮像された第2時期動画に基づき、前記第2時期動画における実画像内の位置と対応付けられた参照画像内の位置情報に基づいた領域に基づき生成された興味があると推定される第2時期商品情報と、を生成してよい。この場合、より精緻に、配置と収益の関係を把握できる利点がある。
図51は、顧客が商品に興味を有することを推定できる情報に基づいて、商品のランキングをした一例である。ここで、顧客が商品に興味を有することを推定できる情報として、対象の領域に所定の時間以上いた人の数を合計したものである。ここで、統計処理部は、所定の時間以上いた人の数を、対象データベースにおいて、特定の領域に所定の時間以上いた人の数を数えることにより、算出してよい。
なお、上述において人行動情報を用いる場合、統計処理部は、各人行動情報に関して設定された興味の程度の重み付けを用いて、各人行動情報に対して、重み付けを適用後の値の合計を、商品に対する興味度合いとして、算出してもよい。ここで、合計以外に種々の重み付けを興味に反映させる手法が用いられてよい。図52は、各人行動情報に対して設定された重み付けの一例である。統計処理部は、対象データベースと、各人行動情報と関連付けられた重み付けを用いて、顧客による人行動情報に係る一のパターンと関連づけられている重み付けに基づいて、算出してよい。各人行動に重み付けを考慮して算出することにより、より各人行動の意味を商品に対する興味の度合いに反映させ、よりマーケティングの資料になりえる利点がある。また、前記数えられた数を用いて、図52のようにランキングとして表示してもよい。
図53は、一の商品について興味を有すると推定される情報に基づいて、人特性をランキングして表示する一例である。本図は、顧客の、性別と年齢層との情報に基づいて、ランキングされた一例である。
また、図54は、一の商品について興味を有すると推定される情報を用いて、他の人特性をランキングする一例であり、性別と、年齢層と、ファッションアイテム種別、ファッションアイテム色のランキングを表示するものである。ファッションアイテムを商品とする店舗において、ファッションアイテム情報に関するランキングを生成した場合、どのようなファッションアイテムを有する顧客が、どのようなファッションアイテムに興味を有しているかを理解することができ、店舗内の来客者に対して、より適切なファッションアイテムの提案が可能となる。
また、利用者が、商品のマーケティング上、より細かく商品を分類して分析したり、異なる商品分類で分析するなど、種々の分析をしたい場合がある。その場合、利用者は、一例のシステムの領域特定部によって、より細かく領域を設定してもよいし、異なる領域を設定してもよい。また、それらの変更された領域に応じた商品との関係が設定された商品データベースを利用してもよい。この場合、既に録画済みの動画を用いて、一例のシステムの位置生成部は、新たに設定された領域に基づいて、各人IDの位置情報を用いて、各人に対して領域を生成し、統計処理部は、新たに設定された商品と領域との関係を用いて、種々の情報、グラフ、ランキングなどを生成してよい。
また、対象情報収集部の収集する対象は、人に限られない。例えば、ペットや盲導犬などであってもよい。一例のシステムの対象情報収集部が、ペットを対象として、情報を収集し、位置生成部が位置を生成してもよい。一例のシステムの統計処理部が、ペットを対象として、数を数えることにより、ペットの来店数を特定してもよい。また、一例のシステムの対象情報収集部が、ペットの種類を特定することにより、一例のシステムの統計処理部がペットの種類に応じた来店数を特定してもよい。ペットの種類としては、例えば、大型、中型、小型、などの大きさに基づいたものであってもよいし、具体的なペットの種類であってもよい。例えば、ペットの犬を対象とすると、大型犬、中型犬、小型犬、などの大きさに基づいたものであってよい。これらの大きさは、犬の床から頭の上までの高さや、犬の鼻の先からしっぽ又は臀部までの長さに基づいて、特定されてよい。また、大型犬、中型権、小型犬に関して、所定の範囲が予め定められており、かかる範囲内であるかどうかにより、ペットの種類が特定されてよい。具体的なペットの種類であれば、例えば、犬においては、ゴールデンレトリバー、プードル、柴犬、など具体的なものであってもよい。
情報収集部は、ペットと人との関係に基づいて、ペットの買主を特定してもよい。ペットと人との関係は、例えば、ペットと人との位置が最も近い人として設定されてもよいし、ペットと人のペット用リードを検知してもよい。また、ペットと人との関係は、人が店内に入ってから出るまでの全体の位置関係を踏まえて特定してもよい。例えば、店舗内に入ってから出るまでの間の動画において、人とペットとの近さの平均値を算出し、前記ペットと最も近い距離の人を買主と特定してもよい。
また、上述では、商品について説明したが、広告においても同様に構成されてよい。すなわち、領域と商品とを関連付けたデータベースに代えて、領域と広告とを関連付けたデータベースとしてよい。これにより、領域を介して、顧客が興味を有すると推定される広告の情報を収集できる利点がある。また、領域を介して、広告に興味を有する顧客層の情報を収集できる利点がある。店舗に関連する広告としては、図55における店舗02が店舗の概観の一つとして設置する広告11、店舗03が店舗の概観として設置する広告12などが挙げられる。なお、広告は、顧客を誘致するために、商品や興行物などについて、多くの人に知られるようにするためのものであればよく、ポスター、デジタルサイネージ、やショーウィンドウなどであってよい。
より具体的には、例えば、一例のシステムが、領域と広告とを関連付けて記憶する広告データベースを備えてよい。
また、上述の顧客が商品に興味を有することを推定できる場合に代えて、顧客が広告に興味を有することを推定できる場合としてよい。
統計処理部は、上述のとおり、広告に興味があると推定される人数を、所定期間を対象に生成してよいし、所定期間毎に生成してもよいし、人特性で区分けして生成してよいし、人特性で区分けして所定期間毎に生成してもよいし、人特性で区分けしてグラフを作成してもよいし、人特性で区分けしてランキングを生成してもよいし、人特性で区分けして所定期間毎にランキングを生成してもよい。
広告に興味があると推定される人数を、人特性で区分けして、ランキングを生成する例をより具体的に説明すると、ランキングは、特定の広告に係る人数について、ランキングで、人特性を生成してもよいし、特定の人特性について、ランキングで、特定の広告に係る人数を生成してもよい。ランキングされたものは、表示されてよい。前者と後者の例は、例えば、上述の商品に代えて広告とした場合のとおりである。
また、上述の広告においても、広告に興味を有すると推定できる人数を、人行動情報に基づいて、重み付けされてよい。例えば、広告の場合、手に取って見るようなものではないため、視線について他の行動よりも重み付けを重くしてよい。また、視線のみを考慮してもよい。また、重み付けの一態様として、広告が設置されている領域と、人位置情報と、の距離を考慮してよい。距離が離れている場合、距離が近い場合よりも、重みを低くして、広告に興味を有すると推定できる人数を算出してよい。この場合、所定の距離よりも長い場合、実質的には広告が見えていないとして、人数に算出しないよう構成してもよい。また、広告の大きさも考慮してよい。広告が大きいほど、遠くから見えるため、広告に興味を有している可能性があるためである。すなわち、広告が設置されている領域と人位置情報との距離と、広告の大きさを、重み付けの一態様として、利用してよい。
4.2.実施形態2
次に実施形態は、店舗外における形態である。店舗外においても、店舗内と同様である。例えば、図55は、建物内の一フロアを示しており、エスカレータ01と、複数の店舗02乃至05を示す。店舗外のカメラ06乃至09は、それぞれ一定の視野を有し、店舗外を撮像する。また、広告11乃至14は、店舗02乃至05が店の表に出す広告であってよい。
本図においても、実施形態1と同様に、各カメラ06乃至09の視野内に、領域を設定されてよい。なお、カメラは、敷地内の全ての領域をカバーできることが好ましいが、必ずしも全ての領域をカバーしなくてもよい。
一例のシステムは、施設内の情報を有するデータベースを有してよい(本願書類において、「施設データベース」ということもある)。施設データベースは、参照画像内に設定される領域と、施設内の情報を関連付けて記憶してよい。例えば、施設データベースは、参照画像内に設定される各領域と、施設内の店舗、入口、出口、インフォメーションセンター、トイレ、エレベータ、エスカレータ、通路、などのアイテムとが関連付けられて、記憶されていてよい。これらの情報は、利用者が、領域特定部を用いて、領域を設定する時に、領域と関連付けてアイテムを入力することにより、施設データベースに記憶されてよい。領域とアイテムは、一対一に設定されてもよい。例えば、エレベータ、エスカレータなどのアイテムのように、商品や広告や場所などとの関係において、一のアイテムに対して複数の領域を設定する必要性が低い場合、領域からアイテムを特定できる利点がある。また、店舗や通路など、それらの中においても商品の置き場所や広告の設置場所など区分けした方がより顧客の挙動の調査に役立つ場合は、一のアイテムに対して、複数の領域が設定されてもよい。また、上述のとおり、領域は階層化されてよいため、一のアイテムに対して、複数の領域が設定されてもよい。例えば、一の店舗内を10の領域に区分けして記憶するとともに、前記一の店舗に対応する一の領域を設定することにより、前記一の店舗に対して後者の前記一の領域を特定することが可能となる。また、フロアのように、複数の店舗を含む場所について、一の領域が設定されてもよい。
また、一例のシステムは、各店舗管理者端末によって閲覧可能に構成されてもよいし、複数の店舗に対して場所を提供する施設管理者端末によって閲覧可能に構成されてもよい。施設の管理者は、施設の所有者であってもよいし、施設の賃貸者であってもよい。図56は、本形態のシステムの一例を示すものである。本例のシステム01は、ネットワーク19を介して、店舗管理者端末A乃至C、施設管理者端末A及びB04と、接続される構成となっている。店舗管理者端末A乃至Cは、施設内の各店舗の管理者が利用することが想定されるものである。他方、施設管理者端末は、施設の管理者が利用することが想定されるものである。施設管理者端末は、施設の現場に設置されてもよいし、施設とは異なる場所に設置されてもよい。例えば、大規模な商業施設を複数有する商業団体が、各施設の状況を集中的に管理できるように、施設と異なる場所に設置されることが想定される。また、本例のシステム01は、撮像装置03a乃至03dと接続されてよい。撮像装置03a乃至03dと接続されることにより、動画で撮像された映像について、リアルタイムで処理することが可能となる利点がある。
また、一例のシステムの統計処理部は、店舗管理者端末毎に、セキュリティ機能を有してもよい。統計処理部が生成する情報は、他の店舗に関する訪問者数、訪問者の人特性などの情報の場合があるため、店舗管理者端末において、店舗利用者のアカウントにより閲覧可能な情報は、自らの店舗に関する情報に限定されてもよい。
他方、施設内における種々の店舗に関する情報は、共有することにより、全体として収益を向上できる可能性もある。そのため、例えば、店舗と商品・サービス分野とを関係づけたデータベースと本例のシステムが接続され、一の店舗と競合しない他の店舗に関する情報は、一の店舗の店舗管理者端末で閲覧できるセキュリティ機能としてもよい。当該構成がされた場合、店舗管理者は、競合する店舗に対しては情報を提供せず、かつ、他の競合しない店舗の情報を閲覧できることで、より店舗の改善を検討できる利点がある。
店舗外に関しても、実施形態1と同様に、種々の統計情報が算出されてよい。例えば、実施形態1においては、店舗内の訪問者数を生成したが、同様に、施設内の各店舗の入店者数を生成してよい。この場合、一例のシステムの統計処理部は、店舗A乃至Cについての複数の店舗に関する各訪問者数を生成してよい。また、生成された情報は、施設管理者端末において、表示されてよい。一例のシステムが店舗毎の訪問者数を表示できることにより、施設管理者が、各店舗の訪問者数を把握できる利点がある。
統計処理部は、上述のとおり、店舗毎の訪問者数を、所定期間を対象に生成してよいし、所定期間毎に生成してもよいし、人特性で区分けして生成してよいし、人特性で区分けして所定期間毎に生成してもよいし、人特性で区分けしてグラフを作成してもよいし、人特性で区分けしてランキングを生成してもよいし、人特性で区分けして所定期間毎にランキングを生成してもよい。
一例のシステムの統計処理部が、訪問者数を、店舗毎にランキングで生成され、施設管理者端末において、表示された場合、店施設管理者は、訪問者数の多い及び/又は少ない順で店舗を把握できる利点がある。
店舗毎の訪問者数を、人特性で区分けして、ランキングを生成した場合についてより具体的に説明すると、ランキングは、店舗毎の訪問者数について、人特性のランキングを生成してもよいし、特定の人特性について、店舗毎の訪問者数のランキングを生成してもよい。ランキングされたものは、表示されてよい。前者は、一の店舗について、訪問人数の多い人特性をランキングするものである。例えば、一の店舗と関連付けられる人特性は、人数の多い順に、40代、30代、20代、50代、などとされてよい。これにより、特定の店舗の顧客層の情報を収集できる利点がある。そのため、店舗管理者端末に送信された場合、顧客層を踏まえた商品やサービスの検討が可能になる利点がある。また、顧客管理者端末に送信された場合、施設管理者は、店舗に関するより具体的な情報を収集できる利点がある。後者は、一の人特性について、訪問人数の多い店舗をランキングするものである。例えば、50代女性については、店舗A、店舗B、店舗Cの順に訪問者数の多い順としてランキングされる、などとされてよい。これにより、特定の顧客層が訪問する店舗群を検討できる利点がある。また、施設管理者端末に送信された場合、施設管理者は個々の店舗の性質や施設全体の店舗の配置などを検討できる利点がある。例えば、女性向けの階と男性向けの階を分ける、若年層向けの場所と高年層向けの場所を分ける、など顧客層に応じた店舗のカテゴライズのための情報を収集できる利点がある。人特性は、機械学習技術の適用により生成された人情報に基づいてよい。ランキングは、人数の多い順であってもよいし、人数の少ない順であってもよいし、多い順と少ない順の両方であってもよい。機械学習技術の適用により生成された人情報に基づくことにより、人特性を高精度に区分けした上でランキングがされることにより、よりマーケティングに有用な資料となる利点がある。
また、一例のシステムの統計処理部が、店舗の出入り口が接する通路の通行人数と、店舗の訪問者数と、の割合(本願書類において、「店舗訪問者割合」ということもある。)を生成してもよい。
ここで、通路の通行人数は、通路に関連する実画像を用いて、生成されてもよいし、通路と関連付けられた領域が設定されかかる領域を用いて生成されてもよい。通路と関連付けられた領域は、当該通路幅を覆う形状であることが好ましいが、必ずしも通路幅を完全に覆う必要は無く、一例のシステムの統計処理部は、通路を行き交う人々を対象情報収集部が検知可能な視野を有する撮像装置で撮像された実画像に対する参照画像を用いていればよい。
統計処理部は、上述のとおり、店舗訪問者割合を、所定期間を対象に生成してよいし、所定期間毎に生成してもよいし、人特性で区分けして生成してよいし、人特性で区分けして所定期間毎に生成してもよいし、人特性で区分けしてグラフを作成してもよいし、人特性で区分けしてランキングを生成してもよいし、人特性で区分けして所定期間毎にランキングを生成してもよい。
一例のシステムの統計処理部が、一の店舗に係る店舗訪問者割合を生成することにより、通行人数のうち、何割の人が店舗に訪問しているのかを把握できる利点がある。なお、店舗訪問者割合は、通路と訪問者数との関係であることから、出入口毎に算出されてもよい。ここで、店舗訪問者割合は、一の出入口に接する通路の通行人数に対する、前記一の出入口から訪問した訪問者数の割合としてよい。この場合、出入口毎に訪問人数を把握できる利点がある。
また、各店舗に係る各店舗訪問者割合が施設管理者端末で表示される場合、施設管理者は、どの店舗が通路から多くの訪問を受けているのかを把握でき、例えば、店舗の概観に関する知見などを収集できる利点がある。特に、各店舗に係る各店舗訪問者割合が、ランキング形式で、施設管理者端末で表示される場合、通路から人を訪問させるための概観として好ましい外観と好ましくない外観などについて、理解でき、例えば、施設に新たに入る店舗に対して、かかる情報を共有できる利点がある。また、各店舗に係る各店舗訪問者割合が、ランキング形式で、店舗管理者端末で表示される場合、各店舗管理者が、他の店舗訪問者割合の情報を取得することにより、外観やレイアウトを改善するための情報を収集できる利点がある。
また、一の店舗に係る店舗訪問者割合が、前記一の店舗に係る店舗管理者端末で表示される場合、店舗管理者は、店舗訪問者割合を把握できる利点がある。また、一の店舗が複数の出入口を有している場合において、出入口毎に店舗訪問者割合が生成された場合、各出入口の店舗訪問者割合を生成することが可能となり、店舗は、店舗内の敷地の有効活用の観点で出入口の封鎖などを含めた店舗内のレイアウトの検討のための情報を収集できる利点がある。
また、一例のシステムの統計処理部は、一の店舗について、一の時期の店舗訪問者割合と、他の時期の店舗訪問者割合とを、生成してよい。一例のシステムの統計処理部が生成した一の時期の店舗訪問者割合と、他の時期の店舗訪問者割合とが、店舗管理者端末に送信された場合、店舗管理者は、一の時期と他の時期の店舗訪問者割合を比較できる利点がある。これは、例えば、一の時期の店舗のレイアウトと、他の時期の店舗のレイアウトが異なる場合において、どちらのレイアウトの方が、より店舗訪問者割合を高めることができるのかに関する情報を収集できる利点がある。
また、一例のシステムの統計処理部が、上述の通路の通行人数を、所定期間毎に、生成する場合、所定期間毎の、施設内の通路の利用状況を把握できる利点がある。より具体的には、通路の通行人数が、所定期間毎に区分けされて、施設管理者端末で表示される場合、施設管理者は通路の混雑度を時間に応じて把握することができ、例えば、時間帯に応じた管理が可能となる。
また、店舗周辺の通路の通行人数が、所定期間毎に区分けされて、店舗管理者端末で表示される場合、店舗管理者は、所定期間毎の通路の利用状況を把握することができるため、例えば、時間に合わせたタイムセールスなどのプロモーションの検討をするための情報を収集できる利点がある。
また、一例のシステムの統計処理部は、上述の通路の通行人数を、人特性に区分けして、生成してもよい。この場合、人特性毎に、通路の利用状況を把握できる利点がある。また、通路の通行人数を、所定期間毎に、通行人数を、人特性に区分けして、生成してもよい。この場合、人特性を、時間帯を踏まえて、通路の利用状況を把握できる利点がある。当該構成が、施設管理者端末で表示される場合、例えば、サラリーマン風の人やOL風の人が、お昼時間に多い場合、お昼の食事として利用されているなどの情報を把握できる。
また、各店舗と関係なく、施設の出入口に着目し、施設の出入口を利用する人に関する情報を収集してよい。一例のシステムの統計処理部は、施設の出入口について、施設の出入口を介して施設に訪問する訪問者数(本願書類において、「施設訪問者数」ということもある。)を生成してよい。
一例のシステムの統計処理部は、上述のとおり、施設訪問者数を、所定期間を対象に生成してよいし、所定期間毎に生成してもよいし、人特性で区分けして生成してよいし、人特性で区分けして所定期間毎に生成してもよいし、人特性で区分けしてグラフを作成してもよいし、人特性で区分けしてランキングを生成してもよいし、人特性で区分けして所定期間毎にランキングを生成してもよい。施設訪問者数は、施設の出入口毎に生成してもよいし、施設内の全ての出入口を纏めて生成してもよい。前者の場合、出入口毎に施設を訪問する人数についての情報を把握できる利点があり、出入口毎に種々の対策が可能である利点がある。例えば、広告や安全管理などである。また、後者の場合、施設全体としての情報を把握できる利点がある。また、前者と後者の情報は、個々に施設管理者端末に表示されてもよいし、前者と後者の情報の両方が施設管理者端末に表示されてもよい。前者と後者の情報の両方が施設管理者端末に表示された場合、全体の傾向と施設内の各出入口の傾向の両方を閲覧した上で検討できる利点がある。
また、一例のシステムの統計処理部は、店舗の出入口に接する通路に限らず、施設内の通路に領域を設置し、通路内の領域に係る人数に基づいて、通路の通行人数(本願書類において、「通行人数」ということもある。)を生成してよい。
すなわち、一例のシステムの統計処理部は、上述のとおり、通行人数を、所定期間を対象に生成してよいし、所定期間毎に生成してもよいし、人特性で区分けして生成してよいし、人特性で区分けして所定期間毎に生成してもよいし、人特性で区分けしてグラフを作成してもよいし、人特性で区分けしてランキングを生成してもよいし、人特性で区分けして所定期間毎にランキングを生成してもよい。
また、一例のシステムの統計処理部が上述の通路の通行人数を生成する場合、施設内の通路の利用状況や利用者の状況を把握できる利点がある。より具体的には、通路の通行人数が施設管理者端末で表示される場合、施設管理者は通路の利用状況を把握することができ、例えば、安全上の管理や、客層の把握が可能となる利点がある。
また、施設内に設置された広告に対して興味があると推定される人数についても、実施形態1と同様に、情報を収集してよいし、その表示ができてよい。施設内に設置された広告としては、例えば、図55における広告11、12、13、14などが挙げられる。
すなわち、統計処理部は、上述のとおり、広告に興味があると推定される人数を、所定期間を対象に生成してよいし、所定期間毎に生成してもよいし、人特性で区分けして生成してよいし、人特性で区分けして所定期間毎に生成してもよいし、人特性で区分けしてグラフを作成してもよいし、人特性で区分けしてランキングを生成してもよいし、人特性で区分けして所定期間毎にランキングを生成してもよい。
また、各店舗に係る各広告に興味があると推定される人数が施設管理者端末で表示される場合、施設管理者は、どの店舗のどのような広告がより多くの人から興味を持たれているのかを把握でき、例えば、広告の設置や広告の内容に関する知見などを収集できる利点がある。また、各店舗に係る各広告に興味があると推定される人数が、ランキング形式で、店舗管理者端末で表示される場合、各店舗管理者が、他の店舗訪問者割合の情報を取得することにより、外観やレイアウトを改善するための情報を収集できる利点がある。
4.3.実施形態3
本実施形態のシステムは、追跡部を有してよい。追跡部は、特定の対象に関する情報を収集する機能を有する。追跡部は、特定の一人の情報を収集してよい。
追跡部は、対象情報収集部によって収集された対象データベース内の特定の人Xに関する情報を収集してよい。例えば、図57は、特定の人Xの情報を含むものを、対象データベースから抽出したデータを示す。ここで、図57のデータは、人Xは、時刻t1からtNになるに従い、領域であればF1からF25に、参照画像内の位置情報であれば(t1x1、t1y1)から(tNx1,tNy1)に移動していることを示している。追跡部は、このような対象IDと、参照画像内の位置情報又は領域情報に基づいて、人Xの位置を追跡可能となる。
4.3.1.実施形態3.1
例えば、店舗や施設内で特定の顧客を探したい場合がある。例えば、迷子の顧客が現在どこにいるかを知りたい場合、忘れ物をした顧客に忘れ物を届けたい場合、窃盗等の問題のあるお客様を見つけたい場合、などが挙げられる。施設の例としては、例えば、デパート、アミューズメントパークなどの施設が考えられる。また、施設内には、複数の撮像装置が設置されていてよい。施設内の全ての領域が撮像装置でカバーされていなくてもよいが、多くの領域をカバーするほど、顧客を探せる可能性が高まる。ここでは、図58を用いて、説明する。
まず、本実施形態のシステムは、動画内の利用者が探したい顧客(対象となる人)の情報を取得する(ステップ1)。
次に、対象となる人IDを有する情報を、対象データベースから取得する(ステップ2)。例えば、図57のようなデータを取得する。図57においては、対象IDも含まれているが、特定の人IDとして明らかである場合は、対象IDはなくてもよい。また、参照画像内の位置情報と領域の両方を含んでいるが、いずれか一方であってもよい。
次に、本実施形態のシステムは、対象となる人IDを有する情報において、現在の時刻に近い時刻、例えば、時刻tNにおける参照画像内の位置情報を表示する(ステップ3)。利用者は、探している顧客が、当該位置情報にいることが分かる。
また、本実施形態のシステムは、参考画像内の当該位置情報に対応する実画像内の位置を視野に収める動画の現在の状態を表示してもよい(ステップ4)。これにより、利用者は、探している顧客が、現実に当該撮像装置の視野内に、現実にいることを確認することができる。
上述は、一例のシステムの統計処理部が、動画について、対象データベースを作成済みである場合として説明したが、動画はあっても対象データベースが作成されていない場合、前記動画に対して、まず、対象情報収集部が対象データベースを作成してよい。ここで、対象情報収集部は、捜索対象となる人の情報のみについて、対象データベースを作成してもよい。この場合、作成対象が限定されることから、データが少なり、かつ、処理時間も短い利点がある。なお、動画に対して、参照画像との位置関係の情報が生成されていない場合、利用者は、位置関係生成部を利用して、施設内の撮像装置など、捜索対象の人がいる可能性のある場所に設置されている撮像装置に係る動画に基づく実画像と参照画像との間に位置関係を入力する。この場合、利用者は、位置関係の推定機能を利用してもよい。
また、一例のシステムの統計処理部は、参照画像上において、対象となる人の動きを、仮想的にアニメーションで示してもよい。アニメーションで表示されることにより、より人の動きを理解することが可能となる利点がある。より具体的には、迷子の探索であれば、迷子になるまでの過程を理解することができ、窃盗等であればどのような過程で逃げたのかを理解することができ、今後の施設内の設備などについて、示唆に富む情報を得られる可能性もある。なお、ここで、対象となる人は、アイコンなどにより示されるものであってよい。また、アニメーションは、動画の再生速度に対して、その速度の10分の1又は100分の一など所定の割合などにより短くして表示する物であってよい。
また、上述の技術を応用することにより、時刻t1に位置情報Yにいた一又は複数の人が、現在の時刻に代えて、特定の時刻(時刻tx)にどこにいるかを調べることも可能である。これは、例えば、施設内において、二つのイベントAとBがある場合を考える。イベントAの参加者が、イベントBの時間帯にどの場所に移動しているかを特定する場合に利用されてよい。イベントAとイベントBに関連性がある場合、イベントAに関与した関与者が、イベントBの時間帯に、イベントB以外のどの場所に滞在していたのかを利用することにより、イベントAとイベントBについて検討することが可能となる。
なお、統計処理部は、複数のイベントについて、参加率に関する統計情報を算出してよい。例えば、イベントA乃至イベントCがある場合において、組み合わせの参加率を算出することにより、イベントの参加者の特性に関する情報を収集できる。組み合わせの参加率は、例えば、イベントA乃至Cの3つのイベントであれば、イベントの時間帯の来場者を母数として、イベントAのみに参加した人の割合、イベントBのみに参加した人の割合、イベントCのみに参加した人の割合、イベントAとBに参加した人の割合、イベントAとCに参加した人の割合、イベントBとCに参加した人の割合、を生成してよい。また、それぞれのイベントに参加する人の特性で区分けしてもよい。
以上、追跡する対象を人として説明したが、対象が車両であっても同様である。車両の場合、対象情報収集部は、車両の車種、色、車両番号などを収集している。利用者は、まず、上述のステップ1において、追跡したい車両情報を取得する。そして、上述のステップ2において、対象データベースから、追跡したい車両に関する情報を取得する。そして、ステップ3において、追跡したい車両情報を有する情報の中で、特定の時刻に近い情報について、参照画像内の位置情報を表示する。これにより、追跡したい車両の現在の位置情報が判明する。
4.3.2.実施形態3.2
複数の店舗を有する施設内において、店舗Xと関連する人が、その日に、他のどこを訪問又は通ったのか調査したい場合がある。そのような場合の技術を図59を用いて、説明する。
本実施形態のシステムは、まず、領域xを取得する(ステップ1)。ここで、領域xは、参照画像内に設定された一又は複数の領域であってもよい。例えば、店舗に訪問した顧客を対象とする場合は、前記店舗に対応する一又は複数の領域であってよい。また、店舗内の特定の商品に興味をもつ顧客を対象とする場合は、前記商品に対応する一又は複数の領域であってよい。また、店舗内で購入した顧客を対象とする場合は、例えば、店舗内のキャッシャー(レジ)に対応する一又は複数の領域であってよい。
領域Xは、例えば、利用者が、参照画像内の領域を選択するなどにより特定された領域により、情報を取得してよい。
次に、領域Xを訪問した一又は複数の人Yを、対象データベースから、抽出する(ステップ2)。
次に、前記一又は複数の人Yのデータから、訪問した他の店舗の情報を取得する(ステップ3)。ここで、他の店舗は、上述の施設データベースを用いて、前記Yの位置情報と関連付けられた領域から、施設データベース内の前記領域から関連付けられた店舗として、特定されてよい。
次に、上記他の店舗の一部又は全部をリストとして表示する(ステップ4)。領域xが店舗Xに対応する領域である場合、当該表示により、閲覧者は、店舗を訪問した人が他のどのような店舗を訪問したのかを理解することができ、店舗Xを訪問する人の動向について、マーケティング資料を得ることができる。また、領域xが店舗X内の特定の商品に対応するものである場合、当該表示により、閲覧者は、前記特定の商品に興味を持つ顧客が他にどのような店舗を訪問したのかを理解することができ、前記特定の商品と係る顧客の動向について、マーケティング資料を得ることができる。また、領域xが店舗X内のキャッシャー(レジ)に対応するものである場合、当該表示により、閲覧者は、店舗Xで商品を購入する顧客が他にどのような店舗を訪問したのかを理解することができ、店舗Xで商品を購入した顧客の動向について、マーケティング資料を得ることができる。
また、ステップ4の上記のいずれにおいても、各店舗に訪問した人に係る統計値を、各店舗と関連付けて表示してよい。この場合、顧客が訪問した各店舗の統計数を理解することができ、より顧客の動向について、マーケティング資料を得ることができる。ここで、統計値は、合計であってもよいし、平均であってもよいし、その他のマーケティング資料に役立つ種々の統計的処理を経た数字であってもよい。例えば、合計であれば、日毎に算出されてもよいし、週毎に算出されてもよいし、月毎に算出されてもよいし、所定の月毎に算出されてもよいし、年毎などで算出されてもよい。平均も、日毎、週毎、月毎、などの平均であってもよい。
また、リストは、店舗に訪問した人に係る統計値を、所定の順に、ランキングで表示してもよい。例えば、統計値を、多い順にランキングで表示された場合、閲覧者は、特に多い人数の店舗に容易に着目できる利点がある。
また、上記リストは、店舗Xの訪問前に訪問した店舗に限定してもよい。この場合、閲覧者は、店舗Xに訪問前に、どのような店舗を訪問したのかを理解することができ、より顧客の動向について、マーケティング資料を得ることができる。
また、上記リストは、店舗Xの訪問の後に訪問した店舗に限定してもよい。この場合、閲覧者は、店舗Xに訪問の後に、どのような店舗を訪問したのかを理解することができ、より顧客の動向について、マーケティング資料を得ることができる。
また、本実施形態のシステムのステップ2において、顧客の人属性情報を用いて、一又は複数の人Yを抽出してもよい。例えば、顧客の人属性情報として、性別、及び/又は、年齢などであってよい。かかる人属性情報を用いた場合、対象となる、性別、及び/又は年齢を対象とした顧客に関する情報を取得することができる。
他の例としては、顧客が、特定の商品との関係で定められる領域xにおいて示す人行動情報を用いてもよい。人行動情報においては、例えば上述のとおり、商品に対する興味の重み付けを設定できるため、例えば、特定の人行動情報を有する顧客のみを対象として、上記のリストの対象とする、ランキングの対象とする、などとしてよいし、また、当該重み付けを用いて、重み付け後の値を合計数の算出に利用したり、ランキングの順位付けに利用したりしてよい。
また、上述では、施設データベースから、店舗を特定したが、他にも施設内の入口、出口、及び/又は通路を特定してもよい。この場合、調査対象の顧客がどのような入口、出口、及び/又は通路を利用しているのかの、情報を収集することができる。特に、広告の設置などのマーケティングに役立つ情報を収集できる利点がある。
ここでは、より具体的に、特定の店舗と関連付けて、施設の出入口の利用状況に関する情報を収集する例を説明する。この場合、特定の店舗を利用する人が、施設内のどの出入口を利用するのかを把握できるため、特定の店舗の管理者は、施設の出入口との関係で、広告の提供を検討できる利点がある。一例のシステムの統計処理部は、施設の出入口について、施設の出入口を介して、特定の店舗に訪問する訪問者数(本願書類において、「施設出入口店舗訪問者数」ということもある。)を生成してよい。
一例のシステムの統計処理部は、上述のとおり、施設出入口店舗訪問者数を、所定期間を対象に生成してよいし、所定期間毎に生成してもよいし、人特性で区分けして生成してよいし、人特性で区分けして所定期間毎に生成してもよいし、人特性で区分けしてグラフを作成してもよいし、人特性で区分けしてランキングを生成してもよいし、人特性で区分けして所定期間毎にランキングを生成してもよい。施設出入口店舗訪問者数数は、施設の出入口毎に生成してもよいし、施設内の全ての出入口を纏めて生成してもよい。前者の場合、出入口毎に施設を訪問する人数についての情報を把握できる利点があり、出入口毎に種々の対策が可能である利点がある。また、後者の場合、施設全体としての情報を把握できる利点がある。また、前者と後者の情報は、個々に店舗管理者端末に表示されてもよいし、前者と後者の情報の両方が店舗管理者端末に表示されてもよい。前者と後者の情報の両方が店舗管理者端末に表示された場合、全体の傾向と施設内の各出入口の傾向の両方を閲覧した上で検討できる利点がある。
なお、同様に、特定の店舗と関連付けて、特定の通路について、情報を収集してもよい。
4.3.3.実施形態3.3
本実施形態のシステムは、施設来店者のグループを検知するシステムである。施設来店者のグループの情報を収集することで、より商業施設の収益を向上する策を検討可能となる。グループの種類分けは種々あってよいが、例えば、一人、友人、カップル(男女)、子連れ、などの種類分けがあってよい。
施設来店者のグループの検知は、種々の方法により検知されてよい。以下で述べる手法は、グループは近い距離で動くことが想定されることから、人々の距離で算出するものである。
<グループ検知方法1>
追跡部は、対象データベースから、施設来店者の夫々について、時刻と位置(又は領域)に関する情報を生成し、各人の距離を生成する。図60は、各時刻において、各人の位置と、人々の距離を算出したデータの一例である。
ここで、人々の距離の算出は種々の手法により計算量を減少させてもよい。例えば、対象データのうち、時刻でサンプリングして抽出したデータを対象としてもよい。例えば、1秒あたり1の情報としたり、2秒あたり1の情報として算出してもよい。これは、短時間で長い距離を人が移動できないため、省略しても距離の算出に悪影響を与えないと考えられるためである。また、距離の算出について、明らかに遠い距離のものは対象から外してもよい。例えば、施設内の異なる階にいる場合や、異なる領域に属しているものを距離の算出の対象外としてもよい。
次に、人と人との間の距離に基づいて、グループを検知する。人と人との間の距離は、種々の手法であってよい。例えば、人と人との間の距離は、上述の抽出されたデータを用いて、同一時刻における一の人と他の人との間の距離を算出し、前記距離のばらつきを算出してもよい。ばらつきとしては、標準偏差や分散であってよい。同一のグループであれば、一定の距離で動くことが想定されるためである。ばらつきが所定の値よりも小さい人と人とを同一のグループとして検知してよい。
また、例えば、人と人との間の距離は、上述の抽出されたデータを用いて、同一時刻における一の人と他の人との間の距離を算出し、それらの距離のうち、所定の閾値以下の距離について、距離のばらつきを算出してもよい。所定の閾値以下とすることで、各店で散らばって各人の興味に沿って移動するケースを除外することが可能となり、いわゆるバラつきにおけるノイズを除外できる利点がある。
また、例えば、人と人との間の距離は、上述の抽出されたデータを用いて、同一時刻における一の人と他の人との間の距離を算出し、それらの距離の中で第1の所定の閾値以下の距離のものを対象として、第2の所定の距離以下であるものの時間の割合を算出してもよい。第1の所定の閾値以下に限定することにより、上述の各人の興味に沿って移動する時間帯を除外することが可能となる利点がある。また、第2の所定の距離以下とするのは、同一のグループ内の人々が非常に近距離であることを抽出するものである。さらに、興味に沿って移動する時間帯を除外した時間帯を全体とし、非常に近距離である時間帯の割合によって、人と人との間の距離が近距離である時間の割合によって、近距離である時間帯の比率が多ければ、同じグループである可能性が高いためである。
<グループ検知方法2>
グループ検知方法2は、施設内の多数のカメラ映像を対象とするのではなく、特定の限られた箇所のカメラ映像を用いてグループを検知する手法である。本手法は、限られた箇所のカメラ映像に基づく算出のため、計算量も減少しつつ、ノイズなども除外できる手法である。
特定の限られた箇所のカメラとして、施設の出入り口に設置されたカメラであってよい。本手法は、施設内に種々のテナントがある場合、同一グループでも各人の興味のあるテナントに訪問することがあっても、出入口においては一緒に入る又は一緒に出る可能性が高いことから、出入口でのカメラの映像を重視する思想である。
追跡部は、入口に設置されたカメラで撮像された動画内においてほぼ同一時刻に入った複数の人と、出口に設置されたカメラで撮像された動画内においてほぼ同一時刻に入った複数の人と、同一グループ内の人と判定してよい。この場合、同一時刻における同一カメラ映像内に含まれていない人であるとしても、数秒の違い等であれば、同一グループの人と判定してもよい。
以下、より具体的なフローを説明する。
まず、入口付近と出口付近とに設置された撮像装置に対応する各実画像について、参照画像が用意され、利用者の入力により、位置関係生成部が各実画像と対応する参照画像との間の位置関係を生成する(ステップ1)。
次に、入口付近と出口付近とで撮像された実画像内の人情報を、対象情報収集部が、収集して対象データベースに記憶する。ここで、対象情報収集部は、実画像内の人情報に基づいて、人移動情報を生成してよい。本実施例と関係する入り口と出口に関する対象データベースのデータの一例としては、例えば、図61が挙げられる。ここで、人移動情報については、簡略化して、施設に入る人と出る人と称している。本図において、出入口1において、人IDの001、002、005が入っている。なお、時刻に関し、人ID001と005は、002(003から001を減算した)の差があるが、ほぼ同一時刻と考えられる。他方、出入口2において、人ID005と001は、ほぼ同一時刻に出ている。他方、人ID002は、出入口3から、時刻050と異なる時刻に出ている。
次に、追跡部は、所定の時間内に入り、かつ、所定の時間内に出た複数の人を、同一グループと判定する(ステップ3)。上述の例においては、人ID001と005は、ほぼ同一の時刻に施設に入り、ほぼ同一の時刻に施設から出ていることから、同一グループの人と判定される。他方、人ID002は、異なる時刻に異なる出入口から出ていることから、同じグループとは判定されない。
なお、施設に入る人と出る人の特定は、撮像装置の位置と、撮像装置の撮像方向と、撮像された人の正面又は背面であるかによって特定されてもよい。例えば、対象情報収集部は、施設の出入り口において施設の出口方向に向けて設置された撮像装置によって正面を撮像した人を施設に入る人と特定し、施設の出入り口において施設入口方向に向けて設置された撮像装置によって正面を撮像した人を施設から出る人と特定してもよい。
なお、施設の出入口において設置された撮像装置は、防犯の観点で、施設に、入る方向と出る方向を向けて設置されることが多い。これらの撮像装置を用いる場合、入る方向を向けた撮像装置は、施設から出る人は背面のみを写し、その撮像装置のみでは人データベース内の人との同一性の判定が困難な場合もある。この場合、入る方向と出る方向の両方の撮像装置を用いて、人の同一性を判定してよい。すなわち、入る方向と出る方向の撮像装置は、それぞれが正面と背面を撮像することから、ファッションアイテム属性に係る同一性(例えば、ファッションアイテムの種別、色、模様、加工など)を用いて同一人と判定してよいし、また入る方向のカメラに基づく実画像内の位置と関連付けられた参照画像内の位置と出る方向のカメラに基づく実画像内の位置と関連付けられた参照画像内の位置との位置の同一性によって同一性と判定してもよいし、ファッションアイテム属性と参照画像内の位置の同一性の両方を用いて人の同一性を判定してもよい。
次に、各グループを、グループ種別に区分けしてよい。グループ種別は、例えば、一人、友人、男女組、子連れなどの種類分けがあってよい。ここで、男女、子連れは、対象情報収集部が特定した年齢層と性別を用いてよい。グループ種別は、更に、グループ毎に年齢層が設定されてよい。例えば、友人と男女の年齢層、は平均値であってよく、子連れの年齢層は子供の年齢層と親の年齢をそれぞれ特定してもよい。
次にグループ種別を特定した後の流れを説明する。まず、一例のシステムの統計処理部は、グループの数(本願書類において、「グループ数」ということもある)を生成してよい。また、グループ数は、グループ種別に分けて生成されてよい。また、グループ数は、所定時間毎に生成されてよい。
一例のシステムの統計処理部が、施設来店者数のグループ数を、グループ種別に分けて施設管理者端末で表示される場合、グループ数の多寡をマーケティングに利用できる利点がある。例えば、施設内への訪問者に子連れが多い場合、施設内の店舗を、子供に関連する店舗を増やすなど、新たな店舗の選定に利用できる利点がある。
また、一例のシステムの統計処理部が、施設来店者数のグループ数を、グループ種別に分けて、所定時間毎に、施設管理者端末で表示される場合、特定の時間帯の特定のグループに合わせたイベントの企画の検討情報を収集できる利点がある。例えば、特定の時間帯に子供が多い場合、子供向けのイベントを企画できる利点がある。
また、統計処理部は、グループ数を構成する人について、人特性で区分けして、グラフを作成してよい。グラフを作成することにより、より特定の観点で整理された情報を得ることができる利点がある。グラフは、横軸を所定期間の時間軸として、縦軸において、人特性に区分けして、グループ数としてよい。これにより、所定期間における人特性の同一グループ数を把握できる利点がある。より具体的には、一例として、横軸を一日の時間帯とし、縦軸を、グループ数について、性別で区分けしたり、年齢層で区分けしたり、ファッションアイテム種別とファッションアイテム加工と髪型の組み合わせで区分けしたり、性別と年齢層の組み合わせで区分けしたりしてよい。
また、一例のシステムの統計処理部が、施設来店者数のグループ数を、グループ種別に分けて、所定時間毎に、ランキングで、施設管理者端末で表示される場合、来場者数の観点で、把握できる利点がある。
また、統計処理部は、グループ種別について、人特性で区分けして、ランキングを算出してよい。ランキングは、一のグループ種別について、グループを構成する人の人特性のランキングを生成してもよいし、特定の人特性について、グループ数のランキングを生成してもよい。前者は、一のグループ種別について、人数の多い人特性をランキングするものである。例えば、一のグループ種別が友人であれば、人特性は、グループ数の多い順に、10代、20代、60代、50代、などとされてよい。これにより、一のグループ種別の顧客層を検討できる利点がある。後者は、一の人特性について、人数の多いグループ種別をランキングするものである。例えば、20代女性については、友人、男女組み、一人の順にランキングされる、などとされてよい。これにより、特定の顧客層のグループを検討できる利点がある。
4.4.実施形態4
本実施形態のシステムは、タクシーを待つ人を対象とするシステムである。図62は、タクシー待ちの場所において、タクシーを待つ人の列を示す一例である。タクシー01a、01b、01cがタクシー待ちで待っているタクシーである。カメラ02がタクシーを待っている人の列を撮像し、タクシーに待っている人03乃至09がいる状態を示す。
タクシー業界において、タクシー待ちに人が待っているとき、必要なタクシーが何台であるかを特定することが好ましい。タクシーは、一台に対して、一人で乗る場合もあれば、複数人で乗る場合もある。タクシーは、一般的には家族や友人など、関係する人のグループで、一台のタクシーに乗ることが多いためである。そのため、タクシー待ちに待っている人の数が、そのまま必要なタクシーにはならない。もしタクシー待ちに待っている人の数と同じ数のタクシーを用意すると、余分にタクシーをそのタクシー乗り場に配車することとなり、他の場所における機会損失となりえる。他方、少ない数のタクシーを配車した場合は、タクシーに待つ人がいるにもかかわらずタクシーを配車できないこととなる。
本システムは、タクシーに待つ人々のグループ数を予測するものである。グループ数を予測できれば、そのグループ数に対応するタクシーを用意することにより、少なくともタクシー乗り場で待っているグループ数の分のタクシーを用意することが可能となる。本システムにおいて、グループ数は、タクシー乗り場で待つ人々の距離に基づいて、算出するアイデアである。すなわち、知らない人は一定の距離を離れて待つ傾向がある一方、家族や友人などのグループは、知らない人よりも短い距離で待つ傾向がある。そこで、本システムは、乗り場で待つ人々の距離を測定することにより、グループ数を算出するものである。以下では、図63を用いて、その流れを説明する。
本システムの利用者は、まず、カメラ02で撮像された動画と、図61のような参考図との位置関係を入力する。すなわち、位置関係生成部が、動画と参考図との位置関係を取得する(ステップ1)。なお、乗り場の待つ場所に複数のカメラがあれば、それらも対応して、位置関係を設定する。
次に、本システムの利用者は、領域を設定する(ステップ2)。なお、領域は、領域特定部によって、自動的に生成される構成とされてもよい。その場合、領域の設定の負担が減少する。
次に、タクシー乗り場のカメラと接続された本システムの対象情報収集部が、タクシー乗り場のカメラから得られた動画を用いて、乗り場に待つ人々を対象として検知し、情報を収集する(ステップ3)。対象情報収集部は、乗り場で待つ人々の動画内における位置情報を収集する。なお、対象情報収集部は、人々の位置情報以外の情報を収集してもよい。
次に、本システムの位置生成部が、動画内の人に対応する参照画像内の位置情報を生成する(ステップ4)。
次に、本システムの統計処理部が、乗り場で待つ人をグルーピングした上で、グループの数を数える(ステップ5)。
4.5.実施形態5
次の実施形態は、動物に対して適用する例である。例えば、動物園、牧場、厩舎、ペット売り場(本願書類において、対象となる動物がいる場所を「展示施設」ということもある。)など、動物を扱う施設において、動物の振る舞いを調査する場合などに用いることができる。ここで、動物園内における動物の振る舞いを例にして説明する。
まず、本実施形態のシステムの利用者は、まず、展示施設の見取り図などの図を用意し、これに基づく画像ファイルである参照画像を作成する。
次に、本実施形態のシステムの位置関係生成部は、展示施設を視野内に含む撮像装置によって撮像される動画内の位置情報と、参照画像内の位置情報とを、取得して、関係付けて記憶する(ステップ1)。
本実施形態のシステムの領域特定部は、参照画像内に複数の領域を設定する(ステップ2)。
次に、本実施形態のシステムの対象情報収集部は、撮像装置によって撮像された動画から、動物に関する情報を収集し、対象データベースに記憶する(ステップ3)。
次に本実施形態のシステムの位置生成部は、対象である動物の位置情報を生成し、対象データベースに記憶する(ステップ4)。
次に本実施形態のシステムの統計処理部は、対象に関する統計情報を数える(ステップ5)。統計処理部は、統計情報として、種々の情報を生成してよい。
例えば、統計処理部は、統計情報として、参照画像内の領域の滞在時間比率を生成してよい。例えば、領域1にX%、領域2にY%などの比率である。これにより、動物が展示施設内のどの領域にどの程度の滞在時間であるのかという生態情報を取得することができる。
また、統計処理部は、統計情報として、参照画像内の領域の滞在時間比率を、時間帯と関連付けて、生成してよい。例えば、時間帯T1において、領域1にX1%、領域2にY1%、時間帯T2において領域1にX2%、領域2にY2%などの比率である。これにより、動物が展示施設内のどの領域にどの程度の滞在時間であるのかという生態情報を、時間帯に応じて、取得することができる。
また、統計処理部は、過去の時期や通常の時期と比較することにより、動物の健康状態の判定の資料となる情報を生成してもよい。例えば、複数の時期における情報の平均値を生成し、これらと比較して表示してよい。複数の時期における情報の平均値は、動物の年齢、季節、その園内で飼育されている同種の動物、他の園内も含めた同種の動物などを用いて算出された平均値であってよい。平均値と対比して表示されることにより、動物の健康状態を推定するのに役立つ資料となる利点がある。また、平均値と比較して所定の値以上異なる場合、アラートを伝達するよう構成されてよい。アラートは、例えば飼育員の携帯端末などに伝達されるよう構成されてよい。これにより、通常と所定の値以上異なる場合に、迅速に連絡がされ、迅速な対応を可能とする利点がある。
展示施設内の領域の持つ意義と、領域との関係を有するデータベース(本願書類において、「展示施設データベース」ということもある。)を有してよい。展示施設内の領域の持つ意義としては、例えば、餌場、水場、展示施設に来た来場者に近い場所、などが挙げられる。当該データベースと連携し、領域から1対1の関係によって展示施設内の領域の持つ意義が特定されることにより、本実施形態のシステムの利用者は、領域の意味するところを容易に理解することができる。
以上において、対象情報収集部は、対象の情報を、撮像装置によってリアルタイムに撮像されている動画から対象の情報を収集してもよいし、撮像装置によって過去に録画された動画から対象の情報を収集してもよい。過去に録画された動画も利用される場合、より過去の情報を生かして統計情報を収集できる利点がある。
以上は、動物について説明したが、昆虫、魚、などの生態の観察に使用されてもよい。
本出願書類において、対象とする動画における一停止画像は、再生中の画像であってもよい。
また、実画像は、撮像装置で撮像された動画の一停止画像以外でも、動画以外に、定点観測的に撮像された撮像装置であってもよい。例えば、パノラマカメラで撮像されたものでもよい。また、撮像装置のレンズにも限定は無い。例えば、魚眼レンズなどで撮像されたものでもよい。この場合、参照画像との対応について、局所的に歪みが生じる可能性があるものの、かかる歪みを許容して実画像と参照画像との関係を特定できればよい。
撮像措置は、固定されていてもよいし、動きをするものであってもよい。動きは周期的な動きをするものでも、非周期的な動きをするものであってもよい。動きのある撮像装置に関する実画像は、撮像装置が動きによって視野に収めることができる全範囲についての実画像であってよい。また、参照画像は、前記全範囲についての実画像に対応する参照画像であってよい。動きのある撮像装置において撮像された対象は、対象情報収集部が、動きの指標と関連付けて前記全範囲についての実画像内の対象の位置情報を収集できてよい。動きの指標は、例えば、撮像装置の動きの角度や動きの位置などであってよい。これらの動きの指標と、前記実画像内の位置情報を関連付けることにより、動きのある撮像装置において撮像された対象について、実画像内における位置情報を生成されてよい。また、前記実画像内の対象の位置情報を用いて、位置生成部が、対応する参照画像内の位置情報を生成してよい。
本出願書類において、座標は、デカルト座標を中心として説明した。座標は、実画像内において絶対的に設定されたデカルト座標内の座標、参照画像内において絶対的に設定されたデカルト座標内の座標であってもよいが、相対的に設定されたデカルト座標内の座標であってもよい。例えば、最初に指定された座標は、各画像内での絶対的な座標であってよいが、次に指定された座標は、最初に指定された座標を基準点とする相対的な座標であってもよい。また、座標は、デカルト座標以外の、他の座標手法を用いてもよい。例えば、極座標であってよい。極座標は、座標位置が、基点からの距離と、基点を含む基準線からの角度で特定される手法である。またこれらの座標は、表示装置に送信されて、表示装置で表示されてよい。
上述の各データは、データベース形式で説明したが、種々のデータ管理の手法であってよい。例えば、配列、ポインター、リストなどの種々の手法の管理により、情報が増えた場合にも適宜対応できる手法であってよい。
本明細書で説明される処理及び手順は、実施形態において明示的に説明されたものによってのみならず、ソフトウェア、ハードウェア又はこれらの組み合わせによっても実現可能なものである。また、本明細書で説明される処理及び手順は、それらの処理・手順をコンピュータプログラムとして実装し、各種のコンピュータに実行させることが可能である。また、プログラムは、記録媒体に記録されてよい。また、記録媒体は、一時的でないものであってよい。
ここで、ファッションアイテム間の関連性に関する情報を収集する技術を説明する。
本実施形態について、図64を参考にして説明する。まず、ファッションに関する情報を機械学習させるために、学習用画像を取得する(ステップ1)。
学習用画像は、種々の情報源から取得されてよい。例えば、ファッション業界における媒体から用意されてよく、コレクション写真、コレクション動画、トップブランド写真、トップブランド動画、トップブディックブランド写真、トップブディックブランド動画、セレクトショップ写真、セレクトショップ動画、一般ブランド写真、一般ブランド動画、一般消費者写真、一般消費者動画、等が挙げられる。
媒体は、例えば、ファッションショー、デザイナーのホームページ、ファッション関連協会の刊行物などが挙げられる。
また、学習用画像に係る情報は、前記学習用画像と関連付けて、記憶されてよい。学習用画像に係る情報は、例えば、ファッションアイテムの種別、ファッションアイテムの色、ファッションアイテムの模様、ファッションアイテムの加工、ファッションアイテムのアクセサリ、ファッションアイテムの着丈などであってよい。なお、これらのファッションアイテムの性質の特定の観点を、本出願書類においては、ファッションアイテム属性という。ここで、ファッションアイテム属性は、上述のものに限られない。以下で述べるとおり、例えば、ファッションアイテムの種別においては、トップスやアウターの下に下位概念として、シャツ、ブラウス、ブルゾン、などがある。この場合、ファションアイテム種別に対し、その詳細区分もファッションアイテム属性とされてよい。下位概念が設けられるのは、ファッションアイテムの種別に限られず、他のファッションアイテム属性であってもよい。このように、一のファッションアイテム属性に下位概念のファッションアイテム属性があることを、後述する通り、ファッションアイテム属性の階層化ということもある。なお、ファッションアイテム属性、という用語は、後述するとおり、機械学習の際の利用される情報を示す場合もあれば、機械学習後のシステムを用いて、対象画像に対して適用して生成された属性情報を示す場合もある。
ファッションアイテムの種別であれば、例えば、トップス(Tシャツ/カットソー、シャツ、ブラウス、ポロシャツ、セーター/ニット、ベスト、パーカー、スウェット、カーディガン、タンクトップ、キャミソール、ビスチェ、ベスト)、アウター(テーラードジャケット、ノーカラージャケット、デニムジャケット、ライダースジャケット、ブルゾン、ダウンジャケット、コート、トレンチコート、ミリタリージャケット、ダウンベスト、ニットコート、ガウンワンピース)、パンツ(デニムパンツ、カーゴパンツ、チノパン、スラックス)、ワンピース(ワンピース、オールインワン)、バッグ(ショルダーバッグ、トートバッグ、バックパック/リュック、ボストンバッグ、ボディバッグ/ウェストポーチ、ハンドバッグ、クラッチバッグ、スーツケース/キャリーバッグ、かごバッグ)、シューズ(スニーカー、スリッポン、サンダル、パンプス、ブーツ、ブーティ、ドレスシューズ、バレエシューズ/ローファー、モカシン/デッキシューズ、レインシューズ)、帽子(ハット、ビーニー、ハンチング/ベレー帽、キャスケット)、スカート、などが挙げられる。
ファッションアイテムの色であれば、例えば、ホワイト、ブラック、グレー、ブラウン、ベージュ、グリーン、ブルー、パープル、イエロー、ピンク、レッド、オレンジ、ゴールド、シルバーなどであってよい。
ファッションアイテムの模様であれば、例えば、無地柄、ボーダー柄、ドット柄、ストライプ柄、チェック柄、花柄、カモフラージュ柄、レオパード柄などであってよい。
ファッションアイテムの加工であれば、例えば、加工無し、レース加工、プリーツ加工、シフォン加工、ギャザー加工、ファー加工、コーデロイ加工などであってよい。
ファッションアイテムのアクセサリであれば、例えば、アクセサリなし、フリル付き、リボン付き、ビジュー付き、ワンポイント付き、ダメージ付き、ポイントファー付きなどであってよい。
ファッションアイテムの着丈であれば、例えば、半袖、半端袖、長袖、袖なし、ショート丈、ミドル丈、ロング丈、スキニー・タイト、スタンダード、ワイド・ルーズ、ショート丈・ひざ上丈、ハーフ・ひざ丈、フルレングス、ショート・ミニ丈、ひざ丈、ミモレ・半端丈、ロング・マキシ丈などであってよい。
ここで、ファッションアイテムの色におけるホワイト、ブラック、又はグレーのような具体的な値、ファッションアイテムの模様における無地柄、ボーダー柄、ドット柄のような具体的な値、をファッションアイテム属性値という。
図65は、学習用画像を示すIDと、前記学習用画像に係る属性情報と、が関連付けられてデータベースにおいて、記録されている一例である。各学習画像を示すIDと、その中に含まれた一のファッションアイテムとが関連付けられている。また、前記一のファッションアイテムに対して、複数のファッションアイテム属性が関連付けられている。このようにして、学習用画像と、前記学習用画像に係る情報とが、関連付けられて、記憶されていてよい。ここで、ファッションアイテム属性として、ファッションアイテムの種別、ファッションアイテムの色、ファッションアイテムの加工などが挙げられている。また、各学習用IDについて、具体的な属性値が記憶されている。また、ファッションアイテムの種別については、より詳細な区分として、種別詳細1、種別詳細2と区分が詳細化されている。このように、ファッションアイテム属性は、階層化されてよい。また、階層化されるファッションアイテム属性は、ファッションアイテムの種別に限られず、他のファッションアイテム属性であってもよいし、階層化されてよい。学習データにおけるファッションアイテム属性が階層化されることにより、後述する属性情報生成装置が生成するファッションアイテム属性も階層化できる利点がある。
本実施形態のシステムは、一の学習用画像に対して、一のファッションアイテムに係る複数のファッションアイテム属性を関連付けて学習用データとして機械学習して、属性情報を生成できるよう構成されてよい。このように生成された属性情報生成機能を、ファッションアイテムを含む画像に対して適用する場合、前記一のファッションアイテムに係る複数のファッションアイテム属性を生成できる利点がある。これらの複数のファッションアイテム属性が関連付けて記憶された場合、複数のファッションアイテム属性に関する情報を利用できるようになる。具体的には、ある画像内に、ファッションアイテム属性のファッションアイテムの種別としてポロシャツとの情報が生成され、ファッションアイテム属性のファッションアイテムの色としてグリーンとの情報が生成され、ファッションアイテム属性のファッションアイテムの模様としてボーダー柄との情報が生成されると、ポロシャツと、グリーンと、ボーダー柄とが関連付けて記憶されることとなる。これはファッションに対する人の好みや印象は、ファッションアイテムに係る複数のファッションアイテム属性の組み合わせが大きな影響を与えるため、これらの情報が、関連付けて記憶されることに利点がある。そして、ファッションアイテムに係る複数の属性情報を関係づけて生成する手段として、ファッションアイテムに係る複数の属性情報を関連付けて機械学習することに技術的な利点がある。
図66は、学習用画像を示すIDと、前記学習用画像に係る属性情報と、が関連付けられてデータベースにおいて、記録されている他の一例である。各学習画像を示すIDと、その中に含まれた複数のファッションアイテムとが関連付けられている。また、各ファッションアイテムに対して、複数のファッションアイテム属性が関連付けられている。このようにして、学習用画像と、前記学習用画像に係る属性情報とが、関連付けられて、記憶されていてよい。
本実施形態のシステムは、一の学習用画像に対して、一のファッションアイテムを関連付けて学習用データとしてもよいが、本実施形態のシステムが、一の学習用画像に対して、複数のファッションアイテムを関連付けて学習用データとして機械学習して属性情報を生成できるよう構成されてもよい。例えば、ある学習用画像に、トップスとスカートとバッグとが含まれている場合には、これらトップスとスカートとバッグとの、それぞれのファッションアイテム名、色、模様、加工、アクセサリ、などの情報が、学習用画像に係る情報として、関連付けられていてよい。このように生成された属性情報生成機能は、一の画像内に複数のファッションアイテムが含まれている対象画像に対して適用された場合、それらの複数のファッションアイテムに係る複数のファッションアイテム属性を生成できるようになる利点がある。これは、識別対象の画像内に複数のファッションアイテムが含まれている場合において、前記複数のファッションアイテムのうちの少なくとも二以上のファッションアイテムに関するファッションアイテム属性を生成することによって、前記二以上のファッションアイテム間の関係を、情報として関連付けて生成できる利点がある。一般的にファッションは組み合わせも考慮に入れられることから、画像から、複数のファッションアイテム間の関係付けと、各ファッションアイテムに係る複数のファッションアイテム属性の関係も含めて情報を生成できる利点がある。
また、学習用画像に係る属性情報は、学習用画像内に含まれる人に係る情報であってよい。例えば、性別、年齢、年齢層、身長、体格、表情などの人を特定の観点で示す情報であってよい。なお、これらを、本出願書類においては、人属性という。また、その具体的な値を、人属性値という。属性情報として人属性は、ファッションアイテムについての情報を豊富化できる利点がある。すなわち、ファッションアイテムは、男性に好まれるものであるか、女性に好まれるものであるか、どのような年齢層に好まれるものであるか、どの程度の身長の人に好まれるものであるか、どのような体格の人に好まれるものであるか、という人に関する情報とも関係がある。そこで、このような人属性を、ファッションアイテムと関連付けて記憶することにより、どのようなタイプの人と関連付けられるファッションアイテムであるのかを情報として生成できる利点がある。また、このような人属性を、ファッションアイテム属性と関連付けて記憶することにより、どのようなタイプの人と関連付けられるファッションアイテム属性であるのかを情報として生成できる利点がある。なお、上述のファッションアイテム属性と同様に、人属性も階層化されてよい。例えば、10歳刻みの年齢層と、5歳刻みの年齢層と、2歳刻みの年齢層というように、年齢層に階層化がされていたり、5歳刻みの年齢層と、特定の年齢というように、年齢層と年齢の階層化がされていたりするなどされてよい。また、人属性も、ファッションアイテム属性と同様に、機械学習の際の利用される情報を示す場合もあれば、機械学習後のシステムを用いて、対象画像に対して適用して得られた結果内の対応する情報を示す場合もある。ここで、ファッションアイテム属性と、人属性と、を含むものとして「属性情報」ということもあり、ファッションアイテム属性値と、人属性値と、を含むものとして、「属性値」ということもある。また、属性情報についても、階層化されてよい。
図67は、学習用画像を示すIDと、前記学習用画像に係る属性情報と、が関連付けられてデータベースにおいて、記録されている他の一例である。学習画像を示すIDと、前記学習画像に含まれている人及びファッションアイテムが関連付けられている。人及びファッションアイテムは、夫々、一又は複数であってよい。人とファッションアイテムも関連付けられていてよい。人とファッションアイテムの関連付けは、人が身に着けているファッションアイテムの関係であってよいが、当該関係に限られなくてよい。また、各人に対して、複数の人属性が関連付けられている。また、各ファッションアイテムに対して、複数のファッションアイテム属性が関連付けられている。このようにして、学習用画像と、前記学習用画像に係る情報とが、関連付けられて、記憶されていてよい。
また、図68は、学習用画像を示すIDと、前記学習用画像に係る属性情報と、が関連付けられてデータベースにおいて、記録されている更に他の一例である。リレーショナルデータベースの例であり、学習用画像ID及び学習用画像内の人を介して、関連付けられている。例えば、学習用画像ID1002については、画像内に人が3人おり、各人について、一又は複数のファッションアイテムが関連付けられており、各一のファッションアイテムに対して、複数のファッションアイテム属性が関連付けられている。なお、図8の場合、例えば、ファッションアイテムの種別の一の属性値を含むもののレコード数は、前記ファッションアイテムの数を示すこととなり、一の参考画像内に、一のファッションアイテムを含む場合と、複数のファッションアイテムを含む場合とを、統一的に扱うことが可能となる利点がある。なお、図68の人属性においては、荒い年齢層と、細かい年齢層の属性情報を備え、人属性が階層化されている一例が示されている。
なお、上述では、人とファッションアイテムとの関係付けとして、人と前記人が身に着けている位置に画像内で撮像されているファッションアイテムを関連付けていたが、他の人とファッションアイテムの関係付けであってもよい。例えば、人がファッションアイテムを手で保持する態様や、人がファッションアイテムの背後に位置する等である。このように、人間が画像を見た時に人とファッションアイテムの間に関係付けを見出せるようなものであれば、機械学習によって、人間が見出しうる関係付けに関するルールを導出できる可能性があり、かかる機械学習済みのルールに基づいて、人とファッションアイテムとを関連付けてもよい。
次に、本実施形態のシステムは、機械学習を行い、属性情報生成機能を生成してよい(ステップ2)。入力情報として、上述の学習用画像を示すIDに基づいた学習用IDと、前記学習用画像に係る属性情報と、が関連付けられた情報を用いてよい。これらにより、学習用画像と、前記学習用画像に係る属性情報との関係を、機械学習してよい。本実施形態のシステムは、機械学習により、入力される画像に対して、前記画像に係る属性情報を生成できる属性情報生成機能を有してよい。
機械学習は、種々の人工知能技術が用いられてよい。人工知能技術としては、例えば、ニューラルネットワーク、遺伝的プログラミング、機能論理プログラミング、サポートベクターマシン、クラスタリング、回帰、分類、ベイジアンネットワーク、強化学習、表現学習、決定木、k平均法などの機械学習技術が用いられてよい。以下では、ニューラルネットワークを用いる例を使用するが、必ずしもニューラルネットワークに限定されるものではない。
ニューラルネットワークを用いた機械学習技術は、ディープラーニング(深層学習)技術を用いてよい。これは、複数の層を用いて入力と出力の関係を学習することで、未知の入力に対しても出力可能とする技術である。教師有りと教師なしの手法が存在するが、どちらが適用されてもよい。上述の図67においては、学習用画像を示すIDと、前記学習用画像に係る属性情報と、が関連付けられており、教師として、前記学習用画像に係る情報が与えられていることから、教師有りの一例であるが、必ずしも教師有りの手法を用いる必要は無く、教師なしの手法を用いてもよい。
本実施形態のシステムは、学習用画像と、前記学習用画像に含まれる一のファッションアイテムに係る複数のファッションアイテム属性とを関連付けた学習用データを対象として機械学習をしてもよいし、学習用画像と、前記学習用画像に含まれる複数のファッションアイテムに係る複数のファッションアイテム属性とを関連付けた学習用データを対象として機械学習をしてもよい。
また、学習用画像に対するファッションアイテム属性と人属性をまとめて一の機械学習装置において機械学習されてもよいし、学習用画像に係るファッションアイテム属性についての機械学習と、学習用画像に係る人属性についての機械学習とを、分けて行ってもよい。学習用画像に係るファッションアイテム属性についての機械学習と、学習用画像に係る人属性についての機械学習とを、分けて行う場合、それぞれの属性に注力して行うことができるため、より効率的に機械学習が可能である。
また、ファッションアイテム属性のみを機械学習する装置であってもよい。人属性によって学習される対象のうち、人の属性である年齢、性別は、画像の外部的な情報から収集できることもあるためである。
機械学習後の本実施形態のシステムは、取得された対象画像に対して適用された場合には、前記対象画像に係る属性情報を出力できる構成となっていてよい。前記属性情報は、前記対象画像内の一又は複数のファッションアイテムに関する一又は複数のファッションアイテム属性であってもよいし、前記対象画像内の一又は複数の人に関する一又は複数の人属性であってもよいし、前記対象画像内の一又は複数のファッションアイテムに関する一又は複数のファッションアイテム属性及び前記対象画像内の一又は複数の人に関する一又は複数の人属性であってもよい。図69は、生成された属性情報の一例である。ここで、属性情報として、人属性とファッションアイテム属性とが関連付けられている。ファッションアイテムは、一つであっても複数であってもよい。また、学習用データベースの属性情報が階層化されることなどにより、属性情報生成機能により生成された属性情報も階層化されてよい。属性情報が階層化されることにより、対象画像に関して、より詳細な属性情報を生成することが可能となる。
また、機械学習後の本実施形態のシステムは、複数の人が含まれる対象画像に適用される場合は、前記対象画像内の一又は複数のファッションアイテムに関する一又は複数の属性、及び/又は、前記対象画像内の複数の人に関する複数の属性を、出力できる構成となってよい。ここで、一又は複数のファッションアイテムに係る属性は、前記ファッションアイテムを着用する人と関連付けて、前記人の属性と関連付けられてよい。図70は、対象画像内の複数の人の夫々に対して、一又は複数の人属性と、一又は複数のファッションアイテムに係る一又は複数のファッションアイテム属性と、を記載の順序に基づいて関連付けられて生成された例である。
また、上記を組み合わせることにより、機械学習後の本実施形態のシステムは、取得された対象画像に適用される場合において、前記対象画像内の一又は複数のファッションアイテムに関する一又は複数の属性、及び/又は、前記対象画像内の一又は複数の人に関する複数の属性を、出力できる構成となっていてよい。
なお、上記の生成された情報は、適宜、記憶されてもよい。
本実施形態のシステムは、
前記画像内に一又は複数のファッションアイテムを含む機械学習用画像を取得する取得部と、
前記一の学習用画像と、前記一又は複数のファッションアイテムに係る一又は複数のファッションアイテム属性と、の関係をディープラーニングにより機械学習するニューラルネットワーク部と、
を備えた属性情報生成システムであってよい。
本実施形態のシステムが上述の構成を備える場合、一又は複数のファッションアイテムを含む画像から、一又は複数のファッションアイテムに関する情報である一又は複数のファッションアイテム属性を、取得できる利点がある。
また、本実施形態のシステムは、
前記画像内に人と一又は複数のファッションアイテムを含む機械学習用画像を取得する取得部と、
前記一の学習用画像と、前記人に係る人属性と、前記一又は複数のファッションアイテムに係る一又は複数のファッションアイテム属性と、の関係をディープラーニングにより機械学習するニューラルネットワーク部と、
を備えた属性情報生成システムであってよい。
本実施形態のシステムが上述の構成を備える場合、人及び一又は複数のファッションアイテムを含む画像から、一又は複数の人属性と、一又は複数のファッションアイテムに関する情報である一又は複数のファッションアイテム属性とを、関連付けて、取得できる利点がある。
また、本実施形態のシステムは、
前記画像内に一又は複数の人と一又は複数のファッションアイテムを含む機械学習用画像を取得する取得部と、
前記一の学習用画像と、前記一又は複数の人に係る一又は複数の人属性と、前記一又は複数の人と関連付けられた前記一又は複数のファッションアイテムに係る一又は複数のファッションアイテム属性と、の関係をディープラーニングにより機械学習するニューラルネットワーク部と、
を備えた属性情報生成システムであってよい。
また、本願書類におけるネットワーク部は、一又は複数の人と一又は複数のファッションアイテムを含む機械学習用画像について、前記一の学習用画像と、前記一又は複数の人に係る一又は複数の人属性と、前記一又は複数の人と関連付けられた前記一又は複数のファッションアイテムに係る一又は複数のファッションアイテム属性と、の関係をディープラーニングにより機械学習して、学習済みニューラルネットワーク部を生産する(前記ニューラルネットワーク部を製造する方法を含むが、本願書類においては、生産すると表現する)方法を含んでよい。前記ニューラルネットワーク部は、プログラムであってよい。
本実施形態のシステムが上述の構成を備える場合、一又は複数の人及び一又は複数のファッションアイテムを含む画像から、一又は複数の人に係る一又は複数の属性と、前記複数の人の各人と関連付けられた一又は複数の人属性と前記人の各人と関連付けられた前記一又は複数のファッションアイテムに関する情報である一又は複数のファッションアイテム属性とを、取得できる利点がある。
上述のように、本実施形態のシステムは、一の学習用画像内に一又は複数の人及び/又は一又は複数のファッションアイテムが含まれており、前記一の学習用画像と関連付けられて、前記一又は複数の人に係る一又は複数の人属性、及び/又は、前記一又は複数のファッションアイテムに係る一又は複数のファッションアイテム属性を、学習用データとして学習した機械学習装置は、属性情報を生成できるようになる。当該属性情報生成機能を有する本実施形態のシステムは、ファッションアイテムを含む画像に適用された場合、属性情報を生成することができるため、ファッションアイテムを含む画像から、ファッションアイテムに関する情報を、整理して取得できる利点がある。