JP2015125575A - 情報処理装置及び情報処理プログラム - Google Patents

情報処理装置及び情報処理プログラム Download PDF

Info

Publication number
JP2015125575A
JP2015125575A JP2013269104A JP2013269104A JP2015125575A JP 2015125575 A JP2015125575 A JP 2015125575A JP 2013269104 A JP2013269104 A JP 2013269104A JP 2013269104 A JP2013269104 A JP 2013269104A JP 2015125575 A JP2015125575 A JP 2015125575A
Authority
JP
Japan
Prior art keywords
identification information
time
date
identifier
location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013269104A
Other languages
English (en)
Other versions
JP5751321B2 (ja
Inventor
昌嗣 外池
Masatsugu Sotoike
昌嗣 外池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2013269104A priority Critical patent/JP5751321B2/ja
Priority to SG11201602842YA priority patent/SG11201602842YA/en
Priority to PCT/JP2014/063175 priority patent/WO2015098144A1/ja
Priority to CN201480056914.8A priority patent/CN105659279B/zh
Publication of JP2015125575A publication Critical patent/JP2015125575A/ja
Application granted granted Critical
Publication of JP5751321B2 publication Critical patent/JP5751321B2/ja
Priority to US15/060,915 priority patent/US9947105B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083Shipping
    • G06Q10/0833Tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/30Network architectures or network communication protocols for network security for supporting lawful interception, monitoring or retaining of communications or communication related information
    • H04L63/302Network architectures or network communication protocols for network security for supporting lawful interception, monitoring or retaining of communications or communication related information gathering intelligence information for situation awareness or reconnaissance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Technology Law (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Collating Specific Patterns (AREA)
  • Alarm Systems (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Telephonic Communication Services (AREA)

Abstract

【課題】人が所持している物に記憶されている第1の識別情報と人を識別し得る第2の識別情報とを対応付けるようにした情報処理装置を提供する。
【解決手段】情報処理装置の第1の取得手段は、人が所持している物に記憶されている第1の識別情報を取得し、第2の取得手段は、人を識別し得る第2の識別情報を取得し、対応付手段は、第1の日時において取得された第1の識別情報と該第1の日時に対応する第2の日時において取得された第2の識別情報との組み合わせと同じ組み合わせが、該第1の日時とは異なる第3の日時において取得されている場合は、該組み合わせの第1の識別情報と第2の識別情報を対応付ける。
【選択図】図1

Description

本発明は、情報処理装置及び情報処理プログラムに関する。
特許文献1には、広く、かつ大きな施設を備えた敷地内であってもセキュリティ対策を充分に維持することができる施設監視システムを提供することを課題とし、施設監視システムは、敷地内の画像監視が可能なカメラ装置と、カメラ装置からの映像信号の受信、表示及び各カメラ装置の旋回、ズーム等の制御を行う中央監視制御装置と、正規に設けられた敷地への入出口以外の場所から侵入したことをその位置情報とともに通報する侵入検出装置と、カメラ装置からの映像信号に基づいて指定された画素の集りを監視対象として設定し、この監視対象の動きを追尾する画像処理装置と、カメラ装置の撮影視野から監視対象が外れているとき、別のカメラ装置による影に切り替えるカメラ選択装置と、監視対象の敷地内における所在位置とそれ以前の軌跡を人に対して呈示する追尾軌跡表示装置とを備えたことが開示されている。
特許文献2には、マラソン競技の走者等の移動している物体の撮影画像からハイライトシーンなどの特定の画像の切り出し区間の選定と編集には人手と工数がかかる問題があることを課題とし、移動物体の情報を記録したRFタグを移動物体に装着し、RFタグから受信したRFタグデータから移動物体の属性情報を生成し、撮影画像に存在する移動物体の領域を追跡し、移動物体を個々の移動物体毎に分離識別して移動物体を特定し撮影画像に特定した移動物体の属性情報を自動的に付与することが開示されている。
特許文献3には、多数地点での大量の生体情報に対して効率よく人物の検索及び追跡を行うことができる人物検索システム、人物追跡システム、人物検索方法及び人物追跡方法を提供することを課題とし、画像入力部で人物の顔画像を入力し、この入力された顔画像から人物を識別するための特徴量を顔特徴抽出部で抽出し、また、検索したい人物の顔画像をそれに検索の重要性を表わす情報を付加して予め記憶している辞書データ記憶部に記憶されている顔画像のうち、検索の重要性の高い情報が付与されている顔画像だけを辞書データ記憶部に記憶し、そして、顔認識部において、顔特徴抽出部により抽出された特徴量と辞書データ記憶部に記憶されている顔画像とを照合して両者の類似度を計算し、その結果をデータ表示部に出力することが開示されている。
特許文献4には、光通信装置の周囲に複数の人物が居る場合に、該光通信装置と所定の通信先装置と各人物の位置関係に基づいて、該光通信装置の所持者候補を選択することを課題とし、撮像装置で撮影された画像を解析して光通信装置の所持者を特定する画像処理装置であって、前記光通信装置とその所持者が存在する所定の空間を撮影する前記撮像装置によって撮影された前記画像を解析して、前記光通信装置が送信した光信号と、前記光通信装置の所持者の候補となり得る複数の人物領域を検出する検出部と、前記検出部において前記画像中に検出された複数の人物領域の中から、前記画像における前記光信号の発光位置と予め定められた所定の基準位置と各人物領域との位置関係に基づいて、前記光通信装置の所持者の人物領域を特定する人物領域特定部とを備えることが開示されている。
特開2006−202062号公報 特開2007−228195号公報 特開2003−281157号公報 特開2010−238196号公報
本発明は、人が所持している物に記憶されている第1の識別情報と人を識別し得る第2の識別情報とを対応付けるようにした情報処理装置及び情報処理プログラムを提供することを目的としている。
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項1の発明は、人が所持している物に記憶されている第1の識別情報を取得する第1の取得手段と、人を識別し得る第2の識別情報を取得する第2の取得手段と、第1の日時において取得された第1の識別情報と該第1の日時に対応する第2の日時において取得された第2の識別情報との組み合わせと同じ組み合わせが、該第1の日時とは異なる第3の日時において取得されている場合は、該組み合わせの第1の識別情報と第2の識別情報を対応付ける対応付手段を具備することを特徴とする情報処理装置である。
請求項2の発明は、前記対応付手段は、第1の日時及び場所において取得された第1の識別情報と該第1の日時及び場所に対応する第2の日時及び場所において取得された第2の識別情報との組み合わせと同じ組み合わせが、該第1の日時及び場所とは異なる第3の日時及び場所において取得されている場合は、該組み合わせの第1の識別情報と第2の識別情報を対応付けることを特徴とする請求項1に記載の情報処理装置である。
請求項3の発明は、前記対応付手段による対応付け結果に基づいて、前記人がいた場所と日時を抽出する抽出手段をさらに具備することを特徴とする請求項2に記載の情報処理装置である。
請求項4の発明は、前記対応付手段は、前記第2の日時において取得された前記第2の識別情報のうちで、それぞれ複数取得された複数の第2の識別情報を関係性があるとし、前記第1の識別情報と該複数の第2の識別情報を対応付けることを特徴とする請求項1から3のいずれか一項に記載の情報処理装置である。
請求項5の発明は、コンピュータを、人が所持している物に記憶されている第1の識別情報を取得する第1の取得手段と、人を識別し得る第2の識別情報を取得する第2の取得手段と、第1の日時において取得された第1の識別情報と該第1の日時に対応する第2の日時において取得された第2の識別情報との組み合わせと同じ組み合わせが、該第1の日時とは異なる第3の日時において取得されている場合は、該組み合わせの第1の識別情報と第2の識別情報を対応付ける対応付手段として機能させるための情報処理プログラムである。
請求項1の情報処理装置によれば、人が所持している物に記憶されている第1の識別情報と人を識別し得る第2の識別情報とを対応付けることができる。
請求項2の情報処理装置によれば、日時と場所を用いて、第1の識別情報と第2の識別情報を対応付けることができる。
請求項3の情報処理装置によれば、人がいた日時と場所を追跡することができる。
請求項4の情報処理装置によれば、複数の第2の識別情報を関係性があるとし、第1の識別情報とその複数の第2の識別情報を対応付けることができる。
請求項5の情報処理プログラムによれば、人が所持している物に記憶されている第1の識別情報と人を識別し得る第2の識別情報とを対応付けることができる。
本実施の形態の構成例についての概念的なモジュール構成図である。 本実施の形態による処理例を示すフローチャートである。 無線端末識別子−時刻−場所データのデータ構造例を示す説明図である。 識別子−時刻−場所データのデータ構造例を示す説明図である。 無線端末識別子−時刻−場所抽出データのデータ構造例を示す説明図である。 識別子−時刻−場所抽出データのデータ構造例を示す説明図である。 無線端末識別子−時刻−場所抽出データのデータ構造例を示す説明図である。 識別子−時刻−場所抽出データのデータ構造例を示す説明図である。 本実施の形態による処理例を示すフローチャートである。 本実施の形態による処理例を示すフローチャートである。 本実施の形態による処理例を示すフローチャートである。 本実施の形態による処理例を示すフローチャートである。 本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。
以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図1は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア(コンピュータ・プログラム)、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム(コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム)、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、1モジュールを1プログラムで構成してもよいし、複数モジュールを1プログラムで構成してもよく、逆に1モジュールを複数プログラムで構成してもよい。また、複数モジュールは1コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって1モジュールが複数コンピュータで実行されてもよい。なお、1つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続(データの授受、指示、データ間の参照関係等)の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、2以上の値(もちろんのことながら、すべての値も含む)が同じであってもよい。また、「Aである場合、Bをする」という意味を有する記載は、「Aであるか否かを判断し、Aであると判断した場合はBをする」の意味で用いる。ただし、Aであるか否かの判断が不要である場合を除く。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク(一対一対応の通信接続を含む)等の通信手段で接続されて構成されるほか、1つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」(社会システム)にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、RAM(Random Access Memory)、外部記憶媒体、通信回線を介した記憶装置、CPU(Central Processing Unit)内のレジスタ等を含んでいてもよい。
本実施の形態である情報処理装置100は、ユーザーが所持している物に記憶されている第1の識別情報とユーザーを識別し得る第2の識別情報とを対応付けるものであって、図1の例に示すように、記憶装置102、無線端末識別子収集モジュール104、識別子収集モジュール107、マッチングモジュール109、人物追跡モジュール111を有している。この例では、第1の識別情報として、携帯電話(スマートフォン等を含む)等の無線端末101のMACアドレス(Media Access Control address)を例とし、第2の識別情報として、そのユーザーの顔画像を例として説明する。したがって、第1の識別情報と第2の識別情報を対応付けるとは、この例の場合、無線端末101とその無線端末101を所持している顔画像を対応付けることになる。例えば、無線端末101のMACアドレスを検知した場合は、その無線端末101の所持者の顔画像を表示することができることになる。
無線端末101は、ユーザーが所持している物の一例であり、無線端末101には、第1の識別情報の一例としてのMACアドレスが記憶されている。無線端末101として、例えば、前述の携帯電話の他に、携帯ゲーム端末、ノートPC等がある。これらは、無線通信機能を有している。無線通信として、例えば、無線LAN、Bluetooth(登録商標)等がある。
無線フレームキャプチャ装置103は、情報処理装置100の無線端末識別子収集モジュール104と接続されている。無線フレームキャプチャ装置103は、無線端末101による無線通信のフレームをキャプチャする装置である。なお、無線フレームキャプチャ装置103は、同じ店舗内に一つだけ設置されていてもよいし、複数設置されていてもよい。
無線端末識別子収集モジュール104は、無線フレームキャプチャ装置103、記憶装置102と接続されている。無線端末識別子収集モジュール104は、無線端末101が送出する第1の識別情報を収集し、観測された日時(年、月、日、時、分、秒、秒以下、又はこれらの組み合わせであってもよい、以下、時刻ともいう)と場所(無線端末101又は無線フレームキャプチャ装置103の場所)とともに無線端末識別子−時刻−場所データ105として、記憶装置102に保存する。なお、場所は収集、記憶の対象としなくてもよい。
記憶装置102は、無線端末識別子−時刻−場所データ105、識別子−時刻−場所データ108、無線端末識別子−識別子対応データ110を格納している。そして、記憶装置102は、無線端末識別子収集モジュール104、識別子収集モジュール107、マッチングモジュール109、人物追跡モジュール111からアクセスされる。なお、記憶装置102は、必ずしも、情報処理装置100に内蔵されている必要はなく、通信回線(無線、有線、これらの組み合わせ)経由でアクセスできる場所にあってもよい。また、記憶装置102に格納されている3つのデータは、それぞれ又はこれらのいくつかは他の記憶装置に格納されてもよい。
無線端末識別子−時刻−場所データ105は、無線端末識別子収集モジュール104、マッチングモジュール109、人物追跡モジュール111からアクセスされ、無線端末101の識別子、時刻、場所の3カラムからなるデータである。
識別子収集装置106は、情報処理装置100の識別子収集モジュール107と接続されている。識別子収集装置106として、カメラ(静止画、動画のいずれの撮影でもよい)、ポイントカードリーダー等が該当する。なお、無線フレームキャプチャ装置103と識別子収集装置106は、同じ場所に設置されている。ここで同じ場所とは、予め定められた範囲内に設置されていれば足りる。例えば、同じ店舗内が該当する。なお、識別子収集装置106は、同じ店舗内に一つだけ設置されていてもよいし、複数設置されていてもよい。
識別子収集モジュール107は、識別子収集装置106、記憶装置102と接続されている。識別子収集モジュール107は、無線端末101の識別子以外で、個人を特定し得る第2の識別情報を収集するモジュールである。ここでの第2の識別情報としては、顔画像、ポイントカード番号、その日着ていた服等が挙げられる。第2の識別情報は、観測された時刻と場所名(識別子収集装置106又はユーザーの場所)とともに識別子−時刻−場所データ108として、記憶装置102に保存する。なお、場所は収集、記憶の対象としなくてもよい。
識別子−時刻−場所データ108は、識別子収集モジュール107、マッチングモジュール109からアクセスされ、第2の識別情報、時刻、場所の3カラムからなるデータである。
マッチングモジュール109は、記憶装置102と接続されており、無線端末識別子−時刻−場所データ105、識別子−時刻−場所データ108、無線端末識別子−識別子対応データ110にアクセスする。マッチングモジュール109は、ユーザーが所持している物に記憶されている第1の識別情報を取得する。例えば、前述の無線端末101のMACアドレス(無線端末識別子−時刻−場所データ105内の無線端末101の識別子)を取得する。そして、ユーザーを識別し得る第2の識別情報を取得する。例えば、前述の顔画像(識別子−時刻−場所データ108内の識別子)を取得する。
次に、マッチングモジュール109は、第1の識別情報と、その第1の識別情報を取得した日時と、第2の識別情報と、その第2の識別情報を取得した日時に基づいて、同じユーザーを識別し得る情報として、第1の識別情報と第2の識別情報を対応付ける。つまり、第1の日時において取得された第1の識別情報とその第1の日時に対応する第2の日時において取得された第2の識別情報との組み合わせと同じ組み合わせが、その第1の日時とは異なる第3の日時において取得されている場合は、その組み合わせの第1の識別情報と第2の識別情報を対応付ける。また、場所の情報を用いる場合は、マッチングモジュール109は、第1の日時及び場所において取得された第1の識別情報とその第1の日時及び場所に対応する第2の日時及び場所において取得された第2の識別情報との組み合わせと同じ組み合わせが、その第1の日時及び場所とは異なる第3の日時及び場所において取得されている場合は、その組み合わせの第1の識別情報と第2の識別情報を対応付ける。
具体的には、マッチングモジュール109は、記憶装置102に格納された無線端末101の第1の識別情報と第2の識別情報の対応を取り、無線端末識別子−識別子対応データ110として、記憶装置102に格納する。
無線端末識別子−識別子対応データ110は、マッチングモジュール109、人物追跡モジュール111からアクセスされ、マッチングモジュール109によって対応付けされた第1の識別情報と第2の識別情報であり、ここでの例では、無線端末101の識別子と識別子の2カラムからなるデータである。
人物行動追跡モジュール111は、記憶装置102と接続されており、無線端末識別子−識別子対応データ110、無線端末識別子−時刻−場所データ105にアクセスする。人物追跡モジュール111は、マッチングモジュール109による対応付け結果(無線端末識別子−識別子対応データ110)に基づいて、無線端末識別子−時刻−場所データ105からユーザーがいた場所と日時を抽出する。つまり、ある識別情報を持つ人物の行動(いつどこにいたか)を追跡する。
図2は、本実施の形態による処理例を示すフローチャートである。ここでは、具体例として、複数店舗を持つ小売店を仮定して説明する。さらに、第1の識別情報として、無線端末101の識別子、第2の識別情報として、店舗内に設置された監視カメラから抽出できる顔画像の画像特徴を想定する。
ステップS202では、無線端末識別子収集モジュール104が、無線端末101の識別子を収集する。個々の店舗に設置された無線フレームキャプチャ装置103の一定範囲内に入った無線端末101の識別子をすべて収集する。
具体的には、無線端末101が無線LAN端末の場合なら、無線LAN端末が特定のESSIDを持つアクセスポイントを探す際に送出する「Probe Requestフレーム」をすべて検査し、その中に含まれる無線端末101のMACアドレスを収集し、時刻と店舗名の情報とともに記憶装置102に、無線端末識別子−時刻−場所データ105として格納する。
例として、午前07:00:00に店舗Aで蓄積された無線端末識別子−時刻−場所データ105の例を図3に示す。図3は、無線端末識別子−時刻−場所データ300のデータ構造例を示す説明図である。無線端末識別子−時刻−場所データ300は、時刻欄310、場所欄320、無線端末識別子欄330を有している。時刻欄310は、収集を行った日時を記憶している。場所欄320は、収集を行った場所を記憶している。無線端末識別子欄330は、無線端末101の識別子(第1の識別情報)を記憶している。
ステップS204では、識別子収集モジュール107が、第2の識別情報としての顔画像の画像特徴を収集する。個々の店舗に設置された識別子収集装置106で第2の識別情報をすべて収集する。本例の場合は、店舗内に設置された監視カメラから得られる画像に対して、既知の顔検出処理を行い、人物の顔領域を検出して収集する。画像特徴とは、顔検出技術を用いて抽出した顔画像そのもの、又は顔画像認識における特徴抽出技術を用いて抽出した特徴である。
検出された顔画像は、時刻と店舗名の情報とともに記憶装置102に、識別子−時刻−場所データ108として格納する。例として、午前7:00頃に店舗Aで蓄積された顔画像の例(識別子−時刻−場所データ108の一例)を図4に示す。なお、説明の簡便化のため、顔画像は顔文字で表現している。図4は、識別子−時刻−場所データ400のデータ構造例を示す説明図である。識別子−時刻−場所データ400は、時刻欄410、場所欄420、顔画像欄430を有している。時刻欄410は、画像を撮影した日時を記憶している。場所欄420は、その画像を撮影した場所を記憶している。顔画像欄430は、撮影した画像から抽出した顔画像を記憶している。もちろんのことながら、撮影した画像内に複数人がいる場合は、顔画像は複数となる。
ステップS206では、マッチングモジュール109が、無線端末101の識別子と識別子のマッチングを行う。
ステップS206では、予め定められた期間(1日等)、蓄積された無線端末識別子−時刻−場所データ105と識別子−時刻−場所データ108の突き合わせを行い、無線端末識別子(第1の識別情報)と第2の識別情報の対応関係を特定する。
処理の概略としては、ある特定の情報処理装置100の識別子が取得された日時、場所に現れた第2の識別情報を比較し、共通に現れる第2の識別情報をその無線端末101の識別子と対応付けるというものである。ここで、日時、場所は、完全一致である必要はない。第1の識別情報を取得した日時、場所と、第2の識別情報を取得した日時、場所とが完全に同じとは限らないからである。したがって、第1の識別情報を取得した「日時又は場所に対応する日時又は場所」で取得した第2の識別情報であればよい。例えば、後述するように、第2の識別情報を取得した日時は、範囲を持って比較されている。また、取得した日時間の差分が予め定められた閾値未満又は以下であることで対応しているか否かを判断してもよい。場所については、この例では、場所名(店舗A等)を用いているので、完全一致の例であるが、例えば、場所を緯度、経度で示す場合は、範囲、又は2点間の距離が予め定められた閾値未満又は以下であることで対応しているか否かを判断してもよい。なお、もちろんのことながら、ここでの「対応する」とは、完全一致の場合も含む。
以下、具体例を示す。
ここでは、無線端末101の識別子AAに対応する顔画像を探索する例である。
まず、7月10日に、無線端末識別子AAが取得された日時と場所の情報を無線端末識別子−時刻−場所データ105(無線端末識別子−時刻−場所データ300)から抽出する。その結果の例を図5に示す。図5は、無線端末識別子−時刻−場所抽出データ500のデータ構造例を示す説明図である。無線端末識別子−時刻−場所抽出データ500は、時刻欄510、場所欄520、無線端末識別子欄530を有している。時刻欄510は、取得を行った日時を記憶している。場所欄520は、収集を行った場所を記憶している。無線端末識別子欄530は、無線端末101の識別子を記憶している。無線端末識別子−時刻−場所データ300と同等のデータ構造を有しているが、無線端末101の識別子AAのデータを抽出した結果である。また、無線端末101の識別子AAが予め定められた期間毎(例えば、1時間毎)に、その場所で最初に抽出されたデータを抽出している。無線端末101が無線フレームキャプチャ装置103の近辺にいる場合は、常時、無線端末101の識別子を取得することになるので、ステップS206の処理に必要なデータだけを抽出するものである。
次に、無線端末101の識別子「AA」が取得された付近の日時(例えば前後1分、もちろんのことながら、その日時ちょうどでもよい)、場所で取得された顔画像を識別子−時刻−場所データ108から抽出する。その結果の例を図6に示す。図6は、識別子−時刻−場所抽出データ600のデータ構造例を示す説明図である。識別子−時刻−場所抽出データ600は、時刻欄610、場所欄620、顔画像欄630を有している。時刻欄610は、画像を撮影した日時を記憶している。場所欄620は、その画像を撮影した場所を記憶している。顔画像欄630は、撮影した画像から抽出した顔画像を記憶している。識別子−時刻−場所データ400と同等のデータ構造を有しているが、時刻欄610は、前述したように期間を表わしている。したがって、顔画像欄630には、複数の顔画像が記憶されやすいこととなる。また、時刻欄610内の日時は、無線端末識別子−時刻−場所抽出データ500の時刻欄510内の日時に対応した日時(この例では、時刻欄510の日時を含む範囲の日時)であり、場所欄620内の場所は、無線端末識別子−時刻−場所抽出データ500の場所欄520に対応した場所(この例では、一致)である。
そして、上記の結果(識別子−時刻−場所抽出データ600)の中から共通する顔画像を特定する。なお、顔画像同士が同一であるか否かは、既知の顔照合技術を用いればよい。
この例の場合、共通する顔画像として「(*^_^*)」が抽出される。
次に、顔画像「(*^_^*)」を無線端末識別子「AA」と対応付けて、無線端末識別子−識別子対応データ110として、記憶装置102に格納する。
この例の場合、まず、ある特定の無線端末の識別子で絞ってから、その無線端末の識別子が現れた付近の時刻・場所に現れた顔画像から共通する顔画像を探索したが、この順序を逆にしてもよい。まず、ある特定の顔画像で絞ってから、その顔画像が現れた付近の時刻・場所に現れた無線端末の識別子から共通する無線端末の識別子を探索するようにしてもよい。つまり、無線端末101と顔画像の組み合わせと同じ組み合わせを異なる日時から探索することと同義の処理であれば、どのような処理であってもよい。
なお、1店舗のみしか考慮しない場合、場所情報は考慮しなくてもよい。本実施の形態のように多店舗を考慮する場合でも、場所情報は必須ではないが、場所情報を加えることで、その日時に取得された顔画像をピックアップする際に、場所の異なる顔を排除できるので、顔情報の照合誤りを減少させることができる。
もし、すべての日時(識別子−時刻−場所抽出データ600の各行)において共通する顔画像がない場合、n回以上出現し、かつ、最も多く出現する顔画像を選出するようにしてもよい。ただし、nは1以上の整数である変数である。
ステップS208では、人物追跡モジュール111が、人物行動の追跡を行う。なお、この処理はオプション(必ずしも行う必要がある処理ではない)である。ステップS208では、ある特定の識別子の人物がいつどこに移動したかの情報を提示する。
この例の場合、顔画像「(*^_^*)」の人物の行動を提示する場合、まず、無線端末識別子−識別子対応データ110から、その顔画像に対応する無線端末識別子「AA」を取得する。
次に、無線端末識別子−時刻−場所データ105から無線端末識別子「AA」を含むデータのみを抽出すると、顔画像「(*^_^*)」の行動が判明する。具体的には、
「07:00:00 店舗A → 19:00:00 店舗B → 23:00:00 店舗A」
のように移動したことがわかる。
また、ステップS206の処理を行った後であれば、無線端末101の識別子を取得をするだけで、顔画像「(*^_^*)」の行動を追跡することができるようになる。
次に、マッチングモジュール109の別の処理について説明する。
無線端末101が複数の人物(例えば、父親と娘等)で共用されて使用されることがある。マッチングモジュール109は、このような場合に、それらの人物の間に何らかの関係性があると判定し、対応付けの処理を行う。
以下、簡単のため、場所情報を省くが、場所情報を含む場合でも、前述したマッチングモジュール109と同様に扱えばよい。
今回、例えば、7月15日に、無線端末101の識別子AAが取得された日時の情報を無線端末識別子−時刻−場所データ105から抽出した結果の例を無線端末識別子−時刻−場所抽出データ700に示す。図7は、無線端末識別子−時刻−場所抽出データ700のデータ構造例を示す説明図である。無線端末識別子−時刻−場所抽出データ700は、時刻欄710、無線端末識別子欄720、を有している。時刻欄710は、無線端末101の識別子を取得した日時を記憶している。無線端末識別子欄720は、その日時に取得された無線端末101の識別子を記憶している。
その日時付近に取得された顔画像を識別子−時刻−場所データ108から抽出する。今回、抽出した結果の例を識別子−時刻−場所抽出データ800に示す。これをテーブルAと呼ぶものとする。図8は、識別子−時刻−場所抽出データ800のデータ構造例を示す説明図である。識別子−時刻−場所抽出データ800は、時刻欄810、顔画像欄820を有している。時刻欄810は、画像を撮影した日時を記憶している。この時刻欄810は、時刻欄710に対応する日時である。顔画像欄820は、その日時に撮影した顔画像を記憶している。この例の場合、各日時(識別子−時刻−場所抽出データ800の各行)のすべてにおいて共通する顔画像はない。
図10の例に示すアルゴリズムで処理を行い、出力された顔画像が複数個あれば、それらを関係がある可能性ありとして出力する。
図9は、本実施の形態による処理例を示すフローチャートである。このフローチャートは、図2の例に示したフローチャートのステップS206が異なり、他は同等の処理を行うものである。
ステップS902では、無線端末識別子収集モジュール104が、無線端末101の識別子を収集する。
ステップS904では、識別子収集モジュール107が、画像特徴を収集する。
ステップS906では、マッチングモジュール109が、関連性のある画像特徴を抽出する。ステップS906の処理については、図10の例を用いて説明する。
ステップS908では、人物追跡モジュール111が、人物行動の追跡を行う。ここでの行動追跡の対象は、ステップS906で関連性があると認められた複数人の組である。
図10は、本実施の形態による処理例(ステップS906)を示すフローチャートである。識別子−時刻−場所抽出データ800の時刻欄810の日時において取得された顔画像のうちで、それぞれ複数取得された複数の顔画像を関係性があるとし、無線端末101の識別子とその複数の顔画像を対応付けるものである。
図10は、関係性の可能性がある顔画像の抽出例を示すフローチャートである。
ステップS1002では、テーブルA(識別子−時刻−場所抽出データ800)のエントリ数>minであるか否かを判断し、テーブルAのエントリ数>minである場合はステップS1004へ進み、それ以外の場合はステップS1010へ進む。minは、1以上の整数とする。
ステップS1004では、顔画像毎にテーブルAに出現するエントリ数を計数する。
ステップS1006では、最も多く出現する顔画像を出力する。
ステップS1008では、最も多く出現する顔画像を含むエントリをテーブルAから削除する。テーブルAの行数が削減されることとなる。
ステップS1010では、ステップS1006で出力された顔画像が複数であるか否かを判断し、複数である場合はステップS1012へ進み、それ以外の場合はステップS1014へ進む。
ステップS1012では、関係性の可能性がある顔画像として出力する。図8の例では、3回出現した「(*^_^*)」、2回出現した「(!_!)」が関係性の可能性がある顔画像である。
ステップS1014では、「関係性がある可能性のある顔画像はない」と判断する。
なお、前述の実施の形態では、無線端末識別子収集モジュール104が無線LAN端末のMACアドレスを収集するとしたが、第1の識別情報として、無線LAN以外の無線端末のID、例えば、BluetoothやRFIDタグ等のIDでもよい。さらには、無線端末でなくとも、ユーザーが所持している物であって、その物又はその物の所持者であるユーザーを識別する識別情報が、収集可能であればよい。例えば、非接触型又は接触型のICカード等によるポイントカードが該当する。さらに、バーコード(2次元バーコード等を含む)、英数字が記載されたカードであってもよい。この場合、図1に例示した無線フレームキャプチャ装置103はカード読み取り装置となり、より具体的には、バーコード読み取り機能、文字認識機能等を有している。
また、第2の識別情報として、前述したようにユーザーを撮影した画像の一部(顔画像、服の画像等)の他に、前述したカード等のID、指紋等の生体情報等であってもよい。第2の識別情報は、第1の識別情報とは異なる識別情報である。なお、指紋等は、部屋、ビル等の出入り口に備えられている入退室検知装置(フラッパーゲートともいわれる)等で取得されるものが該当する。
第1の識別情報と第2の識別情報との組み合わせとして、具体例を挙げると、携帯情報端末のMACアドレスと顔画像、RFIDタグのIDと顔画像、ポイントカードのIDと顔画像、携帯情報端末のMACアドレスとポイントカードのID、RFIDタグのIDとポイントカードのID、ポイントカードのIDと他のポイントカードのID、携帯情報端末のMACアドレスと指紋情報等がある。これによって、一方の識別情報を検知した場合は、他方の識別情報を取得できるようになる。
図11は、本実施の形態による処理例を示すフローチャートである。第1の識別情報(識別情報A)と第2の識別情報(識別情報B)について、図2の例に示したフローチャートに該当するものである。
ステップS1102では、識別情報A収集モジュールが、識別情報Aを収集する。例えば、カード読み取り装置から受け取る。
ステップS1104では、識別情報B収集モジュールが、識別情報Bを収集する。例えば、カメラから画像を受け取る。
ステップS1106では、マッチングモジュール109が、識別情報Aと識別情報Bのマッチングを行う。
ステップS1108では、人物追跡モジュール111が、人物行動の追跡を行う。
図12は、本実施の形態による処理例を示すフローチャートである。第1の識別情報(識別情報A)と第2の識別情報(識別情報B)について、図9の例に示したフローチャートに該当するものである。
ステップS1202では、識別情報A収集モジュールが、識別情報Aを収集する。
ステップS1204では、識別情報B収集モジュールが、識別情報Bを収集する。
ステップS1206では、マッチングモジュール109が、関連性のある識別情報Bを抽出する。
ステップS1208では、人物追跡モジュール111が、人物行動の追跡を行う。
ここまでの説明では、第1の識別情報と第2の識別情報の対応付けは、1対1又は1対n(例えば、父親と娘)の関係について述べた。しかし、これに限らず、第1の識別情報と第2の識別情報の対応付けを、n対mの関係で行うことも可能である。なお、n、mは、1以上の整数であり、nとmが同じ数値であってもよい。
例えば、第2の識別情報として、従業員や学生の制服を用いることもできる。この場合、無線フレームキャプチャ装置103でキャプチャした、複数の従業員等がそれぞれ保有する無線端末の第1の識別情報と、識別子収集装置106で収集した、複数の従業員の制服から収集した複数の第2の識別情報と、を用いて、別の日時(又は別の日時かつ別の場所)において、同じ組み合わせが取得されていれば、その組み合わせの第1の識別情報と第2の識別情報を対応づける。
なお、本実施の形態としてのプログラムが実行されるコンピュータのハードウェア構成は、図13に例示するように、一般的なコンピュータであり、具体的にはパーソナルコンピュータ、サーバーとなり得るコンピュータ等である。つまり、具体例として、処理部(演算部)としてCPU1301を用い、記憶装置としてRAM1302、ROM1303、HD1304を用いている。HD1304として、例えばハードディスクを用いてもよい。無線端末識別子収集モジュール104、識別子収集モジュール107、マッチングモジュール109、人物追跡モジュール111等のプログラムを実行するCPU1301と、そのプログラムやデータを記憶するRAM1302と、本コンピュータを起動するためのプログラム等が格納されているROM1303と、補助記憶装置(フラッシュメモリ等であってもよい)であるHD1304と、キーボード、マウス、タッチパネル等に対する利用者の操作に基づいてデータを受け付ける受付装置1306と、CRT、液晶ディスプレイ等の出力装置1305と、ネットワークインタフェースカード等の通信ネットワークと接続するための通信回線インタフェース1307、そして、それらをつないでデータのやりとりをするためのバス1308により構成されている。これらのコンピュータが複数台互いにネットワークによって接続されていてもよい。
前述の実施の形態のうち、コンピュータ・プログラムによるものについては、本ハードウェア構成のシステムにソフトウェアであるコンピュータ・プログラムを読み込ませ、ソフトウェアとハードウェア資源とが協働して、前述の実施の形態が実現される。
なお、図13に示すハードウェア構成は、1つの構成例を示すものであり、本実施の形態は、図13に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア(例えばASIC等)で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図13に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、特に、パーソナルコンピュータの他、情報家電、複写機、ファックス、スキャナ、プリンタ、複合機(スキャナ、プリンタ、複写機、ファックス等のいずれか2つ以上の機能を有している画像処理装置)などに組み込まれていてもよい。
なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク(DVD)であって、DVDフォーラムで策定された規格である「DVD−R、DVD−RW、DVD−RAM等」、DVD+RWで策定された規格である「DVD+R、DVD+RW等」、コンパクトディスク(CD)であって、読出し専用メモリ(CD−ROM)、CDレコーダブル(CD−R)、CDリライタブル(CD−RW)等、ブルーレイ・ディスク(Blu−ray(登録商標) Disc)、光磁気ディスク(MO)、フレキシブルディスク(FD)、磁気テープ、ハードディスク、読出し専用メモリ(ROM)、電気的消去及び書換可能な読出し専用メモリ(EEPROM(登録商標))、フラッシュ・メモリ、ランダム・アクセス・メモリ(RAM)、SD(Secure Digital)メモリーカード等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク(LAN)、メトロポリタン・エリア・ネットワーク(MAN)、ワイド・エリア・ネットワーク(WAN)、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して
記録されていてもよい。また、圧縮や暗号化など、復元可能であればどのような態様で記録されていてもよい。
100…情報処理装置
101…無線端末
102…記憶装置
103…無線フレームキャプチャ装置
104…無線端末識別子収集モジュール
105…無線端末識別子−時刻−場所データ
106…識別子収集装置
107…識別子収集モジュール
108…識別子−時刻−場所データ
109…マッチングモジュール
110…無線端末識別子−識別子対応データ
111…人物追跡モジュール
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項1の発明は、第1の日時に複数の無線端末から該無線端末毎に第1の識別情報を取得する第1の取得手段と、人を識別し得る第2の識別情報を取得する第2の取得手段と、第1の日時に取得された第1の識別情報と該第1の日時に対応する第2の日時に取得された第2の識別情報との組み合わせと同じ組み合わせが、該第1の日時とは異なる第3の日時に取得されている場合は、該組み合わせの第1の識別情報と第2の識別情報を対応付ける対応付手段を具備する情報処理装置である。
請求項2の発明は、前記対応付手段は、第1の日時及び場所に取得された第1の識別情報と該第1の日時及び場所に対応する第2の日時及び場所に取得された第2の識別情報との組み合わせと同じ組み合わせが、該第1の日時及び場所とは異なる第3の日時及び場所に取得されている場合は、該組み合わせの第1の識別情報と第2の識別情報を対応付ける請求項1に記載の情報処理装置である。
請求項3の発明は、前記対応付手段による対応付け結果に基づいて、前記人がいた場所と日時を抽出する抽出手段をさらに具備する請求項2に記載の情報処理装置である。
請求項4の発明は、前記対応付手段は、前記第2の日時に取得された前記第2の識別情報のうちで、それぞれ複数取得された複数の第2の識別情報を関係性があるとし、前記第1の識別情報と該複数の第2の識別情報を対応付ける請求項1から3のいずれか一項に記載の情報処理装置である。
請求項5の発明は、コンピュータを、第1の日時に複数の無線端末から該無線端末毎に第1の識別情報を取得する第1の取得手段と、人を識別し得る第2の識別情報を取得する第2の取得手段と、第1の日時に取得された第1の識別情報と該第1の日時に対応する第2の日時に取得された第2の識別情報との組み合わせと同じ組み合わせが、該第1の日時とは異なる第3の日時に取得されている場合は、該組み合わせの第1の識別情報と第2の識別情報を対応付ける対応付手段として機能させるための情報処理プログラムである。
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項1の発明は、第1日時に第1場所で第1識別情報を取得する第1取得手段と、第1日時と対応する第2日時に第1場所に対応する第2場所で、の画像である第2識別情報を取得する第2取得手段と、第3日時に第3場所で第3識別情報を取得する第3取得手段と、第3日時と対応する第4日時に第3場所に対応する第4場所で、人の画像である第4識別情報を取得する第4取得手段と、第1識別情報と第2識別情報との組み合わせと第3識別情報と第4識別情報との組み合わせが同じである場合は、第1識別情報と第2識別情報を対応付ける対応付手段をする情報処理装置である。
請求項2の発明は、前記第3識別情報と前記第4識別情報との組み合わせは、第1日時及び第2日時とは異なる日時である第3日時に第1場所及び第2場所とは異なる場所である第3場所で取得されたものである、請求項1に記載の情報処理装置である。
請求項3の発明は、第1日時に第1場所で人の画像である第1識別情報を取得する第1取得手段と、第1日時と対応する第2日時に第1場所に対応する第2場所で、第2識別情報を取得する第2取得手段と、第3日時に第3場所で人の画像である第3識別情報を取得する第3取得手段と、第3日時と対応する第4日時に第3場所に対応する第4場所で、第4識別情報を取得する第4取得手段と、第1識別情報と第2識別情報との組み合わせと第3識別情報と第4識別情報との組み合わせが同じである場合は、第1識別情報と第2識別情報を対応付ける対応付手段を有する情報処理装置である。
請求項4の発明は、前記第3識別情報と前記第4識別情報との組み合わせは、第1日時及び第2日時とは異なる日時である第3日時に第1場所及び第2場所とは異なる場所である第3場所で取得されたものである、請求項3に記載の情報処理装置である。
請求項の発明は、前記対応付手段による対応付け結果に基づいて、前記人がいた場所と日時を抽出する抽出手段をさらにする請求項1から4のいずれか一項に記載の情報処理装置である。
請求項の発明は、前記対応付手段は、前記第2日時において取得された前記第2識別情報のうちで、それぞれ異なる複数の第2日時において複数取得された第2識別情報が複数ある場合、該複数の第2識別情報を関係性があるとし、前記第1識別情報と該複数の第2識別情報を対応付ける請求項1からのいずれか一項に記載の情報処理装置である。
請求項7の発明は、第1日時に第1場所で第1識別情報と、第1日時と対応する第2日時に第1場所に対応する第2場所で人の画像である第2識別情報を取得する第1取得手段と、第3日時に第3場所で第3識別情報と、第3日時と対応する第4日時に第3場所に対応する第4場所で人の画像である第4識別情報を取得する第2取得手段と、第1識別情報と第2識別情報の対と第3識別情報と第4識別情報の対が同じである場合は、第1識別情報と第2識別情報を対応付ける対応付手段を有する情報処理装置である。
請求項8の発明は、第1日時に第1場所で人の画像である第1識別情報と、第1日時と対応する第2日時に第1場所に対応する第2場所で第2識別情報を取得する第1取得手段と、第3日時に第3場所で人の画像である第3識別情報と、第3日時と対応する第4日時に第3場所に対応する第4場所で第4識別情報を取得する第2取得手段と、第1識別情報と第2識別情報の対と第3識別情報と第4識別情報の対が同じである場合は、第1識別情報と第2識別情報を対応付ける対応付手段を有する情報処理装置である。
請求項9の発明は、第1識別情報を収集する第1収集手段と、人の画像である第2識別情報を収集する第2収集手段と、第1日時に第1場所で第1識別情報が収集され、第1日時に対応する第2日時に第1場所と対応する第2場所で第2識別情報が収集された場合に、第3日時に第3場所で前記第1識別情報が収集され、第3日時に対応する第4日時に第3場所に対応する第4場所で前記第2識別情報が収集されたとき、第1識別情報と第2識別情報を対応付ける対応付手段、を有する情報処理装置である。
請求項10の発明は、人の画像である第1識別情報を収集する第1収集手段と、第2識別情報を収集する第2収集手段と、第1日時に第1場所で第1識別情報が収集され、第1日時に対応する第2日時に第1場所と対応する第2場所で第2識別情報が収集された場合に、第3日時に第3場所で前記第1識別情報が収集され、第3日時に対応する第4日時に第3場所に対応する第4場所で前記第2識別情報が収集されたとき、第1識別情報と第2識別情報を対応付ける対応付手段、を有する情報処理装置である。
請求項11の発明は、コンピュータを、第1日時に第1場所で第1識別情報を取得する第1取得手段と、第1日時と対応する第2日時に第1場所に対応する第2場所で、の画像である第2識別情報を取得する第2取得手段と、第3日時に第3場所で第3識別情報を取得する第3取得手段と、第3日時と対応する第4日時に第3場所に対応する第4場所で、人の画像である第4識別情報を取得する第4取得手段と、第1識別情報と第2識別情報との組み合わせと第3識別情報と第4識別情報との組み合わせが同じである場合は、第1識別情報と第2識別情報を対応付ける対応付手段として機能させるための情報処理プログラムである。
請求項12の発明は、コンピュータを、第1日時に第1場所で人の画像である第1識別情報を取得する第1取得手段と、第1日時と対応する第2日時に第1場所に対応する第2場所で、第2識別情報を取得する第2取得手段と、第3日時に第3場所で人の画像である第3識別情報を取得する第3取得手段と、第3日時と対応する第4日時に第3場所に対応する第4場所で、第4識別情報を取得する第4取得手段と、第1識別情報と第2識別情報との組み合わせと第3識別情報と第4識別情報との組み合わせが同じである場合は、第1識別情報と第2識別情報を対応付ける対応付手段として機能させるための情報処理プログラムである。
請求項13の発明は、コンピュータを、第1日時に第1場所で第1識別情報と、第1日時と対応する第2日時に第1場所に対応する第2場所で人の画像である第2識別情報を取得する第1取得手段と、第3日時に第3場所で第3識別情報と、第3日時と対応する第4日時に第3場所に対応する第4場所で人の画像である第4識別情報を取得する第2取得手段と、第1識別情報と第2識別情報の対と第3識別情報と第4識別情報の対が同じである場合は、第1識別情報と第2識別情報を対応付ける対応付手段として機能させるための情報処理プログラムである。
請求項14の発明は、コンピュータを、第1日時に第1場所で人の画像である第1識別情報と、第1日時と対応する第2日時に第1場所に対応する第2場所で第2識別情報を取得する第1取得手段と、第3日時に第3場所で人の画像である第3識別情報と、第3日時と対応する第4日時に第3場所に対応する第4場所で第4識別情報を取得する第2取得手段と、第1識別情報と第2識別情報の対と第3識別情報と第4識別情報の対が同じである場合は、第1識別情報と第2識別情報を対応付ける対応付手段として機能させるための情報処理プログラムである。
請求項15の発明は、コンピュータを、第1識別情報を収集する第1収集手段と、人の画像である第2識別情報を収集する第2収集手段と、第1日時に第1場所で第1識別情報が収集され、第1日時に対応する第2日時に第1場所と対応する第2場所で第2識別情報が収集された場合に、第3日時に第3場所で前記第1識別情報が収集され、第3日時に対応する第4日時に第3場所に対応する第4場所で前記第2識別情報が収集されたとき、第1識別情報と第2識別情報を対応付ける対応付手段、として機能させるための情報処理プログラムである。
請求項16の発明は、コンピュータを、人の画像である第1識別情報を収集する第1収集手段と、第2識別情報を収集する第2収集手段と、第1日時に第1場所で第1識別情報が収集され、第1日時に対応する第2日時に第1場所と対応する第2場所で第2識別情報が収集された場合に、第3日時に第3場所で前記第1識別情報が収集され、第3日時に対応する第4日時に第3場所に対応する第4場所で前記第2識別情報が収集されたとき、第1識別情報と第2識別情報を対応付ける対応付手段、として機能させるための情報処理プログラムである。
請求項1の情報処理装置によれば、第1識別情報と人の画像である第2識別情報とを対応付けることができる。
請求項2の情報処理装置によれば、日時と場所を用いて、第1識別情報と第2識別情報を対応付けることができる。
請求項3の情報処理装置によれば、人の画像である第1識別情報と第2識別情報とを対応付けることができる。
請求項4の情報処理装置によれば、日時と場所を用いて、第1識別情報と第2識別情報を対応付けることができる。
請求項の情報処理装置によれば、人がいた日時と場所を追跡することができる。
請求項の情報処理装置によれば、複数の第2識別情報を関係性があるとし、第1識別情報とその複数の第2識別情報を対応付けることができる。
請求項7の情報処理装置によれば、第1識別情報と人の画像である第2識別情報とを対応付けることができる。
請求項8の情報処理装置によれば、第1識別情報と人の画像である第2識別情報とを対応付けることができる。
請求項9の情報処理装置によれば、第1識別情報と人の画像である第2識別情報とを対応付けることができる。
請求項10の情報処理装置によれば、第1識別情報と人の画像である第2識別情報とを対応付けることができる。
請求項11の情報処理プログラムによれば、第1識別情報と人の画像である第2識別情報とを対応付けることができる。
請求項12の情報処理プログラムによれば、人の画像である第1識別情報と第2識別情報とを対応付けることができる。
請求項13の情報処理プログラムによれば、第1識別情報と人の画像である第2識別情報とを対応付けることができる。
請求項14の情報処理プログラムによれば、第1識別情報と人の画像である第2識別情報とを対応付けることができる。
請求項15の情報処理プログラムによれば、第1識別情報と人の画像である第2識別情報とを対応付けることができる。
請求項16の情報処理プログラムによれば、第1識別情報と人の画像である第2識別情報とを対応付けることができる。

Claims (5)

  1. 人が所持している物に記憶されている第1の識別情報を取得する第1の取得手段と、
    人を識別し得る第2の識別情報を取得する第2の取得手段と、
    第1の日時において取得された第1の識別情報と該第1の日時に対応する第2の日時において取得された第2の識別情報との組み合わせと同じ組み合わせが、該第1の日時とは異なる第3の日時において取得されている場合は、該組み合わせの第1の識別情報と第2の識別情報を対応付ける対応付手段
    を具備することを特徴とする情報処理装置。
  2. 前記対応付手段は、第1の日時及び場所において取得された第1の識別情報と該第1の日時及び場所に対応する第2の日時及び場所において取得された第2の識別情報との組み合わせと同じ組み合わせが、該第1の日時及び場所とは異なる第3の日時及び場所において取得されている場合は、該組み合わせの第1の識別情報と第2の識別情報を対応付ける
    ことを特徴とする請求項1に記載の情報処理装置。
  3. 前記対応付手段による対応付け結果に基づいて、前記人がいた場所と日時を抽出する抽出手段
    をさらに具備することを特徴とする請求項2に記載の情報処理装置。
  4. 前記対応付手段は、前記第2の日時において取得された前記第2の識別情報のうちで、それぞれ複数取得された複数の第2の識別情報を関係性があるとし、前記第1の識別情報と該複数の第2の識別情報を対応付ける
    ことを特徴とする請求項1から3のいずれか一項に記載の情報処理装置。
  5. コンピュータを、
    人が所持している物に記憶されている第1の識別情報を取得する第1の取得手段と、
    人を識別し得る第2の識別情報を取得する第2の取得手段と、
    第1の日時において取得された第1の識別情報と該第1の日時に対応する第2の日時において取得された第2の識別情報との組み合わせと同じ組み合わせが、該第1の日時とは異なる第3の日時において取得されている場合は、該組み合わせの第1の識別情報と第2の識別情報を対応付ける対応付手段
    として機能させるための情報処理プログラム。
JP2013269104A 2013-12-26 2013-12-26 情報処理装置及び情報処理プログラム Active JP5751321B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2013269104A JP5751321B2 (ja) 2013-12-26 2013-12-26 情報処理装置及び情報処理プログラム
SG11201602842YA SG11201602842YA (en) 2013-12-26 2014-05-19 Information processing apparatus, information processing program, recording medium, and information processing method
PCT/JP2014/063175 WO2015098144A1 (ja) 2013-12-26 2014-05-19 情報処理装置、情報処理プログラム、記録媒体及び情報処理方法
CN201480056914.8A CN105659279B (zh) 2013-12-26 2014-05-19 信息处理设备和信息处理方法
US15/060,915 US9947105B2 (en) 2013-12-26 2016-03-04 Information processing apparatus, recording medium, and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013269104A JP5751321B2 (ja) 2013-12-26 2013-12-26 情報処理装置及び情報処理プログラム

Publications (2)

Publication Number Publication Date
JP2015125575A true JP2015125575A (ja) 2015-07-06
JP5751321B2 JP5751321B2 (ja) 2015-07-22

Family

ID=53478036

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013269104A Active JP5751321B2 (ja) 2013-12-26 2013-12-26 情報処理装置及び情報処理プログラム

Country Status (5)

Country Link
US (1) US9947105B2 (ja)
JP (1) JP5751321B2 (ja)
CN (1) CN105659279B (ja)
SG (1) SG11201602842YA (ja)
WO (1) WO2015098144A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022249269A1 (ja) * 2021-05-25 2022-12-01 日本電気株式会社 データ処理装置、データ処理方法及び非一時的なコンピュータ可読媒体

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104992075B (zh) * 2015-07-30 2018-07-13 浙江宇视科技有限公司 一种基于大数据的多源信息关联方法和装置
CN106878666B (zh) * 2015-12-10 2020-04-28 杭州海康威视数字技术股份有限公司 基于监控摄像机来查找目标对象的方法、装置和系统
CN108694216B (zh) * 2017-04-12 2020-11-27 杭州海康威视数字技术股份有限公司 一种多源对象关联方法及装置
CN109120272B (zh) * 2018-07-16 2021-09-28 南京航空航天大学 一种面向离散制造车间的rfid标签数据压缩方法
CN109002552A (zh) * 2018-08-07 2018-12-14 深圳市携网科技有限公司 逃逸跟踪方法、装置、计算机设备及存储介质
CN109376597A (zh) * 2018-09-17 2019-02-22 深圳达闼科技控股有限公司 一种检测信息获取方法及相关装置
CN109714710A (zh) * 2019-03-06 2019-05-03 中国人民解放军陆军工程大学 一种非主动配合人员大范围轨迹采集方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011039959A (ja) * 2009-08-18 2011-02-24 Hitachi Kokusai Electric Inc 監視システム
US20120315839A1 (en) * 2009-12-30 2012-12-13 Meterlive Ltd. Analyzing audiences at public venues
JP2013072858A (ja) * 2011-09-29 2013-04-22 Panasonic Corp 移動体位置推定装置、移動体位置推定方法、及び、移動体位置推定プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6806978B1 (en) * 1999-05-14 2004-10-19 Konica Corporation Image pick-up printing apparatus
JP2003281157A (ja) 2002-03-19 2003-10-03 Toshiba Corp 人物検索システム、人物追跡システム、人物検索方法および人物追跡方法
US8547437B2 (en) * 2002-11-12 2013-10-01 Sensormatic Electronics, LLC Method and system for tracking and behavioral monitoring of multiple objects moving through multiple fields-of-view
US7215359B2 (en) * 2004-09-03 2007-05-08 International Business Machines Corporation Techniques for view control of imaging units
JP2006202062A (ja) 2005-01-20 2006-08-03 Toshiba Corp 施設監視システム
US7738008B1 (en) * 2005-11-07 2010-06-15 Infrared Systems International, Inc. Infrared security system and method
JP4622883B2 (ja) 2006-02-22 2011-02-02 富士通株式会社 映像属性自動付与装置、映像属性自動付与プログラム及び映像属性自動付与方法
JP5262929B2 (ja) 2009-03-31 2013-08-14 富士通株式会社 画像処理プログラムおよび画像処理装置
US10528944B2 (en) * 2012-04-13 2020-01-07 Mastercard International Incorporated Systems, methods, and computer readable media for conducting a transaction using cloud based credentials
US9426358B2 (en) * 2014-03-11 2016-08-23 Nokia Technologies Oy Display of video information

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011039959A (ja) * 2009-08-18 2011-02-24 Hitachi Kokusai Electric Inc 監視システム
US20120315839A1 (en) * 2009-12-30 2012-12-13 Meterlive Ltd. Analyzing audiences at public venues
JP2013072858A (ja) * 2011-09-29 2013-04-22 Panasonic Corp 移動体位置推定装置、移動体位置推定方法、及び、移動体位置推定プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022249269A1 (ja) * 2021-05-25 2022-12-01 日本電気株式会社 データ処理装置、データ処理方法及び非一時的なコンピュータ可読媒体

Also Published As

Publication number Publication date
WO2015098144A1 (ja) 2015-07-02
SG11201602842YA (en) 2016-05-30
US9947105B2 (en) 2018-04-17
CN105659279B (zh) 2020-03-31
CN105659279A (zh) 2016-06-08
JP5751321B2 (ja) 2015-07-22
US20160189395A1 (en) 2016-06-30

Similar Documents

Publication Publication Date Title
JP5751321B2 (ja) 情報処理装置及び情報処理プログラム
US20180247361A1 (en) Information processing apparatus, information processing method, wearable terminal, and program
US20130243249A1 (en) Electronic device and method for recognizing image and searching for concerning information
WO2014144948A1 (en) Visible audiovisual annotation of infrared images using a separate wireless mobile device
CN103765440A (zh) 使用背景信息的移动装置上的光学字符辨识
US9854208B2 (en) System and method for detecting an object of interest
US9891798B2 (en) Face image tracking system
JP2015072578A (ja) 人物特定装置、人物特定方法及びプログラム
KR20140114832A (ko) 사용자 인식 방법 및 장치
US20200097735A1 (en) System and Method for Display of Object Movement Scheme
EP3570207A1 (en) Video cookies
CN109635688B (zh) 基于图像识别管理书架上书籍的方法与系统
US20230156159A1 (en) Non-transitory computer-readable recording medium and display method
JP6112156B2 (ja) 行動分析装置及び行動分析プログラム
De Marsico et al. ES-RU: an e ntropy based rule to s elect r epresentative templates in face su rveillance
JP4838272B2 (ja) 映像インデキシング装置,映像インデキシング方法,映像インデキシングプログラムおよびその記録媒体
JP6773144B2 (ja) コンテンツ選択装置、コンテンツ選択方法、コンテンツ選択システム及びプログラム
US11978240B2 (en) Information processing device and control method thereof
WO2022079841A1 (ja) グループ特定装置、グループ特定方法、及びコンピュータ読み取り可能な記録媒体
JP6112346B2 (ja) 情報収集システム、プログラムおよび情報収集方法
US10614690B2 (en) Management system, server, management device, and management method
WO2016038902A1 (ja) 行動分析装置、行動分析方法、行動分析プログラム、及び記録媒体
CN118015527A (zh) 人物追踪方法、系统、电子设备及存储介质
CN116188578A (zh) 一种轨迹的生成方法及相关设备
CN113935792A (zh) 物品信息展示方法及装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150421

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150504

R150 Certificate of patent or registration of utility model

Ref document number: 5751321

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350