JP2023018113A - 識別方法、識別装置、識別システム及び識別プログラム - Google Patents

識別方法、識別装置、識別システム及び識別プログラム Download PDF

Info

Publication number
JP2023018113A
JP2023018113A JP2022188890A JP2022188890A JP2023018113A JP 2023018113 A JP2023018113 A JP 2023018113A JP 2022188890 A JP2022188890 A JP 2022188890A JP 2022188890 A JP2022188890 A JP 2022188890A JP 2023018113 A JP2023018113 A JP 2023018113A
Authority
JP
Japan
Prior art keywords
person
video
video scene
features
input information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022188890A
Other languages
English (en)
Other versions
JP7380812B2 (ja
Inventor
フイ ラム オング
Hui Lam Ong
智史 山崎
Tomohito Yamazaki
ウェイ ジアン ペー
Wei Jian PEH
ホン イェン オング
Hong Yen Ong
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JP2023018113A publication Critical patent/JP2023018113A/ja
Application granted granted Critical
Publication of JP7380812B2 publication Critical patent/JP7380812B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/732Query formulation
    • G06F16/7335Graphical querying, e.g. query-by-region, query-by-sketch, query-by-trajectory, GUIs for designating a person/face/object as a query predicate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)

Abstract

【課題】或る人物の潜在的な仲間を識別することが可能な識別方法、識別装置、識別システム及び識別プログラムを提供する。【解決手段】コンピュータが、第1の人物の特徴を含む第1の入力情報及び第1の人物と異なる第2の人物の特徴を含む第2の入力情報又は第1の人物の特徴及び第2の人物の特徴を含む第3の入力情報から第1の人物の特徴と第2の人物の特徴を取得し、第1の人物の特徴に基づいて、第1の人物を含む第1の映像シーンを生成し、第2の人物の特徴に基づいて、第2の人物を含む第2の映像シーンを生成し、第1の映像シーン及び第2の映像シーンから、第1の人物及び第2の人物と異なる第3の人物の特徴が取得されたか判定し、第1の映像シーン及び第2の映像シーンから第3の人物の特徴が取得された場合、第3の人物が第1の人物及び第2の人物の潜在的な仲間であると判定する。【選択図】図1

Description

本発明は、一般に、マルチレイヤの潜在的な仲間を発見するための方法、装置、システム及びプログラムに関し、例えば、少なくとも1人の対象人物の潜在的な仲間を識別する方法、装置、システム及びプログラムに関する。
組織化された犯罪グループは、犯罪活動の調整及び計画のために継続的に協同する人物のグループとして定義できる。このグループの構造は様々であり、多くの場合、主要な人物の永続的なコアと、一群の部下、スペシャリスト、及び他の一時的なメンバーと、拡張された仲間のネットワークで構成される。そのようなグループの多くは、特定の犯罪活動のために集まった結び付きの弱い犯罪者のネットワークであり、そのスキルと専門知識に応じて様々な役割を果たす。
組織化された犯罪グループの仲間のネットワークを発見すべく、デジタル/サイバースペースの監視とは別に、現実世界の映像監視システムにより、警察の監視の目を広げ、潜在的な仲間のネットワークを監視及び発見することができる。
本開示の目的の1つは、上述した課題を鑑み、或る人物の潜在的な仲間を識別することが可能な識別方法、識別装置、識別システム及び識別プログラムを提供することである。
例示的な一実施形態に係る方法は、コンピュータが、
第1の人物の特徴を含む第1の入力情報及び第1の人物と異なる第2の人物の特徴を含む第2の入力情報、又は第1の人物の特徴及び第2の人物の特徴を含む第3の入力情報から第1の人物の特徴と第2の人物の特徴を取得し、
第1の人物の特徴に基づいて、第1の人物を含む第1の映像シーンを生成し、
第2の人物の特徴に基づいて、第2の人物を含む第2の映像シーンを生成し、
第1の映像シーン及び第2の映像シーンから、第1の人物及び第2の人物と異なる第3の人物の特徴が検出されたか判定し、
第1の映像シーン及び第2の映像シーンから第3の人物の特徴が検出された場合、第3の人物が第1の人物及び第2の人物の潜在的な仲間であると判定する。
例示的な一実施形態に係る識別装置は、
第1の人物の特徴を含む第1の入力情報及び第1の人物と異なる第2の人物の特徴を含む第2の入力情報、又は第1の人物の特徴及び第2の人物の特徴を含む第3の入力情報から第1の人物の特徴と第2の人物の特徴を取得する特徴取得部と、
第1の人物の特徴に基づいて、第1の人物を含む第1の映像シーンを生成し、第2の人物の特徴に基づいて、第2の人物を含む第2の映像シーンを生成する映像生成部と、
第1の映像シーン及び第2の映像シーンから、第1の人物及び第2の人物と異なる第3の人物の特徴が検出されたか判定する取得判定部と、
第1の映像シーン及び第2の映像シーンから第3の人物の特徴が検出された場合、第3の人物が第1の人物及び第2の人物の潜在的な仲間であると判定する人物判定部とを含む。
例示的な一実施形態に係る識別システムは、
第1の人物の特徴を含む第1の入力情報及び第1の人物と異なる第2の人物の特徴を含む第2の入力情報、又は第1の人物の特徴及び第2の人物の特徴を含む第3の入力情報から第1の人物の特徴と第2の人物の特徴を取得する特徴取得部と、
第1の人物の特徴に基づいて、第1の人物を含む第1の映像シーンを生成し、第2の人物の特徴に基づいて、第2の人物を含む第2の映像シーンを生成する映像生成部と、
第1の映像シーン及び第2の映像シーンから、第1の人物及び第2の人物と異なる第3の人物の特徴が検出されたか判定する取得判定部と、
第1の映像シーン及び第2の映像シーンから第3の人物の特徴が検出された場合、第3の人物が第1の人物及び第2の人物の潜在的な仲間であると判定する人物判定部とを含む。
例示的な一実施形態に係るコンピュータが実行する識別プログラムは、コンピュータに対し、
第1の人物の特徴を含む第1の入力情報及び第1の人物と異なる第2の人物の特徴を含む第2の入力情報、又は第1の人物の特徴及び第2の人物の特徴を含む第3の入力情報から第1の人物の特徴と第2の人物の特徴を取得させ、
第1の人物の特徴に基づいて、第1の人物を含む第1の映像シーンを生成させ、
第2の人物の特徴に基づいて、第2の人物を含む第2の映像シーンを生成させ、
第1の映像シーン及び第2の映像シーンから、第1の人物及び第2の人物と異なる第3の人物の特徴が検出されたか判定させ、
第1の映像シーン及び第2の映像シーンから第3の人物の特徴が検出された場合、第3の人物が第1の人物及び第2の人物の潜在的な仲間であると判定させる。
本開示により、或る人物の潜在的な仲間を識別することが可能な識別方法、識別装置、識別システム及び識別プログラムを提供することができる。
添付の図面は、全ての図を通じて同様の参照番号が同一の構成要素又は機能的に類似する構成要素を示しており、以下の詳細な説明と共に明細書に組み込まれ、明細書の一部を構成し、様々な実施形態を示し、本実施形態の様々な原理及び利点を説明するために用いられる。
図1は、様々な実施形態に係る少なくとも1人の対象人物の潜在的な仲間を識別する方法を示すフロー図を示す。 図2は、様々な実施形態に係る図1に示す方法を実行する識別装置を示す。 図3は、様々な実施形態に係る潜在的な仲間を識別する方法を示すフロー図を示す。 図4は、図3に示す方法の例示的な処理における様々なレイヤを示す図である。 図5は、様々な実施形態に係る少なくとも1人の対象人物の潜在的な仲間を識別する方法を示すフロー図を示す。 図6は、様々な実施形態に係る図5に示す方法を実行する識別装置を示す。 図7は、様々な実施形態に係る単一の場所及び単一の対象人物の映像シーン分析を示す。 図8は、様々な実施形態に係る複数の場所及び複数の対象人物の映像シーン分析を示す。 図9は、様々な実施形態に係る潜在的な仲間が識別される方法を示す図である。 図10は、様々な実施形態に係る例示的な装置を示す。
様々な実施形態は、少なくとも1人の対象人物の潜在的な仲間を識別する装置及び方法を提供する。
現実世界の映像監視システムは、長い間、デジタル/サイバー監視とは別に、犯罪活動を監視し、組織化された犯罪グループの潜在的な仲間を発見するための警察の拡張された目としての役割を果たしている。
映像監視システムは通常、登録された人物を識別するために構築及び配備されるが、より高度な監視システムには、カメラで撮影された人物を追跡及び関連付けて、登録者の繋がりを示すネットワークを構築する能力を有するものもある。映像監視システムは通常、特定の対象人物を識別するために構築及び配備されるが、より高度な監視システムには、撮影された複数の人物を追跡及び関連付けて、登録者の繋がりを示すネットワークを構築する能力を有するものもある。
これらの従来の解決手段は有用かもしれないが、家族や友人、同僚の間の関係を発見することに限定され、又は適している。また、そのような解決手段は、特に、対象人物とその隠れた仲間がカメラで一緒に撮影されていない場合、対象人物の隠れた仲間を発見することができない。例えば、組織化された犯罪グループの主要な人物とその仲間の拡張されたネットワークは、犯罪活動の計画又は実行時に、その繋がりを隠すためにグリッドから離れ、一緒に目撃されることを避ける傾向がある。彼らの多くは、警察によるデジタル追跡によって情報の遣り取りの証拠が取られる可能性のある電話や電子メール、ソーシャルネットワーク(Facebook(登録商標)、Linkedin等)及びインスタントメッセンジャー(whatsapp、line、wechat等)を避けようとする。
さらに、組織化された犯罪グループのメンバーには、彼らの足跡や姿を隠し易い混雑した公共の場で、彼らの拡張された仲間のネットワークと間接的に接触し、遣り取りする者がいる。仲間の中には、誰と遣り取りしているかさえ把握していない者もいるのは当然のことである。例えば、第1の仲間は、第2の仲間によって公共の場所に置かれた物体を回収する必要があることがある。第1の仲間が、物体を回収するために指定された公共の場所に到着するまでに、第2の仲間は既に立ち去っている可能性がある。その場所を監視するように設置された映像監視システムであっても、両者の間に直接の遣り取りがないため、両者が一緒にカメラに写ることはない。
警察にとって、仲間自身さえ把握していない組織化された犯罪グループの仲間のネットワークを発見することは大きな課題である。
そのような慎重な情報の遣り取りの方法が原因で、警察がそのような組織化された犯罪グループの仲間を監視及び発見するのは困難である。
従って、上述した問題に対する解決手段を提供する必要がある。
本発明は、上述した問題に対する解決手段を提供する。対象人物の潜在的な仲間を識別するために、監視カメラによって撮影された映像の分析における分析範囲を、対象人物が監視カメラによって撮影される場所に最初に現れる前の期間と、対象人物が同じ場所に最後に現れた後の別の期間とを含むように拡張することにより、対象人物の未知の仲間を発見することができる。
同じグループに属する複数の対象人物の映像を分析すると、さらに結果が改善される。例えば、未知の人物が、映像の閾値を超える回数現れた場合、未知の人物が対象人物の仲間である可能性が高い。
本発明は、対象人物と潜在的な仲間が映像に同時に現れない場合でも、対象人物の潜在的な仲間を識別することができるため有利である。
複数の対象人物の映像が分析される場合、識別された潜在的な仲間が実際に対象人物の仲間である可能性が高まるため有利である。
仲間自身が把握していない組織化された犯罪グループの仲間のネットワークを発見することができるため有利である。
図1は、様々な実施形態に係る少なくとも1人の対象人物の潜在的な仲間を識別する方法を示すフロー図100である。102では、複数の映像が提供される。複数の映像は、監視カメラ、携帯電話カメラ、CCTV(有線テレビ)カメラ、Webカメラ、又はその他の同様の装置によって撮影された場所の録画とし得る。この場所は、少なくとも1人の対象人物が目撃された場所、行ったこと若しくは頻繁に訪れたことが分かっている場所、又は、少なくとも1人の対象人物が同じ犯罪グループの仲間と遣り取りする可能性のある場所とし得る。複数の映像は、mp4、avi、mkv、wmv、mov又は他の同様の映像フォーマット等のファイルフォーマットとし得る。さらに、複数の映像のそれぞれは、各映像が記録された時刻、日、及び場所を示す。一実施形態では、複数の映像は、1以上のエントリを含むエントリデータベースで処理され、1以上のエントリはそれぞれ、複数の映像における時刻、日、及び場所での人物の出現を表しており、1以上のエントリはそれぞれ、その人物の属性を表す。
104では、複数の動画における少なくとも1人の対象人物の同時出現(換言すれば、複数の映像のうちの1つの映像において、或る人物が、少なくとも1人の対象人物と同時に出現した出来事)が識別される。106では、潜在的な仲間は、複数の映像における少なくとも1人の対象人物との同時出現に基づいて決定される。
108では、潜在的な仲間との同時出現は、複数の映像において識別され得る。例えば、処理は、上述したステップ104の処理と同様又は同一の処理とすることができるが、(少なくとも1人の対象人物の代わりに)潜在的な仲間が識別の対象となる。110では、更なる潜在的な仲間が、複数の映像における潜在的な仲間の更なる同時出現に基づいて決定される。図1に示していない次のステップでは、(少なくとも1人の対象人物又は潜在的な仲間の代わりに)更なる潜在的な仲間を識別の対象として、ステップ104,106,108,110と同様又は同一の処理が実行される。
さらに、複数の映像における潜在的な仲間の同時出現が、複数の映像における少なくとも1人の対象人物の同時出現に含まれない同時出現を含むか否か判断することができる。
複数の映像における潜在的な仲間の同時出現が、複数の映像における少なくとも1人の対象人物の同時出現に含まれていない同時出現を含むと判断された場合、複数の映像の潜在的な仲間の更なる同時出現のみに基づいて、更なる潜在的な仲間を決定することができる。
複数の映像における潜在的な仲間の同時出願が、複数の映像における少なくとも1人の対象人物との同時出現に含まれていない同時出現を含まないと判断された場合、複数の映像における少なくとも1人の対象人物の同時出現と、複数の映像における潜在的な仲間の更なる同時出現に基づいて、更なる潜在的な仲間を決定することができる。
また、更なる潜在的な仲間が、潜在的な仲間に含まれていない人物を含むか否か判断することができる。
更なる潜在的な仲間が、潜在的な仲間に含まれていない人物を含むと判断された場合、処理を繰り返すことができる。
更なる潜在的な仲間が、潜在的な仲間に含まれていない人物を含まないと判断された場合、処理を終了することができる。
図1を参照して説明した方法は、映像監視データを用いて、マルチレイヤグループの仲間の適応ネットワークを発見することができ、仲間の新たに発見された仲間を用いて仲間のネットワークを発見することにより、グローバル同時出現の結果のサブセットにまで検索範囲を広げることができる。
図2は、様々な実施形態に係る図1に示す方法を実行する識別装置200を示す。識別装置200は、複数の映像を受信するように構成された受信モジュール202を含む。識別装置200はさらに、複数の映像における少なくとも1人の対象人物の同時出現を識別するように構成された同時出現識別モジュール204を含む。識別装置200はさらに、複数の映像における少なくとも1人の対象人物の同時出現に基づいて潜在的な仲間を決定するように構成された仲間決定モジュール206を含む。同時出現識別モジュール204はさらに、複数の映像における潜在的な仲間の同時出現を識別するように構成できる。仲間決定モジュール206はさらに、複数の映像における潜在的な仲間の更なる同時出現に基づいて、更なる潜在的な仲間を決定するように構成できる。
同時出現識別モジュール204はさらに、複数の映像における潜在的な仲間の同時出現が、複数の映像における少なくとも1人の対象人物の同時出現に含まれていない同時出現を含むか否か判断するように構成することができる。
複数の映像における潜在的な仲間の同時出現が、複数の映像における少なくとも1人の対象人物の同時出現に含まれない同時出現を含むと判断された場合、仲間決定モジュール206はさらに、複数の映像における潜在的な仲間の更なる同時出現のみに基づいて、更なる潜在的な仲間を決定するように構成できる。
複数の映像における潜在的な仲間の同時出現が、複数の映像における少なくとも1人の対象人物の同時出現に含まれない同時出現を含まないと判断された場合、仲間決定モジュール206はさらに、複数の映像における少なくとも1人の対象人物の同時出現と、複数の映像における潜在的な仲間の更なる同時出現とに基づいて、更なる潜在的な仲間を決定するように構成できる。
仲間決定モジュール206はさらに、更なる潜在的な仲間が、潜在的な仲間に含まれていない人物を含むか否か判断するように構成できる。
識別装置200は、更なる潜在的な仲間が、潜在的な仲間に含まれていない人物を含むと判断された場合、処理を繰り返すように構成できる。
更なる潜在的な仲間が、潜在的な仲間に含まれていない人物を含まないと判定された場合、識別装置200は、処理を終了するように構成できる。
様々な実施形態により、プロセッサによって実行された場合に、プロセッサに対し、少なくとも1人の対象人物の潜在的な仲間を識別する方法、例えば、上述した図1を参照して説明した方法を実行させる命令が保存された非一時的なコンピュータ可読媒体が提供される。
図3は、様々な実施形態に係る潜在的な仲間を識別する方法を示すフロー図300を示す。ステップ302で処理が開始する。ステップ304では、検索対象の人物の整数(例えば、1~N)個の画像を提供する。ステップ306では、検索対象の人物の全ての同時出現が発見される。このステップでは、ボックス328で示すように、図5~図9を参照して詳細に後述する方法(又はアルゴリズム)を用いることができる。ステップ308では、新たな同時出現の結果が発見されたか否か判断する。新たな同時出現の結果が発見されなかった場合、処理はステップ322に進む。新たな同時出現の結果が発見された場合、処理はステップ310に進む。ステップ310では、現在の同時出現が、(例えば、結果サブシートに)保存される。ステップ312では、既定の潜在的な仲間の条件の閾値に一致する潜在的な仲間のリストが返される。ステップ314では、新たな潜在的な仲間が発見されたか否か判断する。新たな潜在的な仲間が発見されなかった場合、処理はステップ320に進む。新たな潜在的な仲間が発見された場合、処理はステップ316に進む。ステップ316では、結果が潜在的な仲間リストに格納され、処理がステップ318に進み、ここで、潜在的な仲間の画像が得られる。ステップ320では、結果がグローバル同時出現検索(換言すると、グローバル同時出現分析)に基づいて発見されたか否か判断する。グローバル同時出現に基づいて結果が発見されなかった場合、処理はステップ322に進み、ここで、既に保存された全てのグローバル同時出現の統合的な結果のサブセットが読み出される。グローバル同時出現に基づいて結果が発見された場合、処理はステップ324に進み、ここで、既に発見された全ての潜在的な仲間のリストが読み出される。そして、ステップ326で処理が終了する。換言すると、ローカル同時出現検索又はグローバル同時出現検索のいずれかに基づいて、(潜在的な仲間の)(新たな)結果が発見される間、処理が継続する。ローカル同時出現検索に基づいて(新たな)結果が発見されない場合、グローバル同時出現検索が開始する。グローバル同時出現検索によって(新たな)結果が発見された場合、ローカル同時出現検索による処理が実行される。グローバル同時出現検索によって(新たな)結果が発見されなかった場合、処理が終了する。ローカル同時出現検索は、既に実行された検索の反復処理で識別された潜在的な仲間に基づく(又は第1の反復処理の少なくとも1人の対象人物に基づく)検索であることが理解されるであろう。グローバル同時出現検索は、既に実行された全ての検索の反復処理で識別された全ての潜在的な仲間と、少なくとも1人の対象人物とに基づく検索であることが理解されるであろう。
図3の処理では、各ループは1つのレイヤとして参照することができるため、マルチレイヤのグループの仲間ネットワークの発見方法が提供される。
図4は、図3に示す方法の例示的な処理における様々なレイヤの図400を示す。第1のレイヤ402では、3人の対象人物418が提供され、人物1及び人物2が、3人の対象人物418の潜在的な仲間として識別される。第2のレイヤ404では、人物3及び人物4が、人物1及び人物2の潜在的な仲間として識別される。第3のレイヤ406では、人物3及び人物4の潜在的な仲間が識別されるが、そのような潜在的な仲間は存在しない。そのため、第4のレイヤ408では、グローバル分析が実行され、換言すると、潜在的な仲間は、(最初の)対象人物418と、既に発見された全ての潜在的な仲間(すなわち、人物1、人物2、人物3、及び人物4)とに基づいて発見される。第4のレイヤでは、人物5が、潜在的な仲間として識別される。第5のレイヤ410では、人物5の潜在的な仲間が発見されないため、第6のレイヤ412において、(最初の)対象人物418と、既に発見された全ての潜在的な仲間(すなわち、人物1、人物2、人物3、人物4、及び人物5)とに基づいて、グローバル分析が再び実行される。これにより、人物6が、潜在的な仲間として識別される。レイヤ414では、人物6の潜在的な仲間が存在しない。第8のレイヤ416における後続のグローバル分析において、潜在的な仲間が再び発見されないため、処理が終了し、潜在的な仲間の結果リストとして、人物1、人物2、人物3、人物4、人物5及び人物6のリストが出力される。
様々な実施形態では、以下に説明するように、(更なる)潜在的な仲間の識別が行われる。
図5は、少なくとも1人の対象人物の潜在的な仲間を識別する方法を示すフローチャートを示す。502では、複数の映像が提供される。複数の映像は、監視カメラ、携帯電話カメラ、CCTV(ケーブルテレビ)カメラ、Webカメラ又は他の同様の装置によって撮影された場所の録画とし得る。この場所は、少なくとも1人の対象人物が目撃された場所、行ったこと若しくは頻繁に訪れたことが分かっている場所、又は、少なくとも1人の対象人物が、同じ犯罪グループの仲間と遣り取りする可能性のある場所である。複数の映像は、mp4、avi、mkv、wmv、mov又は他の同様の映像フォーマット等のファイルフォーマットとし得る。さらに、複数の映像のそれぞれは、各映像が記録された時刻、日、及び場所を示す。一実施形態では、複数の映像は、1以上のエントリを含むエントリデータベースに処理され、1以上のエントリはそれぞれ、複数の映像における時刻、日、及び場所における人物の出現を表しており、1以上のエントリはそれぞれ、その人物の属性を表す。
504では、複数の映像における少なくとも1人の対象人物の出現が識別される。この識別処理は、個別の対象人物の属性を決定した後、複数の映像から、個別の対象人物としての属性を有する人物を識別することによって実現することができる。例えば、属性は、少なくとも1人の対象人物の顔の写真から決定される、少なくとも1人の対象人物の顔情報とすることができる。また、属性は、複数の映像から少なくとも1人の対象人物を識別するために使用される、少なくとも1人の対象人物の身体的特徴、例えば、身長、体の大きさ、髪の色、肌の色、他の身体的特徴、又はそのような特徴の組み合わせとすることができる。
506では、複数の映像シーンは、複数の映像から作られ、複数の映像シーンのそれぞれは、各映像シーンにおける少なくとも1人の対象人物の最初の出現の前の第1の所定期間から開始し、各映像シーンにおける当該少なくとも1人の対象人物の最後の出現の後の第2の所定期間に終了する。複数の映像シーンのそれぞれは、対象人物の少なくとも1つの出現が識別される場所の監視カメラ映像を含むことができる。実際には、多くの場所には通常、それぞれの場所を監視する複数の監視カメラが設置されるため、これらの監視カメラはそれぞれ、当該場所の異なる部分を監視し、又は、様々な視点や角度から当該場所を監視することができる。従って、複数の映像シーンのそれぞれは、個別の対象人物の少なくとも1つの出現が識別される個別の場所の1以上の監視カメラ映像をさらに含むことができる。或る場所で利用可能な全ての監視カメラ映像を利用することにより、1台の監視カメラのみで対象人物を撮影可能な場所に、対象人物が存在する状況をカバーできるため有利である。
また、複数の映像シーンのそれぞれは、各映像シーンが、少なくとも1人の対象人物の最初の出現が識別される前の第1の所定期間に開始し、少なくとも1人の対象人物の最後の出現の後の第2の所定期間に終了するように作られる。例えば、或る場所における対象人物の最初と最後の出現が、それぞれ同日の午後2時と午後3時で、中間の出現が、午後2時10分、午後2時25分、午後2時40分、午後2時50分である場合において、第1の所定期間と第2の所定期間が、それぞれ20分及び25分に設定されると、得られる映像シーンは、同日の午後1時40分に開始し、午後3時25分に終了する。
508では、複数の映像シーンの所定の閾値を超えて現れた人物が決定される。この人物は、複数の映像シーンに現れる少なくとも1人の対象人物以外の全ての人物を意味する。これらの人物は、映像シーンの所定の閾値を超えて現れる限り、潜在的な仲間と見なされるために、複数の映像シーンにおいて少なくとも1人の対象人物と遣り取りする必要はない。所定の閾値は、試行錯誤によって決定することができ、また、分析対象の映像の数又は品質に応じて変わる。各人物の出現は、顔情報や身体的特徴、行動の特徴、人物を識別可能な他の属性等の個別の人物の決定された属性に基づいて識別することができる。
510では、映像シーンの所定の閾値を超えて現れた人物は、少なくとも1人の対象人物の潜在的な仲間として識別される。
図6は、図5に示す方法を実行するように構成された識別装置600を示す。識別装置600は、受信モジュール602と、出現検索モジュール604と、統合モジュール606と、同時出現検索モジュール608と、分析モジュール610と、出力モジュール612とを含む。
受信モジュール602は、複数の映像を受信するように構成される。複数の映像は、監視カメラ、携帯電話カメラ、CCTV(ケーブルテレビ)カメラ、Webカメラ又は他の同様の装置によって撮影された場所の録画とすることができる。この場所は、少なくとも1人の対象人物が目撃された場所、行ったこと若しくは頻繁に訪れたことが分かっている場所、又は、少なくとも1人の対象人物が、同じ犯罪グループの仲間と遣り取りする可能性のある場所とすることができる。複数の映像は、mp4、avi、mkv、wmv、mov又は他の同様の映像フォーマット等のファイルフォーマットとすることができる。さらに、複数の映像のそれぞれは、各映像が記録された時刻、日、及び場所を示す。
出現検索モジュール604は、複数の映像における少なくとも1人の対象人物の出現を識別するように構成される。一実施形態では、出現検索モジュール604はさらに、少なくとも1人の対象人物の個別の対象人物の属性を決定し、複数の映像から、個別の対象人物としての属性を有する人物を識別するように構成できる。例えば、属性は、個別の対象人物の顔情報、身体的特徴又は行動的特徴を含むことができる。
出現統合モジュール606は、複数の映像から複数の映像シーンを作るように構成され、複数の映像シーンのそれぞれは、各映像シーンにおける少なくとも1人の対象人物の最初の出現の前の第1の所定期間に開始し、各映像シーンにおける当該少なくとも1人の対象人物の最後出現の後の第2の所定期間で終了する。一実施形態では、複数の映像シーンはさらに、或る場所の1以上の監視カメラ映像を含むことができる。さらに、1以上の監視カメラ映像のそれぞれは、その場所の異なる視点からの映像を表すことができる。
同時出現検索モジュール608は、複数の映像シーンに現れた人物を検索するように構成される。一実施形態では、各人物の出現は、顔情報、身体的特徴、行動の特徴、又は人物を識別するために使用される他の属性等、決定された個別の人物の属性に基づいて識別することができる。
出現分析モジュール610は、複数の映像シーンにおいて所定の閾値を超えて現れる人物であるか否か判断するように構成される。出力モジュール612は、複数の映像シーンの所定の閾値を超えて現れる人物を、少なくとも1人の対象人物の潜在的な仲間として識別するように構成される。
図7は、様々な実施形態に係る単一の場所及び単一の対象人物の映像シーン分析を示す。映像シーン700は、特定の日における単一の場所の1以上の監視カメラの監視映像を含む。本実施形態では、対象人物702の最初の出現は21:45に発生し、対象人物の最後の出現は21:48に発生する。さらに、第1の所定期間及び第2の所定期間の双方は5分に設定される。従って、映像シーン700は、対象人物の最初の出現の前の第1の所定期間、すなわち21:40に開始し、対象人物の最後の出現の後の第2の所定期間、すなわち21:53に終了する。さらに、映像シーン700は、対象人物702が連続して出現する必要がない。例えば、対象人物702は、映像シーン700の21:46と21:48の間の2分間は存在しない。対象人物702が存在しない2分は、第2の所定期間である5分よりも短いため、21:46における対象人物702の出現は、最後の出現と見なされない。従って、映像シーン700の21:45~21:48までの期間は、対象人物702の1つの論理的出現を含む。
一実施形態では、対象人物が映像シーンに存在しない期間を制限する第3の所定期間を採用することができる。映像シーン700を参照すると、第3の所定期間は、例えば、20分に設定することができる。これは、対象人物702が映像シーン700に存在しない最大の期間が20分であることを意味する。映像シーン700では、対象人物702は、21:46から21:48の間の2分間存在しない。対象人物702が存在しない2分は、第3の所定期間である20分よりも短いため、21:46における対象人物702の出現は、最後の出現と見なされない。従って、映像シーン700の21:45~21:48までの期間は、対象人物702の1つの論理的出現を含む。例えば、21:47から始まる対象人物702の不在期間が、第3の所定期間を超える場合、代わりに、映像シーン700は、21:47の5分後の第2の所定期間、すなわち、21:52で終了する。さらに、対象人物702が、21:52の後、例えば22:30の複数の映像に再び現れた場合、新しい映像シーンが作られ、22:30の5分前の第1の所定期間、すなわち22:25に開始する。この場合、21:45~21:47までの期間は、対象人物702の1つの論理的出現を含み、22:30から対象人物702の次の最後の出現までの期間は、対象人物702の別の論理的出現を含む。第1の所定期間、第2の所定期間及び第3の所定期間は、映像シーンの分析に適切な任意の期間に設定できる。
次に、対象人物702以外の人物が識別される。映像シーン700では、第1の未知の人物704が、21:40に1人で歩いており、第2の未知の人物706が、21:46に対象人物702の隣を歩いており、第3の未知の人物708が、対象人物702から離れて歩いており、第4の未知の人物710が、21:53に1人で歩いている。従って、これらの4人の未知の人物の属性は、他の映像シーンと比較して決定される。例えば、属性は、4人の未知の人物それぞれの顔の撮影された映像から決定される顔情報とすることができる。属性は、4人の未知の人物それぞれの身体的特徴、例えば、身長、体の大きさ、髪の色、肌の色、及びその他の身体的特徴、又はそれらの組み合わせとすることができる。また、属性は、例えば、4人の未知の人物それぞれの歩く、立つ、動く、話す、他の同様の特徴、又はそれらの組み合わせ等、4人の未知の人物それぞれの行動の特徴とすることができる。
図8は、様々な実施形態に係る複数の場所及び複数の対象人物の映像シーン分析を示す。2つの映像シーン800及び801が分析される。映像シーン800は、4月2日の場所Aの監視カメラ映像を含み、第1の対象人物802が21:45に現れる。映像シーン801は、5月11日の場所Bの監視カメラ映像を含み、第2の対象人物804が11:25に現れる。映像シーン800では、未知の人物806が、第1の対象人物802の出現の4分前の21:41に現れる。映像シーン801では、同じ未知の人物806が、第2の対象人物804が現れた3分後の11:28に現れる。従って、ここで未知の人物806は、2つの映像シーンに現れたと判断される。所定の閾値が1に設定された実施形態では、未知の人物806は、第1の対象人物802及び第2の対象人物804の潜在的な仲間であると識別される。
図9は、潜在的な仲間を識別する方法を示す図900である。初めに、少なくとも1人の対象人物の属性が決定される。例えば、この属性は、少なくとも1人の対象人物の顔の写真から決定された少なくとも1人の対象人物の顔情報とすることができる。また、属性は、少なくとも1人の対象人物の身体的特徴、例えば、身長、体の大きさ、髪の色、肌の色、及び他の身体的特徴、又はそれらの組み合わせとすることができる。さらに、属性は、例えば、少なくとも1人の対象人物が歩く、立つ、動く、話す、他の同様の特徴、又はそれらの組み合わせ等、少なくとも1人の対象人物の行動の特徴とすることができる。本実施形態では、908において、3人の対象人物902、904及び906のグループ写真又は複数の写真が提供される。910では、提供された写真から対象人物902、904及び906の顔情報が検出される。次いで、検出された顔情報は属性として使用される。写真は、物理的なコピー又はソフトコピーとすることができ、物理的なコピーは、対象人物の顔の特徴を検出するためにスキャンされることが理解されるであろう。さらに、映像等の他の媒体を用いて属性を決定することもできる。
さらに、複数の映像が提供される。複数の映像は、監視カメラ、携帯電話カメラ、CCTV(ケーブルテレビ)カメラ、Webカメラ又は他の同様の装置によって撮影された場所の録画とすることができる。この場所は、少なくとも1人の対象人物が目撃された場所、行ったこと若しくは頻繁に訪れたことが分かっている場所、又は、少なくとも1人の対象人物が、同じ犯罪グループの仲間と遣り取りする可能性のある場所とすることができる。複数の映像は、mp4、avi、mkv、wmv、mov又は他の同様の映像フォーマット等のファイルフォーマットとすることができる。さらに、複数の映像のそれぞれは、各映像が記録された時刻、日、及び場所を示す。一実施形態では、複数の映像は、1以上のエントリを含むエントリデータベースで処理され、1以上のエントリはそれぞれ、複数の映像における時刻、日、及び場所における人物の出現を表しており、1以上のエントリはそれぞれ、その人物の属性を表す。
912では、複数の映像から、3人の対象人物902、904及び906の出現が識別される。これは、複数の映像から、個別の対象人物として決定された属性を有する人物を識別することによって実現できる。本実施形態では、複数の映像における対象人物902、904及び906の識別に用いられる属性は、910で決定された顔情報である。例えば、複数の映像に現れ、対象人物902と同じ顔情報を有する人物は、対象人物902として識別され、複数の映像に現れ、対象人物904と同じ顔情報を有する人物は、対象人物904として識別され、複数の映像に現れ、対象人物906と同じ顔情報を有する人物は、対象人物906として識別される。
複数の映像における対象人物902、904及び906の全ての映像出現を識別した後、914では、出現統合モジュールが、複数の映像から識別された3人の対象人物902、904及び906の映像出現を統合する。例えば、識別された映像出現922は、対象人物902の複数の映像における識別された出現に基づいており、識別された映像出現924は、対象人物904の複数の映像における識別された出現に基づいており、識別された映像出現926は、対象人物906の複数の映像における識別された出現に基づく。この統合は、時間範囲、日、場所、又はそれらの組み合わせに基づいて行われ、同じ場所、日及び/又は時間範囲に発生した対象人物の識別された出現は、グループ化され、論理的出現シーケンスを形成する。
対象人物の識別された映像出現は、複数の映像のうちの1以上の映像に由来し得る。本実施形態では、識別された映像出現926は、複数の映像のうちの1以上の映像における対象人物906の出現に基づいており、1以上の映像は、同じ時間範囲、日、場所、又はそれらの組み合わせで生成され、その結果、映像出現926は、対象人物906の1つの論理的出現を含む。識別された映像出現922は、複数の映像のうちの少なくとも2つの映像における対象人物902の出現に基づいており、対象人物902の映像出現928は、1以上の映像の第1のバッチから識別され、対象人物902の映像出現930は、1以上の映像の第2のバッチから識別される。1以上の映像の第1のバッチは、同じ時間範囲、日、場所又はそれらの組み合わせで生成されるため、映像出現928は、対象人物902の1つの論理的出現を含む。同様に、1以上の映像の第2のバッチは、同じ時間範囲、日、場所、又はそれらの組み合わせで生成されるため、映像出現930は、対象人物902の1つの論理的出現を含む。例えば、1以上の映像の第1及び第2のバッチは、同日に記録された或る場所の監視映像とすることができ、1以上の映像の第1バッチからの対象人物902の映像出現928は先に発生し、1以上の映像の第1バッチからの対象人物902の映像出現930が後で発生するため、映像出現928が、対象人物902の第1の論理的出現を形成し、一方、映像出現930が、対象人物902の第2の論理的出現を形成する。従って、統合された映像出現922は、対象人物902の2つの論理的出現を含む。
さらに、識別された出現924は、複数の映像のうちの少なくとも2つの映像における対象人物904の出現に基づいており、対象人物904の映像出現932は、1以上の映像の第1のバッチから識別され、対象人物904の映像出現934は、1以上の映像の第2のバッチから識別される。1以上の映像の第1のバッチは、同じ時間範囲、日、場所、又はそれらの組み合わせで生成されるため、映像出現932は、対象人物904の1つの論理的出現を含む。同様に、1以上の映像の第2のバッチは、同じ時間範囲、日、場所、又はそれらの組み合わせで生成されるため、映像出現934は、対象人物904の1つの論理的出現を含む。例えば、1以上の映像の第1及び第2のバッチは、同じ日に或る場所で記録された監視映像とすることができ、1以上の映像の第1のバッチからの対象人物904の映像出現932が先に発生し、1以上の映像の第2のバッチからの対象人物904の映像出現934が、後で発生するため、映像出現932は、対象人物904の第1の論理的出現を形成し、一方、映像出現934は、対象人物904の第2の論理的出現を形成する。したがって、統合された映像出現924は、対象人物904の2つの論理的出現を含む。各対象人物の複数の統合された映像出現は、識別された出現に基づいて形成され、統合された各出現は、識別された出現が複数の映像で発生した時間範囲、日、場所、又はそれらの組み合わせに対応する。
914で統合された識別された論理的出現に基づき、複数の映像シーンが、出現統合モジュールによって作られる。916では、映像シーン936は、例えば、対象人物906の統合された出現926に基づいて作られる。映像シーン936は、第1の部分940と、第2の部分942と、第3の部分944とを含む。第1の部分940は、1以上の監視映像を含み、これらから対象人物906の統合された映像出現926が識別される。第1の部分940はさらに、対象人物906が現れない1以上の監視映像を含むことがあるが、これらの1以上の監視映像は、対象人物906の統合された映像出現926が識別される1以上の監視映像の時刻、日、場所、又はそれらの組み合わせに一致する時刻、日、場所、又はそれらの組み合わせの監視映像である。これは、或る場所で利用可能な全ての監視カメラ映像を利用して、1台の監視カメラのみが対象人物を撮影可能な場所に、対象人物が存在する状況をカバーできるため有利である。
映像シーン936の第1の部分940に加えて、第2の部分942は、映像シーン936を第1の所定期間拡張されるため、映像シーン936は、映像シーン936の第1の部分940で示す対象人物906の最初の出現の前の第1の所定期間で開始する。従って、第2の部分942は、映像シーン936の第1の部分940の1以上の監視映像の時刻、日、場所、又はそれらの組み合わせに一致する時刻、日、場所、又はそれらの組み合わせの1以上の監視映像を含み、第2の部分942の1以上の監視映像は、映像シーン936の第1の部分940で示す対象人物906が最初に現れる前の第1の所定期間に開始する。映像シーン936の第2の部分942を含めることにより、複数の映像において潜在的な仲間が、対象人物906と同時に出現せずに、対象人物906が撮影場所に到着する前にのみ現れ、対象人物906によって回収される物を置き去った可能性がある場合でも、対象人物906の潜在的な仲間を識別することができるため有利である。
さらに、映像シーン936には、映像シーン936の期間を第2の所定期間分延長する第3の部分944があるため、映像シーン936は、映像シーン936の第1の部分940に示す対象人物906の最後の出現後の第2の所定期間で終了する。従って、第3の部分944は、映像シーン936の第1の部分940の1以上の監視映像の時刻、日、場所、又はそれらの組み合わせと一致する時刻、日、場所、又はそれらの組み合わせの1以上の監視映像を含み、第3の部分944の1以上の監視映像は、映像シーン936の第1の部分940に示す対象人物906の最後の出現後の第2の所定期間で終了する。映像シーン936の第3の部分944を含めることにより、対象人物906の潜在的な仲間が、対象人物906と同時に映像に出現せず、対象人物906が、撮影場所を立ち去った後にのみ現れ、対象人物906が故意に置いた物体を回収する可能性がある場合でも、対象人物906の潜在的な仲間を識別できるため有利である。
映像シーン936と同様に、映像シーン938は、例えば、対象人物904の統合された出現924における映像出現932に基づいて作られる。映像シーン938は、第1の部分946と、第2の部分948と、第3の部分950とを含む。第1の部分946は、対象人物904の映像出現932が識別される1以上の監視映像を含む。第1の部分946はさらに、対象人物904が出現しない1以上の監視映像を含むが、これらの1以上の監視映像の時刻、日、場所、又はそれらの組み合わせは、対象人物904の統合された映像出現932が識別される1以上の監視映像の日付、場所、又はそれらの組み合わせと一致する。或る場所で利用可能な全ての監視カメラ映像を利用することにより、1台の監視カメラのみで対象人物を撮影可能な場所に、対象人物が存在する状況をカバーできるため有利である。
映像シーン938の第1の部分946に加えて、第2の部分948は、映像シーン938が第1の所定期間分拡張されるため、映像シーン938は、映像シーン938の第1の部分946に示す対象人物904の最初の出現前の第1の所定期間で開始する。従って、第2の部分948は、映像シーン938の第1の部分946の1以上の監視映像の時刻、日、場所、又はそれらの組み合わせと一致する時刻、日、場所、又はそれらの組み合わせの1以上の監視映像を含み、第2の部分948の1以上の監視映像は、映像シーン938の第1の部分946に示す対象人物904の最初の出現前の第1の所定期間に開始する。映像シーン938の第2の部分948を含めることにより、対象人物904の潜在的な仲間が、映像に対象人物904と同時に出現せず、対象人物904が、撮影場所を立ち去った後にのみ現れ、対象人物904が故意に置いた物体を回収する可能性がある場合でも、対象人物904の潜在的な仲間を識別できるため有利である。
さらに、映像シーン938の第3の部分950は、映像シーン938の期間を第2の所定期間分延長するため、映像シーン938は、映像シーン938の第1の部分946に示す対象人物904の最後の出現後の第2の所定期間で終了する。従って、第3の部分950は、映像シーン938の第1の部分946の1以上の監視映像の時刻、日、場所、又はそれらの組み合わせと一致する時刻、日、場所、又はそれらの組み合わせの1以上の監視映像を含み、第3の部分950の1以上の監視映像は、映像シーン938の第1の部分946で示す対象人物904の最後の出現後の第2の所定期間で終了する。映像シーン938の第3の部分950を含めることにより、対象人物904の潜在的な仲間が、映像に対象人物904と同時に出現せず、対象人物904が、撮影場所を立ち去った後にのみ現れ、対象人物904が故意に置いた物体を回収する可能性がある場合でも、対象人物904の潜在的な仲間を識別できるため有利である。
映像シーン936及び938を作成した後、同時出現検索モジュールは、映像シーンに現れる対象人物902、904及び906以外の全ての人物を決定する。この決定処理は、映像シーン936及び938のいずれかに現れる1以上の人物のそれぞれの属性を決定するステップを含む。この属性は、例えば、その1以上の人物のそれぞれを識別するために使用することができる、顔情報、身体的特徴、行動の特徴、他の同様の特徴、又はこれらの組み合わせとすることができる。決定処理はさらに、映像シーン936及び938のいずれかに現れた1以上の人物のそれぞれについて、時刻、日、場所、個別の人物と同じ映像シーンに現れた対象人物、又はそれらの組み合わせを決定するステップを含み得る。この決定処理は、映像シーン936の3つの部分940、942及び944の全てと、映像シーン938の3つの部分946、948及び950の全てを含む。決定処理において、各映像シーンにおける個別の対象人物の最初の出現前の第1の所定期間内に現れる人物と、各映像シーンにおける個別の対象人物の最後の出現後の第2の所定期間内に現れる人物が考慮されるため有利である。同様に、映像シーンは、他の映像出現928、930及び934のそれぞれについて作られ、決定処理においてこれらの映像シーンも使われることが理解されるであろう。
映像シーン936及び938に現れる1以上の人物のそれぞれを決定した後、出現分析モジュールは、映像シーンの所定の閾値を超えて現れる人物を決定する。918を参照すると、3人の人物A、B及びCが、映像シーン936及び/又は映像シーン938のいずれかに出現したことが分かる。本実施形態では、決定処理は、映像シーン936及び938のいずれかに現れる1以上の人物のそれぞれの属性及び位置を決定するステップを含み、映像シーン936は、第1の場所の1以上の監視カメラ映像を含み、映像シーン938は、第2の場所の1以上の監視カメラ映像を含む。916における同時出現検索モジュールの結果に基づいて、人物Aが映像シーン936に現れたことが分かる。従って、952に示すように、人物Aは、或る場所に1回現れている。人物Bは、映像シーン938に現れたことが分かる。従って、954に示すように、人物Bも或る場所に1回現れている。しかしながら、人物Cは、映像シーン936及び938の両方に現れていることが分かる。従って、956に示すように、人物Cは、2つの場所に2回現れている。
本実施形態では、所定の閾値は1に設定される。従って、人物が2以上の映像シーンに出現すると判断された場合、この人物は、対象人物の潜在的な仲間であると判断される。この場合、人物Cは、2つの映像シーン、すなわち映像シーン936及び映像シーン938に出現したことが判明したので、920において、人物Cは、対象人物906及び908の潜在的な仲間として出力される。所定の閾値は、最適な結果をもたらす他の任意の数に設定することができ、また、考慮される映像シーンの数に応じて変わることは理解されるであろう。
図10は、例示的なコンピュータ装置1000(以下、コンピュータシステム1000又は装置1000として称する)を示しており、そのような1以上のコンピュータ装置1000を用いて、図2に示す識別装置200及び/又は図6に示す識別装置600を実現することができる。コンピュータ装置1000についての以下の説明は、例示であり、限定することを意図するものではない。
図10に示すように、例示的なコンピュータ装置1000は、ソフトウェアルーチンを実行するプロセッサ1004を含む。明確にするために、単一のプロセッサが示されているが、コンピュータ装置1000はまた、マルチプロセッサシステムを含むことができる。プロセッサ1004は、コンピュータ装置1000の他のコンポーネントと通信するための通信インフラストラクチャ1006に接続される。通信インフラストラクチャ1006には、例えば、通信バス、クロスバー又はネットワークが含まれる。
コンピュータ装置1000はさらに、RAM(Random Access Memory)等の主記憶装置1008と、補助記憶装置1010とを含む。補助記憶装置1010には、例えば、ハードディスクドライブ等のストレージドライブ1012、ソリッドステートドライブ若しくはハイブリッドドライブ及び/又は磁気テープドライブや光ディスクドライブを含むリムーバブルストレージドライブ1014、ソリッドステートストレージドライブ(USBフラッシュドライブ、フラッシュメモリ装置、ソリッドステートドライブ、又はメモリカード等)等を含む。リムーバブルストレージドライブ1014は、周知の方法でリムーバブルストレージメディア1044からの読み出し及び/又はリムーバブルストレージメディア1044への書き込みを行う。リムーバブルストレージメディア1044には、磁気テープ、光ディスク、不揮発性メモリ記憶媒体等が含まれ、リムーバブルストレージドライブ1014によって読み取られ、書き込まれる。当業者であれば、リムーバブルストレージメディア1044は、コンピュータが実行可能なコード命令及び又はデータが格納されたコンユータ可読なストレージ媒体を含むことは明らかであろう。
代替的な実装形態では、補助記憶装置1010は、コンピュータプログラム又は他の命令をコンピュータ装置1000にロードすることが可能な他の同様の手段を追加し、又は、代わりに備えることができる。そのような手段には、例えば、リムーバブルストレージユニット1022及びインタフェース1050が含まれる。リムーバブルストレージユニット1022及びインタフェース1050の例には、プログラムカートリッジ及びカートリッジインタフェース(ビデオゲームコンソール装置が備えるもの等)、リムーバブルメモリチップ(EPROM又はPROM等)及び関連するソケット、リムーバブルソリッドステートストレージドライブ(USBフラッシュドライブ、フラッシュメモリ装置、ソリッドステートドライブ又はメモリカード等)、他のリムーバブルストレージユニット1022、ソフトウェア及びデータをリムーバブルストレージユニット1022からコンピュータシステム1000に転送可能なインタフェース1050が含まれる。
また、コンピュータ装置1000は、少なくとも1つの通信インタフェース1024を含む。通信インタフェース1024は、コンピュータ装置1000と外部装置との間で、通信パス1026を介してソフトウェア及びデータを転送することができる。本発明の様々な実施形態では、通信インタフェース1024は、コンピュータ装置1000と、パブリックデータ通信ネットワーク又はプライベートデータ通信ネットワーク等のデータ通信ネットワークとの間でデータを転送することができる。通信インタフェース1024を用いて、異なるコンピュータ装置1000の間でデータを交換することができ、そのようなコンピュータ装置1000は、相互接続されたコンピュータネットワークの一部を形成する。通信インタフェース1024の例には、モデム、ネットワークインタフェース(イーサネットカード等)、通信ポート(シリアルポート、パラレルポート、プリンタポート、GPIB、IEEE1394、RJ45、USB等)、関連する回路を備えたアンテナ等が含まれる。通信インタフェース1024は、有線又は無線でもよい。通信インタフェース1024を介して転送されるソフトウェア及びデータは、通信インタフェース1024が受信可能な電子信号、電磁信号、光信号又は他の信号等の信号の形式である。これらの信号は、通信パス1026を介して通信インタフェースに提供される。
図10に示すように、コンピュータ装置1000はさらに、関連するディスプレイ1030に画像をレンダリングするディスプレイインタフェース1002と、関連する1以上のスピーカ1034を用いてオーディオコンテンツを再生するオーディオインタフェース1032とを含む。
本明細書で使用するように、「コンピュータプログラム製品」(又は非一時的なコンピュータ可読媒体等のコンピュータ可読媒体)の語は、部分的に、リムーバブルストレージメディア1044、リムーバブルストレージユニット1022、ストレージドライブ1012に設置されたハードディスク、又は、通信パス1026(ワイヤレスリンク又はケーブル)を介してソフトウェアを通信インタフェース1024に運ぶ搬送波を意味する。コンピュータ可読な記憶媒体(又はコンピュータ可読媒体)は、実行及び/又は処理のためにコンピュータ装置1000に記録された命令及び/又はデータを提供する任意の有形の非一時的な記憶媒体、有形の非揮発性の記憶媒体を意味する。このような記憶媒体の例には、磁気テープ、CD-ROM、DVD、Blu-ray(登録商標)ディスク、ハードディスクドライブ、ROM又は集積回路、ソリッドステートストレージドライブ(USBフラッシュドライブ、フラッシュメモリ装置、ソリッドステートドライブ又はメモリカード等)ハイブリッドドライブ、光磁気ディスク、PCMCIA等のコンピュータ可読なカード等が含まれ、このような装置が、コンピュータ装置1000の内部に存在するか外部に存在するかを問わない。ソフトウェア、アプリケーションプログラム、命令、及び/又はデータをコンピュータ装置1000に提供し得る非一時的又は無形のコンピュータ可読な伝送媒体の例には、無線通信チャネル又は赤外線通信チャネルと、別のコンピュータ又はネットワークデバイスへのネットワーク接続部と、電子メールの通信及びWebサイト等に掲載された情報を含むインターネット又はイントラネットが含まれる。
コンピュータプログラム(コンピュータプログラムコードとも称される)は、主記憶装置1008及び/又は補助記憶装置1010に格納される。コンピュータプログラムは、通信インタフェース1024を介して受信される。このようなコンピュータプログラムが実行されることにより、コンピュータ装置1000は、本明細書で説明した実施形態の1以上の機能を実現することができる。様々な実施形態では、コンピュータプログラムが実行されることにより、プロセッサ1004が、上述した実施形態の機能を実現することができる。従って、そのようなコンピュータプログラムは、コンピュータシステム1000のコントローラに相当する。
ソフトウェアは、コンピュータプログラム製品に格納され、リムーバブルストレージドライブ1014、ストレージドライブ1012、又はインタフェース1040を用いて、コンピュータ装置1000にロードすることができる。コンピュータプログラム製品は、非一時的なコンピュータ可読媒体とすることができる。代替的に、コンピュータプログラム製品は、通信パス1026を介して、コンピュータシステム1000にダウンロードすることができる。ソフトウェアがプロセッサ1004によって実行されると、コンピュータ装置1000は、本明細書に記載した実施形態の機能を実現することができる。
図10の実施形態は、単に例示であることを理解すべきである。従って、いくつかの実施形態では、コンピュータ装置1000の1以上の機能を省略してもよい。また、いくつかの実施形態では、コンピュータ装置1000の1以上の機能を組み合わせることができる。さらに、いくつかの実施形態では、コンピュータ装置1000の1以上の機能は、1以上の構成要素に分けることができる。主記憶装置1008及び/又は補助記憶装置1010は、識別装置200の記憶装置として機能することができ、一方、プロセッサ1004は、識別装置200のプロセッサとして機能することができる。
本明細書の説明の一部は、コンピュータメモリ内のデータ処理に関するアルゴリズム及び機能的表現又は記号的表現について、明示的又は非明示的になされている。これらのアルゴリズムの記述及び機能的表現又は記号的表現は、データ処理技術の当業者が、その仕事の内容を他の当業者に最も効果的に伝えるために使用される手段である。ここで、アルゴリズムは通常、所望の結果を生み出す矛盾のない一連のステップであると考えられる。これらのステップは、保存、転送、結合、比較、及び操作が可能な電気信号、磁気信号、又は光信号等の物理量の物理的な処理を要するステップである。
特に明記しない限り、また、本明細書の説明から明らかなように、本明細書の全体を通して、「受信」、「提供」、「識別」、「スキャン」、「決定」、「生成」、「出力」等の語を用いた説明は、コンピュータシステム又は同様の電子装置の動作及び処理を意味しており、これらは、コンピュータシステム内の物理的量として表されるデータを処理し、これを、コンピュータシステム、他の記憶装置、通信装置又は表示装置内の物理的量として同様に表される他のデータに変換することは理解されるであろう。
また、本明細書は、方法を実行する装置を開示する。そのような装置は、必要とされる目的のために特別に構成することができ、または、コンピュータに格納されたコンピュータプログラムによって選択的に起動され、再構成されるコンピュータ又は他の装置を含み得る。本明細書に示したアルゴリズム及び表示は、特定のコンピュータ又は他の装置に本質的に関連しない。本明細書の教示に基づくプログラムを用いて様々な機械を使用することができる。代替的に、必要な方法のステップを実行するより特殊な装置を構成することが適切である場合がある。本明細書に記載の様々な方法/処理を実行するのに適したコンピュータの構造は、本明細書の説明から明らかであろう。
さらに、本明細書に記載の方法の個々のステップがコンピュータコードによって実現されることが当業者には明らかであるという点において、本明細書は、コンピュータプログラムを非明示的に開示する。コンピュータプログラムは、特定のプログラミング言語及びその実装に限定されることを意図していない。様々なプログラミング言語及びそのコーディングを用いて、本明細書に含まれる本開示の教示を実現できることが理解されよう。さらに、コンピュータプログラムは、特定の制御フローに限定されることを意図していない。コンピュータプログラムには、他にも多くの変形例があり、本発明の精神又は範囲から逸脱することなく、異なる制御フローを使用することができる。
さらに、コンピュータプログラムの1以上のステップは、逐次的ではなく、並行して実行することができる。そのようなコンピュータプログラムは、任意のコンピュータ可読媒体に格納することができる。コンピュータ可読媒体には、磁気ディスク又は光ディスク、メモリチップ、又はコンピュータとの通信に適した他の記憶装置等の記憶装置が含まれる。また、コンピュータ可読媒体には、インターネットシステム等の有線媒体、又はGSM携帯電話システム等の無線媒体を含まれる。コンピュータプログラムは、そのようなコンピュータにロード及び実行されると、好適な方法のステップを実行する装置を効果的に実現する。
様々な実施形態では、「モジュール」は、任意の種類の論理実行エンティティとして理解することができ、メモリに格納されたソフトウェアを実行する専用の回路又はプロセッサ、ファームウェア、又はそれらの任意の組み合わせとすることができる。従って、一実施形態では、「モジュール」は、有線論理回路、又はプログラム可能なプロセッサ等のプログラム可能な論理回路、例えば、マイクロプロセッサ(例えば、CISCプロセッサ又はRISCプロセッサ)とすることができる。また、「モジュール」は、ソフトウェアを実行するプロセッサ、例えば、Java(登録商標)等の仮想マシンコードを使用するコンピュータプログラム等の任意の種類のコンピュータプログラムとすることができる。また、より詳細に後述する個別の機能の他の実装も「モジュール」として理解することができる。
当業者であれば、広範に説明した本発明の精神又は範囲から逸脱することなく、特定の実施形態に示す本発明の様々な変形及び/又は修正が可能であることが理解されるであろう。従って、本実施形態は、全ての点において例示であり、限定するものではないと解釈すべきである。
本出願は、2018年9月6日に出願されたシンガポールの特許出願第10201807663Pに基づく優先権の利益を主張し、当該特許出願の開示は、参照により、その全体が本明細書に組み込まれる。
202 受信モジュール
204 出現検索モジュール
206 統合モジュール
418 対象人物

Claims (9)

  1. コンピュータが、
    第1の人物の特徴を含む第1の入力情報及び前記第1の人物と異なる第2の人物の特徴を含む第2の入力情報、又は前記第1の人物の特徴及び前記第2の人物の特徴を含む第3の入力情報から、前記第1の人物の特徴及び前記第2の人物の特徴を取得し、
    前記第1の人物の特徴に基づいて、前記第1の人物を含む第1の映像シーンを生成し、
    前記第2の人物の特徴に基づいて、前記第2の人物を含む第2の映像シーンを生成し、
    前記第1の映像シーン及び前記第2の映像シーンから、前記第1の人物及び前記第2の人物と異なる第3の人物の特徴が検出されたか判定し、
    前記第1の映像シーン及び前記第2の映像シーンから前記第3の人物の特徴が検出された場合、前記第3の人物が前記第1の人物及び前記第2の人物の潜在的な仲間であると判定する、
    識別方法。
  2. 前記第1の映像シーンは、前記第1の人物の特徴を含む最先の映像の撮影時点よりも前の時点から、前記第1の人物の特徴を含む最後の映像の撮影時点よりも後の時点までの映像を含む、請求項1に記載の識別方法。
  3. 前記第2の映像シーンは、前記第2の人物の特徴を含む最先の映像の撮影時点よりも前の時点から、前記第2の人物の特徴を含む最後の映像の撮影時点までの映像を含む、請求項1又は2に記載の識別方法。
  4. 前記コンピュータは、第1の地点を撮影して生成された第1の映像に基づいて、前記第1の映像シーンを生成し、
    前記コンピュータは、前記第1の地点とは異なる第2の地点を撮影して生成された第2の映像に基づいて、前記第2の映像シーンを生成する、請求項1~3のいずれか1項に記載の識別方法。
  5. 前記第1の入力情報は、前記第1の人物を含む画像であり、
    前記第2の入力情報は、前記第2の人物を含む画像であり、
    前記第3の入力情報は、前記第1の人物及び前記第2の人物を含む画像であり、
    前記コンピュータは、前記第1の人物の特徴及び前記第2の人物の特徴を、前記画像から取得する、請求項1~4のいずれか1項に記載の識別方法。
  6. 前記第1の人物の特徴及び前記第2の人物の特徴は、人物の身体的特徴及び行動的特徴を含む、請求項1~5のいずれか1項に記載の識別方法。
  7. 第1の人物の特徴を含む第1の入力情報及び前記第1の人物と異なる第2の人物の特徴を含む第2の入力情報、又は前記第1の人物の特徴及び前記第2の人物の特徴を含む第3の入力情報から第1の人物の特徴と第2の人物の特徴を取得する特徴取得部と、
    前記第1の人物の特徴に基づいて、前記第1の人物を含む第1の映像シーンを生成し、前記第2の人物の特徴に基づいて、前記第2の人物を含む第2の映像シーンを生成する映像生成部と、
    前記第1の映像シーン及び前記第2の映像シーンから、前記第1の人物及び前記第2の人物と異なる第3の人物の特徴が検出されたか判定する検出判定部と、
    前記第1の映像シーン及び前記第2の映像シーンから前記第3の人物の特徴が検出された場合、前記第3の人物が前記第1の人物及び前記第2の人物の潜在的な仲間であると判定する人物判定部と
    を含む、識別装置。
  8. 第1の人物の特徴を含む第1の入力情報及び前記第1の人物と異なる第2の人物の特徴を含む第2の入力情報、又は前記第1の人物の特徴及び前記第2の人物の特徴を含む第3の入力情報から第1の人物の特徴と第2の人物の特徴を取得する特徴取得部と、
    前記第1の人物の特徴に基づいて、前記第1の人物を含む第1の映像シーンを生成し、前記第2の人物の特徴に基づいて、前記第2の人物を含む第2の映像シーンを生成する映像生成部と、
    前記第1の映像シーン及び前記第2の映像シーンから、前記第1の人物及び前記第2の人物と異なる第3の人物の特徴が検出されたか判定する検出判定部と、
    前記第1の映像シーン及び前記第2の映像シーンから前記第3の人物の特徴が検出された場合、前記第3の人物が前記第1の人物及び前記第2の人物の潜在的な仲間であると判定する人物判定部と
    を含む、識別システム。
  9. コンピュータが実行する識別プログラムであって、前記コンピュータに対し、
    第1の人物の特徴を含む第1の入力情報及び前記第1の人物と異なる第2の人物の特徴を含む第2の入力情報、又は前記第1の人物の特徴及び前記第2の人物の特徴を含む第3の入力情報から第1の人物の特徴と第2の人物の特徴を取得させ、
    前記第1の人物の特徴に基づいて、前記第1の人物を含む第1の映像シーンを生成させ、
    前記第2の人物の特徴に基づいて、前記第2の人物を含む第2の映像シーンを生成させ、
    前記第1の映像シーン及び前記第2の映像シーンから、前記第1の人物及び前記第2の人物と異なる第3の人物の特徴が検出されたか判定させ、
    前記第1の映像シーン及び前記第2の映像シーンから前記第3の人物の特徴が検出された場合、前記第3の人物が前記第1の人物及び前記第2の人物の潜在的な仲間であると判定させる、
    識別プログラム。
JP2022188890A 2018-09-06 2022-11-28 識別方法、識別装置、識別システム及び識別プログラム Active JP7380812B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
SG10201807663PA SG10201807663PA (en) 2018-09-06 2018-09-06 System and method for multi-layer potential associates discovery
SG10201807663P 2018-09-06
JP2021510473A JP7188565B2 (ja) 2018-09-06 2019-08-20 マルチレイヤの潜在的な仲間を発見するための方法、識別装置及び識別プログラム
PCT/JP2019/032381 WO2020050003A1 (en) 2018-09-06 2019-08-20 Method, identification device and non-transitory computer readable medium for multi-layer potential associates discovery

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021510473A Division JP7188565B2 (ja) 2018-09-06 2019-08-20 マルチレイヤの潜在的な仲間を発見するための方法、識別装置及び識別プログラム

Publications (2)

Publication Number Publication Date
JP2023018113A true JP2023018113A (ja) 2023-02-07
JP7380812B2 JP7380812B2 (ja) 2023-11-15

Family

ID=69722492

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021510473A Active JP7188565B2 (ja) 2018-09-06 2019-08-20 マルチレイヤの潜在的な仲間を発見するための方法、識別装置及び識別プログラム
JP2022188890A Active JP7380812B2 (ja) 2018-09-06 2022-11-28 識別方法、識別装置、識別システム及び識別プログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021510473A Active JP7188565B2 (ja) 2018-09-06 2019-08-20 マルチレイヤの潜在的な仲間を発見するための方法、識別装置及び識別プログラム

Country Status (4)

Country Link
US (1) US20220036081A1 (ja)
JP (2) JP7188565B2 (ja)
SG (1) SG10201807663PA (ja)
WO (1) WO2020050003A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220295016A1 (en) * 2019-08-30 2022-09-15 Nec Corporation Processing apparatus, and processing method
JP2022035379A (ja) * 2020-08-20 2022-03-04 トヨタ自動車株式会社 情報処理装置、情報処理システム、及び情報処理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015166612A1 (ja) * 2014-04-28 2015-11-05 日本電気株式会社 映像解析システム、映像解析方法および映像解析プログラム
WO2018116488A1 (ja) * 2016-12-22 2018-06-28 日本電気株式会社 解析サーバ、監視システム、監視方法及びプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4438443B2 (ja) * 2004-02-18 2010-03-24 オムロン株式会社 画像取得装置及び捜索装置
JP2010191620A (ja) * 2009-02-17 2010-09-02 Fujitsu Ltd 不審人物検出方法、及び不審人物検出システム
US9894116B2 (en) * 2012-04-12 2018-02-13 Intel Corporation Techniques for augmented social networking
JPWO2014050432A1 (ja) * 2012-09-27 2016-08-22 日本電気株式会社 情報処理システム、情報処理方法及びプログラム
US9449216B1 (en) * 2013-04-10 2016-09-20 Amazon Technologies, Inc. Detection of cast members in video content
US20160070961A1 (en) * 2014-09-07 2016-03-10 Adience Ser Ltd. System and method of plotting social network connections from image data
JP6667224B2 (ja) * 2015-08-07 2020-03-18 キヤノン株式会社 画像処理装置およびその制御方法、並びにプログラム
WO2017130902A1 (ja) * 2016-01-29 2017-08-03 日本電気株式会社 情報処理装置、情報処理方法、及びプログラム
US9977970B2 (en) * 2016-06-29 2018-05-22 Conduent Business Services, Llc Method and system for detecting the occurrence of an interaction event via trajectory-based analysis
JP6885682B2 (ja) * 2016-07-15 2021-06-16 パナソニックi−PROセンシングソリューションズ株式会社 監視システム、管理装置、及び監視方法
KR102314370B1 (ko) * 2017-05-17 2021-10-19 엘지전자 주식회사 이동 단말기
JP6898165B2 (ja) * 2017-07-18 2021-07-07 パナソニック株式会社 人流分析方法、人流分析装置及び人流分析システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015166612A1 (ja) * 2014-04-28 2015-11-05 日本電気株式会社 映像解析システム、映像解析方法および映像解析プログラム
WO2018116488A1 (ja) * 2016-12-22 2018-06-28 日本電気株式会社 解析サーバ、監視システム、監視方法及びプログラム

Also Published As

Publication number Publication date
SG10201807663PA (en) 2020-04-29
JP2021536182A (ja) 2021-12-23
JP7188565B2 (ja) 2022-12-13
US20220036081A1 (en) 2022-02-03
JP7380812B2 (ja) 2023-11-15
WO2020050003A1 (en) 2020-03-12

Similar Documents

Publication Publication Date Title
JP7302566B2 (ja) 方法、装置およびプログラム
JP2023018113A (ja) 識別方法、識別装置、識別システム及び識別プログラム
CN104680480B (zh) 一种图像处理的方法及装置
KR20180105636A (ko) 얼굴 인식 애플리케이션들에서 긍정 오류를 최소화하기 위한 방법들 및 장치
WO2011161851A1 (ja) コンテンツ管理装置、コンテンツ管理方法、コンテンツ管理プログラムおよび集積回路
US12047624B2 (en) Systems and methods for generating new content segments based on object name identification
US20230306564A1 (en) System and Methods for Photo In-painting of Unwanted Objects with Auxiliary Photos on Smartphone
CN107733874A (zh) 信息处理方法、装置、计算机设备和存储介质
CN114222995A (zh) 图像处理方法、装置以及电子设备
JP6677237B2 (ja) 画像処理システム、画像処理方法、画像処理装置、プログラム及び携帯端末
CN108076280A (zh) 一种基于图像识别的影像分享方法及装置
CN112684889B (zh) 一种用户互动方法及设备
KR20230006079A (ko) 인공지능 학습 기반 얼굴 이미지 변환 방법
KR20230006081A (ko) 페이스 스왑 서비스 제공 장치
JP5536003B2 (ja) 動画編集装置、動画編集方法、およびプログラム
AU2012232990A1 (en) Image selection based on correspondence of multiple photo paths
WO2024203903A1 (en) Method, apparatus, system and program for applying mask on object in image
EP3652641B1 (en) Methods and systems for processing imagery
JP2008250855A (ja) 情報処理装置および方法、並びにプログラム
KR20230006078A (ko) 얼굴 이미지 변환 처리 서비스를 제공하는 장치를 동작하기 위한 프로그램을 기록한 기록매체
KR20230006080A (ko) 동영상 공유 서비스 플랫폼으로부터 획득한 콘텐츠를 통해 얼굴 이미지 변환 서비스를 제공하는 방법
KR20230006076A (ko) 인공지능 학습 기반의 타깃 콘텐츠 변환 서비스 제공 장치 및 그 동작 방법
KR20230006084A (ko) 딥러닝 기반 페이스 스왑 서비스를 제공하는 장치를 동작하기 위한 프로그램
KR20230006083A (ko) Ai 기반 타깃 콘텐츠 변환 서비스 제공 장치의 동작을 위한 프로그램
KR20230006082A (ko) 동영상 공유 서비스 플랫폼으로부터 획득한 콘텐츠를 통해 얼굴 변환 서비스를 제공하는 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230830

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231016

R151 Written notification of patent or utility model registration

Ref document number: 7380812

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151