JP2018139100A - 集団レベル認知状態を評価するための技術 - Google Patents

集団レベル認知状態を評価するための技術 Download PDF

Info

Publication number
JP2018139100A
JP2018139100A JP2017224121A JP2017224121A JP2018139100A JP 2018139100 A JP2018139100 A JP 2018139100A JP 2017224121 A JP2017224121 A JP 2017224121A JP 2017224121 A JP2017224121 A JP 2017224121A JP 2018139100 A JP2018139100 A JP 2018139100A
Authority
JP
Japan
Prior art keywords
behavior
camera
agent
symbol sequence
symbols
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017224121A
Other languages
English (en)
Inventor
ピーター・ヘンリー・トゥ
Peter Henry Tu
タオ・ガオ
Tao Gao
ジリン・トゥ
Jilin Tu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of JP2018139100A publication Critical patent/JP2018139100A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/041—Abduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0013—Medical image data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7465—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network
    • A61B5/747—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network in case of emergency, i.e. alerting emergency services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G06F2218/16—Classification; Matching by matching signal segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Psychiatry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physiology (AREA)
  • Social Psychology (AREA)
  • Databases & Information Systems (AREA)
  • Educational Technology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • Business, Economics & Management (AREA)
  • Critical Care (AREA)

Abstract

【課題】環境（１６）において１つまたは複数のカメラから１人または複数の個人（１４）に関連したデータを受信する警備監視技術を提供する。【解決手段】カメラ（１２）からの入力データに基づいて、それぞれの個人（１４）の行動のモデルを生成するように各々動作するエージェントベースのシミュレータを実行し、各モデルの出力が、シミュレーション中のそれぞれの個人の内的経験を表すシンボル列である。シンボル列に基づいて、シンボル列が問合せ行動に対する問合せシンボル列と一致するときそれぞれの個人の各々に対する以降の行動を予測する。【選択図】図１

Description

本明細書に開示する主題は、集団レベル認知状態を理解するためのエージェントベースの推論に関する。
個人または群衆レベル行動を理解することは重要な研究分野であり、かつ行動検出に通じる場合がある。人の行動を検出することは、空港、鉄道駅、スポーツアリーナ、映画館等といった、典型的に群衆が集まる様々な場所で犯罪減少および／または警備強化を可能にする場合がある。人が行動を実行する前にその行動を検出する改善された技術が望ましいと現在一般に認識されている。
米国特許出願公開第２０１６／０１２４９０８号公報
当初特許請求する主題に範囲が相応する一定の実施形態の概要を以下に述べる。これらの実施形態を、特許請求する主題の範囲を限定するものと意図するのではなく、むしろこれらの実施形態を、単に本開示の考え得る形態の簡単な概要を提供するものと意図する。実際、開示する技術は、以下に述べる実施形態と同様でも、または異なってもよい各種の形態を包含することができる。
一実施形態において、環境において１つまたは複数のカメラから１人または複数の個人に関連したデータを受信するステップと、それぞれの個人の行動のモデルを生成するように各々が動作する１つまたは複数のエージェントベースのシミュレータを実行するステップであって、各モデルの出力がシミュレーション中のそれぞれの個人の内的経験を表すシンボル列であるステップと、シンボル列が問合せ行動に対する問合せシンボル列と一致するとそれぞれの個人の各々に対する以降の行動を予測するステップとを含む方法が提供される。
別の実施形態において、有形の非一時的コンピュータ可読媒体が提供される。有形の非一時的コンピュータ可読媒体は、１つまたは複数のプロセッサによって実行されると、１つまたは複数のプロセッサに、環境において１つまたは複数のカメラから１人または複数の個人に関連したデータを受信し、それぞれの個人の行動を各々モデル化し、かつシミュレーション中のそれぞれの個人の内的経験を表すシンボル列を各々出力する１つまたは複数のエージェントベースのシミュレータを実行し、そしてシンボル列が問合せ行動に対する問合せシンボル列と一致するときそれぞれの個人の各々に対する以降の行動を予測させるコンピュータ命令を記憶している。
別の実施形態において、システムが提供される。システムは、環境において１人または複数の個人の行動に関連したデータを取り込む１つまたは複数のカメラと、環境において１つまたは複数のカメラから１人または複数の個人の行動に関連したデータを受信し、それぞれの個人の行動を各々モデル化し、かつシミュレーション中のそれぞれの個人の内的経験を表すシンボル列を各々出力する１つまたは複数のエージェントベースのシミュレータを実行し、そしてシンボル列が問合せ行動に対する問合せシンボル列と一致するときそれぞれの個人の各々に対する以降の行動を予測する１つまたは複数のプロセッサを備える１つまたは複数のコンピューティング装置と、１つまたは複数のコンピューティング装置に結合され、かつ以降の行動を表す指示を表示するように構成されるディスプレイとを含む。
同様の文字が図面全体を通じて同様の部分を表す添付の図面を参照しつつ以下の詳細な説明を読むことで、本開示のこれらおよび他の特徴、態様および利点をよりよく理解するようになるであろう。
実施形態に従う、社会行動認識システムの例示である。 実施形態に従う、ビデオ分析ストリームを生成するのに適する工程のフロー図である。 実施形態に従う、内的経験および物理状態をもつエージェントとして表される個人のブロック図である。 実施形態に従う、多数のエージェント間の関係のブロック図である。 実施形態に従う、エージェントベースの推論を介して行動を検出するのに適する工程のフロー図である。 実施形態に従う、エージェントベースのシミュレータに含まれる性格感情および表現を含むチャートである。 実施形態に従う、シミュレートしたエージェントおよびそれらの相互作用の図である。 実施形態に従う、観察行動から推定されるシミュレートしたエージェントを使用する粒子フィルタリングの例である。 実施形態に従う、リカレントニューラルネットワークを使用する粒子フィルタリングでシミュレートしたエージェントを実行した結果として選択される最も起こりそうな粒子の図である。
１つまたは複数の具体的な実施形態を以下に記載することにする。これらの実施形態の簡潔な記載を提供しようと努め、実際の実装のすべての特徴を本明細書に記載するわけではない。任意のそのような実際の実装の開発では、任意の工学または設計プロジェクトでのように、実装ごとに異なることがある、システム関連および業務関連の制約への準拠などの、開発者の具体的な目標を達成するために、多数の実装特有の決定をなさなければならないことを認識するべきである。その上、そのような開発努力は複雑かつ時間が掛かるかもしれないが、にもかかわらず本開示の便益を受ける当業者にとっては、設計、製作および製造の日常業務であろうことを認識するべきである。
本開示の様々な実施形態の要素を導入するとき、冠詞「ａ（ある１つの）」、「ａｎ（ある１つの）」および「ｔｈｅ（その）」を、要素の１つまたは複数があることを意味するものと意図する。用語「ｃｏｍｐｒｉｓｉｎｇ（備える）」、「ｉｎｃｌｕｄｉｎｇ（含む）」および「ｈａｖｉｎｇ（有する）」を、包括的であり、かつ列記した要素以外の追加の要素があってもよいことを意味するものと意図する。
本開示の実施形態は、概して行動認識のためのエージェントベースの推論フレームワークに関する。いくつかの実施形態において、集団レベル相互作用の進展を記す物語を統合するために、社会行動認識システムを使用してもよい。集団レベル相互作用における各個人の考え得る認知状態および遷移をモデル化してもよい。行動認識は分類の一形態として達成してもよい。さらに、観測および社会行動認識システムによって集められる物語に基づいてこれらの潜在変数を推定するために、機械学習法（たとえば、リカレントニューラルネットワーク）を使用してもよい。そのように、認識は、そのような観測に帰着したであろう認知状態の推定値に帰着することができる。
特に、いくつかの実施形態において、社会行動認識システムは、とりわけ個人の場所、注視方向、顔表情、身体ポーズ、身振り、および／または眼球運動などの多数の社会的手がかりを取り込むために、コンピュータビジョン法を使用してもよい。追加的に、内的認知状態の他に可観測物理状態をモデル化するフォワードエージェントベースのシミュレータを生成してもよい。エージェントベースのシミュレータは、取り込んだ手がかりに基づいて複数の当事者間の様々な相互作用を統合してもよい。さらに、いくつかの実施形態において、機械学習技術を伴う粒子フィルタが何千ものエージェントベースのシミュレータを実行してもよい。一団の人々の観測行為と類似した粒子フィルタを伝播してもよい。機械学習技術は、観測列を認識するために、シミュレートしたデータに基づいてリカレントニューラルネットワークを訓練することを含んでもよい。このようにして、社会行動認識システムは、観測された個人の内的状態を推論し、そして内的状態に基づいて将来の起こりそうな行動を予測してもよい。
前述のこと念頭に、図１は、実施形態に従う、社会行動認識システム１０の例示である。社会認識システム１０は、とりわけ個人の場所、顔表情、注視方向、身体姿勢、身体動作、および／または身振りなどの多種多様な視覚的手がかりを考慮してもよい。視覚的手がかりに基づいて、社会認識システム１０は、完全に自動的に複雑な集団レベル社会的状態を推定することができる。いくつかの実施形態において、社会行動認識システム１０は、潜在変数推論問題として社会的相互作用分析を評価してもよい。さらに、いくつかの実施形態において、社会行動認識システム１０は、無制約環境１６において自由に活動する複数の人々１４についてのデータを取り込むカメラ１２を含んでもよい。社会認識システム１０をビデオ分析ストリーム源として使用してもよい。より十分に下記するように、社会行動認識システム１０を、リアルタイムの、スタンドオフ（たとえば、個人と別の）エンドツーエンド社会的相互作用分析システムとしてインスタンス化してもよい。
示したように、社会行動認識システム１０は、静止画像、ビデオまたは両方とも取り込むことを可能にした１つまたは複数のカメラ１２を含む。カメラ１２は、壁、天井、床上等といった、無制約環境１６の任意の適切な場所に設置してもよい。無制約環境１６は、１人または複数の人々１４を含んでもよい。たとえば、環境１６に１人の個人１４が単独で存在してもよく、または一群の人々１４が環境１６に存在してもよい。カメラ１２は、人々１４に関連したデータを取り込むようにプログラムまたは制御してもよい。いくつかの実施形態において、カメラ１２は、クラウドベースのコンピューティングシステム１８および／またはコンピューティング装置２０に通信可能に結合してもよい。そのため、カメラ１２は、クラウドベースのコンピューティングシステム１８および／またはコンピューティング装置２０に得られたデータを送信してもよい。送信の頻度は、定期的（たとえば、１分、５分、３０分、６０分、１日、１週毎など）でも、またはストリーミング（たとえば、リアルタイムもしくは準リアルタイムで連続的）でもよい。いくつかの実施形態において、コンピューティング装置２０は、スマートフォン、スマートウォッチ、タブレット、ラップトップコンピュータ、デスクトップコンピュータ等でもよい。
カメラ１２を介して得られたデータは、クラウドベースのコンピューティングシステム１８の１つまたは複数のサーバ２２によって受信し、そしてサーバ２２の１つもしくは複数のメモリ２４に、またはサーバ２２の外部である、クラウドベースのコンピューティングシステム１８に含まれる１つもしくは複数のデータベース２６に記憶してもよい。サーバ２２は、互いに通信可能に結合してもよく、そしてより効率的にタスクを行うために、互い間で様々なタスクを分散してもよい。サーバ２２は、１つまたは複数のプロセッサ２８および通信部品３０も含んでもよい。通信部品３０は、クラウドベースのコンピューティングシステム１８、カメラ１２および／またはコンピューティング装置２０間の通信を容易にすることができる無線または有線通信部品でもよい。
プロセッサ２８は、コンピュータ実行可能コードを実行することが可能な任意の種類のコンピュータプロセッサまたはマイクロプロセッサでもよい。プロセッサ２８は、また下記する動作を行うことができる複数のプロセッサを含んでもよい。メモリ２４は、プロセッサ実行可能コード、データ、データの分析等を記憶する非一時的媒体となることができる任意の適切な製品でもよい。これらの製品は、本開示の技術を行うためにプロセッサ２８によって使用されるプロセッサ実行可能コードを記憶することができるコンピュータ可読媒体（たとえば、任意の適切な形態のメモリまたはストレージ）を表してもよい。一般に、プロセッサ２８は、詳細に下記するように、カメラ１２を介して得られたデータに基づいて行動を認識してもよい。クラウドベースのコンピューティングシステム１８におけるサーバ２２の分散性質により、サーバ２２の共有資源は、並列処理がリアルタイムフィードバックを可能にすることを可能にする。たとえば、各サーバ２２は、実質的に同時にデータの異なる部分を処理することを担ってもよく、そしてその結果は、結果を組み合わせて、コンピューティング装置２０に結果を出力する単一のサーバ２２によって収集してもよい。このようにして、どのサーバ２２にも計算コストが高いタスクが殺到することなく、そして処理時間が削減されることができる。
データベース２６は、カメラ１２によって取り込まれた画像および／またはビデオデータを記憶してもよい。また、データベース２６は、リカレントニューラルネットワークおよび行動を認識するのに十分に正確であると判定される粒子フィルタを含む認知モデルなどの、他の情報を記憶してもよい。さらに、データベース２６および／またはメモリ２４は、カメラ１２によって得られた履歴ビデオおよび／または画像データを記憶してもよい。
コンピューティング装置２０は、１人または複数の人々１４の一定の行動が検出されるかどうかの他に、人々１４に関連した任意の関連情報および／またはとられることになる行為（たとえば、緊急サービスを呼ぶ、警報器を鳴らす、警告をトリガする、メッセージを送る、警告を表示する、など）を表示するグラフィカルユーザインタフェース（ＧＵＩ）を提供するアプリケーションを記憶してもよい。すなわち、いくつかの実施形態において、アプリケーションは、行動を認識するための方法などの何の処理も行わなくてもよい。その代わりに、いくつかの実施形態において、アプリケーションは、クラウドベースのコンピューティングシステム１８によって行われる行動認識技術のデータおよび結果のフロントエンドディスプレイとして機能するだけでもよい。たとえば、クライアントサーバアーキテクチャにおいて、ウェブサイトをコンピューティング装置２０上のブラウザを介してアクセスしてもよく、そしてウェブサイトは、それが何のモデリングも実際には行うことなく、クラウドベースのコンピューティングシステム１８によって提供される情報を表示するだけであるという点でシンクライアントとして機能してもよい。しかしながら、いくつかの実施形態において、コンピューティング装置２０に記憶されるアプリケーションは、カメラ１２からデータを受信し、そして本明細書に開示する行動認識技術を行ってもよい。
上記した部品はクラウドベースのコンピューティングシステム１８のサーバ２２に関して論じたが、同様の部品がコンピューティング装置２０を構成してもよいことに留意するべきである。さらに、列記した部品が部品例として提供され、そして本明細書に記載した実施形態が図１を参照しつつ記載した部品に限定されるものではないことに留意するべきである。
カメラ１２は、固定した赤、緑、青および深度（ＲＧＢ＋Ｄ）カメラを含んでもよく、それらは場所および関節身体動作の推定値を発生する。また、カメラ１２は、高解像度顔画像を取り込むために、そのような追跡結果に基づいてタスクを与えることができるパンチルトズーム（ＰＴＺ）カメラを含んでもよい。顔器官当てはめおよび追跡を、顔表情および注視方向を抽出するように行う。社会行動認識システム１０は、人特有の手がかりのストリームを、観測された個人の形状および数から独立している現場レベル総合統計の集合に変換してもよい。そのような尺度は、情動（観測顔表情から導出される）、近接性（追跡位置から導出される）、活動動作（動作から導出される）、および従事（位置および注視方向から導出される）を含んでもよい。社会行動認識システム１０は、統計の時系列表現に帰着するこれらの統計を連続的に生成してもよい。これらの尺度を処理するために、グラフィックモデルの組をクラウドベースのコンピューティングシステム１８および／またはコンピューティング装置２０によって使用してもよく、それによって疎通性および敵対などの様々な集団レベル社会的状態の連続推定値に帰着する。
社会行動認識システム１０がそのシステムアーキテクチャのためのモジュール設計を含んでもよいことに留意するべきである。いくつかの実施形態において、社会行動認識システム１０の部品が、カメラ１２からの生のビデオフィードおよび他のモジュールによって生成されるメタデータなどの入力を消費してもよい。次いで、各モジュールは、メッセージパッシング出版および購読アーキテクチャに挿入されるメタデータを生成してもよい。複数のコンピューティングプラットフォームを使用して、リアルタイム社会行動認識システム１０は、マルチカメラ追跡、ＰＴＺ制御、顔分析、データ連結、および社会的状態推論を含んでもよい。この種類のモジュール設計は、社会行動認識システム１０への複数のサードパーティ能力の組込みを可能にすることができる。
クラウドベースのコンピューティングシステム１８および／またはコンピューティング装置２０の１つまたは複数のプロセッサは、コンピュータ命令として実装される様々なモジュールを実行してもよい。モジュールは、追跡モジュール、関節動作分析モジュール、ＰＴＺカメラ制御モジュール、顔分析モジュール、および／または推論モジュールを含んでもよい。
追跡モジュールから始めて、検出および追跡パラダイムを使用して、特有の関心領域（たとえば、環境１６）に位置する各対象（たとえば、人々１４）の場所および軌道を推定してもよい。複数のＲＧＢ＋Ｄカメラ１２をワールド座標系に関して初めに較正してもよい。各カメラ１２からの画像を使用して、人検出および関連する外観シグネチャの集合を独立して生成してもよい。これらの検出は、現存の追跡器に一致されてもよい。現存の追跡器と関連付けられない検出を使用して、新たな追跡器を初期化してもよい。新たな検出と関連付けることが持続的にできない追跡器を終了してもよい。
加えて、クラウドベースのコンピューティングシステム１８および／またはコンピューティング装置２０は、関節動作分析モジュールを実行してもよい。追跡に加えて、ＲＧＢ＋Ｄカメラ画像を使用して、「時空コーナ」と称される動作手がかりを抽出してもよい。これらの手がかりは、各対象の測定場所および高さに基づいて定義される空間ヒストグラムと関連付けてもよい。これらの空間／頻度分布は、ＰＴＣカメラ１２で取り込まれるＲＧＢ画像に基づいて関節動作体の表現として使用してもよい。
ＰＴＺカメラ制御モジュールに関して、各ＰＴＺカメラ１２の場所をワールド座標系に関して初めに測定してもよい。顔がワールド座標系における（Ｘ，Ｙ，Ｚ）に位置すれば、ＰＴＺカメラ１２からの結果的な画像が様々な形態の顔分析を可能にすることができるように、較正手順を使用して、パン（Ｐ）、チルト（Ｔ）およびズーム（Ｚ）値を（Ｘ，Ｙ，Ｚ）座標にマッピングしてもよい。追跡モジュールは、基本平面座標（Ｘ，Ｙ）における各人の場所を生成してもよい。Ｚ値は、対象高さの推定値に基づいて決定してもよい。最適化アルゴリズムを使用して、ＰＴＺにカメラ１２を追跡対象に自動的に割り当ててもよい。
顔分析モジュールに関して、ＰＴＺカメラ１２によって生成された高解像度画像が与えられれば、以下の動作を行ってもよい：（１）顔検出器を使用して対象の顔の境界ボックスを発生する、（２）目検出器を使用して対象の目を見つける、（３）両目が検出されれば、顔器官モデルを対象の顔に当てはめる、（４）当てはめた器官モデルの形状に基づいて垂直および水平注視方向の推定値を計算してもよい、（５）「注視そらし」などの事象の検出を見込んで水平眼球場所の推定値を計算する、（６）当てはめた器官モデルを使用して対象の顔の正面像を統合してもよい、そして（７）全体の顔表情モデルを使用して共通顔表情の集合を推定してもよい。
推論モジュールに関して、各人１４と関連付けられたメタデータのストリーム（たとえば、場所、関節動作、注視方向、顔表情）が与えられれば、総合社会的信号の集合を生成してもよい。疎通性および敵対などの集団レベル社会的概念を推論する目的で、グラフィックモデルを使用して、各社会的概念と関連付けられた確率分布のリアルタイム推定値に帰着する総合社会的信号について推理してもよい。
図２は、実施形態に従う、ビデオ分析ストリームを生成するのに適する工程３０のフロー図である。工程３０の以下の記載をクラウドベースのコンピューティングシステム１８の１つまたは複数のサーバ２２のプロセッサ２８を参照しつつ記載するが、コンピューティング装置２０、または社会行動認識システム１０と関連付けられる他の部品など、カメラ１２および／またはクラウドベースのコンピューティングシステム１８と通信することが可能でもよい他の装置に設けられる１つまたは複数の他のプロセッサによって、工程３０が行われてもよいことに留意するべきである。追加的に、以下の工程３０は行うことができる所定数の動作を記載するが、工程３０を各種の適切な順序で行ってもよく、また動作のすべてを行わなくてもよいことに留意するべきである。工程３０をクラウドベースのコンピューティングシステム１８のサーバ２０間で分散してもよいことを認識するべきである。工程３０を行うために様々なモジュール（たとえば、追跡、関節動作分析、ＰＴＺカメラ制御、顔分析、および／または推論）を使用してもよいことに留意するべきである。
工程３０を次に参照すると、プロセッサ２８は、環境１６においてＰＴＺカメラ１２を介して個人１４を追跡してもよい（ブロック３２）。プロセッサ２８はまた、時空関心点に基づいて各個人１４に対する動作シグネチャを生成してもよい（ブロック３４）。プロセッサ２８はまた、ＰＴＺカメラ１２を制御することによって高解像度顔画像を取り込んでもよい（ブロック３６）。また、プロセッサ２８は、顔画像に基づいて顔表情および注視方向を推定してもよい（ブロック３８）。プロセッサ２８は次いで、ビデオ分析ストリームを生成してもよい（ブロック４０）。フレームごとに、ビデオ分析ストリームは、（１）現場座標における場所、（２）動作シグネチャ、（３）表情プロファイル（喜び、恐れ、驚き、欲求不満、怒り）、並びに（４）注視方向（垂直および水平）を符号化する人記述子の集合から構成してもよい。加えて、各個人１４を、追跡ＩＤを介して以前の人観測にリンクしてもよく、これは時間分析を可能にすることができる。
ビデオ分析ストリームを使用して、クラウドベースのコンピューティングシステム１８および／またはコンピューティング装置２０は、一定の行動が認識されるかどうかを判定するエージェントベースの推論技術を行うことができる。ビデオ分析ストリームに含まれる手がかりの観測は、集団レベル相互作用の分析を可能にすることができる。さらに、集団レベル行動に参加する個人１４の物理状態を特性化するために手がかりを使用してもよい。そのような個人１４は、図３に示すように、主体的形態の内的経験４４を所有している認知エージェント４２としてモデル化することができる。
これらの内的経験４４に対するモデルは、感情、意図、目的、計画、期待、他の個人１４の表現等といった概念を含んでもよい。各個人１４はエージェント４２として見られてもよく、ここで各エージェント４２は、観測可能である（たとえば、カメラ１２によって）物理状態４６および直接観測を受け入れない潜在内的経験４４（内的状態）を有する。物理状態４６は、エージェント４２の相対位置、注視角度、表情、身振り、情動ポーズ、および／または発語を含んでもよい。追加的に、示したように、内的経験４４は物理状態４６を駆動する。
将来の内的経験４４は、現在の内的経験４４の他に、第三者エージェント４２の物理状態４６の観測に基づいてもよい。たとえば、図４は、各々自己の内的経験４４および物理状態４６をもつ３つの相互作用しているエージェント４２間のこれらの関係を示す。分析観点から、各エージェントの物理状態４６は直接観測されてもよい一方で、内的経験４４は推論されてもよい。
物理状態４６の観測に基づいて、各エージェント４２の内的経験４４の推定がなされる場合、非常により豊かな形態の行動認識が出現するであろう。しかしながら、これらの工程の非線形および確率的性質により、観測の直接反転を介してそのような潜在変数を計算することは可能でないであろう。したがって、エージェントベースの行動をモデル化し、したがってフォワードシミュレートすることができる能力に基づく推論戦略を、本開示の一定の実施形態に使用する。
一団の相互作用している個人１４（たとえば、エージェント４２）の一連の観測物理状態４６が与えられれば、いくつかの実施形態は、潜在内的経験４４の対応列を推論することができる。潜在内的経験４４および可観測物理状態４６は、シンボルの集合によって特性化してもよい。そのため、いくつかの実施形態は、観測シンボル列が与えられれば、インタレースした潜在および観測シンボルの完全列を導出することができる。内的経験４４と関連付けられる機構をモデル化することによって、エージェントベースのシミュレータを使用して、完全な潜在／可観測行動列を統合することができる。そのような統合列の巨大な集合を、次いでランダムサンプリング法を介して発生してもよい。エージェントベースのシミュレーションのいくつかの実施形態は、２種類の推論戦略：「仮説検定」および「機械学習を介する認識」を使用することができる。
仮説検定手法は、（１）多数の考え得る行動列を統合し、（２）物理シンボルのみに基づいて任意の２つの列を比較する類似尺度／公算関数を開発し、そして（３）最も類似した統合列の潜在シンボルに基づいて問合せ列の潜在シンボルを推定するという着想に基づいてもよい。統合列の巨大な集合により、いくつかの実施形態は、適切な形態の推論として「多重仮説追跡（ＭＨＴ）」を利用することができる。特に、以下に論じるように、いくつかの実施形態は、粒子フィルタリングフレームワークを使用することができる。たとえば、粒子フィルタリング法と同様に、マルコフ連鎖モンテカルロ（ＭＣＭＣ）およびギブスサンプリングなどの他の技術を使用してもよい。
エージェントベースの推論を介して行動を検出するのに適する工程５０のフロー図を、実施形態に従って図５に示す。工程５０の以下の記載をクラウドベースのコンピューティングシステム１８の１つまたは複数のサーバ２２のプロセッサ２８を参照しつつ記載するが、コンピューティング装置２０、または社会行動認識システム１０と関連付けられる他の部品など、カメラ１２および／またはクラウドベースのコンピューティングシステム１８と通信することが可能でもよい他の装置に設けられる１つまたは複数の他のプロセッサによって、工程５０が行われてもよいことに留意するべきである。追加的に、以下の工程５０は行うことができる所定数の動作を記載するが、工程５０を各種の適切な順序で行ってもよく、また動作のすべてを行わなくてもよいことに留意するべきである。いくつかの実施形態において、工程５０をクラウドベースのコンピューティングシステム１８のサーバ２２とコンピューティング装置２０との間で分散することができることを認識するべきである。
工程５０を次に参照すると、プロセッサ２８は、１つまたは複数のカメラ１２からデータを受信してもよい（ブロック５２）。データは、とりわけ個人の場所、顔表情、注視方向、身体姿勢、身体動作、および／または身振りなどの様々な手がかりを含むビデオ分析ストリームの生成を可能にすることができる。プロセッサ２８はまた、データに基づいて、内的感情４４（認知状態）の他に可観測物理状態４６をモデル化するフォワードエージェントシミュレータを開発してもよい（ブロック５４）。エージェントシミュレータをモデル化するために、いくつかの式を使用してもよい。たとえば、以下の式を使用してもよい：
式中、ｅi,tは時間ｔでのエージェントｉの情緒状態（隠れ）であり、Ｅi,tは時間ｔでのエージェントｉの観測表情（可観測）であり、Ｘi,tは時間ｔでのエージェントｉの場所および注視方向（可観測）であり、そしてｃiはエージェントｉの性格類型（隠れ）である。
プロセッサ２８はまた、個人１４間の様々な行為を統合してもよい（ブロック５６）。また、プロセッサ２８は、リカレントニューラルネットワークをもつ粒子フィルタを使用してエージェントシミュレータを実行してもよい（ブロック５８）。粒子フィルタリングは、観測列（たとえば、観測物理状態４６から導出される手がかり）が与えられて、潜在状態変数（たとえば、内的経験４４）の集合の時間進展を推定することを試みる反復工程を指すことができる。特に、時間ゼロでは、粒子の初期集合はランダムにインスタンス化してもよい。各粒子は、初期潜在変数値の推定および関連する可観測変数の予測から成ってもよい。各粒子の尤度は、予測および観測物理状態４６の類似性に基づいて計算してもよい。これらの尤度尺度に基づいて次の反復に伝播するための粒子を指定するために、サンプリング法を使用してもよい。粒子伝播は、確率的サンプリングに基づいてもよい。このようにして、観測列を追跡することができる粒子が残存するようにする。観測した行動を予測することができない粒子はその後淘汰される。出力は、したがって問合せ列の最も起こりそうな解釈である。
粒子フィルタリングは、正確な提案分布に帰着するシステムダイナミクスの正確なモデリングに依存する検索の一形態である。内的経験モデルは、それらが進化するにつれて複雑さが増すことになるので、粒子フィルタの進化を導くための機構としての認識法の使用は有益であり、かつ本開示のいくつかの実施形態によって使用されることができる。この目的で、リカレントニューラルネットワーク（ＲＮＮ）を使用してもよい。
ＲＮＮは、シンボル列認識の一形態として見られてもよい。例示の目的で、ウィリアムシェイクスピアの全作品を考える。各単語を一意のシンボルによって表すことができる。各文は、次いでシンボル列として見ることができる。シェイクスピアの脚本のコーパスは、したがって訓練データになる。一旦ＲＮＮを訓練すると、それは、わずかに単一のシンボルをもつ初期種列を与えられ得る。ＲＮＮは次いで、列における次の要素のための確率分布を発生する。次の要素を選択するために、サンプリング法を次いで使用することができる。この工程を複数回繰り返して、訓練データの性質に似ているように見える完全な列の統合に帰着することができる。たとえば、「その犬」という初期種が与えられれば、シェイクスピアのＲＮＮは、以下の文：「その犬はあそこの城から来る」を発生するであろう。
したがって、いくつかの実施形態は、エージェントベースのシミュレータを使用して、行動予測を提供すること、または観測した行動を特性化することが可能である行動ＲＮＮの構築のために必要とされる訓練データのコーパスを構成することを含んでもよい。さらに、適切に訓練したＲＮＮの確率的サンプリングが、粒子フィルタリングフレームワークに組み込まれることになる。各粒子がそれ自体の生成内的経験モデルを有する代わりに、粒子はＲＮＮを有することになる。粒子ＲＮＮは、ランダムな内的シンボルで初めに種が与えられてもよい。粒子ＲＮＮは次いで、物理シンボルの次の集合をサンプリングすることを通じて予測してもよい。これらの予測物理シンボルを、問合せ列の物理シンボルと比較してもよい。起こりそうな粒子が次の反復に遷移するようにしてもよい。この場合、遷移することは、内的シンボルの次の集合を予測することを伴ってもよい。
認識されるであろうように、潜在的に膨大な数の考え得る行動列がある一方で、概して、遭遇することがある列の大多数は、比較的少数の行動モードと関連付けることができる。このことは文：「無数の考え得る映画があるが、しかしながら、映画には１２の異なる種類しかない。」と同様である。そのため、適切な訓練データが与えられれば、そのようなモードと関連付けられる知識がＲＮＮによって要約されることになる。この推論パラダイムの成功は、高忠実度認知エージェントベースのシミュレータを発生することができる能力に基づいている。
プロセッサ２８はまた、予測シンボル列が問合せ行動に対する別のシンボル列と一致するかどうかを判定してもよい（ブロック６０）。すなわち、プロセッサ２８は、ＲＮＮをもつ粒子フィルタのシミュレーションを実行して、内的シンボルの次の集合がいつ問合せ行動の内的シンボルおよび／または物理シンボルと一致するかを予測してもよい。一致する場合、プロセッサ２８は、緊急サービスを呼ぶ、警報器を鳴らす、警告をトリガする、メッセージを表示する、メッセージを送る等といった行為を行ってもよい。
図６は、実施形態に従う、エージェントベースのシミュレータに含まれる性格感情および表情を含むチャート７０である。性格類型は、陽気、略奪、外来、憂鬱、および／または神経質を含んでもよい。各性格類型は、一定の行動を呈するようにプログラムしてもよい。たとえば、陽気性格類型はシミュレーション中にエージェントを一団の人々の中心に移動させることができ、略奪性格類型はシミュレーション中にエージェントを最も近いエージェントに接近させることができ、外来性格類型はエージェントを他のエージェントから離れさせることができ、憂鬱性格類型はエージェントをゆっくり移動させることができ、そして神経質性格類型はエージェントに空地を探させることができる。感情は、怒り、欲求不満、中立、および／または幸福を含んでもよい。さらに、観測表情７４は、関連する表情が模倣される顔の表現を含んでもよい。示したように、様々なシンボル７２がチャート７０における各性格類型および感情と関連付けられている。また、観測表情７４のためのシンボルも生成した。
図７は、実施形態に従う、シミュレートしたエージェントおよびそれらの相互作用の図８０である。示したように、シミュレートしたエージェントは、それらの性格類型（たとえば、略奪、神経質および憂鬱）に相当するように色分けしてもよい。エージェントは、上記したようにプログラムしてもよく、そしてシミュレーションは、集団設定における行動の列に関するデータを提供することができる。エージェントは、内的経験４４（感情）および物理状態４６（位置、注視角度および／または表情）を含んでもよい。前述のように、物理状態４６はカメラ１２を介して直接観測可能であるが、内的経験４４は隠されており、社会行動認識システム１０によって推論してもよい。
図８は、実施形態に従う、観測行動から推定されるシミュレートしたエージェントを使用する粒子フィルタリングの例である。上記したように、粒子フィルタリングは、観測列が与えられて、潜在変数（たとえば、感情などの内的経験４４）の集合の時間進展を推定することを試みる反復工程でもよい。そのため、示したシミュレートしたエージェント（粒子）を使用して、性格類型および表情シンボルに対する対応観測列に基づいて潜在変数シンボルの列を推定することができる。いくつかの実施形態において、粒子フィルタはリカレントニューラルネットワークを含み、そしてシンボル（性格類型および／または感情）の列の予測に成功した粒子フィルタが保たれて、不成功である粒子フィルタは取り除かれる（たとえば、終了される）。
図９は、実施形態に従う、リカレントニューラルネットワークを使用する粒子フィルタリングでシミュレートしたエージェントを実行した結果として選択される最も起こりそうな粒子９２の図９０である。最も起こりそうな粒子９２は、行動シンボルの完全列を生成するために実行し続け、それによって以降の行為の予測を可能にするようにしてもよい。上記したように、観測は、カメラ１２を介して得られたデータに基づいてもよい。
本発明の技術的な効果は、行動認識に対するエージェントベースの推論フレームワークをインスタンス化することを含む。行動認識は、警備監視で有用でありえる。人間行動は複雑であるが、カメラによって取り込まれ、そして本技術によって識別されることが可能な一定の行動パターンは、再観察または行為のために標識してもよい。さらに、一実施形態において、複数のリカレントニューラルネットワークの使用は、一定のニューラルネットワークのみを伝播し、その他を性能に基づいて終了するので、他のビデオベースの行動評価に対してより効率的かつ能率的なコンピュータ性能を可能にすることができる。
実施形態は、生成モデルを使用する分類の一形態としての行動認識が認知モデルに基づいて可観測手がかりを構築することを可能にする。したがって、行動認識は、そのような観測に帰着したであろう認知状態の推定値に帰着する。エージェントベースのシミュレータは、行動リカレントニューラルネットワークの構築のために使用する訓練データのコーパスを構成するために使用してもよい。適切に訓練したリカレントニューラルネットワークの確率的サンプリングが、粒子フィルタリングフレームワークに組み込まれてもよい。各粒子がそれ自体の生成内的経験モデルを有する代わりに、粒子はリカレントニューラルネットワークを含む。粒子リカレントニューラルネットワークは、ランダムな内的シンボルで初めに種が与えられてもよい。粒子リカレントニューラルネットワークは次いで、物理シンボルの次の集合をサンプリングすることを通じて予測してもよい。これらの予測物理シンボルを、問合せ列の物理シンボルと比較してもよい。起こりそうな粒子が次の反復に遷移するようにしてもよい。遷移することは、内的シンボルの次の集合を予測することを伴ってもよい。社会行動認識システム１０は、いかなる個人（たとえば、人々１４から離れて位置する）によっても支持されない様々なカメラ１２を使用してもよい。カメラ１２は、群衆／集団レベル相互作用における人１４の非言語的手がかり（たとえば、情動、近接性、活動／動作、従事）を取り込み、そして分析するために使用してもよい。
この書面による記載は例を使用して、最良の形態を含め、実施形態を開示し、かつまた任意の装置またはシステムを製作および使用すること、ならびに任意の組み込まれた方法を行うことを含め、当業者が開示した主題を実践することを可能にする。本主題の特許されうる範囲は請求項によって定められ、かつ当業者に想起される他の例を含んでもよい。そのような他の例は、それらが請求項の文字通りの文言と異ならない構造要素を有する場合、またはそれらが請求項の文字通りの文言から実質的に差のない同等の構造要素を含む場合、請求項の範囲内にあるものと意図される。
１０ 社会行動認識システム
１２ カメラ
１４ 人々
１６ 環境
１８ クラウドベースのコンピューティングシステム
２０ コンピューティング装置
２２ サーバ
２４ メモリ
２６ データベース
２８ プロセッサ
３０ 通信部品
４２ エージェント
４４ 内的経験
４６ 物理状態
７２ シンボル
７４ 観測表情
９２ 最も起こりそうな粒子

Claims (14)

  1. 環境（１６）において１人または複数の個人（１４）の行動に関連したデータを取り込む１つまたは複数のカメラ（１２）と、
    環境（１６）において１つまたは複数のカメラ（１２）から１人または複数の個人の前記行動に関連した前記データを受信し、
    それぞれの個人（１４）の前記行動を各々モデル化し、かつシミュレーション中の前記それぞれの個人の内的経験を表すシンボル列を各々出力する１つまたは複数のエージェントベースのシミュレータを実行し、そして、
    前記シンボル列が問合せ行動に対する問合せシンボル列と一致するとき前記それぞれの個人の各々に対する以降の行動を予測する、
    １つまたは複数のプロセッサ（２８）を備える１つまたは複数のコンピューティング装置（２０）と、
    前記１つまたは複数のコンピューティング装置に結合され、かつ前記以降の行動を表す指示を表示するように構成されるディスプレイと、を備えるシステム。
  2. 前記１つまたは複数のカメラ（１２）が、場所および関節身体動作の推定値を取り込む赤、緑、青、深度（ＲＧＢ＋Ｄ）カメラ、ならびに顔画像を取り込む固定カメラおよびパンチルトズーム（ＰＴＺ）カメラを備える、請求項１記載のシステム。
  3. 前記１つまたは複数のコンピューティング装置（２０）が、スマートフォン、スマートウォッチ、タブレット、ラップトップコンピュータ、デスクトップコンピュータ、クラウドベースのコンピューティングシステム（１８）におけるサーバ（２２）、またはそれらの何らかの組合せを備える、請求項１記載のシステム。
  4. 前記１つまたは複数のプロセッサ（２８）が、一定の以降の行動が予測されるときに、行為であって、警報器を鳴らすこと、緊急サービスを呼ぶこと、警告をトリガすること、メッセージを送ること、警告を表示すること、またはそれらの何らかの組合せを含む行為を行う、請求項３記載のシステム。
  5. 環境（１６）において１つまたは複数のカメラ（１２）から１人または複数の個人（１４）に関連したデータを受信することと、
    それぞれの個人（１４）の行動のモデルを生成するように各々が動作する１つまたは複数のエージェントベースのシミュレータを実行し、各モデルの出力が、シミュレーション中の前記それぞれの個人（１４）の内的経験（４４）を表すシンボル列であることと、
    前記シンボル列が問合せ行動に対する問合せシンボル列と一致するとき前記それぞれの個人の各々に対する以降の行動を予測することと、を含む方法。
  6. 各モデルが、粒子フィルタリングを使用し、そして各粒子が、前記データに基づいて前記シンボル列の時間進化を反復的に推定するリカレントニューラルネットワークを含む、請求項５記載の方法。
  7. 類似したシンボル列を含む粒子が、次の反復に遷移して、前記シンボル列の内的シンボルの次の集合を予測するようにする、請求項６記載の方法。
  8. 類似したシンボル列を含まない粒子を終了する、請求項６記載の方法。
  9. 前記リカレントニューラルネットワークを使用して、前記シンボル列に基づいて前記以降の行動を予測する、請求項６記載の方法。
  10. 前記リカレントニューラルネットワークが、ランダムな内的経験シンボルで初めに種が与えられる、請求項９記載の方法。
  11. 前記リカレントニューラルネットワークが、物理状態シンボルの次の集合をサンプリングし、そして物理シンボルの前記次の集合を前記問合せシンボル列の物理状態シンボルと比較することによって、前記以降の行動を予測する、請求項１０記載の方法。
  12. 前記１つまたは複数のカメラが、場所および関節身体動作の推定値を取り込む赤、緑、青、深度（ＲＧＢ＋Ｄ）カメラ、ならびに顔画像を取り込む固定カメラおよびパンチルトズーム（ＰＴＺ）カメラを備える、請求項５記載の方法。
  13. 前記シンボル列が、性格類型、感情、観測表情、またはそれらの何らかの組合せに対する記憶したグラフィクを含む、請求項５記載の方法。
  14. 一定の行動が予測されるときに行為を行うことを含み、前記行為が、警報器を鳴らすこと、緊急サービスを呼ぶこと、警告をトリガすること、メッセージを送ること、警告を表示すること、またはそれらの何らかの組合せを含む、請求項５記載の方法。
JP2017224121A 2016-12-06 2017-11-22 集団レベル認知状態を評価するための技術 Pending JP2018139100A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/370,736 US10216983B2 (en) 2016-12-06 2016-12-06 Techniques for assessing group level cognitive states
US15/370,736 2016-12-06

Publications (1)

Publication Number Publication Date
JP2018139100A true JP2018139100A (ja) 2018-09-06

Family

ID=60781464

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017224121A Pending JP2018139100A (ja) 2016-12-06 2017-11-22 集団レベル認知状態を評価するための技術

Country Status (5)

Country Link
US (1) US10216983B2 (ja)
EP (1) EP3333764A1 (ja)
JP (1) JP2018139100A (ja)
CN (1) CN108154236A (ja)
CA (1) CA2986406A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10445565B2 (en) * 2016-12-06 2019-10-15 General Electric Company Crowd analytics via one shot learning
WO2018126275A1 (en) * 2016-12-30 2018-07-05 Dirk Schneemann, LLC Modeling and learning character traits and medical condition based on 3d facial features
JP6615800B2 (ja) * 2017-01-11 2019-12-04 株式会社東芝 情報処理装置、情報処理方法およびプログラム
US10963493B1 (en) * 2017-04-06 2021-03-30 AIBrain Corporation Interactive game with robot system
US10929759B2 (en) 2017-04-06 2021-02-23 AIBrain Corporation Intelligent robot software platform
US11151992B2 (en) 2017-04-06 2021-10-19 AIBrain Corporation Context aware interactive robot
US10475222B2 (en) 2017-09-05 2019-11-12 Adobe Inc. Automatic creation of a group shot image from a short video clip using intelligent select and merge
US10832393B2 (en) * 2019-04-01 2020-11-10 International Business Machines Corporation Automated trend detection by self-learning models through image generation and recognition
US11381651B2 (en) * 2019-05-29 2022-07-05 Adobe Inc. Interpretable user modeling from unstructured user data
AU2019100806A4 (en) * 2019-07-24 2019-08-29 Dynamic Crowd Measurement Pty Ltd Real-Time Crowd Measurement And Management Systems And Methods Thereof
CN110472726B (zh) * 2019-07-25 2022-08-02 南京信息工程大学 基于输出变化微分的灵敏长短期记忆方法
US11514767B2 (en) * 2019-09-18 2022-11-29 Sensormatic Electronics, LLC Systems and methods for averting crime with look-ahead analytics
CN110991375B (zh) * 2019-12-10 2020-12-15 北京航空航天大学 一种群体行为分析方法及装置
US11497418B2 (en) 2020-02-05 2022-11-15 General Electric Company System and method for neuroactivity detection in infants
US11587428B2 (en) * 2020-03-11 2023-02-21 Johnson Controls Tyco IP Holdings LLP Incident response system
US11373425B2 (en) * 2020-06-02 2022-06-28 The Nielsen Company (U.S.), Llc Methods and apparatus for monitoring an audience of media based on thermal imaging
US11763591B2 (en) 2020-08-20 2023-09-19 The Nielsen Company (Us), Llc Methods and apparatus to determine an audience composition based on voice recognition, thermal imaging, and facial recognition
US11553247B2 (en) 2020-08-20 2023-01-10 The Nielsen Company (Us), Llc Methods and apparatus to determine an audience composition based on thermal imaging and facial recognition
US11595723B2 (en) 2020-08-20 2023-02-28 The Nielsen Company (Us), Llc Methods and apparatus to determine an audience composition based on voice recognition
US11887384B2 (en) * 2021-02-02 2024-01-30 Black Sesame Technologies Inc. In-cabin occupant behavoir description

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002021441A1 (fr) * 2000-09-06 2002-03-14 Hitachi, Ltd. Detecteur de comportement anormal
US20090222388A1 (en) * 2007-11-16 2009-09-03 Wei Hua Method of and system for hierarchical human/crowd behavior detection
JP2010231393A (ja) * 2009-03-26 2010-10-14 Advanced Telecommunication Research Institute International 監視装置
JP2011186521A (ja) * 2010-03-04 2011-09-22 Nec Corp 感情推定装置および感情推定方法
JP2011248445A (ja) * 2010-05-24 2011-12-08 Toyota Central R&D Labs Inc 可動物予測装置及びプログラム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6778637B2 (en) 2002-09-20 2004-08-17 Koninklijke Philips Electronics, N.V. Method and apparatus for alignment of anti-scatter grids for computed tomography detector arrays
DE10252662A1 (de) 2002-11-11 2004-05-27 Philips Intellectual Property & Standards Gmbh Computertomographie-Verfahren mit kohärenten Streustrahlen und Computertomograph
US7418082B2 (en) 2003-06-01 2008-08-26 Koninklijke Philips Electronics N.V. Anti-scattering X-ray collimator for CT scanners
US8442839B2 (en) 2004-07-16 2013-05-14 The Penn State Research Foundation Agent-based collaborative recognition-primed decision-making
US8057235B2 (en) 2004-08-12 2011-11-15 Purdue Research Foundation Agent based modeling of risk sensitivity and decision making on coalitions
US7450683B2 (en) 2006-09-07 2008-11-11 General Electric Company Tileable multi-layer detector
AU2007327315B2 (en) 2006-12-01 2013-07-04 Rajiv Khosla Method and system for monitoring emotional state changes
US7486764B2 (en) 2007-01-23 2009-02-03 General Electric Company Method and apparatus to reduce charge sharing in pixellated energy discriminating detectors
US20110263946A1 (en) 2010-04-22 2011-10-27 Mit Media Lab Method and system for real-time and offline analysis, inference, tagging of and responding to person(s) experiences
JP5645079B2 (ja) * 2011-03-31 2014-12-24 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
US9062978B2 (en) * 2011-05-31 2015-06-23 Massachusetts Institute Of Technology Tracking a body by nonlinear and non-Gaussian parametric filtering
EP2718864A4 (en) 2011-06-09 2016-06-29 Univ Wake Forest Health Sciences AGENT-BASED BRAIN MODEL AND RELATED METHODS
US9384448B2 (en) * 2011-12-28 2016-07-05 General Electric Company Action-based models to identify learned tasks
US9076563B2 (en) 2013-06-03 2015-07-07 Zhengrong Ying Anti-scatter collimators for detector systems of multi-slice X-ray computed tomography systems
US9955124B2 (en) * 2013-06-21 2018-04-24 Hitachi, Ltd. Sensor placement determination device and sensor placement determination method
CN103876767B (zh) 2013-12-19 2017-04-12 沈阳东软医疗系统有限公司 一种ct机及其x射线准直器
CN103716324B (zh) 2013-12-31 2017-04-12 重庆邮电大学 一种基于多智能体虚拟矿井风险行为实现系统及方法
US10335091B2 (en) * 2014-03-19 2019-07-02 Tactonic Technologies, Llc Method and apparatus to infer object and agent properties, activity capacities, behaviors, and intents from contact and pressure images
US9582496B2 (en) 2014-11-03 2017-02-28 International Business Machines Corporation Facilitating a meeting using graphical text analysis
JP6671248B2 (ja) * 2016-06-08 2020-03-25 株式会社日立製作所 異常候補情報分析装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002021441A1 (fr) * 2000-09-06 2002-03-14 Hitachi, Ltd. Detecteur de comportement anormal
US20090222388A1 (en) * 2007-11-16 2009-09-03 Wei Hua Method of and system for hierarchical human/crowd behavior detection
JP2010231393A (ja) * 2009-03-26 2010-10-14 Advanced Telecommunication Research Institute International 監視装置
JP2011186521A (ja) * 2010-03-04 2011-09-22 Nec Corp 感情推定装置および感情推定方法
JP2011248445A (ja) * 2010-05-24 2011-12-08 Toyota Central R&D Labs Inc 可動物予測装置及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KANG HOON LEEほか３名: ""Group Behavior from Video: A Data-Driven Approach to Crowd Simulation"", SCA '07: PROCEEDINGS OF THE 2007 ACM SIGGRAPH/EUROGRAPHICS SYMPOSIUM ON COMPUTER ANIMATION, JPN7022000042, August 2007 (2007-08-01), pages 109 - 118, XP001510743, ISSN: 0004874716 *

Also Published As

Publication number Publication date
US10216983B2 (en) 2019-02-26
CN108154236A (zh) 2018-06-12
CA2986406A1 (en) 2018-06-06
US20180157902A1 (en) 2018-06-07
EP3333764A1 (en) 2018-06-13

Similar Documents

Publication Publication Date Title
US10216983B2 (en) Techniques for assessing group level cognitive states
EP3333762A1 (en) Crowd analytics via one shot learning
US10503978B2 (en) Spatio-temporal interaction network for learning object interactions
Bai et al. Predicting the Visual Focus of Attention in Multi-Person Discussion Videos.
EP3884426B1 (en) Action classification in video clips using attention-based neural networks
CN110826453A (zh) 一种通过提取人体关节点坐标的行为识别方法
Zhuang et al. Group activity recognition with differential recurrent convolutional neural networks
WO2021194372A1 (en) Methods and systems for managing meeting notes
Li et al. Facial expression-based analysis on emotion correlations, hotspots, and potential occurrence of urban crimes
Baig et al. Crowd emotion detection using dynamic probabilistic models
Jain et al. State-of-the-arts violence detection using ConvNets
Dotti et al. Behavior and personality analysis in a nonsocial context dataset
Dhiraj et al. Activity recognition for indoor fall detection in 360-degree videos using deep learning techniques
Baig et al. Perception of emotions from crowd dynamics
KR102564300B1 (ko) 체온 행동 패턴을 이용한 학교 폭력 예방 시스템
Yang et al. Automatic aggression detection inside trains
Baig et al. Bio-inspired probabilistic model for crowd emotion detection
Usman Anomalous crowd behavior detection in time varying motion sequences
Mocanu et al. Human activity recognition with convolution neural network using tiago robot
Zhang et al. Automatic construction and extraction of sports moment feature variables using artificial intelligence
Dichwalkar et al. Activity recognition and fall detection in elderly people
Zachariah et al. Review on vision based human motion detection using deep learning
Gorodnichy et al. PROVE-IT (FRiV): framework and results
Alkittawi A deep-learning-based fall-detection system to support aging-in-place
Baraka et al. An Intelligent Criminal Detection System: A Case Study of Beni-town

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190806

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220412

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220914