JP2018124972A - ワンショット学習を通じた群衆解析 - Google Patents

Abstract

【課題】画像データ解析に基づいて個人または群衆レベルの挙動を評価するための技術を提供する。【解決手段】社会的挙動認識システム１０は、静止画像、ビデオまたは両方ともを捕える能力のある１つまたは複数のカメラ１２を含む。カメラ１２は、壁、天井、床などの上の拘束を受けない環境１６のいかなる適切な位置にも、設置することができる。更に、システム１０は、データソースとして外部カメラ１２を使用することもできる。拘束を受けない環境１６は、１人または複数の人々１４を含み得る。カメラ１２は、人々１４に関連したデータを捕えるためにプログラムすることができるかまたは制御することができる。コンピューティング装置２０は、スマートフォン、スマートウォッチ、タブレット、ラップトップコンピュータ、デスクトップコンピュータなどとして、あるいはそれらによりアクセス可能なように実装することができる。【選択図】図１

Description

本明細書において開示される内容は、ワンショット学習を通じた群衆解析に関する。

個人または群衆レベルの挙動を理解することは、重要な研究分野であり、挙動検出につなげることができる。人の挙動を検出することで、空港、鉄道の駅、スポーツアリーナ、映画館などの群衆が通常集まる様々な場所での、犯罪減少および／またはセキュリティの強化を可能にすることができる。人が挙動を実行に移す前にその挙動を検出する技術を改善することは望ましい、ということが現在は一般に認識されている。

独創的に請求される主題の範囲に相応した特定の実施形態が以下に要約される。これらの実施形態は請求される主題の範囲を制限することを目的とするものではなく、むしろ、これらの実施形態は本開示の考え得る形の概要を提供することだけを目的とする。実際、開示される技術は、以下に述べる実施形態と類似していてもよい、または異なってもよい、様々な形態を含むことができる。

一実施形態において、環境内の１つまたは複数のカメラからデータを受け取る以下のステップを含む方法が提供され、そのステップとは、データから作成される１つまたは複数のビデオ解析ストリームのメタデータを生成するステップ、メタデータに基づいて、１つまたは複数の時系列の値を生成するステップ、１つまたは複数の時系列に対する１つまたは複数の情動スコアを生成するステップ、１つまたは複数の情動スコアに基づいて、観察された挙動を代表する第１のシグネチャを生成するステップ、第１のシグネチャが照会挙動を表す第２のシグネチャと一致するか否かを判定することによって、ペアによる照合を実行するステップ、そして、第１のシグネチャが第２のシグネチャと一致するときに措置を実行するステップ、である。

別の実施態様では、有形の非一時的コンピュータ可読媒体が提供される。有形の、非一時的コンピュータ可読媒体は、１つまたは複数のプロセッサによって実行されるときに、１つまたは複数のプロセッサに、環境内の１つまたは複数のカメラからデータを受信させ、データから作成される１つまたは複数のビデオ解析ストリームのメタデータを生成させ、メタデータに基づいて１つまたは複数の時系列の値を生成させ、１つまたは複数の時系列に対する１つまたは複数の情動スコアを生成させ、１つまたは複数の情動スコアに基づいて、観察された挙動を代表する第１のシグネチャを生成させ、第１のシグネチャが照会挙動を表す第２のシグネチャと一致するか否かを判定することによって、ペアによる照合を実行させ、そして、第１のシグネチャが照会挙動を表す第２のシグネチャと一致するときに出力を提供するようにさせる、コンピュータ命令を格納する。

別の実施態様では、環境内の１人または複数の個人の挙動に関連したデータを捕える１つまたは複数のカメラを含むシステムが、提供される。システムはまた、１つまたは複数のカメラからデータを受け取り、１人または複数の個人の観察された挙動が照会挙動と一致するか否かを判定するためにデータを使用してワンショット学習を実行し、そこにおいて、ワンショット学習は、照会挙動のインスタンスの単一の観察だけが取得された後に実行される、ペアによる照合を実行することを含み、そして、観察された挙動が照会挙動と一致するときに、措置を実行する、１つまたは複数のプロセッサを備えた１つまたは複数のコンピューティング装置を含む。

本開示のこれらの、そしてまた他の、特徴、態様および利点は、以下の詳細な説明が、図面の全体にわたって同様の文字が同様の部分を表す、添付の図面を参照して読まれるときに、よりよく理解される。

一実施形態による、社会的挙動認識システムの説明図である。 一実施形態による、ビデオ解析ストリームを生成するのに適しているプロセスのフローチャートである。 一実施形態による、ワンショット学習を通じて挙動を検出するのに適しているプロセスのフローチャートである。 一実施形態による、ワンショット学習を実行するために用いる例示モジュールのブロック図である。 一実施形態による、ワンショット学習のために使用する１３個の挙動ペアのマトリクス表現である。 一実施形態による、１３個の観察された挙動ペアおよび、各挙動に対する情動スコアを作成する能力をそれぞれが有する１８個の兆候ジェネレータに基づく、ランクマトリクスである。 一実施形態による、各種のワンショット学習実験に対する累積的な一致特性曲線である。

次に、１つまたは複数の特定の実施形態を説明する。これらの実施形態の簡潔な記述を提供する努力において、実際の実装の全ての特徴が、仕様に記載されているというわけではない。この種のあらゆる実際の実装の開発においては、あらゆる技術または設計プロジェクトにおけるように、例えば実装ごとに異なるシステムおよびビジネス関連の規制条件に準拠することのような、開発者の特定の目標を達成するためには、多数の実装特有の決定がなされなければならないことは理解すべきである。更に、そのような開発努力は、複雑かつ時間がかかるであろうが、それにもかかわらずこの開示の利益を受ける当業者にとっては設計、製作、製造を始める型通りの手順であるということを理解すべきである。

本開示の各種実施形態の要素を導入するときに、冠詞「１つの（ａ）」、「１つの（ａｎ）」、そして、「その（ｔｈｅ）」は、要素の１つまたは複数があることを意味することを意図している。用語「含む（ｃｏｍｐｒｉｓｉｎｇ）」、「包含する（ｉｎｃｌｕｄｉｎｇ）」および「有する（ｈａｖｉｎｇ）」は、包括的であることを意図しており、列挙された要素以外の追加要素があり得ることを意味する。

本開示の実施形態は、概して挙動認識に対するワンショット学習フレームワークに関する。ワンショット学習は、１つまたはほんの少数の挙動観察だけに基づいて挙動カテゴリまたはタイプの認識ができるようにする。照会挙動（例えばうろついている）のインスタンスの単一の観察が与えられると、社会的挙動認識システムは、それに続く任意の観察が、この種類の別の例であるか、またはそうではないと分類することができる。認識の観点から、この技術は、システムが２つの顔を表しているデータを受信するといつでも、２つの顔が同じ個人から来たのか、または、異なる個人から来たのかをシステムが判定する、という顔認証の課題に類似していると言える。同様に、本明細書において、観察された挙動のいかなるペアも比較して、２つの挙動が同一であるか否かを判定する、ワンショット挙動認識システムが開示される。

いくつかの実施形態は、スタンドオフビデオ解析方法を用いて群衆レベルの挙動を理解することを可能とし得る。特に、社会的挙動認識システムを用いて、個人の、および／または群衆／グループレベル相互関係での、人の非言語的な合図を捕えて、解析することができる。更に、ワンショット学習のアプローチは、新規な挙動がただ１つの例だけで認識され得るという概念に基づいて、社会的挙動認識システムによって用いることができる。社会的挙動認識システムは、群衆の中の人追尾、動的なパンチルトズーム（ＰＴＺ）カメラ制御、遠くからの顔の解析（例えば、凝視推定および／または表情認識）、上半身感情ポーズ解析および社会的状態（例えば、関係、敵意など）の推定、などの方法を実施することができる。いくつかの実施形態では、社会的挙動認識システムによって引き出される合図は、ワンショット学習の形として見ることができる挙動の間のシグネチャ一致を考慮して、意味論的に意味がある挙動ディスクリプタまたは情動を組み立てるために、用いることができる。

特定の実施形態では、本明細書において用いられる用語は、以下の通りに理解することができる。

・ワンショット学習：照会挙動（例えばグループ形成）のインスタンスの単一の観察が与えられて、それに続く任意の観察が、この種類の別の例であるか、またはそうではないと分類すること。

・挙動：人々によって実行されるイベントの連続。

・ビデオ解析ストリーム：ベースビデオ解析によって生成される、各人の位置、凝視方向、表情および／または動作領域などのデータ（これらは恒常的に発生中であってもよい）。

・兆候ジェネレータ：イベントの観察ならびに測定量などのデータの各種の解釈。兆候ジェネレータは、パラメータ化することができて、０と１間の単一変数時系列として見ることができる。

・情動：意味論的に意味がある挙動のディスクリプタ；兆候ジェネレータは、０と１の間の単一の情動スコアを作成することができる。

・シグネチャ：挙動を特徴づけるために用いる構造。シグネチャは、観察された情動をコード化する。シグネチャは、情動のシーケンスが挙動検出において助けとなり得るので、各情動がいつ観察されたかについて考慮することもできる。

・挙動の観察：生のビデオとビデオ解析ストリームから成る。

前述のことを念頭にして、図１は、実施形態による社会的挙動認識システム１０の説明図である。社会的挙動認識システム１０は、顔の表情、凝視方向、体の姿勢および動作）多種多様な視覚的合図を考慮することができる。視覚的合図に基づいて、社会的挙動認識システム１０は、完全に自動的なやり方で複雑なグループレベルの社会的状態を推定することができる。いくつかの実施形態では、社会的挙動認識システム１０は、潜在変数推論課題として社会的相互関係解析を評価することができる。更に、いくつかの実施形態では、社会的挙動認識システム１０は、拘束を受けない環境１６において自由に機能している１人または複数の人々１４についてのデータを捕える、カメラ１２を含むことができる。社会的挙動認識システム１０は、ビデオ解析メタデータのソースとして用いることができる。下記に詳しく述べる通り、社会的挙動認識システム１０は、リアルタイム、スタンドオフまたはスタンドアロンの（例えば、個人と分離した）エンドツーエンドの社会的相互関係解析システムとして、インスタンス化することができる。

図示するように、社会的挙動認識システム１０は、静止画像、ビデオまたは両方ともを捕える能力のある１つまたは複数のカメラ１２を含む。カメラ１２は、壁、天井、床などの上の拘束を受けない環境１６のいかなる適切な位置にも、設置することができる。１つまたは複数のカメラ１２は、ボディカメラとして実装することができる。更に、システム１０は、データソースとして外部カメラ１２を使用することもできる。例えば、システム１０は、ビデオ解析に対する入力データとして環境からソーシャルメディア画像またはビデオを取得するように構成することができる。拘束を受けない環境１６は、１人または複数の人々１４を含み得る。例えば、環境１６に存在する単一の個人１４が存在してもよく、または、大勢の人々１４が環境１６に存在してもよい。カメラ１２は、人々１４に関連したデータを捕えるためにプログラムすることができるかまたは制御することができる。いくつかの実施形態では、カメラ１２は、クラウドベースのコンピューティングシステム１８および／またはコンピューティング装置２０に通信で連結することができる。このように、カメラ１２は、取得されたデータをクラウドベースのコンピューティングシステム１８および／またはコンピューティング装置２０に発信することができる。発進の頻度は、周期的（例えば、１分ごと、５分ごと、３０分ごと、６０分ごと、毎日、毎週など）であっても、またはストリーミング（例えば、リアルタイムまたはほぼリアルタイムで連続的）であってもよい。いくつかの実施形態では、コンピューティング装置２０は、スマートフォン、スマートウォッチ、タブレット、ラップトップコンピュータ、デスクトップコンピュータなどとして、あるいはそれらによりアクセス可能なように実装することができる。

カメラ１２を介して取得されるデータは、クラウドベースのコンピューティングシステム１８の１つまたは複数のサーバ２２によって受け取ることができて、サーバ２２の１つまたは複数のメモリ２４に、または、サーバ２２の外部にあるクラウドベースのコンピューティングシステム１８に含まれる１つまたは複数のデータベース２６に、格納することができる。サーバ２２は、互いに通信で連結することができて、互いの間で各種のタスクを分散して、より効率的にタスクを遂行することができる。サーバ２２は、１つまたは複数のプロセッサ２８および通信コンポーネント３０を含むこともできる。通信コンポーネント３０は、クラウドベースのコンピューティングシステム１８、カメラ１２および／またはコンピューティング装置２０の間の通信を容易にすることができる、無線または有線の通信コンポーネントでもよい。

プロセッサ２８は、コンピュータにより実行可能なコードを実行することができる任意のタイプのコンピュータプロセッサまたはマイクロプロセッサであってもよい。プロセッサ２８は、後述する動作を実行することができるマルチプロセッサを含むこともできる。メモリ２４は、プロセッサ実行可能コード、データ、データの解析などを記憶するための非一時的媒体として役割を果たすことができる、いかなる適切な製品でもあってもよい。これらの製品は、プロセッサ２８により用いられるプロセッサ実行可能コードを格納して本開示の技術を実行することができる、コンピュータ可読媒体（例えば、メモリまたはストレージのあらゆる適切な形）を表すことができる。通常、プロセッサ２８は、以下に詳細に記載されているように、カメラ１２を介して取得されるデータに基づいて、挙動を認識することができる。クラウドベースのコンピューティングシステム１８のサーバ２２の分散型の性質のため、サーバ２２の共用リソースは、パラレル処理を可能としてリアルタイムフィードバックを可能とすることができる。例えば、各サーバ２２は、実質的に同時にデータの異なる部分を処理する役割を果たしてもよく、そして、結果を結合して、コンピューティング装置２０に結果を出力する単一のサーバ２２によって、結果は収集することができる。このようにして、どのサーバ２２も計算コストの高いタスクであふれることなく、そして、処理時間は削減することができる。

データベース２６は、カメラ１２によって捕えられる画像および／またはビデオデータを格納することができる。また、データベース２６は、ビデオ解析ストリームメタデータと比較して挙動一致があるか否かを判定することができる、知られている挙動シグネチャなどの他の情報を、格納することができる。更に、データベース２６および／またはメモリ２４は、カメラ１２によって取得される履歴ビデオおよび／または画像データを格納することができる。

コンピューティング装置２０は、１人または複数の人々１４の特定の挙動が検出されているか否か、ならびに、人々１４に関する関連情報および／または取られる措置（例えば、救急サービスを呼ぶ、アラームを鳴らす、アラートを起動する、メッセージを送信する、アラートを表示する、など）を表示する、グラフィカルユーザーインタフェース（ＧＵＩ）を提供するアプリケーションを、格納することができる。すなわち、いくつかの実施形態では、アプリケーションは、挙動を認識する方法などのいかなる処理も実行しない場合もある。その代わりに、いくつかの実施形態では、アプリケーションは、クラウドベースのコンピューティングシステム１８によって実行した挙動認識技術のデータと結果の、フロントエンドディスプレイとしてだけ機能することができる。例えば、クライアントサーバアーキテクチャで、ウェブサイトはコンピューティング装置２０上のブラウザを介してアクセスすることができ、そして、ウェブサイトは、それがいかなるモデリングも実際に実行することなくクラウドベースのコンピューティングシステム１８により提供される情報を示すだけであるという点で、シンクライアントとして機能することができる。しかしながら、いくつかの実施形態では、コンピューティング装置２０に格納されるアプリケーションは、カメラ１２からデータを受け取ることができて、本明細書において開示される挙動認識技術を実行することができる。

上記のコンポーネントがクラウドベースのコンピューティングシステム１８のサーバ２２に関して述べられたにもかかわらず、類似のコンポーネントがコンピューティング装置２０を形成することができる点に留意する必要がある。更に、列挙されたコンポーネントが例示のコンポーネントとして設けられており、そして、本明細書において記載されている実施形態が図１に関して記載されているコンポーネントに限られてはいないという点に留意する必要がある。

カメラ１２は固定の赤、緑、青および深度（ＲＧＢ−Ｄ）カメラを含むことができ、それは位置および関節体動作の推定を作成する。また、カメラ１２は、このような追尾結果に基づいてタスクを与えられて高解像度の顔の画像を捕えることができるパンチルトズーム（ＰＴＺ）カメラを含むことができる。顔ランドマークのはめ込みおよび追尾は、顔の表情および凝視方向を抽出するように実行される。社会的挙動認識システム１０は、人に特有の合図のストリームを、観察された個人の構成および数から独立している、サイトレベルの集積された統計のセットに抽出することができる。このような測定値は、感情的な情動（観察された顔の表情に由来する）、近接度（追尾された位置に由来する）、アクティビティ動作（動作に由来する）および係合（位置および凝視方向に由来する）を含むことができる。社会的挙動認識システム１０は、時系列表現に結果としてなっているこれらの統計を連続的に生成することができる。グラフィックモデルのセットは、クラウドベースのコンピューティングシステム１８および／またはコンピューティング装置２０により用いられて、これらの測定値を処理することができ、それによって、様々なグループレベルの社会的状態（例えば疎通性および敵意）の連続的推定に結果としてなる。

社会的挙動認識システム１０がそのシステムアーキテクチャのためのモジュラー設計を含み得るということに留意する必要がある。いくつかの実施形態では、社会的挙動認識システム１０のコンポーネントは、カメラ１２からの生のビデオフィードおよび他のモジュールによって生成されるメタデータなどの入力を消費し得る。次に、各モジュールは、メッセージパッシング、パブリッシュおよびサブスクライブアーキテクチャに挿入されるメタデータを、生成することができる。複数のコンピューティングプラットフォームを使用して、リアルタイム社会的挙動認識システム１０は、マルチカメラ追尾、ＰＴＺ制御、顔の解析、データ統合および社会的状態推論を含むことができる。この種のモジュラー設計は、複数のサードパーティ機能の社会的挙動認識システム１０への組み込みを可能とすることができる。

クラウドベースのコンピューティングシステム１８および／またはコンピューティング装置２０の１つまたは複数のプロセッサは、コンピュータ命令として行われる各種のモジュールを実行することができる。モジュールは、追尾モジュール、関節動作解析モジュール、ＰＴＺカメラ制御モジュール、顔解析モジュールおよび／または推論モジュールを含むことができる。

追尾モジュールから始めて、特定の関心領域（例えば、環境１６）に位置する各対象（例えば、人々１４）の位置および軌跡を推定するために、検出および追尾の枠組みが、用いることができる。複数のＲＧＢ−Ｄカメラ１２は、まずワールド座標系に関して調整することができる。各カメラ１２からの画像は、それぞれに人検出のセットおよび関連する外観シグネチャを生成するために用いることができる。これらの検出は、既存の追尾装置に照合することができる。既存の追尾装置に関連付けられない検出は、新規な追尾装置を初期化するために用いることができる。新規な検出と関連付けることに継続的に失敗する追尾装置は、終了させることができる。

加えて、クラウドベースのコンピューティングシステム１８および／またはコンピューティング装置２０は、関節動作解析モジュールを実行することができる。追尾に加えて、ＲＧＢ−Ｄカメラ画像は、「時空コーナー」と呼ばれる動作合図を抽出するために用いることができる。これらの合図は、各対象の測定された位置および高さに基づいて定められる空間ヒストグラムと関連付けてもよい。これらの空間／頻度分布は、ＰＴＺカメラ１２で捕えられるＲＧＢ画像に基づく関節動作体の表現として使うことができる。

ＰＴＺカメラ制御モジュールに関して、各ＰＴＺカメラ１２の位置は、ワールド座標系に関してまず測定することができる。校正手順は、パン（Ｐ）、チルト（Ｔ）およびズーム（Ｚ）の値をワールド座標系の（Ｘ、Ｙ、Ｚ）座標にマッピングするために用いることができ、それによって、顔が（Ｘ、Ｙ、Ｚ）に位置している場合、ＰＴＺカメラ１２からの結果として得られる画像が、様々な形の顔の解析を可能とする。追尾モジュールは、地上平面座標（Ｘ、Ｙ）の各人の位置を生成することができる。Ｚ値は、対象高さの推定に基づいて決定することができる。最適化アルゴリズムは、自動的にＰＴＺカメラ１２を追尾される対象に割り当てるために用いることができる。

顔解析モジュールに関して、ＰＴＺカメラ１２によって生成される高解像度画像を与えられると、以下の動作を実行することができる。（１）顔検出器は対象の顔の境界ボックスを作成するために用いる、（２）目検出器は対象の目の位置を決めるために用いる、（３）両眼が検出される場合、顔のランドマークモデルが対象の顔にはめ込まれる、（４）垂直および水平の凝視方向の推定は、はめ込まれたランドマークモデルの形状に基づいて計算することができる、（５）横眼球位置の推定は「そらされた凝視」などのイベントの検出を考慮に入れて計算される、（６）はめ込まれたランドマークモデルは対象の顔の正面像を合成するために用いることができる、そして、（７）全体の顔の表情モデルは一般の顔の表情のセットを推定するために用いることができる。

推論モジュールに関して、各人１４と関連したメタデータ（例えば、位置、関節動作、凝視方向、顔の表情）のストリームが与えられると、集約された社会的兆候のセットを生成することができる。グループレベルの社会的概念（例えば疎通性および敵意）を推定する目的のために、グラフィックモデルは、各社会的概念と関連した確率分布のリアルタイム評価に結果としてなっている集約された社会的兆候の推論に用いることができる。

図２は、実施形態による、ビデオ解析ストリームを生成するのに適しているプロセス３０のフローチャートである。プロセス３０の以下の記述がクラウドベースのコンピューティングシステム１８の１つまたは複数のサーバ２２のプロセッサ２８に関して記載されているが、プロセス３０が、カメラ１２および／またはクラウドベースのコンピューティングシステム１８と通信する能力を有し得る、コンピューティング装置２０または社会的挙動認識システム１０と関連した他のコンポーネントなどの、他の装置に配置されている１つまたは複数の他のプロセッサによって実行することができる、ということに留意する必要がある。加えて、以下のプロセス３０は、実行することができる多くの動作を説明しているが、プロセス３０が様々な適切な順序で実行することができ、そして、動作の全てが実行されなくてもよい、ということに留意する必要がある、プロセス３０がクラウドベースのコンピューティングシステム１８のサーバ２０の間に分散することができることが理解されるべきである。各種のモジュール（例えば、追尾、関節動作解析、ＰＴＺカメラ制御、顔の解析および／または推論）が、プロセス３０を実行するために用いることができる、ということに留意する必要がある。

プロセス３０を次に参照すると、プロセッサ２８は、環境１６内のＰＴＺカメラ１２を介して、個人１４を追尾することができる（ブロック３２）。プロセッサ２８は、時空関心ポイントに基づいて各個人１４のための動作シグネチャを生成することもできる（ブロック３４）。プロセッサ２８は、ＰＴＺカメラ１２を制御することによって、高解像度の顔の画像を捕えることもできる（ブロック３６）。また、プロセッサ２８は、顔の画像に基づいて顔の表情および凝視方向を推定することができる（ブロック３８）。プロセッサ２８は、それから、ビデオ解析ストリームを生成することができる（ブロック４０）。フレームごとに、ビデオ解析ストリームは、（１）サイト座標における位置、（２）動作シグネチャ、（３）表情プロファイル（喜び、恐れ、驚き、フラストレーション、怒り）および（４）凝視方向（垂直および水平の）をコード化する人ディスクリプタのセットから成ることができる。加えて、各個人１４は追尾ＩＤを介して以前の人観察とリンクすることができ、そして、それは時間的解析を可能にすることができる。

ビデオ解析ストリームを使用して、クラウドベースのコンピューティングシステム１８および／またはコンピューティング装置２０は、特定の挙動が認識されるか否かについて判定するために、ワンショット学習を実行することができる。従って、図３は、実施形態による、ワンショット学習を通じて挙動を検出するのに適しているプロセス５０のフローチャートである。プロセス５０の以下の記述がクラウドベースのコンピューティングシステム１８の１つまたは複数のサーバ２２のプロセッサ２６に関して記載されているが、プロセス５０が、カメラ１２および／またはクラウドベースのコンピューティングシステム１８と通信する能力を有し得る、コンピューティング装置２０または社会的挙動認識システム１０と関連した他のコンポーネントなどの、他の装置に配置されている１つまたは複数の他のプロセッサによって実行することができる、ということに留意する必要がある。加えて、以下のプロセス５０は、実行することができる多くの動作を説明しているが、プロセス５０が様々な適切な順序で実行することができ、そして、動作の全てが実行されなくてもよい、ということに留意する必要がある。いくつかの実施形態で、プロセス５０は、クラウドベースのコンピューティングシステム１８およびコンピューティング装置２０のサーバ２２の間に分散することができる、ということが理解されるべきである。

プロセス５０を次に参照すると、プロセッサ２８は、図２のプロセス３０によって上で生成されたビデオ解析ストリームを受信することができる（ブロック５２）。いくつかの実施形態では、兆候ジェネレータモジュールは、ビデオ解析ストリームを受信することができる。兆候ジェネレータモジュールを実行しているプロセッサ２８は、メタデータをビデオ解析ストリームから作成することができる（ブロック５４）。兆候ジェネレータモジュールは、メタデータに基づいて時系列を生成することもできる（ブロック５６）。すなわち、時系列はフレームごとのベースで０から１までの範囲の値を含むことができる。兆候ジェネレータモジュールは、時系列に基づいて０から１までの範囲の情動スコアを生成することができる（ブロック５８）。兆候ジェネレータモジュールは、モジュールの挙動を定めるパラメータのセットを含むことができる。兆候ジェネレータごとにパラメータ表示を考慮に入れることによって、ユーザは、所与の兆候ジェネレータの特定の変形をインスタンス化することができる。反対に、兆候ジェネレータパラメータの置換を考慮することによって、兆候ジェネレータの複数の変形を作成することができる。兆候ジェネレータバンクは、多数の兆候ジェネレータを含むことができて、所与の挙動を特徴づけるために用いることができる兆候ジェネレータのセットを維持することを可能にする。

一旦挙動が兆候ジェネレータモジュールまたは兆候ジェネレータバンクによって処理されると、シグネチャは情動スコアに基づいて生成される（ブロック６０）。いくつかの実施形態では、シグネチャは、各兆候ジェネレータモジュールによって生成される情動スコアを含むことができる。シグネチャは、所与の挙動の記述を提供することができる。プロセッサ２８は、シグネチャが別の挙動シグネチャと一致するか否かを判定することができる（ブロック６２）。シグネチャのペア間での照合は、機械学習（例えば、管理されているか、管理されない）を通じて成し遂げることができる。管理された機械学習は、各種の制定された挙動から成る訓練およびテスト用のデータセットの収集を含むことができる。機械学習アルゴリズムは、肯定的である（同じタイプの挙動の２つの例）かまたは否定的である（異なる挙動の２つの例）と分類される挙動のペアに基づいて、モデルを生成することができる。機械学習アルゴリズムは次に、挙動の肯定的および否定的なペアを区別するように、情動加重を定めることができる。

新しく観察された挙動は、観察された挙動に一致し得る、犯罪的な挙動（例えば、うろつくこと、破壊行為、攻撃、窃盗、不法侵入）または、犯罪予備的もしくは衝突発生前の挙動（攻撃性）などの、特性または照会挙動との類似性に対して評価することができる。例えば、不法侵入挙動は、ある場所にいる許可を与えられる個人の挙動とは、特徴的に異なっている可能性がある。不法侵入者は、許可された個人と比べて、特徴的な凝視方向の変化（例えば、肩越しに観察者を探す）を呈することがあり得る。このように、挙動シグネチャは、こそこそした態度と関連した情動を含む可能性がある。これらの凝視方向および時間とともに起きるその変化は、ビデオ解析ストリームを通じて捕えることができて、こそこそした態度と関連した時系列値を生成するために用いることができる。別の例では、落書きをすることと関連した挙動を含む場合がある。この挙動と関連した情動は、（スプレー容器の動作と関係している前後への）反復動作ならびに見張りと関連した情動を含む場合がある。観察されたまたは照会挙動は、医療を提供している第三者などのように、有益または献身的な挙動でもあり得る。本明細書において提供するペアによる照合は、攻撃と医学状況の間で、たとえその両方が、うつ伏せの個人およびそのうつ伏せの個人にまたがる２人目の個人を示すビデオデータ解析からシグネチャを得ることができるとしても、それを区別することができる。特徴的な情動は、懸念または狼狽の概念と関係している可能性がある。

図４は、実施形態による、ワンショット学習を実行するために用いる例示モジュールのブロック図である。モジュールは、サーバ２２の、および／またはコンピューティング装置２０の、メモリ２４のコンピュータ命令として格納することができ、サーバ２２の、および／またはコンピューティング装置２０の、プロセッサ２８によって実行可能であり得る。モジュールは、テストのために使用可能であるデータシミュレータ７０を含むことができる。例えば、データシミュレータ７０は、多数の挙動を作成するエージェントベースのシミュレータを含むことができる。モジュールは、データシミュレータ７０に、または、社会的挙動認識システム１０に接続することができる、データ収集装置７２を含むこともできる。データ収集装置７２は、カメラ１２からビデオ解析ストリームならびにそれらの関連する生のビデオデータを収集することができる。

別のモジュールは、ユーザが兆候ジェネレータバンクを構築することを可能とする兆候ジェネレータバンクビルダ７４を含むことができる。ユーザは、兆候ジェネレータプロトタイプの既存のセットから選択することができ、そして、パラメータの設定の特定のセットを定めることもでき、または社会的挙動認識システム１０に所与の兆候ジェネレータの任意の数の置換を作成するように指示することができる。兆候ジェネレータプロトタイプの初期セットは、感情誘意性、凝視標準偏差、凝視係合、位置近接度、位置速度および動作の大きさを含むことができる。

別のモジュールは、開発者が視覚的に所与のビデオ解析ストリームおよび付随する生のビデオを解析することを可能にする、ビデオ解析ストリームビジュアライザ７６を含むことができる。このモジュールは、新規の兆候ジェネレータの構築をサポートすることができる。加えて、観察された挙動に関して所与の兆候ジェネレータの挙動を開発者が視覚的に解析することを可能とする、兆候ジェネレータバンクビジュアライザ７８モジュールを用いることができる。

各種の実験が、開示されたワンショット学習技術を使用して実行された。実験は、１３個の挙動ペアの収集および１８個の兆候ジェネレータの初期セットのインスタンス化を含んでいた。より具体的には、１３個の挙動ペアが特定され、そして、３人のボランティア１４が、各挙動の２つのバージョンを実行するよう依頼されて、その結果２６個の観察された挙動つまり１３個の挙動ペアになっている。選択された挙動とは、３人の（互いに知り合いである）人１４がちょうど通り過ぎる、他人が通りかかかる、友人と偶然会う（幸せ）、２人の人が（集合に遅れている）３人目の友人を待っている、グループができて論争が始まりそして格闘になる、２人の人が麻薬の売人に近づき麻薬を購入する、２人の人が道に迷って居合わせた人に方向を尋ねる、タグのゲーム（１人が他の人にタグを付けようとする）、３人の他人が周辺に立っている（１人が卒倒し他の人は助けようとする）、乞食が釣銭をねだる、大道芸人（奇術師またはミュージシャン）がチップをもらう、ストーカが２人組の人の後をつける、そして、１人が見張っている間に２人の人１４が壁にスプレーでペイント（落書き）を始める、というものであった。

１８個の兆候ジェネレータを有する兆候ジェネレータバンクが作成された。これは、６つの兆候ジェネレータプロトタイプのそれぞれに対する３つのパラメータ設定を、ランダムに選択することによって達成された。また、任意の２つの観察された挙動の間の距離尺度を作成したワンショット学習が使用された。これは、観察された挙動ごとに特徴ベクトルディスクリプタを生成して、それから各特徴ベクトルディスクリプタの間のユークリッド距離を計算することによって、可能とすることができる。いくつかの実施形態では、特徴ベクトルは、各兆候ジェネレータによって作成される情動スコアから成ることができる。

初期の兆候ジェネレータバンクを観察されたテスト系列に適用する結果は、図５〜７を参照して説明することができる。まず図５では、実施形態に従って、マトリクス表現８０が、ワンショット学習のために使用する１３個の挙動ペアについて表される。図示のように、ｉ番目の挙動は、ｉ番目の行（第１のトライアル）およびｉ番目の列（第２のトライアル）と関係している。ワンショット学習距離尺度を使用して、各行に対する各列のための一致ランキングを計算することができる。このように、最適性能は、ランクマトリクスの対角線全体の１というランク値に結果としてなる場合がある。

その目的で、図６は、実施形態に従って、１３個の観察された挙動ペアおよびに１８個の兆候ジェネレータに基づいて結果として得られるランクマトリクス９０を表し、それぞれが、各挙動に対する情動スコアを作成することができる。図示のように、ランクマトリクス全体の対角線９２は、１に近いかなり整合したランク値を含む。

図７は、実施形態に従った、上記のワンショット学習実験に対する累積的な一致特性（ＣＭＣ）曲線１００である。ＣＭＣ曲線１００のＹ値は、Ｘのランキングとの正しい、またはより良い一致の数を表すことができる。最適ＣＭＣ曲線１００は、全てのＸに対する１３に等しいＹを有する直線である。曲線１０２は偶然だけを使用して予想される性能を表し、曲線１０４は均等の加重関数ｗ（各兆候ジェネレータが等しく寄与している）を使用して観察される性能を表し、そして、曲線１０６は性能が最適化された加重関数ｗを使用して観察される性能を表す。示されるように、ワンショット学習手法（例えば、曲線１０４および曲線１０６）の性能は最適化状態には及ばないが、偶然よりは良好である。

ＣＭＣ曲線１００は、以下の距離スコアを使用して算出される、ペアによる照合のスコアを捕える。

ここにおいて、ｄは距離尺度であり、ｂは観察された挙動であり、ｓｇは兆候ジェネレータであり、ｎは兆候ジェネレータの数であり、そして、ｗは、各兆候ジェネレータと関連した加重である。初期の実験に対して、加重関数ｗは均等の値に設定され、その結果、全ての兆候ジェネレータが等しく距離測定基準に寄与することになった。このような距離測定基準を与えられて、ペアによる照合のスコアが計算され、全ての真の一致のランクが測定された。更なる照合結果は、最適化された加重関数に対して計算された。

実験は、各兆候ジェネレータと関連した加重ｗを調整することによって、真の一致性能が高められることができるか否かを判定するために、実行された。この目的のために、全体の性能測定基準は、真の一致と関連した平均的ランクとして定義された。ｗの関数としてのこの性能評価尺度と関連した表面が非凸面であるので、乱数発生器がサーチ領域を探索するために用いられた。各々ランダムに生成された加重ベクトルｗを表している、１，０００件のトライアルからなる実験が実行された。均等な値を有する、ｗに対する平均的な真のランキングは、３．７であることが観察された。１，０００件のトライアルの後、この値は、２．１に減少した。ＣＭＣ曲線１００から分かるように、ランク１を有する真の一致の数は、４から７になった。最適化された方法は、その真の一致との最高の一致を受けている挙動の、ほぼ半分という結果になった。対照的に、完全にランダム照合関数が用いられた場合では、１３個の挙動中で１個だけがその真の一致に対する最高のランキングを受けるだろうと予想される。

本発明の技術的な効果は、挙動認識に対するワンショット学習フレームワークをインスタンス化することを含む。照会挙動（例えばうろついている）のインスタンスの単一の観察が与えられると、社会的挙動認識システム１０は、それに続く任意の観察が、この種類の別の例であるか、またはそうではないと分類することができる。このように、社会的挙動認識システム１０は、名目（例えば、単一インスタンス）データ量によって訓練することができる。社会的挙動認識システム１０は、観察された挙動の任意のペアを取り上げて、２つの挙動が一致するか否かを判定することができる。社会的挙動認識システム１０は、どの個人によっても運ばれない（例えば、人々１４と遠く離れて位置する）各種のカメラ１２を使用することができる。カメラ１２は、群衆／グループレベル相互関係において、人１４の非言語的な合図（例えば、感情的な情動、近接度、アクティビティ／動作、係合）を捕えて、解析するために用いることができる。

本明細書に書かれた記述は、実施例を使用して最良の形態を含んで実施形態を開示し、更に、いかなる装置またはシステムも製作し使用して、いかなる統合された方法も実行することを含んで、いかなる当業者も開示された主題を実施することができるようにする。主題の特許され得る範囲は、請求項によって定義されて、当業者に見出される他の実施例を含むことができる。そのような他の実施例は、それらが請求項の文字通りの言葉と異ならない構造要素を有する場合、または、それらが請求項の文字通りの言葉と実質的に異ならない等価な構造要素を含む場合、請求項の範囲内にあるということを意図するものである。

１０ 社会的挙動認識システム
１２ カメラ
１４ 人々
１６ 拘束を受けない環境
１８ クラウドベースのコンピューティングシステム
２０ コンピューティング装置
２２ サーバ
２４ メモリ
２６ データベース
２８ プロセッサ
３０ 通信コンポーネント
７０ データシミュレータ
７２ データ収集装置
７４ 兆候ジェネレータバンクビルダ
７６ ビデオ解析ストリームビジュアライザ
７８ 兆候ジェネレータバンクビジュアライザ

Claims (20)

1. 環境（１６）内の１つまたは複数のカメラ（１２）からデータを受信することと、
   前記データから作成される１つまたは複数のビデオ解析ストリームのメタデータを生成することと、
   前記メタデータに基づいて１つまたは複数の時系列の値を生成することと、
   前記１つまたは複数の時系列に対する１つまたは複数の情動スコアを生成することと、
   前記１つまたは複数の情動スコアに基づいて観察された挙動を代表する第１のシグネチャを生成することと、
   前記第１のシグネチャが照会挙動を表す第２のシグネチャと一致するか否かを判定することによって、ペアによる照合を実行することと、
   前記第１のシグネチャが前記第２のシグネチャと一致するときに措置を実行することと
   を含む方法。
2. 前記照会挙動のインスタンスの単一の観察だけが取得された後、前記ペアによる照合が実行される、請求項１記載の方法。
3. ペアによる照合が、以下の式、
   に従って、ペアによる一致スコアを導出することを含み、ここにおいて、ｄは距離尺度であり、ｂは観察された挙動であり、ｓｇは兆候ジェネレータであり、ｎは兆候ジェネレータの数であり、そして、ｗは各兆候ジェネレータと関連した加重である、請求項１記載の方法。
4. 前記１つまたは複数のカメラ（１２）が、位置および関節体動作の推定を捕える赤、緑、青、深度（ＲＧＢ−Ｄ）カメラ（１２）、および顔の画像を捕える固定カメラ（１２）とパンチルトズーム（ＰＴＺ）カメラ（１２）を含む、請求項１記載の方法。
5. 前記ビデオ解析ストリームが、サイト座標における個人の位置、前記個人の動作シグネチャ、前記個人の表情プロファイル、前記個人の凝視方向、またはいくつかのそれらの組み合わせにコード化する、人ディスクリプタのセットを含む、請求項１記載の方法。
6. 前記ビデオ解析ストリームが、
   前記１つまたは複数のカメラ（１２）を介して個人を追尾することと、
   時空関心ポイントに基づいて各個人のための動作シグネチャを生成することと、
   前記１つまたは複数のカメラ（１２）を使用して顔の画像を捕えることと、
   前記顔の画像に基づいて顔の表情および凝視方向を推定することと
   によって作成される、請求項１記載の方法。
7. 前記時系列の前記値が、０から１までの範囲である、請求項１記載の方法。
8. 前記１つまたは複数の情動スコアが、０から１までの範囲である、請求項１記載の方法。
9. 前記メタデータの前記生成、前記１つまたは複数の時系列の値、前記１つまたは複数の情動スコアおよび前記シグネチャは、兆候ジェネレータバンクモジュールによって実行される、請求項１記載の方法。
10. 前記第１のシグネチャが前記第２のシグネチャと一致するときに、アラームを鳴らすこと、救急サービスを呼ぶこと、アラートを起動すること、メッセージを送信すること、アラートを表示することまたはそれらのいくつかの組み合わせを含む前記措置を実行する、請求項１記載の方法。
11. 肯定的な一致として分類される挙動のペアおよび否定的な一致として分類される挙動のペアの訓練セット上で機械学習を実行することによって、前記１つまたは複数の情動スコアを生成するために用いる加重を決定することを含む、請求項１記載の方法。
12. １つまたは複数のプロセッサ（２８）により実行されると、１つまたは複数の前記プロセッサ（２８）に、
    環境内の１つまたは複数のカメラ（１２）からデータを受信させ、
    前記データから作成される１つまたは複数のビデオ解析ストリームのメタデータを生成させ、
    前記メタデータに基づいて１つまたは複数の時系列の値を生成させ、
    前記１つまたは複数の時系列に対する１つまたは複数の情動スコアを生成させ、
    前記１つまたは複数の情動スコアに基づいて、観察された挙動を代表する第１のシグネチャを生成させ、
    前記第１のシグネチャが照会挙動を表す第２のシグネチャと一致するか否かを判定することによって、ペアによる照合を実行させ、
    前記第１のシグネチャが前記照会挙動を表す前記第２のシグネチャと一致するときに出力を提供させる、
    コンピュータ命令を格納する、１つまたは複数の有形の非一時的コンピュータ可読媒体。
13. 前記ペアによる照合が、前記照会挙動のインスタンスの単一の観察だけが取得された後に実行される、請求項１２記載の１つまたは複数のコンピュータ可読媒体。
14. 前記コンピュータ命令が、前記１つまたは複数のプロセッサ（２８）に、
    前記１つまたは複数のカメラ（１２）を介して個人を追尾することと、
    時空関心ポイントに基づいて各個人に対する動作シグネチャを生成することと、
    前記１つまたは複数のカメラ（１２）を使用して顔の画像を捕えることと、
    前記顔の画像に基づいて顔の表情および凝視方向を推定することと
    によって、前記ビデオ解析ストリームを作成させる、請求項１２記載の１つまたは複数のコンピュータ可読媒体。
15. ペアによる照合が、以下の式、
    に従って導出されるペアによる照合スコアを含み、ここにおいて、ｄは距離尺度であり、ｂは観察された挙動であり、ｓｇは兆候ジェネレータであり、ｎは兆候ジェネレータの数であり、そして、ｗは各兆候ジェネレータと関連した加重である、請求項１２記載の１つまたは複数のコンピュータ可読媒体。
16. 前記時系列の前記値は０から１までの範囲であり、前記１つまたは複数の情動スコアは０から１までの範囲である、請求項１２記載の１つまたは複数のコンピュータ可読媒体。
17. 環境（１６）内の１人または複数の個人の挙動に関連したデータを捕える１つまたは複数のカメラ（１２）と、
    １つまたは複数のコンピューティング装置（２０）であって、
    前記１つまたは複数のカメラ（１２）から前記データを受け取り、
    前記１人または複数の個人の観察された挙動が照会挙動と一致するか否かを判定するために前記データを使用してワンショット学習を実行し、そこにおいて、ワンショット学習は、前記照会挙動のインスタンスの単一の観察だけが取得された後に実行される、ペアによる照合を実行することを含み、
    前記観察された挙動が前記照会挙動と一致すると、措置を実行する、
    １つまたは複数のプロセッサ（２８）を含む、前記１つまたは複数のコンピューティング装置（２０）と
    を含むシステム（１０）。
18. 前記１つまたは複数のカメラ（１２）が、位置および関節体動作の評価を捕える赤、緑、青、深度（ＲＧＢ−Ｄ）カメラ（１２）、ならびに顔の画像を捕える固定カメラ（１２）およびパンチルトズーム（ＰＴＺ）カメラ（１２）を含む、請求項１７記載のシステム（１０）。
19. 前記１つまたは複数のコンピューティング装置（２０）が、スマートフォン、スマートウォッチ、タブレット、ラップトップコンピュータ、デスクトップコンピュータ、クラウドベースのコンピューティングシステムのサーバ（２２）またはいくつかのそれらの組み合わせを含む、請求項１７記載のシステム（１０）。
20. 前記措置が、アラームを鳴らすこと、救急サービスを呼ぶこと、アラートを起動すること、メッセージを送信すること、アラートを表示することまたはそれらのいくつかの組み合わせを含む、請求項１７記載のシステム（１０）。