JP2019532532A - プライバシーの保護を伴う人物の識別しおよび／または痛み、疲労、気分、および意図の識別および定量化のためのシステムおよび方法 - Google Patents

プライバシーの保護を伴う人物の識別しおよび／または痛み、疲労、気分、および意図の識別および定量化のためのシステムおよび方法 Download PDF

Info

Publication number
JP2019532532A
JP2019532532A JP2019504817A JP2019504817A JP2019532532A JP 2019532532 A JP2019532532 A JP 2019532532A JP 2019504817 A JP2019504817 A JP 2019504817A JP 2019504817 A JP2019504817 A JP 2019504817A JP 2019532532 A JP2019532532 A JP 2019532532A
Authority
JP
Japan
Prior art keywords
person
features
data
sensor
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019504817A
Other languages
English (en)
Other versions
JP2019532532A5 (ja
JP7083809B2 (ja
Inventor
ジョナサン エス． バーサニック，
ジョナサン エス． バーサニック，
ゼバダイア エム． キンメル，
ゼバダイア エム． キンメル，
ティモシー ダブリュー． シュバリエ，
ティモシー ダブリュー． シュバリエ，
Original Assignee
アトラス５ディー， インコーポレイテッド
アトラス５ディー， インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US201662370083P external-priority
Application filed by アトラス５ディー， インコーポレイテッド, アトラス５ディー， インコーポレイテッド filed Critical アトラス５ディー， インコーポレイテッド
Publication of JP2019532532A publication Critical patent/JP2019532532A/ja
Publication of JP2019532532A5 publication Critical patent/JP2019532532A5/ja
Application granted granted Critical
Publication of JP7083809B2 publication Critical patent/JP7083809B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2800/00—Detection or diagnosis of diseases
    • G01N2800/30—Psychoses; Psychiatry
    • G01N2800/304—Mood disorders, e.g. bipolar, depression
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2800/00—Detection or diagnosis of diseases
    • G01N2800/52—Predicting or monitoring the response to treatment, e.g. for selection of therapy based on assay results in personalised medicine; Prognosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Abstract

開示される技術は、とりわけ、医療、安全、在宅ケア、および他の目的のために、人物の識別および精神的知覚（例えば、痛み、疲労、気分）および／または意図（例えば、ある行為を実施するため）の特性評価を可能にする。重要なことは、疾患の進行（例えば、多発性硬化症）を追跡することまたは処置またはリハビリテーション有効性を監視すること等の長期患者監視を要求する用途である。したがって、縦断的データが、人物の識別および他の特性（例えば、痛みのレベル、杖の使用）に関して経時的に取得されなければならない。しかしながら、従来の人物識別の方法（例えば、写真撮影）は、不必要な個人情報を取得し、プライバシーの懸念をもたらす。

Description

（優先権出願）
本願は、２０１６年８月２日に出願された米国仮特許出願第６２／３７０，０８３号および２０１６年１２月２２日に出願された米国仮特許出願第６２／４３８，２２９号に対する優先権およびそれらの利益を主張するものであり、これらの内容の全体は、参照により本明細書中に援用される。
本発明は、概して、センサベースのデータを使用して人物を識別し、および／または人体の（例えば、身体的属性および運動の）測定値を使用して精神的知覚（例えば、痛み、疲労、気分）および／または意図（例えば、ある行為を実施するため）を特性評価し、その間常に該人物のプライバシーを保護するためのシステムおよび方法に関する。
写真、リアルタイム画像、および多くの他のタイプのセンサベースのデータから人物を識別する課題は、種々の産業および用途に関連する。例えば、問題は、人物が制御されたエリアへのアクセスのためにスクリーニングされる、または事前連絡に基づいて脅威として標識化されることを必要とし得る、セキュリティ産業において普遍的である。
多くの現在の識別方法は、人物の一意の識別を提供するために、顔または指紋認識に依拠する。これらの方法は、動作パラメータまたは条件のある範囲内で正確な識別を可能にし得るが、その動作条件の幾分厳密なセット外で劇的に劣化する、または機能しない。例えば、顔認識は、照明の変動（例えば、弱光または真暗闇）に対してロバストではない。顔認識の正確度は、典型的には、カメラから対象への距離が増加するとともに劣化する（例えば、顔属性を判別するために十分な分解能が存在しない）。さらに、人物がカメラから離れるように向いている場合、顔認識は、完全に失敗する。同様に、指紋認識および網膜走査等の近接ベースのバイオメトリック技法は、数センチメートルを上回って離れた人物の識別を要求する用途において不可能になる。
多くの現在の識別方法は、人物が狭い場所、位置、または姿勢を採用するときにのみ適切に機能する。例えば、指紋を取得することは、具体的指が具体的センサに直接隣接して配置されることを要求する。例えば、ラップトップのための顔認識ログインシステムは、顔がコンピュータカメラの事前規定された近接する範囲内にあることを要求する。その結果、多くの現在の識別方法は、ある人物が通常通りに環境を動き回っている、すなわち、意図的に自身をセンサに提示していないとき、その人物を識別することに苦労する。
プライバシーの懸念が、人物識別のいくつかの方法に関して特に困難である。例えば、人物の顔または身体の視覚データに依拠する方法は、どのような衣類が着用されているか、またはどのような資料が読まれている、または閲覧されているか等、人物識別のために具体的に必要とされるもの以上の情報を暴露し得る。公知の方法による視覚画像を不明瞭にする、または隠す試みは、依然として、「リバースエンジニアリング」を受けやすくあり得、それによって、視覚画像が、数学的に再構築される。
閉塞および視野は、人物識別のいくつかの方法に対してさらなる限定を付与する。例えば、人物の歩き方（歩行パターン）または輪郭（アウトライン）に依拠する方法は、具体的視野（例えば、非閉塞視野）の可用性、具体的人物配向（例えば、センサに対して）、または具体的特徴（例えば、属性または性質）の可用性に依存し得る。これらの必要条件のいずれかが利用不可能である、または具体的人物を一意に識別することができないとき、そのような方法は、特に、人物の家等の制御できない（例えば、乱雑または一時的な）環境において失敗しやすい。運動（例えば、歩き方）に基づく人物識別は、運動の身体的測定値がわずかであり、現実世界の状況において遂行することが困難であり得るため、付加的課題を提示する。
個人の運動を特性評価するための現代の方法は、多くの場合、１次元データストリーム（例えば、誰かがこれを横断するときに「破壊」される赤外線ビーム）、２次元データストリーム（例えば、ウェブカメラ写真またはビデオ）、または３次元データストリーム（例えば、画像の各ピクセルが、センサから視野内の物体のある部分までの現実世界の距離に対応する、奥行き画像）のいずれかを利用する。これらの種々のデータストリームでは、人物の顔上の解剖学的ランドマーク等、いわゆる「特徴」、つまり、着目算出特性が、識別され得る。本明細書では、比較的に一定である特徴を「静的」と称し（例えば、眼間距離）、経時的にかなり変化する特徴を「動的」と称する（例えば、センサに対する眼注視の角度）。
運動を特性評価するための現代の方法は、多くの場合、顔認識によって取得されるもの等の静的特徴の空間的場所を追跡することに依拠する。しかしながら、多くの場合では、これらの方法は、複雑な運動の特性評価のために不十分である。複雑な運動の実施例は、歩行（例えば、歩行速度、歩幅長さ、または垂直からの姿勢角度）および同期される活動（例えば、食事、着座、または別の人物への身振り）を含む。
複雑な運動は、経時的に進展し、いくつかの異なる段階または副次的部分から成り得るため、その特性評価は、経時的なデータ取得を要求する。しかしながら、ある持続時間にわたって複雑な運動に関するデータを取得することは、多くの付加的課題を提示する。例えば、取得されたデータセットは、相当な大きさになり得るため、それらは、記憶または伝送することが困難である。例えば、長い持続時間のデータ取得は、特に、センサが家に配置される、または装着されなければならない場合、ユーザによるプライバシーの侵害として知覚され得る。
加えて、人間運動についてのデータを取得することに対する現在のアプローチは、欠点を有しやすい。ウェアラブルセンサは、低信号対雑音、限定されたモダリティ（例えば、取得され得るデータのタイプ）、およびユーザがそれらを装着する、記憶する、および再充電する必要性に悩まされる。例えば、手首装着ウェアラブルセンサは、水平に対するユーザの脊柱の角度を検出することができない。固定器具類（例えば、高速カメラ、センサ埋設歩行マット、および身体運動スーツ）は、高コスト、大きいサイズ、不便、および制御できない、または妨害される環境において動作できないことの欠点に悩まされる。例えば、任意の相当なサイズのセンサ埋設歩行マットを人物の家に配置することは、困難かつ不便である。
したがって、制御できない環境に対してロバストであり、ある距離において効果的であり、個人的プライバシーを保護する人物識別方法が、必要とされる。
人物を識別することに加えて、人物の精神的知覚または意図をさらに識別および特性評価する能力が、例えば、医療（例えば、疾患検出および進行）、セキュリティ（例えば、窃盗およびサボタージュ）、および産業（例えば、安全性および生産性）状況において用途を有する。しかしながら、これらの性質の多くは、既存の技術を使用する直接測定に影響しない。
医療産業は、疲労の客観的測度を必要とする。疲労を定量化する能力は、特に、時間の経過中に、多種多様な疾患（例えば、多発性硬化症、鬱病、癌、および多くの他の疾病）の重症度および進行を計測することを可能にする。現在、疲労のレベルを推定する唯一の方法は、問診またはアンケート等の患者報告を通してである（「今日は１から５の段階でどのくらい疲れていると感じますか？」）。そのような報告によって提供される定質的印象は、取得するために人手がかかり、異なる患者を横断して比較および対比することが事実上不可能であり、知覚バイアス、想起バイアス、および種々のタイプの操作、意識、またはその他を受ける。疲労の客観的測度は、診断、評価、および処置全体を通して信頼性のある一貫したメトリックを提供することによって、多くの病気の監視および処置のために変革的であろう。
医療産業はまた、疲労に関して上記に説明されるものと類似する理由から、痛みの客観的測度を必要とする。特に、痛みを追跡する能力は、鎮痛剤の必要性およびその投薬量を計測することを可能にする。多くの鎮痛剤は、習慣性があるため、乱用および不正行為と関連付けられる。特に、薬物投与に応答して、現実世界の痛みの正確なレベルを追跡することは、そのような乱用および不正行為が検出および対処されることを可能にするであろう。
セキュリティ、軍事、工場、および小売産業は全て、意図を識別および定量化（例えば、検出）する能力から利益を享受するであろう。（無数の可能性からの）いくつかの実施例は、人物が、将来の攻撃に備えるかのように、あるエリアを異常に詳細に、または異常な方法で観察している可能性があること、または人物が、バックパック等の疑わしいアイテムを放棄したこと、または人物が、禁止されたツール等のアイテムを別の人物と内密に交換したこと、または人物が、工場における危険を示し得る臭気または音声等の警告信号に突然気付いたこと、または人物が、小売ディスプレイ等の特定の物体に注意する状態になったことを自動的に感知する能力を含む。
上記に説明される利益を手に入れるために、センサデータを介して、現実世界の状況における信頼性のある、精密な、便宜的な、かつ非侵襲的な様式で精神的知覚および意図を検出および／または定量化し得る方法およびシステムが、必要とされる。
本明細書に開示されるものは、身体的身体特徴および／または運動のセンサ測定値を介して、人物を識別する、および／またはその精神的知覚および意図を特性評価するための方法およびシステムである。開示される技術は、プライベート情報（例えば、人物の視覚的外観、服装の状態、人物が読んでいる、またはＴＶで視聴しているものもの等）を暴露することなく人物を正確に識別し、個人的プライバシーの保全を可能にすることができる。以前のアプローチと比較して、開示される技術は、複数の身体的属性または運動（例えば、身長または歩行速度）を使用して、人物をより正確に識別することができる。本アプローチは、任意の単一の身体的属性、特に、経時的に変化する、またはセンサによる視認から妨害された状態になり得る属性に依拠する依存性および関連付けられる不利点を除去する。対照的に、以前のアプローチは、測定がより限定された身体的制約下で実施されることを要求し、それらは、より小さい身体的属性のセットに依拠する（例えば、顔認識は、典型的には、対象がカメラを向いていないとき、失敗し、静的な顔特徴のみを利用する）。
さらに、開示される技術は、１つ以上の身体的属性の部分的または不完全な測定値を利用し、現実世界の（ノイジーな、制御できない）状況に対してこれをよりロバストにすることができる。例えば、開示される技術は、人物が開示される技術を向いているとき、または人物が開示される技術から離れるように向いているとき、または人物が開示される技術に関連して部分的に（例えば、家具によって）閉塞されているとき、人物を識別し得る。例えば、開示される技術は、人物がある時間には開示される技術に対して頻繁に可視であるが、他の時間には散発的に可視である場合、または人物の顔がある時間には閉塞され、他の時間には閉塞されない場合、一貫したままである疲労の測定値を記述し得る。
開示される技術は、人物の身体のセンサ測定値を介して、人物の移動、活動、および／または挙動を特性評価することによって、精神的知覚（痛み、疲労、気分）および意図（例えば、ある行為を実施するため）を識別および定量化するために使用されることができる。精神的知覚および意図は、既存の技術に殆ど影響しない。本明細書に開示されるアプローチでは、これらの性質は、それにもかかわらず、間接的に検出および定量化され、人物の身体的姿勢および移動の測定値を介して代理され得る。他の進歩の中でもとりわけ、開示される技術は、疾患の新規の移動関連バイオマーカを取得する能力を確立する。
本明細書に開示される身体的測定値は、「直接的」（つまり、センサの人物の身体との相互作用の即時の結果）または「間接的」（つまり、他の測定値から導出され、順に、直接的または間接的であり得る）のいずれかであり得る。身体的測定値が取得されるセンサデータは、リアルタイムであるか、または記憶されるかのいずれかであり得、センサと人物との間の視通線が空いているか、または閉塞されているかにかわかわず収集され得る。これらの測定値は、連続的である、隣接する、完全である、一貫する、または逐次的である必要はなく、遡及的に、および予め計算され得る。
開示される技術は、ある実施形態では、その中に人物を伴う周辺環境の表現を含有するセンサデータから１人以上の着目人物の表現を識別する方法を含み、本方法は、（ａ）コンピューティングデバイスのプロセッサによって、１つ以上のフレームからセンサデータ（例えば、奥行きデータ）を受信するステップであって、センサデータは、人物の表現と、周辺環境の表現とを備え、人物の表現は、１人以上の着目人物の表現を備える、ステップと、（ｂ）プロセッサによって、センサデータ内の人物の各表現が、センサデータの個別のセグメント化と関連付けられるように、センサデータをセンサデータ内の人物のそれぞれの固有の表現にセグメント化し、それによって、センサデータ内の周辺環境の表現から人物のそれぞれの表現を区別するステップと、（ｃ）プロセッサによって、センサデータの各セグメント化から１つ以上の身体部分を分離するステップと、（ｄ）プロセッサによって、センサデータのセグメント化毎に、センサデータの個別のセグメント化の１つ以上の分離された身体部分に基づいて、人物の個別の表現と関連付けられる１つ以上の特徴毎の測度を判定するステップと、（ｅ）プロセッサによって、センサデータのセグメント化毎に、人物の個別の表現と関連付けられる１つ以上の特徴の判定された測度の組み合わせが、１人以上の着目人物のうちの１人のボディプリントに対応する（例えば、適用可能な場合、ある信頼性閾値内である）かどうかを判定し、それによって、センサデータの個別のセグメント化を着目人物として識別するステップと、（ｆ）プロセッサによって、データの該セグメント化が対応する着目人物の識別と関連付けられるように、１人以上の着目人物のうちの１人のボディプリントに対応する人物の個別の表現と関連付けられるデータのセグメント化を記憶するステップとを含む。
ある実施形態では、プロセッサによって、センサデータをセンサデータ内の人物のそれぞれの固有の表現にセグメント化するステップは、機械学習および／またはパターン認識技法（例えば、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、Ｒａｎｄｏｍ Ｆｏｒｅｓｔ、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ、単純なベイズマシン、および／またはクラスタリング技法）（例えば、明示的または暗示的にのいずれかで）を実施するステップを含む。
ある実施形態では、プロセッサによって、センサデータの各セグメント化から１つ以上の身体部分を分離するステップは、機械学習および／またはパターン認識技法（例えば、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、Ｒａｎｄｏｍ Ｆｏｒｅｓｔ、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ、単純なベイズマシン、および／またはクラスタリング技法）（例えば、明示的または暗示的にのいずれかで）を実施するステップを含む。
ある実施形態では、１人以上の着目人物はそれぞれ、識別のために登録される。
ある実施形態では、個別のセグメント化を識別するステップは、分類子の出力に基づく。
ある実施形態では、個別のセグメント化を識別するステップは、ルールまたはカテゴリまたはヒューリスティック（例えば、点乗積等の数学的計算または高さ等のカットオフ閾値）に基づく。
ある実施形態では、本方法は、１人以上の着目人物毎に、プロセッサによって、メモリデバイス内に、識別およびボディプリントを記憶するステップを含み（例えば、着目人物のボディプリントのみが、メモリ内に記憶され、着目人物ではない人物のボディプリントは、メモリ内に記憶されない）、各ボディプリントは、１人以上の着目人物内の個別の着目人物に対してともに特有であるそれらの特徴毎の測度の範囲と組み合わせられる特徴のセットを備え、各識別は、ボディプリントと関連付けられる。
ある実施形態では、本方法は、プロセッサによって、個別の１つ以上の特徴の判定された測度および各ボディプリントの特徴のセットの対応するサブセットからの測度を比較し、個別の１つ以上の特徴の判定された測度が、ボディプリントの特徴の対応するサブセットに関する測度の範囲内であるかどうかを判定するステップを含む。
ある実施形態では、１人以下の人物、２人以下の人物、３人以下の人物、４人以下の人物、５人以下の人物、６人以下の人物、１０人以下の人物、２５人以下の人物、５０人以下の人物、１００人以下の人物が、識別のために登録される。
ある実施形態では、顔特徴が、センサデータから省略される。
ある実施形態では、全ての視覚データが、センサデータから省略される。
ある実施形態では、人物のうちの少なくとも１人は、「その他」として識別される。
ある実施形態では、１つ以上の身体部分を分離するステップは、プロセッサによって、データセットの特質、センサのタイプ、人物に対して利用可能な非閉塞（すなわち、「可視」）データの量、センサデータのセグメント化内の身体部分の表現の可用性、着目人物に関するボディプリントの可用性、および計算のために利用可能な特徴のライブラリから成る群から選択される少なくとも１つの性質に基づいて、センサデータの各セグメント化内のどの身体部分を分離するかを判定するステップを含む。
ある実施形態では、１つ以上の身体部分は、フレーム内の人物毎に異なり得る。
ある実施形態では、１つ以上の測度は、面積、体積、円周、閉曲線、非閉曲線、長さ、空間的場所、角度、画像（２Ｄであり得る）、形態／形状（３Ｄであり得る）、強度、フィルタ処理された出力、数値的重みのセット、数学的スケーリング、数学的変換、数学的畳み込み、一般化された数学的演算、または前述のいずれかの変化率から成る群から選択される１つ以上の要素を備える。
ある実施形態では、本方法は、人物毎に、測度がフレーム内の人物毎に判定されるべきである（例えば、特徴のライブラリおよび利用可能なセンサデータに基づく）１つ以上の候補特徴のセットからサブセットを選択するステップを含む。
ある実施形態では、１つ以上の特徴のうちの少なくとも１つは、任意の所与のフレームまたは一連のフレームにおいて利用不可能または算出不可能である。
ある実施形態では、１つ以上の特徴はそれぞれ、１つ以上のフレームに基づいて計算される。
ある実施形態では、１つ以上のフレームは、複数の連続または非連続フレームを備える。
ある実施形態では、１つ以上の特徴は、１つ以上の静的特徴を備える。
ある実施形態では、１つ以上の静的特徴は、人物の身長、肩から肩までの幅、上腕、下腕、上脚、下脚、手、足、頭部、首、または胴の長さまたは幅、胴表面積、胴体積、頭部の長さ、胴の長さ、肢円周のうちの任意の２つの間の比率、頭部または鼻の体積、頭部または眼窩の円周、頭部輪郭、口、または顎の幅、頭部の上部または背部または顎の湾曲度、および眉間、鼻梁、鼻の先端、人中、下顎点、眼の瞳孔、耳の外耳道、耳介、頭頂、地面のうちの任意の２つの間の距離、身体部分の画像（２Ｄであり得る）、身体部分の形態／形状（３Ｄであり得る）、固有画像、固有顔、スケール不変特徴変換、配向勾配のヒストグラム、ピクセルマスク、ピクセルカウント、ボクセル体積、重心、凸多面体、３Ｄメッシュ、色、反射、テクスチャ、パターン、畳み込みから成る群から選択される１つ以上の要素を備える。
ある実施形態では、１つ以上の静的特徴は、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋを含むニューラルネットワークの重みおよび／または出力、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋを含む、異なる時点におけるニューラルネットワークの重みおよび／または出力、Ｒａｎｄｏｍ Ｆｏｒｅｓｔの重みおよび／または出力、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅの重みおよび／または出力、単純なベイズマシンの重みおよび／または出力、Ｋ平均クラスタリングを含むクラスタリング、教師あり学習、教師なし学習から成る群から選択される１つ以上の要素を備える。
ある実施形態では、各特徴は、単一の身体部分の属性の測定値、または異なる身体部分の属性の測定値間の関係、または１つ以上の身体部分の属性の測定値と環境の測定値との間の関係に基づいて計算される。
ある実施形態では、単一の身体部分の属性は、人物の身長、上腕、下腕、上脚、下脚、手、足、頭部、首、または胴の長さまたは幅、頭部または鼻の体積、頭部または眼窩の円周、頭部輪郭、口、または顎の幅、頭部の上部または背部または顎の湾曲度から成る群から選択される１つ以上の要素を備える。
ある実施形態では、異なる身体部分の属性の測定値間の関係は、胴表面積、胴体積、頭部の長さ、胴の長さ、肢円周のうちの任意の２つの間の比率、眉間、鼻梁、鼻の先端、人中、下顎点、眼の瞳孔、耳の外耳道、耳介、頭頂、地面のうちの任意の２つの間の距離を備える。
ある実施形態では、１つ以上の特徴は、１つ以上の動的特徴を備える。
ある実施形態では、１つ以上の動的特徴は、身体の方向転換の速度、歩行速度（瞬間または平均）、大股で歩く間の２つの脚の間の最大距離、大股で歩く間の肩関節における回転の最大角度、右脚と左脚との間の歩幅長さの差異、車椅子の存在または不在、杖等の補助デバイスの存在または不在、衣類の色または反射の存在または不在、靴の高さ（例えば、ハイヒール）、地面に対する身体の傾斜または振りの角度、胴と脚との間の屈曲の角度、脊柱湾曲度、体温（例えば、病気中）、局所的家具または壁への近接またはそれからの距離、身体のセンサからの距離、胴に対する頭部の配向、センサに対する頭部の配向、センサに対する注視の角度、眼鏡の存在または不在、帽子またはヘルメットの存在または不在、および髪の量から成る群から選択される１つ以上の要素を備える。
ある実施形態では、１つ以上の動的特徴は、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋを含むニューラルネットワークの重みおよび／または出力、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋを含む、異なる時点におけるニューラルネットワークの重みおよび／または出力、Ｒａｎｄｏｍ Ｆｏｒｅｓｔの重みおよび／または出力、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅの重みおよび／または出力、単純なベイズマシンの重みおよび／または出力、Ｋ平均クラスタリングを含むクラスタリング、教師あり学習、教師なし学習から成る群から選択される１つ以上の要素を備える。
ある実施形態では、１つ以上の動的特徴はそれぞれ、１）−３）、すなわち、以下のような、１）時間、空間、または他の着目測定単位にわたる単一の身体部分の属性の変動（例えば、頭部の方向転換、挙手、体温、身体部分の形状またはサイズ、またはセンサに対する身体関節の配向）、２）時間、空間、または他の着目測定単位にわたる異なる身体部分の特徴間の関係の変動（例えば、センサに対する全体的身体配向）、および３）時間、空間、または他の着目測定単位にわたる人物の異なる身体区画に対する環境またはその関係の変動（例えば、部屋内の特定の椅子に近接する人物の頻度またはセンサまでの人物の距離）のうちの少なくとも１つに基づいて計算される。
ある実施形態では、識別は、ルールイン識別である（例えば、「本人物は、おそらくＢｏｂである」）。
ある実施形態では、識別は、ルールアウト（「その他」としても公知である）識別である（例えば、「本人物は、おそらくＢｏｂではない」）。
ある実施形態では、１つ以上の特徴は、別の人物を識別するために使用される１つ以上の特徴とは異なるセンサデータ内のフレームまたはフレームのセットから捕捉される。
ある実施形態では、人物毎に、識別は、特徴のセットに基づいて、かつそれらの特徴毎の測度の範囲に基づいて判定され、その組み合わせられたものは、特定の人物に対して高度に特有である（例えば、そのボディプリントが本システムに把握される人物のセット内である）。
ある実施形態では、人物毎に、識別は、少なくとも部分的に、その識別を実施するために使用される１つ以上の特徴の忠実度および／または予測力に基づいて判定される（例えば、特徴が良好に測定され得る程度、特徴の測定における信頼性、単一の人物に対するその特徴の特異性）。
ある実施形態では、１つ以上の特徴は、利用可能なシーン、センサ、センサデータ、既知のボディプリントのライブラリ、および既知かつ算出可能な特徴のライブラリから成る群から選択される少なくとも１つの要素に基づいて、経時的に変動する。
ある実施形態では、１つ以上の特徴および／またはボディプリントは、機械学習および／またはパターン認識技法（例えば、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、Ｒａｎｄｏｍ Ｆｏｒｅｓｔ、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ、単純なベイズマシン、および／またはクラスタリング技法）によって自動的に計算される。
ある実施形態では、１つ以上の特徴および／またはボディプリントは、手動タグ付け等の外部エージェントによって事前または事後情報として提供される。
ある実施形態では、１つ以上の特徴および／またはボディプリントは、経時的に更新または修正されることができる。
ある実施形態では、本方法は、センサ（例えば、人物の家等の建物の部屋内に配置される）によって、センサデータ（所与の視野に対応する）を取得するステップを含み、センサデータは、複数のフレームを備え、各フレームは、ピクセルの２次元空間マップ（例えば、マトリクス）として表され、各ピクセルの強度値は、センサからの投影距離（すなわち、センサを通過する第１の垂直平面とシーン内の物体を通過する第２の垂直平面との間の水平距離）に対応する。
ある実施形態では、本方法は、プロセッサによって、１つ以上の特徴に優先順位を付けるステップを含み、該優先順位を付けるステップは、異なるセンサ、異なる時間、異なるボディプリント、および異なる空間的場所から成る群から選択される少なくとも１つの要素を横断して特徴を集約するステップを含む。
ある実施形態では、１つ以上の特徴は、同一のシーン内の人物毎に異なる。
ある実施形態では、１つ以上の特徴は、同一の人物に関してであってもフレーム毎に異なる割当を有する。
ある実施形態では、センサデータは、飛行時間光検出および測距か、またはシーン上に少なくとも１つのエネルギーパターンを投影し、パターンの変形を測定することによってかのうちの少なくとも１つによって取得されるデータを備える。
ある実施形態では、センサデータは、光（例えば、電磁放射）または音声（例えば、音響データ）を使用して取得されるデータを備える。
ある実施形態では、センサデータは、未加工センサデータ、未加工センサデータから導出される値（例えば、人物の骨格の関節が推定される骨格データおよびデータ集合の各ピクセルがゼロまたは１人の人物のいずれかに割り当てられるピクセル標識データ）、および軌跡データ（例えば、経時的に変化する人物の場所）から成る群から選択される少なくとも１つのデータタイプを備える。
ある実施形態では、１つ以上のフレームはそれぞれ、特定の瞬間に先行して、またはその時点のいずれかで取得されたデータを備える１つ以上のデータストリームから成る「スナップショット」に対応する。
ある実施形態では、１つ以上のフレームは、複数の時点において単一のセンサによって取得された複数のフレーム、または同一または異なる時点において複数のセンサによって取得された複数のフレームのうちの少なくとも１つを備える。
ある実施形態では、本方法は、プロセッサによって、識別された人物毎に信頼性スコアを判定するステップを含む。
ある実施形態では、本方法は、プロセッサによって、人物（例えば、「その他」の人物）と関連付けられるセンサデータのサブセットを破棄するステップを含む。
ある実施形態では、識別は、未知の識別を備える。
ある実施形態では、本方法は、プロセッサによって、１つ以上の特徴を調節し、（観察結果を「整合」させようとして）全ての特徴が時間的かつ／または空間的に並置されることを確実にするステップを含む。
ある実施形態では、１つ以上の特徴のうちの少なくとも１つは、センサにおける、または計算方法論におけるタイミング遅延またはバイアスを調節するために、オフセット補正される、待ち時間補正される、または空間的に並置される。
ある実施形態では、特徴の忠実度は、シーンの組成（すなわち、視野およびその中の物体）、利用されているセンサのタイプ、および取得されているデータのタイプから成る群から選択される少なくとも１つの要素に依存する。
ある実施形態では、識別するステップは、人物が自然に動き回っている（例えば、歩行している、方向転換している、ある活動を実施している）間に実施される。
ある実施形態では、識別するステップは、リアルタイムで、またはほぼリアルタイムで実施される。
ある実施形態では、識別するステップは、遅延後に、または同じく、データ取得が起こった時間とは実質的に異なる時間に実施される。
ある実施形態では、識別するステップは、遡及的に実施される（すなわち、先に取得されたデータを通して「巻き戻す」）。
ある実施形態では、人物は、センサから、０．１メートルを上回る、０．５メートルを上回る、１メートルを上回る、２メートルを上回る、５メートルを上回る距離に位置する。
開示される技術は、ある実施形態では、その中に人物を伴う周辺環境の表現を含有するセンサデータから１人以上の着目人物の表現を識別するためのシステムを含み、本システムは、プロセッサと、その上に命令を記憶する、メモリとを備え、命令は、プロセッサによって実行されると、プロセッサに、センサデータ内の人物の各表現が、センサデータの個別のセグメント化と関連付けられるように、１つ以上のフレームからのセンサデータ（例えば、奥行きデータ）をセンサデータ内の人物のそれぞれの固有の表現にセグメント化させ、それによって、センサデータ内の周辺環境の表現から人物のそれぞれの表現を区別させ、センサデータは、人物の表現と、周辺環境の表現とを備え、人物の表現は、１人以上の着目人物の表現を備え、センサデータの各セグメント化から１つ以上の身体部分を分離させ、センサデータのセグメント化毎に、センサデータの個別のセグメント化の１つ以上の分離された身体部分に基づいて、人物の個別の表現と関連付けられる１つ以上の特徴毎の測度を判定させ、センサデータのセグメント化毎に、人物の個別の表現と関連付けられる１つ以上の特徴の判定された測度の組み合わせが、１人以上の着目人物のうちの１人のボディプリントに対応する（例えば、適用可能な場合、ある信頼性閾値内である）かどうかを判定させ、それによって、センサデータの個別のセグメント化を着目人物として識別させ、データの該セグメント化が対応する着目人物の識別と関連付けられるように、１人以上の着目人物のうちの１人のボディプリントに対応する人物の個別の表現と関連付けられるデータのセグメント化を記憶させる。
ある実施形態では、命令は、プロセッサによって実行されると、プロセッサに、機械学習および／またはパターン認識技法（例えば、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、Ｒａｎｄｏｍ Ｆｏｒｅｓｔ、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ、単純なベイズマシン、および／またはクラスタリング技法）（例えば、明示的または暗示的にのいずれかで）を実施させ、センサデータをセンサデータ内の人物のそれぞれの固有の表現にセグメント化させる。
ある実施形態では、命令は、プロセッサによって実行されると、プロセッサに、機械学習および／またはパターン認識技法（例えば、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、Ｒａｎｄｏｍ Ｆｏｒｅｓｔ、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ、単純なベイズマシン、および／またはクラスタリング技法）（例えば、明示的または暗示的にのいずれかで）を実施させ、センサデータの各セグメント化から１つ以上の身体部分を分離させる。
ある実施形態では、１人以上の着目人物はそれぞれ、識別のために登録される。
ある実施形態では、個別のセグメント化を識別するステップは、分類子の出力に基づく。
ある実施形態では、個別のセグメント化を識別するステップは、ルールまたはカテゴリまたはヒューリスティック（例えば、点乗積等の数学的計算または高さ等のカットオフ閾値）に基づく。
ある実施形態では、命令は、プロセッサによって実行されると、プロセッサに、１人以上の着目人物毎に、メモリデバイス内に、識別およびボディプリントを記憶させ（例えば、着目人物のボディプリントのみが、メモリ内に記憶され、着目人物ではない人物のボディプリントは、メモリ内に記憶されない）、各ボディプリントは、１人以上の着目人物内の個別の着目人物に対してともに特有であるそれらの特徴毎の測度の範囲と組み合わせられる特徴のセットを備え、各識別は、ボディプリントと関連付けられる。
ある実施形態では、命令は、プロセッサによって実行されると、プロセッサに、個別の１つ以上の特徴の判定された測度および各ボディプリントの特徴のセットの対応するサブセットからの測度を比較させ、個別の１つ以上の特徴の判定された測度が、ボディプリントの特徴の対応するサブセットに関する測度の範囲内であるかどうかを判定させる。
ある実施形態では、１人以下の人物、２人以下の人物、３人以下の人物、４人以下の人物、５人以下の人物、６人以下の人物、１０人以下の人物、２５人以下の人物、５０人以下の人物、１００人以下の人物が、識別のために登録される。
ある実施形態では、顔特徴が、センサデータから省略される。
ある実施形態では、全ての視覚データが、センサデータから省略される。
ある実施形態では、人物のうちの少なくとも１人は、「その他」として識別される。
ある実施形態では、命令は、プロセッサによって実行されると、プロセッサに、データセットの特質、センサのタイプ、人物に対して利用可能な非閉塞（すなわち、「可視」）データの量、センサデータのセグメント化内の身体部分の表現の可用性、着目人物に関するボディプリントの可用性、および計算のために利用可能な特徴のライブラリから成る群から選択される少なくとも１つの性質に基づいて、センサデータの各セグメント化内のどの身体部分を分離するかを判定させる。
ある実施形態では、分離される１つ以上の身体部分は、フレーム内の人物毎に異なり得る。
ある実施形態では、１つ以上の特徴の１つ以上の測度はそれぞれ、面積、体積、円周、閉曲線、非閉曲線、長さ、空間的場所、角度、画像（２Ｄであり得る）、形態／形状（３Ｄであり得る）、強度、フィルタ処理された出力、数値的重みのセット、数学的スケーリング、数学的変換、数学的畳み込み、一般化された数学的演算、または前述のいずれかの変化率から成る群から選択される１つ以上の要素を備える。
ある実施形態では、命令は、プロセッサによって実行されると、プロセッサに、人物毎に、（例えば、特徴のライブラリおよび利用可能なセンサデータに基づいて）どの特徴がフレーム内の人物毎に計算され得、計算されるべきかを判定させる。
ある実施形態では、１つ以上の特徴のうちの少なくとも１つは、任意の所与のフレームまたは一連のフレームにおいて利用不可能または算出不可能である。
ある実施形態では、１つ以上の特徴はそれぞれ、１つ以上のフレームに基づいて計算される。
ある実施形態では、１つ以上のフレームは、複数の連続または非連続フレームを備える。
ある実施形態では、１つ以上の特徴は、１つ以上の静的特徴を備える。
ある実施形態では、１つ以上の静的特徴は、人物の身長、肩から肩までの幅、上腕、下腕、上脚、下脚、手、足、頭部、首、または胴の長さまたは幅、胴表面積、胴体積、頭部の長さ、胴の長さ、肢円周のうちの任意の２つの間の比率、頭部または鼻の体積、頭部または眼窩の円周、頭部輪郭、口、または顎の幅、頭部の上部または背部または顎の湾曲度、および眉間、鼻梁、鼻の先端、人中、下顎点、眼の瞳孔、耳の外耳道、耳介、頭頂、地面のうちの任意の２つの間の距離、身体部分の（２Ｄであり得る）画像、身体部分の（３Ｄであり得る）形態／形状、固有画像、固有顔、スケール不変特徴変換、配向勾配のヒストグラム、ピクセルマスク、ピクセルカウント、ボクセル体積、重心、凸多面体、３Ｄメッシュ、色、反射、テクスチャ、パターン、畳み込みから成る群から選択される１つ以上の要素を備える。
ある実施形態では、１つ以上の静的特徴は、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋを含むニューラルネットワークの重みおよび／または出力、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋを含む、異なる時点におけるニューラルネットワークの重みおよび／または出力、Ｒａｎｄｏｍ Ｆｏｒｅｓｔの重みおよび／または出力、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅの重みおよび／または出力、単純なベイズマシンの重みおよび／または出力、Ｋ平均クラスタリングを含むクラスタリング、教師あり学習、教師なし学習から成る群から選択される１つ以上の要素を備える。
ある実施形態では、１つ以上の特徴はそれぞれ、単一の身体部分の属性の測定値、または異なる身体部分の属性の測定値間の関係、または１つ以上の身体部分の属性の測定値と環境の測定値との間の関係に基づいて計算される。
ある実施形態では、単一の身体部分の属性は、人物の身長、上腕、下腕、上脚、下脚、手、足、頭部、首、または胴の長さまたは幅、頭部または鼻の体積、頭部または眼窩の円周、頭部輪郭、口、または顎の幅、頭部の上部または背部または顎の湾曲度から成る群から選択される１つ以上の要素を備える。
ある実施形態では、異なる身体部分の属性の測定値間の関係は、胴表面積、胴体積、頭部の長さ、胴の長さ、肢円周のうちの任意の２つの間の比率、眉間、鼻梁、鼻の先端、人中、下顎点、眼の瞳孔、耳の外耳道、耳介、頭頂、地面のうちの任意の２つの間の距離を備える。
ある実施形態では、１つ以上の特徴は、１つ以上の動的特徴を備える。
ある実施形態では、１つ以上の動的特徴は、身体の方向転換の速度、歩行速度（瞬間または平均）、大股で歩く間の２つの脚の間の最大距離、大股で歩く間の肩関節における回転の最大角度、右脚と左脚との間の歩幅長さの差異、車椅子の存在または不在、杖等の補助デバイスの存在または不在、衣類の色または反射の存在または不在、靴の高さ（例えば、ハイヒール）、地面に対する身体の傾斜または振りの角度、胴と脚との間の屈曲の角度、脊柱湾曲度、体温（例えば、病気中）、局所的家具または壁への近接またはそれからの距離、身体のセンサからの距離、胴に対する頭部の配向、センサに対する頭部の配向、センサに対する注視の角度、眼鏡の存在または不在、帽子またはヘルメットの存在または不在、および髪の量から成る群から選択される１つ以上の要素を備える。
ある実施形態では、１つ以上の動的特徴は、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋを含むニューラルネットワークの重みおよび／または出力、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋを含む、異なる時点におけるニューラルネットワークの重みおよび／または出力、Ｒａｎｄｏｍ Ｆｏｒｅｓｔの重みおよび／または出力、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅの重みおよび／または出力、単純なベイズマシンの重みおよび／または出力、Ｋ平均クラスタリングを含むクラスタリング、教師あり学習、教師なし学習から成る群から選択される１つ以上の要素を備える。
ある実施形態では、１つ以上の動的特徴はそれぞれ、１）−３）、すなわち、以下のような、１）時間、空間、または他の着目測定単位にわたる単一の身体部分の属性の変動（例えば、頭部の方向転換、挙手、体温、身体部分の形状またはサイズ、またはセンサに対する身体関節の配向）、２）時間、空間、または他の着目測定単位にわたる異なる身体部分の特徴間の関係の変動（例えば、センサに対する全体的身体配向）、および３）時間、空間、または他の着目測定単位にわたる人物の異なる身体区画に対する環境またはその関係の変動（例えば、部屋内の特定の椅子に近接する人物の頻度またはセンサまでの人物の距離）のうちの少なくとも１つに基づいて計算される。
ある実施形態では、識別は、ルールイン識別である（例えば、「本人物は、おそらくＢｏｂである」）。
ある実施形態では、識別は、ルールアウト（「その他」としても公知である）識別である（例えば、「本人物は、おそらくＢｏｂではない」）。
ある実施形態では、１つ以上の特徴は、別の人物を識別するために使用される１つ以上の特徴とは異なるセンサデータ内のフレームまたはフレームのセットから捕捉される。
ある実施形態では、人物毎に、識別は、特徴のセットに基づいて、かつそれらの特徴毎の測度の範囲に基づいて判定され、その組み合わせられたものは、特定の人物に対して高度に特有である（例えば、そのボディプリントが本システムに把握される人物のセット内である）。
ある実施形態では、識別は、少なくとも部分的に、その識別を実施するために使用される１つ以上の特徴の忠実度および／または予測力に基づいて判定される（例えば、特徴が良好に測定され得る程度、特徴の測定における信頼性、単一の人物に対するその特徴の特異性）。
ある実施形態では、１つ以上の特徴は、利用可能なシーン、センサ、センサデータ、既知のボディプリントのライブラリ、および既知かつ算出可能な特徴のライブラリから成る群から選択される少なくとも１つの要素に基づいて、経時的に変動する。
ある実施形態では、１つ以上の特徴および／またはボディプリントは、機械学習またはパターン認識技法（例えば、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、Ｒａｎｄｏｍ Ｆｏｒｅｓｔ、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ、単純なベイズマシン、および／またはクラスタリング技法）によって自動的に計算される。
ある実施形態では、１つ以上の特徴および／またはボディプリントは、手動タグ付け等の外部エージェントによって事前または事後情報として提供される。
ある実施形態では、１つ以上の特徴および／またはボディプリントは、経時的に更新または修正されることができる。
ある実施形態では、センサデータは、センサ（例えば、人物の家等の建物の部屋内に配置される）によって取得され、センサデータは、複数のフレームを備え、各フレームは、ピクセルの２次元空間マップ（例えば、マトリクス）として表され、各ピクセルの強度値は、センサからの投影距離（すなわち、センサを通過する第１の垂直平面とシーン内の物体を通過する第２の垂直平面との間の水平距離）に対応する。
ある実施形態では、命令は、プロセッサによって実行されると、プロセッサに、１つ以上の特徴に優先順位を付けさせ、それによって、異なるセンサ、異なる時間、異なるボディプリント、および異なる空間的場所から成る群から選択される少なくとも１つの要素を横断して特徴を集約させる。
ある実施形態では、１つ以上の特徴は、同一のシーン内の人物毎に異なる。
ある実施形態では、１つ以上の特徴は、同一の人物に関してであってもフレーム毎に異なる割当を有する。
ある実施形態では、センサデータは、飛行時間光検出および測距か、またはシーン上に少なくとも１つのエネルギーパターンを投影し、パターンの変形を測定することによってかのうちの少なくとも１つによって取得されるデータを備える。
ある実施形態では、センサデータは、光（例えば、電磁放射）または音声（例えば、音響データ）を使用して取得されるデータを備える。
ある実施形態では、センサデータは、未加工センサデータ、未加工センサデータから導出される値（例えば、人物の骨格の関節が推定される骨格データおよびデータ集合の各ピクセルがゼロまたは１人の人物のいずれかに割り当てられるピクセル標識データ）、または軌跡データ（例えば、経時的に変化する人物の場所）から成る群から選択される少なくとも１つのデータタイプを備える。
ある実施形態では、１つ以上のフレームはそれぞれ、特定の瞬間に先行して、またはその時点のいずれかで取得されたデータを備える１つ以上のデータストリームから成る「スナップショット」に対応する。
ある実施形態では、１つ以上のフレームは、複数の時点において単一のセンサによって取得された複数のフレーム、または同一または異なる時点において複数のセンサによって取得された複数のフレームのうちの少なくとも１つを備える。
ある実施形態では、命令は、プロセッサによって実行されると、プロセッサに、識別された人物毎に信頼性スコアを判定させる。
ある実施形態では、命令は、プロセッサによって実行されると、プロセッサに、人物（例えば、「その他」の人物）と関連付けられるセンサデータのサブセットを破棄させる。
ある実施形態では、識別は、未知の識別を備える。
ある実施形態では、命令は、プロセッサによって実行されると、プロセッサに、１つ以上の特徴を調節させ、（観察結果を「整合」させようとして）全ての特徴が時間的かつ／または空間的に並置されることを確実にさせる。
ある実施形態では、１つ以上の特徴のうちの少なくとも１つは、センサにおける、または計算方法論におけるタイミング遅延またはバイアスを調節するために、オフセット補正される、待ち時間補正される、または空間的に並置される。
ある実施形態では、特徴の忠実度は、シーンの組成（すなわち、視野およびその中の物体）、利用されているセンサのタイプ、および取得されているデータのタイプから成る群から選択される少なくとも１つの要素に依存する。
ある実施形態では、個別のセグメント化を識別するステップは、人物が自然に動き回っている（例えば、歩行している、方向転換している、ある活動を実施している）間に実施される。
ある実施形態では、個別のセグメント化を識別するステップは、リアルタイムで、またはほぼリアルタイムで実施される。
ある実施形態では、個別のセグメント化を識別するステップは、遅延後に、または同じく、データ取得が起こった時間とは実質的に異なる時間に実施される。
ある実施形態では、個別のセグメント化を識別するステップは、遡及的に実施される（すなわち、先に取得されたデータを通して「巻き戻す」）。
ある実施形態では、人物は、センサから、０．１メートルを上回る、０．５メートルを上回る、１メートルを上回る、２メートルを上回る、５メートルを上回る距離に位置する。
ある実施形態では、本システムはさらに、センサデータを取得するために、赤外線飛行時間センサを備える。
ある実施形態では、本システムはさらに、ディスプレイと、プロセッサおよびメモリのための筐体とを備える。
開示される技術は、ある実施形態では、少なくとも部分的に（または排他的に）、奥行きデータ（例えば、１つ以上のセンサ、例えば、１つ以上の室内センサによって取得される１つ以上の奥行きマップ［例えば、時系列の奥行きマップ］）に基づいて、（例えば、事前登録を伴わずに孤立して閲覧または分析される場合、個人の肯定的識別を提供するであろう画像の使用を伴わず、例えば、写真静止またはビデオ画像の使用を伴わず、それによって、個人の個人的プライバシーを保護する）センサ場内の事前登録された人間個人の離散セットのうちの１つのリアルタイムまたはほぼリアルタイムの識別の方法を含み、本方法は、コンピューティングデバイスのプロセッサによって、少なくとも部分的に、１つ以上のセンサによって取得された奥行きデータに基づいて、センサ場内で検出された人間に特徴的な複数の特徴のそれぞれを定量化するステップと（例えば、複数の特徴は、少なくとも１つの静的特徴（例えば、身長、脚長さ、肩から肩までの幅、機械学習および／またはパターン認識技法［例えば、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、 Ｒａｎｄｏｍ Ｆｏｒｅｓｔ、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ、単純なベイズマシン、および／またはクラスタリング技法］の重みおよび／または出力）および／または少なくとも１つの動的特徴（例えば、注視の角度、歩行速度、頭部輪郭幅、機械学習および／またはパターン認識技法［例えば、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、 Ｒａｎｄｏｍ Ｆｏｒｅｓｔ、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ、単純なベイズマシン、および／またはクラスタリング技法］の重みおよび／または出力）を備える）、プロセッサによって、センサ場内で検出された人間に関する定量化された複数の特徴に基づいて、１つ以上のボディプリント（すなわち、分類数量）を定量化するステップと、プロセッサによって、リアルタイムまたはほぼリアルタイムで、少なくとも部分的に、１つ以上のボディプリントに基づいて、事前登録された人間個人のセット間からセンサ場内で検出された人間を肯定的に識別するステップとを含む。
ある実施形態では、本方法は、少なくとも部分的に、１つ以上のボディプリントに基づいて、肯定的に識別された個人が従事する活動（例えば、歩行、前屈、転倒、方向転換、走行、物体の後方を歩行）を判定するステップを含む。
ある実施形態では、人間を肯定的に識別するステップは、奥行きデータに対して排他的に実施される。
ある実施形態では、奥行きデータは、１つ以上のセンサ（例えば、１つ以上の室内センサ）によって取得される１つ以上の奥行きマップ（例えば、時系列の奥行きマップ）を備える。
ある実施形態では、奥行きデータは、（例えば、事前登録を伴わずに孤立して閲覧または分析される場合、個人の肯定的識別を提供するであろう）視覚画像（例えば、写真）を備えていない。
ある実施形態では、人間を肯定的に識別するステップは、写真静止またはビデオ画像の使用を伴わずに遂行され、それによって、個人の個人的プライバシーを保護する。
ある実施形態では、複数の特徴は、少なくとも１つの静的特徴（例えば、身長、脚長さ、肩から肩までの幅、機械学習および／またはパターン認識技法［例えば、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、 Ｒａｎｄｏｍ Ｆｏｒｅｓｔ、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ、単純なベイズマシン、および／またはクラスタリング技法］の重みおよび／または出力）および／または少なくとも１つの動的特徴（例えば、注視の角度、歩行速度、頭部輪郭幅、機械学習および／またはパターン認識技法［例えば、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、 Ｒａｎｄｏｍ Ｆｏｒｅｓｔ、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ、単純なベイズマシン、および／またはクラスタリング技法］の重みおよび／または出力）を備える。
ある実施形態では、事前登録された人間個人のセットは、１００人以下の、５０人以下の、２５人以下の、１０人以下の、６人以下の、５人以下の、４人以下の、３人以下の、２人以下の、または１人以下の人間個人を備える。
ある実施形態では、人間は、少なくとも８０％、少なくとも９０％、少なくとも９５％、または少なくとも９９％の信頼性とともに肯定的に識別される。
ある実施形態では、本方法は、プロセッサによって、センサ場内で検出された肯定的に識別された人間の名前（例えば、ニックネーム、ファーストネーム、グラフィカルアイコン等）を表示し、随意に、肯定的に識別された個人が従事する判定された活動のグラフィカルインジケーションを（例えば、少なくとも８０％、少なくとも９０％、少なくとも９５％、または少なくとも９９％の信頼性とともに）表示するステップを含む。
開示される技術は、ある実施形態では、人物の身体的測定値を介して人物の痛み、疲労、気分、および意図のうちの少なくとも１つを識別および／または定量化する方法を含み、本方法は、コンピューティングデバイスのプロセッサによって、センサによって（例えば、能動的に［例えば、１つ以上のセンサは、データを取得することに従事する］かつ／または受動的に［例えば、データは、ファイルからロードされる］）取得されるセンサデータを備えるデータセットを（例えば、１つ以上のセンサから、または記憶装置から直接）受信するステップと、プロセッサによって、データセットに基づいて、人物の移動、活動、および挙動から成る群から選択される少なくとも１つの要素を特性評価するステップであって、該特性評価するステップは、データセット内に表される１人以上の人物を、相互に、かつデータセット内に表される環境物体（例えば、家具）からセグメント化する（例えば、区別する）ステップと、１人以上のセグメント化された人物のうちの少なくとも１人の少なくとも１つの特徴を計算するステップと、少なくとも１つの特徴をある関係と相関させることに基づいて、結論を判定するステップとを含む、ステップと、プロセッサによって、結論を出力するステップとを含む。
ある実施形態では、データセット内に表される１人以上の人物をセグメント化するステップは、機械学習および／またはパターン認識技法（例えば、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、Ｒａｎｄｏｍ Ｆｏｒｅｓｔ、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ、単純なベイズマシン、および／またはクラスタリング技法）（例えば、明示的または暗示的にのいずれかで）を実施するステップを含む。
ある実施形態では、関係は、学習された関係である。
ある実施形態では、少なくとも１つの特徴は、直接測定値（例えば、センサの人物の身体との相互作用の即時の結果）である身体的測定値を備える。
ある実施形態では、少なくとも１つの特徴は、間接的測定値（例えば、他の測定値から導出され、順に、直接的または間接的であり得る）である身体的測定値を備える。
ある実施形態では、結論は、不完全な測定値（例えば、非連続、非隣接、一貫性のない、非逐次測定値）に基づく。
ある実施形態では、少なくとも１つの特徴は、非連続、非隣接、不完全、一貫性のない、非逐次のうちの少なくとも１つであるデータセット内の測定値に基づく。
ある実施形態では、結論は、いくつかの異なるタイプおよび組み合わせの特徴の統合に基づく。
ある実施形態では、データセット内のセンサデータは、センサから直接取得される（例えば、未加工データである）、および／または付加的処理を受けている。
ある実施形態では、データセットは、１つ以上のフレームを備える。
ある実施形態では、１つ以上のフレームの各フレームは、特定の瞬間に先行して、またはその時点のいずれかで取得されたデータを備える１つ以上のデータストリームのスナップショットに対応する。
ある実施形態では、１つ以上のフレームは、複数の時点において単一のセンサによって捕捉される、および／または複数のセンサによって捕捉される。
ある実施形態では、データセットは、略リアルタイムで（例えば、「ライブ」データフィードから）取得される、バッチモード（例えば、記憶およびサービシング）で取得される、またはデータベース内に以前に記憶されたデータから取得される。
ある実施形態では、本方法は、非プライベートであると判定されたデータのタイプ（例えば、着目用途において人物のプライバシーを危険に晒す）（例えば、写真等の色画像データ）を破棄するステップを含む。
ある実施形態では、本方法は、プロセッサによって、後続分析のためにデータセットを事前処理するステップを含み、事前処理するステップは、データセットをフィルタ処理する（例えば、逐次的データ点間の一貫した時間の量等、ある品質基準に適合しないデータの断片を雑音除去する、平均化する、および／または除去または修復する）ステップ、条件付けするステップ、クリーニングするステップ、および正規化するステップから成る群から選択される１つ以上のステップを含む。
ある実施形態では、本方法は、プロセッサによって、後続分析のためにデータセットを事前処理するステップを含み、事前処理するステップは、データセットからの未加工データまたは計算された特徴に対して実施される。
ある実施形態では、セグメント化するステップは、セグメント化された人物の識別に関するいずれの情報も伴わずに実施される。
ある実施形態では、本方法は、セグメント化した後、計算された特徴を具体的個人と関連付けるために、１人以上のセグメント化された人物毎に標識を判定するステップを含む。
ある実施形態では、少なくとも１つの特徴は、肢長さ、足サイズ、頭部形状、身長、身体割合、身体体積、音声周波数スペクトル、声量、歩幅長さ、視野内の場所、および腕を上げる速度から成る群から選択される少なくとも１つの要素を備える。
ある実施形態では、本方法は、プロセッサによって、機械学習および／またはパターン認識技法（例えば、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、Ｒａｎｄｏｍ Ｆｏｒｅｓｔ、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ、単純なベイズマシン、および／またはクラスタリング技法）を使用して、少なくとも１つの特徴を自動的に計算するステップを含む。
ある実施形態では、少なくとも１つの特徴を計算するステップは、具体的特徴の可用性および出力される結論に関する関連度のうちの少なくとも１つに基づいて、中断される。
ある実施形態では、プロセッサによって、データセットに基づいて、移動、活動、または挙動の所望の特性を判定するステップは、セグメント化する前に、プロセッサによって、後続分析のためにデータセットを事前処理するステップを含む。
ある実施形態では、関係は、事前判定される。
ある実施形態では、学習された関係は、グラウンドトゥルースに基づく。
開示される技術は、ある実施形態では、人物の身体的測定値を介して人物の痛み、疲労、気分、および意図のうちの少なくとも１つを識別および／または定量化するためのシステムを含み、本システムは、人物に対応するデータを取得するためのセンサと、プロセッサと、その上に記憶される命令を有する、メモリであって、命令は、プロセッサによって実行されると、プロセッサに、センサによって（例えば、能動的に（例えば、１つ以上のセンサは、データを取得することに従事する）かつ／または受動的に（例えば、データは、ファイルからロードされる））取得されるセンサデータを備えるデータセットを（例えば、１つ以上のセンサから、または記憶装置から直接）受信させ、データセットに基づいて、データセット内に表される１人以上の人物を、相互に、かつデータセット内に表される環境物体（例えば、家具）からセグメント化する（例えば、区別する）ステップと、１人以上のセグメント化された人物のうちの少なくとも１人の少なくとも１つの特徴を計算するステップと、少なくとも１つの特徴をある関係と相関させることに基づいて、人物の結論を判定するステップとによって、人物の移動、活動、および挙動のうちの少なくとも１つを特性評価させ、結論を出力させる、メモリとを備える。
ある実施形態では、データセット内に表される１人以上の人物をセグメント化するステップは、機械学習および／またはパターン認識技法（例えば、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、Ｒａｎｄｏｍ Ｆｏｒｅｓｔ、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ、単純なベイズマシン、および／またはクラスタリング技法）（例えば、明示的または暗示的にのいずれかで）を実施するステップを含む。
本開示の前述および他の目的、側面、特徴、および利点は、付随の図面と併せて検討される以下の説明を参照することによって、より明白となり、より深く理解されるであろう。
図１Ａ−１Ｄは、本発明のいくつかの実施形態による、人物を識別する、および／または痛み、疲労、気分、または意図を識別および定量化する方法を図示する、高レベルブロック図である。 図１Ａ−１Ｄは、本発明のいくつかの実施形態による、人物を識別する、および／または痛み、疲労、気分、または意図を識別および定量化する方法を図示する、高レベルブロック図である。 図１Ａ−１Ｄは、本発明のいくつかの実施形態による、人物を識別する、および／または痛み、疲労、気分、または意図を識別および定量化する方法を図示する、高レベルブロック図である。 図１Ａ−１Ｄは、本発明のいくつかの実施形態による、人物を識別する、および／または痛み、疲労、気分、または意図を識別および定量化する方法を図示する、高レベルブロック図である。 図２Ａ−２Ｃは、例証的実施形態による、赤外線反射測定に基づく例示的センサタイプおよびシーンからの奥行き（空間）データを測定する際のその使用の概略図を図示する。 図３Ａ−３Ｍは、例証的実施形態による、例示的未加工センサデータストリーム（色、奥行き、および骨格データ）、導出された特徴（歩行速度）、種々の条件（例えば、配向、姿勢、および人物の閉塞）下の人物および着目人物（「Ｔｉｍ」）の表現の識別を実証する、例示的システムの一部のスナップショットを図示する。 図３Ａ−３Ｍは、例証的実施形態による、例示的未加工センサデータストリーム（色、奥行き、および骨格データ）、導出された特徴（歩行速度）、種々の条件（例えば、配向、姿勢、および人物の閉塞）下の人物および着目人物（「Ｔｉｍ」）の表現の識別を実証する、例示的システムの一部のスナップショットを図示する。 図３Ａ−３Ｍは、例証的実施形態による、例示的未加工センサデータストリーム（色、奥行き、および骨格データ）、導出された特徴（歩行速度）、種々の条件（例えば、配向、姿勢、および人物の閉塞）下の人物および着目人物（「Ｔｉｍ」）の表現の識別を実証する、例示的システムの一部のスナップショットを図示する。 図３Ａ−３Ｍは、例証的実施形態による、例示的未加工センサデータストリーム（色、奥行き、および骨格データ）、導出された特徴（歩行速度）、種々の条件（例えば、配向、姿勢、および人物の閉塞）下の人物および着目人物（「Ｔｉｍ」）の表現の識別を実証する、例示的システムの一部のスナップショットを図示する。 図４は、例証的実施形態による、静的および動的特徴を計算するための例示的方法の高レベルブロック図である。 図５Ａ−５Ｅは、例証的実施形態による、特徴および／またはボディプリントの実施例を図示する。 図５Ａ−５Ｅは、例証的実施形態による、特徴および／またはボディプリントの実施例を図示する。 図５Ａ−５Ｅは、例証的実施形態による、特徴および／またはボディプリントの実施例を図示する。 図５Ａ−５Ｅは、例証的実施形態による、特徴および／またはボディプリントの実施例を図示する。 図６は、本発明の例証的実施形態による、一連の移動、一連のフレーム内で捕捉される例示的静的および動的特徴のセット、および人物の分類の結果を図示する概略図である。 図７は、例証的実施形態による、人物識別のための分類子を訓練するための例示的方法の高レベルブロック図である。 図８は、例証的実施形態による、人物識別のための分類子の例示的出力を図示する概略図である。 図９Ａ−９Ｄは、例証的実施形態による、結論を判定するために特徴を関係に相関させる実施例を図示する。 図９Ａ−９Ｄは、例証的実施形態による、結論を判定するために特徴を関係に相関させる実施例を図示する。 図９Ａ−９Ｄは、例証的実施形態による、結論を判定するために特徴を関係に相関させる実施例を図示する。 図９Ａ−９Ｄは、例証的実施形態による、結論を判定するために特徴を関係に相関させる実施例を図示する。 図１０は、測定された特徴と判定された結論との間の関係の実施例を列挙する。 図１１は、例証的実施形態による、静的および動的特徴を使用して、人物および物体を識別するための方法およびシステムにおいて使用するための例示的ネットワーク環境のブロック図である。 図１２は、本明細書に提示されるシステムおよび方法の例証的実施形態において使用するための例示的コンピューティングデバイスおよび例示的モバイルコンピューティングデバイスのブロック図である。 図１３Ａ−１３Ｄは、本発明のいくつかの実施形態による、人物を識別する、および／または痛み、疲労、気分、または意図を識別および定量化するための例示的システムの概略図および画像である。 図１３Ａ−１３Ｄは、本発明のいくつかの実施形態による、人物を識別する、および／または痛み、疲労、気分、または意図を識別および定量化するための例示的システムの概略図および画像である。 図１３Ａ−１３Ｄは、本発明のいくつかの実施形態による、人物を識別する、および／または痛み、疲労、気分、または意図を識別および定量化するための例示的システムの概略図および画像である。 図１３Ａ−１３Ｄは、本発明のいくつかの実施形態による、人物を識別する、および／または痛み、疲労、気分、または意図を識別および定量化するための例示的システムの概略図および画像である。
本開示の特徴および利点は、同様の参照文字が全体を通して対応する要素を識別する、図面と併せて検討されるとき、下記に記載される詳細な説明からより明白となるであろう。図面では、同様の番号は、概して、同じ、機能的に類似する、および／または構造的に類似する要素を示す。
定義
本願では、別様に文脈から明白でない限り、（ｉ）用語「ａ」は、「少なくとも１つ」を意味するように理解され得、（ｉｉ）用語「または」は、「および／または」を意味するように理解され得、（ｉｉｉ）用語「〜を備える」および「〜を含む」は、それだけで、または１つ以上の付加的構成要素またはステップとともに提示されるかを問わず、箇条書きの構成要素またはステップを包含するように理解され得、（ｉｖ）用語「約」および「ほぼ」は、当業者によって理解されるであろうような標準的変形例を可能にするように理解され得る。
活動：本明細書で使用されるように、「活動」は、ある環境の文脈における移動の協調を示す。「活動」の実施例は、歩くために杖を使用すること、会話をするために電話を使用すること、およびある明確な時間周期にわたって着座することを含む。
属性：本明細書で使用されるように、「属性」は、人物または物体のある性質の現実世界の値を指す。属性は、現実世界における何かの「グラウンドトゥルース」または「現実」である。身体的属性の実施例は、（現実の）人物の頭部の体積、（現実の）人物の上腕の円周、および（現実の）人物の髪の（可視光の波長としての）色を含む。精神的または意図的属性の実施例は、（現実の）人物の疲労または痛みのレベル、（現実の）想定された行為を実行するかどうかに関する人物の意図、および（現実の）感知された危険に関連して対象によって感じられる警戒の程度を含む。
挙動：本明細書で使用されるように、「挙動」は、目標に向かっての移動および／または活動を介した進行を示す。「挙動」の実施例は、食事をすること、大きな音に驚いて見上げること、勤務時間中に机で眠ること、および怒って身振りをすることを含む。用語「活動」および「挙動」は、重複し、時として、本明細書で同義的に使用されるであろう。
ボディプリント：本明細書で使用されるように、「ボディプリント」は、１）特徴のセットであり、２）（その「ボディプリント」が本システムに把握される人物のセット内の）特定の人物に対してともに高度に特有である、それらの特徴毎に測度の範囲と組み合わせられ、特異性の程度は、随意に、３）いわゆる「ボディプリントスコア」によって定量化され得る。「ボディプリント」は、本発明的システムの、人物の「指紋」に対する類似物である。
カメラ：本明細書で使用されるように、「カメラ」は、環境についての情報、特に（但し、限定ではないが）、可視光または赤外光等の電磁測定値を収集し得る任意のセンサを指す。本明細書で使用されるような「カメラ」は、したがって、あるタイプのセンサを指す汎用用語であり、可視光デバイスを具体的に指すものではない、またはそれに限定されない。
結論：本明細書で使用されるように、「結論」は、人物の痛み、疲労、気分、および／または意図の評価および／または人物の移動、挙動、および／または活動の特性評価を指す。結論は、人物（および／または人物の環境）の「特徴」を「関係」（事前判定されたもの、または学習されたもののいずれか）と相関させることに基づいて判定され得る。例えば、結論は、「Ｂｏｂは先週よりも痛みが増している」であり得る。例えば、結論は、「Ｂｏｂは先週よりも痛みが２０％増している」であり得る。例えば、結論は、「視野内の未知の人物が疑わしい物体を置き去りにしている」であり得る。
結論は、加えて、人物の移動、活動、または挙動に関連する定量化された計算を備え得る。例えば、人物の意図が足早に歩行することを含むことを判定する際、結論出力は、人物の計算された歩行速度を記載し得る。付加的実施例として、人物の気分を判定する際、結論出力は、モニタが人物の気分をさらに特性評価するために、定質的気分および人物の歩幅長さおよび／または食事の持続時間および頻度を記載し得る。
データセット：本明細書で使用されるように、「データセット」は、１つ以上のフレームの集合を指す。１つ以上のフレームは、実質的に異なる時間に取得されている場合がある。データセット内のデータのタイプは、本明細書にさらに説明されるように、限定ではないが、未加工センサデータ（例えば、デジタルカメラからの色画像データ）、計算されたセンサデータストリーム（例えば、奥行きデータから計算された骨格データ）、または身体輪郭、歩行速度、歩幅長さ、関節配向、および／または時空依存性を有し得る他のそのようなメトリック等の多種多様な計算されたデータタイプを含み得る。データセットは、単一のセンサを介して、または可変観察点に配置され得、時間において同期され得る、または同期されない場合がある複数のセンサを介して収集され得る。
データストリーム：本明細書で使用されるように、「データストリーム」は、センサに由来するデジタル的にエンコードされた信号のシーケンスを指す。データストリームの実施例は、１次元データストリーム（例えば、誰かがこれを横断するときに「破壊」される赤外線ビームからの信号）、２次元データストリーム（例えば、ウェブカメラ写真またはビデオ）、および３次元データストリーム（例えば、画像の各ピクセルが、センサから視野内の物体のある部分までの現実世界の距離に対応する、奥行き画像）を含む。
奥行きデータ：本明細書で使用されるように、「奥行きデータ」は、既知の座標系に対する空間内の物体の空間的位置についての情報を指す。いくつかの実施形態では、奥行きデータは、飛行時間光検出および測距（ＬＩＤＡＲ）を使用して取得される。他の実施形態では、奥行きデータは、あるパターンをシーン上に投影し、その変形を測定することによって取得される。他の実施形態では、奥行きデータは、光（電磁放射）、音声（音響）、または付加的モダリティを含む種々の方法によって取得される。奥行きデータは、２Ｄ画像データと類似する様式で表され得、２Ｄのいわゆる「奥行きマップ」における各ピクセルの強度値は、共通の基準平面、例えば、センサ自体によって確立される垂直平面から所与の物体に対応する空間内の点または平面までの距離の測定値を含有する。「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｓｉｚｉｎｇ ａｎｄ Ｆｉｔｔｉｎｇ ａｎ Ｉｎｄｉｖｉｄｕａｌ ｆｏｒ Ａｐｐａｒｅｌ， Ａｃｃｅｓｓｏｒｉｅｓ， ｏｒ Ｐｒｏｓｔｈｅｔｉｃｓ」と題され、２０１２年１０月２日に出願された米国特許第９，３４１，４６４号（参照することによってその全体として本明細書に組み込まれる）に説明されるように、視野に関する奥行きデータを取得する、計算する、または別様に生成する多くの方法が存在する。
動的特徴：本明細書で使用されるように、「動的特徴」は、着目時間周期にわたって（例えば、数秒、数分、または数時間にわたって）時間とともに変動する特徴を指す。動的特徴は、時変データを使用して測定される。動的特徴は、単一のフレームから、または時間または空間において連続的であり得る、または連続的ではない場合がある複数のフレームから判定または測定され得る。静的特徴のように、動的特徴の測定された値（または測度）は、測定限定のため、その実際の現実世界の値とは異なり得る。動的特徴の実施例は、部屋内の物体の場所、センサに対する人物の身体の配向、周囲温度、瞬間的歩行速度、平均歩行速度（恣意的持続時間にわたって計算される）、および歩幅長さを含む。
特徴：本明細書で使用されるような用語「特徴」は、人物を識別するために、および／または人物についての何かを測定するために使用され得る代表的特性またはメトリックを指す。
いくつかの事例では、本明細書で使用されるような用語「特徴」は、現実世界の属性または現実世界の属性の組み合わせの計算または他の判定を指し得る。各そのような特徴は、未加工データから直接、未加工データに対する計算から、および／または他の特徴に対する計算から、任意の重み付けまたは組み合わせにおいて計算され得る。（現実世界では、物体から取得された測定値は、雑音、エラー、および他の劣化の源のため、必然的に、「グラウンドトゥルース」属性の近似値である。例えば、人物の頭部の測定された体積は、閉塞する帽子類またはセンサの分解能限界に起因して誤差があり得る。例えば、人物の髪の測定された色は、衝突する周囲光に起因して変動し得る。）
いくつかの事例では、本明細書で使用されるような用語「特徴」は、人物、周辺環境、センサデータ（未加工または処理済）、および／または他の特徴の任意の測定可能な性質を指し得る。各そのような特徴は、随意に、経時的に、空間にわたって、ある他の測定単位（角度またはピクセルカウント等）にわたって、またはそれらの任意の組み合わせにわたって計算され得る。例えば、特徴は、身体的に測定可能である人物の数量または性質（例えば、メートルにおける人物の身長）であり得る。例えば、特徴は、順に、他の性質または特徴（例えば、固有顔としても公知である、顔の数学的固有画像またはその用語が下記に定義される、ピクセル標識データのセットにおいて頭部を備えるピクセルのカウント）から導出される人物の数量または性質であり得る。特徴の（包括的ではない）付加的実施例は、肩から肩までの幅、頭部サイズ、頭部形態（形状）、鼻形態、眼間距離、眼から耳までの距離、歩行速度（瞬間または平均）、歩幅長さ、身体部分のＳＩＦＴ（スケール不変特徴変換）、および身体部分のＨＯＧ（配向勾配のヒストグラム）を含む。
いくつかの特徴は、人物の身長等の直感的に理解可能な人間スケールの属性に対応し、人間に容易に理解可能であり得る。他の特徴は、抽象的アルゴリズムの数値出力等の純粋に数学的な表現に対応し、人間にあまり直感的ではない場合がある。他の特徴は、それらの組み合わせであり得る。特徴は、経時的に、例えば、可変入力データとともに、または可変計算方法とともに変化し得る。例えば、顔の画像の主要なコンポーネントに基づく数学的構成概念である、計算された固有顔は、人間の視覚にとって、既知の顔またはいずれの顔にも似ていない場合がある。例えば、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＣＮＮ）は、直感的な人間の解釈から独立した数学的演算に対応する特徴を計算し得る。
特徴判定のいくつかの側面は、事前に（すなわち、図１Ａ−１Ｄに説明される一連のステップに先立って）行われ得る。例えば、ＣＮＮ等の機械学習構成の一般的アウトラインおよび構造は、事前に判定され得る。特徴判定の他の側面は、事後に（すなわち、図１Ａ−１Ｄに説明される一連のステップ中またはその後に）行われ得る。例えば、ＣＮＮ等の機械学習構成内の計算の具体的重みおよび分布は、事後に判定され得る。
フレーム：本明細書で使用されるように、「フレーム」は、特定の瞬間またはそれに近接して取得される、またはそれに対応するデータの集合を指す。例えば、データは、視野内の物体への距離を記述する奥行きデータであり得る、またはデータは、３Ｄ空間内の人間の関節（頭部または手等）の場所を識別する骨格データであり得る、またはデータは、視野内の人間の身体表面に対応するピクセルを標識化するピクセル標識データであり得る。他のデータタイプもまた、可能である。代表的データタイプの詳細な説明が、「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｄｅｔｅｃｔｉｎｇ Ｄｅｔｅｒｉｏｒａｔｉｏｎ ｏｆ Ｈｅａｌｔｈ Ｓｔａｔｕｓ」と題され、２０１２年１０月３日に出願された国際出願第ＰＣＴ／ＵＳ２０１２／０５８５３４号および「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｍｏｎｉｔｏｒｉｎｇ Ｉｎｄｉｖｉｄｕａｌｓ Ｗｈｉｌｅ Ｐｒｏｔｅｃｔｉｎｇ Ｔｈｅｉｒ Ｐｒｉｖａｃｙ」と題され、２０１２年１０月１２日に出願された国際出願第ＰＣＴ／ＵＳ２０１２／０６００４１号（そのそれぞれが、参照することによってその全体として本明細書に組み込まれる）に提供されている。
各フレームは、１つまたは１つを上回るデータタイプを含有し、１つまたは１つを上回るデータストリームを含有し得る。識別されるべき人物のプライバシーを保護することに役立てるために、フレーム内で取得されるデータタイプのいずれかまたは全ては、可視光を要求しない場合がある。データの各フレームは、変化率の精密な計算を可能にし、複数のセンサを横断して取得されるデータを組み合わせるように、データが取得された時間を識別するためのタイムスタンプと関連付けられ得る。（複数のセンサが同時に使用される場合、タイムスタンプ機構を同期させ、フレームが正しい時間順序で報告されることを確実にすることが、必要であり得る。）
人物を識別すること：本明細書で使用されるように、「人物を識別する」または「人物を識別すること」は、より多い人物のグループから１人の具体的着目人物を区別すること、例えば、部屋内の１人の人物が「Ｂｏｂ」であることを識別することを指す。識別は、肯定的または否定的であり得る。「肯定的」識別は、人物をルールインすることを意味し、例えば、「本人物はＢｏｂである」。「肯定的」識別は、人物をルールアウトすることを意味し、例えば、「本人物はＢｏｂ以外の誰かである」。識別は、確率的であり得、例えば、「本人物はおそらくＢｏｂである」または「本人物はおそらくＢｏｂ以外の誰かである」。
識別：本明細書で使用されるように、「識別」は、人物が分類（またはカテゴリ化）され得る事前判定された標識（またはカテゴリ）のセットのうちの１つを指す。人物に配置される標識は、現実におけるその人物の識別にマッピングされることができる。識別の実施例は、「Ｂｏｂ」、「患者番号１０」、および「その他」（「本システムに把握されていない人物」と同等である）を含む。
画像データ：本明細書で使用されるように、「画像データ」は、例えば、電磁スペクトルの視覚波長内または他の波長内であり得る、シーンの画像についての情報を指す。本明細書で使用されるように、「色画像データ」は、標準的デジタルカメラが視覚画像を収集する方法と同様に、色波長を使用して、シーンの視覚画像を収集することを指す。
意図：本明細書で使用されるように、「意図」は、人物の基本的な目標または動機を示す。「意図」の実施例は、薬品を服用する意図、安全装備を装着する意図、警告する光景または匂いを確認する意図、店舗から物体を盗む意図、誰かに害を及ぼす意図、制限されたエリアの中に何かを持ち込む意図、およびある場所を偵察し、次いで、有害なデバイスを置き去りにする意図を含む。
学習された関係：本明細書で使用されるように、「学習された関係」は、データ分析中に判定される関係である。ある実施形態では、関係は、機械学習の方法を通して学習される。例えば、「人物の平均腕高さは、過去５週間のうちの３週間中に１０パーセントだけ通常よりも低かった」および「人物は、人物がそれらの同一の３週間中に通常よりも抑鬱的な気分だったことを調査で示した」等の測定された特徴の、結論「高い信頼度で、１０パーセントの平均腕高さの減少は、抑鬱気分の悪化を示す」に対する関係が、学習される。学習された関係は、人間への可解性にかかわらず、抽象的または数学的であり得、例えば、ＣＮＮの数値的重みは、学習された関係を備え得る。学習された関係と事前判定された関係との間に重複が存在し、特に、学習された関係は、いったん確立されると、続けて、事前判定された関係として採用され得る。
機械可読媒体、コンピュータ可読媒体：本明細書で使用されるように、用語「機械可読媒体」または「コンピュータ可読媒体」は、機械可読信号として機械命令を受信する機械可読媒体を含む、プログラマブルプロセッサに機械命令および／またはデータを提供するために使用される、任意のコンピュータプログラム製品、装置、および／またはデバイス（例えば、磁気ディスク、光学ディスク、メモリ、プログラマブル論理デバイス（ＰＬＤ））を指す。用語「機械可読信号」は、プログラマブルプロセッサに機械命令および／またはデータを提供するために使用される任意の信号を指す。
移動、運動：本明細書で使用されるように、「移動」または「運動」は、身体または身体の一部の物理位置付けの変化を示す。移動の実施例は、歩行する、腕を上げる、俯く、着座する、および立つ行為を含む。移動の測度は、歩行速度、歩幅長さ、および腕を上げる速度を含む。移動または移動の測度は、精神的知覚または意図の代理として使用されることができる。用語「移動」および「運動」は、同義的に使用される。
人物：本明細書で一般的に使用されるように、「人物」は、データセット内の人間の表現を指す。いくつかの事例では、人物の表現は、明確化のために、具体的人間を指すように具体的に言及される。
プライバシーを伴う人物識別：本明細書で使用されるように、「プライバシーを伴う人物識別」は、人物を識別しながら、識別以外のその人物についての最小の情報を示すことを指す。いくつかの実施形態では、プライバシーの保護は、必要とされない場合があり、その場合では、本発明の実施形態はまた、（プライバシーを問わず）人物の一般的識別のために使用されてもよい。
ピクセル標識データ：本明細書で使用されるように、「ピクセル標識データ」は、データの集合のコンポーネントを標識化することから成り、したがって、各標識化されたコンポーネントは、着目点（例えば、人間の身体の表面上に位置する点）に対応する。例えば、奥行きマップでは、「人物Ａ」の身体形状に対応するピクセルは、「Ａ」と標識化され得る。例えば、ピクセル標識データは、別個に取得された奥行きおよび／または画像データから、またはそれに関して判定され得る。米国特許第９，３４１，４６４号（参照することによってその全体として本明細書に組み込まれる）に説明されるように、視野に関するピクセル標識データを取得する、計算する、または別様に生成する多くの方法が存在する。
身体の部分、身体部分：本明細書で使用されるように、「身体の部分」または「身体部分」は、人物の全て、または人物のある区分、または人物内またはその上の空間的場所を指す。任意の人物が、部分に分割され得る。例えば、人物の一部は、身体形状、または頭部、肩、腕、または脚等の身体区分、または関節、皮膚表面、または皮膚曲線等の身体のより小さい解剖学的部分に対応し得る。
事前判定された関係：本明細書で使用されるように、「事前判定された関係」は、データ分析に先立って定義される関係である。例えば、測定された特徴「人物の手が、過去６０秒以内に１０回胸高さから口高さまで移動した」の、結論「その人物は、今食事をしている」に対する関係が、事前判定される。例えば、測定された特徴「人物の姿勢は、先週と比較して今週１０パーセント低下した」の、結論「その人物は、先週よりも今週疲労している」に対する関係が、事前判定される。
個人的プライバシーを保護すること：本明細書で使用されるように、「個人的プライバシーを保護すること」は、人物についての恥ずかしい、不名誉な、またはさらには単に慣用的な情報、例えば、その人物またはその人物が読んでいる、または閲覧しているものの写真の取得および／または普及を防止することを指す。個人的プライバシーを保護することは、人物がモニタに（例えば、人物を観察することに責任があり得る、または他の理由から人物を観察することを所望し得る、人物に精通する、または精通しない存在に）示すことを所望しない情報の取得および／または普及を防止することを指し得る。
関係：本明細書で使用されるように、「関係」は、１つ以上の特徴および／または経時的なその測度と移動、活動、または挙動との間の関連付けを指す。さらに、各移動、活動、および挙動（またはそれらの組み合わせ）は、痛み、疲労、気分、または意図の代理として作用することができる。したがって、人物の精神的知覚または意図に関する結論は、１つ以上の特徴をある関係に相関させることによって判定されることができる。関係は、事前判定または学習され得る。
シーン：本明細書で使用されるように、「シーン」は、センサの視野（ＦＯＶ）内にある、家具等の物体とともに散在する（潜在的に）何人かの人物を備える物理的シーンを指す。
セグメント化：本明細書で使用されるように、「セグメント化」（例えば、センサデータのセグメント化」は、人物を他の人物、物体、または環境から区別すること（例えば、センサデータを人物の表現にセグメント化すること）を指す。ある実施形態では、セグメント化は、奥行きマップ内のピクセルの集合（または任意の他のデータの表現）が、単一の人物に対応し、例えば、家具の断片または２人の（以上の）異なる人物に対応しないことを決定するように行われる。ある実施形態では、「セグメント化」は、例えば、センサデータ内の人物を区別するために、機械学習および／またはパターン認識技法（例えば、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、Ｒａｎｄｏｍ Ｆｏｒｅｓｔ、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ、単純なベイズマシン、および／またはクラスタリング技法）を適用することを指す。例えば、セグメント化は、人物に対応する境界またはアウトライン表現を明示的に生成し得る、またはセグメント化は、境界またはアウトラインを明示的に生産することなく、人物に対応するデータの領域またはサブセットを暗示的に識別し得る、またはセグメント化は、人物に対応するものとしてそれらのデータフレーム内のいずれの具体的データも識別またはマーキングすることなく、１つ以上のデータフレームから取得された１つ以上の特徴が、人物がそれらのデータフレーム内に存在することを決定するために十分であると暗示的に結論し得る。
センサ：本明細書で使用されるように、「センサ」は、シーンの測定値を記録するために使用されるデバイスを指す。センサの実施例は、限定ではないが、飛行時間（ＴｏＦ）センサ、カメラ、ボロメータ、音響トランスデューサ、ＬＩＤＡＲ、および人物または環境の静的または動的データストリームを捕捉するために使用される任意の他のセンサモダリティを含む。センサは、例えば、１次元、２次元、または３次元センサであり得る。１次元データの実施例は、マイクロホン、温度計、光センサ、および距離センサを含む。２次元データの実施例は、写真、ビデオ、赤外画像、熱画像、およびその他を含む。３次元データの実施例は、奥行きマップおよびポイントクラウドを含む。
センサベースのデータ：本明細書で使用されるように、「センサベースのデータ」は、人物または周辺環境の任意の側面を測定するために任意のセンサから取得されるデータを指す。センサベースのデータの実施例は、画像（視覚、赤外線）、温度（ボロメータ）、および音響（超音波）を含む。センサベースのデータは、観察されているシーンの「特徴」、すなわち、測定値を生成するために使用される。本明細書に説明されるように、特徴は、静的または動的であり得る。静的特徴は、ある着目時間周期（例えば、数日から数週間、実施例は、人物の身長である）にわたって緩慢にのみ変化する、または決して変化しない。動的特徴は、ある着目時間周期（例えば、数分から数時間、実施例は、人物の歩行速度である）にわたってかなり変化する。
骨格データ：本明細書で使用されるように、「骨格データ」は、関節の空間内のおおよその場所または他の不明瞭かつ／または拡散した解剖学的構造から成るデータを記述する。例えば、骨格データは、別個に取得された奥行きおよび／または画像データから、またはそれに関して判定され得る。米国特許第９，３４１，４６４号（参照することによってその全体として本明細書に組み込まれる）に説明されるように、視野に関する骨格データを取得する、計算する、または別様に生成する多くの方法が存在する。
スナップショット：本明細書で使用されるように、「スナップショット」は、特定の瞬間に先行して、またはその時点のいずれかで取得された１つ以上のデータストリームの単一のフレームを指す。
静的特徴：本明細書で使用されるように、「静的特徴」は、着目時間周期にわたって（例えば、数秒、数分、または数時間にわたって）時間とともに緩慢にのみ変動する、または全く変動しない特徴を指す。エンジニアリング専門用語では、前述の定義と同義の形容詞は、「準静的」である。どのレベルの分散が「緩慢」と見なされるかは、恣意的かつ用途依存性であり、絶対的用語において（例えば、固定数として）、または相対的用語において（例えば、標準偏差として、または測定値と繰り返しの測定値の平均との比率として）定義され得る。静的特徴は、データの単一のフレーム（同時存在セット）から、または時間または空間において連続的であり得る、または連続的ではない場合がある複数のフレームから判定または測定され得る。上記に説明されるように、静的特徴の測定された値（または測度）は、例えば、センサ測定値における変動または雑音またはセンサの視野（ＦＯＶ）における限定に起因して、その実際の現実世界の値とは異なり得る。複数のフレームが、静的特徴の測定される精度または信号対雑音を改良するために集約され得る。静的特徴の実施例は、身長、肩から肩までの幅、頭部体積を含む。
発明を実施するための形態
請求される発明のシステム、アーキテクチャ、デバイス、方法、およびプロセスは、本明細書に説明される実施形態からの情報を使用して開発される変形例および適合を包含することが想定される。本明細書に説明されるシステム、アーキテクチャ、デバイス、方法、およびプロセスの適合および／または修正は、本説明によって想定されるように実施され得る。
物品、デバイス、システム、およびアーキテクチャが、具体的構成要素を有する、含む、または備えるものとして説明される、またはプロセスおよび方法が、具体的ステップを有する、含む、または備えるものとして説明される、本説明全体を通して、加えて、列挙される構成要素から本質的に成る、またはそれから成る、本発明の物品、デバイス、システム、およびアーキテクチャが存在し、列挙される処理ステップから本質的に成る、またはそれから成る、本発明によるプロセスおよび方法が存在することが想定される。
ステップの順序またはある行為を実施するための順序は、本発明が動作可能なままである限り、重要ではないことを理解されたい。さらに、２つ以上のステップまたは行為が、同時に実行されてもよい。
例えば、背景の節における任意の公開の本明細書における言及および／または背景の節における任意の概念の説明は、公開または概念が本明細書に提示される請求のいずれかに関する従来技術としての役割を果たすことを承認するわけではない。背景の節は、明確化を目的として提示され、任意の請求に関する従来技術の説明を意味しない。
文書が、留意されるように、参照することによって本明細書に組み込まれる。特定の用語の意味においていずれかの矛盾が存在する場合、上記の定義の節において提供される意味が、優先される。
人物を識別しながら、その同一の人物のプライバシーを保護することは、一見すると誤称または逆説に思える場合がある。しかしながら、いくつかの実施形態では、本発明の目標は、人物の視覚的外観、服装の状態、人物が読んでいる、またはＴＶで視聴しているもの等のプライベート情報を暴露することなく人物を識別することである。さらに、ある実施形態では、目標は、全世界の全ての人を識別することではなく、むしろ、家庭における人物等の人物の少数のセットのみを識別することである。開示される技術は、それらが動き回り、センサから離れているときであっても、かつ複数の個人が同時に存在するときであっても、これらの個人の識別を可能にする。
開示される技術は、とりわけ、医療、安全、および／または在宅ケア目的のために人物を識別および追跡する能力を可能にする。特に重要なことは、変性疾患（例えば、多発性硬化症）の進行を追跡することまたは処置またはリハビリテーションの有効性を監視すること等の長期患者監視を要求する用途である。そのような目的は、縦断的データが、経時的にその人物（例えば、患者）に添付され得るように、人物の識別が判定されることを要求する。
実験室等の研究状況は、制御され、言い換えると、臨床医または科学者等の誰かが、家具およびデバイスの精密な配置、人物（オペレータおよび研究対象を含む）の厳密な活動等を指示することができる。対照的に、人物の家等の現実世界の状況は、制御できず、言い換えると、外部の関係者は、デバイス配置、人間の活動等を殆どまたは全く制御できない。これは、現実世界における使用のために設計された人物識別ソリューションが、事前通知なしで事象が起こり得、物体が変化し得る制御できない環境であっても、人物識別ソリューションが自律的に適応し得る要件を満たしながら、人物を識別することにロバストでなければならないことを意味する。
人物に関連する変化の実施例は、今日装着する衣類の選択肢、体重の増減、最近のヘアカット、眼鏡を装着しているかどうか、姿勢および注視、他の人物との口頭および身体的相互作用を含む。局所的環境に関連する変化の実施例は、センサ場所または再配置、ライトのオンまたはオフ、新しい家具、家の建造を含む。開示される技術は、（例えば）ちょうど説明された変化への適応を含め、制御された環境（例えば、実験室）および制御できない環境（例えば、現実世界）の両方の多種多様な環境を取り扱うように設計される。
開示される技術は、ある実施形態では、識別されるべき人物が種々の方法で動き回る際、正確度を減少させるのではなく、正確度を改良しながらこれらの目標を遂行する。ある実施形態では、開示される技術は、単一の特徴または属性への依存性を不要にすることによって、人物識別におけるエラーのマージンを低減させ得る。例えば、顔認識は、典型的には、顔全体の接写画像を要求し、したがって、対象がカメラを向いていないと失敗する。例えば、歩き方認識は、典型的には、具体的歩行経路の妨げられていないビューを要求し、したがって、対象が静止する、または経路から外れると失敗する。
いくつかの現代の人物識別ソリューションは、累積正確度を改良する試みにおいて、単独識別の複数の方法（顔、声、および指掌紋等）を組み合わせる。対照的に、開示される技術は、ある実施形態では、（それぞれ単独では）単独識別の手段として作用しない場合があるが、組み合わせられると、制御できない環境においてさらに高い正確度およびよりロバストな動作を提供する特徴を採用する。このように、開示される技術はまた、ある実施形態では、任意の１つのセンサタイプから、または任意の１つのセンサ配置からのデータ取得における欠陥に対する相対的ロバスト性を提供し、したがって、任意の単一のセンサモダリティにわたってより広い範囲の動作条件を提供する。
さらに、医療用途のためのソリューションは、プライバシーの懸念に対処しなければならない。例えば、人物は、その服装または脱衣の状態、人物が読んでいるもの等を示し得る、ビデオカメラまたは類似するデバイスのその家への配置に反対する場合がある。開示される技術は、ある実施形態では、写真の使用を回避し、したがって、ユーザプライバシーおよびセンサアーチファクトに対するロバスト性（例えば、センサからの異なる距離における正確度の変化に対するロバスト性）を維持し、複数のセンサまたは異なるモダリティのセンサをプライバシーに敏感な場所を含む種々の場所に配置する必要性を低減または排除し得る。
本明細書に説明されるシステムおよび方法は、痛み、疲労、気分、および意図を検出および／または定量化するために、１つ以上のセンサから収集されたデータに基づいて、１人以上の人物を識別すること、および／または１つ以上のセンサによって取得されるデータからの直接および／または間接的測定値を使用して、移動、活動、および挙動を特性評価することに関連する。
センサからのデータは、不完全であり得る、またはノイジーであり得る、またはタイプおよび精度において異種であり得る、または経時的に変動し得る。任意の特定の瞬間における、または任意の特定の空間内の場所における各センサからのデータは、各人物の正しい識別を実施するためにそれ自体では不十分であり得る、および／または個人の移動、活動、または挙動を特性評価するためにそれ自体では不十分であり得る。
いくつかの実施形態では、本発明の方法およびシステムは、空間および／または時間にわたって、センサからの異なるフラグメント化されたデータを集約し、次いで、各人物の正しい識別を実施するように、各人物の１つ以上の静的および／または動的特徴を計算するために組み合わせられたデータを採用する。留意すべきこととして、人物識別のために使用される特徴は、本明細書にさらに説明されるように、どの特徴が実際に利用可能であるかに応じて（順に、環境物体による人物の閉塞、センサに対する人物の配向等に依存する）、同一のシーン内であっても人物毎に異なり得る。
いくつかの実施形態では、開示される技術は、単一の、いくつかの組み合わせの、またはいくつかの異なる群の組み合わせの便宜的に収集された測定値から移動または挙動を推測または別様に特性評価する能力を提供する。これらの測定値の組み合わせまたは組み合わせのセットは、当該移動、活動、または挙動の特性評価における信頼性を達成するために統合され得る。
多くの現代の方法と対照的に、本明細書に説明されるシステムおよび方法は、単一の測定値または測定値の任意の固定された組み合わせが、着目移動、活動、または挙動を推測するために使用されることを要求しない。代わりに、便宜的に収集された、いくつかの異なるタイプおよび組み合わせの測定値の統合が、着目移動、活動、または挙動を推測するために使用されることができる。本能力は、ノイジーな、現実世界の、または他の制御できない状況に適応させるために重要である。
移動、活動、または挙動を測定する（包括的ではない）実施例は、以下である。例えば、脚がビューから閉塞されているときに人物の歩幅長さを測定するために、本システムは、経時的に頭部の開始および停止位置（すなわち、移動を伴う頭部の上下）の測定値を介して間接的に歩幅長さを計算し得る。例えば、口が形状認識のために遠すぎるときに食事活動を検出するために、本システムは、胸高さから顎高さへの手の繰り返される移動（手の揺れ）の検出に依拠し得る。例えば、腰が衣類によって不明瞭であるときに立位から座位への移動を検出するために、本システムは、頭部高さの測定に間接的に依拠し得る。
痛み、疲労、気分、または意図を検出および／または測定する（包括的ではない）実施例は、以下である。例えば、人物の疲労のレベルを定量化するために、本システムは、固定された時間周期にわたって進んだ歩数、または肩の落ち込み、または顎の下向き角度、または着座して費やした時間の量、または座位から立ち上がるためにかかった時間の量、または歩行速度の変化、または姿勢、または垂直からの脊柱角度、またはこれらの特徴のいくつかまたは全ての組み合わせを測定し得る。例えば、人物の制限されたエリアの中に忍び込む意図を検出するために、本システムは、人物の歩き方のコンポーネント、または歩行軌跡、または注視の方向、または姿勢、または顔特徴の側面、またはこれらの特徴のいくつかまたは全ての組み合わせを測定し得る。例えば、股関節痛の変化を定量化するために、本システムは、歩行に費やした時間、または杖を使用して費やした時間、または歩行速度、またはこれらの特徴のいくつかまたは全ての組み合わせを測定し得る。例えば、気分の変化を定量化するために、本システムは、手の速度、または腕高さ、または姿勢、または頭部の傾斜、または全体的移動の速度、または顔特徴の側面、または言葉の発声のフーリエ分析、またはこれらの特徴のいくつかまたは全ての組み合わせを測定し得る。例えば、人物の特定の場所まで歩行する意図を検出するために、本システムは、歩行速度の変化または定常状態からの歩行の開始が存在する前であっても、目的地を向くための上半身および下半身の両方の角度の変化を測定し得る。例えば、人物の、例えば、バックパックをある場所に残す意図を測定するために、本システムは、その場所に立ちながら身体からバックパックを外し始めることを測定し得る。これらの実施例のそれぞれでは、精神的知覚または意図が、身体の身体的測定値を介して検出および／または定量化される。
リアルタイムか記憶されるかを問わず、種々のデータストリームおよび測定値を便宜的に利用することによって、開示される技術は、特定の着目数量の直接観察または測定が利用可能ではないとき（代理物または導出される値から特定の着目数量を推測することによって）、運動の測定値を提供する。推測は、時々で利用可能であるどの特徴に基づいて計算されてもよく、利用可能な特徴は、データのフレーム毎に変動し得る。測定値の妥当性は、信頼性閾値が満たされるまで、便宜的に収集されたデータの断片を組み合わせることによって判断され得る。
ある実施形態では、測定値のコンポーネント、例えば、どの特徴か、特徴の数、およびデータ取得のどの最小または最大時間周期かが、規定される。開示される技術は、必要とされるデータが取得されている限り、着目数量の遡及計算のために使用されることができる。特徴は、連続的である、または逐次的に収集される必要はない。移動、活動、または挙動のフラグメント化および／または推測される知識は、便宜的に収集され、所望の信頼性閾値に到達するまで統合されることができる。
データ取得および事前処理
図１Ａは、例証的実施形態による、人物を識別するための方法の実施例のフローチャートである。図１Ａのアプローチは、データ取得ステップ１０５で開始される。本ステップでは、データセットが、作成される、または記憶装置からロードされる。データセットは、能動的に（例えば、センサは、データを取得することに従事する）か、または受動的に（例えば、データは、ファイルからロードされる）かのいずれかで、シーンの測定値から取得されるセンサデータを含有する。データセットは、１つ以上のセンサに由来し得る。データは、センサから直接取得される（例えば、未加工データ）、および／または付加的処理を受けているデータであり得る。取得されたデータセットは、１つ以上のフレームを備え得、各フレームは、特定の瞬間に取得されたデータを備える１つ以上のデータストリームの「スナップショット」に対応する。１つ以上のフレームは、複数の時点において単一のセンサによって取得される、複数のセンサによって取得される、またはそれらの任意の組み合わせまたは併合によって取得され得る。データセットは、略リアルタイムで（例えば、「ライブ」データフィードを通して）取得され得る、バッチモード（例えば、記憶およびサービシング）で取得され得る、またはデータベース内に以前に記憶されたデータから取得され得る。ステップ１０５は、奥行きデータまたは他のタイプの入力データ（例えば、ボロメトリ、音響、または無線周波数）から計算される多種多様な測定値、属性、および特徴を包含し得る。
ステップ１０７は、随意に、非プライペートと見なされ得る、すなわち、着目用途において人物のプライバシーを危険に晒し得る色画像データ（写真）等のデータのタイプを破棄する。
ステップ１１０−１２０は、データセットを処理し、特徴を計算する。ステップ１１０は、後続分析のためにデータをフィルタ処理し、条件付けし、クリーニングし、および別様に事前処理する。ステップ１１０は、未加工データおよび／または計算された特徴に対して実施される、多種多様な処理および数学的演算を包含し得、随意に、（例えば）画像サイズ変更、キーポイント検出、二値化、セグメント化、配向勾配のヒストグラム（ＨＯＧ）、エッジ検出、および固有画像分解等の数学的演算を介して、新しく導出されるデータストリームを生成し得る。ステップ１１５は、随意に、存在する場合、相互に、家具等の無生物物体から、および周辺環境からデータセット内の人物をセグメント化（分離）する。ステップ１２０は、まだ識別されていない人物に対して測定を実施し、それによって、特徴を計算する。ステップ１２５は、それらの特徴を使用し、シーン内の１人以上の人物を識別する。ステップ１２５の出力は、ルールイン識別（「本人物はおそらくＢｏｂである」）、またはルールアウト識別（「本人物はおそらくＢｏｂではない」）、または未知（「本人物がＢｏｂであるかどうかを見分けるために十分な情報が存在しない」）であり得る。ステップ１２５の出力は、０〜１の信頼性スコア等の確率の測度を含み得る。
いくつかの実施形態では、図１Ｂおよび１Ｃに示されるように、ステップ１２０において計算された特徴は、それぞれ、ステップ１５５および１６５において結論を出力するために使用される。いくつかの実施形態では、図１Ｂに示されるように、特徴は、ステップ１３５において事前判定された関係と相関され、ステップ１５５において結論を出力する。いくつかの実施形態では、図１Ｃに示されるように、特徴は、ステップ１３５において、グラウンドトゥルース１７５に基づく学習された関係と相関され、ステップ１６５において結論を出力する。
いくつかの実施形態では、図１Ｄに示されるように、特徴は、ステップ１２５において人物を識別することおよびステップ１８０において結論を出力することの両方のために使用される。本例示的実施形態では、ステップ１２０からの計算された特徴は、ステップ１８０において事前学習された関係または学習された関係のいずれかと相関され、ステップ１８５において結論を出力する。
図２Ａ−２Ｃは、シーンを測定し、代表的データセットを生産するための例示的アプローチおよびセンサを図示する。
いくつかの実施形態では、図２Ａに示されるように、フレームは、少なくとも奥行きデータを含有し、奥行きデータは、ピクセルの２次元「奥行きマップ」（すなわち、マトリクス）として表され、各奥行きマップの２次元は、センサに由来する現実世界の空間軸に対応し、各ピクセルの強度値は、センサからの投影距離（つまり、センサを通過する第１の垂直平面とシーン内の物体を通過する第２の垂直平面との間の水平距離）に対応する。各フレームが、具体的時間に取得されるシーンの測定値に対応する複数のフレームが、写真可視光画像がビデオを形成するように順序付けられる方法と同様に、経時的に奥行きデータの発展を形成するように順序付けられ得る。
いくつかの実施形態では、図２Ｂに示されるように、センサが、部屋、例えば、それを通して人物２１５が横断している人物の家内の居間２１０内に配置され、人物がセンサ２１２に偶然近接しているときは常に、人物の奥行きデータを取得する。図２Ｃに示されるように、センサ２１２によって取得された奥行きデータはさらに、人物２２０を家具またはペット等の他の物体からセグメント化（分離）するために処理され得る。
図３Ａ−３Ｍは、上記に説明されるように奥行きデータを取得および処理するためのシステムの出力の実施例を提示する。図３Ａは、その中で人物が部屋を歩き回る視野に関する従来のビデオからのフレームを示す。図３Ｂは、図３Ａと同一の視野および同一の瞬間に関する奥行きデータのフレームを示す。図３Ｂの奥行きデータにおけるピクセルは、色分けされ、先に説明されるようなセンサからの投影距離を表し、より暗いピクセルは、センサにより近接する位置に対応する。特に、図３Ｂは、奥行きデータが人物のプライバシーを保全するために役立つ様子を示し、人物の全体的輪郭は、明確に可視であるが、顔または衣類上に印刷されるロゴ等の画像等の詳細は、可視ではない。図３Ｃは、いわゆる骨格データのフレームを示し、人物の骨格の関節が、図３Ａおよび３Ｂと同一の視野および同一の瞬間に関して推定される。図３Ｄは、いわゆる軌跡データのフレームを示し、人物の場所および瞬間的歩行速度が、経時的にプロットされる。
図３Ｅ−３Ｍは、人物のグループ内から単一の着目人物「Ｔｉｍ」を識別（標識化）するように構成される、本発明の実施形態のセンサの視野内の個人のスクリーンショットを提示する。ある実施形態では、人物識別は、奥行きデータのみを使用して、例えば、赤外線飛行時間センサを使用して実施される。図３Ｅ−３Ｇに示されるように、本システムは、いくつかの実施形態では、センサから異なる距離における、かつ視野内の他の人物に対する異なる相対的配向における「Ｔｉｍ」を正しく識別する。図３Ｈ−３Ｉに示されるように、本システムは、いくつかの実施形態では、「Ｔｉｍ」がセンサによるビューから部分的に閉塞されている（図３Ｈ）、または通常ではない姿勢を採用している（図３Ｉ）ときに「Ｔｉｍ」を正しく識別する。図３Ｊ−３Ｍに示されるように、本システムは、いくつかの実施形態では、センサに対して異なる配向における（例えば、「Ｔｉｍ」が側方を向いている、または完全にセンサから離れるように向いているとき）「Ｔｉｍ」を正しく識別する。
いくつかの実施形態では、図３Ｅ−３Ｍに示されるように、本発明は、「Ｔｉｍ」を識別するように構成される。しかしながら、本システムは、他の人物（「Ｊｏｈｎ」および「Ｚｅｂ」）のうちの１人以上の人を識別する、または人物のそれぞれを同時に識別し得る。とりわけ、顔認識等の現代の人物識別の方法は、図３Ｅ−３Ｍに実証されるものと類似する（例えば、センサからの距離、視野からの閉塞度、およびセンサに対する相対的配向の）条件下で人物を正確に識別することができない。
ある実施形態では、本発明の方法およびシステムの目的は、視野内の人物を正しく識別（標識化）することである。図３Ａ−３Ｄの実施例では、視野内の人物は、図１に示されるフローチャートの結論において「Ｖｉｃｔｏｒｉａ」として識別される。図３Ｅ−３Ｍの実施例では、視野内の単一の着目人物は、図１に示されるフローチャートの結論において「Ｔｉｍ」として識別される。
いくつかの実施形態では、図１３Ａに示されるように、人物を識別する、および／または痛み、疲労、気分、または意図を識別および定量化するためのシステムが、奥行きデータを取得するための赤外線飛行時間センサ１３０５を含有し得る。いくつかの実施形態では、本システムは、プロセッサと、命令を記憶するためのメモリ１３１５と、これらのコンポーネントのための筐体１３３５とを含有し得る。いくつかの実施形態では、本システムは、人物識別に関連するグラフィカル情報および／または識別および／または人物の痛み、疲労、気分、または意図の数量をレンダリングするためのディスプレイ１３２５を有する。いくつかの実施形態では、ディスプレイ１３２５は、本システムの視野内の人物の表現（例えば、図３Ｅ−３Ｍに示される人物の表現）を示す。いくつかの実施形態では、図１３Ａに示されるシステムは、視野内の人物（例えば、「Ｚｅｂ」、「Ｔｉｍ」、および「Ｊｏｈｎ」）の色画像を取得するためのカメラ１３４５を有し得る。いくつかの実施形態では、ユーザプライバシーを保護するために、人物の写真は、取得されない。例えば、図３Ｅ−３Ｍに実証される人物識別は、奥行きデータのみを用いて実施された。
図１３Ｂ−１３Ｄは、図１３Ａに図式的に描写される例示的システムの実施形態の画像を提示する。例えば、図１３Ｂ−１３Ｄに示されるデバイスは、人物識別を実施し、図３Ｅ−３Ｍに示されるスクリーンショットを捕捉した。
いくつかの実施形態では、１つ以上のセンサによって取得されるデータは、図３Ｂに示される奥行きデータ等のセンサから直接の未加工データに対応する、または図３Ｃおよび３Ｅ−３Ｍに示される骨格データ等の未加工データから導出される測定値に対応する、または図３Ｄに示される軌跡データ等の種々のソースから導出される測定値に対応し得る。
上記に説明される実施形態は、代表的実施例を提供するが、それらは、包括的ではなく、限定と見なされるべきではない。人物の特徴およびその環境を測定および記録するための種々のシステムおよび方法が、可能であり、本明細書に説明されるアプローチに組み込まれ得ることが、当業者に明白となるはずである。
人物セグメント化
ステップ１０５のデータセット取得およびステップ１１０のデータセット事前処理に続いて、続くデータセットは、随意に、ステップ１２０および１２５において続けて識別されるであろう人物をセグメント化するために、ステップ１１５において処理され得る。言い換えると、ステップ１１５では、ステップ１２０および１２５において続けて識別されるであろう単一の人物に対応する、奥行きマップにおけるピクセルの（またはデータの別の表現のコンポーネントの）集合が、選定される。セグメント化は、データセットのフレームのうちの１つ、そのいくつか、またはその全てを使用して実施され得る。
ゼロ人、１人、または１人を上回る人物が、データの各フレーム内でセグメント化され得る。いくつかの実施形態では、本システムおよび方法は、奥行きデータ、骨格データ、および／またはピクセル標識データを使用し、どのピクセルが動物、物体、または環境とは異なるものとして人間に対応するかをセグメント化し得る。１つまたは１つを上回るタイプのデータが、セグメント化のために利用され得、奥行き、骨格、およびピクセル標識データの代用として、またはそれに加えて、ボロメトリ、サーモグラフィック撮像、衣類テクスチャ、髪または皮膚の色、および多くの他のタイプ等のデータタイプを含み得る。
多種多様な方法が、人物のセグメント化のために使用されることができる。ある実施形態では、奥行きデータが、人物をセグメント化するために使用され得る。例えば、その形状が球体（頭部）および対合された円筒（腕）にほぼ対応する空間的物体の集合は、単一の人物である可能性が高い。例えば、両方が移動しており、それぞれ、床の上方に所与の閾値を超える垂直範囲を伴い、それぞれ、所与の閾値距離を超える水平間隔を伴う、居間内の２つのぼんやりとしたような物体は、２人の異なる人間である可能性が高い。別の実施例では、放射熱痕跡または観察される衣類テクスチャにおける差異を呈する２つの物体は、２人の異なる人間である可能性が高い。
ある実施形態では、セグメント化は、機械学習および／またはパターン認識技法（例えば、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、Ｒａｎｄｏｍ Ｆｏｒｅｓｔ、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ、単純なベイズマシン、および／またはクラスタリング技法）を使用して実施され得る。例えば、いくつかの実施形態では、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋは、明示的なセグメント化を生成し、ステップ１２０および１２５において続けて識別されるであろう人物の境界またはアウトラインを生産し得る。さらに、いくつかの実施形態では、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ は、人物の明示的なアウトラインを伴わずに、ステップ１２０および１２５において続けて識別されるであろう暗示的なセグメント化を生成するために使用されることができる。
いわゆる数学的「カスケード差」演算が、視野内の各人物のおおよその形状または輪郭を分離するために採用され得る。実施例が、以下のように提供される。フレーム毎に変化する輪郭の重心が、人物等の移動する物体を静止する無生物物体から区別するために使用され得る。フレーム毎に変化する輪郭のアウトラインが、人間の形状を動物または無生物物体のものから区別するために使用され得る。上記に説明される方法および多くの他の方法が、時間および／または空間にわたってデータの１つ以上のフレーム内のゼロ人、１人、または１人を上回る人物をセグメント化するために利用され得る。
説明される実施形態では、複数の固有の人物がステップ１１５においてセグメント化され得るが、その識別は、まだ判定されていない。各固有の（セグメント化された）人物は、ステップ１１５中、その間に、例えば、「人物１」、「人物２」、「人物３」等として恣意的に標識化され得る。ステップ１２０は、次いで、人物毎に特徴測定値を判定し、ステップ１２５は、各人物を識別する（したがって、人物に関する識別が、ルールインされる、ルールアウトされる、または未知として確立される）。
特徴抽出および計算
いったんデータセット内の固有の（セグメント化された）人物のセットがステップ１１５によって判定されると、データセットは、次いで、それらの人物毎に特徴を抽出および計算するために、ステップ１２０において処理される。ゼロ人、１人、または１人を上回る人物が、ステップ１２０によってその特徴を確認され得る。人物毎に、ゼロ、１つ、または１つを上回る特徴が、抽出され得る。同一または異なる特徴が、同一のシーン内または同一のフレーム内の異なる人物に関して計算され得、例えば、センサに対して異なる配向の人物または異なる身長の人物が、計算するための異なる特徴を割り当てられ得る。ステップ１２０によって抽出された特徴は、続けて、人物識別を実施するために、ステップ１２５内で利用されるであろう。
概して、本発明の方法およびシステムのある実施形態によって分析されるデータは、不完全または曖昧であり得る、または非連続時間フレームにわたって取得され得るため、ステップ１２０の重要なタスクは、どの特徴がフレーム内の人物毎に計算され得、計算されるべきかを決定することである。例えば、人物がデータ収集周期における全ての時間にセンサから離れるように向いている場合、人物の顔微細構成（例えば、鼻形態）は、利用不可能であり、人物識別は、完全に異なる特徴に依拠しなければならない一方、人物が時として離れるように向いており、時として向かうように向いている場合、潜在的な顔微細構成測定値の可用性および品質は、その相対的重要性およびステップ１２５の人物識別における後続組み込みを決定付けるであろう。例えば、人物がセンサに対して横を向いている場合、かつ特定のセンサによって生成された骨格データの品質が、そのような人物配向において劣化することが事前に把握されている場合、その骨格データは、ステップ１２５の人物識別において使用され得ない。このように、どの特徴を計算するか、したがって、どの特徴が人物識別において最終的に使用されるかの選択は、人物毎に変動し得、同一の人物に関してフレーム毎に変動し得る。
いくつかの実施形態では、ステップ１２０において特定の特徴を計算するかどうかを判定する際、他の特徴と比較した特定の特徴の相対的重要性は、最初に、優先順位付け、ランキング、または下位分類等の補助プロシージャを通して判定され得る。さらに、どの特徴がフレーム内の人物毎に計算され得、計算されるべきかを判定することは、ユーザが特定の用途のために重要と見なす利用可能なセンサデータと併せて特徴のライブラリを使用して遂行されることができる。例えば、２Ｄ画像のみが使用される場合、３Ｄ特徴は、そのレベルの情報とともに利用可能ないかなる未加工データも存在しないため、使用されることができない。同様に、骨格特徴は、奥行きカメラが存在しない場合、使用されることが可能ではない場合がある。
図４のフローチャートは、ステップ１１５においてセグメント化された異なる人物に関する特徴を計算するための例示的方法を提供する。
ステップ４０５は、セグメント化された人物毎に身体の部分を分離する。ステップ４０５は、データセットの特質、センサのタイプ、人物に対して利用可能な非閉塞（すなわち、「可視」）データの量、計算のために利用可能な特徴のライブラリ、およびステップ１２５において選択された分類プロセス等の因子に基づいて、どの部分を分離するかを判定する。いくつかの実施形態では、身体部分は、機械学習および／またはパターン認識技法（例えば、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、Ｒａｎｄｏｍ Ｆｏｒｅｓｔ、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ、単純なベイズマシン、および／またはクラスタリング技法）を使用して、ステップ４０５において分離される。どの部分が分離されるかは、同一のフレーム内であっても、人物毎に異なり得る。例えば、フレーム内の「人物１」は、それらがセンサに可視であるため、脚を分離され得る一方、同一のフレーム内の「人物２」は、それらがテーブルによってセンサから閉塞されるため、脚を無視され得る。
例えば、図３Ｃに示されるような骨格表現を生産するために処理された図３Ｂ等に示されるような奥行きデータから構成されるデータセットは、図３Ｃの線区画によって示されるように、３次元空間内のおおよその関節位置によって画定される身体部分にパーティション化され得る。身体部分を画定するための方法のいくつかの実施例が、米国特許第９，３４１，４６４号（参照することによってその全体として本明細書に組み込まれる）に説明されている。
上記に留意されるように、センサおよび他の人物または物体に対するシーン内の人物の位置、配向、および移動に応じて、人物の部分は、時として、または完全に、センサのビューから隠され得る。その結果、人物のセグメント化された表現をともに構成する全ての部分が、全てのフレーム内で利用可能なわけではない場合がある。
いくつかの実施形態では、どの特徴を後続人物識別（ステップ１２５における）のために使用するかの優先順位付け（ステップ１２０における）は、人物の部分の可用性に依存する。例えば、頭部のみが存在する場合、胴の形状は、後続人物識別のために使用され得ない。例えば、頭部および胴の一部が、最小閾値数のフレームにわたって存在する場合、その存在は、胴の残りの大まかなアウトラインを推定するために十分であり得、したがって、胴の形状は、後続人物識別のために使用される。例えば、頭部が存在し、センサに向かって配向される場合、耳から眼までの距離および眼間距離が、後続人物識別のために使用され得る。このように、身体部分の可用性は、特徴の選択を判定することに役立つ。ある実施形態では、本発明の方法およびシステムは、経時的に異なる身体部分の異なる可用性を利用し、全てが同一の人物にマッピングされ、全てが後続人物識別のために使用される異なる特徴を経時的に計算し得る。
ステップ４１５は、ステップ４０５において分離された身体部分毎に測定されるべき現実世界の属性を識別する。属性のリストの生成を指す、ステップ４１５における単語「識別」の使用は、人物の標識化を指す、ステップ１２５における単語「識別」の使用とは異なる。上記に説明されるような属性の実施例は、体積、円周、長さ、空間的場所、および数学的計算（例えば、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋによって実施される計算）を含む。属性を識別するための方法のいくつかの実施例が、米国特許第９，３４１，４６４号（その内容が、参照することによってその全体として本明細書に組み込まれる）にさらに説明されている。各身体部分は、ゼロ、１つ、または１つを上回る属性を含み得る。いくつかの実施形態では、本発明の方法およびシステムは、Ｒａｎｄｏｍ Ｆｏｒｅｓｔｓ、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅｓ、およびＣｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ等の機械学習の方法を使用して、スッテップ４１５においてどの特徴を識別するかを自律的に判定し得る。
ステップ４２５は、ステップ４１５の属性に対応する静的特徴を計算する。静的特徴の実施例は、図５Ａに示される。各静的特徴は、１つまたは１つを上回るフレームに基づいて計算され得る。各静的特徴は、１）単一の身体部分の属性、２）異なる身体部分の属性間の関係、または３）環境の属性および／または１つ以上の身体部分に対する環境的関係に対応して計算され得る。単一の身体部分の属性に基づいて計算される静的特徴の実施例は、頭部サイズ、胴長さ、水平（地面）に対する胴傾斜、鼻形態、および眼間距離を含む。異なる身体部分の属性間の関係に基づいて計算される静的特徴の実施例は、肩から肘までの長さおよび肩から肩までの長さと腰から腰までの長さとの比率を含む。顔認識（数学的固有顔）は、静的特徴の別の実施例であり、さらに、概して、静的特徴は、（限定ではないが）身体部分の２次元画像および／または３次元形態を含む、ステップ１０５および１１０のデータの任意のサブセットを含む、組み込む、または別様に利用し得る。静的特徴の計算された測度は、基本的な属性が現実世界において一定であるときであっても、例えば、閉塞およびデータ雑音に起因して、フレーム毎に変動し得ることに留意されたい。
静的特徴は、概して、単一のフレームのみを使用して計算され得るが、実践では、多くの場合、複数のフレームが、雑音を考慮し、精度を改良し得る数学的演算、例えば、１つ以上の逐次的（必ずしも連続的ではない）フレームのローリングバッファにわたって行われる移動平均またはメディアンフィルタを利用するために、静的特徴を計算するために使用される。
ステップ４３５は、ステップ４１５の属性に対応する動的特徴を計算する。動的特徴の実施例は、図５Ｂに示される。各動的特徴は、具体的時間に取得される１つ以上のフレームに基づいて計算され得る。各動的特徴は、１）経時的な単一の身体部分の属性の変動、２）経時的な異なる身体部分の属性間の関係の変動、または３）経時的な（＃１および＃２に説明されるような）人物の異なる身体部分に対する環境またはその関係の変動に基づいて計算され得る。＃１の実施例は、頭部の方向転換、挙手、体温、身体部分の形状またはサイズ、およびセンサに対する身体関節の配向を含む。＃２の実施例は、センサに対する全体的身体配向を含む。＃３の実施例は、部屋内の特定の椅子に近接する人物の頻度またはセンサに対する人物の距離を含む。いくつかの動的特徴は、複数の測定経路を享受し、例えば、歩行速度および歩幅長さが、それぞれ、経時的に頭部平行移動（１つの身体部分）を測定することによって、または経時的に相互に対する２つの脚の位置（２つの身体部分）を測定することによって計算され得る。
いくつかの実施形態では、動的特徴は、単一のフレームから計算されることができる。例えば、センサに対する瞬間的身体配向は、奥行きデータの単一のフレームのみから推定されることができる。しかしながら、歩行速度等の多くの動的特徴は、経時的な複数の測定を要求する。簡易化するために、動的特徴は、本明細書では、異なる時間における２つ以上のフレームを要求すると仮定されるが、しかしながら、類似方法が、単一のフレームに依存する動的特徴のために利用可能なままであることを認識する。
動的特徴の実施例は、歩行速度である。図３Ｄは、人物の瞬間的歩行速度が経時的に測定される実施形態の実施例を示す。本実施形態の最も単純な形態では、人物の瞬間的速度は、２つのフレームを横断する人物の３次元空間内の水平平行移動を、それらのフレーム間で経過した時間で除算することによって測定される。精度を改良するために、そのような計算は、複数のフレーム（「ウィンドウ」）の集合を横断して平均化され得る、またはデータにおける雑音を補償するために、種々の数学的演算を使用し得る。
静的特徴のように、いくつかの動的特徴は、任意または全てのフレームにおける測定のために利用不可能であり得る。例えば、床の上での足踏に対応する、いわゆる「ヒールストライク」は、連続的足踏を測定するために、最小連続数のフレームにわたって人物の脚および／または足の妨げられていないビューを要求し得る。
ともに、ステップ４２５および４３５は、１つ以上のデータのフレームからステップ４０５によって生成されたゼロ以上の身体部分からステップ４１５によって識別されたゼロ以上の属性の集合から、ゼロ以上の静的特徴、加えて、ゼロ以上の動的特徴のセットを抽出する。
ステップ４４５は、次に説明されるように、静的特徴および動的特徴の集合に優先順位を付ける、および／またはそれを調節する。
所与の特徴の優先順位付けは、特徴が利用可能であるかどうか、およびさらなる処理ステップ内に含まれるべきであるかどうかを選定することを意味する。（上記に留意されるように、特徴は、異なるセンサ、時間、および場所を横断して集約され得る、同一のシーン内または同一のフレーム内の人物毎に異なり得る、および／または同一の人物に関してであってもフレーム毎に異なる割当を有し得る。）いくつかの実施形態では、本発明の方法およびシステムは、ステップ４４５における品質メトリックをステップ４２５および４３５によって生成された特徴に割り当てる。例えば、品質メトリックは、関連身体部分の閉塞の量または特徴が経時的に実証する数学的分散（安定性）に基づき得る。４４５において割り当てられる各品質メトリックはまた、限定ではないが、ステップ１３５、１４５、および１８０を含む、他のステップにおいて使用され、特徴のセットが識別または結論を生成するために採用される程度を均衡させる、または別様に重み付けし得る。
所与の特徴の調節は、周囲または環境条件に応答して特徴を補正することを意味する。例えば、各特徴は、いわゆる「オフセット補正」され、特徴のセットにおける特徴が全て、必要に応じて、時間的かつ／または空間的に並置されることを確実にし得る。例えば、各特徴は、スケーリング、サイズ変更、または回転等の数学的変換によって補正され得る。
図５Ａ−５Ｄは、静的および動的特徴の実施例を示す。図５Ａに示されるように、属性５０２、５０４、および５０６は、それぞれ、身長、肩幅、および首長さを判定するために使用されることができる。同様に、図５Ｂに示されるように、頭部配向は、属性５０８を使用して判定されることができる一方、歩行速度は、経時的な属性５１０の変化に基づいて判定されることができる。頭部輪郭幅は、頭部の測定値に基づいて判定されることができる。図５Ｃおよび５Ｄは、それぞれ、静的動的特徴のさらなる実施例を示す。（包括的ではない）特徴のカテゴリは、例えば、身体またはその一部（例えば、頭部、肩、腕、または脚等）に対応する特徴を含む。特徴の各カテゴリ内で、特徴は、静的または動的であり得る。特徴のさらなる実施例が、米国特許第９，３４１，４６４号、その付随のテキスト、およびその図４、１２、および１３、およびＰＣＴ出願第ＰＣＴ／ＵＳ２０１２／０５８５３４号、その付随のテキスト、およびその図４および１７（そのそれぞれの内容が、参照することによってその全体として本明細書に組み込まれる）に示されている。
図５Ｅは、特徴がボディプリントに関連する様子を図示し、下記にさらに説明される。
図６は、シーン内を移動する人物に関する静的特徴および動的特徴を計算する実施例を提示する。簡易化するために、１人の人物のみが、図６に説明される。しかしながら、概して、複数の人物に関する特徴が、同時に抽出され得る。図６の実施例では、抽出されるべき静的特徴は、身長、右脚長さ、および肩から肩までの幅であり、抽出されるべき動的特徴は、注視の角度、歩行速度、および頭部輪郭幅である。
静的特徴は、１つまたは１つを上回るフレームに基づいて計算され得る。図６では、静的特徴は、それらが対応する単一のフレームから計算され得る。いくつかの実施形態では、静的特徴は、複数の連続的フレームのウィンドウに基づいて（例えば、平均化することによって）計算される。いくつかの実施形態では、静的特徴は、非連続的であり得る、１つ以上のフレームの任意の所望の組み合わせに基づいて計算される。
動的特徴は、２つ以上のフレームに基づいて計算され得る。図６では、動的特徴は、すぐ隣の連続的フレームと比較したときにそれらが対応する単一のフレームから計算され得る。いくつかの実施形態では、動的特徴は、複数の連続的フレームのウィンドウに基づいて（例えば、平均化することによって）計算される。いくつかの実施形態では、動的特徴は、非連続的であり得る、２つ以上のフレームの任意の所望の組み合わせに基づいて計算される。
図６に図示されるように、静的特徴は、動的特徴よりも低い変動を示す傾向にある。身長等の静的属性は、現実世界では緩慢にのみ変化し、したがって、その対応する特徴は、センサデータから計算されるときに相対的安定性を呈する。しかし、歩行速度または頭部輪郭幅（すなわち、センサに暴露される頭部断面）等の動的特徴は、より急速に変化する。その結果、動的特徴は、概して、センサデータから計算されるとき、特に、姿勢または配向の変化中、より大きな変動を呈する。先に説明されるように、時間、空間、速度、ピクセルカウント、角度、またはある他の測定の単位に依存するかどうかを問わず、特徴の変動の量は、用途に依存し、状況毎に変動し得る。
図６に示されるように、いくつかの特徴は、任意の所与のフレームまたは一連のフレーム内で利用不可能または算出不可能であり得る。例えば、図６では、人物がカウチの後方を歩行するとき、人物の脚は、センサのビューから閉塞された状態になり、したがって、脚長さは、一時的に利用不可能になる。例えば、図６では、人物が靴紐を結ぶために立ち止まるとき、本システムは、歩行速度を計算するために必要とされる解剖学的ランドマークを適正な精度内で確認することが不可能であり、したがって、歩行速度は、一時的に算出不可能になる。例えば、図６では、人物がカウチの後方を歩行するとき、歩行速度は、人物の脚が視野外である間であっても、人物の頭部の位置変化から判定され得るため、歩行速度は、特徴として継続して計算される。
概して、いくつかの特徴は、他の特徴から計算され得、多くの場合、所与の特徴を計算するために利用可能な複数の異なる経路が存在する。例えば、図６では、肩から肩までの幅の特徴は、各肩の場所の直接測定値から、または２つの他の特徴、すなわち、左肩から脊柱の上部までの幅および右肩から脊柱の上部までの幅を合計することによって間接的に計算され得る。例えば、図６では、歩行速度は、頭部のみに関する空間的位置の平均変化から、または頭部、首、および脊柱の組み合わせに関する空間的位置の平均変化から、または床上の左および右足の逐次的着地点の空間的位置から計算され得る。ある持続時間にわたる平均歩行速度は、その持続時間にわたるフレームの集合から直接、またはフレーム毎ベースで計算された瞬間的歩行速度から間接的に（例えば、その加重移動平均をとることによって）計算され得る。
図６に示されるように、いったん所望の特徴が１つ以上のフレームに関して計算されると、特徴は、人物識別を実施するために、ステップ１２５において分類子に送信される。分類子は、単一のフレームに対応する６３０等の特徴のセット（図６の単一の列）、または複数のフレームに対応する特徴のセット（図６の複数の列）、またはそれらの特徴の任意のサブセットを受信し得る。上記に説明されるように、特徴は、センサまたは計算方法論におけるタイミング遅延またはバイアスを調節するために、調節され得る（例えば、待ち時間補正される、または空間的に並置される）。
人物識別
人物を正常に識別するための特定の特徴の判別能力は、１）特徴の忠実度（特徴が良好に測定され得る程度）および２）特徴の予測力（特徴がその人物に特有である程度）に依存する。
特徴の忠実度は、シーンの組成（すなわち、視野およびその中の物体）、利用されているセンサのタイプ、および取得されているデータのタイプに依存する。例えば、人物の身長測定値の忠実度は、人物が真っ直ぐに立っているときにより良好であり、人物がかがんでいる、またはしゃがんでいるときにより悪いであろう。いずれの特徴の忠実度も、人物の関連部分が家具等の物体によって閉塞されているときは常に、より悪いであろう。
特徴の予測力は、その特徴が識別されるべきである人物間で異なる程度に依存する。例えば、身長の予測力は、同じ双子に関して不良であるが、その身長が有意に異なる個人の対に関して優れている。
本実施例を継続すると、身長の特徴は、単独で使用されると、忠実度が欠如し（人物の姿勢に基づいて変動し、人物が閉塞されているときに利用不可能になる）、予測力が欠如し得る（多くの人物が類似する身長であり得るため）。概して、特徴の力は、経時的に変化し、ある瞬間に（例えば、人物が真っ直ぐに立っているときに）より強くなり、他の瞬間に（例えば、人物が靴紐を結んでいるときに）より弱くなり得る。
ある実施形態では、本発明の方法およびシステムは、利用可能なシーン、センサデータ、および既知かつ算出可能な特徴のライブラリによって判定されるように、特徴の組み合わせを混合および合致させる機構を通して、任意の固定された特徴のセットに依拠する弱点を克服する。特徴の組み合わせは、ステップ１２５において識別されるべき人物毎に高度に特有な「ボディプリント」を提供する。
図５Ｅは、ボディプリントの２つの実施例を図示する。ボディプリント５８０は、１８０〜２００センチメートルの測定された身長を保有し、５８〜６０センチメートルの測定された頭部円周を伴い、０．５〜１メートル／秒の平均速度で歩行し、眼鏡を装着する人物が、０．９５の数値的ボディプリントスコア（精度推定値）とともに「Ｂｏｂ」として識別され得ることを説明する。ボディプリント５９０は、１７０〜１８０センチメートルの測定された身長を保有し、１４〜１６センチメートルの測定された眼間距離を伴い、１〜２メートル／秒の平均速度で歩行する人物が、０．８０の数値的ボディプリントスコア（精度推定値）とともに「Ｃｌａｒａ」として識別され得ることを説明する。図５Ｅのボディプリントは、例証的実施例にすぎない。実践では、任意の数および組み合わせの特徴が、ボディプリントに組み込まれ得、ボディプリントは、ゼロ、１、または１を上回るボディプリントスコアを含み得る。任意のボディプリントスコアが、分類子７００によって、使用され得る、または代替として、無視され得る。
図６は、２つの異なるボディプリント６１０および６２０の簡略化された実施例を示し、そのそれぞれは、後続ステップ１２５が図６に説明される人物を識別するために十分な特徴の組み合わせを保有する。図６に示されるように、異なるボディプリントが、異なる瞬間に、異なるフレーム内で、かつ異なるフレームの集合（セット）内で、同一の人物に関して確認され得る。
先に説明されるように、ボディプリントに関連する特徴のいくつかまたは全ては、人間の脳によって容易に、または直感的に把握されない数学的演算からもたらされ得る。例えば、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＣＮＮ）は、入力データ上に数学的演算のセットを繰り返し適用し、入力データ（色、形状、テクスチャ、およびパターン等）から導出される、またはそれを記述する、一意の特徴の群を表すアーキテクチャ層をもたらす。これらの特徴の多くは、人間の閲覧者に容易に認識可能な意味を伝えないが、それらは、それにもかかわらず、明白に実行可能なボディプリントを生成するために使用され、歩行速度および身長のようなより知られた特徴と同一の有用性を供給し、同一の取扱を生じることができる。
用語「ボディプリント」は、特徴のいくつかまたは全てが、人物の身体の形態または運動から導出され得ることを強調するために採用され、人物のボディプリントは、ボディプリントおよび指紋の両方がその人物を識別することが可能である点において、人物の小規模指紋に対する大規模類似物として見なされる。ボディプリントとして（本発明の方法およびシステムのある実施形態によって）利用される特徴の組み合わせは、経時的に、空間にわたって、かつ人物にわたって変動し得る。例えば、１つのボディプリントのために必要とされる所望の特徴が、一連のフレームにわたって一時的に利用不可能になり、したがって、その具体的ボディプリントが使用されないように妨げる場合、本発明は、それらの同一のフレームに対して利用可能である、代替ボディプリント、同じく、特徴の代替組み合わせを代用することができる。いくつかの実施形態では、生産可能なボディプリントのセットは、プライバシーをより良好に保護するために、色画像データ（すなわち、写真）を除外するように意図的に制約される。
本明細書に説明されるようなボディプリントの提供は、動的特徴（歩行速度等）が人物識別のために静的特徴（身長等）とちょうど同程度に重要であり得る理由を説明し、人物の属性が時間および／または空間にわたって変化する様式（例えば、人物の移動または挙動のパターン）は、その人物に関する高度に特有なシグネチャを説明し得、静的特徴の相補的可用性が限定される複雑な、または混雑した環境において利用可能なままであり得る。例えば、２人の人物が家屋に居住し、１人の人物が非常に高齢であり、１人の人物が非常に若年である、類似する身長および体格の両者である場合、数秒の持続時間にわたる平均歩行速度（動的特徴）は、身長および体格（静的特徴）がそれ自体では不十分であるにもかかわらず、２人の人物のそれぞれを識別するために十分であることが分かり得る。
静的および動的特徴の両方へのアクセスを有する重要性は、人物が、１）人物が規定された、または常同的行為を実施する必要がないように、受動的に、または２）例えば、センサから１メートルを上回って位置する距離のいずれかで識別されなければならないときは常に強調される。これらの２つの状況のいずれにおいても、指紋等の多くの場合使用される、かつ／または単一ソースのバイオメトリックは、取得することが不可能になる。
図７は、分類子７００の高レベルブロック図を示す。いくつかの実施形態では、分類子は、ステップ１２５の動作のコンポーネントである。図７は、１つのタイプの分類子７００を示すが、多くの他のタイプも、利用可能である。図７に示される分類子７００の実施例は、最初に、具体的着目人物（例えば、「Ｂｏｂ」）を認識するために、トレーナ７０１によって（先立って）訓練される。訓練データ７０５は、事前選択されたデータフレームから成り、その少なくともいくつかは、着目人物の既知の表現を含有する。タグ付けデータ７１０は、事前規定された標識または「タグ」から成り、これは、訓練データ７０５内の着目人物の表現を正しく識別することが公知である。随意の特徴生成モジュール７０７は、先に説明されるように、特徴を計算するために、訓練データ７０５およびタグ付けデータ７１０を使用する。分類子訓練モジュール７１５は、入力として、特徴生成モジュール７０７のゼロ以上の出力、訓練データ７０５のゼロ以上のコンポーネント、およびタグ付けデータ７１０のゼロ以上のコンポーネントの組み合わせを受信し、出力として、着目人物に対応する訓練された分類子パラメータ７２０のセットを返す。トレーナ７０１は、コンピュータビジョン、機械学習、およびパターン認識の多種多様な方法を使用し得、実施例は、先に説明されるように、Ｒａｎｄｏｍ Ｆｏｒｅｓｔｓ、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅｓ、およびＣｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓを含む。
続けて、分類子実行モジュール７６０は、新規データにおいて着目人物を識別するために採用される。分類子実行モジュール７６０は、入力として、図４のステップ４４５から受信される、特徴７５１の新しいセットとともに、トレーナ７０１によって生成された訓練された分類子パラメータ７２０の前のセットを受信し、出力として、各着目人物を識別する分類出力７６５を返す。分類子実行モジュール７６０は、コンピュータビジョン、機械学習、およびパターン認識の多種多様な方法を使用し得、再び、実施例は、Ｒａｎｄｏｍ Ｆｏｒｅｓｔｓ、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅｓ、およびＣｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓを含む。
分類出力７６５は、ゼロ、１つ、または１つを上回るデータのフレーム内に現れる、ゼロ、１人、または１人を上回る人物の識別を提案する。分類出力７６５によって提供される各人物識別は、ルールイン識別（例えば、「本人物はおそらくＢｏｂである」）、ルールアウト識別（例えば、「本人物はおそらくＢｏｂではない」）、または未知の識別（例えば、「本人物がＢｏｂであるかどうかを見分けるために十分な情報が存在しない」）であり得る。
ルールアウト識別の重要な特殊な事例は、「その他」としての人物の識別であり、いかなる識別合致も見出されず、人物の識別が既知のボディプリントのセット内に含有されていない可能性が高いことを示す。例えば、家族の家庭を訪問する客（家族のボディプリントは既知であり得るが、客のボディプリントは既知ではない場合がある）は、「その他」として識別され得る。人物を「その他」として識別することが可能であることは、少なくともその人物がセンサ範囲内にいる限り、いかなるさらなる特徴もその人物に関して計算される必要がないことを信号伝達することによって、算出性能を改良し得る。
別の重要な特殊な事例では、いくつかの実施形態では、本システムは、世界中の他の誰か（「その他」）から単一の着目人物を区別することのみを必要とする。これらの実施形態では、本システムは、人物が、例えば、「Ｂｏｂ」であるかどうかを識別することのみを追求する。これは、本システムが人物が「Ｂｏｂ」または「Ｃｌａｒａ」または「Ｓｉｇｉ」または「Ｓｕｓｅ」等であるかを識別しようとせず、本システムが「Ｂｏｂ」対「Ｂｏｂではない」を識別しようとするのみであるため、算出性能を改良し得る。算出オーバーヘッドおよび検索空間の結果として生じる低減は、その人物識別のタスクにおける本システムの改良された精度および速度につながり得る。例えば、母親が、その重症度が平均歩行速度によって推定され得る病状である多発性硬化症に罹患している家族の家庭では、本発明の方法およびシステムのある実施形態は、１）各通行人が「母親」または「母親ではない」であるかを識別し、２）「母親」である場合、他の誰か（すなわち、「その他」である誰か）の前述の測定の間に母親の現在の歩行速度を測定および記録するために採用され得る。
いくつかの実施形態では、信頼性スコアが、各人物識別に割り当てられる。信頼性スコアは、機械学習方法が、これが人物を正しく識別したと「考える」可能性の程度の確率的測度である。例えば、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、またはＲａｎｄｏｍ Ｆｏｒｅｓｔが、肯定的な「投票」の数を実行中に遭遇した分岐路の数で除算し、ゼロ〜１の数値信頼性スコアを生産し得る。存在する場合、各人物識別の信頼性スコアは、人物毎に変動し得る、または同一の人物に関してであってもフレーム毎に、またはフレームの集合（セット）を横断して変動し得る。存在する場合、個々の人物識別に割り当てられる信頼性スコアの判定は、随意に、ゼロ以上のボディプリントに割り当てられるゼロ、１つ、または１つを上回るボディプリントスコアに基づく計算を含み得る。
図８は、（同様に付番された７６５と同一である）分類出力８６５によって提供され得る信頼性スコアの実施例を図示する。図８では、例示的方法は、人物が「Ｂｏｂ」、「Ｃｌａｒａ」、「Ｓｉｇｉ」、「Ｓｕｓｅ」、または「その他」であるかを識別しようと試みている。各場合では、本方法は、０〜１の信頼性スコアを生成する。例えば、「Ｂｏｂ」に関する０．９５の信頼性スコア８２０は、分類子が着目人物が「Ｂｏｂ」であることを９５％確信しており、着目人物が「Ｂｏｂではない」ことを５％確信していることを意味する。図８の種々の信頼性スコアは、相互に独立し、したがって、合計して１にならない。図８では、０．７の閾値スコア８１０は、０．７を上回る信頼性スコアを伴う着目人物が保持される一方、０．７を下回る信頼性スコアを伴う人物が破棄されることを意味する。図８では、例示的着目人物は、その対応する信頼性スコアの両方が０．７を上回るため、「Ｂｏｂ」または「Ｃｌａｒａ」のみであり得る（「Ｓｉｇｉ」、「Ｓｕｓｅ」、または「その他」ではない）。着目人物はまた、「Ｂｏｂ」に関する信頼性スコアが「Ｃｌａｒａ」に関する信頼性スコアよりも高いため、「Ｃｌａｒａ」よりも「Ｂｏｂ」である可能性がより高い。
図８の実施例では、それぞれ、識別に関する閾値を超える２つの候補名「Ｂｏｂ」および「Ｃｌａｒａ」が存在する。いくつかの実施形態では、「Ｂｏｂ」の信頼性レベルが「Ｃｌａｒａ」よりも高いため、「Ｂｏｂ」が、その人物の識別として返される。一方、いくつかの実施形態では、「Ｂｏｂ」および「Ｃｌａｒａ」が選択をするには信頼性において近接しすぎていると見なされるため、「未知」が、その人物の識別として返される。概して、いくつかの実施形態では、複数の信頼性スコアが閾値を超える状況の取扱は、システム構成またはオペレータ選好によって判定される。
ある実施形態では、信頼性スコアは、容易に割り当てられない。例えば、スケーリングおよび二値化等の方法または座標変換または線形（または非線形）マッピング技法を伴う方法は、概して、一貫した信頼性スコアを生産しない。しかしながら、そのような方法は、導出される信頼性スコアを生産するために増強され得る。
随意に、分類子は、分類出力７６５内で信頼性スコアを算出または利用しない場合がある、または分類子は、訓練データ７０５を要求または利用しない場合がある。代わりに、分類子は、ヒューリスティック方法、カットオフ閾値、および／または他のカテゴリ化の手段を使用し得る。これらおよび類似する場合では、分類子は、より適切に「カテゴライザ」と称され得る。例えば、Ｂｏｂが視野を通して歩行しているときに取得される特徴のセットが、ユークリッド距離（数学的点乗積）を使用することによって、既知のボディプリント「Ｂｏｂ」、「Ｃｌａｒａ」、「Ｓｉｇｉ」、および「Ｓｕｓｅ」と比較され得る。続けて、Ｂｏｂは、ヒューリスティックとして最も小さいユークリッド距離を選定することによって、「Ｂｏｂ」として識別され得る。例えば、家庭の唯一の子供が視野を通して歩行しているときに取得される特徴のセットが、カットオフ閾値（例えば、身長に関する）を使用することによって、既知のボディプリント「母親」、「父親」、および「子供」と比較され得、続けて、子供は、カットオフ閾値（身長に関する）よりも低い身長を保有する唯一のボディプリントを選択することによって、「子供」として識別される。これらの実施例はそれぞれ、用語「分類」よりも用語「カテゴリ化」によってより良好に説明される。本明細書では、簡潔にするために、「分類」および「カテゴリ化」の両方を包含する包括的用語として単語「分類」を使用する。
人物登録
いくつかの実施形態では、本発明の方法およびシステムのある実施形態に、予期される着目人物の既知の特徴および／またはボディプリントを提供することが、望ましくあり得、したがって、分類子７００およびそのトレーナ７０１は、動作するための事前知識を有するであろう。例えば、そのような実施形態が、母親が多発性硬化症に罹患している前述の家族の家庭内に配置される場合、全ての家庭居住者の既知の特徴および／またはボディプリントを先立って本システムに提供することが、望ましくあり得る。本アプローチを通して、本システムは、より精密に、母親を識別し、他の家族メンバーを排除するであろう。１つ以上の既知の特徴および／またはボディプリントがシステムまたは方法に提供されるプロシージャは、登録と呼ばれ、本システムにそのように入力された人物は、登録されたと言われる。
いくつかの実施形態では、本システムは、例えば、家族の家庭の４〜６人のメンバー、またはさらには単一の着目人物のみ等の少数の人物を登録することのみを必要とし得る。上記に説明されるように、ボディプリントの数をそのような少ない範囲に制約することは、ここでは本システムがそれらの少ない家庭メンバー対「その他」を識別することのみを要求するため、システム性能を増加させることができる。
それを通して分類子が登録データを用いて訓練され得るプロシージャは、当業者に周知である。簡潔には、登録データは、自動的に（既知の識別の人物に測定を予め受けさせることによって）、手動で（人間のオペレータにデータセットを遡及的に繰らせ、その中に表される人物を手動で標識化させることによって）、またはそれらの組み合わせによって取得され得る。例えば、命令が、コンピュータスクリーン上に表示され、センサの正面で一連の既知の、または規定された移動を実施するように特定の着目人物に命令し得る。これらの移動は、次いで、ボディプリントに変換される。着目人物は、人物の識別をブロードキャストするブレスレットを一時的に装着し得、したがって、着目人物がセンサの視野を（ブレスレットを装着しながら）横断するときは常に、本システムは、その人物に関する登録データを取得する。
それによって登録が起こる具体的方法は、基本的な分類子７００の機構に依存し得る。いくつかの実施形態では、登録は、１つ、いくつかの、または全ての利用可能な着目特徴に対して実施される。いくつかの実施形態では、登録および／または訓練は、人物のボディプリントの進行中の変化（例えば、ヘアカット、体重変化、嵩張るジャケットを装着すること）に適応するように、通常の日常動作中であっても無期限に継続する。いくつかの実施形態では、登録および／または訓練は、毎月または毎年等の事前定義された間隔において繰り返される。いくつかの実施形態では、登録および／または訓練は、着目人物の外観の変化、または１人の着目人物から別の人物に識別を切り替えることの所望、または分類子７００に成される性能改良等のアドホックまたは恣意的事象に対して繰り返される。いくつかの実施形態では、着目人物自身が、登録プロシージャによるデータセット内の自信の表現のタグ付け（標識化）を照合し、タグが誤っている、または欠落している場合に訂正を行うように求められる。
いくつかの実施形態では、登録中、登録されるべき人物は、閉塞されたいくつかの身体部分の有無を問わず、センサのビュー内で立つ、着座する、方向転換する、または回転する。いくつかの実施形態では、登録中、登録されるべき人物は、事前定義された移動のセット（例えば、視野全体を網羅するように歩き回ること、またはセンサに対して種々の配向において立つこと）を実行する。いくつかの実施形態では、事前定義された移動のセットは、線、長方形、円、または８の字に沿って歩行することを含む。いくつかの実施形態では、登録プロシージャは、無監督であり、つまり、登録されるべき人物は、移動する方法に関する命令を与えられ、命令に対する後続順守は、人物の責任である。いくつかの実施形態では、登録プロシージャは、監督され、つまり、開示される技術は、登録中にリアルタイムで人物を追跡し、人物が所望の登録移動から極端に逸脱する場合、是正命令またはフィードバックを提供する。いくつかの実施形態では、開示される技術は、データが取得される際にリアルタイムで登録データの数量および品質を確認し、現在の移動を継続するべきとき、異なる移動に切り替えるべきとき、または登録プロシージャを終了するべきときを人物に通知する。いくつかの実施形態では、開示される技術は、具体的タイプの登録データの不足を検出し、そうすることに応じて、欠落しているデータを「埋める」ために、具体的場所に行く、または具体的移動を採用するように人物に命令することが可能である。
いくつかの実施形態では、システムまたは方法は、これが登録データを受信するまで、いずれの着目人物も識別することなく、ある時間周期にわたってデータを取得し、ステップ１０５−１２０を実施し（但し、ステップ１２５を実施しない）、その点において、本システムまたは方法は、全ての以前に収集されたデータを使用して、ステップ１２５を遡及的に実施する。上記に留意されるように、登録および分類は、それぞれ、手動、半自律的な、または完全に自律的な様式で実施され得、異なる登録および分類が、同一または異なるデータ、特徴、および／またはボディプリントを採用し得る。半自律的および完全に自律的な登録の方法は、例えば、機械学習およびパターン認識を含み得る。
上記に留意されるように、登録は、システムまたは方法が識別を実施するために要求されない。例えば、上記に留意されるように、本システムは、代わりに、ヒューリスティック方法、カットオフ閾値、および／または他のカテゴリ化の手段を使用してもよい。
いくつかの実施形態では、方法またはシステムにおいて採用されるデータ、特徴、および／またはボディプリントは、写真およびビデオおよび顔認識等の視覚画像データがプライバシーを保護するために除外されるように選定される。いくつかの実施形態では、プライバシーの必要性は、あまり顕著ではない場合があり、したがって、採用されるデータ、特徴、および／またはボディプリントは、写真およびビデオおよび顔認識等の視覚画像データを含んでもよい。ある実施形態では、システムまたは方法の重要な利点は、これが異なる用途のために調整され得る異なるレベルのプライバシー保護を提供し得ることである。
特徴と精神的知覚および／または意図との間の関係
事前定義された関係の使用
図１Ｂは、例証的実施形態による、移動、挙動、または活動を特性評価し、それによって、（例えば、痛み、疲労、または気分の）精神的知覚または意図を特性評価するための方法の実施例のフローチャートである。図１Ｂでは、結論が、事前判定された関係から判定される。
ステップ１３５および１５５を除いて、図１Ｂのステップは全て、図１Ａにおけるその同様の名称の対応物と同じである。
ステップ１２０における特徴の計算は、信号処理、コンピュータビジョン、および／または機械学習からの技法を採用し得る。例えば、ステップ１１５における人物セグメント化の副作用は、人物の解剖学的関節の空間的位置を特定することであり得、これらの関節の相対的位置および移動は、次いで、ステップ１２０における特徴になる。例えば、人物の姿勢は、特徴として使用され得、姿勢がその日全体を通して緩慢に悪化する場合、人物が疲労した状態になっていることが、推測され得る。例えば、機械学習からのＲａｎｄｏｍ Ｆｏｒｅｓｔ構成概念は、入力として、人物の複数の関節の位置（「骨格データ」）を受信し、出力として、人物が心理的に抑鬱的な気分である信頼性レベルを生産し得る。例えば、人工知能からのＣｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ構成概念は、入力として、人物の身体の３次元形状（「奥行きデータ」）を受信し、出力として、人物が悪意のある行為を行うことを意図する信頼性レベルを生産し得る。例えば、人物の言葉の発声のフーリエ分析が、特徴として使用され得、突然、声量がより大きくなり、調子がより高くなる場合、人物が興奮した状態になっていることが、推測され得る。
ステップ１３５は、人物の移動、活動、および挙動を識別および定量化する、ステップ１２０によって生成された特徴を事前判定された関係に対して相関させ、痛み、疲労、気分、または意図についての結論を判定する。事前判定された関係および結論の実施例は、本明細書の上記に与えられる。
ステップ１５５は、ステップ１３５によって生成された結論を出力する。例証的実施形態による、結論の実施例は、図１０に示される。
学習された関係の使用
図１Ｃは、例証的実施形態による、移動、挙動、または活動を特性評価し、それによって、（例えば、痛み、疲労、または気分の）精神的知覚または意図を特性評価するための方法の実施例のフローチャートである。図１Ｃでは、結論が、学習された関係から判定される。
ステップ１４５、１６５、および１７５を除いて、図１Ｃのステップは全て、図１Ａおよび１Ｂにおけるその同様の名称の対応物と同じである。
ステップ１４５は、ステップ１２０において生成された特徴を、「グラウンドトゥルース」１７５と呼ばれる既知の外因的に供給された属性またはデータに対して比較する。ステップ１７５の出力は、特徴と学習された関係との間の相関であり、学習された関係は、特徴およびステップ１７５において供給される任意のグラウンドトゥルースを使用して確立される。このように、学習された関係は、計算された特徴を使用して、図１Ｃの方法中に修正または更新され得る。相関、関連付け、または学習された関係を生成する、修正する、または更新するプロセスは、「訓練」と呼ばれ、コンピュータビジョンおよび機械学習の技法を介して遂行される。そのような技法の実施例は、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ、単純なベイズ分類子、Ｒａｎｄｏｍ Ｆｏｒｅｓｔ、決定木、およびニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋを含む）を含む。
例えば、ステップ１４５によって生成される学習された関係は、ある閾値から成り得、「人物の歩行速度が１秒あたり０．５メートルを上回る場合、疲労のレベルは、最小である」。例えば、ステップ１４５によって生成される学習された関係は、ある代数方程式から成り得、「人物の先週からの疲労の変化は、歩行速度のパーセント変化、加えて、同一の時間周期にわたる姿勢のパーセント変化である」。例えば、ステップ１４５によって生成される学習された関係は、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ等のニューラルネットワーク構成概念内に埋設される多数の数値的重みを備え得る。
特徴を関係と相関させること
図１Ｂおよび１Ｃでは、ステップ１３５および１４５は、結論を判定するために、特徴を関係に相関させる。ステップ１３５の事前判定された関係は、ヒューリスティック、ルールセット、および統計的方法等の分析方法から構築されることができる。例えば、生体力学的推論を使用して、人物の歩幅長さが、経時的に頭部の位置を見ることによって測定され得ると判定することができる。頭部の加速度は、各足踏中に最小である。図９Ａに図示されるように、逐次的加速度最小値における頭部場所間の距離を計算することによって、人物の歩幅長さを間接的に測定し、したがって、事前判定された関係を定義することが、可能である。
ステップ１４５の学習された関係は、（例えば）Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ ＭａｃｈｉｎｅｓおよびＣｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ等の機械学習方法によって生成されることができる。グラウンドトゥルース１７５は、例えば、科学文献によって、人間の入力によって、または他の機構または算出によって提供され得る。例えば、疲労に関するグラウンドトゥルースは、自己報告される疲労レベルに関連する質問を用いて、数日毎に人物に施行される調査からのデータであり得る。それらの調査応答は、ステップ１４５において、機械学習アルゴリズム、例えば、単純なベイズ分類子を訓練し、特徴１２０の入力セットとグラウンドトゥルース１７５（自己報告された疲労レベル）との間の相関を最大限にするために使用され得え、したがって、出力結論１６５もまた、グラウンドトゥルース１７５（自己報告された疲労レベル）と相関する。
関係は、進行中の用途に応じて、データ収集の前後に判定され得る。関係は、例えば、ルックアップテーブル内のルールまたは値、方程式、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ等のニューラルネットワーク、Ｒａｎｄｏｍ Ｆｏｒｅｓｔｓ等の多種多様な他の機械学習またはパターン認識構成概念、またはアルゴリズム的ステップとして表され得る。例えば、関係は、疲労レベルが、一連の２４時間にわたる、歩行速度の平均変化、移動に費やした時間の量、および垂直からの脊柱角度に基づいて判定されることを規定し得る。
関係は、前提的閾値または制約を割り当てられ得る。例えば、最小限の少なくとも３つの全ステップに関するデータ取得は、歩行速度に基づく結論が報告されるであろう前に要求され得る。
結論を判定すること
図９Ａ−９Ｄは、結論を判定するために特徴が関係と相関され得る様子の実施例を図示する。
図９Ａは、移動を定量化する実施例を表し、ここでは、人物が計算された歩幅長さにおいて歩行していると結論する。本実施例では、人物は、（センサに対して）右に歩行し、下半身を閉塞するカウチの後方を通過する。人物の下半身の可視化が拒否される間に歩き方を評価するために、本実施形態は、下半身の代わりに、上半身の特徴に依拠しなければならない。本実施例では、２つの上半身特徴９１０、すなわち、頭部加速度（事前フレームからの頭部速度の変化率）および頭部平行移動（事前フレームからの頭部によって横断された距離）が、計算される。本実施例では、図９Ａに列挙されるように、３つの事前判定された関係９２０が、本実施形態に公知である。特徴９１０および事前判定された関係９２０から、本実施形態は、人物が計算された歩幅長さを用いて能動的に歩行している（つまり、着座していない、またはもたれていない）という結論９３０を供給することが可能である。
図９Ｂは、活動を識別する実施例を表し、ここでは、人物が食事をしていると結論する。本実施例では、人物は、着座し、食事をしており、したがって、人物の手は、皿と口との間で周期的に移動している。本実施例では、２つの特徴９４０、すなわち、人物が着座し、静止していると判定されたかどうか（これは、順に、頭部位置等の他の特徴[図示せず]から計算され得る）、および右手と頭部との間の
瞬間的距離が、計算される。本実施例では、図９Ｂに列挙されるように、３つの事前判定された関係９５０が、本実施形態に公知である。特徴９４０および事前判定された関係９５０から、本実施形態は、人物が食事をしているという結論９６０を供給することが可能である。
図９Ｃは、精神的知覚を識別する実施例を表し、ここでは、人物が疲労を感じていると結論する。本実施例では、人物は、（センサに対して）右に歩行する。本実施例では、２つの特徴９５０、すなわち、歩行速度（これは、順に、頭部位置等の他の特徴［図示せず］から計算され得る）および垂直に対する瞬間的脊柱角度が、計算される。本実施例では、図９Ｃに列挙されるように、３つの事前判定された関係９８０が、本実施形態に公知である。特徴９７０および事前判定された関係９８０から、本実施形態は、人物が経時的に疲労した状態になった８０％の可能性が存在するという結論９９０を供給することが可能である。
図９Ｄは、図９Ｃに示される精神的知覚を識別する同一の実施例を表す。しかしながら、図９Ｄでは、特徴９９３は、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＣＮＮ）によって自律的に判定される。さらに、図９Ｄでは、特徴９９３と結論９９９との間の関係９９６が、事前判定されるのではなく、学習され、同一のＣＮＮまたは異なるＣＮＮのいずれかによって再び自律的に判定される。ＣＮＮによって生成された特徴および学習された関係は、入力データに応じて実行される無数の数学的演算によってカプセル化される。
ステップ１５５、１６５、および１８５によって生成された結論は、随意に、信頼性値が付随する、それらに帰する確率を有し得る。「信頼性値」は、本明細書の上記に説明される正しい人物識別の可能性の測度として計算される「信頼性スコア」とは異なる。例えば、信頼性値は、独立して計算される特徴が、例えば、足踏の存在と一致する程度と関連付けられ得る。例えば、信頼性値は、線形回帰による適合度計算に対応し得る。当分野で公知であるように、信頼性値を測定値の１つ以上のセットに帰する多くの他の方法が存在する。
ステップ１５５、１６５、および１８５によって生成された結論は、随意に、定量化され得、例えば、図９Ｃまたは図９Ｄの結論９９０または９９９は、（単純に、疲労が存在するかどうかを問わず）人物の疲労のレベルの定量化された測度を含み得る。例えば、疲労のレベルは、歩行速度および垂直からの脊柱角度の同時存在測度（すなわち、図９Ｃの特徴９７０）から、またはＣＮＮの数値的重み（すなわち、図９Ｄの特徴９９３）から計算され得る。
機械学習、人工知能、またはパターン認識の技法を結論の生成に適用する（包括的ではない）実施例は、以下である。例えば、頭部等の経時的な身体部分の場所のフーリエ変換に応じた主成分分析（ＰＣＡ）は、歩き方を表す特徴を備え得、それらの特徴は、単純なベイズ分類子によって自律的に処理され、学習された関係を生産し、それによって、特徴を人物が異常な歩き方をしているという結論と関連付け得る。例えば、経時的な関節の空間的場所（骨格データ）は、転倒リスクを表す特徴を備え得、それらの特徴は、Ｒａｎｄｏｍ Ｆｏｒｅｓｔによって自律的に処理され、学習された関係を生産し、それによって、特徴を人物が高い転倒のリスクに晒されているという結論と関連付け得る。例えば、経時的な人物の身体の発展する３次元形状は、食事をする行為を表す特徴を備え得、それらの特徴は、ＣＮＮによって自律的に処理され、学習された関係を生産し、それによって、特徴を人物が食事をしているという結論と関連付け得る。
図１０は、結論を判定するために関係と相関され得る（すなわち、関連付けられる）特徴のタイプの実施例を示す。結論は、移動、活動、および／または挙動（例えば、歩行、食事、睡眠）の識別（検出）および／または定量化、または人物の痛み、疲労、気分、および意図に対応することができる。例えば、人物の歩行速度および脊柱角度（特徴）が所与の閾値を下回る（関係）場合、人物は、疲労していると判定される（結論）。例えば、人物の歩行速度および脊柱角度が履歴平均と比較して減少する場合、その人物の疲労レベルは、例えば、１０中４の疲労レベルにおいて定量化される。
現実世界の設定
本発明の物理的実施形態の非限定的実施例は、ネットワーク接続を用いてコンピュータに接続され、人物の家内に配置され、健康ステータスを測定する奥行きセンサである。本実施形態は、人物が視野内を偶然通過するときは常に、人物の移動を便宜的にサンプリングする。取得されたデータは、リアルタイムで分析される、または１日の終わりの処理のために記憶される、またはクラウドコンピュータ等の遠隔処理ステーションに周期的に伝送され得る。結論の実施例は、歩行速度、姿勢、または全体的活動の変化を含む。結論は、ウェブサイト上に表示される、または電子メールによって臨床医に送信されることができる。結論は、例えば、数量がある閾値を過ぎて急減する場合、緊急ページャまたはテキストメッセージアラートとして送信されることができる。
物理的実施形態の別の実施例は、ネットワーク接続を用いてコンピュータに接続され、小売状況において配置され、窃盗を識別する奥行きセンサである。本実施形態は、歩行速度、歩行方向の変化、眼注視の方向、および姿勢等の店舗顧客に関する特徴を計算する。結論は、人物が盗みをする意図を有し得るかどうかに関して判定され、信頼性値が付随し、信頼性値がある閾値を超える場合、店舗人員は、アラートされる。本実施形態は、窃盗犯のような挙動を模倣するオペレータを観察することによって訓練され得る（すなわち、関係を学習する）。
物理的実施形態の別の実施例は、ネットワーク接続を用いてコンピュータに接続され、産業状況において配置され、安全性問題を識別する奥行きセンサである。本実施形態は、突然の頭部移動、または歩行から走行への遷移、またはその場所における全ての従業員を横断する平均からある閾値だけ異なる歩行速度等の従業員に関する特徴を計算する。結論は、例えば、警告する匂いまたは音に対する従業員の身体的反応によって前兆となる、何かが環境において危険であり得るかどうかに関して判定される。
物理的実施形態の別の実施例は、ネットワーク接続を用いてコンピュータに接続され、軍事状況において配置され、セキュリティ脅威を識別する奥行きセンサである。本実施形態は、歩行速度および物体の落下等の通行人に関する特徴を計算する。結論は、人物が害を引き起こす意図を有し得るかどうかに関して判定される。
ネットワークおよびコンピューティング実装
図１１に示されるように、プライバシーの保護とともに人物を識別するためのシステムを提供する使用のためのネットワーク環境１１００の実装が、示され、説明される。簡潔な概観では、ここで図１１を参照すると、例示的クラウドコンピューティング環境１１００のブロック図が、示され、説明される。クラウドコンピューティング環境１１００は、１つ以上のリソースプロバイダ１１０２ａ、１１０２ｂ、１１０２ｃ（集合的に、１１０２）を含み得る。各リソースプロバイダ１１０２は、コンピューティングリソースを含み得る。いくつかの実装では、コンピューティングリソースは、データを処理するために使用される任意のハードウェアおよび／またはソフトウェアを含み得る。例えば、コンピューティングリソースは、アルゴリズム、コンピュータプログラム、および／またはコンピュータアプリケーションを実行することが可能なハードウェアおよび／またはソフトウェアを含み得る。いくつかの実装では、例示的コンピューティングリソースは、記憶および読出能力を伴うアプリケーションサーバおよび／またはデータベースを含み得る。各リソースプロバイダ１１０２は、クラウドコンピューティング環境１１００内の任意の他のリソースプロバイダ１１０２に接続され得る。いくつかの実装では、リソースプロバイダ１１０２は、コンピュータネットワーク１１０８を経由して接続され得る。各リソースプロバイダ１１０２は、コンピュータネットワーク１１０８を経由して、１つ以上のコンピューティングデバイス１１０４ａ、１１０４ｂ、１１０４ｃ（集合的に、１１０４）に接続され得る。
クラウドコンピューティング環境１１００は、リソースマネージャ１１０６を含み得る。リソースマネージャ１１０６は、コンピュータネットワーク１１０８を経由して、リソースプロバイダ１１０２およびコンピューティングデバイス１１０４に接続され得る。いくつかの実装では、リソースマネージャ１１０６は、１つ以上のリソースプロバイダ１１０２によるコンピューティングリソースの１つ以上のコンピューティングデバイス１１０４への提供を促進し得る。リソースマネージャ１１０６は、特定のコンピューティングデバイス１１０４からコンピューティングリソースに関する要求を受信し得る。リソースマネージャ１１０６は、コンピューティングデバイス１１０４によって要求されるコンピューティングリソースを提供することが可能な１つ以上のリソースプロバイダ１１０２を識別し得る。リソースマネージャ１１０６は、リソースプロバイダ１１０２を選択し、コンピューティングリソースを提供し得る。リソースマネージャ１１０６は、リソースプロバイダ１１０２と特定のコンピューティングデバイス１１０４との間の接続を促進し得る。いくつかの実装では、リソースマネージャ１１０６は、特定のリソースプロバイダ１１０２と特定のコンピューティングデバイス１１０４との間の接続を確立し得る。いくつかの実装では、リソースマネージャ１１０６は、特定のコンピューティングデバイス１１０４を要求されたコンピューティングリソースを伴う特定のリソースプロバイダ１１０２にリダイレクトし得る。
図１２は、本開示に説明される技法を実装するために使用され得る、コンピューティングデバイス１２００およびモバイルコンピューティングデバイス１２５０の実施例を示す。コンピューティングデバイス１２００は、ラップトップ、デスクトップ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピュータ等の種々の形態のデジタルコンピュータを表すことが意図される。モバイルコンピューティングデバイス１２５０は、携帯情報端末、セルラー電話、スマートフォン、および他の類似するコンピューティングデバイス等の種々の形態のモバイルデバイスを表すことが意図される。ここで示されるコンポーネント、その接続および関係、およびその機能は、実施例にすぎないことを意味し、限定であることを意味しない。
コンピューティングデバイス１２００は、プロセッサ１２０２と、メモリ１２０４と、記憶デバイス１２０６と、メモリ１２０４および複数の高速拡張ポート１２１０に接続する高速インターフェース１２０８と、低速拡張ポート１２１４および記憶デバイス１２０６に接続する低速インターフェース１２１２とを含む。プロセッサ１２０２、メモリ１２０４、記憶デバイス１２０６、高速インターフェース１２０８、高速拡張ポート１２１０、および低速インターフェース１２１２はそれぞれ、種々のバスを使用して相互接続され、共通マザーボード上に、または必要に応じて他の様式で搭載され得る。プロセッサ１２０２は、メモリ１２０４内に、または記憶デバイス１２０６上に記憶される命令を含む、コンピューティングデバイス１２００内で実行するための命令を処理し、高速インターフェース１２０８に結合されるディスプレイ１２１６等の外部入力／出力デバイス上でＧＵＩに関するグラフィカル情報を表示することができる。他の実装では、複数のプロセッサおよび／または複数のバスが、必要に応じて、複数のメモリおよび複数のタイプのメモリとともに使用され得る。また、複数のコンピューティングデバイスが、接続され、各デバイスは、（例えば、サーババンク、ブレードサーバの群、またはマルチプロセッサシステムとして）必要な動作の部分を提供し得る。したがって、用語が本明細書で使用されるように、複数の機能が「１つのプロセッサ」によって実施されるものとして説明される場合、これは、複数の機能が任意の数のコンピューティングデバイス（１つ以上の）の任意の数のプロセッサ（１つ以上の）によって実施される実施形態を包含する。さらに、機能が「１つのプロセッサ」によって実施されるものとして説明される場合、これは、機能が（例えば、分散コンピューティングシステムにおける）任意の数のコンピューティングデバイス（１つ以上の）の任意の数のプロセッサ（１つ以上の）によって実施される実施形態を包含する。
メモリ１２０４は、コンピューティングデバイス１２００内に情報を記憶する。いくつかの実装では、メモリ１２０４は、揮発性メモリユニットまたは複数のユニットである。いくつかの実装では、メモリ１２０４は、不揮発性メモリユニットまたは複数のユニットである。メモリ１２０４はまた、磁気または光学ディスク等の別の形態のコンピュータ可読媒体であり得る。
記憶デバイス１２０６は、コンピューティングデバイス１２００のために大容量記憶を提供することが可能である。いくつかの実装では、記憶デバイス１２０６は、フロッピディスクデバイス、ハードディスクデバイス、光学ディスクデバイス、またはテープデバイス等のコンピュータ可読媒体、フラッシュメモリまたは他の類似するソリッドステートメモリデバイス、または記憶エリアネットワークまたは他の構成におけるデバイスを含むデバイスのアレイである、またはそれを含有し得る。命令は、情報担体内に記憶されることができる。命令は、１つ以上の処理デバイス（例えば、プロセッサ１２０２）によって実行されると、上記に説明されるもの等の１つ以上の方法を実施する。命令はまた、コンピュータまたは機械可読媒体等の１つ以上の記憶デバイス（例えば、メモリ１２０４、記憶デバイス１２０６、またはプロセッサ１２０２上のメモリ）によって記憶されることができる。
高速インターフェース１２０８は、コンピューティングデバイス１２００に関する帯域幅集約的動作を管理する一方、低速インターフェース１２１２は、より低い帯域幅集約的動作を管理する。そのような機能の分配は、実施例にすぎない。いくつかの実装では、高速インターフェース１２０８は、メモリ１２０４、ディスプレイ１２１６（例えば、グラフィックスプロセッサまたはアクセラレータを通して）、および種々の拡張カード（図示せず）を受け取り得る高速拡張ポート１２１０に結合される。実装では、低速インターフェース１２１２は、記憶デバイス１２０６および低速拡張ポート１２１４に結合される。種々の通信ポート（例えば、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、イーサネット（登録商標）、無線イーサネット（登録商標））を含み得る、低速拡張ポート１２１４は、キーボード、ポインティングデバイス、走査装置等の１つ以上の入力／出力デバイス、またはスイッチまたはルータ等のネットワーキングデバイスに、例えば、ネットワークアダプタを通して結合され得る。
コンピューティングデバイス１２００は、図に示されるように、いくつかの異なる形態において実装され得る。例えば、これは、標準的サーバ１２２０として、またはそのようなサーバの群内で複数回実装され得る。加えて、これは、ラップトップコンピュータ１２２２等のパーソナルコンピュータ内に実装され得る。これはまた、ラックサーバシステム１２２４の一部として実装され得る。代替として、コンピューティングデバイス１２００からのコンポーネントは、モバイルコンピューティングデバイス１２５０等のモバイルデバイス内の他のコンポーネント（図示せず）と組み合わせられ得る。そのようなデバイスはそれぞれ、コンピューティングデバイス１２００およびモバイルコンピューティングデバイス１２５０のうちの１つ以上のものを含有し得、システム全体が、相互に通信する複数のコンピューティングデバイスから構成され得る。
モバイルコンピューティングデバイス１２５０は、他のコンポーネントの中でもとりわけ、プロセッサ１２５２、メモリ１２６４、ディスプレイ１２５４等の入力／出力デバイス、通信インターフェース１２６６、および送受信機１２６８を含む。モバイルコンピューティングデバイス１２５０はまた、付加的記憶装置を提供するために、マイクロドライブまたは他のデバイス等の記憶デバイスを提供され得る。プロセッサ１２５２、メモリ１２６４、ディスプレイ１２５４、通信インターフェース１２６６、および送受信機１２６８はそれぞれ、種々のバスを使用して相互接続され、コンポーネントのいくつかは、共通マザーボード上に、または必要に応じて他の様式で搭載され得る。
プロセッサ１２５２は、メモリ１２６４内に記憶される命令を含む、モバイルコンピューティングデバイス１２５０内の命令を実行することができる。プロセッサ１２５２は、別個かつ複数のアナログおよびデジタルプロセッサを含むチップのチップセットとして実装され得る。プロセッサ１２５２は、例えば、ユーザインターフェースの制御、モバイルコンピューティングデバイス１２５０によって起動されるアプリケーション、およびモバイルコンピューティングデバイス１２５０による無線通信等のモバイルコンピューティングデバイス１２５０の他のコンポーネントの協調を提供し得る。
プロセッサ１２５２は、ディスプレイ１２５４に結合される制御インターフェース１２５８およびディスプレイインターフェース１２５６を通してユーザと通信し得る。ディスプレイ１２５４は、例えば、ＴＦＴ（薄膜トランジスタ液晶ディスプレイ）ディスプレイ、またはＯＬＥＤ（有機発光ダイオード）ディスプレイ、または他の適切なディスプレイ技術であり得る。ディスプレイインターフェース１２５６は、ユーザにグラフィカル情報および他の情報を提示するようにディスプレイ１２５４を駆動するための適切な回路を備え得る。制御インターフェース１２５８は、ユーザからコマンドを受信し、プロセッサ１２５２への提出のためにそれらを変換し得る。加えて、外部インターフェース１２６２が、モバイルコンピューティングデバイス１２５０の他のデバイスとの近接エリア通信を可能にするように、プロセッサ１２５２との通信を提供し得る。外部インターフェース１２６２は、例えば、いくつかの実装では、有線通信を提供し、他の実施形態では、無線通信を提供し得、複数のインターフェースもまた、使用され得る。
メモリ１２６４は、モバイルコンピューティングデバイス１２５０内に情報を記憶する。メモリ１２６４は、コンピュータ可読媒体または複数の媒体、揮発性メモリユニットまたは複数のユニット、または不揮発性メモリユニットまたは複数のユニットのうちの１つ以上のものとして実装されることができる。拡張メモリ１２７４もまた、提供され、例えば、ＳＩＭＭ（シングルインラインメモリモジュール）カードインターフェースを含み得る、拡張インターフェース１２７２を通してモバイルコンピューティングデバイス１２５０に接続され得る。拡張メモリ１２７４は、モバイルコンピューティングデバイス１２５０のための余剰記憶スペースを提供し得る、またはモバイルコンピューティングデバイス１２５０のためのアプリケーションまたは他の情報もまた記憶し得る。具体的には、拡張メモリ１２７４は、上記に説明されるプロセスを実行または補完するための命令を含み得、セキュアな情報もまた含み得る。したがって、例えば、拡張メモリ１２７４は、モバイルコンピューティングデバイス１２５０のためのセキュリティモジュールとして提供され得、モバイルコンピューティングデバイス１２５０のセキュアな使用を可能にする命令を用いてプログラムされ得る。加えて、セキュアなアプリケーションが、ハッキング不可能な様式でＳＩＭＭカード上に識別情報を配置する等、付加的情報とともにＳＩＭＭカードを介して提供され得る。
メモリは、例えば、下記に議論されるように、フラッシュメモリおよび／またはＮＶＲＡＭメモリ（不揮発性ランダムアクセスメモリ）を含み得る。いくつかの実装では、命令は、命令が、１つ以上の処理デバイス（例えば、プロセッサ１２５２）によって実行されると、上記に説明されるもの等の１つ以上の方法を実施するように、情報担体内に記憶される。命令はまた、１つ以上のコンピュータまたは機械可読媒体等の１つ以上の記憶デバイス（例えば、メモリ１２６４、拡張メモリ１２７４、またはプロセッサ１２５２上のメモリ）によって記憶されることができる。いくつかの実装では、命令は、例えば、送受信機１２６８または外部インターフェース１２６２を経由して、伝搬信号において受信されることができる。
モバイルコンピューティングデバイス１２５０は、必要に応じてデジタル信号処理回路を含み得る、通信インターフェース１２６６を通して無線で通信し得る。通信インターフェース１２６６は、とりわけ、ＧＳＭ（登録商標）音声通話（汎欧州デジタル移動電話方式）、ＳＭＳ（ショートメッセージサービス）、ＥＭＳ（エンハンスドメッセージングサービス）、またはＭＭＳメッセージング（マルチメディアメッセージングサービス）、ＣＤＭＡ（符号分割多重アクセス）、ＴＤＭＡ（時分割多重アクセス）、ＰＤＣ（パーソナルデジタルセルラー）、ＷＣＤＭＡ（登録商標）（広帯域符号分割多重アクセス）、ＣＤＭＡ２０００、またはＧＰＲＳ（汎用パケット無線サービス）等の種々のモードまたはプロトコル下で通信を提供し得る。そのような通信は、例えば、無線周波数を使用する送受信機１２６８を通して起こり得る。加えて、短距離通信が、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ、または他のそのような送受信機（図示せず）等を使用して起こり得る。加えて、ＧＰＳ（全地球測位システム）受信機モジュール１２７０が、付加的ナビゲーションおよび場所関連無線データをモバイルコンピューティングデバイス１２５０に提供し得、これは、モバイルコンピューティングデバイス１２５０上で起動するアプリケーションによって必要に応じて使用され得る。
モバイルコンピューティングデバイス１２５０はまた、オーディオコーデック１２６０を使用して可聴的に通信し得、これは、ユーザから発話された情報を受信し、これを使用可能なデジタル情報に変換し得る。オーディオコーデック１２６０は、例えば、モバイルコンピューティングデバイス１２５０のハンドセット内のスピーカ等を通して、ユーザのための可聴音声を同様に生成し得る。そのような音声は、音声通話からの音声を含み得、記録された音声（例えば、音声メッセージ、音楽ファイル等）を含み得、また、モバイルコンピューティングデバイス１２５０上で動作するアプリケーションによって生成される音声を含み得る。
モバイルコンピューティングデバイス１２５０は、図に示されるように、いくつかの異なる形態において実装され得る。例えば、これは、セルラー電話１２８０として実装され得る。これはまた、スマートフォン１２８２、携帯情報端末、または他の類似するモバイルデバイスの一部として実装され得る。
本明細書に説明されるシステムおよび技法の種々の実装は、デジタル電子回路、集積回路、特別に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組み合わせにおいて実現されることができる。これらの種々の実装は、記憶システムからデータおよび命令を受信し、それにデータおよび命令を伝送するように結合される、専用または汎用であり得る少なくとも１つのプログラマブルプロセッサと、少なくとも１つの入力デバイスと、少なくとも１つの出力デバイスとを含む、プログラマブルシステム上で実行可能かつ／または解釈可能である１つ以上のコンピュータプログラムにおける実装を含むことができる。
これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとしても公知である）は、プログラマブルプロセッサのための機械命令を含み、高レベル手続型および／またはオブジェクト指向プログラミング言語において、および／またはアセンブリ／機械言語において実装されることができる。
ユーザとの相互作用を提供するために、ここで説明されるシステムおよび技法は、情報をユーザに表示するためのディスプレイデバイス（例えば、ＣＲＴ（ブラウン管）またはＬＣＤ（液晶ディスプレイ）モニタ）と、それによってユーザが入力をコンピュータに提供し得る、キーボードおよびポインティングデバイス（例えば、マウスまたはトラックボール）とを有するコンピュータ上で実装されることができる。他の種類のデバイスもまた同様に、ユーザとの相互作用を提供するために使用されることができ、例えば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック（例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）であり得、ユーザからの入力は、音響、音声、または触覚入力を含む任意の形態において受信されることができる。
ここで説明されるシステムおよび技法は、バックエンドコンポーネント（例えば、データサーバとして）を含む、またはミドルウェアコンポーネント（例えば、アプリケーションサーバ）を含む、またはフロントエンドコンポーネント（例えば、それを通してユーザがここで説明されるシステムおよび技法の実装と相互作用し得る、グラフィカルユーザインターフェースまたはウェブブラウザを有するクライアントコンピュータ）を含む、またはそのようなバックエンド、ミドルウェア、またはフロントエンドコンポーネントの任意の組み合わせを含む、コンピューティングシステム内で実装されることができる。本システムのコンポーネントは、デジタルデータ通信（例えば、通信ネットワーク）の任意の形態または媒体によって相互接続されることができる。通信ネットワークの実施例は、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、およびインターネットを含む。
コンピューティングシステムは、クライアントと、サーバとを含むことができる。クライアントおよびサーバは、概して、相互に遠隔にあり、典型的には、通信ネットワークを通して相互作用する。クライアントおよびサーバの関係は、個別のコンピュータ上で起動し、相互にクライアント−サーバ関係を有するコンピュータプログラムによって生じる。
プライバシーの保護とともに、人物を識別し、および／または痛み、疲労、気分、および意図を識別および定量化するためのシステムおよび方法のある実装を説明したが、本開示の概念を組み込む他の実装も使用され得ることが、当業者にここで明白となるであろう。したがって、本開示は、ある実装に限定されるべきではなく、むしろ、以下の請求項の精神および範囲によってのみ限定されるべきである。
本発明が、具体的な好ましい実施形態を参照して特に示され、説明されたが、形態および詳細における種々の変更が、添付される請求項によって定義されるような本発明の精神および範囲から逸脱することなく、それにおいて成され得ることが、当業者によって理解されるはずである。
（項目１）
センサデータから１人以上の着目人物の表現を識別する方法であって、上記センサデータは、その中に人物を伴う周辺環境の表現を含有しており、上記方法は、
（ａ）コンピューティングデバイスのプロセッサによって、１つ以上のフレームからセンサデータを受信するステップであって、上記センサデータは、人物の表現と、上記周辺環境の表現とを備え、上記人物の表現は、上記１人以上の着目人物の表現を備える、ステップと、
（ｂ）上記プロセッサによって、上記センサデータ内の人物の各表現が、上記センサデータの個別のセグメント化と関連付けられるように、上記センサデータを上記センサデータ内の上記人物のそれぞれの固有の表現にセグメント化し、それによって、上記センサデータ内の上記周辺環境の表現から上記人物のそれぞれの表現を区別するステップと、
（ｃ）上記プロセッサによって、上記センサデータの各セグメント化から１つ以上の身体部分を分離するステップと、
（ｄ）上記プロセッサによって、上記センサデータのセグメント化毎に、上記センサデータの上記個別のセグメント化の１つ以上の分離された身体部分に基づいて、上記人物の個別の表現と関連付けられる１つ以上の特徴毎の測度を判定するステップと、
（ｅ）上記プロセッサによって、上記センサデータのセグメント化毎に、上記人物の個別の表現と関連付けられる１つ以上の特徴の判定された測度の組み合わせが、上記１人以上の着目人物のうちの１人のボディプリントに対応するかどうかを判定し、それによって、上記センサデータの個別のセグメント化を着目人物として識別するステップと、
（ｆ）上記プロセッサによって、上記データのセグメント化が上記対応する着目人物の識別と関連付けられるように、上記１人以上の着目人物のうちの１人のボディプリントに対応する上記人物の個別の表現と関連付けられるデータのセグメント化を記憶するステップと、
を含む、方法。
（項目２）
上記プロセッサによって、上記センサデータを上記センサデータ内の上記人物のそれぞれの固有の表現にセグメント化するステップは、機械学習および／またはパターン認識技法を実施するステップを含む、項目１に記載の方法。
（項目３）
上記プロセッサによって、上記センサデータの各セグメント化から上記１つ以上の身体部分を分離するステップは、機械学習および／またはパターン認識技法を実施するステップを含む、項目１または２に記載の方法。
（項目４）
上記１人以上の着目人物はそれぞれ、識別のために登録される、項目１−３に記載の方法。
（項目５）
上記個別のセグメント化を識別するステップは、分類子の出力に基づく、項目１−４に記載の方法。
（項目６）
上記個別のセグメント化を識別するステップは、ルールまたはカテゴリまたはヒューリスティックに基づく、上記項目のうちのいずれか１項に記載の方法。
（項目７）
上記１人以上の着目人物毎に、上記プロセッサによって、メモリデバイス内に、識別およびボディプリントを記憶するステップを含み、各ボディプリントは、上記１人以上の着目人物内の個別の着目人物に対してともに特有であるそれらの特徴毎の測度の範囲と組み合わせられる特徴のセットを備え、各識別は、ボディプリントと関連付けられる、上記項目のうちのいずれか１項に記載の方法。
（項目８）
上記プロセッサによって、上記個別の１つ以上の特徴の判定された測度および各ボディプリントの特徴のセットの対応するサブセットからの測度を比較し、上記個別の１つ以上の特徴の判定された測度が、上記ボディプリントの特徴の対応するサブセットに関する測度の範囲内であるかどうかを判定するステップを含む、項目７に記載の方法。
（項目９）
１人以下の人物、２人以下の人物、３人以下の人物、４人以下の人物、５人以下の人物、６人以下の人物、１０人以下の人物、２５人以下の人物、５０人以下の人物、１００人以下の人物が、識別のために登録される、上記項目のうちのいずれか１項に記載の方法。
（項目１０）
顔特徴が、上記センサデータから省略される、上記項目のうちのいずれか１項に記載の方法。
（項目１１）
全ての視覚データが、上記センサデータから省略される、上記項目のうちのいずれか１項に記載の方法。
（項目１２）
上記人物のうちの少なくとも１人は、「他人」として識別される、上記項目のうちのいずれか１項に記載の方法。
（項目１３）
１つ以上の身体部分を分離するステップは、上記プロセッサによって、上記データセットの特質、上記センサのタイプ、上記人物に対して利用可能な非閉塞データの量、上記センサデータのセグメント化内の身体部分の表現の可用性、着目人物に関するボディプリントの可用性、および計算のために利用可能な特徴のライブラリから成る群から選択される少なくとも１つの性質に基づいて、センサデータの各セグメント化内のどの身体部分を分離するかを判定するステップを含む、上記項目のうちのいずれか１項に記載の方法。
（項目１４）
上記１つ以上の身体部分は、フレーム内の人物毎に異なり得る、上記項目のうちのいずれか１項に記載の方法。
（項目１５）
上記１つ以上の測度は、面積、体積、円周、閉曲線、非閉曲線、長さ、空間的場所、角度、画像、形態／形状、強度、フィルタ処理された出力、数値的重みのセット、数学的スケーリング、数学的変換、数学的畳み込み、一般化された数学的演算、または前述のいずれかの変化率から成る群から選択される１つ以上の要素を備える、上記項目のうちのいずれか１項に記載の方法。
（項目１６）
人物毎に、測度がフレーム内の人物毎に判定されるべきである１つ以上の候補特徴のセットからサブセットを選択するステップを含む、上記項目のうちのいずれか１項に記載の方法。
（項目１７）
上記１つ以上の特徴のうちの少なくとも１つは、任意の所与のフレームまたは一連のフレームにおいて利用不可能または算出不可能である、上記項目のうちのいずれか１項に記載の方法。
（項目１８）
上記１つ以上の特徴はそれぞれ、１つ以上のフレームに基づいて計算される、上記項目のうちのいずれか１項に記載の方法。
（項目１９）
上記１つ以上のフレームは、複数の連続または非連続フレームを備える、項目１８に記載の方法。
（項目２０）
上記１つ以上の特徴は、１つ以上の静的特徴を備える、上記項目のうちのいずれか１項に記載の方法。
（項目２１）
上記１つ以上の静的特徴は、人物の身長、肩から肩までの幅、上腕、下腕、上脚、下脚、手、足、頭部、首、または胴の長さまたは幅、胴表面積、胴体積、頭部の長さ、胴の長さ、肢円周のうちの任意の２つの間の比率、頭部または鼻の体積、頭部または眼窩の円周、頭部輪郭、口、または顎の幅、頭部の上部または背部または顎の湾曲度、および眉間、鼻梁、鼻の先端、人中、下顎点、眼の瞳孔、耳の外耳道、耳介、頭頂、地面のうちの任意の２つの間の距離、身体部分の画像、身体部分の形態／形状、固有画像、固有顔、スケール不変特徴変換、配向勾配のヒストグラム、ピクセルマスク、ピクセルカウント、ボクセル体積、重心、凸多面体、３Ｄメッシュ、色、反射、テクスチャ、パターン、畳み込みから成る群から選択される１つ以上の要素を備える、項目２０に記載の方法。
（項目２２）
上記１つ以上の静的特徴は、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋを含むニューラルネットワークの重みおよび／または出力、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋを含む、異なる時点におけるニューラルネットワークの重みおよび／または出力、Ｒａｎｄｏｍ Ｆｏｒｅｓｔの重みおよび／または出力、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅの重みおよび／または出力、単純なベイズマシンの重みおよび／または出力、Ｋ平均クラスタリングを含むクラスタリング、教師あり学習、教師なし学習から成る群から選択される１つ以上の要素を備える、項目２０に記載の方法。
（項目２３）
各特徴は、単一の身体部分の属性の測定値、または異なる身体部分の属性の測定値間の関係、または１つ以上の身体部分の属性の測定値と環境の測定値との間の関係に基づいて計算される、上記項目のうちのいずれか１項に記載の方法。
（項目２４）
上記単一の身体部分の属性は、人物の身長、上腕、下腕、上脚、下脚、手、足、頭部、首、または胴の長さまたは幅、頭部または鼻の体積、頭部または眼窩の円周、頭部輪郭、口、または顎の幅、頭部の上部または背部または顎の湾曲度から成る群から選択される１つ以上の要素を備える、項目２３に記載の方法。
（項目２５）
上記異なる身体部分の属性の測定値間の関係は、胴表面積、胴体積、頭部の長さ、胴の長さ、肢円周のうちの任意の２つの間の比率、眉間、鼻梁、鼻の先端、人中、下顎点、眼の瞳孔、耳の外耳道、耳介、頭頂、地面のうちの任意の２つの間の距離を備える、項目２３または２４に記載の方法。
（項目２６）
上記１つ以上の特徴は、１つ以上の動的特徴を備える、上記項目のうちのいずれか１項に記載の方法。
（項目２７）
上記１つ以上の動的特徴は、身体の方向転換の速度、歩行速度、大股で歩く間の２つの脚の間の最大距離、大股で歩く間の肩関節における回転の最大角度、右脚と左脚との間の歩幅長さの差異、車椅子の存在または不在、杖等の補助デバイスの存在または不在、衣類の色または反射の存在または不在、靴の高さ、地面に対する身体の傾斜または振りの角度、胴と脚との間の屈曲の角度、脊柱湾曲度、体温、局所的家具または壁への近接またはそれからの距離、身体のセンサからの距離、胴に対する頭部の配向、センサに対する頭部の配向、センサに対する注視の角度、眼鏡の存在または不在、帽子またはヘルメットの存在または不在、および髪の量から成る群から選択される１つ以上の要素を備える、項目２６に記載の方法。
（項目２８）
上記１つ以上の動的特徴は、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋを含むニューラルネットワークの重みおよび／または出力、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋを含む、異なる時点におけるニューラルネットワークの重みおよび／または出力、Ｒａｎｄｏｍ Ｆｏｒｅｓｔの重みおよび／または出力、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅの重みおよび／または出力、単純なベイズマシンの重みおよび／または出力、Ｋ平均クラスタリングを含むクラスタリング、教師あり学習、教師なし学習から成る群から選択される１つ以上の要素を備える、項目２６に記載の方法。
（項目２９）
上記１つ以上の動的特徴はそれぞれ、１）−３）、すなわち、１）時間、空間、または他の着目測定単位にわたる単一の身体部分の属性の変動、２）時間、空間、または他の着目測定単位にわたる異なる身体部分の特徴間の関係の変動、および３）時間、空間、または他の着目測定単位にわたる上記人物の異なる身体区画に対する環境またはその関係の変動のうちの少なくとも１つに基づいて計算される、項目２６−２８のうちのいずれか１項に記載の方法。
（項目３０）
上記識別は、ルールイン識別である、上記項目のうちのいずれか１項に記載の方法。
（項目３１）
上記識別は、「その他」識別としても公知なルールアウトである、上記項目のうちのいずれか１項に記載の方法。
（項目３２）
上記１つ以上の特徴は、別の人物を識別するために使用される上記１つ以上の特徴とは異なる上記センサデータ内のフレームまたはフレームのセットから捕捉される、上記項目のうちのいずれか１項に記載の方法。
（項目３３）
人物毎に、上記識別は、特徴のセットに基づいて、かつそれらの特徴毎の測度の範囲に基づいて判定され、その組み合わせられたものは、特定の人物に対して高度に特有である、上記項目のうちのいずれか１項に記載の方法。
（項目３４）
人物毎に、上記識別は、少なくとも部分的に、その識別を実施するために使用される上記１つ以上の特徴の忠実度および／または予測力に基づいて判定される、上記項目のうちのいずれか１項に記載の方法。
（項目３５）
上記１つ以上の特徴は、利用可能なシーン、上記センサ、上記センサデータ、既知のボディプリントの上記ライブラリ、および既知かつ算出可能な特徴の上記ライブラリから成る群から選択される少なくとも１つの要素に基づいて、経時的に変動する、上記項目のうちのいずれか１項に記載の方法。
（項目３６）
上記１つ以上の特徴および／またはボディプリントは、機械学習および／またはパターン認識技法によって自動的に計算される、上記項目のうちのいずれか１項に記載の方法。
（項目３７）
上記１つ以上の特徴および／またはボディプリントは、手動タグ付け等の外部エージェントによって事前または事後情報として提供される、上記項目のうちのいずれか１項に記載の方法。
（項目３８）
上記１つ以上の特徴および／またはボディプリントは、経時的に更新または修正されることができる、上記項目のうちのいずれか１項に記載の方法。
（項目３９）
センサによって、センサデータを取得するステップを含み、上記センサデータは、複数のフレームを備え、各フレームは、ピクセルの２次元空間マップとして表され、各ピクセルの強度値は、上記センサからの投影距離に対応する、上記項目のうちのいずれか１項に記載の方法。
（項目４０）
上記プロセッサによって、上記１つ以上の特徴に優先順位を付けるステップを含み、上記優先順位を付けるステップは、異なるセンサ、異なる時間、異なるボディプリント、および異なる空間的場所から成る群から選択される少なくとも１つの要素を横断して特徴を集約するステップを含む、上記項目のうちのいずれか１項に記載の方法。
（項目４１）
上記１つ以上の特徴は、同一のシーン内の人物毎に異なる、項目４０に記載の方法。
（項目４２）
上記１つ以上の特徴は、同一の人物に関してであってもフレーム毎に異なる割当を有する、項目４０または４１に記載の方法。
（項目４３）
上記センサデータは、飛行時間光検出および測距のうちの少なくとも１つによって、または、上記シーン上に少なくとも１つのエネルギーパターンを投影し、上記パターンの変形を測定することによって取得されるデータを備える、上記項目のうちのいずれか１項に記載の方法。
（項目４４）
上記センサデータは、光または音声を使用して取得されるデータを備える、上記項目のうちのいずれか１項に記載の方法。
（項目４５）
上記センサデータは、未加工センサデータ、未加工センサデータから導出される値、および軌跡データから成る群から選択される少なくとも１つのデータタイプを備える、上記項目のうちのいずれか１項に記載の方法。
（項目４６）
上記１つ以上のフレームはそれぞれ、特定の瞬間に先行して、またはその時点のいずれかで取得されたデータを備える１つ以上のデータストリームから成る「スナップショット」に対応する、上記項目のうちのいずれか１項に記載の方法。
（項目４７）
上記１つ以上のフレームは、複数の時点において単一のセンサによって取得された複数のフレーム、または同一または異なる時点において複数のセンサによって取得された複数のフレームのうちの少なくとも１つを備える、上記項目のうちのいずれか１項に記載の方法。
（項目４８）
上記プロセッサによって、識別された人物毎に信頼性スコアを判定するステップを含む、上記項目のうちのいずれか１項に記載の方法。
（項目４９）
上記プロセッサによって、人物と関連付けられる上記センサデータのサブセットを破棄するステップを含む、上記項目のうちのいずれか１項に記載の方法。
（項目５０）
上記識別は、未知の識別を備える、上記項目のうちのいずれか１項に記載の方法。
（項目５１）
上記プロセッサによって、上記１つ以上の特徴を調節し、全ての特徴が時間的かつ／または空間的に並置されることを確実にするステップを含む、上記項目のうちのいずれか１項に記載の方法。
（項目５２）
上記１つ以上の特徴のうちの少なくとも１つは、上記センサにおける、または計算方法論におけるタイミング遅延またはバイアスを調節するために、オフセット補正される、待ち時間補正される、または空間的に並置される、上記項目のうちのいずれか１項に記載の方法。
（項目５３）
特徴の上記忠実度は、上記シーンの組成、利用されているセンサのタイプ、および取得されているデータのタイプから成る群から選択される少なくとも１つの要素に依存する、項目３４に記載の方法。
（項目５４）
上記識別するステップは、上記人物が自然に動き回っている間に実施される、上記項目のうちのいずれか１項に記載の方法。
（項目５５）
上記識別するステップは、リアルタイムで、またはほぼリアルタイムで実施される、項目５４に記載の方法。
（項目５６）
上記識別するステップは、遅延後に、または同じく、データ取得が起こった時間とは実質的に異なる時間に実施される、上記項目のうちのいずれか１項に記載の方法。
（項目５７）
上記識別するステップは、遡及的に実施される、上記項目のうちのいずれか１項に記載の方法。
（項目５８）
上記人物は、上記センサから、０．１メートルを上回る、０．５メートルを上回る、１メートルを上回る、２メートルを上回る、５メートルを上回る距離に位置する、上記項目のうちのいずれか１項に記載の方法。
（項目５９）
センサデータから１人以上の着目人物の表現を識別するためのシステムであって、上記センサデータは、その中に人物を伴う周辺環境の表現を含有しており、上記システムは、
プロセッサと、
メモリであって、上記メモリは、その上に命令を記憶しており、上記命令は、上記プロセッサによって実行されると、上記プロセッサに、
センサデータ内の人物の各表現が、上記センサデータの個別のセグメント化と関連付けられるように、１つ以上のフレームからの上記センサデータを上記センサデータ内の上記人物のそれぞれの固有の表現にセグメント化し、それによって、上記センサデータ内の上記周辺環境の表現から上記人物のそれぞれの表現を区別することであって、上記センサデータは、人物の表現と、上記周辺環境の表現とを備え、上記人物の表現は、上記１人以上の着目人物の表現を備える、ことと、
上記センサデータの各セグメント化から１つ以上の身体部分を分離することと、
上記センサデータのセグメント化毎に、上記センサデータの上記個別のセグメント化の１つ以上の分離された身体部分に基づいて、上記人物の個別の表現と関連付けられる１つ以上の特徴毎の測度を判定することと、
上記センサデータのセグメント化毎に、上記人物の個別の表現と関連付けられる１つ以上の特徴の判定された測度の組み合わせが、上記１人以上の着目人物のうちの１人のボディプリントに対応するかどうかを判定し、それによって、上記センサデータの個別のセグメント化を着目人物として識別することと、
上記データのセグメント化が上記対応する着目人物の識別と関連付けられるように、上記１人以上の着目人物のうちの１人のボディプリントに対応する上記人物の個別の表現と関連付けられるデータのセグメント化を記憶することと
を行わせる、メモリと、
を備える、システム。
（項目６０）
上記命令は、上記プロセッサによって実行されると、上記プロセッサに、機械学習および／またはパターン認識技法を実施させ、上記センサデータを上記センサデータ内の上記人物のそれぞれの固有の表現にセグメント化させる、項目５９に記載のシステム。
（項目６１）
上記命令は、上記プロセッサによって実行されると、上記プロセッサに、機械学習および／またはパターン認識技法を実施させ、上記センサデータの各セグメント化から上記１つ以上の身体部分を分離させる、項目５９または６０に記載のシステム。
（項目６２）
上記１人以上の着目人物はそれぞれ、識別のために登録される、項目５９−６１に記載のシステム。
（項目６３）
上記個別のセグメント化を識別するステップは、分類子の出力に基づく、項目５９−６２に記載のシステム。
（項目６４）
上記個別のセグメント化を識別するステップは、ルールまたはカテゴリまたはヒューリスティックに基づく、項目５９−６３のうちのいずれか１項に記載のシステム。
（項目６５）
上記命令は、上記プロセッサによって実行されると、上記プロセッサに、上記１人以上の着目人物毎に、メモリデバイス内に、識別およびボディプリントを記憶させ、各ボディプリントは、上記１人以上の着目人物内の個別の着目人物に対してともに特有であるそれらの特徴毎の測度の範囲と組み合わせられる特徴のセットを備え、各識別は、ボディプリントと関連付けられる、項目５９−６４のうちのいずれか１項に記載のシステム。
（項目６６）
上記命令は、上記プロセッサによって実行されると、上記プロセッサに、上記個別の１つ以上の特徴の判定された測度および各ボディプリントの特徴のセットの対応するサブセットからの測度を比較させ、上記個別の１つ以上の特徴の判定された測度が、上記ボディプリントの特徴の対応するサブセットに関する測度の範囲内であるかどうかを判定させる、項目６５に記載のシステム。
（項目６７）
１人以下の人物、２人以下の人物、３人以下の人物、４人以下の人物、５人以下の人物、６人以下の人物、１０人以下の人物、２５人以下の人物、５０人以下の人物、１００人以下の人物が、識別のために登録される、項目５９−６６のうちのいずれか１項に記載のシステム。
（項目６８）
顔特徴が、上記センサデータから省略される、項目５９−６７のうちのいずれか１項に記載のシステム。
（項目６９）
全ての視覚データが、上記センサデータから省略される、項目５９−６８のうちのいずれか１項に記載のシステム。
（項目７０）
上記人物のうちの少なくとも１人は、「他人」として識別される、項目５９−６９のうちのいずれか１項に記載のシステム。
（項目７１）
上記命令は、上記プロセッサによって実行されると、上記プロセッサに、上記データセットの特質、上記センサのタイプ、上記人物に対して利用可能な非閉塞データの量、上記センサデータのセグメント化内の身体部分の表現の可用性、着目人物に関するボディプリントの可用性、および計算のために利用可能な特徴のライブラリから成る群から選択される少なくとも１つの性質に基づいて、センサデータの各セグメント化内のどの身体部分を分離するかを判定させる、項目５９−７０のうちのいずれか１項に記載のシステム。
（項目７２）
分離される上記１つ以上の身体部分は、フレーム内の人物毎に異なり得る、項目５９−７１のうちのいずれか１項に記載のシステム。
（項目７３）
上記１つ以上の特徴の上記１つ以上の測度はそれぞれ、面積、体積、円周、閉曲線、非閉曲線、長さ、空間的場所、角度、画像、形態／形状、強度、フィルタ処理された出力、数値的重みのセット、数学的スケーリング、数学的変換、数学的畳み込み、一般化された数学的演算、または前述のいずれかの変化率から成る群から選択される１つ以上の要素を備える、項目５９−７２のうちのいずれか１項に記載のシステム。
（項目７４）
上記命令は、上記プロセッサによって実行されると、上記プロセッサに、人物毎に、どの特徴がフレーム内の人物毎に計算され得、計算されるべきかを判定させる、項目５９−７３のうちのいずれか１項に記載のシステム。
（項目７５）
上記１つ以上の特徴のうちの少なくとも１つは、任意の所与のフレームまたは一連のフレームにおいて利用不可能または算出不可能である、項目５９−７４のうちのいずれか１項に記載のシステム。
（項目７６）
上記１つ以上の特徴はそれぞれ、１つ以上のフレームに基づいて計算される、項目５９−７５のうちのいずれか１項に記載のシステム。
（項目７７）
上記１つ以上のフレームは、複数の連続または非連続フレームを備える、項目７６に記載のシステム。
（項目７８）
上記１つ以上の特徴は、１つ以上の静的特徴を備える、項目５９−７７のうちのいずれか１項に記載のシステム。
（項目７９）
上記１つ以上の静的特徴は、人物の身長、肩から肩までの幅、上腕、下腕、上脚、下脚、手、足、頭部、首、または胴の長さまたは幅、胴表面積、胴体積、頭部の長さ、胴の長さ、肢円周のうちの任意の２つの間の比率、頭部または鼻の体積、頭部または眼窩の円周、頭部輪郭、口、または顎の幅、頭部の上部または背部または顎の湾曲度、および眉間、鼻梁、鼻の先端、人中、下顎点、眼の瞳孔、耳の外耳道、耳介、頭頂、地面のうちの任意の２つの間の距離、身体部分の画像、身体部分の形態／形状、固有画像、固有顔、スケール不変特徴変換、配向勾配のヒストグラム、ピクセルマスク、ピクセルカウント、ボクセル体積、重心、凸多面体、３Ｄメッシュ、色、反射、テクスチャ、パターン、畳み込みから成る群から選択される１つ以上の要素を備える、項目７８に記載のシステム。
（項目８０）
上記１つ以上の静的特徴は、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋを含むニューラルネットワークの重みおよび／または出力、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋを含む、異なる時点におけるニューラルネットワークの重みおよび／または出力、Ｒａｎｄｏｍ Ｆｏｒｅｓｔの重みおよび／または出力、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅの重みおよび／または出力、単純なベイズマシンの重みおよび／または出力、Ｋ平均クラスタリングを含むクラスタリング、教師あり学習、教師なし学習から成る群から選択される１つ以上の要素を備える、項目７８に記載のシステム。
（項目８１）
上記１つ以上の特徴はそれぞれ、単一の身体部分の属性の測定値、または異なる身体部分の属性の測定値間の関係、または１つ以上の身体部分の属性の測定値と環境の測定値との間の関係に基づいて計算される、項目５９−８０のうちのいずれか１項に記載のシステム。
（項目８２）
上記単一の身体部分の属性は、人物の身長、上腕、下腕、上脚、下脚、手、足、頭部、首、または胴の長さまたは幅、頭部または鼻の体積、頭部または眼窩の円周、頭部輪郭、口、または顎の幅、頭部の上部または背部または顎の湾曲度から成る群から選択される１つ以上の要素を備える、項目８１に記載のシステム。
（項目８３）
上記異なる身体部分の属性の測定値間の関係は、胴表面積、胴体積、頭部の長さ、胴の長さ、肢円周のうちの任意の２つの間の比率、眉間、鼻梁、鼻の先端、人中、下顎点、眼の瞳孔、耳の外耳道、耳介、頭頂、地面のうちの任意の２つの間の距離を備える、項目８１または８２に記載のシステム。
（項目８４）
上記１つ以上の特徴は、１つ以上の動的特徴を備える、項目５９−８３のうちのいずれか１項に記載のシステム。
（項目８５）
上記１つ以上の動的特徴は、身体の方向転換の速度、歩行速度、大股で歩く間の２つの脚の間の最大距離、大股で歩く間の肩関節における回転の最大角度、右脚と左脚との間の歩幅長さの差異、車椅子の存在または不在、杖等の補助デバイスの存在または不在、衣類の色または反射の存在または不在、靴の高さ、地面に対する身体の傾斜または振りの角度、胴と脚との間の屈曲の角度、脊柱湾曲度、体温、局所的家具または壁への近接またはそれからの距離、身体のセンサからの距離、胴に対する頭部の配向、センサに対する頭部の配向、センサに対する注視の角度、眼鏡の存在または不在、帽子またはヘルメットの存在または不在、および髪の量から成る群から選択される１つ以上の要素を備える、項目８４に記載のシステム。
（項目８６）
上記１つ以上の動的特徴は、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋを含むニューラルネットワークの重みおよび／または出力、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋを含む、異なる時点におけるニューラルネットワークの重みおよび／または出力、Ｒａｎｄｏｍ Ｆｏｒｅｓｔの重みおよび／または出力、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅの重みおよび／または出力、単純なベイズマシンの重みおよび／または出力、Ｋ平均クラスタリングを含むクラスタリング、教師あり学習、教師なし学習から成る群から選択される１つ以上の要素を備える、項目８４に記載のシステム。
（項目８７）
上記１つ以上の動的特徴はそれぞれ、１）−３）、すなわち、１）時間、空間、または他の着目測定単位にわたる単一の身体部分の属性の変動、２）時間、空間、または他の着目測定単位にわたる異なる身体部分の特徴間の関係の変動、および３）時間、空間、または他の着目測定単位にわたる上記人物の異なる身体区画に対する環境またはその関係の変動のうちの少なくとも１つに基づいて計算される、項目８４−８６のうちのいずれか１項に記載のシステム。
（項目８８）
上記識別は、ルールイン識別である、項目５９−８７のうちのいずれか１項に記載のシステム。
（項目８９）
上記識別は、「その他」識別としても公知なルールアウトである、項目５９−８８のうちのいずれか１項に記載のシステム。
（項目９０）
上記１つ以上の特徴は、別の人物を識別するために使用される上記１つ以上の特徴とは異なる上記センサデータ内のフレームまたはフレームのセットから捕捉される、項目５９−８９のうちのいずれか１項に記載のシステム。
（項目９１）
人物毎に、上記識別は、特徴のセットに基づいて、かつそれらの特徴毎の測度の範囲に基づいて判定され、その組み合わせられたものは、特定の人物に対して高度に特有である、項目５９−９０のうちのいずれか１項に記載のシステム。
（項目９２）
上記識別は、少なくとも部分的に、その識別を実施するために使用される上記１つ以上の特徴の忠実度および／または予測力に基づいて判定される、項目５９−９１のうちのいずれか１項に記載のシステム。
（項目９３）
上記１つ以上の特徴は、利用可能なシーン、上記センサ、上記センサデータ、既知のボディプリントの上記ライブラリ、および既知かつ算出可能な特徴の上記ライブラリから成る群から選択される少なくとも１つの要素に基づいて、経時的に変動する、項目５９−９２のうちのいずれか１項に記載のシステム。
（項目９４）
上記１つ以上の特徴および／またはボディプリントは、機械学習またはパターン認識技法によって自動的に計算される、項目５９−９３のうちのいずれか１項に記載のシステム。
（項目９５）
上記１つ以上の特徴および／またはボディプリントは、手動タグ付け等の外部エージェントによって事前または事後情報として提供される、項目５９−９４のうちのいずれか１項に記載のシステム。
（項目９６）
上記１つ以上の特徴および／またはボディプリントは、経時的に更新または修正されることができる、項目５９−９５のうちのいずれか１項に記載のシステム。
（項目９７）
上記センサデータは、センサによって取得され、上記センサデータは、複数のフレームを備え、各フレームは、ピクセルの２次元空間マップとして表され、各ピクセルの強度値は、上記センサからの投影距離に対応する、項目５９−９６のうちのいずれか１項に記載のシステム。
（項目９８）
上記命令は、上記プロセッサによって実行されると、上記プロセッサに、上記１つ以上の特徴に優先順位を付けさせ、それによって、異なるセンサ、異なる時間、異なるボディプリント、および異なる空間的場所から成る群から選択される少なくとも１つの要素を横断して特徴を集約させる、項目５９−９７のうちのいずれか１項に記載のシステム。
（項目９９）
上記１つ以上の特徴は、同一のシーン内の人物毎に異なる、項目９８に記載のシステム。
（項目１００）
上記１つ以上の特徴は、同一の人物に関してであってもフレーム毎に異なる割当を有する、項目９８または９９に記載のシステム。
（項目１０１）
上記センサデータは、飛行時間光検出および測距のうちの少なくとも１つによって、または、上記シーン上に少なくとも１つのエネルギーパターンを投影し、上記パターンの変形を測定することによって取得されるデータを備える、項目５９−１００のうちのいずれか１項に記載のシステム。
（項目１０２）
上記センサデータは、光または音声を使用して取得されるデータを備える、項目５９−１０１のうちのいずれか１項に記載のシステム。
（項目１０３）
上記センサデータは、未加工センサデータ、未加工センサデータから導出される値、または軌跡データから成る群から選択される少なくとも１つのデータタイプを備える、項目５９−１０２のうちのいずれか１項に記載のシステム。
（項目１０４）
上記１つ以上のフレームはそれぞれ、特定の瞬間に先行して、またはその時点のいずれかで取得されたデータを備える１つ以上のデータストリームから成る「スナップショット」に対応する、項目５９−１０３のうちのいずれか１項に記載のシステム。
（項目１０５）
上記１つ以上のフレームは、複数の時点において単一のセンサによって取得された複数のフレーム、または同一または異なる時点において複数のセンサによって取得された複数のフレームのうちの少なくとも１つを備える、項目５９−１０４のうちのいずれか１項に記載のシステム。
（項目１０６）
上記命令は、上記プロセッサによって実行されると、上記プロセッサに、識別された人物毎に信頼性スコアを判定させる、項目５９−１０５のうちのいずれか１項に記載のシステム。
（項目１０７）
上記命令は、上記プロセッサによって実行されると、上記プロセッサに、人物と関連付けられる上記センサデータのサブセットを破棄させる、項目５９−１０６のうちのいずれか１項に記載のシステム。
（項目１０８）
上記識別は、未知の識別を備える、項目５９−１０７のうちのいずれか１項に記載のシステム。
（項目１０９）
上記命令は、上記プロセッサによって実行されると、上記プロセッサに、上記１つ以上の特徴を調節させ、全ての特徴が時間的かつ／または空間的に並置されることを確実にさせる、項目５９−１０８のうちのいずれか１項に記載のシステム。
（項目１１０）
上記１つ以上の特徴のうちの少なくとも１つは、上記センサにおける、または計算方法論におけるタイミング遅延またはバイアスを調節するために、オフセット補正される、待ち時間補正される、または空間的に並置される、項目５９−１０９のうちのいずれか１項に記載のシステム。
（項目１１１）
特徴の上記忠実度は、上記シーンの組成、利用されているセンサのタイプ、および取得されているデータのタイプから成る群から選択される少なくとも１つの要素に依存する、項目９２に記載のシステム。
（項目１１２）
上記個別のセグメント化を識別するステップは、上記人物が自然に動き回っている間に実施される、項目５９−１１１のうちのいずれか１項に記載のシステム。
（項目１１３）
上記個別のセグメント化を識別するステップは、リアルタイムで、またはほぼリアルタイムで実施される、項目１１２に記載のシステム。
（項目１１４）
上記個別のセグメント化を識別するステップは、遅延後に、または同じく、データ取得が起こった時間とは実質的に異なる時間に実施される、項目５９−１１３のうちのいずれか１項に記載のシステム。
（項目１１５）
上記個別のセグメント化を識別するステップは、遡及的に実施される、項目５９−１１４のうちのいずれか１項に記載のシステム。
（項目１１６）
上記人物は、上記センサから、０．１メートルを上回る、０．５メートルを上回る、１メートルを上回る、２メートルを上回る、５メートルを上回る距離に位置する、項目５９−１１５のうちのいずれか１項に記載のシステム。
（項目１１７）
少なくとも部分的に、奥行きデータに基づいて、センサ場内の事前登録された人間個人の離散セットのうちの１つのリアルタイムまたはほぼリアルタイムの識別の方法であって、上記方法は、
コンピューティングデバイスのプロセッサによって、少なくとも部分的に、上記１つ以上のセンサによって取得された奥行きデータに基づいて、上記センサ場内で検出された人間に特徴的な複数の特徴のそれぞれを定量化するステップと、
上記プロセッサによって、上記センサ場内で検出された人間に関する定量化された複数の特徴に基づいて、１つ以上のボディプリントを定量化するステップと、
上記プロセッサによって、リアルタイムまたはほぼリアルタイムで、少なくとも部分的に、上記１つ以上のボディプリントに基づいて、事前登録された人間個人のセット間から上記センサ場内で検出された人間を肯定的に識別するステップと、
を含む、方法。
（項目１１８）
少なくとも部分的に、上記１つ以上のボディプリントに基づいて、上記肯定的に識別された個人が従事する活動を判定するステップを含む、項目１１７に記載の方法。
（項目１１９）
上記人間を肯定的に識別するステップは、奥行きデータに対して排他的に実施される、項目１１７または１１８に記載の方法。
（項目１２０）
上記奥行きデータは、１つ以上のセンサによって取得される１つ以上の奥行きマップを備える、項目１１７−１１９に記載の方法。
（項目１２１）
上記奥行きデータは、視覚画像を備えていない、項目１１７−１２０に記載の方法。
（項目１２２）
上記人間を肯定的に識別するステップは、写真静止またはビデオ画像の使用を伴わずに遂行され、それによって、上記個人の個人的プライバシーを保護する、項目１１７−１２１のうちのいずれか１項に記載の方法。
（項目１２３）
上記複数の特徴は、少なくとも１つの静的特徴および／または少なくとも１つの動的特徴を備える、項目１１７−１２２のうちのいずれか１項に記載の方法。
（項目１２４）
上記事前登録された人間個人のセットは、１００人以下の、５０人以下の、２５人以下の、１０人以下の、６人以下の、５人以下の、４人以下の、３人以下の、２人以下の、または１人以下の人間個人を備える、項目１１７−１２３のうちのいずれか１項に記載の方法。
（項目１２５）
上記人間は、少なくとも８０％、少なくとも９０％、少なくとも９５％、または少なくとも９９％の信頼性とともに肯定的に識別される、項目１１７−１２４のうちのいずれか１項に記載の方法。
（項目１２６）
上記プロセッサによって、上記センサ場内で検出された上記肯定的に識別された人間の名前を表示し、随意に、上記肯定的に識別された個人が従事する上記判定された活動のグラフィカルインジケーションを表示するステップを含む、項目１１７−１２５のうちのいずれか１項に記載の方法。
（項目１２７）
人物の身体的測定値を介して上記人物の痛み、疲労、気分、および意図のうちの少なくとも１つを識別および／または定量化する方法であって、上記方法は、
コンピューティングデバイスのプロセッサによって、センサによって取得されるセンサデータを備えるデータセットを受信するステップと、
上記プロセッサによって、上記データセットに基づいて、上記人物の移動、活動、および挙動から成る群から選択される少なくとも１つの要素を特性評価するステップであって、上記特性評価するステップは、
上記データセット内に表される１人以上の人物を、相互に、かつ上記データセット内に表される環境物体からセグメント化するステップと、
上記１人以上のセグメント化された人物のうちの少なくとも１人の少なくとも１つの特徴を計算するステップと、
上記少なくとも１つの特徴をある関係と相関させることに基づいて、結論を判定するステップと、
を含む、ステップと、
上記プロセッサによって、上記結論を出力するステップと、
を含む、方法。
（項目１２８）
上記データセット内に表される１人以上の人物をセグメント化するステップは、機械学習および／またはパターン認識技法を実施するステップを含む、項目１２７に記載の方法。
（項目１２９）
上記関係は、学習された関係である、項目１２７または１２８に記載の方法。
（項目１３０）
上記少なくとも１つの特徴は、直接測定値である身体的測定値を備える、項目１２７−１２９のうちのいずれか１項に記載の方法。
（項目１３１）
上記少なくとも１つの特徴は、間接的測定値である身体的測定値を備える、項目１２７−１３０のうちのいずれか１項に記載の方法。
（項目１３２）
上記結論は、不完全な測定値に基づく、項目１２７−１３１のうちのいずれか１項に記載の方法。
（項目１３３）
上記少なくとも１つの特徴は、非連続、非隣接、不完全、一貫性のない、非逐次のうちの少なくとも１つである上記データセット内の測定値に基づく、項目１２７−１３２のうちのいずれか１項に記載の方法。
（項目１３４）
上記結論は、いくつかの異なるタイプおよび組み合わせの特徴の統合に基づく、項目１２７−１３３のうちのいずれか１項に記載の方法。
（項目１３５）
上記データセット内のセンサデータは、センサから直接取得される、および／または付加的処理を受けている、項目１２７−１３４のうちのいずれか１項に記載の方法。
（項目１３６）
上記データセットは、１つ以上のフレームを備える、項目１２７に記載の方法。
（項目１３７）
上記１つ以上のフレームの各フレームは、特定の瞬間に先行して、またはその時点のいずれかで取得されたデータを備える１つ以上のデータストリームのスナップショットに対応する、項目１３６に記載の方法。
（項目１３８）
上記１つ以上のフレームは、複数の時点において単一のセンサによって捕捉される、および／または複数のセンサによって捕捉される、項目１３６に記載の方法。
（項目１３９）
上記データセットは、略リアルタイムで取得される、バッチモードで取得される、またはデータベース内に以前に記憶されたデータから取得される、項目１２７−１３８のうちのいずれか１項に記載の方法。
（項目１４０）
非プライベートであると判定されたデータのタイプを破棄するステップを含む、項目１２７−１３９のうちのいずれか１項に記載の方法。
（項目１４１）
上記プロセッサによって、後続分析のために上記データセットを事前処理するステップを含み、上記事前処理するステップは、上記データセットをフィルタ処理するステップ、条件付けするステップ、クリーニングするステップ、および正規化するステップから成る群から選択される１つ以上のステップを含む、項目１２７−１４０のうちのいずれか１項に記載の方法。
（項目１４２）
上記プロセッサによって、後続分析のために上記データセットを事前処理するステップを含み、上記事前処理するステップは、上記データセットからの未加工データまたは計算された特徴に対して実施される、項目１２７−１４１のうちのいずれか１項に記載の方法。
（項目１４３）
上記セグメント化するステップは、上記セグメント化された人物の識別に関するいずれの情報も伴わずに実施される、項目１２７−１４２のうちのいずれか１項に記載の方法。
（項目１４４）
セグメント化した後、計算された特徴を具体的個人と関連付けるために、上記１人以上のセグメント化された人物毎に標識を判定するステップを含む、項目１２７−１４３のうちのいずれか１項に記載の方法。
（項目１４５）
上記少なくとも１つの特徴は、肢長さ、足サイズ、頭部形状、身長、身体割合、身体体積、音声周波数スペクトル、声量、歩幅長さ、視野内の場所、および腕を上げる速度から成る群から選択される少なくとも１つの要素を備える、項目１２７−１４４のうちのいずれか１項に記載の方法。
（項目１４６）
上記プロセッサによって、機械学習および／またはパターン認識技法を使用して、上記少なくとも１つの特徴を自動的に計算するステップを含む、項目１２７−１４５のうちのいずれか１項に記載の方法。
（項目１４７）
上記少なくとも１つの特徴を計算するステップは、上記具体的特徴の可用性および上記出力される結論に関する関連度のうちの少なくとも１つに基づいて、中断される、項目１２７−１４６のうちのいずれか１項に記載の方法。
（項目１４８）
上記プロセッサによって、上記データセットに基づいて、移動、活動、または挙動の所望の特性を判定するステップは、セグメント化する前に、上記プロセッサによって、後続分析のために上記データセットを事前処理するステップを含む、項目１２７−１４７のうちのいずれか１項に記載の方法。
（項目１４９）
上記関係は、事前判定される、項目１２７−１４８のうちのいずれか１項に記載の方法。
（項目１５０）
上記学習された関係は、グラウンドトゥルースに基づく、項目１２８に記載の方法。
（項目１５１）
人物の身体的測定値を介して上記人物の痛み、疲労、気分、および意図のうちの少なくとも１つを識別および／または定量化するためのシステムであって、上記システムは、
上記人物に対応するデータを取得するための、センサと、
プロセッサと、
メモリであって、上記メモリは、その上に記憶される命令を有しており、上記命令は、上記プロセッサによって実行されると、上記プロセッサに、
センサによって取得されるセンサデータを備えるデータセットを受信することと、
上記データセットに基づいて、
上記データセット内に表される１人以上の人物を、相互に、かつ上記データセット内に表される環境物体からセグメント化するステップと、
上記１人以上のセグメント化された人物のうちの少なくとも１人の少なくとも１つの特徴を計算するステップと、
上記少なくとも１つの特徴をある関係と相関させることに基づいて、上記人物の結論を判定するステップと、
によって、上記人物の移動、活動、および挙動のうちの少なくとも１つを特性評価させることと、
上記結論を出力することと
を行わせる、メモリと、
を備える、システム。
（項目１５２）
上記データセット内に表される１人以上の人物をセグメント化するステップは、機械学習および／またはパターン認識技法を実施するステップを含む、項目１５１に記載のシステム。
（項目１５３）
上記センサデータを取得するために、赤外線飛行時間センサをさらに備える、項目５９−１１６のうちのいずれか１項に記載のシステム。
（項目１５４）
ディスプレイと、上記プロセッサおよびメモリのための筐体とをさらに備える、項目５９−１１６または１５３のうちのいずれか１項に記載のシステム。

Claims (154)

  1. センサデータから１人以上の着目人物の表現を識別する方法であって、前記センサデータは、その中に人物を伴う周辺環境の表現を含有しており、前記方法は、
    （ａ）コンピューティングデバイスのプロセッサによって、１つ以上のフレームからセンサデータを受信するステップであって、前記センサデータは、人物の表現と、前記周辺環境の表現とを備え、前記人物の表現は、前記１人以上の着目人物の表現を備える、ステップと、
    （ｂ）前記プロセッサによって、前記センサデータ内の人物の各表現が、前記センサデータの個別のセグメント化と関連付けられるように、前記センサデータを前記センサデータ内の前記人物のそれぞれの固有の表現にセグメント化し、それによって、前記センサデータ内の前記周辺環境の表現から前記人物のそれぞれの表現を区別するステップと、
    （ｃ）前記プロセッサによって、前記センサデータの各セグメント化から１つ以上の身体部分を分離するステップと、
    （ｄ）前記プロセッサによって、前記センサデータのセグメント化毎に、前記センサデータの前記個別のセグメント化の１つ以上の分離された身体部分に基づいて、前記人物の個別の表現と関連付けられる１つ以上の特徴毎の測度を判定するステップと、
    （ｅ）前記プロセッサによって、前記センサデータのセグメント化毎に、前記人物の個別の表現と関連付けられる１つ以上の特徴の判定された測度の組み合わせが、前記１人以上の着目人物のうちの１人のボディプリントに対応するかどうかを判定し、それによって、前記センサデータの個別のセグメント化を着目人物として識別するステップと、
    （ｆ）前記プロセッサによって、前記データのセグメント化が前記対応する着目人物の識別と関連付けられるように、前記１人以上の着目人物のうちの１人のボディプリントに対応する前記人物の個別の表現と関連付けられるデータのセグメント化を記憶するステップと、
    を含む、方法。
  2. 前記プロセッサによって、前記センサデータを前記センサデータ内の前記人物のそれぞれの固有の表現にセグメント化するステップは、機械学習および／またはパターン認識技法を実施するステップを含む、請求項１に記載の方法。
  3. 前記プロセッサによって、前記センサデータの各セグメント化から前記１つ以上の身体部分を分離するステップは、機械学習および／またはパターン認識技法を実施するステップを含む、請求項１または２に記載の方法。
  4. 前記１人以上の着目人物はそれぞれ、識別のために登録される、請求項１−３のいずれか１項に記載の方法。
  5. 前記個別のセグメント化を識別するステップは、分類子の出力に基づく、請求項１−４のいずれか１項に記載の方法。
  6. 前記個別のセグメント化を識別するステップは、ルールまたはカテゴリまたはヒューリスティックに基づく、前記請求項のうちのいずれか１項に記載の方法。
  7. 前記１人以上の着目人物毎に、前記プロセッサによって、メモリデバイス内に、識別およびボディプリントを記憶するステップを含み、各ボディプリントは、前記１人以上の着目人物内の個別の着目人物に対してともに特有であるそれらの特徴毎の測度の範囲と組み合わせられる特徴のセットを備え、各識別は、ボディプリントと関連付けられる、前記請求項のうちのいずれか１項に記載の方法。
  8. 前記プロセッサによって、前記個別の１つ以上の特徴の判定された測度および各ボディプリントの特徴のセットの対応するサブセットからの測度を比較し、前記個別の１つ以上の特徴の判定された測度が、前記ボディプリントの特徴の対応するサブセットに関する測度の範囲内であるかどうかを判定するステップを含む、請求項７に記載の方法。
  9. １人以下の人物、２人以下の人物、３人以下の人物、４人以下の人物、５人以下の人物、６人以下の人物、１０人以下の人物、２５人以下の人物、５０人以下の人物、１００人以下の人物が、識別のために登録される、前記請求項のうちのいずれか１項に記載の方法。
  10. 顔特徴が、前記センサデータから省略される、前記請求項のうちのいずれか１項に記載の方法。
  11. 全ての視覚データが、前記センサデータから省略される、前記請求項のうちのいずれか１項に記載の方法。
  12. 前記人物のうちの少なくとも１人は、「他人」として識別される、前記請求項のうちのいずれか１項に記載の方法。
  13. １つ以上の身体部分を分離するステップは、前記プロセッサによって、前記データセットの特質、前記センサのタイプ、前記人物に対して利用可能な非閉塞データの量、前記センサデータのセグメント化内の身体部分の表現の可用性、着目人物に関するボディプリントの可用性、および計算のために利用可能な特徴のライブラリから成る群から選択される少なくとも１つの性質に基づいて、センサデータの各セグメント化内のどの身体部分を分離するかを判定するステップを含む、前記請求項のうちのいずれか１項に記載の方法。
  14. 前記１つ以上の身体部分は、フレーム内の人物毎に異なり得る、前記請求項のうちのいずれか１項に記載の方法。
  15. 前記１つ以上の測度は、面積、体積、円周、閉曲線、非閉曲線、長さ、空間的場所、角度、画像、形態／形状、強度、フィルタ処理された出力、数値的重みのセット、数学的スケーリング、数学的変換、数学的畳み込み、一般化された数学的演算、または前述のいずれかの変化率から成る群から選択される１つ以上の要素を備える、前記請求項のうちのいずれか１項に記載の方法。
  16. 人物毎に、測度がフレーム内の人物毎に判定されるべきである１つ以上の候補特徴のセットからサブセットを選択するステップを含む、前記請求項のうちのいずれか１項に記載の方法。
  17. 前記１つ以上の特徴のうちの少なくとも１つは、任意の所与のフレームまたは一連のフレームにおいて利用不可能または算出不可能である、前記請求項のうちのいずれか１項に記載の方法。
  18. 前記１つ以上の特徴はそれぞれ、１つ以上のフレームに基づいて計算される、前記請求項のうちのいずれか１項に記載の方法。
  19. 前記１つ以上のフレームは、複数の連続または非連続フレームを備える、請求項１８に記載の方法。
  20. 前記１つ以上の特徴は、１つ以上の静的特徴を備える、前記請求項のうちのいずれか１項に記載の方法。
  21. 前記１つ以上の静的特徴は、人物の身長、肩から肩までの幅、上腕、下腕、上脚、下脚、手、足、頭部、首、または胴の長さまたは幅、胴表面積、胴体積、頭部の長さ、胴の長さ、肢円周のうちの任意の２つの間の比率、頭部または鼻の体積、頭部または眼窩の円周、頭部輪郭、口、または顎の幅、頭部の上部または背部または顎の湾曲度、および眉間、鼻梁、鼻の先端、人中、下顎点、眼の瞳孔、耳の外耳道、耳介、頭頂、地面のうちの任意の２つの間の距離、身体部分の画像、身体部分の形態／形状、固有画像、固有顔、スケール不変特徴変換、配向勾配のヒストグラム、ピクセルマスク、ピクセルカウント、ボクセル体積、重心、凸多面体、３Ｄメッシュ、色、反射、テクスチャ、パターン、畳み込みから成る群から選択される１つ以上の要素を備える、請求項２０に記載の方法。
  22. 前記１つ以上の静的特徴は、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋを含むニューラルネットワークの重みおよび／または出力、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋを含む、異なる時点におけるニューラルネットワークの重みおよび／または出力、Ｒａｎｄｏｍ Ｆｏｒｅｓｔの重みおよび／または出力、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅの重みおよび／または出力、単純なベイズマシンの重みおよび／または出力、Ｋ平均クラスタリングを含むクラスタリング、教師あり学習、教師なし学習から成る群から選択される１つ以上の要素を備える、請求項２０に記載の方法。
  23. 各特徴は、単一の身体部分の属性の測定値、または異なる身体部分の属性の測定値間の関係、または１つ以上の身体部分の属性の測定値と環境の測定値との間の関係に基づいて計算される、前記請求項のうちのいずれか１項に記載の方法。
  24. 前記単一の身体部分の属性は、人物の身長、上腕、下腕、上脚、下脚、手、足、頭部、首、または胴の長さまたは幅、頭部または鼻の体積、頭部または眼窩の円周、頭部輪郭、口、または顎の幅、頭部の上部または背部または顎の湾曲度から成る群から選択される１つ以上の要素を備える、請求項２３に記載の方法。
  25. 前記異なる身体部分の属性の測定値間の関係は、胴表面積、胴体積、頭部の長さ、胴の長さ、肢円周のうちの任意の２つの間の比率、眉間、鼻梁、鼻の先端、人中、下顎点、眼の瞳孔、耳の外耳道、耳介、頭頂、地面のうちの任意の２つの間の距離を備える、請求項２３または２４に記載の方法。
  26. 前記１つ以上の特徴は、１つ以上の動的特徴を備える、前記請求項のうちのいずれか１項に記載の方法。
  27. 前記１つ以上の動的特徴は、身体の方向転換の速度、歩行速度、大股で歩く間の２つの脚の間の最大距離、大股で歩く間の肩関節における回転の最大角度、右脚と左脚との間の歩幅長さの差異、車椅子の存在または不在、杖等の補助デバイスの存在または不在、衣類の色または反射の存在または不在、靴の高さ、地面に対する身体の傾斜または振りの角度、胴と脚との間の屈曲の角度、脊柱湾曲度、体温、局所的家具または壁への近接またはそれからの距離、身体のセンサからの距離、胴に対する頭部の配向、センサに対する頭部の配向、センサに対する注視の角度、眼鏡の存在または不在、帽子またはヘルメットの存在または不在、および髪の量から成る群から選択される１つ以上の要素を備える、請求項２６に記載の方法。
  28. 前記１つ以上の動的特徴は、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋを含むニューラルネットワークの重みおよび／または出力、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋを含む、異なる時点におけるニューラルネットワークの重みおよび／または出力、Ｒａｎｄｏｍ Ｆｏｒｅｓｔの重みおよび／または出力、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅの重みおよび／または出力、単純なベイズマシンの重みおよび／または出力、Ｋ平均クラスタリングを含むクラスタリング、教師あり学習、教師なし学習から成る群から選択される１つ以上の要素を備える、請求項２６に記載の方法。
  29. 前記１つ以上の動的特徴はそれぞれ、１）−３）、すなわち、１）時間、空間、または他の着目測定単位にわたる単一の身体部分の属性の変動、２）時間、空間、または他の着目測定単位にわたる異なる身体部分の特徴間の関係の変動、および３）時間、空間、または他の着目測定単位にわたる前記人物の異なる身体区画に対する環境またはその関係の変動のうちの少なくとも１つに基づいて計算される、請求項２６−２８のうちのいずれか１項に記載の方法。
  30. 前記識別は、ルールイン識別である、前記請求項のうちのいずれか１項に記載の方法。
  31. 前記識別は、「その他」識別としても公知なルールアウトである、前記請求項のうちのいずれか１項に記載の方法。
  32. 前記１つ以上の特徴は、別の人物を識別するために使用される前記１つ以上の特徴とは異なる前記センサデータ内のフレームまたはフレームのセットから捕捉される、前記請求項のうちのいずれか１項に記載の方法。
  33. 人物毎に、前記識別は、特徴のセットに基づいて、かつそれらの特徴毎の測度の範囲に基づいて判定され、その組み合わせられたものは、特定の人物に対して高度に特有である、前記請求項のうちのいずれか１項に記載の方法。
  34. 人物毎に、前記識別は、少なくとも部分的に、その識別を実施するために使用される前記１つ以上の特徴の忠実度および／または予測力に基づいて判定される、前記請求項のうちのいずれか１項に記載の方法。
  35. 前記１つ以上の特徴は、利用可能なシーン、前記センサ、前記センサデータ、既知のボディプリントの前記ライブラリ、および既知かつ算出可能な特徴の前記ライブラリから成る群から選択される少なくとも１つの要素に基づいて、経時的に変動する、前記請求項のうちのいずれか１項に記載の方法。
  36. 前記１つ以上の特徴および／またはボディプリントは、機械学習および／またはパターン認識技法によって自動的に計算される、前記請求項のうちのいずれか１項に記載の方法。
  37. 前記１つ以上の特徴および／またはボディプリントは、手動タグ付け等の外部エージェントによって事前または事後情報として提供される、前記請求項のうちのいずれか１項に記載の方法。
  38. 前記１つ以上の特徴および／またはボディプリントは、経時的に更新または修正されることができる、前記請求項のうちのいずれか１項に記載の方法。
  39. センサによって、センサデータを取得するステップを含み、前記センサデータは、複数のフレームを備え、各フレームは、ピクセルの２次元空間マップとして表され、各ピクセルの強度値は、前記センサからの投影距離に対応する、前記請求項のうちのいずれか１項に記載の方法。
  40. 前記プロセッサによって、前記１つ以上の特徴に優先順位を付けるステップを含み、前記優先順位を付けるステップは、異なるセンサ、異なる時間、異なるボディプリント、および異なる空間的場所から成る群から選択される少なくとも１つの要素を横断して特徴を集約するステップを含む、前記請求項のうちのいずれか１項に記載の方法。
  41. 前記１つ以上の特徴は、同一のシーン内の人物毎に異なる、請求項４０に記載の方法。
  42. 前記１つ以上の特徴は、同一の人物に関してであってもフレーム毎に異なる割当を有する、請求項４０または４１に記載の方法。
  43. 前記センサデータは、飛行時間光検出および測距のうちの少なくとも１つによって、または、前記シーン上に少なくとも１つのエネルギーパターンを投影し、前記パターンの変形を測定することによって取得されるデータを備える、前記請求項のうちのいずれか１項に記載の方法。
  44. 前記センサデータは、光または音声を使用して取得されるデータを備える、前記請求項のうちのいずれか１項に記載の方法。
  45. 前記センサデータは、未加工センサデータ、未加工センサデータから導出される値、および軌跡データから成る群から選択される少なくとも１つのデータタイプを備える、前記請求項のうちのいずれか１項に記載の方法。
  46. 前記１つ以上のフレームはそれぞれ、特定の瞬間に先行して、またはその時点のいずれかで取得されたデータを備える１つ以上のデータストリームから成る「スナップショット」に対応する、前記請求項のうちのいずれか１項に記載の方法。
  47. 前記１つ以上のフレームは、複数の時点において単一のセンサによって取得された複数のフレーム、または同一または異なる時点において複数のセンサによって取得された複数のフレームのうちの少なくとも１つを備える、前記請求項のうちのいずれか１項に記載の方法。
  48. 前記プロセッサによって、識別された人物毎に信頼性スコアを判定するステップを含む、前記請求項のうちのいずれか１項に記載の方法。
  49. 前記プロセッサによって、人物と関連付けられる前記センサデータのサブセットを破棄するステップを含む、前記請求項のうちのいずれか１項に記載の方法。
  50. 前記識別は、未知の識別を備える、前記請求項のうちのいずれか１項に記載の方法。
  51. 前記プロセッサによって、前記１つ以上の特徴を調節し、全ての特徴が時間的かつ／または空間的に並置されることを確実にするステップを含む、前記請求項のうちのいずれか１項に記載の方法。
  52. 前記１つ以上の特徴のうちの少なくとも１つは、前記センサにおける、または計算方法論におけるタイミング遅延またはバイアスを調節するために、オフセット補正される、待ち時間補正される、または空間的に並置される、前記請求項のうちのいずれか１項に記載の方法。
  53. 特徴の前記忠実度は、前記シーンの組成、利用されているセンサのタイプ、および取得されているデータのタイプから成る群から選択される少なくとも１つの要素に依存する、請求項３４に記載の方法。
  54. 前記識別するステップは、前記人物が自然に動き回っている間に実施される、前記請求項のうちのいずれか１項に記載の方法。
  55. 前記識別するステップは、リアルタイムで、またはほぼリアルタイムで実施される、請求項５４に記載の方法。
  56. 前記識別するステップは、遅延後に、または同じく、データ取得が起こった時間とは実質的に異なる時間に実施される、前記請求項のうちのいずれか１項に記載の方法。
  57. 前記識別するステップは、遡及的に実施される、前記請求項のうちのいずれか１項に記載の方法。
  58. 前記人物は、前記センサから、０．１メートルを上回る、０．５メートルを上回る、１メートルを上回る、２メートルを上回る、５メートルを上回る距離に位置する、前記請求項のうちのいずれか１項に記載の方法。
  59. センサデータから１人以上の着目人物の表現を識別するためのシステムであって、前記センサデータは、その中に人物を伴う周辺環境の表現を含有しており、前記システムは、
    プロセッサと、
    メモリであって、前記メモリは、その上に命令を記憶しており、前記命令は、前記プロセッサによって実行されると、前記プロセッサに、
    センサデータ内の人物の各表現が、前記センサデータの個別のセグメント化と関連付けられるように、１つ以上のフレームからの前記センサデータを前記センサデータ内の前記人物のそれぞれの固有の表現にセグメント化し、それによって、前記センサデータ内の前記周辺環境の表現から前記人物のそれぞれの表現を区別することであって、前記センサデータは、人物の表現と、前記周辺環境の表現とを備え、前記人物の表現は、前記１人以上の着目人物の表現を備える、ことと、
    前記センサデータの各セグメント化から１つ以上の身体部分を分離することと、
    前記センサデータのセグメント化毎に、前記センサデータの前記個別のセグメント化の１つ以上の分離された身体部分に基づいて、前記人物の個別の表現と関連付けられる１つ以上の特徴毎の測度を判定することと、
    前記センサデータのセグメント化毎に、前記人物の個別の表現と関連付けられる１つ以上の特徴の判定された測度の組み合わせが、前記１人以上の着目人物のうちの１人のボディプリントに対応するかどうかを判定し、それによって、前記センサデータの個別のセグメント化を着目人物として識別することと、
    前記データのセグメント化が前記対応する着目人物の識別と関連付けられるように、前記１人以上の着目人物のうちの１人のボディプリントに対応する前記人物の個別の表現と関連付けられるデータのセグメント化を記憶することと
    を行わせる、メモリと、
    を備える、システム。
  60. 前記命令は、前記プロセッサによって実行されると、前記プロセッサに、機械学習および／またはパターン認識技法を実施させ、前記センサデータを前記センサデータ内の前記人物のそれぞれの固有の表現にセグメント化させる、請求項５９に記載のシステム。
  61. 前記命令は、前記プロセッサによって実行されると、前記プロセッサに、機械学習および／またはパターン認識技法を実施させ、前記センサデータの各セグメント化から前記１つ以上の身体部分を分離させる、請求項５９または６０に記載のシステム。
  62. 前記１人以上の着目人物はそれぞれ、識別のために登録される、請求項５９−６１のいずれか１項に記載のシステム。
  63. 前記個別のセグメント化を識別するステップは、分類子の出力に基づく、請求項５９−６２のいずれか１項に記載のシステム。
  64. 前記個別のセグメント化を識別するステップは、ルールまたはカテゴリまたはヒューリスティックに基づく、請求項５９−６３のうちのいずれか１項に記載のシステム。
  65. 前記命令は、前記プロセッサによって実行されると、前記プロセッサに、前記１人以上の着目人物毎に、メモリデバイス内に、識別およびボディプリントを記憶させ、各ボディプリントは、前記１人以上の着目人物内の個別の着目人物に対してともに特有であるそれらの特徴毎の測度の範囲と組み合わせられる特徴のセットを備え、各識別は、ボディプリントと関連付けられる、請求項５９−６４のうちのいずれか１項に記載のシステム。
  66. 前記命令は、前記プロセッサによって実行されると、前記プロセッサに、前記個別の１つ以上の特徴の判定された測度および各ボディプリントの特徴のセットの対応するサブセットからの測度を比較させ、前記個別の１つ以上の特徴の判定された測度が、前記ボディプリントの特徴の対応するサブセットに関する測度の範囲内であるかどうかを判定させる、請求項６５に記載のシステム。
  67. １人以下の人物、２人以下の人物、３人以下の人物、４人以下の人物、５人以下の人物、６人以下の人物、１０人以下の人物、２５人以下の人物、５０人以下の人物、１００人以下の人物が、識別のために登録される、請求項５９−６６のうちのいずれか１項に記載のシステム。
  68. 顔特徴が、前記センサデータから省略される、請求項５９−６７のうちのいずれか１項に記載のシステム。
  69. 全ての視覚データが、前記センサデータから省略される、請求項５９−６８のうちのいずれか１項に記載のシステム。
  70. 前記人物のうちの少なくとも１人は、「他人」として識別される、請求項５９−６９のうちのいずれか１項に記載のシステム。
  71. 前記命令は、前記プロセッサによって実行されると、前記プロセッサに、前記データセットの特質、前記センサのタイプ、前記人物に対して利用可能な非閉塞データの量、前記センサデータのセグメント化内の身体部分の表現の可用性、着目人物に関するボディプリントの可用性、および計算のために利用可能な特徴のライブラリから成る群から選択される少なくとも１つの性質に基づいて、センサデータの各セグメント化内のどの身体部分を分離するかを判定させる、請求項５９−７０のうちのいずれか１項に記載のシステム。
  72. 分離される前記１つ以上の身体部分は、フレーム内の人物毎に異なり得る、請求項５９−７１のうちのいずれか１項に記載のシステム。
  73. 前記１つ以上の特徴の前記１つ以上の測度はそれぞれ、面積、体積、円周、閉曲線、非閉曲線、長さ、空間的場所、角度、画像、形態／形状、強度、フィルタ処理された出力、数値的重みのセット、数学的スケーリング、数学的変換、数学的畳み込み、一般化された数学的演算、または前述のいずれかの変化率から成る群から選択される１つ以上の要素を備える、請求項５９−７２のうちのいずれか１項に記載のシステム。
  74. 前記命令は、前記プロセッサによって実行されると、前記プロセッサに、人物毎に、どの特徴がフレーム内の人物毎に計算され得、計算されるべきかを判定させる、請求項５９−７３のうちのいずれか１項に記載のシステム。
  75. 前記１つ以上の特徴のうちの少なくとも１つは、任意の所与のフレームまたは一連のフレームにおいて利用不可能または算出不可能である、請求項５９−７４のうちのいずれか１項に記載のシステム。
  76. 前記１つ以上の特徴はそれぞれ、１つ以上のフレームに基づいて計算される、請求項５９−７５のうちのいずれか１項に記載のシステム。
  77. 前記１つ以上のフレームは、複数の連続または非連続フレームを備える、請求項７６に記載のシステム。
  78. 前記１つ以上の特徴は、１つ以上の静的特徴を備える、請求項５９−７７のうちのいずれか１項に記載のシステム。
  79. 前記１つ以上の静的特徴は、人物の身長、肩から肩までの幅、上腕、下腕、上脚、下脚、手、足、頭部、首、または胴の長さまたは幅、胴表面積、胴体積、頭部の長さ、胴の長さ、肢円周のうちの任意の２つの間の比率、頭部または鼻の体積、頭部または眼窩の円周、頭部輪郭、口、または顎の幅、頭部の上部または背部または顎の湾曲度、および眉間、鼻梁、鼻の先端、人中、下顎点、眼の瞳孔、耳の外耳道、耳介、頭頂、地面のうちの任意の２つの間の距離、身体部分の画像、身体部分の形態／形状、固有画像、固有顔、スケール不変特徴変換、配向勾配のヒストグラム、ピクセルマスク、ピクセルカウント、ボクセル体積、重心、凸多面体、３Ｄメッシュ、色、反射、テクスチャ、パターン、畳み込みから成る群から選択される１つ以上の要素を備える、請求項７８に記載のシステム。
  80. 前記１つ以上の静的特徴は、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋを含むニューラルネットワークの重みおよび／または出力、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋを含む、異なる時点におけるニューラルネットワークの重みおよび／または出力、Ｒａｎｄｏｍ Ｆｏｒｅｓｔの重みおよび／または出力、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅの重みおよび／または出力、単純なベイズマシンの重みおよび／または出力、Ｋ平均クラスタリングを含むクラスタリング、教師あり学習、教師なし学習から成る群から選択される１つ以上の要素を備える、請求項７８に記載のシステム。
  81. 前記１つ以上の特徴はそれぞれ、単一の身体部分の属性の測定値、または異なる身体部分の属性の測定値間の関係、または１つ以上の身体部分の属性の測定値と環境の測定値との間の関係に基づいて計算される、請求項５９−８０のうちのいずれか１項に記載のシステム。
  82. 前記単一の身体部分の属性は、人物の身長、上腕、下腕、上脚、下脚、手、足、頭部、首、または胴の長さまたは幅、頭部または鼻の体積、頭部または眼窩の円周、頭部輪郭、口、または顎の幅、頭部の上部または背部または顎の湾曲度から成る群から選択される１つ以上の要素を備える、請求項８１に記載のシステム。
  83. 前記異なる身体部分の属性の測定値間の関係は、胴表面積、胴体積、頭部の長さ、胴の長さ、肢円周のうちの任意の２つの間の比率、眉間、鼻梁、鼻の先端、人中、下顎点、眼の瞳孔、耳の外耳道、耳介、頭頂、地面のうちの任意の２つの間の距離を備える、請求項８１または８２に記載のシステム。
  84. 前記１つ以上の特徴は、１つ以上の動的特徴を備える、請求項５９−８３のうちのいずれか１項に記載のシステム。
  85. 前記１つ以上の動的特徴は、身体の方向転換の速度、歩行速度、大股で歩く間の２つの脚の間の最大距離、大股で歩く間の肩関節における回転の最大角度、右脚と左脚との間の歩幅長さの差異、車椅子の存在または不在、杖等の補助デバイスの存在または不在、衣類の色または反射の存在または不在、靴の高さ、地面に対する身体の傾斜または振りの角度、胴と脚との間の屈曲の角度、脊柱湾曲度、体温、局所的家具または壁への近接またはそれからの距離、身体のセンサからの距離、胴に対する頭部の配向、センサに対する頭部の配向、センサに対する注視の角度、眼鏡の存在または不在、帽子またはヘルメットの存在または不在、および髪の量から成る群から選択される１つ以上の要素を備える、請求項８４に記載のシステム。
  86. 前記１つ以上の動的特徴は、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋを含むニューラルネットワークの重みおよび／または出力、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋを含む、異なる時点におけるニューラルネットワークの重みおよび／または出力、Ｒａｎｄｏｍ Ｆｏｒｅｓｔの重みおよび／または出力、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅの重みおよび／または出力、単純なベイズマシンの重みおよび／または出力、Ｋ平均クラスタリングを含むクラスタリング、教師あり学習、教師なし学習から成る群から選択される１つ以上の要素を備える、請求項８４に記載のシステム。
  87. 前記１つ以上の動的特徴はそれぞれ、１）−３）、すなわち、１）時間、空間、または他の着目測定単位にわたる単一の身体部分の属性の変動、２）時間、空間、または他の着目測定単位にわたる異なる身体部分の特徴間の関係の変動、および３）時間、空間、または他の着目測定単位にわたる前記人物の異なる身体区画に対する環境またはその関係の変動のうちの少なくとも１つに基づいて計算される、請求項８４−８６のうちのいずれか１項に記載のシステム。
  88. 前記識別は、ルールイン識別である、請求項５９−８７のうちのいずれか１項に記載のシステム。
  89. 前記識別は、「その他」識別としても公知なルールアウトである、請求項５９−８８のうちのいずれか１項に記載のシステム。
  90. 前記１つ以上の特徴は、別の人物を識別するために使用される前記１つ以上の特徴とは異なる前記センサデータ内のフレームまたはフレームのセットから捕捉される、請求項５９−８９のうちのいずれか１項に記載のシステム。
  91. 人物毎に、前記識別は、特徴のセットに基づいて、かつそれらの特徴毎の測度の範囲に基づいて判定され、その組み合わせられたものは、特定の人物に対して高度に特有である、請求項５９−９０のうちのいずれか１項に記載のシステム。
  92. 前記識別は、少なくとも部分的に、その識別を実施するために使用される前記１つ以上の特徴の忠実度および／または予測力に基づいて判定される、請求項５９−９１のうちのいずれか１項に記載のシステム。
  93. 前記１つ以上の特徴は、利用可能なシーン、前記センサ、前記センサデータ、既知のボディプリントの前記ライブラリ、および既知かつ算出可能な特徴の前記ライブラリから成る群から選択される少なくとも１つの要素に基づいて、経時的に変動する、請求項５９−９２のうちのいずれか１項に記載のシステム。
  94. 前記１つ以上の特徴および／またはボディプリントは、機械学習またはパターン認識技法によって自動的に計算される、請求項５９−９３のうちのいずれか１項に記載のシステム。
  95. 前記１つ以上の特徴および／またはボディプリントは、手動タグ付け等の外部エージェントによって事前または事後情報として提供される、請求項５９−９４のうちのいずれか１項に記載のシステム。
  96. 前記１つ以上の特徴および／またはボディプリントは、経時的に更新または修正されることができる、請求項５９−９５のうちのいずれか１項に記載のシステム。
  97. 前記センサデータは、センサによって取得され、前記センサデータは、複数のフレームを備え、各フレームは、ピクセルの２次元空間マップとして表され、各ピクセルの強度値は、前記センサからの投影距離に対応する、請求項５９−９６のうちのいずれか１項に記載のシステム。
  98. 前記命令は、前記プロセッサによって実行されると、前記プロセッサに、前記１つ以上の特徴に優先順位を付けさせ、それによって、異なるセンサ、異なる時間、異なるボディプリント、および異なる空間的場所から成る群から選択される少なくとも１つの要素を横断して特徴を集約させる、請求項５９−９７のうちのいずれか１項に記載のシステム。
  99. 前記１つ以上の特徴は、同一のシーン内の人物毎に異なる、請求項９８に記載のシステム。
  100. 前記１つ以上の特徴は、同一の人物に関してであってもフレーム毎に異なる割当を有する、請求項９８または９９に記載のシステム。
  101. 前記センサデータは、飛行時間光検出および測距のうちの少なくとも１つによって、または、前記シーン上に少なくとも１つのエネルギーパターンを投影し、前記パターンの変形を測定することによって取得されるデータを備える、請求項５９−１００のうちのいずれか１項に記載のシステム。
  102. 前記センサデータは、光または音声を使用して取得されるデータを備える、請求項５９−１０１のうちのいずれか１項に記載のシステム。
  103. 前記センサデータは、未加工センサデータ、未加工センサデータから導出される値、または軌跡データから成る群から選択される少なくとも１つのデータタイプを備える、請求項５９−１０２のうちのいずれか１項に記載のシステム。
  104. 前記１つ以上のフレームはそれぞれ、特定の瞬間に先行して、またはその時点のいずれかで取得されたデータを備える１つ以上のデータストリームから成る「スナップショット」に対応する、請求項５９−１０３のうちのいずれか１項に記載のシステム。
  105. 前記１つ以上のフレームは、複数の時点において単一のセンサによって取得された複数のフレーム、または同一または異なる時点において複数のセンサによって取得された複数のフレームのうちの少なくとも１つを備える、請求項５９−１０４のうちのいずれか１項に記載のシステム。
  106. 前記命令は、前記プロセッサによって実行されると、前記プロセッサに、識別された人物毎に信頼性スコアを判定させる、請求項５９−１０５のうちのいずれか１項に記載のシステム。
  107. 前記命令は、前記プロセッサによって実行されると、前記プロセッサに、人物と関連付けられる前記センサデータのサブセットを破棄させる、請求項５９−１０６のうちのいずれか１項に記載のシステム。
  108. 前記識別は、未知の識別を備える、請求項５９−１０７のうちのいずれか１項に記載のシステム。
  109. 前記命令は、前記プロセッサによって実行されると、前記プロセッサに、前記１つ以上の特徴を調節させ、全ての特徴が時間的かつ／または空間的に並置されることを確実にさせる、請求項５９−１０８のうちのいずれか１項に記載のシステム。
  110. 前記１つ以上の特徴のうちの少なくとも１つは、前記センサにおける、または計算方法論におけるタイミング遅延またはバイアスを調節するために、オフセット補正される、待ち時間補正される、または空間的に並置される、請求項５９−１０９のうちのいずれか１項に記載のシステム。
  111. 特徴の前記忠実度は、前記シーンの組成、利用されているセンサのタイプ、および取得されているデータのタイプから成る群から選択される少なくとも１つの要素に依存する、請求項９２に記載のシステム。
  112. 前記個別のセグメント化を識別するステップは、前記人物が自然に動き回っている間に実施される、請求項５９−１１１のうちのいずれか１項に記載のシステム。
  113. 前記個別のセグメント化を識別するステップは、リアルタイムで、またはほぼリアルタイムで実施される、請求項１１２に記載のシステム。
  114. 前記個別のセグメント化を識別するステップは、遅延後に、または同じく、データ取得が起こった時間とは実質的に異なる時間に実施される、請求項５９−１１３のうちのいずれか１項に記載のシステム。
  115. 前記個別のセグメント化を識別するステップは、遡及的に実施される、請求項５９−１１４のうちのいずれか１項に記載のシステム。
  116. 前記人物は、前記センサから、０．１メートルを上回る、０．５メートルを上回る、１メートルを上回る、２メートルを上回る、５メートルを上回る距離に位置する、請求項５９−１１５のうちのいずれか１項に記載のシステム。
  117. 少なくとも部分的に、奥行きデータに基づいて、センサ場内の事前登録された人間個人の離散セットのうちの１つのリアルタイムまたはほぼリアルタイムの識別の方法であって、前記方法は、
    コンピューティングデバイスのプロセッサによって、少なくとも部分的に、前記１つ以上のセンサによって取得された奥行きデータに基づいて、前記センサ場内で検出された人間に特徴的な複数の特徴のそれぞれを定量化するステップと、
    前記プロセッサによって、前記センサ場内で検出された人間に関する定量化された複数の特徴に基づいて、１つ以上のボディプリントを定量化するステップと、
    前記プロセッサによって、リアルタイムまたはほぼリアルタイムで、少なくとも部分的に、前記１つ以上のボディプリントに基づいて、事前登録された人間個人のセット間から前記センサ場内で検出された人間を肯定的に識別するステップと、
    を含む、方法。
  118. 少なくとも部分的に、前記１つ以上のボディプリントに基づいて、前記肯定的に識別された個人が従事する活動を判定するステップを含む、請求項１１７に記載の方法。
  119. 前記人間を肯定的に識別するステップは、奥行きデータに対して排他的に実施される、請求項１１７または１１８に記載の方法。
  120. 前記奥行きデータは、１つ以上のセンサによって取得される１つ以上の奥行きマップを備える、請求項１１７−１１９のいずれか１項に記載の方法。
  121. 前記奥行きデータは、視覚画像を備えていない、請求項１１７−１２０のいずれか１項に記載の方法。
  122. 前記人間を肯定的に識別するステップは、写真静止またはビデオ画像の使用を伴わずに遂行され、それによって、前記個人の個人的プライバシーを保護する、請求項１１７−１２１のうちのいずれか１項に記載の方法。
  123. 前記複数の特徴は、少なくとも１つの静的特徴および／または少なくとも１つの動的特徴を備える、請求項１１７−１２２のうちのいずれか１項に記載の方法。
  124. 前記事前登録された人間個人のセットは、１００人以下の、５０人以下の、２５人以下の、１０人以下の、６人以下の、５人以下の、４人以下の、３人以下の、２人以下の、または１人以下の人間個人を備える、請求項１１７−１２３のうちのいずれか１項に記載の方法。
  125. 前記人間は、少なくとも８０％、少なくとも９０％、少なくとも９５％、または少なくとも９９％の信頼性とともに肯定的に識別される、請求項１１７−１２４のうちのいずれか１項に記載の方法。
  126. 前記プロセッサによって、前記センサ場内で検出された前記肯定的に識別された人間の名前を表示し、随意に、前記肯定的に識別された個人が従事する前記判定された活動のグラフィカルインジケーションを表示するステップを含む、請求項１１７−１２５のうちのいずれか１項に記載の方法。
  127. 人物の身体的測定値を介して前記人物の痛み、疲労、気分、および意図のうちの少なくとも１つを識別および／または定量化する方法であって、前記方法は、
    コンピューティングデバイスのプロセッサによって、センサによって取得されるセンサデータを備えるデータセットを受信するステップと、
    前記プロセッサによって、前記データセットに基づいて、前記人物の移動、活動、および挙動から成る群から選択される少なくとも１つの要素を特性評価するステップであって、前記特性評価するステップは、
    前記データセット内に表される１人以上の人物を、相互に、かつ前記データセット内に表される環境物体からセグメント化するステップと、
    前記１人以上のセグメント化された人物のうちの少なくとも１人の少なくとも１つの特徴を計算するステップと、
    前記少なくとも１つの特徴をある関係と相関させることに基づいて、結論を判定するステップと、
    を含む、ステップと、
    前記プロセッサによって、前記結論を出力するステップと、
    を含む、方法。
  128. 前記データセット内に表される１人以上の人物をセグメント化するステップは、機械学習および／またはパターン認識技法を実施するステップを含む、請求項１２７に記載の方法。
  129. 前記関係は、学習された関係である、請求項１２７または１２８に記載の方法。
  130. 前記少なくとも１つの特徴は、直接測定値である身体的測定値を備える、請求項１２７−１２９のうちのいずれか１項に記載の方法。
  131. 前記少なくとも１つの特徴は、間接的測定値である身体的測定値を備える、請求項１２７−１３０のうちのいずれか１項に記載の方法。
  132. 前記結論は、不完全な測定値に基づく、請求項１２７−１３１のうちのいずれか１項に記載の方法。
  133. 前記少なくとも１つの特徴は、非連続、非隣接、不完全、一貫性のない、非逐次のうちの少なくとも１つである前記データセット内の測定値に基づく、請求項１２７−１３２のうちのいずれか１項に記載の方法。
  134. 前記結論は、いくつかの異なるタイプおよび組み合わせの特徴の統合に基づく、請求項１２７−１３３のうちのいずれか１項に記載の方法。
  135. 前記データセット内のセンサデータは、センサから直接取得される、および／または付加的処理を受けている、請求項１２７−１３４のうちのいずれか１項に記載の方法。
  136. 前記データセットは、１つ以上のフレームを備える、請求項１２７に記載の方法。
  137. 前記１つ以上のフレームの各フレームは、特定の瞬間に先行して、またはその時点のいずれかで取得されたデータを備える１つ以上のデータストリームのスナップショットに対応する、請求項１３６に記載の方法。
  138. 前記１つ以上のフレームは、複数の時点において単一のセンサによって捕捉される、および／または複数のセンサによって捕捉される、請求項１３６に記載の方法。
  139. 前記データセットは、略リアルタイムで取得される、バッチモードで取得される、またはデータベース内に以前に記憶されたデータから取得される、請求項１２７−１３８のうちのいずれか１項に記載の方法。
  140. 非プライベートであると判定されたデータのタイプを破棄するステップを含む、請求項１２７−１３９のうちのいずれか１項に記載の方法。
  141. 前記プロセッサによって、後続分析のために前記データセットを事前処理するステップを含み、前記事前処理するステップは、前記データセットをフィルタ処理するステップ、条件付けするステップ、クリーニングするステップ、および正規化するステップから成る群から選択される１つ以上のステップを含む、請求項１２７−１４０のうちのいずれか１項に記載の方法。
  142. 前記プロセッサによって、後続分析のために前記データセットを事前処理するステップを含み、前記事前処理するステップは、前記データセットからの未加工データまたは計算された特徴に対して実施される、請求項１２７−１４１のうちのいずれか１項に記載の方法。
  143. 前記セグメント化するステップは、前記セグメント化された人物の識別に関するいずれの情報も伴わずに実施される、請求項１２７−１４２のうちのいずれか１項に記載の方法。
  144. セグメント化した後、計算された特徴を具体的個人と関連付けるために、前記１人以上のセグメント化された人物毎に標識を判定するステップを含む、請求項１２７−１４３のうちのいずれか１項に記載の方法。
  145. 前記少なくとも１つの特徴は、肢長さ、足サイズ、頭部形状、身長、身体割合、身体体積、音声周波数スペクトル、声量、歩幅長さ、視野内の場所、および腕を上げる速度から成る群から選択される少なくとも１つの要素を備える、請求項１２７−１４４のうちのいずれか１項に記載の方法。
  146. 前記プロセッサによって、機械学習および／またはパターン認識技法を使用して、前記少なくとも１つの特徴を自動的に計算するステップを含む、請求項１２７−１４５のうちのいずれか１項に記載の方法。
  147. 前記少なくとも１つの特徴を計算するステップは、前記具体的特徴の可用性および前記出力される結論に関する関連度のうちの少なくとも１つに基づいて、中断される、請求項１２７−１４６のうちのいずれか１項に記載の方法。
  148. 前記プロセッサによって、前記データセットに基づいて、移動、活動、または挙動の所望の特性を判定するステップは、セグメント化する前に、前記プロセッサによって、後続分析のために前記データセットを事前処理するステップを含む、請求項１２７−１４７のうちのいずれか１項に記載の方法。
  149. 前記関係は、事前判定される、請求項１２７−１４８のうちのいずれか１項に記載の方法。
  150. 前記学習された関係は、グラウンドトゥルースに基づく、請求項１２８に記載の方法。
  151. 人物の身体的測定値を介して前記人物の痛み、疲労、気分、および意図のうちの少なくとも１つを識別および／または定量化するためのシステムであって、前記システムは、
    前記人物に対応するデータを取得するための、センサと、
    プロセッサと、
    メモリであって、前記メモリは、その上に記憶される命令を有しており、前記命令は、前記プロセッサによって実行されると、前記プロセッサに、
    センサによって取得されるセンサデータを備えるデータセットを受信することと、
    前記データセットに基づいて、
    前記データセット内に表される１人以上の人物を、相互に、かつ前記データセット内に表される環境物体からセグメント化するステップと、
    前記１人以上のセグメント化された人物のうちの少なくとも１人の少なくとも１つの特徴を計算するステップと、
    前記少なくとも１つの特徴をある関係と相関させることに基づいて、前記人物の結論を判定するステップと、
    によって、前記人物の移動、活動、および挙動のうちの少なくとも１つを特性評価させることと、
    前記結論を出力することと
    を行わせる、メモリと、
    を備える、システム。
  152. 前記データセット内に表される１人以上の人物をセグメント化するステップは、機械学習および／またはパターン認識技法を実施するステップを含む、請求項１５１に記載のシステム。
  153. 前記センサデータを取得するために、赤外線飛行時間センサをさらに備える、請求項５９−１１６のうちのいずれか１項に記載のシステム。
  154. ディスプレイと、前記プロセッサおよびメモリのための筐体とをさらに備える、請求項５９−１１６または１５３のうちのいずれか１項に記載のシステム。
JP2019504817A 2016-08-02 2017-08-01 プライバシーの保護を伴う人物の識別しおよび／または痛み、疲労、気分、および意図の識別および定量化のためのシステムおよび方法 Active JP7083809B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662370083P 2016-08-02 2016-08-02
US62/370,083 2016-08-02
US201662438229P 2016-12-22 2016-12-22
US62/438,229 2016-12-22
PCT/US2017/044936 WO2018026838A1 (en) 2016-08-02 2017-08-01 Systems and methods to identify persons and/or identify and quantify pain, fatigue, mood, and intent with protection of privacy

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021215383A Division JP2022058471A (ja) 2016-08-02 2021-12-29 プライバシーの保護を伴う人物の識別しおよび／または痛み、疲労、気分、および意図の識別および定量化のためのシステムおよび方法

Publications (3)

Publication Number Publication Date
JP2019532532A true JP2019532532A (ja) 2019-11-07
JP2019532532A5 JP2019532532A5 (ja) 2020-09-10
JP7083809B2 JP7083809B2 (ja) 2022-06-13

Family

ID=61069497

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019504817A Active JP7083809B2 (ja) 2016-08-02 2017-08-01 プライバシーの保護を伴う人物の識別しおよび／または痛み、疲労、気分、および意図の識別および定量化のためのシステムおよび方法
JP2021215383A Pending JP2022058471A (ja) 2016-08-02 2021-12-29 プライバシーの保護を伴う人物の識別しおよび／または痛み、疲労、気分、および意図の識別および定量化のためのシステムおよび方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021215383A Pending JP2022058471A (ja) 2016-08-02 2021-12-29 プライバシーの保護を伴う人物の識別しおよび／または痛み、疲労、気分、および意図の識別および定量化のためのシステムおよび方法

Country Status (5)

Country Link
US (2) US11017901B2 (ja)
EP (1) EP3494428A4 (ja)
JP (2) JP7083809B2 (ja)
CN (2) CN113903455A (ja)
WO (1) WO2018026838A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022542199A (ja) * 2020-06-30 2022-09-30 ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド キーポイントの検出方法、装置、電子機器および記憶媒体

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10489661B1 (en) * 2016-03-08 2019-11-26 Ocuvera LLC Medical environment monitoring system
US11017901B2 (en) 2016-08-02 2021-05-25 Atlas5D, Inc. Systems and methods to identify persons and/or identify and quantify pain, fatigue, mood, and intent with protection of privacy
CN107865473B (zh) * 2016-09-26 2019-10-25 华硕电脑股份有限公司 人体特征测距装置及其测距方法
US10679046B1 (en) * 2016-11-29 2020-06-09 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Machine learning systems and methods of estimating body shape from images
EP3566078A1 (en) * 2017-01-03 2019-11-13 Innoviz Technologies Ltd. Lidar systems and methods for detection and classification of objects
TWI604332B (zh) * 2017-03-24 2017-11-01 緯創資通股份有限公司 遠距離的身份辨識方法及其系統與電腦可讀取記錄媒體
US10832817B2 (en) * 2017-04-10 2020-11-10 International Business Machines Corporation Cognitive passive health monitoring
SG11201908010YA (en) * 2017-04-28 2019-09-27 Hitachi Int Electric Inc Image monitoring system
US10943088B2 (en) * 2017-06-14 2021-03-09 Target Brands, Inc. Volumetric modeling to identify image areas for pattern recognition
US20190272466A1 (en) * 2018-03-02 2019-09-05 University Of Southern California Expert-driven, technology-facilitated intervention system for improving interpersonal relationships
KR102481883B1 (ko) * 2017-09-27 2022-12-27 삼성전자주식회사 위험 상황을 감지하는 방법 및 장치
WO2019090274A1 (en) * 2017-11-03 2019-05-09 Drishti Technologies, Inc. Workspace actor selection systems and methods
US10460512B2 (en) * 2017-11-07 2019-10-29 Microsoft Technology Licensing, Llc 3D skeletonization using truncated epipolar lines
DE102017126553A1 (de) * 2017-11-13 2019-05-16 Iris-Gmbh Infrared & Intelligent Sensors Erfassungssystem
US10778412B2 (en) 2017-12-28 2020-09-15 Intel Corporation Multi-domain convolutional neural network
US20190034716A1 (en) * 2017-12-28 2019-01-31 Intel Corporation Privacy-preserving demographics identification
US20200026943A1 (en) * 2018-07-17 2020-01-23 Vidit, LLC System and method for identification and prioritization of one or more attributes in an image
US11588902B2 (en) 2018-07-24 2023-02-21 Newton Howard Intelligent reasoning framework for user intent extraction
CN110942479A (zh) * 2018-09-25 2020-03-31 Oppo广东移动通信有限公司 虚拟对象控制方法、存储介质及电子设备
EP3881125A4 (en) * 2018-11-15 2022-08-31 Magic Leap, Inc. SYSTEMS AND METHODS FOR PERFORMING SELF-IMPROVING VISUAL ODOMETRY
US11443291B2 (en) 2018-12-05 2022-09-13 AiFi Inc. Tracking product items in an automated-checkout store
US11393213B2 (en) * 2018-12-05 2022-07-19 AiFi Inc. Tracking persons in an automated-checkout store
US11373160B2 (en) 2018-12-05 2022-06-28 AiFi Inc. Monitoring shopping activities using weight data in a store
CN111291746A (zh) * 2018-12-06 2020-06-16 宏达国际电子股份有限公司 影像处理系统及影像处理方法
CN109870250A (zh) * 2019-01-27 2019-06-11 武汉星巡智能科技有限公司 区域异常体温监测方法、装置及计算机可读存储介质
EP3953901A4 (en) * 2019-04-12 2023-01-04 Univ Iowa Res Found SYSTEM AND METHOD FOR PREDICTING, PREVENTING AND MITIGATING WORKPLACE INJURY
TWI704499B (zh) 2019-07-25 2020-09-11 和碩聯合科技股份有限公司 關節點偵測方法及裝置
US20220285015A1 (en) * 2019-08-06 2022-09-08 University Of Miami Artificial intelligence for evaluating patient distress using facial emotion recognition
CN114375177A (zh) * 2019-09-01 2022-04-19 Lg电子株式会社 身体测量装置及其控制方法
CN110717461A (zh) * 2019-10-12 2020-01-21 广东电网有限责任公司 一种疲劳状态识别方法、装置和设备
WO2021179230A1 (zh) * 2020-03-12 2021-09-16 南方科技大学 一种脊柱侧弯检测模型的生成方法和计算机设备
CN111507231A (zh) * 2020-04-10 2020-08-07 三一重工股份有限公司 工序步骤正确性自动化检测方法和系统
IT202000013279A1 (it) * 2020-06-04 2021-12-04 Grottini Lab S R L Sistema di re-identificazione di una o più persone in un ambiente pubblico e/o privato
CN111938670B (zh) * 2020-06-30 2022-07-05 齐鲁工业大学 基于人体骨架运动学特征信息的抑郁症识别方法及系统
CN112422637B (zh) * 2020-07-07 2022-10-14 德能森智能科技（成都）有限公司 一种基于隐私管理的家居管理系统及疫情管理系统
WO2022056013A1 (en) * 2020-09-08 2022-03-17 Kang Zhang Artificial intelligence for detecting a medical condition using facial images
CN112331337B (zh) * 2021-01-04 2021-04-16 中国科学院自动化研究所 自动抑郁检测方法、装置、设备
US20220300969A1 (en) * 2021-03-16 2022-09-22 Toshiba Global Commerce Solutions Holdings Corporation Dynamically-tunable interventions for user transactions
CN112818967B (zh) * 2021-04-16 2021-07-09 杭州魔点科技有限公司 基于人脸识别和头肩重识别的儿童身份识别方法
US11586524B1 (en) * 2021-04-16 2023-02-21 Vignet Incorporated Assisting researchers to identify opportunities for new sub-studies in digital health research and decentralized clinical trials
US11281553B1 (en) 2021-04-16 2022-03-22 Vignet Incorporated Digital systems for enrolling participants in health research and decentralized clinical trials
US11475757B1 (en) * 2021-05-18 2022-10-18 Stmicroelectronics S.R.L. Context-aware system and method for IR sensing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012115570A (ja) * 2010-12-02 2012-06-21 Panasonic Corp 通過者識別装置
JP2015061577A (ja) * 2013-01-18 2015-04-02 株式会社東芝 動作情報処理装置

Family Cites Families (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS56115904A (en) 1980-02-19 1981-09-11 Unitika Ltd Automatic measuring method for size of human body and device therefor
US7415126B2 (en) 1992-05-05 2008-08-19 Automotive Technologies International Inc. Occupant sensing system
US5815411A (en) 1993-09-10 1998-09-29 Criticom Corporation Electro-optic vision system which exploits position and attitude
GB2351426A (en) 1999-06-24 2000-12-27 Stephen James Crampton Method and apparatus for the generation of computer graphic representations of individuals
US7584122B2 (en) 2001-03-08 2009-09-01 Saint Laurie Ltd. System and method for fitting clothing
US7440590B1 (en) 2002-05-21 2008-10-21 University Of Kentucky Research Foundation System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns
US7174033B2 (en) 2002-05-22 2007-02-06 A4Vision Methods and systems for detecting and recognizing an object based on 3D image data
US9474968B2 (en) 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US7760248B2 (en) 2002-07-27 2010-07-20 Sony Computer Entertainment Inc. Selective sound source listening in conjunction with computer interactive processing
US7831087B2 (en) 2003-10-31 2010-11-09 Hewlett-Packard Development Company, L.P. Method for visual-based recognition of an object
JP2005242759A (ja) * 2004-02-27 2005-09-08 National Institute Of Information & Communication Technology 行動・意図推定システム、行動・意図推定方法、行動・意図推定プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
WO2006013765A1 (ja) 2004-08-03 2006-02-09 Matsushita Electric Industrial Co., Ltd. 人物判定装置及び人物検索追跡装置
JP4319628B2 (ja) * 2005-01-07 2009-08-26 株式会社国際電気通信基礎技術研究所 対象物姿勢推定装置
JP4622702B2 (ja) * 2005-05-27 2011-02-02 株式会社日立製作所 映像監視装置
JP2007226726A (ja) * 2006-02-27 2007-09-06 Toyota Motor Corp 熱画像処理装置
US20070229850A1 (en) 2006-04-04 2007-10-04 Boxternal Logics, Llc System and method for three-dimensional image capture
US9696808B2 (en) 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
EP2584494A3 (en) 2006-08-03 2015-02-11 Alterface S.A. Method and device for identifying and extracting images of multiple users, and for recognizing user gestures
JP2008046691A (ja) * 2006-08-10 2008-02-28 Fuji Xerox Co Ltd 顔画像処理装置及びコンピュータのプログラム
GB0616293D0 (en) 2006-08-16 2006-09-27 Imp Innovations Ltd Method of image processing
US8269834B2 (en) 2007-01-12 2012-09-18 International Business Machines Corporation Warning a user about adverse behaviors of others within an environment based on a 3D captured image stream
US9402558B2 (en) * 2007-04-05 2016-08-02 New York University System and method for pain detection and computation of a pain quantification index
US8811692B2 (en) 2007-04-17 2014-08-19 Francine J. Prokoski System and method for using three dimensional infrared imaging for libraries of standardized medical imagery
JP2009166783A (ja) * 2008-01-18 2009-07-30 Toyota Motor Corp 症状推定装置
WO2009111886A1 (en) 2008-03-14 2009-09-17 Stresscam Operations & Systems Ltd. Assessment of medical conditions by determining mobility
US8456517B2 (en) 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
AU2009281762A1 (en) 2008-08-15 2010-02-18 Brown University Method and apparatus for estimating body shape
JP5322712B2 (ja) * 2009-03-12 2013-10-23 広輔 宮▲崎▼ 施設の利用情報の案内方法、情報配信サーバ、画像送信装置、そのためのコンピュータプログラム及びその記録媒体
US8611604B2 (en) 2009-06-03 2013-12-17 Chubu University Educational Foundation Object detection device
US8565479B2 (en) 2009-08-13 2013-10-22 Primesense Ltd. Extraction of skeletons from 3D maps
US8659658B2 (en) 2010-02-09 2014-02-25 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
US8994790B2 (en) 2010-02-25 2015-03-31 The Board Of Trustees Of The Leland Stanford Junior University Motion capture with low input data constraints
US8611670B2 (en) 2010-02-25 2013-12-17 The Board Of Trustees Of The Leland Stanford Junior University Intelligent part identification for use with scene characterization or motion capture
US8787663B2 (en) 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
US8982182B2 (en) 2010-03-01 2015-03-17 Apple Inc. Non-uniform spatial resource allocation for depth mapping
US8751049B2 (en) 2010-05-24 2014-06-10 Massachusetts Institute Of Technology Kinetic input/output
US8633942B2 (en) 2010-06-07 2014-01-21 Microsoft Corporation View generation using interpolated values
US10702216B2 (en) 2010-06-08 2020-07-07 Styku, LLC Method and system for body scanning and display of biometric data
JP5685837B2 (ja) 2010-06-15 2015-03-18 ソニー株式会社 ジェスチャ認識装置、ジェスチャ認識方法およびプログラム
US8639020B1 (en) 2010-06-16 2014-01-28 Intel Corporation Method and system for modeling subjects from a depth map
US8792722B2 (en) 2010-08-02 2014-07-29 Sony Corporation Hand gesture detection
JP5730518B2 (ja) * 2010-08-27 2015-06-10 株式会社日立国際電気 特定人物検知システムおよび特定人物検知方法
US20130163879A1 (en) 2010-08-30 2013-06-27 Bk-Imaging Ltd. Method and system for extracting three-dimensional information
US8613666B2 (en) 2010-08-31 2013-12-24 Microsoft Corporation User selection and navigation based on looped motions
JP2012098771A (ja) 2010-10-29 2012-05-24 Sony Corp 画像処理装置および方法、並びに、プログラム
WO2012075298A2 (en) 2010-12-01 2012-06-07 Cornell University Body shape analysis method and system
JP5617581B2 (ja) 2010-12-08 2014-11-05 オムロン株式会社 ジェスチャ認識装置、ジェスチャ認識方法、制御プログラム、および、記録媒体
US8448056B2 (en) 2010-12-17 2013-05-21 Microsoft Corporation Validation analysis of human target
US9501919B2 (en) 2011-03-11 2016-11-22 Elisabeth Laett Method and system for monitoring the activity of a subject within spatial temporal and/or behavioral parameters
US8605992B2 (en) 2011-04-08 2013-12-10 Microsoft Corporation Image completion using scene geometry
US8406470B2 (en) 2011-04-19 2013-03-26 Mitsubishi Electric Research Laboratories, Inc. Object detection in depth images
CN102819725A (zh) 2011-06-07 2012-12-12 鸿富锦精密工业（深圳）有限公司 疲劳状态检测系统及方法
US10007330B2 (en) 2011-06-21 2018-06-26 Microsoft Technology Licensing, Llc Region of interest segmentation
US9615746B2 (en) 2011-07-05 2017-04-11 Saudi Arabian Oil Company Floor mat system and associated, computer medium and computer-implemented methods for monitoring and improving health and productivity of employees
US9033238B2 (en) 2011-08-30 2015-05-19 Digimarc Corporation Methods and arrangements for sensing identification information from objects
US9037354B2 (en) 2011-09-09 2015-05-19 Thales Avionics, Inc. Controlling vehicle entertainment systems responsive to sensed passenger gestures
US9520072B2 (en) 2011-09-21 2016-12-13 University Of South Florida Systems and methods for projecting images onto an object
US9817017B2 (en) 2011-10-17 2017-11-14 Atlas5D, Inc. Method and apparatus for monitoring individuals while protecting their privacy
WO2013058985A1 (en) 2011-10-17 2013-04-25 Kimmel Zebadiah M Method and apparatus for detecting deterioration of health status
WO2013058978A1 (en) 2011-10-17 2013-04-25 Kimmel Zebadiah M Method and apparatus for sizing and fitting an individual for apparel, accessories, or prosthetics
US8902607B1 (en) 2011-11-03 2014-12-02 Veex Inc. Modular electronic testing apparatus and methods
JP2013164834A (ja) 2012-01-13 2013-08-22 Sony Corp 画像処理装置および方法、並びにプログラム
US8902198B1 (en) 2012-01-27 2014-12-02 Amazon Technologies, Inc. Feature tracking for device input
FR2988504B1 (fr) 2012-03-23 2014-05-09 Commissariat Energie Atomique Procede de determination d'un plan du sol a partir d'une image de profondeur
JP2013205983A (ja) 2012-03-27 2013-10-07 Sony Corp 情報入力装置及び情報入力方法、並びにコンピューター・プログラム
US9594500B2 (en) 2012-06-27 2017-03-14 sigmund lindsay clements Touch Free hygienic display control panel for a smart toilet
JP6334925B2 (ja) 2013-01-18 2018-05-30 キヤノンメディカルシステムズ株式会社 動作情報処理装置及び方法
US9251701B2 (en) 2013-02-14 2016-02-02 Microsoft Technology Licensing, Llc Control device with passive reflector
US9098738B2 (en) 2013-02-26 2015-08-04 Elwha Llc System and method for contamination monitoring
US9393695B2 (en) 2013-02-27 2016-07-19 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with person and object discrimination
US20140258942A1 (en) * 2013-03-05 2014-09-11 Intel Corporation Interaction of multiple perceptual sensing inputs
US9710761B2 (en) * 2013-03-15 2017-07-18 Nordic Technology Group, Inc. Method and apparatus for detection and prediction of events based on changes in behavior
US20140298379A1 (en) 2013-03-15 2014-10-02 Yume, Inc. 3D Mobile and Connected TV Ad Trafficking System
KR102057947B1 (ko) 2013-04-01 2019-12-20 삼성전자주식회사 사용자 인증을 수행하는 디스플레이 장치 및 그 사용자 인증 방법
JP2015095164A (ja) * 2013-11-13 2015-05-18 オムロン株式会社 ジェスチャ認識装置およびジェスチャ認識装置の制御方法
US9600993B2 (en) 2014-01-27 2017-03-21 Atlas5D, Inc. Method and system for behavior detection
JP6206773B2 (ja) * 2014-10-22 2017-10-04 株式会社ワロップ放送局 番組連動広告システム及び番組連動広告サーバ
US20160266607A1 (en) 2015-03-11 2016-09-15 Atlas5D, Inc. System for integrating commercial off-the-shelf devices to produce a modular interaction platform
US10013756B2 (en) 2015-03-13 2018-07-03 Atlas5D, Inc. Methods and systems for measuring use of an assistive device for ambulation
US11017901B2 (en) 2016-08-02 2021-05-25 Atlas5D, Inc. Systems and methods to identify persons and/or identify and quantify pain, fatigue, mood, and intent with protection of privacy

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012115570A (ja) * 2010-12-02 2012-06-21 Panasonic Corp 通過者識別装置
JP2015061577A (ja) * 2013-01-18 2015-04-02 株式会社東芝 動作情報処理装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022542199A (ja) * 2020-06-30 2022-09-30 ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド キーポイントの検出方法、装置、電子機器および記憶媒体

Also Published As

Publication number Publication date
US11017901B2 (en) 2021-05-25
JP2022058471A (ja) 2022-04-12
WO2018026838A1 (en) 2018-02-08
CN113903455A (zh) 2022-01-07
US20210183516A1 (en) 2021-06-17
EP3494428A4 (en) 2020-04-08
US20180039745A1 (en) 2018-02-08
CN109477951B (zh) 2021-10-22
CN109477951A (zh) 2019-03-15
JP7083809B2 (ja) 2022-06-13
EP3494428A1 (en) 2019-06-12

Similar Documents

Publication Publication Date Title
JP7083809B2 (ja) プライバシーの保護を伴う人物の識別しおよび／または痛み、疲労、気分、および意図の識別および定量化のためのシステムおよび方法
US20200205697A1 (en) Video-based fall risk assessment system
US10080513B2 (en) Activity analysis, fall detection and risk assessment systems and methods
Ramzan et al. A survey on state-of-the-art drowsiness detection techniques
CN109475294B (zh) 用于治疗精神障碍的移动和可穿戴视频捕捉和反馈平台
JP7229174B2 (ja) 人識別システム及び方法
US10159411B2 (en) Detecting irregular physiological responses during exposure to sensitive data
US10154810B2 (en) Security system that detects atypical behavior
Eskofier et al. Marker-based classification of young–elderly gait pattern differences via direct PCA feature extraction and SVMs
JP2007006427A (ja) 映像監視装置
JP2020533701A (ja) 対象者の識別のためのカメラ及び画像校正
US9968264B2 (en) Detecting physiological responses based on thermal asymmetry of the face
Nie et al. SPIDERS+: A light-weight, wireless, and low-cost glasses-based wearable platform for emotion sensing and bio-signal acquisition
US10085685B2 (en) Selecting triggers of an allergic reaction based on nasal temperatures
Alvarez et al. Multimodal monitoring of Parkinson's and Alzheimer's patients using the ICT4LIFE platform
CA2878374C (en) Kinetic-based tool for biometric identification, verification, validation and profiling
US10045726B2 (en) Selecting a stressor based on thermal measurements of the face
US10299717B2 (en) Detecting stress based on thermal measurements of the face
Kao et al. Validation of automated mobility assessment using a single 3d sensor
Bačić et al. Towards Real-Time Drowsiness Detection for Elderly Care
JP7185805B2 (ja) 転倒リスク評価システム
US10136852B2 (en) Detecting an allergic reaction from nasal temperatures
JP2022052910A (ja) 体調評価システム、サーバ、プログラムおよび体調評価サービス提供方法
JP2021033359A (ja) 感情推定装置、感情推定方法、プログラム、情報提示装置、情報提示方法及び感情推定システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200803

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200803

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211229

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220527

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220601

R150 Certificate of patent or registration of utility model

Ref document number: 7083809

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150