CN113903455A - 在保护隐私的同时识别人及/或识别并量化疼痛、疲劳、情绪及意图的系统及方法 - Google Patents

在保护隐私的同时识别人及/或识别并量化疼痛、疲劳、情绪及意图的系统及方法 Download PDF

Info

Publication number
CN113903455A
CN113903455A CN202111174966.3A CN202111174966A CN113903455A CN 113903455 A CN113903455 A CN 113903455A CN 202111174966 A CN202111174966 A CN 202111174966A CN 113903455 A CN113903455 A CN 113903455A
Authority
CN
China
Prior art keywords
person
data
features
sensor
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111174966.3A
Other languages
English (en)
Inventor
J·S·瓦尔沙尼克
Z·M·乌斯基梅尔
T·W·乌斯切瓦利尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ATLAS5D Inc
Original Assignee
ATLAS5D Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ATLAS5D Inc filed Critical ATLAS5D Inc
Publication of CN113903455A publication Critical patent/CN113903455A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2800/00—Detection or diagnosis of diseases
    • G01N2800/30—Psychoses; Psychiatry
    • G01N2800/304—Mood disorders, e.g. bipolar, depression
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2800/00—Detection or diagnosis of diseases
    • G01N2800/52—Predicting or monitoring the response to treatment, e.g. for selection of therapy based on assay results in personalised medicine; Prognosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Abstract

本申请涉及在保护隐私的同时识别人及/或识别并量化疼痛、疲劳、情绪及意图的系统及方法。所揭示的技术尤其实现人的识别及心理感知(例如，疼痛、疲劳、情绪)及/或意图(例如，执行动作的意图)的特性化用于医疗、安全、家庭护理及其它目的。需要长期患者监测的应用具有重要意义，例如跟踪疾病进展(例如，多发性硬化)，或监测治疗或康复疗效。因此，必须随时间获取纵向数据以获得所述人的身份及其它特性(例如，疼痛级别、手杖的使用)。然而，人识别的常规方法(例如，摄影)获取不必要的个人信息，从而导致隐私问题。所揭示的技术允许在保护隐私的同时执行测量并以部分或不完整测量起作用，使其针对真实世界(嘈杂、不受控制)环境(例如在人的家中(无论是独居还是与他人一起居住))是稳健的。

Description

在保护隐私的同时识别人及/或识别并量化疼痛、疲劳、情绪 及意图的系统及方法
分案申请的相关信息
本案是分案申请。该分案的母案是申请日为2017年8月1日、申请号为PCT/US2017/044936的国际申请进入中国后发明名称为“在保护隐私的同时识别人及/或识别并量化疼痛、疲劳、情绪及意图的系统及方法”的第201780045662.2号发明专利申请案。
优先权申请案
本申请案主张2016年8月2日申请的序列号为62/370,083的美国临时专利申请案及2016年12月22日申请的序列号为62/438,229的美国临时专利申请案的优先权及权益，所述申请案的全部内容特此以引用的方式并入本文中。
技术领域
本发明大体上涉及使用基于传感器的数据识别人及/或使用(例如，物理属性及运动的)人类身体的测量来特性化心理感知(例如，疼痛、疲劳、情绪)及/或意图(例如，执行动作的意图)的系统及方法，以上所有都在保护所述人隐私的同时进行。
背景技术
从照片、实时图像及许多其它类型的基于传感器的数据识别人的挑战与各种行业及应用相关。举例来说，所述问题在安全行业中普遍存在，其中人们可能需要被筛选以进入受控区域，或者基于先前的接触被标记为威胁。
许多当前的识别方法依赖于面部或指纹辨识来提供人的唯一识别。这些方法可在操作参数或条件的一定范围内实现准确识别，但是在其相当严格的操作条件集之外会显著降级或无功能。举例来说，面部辨识对照明的变化(例如，低光或完全黑暗)不稳健。面部辨识的准确度通常随着从相机到对象的距离的增加而降级(例如，不存在足够的分辨率来辨别面部属性)。此外，如果人背对相机，那么面部辨识完全失败。类似地，基于接近度的生物辨识技术(例如指纹辨识及视网膜扫描)，在要求在几厘米之外识别人的应用中变得不可能的。
许多当前识别方法仅在人采用狭窄定位、位置或姿势时才能正确工作。举例来说，获取指纹需要将特定手指直接放置在特定传感器附近。举例来说，用于膝上型计算机的面部辨识登录系统要求面部在计算机相机的预先指定的近距离范围内。因此，许多当前识别方法难以在人正常地在环境中移动(即，不是故意地将他自己/她自己呈现给传感器)时识别人。
对于一些人识别方法，隐私问题尤其令人生畏。举例来说，依赖于人的面部或身体的视觉数据的方法可暴露超过人识别专门所需的信息，例如穿什么衣服，或者阅读或查看什么材料。通过已知方法模糊或隐藏视觉图像的尝试仍然可能易于受“逆向工程”影响，借此在数学上重建视觉图像。
遮挡及视场对某些人识别方法施加进一步的限制。举例来说，依赖于人的步态(步行模式)或剪影(轮廓)的方法可取决于特定视场(例如，非遮挡视场)的可用性、特定人定向(例如，相对于传感器)、或特定特征(例如，属性或性质)的可用性。当任何这些先决条件不可用或无法唯一地识别特定人时，此类方法易于失败，尤其是在例如人的家中的不受控的(例如，不整洁或暂时的)环境中。因为运动的物理测量可能是微妙的并且难以在现实世界环境中实现，所以基于运动(例如，步态)的人识别带来额外挑战。
用于特性化个人的运动的当今方法通常利用一维数据流(例如，当某人穿过时被“破坏”的红外光束)；二维数据流(例如，网络摄像头照片或视频)；或者三维数据流(例如，深度图像，其中图像的每一像素对应于从传感器到视场中的物体的某一部分的现实世界距离)。在这些各种数据流中，可识别所谓的“特征”-即所关注的计算特性，例如人脸上的解剖标志。在本文中我们将相对恒定的特征称为“静态”(例如，眼睛到眼睛距离)，并将随时间明显改变的特征称为“动态”(例如，相对于传感器的眼睛注视角度)。
用于特性化运动的当今方法通常依赖于跟踪静态特征的空间位置，例如通过面部识别获得的静态特征。然而，在许多情况下，这些方法不足以特性化复杂运动。复杂运动的实例包含行走(例如，步行速度、跨步长度或从垂直的姿势角度)及同步活动(例如，进食、坐着或朝另一人打手势)。
由于复杂运动随着时间而演变，并且可能由若干不同的阶段或子部分组成，因此其特性化需要随时间的数据获取。然而，在一段时间内获取复杂运动的数据会带来许多额外的挑战。举例来说，获取的数据集可能变得非常大，以至于难以存储或传输数据集。举例来说，延长的数据获取持续时间可被用户视为侵犯隐私，特别是如果传感器放置在家中或必须佩戴的情况下。
另外，获取关于人类运动的数据的当前方法存在缺点。可穿戴传感器可具有低信噪比、有限模态(例如，可获取的数据类型)以及需要用户佩戴、记忆及对其再充电的缺点。举例来说，手腕佩戴的可穿戴传感器不能检测用户脊柱相对于水平的角度。固定仪器(例如，高速相机、传感器嵌入式步行垫及身体运动服)具有高成本、大尺寸、不方便以及不能在不受控或受阻的环境中操作的缺点。举例来说，将任何相当大尺寸的传感器嵌入式步行垫放置在人的家中是困难及不方便的。
因此，需要人识别方法，其针对不受控的环境是稳健的，在一定距离有效并且保护个人隐私。
除识别人之外，进一步识别及特性化人的心理感知或意图的能力可应用于例如医疗保健(例如，疾病检测及进展)、安全性(例如，盗窃及破坏)及工业(例如，安全及生产力)设置。然而，许多这些性质不能使用现有技术直接测量。
医疗保健行业需要对疲劳的客观测量。量化疲劳的能力允许尤其是在一段时间内测定各种各样的疾病(例如，多发性硬化、抑郁症、癌症及许多其它疾病)的严重性及进展。目前，评估疲劳级别的唯一方法是通过患者报告，例如访谈或问卷调查(“您今天感觉有多累，等级从1到5？”)。获得通过这些报告提供的定性印象是劳动密集型的；几乎不可能比较及对比不同的患者；并且受到感知偏差、回忆偏差及各种类型的操纵(有意识的或以其它方式)影响。通过在诊断、评估及治疗中提供可靠及一致的度量，疲劳的客观测量针对监测及治疗许多疾病将具有变革性。
出于与上文针对疲劳描述的原因相似的原因，医疗保健行业还需要疼痛的客观测量。特定来说，跟踪疼痛的能力允许测定疼痛药物的需要及剂量。许多止痛药因为上瘾而与滥用及欺诈有关。跟踪现实世界疼痛的准确程度(特别是响应于给药)，将允许检测及抵制此滥用及欺诈。
安全、军事、工厂及零售行业都将受益于识别及量化(例如，检测)意图的能力。一些实例(在无数种可能性中)包含自动感测以下各者的能力：人可能正以不寻常的详细程度或者以不寻常的方式(就像为未来攻击做准备一样)观察一区域；或者人已遗弃可疑物品，例如背包；或者人偷偷地将一件物品(例如违禁工具)与另一人交换；或者人突然注意到可能表明工厂存在危险的警告信号，例如气味或声音；或者人已经注意到特定的物体，例如零售显示器。
为获得上文描述的益处，需要能够在现实世界环境中以可靠、精确、方便及非侵入的方式经由传感器数据检测及/或量化心理感知及意图的方法及系统。
发明内容
本文揭示经由物理身体特征及/或运动的传感器测量来识别人及/或特性化其心理感知及意图的方法及系统。所揭示的技术可准确地识别人而不暴露私人信息(例如，人的视觉外观、着装状态、他/她正在阅读或在电视上观看的内容等)，从而允许保护个人隐私。与先前方法相比，所揭示的技术可使用多个物理属性或运动(例如，身高或步行速度)更准确地识别人。此方法消除对任何单个物理属性的依赖性及依赖于任何单个物理属性的相关联缺点，尤其是可能随时间变化或被阻挡而传感器无法观察到的属性。相反，先前的方法要求在更有限的物理约束下执行测量，并且其依赖于较小的一组物理属性(例如，当对象不面向相机并且仅利用静态面部特征时，面部辨识通常会失败)。
此外，所揭示的技术可利用一或多个物理属性的部分或不完整测量，使其对现实世界(嘈杂的、不受控)环境更加稳健。举例来说，所揭示的技术可在人们面对所揭示的技术时识别人；或者在其背对所揭示的技术时识别人；或者在其关于所揭示的技术(例如被家具)被部分遮挡时识别人。举例来说，所揭示的技术可描述疲劳测量，所述疲劳测量在以下情况下保持一致：人在某些时间经常对所揭示的技术可见但在其它时间偶尔可见；或者所述人的脸部有时被遮挡而在其它时间未被遮挡。
所揭示的技术可用于通过经由人的身体的传感器测量特性化人的移动、活动及/或行为来识别及量化心理感知(疼痛、疲劳、情绪)及意图(例如，执行动作的意图)。心理感知及意图在很大程度上无法通过现有技术测量。然而，在本文揭示的方法中，可经由人的身体姿势及移动的测量以代理方式间接地检测及量化这些属性。在其它改进当中，所揭示的技术建立获取疾病的与运动相关的新颖生物标志物的能力。
本文揭示的物理测量可为“直接的”(即，传感器与人的身体交互的直接结果)；或“间接的”(即，从其它测量中导出，而所述测量又可为直接的或间接的)。从其获得物理测量的传感器数据可为实时的或存储的，并且不论传感器与人之间的视线是空的还是被遮挡所述传感器数据都可被收集。这些测量不需要是连续的、邻近的、完整的，一致的或循序的，并且可回溯性地及前瞻性地计算。
在某些实施例中，所揭示的技术包含一种从传感器数据识别一或多个所关注的人的表示的方法，所述传感器数据含有其中具有人的周围环境的表示，所述方法包括：(a)通过计算装置的处理器接收来自一或多个帧的传感器数据(例如，深度数据)，其中所述传感器数据包括人的表示及所述周围环境的表示，其中人的所述表示包括所述一或多个所关注的人的表示；(b)通过所述处理器将所述传感器数据分割成所述传感器数据中所述人中的每一者的相异表示，使得所述传感器数据内的人的每一表示与所述传感器数据的相应分段相关联，借此区分所述人中的每一者的表示与所述传感器数据中的所述周围环境的表示；(c)通过所述处理器将一或多个身体部分与所述传感器数据的每一分段隔离；(d)针对所述传感器数据的每一分段，通过所述处理器基于所述传感器数据的所述相应分段的所述一或多个隔离身体部分来确定针对与所述人的所述相应表示相关联的一或多个特征中的每一者的测量；(e)针对所述传感器数据的每一分段，通过所述处理器确定与所述人的所述相应表示相关联的所述一或多个特征的所述确定测量的组合是否对应于(例如，在可适用的情况下在置信度阈值内)所述一或多个所关注的人中的一者的身体印记，借此将所述传感器数据的所述相应分段识别为所关注的人；以及(f)通过所述处理器存储与对应于所述一或多个所关注的人中的所述一者的所述身体印记的所述人的所述相应表示相关联的数据的所述分段，使得数据的所述分段与所述对应所关注的人的身份相关联。
在某些实施例中，通过所述处理器将所述传感器数据分割成所述传感器数据中所述人中的每一者的相异表示包括执行机器学习及/或图案辨识技术(例如，卷积神经网络、随机森林、支持向量机、朴素贝叶斯机器及/或群集技术)(例如，显式地或隐式地)。
在某些实施例中，通过所述处理器将所述一或多个身体部分与所述传感器数据的每一分段隔离包括执行机器学习及/或图案辨识技术(例如，卷积神经网络、随机森林、支持向量机、朴素贝叶斯机器及/或群集技术)(例如，显式地或隐式地)。
在某些实施例中，所述一或多个所关注的人中的每一者经注册用于识别。
在某些实施例中，识别所述相应分段是基于分类器的输出。
在某些实施例中，识别所述相应分段是基于规则或类别或启发(例如，例如点积的数学计算，或例如身高的截止阈值)。
在某些实施例中，所述方法包含针对所述一或多个所关注的人中的每一者，通过所述处理器将身份及身体印记存储在存储器装置中(例如，仅所关注的人的身体印记存储在存储器中；不是所关注人的人的身体印记未存储在存储器中)，其中每一身体印记包括一组特征，其与针对所述特征中的每一者的一系列测量组合，所述特征一起特定于所述一或多个所关注的人内的相应所关注的人，且每一身份与身体印记相关联。
在某些实施例中，所述方法包含通过所述处理器比较所述相应一或多个特征的所述确定测量与来自每一身体印记的所述组特征的对应子集的测量以确定所述相应一或多个特征的所述确定测量是否在针对身体印记的特征的对应子集的测量范围内。
在某些实施例中，不超过一个人、不超过两个人、不超过三个人、不超过四个人、不超过五个人、不超过六个人、不超过十个人、不超过二十五人、不超过五十人、不超过一百人经注册用于识别。
在某些实施例中，从所述传感器数据省略面部特征。
在某些实施例中，从所述传感器数据省略所有视觉数据。
在某些实施例中，所述人中的至少一者经识别为“其它”。
在某些实施例中，隔离一或多个身体部分包括通过所述处理器基于至少一个属性来确定要隔离传感器数据的每一分段中的哪些身体部分，所述至少一个属性选自由以下各者组成的群组：所述数据集的性质、所述传感器的类型、可用于所述人的非遮挡(即，“可见”)数据的量、传感器数据的所述分段内的身体部分的表示的可用性、针对所关注的人的身体印记的可用性、以及可用于计算的特征的库。
在某些实施例中，所述一或多个身体部分可在帧内因人而异。
在某些实施例中，所述一或多个测量包括选自由以下各者组成的群组的一或多个成员：面积、体积、周长、闭合曲线、未闭合曲线、长度、空间位置、角度、图像(其可为2D)、形态/形状(其可为3D)、强度、滤波输出、一组数值权重、数学缩放、数学变换、数学卷积、广义数学运算或前述中的任何者的变化率。
在某些实施例中，所述方法包含针对每一人，从一组一或多个候选特征(例如，基于特征的库及可用传感器数据)中选择子集，针对所述候选特征，为帧中的每一人确定测量。
在某些实施例中，所述一或多个特征中的至少一者在任何给定帧或一系列帧中是不可用的或不可计算的。
在某些实施例中，基于一或多个帧来计算所述一或多个特征中的每一者。
在某些实施例中，所述一或多个帧包括多个连续或非连续帧。
在某些实施例中，所述一或多个特征包括一或多个静态特征。
在某些实施例中，所述一或多个静态特征包括选自由以下各者组成的群组的一或多个成员：人的身高；肩到肩宽度；上臂、下臂、大腿、小腿、手、脚，头、颈或躯干的长度或宽度；以下任何两者之间的比率：躯干表面积、躯干体积、头长度、躯干长度、肢体周长；头或鼻子的体积；头或眼窝的周长；头剪影、嘴巴或下巴的宽度；头或下巴的顶部或背部的曲率度数；及以下任何两者之间的距离：眉间、鼻梁、鼻尖、人中、颏前点、眼睛瞳孔、外耳耳道、耳廓、头顶部、地面、身体部分的图像(其可为2D)、身体部分的形态/形状(其可为3D)、特征图像、特征脸、尺度不变特征变换、定向梯度直方图、像素掩模、像素计数、体素体积、质心、凸包、3D网格、色彩、反射率、纹理、图案、卷积。
在某些实施例中，所述一或多个静态特征包括选自由以下各者组成的群组的一或多个成员：神经网络的权重及/或输出，包含卷积神经网络；神经网络在不同时间点的权重及/或输出，包含卷积神经网络；随机森林的权重及/或输出；支持向量机的权重及/或输出；朴素贝叶斯机器的权重及/或输出；群集，包含K均值群集；监督式学习；无监督学习。
在某些实施例中，基于单个身体部分的属性的测量，或者不同身体部分的属性的测量之间的关系，或者一或多个身体部分的所述属性的测量与所述环境的测量之间的关系来计算每一特征。
在某些实施例中，所述单个身体部分的属性包括选自由以下各者组成的群组的一或多个成员：人的身高；上臂、下臂、大腿、小腿、手、脚，头、颈或躯干的长度或宽度；头或鼻子的体积；头或眼窝的周长；头剪影、嘴巴或下巴的宽度；头或下巴的顶部或背部的曲率度数。
在某些实施例中，不同身体部分的属性测量之间的关系包括以下任何两者之间的比率：躯干表面积、躯干体积、头长度、躯干长度、肢体周长；以下任何两者之间的距离：眉间、鼻梁、鼻尖、人中、颏前点、眼睛瞳孔、外耳耳道、耳廓、头顶部、地面。
在某些实施例中，所述一或多个特征包括一或多个动态特征。
在某些实施例中，所述一或多个动态特征包括选自由以下各者组成的群组的一或多个成员：身体转向率；步行速度(瞬时或平均)；跨步期间两脚之间的最大距离；跨步期间肩关节处的最大旋转角；右腿与左腿之间跨步长度的差异；存在或不存在轮椅；存在或不存在辅助装置，例如手杖；存在或不存在服装颜色或反射；鞋子(例如，高跟鞋)的高度；身体相对于地面的倾斜或摇摆角度；躯干与腿之间的弯曲角度；脊柱曲率度数；身体温度(例如，在生病期间)；靠近或远离本地家具或墙壁；身体距传感器的距离；头相对于躯干的定向；头相对于传感器的定向；相对于传感器的注视角度；存在或不存在眼镜；存在或不存在帽子或头盔；及头发的体积。
在某些实施例中，所述一或多个动态特征包括选自由以下各者组成的群组的一或多个成员：神经网络的权重及/或输出，包含卷积神经网络；神经网络在不同时间点的权重及/或输出，包含卷积神经网络；随机森林的权重及/或输出；支持向量机的权重及/或输出；朴素贝叶斯机器的权重及/或输出；群集，包含K均值群集；监督式学习；无监督学习。
在某些实施例中，基于如下的1)到3)中的至少一者来计算所述一或多个动态特征中的每一者：1)单个身体部分的属性随时间、空间或所关注的其它测量单元(例如，头转动、手抬高、身体温度、身体部分的形状及大小或身体关节相对于所述传感器的定向)的变化；2)不同身体部分的特征之间的关系随时间、空间或所关注的其它测量单元(例如，相对于所述传感器的整体身体定向)的变化；以及3)环境或其与所述人的不同身体区段的关系随时间、空间或所关注的其它测量单元(例如，所述人靠近房间中的特定椅子的频率或所述人到所述传感器的距离)的变化。
在某些实施例中，所述身份是划入识别(例如，“此人可能是鲍勃(Bob)”)。
在某些实施例中，所述身份是排除，也称为“其它”识别(例如，“此人可能不是鲍勃”)。
在某些实施例中，所述一或多个特征是从所述传感器数据中不同于用于识别另一人的所述一或多个特征的帧或一组帧捕获的。
在某些实施例中，针对每一人，基于一组特征以及针对所述特征中的每一者的一系列测量来确定所述身份，所述特征在经组合的情况下高度特定于特定人(例如，其身体印记对于所述系统是已知的所述组人)。
在某些实施例中，针对每一人，至少部分地基于用于执行所述识别的所述一或多个特征的保真度及/或预测能力来确定所述身份(例如，所述特征的可测量程度；所述特征的测量中的置信度；所述特征对于单个人的特定性)。
在某些实施例中，所述一或多个特征基于选自由以下各者组成的群组的至少一个成员来随时间变化：可用场景、所述传感器、所述传感器数据、已知身体印记的库以及已知及可计算特征的库。
在某些实施例中，通过机器学习及/或图案辨识技术(例如，卷积神经网络、随机森林、支持向量机、朴素贝叶斯机器及/或群集技术)自动计算所述一或多个特征及/或身体印记。
在某些实施例中，所述一或多个特征及/或身体印记由例如手动标记的外部代理提供为先验或后验信息。
在某些实施例中，可随时间更新或修改所述一或多个特征及/或身体印记。
在某些实施例中，所述方法包含通过传感器(例如，放置在建筑物(例如人的家)的房间中)获取传感器数据(对应于给定视场)，其中所述传感器数据包括多个帧，并且每一帧被表示为像素的二维空间图(例如，矩阵)，其中每一像素的强度值对应于距所述传感器的投射距离(即，行进通过所述传感器的第一垂直平面与行进通过所述场景中的物体的第二垂直平面之间的水平距离)。
在某些实施例中，所述方法包含通过所述处理器对所述一或多个特征进行优先级排序，其中所述优先级排序包括跨越选自由以下各者组成的群组的至少一个成员来聚合特征：不同传感器、不同时间、不同身体印记及不同空间位置。
在某些实施例中，所述一或多个特征在同一场景内因人而异。
在某些实施例中，即使针对同一人，所述一或多个特征在帧与帧之间也具有不同的指派。
在某些实施例中，所述传感器数据包括通过飞行时间光检测及测距中的至少一者、或通过将至少一个能量图案投射到所述场景上并测量所述图案的变形而获取的数据。
在某些实施例中，所述传感器数据包括使用光(例如，电磁辐射)或声音(例如，声学数据)获取的数据。
在某些实施例中，所述传感器数据包括选自由以下各者组成的群组的至少一个数据类型：原始传感器数据、从原始传感器数据(例如，骨架数据，其中估计人骨架的关节，及像素标记数据，其中数据集合的每一像素经指派到零个或一个人)导出的值及轨迹数据(例如，人随时间的改变位置)。
在某些实施例中，所述一或多个帧中的每一者对应于由一或多个数据流组成的“快照”，所述数据流包括在特定时刻之前或在特定时刻获取的数据。
在某些实施例中，所述一或多个帧包括由单个传感器在多个时间点拍摄的多个帧中的至少一者，或者由多个传感器在相同或不同时间点拍摄的多个帧中的至少一者。
在某些实施例中，所述方法包含通过所述处理器确定针对所识别的每一人的置信度分数。
在某些实施例中，所述方法包含通过所述处理器丢弃与人(例如，“其它”人)相关联的所述传感器数据的子集。
在某些实施例中，所述身份包括未知识别。
在某些实施例中，所述方法包含通过所述处理器调整所述一或多个特征，以确保所有特征在时间上及/或空间上并置(努力‘对准’观察物)。
在某些实施例中，所述一或多个特征中的至少一者经偏移校正、时延校正或空间并置，以便调整所述传感器中或计算方法中的时序延迟或偏差。
在某些实施例中，特征的保真度取决于选自由以下各者组成的群组的至少一个成员：所述场景(即，所述视场及其内的所述物体)的组成、所利用的传感器的类型及所获取的数据的类型。
在某些实施例中，在所述人自然地移动(例如，步行、转动、执行活动)的同时执行识别。
在某些实施例中，实时地或接近实时地执行识别。
在某些实施例中，在延迟之后或等效地在显著不同于数据获取发生的时间的时间执行识别。
在某些实施例中，回溯性地执行识别(即，“倒回”通过先前获取的数据)。
在某些实施例中，所述人位于距所述传感器大于0.1米、大于0.5米、大于1米、大于2米、大于5米的距离处。
在某些实施例中，所揭示的技术包含一种用于从传感器数据识别一或多个所关注的人的表示的系统，传感器数据含有其中具有人的周围环境的表示，所述系统包括：处理器；及存储器，其上存储指令，其中所述指令在通过所述处理器执行时致使所述处理器执行以下操作：将来自一或多个帧的传感器数据(例如，深度数据)分割成所述传感器数据中的所述人中的每一者的相异表示，使得所述传感器数据内的人的每一表示与所述传感器数据的相应分段相关联，借此区分所述人中的每一者的所述表示与所述传感器数据中的所述周围环境的表示，其中所述传感器数据包括人的表示及所述周围环境的表示，其中人的所述表示包括所述一或多个所关注的人的表示；将一或多个身体部分与所述传感器数据的每一分段隔离；针对所述传感器数据的每一分段，基于所述传感器数据的所述相应分段的所述一或多个隔离身体部分来确定针对与所述人的所述相应表示相关联的一或多个特征中的每一者的测量；针对所述传感器数据的每一分段，确定与所述人的所述相应表示相关联的所述一或多个特征的所述确定测量的组合是否对应于(例如，在可适用的情况下在置信度阈值内)所述一或多个所关注的人中的一者的身体印记，借此将所述传感器数据的所述相应分段识别为所关注的人；以及存储与对应于所述一或多个所关注的人中的所述一者的所述身体印记的所述人的所述相应表示相关联的数据的所述分段，使得数据的所述分段与所述对应所关注的人的身份相关联。
在某些实施例中，所述指令在通过所述处理器执行时致使所述处理器执行机器学习及/或图案辨识技术(例如，卷积神经网络、随机森林、支持向量机、朴素贝叶斯机器及/或群集技术)(例如，显式地或隐式地)，以将所述传感器数据分割成所述传感器数据中所述人中的每一者的相异表示。
在某些实施例中，所述指令在通过所述处理器执行时致使所述处理器执行机器学习及/或图案辨识技术(例如，卷积神经网络、随机森林、支持向量机、朴素贝叶斯机器及/或群集技术)(例如，显式地或隐式地)，以将所述一或多个身体部分与所述传感器数据的每一分段隔离。
在某些实施例中，所述一或多个所关注的人中的每一者经注册用于识别。
在某些实施例中，识别所述相应分段是基于分类器的输出。
在某些实施例中，识别所述相应分段是基于规则或类别或启发(例如，例如点积的数学计算，或例如身高的截止阈值)。
在某些实施例中，所述指令在通过所述处理器执行时致使所述处理器针对所述一或多个所关注的人中的每一者将身份及身体印记存储在存储器装置中(例如，仅所关注的人的所述身体印记存储在存储器中；非所关注的人的人的身体印记未存储在存储器中)，其中每一身体印记包括一组特征，其与针对所述特征中的每一者的一系列测量组合，所述特征一起特定于所述一或多个所关注的人内的相应所关注的人，且每一身份与身体印记相关联。
在某些实施例中，所述指令在通过所述处理器执行时致使所述处理器比较所述相应一或多个特征的所述确定测量与来自每一身体印记的所述组特征的对应子集的测量以确定所述相应一或多个特征的所述确定测量是否在针对身体印记的特征的对应子集的测量范围内。
在某些实施例中，不超过一个人、不超过两个人、不超过三个人、不超过四个人、不超过五个人、不超过六个人、不超过十个人、不超过二十五人、不超过五十人、不超过一百人经注册用于识别。
在某些实施例中，从所述传感器数据省略面部特征。
在某些实施例中，从所述传感器数据省略所有视觉数据。
在某些实施例中，所述人中的至少一者经识别为“其它”。
在某些实施例中，所述指令在通过所述处理器执行时致使所述处理器基于至少一个属性来确定要隔离传感器数据的每一分段中的哪些身体部分，所述至少一个属性选自由以下各者组成的群组：所述数据集的性质、所述传感器的类型、可用于所述人的非遮挡(即，“可见”)数据的量、传感器数据的所述分段内的身体部分的表示的可用性、针对所关注的人的身体印记的可用性、以及可用于计算的特征的库。
在某些实施例中，被隔离的所述一或多个身体部分可在帧内因人而异。
在某些实施例中，所述一或多个特征的所述一或多个测量中的每一者包括选自由以下各者组成的群组的一或多个成员：面积、体积、周长、闭合曲线、未闭合曲线、长度、空间位置、角度、图像(其可为2D)、形态/形状(其可为3D)、强度、滤波输出、一组数值权重、数学缩放、数学变换、数学卷积、广义数学运算或前述中的任何者的变化率。
在某些实施例中，所述指令在通过所述处理器执行时致使所述处理器针对每一人确定哪些特征(例如，基于特征的库及可用传感器数据)可及应针对帧中的每一人来计算。
在某些实施例中，所述一或多个特征中的至少一者在任何给定帧或一系列帧中是不可用的或不可计算的。
在某些实施例中，基于一或多个帧来计算所述一或多个特征中的每一者。
在某些实施例中，所述一或多个帧包括多个连续或非连续帧。
在某些实施例中，所述一或多个特征包括一或多个静态特征。
在某些实施例中，所述一或多个静态特征包括选自由以下各者组成的群组的一或多个成员：人的身高；肩到肩宽度；上臂、下臂、大腿、小腿、手、脚，头、颈或躯干的长度或宽度；以下任何两者之间的比率：躯干表面积、躯干体积、头长度、躯干长度、肢体周长；头或鼻子的体积；头或眼窝的周长；头剪影、嘴巴或下巴的宽度；头或下巴的顶部或背部的曲率度数；及以下任何两者之间的距离：眉间、鼻梁、鼻尖、人中、颏前点、眼睛瞳孔、外耳耳道、耳廓、头顶部、地面、身体部分的图像(其可为2D)、身体部分的形态/形状(其可为3D)、特征图像、特征脸、尺度不变特征变换、定向梯度直方图、像素掩模、像素计数、体素体积、质心、凸包、3D网格、色彩、反射率、纹理、图案、卷积。
在某些实施例中，所述一或多个静态特征包括选自由以下各者组成的群组的一或多个成员：神经网络的权重及/或输出，包含卷积神经网络；神经网络在不同时间点的权重及/或输出，包含卷积神经网络；随机森林的权重及/或输出；支持向量机的权重及/或输出；朴素贝叶斯机器的权重及/或输出；群集，包含K均值群集；监督式学习；无监督学习。
在某些实施例中，基于单个身体部分的属性的测量，或者不同身体部分的属性的测量之间的关系，或者一或多个身体部分的所述属性的测量与所述环境的测量之间的关系来计算所述一或多个特征中的每一者。
在某些实施例中，所述单个身体部分的所述属性包括选自由以下各者组成的群组的一或多个成员：人的身高；上臂、下臂、大腿、小腿、手、脚，头、颈或躯干的长度或宽度；头或鼻子的体积；头或眼窝的周长；头剪影、嘴巴或下巴的宽度；头或下巴的顶部或背部的曲率度数。
在某些实施例中，不同身体部分的属性测量之间的关系包括以下任何两者之间的比率：躯干表面积、躯干体积、头长度、躯干长度、肢体周长；以下任何两者之间的距离：眉间、鼻梁、鼻尖、人中、颏前点、眼睛瞳孔、外耳耳道、耳廓、头顶部、地面。
在某些实施例中，所述一或多个特征包括一或多个动态特征。
在某些实施例中，所述一或多个动态特征包括选自由以下各者组成的群组的一或多个成员：身体转向率；步行速度(瞬时或平均)；跨步期间两脚之间的最大距离；跨步期间肩关节处的最大旋转角；右腿与左腿之间跨步长度的差异；存在或不存在轮椅；存在或不存在辅助装置，例如手杖；存在或不存在服装颜色或反射；鞋子(例如，高跟鞋)的高度；身体相对于地面的倾斜或摇摆角度；躯干与腿之间的弯曲角度；脊柱曲率度数；身体温度(例如，在生病期间)；靠近或远离本地家具或墙壁；身体距传感器的距离；头相对于躯干的定向；头相对于传感器的定向；相对于传感器的注视角度；存在或不存在眼镜；存在或不存在帽子或头盔；及头发的体积。
在某些实施例中，所述一或多个动态特征包括选自由以下各者组成的群组的一或多个成员：神经网络的权重及/或输出，包含卷积神经网络；神经网络在不同时间点的权重及/或输出，包含卷积神经网络；随机森林的权重及/或输出；支持向量机的权重及/或输出；朴素贝叶斯机器的权重及/或输出；群集，包含K均值群集；监督式学习；无监督学习。
在某些实施例中，基于如下的1)到3)中的至少一者来计算所述一或多个动态特征中的每一者：1)单个身体部分的属性随时间、空间或所关注的其它测量单元(例如，头转动、手抬起、身体温度、身体部分的形状或大小或身体关节相对于所述传感器的定向)的变化；2)不同身体部分的特征之间的关系随时间、空间或所关注的其它测量单元(例如，相对于所述传感器的整体身体定向)的变化；以及3)环境或其与所述人的不同身体区段的关系随时间、空间或所关注的其它测量单元(例如，所述人靠近所述房间中的特定椅子的频率或所述人到所述传感器的距离)的变化。
在某些实施例中，所述身份是划入识别(例如，“此人可能是鲍勃”)。
在某些实施例中，所述身份是排除，也称为“其它”识别(例如，“此人可能不是鲍勃”)。
在某些实施例中，所述一或多个特征是从所述传感器数据中不同于识别另一人的所述一或多个特征的不同帧或一组帧捕获的。
在某些实施例中，针对每一人，基于一组特征以及针对所述特征中的每一者的一系列测量来确定所述身份，所述特征在经组合的情况下高度特定于特定人(例如，在其身体特征对于所述系统来说已知的所述组人内)。
在某些实施例中，至少部分地基于用于执行所述识别的所述一或多个特征的保真度及/或预测能力来确定所述身份(例如，所述特征的可测量程度；所述特征的测量中的置信度；所述特征对于单个人的特定性)。
在某些实施例中，所述一或多个特征基于选自由以下各者组成的群组的至少一个成员来随时间变化：可用场景、所述传感器、所述传感器数据、已知身体印记的库以及已知及可计算特征的库。
在某些实施例中，通过机器学习及/或图案辨识技术(例如，卷积神经网络、随机森林、支持向量机、朴素贝叶斯机器及/或群集技术)自动计算所述一或多个特征及/或身体印记。
在某些实施例中，所述一或多个特征及/或身体印记由例如手动标记的外部代理提供为先验或后验信息。
在某些实施例中，可随时间更新或修改所述一或多个特征及/或身体印记。
在某些实施例中，通过传感器(例如，放置在建筑物(例如人的家)的房间中)获取传感器数据，其中所述传感器数据包括多个帧，并且每一帧被表示为像素的二维空间图(例如，矩阵)，其中的每一像素的强度值对应于距所述传感器的投射距离(即，行进通过所述传感器的第一垂直平面与行进通过所述场景中的物体的第二垂直平面之间的水平距离)。
在某些实施例中，所述指令在通过所述处理器执行时致使所述处理器对所述一或多个特征进行优先级排序，借此跨越选自由以下各者组成的群组的至少一个成员来聚合特征：不同传感器、不同时间、不同身体印记及不同空间位置。
在某些实施例中，所述一或多个特征在同一场景内因人而异。
在某些实施例中，即使针对同一人，所述一或多个特征在帧与帧之间也具有不同的指派。
在某些实施例中，所述传感器数据包括通过飞行时间光检测及测距中的至少一者、或通过将至少一个能量图案投射到所述场景上并测量所述图案的变形而获取的数据。
在某些实施例中，所述传感器数据包括使用光(例如，电磁辐射)或声音(例如，声学数据)获取的数据。
在某些实施例中，所述传感器数据包括选自由以下各者组成的群组的至少一个数据类型：原始传感器数据、从原始传感器数据(例如，骨架数据，其中估计人骨架的关节，及像素标记数据，其中数据集合的每一像素经指派到零个或一个人)导出的值或轨迹数据(例如，人随时间的改变位置)。
在某些实施例中，所述一或多个帧中的每一者对应于由一或多个数据流组成的“快照”，所述数据流包括在特定时刻之前或在特定时刻获取的数据。
在某些实施例中，所述一或多个帧包括由单个传感器在多个时间点拍摄的多个帧中的至少一者，或者由多个传感器在相同或不同时间点拍摄的多个帧中的至少一者。
在某些实施例中，所述指令在通过所述处理器执行时致使所述处理器确定针对所识别的每一人的置信度分数。
在某些实施例中，所述指令在通过所述处理器执行时致使所述处理器丢弃与人(例如，“其他”人)相关联的所述传感器数据的子集。
在某些实施例中，所述身份包括未知识别。
在某些实施例中，所述指令在通过所述处理器执行时致使所述处理器调整所述一或多个特征以确保所有特征在时间上及/或空间上并置(努力‘对准’观察物)。
在某些实施例中，所述一或多个特征中的至少一者经偏移校正、时延校正或空间并置，以便调整所述传感器中或计算方法中的时序延迟或偏差。
在某些实施例中，特征的所述保真度取决于选自由以下各者组成的群组的至少一个成员：所述场景(即，所述视场及其内的所述物体)的组成、所利用的传感器的类型及所获取的数据的类型。
在某些实施例中，在所述人自然地移动(例如，步行、转动、执行活动)的同时执行相应分段。
在某些实施例中，实时地或接近实时地执行相应分段。
在某些实施例中，在延迟之后或等效地在显著不同于数据获取发生的时间的时间执行相应分段。
在某些实施例中，回溯性地执行识别所述相应分段(即，“倒回”通过先前获取的数据)。
在某些实施例中，所述人位于距所述传感器大于0.1米、大于0.5米、大于1米、大于2米、大于5米的距离处。
在某些实施例中，所述系统进一步包括用于获取所述传感器数据的红外飞行时间传感器。
在某些实施例中，所述系统进一步包括显示器及用于处理器及存储器的外壳。
在某些实施例中，所揭示的技术包含一种至少部分地(或排他地)基于深度数据(例如，通过一或多个传感器(例如，一或多个室内传感器)获得的一或多个深度图[例如，时间序列的深度图])在传感器场中实时地或近实时地识别一组离散的预先注册人类个体中的一者的方法(例如，不使用图像(所述图像如果在未经事先注册的情况下经隔离观看或分析，将提供所述个体的肯定识别)，例如，不使用摄影静止图像或视频图像，借此保护所述个体的个人隐私)，所述方法包括：通过计算装置的处理器至少部分地基于通过所述一或多个传感器获得的所述深度数据来量化在所述传感器场内检测到的人的多个特征特性中的每一者(例如，其中所述多个特征包括至少一个静态特征(例如，身高、腿长度、肩到肩宽度、机器学习及/或图案辨识技术[例如，卷积神经网络、随机森林、支持向量机、朴素贝叶斯机器及/或群集技术]的所述权重及/或输出)及/或至少一个动态特征(例如，注视角度、步行速度、头剪影宽度、机器学习及/或图案辨识技术[例如，卷积神经网络、随机森林、支持向量机、朴素贝叶斯机器及/或群集技术]的所述权重及/或输出))；通过所述处理器基于针对在所述传感器场内检测到的所述人类的所述经量化多个特征来量化一或多个身体印记(即，分类量化)；以及通过所述处理器至少部分地基于所述一或多个身体印记从一组预先注册人类个体当中实时地或近实时地肯定地识别所述传感器场内检测到的所述人类。
在某些实施例中，所述方法包含至少部分地基于所述一或多个身体印记来确定所述肯定地识别的个体所参与的活动(例如，步行、弯腰、跌倒、转动、跑步、在物体后面步行)。
在某些实施例中，仅对深度数据执行肯定地识别所述人类。
在某些实施例中，所述深度数据包括通过一或多个传感器(例如，一或多个室内传感器)获得的一或多个深度图(例如，时间序列的深度图)。
在某些实施例中，所述深度数据不包括视觉图像(例如，照片(例如，所述图像如果在没有事先注册的情况下经隔离观看或分析，将提供所述个体的肯定识别))。
在某些实施例中，在不使用摄影静止图像或视频图像的情况下实现肯定地识别所述人类，借此保护所述个体的个人隐私。
在某些实施例中，所述多个特征包括至少一个静态特征(例如，身高、腿长度、肩到肩宽度、机器学习及/或图案辨识技术[例如，卷积神经网络、随机森林、支持向量机、朴素贝叶斯机器及/或群集技术]的所述权重及/或输出)及/或至少一个动态特征(例如，注视角度、步行速度、头剪影宽度、机器学习及/或图案辨识技术[例如，卷积神经网络、随机森林、支持向量机、朴素贝叶斯机器及/或群集技术]的所述权重及/或输出)。
在某些实施例中，所述组预先注册人类个体包括不大于一百、不大于五十、不大于二十五、不大于十、不大于六、不大于五、不大于四、不大于三、不大于二、或不大于一个人类个体。
在某些实施例中，以至少80％、至少90％、至少95％或至少99％的置信度肯定地识别所述人类。
在某些实施例中，所述方法包含通过所述处理器显示在所述传感器场内检测到的所述肯定地识别的人类的姓名(例如，昵称、名字、图形图标等)，并且任选地，显示其中所述肯定地识别的个体参与的所述确定活动的图形指示(例如，以至少80％、至少90％至少95％或至少99％的置信度)。
在某些实施例中，所揭示的技术包含一种经由人的物理测量来识别及/或量化所述人的疼痛、疲劳、情绪及意图中的至少一者的方法，所述方法包括：通过计算装置的处理器接收数据集(例如，直接从一或多个传感器接收或从存储装置接收)，所述数据集包括通过传感器获取的传感器数据(例如，主动地[例如，所述一或多个传感器参与获取数据]及/或被动地[例如，所述数据从文件加载])；通过所述处理器基于所述数据集特性化选自由所述人的移动、活动及行为组成的群组的至少一个成员，其中所述特性化包括：将所述数据集内表示的一或多个人彼此分割(例如，区分)并将其与所述数据集内表示的环境物体(例如，家具)分割；计算所述一或多个经分割人中的至少一者的至少一个特征；以及基于将至少一个特征与关系相关联来确定结论；以及通过所述处理器输出所述结论。
在某些实施例中，分割在所述数据集内表示的所述一或多个人包括执行机器学习及/或图案辨识技术(例如，卷积神经网络、随机森林、支持向量机、朴素贝叶斯机器及/或群集技术)(例如，显式地或隐式地)。
在某些实施例中，所述关系是习得关系。
在某些实施例中，所述至少一个特征包括作为直接测量(例如，传感器与所述人的身体交互的直接结果)的物理测量。
在某些实施例中，所述至少一个特征包括作为间接测量的物理测量(例如，从其它测量导出，其它测量可又为直接的或间接的)。
在某些实施例中，所述结论是基于不完整测量(例如，非连续的、非邻近的、不一致的、非循序测量)。
在某些实施例中，所述至少一个特征是基于所述数据集中的测量，所述测量是非连续的、非邻近的、不完整的、不一致的、非循序的中的至少一者。
在某些实施例中，所述结论是基于若干不同类型及特征组合的合并。
在某些实施例中，所述数据集中的所述传感器数据直接从传感器获取(例如，是原始数据)及/或已经历额外处理。
在某些实施例中，所述数据集包括一或多个帧。
在某些实施例中，所述一或多个帧中的每一帧对应于一或多个数据流的快照，所述数据流包括在特定时刻之前或在特定时刻获取的数据。
在某些实施例中，所述一或多个帧通过单个传感器在多个时间点处捕获及/或通过多个传感器捕获。
在某些实施例中，所述数据集大体上实时地(例如，从“实时”数据馈送)获取，以批量模式(例如，存储及服务)获取，或者从先前存储在数据库中的数据获取。
在某些实施例中，所述方法包含丢弃被确定为非私人的数据类型(例如，危及所关注的应用中的人的隐私的数据类型)(例如，彩色图像数据，例如照片)。
在某些实施例中，所述方法包含通过所述处理器对所述数据集进行预处理以用于后续分析，其中预处理包括选由以下各者组成的群组的一或多个步骤：过滤(例如，去噪、平均化及/或去除或修复不符合某些质量标准的数据，例如循序数据点之间的一致时间量)、调节、清理、并正规化所述数据集。
在某些实施例中，所述方法包含通过所述处理器对所述数据集进行预处理以用于后续分析，其中对来自所述数据集或计算出的特征的原始数据执行预处理。
在某些实施例中，在没有关于被分割人的身份的任何信息的情况下执行分割。
在某些实施例中，所述方法包含在分割之后，确定所分割的所述一或多个人中的每一者的标签，以便将计算出的特征与特定个体相关联。
在某些实施例中，所述至少一个特征包括选自由以下各者组成的群组的至少一个成员：肢体长度、脚大小、头形状、身高、身体比例、身体体积、语音频谱、语音音量、跨步长度、视场内的位置及手臂抬高的速度。
在某些实施例中，所述方法包含通过所述处理器使用机器学习及/或图案辨识技术(例如，卷积神经网络、随机森林、支持向量机、朴素贝叶斯机器及/或群集技术)自动计算所述至少一个特征。
在某些实施例中，基于所述特定特征的所述可用性及所述输出结论的相关性中的至少一者来暂停计算至少一个特征。
在某些实施例中，通过所述处理器基于所述数据集确定移动、活动或行为的期望特性包括在分割之前通过所述处理器预处理所述数据集用于后续分析。
在某些实施例中，所述关系是预先确定的。
在某些实施例中，所述习得关系是基于基础事实(ground truth)。
在某些实施例中，所揭示的技术包含一种经由人的物理测量来识别及/或量化所述人的疼痛、疲劳、情绪及意图中的至少一者的系统，所述系统包括：传感器，其用于获取对应于所述人的数据；处理器；及存储器，其上存储有指令，其中所述指令在通过处理器执行时致使所述处理器执行以下操作：接收数据集(例如，直接从一或多个传感器接收或从存储装置接收)，所述数据集包括由传感器获取的传感器数据，(例如，主动地(例如，所述一或多个传感器参与获取数据)及/或被动地(例如，所述数据从文件加载))；通过以下方式基于所述数据集特性化所述人的移动、活动及行为中的至少一者：将所述数据集内表示的一或多个人彼此分割(例如，区分)并将其与所述数据集内表示的环境物体(例如，家具)分割；计算所述一或多个分割人中的至少一者的至少一个特征；以及基于将所述至少一个特征与关系相关联来确定所述人的结论；以及输出所述结论。
在某些实施例中，分割在所述数据集内表示的所述一或多个人包括执行机器学习及/或图案辨识技术(例如，卷积神经网络、随机森林、支持向量机、朴素贝叶斯机器及/或群集技术)(例如，显式地或隐式地)。
附图说明
通过参考以下结合附图进行的描述，本发明的前述及其它目的、方面、特征及优点将变得更加明显及更好理解，其中：
图1A到1D是说明根据本发明的一些实施例的识别人及/或识别并量化疼痛、疲劳、情绪或意图的方法的高级框图；
图2A到2C说明根据说明性实施例的基于红外反射测量的实例传感器类型及其在测量来自场景的深度(空间)数据中的用途的示意图；
图3A到3M说明根据说明性实施例的实例系统的一部分的快照，其展现实例原始传感器数据流(色彩、深度及骨架数据)；导出特征(步行速度)；在各种条件(例如，人的定向、姿势及遮挡)下人及所关注的人(“蒂姆(Tim)”)的表示的识别；
图4是根据说明性实施例的用于计算静态及动态特征的实例方法的高级框图；
图5A到5E说明根据说明性实施例的特征及/或身体印记的实例；
图6是说明根据本发明的说明性实施例的一系列移动，在一系列帧中捕获的一组实例静态及动态特征以及人分类的结果的示意图；
图7是根据说明性实施例的用于训练用于人识别的分类器的实例方法的高级框图；
图8是说明根据说明性实施例的用于人识别的分类器的实例输出的示意图；
图9A到9D说明根据说明性实施例的将特征与关系相关联以确定结论的实例；
图10列出所测量特征与确定结论之间关系的实例；
图11是根据说明性实施例的用于使用静态及动态特征识别人及物体的方法及系统中使用的实例网络环境的框图；
图12是用于在本文呈现的系统及方法的说明性实施例中的实例计算装置及实例移动计算装置的框图；及
图13A到13D是根据本发明的一些实施例的用于识别人及/或识别并量化疼痛、疲劳、情绪或意图的实例系统的示意图及图像。
从下文在结合图式时阐述的详细描述，本发明的特征及优点将变得更加明显，其中相似参考字符始终识别对应元件。在图式，相似参考数字通常指示相同的、功能类似的及/或结构类似的元件。
定义
在本申请案中，除非从上下文清楚，否则(i)术语“一”可理解为意指“至少一个”；(ii)术语“或”可理解为意指“及/或”；(iii)术语“包括”及“包含”可理解为涵盖逐项列出的组件或步骤，无论是由其自身呈现还是与一或多个额外组件或步骤一起呈现；(iv)术语“约”及“大约”可理解为允许标准差，如所属领域的一般技术人所理解的。
活动：如本文所使用，“活动”指示在环境背景下的移动协调。“活动”的实例包含使用手杖行走，使用电话进行对话以及坐着持续一段确定的时间。
属性：如本文所使用，“属性”是指人或对象的某些属性的现实世界值。属性是现实世界中某事物的“基础事实”或“现实”。物理属性的实例包含人的头的(实际)体积，人的上臂的(实际)周长，以及人的头发的(实际)颜色(作为可见光的波长)。心理或意图属性的实例包含人的疲劳或痛苦的(真实)程度，人关于是否实行预期动作的(真实)意图，以及对象感受到的与感测到危险相关的警报的(真实)程度。
行为：如本文所使用，“行为”指示经由移动及/或活动朝向目标的进展。“行为”的实例包含吃饭，大声惊讶地仰望，在工作时间期间在桌子上睡觉，以及愤怒地打手势。术语“活动”及“行为”重叠并且偶尔将在本文中可互换使用。
身体印记：如本文所使用，“身体印记”是1)一组特征，其与2)针对所述特征中的每一者的一系列测量组合，所述特征一起高度特定于特定人(其“身体印记”对系统是已知的所述组人内的)，并且针对其特定性程度可任选地通过3)所谓的“身体评分”来量化。“身体印记”是本发明性系统与人的“指纹”的类似物。
相机：如本文所使用，“相机”是指是可收集关于环境的信息的任何传感器，尤其是(但不限于)电磁测量，例如可见光或红外光。因此，如本文使用的“相机”是一种指代传感器的通用术语，并不特定指代可见光装置，也不限于可见光装置。
结论：如本文所使用，“结论”是指对人的疼痛、疲劳、情绪及/或意图的评估及/或人的移动、行为及/或活动的特性化。可基于将人(及/或人的环境)的“特征”与“关系”(预先确定的或学习的)相关联来确定结论。举例来说，结论可能是，“鲍勃比上周更痛苦。”举例来说，结论可能是，“鲍勃的疼痛比上周增大20％。”举例来说，结论可能是，“视场中未知的人正在留下可疑物体”。
结论可额外地包括与人的移动、活动或行为有关的量化计算。举例来说，在确定人的意图包含轻快步行时，结论输出可陈述计算出的人的步行速度。作为额外实例，在确定人的情绪时，结论输出可陈述定性情绪以及人的跨步长度及/或进食的持续时间及频率，以便使监测器进一步特性化人的情绪。
数据集：如本文所使用，“数据集”是指一或多个帧的集合。可在显著不同时间获得一或多个帧。数据集内的数据类型可包括(但不限于)：原始传感器数据(例如，来自数码相机的彩色图像数据)，计算出的传感器数据流(例如，从深度数据计算的骨架数据)，或者各种各样的计算出的数据类型，例如身体轮廓、步行速度、跨步长度、关节定向及/或可能具有时空相依性的其它此类度量，如本文进一步描述。可经由单个传感器或经由多个传感器收集数据集，所述传感器可放置在不同的观察点处并且可在时间上同步或不同步。
数据流：如本文所使用，“数据流”是指源自传感器的数字编码信号序列。数据流的实例包含：一维数据流(例如，来自红外光束的信号，当有人穿过它时，它被“破坏”)；二维数据流(例如，网络摄像头照片或视频)；及三维数据流(例如，深度图像，其中图像的每一像素对应于从传感器到视场中的物体的某个部分的现实世界距离)。
深度数据：如本文所使用，“深度数据”是指关于物体在空间中相对于已知坐标系的空间位置的信息。在一些实施例中，使用飞行时间光检测及测距(LIDAR)来获取深度数据。在其它实施例中，通过将图案投射到场景上并测量其变形来获取深度数据。在其它实施例中，通过各种方法获取深度数据，所述方法包含光(电磁辐射)、声音(声学)或额外模态。深度数据可以类似于2D图像数据的方式表示，其中所谓的2D“深度图”中的每一像素的强度值含有从公共参考平面-例如，通过传感器自身建立的垂直平面-到对应于给定物体的空间中的点或平面的距离的测量。存在许多方法来获取、计算或以其它方式产生用于视场的深度数据，如在2012年10月2日申请的标题为“用于针对服装、配件或假肢对个体进行定大小及装配的方法及设备(Method and Apparatus for Sizing and Fitting an Individualfor Apparel,Accessories,or Prosthetics)”的第9,341,464号美国专利中所描述，所述专利的全部内容特此以引用的方式并入本文中。
动态特征：如本文所使用，“动态特征”是指在所关注的时间段(例如，超过几秒、几分钟或几小时)内随时间变化的特征。使用时变数据测量动态特征。可从单个帧确定或测量动态特征，或者从在时间或空间上可为或可不为连续的多个帧确定或测量动态特征。与静态测量一样，由于测量限制，动态特征的测量值(或测量)可能与其实际现实世界值不同。动态特征的实例包含：物体在房间中的位置、人的身体相对于传感器的定向、环境温度、瞬时步行速度、平均步行速度(在任意持续时间内计算出)及跨步长度。
特征：如本文所使用的术语“特征”是指可用于识别人及/或测量关于人的某些事物的代表性特性或度量。
在一些情况下，如本文所使用的术语“特征”可指代现实世界属性或现实世界属性的组合的计算或其它确定。每一此特征可直接从原始数据计算；从对原始数据的计算来计算；及/或从对其它特征的计算来计算(以任何权重或组合)。(在现实生活中，由于噪声、误差及其它降级源，对物体的获取的测量必然是“基础事实”属性的近似。举例来说，由于遮挡头饰或传感器的分辨率限制，所测量的人体头的体积可能是错误的。举例来说，测量的人的头发颜色可能会因环境光的照射而变化。)
在一些情况下，如本文所使用的术语“特征”可指代人、周围环境、传感器数据(原始的或经处理的)及/或其它特征的任何可测量的性质。每一此特征可任选地在时间上，在空间上，在一些其它测量单元(例如角度或像素计数)上或在其任何组合上计算。举例来说，特征可为物理上可测量的人的量或性质(例如，以米为单位的人的身高)。举例来说，特征可为依次从其它性质或特征导出的人的量或性质(例如，面部的数学特征图像，也称为特征脸；或者包括一组像素标记数据中的头的像素的计数，所述术语定义如下)。特征的额外实例(非穷尽性)包含：肩到肩宽度、头大小、头形态(形状)、鼻子形态、眼到眼距离、眼到耳距离、步行速度(瞬时或平均)、跨步长度、身体部分的SIFT(尺度不变特征变换)及身体部分的HOG(定向梯度直方图)。
人类可容易地理解一些特征，其对应于直观上可理解的人类尺度属性，例如人的身高。针对人类来说，其它特征可能较不直观，其对应于纯粹的数学表示，例如抽象算法的数字输出。其它特征可为其组合。特征可能随时间而改变，举例来说，使用变化的输入数据或变化的计算方法。举例来说，计算出的特征脸-其为基于脸部图像的主分量的数学构造-针对人类的视觉来说，可能不像已知的脸部或任何脸部。举例来说，卷积神经网络(CNN)可计算对应于独立于直观人类解译的数学运算的特征。
特征确定的一些方面可先验地进行(即，在图1A到1D中描述的一系列步骤之前)。举例来说，可先验地确定机器学习构造(例如CNN)的一般轮廓及结构。特征确定的其它方面可后验地进行(即，在图1A到1D中描述的一系列步骤期间或之后)。举例来说，机器学习构造(例如CNN)内的计算的特定权重及分布可为后验确定的。
帧：如本文所使用，“帧”是指在特定时刻或附近获取或对应于特定时刻的数据的集合。举例来说，数据可为描述到视场中的物体的距离的深度数据；或者数据可为识别人类关节(例如头或手)在3D空间中的位置的骨架数据；或者数据可为像素标记数据，其标记对应于视场中的人类的身体表面的像素。其它数据类型也是可能的。在2012年10月3日申请的标题为“用于检测健康状况恶化的方法及设备(Method and Apparatus for DetectingDeterioration of Health Status)”的第PCT/US2012/058534号国际申请案及2012年10月12日申请的标题为“在保护个人隐私的同时检测个人的方法及设备(Method andApparatus for Monitoring Individuals While Protecting Their Privacy)”的第PCT/US2012/060041号国际申请案中提供代表性数据类型的详细描述，所述申请案中的每一者的全部内容特此以引用的方式并入本文中。
每一帧可含有一个或一个以上数据类型，并含有来自一个或一个以上数据流的数据。为帮助保护要识别的人的隐私，在帧内获取的数据类型中的任何者或全部可能不需要可见光。数据的每一帧可与时间戳相关联以识别获取数据的时间，以便能够精确计算变化率并组合跨多个传感器获取的数据。(如果同时使用多个传感器，那么可能需要同步时间戳机制以确保以正确的时间顺序报告帧。)
识别人：如本文所使用，“识别人”是指将一个特定所关注的人与较大的一群人区分开来：举例来说，识别房间中的一个人是“鲍勃”。识别可能是肯定的或否定的。“肯定的”识别意味着划入人：举例来说，“此人是鲍勃”。“负面的”识别意味着排除人：举例来说，“此人是除鲍勃以外的某个人”。识别可能是概率性的：举例来说，“此人可能是鲍勃”，或“此人可能是除鲍勃以外的某个人”。
身份：如本文所使用，“身份”是指人可被分类(或归类)为的一组预定标记(或类别)中的一者。放置在人上的标记可映射到现实生活中所述人的身份。身份的实例包含“鲍勃”、“10号患者”及“其它”(等效于“对于此系统来说未知的人”)。
图像数据：如本文所使用，“图像数据”是指关于场景的图像的信息，其可呈例如可见光波长或电磁频谱的其它波长的形式。如本文所使用，“彩色图像数据”是指使用彩色波长收集场景的视觉图像，类似于标准数码相机收集视觉图像的方式。
意图：如本文所使用，“意图”指示人的潜在目标或动机。“意图”的实例包含意图服药，意图穿戴安全装备，意图检查警告景象或气味，意图从商店偷取物品，意图伤害某人，意图偷偷摸摸地将某物带入禁区，及意图侦察位置然后留下有害的装置。
习得关系：如本文所使用，“习得关系”是在数据分析期间确定的关系。在某些实施例中，通过机器学习的方法来学习关系。例如，学到了所测量特征例如“在过去五周中的三周期间，人的平均手臂高度比平时低百分之十”及“所述人在调查中表明在所述相同的三周期间感觉比平时更加抑郁”与结论“平均手臂高度降低百分之十表明抑郁情绪恶化具有较高置信度”的关系。无论对人类的可理解性如何，习得关系可为抽象的或数学的；举例来说，CNN的数值权重可包括习得关系。在习得关系与预定关系之间存在重叠：特别来说，习得关系一旦建立，随后就可用作预定关系。
机器可读媒体、计算机可读媒体：如本文所使用，术语“机器可读媒体”或“计算机可读媒体”是指任何计算机程序产品、设备及/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD)，其用于向可编程处理器提供机器指令及/或数据，其包含接收机器指令作为机器可读信号的机器可读媒体。术语“机器可读信号”是指用于向可编程处理器提供机器指令及/或数据的任何信号。
移动、运动：如本文所使用，“移动”或“运动”指示身体或身体的部分的物理定位的改变。移动的实例包含步行、举起手臂、弯腰、坐着及站立的动作。移动的测量包含步行速度、跨步长度及举起手臂的速度。移动或移动测量可用作心理感知或意图的代理。术语“移动”及“运动”可互换使用。
人：如本文通常所使用的，“人”是指数据集中的人类的表示。在一些情况下，为清楚起见，特定参考人的表示以指代特定人类。
具有隐私的人识别：如本文所使用，“具有隐私的人识别”是指在揭露除识别之外的关于人的最少信息的同时识别人。在一些实施例中，可能不需要保护隐私，在这种情况下，本发明的实施例也可用于人的一般识别(不考虑隐私)。
像素标记数据：如本文所使用，“像素标记数据”由数据集合的标记组件组成，使得每一标记组件对应于所关注的点(例如，位于人类身体的表面上的点)。举例来说，在深度图中，对应于“人A”的身体形状的像素可标记为“A”。举例来说，像素标记数据可从单独获取的深度及/或图像数据确定，或者针对单独获取的深度及/或图像数据确定。存在许多方法来获取、计算或以其它方式产生用于视场的像素标记数据，如第9,341,464号美国专利中所描述，所述专利的全部内容特此以引用的方式并入本文中。
身体的部分、身体部分：如本文所使用，“身体的部分”或“身体部分”是指人的全部，或人的区段，或人中或人上的空间位置。任何人都可分解成若干部分。举例来说，人的部分可对应于身体形状，或者对应于身体区段-例如头、肩、手臂或腿-或者对应于身体的较小解剖部位，例如关节、皮肤表面、或皮肤曲线。
预定关系：如本文所使用，“预定关系”是在数据分析之前定义的关系。举例来说，预先确定所测量特征“人的手在过去的60秒内从胸高度移动到嘴巴高度十次”与结论“所述人正在进食”的关系。举例来说，预先确定所测量特征“人的姿势本周与上周相比下降百分之十”与结论“人在本周比上周更疲劳”的关系。
保护个人隐私：如本文所使用，“保护个人隐私”是指防止获取及/或传播关于人的尴尬、不体面或甚至仅仅是惯用信息，例如所述人的照片或所述人正在阅读或观看的内容。保护个人隐私可指防止获取及/或传播人不希望向监测器泄露的信息(例如，针对熟悉或不熟悉所述人的实体，所述实体可能被指控观察所述人，或所述实体希望出于其它原因观察所述人)。
关系：如本文所使用，“关系”是指随时间的一或多个特征及/或其测量与移动、活动或行为之间的关联。此外，每一移动、活动及行为(或其组合)可充当疼痛、疲劳、情绪或意图的代理。因此，可通过将一或多个特征与关系相互关联来确定关于人的心理感知或意图的结论。可预先确定或学习关系。
场景：如本文所使用，“场景”指的是物理场景，其包括(可能地)与处于传感器的视场(FOV)内的物体(例如家具)一起散布的一些人。
分割：如本文所使用，“分割”(例如，传感器数据的分割)是指将人与其他人、物体或环境区分开(例如，将传感器数据分割成人的表示)。在某些实施例中，进行分割以决定深度图(或数据的任何其它表示)中的像素集合对应于单个人而不是对应于一件家具或者两个(或更多)不同的人。在某些实施例中，“分割”是指应用机器学习及/或图案辨识技术(例如，卷积神经网络、随机森林、支持向量机、朴素贝叶斯机器及/或群集技术)来区分人，例如，在传感器数据中。举例来说，分割可明确地产生对应于人的边界或轮廓表示；或者分段可隐含地识别对应于所述人的数据的区或子集，而不明确地产生边界或轮廓；或者分段可隐含地断定从一或多个数据帧获得的一或多个特征足以决定所述人存在于所述数据帧中，而不将所述数据帧内的任何特定数据识别或标记为对应于所述人。
传感器：如本文所使用，“传感器”是指用于记录场景的测量的装置。传感器的实例包含(但不限于)飞行时间(ToF)传感器、相机、辐射热测定计、声换能器、LIDAR、以及用于捕获人或环境的静态或动态数据流的任何其它传感器模态。传感器可为例如一维、二维或三维传感器。一维数据的实例包含：麦克风、温度计、光传感器及距离传感器。二维数据的实例包含：照片、视频、红外成像、热成像及其它。三维数据的实例包含：深度图及点云。
基于传感器的数据：如本文所使用，“基于传感器的数据”是指从任何传感器获取以测量人或周围环境的任何方面的数据。基于传感器的数据的实例包含图像(视觉、红外)、温度(辐射热测定计)及声学(超声)。基于传感器的数据用于产生被观察场景的“特征”-即测量。如本文所描述，特征可为静态的或动态的。静态特征在一段所关注的时间段内仅缓慢地或从不改变(例如，几天到几周：实例是人的身高)。动态特征在一段所关注的时间段内明显改变(例如，几分钟到几小时：实例是人的步行速度)。
骨架数据：如本文所使用，“骨架数据”描述由关节或其它模糊及/或扩散解剖结构在空间中的近似位置组成的数据。举例来说，骨架数据可从单独获取的深度及/或图像数据确定，或者针对单独获取的深度及/或图像数据获取。存在许多方法来获取、计算或以其它方式产生视场的骨架数据，如第9,341,464号美国专利中所描述，所述专利的全部内容特此以引用的方式并入本文中。
快照：如本文所使用，“快照”是指在特定时刻之前或在特定时刻获取的一或多个数据流的单个帧。
静态特征：如本文所使用，“静态特征”是指在所关注的时间段内(例如，在几秒内、几分钟内或几小时内)仅随时间缓慢变化或根本不变化的特征。在工程用语中，与前面定义同义的形容词是“准静态”。哪种变化水平应被视为“慢”是任意的且取决于应用，并且可用绝对术语(例如，作为固定数字)或相对术语(例如，作为标准偏差，或作为测量与重复测量的平均值的比率)来定义。静态特征可从数据的单个帧(同期集)确定或测量，或者从多个帧确定或测量，所述多个帧可在时间或空间上连续或不连续。如上文描述，由于例如传感器测量中的波动或噪声或传感器的视场(FOV)中的限制，静态特征的测量的值(或测量)可能与其实际现实世界值不同。可聚合多个帧以改进静态特征的测量精确度或信噪比。静态特征的实例包括：身高、肩到肩宽度及头体积。
具体实施方式
预期所主张的发明的系统、架构、装置、方法及过程涵盖使用来自本文描述的实施例的信息产生的变型及调试。如此描述所预期，可执行本文描述的系统、架构、装置、方法及过程的调试及/或修改。
贯穿描述，其中制品、装置、系统及架构被描述为具有、包含或包括特定组件，或者其中过程及方法被描述为具有、包含或包括特定步骤，可预期，另外，本发明的制品、装置、系统及架构基本上由所述组件组成或由所述组件组成，并且根据本发明的过程及方法基本上由所述处理步骤组成或由所述处理步骤组成。
应理解，只要本发明保持可操作，步骤的顺序或执行某些动作的顺序就是不重要的。此外，可同时进行两个或更多个步骤或动作。
本文提及任何出版物(例如，在背景技术部分中及/或在背景技术部分中对任何概念的描述中)，并不是承认所述出版物或概念用作关于本文提出的权利要求中的任何者的现有技术。背景技术部分是出于清楚的目的而提出的，并不意味着关于任何权利要求的现有技术的描述。
如所述，文献通过引用的方式并入本文中。如果特定术语的含义存在任何差异，那么以上文定义部分中提供的含义为准。
识别人-同时保护同一人的隐私-乍一看似乎是用词不当或悖论。然而，在一些实施例中，本发明的目标是识别人而不暴露私人信息，例如人的视觉外观、着装状态、他/她正在阅读或在电视上观看的内容等。此外，在某些实施例中，目标不是识别宇宙中的每一个人-而是只识别一小组人，例如一个家庭中的人。所揭示的技术使得即使当个体在传感器周围移动并且远离传感器时，甚至当多个个人同时存在时，也能够识别这些个体。
除其它之外，所揭示的技术尤其能够识别及跟踪人以用于医疗、安全及/或家庭护理目的。特别重要的是需要长期患者监测的应用，例如跟踪退行性疾病(例如，多发性硬化)的进展，或监测治疗或康复的疗效。此类目的要求确定人的身份，使得纵向数据可随时间附属到所述人(例如，患者)。
例如实验室的研究环境受到控制-换句话说，例如临床医生或科学家的某人可指定家具及装置的精确放置，人(包含操作者及研究对象)的确切活动等等。相比之下，现实世界的设置(例如人的家)是不受控的-换句话说，外界对装置放置、人类活动等几乎没有或根本没有控制。这意味着，即使在不受控的环境中(其中可能发生事件且物体可能在没有事先通知的情况下改变)，用于现实世界中的人识别解决方案也必须对于识别人是稳健的，同时满足人识别解决方案可自主地调试的要求。
与人有关的改变的实例包含：今天穿的衣服的选择；体重增加或减少；最近发型；佩戴眼镜与否；姿势及注视；与其他人的口头及身体互动。与本地环境有关的改变的实例包含：传感器位置或重新定位；开灯或关灯；新家具；房屋构造。所揭示的技术经设计以处置各种环境，受控的(例如，实验室)及不受控的(例如，现实世界)，其包含(例如)适应刚刚描述的改变。
在某些实施例中，所揭示的技术实现这些目标，同时在要识别的人以各种方式移动时提高准确度而不是降低准确度。在某些实施例中，所揭示的技术可通过消除对单个特征或属性的依赖来减少人识别中的误差范围。举例来说，面部辨识通常需要全面部的近距离图像，且因此在对象不面向相机时失效。举例来说，步态辨识通常需要特定步行路径的无障碍视图，且因此在对象静止或离开路径时失效。
一些当今人识别解决方案组合多种单独识别(例如面部、语音及手印)方法以试图改进累积准确度。相比之下，在某些实施例中，所揭示的技术采用可能不(各自独立地)充当单独识别手段，但是当组合时，在不受控的环境中提供甚至更高准确度及更稳健的操作的特征。以此方式，在某些实施例中，所揭示的技术还提供对来自任何一种传感器类型或来自任何一个传感器放置的数据获取中的缺陷的相对稳健性，从而提供比任何单个传感器模态更大的操作条件范围。
此外，医疗应用的解决方案必须解决隐私问题。举例来说，人们可能反对将视频相机或类似装置放置在他们的家中，其可展示他们的着装状态或裸体状态、他们正在阅读的内容等等。在某些实施例中，所揭示的技术可避免使用摄影-因此维持用户隐私及对传感器伪像的稳健性(例如，对距传感器不同距离处的精确度改变的稳健性)以及减少或消除在各种位置(包含对隐私敏感的位置)放置多个传感器或不同模态的传感器的需求。
本文描述的系统及方法涉及基于从一或多个传感器收集的数据识别一或多个人及/或使用来自通过一或多个传感器获取的数据的直接及/或间接测量来特性化移动、活动及行为，以便检测及/或量化疼痛、疲劳、情绪及意图。
来自传感器的数据可能是不完整的，或者可能是有噪声的，或者在类型及精确度上可能是异构的，或者可能随时间变化。来自每一传感器的在任何特定时刻或在空间中的任何特定位置处的数据可能自身不足以执行每一人的正确识别及/或其自身不足以特性化个体的移动、活动或行为。
在一些实施例中，本发明的方法及系统在空间及/或时间上聚合来自传感器的不同及分割数据，然后采用组合数据来计算每一人的一或多个静态及/或动态特征，以便于执行对每一人的正确识别。值得注意的是，即使在同一场景中，用于人识别的特征也可能因人而异，这取决于实际可用的特征(这又取决于环境物体对人的遮挡，人相对于传感器的定向等)，如本文进一步描述。
在一些实施例中，所揭示的技术提供从机会性地收集的测量的若干不同群组中的单个者、若干者的组合或组合推断或以其它方式特性化移动或行为的能力。可合并这些测量的组合或组合集以实现对所讨论的移动、活动或行为的特性化的置信度。
与许多当今方法相比，本文描述的系统及方法不要求使用单个测量或测量的任何固定组合来推断所关注的移动、活动或行为。相反，机会性地收集的若干不同类型及组合的测量的合并可用于推断所关注的移动、活动或行为。此设施对适应嘈杂、现实世界或其它不受控的环境是重要的。
测量移动、活动或行为的实例(非穷尽性)如下。举例来说，为在腿被遮挡而从视野中消失时测量人的跨步长度，系统可经由测量头随时间的开始及停止位置(即，头随移动的摆动)来间接地计算跨步长度。举例来说，为在嘴巴对于形状辨识来说太远时检测进食活动，系统可依赖于手从胸高度到下巴高度的重复移动(手振荡)的检测。举例来说，为在腰被衣服遮挡时检测站立到坐下移动，系统可间接地依赖于头高度的测量。
检测及/或测量疼痛、疲劳、情绪或意图的实例(非穷尽性)如下。举例来说，为量化人的疲劳级别，系统可测量在一段固定时间内所行走的步数；或肩膀的垮塌；或下巴的向下角度；或坐着的时间量；或从坐的位置起身所需的时间；或步行速度的改变；或姿势；或从垂直的脊柱角度；或这些特征中的部分或全部的组合。举例来说，为检测人潜入限制区域的意图，系统可测量以下分量：人的步态；或步行轨迹；或注视方向；或姿势；或面部特征的方面；或这些特征中的部分或全部的组合。举例来说，为量化髋部疼痛的改变，系统可测量步行所耗费的时间；或使用手杖所耗费的时间，或步行速度；或这些特征中的部分或全部的组合。举例来说，为量化情绪的改变，系统可测量手速度；或手臂高度；或姿势；或头倾斜；或整体移动的速度；或面部特征的方面；或口头话语的傅里叶分析；或这些特征中的部分或全部的组合。举例来说，为检测人走到特定地方的意图，即使在步行速度改变或从静止状态开始步行之前，系统也可测量上半身及下半身面向目的地的角度的改变。举例来说，为测量人在某个位置留下例如背包的意图，系统可测量在站立在所述位置时开始从身体解开背包。在这些实例中的每一者中，经由身体的物理测量来检测及/或量化心理感知或意图。
通过机会性地利用各种数据流及测量，无论是实时的还是存储的，当无法直接观察或测量特定所关注的量时，所揭示的技术提供运动的测量(通过从代理或导出值推断特定所关注的量)。可基于时间上可用的任何特征来计算推断，并且可用特征可因数据的帧而异。可通过组合机会性地收集的若干条数据来裁定测量的有效性，直到达到置信度阈值。
在某些实施例中，指定测量的分量：举例来说，哪些特征、多少特征以及数据获取的最小或最大时间段是什么。只要获取了所需数据，所揭示的技术就可用于回溯性地计算所关注的量。特征不需要连续或循序收集。可机会性地收集并且合并移动、活动或行为的分割及/或推断知识，直到达到期望的置信度阈值。
数据获取及预处理
图1A是根据说明性实施例的识别人的方法的实例的流程图。图1A的方法开始于数据获取步骤105。在此步骤中，创建或从存储装置加载数据集。所述数据集含有从场景的测量获取的传感器数据，要么是主动地(例如，传感器参与获取数据)，要么是被动地(例如，从文件加载数据)。数据集可源自一或多个传感器。可直接从传感器(例如，原始数据)及/或已经历额外处理的数据获取数据。所获取的数据集可包括一或多个帧，其中每一帧对应于包括在特定时刻获取的数据的一或多个数据流的“快照”。所述一或多个帧可由单个传感器在多个时间点拍摄，由多个传感器拍摄，或者其任何组合或合并。可大体上实时地(例如，通过“实时”数据馈送)获取数据集，可以批量模式(存储及服务)获取数据集，或者可从先前存储在数据库中的数据获取数据集。步骤105可涵盖根据深度数据或其它类型的输入数据(例如，辐射热测定、声学或射频)计算的各种测量、属性及特征。
步骤107任选地丢弃可能被认为是非私人的数据类型，例如彩色图像数据(照片)，即，在所关注的应用中可能危及人的隐私的数据类型。
步骤110到120处理数据集以计算特征。步骤110过滤、调节、清理及以其它方式预处理数据以用于后续分析。步骤110可涵盖对原始数据及/或计算出的特征执行的各种处理及数学运算，并且可任选地经由数学运算(例如(举例来说)图像重设大小、关键点检测、定阈值、分割、定向梯度直方图(HOG)、边缘检测及特征图像分解)产生新导出的数据流。步骤115任选地将数据集内的人(如果存在)彼此分割(隔离)并与例如家具的无生命物体分割；及与周围环境分割；步骤120对尚未识别的人执行测量，借此计算特征。步骤125使用所述特征来识别场景中的一或多个人。步骤125的输出可为划入识别(“此人可能是鲍勃”)或排除识别(“此人可能不是鲍勃”)或未知(“没有足够的信息来判断此人是或不是鲍勃“)。步骤125的输出可包含概率的测量，例如0与1之间的置信度分数。
在一些实施例中，如图1B及1C中所展示，在步骤120中计算的特征分别用于在步骤155及165中输出结论。在一些实施例中，如图1B中所展示，在步骤135中将特征与预定关系相关联以在步骤155中输出结论。在一些实施例中，如图1C中所展示，特征与步骤135中的习得关系相关联，其基于基础事实175以在步骤165中输出结论。
在一些实施例中，如图1D中所展示，在步骤125中使用特征来识别人并且在步骤180中输出结论。在此实例实施例中，在步骤180中，使来自步骤120的计算出的特征与预先确定或学习的关系相关联以在步骤185中输出结论。
图2A到2C说明用于测量场景并产生代表性数据集的实例方法及传感器。
在一些实施例中，如图2A中所展示，帧含有至少深度数据，其中深度数据被表示为像素的二维“深度图”(即，矩阵)，其中每一深度图的两个维度对应于源自传感器的现实世界空间轴，且其中每一像素的强度值对应于距传感器的投射距离(即，行进穿过传感器的第一垂直平面与行进穿过场景中的物体的第二垂直平面之间的水平距离)。可对多个帧(其中每一帧对应于在特定时间拍摄的场景的测量)进行排序以形成深度数据随时间的演变，类似于摄影视觉光图像被排序以形成视频的方式。
在一些实施例中，如图2B中所展示，传感器放置在房间中-举例来说，人215横越穿过的人的家中的起居室210-以每当人偶然在传感器212附近时获取人的深度数据。如图2C中所展示，可进一步处理通过传感器212获得的深度数据以将人220与其它物体(例如家具或宠物)分割(隔离)。
图3A到3M呈现如上文所描述的用于获取及处理深度数据的系统的输出的实例。图3A展示来自其中人在房间内步行的视场的常规视频的帧。图3B展示与图3A相同的视场及相同时刻的深度数据的帧。图3B的深度数据中的像素经色彩编码以表示距传感器的投射距离，如先前所描述，其中较暗像素对应于更接近传感器的位置。特定来说，图3B展示深度数据如何有助于保护人的隐私：人的整体轮廓清晰可见，但是例如面部图像或印在衣服上的标识等的细节不可见。图3C展示所谓的骨架数据的帧，其中针对与图3A及3B相同的视场及相同的时刻估计人的骨架的关节。图3D展示所谓的轨迹数据的帧，其中随着时间绘制人的位置及瞬时步行速度。
图3E到3M呈现本发明的实施例的传感器的视场内的个体的屏幕截图，本发明经配置以从一群组人内识别(标记)单个所关注的人-“蒂姆”。在某些实施例中，仅使用深度数据来执行人识别，举例来说，使用红外飞行时间传感器。如图3E到3G中所展示，在一些实施例中，系统在距传感器不同的距离处以及在视场中与其他人的不同相对定向上正确地识别“蒂姆”。如图3H到3I中所展示，在一些实施例中，系统在“蒂姆”被传感器部分遮挡时(图3H)或者“蒂姆”采用异常姿势时(图3I)正确地识别“蒂姆”。如图3J到3M中所展示，在一些实施例中，系统在相对于传感器的不同定向上正确地识别“蒂姆”(例如，当他转向侧面或完全背向传感器时)。
在一些实施例中，如图3E到3M中所展示，本发明经配置以识别“蒂姆”。然而，系统可识别其他人(“乔恩(Jon)”及“谢柏(Zeb)”)中的一或多者，或者同时识别人中的每一者。值得注意的是，当今的人识别方法(例如面部辨识)不能在类似条件(例如，距传感器的距离、视场的遮挡程度、以及与传感器的相对定向)下准确地识别的人，如图3E到3M中所展现。
在某些实施例中，本发明的方法及系统的目的是在视场中正确地识别(标记)人。在图3A到3D的实例中，在图1中所展示的流程图结束时，视场中的人被识别为“维多利亚(Victoria)”。在图3E到3M的实例中，在图1中所展示的流程图结束时，视场中的单个所关注的人被识别为“蒂姆”。
在一些实施例中，如图13A中所展示，用于识别人及/或识别及量化疼痛、疲劳、情绪或意图的系统可含有用于获取深度数据的红外飞行时间传感器1305。在一些实施例中，系统可含有用于存储指令的处理器及存储器1315以及用于这些组件的外壳1335。在一些实施例中，系统具有显示器1325，用于呈现与人身份及/或人的疼痛、疲劳、情绪或意图的身份及/或数量相关的图形信息。在一些实施例中，显示器1325展示系统的视场中的人的表示(例如，图3E到3M中所展示的人的表示)。在一些实施例中，图13A中所展示的系统可具有相机1345，以获取视场中的人(例如，“谢柏”、“蒂姆”及“乔恩”)的彩色图像。在一些实施例中，为保护用户隐私，不获取人的照片。举例来说，仅使用深度数据来执行图3E到3M中展现的人识别。
图13B到13D呈现图13A中示意性描绘的实例系统的实施例的图像。举例来说，图13B到13D中所展示的装置执行人识别并捕获图3E到3M中展示的屏幕截图。
在一些实施例中，通过一或多个传感器获取的数据可对应于直接来自传感器的原始数据(例如图3B中所展示的深度数据)，或对应于从原始数据导出的测量(例如，图3C及3E到3M中所展示的骨架数据)，或对应于从各种源导出的测量(例如，图3D中所展示的轨迹数据)。
虽然上文描述的实施例提供代表性实例，但其并非为穷尽性的且不应视为限制性的。所属领域的技术人应清楚，用于测量及记录人及其环境的特征的各种系统及方法是可能的，并且可并入本文所描述的方法中。
人分割
在步骤105的数据集获取及步骤110的数据集预处理之后，可在步骤115中任选地处理随后的数据集，以便对随后在步骤120及125中识别的人进行分割。换句话说，在步骤115中，选择深度图中的像素(或另一数据表示的组件)的集合，其对应于随后将在步骤120及125中识别的单个人。可使用数据集的帧中的一者、若干者或全部来执行分割。
可在每一数据帧中对零个、一个或一个以上的人进行分割。在一些实施例中，系统及方法可使用深度数据、骨架数据及/或像素标记数据来分割哪些像素对应于人类，如与动物、物体或环境相异。一种或一种以上类型的数据可用于分割，并且作为替代或补充可包含深度、骨架及像素标记数据，例如辐射热测量、热成像、衣服纹理、头发或肤色的数据类型以及许多其它类型。
可使用各种方法来分割人。在某些实施例中，深度数据可用于分割人。举例来说，其形状大致对应于球体(头)及成对圆柱体(臂)的空间物体的集合可能是单个人。举例来说，在起居室中都在移动的两个块状物体(每一者具有超过地板上方的给定阈值的垂直程度，且每一者具有超过给定阈值距离的水平间隔)可能为两个不同的人类。在另一实例中，表现出辐射热特性或观察到的衣服纹理的差异的两个物体可能是两个不同的人类。
在某些实施例中，可使用机器学习及/或图案辨识技术(例如，卷积神经网络、随机森林、支持向量机、朴素贝叶斯机器及/或群集技术)来执行分割。举例来说，在一些实施例中，卷积神经网络可产生随后将在步骤120及125中被识别的人的显式分割，从而产生边界或轮廓。此外，在一些实施例中，卷积神经网络可用于产生随后将在步骤120及125中被识别的人的隐式分割，而不具有显式轮廓。
可采用所谓的数学“级联-差异”运算来隔离视场中每一人的近似形状或轮廓。实例如下。从帧到帧的变化的剪影的质心可用于区分例如人的移动物体与静止的无生命物体。可使用从帧到帧变化的剪影的轮廓来区分人类的形状与动物或无生命的物体的形状。上文描述的方法以及许多其它方法可用于在一或多个数据帧中在时间及/或空间上分割零个、一个或一个以上的人。
在所描述的实施例中，虽然在步骤115中可分割多个相异的人，但是尚未确定其身份。在步骤115期间，每一相异(分割)人可被暂时任意标记为例如“人1”、“人2”、“人3”等。然后，步骤120确定每一人的特征测量，并且步骤125识别每一人(使得所述人的身份被划入、排除或确定为未知)。
特征提取及计算
一旦通过步骤115确定数据集中相异(分割)人的集合，那么在步骤120中处理所述数据集以提取及计算所述人中的每一者的特征。零个、一个或一个以上的人可通过步骤120确定其特征。针对每一人，可提取零个、一个或一个以上特征。可针对同一场景或同一帧中的不同人计算相同或不同特征；举例来说，可为相对于传感器的具有不同定向的人或不同身高的人指派不同的特征来计算。通过步骤120提取的特征随后将在步骤125内用于进行人识别。
一般来说，因为通过本发明的方法及系统的某些实施例分析的数据可能是不完整的或不精确的，或者可在非连续时间帧上获取，所以步骤120的重要任务是决定哪些特征可并且应针对帧中的每一人而进行计算。举例来说，如果人在数据收集时期始终背对传感器，那么所述人的面部形貌(例如，鼻子形态)将不可用并且人识别必须一起依赖于不同的特征；然而，如果人有时背对且有时面向，那么潜在面部形貌测量的可用性及质量将决定其相对重要性并随后并入步骤125的人识别中。举例来说，如果人相对于传感器侧身地面向，并且如果先验地知道通过特定传感器产生的骨架数据的质量在此人定向下降级，那么所述骨架数据可能不会用在步骤125的人识别中。以此方式，选择要计算的特征-以及因此最终用于人识别的特征-可因人而异，并且可针对同一人因帧而异。
在一些实施例中，在确定是否在步骤120中计算特定特征时，可首先通过例如优先级排序、排名或子分类之类的辅助程序来确定特定特征与其它特征相比的相对重要性。此外，确定可并且应针对帧中的每一人计算哪些特征可使用特征库结合用户认为针对特定应用是重要的可用传感器数据来实现。举例来说，如果仅使用2D成像，那么不能使用3D特征，这是因为不存在可用于所述级别信息的原始数据。同样地，如果不存在深度相机，那么可能无法使用骨架特征。
图4中的流程图提供用于计算在步骤115中被分割的不同人的特征的示范性方法。
步骤405隔离每一分割的人的身体的部分。步骤405基于例如数据集的性质，传感器的类型，可用于人的非遮挡(即“可见”)数据的量，可用于计算的特征库及在步骤125中选择的分类过程等因素来确定要隔离哪些部分。在一些实施例中，使用机器学习及/或图案辨识技术(例如，卷积神经网络、随机森林、支持向量机、朴素贝叶斯机器及/或群集技术)在步骤405中隔离身体部分。即使在同一帧中，哪些部分被隔离可能因人而异。举例来说，帧中的“人1”的腿可能被隔离，这是因为腿对于传感器是可见的，而同一帧中的“人2”的腿可能被忽略，因为所述腿被桌子遮挡而对传感器不可见。
举例来说，由深度数据组成的数据集(例如图3B中所展示的已经处理以产生如图3C中所展示的骨架表示的数据集)可被划分为通过三维空间中的近似关节位置标定的身体部分，如通过图3C中的线段所展示。在第9,341,464号美国专利中描述标定身体部分的方法的一些实例，所述专利的全部内容特此引引用的方式并入本文中。
如上所述，取决于场景中的人相对于传感器以及其他人或物体的位置、定向及移动，人的部分可能偶尔或完全隐藏在传感器的视线之外。因此，并非所有一起构成人的分割表示的部分都可在所有帧中可用。
在一些实施例中，哪些特征用于后续人识别(在步骤125中)的优先级排序(在步骤120中)取决于人的部分的可用性。举例来说，如果仅存在头，那么躯干的形状可不用于随后人识别。举例来说，如果头及躯干的部分针对最小阈值数目的帧存在，那么其存在可能足以估计躯干的其余部分的粗略轮廓，使得躯干的形状用于随后人识别。举例来说，如果头存在并朝向传感器，那么耳朵到眼睛的距离及眼睛到眼睛的距离可用于随后人识别。以此方式，身体部分的可用性有助于确定特征的选择。在某些实施例中，本发明的方法及系统可利用不同身体部分随时间的不同可用性来随时间计算不同特征，不同特征都映射到同一人并且全部用于随后人识别。
步骤415识别待针对在步骤405中隔离的每一身体部分测量的现实世界属性。在步骤415中词语“识别”的使用(是指属性列表的产生)不同于步骤125中的词语“身份”的使用(是指人的标记)。如上文描述，属性的实例包含体积、周长、长度、空间位置及数学计算(例如，通过卷积神经网络执行的计算)。在第9,341,464号美国专利中进一步描述用于识别属性的方法的一些实例，所述专利的全部内容特此以引用的方式并入本文中。每一身体部分可包含零个、一个或一个以上属性。在一些实施例中，本发明的方法及系统可使用机器学习的方法(例如随机森林、支持向量机及卷积神经网络)自主地确定在步骤415中识别哪些特征。
步骤425计算对应于步骤415的属性的静态特征。图5A中展示静态特征的实例。可基于一个或一个以上帧来计算每一静态特征。可计算对应于以下各者的每一静态特征：1)单个身体部分的属性，2)不同身体部分的属性之间的关系，或3)环境的属性及/或与一或多个身体部分的环境关系。基于单个身体部分的属性计算的静态特征的实例包含头大小、躯干长度、相对于水平(地面)的躯干倾斜、鼻子形态及眼睛到眼睛距离。基于不同身体部分的属性之间的关系计算的静态特征的实例包含肩到肘长度及肩到肩长度与臀到臀长度的比率。面部辨识(数学特征脸)是静态特征的另一实例；此外，一般来说，静态特征可包含、并入或以其它方式利用步骤105及110的数据的任何子集，其包含(但不限于)身体部分的二维图像及/或三维形态。应注意，即使在现实世界中基础属性是恒定的，但由于例如遮挡及数据噪声，静态特征的计算出的测量也可能因帧而异。
虽然静态特征通常可仅使用单个帧来计算，但实际上，通常使用多个帧来计算静态特征，以便利用可考虑到噪声并改进精确度的数学运算，例如，移动平均值或中值滤波器采用一或多个循序(不一定是连续)帧的滚动缓冲器。
步骤435计算对应于步骤415的属性的动态特征。图5B中展示动态特征的实例。可基于在特定时间获取的一或多个帧来计算每一动态特征。可基于以下各者来计算每一动态特征：1)单个身体部分的属性随时间的变化，2)不同身体部分的属性之间的关系随时间的变化，或3)环境或其与人的不同身体部分的关系(如在#1及#2中描述)随时间的变化。#1的实例包含头转动、手抬起、身体温度、身体部分的形状或大小以及身体关节相对于传感器的定向。#2的实例包含相对于传感器的整体身体定向。#3的实例包含人靠近房间中的特定椅子的频率，或者人到传感器的距离。一些动态特征享受多个测量路径：举例来说，步行速度及跨步长度可各自通过测量头随时间的平移(一个身体部分)或通过测量两只脚随时间相对于彼此的位置(两个身体部分)来计算。
在一些实施例中，可从单个帧计算动态特征。举例来说，可仅从深度数据的单个帧估计相对于传感器的瞬时身体定向。然而，许多动态特征(例如步行速度)需要随时间进行多次测量。为简单起见，本文假设动态特征需要在不同时间的两个或更多个帧：然而，认识到类似方法仍然可用于依赖于单个帧的动态特征。
动态特征的实例是步行速度。图3D展示实施例的实例，其中随时间测量人的瞬时步行速度。在此实施例的最简单的形式中，通过将人在三维空间中跨两个帧的水平平移除以所述帧之间经过的时间来测量人的瞬时速度。为改进精确度，可跨多个帧的集合(“窗口”)对此类计算进行平均化，或者此类计算可使用各种数学运算以便补偿数据中的噪声。
与静态功能一样，某些动态功能可能无法用于任何或所有帧中的测量。举例来说，对应于地板上的脚步的所谓的“脚跟着地”可能需要对人的腿及/或脚的无障碍观察以获得最小连续帧数，以便测量连续脚步。
步骤425及435一起从零个或更多个属性的集合提取一组零个或更多个静态特征加零个更多个动态特征，所述零个或更多个属性的集合通过步骤415从通过步骤405从一或多个数据帧产生的零个或更多个身体部分识别。
步骤445对静态特征及动态特征的集合进行优先级排序及/或调整，如接下来所描述。
给定特征的优先级排序意味着选择特征是否可用并且是否将被包含在进一步处理步骤中。(如上所述，特征可跨不同的传感器、时间及位置聚合；可在同一场景内或同一帧内因人而异；及/或即使针对同一人从帧到帧也可具有不同的指派)。在一些实施例中，本发明的方法及系统在步骤445中将质量度量指派到通过步骤425及435产生的特征。举例来说，质量度量可基于相关身体部分的遮挡量，或特征随时间展现的数学方差(稳定性)。在445中指派的每一质量度量也可用于其它步骤-包含(但不限于)步骤135、145及180-以平衡或以其它方式加权如何采用一组特征来产生识别或结论。
对给定特征的调整意味着响应于周围或环境条件来校正特征。举例来说，每一特征可经所谓的“偏移校正”，以确保在必要的情况下在一组特征中的所有特征在时间上及/或空间上并置。举例来说，可通过数学变换(例如缩放、重设大小或旋转)来校正每一特征。
图5A到5D展示静态特征及动态特征的实例。如图5A中所展示，属性502、504及506可分别用于确定身高、肩宽及颈长。类似地，如图5B中所展示，可使用属性508来确定头定向，而可基于属性510随时间的改变来确定行走速度。可基于头的测量来确定头剪影宽度。图5C及5D分别展示静态、动态特征的更多实例。特征的类别(非穷尽性)包含例如对应于身体或其一部分(例如例如，头、肩、手臂或腿)的特征。在特征的每一类别内，特征可为静态的或动态的。特征的另外实例展示于：第9,341,464号美国专利，其所附文本及其图4、12及13以及第PCT/US2012/058534号PCT申请案，其所附文本及其图4及17；所述文献的中的每一者的全部内容特此以引用的方式并入本文中。
图5E说明特征如何与身体印记相关，并且在下文进一步对其进行描述。
图6呈现计算在场景内移动的人的静态特征及动态特征的实例。为简单起见，图6中仅描述一个人。然而，一般来说，可同时提取多个人的特征。在图6的实例中，要提取的静态特征是身高、右腿长度及肩到肩宽度；并且要提取的动态特征是注视角度、步行速度及头剪影宽度。
可基于一或多个帧来计算静态特征。在图6中，静态特征可从其所对应的单个帧来计算。在一些实施例中，基于多个连续帧的窗口来计算静态特征(例如，通过平均化)。在一些实施例中，基于可为非连续的一或多个帧的任何期望组合来计算静态特征。
可基于两个或更多个帧来计算动态特征。在图6中，当与紧接着的下一个连续帧相比时，可从动态特征所对应的单个帧来计算动态特征。在一些实施例中，基于多个连续帧的窗口来计算动态特征(例如，通过平均化)。在一些实施例中，基于可为非连续的两个或更多个帧的任何期望组合来计算动态特征。
如图6中所说明，静态特征倾向于展示比动态特征更低的可变性。例如身高的静态属性在现实生活中仅缓慢变化，因此当从传感器数据计算时，其对应特征表现出相对稳定性。但是例如步行速度或头剪影宽度(即，暴露于传感器的头横截面)的动态特征更迅速地改变。因此，当从传感器数据计算时，动态特征通常表现出更大的可变性，尤其是在姿势或定向的改变期间。如较早描述，特征的可变性量-无论是取决于时间、空间、速度、像素计数、角度还是某些其它测量单位-取决于应用，并且可能因情况而异。
如图6中所展示，在任何给定帧或一系列帧中，一些特征可能是不可用的或不可计算的。举例来说，在图6中，当人在沙发后面行走时，人的腿被遮挡而从传感器的视野中消失，使得腿长变得暂时不可用。举例来说，在图6中，当人停下来系鞋带时，系统不能够在足够精确的范围内确定计算步行速度所需的解剖标志，使得步行速度变得暂时不可计算。举例来说，在图6中，当人在沙发后面行走时，继续计算步行速度作为特征，因为即使在人的腿不在视野中时，也可从人的头的位置改变来确定步行速度。
一般来说，可从其它特征计算一些特征，并且通常存在可用于计算给定特征的多个不同路径。举例来说，在图6中，肩到肩宽度的特征可从每一肩的位置的直接测量来计算，或通过将以下两个其它特征相加来间接计算：左肩到脊柱顶部宽度及右肩到脊柱顶部宽度。举例来说，在图6中，可从仅针对头的空间位置的平均改变来计算步行速度；或从头、颈及脊柱的组合的空间位置的平均改变来计算步行速度；或从地面上的左及右脚的循序着陆点的空间位置来计算步行速度；持续时间内的平均步行速度可直接从所述持续时间内的帧集合计算，或者间接地从在逐帧基础上计算的瞬时步行速度计算(例如，通过取其加权移动平均值)。
如图6中所展示，一旦针对一或多个帧计算期望特征，则在步骤125中将特征发送到分类器以便执行人识别。分类器可接收一组特征，例如对应于单个帧(图6中的单个列)的630，或对应于多个帧(图6中的多个列)的一组特征，或者其特征的任何子集。如上文描述，可调整(例如，时延校正或空间并置)特征以便针对传感器或计算方法中的时序延迟或偏差进行调整。
人识别
辨别特定特征以成功识别人的能力取决于1)特征的保真度(特征的测量程度)，及2)特征的预测能力(特征对所述人的特定程度)。
特征的保真度取决于场景的构成(即，视场及其内的物体)，所利用的传感器的类型以及所获取的数据的类型。举例来说，当人站直时，人的身高测量的保真度将更好，而当人蹲伏或蜷缩时，保真度将更差。每当人的相关部分被例如家具的物体遮挡，任何特征的保真度将更差。
特征的预测能力取决于所述特征在要识别的人当中不同的程度。举例来说，针对同卵双胞胎，身高的预测能力较差，但针对身高明显不同的一对个体是优秀的。
继续此实例：身高特征在单独使用时，可能缺乏保真度(基于人的姿势波动，在人被遮挡时变得不可用)并且缺乏预测能力(因为许多人可能具有类似身高)。一般来说，特征的能力可随时间改变，在某些时刻变得更强(例如，当人站直时)并且在其它时刻变弱(例如，当人在系鞋带时)。
在某些实施例中，本发明的方法及系统通过混合及匹配特征组合的机制来克服依赖于任何固定特征集的弱点，如通过可用场景、传感器、数据及已知且可计算的特征的库来确定。特征的组合为待在步骤125中识别的每一人提供高度特定的“身体印记”。
图5E说明身体印迹的两个实例。身体印记580描述拥有在180到200厘米之间的测量身高，测量的头围在58到60厘米之间，以0.5到1米/秒的平均速度步行并且戴着眼镜的人可被识别为“鲍勃”，其中数值身体印记分数(精确估计)为0.95。身体印记590描述拥有在170到180厘米之间的测量身高，测量耳朵到眼睛的距离在14到16厘米之间并且以1到2米/秒的平均速度步行人可被识别为“克拉拉(Clara)”，其中数字身体印记分数(精确估计)为0.80。图5E的身体印记仅为说明性实例。在实践中，任何数目及组合的特征可并入身体印记中，并且身体印记可包括零个、一个或一个以上身体印记分数。分类器700可使用或者可忽略任何身体印记分数。
图6展示两个不同身体印记610及620的简化实例，所述身体印记中的每一者拥有足以供后续步骤125识别图6中描述的人的特征的组合。如在图6中所展示，可在不同的时刻，在不同的帧中以及在不同的帧集合(集)中针对同一人确定不同身体印记。
如前所描述，与身体印迹相关的一些或所有特征可能是人类大脑不容易领会或人类大脑无法直观地领会的数学运算产生的。举例来说，卷积神经网络(CNN)重复将一组数学运算应用于输入数据，从而产生架构层，所述架构层表示源自或描述输入数据(例如色彩、形状、纹理及图案)的独特特征的小型队列。这些特征很少传达给人类观察者容易辨识的显著性，但其仍可用于产生明显可行的身体印记，供应相同效用并造成与更熟悉的特征(如步行速度及身高)相同的处置。
术语身体印记用于强调一些或所有特征可从人的身体的形态或运动导出；所述人的身体印记被视为与所述人的小规模指纹的大规模类比，因为身体印记及指纹都能够识别所述人。用作(通过本发明的方法及系统的某些实施例)身体印记的特征的组合可随时间、空间及人而变化。举例来说，如果一个身体印记所需的所需特征在一系列帧上暂时不可用，因此阻止使用特定身体印记，那么本发明可替代交替身体印记-等效地，特征的交替组合-其针对所述相同帧为可用的。在一些实施例中，故意约束可产生的身体印迹集以排除彩色图像数据(即，照片)，以便更好地保护隐私。
如本文所描述的对身体印记的规定解释了为什么对于人识别来说动态特征(例如步行速度)可能与静态特征(例如身高)同样重要：人的属性随时间及/或空间改变的方式(例如，所述人的运动或行为的模式)可描述所述人的高度特定的特性，并且可在复杂或拥挤的环境中保持可用，其中静态特征的互补可用性是有限的。举例来说，如果两个人居住在一个家庭，两个人的身高及体型类似，其中一个人很老，一个人很年轻，那么几秒钟的持续时间内的平均步行速度(动态特征)可在即使在身高及体型(静态特征)自身不充分的情况下也足以识别两个人中的每一者。
无论何时必须识别人，都强调获得静态特征及动态特征两者的重要性：1)被动地，使得所述人不需要执行规定的或刻板的动作，或2)在一定距离处，举例来说，位于距传感器一米以上处。在这两种情况中的任一种情况下，例如指纹的常用及/或单源生物鉴定变得不可能获取。
图7展示分类器700的高级框图。在一些实施例中，分类器是步骤125的操作的组件。图7展示一种类型的分类器700，但是许多其它类型是可用的。图7中所展示的分类器700的实例首先通过训练器701(预先)训练，以便辨识特定所关注的人(例如，“鲍勃”)。训练数据705由预先选择的数据帧组成，所述数据帧中的至少部分含有所关注的人的已知表示。标记数据710由预先指定的标记或“标签”组成，已知所述标记或“标签”正确地识别训练数据705内的所关注的人的表示。任选的特征产生模块707使用训练数据705及标记数据710来计算特征，如较早描述。分类器训练模块715接收以下各者的组合作为输入：特征产生模块707的零个或更多个输出；训练数据705的零个或更多个分量；及标记数据710的零个或更多个分量，并返回对应于所关注的人的一组经训练分类器参数720作为输出。训练器701可使用各种计算机视觉、机器学习及图案辨识方法；实例包含：随机森林、支持向量机及卷积神经网络，如较早描述。
随后，分类器执行模块760用于重新识别数据中的所关注的人。分类器执行模块760接收由训练器701产生的较早经训练分类器参数集720以及从图4的步骤445接收的新的特征集751作为输入，并且返回识别每一所关注的人的分类输出765作为输出。分类器执行模块760可使用各种计算机视觉、机器学习及图案辨识方法：再次，实例包含随机森林、支持向量机及卷积神经网络。
分类输出765提出出现在零个、一个或一个以上数据帧中的零个、一个或一个以上人的身份。由分类输出765提供的每一人识别可为划入识别(例如，“此人可能是鲍勃”)，排除识别(例如，“此人可能不是鲍勃”)或未知识别(例如，“没有足够的信息来判断此人是否是鲍勃”)。
排除识别的一种重要特殊情况是将人识别为“其它”，表明未发现任何身份匹配，并且所述人的身份可能未包含在一组已知身体印记内。举例来说，访问某个家庭的客人(所述家庭的家人的身体印记而不是客人的身体印记可能是已知的)可被识别为“其它”。能够将人识别为“其它”可通过发信号通知不需要为所述人计算另外特征来改进计算性能，至少只要所述人在传感器范围内。
在另一重要的特殊情况下，在一些实施例中，系统仅需要将单个所关注的人与世界上的其他人所有人(“其它”)区分开。在这些实施例中，系统仅寻求识别人是否是例如“鲍勃”。这可改进计算性能，因为系统并非试图要识别人是“鲍勃”还是“克拉拉”还是“西吉(Sigi)”还是“苏塞(Suse)”等等；系统只是试图识别“鲍勃”与“非鲍勃”。由此导致的计算开销及搜索空间的减少可改进系统在其人识别任务中的精确度及速度。举例来说，在母亲受多发性硬化(这是一种可通过平均步行速度估计其严重程度的身体状况)影响的家庭中，本发明的方法及系统的某些实施例可用于1)识别每一过路人是“母亲”还是“非母亲”，及2)如果是“母亲”，那么测量并记录她的当前步行速度，同时放弃任何其他人(即，为“其它”的任何人)的测量。
在一些实施例中，将置信度分数指派给每一人识别。置信度分数是机器学习方法“相信”其正确识别所述人的可能性的概率测量。举例来说，支持向量机、卷积神经网络或随机森林可将赞成“选票”的数目除以执行期间遇到的分支路径的数目，从而产生0到1之间的数值置信度分数。每一人识别的置信度分数(如果存在)可因人而异，或者可因帧而异或甚至针对同一人跨帧的集合(集)变化。指派给个人识别的置信度分数(如果存在)的确定可任选地包含基于指派给零个或更多个身体印记的零个、一个或一个以上身体印记分数的计算。
图8说明可由分类输出865(其与相同编号的765相同)提供的置信度分数的实例。在图8中，示范性方法试图识别人是否是“鲍勃”、“克拉拉”、“西吉”、“苏塞”或“其它”。在每一种情况下，所述方法产生0到1之间的置信度分数。举例来说，“鲍勃”的置信度分数820为0.95意味着分类器95％确信所关注的人是“鲍勃”及5％确信所关注的人“不是鲍勃”。图8中的各种置信度分数彼此独立，且因此不加总到1。在图8中，阈值分数810为0.7意味着保留具有高于0.7的置信度分数的所关注的人，而丢弃具有低于0.7的置信度分数的人。在图8中，实例所关注的人可仅为“鲍勃”或“克拉拉”(不是“西吉”、“苏塞”或“其它”)，因为其对应置信度分数都高于0.7。所关注的人也更可能是“鲍勃”而不是“克拉拉”，因为“鲍勃”的置信度分数高于“克拉拉”的置信度分数。
在图8的实例中，存在各自超过识别阈值的两个候选人姓名：“鲍勃”及“克拉拉”。在一些实施例中，“鲍勃”作为人的识别返回，因为“鲍勃”的置信度水平高于“克拉拉”。另一方面，在一些实施例中，“未知”作为人的识别返回，因为“鲍勃”及“克拉拉”被认为在置信度上过于接近而无法进行调用。一般来说，在一些实施例中，通过系统配置或操作者偏好来确定多个置信度分数超过阈值的情况的处置。
在某些实施例中，不容易指派置信度分数。举例来说，例如缩放及阈值化的方法或涉及坐标变换或线性(或非线性)映射技术的方法通常不产生一致置信度分数。然而，可增强此类方法以产生导出的置信度分数。
任选地，分类器可不计算或利用分类输出765内的置信度分数，或者分类器可不需要或利用训练数据705。替代地，分类器可使用启发式方法、截止阈值及/或其它分类手段。在这些及类似的情况下，分类器可更适当地称为“归类器”。举例来说，当鲍勃步行通过视场时获得的一组特征可通过使用欧几里德距离(数学点积)与已知身体印记“鲍勃”、“克拉拉”、“西吉”及“苏塞”进行比较。随后，通过选择最小欧几里德距离作为启发，可将鲍勃识别为“鲍勃”。举例来说，通过使用截止阈值(例如，针对身高)将在家庭的唯一孩子步行通过视场时获得的一组特征与已知身体印记“妈妈”、“爸爸”及“孩子”进行比较，并且随后通过选择身高低于截止阈值(针对身高)的唯一身体印记将孩子识别为“孩子”。通过术语“归类”而不是通过术语“分类”更好地描述这些实例中的每一者。此处，为简洁起见，我们使用词语“分类”作为涵盖“分类”及“归类”的笼统术语。
人注册
在一些实施例中，可能希望提供具有预期所关注的人的已知特征及/或身体印记的本发明的方法及系统的某些实施例，使分数类器700及其训练器701将具有利用其来操作的先验知识。举例来说，如果将此实施例放置在其中母亲受到多发性硬化的影响的上述家庭中，那么可能需要预先向系统提供所有家庭居民的已知特征及/或身体印记。通过此方法，系统将更精确地识别母亲并筛选出其它家庭成员。将一或多个已知特征及/或身体印记提供给系统或方法的程序称为注册，并且如此进入系统的人被称为已经注册。
在一些实施例中，系统可能仅需要注册少数人，例如，一个家庭的四到六个成员，或甚至仅单个所关注的人。如上文描述，将身体印记的数目约束到如此小的程度可提高系统性能，因为现在系统仅需要识别那些少数家庭成员而不是“其它”。
通过其可用注册数据训练分类器的程序是所属领域的技术人员熟知的。简单地说，可自动地(通过使具有已知身份的人预期经历测量)、手动地(通过使人类操作者回溯性地浏览数据集并手动标记其内所表示的人)或者通过其组合获得注册数据。举例来说，可在计算机屏幕上显示指令，其指示特定所关注的人在传感器前面执行一系列已知或规定移动。然后，将这些移动解译为身体印记。所关注的人可暂时佩戴广播所述人的识别的手镯，使得无论何时所关注的人横越传感器的视场(在佩戴手镯时)，系统都获取所述人的注册数据。
通过其发生注册的特定方法可取决于基础分类器700的机制。在一些实施例中，对一个、一些或所有可用的所关注的特征执行注册。在一些实施例中，即使在常规日常操作期间，注册及/或训练也无限期地继续，以便于适应人的身体印记的持续改变(例如，发型、体重改变、穿着笨重的夹克)。在一些实施例中，以预定间隔(例如每月或每年)重复注册及/或训练。在一些实施例中，在发生临时或任意事件(例如，所关注的人的外观的改变或希望将识别从一个所关注的人切换到另一人，或者对分类器700进行性能改进)时重复注册及/或训练。在一些实施例中，要求所关注的人他/她自身通过注册程序验证他/她在数据集中的表示的标记(标注)并且在标签为错误或缺失的情况下进行校正。
在一些实施例中，在注册期间，待注册的人在传感器的视野中站立、坐着、转动或旋转，其中一些身体部分被遮挡或未被遮挡。在一些实施例中，在注册期间，待注册的人实行一组预定义的移动(例如，四处走动以覆盖整个视场，或者相对于传感器以各种定向站立)。在一些实施例中，一组预定义的移动包含沿着以下各者步行：线、矩形、圆形或八字形。在一些实施例中，注册程序是无人监督的：即，要注册的人被给予关于如何移动的指令，并且随后遵守指令是所述人的责任。在一些实施例中，注册过程是有监督的：即，所揭示的技术在注册期间实时跟踪人，并且在人偏离期望的注册移动太远的情况下提供校正指令或反馈。在一些实施例中，所揭示的技术在获得数据时实时确定注册数据的数量及质量，并且通知人何时：继续当前移动，切换到不同移动或结束注册程序。在一些实施例中，所揭示的技术能够检测特定类型的注册数据的缺乏，并且在这样做时，指示所述人去到特定位置或采用特定移动以“填写”缺失数据。
在一些实施例中，系统或方法在某段时间内获取数据并执行步骤105到120(但不是步骤125)而不识别任何所关注的人，直到其接收到注册数据为止，此时系统或方法使用所有先前收集的数据回溯性地执行步骤125。如上所述，注册及分类可各自以手动、半自主或完全自主的方式执行，并且不同的注册及分类可采用相同或不同的数据、特征及/或身体印记。半自主及完全自主注册方法可包含例如机器学习及图案辨识。
如上所述，系统或方法不需要注册来执行识别。举例来说，如上所述，系统可替代地使用启发式方法、截止阈值及/或其它归类手段。
在一些实施例中，选择在方法或系统中采用的数据、特征及/或身体印迹，使得排除例如照片及视频及面部辨识的视觉图像数据以便保护隐私。在一些实施例中，对隐私的需求可能较不突出，使得所采用的数据、特征及/或身体印记可包含例如照片及视频及面部辨识的视觉图像数据。在某些实施例中，系统或方法的重要优点在于其可提供可针对不同应用量身定制的不同级别的隐私保护。
特征与心理感知及/或意图之间的关系
使用预定关系
图1B是根据说明性实施例的特性化移动、行为或活动-且借此特性化(例如，疼痛、疲劳或情绪的)心理感知或意图-的方法的实例的流程图。在图1B中，从预定关系确定结论。
除步骤135及155之外，图1B的所有步骤都等同于图1A中的其类似命名的对应部分。
步骤120中的特征的计算可采用来自信号处理、计算机视觉及/或机器学习的技术。举例来说，步骤115中的人分割的副作用可为定位人的解剖关节的空间位置；然后，这些关节的相对位置及移动在步骤120中成为特征。举例来说，人的姿势可用作特征：如果姿势在一天中缓慢地降低，那么可推断所述人变得疲劳。举例来说，来自机器学习的随机森林构造可接收人的多个关节的位置(“骨架数据”)作为输入，并且产生所述人感觉到心理压抑的置信度水平作为输出。举例来说，来自人工智能的卷积神经网络构造可接收人的身体的三维形状(“深度数据”)作为输入，并且产生所述人意在做出恶意举动的置信度水平作为输出。举例来说，对人的口头话语的傅立叶分析可用作特征：如果突然，声音的音量变得更大并且音调变得更高，那么可推断出所述人正在变得激动。
步骤135将通过步骤120产生的识别并量化人的移动、活动及行为特征与预定关系相关联，以确定关于疼痛、疲劳、情绪或意图的结论。上文给出预定关系及结论的实例。
步骤155输出通过步骤135产生的结论。图10中展示根据说明性实施例的结论的实例。
使用习得关系
图1C是根据说明性实施例的特性化移动、行为或活动-且借此特性化(例如，疼痛、疲劳或情绪的)心理感知或意图-的方法的实例的流程图。在图1C中，从习得关系确定结论。
除步骤145、165及175之外，图1C的所有步骤都等同于图1A及1B中的其类似命名的对应部分。
步骤145将步骤120中产生的特征与已知外生供应属性或数据(称为“基础事实”175)进行比较。步骤175的输出是特征与习得关系之间的相关，其中习得关系是使用特征及在步骤175中供应的任何基础事实来建立的。以此方式，可使用计算出的特征在图1C的方法期间修改及更新习得关系。产生、修改或更新相关、关联或习得关系的过程称为“训练”，并且经由计算机视觉及机器学习技术来实现。此类技术的实例包含：支持向量机、朴素贝叶斯分类器、随机森林、决策树及神经网络(包含卷积神经网络)。
举例来说，通过步骤145产生的习得关系可包括阈值：“如果人的步行速度超过每秒0.5米，那么疲劳级别最小”。举例来说，通过步骤145产生的习得关系可包括代数方程：“人从上周的疲劳改变是步行速度的百分比改变加上在相同时间段内姿势的百分比改变”。举例来说，通过步骤145产生的习得关系可包括嵌入神经网络构造(例如卷积神经网络)内的多个数值权重。
将特征与关系相关联
在图1B及1C中，步骤135及145将特征与关系相关联以便确定结论。步骤135的预定关系可由例如启发式、规则集及统计方法的分析方法来构建。举例来说，使用生物力学推理，某人可确定可通过观察头随时间的位置来测量人的跨步长度。在每一脚步期间，头的加速度最小。通过计算在循序加速度最小值处头位置之间的距离，可间接地测量人的跨步长度-借此定义预定关系，如图9A中所说明。
步骤145的习得关系可通过例如(举例来说)支持向量机及卷积神经网络的机器学习方法产生。举例来说，可通过科学文献；通过人类输入；或通过其它机械或计算提供基础事实175。举例来说，针对疲劳的基础事实可能是来自每隔几天对人进行的调查的数据，所述调查具有与自我报告的疲劳级别相关的问题。在步骤145中，所述调查响应可用于训练机器学习算法(例如，朴素贝叶斯分类器)以最大化输入特征集120与基础事实175(自我报告的疲劳级别)之间的相关性，使得输出结论165也与基础事实175(自我报告的疲劳级别)相关。
可在数据收集之前或之后确定关系，这取决于手头的应用。关系可表示为例如查找表中的规则或值；方程；神经网络，如卷积神经网络；各种其它机器学习或图案辨识结构，例如随机森林；或算法步骤。举例来说，关系可指定基于在24小时的过程中步行速度的平均改变、移动所花费的时间量及从垂直的脊柱角度来确定疲劳级别。
可为关系指派先决条件阈值或约束。举例来说，在报告基于步行速度的结论之前，可能需要最少至少三个完整步骤的数据获取。
确定结论
图9A到9D说明如何可将特征与关系相关联以确定结论的实例。
图9A表示量化移动的实例；此处得出的结论是人正在以计算出的跨步长度步行。在此实例中，人走向右侧(相对于传感器)并且经过沙发后面，沙发遮挡下半身。为在被拒绝提供人的下半身的可视化的同时评估步态，本实施例必须依赖于上半身的特征而不是下半身。在此实例中，计算两个上半身特征910：头加速度(头速度从前一帧的变化率)及头平移(头从前一帧横越的距离)。在此实例中，三个预定关系920对于本实施例是已知的，如图9A中所列出。从特征910及预定关系920，本实施例能够供应结论930：所述人正在以计算出的跨步长度积极地步行(并不是例如坐着或斜倚)。
图9B表示识别活动的实例；此处得出的结论是人正在吃饭。在此实例中，所述人坐着并且正在吃饭，使得所述人的手在板与嘴巴之间周期性地移动。在此实例中，计算两个特征940：是否已经确定所述人坐着且静止(其可又从其它特征[未展示]计算，例如头位置)以及右手与头之间的瞬时距离。在此实例中，三个预定关系950对于本实施例是已知的，如图9B中所列出。从特征940及预定关系950，本实施例能够供应所述人正在吃饭的结论960。
图9C表示识别精神感知的实例；此处得出的结论是人感到疲劳。在此实例中，人走向右侧(相对于传感器)。在此实例中，计算两个特征970：步行速度(其可又从其它特征[未展示]计算，例如头位置)及相对于垂直的瞬时脊柱角度。在此实例中，三个预定关系980对于本实施例是已知的，如图9C中所列出。从特征970及预定关系980，本实施例能够供应结论990：所述人有80％的可能性随着时间变得疲劳。
图9D表示识别图9C中所展示的精神感知的相同实例。然而，在图9D中，特征993通过卷积神经网络(CNN)自主确定。此外，在图9D中，特征993与结论999之间的关系996经学习-不是预定-并且再次通过相同的CNN或不同的CNN自主地确定。通过CNN产生的特征及习得关系通过对输入数据执行的无数数学运算概述。
通过步骤155、165及185产生的结论可任选地伴随有置信值，或者具有被归于其的概率。“置信度值”不同于计算为上文所描述的正确人识别的可能性的测量的“置信度分数”。举例来说，置信度值可与独立计算出的特征对例如存在脚步达成一致的程度相关联。举例来说，置信度值可通过线性回归对应于拟合优度计算。如所属领域中已知，存在许多其它方式将置信度值归于一或多组测量。
通过步骤155、165及185产生的结论可任选地经量化；举例来说，图9C或图9D的结论990或999可包括对人的疲劳级别的量化测量(而不仅仅是疲劳是否存在)。举例来说，可从步行速度及从垂直的脊柱角度(即，图9C中的特征970)的同期测量或从CNN的数值权重(即，图9D中的特征993)来计算疲劳级别。
将机器学习、人工智能或图案辨识的技术应用于产生结论的实例(非穷尽性)如下。举例来说，身体部分(例如头)随时间的位置的傅里叶变换的主分量分析(PCA)可包括步态的显著特征；所述特征可通过朴素贝叶斯分类器自主处理以产生习得关系，借此将特征与人具有步态异常的结论相关联。举例来说，关节随时间的空间位置(骨架数据)可包括跌倒风险的显著特征；所述特征可通过随机森林自主处理以产生习得关系，借此将特征与人有升高的跌倒风险的结论相关联。举例来说，随着时间的推移，人的身体的三维形状的演变可包括进食行为的显著特征；所述特征可通过CNN自主处理以产生习得关系，借此将特征与人正在进食的结论相关联。
图10展示可与关系相关(即，关联)以确定结论的特征类型的实例。结论可对应于移动、活动及/或行为(例如，步行、用餐、睡觉)的识别(检测)及/或量化或对应于人的疼痛、疲劳、情绪及意图。举例来说，如果人的步行速度及脊柱角度(特征)低于给定阈值(关系)，那么将所述人确定为疲劳(结论)。举例来说，如果人的步行速度及脊柱角度与历史平均值相比减小，那么所述人的疲劳级别被量化，例如，4级疲劳，最高级为10级。
现实世界的设置
本发明的物理实施例的非限制性实例是深度传感器，其连接到具有网络连接的计算机，所述深度传感器放置在人的家中以测量健康状态。每当人偶然在视场内通过时，本实施例机会性地对人的移动进行采样。可实时分析所获取的数据；或存储所获取的数据用于在一天结束时处理；或将所获取的数据周期性地传输到远程处理站，例如云计算机。结论的实例包含步行速度、姿势或总体活跃度的改变。结论可在网站上显示或通过电子邮件发送给临床医生。举例来说，在数量突然降低到阈值以下的情况下，结论可作为紧急寻呼或文本消息警报发送。
物理实施例的另一实例是深度传感器，其连接到具有网络连接的计算机，所述深度传感器放置在零售环境中以识别盗窃。本实施例计算商店顾客的特征，例如步行速度，步行方向、眼睛注视的方向及姿势的改变。确定关于人是否有意图进行偷窃的结论，其伴随有置信度值；如果置信度值超过阈值，那么提醒商店工作人员。可通过观察模仿类似盗贼行为的操作者来训练本实施例(即，学习关系)。
物理实施例的另一实例是深度传感器，其连接到具有网络连接的计算机，所述深度传感器放置在工业环境中以识别安全问题。本实施例计算员工的特征，例如突然的头移动，或从步行过渡到跑步，或者与所述位置中的所有雇员的平均值相差某个阈值的步行速度。确定关于某事物在环境中是否可能是不安全的结论；举例来说，由员工对警告气味或声音的身体反应预示。
物理实施例的另一实例是深度传感器，其连接到具有网络连接的计算机，所述计算机放置在军事环境中以识别安全威胁。本实施例计算路人的特征，例如步行速度及物体的掉落。确定人是否有意图造成伤害的结论。
网络及计算实施方案
如图11中所展示，展示并描述网络环境1100的实施方案，网络环境1100用于提供用于在保护隐私的前提下识别人的系统。简单地说，现在参考图11，展示并描述示范性云计算环境1100的框图。云计算环境1100可包含一或多个资源提供者1102a、1102b、1102c(统称为1102)。每一资源提供者1102可包含计算资源。在一些实施方案中，计算资源可包含用于处理数据的任何硬件及/或软件。举例来说，计算资源可包含能够执行算法、计算机程序及/或计算机应用程序的硬件及/或软件。在一些实施方案中，示范性计算资源可包含具有存储及检索能力的应用程序服务器及/或数据库。每一资源提供者1102可连接到云计算环境1100中的任何其它资源提供者1102。在一些实施方案中，资源提供者1102可通过计算机网络1108连接。每一资源提供者1102可通过计算机网络1108连接到一或多个计算装置1104a、1104b、1104c(统称为1104)。
云计算环境1100可包含资源管理器1106。资源管理器1106可通过计算机网络1108连接到资源提供者1102及计算装置1104。在一些实施方案中，资源管理器1106可促进一或多个资源提供者1102将计算资源提供到一或多个计算装置1104。资源管理器1106可接收来自特定计算装置1104的对计算资源的请求。资源管理器1106可识别能够提供由计算装置1104请求的计算资源的一或多个资源提供者1102。资源管理器1106可选择资源提供者1102来提供计算资源。资源管理器1106可促进资源提供者1102与特定计算装置1104之间的连接。在一些实施方案中，资源管理器1106可在特定资源提供者1102与特定计算装置1104之间建立连接。在一些实施方案中，资源管理器1106可将特定计算装置1104重新引导到具有所请求的计算资源的特定资源提供者1102。
图12展示可用于实施本发明中描述的技术的计算装置1200及移动计算装置1250的实例。计算装置1200希望表示各种形式的数字计算机，例如膝上型计算机、桌上型计算机、工作站、个人数字助理、服务器、刀片服务器、大型机及其它适当计算机。移动计算装置1250希望表示各种形式的移动装置，例如个人数字助理、蜂窝电话、智能电话及其它类似的计算装置。此处展示的组件、其连接及关系以及其功能意在仅为实例，且并不意在为限制性的。
计算装置1200包含处理器1202、存储器1204、存储装置1206、连接到存储器1204的高速接口1208及多个高速扩展端口1210，以及连接到低速扩展端口1214及存储装置1206的低速接口1212。处理器1202、存储器1204、存储装置1206、高速接口1208、高速扩展端口1210及低速接口1212中的每一者使用各种总线互连，并且可安装在公共主板上或酌情以其它方式安装。处理器1202可处理用于在计算装置1200内执行的指令，其包含存储在存储器1204中或存储装置1206上的指令，以在外部输入/输出装置(例如耦合到高速接口1208的显示器1216)上显示GUI的图形信息。在其它实施方案中，可酌情使用多个处理器及/或多个总线以及多个存储器及多个类型的存储器。此外，可连接多个计算装置，其中每一装置提供必要操作的部分(例如，作为服务器库、刀片服务器群组或多处理器系统)。因此，如本文使用的术语，其中多个功能被描述为通过“处理器”执行，这涵盖其中多个功能通过任何数目的计算装置(一或多个)的任何数目的处理器(一或多个)执行的实施例。此外，在功能被描述为通过“处理器”执行的情况下，这涵盖其中功能通过任何数目的计算装置(一或多个)的任何数目的处理器(一或多个)执行的实施例(例如，在分布式计算系统)。
存储器1204在计算装置1200内存储信息。在一些实施方案中，存储器1204是易失性存储器单元。在一些实施方案中，存储器1204是非易失性存储器单元。存储器1204还可为另一种形式的计算机可读媒体，例如磁盘或光盘。
存储装置1206能够为计算装置1200提供大容量存储。在一些实施方案中，存储装置1206可为或含有计算机可读媒体，例如软盘装置、硬盘装置、光盘装置、或磁带装置；快闪存储器或其它类似的固态存储器装置；或一系列装置，包含存储区域网络或其它配置中的装置。指令可存储在信息载体中。指令在由一或多个处理装置(例如，处理器1202)执行时执行一或多种方法，例如上文描述的那些方法。指令还可由一或多个存储装置存储，例如计算机或机器可读媒体(例如，存储器1204、存储装置1206或处理器1202上的存储器)。
高速接口1208管理计算装置1200的带宽密集型操作，而低速接口1212管理较低带宽密集型操作。这种功能分配仅为实例。在一些实施方案中，高速接口1208耦合到存储器1204、显示器1216(例如，通过图形处理器或加速器)，并且耦合到高速扩展端口1210，高速扩展端口1210可接受各种扩展卡(未展示)。在所述实施方案中，低速接口1212耦合到存储装置1206及低速扩展端口1214。低速扩展端口1214(其可包含各种通信端口(例如，USB、
Figure BDA0003295056110000491
以太网、无线以太网))可例如通过网络适配器耦合到一或多个输入/输出装置，例如键盘、指示装置、扫描仪或联网装置，例如交换机或路由器。
计算装置1200可以多种不同的形式来实施，如图中所展示。举例来说，其可实施为标准服务器1220，或者在此类服务器群组中实施多次。另外，其可在例如膝上型计算机1222的个人计算机中实施。其还可实施为机架服务器系统1224的部分。替代地，来自计算装置1200的组件可与移动装置(未展示)(例如移动计算装置1250)中的其它组件组合。此类装置中的每一者可含有计算装置1200及移动计算装置1250中的一或多者，并且整个系统可由彼此通信的多个计算装置组成。
移动计算装置1250包含处理器1252、存储器1264、例如显示器1254的输入/输出装置、通信接口1266及收发器1268以及其它组件。移动计算装置1250还可具备存储装置(例如微型驱动器或其它装置)以提供额外存储。处理器1252、存储器1264、显示器1254、通信接口1266及收发器1268中的每一者使用各种总线互连，并且组件中的若干者可安装在公共主板上或酌情以其它方式安装。
处理器1252可在移动计算装置1250内执行指令，其包含存储在存储器1264中的指令。处理器1252可实施为芯片的芯片集，其包含单独及多个模拟及数字处理器。处理器1252可提供例如移动计算装置1250的其它组件的协调，例如用户接口、通过移动计算装置1250运行的应用程序以及通过移动计算装置1250进行的无线通信的控制。
处理器1252可通过控制接口1258及耦合到显示器1254的显示器接口1256与用户通信。显示器1254可为例如TFT(薄膜晶体管液晶显示器)显示器或OLED(有机发光二极管)显示器或其它适当的显示器技术。显示器接口1256可包括用于驱动显示器1254以向用户呈现图形及其它信息的适当电路。控制接口1258可从用户接收命令并将其转换以提交给处理器1252。另外，外部接口1262可提供与处理器1252的通信，以便于实现移动计算装置1250与其它装置的近区域通信。外部接口1262可例如在一些实施方案中提供有线通信或者在其它实施方案中提供无线通信，并且还可使用多个接口。
存储器1264在移动计算装置1250内存储信息。存储器1264可实施为计算机可读媒体、易失性存储器单元或非易失性存储器单元中的一或多者。扩展存储器1274也可被提供并通过扩展接口1272连接到移动计算装置1250，扩展接口1272可包含例如SIMM(单列直插式存储器模块)卡接口。扩展存储器1274可为移动计算装置1250提供额外的存储空间，或者还可存储用于移动计算装置1250的应用程序或其它信息。具体来说，扩展存储器1274可包含实行或补充上文描述的过程的指令且也可包含安全信息。因此，举例来说，扩展存储器1274可被提供为用于移动计算装置1250的安全模块，并且可用允许安全使用移动计算装置1250的指令来编程。另外，可经由SIMM卡提供安全应用程序以及额外信息，例如以黑客无法攻击的方式在SIMM卡上放置识别信息。
存储器可包含例如快闪存储器及/或NVRAM存储器(非易失性随机存取存储器)，如下文所论述。在一些实施方案中，指令存储在信息载体中，使得指令在通过一或多个处理装置(例如，处理器1252)执行时执行一或多种方法，例如上面所描述的那些方法。指令还可通过一或多个存储装置存储，例如一或多个计算机或机器可读媒体(例如，存储器1264、扩展存储器1274或处理器1252上的存储器)。在一些实施方案中，可(例如)通过收发器1268或外部接口1262以传播信号接收指令。
移动计算装置1250可通过通信接口1266无线通信，通信接口1266可在必要时包含数字信号处理电路。通信接口1266可提供各种模式或协议下的通信，例如GSM语音呼叫(全球移动通信系统)、SMS(短消息服务)、EMS(增强型消息服务)或MMS消息传送(多媒体消息传送服务)、CDMA(码分多址)、TDMA(时分多址)、PDC(个人数字蜂窝)、WCDMA(宽带码分多址)、CDMA2000或GPRS(通用分组无线业务)等。此通信可例如使用射频通过收发器1268发生。另外，可发生短距离通信，例如使用
Figure BDA0003295056110000501
Wi-FiTM或其它此类收发器(未展示)。另外，GPS(全球定位系统)接收器模块1270可向移动计算装置1250提供额外导航及位置相关的无线数据，其可通过在移动计算装置1250上运行的应用程序酌情使用。
移动计算装置1250还可使用音频编解码器1260可听地通信，音频编解码器1260可从用户接收说话信息并将其转换为可使用的数字信息。音频编解码器1260同样可为用户产生可听声音，例如通过扬声器，例如在移动计算装置1250的听筒中。此类声音可包含来自语音电话呼叫的声音，可包含记录的声音(例如，语音消息、音乐文件等)，并且还可包含通过在移动计算装置1250上操作的应用程序产生的声音。
移动计算装置1250可以多种不同的形式实施，如图中所展示。举例来说，其可实施为蜂窝电话1280。其还可实施为智能电话1282、个人数字助理或其它类似移动装置的部分。
可在数字电子电路、集成电路、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软件及/或其组合中实现本文描述的系统及技术的各种实施方案。这些各种实施方案可包含在可编程系统上可执行及/或可解译的一或多个计算机程序中的实施方案，所述可编程系统包含可为专用的或通用的至少一个可编程处理器，其经耦合以从存储系统、至少一个输入装置及至少一个输出装置接收数据及指令，并将数据集指令传输到存储系统、至少一个输入装置及至少一个输出装置。
这些计算机程序(也称为程序、软件、软件应用程序或代码)包含用于可编程处理器的机器指令，并且可以高级程序及/或面向对象的编程语言及/或以汇编/机器语言来实施。
为提供与用户的交互，此处描述的系统及技术可在具有显示装置(例如，CRT(阴极射线管)或LCD(液晶显示器)监视器)及键盘及指示装置的计算机上实施，所述显示装置用于向用户显示信息，且用户可通过所述键盘及指示装置(例如，鼠标或轨迹球)向计算机提供输入。其它类型的装置也可用于提供与用户的交互；举例来说，提供给用户的反馈可为任何形式的感官反馈(例如，视觉反馈、听觉反馈或触觉反馈)；并且可以任何形式接收来自用户的输入，包含声学、语音或触觉输入。
此处描述的系统及技术可在包含后端组件(例如，作为数据服务器)或包含中间件组件(例如，应用服务器)或包含前端组件(例如，具有图形用户接口或网页浏览器的客户端计算机，用户通过其可与此处描述的系统及技术的实施方案交互)或此类后端、中间件或前端组件的任何组合的计算系统中实施。系统的组件可通过任何形式或媒体的数字数据通信(例如，通信网络)互连。通信网络的实例包含局域网(LAN)、广域网(WAN)及因特网。
计算系统可包含客户端及服务器。客户端及服务器通常彼此远离，并且通常通过通信网络进行交互。客户端与服务器的关系由于在相应计算机上运行并且彼此具有客户端-服务器关系的计算机程序而产生。
已经描述用于识别人及/或识别及量化疼痛、疲劳、情绪及意图并保护隐私的系统及方法的某些实施方案，对于所属领域的技术人将变得显而易见的是，可使用并入本发明的概念的其它实施方案。因此，本发明不应限于某些实施方案，而是应仅受所附权利要求书的精神及范围的限制。
虽然已经参考特定优选实施例特定展示及描述本发明，但是所属领域的技术人应理解，在不脱离由所附权利要求书界定的本发明的精神及范围的情况下，可在形式及细节上进行各种改变。

Claims (28)

1.一种经由人的物理测量来识别及/或量化所述人的疼痛、疲劳、情绪及意图中的至少一者的方法，所述方法包括：
通过计算装置的处理器接收包括通过传感器获取的传感器数据的数据集；
通过所述处理器基于所述数据集特性化选自由所述人的移动、活动及行为组成的群组的至少一个成员，其中所述特性化包括：
将所述数据集内表示的一或多个人彼此分割并将其与所述数据集内表示的环境物体分割，
计算所述一或多个经分割人中的至少一者的至少一个特征，以及
基于将至少一个特征与关系相关联来确定结论；以及
通过所述处理器输出所述结论。
2.根据权利要求1所述的方法，其中分割在所述数据集内表示的所述一或多个人包括执行机器学习及/或图案辨识技术。
3.根据权利要求1所述的方法，其中所述关系是习得关系。
4.根据权利要求1所述的方法，其中所述至少一个特征包括作为直接测量的物理测量。
5.根据权利要求1所述的方法，其中所述至少一个特征包括作为间接测量的物理测量。
6.根据权利要求1所述的方法，其中所述结论是基于不完整测量。
7.根据权利要求1所述的方法，其中所述至少一个特征是基于所述数据集中的测量，所述测量是非连续的、非邻近的、不完整的、不一致的、非循序的中的至少一者。
8.根据权利要求1所述的方法，其中所述结论是基于若干不同类型及特征组合的合并。
9.根据权利要求1所述的方法，其中所述数据集中的所述传感器数据直接从传感器获取及/或已经历额外处理。
10.根据权利要求1所述的方法，其中所述数据集包括一或多个帧。
11.根据权利要求10所述的方法，其中所述一或多个帧中的每一帧对应于一或多个数据流的快照，所述数据流包括在特定时刻之前或在特定时刻获取的数据。
12.根据权利要求10所述的方法，其中所述一或多个帧通过单个传感器在多个时间点处捕获及/或通过多个传感器捕获。
13.根据权利要求1所述的方法，其中所述数据集大体上实时地获取，以批量模式获取，或者从先前存储在数据库中的数据获取。
14.根据权利要求1所述的方法，其包括丢弃被确定为非私人的数据类型。
15.根据权利要求1所述的方法，其包括通过所述处理器对所述数据集进行预处理以用于后续分析，其中预处理包括选由以下各者组成的群组的一或多个步骤：过滤、调节、清理及正规化所述数据集。
16.根据权利要求1所述的方法，其包括通过所述处理器对所述数据集进行预处理以用于后续分析，其中对来自所述数据集或计算出的特征的原始数据执行预处理。
17.根据权利要求1所述的方法，其中在没有关于所述经分割人的所述身份的任何信息的情况下执行分割。
18.根据权利要求1所述的方法，其包括：在分割之后，确定所经分割的所述一或多个人中的每一者的标签，以便将计算出的特征与特定个体相关联。
19.根据权利要求1所述的方法，其中所述至少一个特征包括选自由以下各者组成的群组的至少一个成员：肢体长度、脚大小、头形状、身高、身体比例、身体体积、语音频谱、语音音量、跨步长度、视场内的位置及手臂抬高的速度。
20.根据权利要求1所述的方法，其包括通过所述处理器使用机器学习及/或图案辨识技术自动计算所述至少一个特征。
21.根据权利要求1所述的方法，其中基于所述特定特征的所述可用性及所述输出结论的相关性中的至少一者来暂停计算至少一个特征。
22.根据权利要求1所述的方法，其中通过所述处理器基于所述数据集确定移动、活动或行为的期望特性包括在分割之前通过所述处理器预处理所述数据用于后续分析。
23.根据权利要求1所述的方法，其中所述关系是预先确定的。
24.根据权利要求3所述的方法，其中所述习得关系是基于基础事实。
25.一种经由人的物理测量来识别及/或量化所述人的疼痛、疲劳、情绪及意图中的至少一者的系统，所述系统包括：
传感器，其用于获取对应于所述人的数据；
处理器；及
存储器，其上存储有指令，其中所述指令在通过处理器执行时致使所述处理器执行以下操作：
接收包括由传感器获取的传感器数据的数据集；
通过以下方式基于所述数据集特性化所述人的移动、活动及行为中的至少一者：
将所述数据集内表示的一或多个人彼此分割并将其与所述数据集内表示的环境物体分割，
计算所述一或多个经分割人中的至少一者的至少一个特征，以及
基于将所述至少一个特征与关系相关联来确定所述人的结论；以及
输出所述结论。
26.根据权利要求25所述的系统，其中分割在所述数据集内表示的所述一或多个人包括执行机器学习及/或图案辨识技术。
27.根据权利要求25所述的系统，其进一步包括用于获取所述传感器数据的红外飞行时间传感器。
28.根据权利要求27所述的系统，其进一步包括显示器及用于所述处理器及存储器的外壳。
CN202111174966.3A 2016-08-02 2017-08-01 在保护隐私的同时识别人及/或识别并量化疼痛、疲劳、情绪及意图的系统及方法 Pending CN113903455A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662370083P 2016-08-02 2016-08-02
US62/370,083 2016-08-02
US201662438229P 2016-12-22 2016-12-22
US62/438,229 2016-12-22
CN201780045662.2A CN109477951B (zh) 2016-08-02 2017-08-01 在保护隐私的同时识别人及/或识别并量化疼痛、疲劳、情绪及意图的系统及方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201780045662.2A Division CN109477951B (zh) 2016-08-02 2017-08-01 在保护隐私的同时识别人及/或识别并量化疼痛、疲劳、情绪及意图的系统及方法

Publications (1)

Publication Number Publication Date
CN113903455A true CN113903455A (zh) 2022-01-07

Family

ID=61069497

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202111174966.3A Pending CN113903455A (zh) 2016-08-02 2017-08-01 在保护隐私的同时识别人及/或识别并量化疼痛、疲劳、情绪及意图的系统及方法
CN201780045662.2A Active CN109477951B (zh) 2016-08-02 2017-08-01 在保护隐私的同时识别人及/或识别并量化疼痛、疲劳、情绪及意图的系统及方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201780045662.2A Active CN109477951B (zh) 2016-08-02 2017-08-01 在保护隐私的同时识别人及/或识别并量化疼痛、疲劳、情绪及意图的系统及方法

Country Status (5)

Country Link
US (2) US11017901B2 (zh)
EP (1) EP3494428A4 (zh)
JP (3) JP7083809B2 (zh)
CN (2) CN113903455A (zh)
WO (1) WO2018026838A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023208090A1 (en) * 2022-04-28 2023-11-02 Neufast Limited Method and system for personal identifiable information removal and data processing of human multimedia
CN117291924A (zh) * 2023-11-27 2023-12-26 惠州市鑫晖源科技有限公司 基于机器视觉的主机电源外观质量检测方法

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10489661B1 (en) * 2016-03-08 2019-11-26 Ocuvera LLC Medical environment monitoring system
US11017901B2 (en) 2016-08-02 2021-05-25 Atlas5D, Inc. Systems and methods to identify persons and/or identify and quantify pain, fatigue, mood, and intent with protection of privacy
CN107865473B (zh) * 2016-09-26 2019-10-25 华硕电脑股份有限公司 人体特征测距装置及其测距方法
US10679046B1 (en) * 2016-11-29 2020-06-09 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Machine learning systems and methods of estimating body shape from images
EP3566078A1 (en) * 2017-01-03 2019-11-13 Innoviz Technologies Ltd. Lidar systems and methods for detection and classification of objects
TWI604332B (zh) * 2017-03-24 2017-11-01 緯創資通股份有限公司 遠距離的身份辨識方法及其系統與電腦可讀取記錄媒體
US10832817B2 (en) * 2017-04-10 2020-11-10 International Business Machines Corporation Cognitive passive health monitoring
EP3618427B1 (en) * 2017-04-28 2022-04-13 Hitachi Kokusai Electric Inc. Video monitoring system
US10943088B2 (en) * 2017-06-14 2021-03-09 Target Brands, Inc. Volumetric modeling to identify image areas for pattern recognition
US20190272466A1 (en) * 2018-03-02 2019-09-05 University Of Southern California Expert-driven, technology-facilitated intervention system for improving interpersonal relationships
KR102481883B1 (ko) * 2017-09-27 2022-12-27 삼성전자주식회사 위험 상황을 감지하는 방법 및 장치
US11054811B2 (en) * 2017-11-03 2021-07-06 Drishti Technologies, Inc. Systems and methods for line balancing
US10460512B2 (en) * 2017-11-07 2019-10-29 Microsoft Technology Licensing, Llc 3D skeletonization using truncated epipolar lines
DE102017126553A1 (de) * 2017-11-13 2019-05-16 Iris-Gmbh Infrared & Intelligent Sensors Erfassungssystem
US10607484B2 (en) * 2017-12-28 2020-03-31 Intel Corporation Privacy-preserving distributed visual data processing
CN112384947A (zh) 2017-12-28 2021-02-19 英特尔公司 视觉雾
US11733780B2 (en) * 2018-03-16 2023-08-22 Veridium Ip Limited System and method for user recognition using motion sensor data
WO2019204700A1 (en) * 2018-04-19 2019-10-24 University Of South Florida Neonatal pain identification from neonatal facial expressions
US20200026943A1 (en) * 2018-07-17 2020-01-23 Vidit, LLC System and method for identification and prioritization of one or more attributes in an image
WO2020023590A1 (en) * 2018-07-24 2020-01-30 Newton Howard Intelligent reasoning framework for user intent extraction
CN110942479B (zh) * 2018-09-25 2023-06-02 Oppo广东移动通信有限公司 虚拟对象控制方法、存储介质及电子设备
US11055539B2 (en) * 2018-09-27 2021-07-06 Ncr Corporation Image processing for distinguishing individuals in groups
JP7357676B2 (ja) 2018-11-15 2023-10-06 マジック リープ， インコーポレイテッド 自己改良ビジュアルオドメトリを実施するためのシステムおよび方法
US11393213B2 (en) * 2018-12-05 2022-07-19 AiFi Inc. Tracking persons in an automated-checkout store
US11443291B2 (en) 2018-12-05 2022-09-13 AiFi Inc. Tracking product items in an automated-checkout store
US11373160B2 (en) 2018-12-05 2022-06-28 AiFi Inc. Monitoring shopping activities using weight data in a store
US11615549B2 (en) * 2018-12-06 2023-03-28 Htc Corporation Image processing system and image processing method
JP7376593B2 (ja) * 2018-12-31 2023-11-08 インテル・コーポレーション 人工知能を利用した安全保障システム
CN109870250A (zh) * 2019-01-27 2019-06-11 武汉星巡智能科技有限公司 区域异常体温监测方法、装置及计算机可读存储介质
JP7096176B2 (ja) * 2019-02-01 2022-07-05 株式会社日立製作所 物体位置推定装置およびその方法
JP7113958B2 (ja) * 2019-03-11 2022-08-05 三菱電機株式会社 運転支援装置及び運転支援方法
KR20220044677A (ko) * 2019-04-12 2022-04-11 유니버시티 오브 아이오와 리서치 파운데이션 작업장 상해를 예측, 예방 및 완화하는 시스템 및 방법
US11948399B2 (en) 2019-07-18 2024-04-02 Atlas5D, Inc. Systems and methods for on-the-floor detection without the need for wearables
TWI704499B (zh) 2019-07-25 2020-09-11 和碩聯合科技股份有限公司 關節點偵測方法及裝置
US20220285015A1 (en) * 2019-08-06 2022-09-08 University Of Miami Artificial intelligence for evaluating patient distress using facial emotion recognition
CN110705584A (zh) * 2019-08-21 2020-01-17 深圳壹账通智能科技有限公司 情绪识别方法、装置、计算机装置及存储介质
EP4023155A4 (en) * 2019-09-01 2023-10-18 LG Electronics Inc. BODY MEASUREMENT DEVICE AND ASSOCIATED CONTROL METHOD
KR20210043306A (ko) * 2019-10-11 2021-04-21 삼성전자주식회사 전자 장치 및 그 제어 방법
CN110717461A (zh) * 2019-10-12 2020-01-21 广东电网有限责任公司 一种疲劳状态识别方法、装置和设备
CN112733570A (zh) * 2019-10-14 2021-04-30 北京眼神智能科技有限公司 眼镜检测的方法、装置、电子设备及存储介质
CN111145166B (zh) * 2019-12-31 2023-09-01 北京深测科技有限公司 安全监控的方法及系统
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
WO2021179230A1 (zh) * 2020-03-12 2021-09-16 南方科技大学 一种脊柱侧弯检测模型的生成方法和计算机设备
CN111507231B (zh) * 2020-04-10 2023-06-23 盛景智能科技(嘉兴)有限公司 工序步骤正确性自动化检测方法和系统
IT202000013279A1 (it) * 2020-06-04 2021-12-04 Grottini Lab S R L Sistema di re-identificazione di una o più persone in un ambiente pubblico e/o privato
US11676368B2 (en) 2020-06-30 2023-06-13 Optum Services (Ireland) Limited Identifying anomalous activity from thermal images
CN111938670B (zh) * 2020-06-30 2022-07-05 齐鲁工业大学 基于人体骨架运动学特征信息的抑郁症识别方法及系统
CN111783882B (zh) * 2020-06-30 2022-09-09 北京市商汤科技开发有限公司 关键点检测方法、装置、电子设备及存储介质
CN113114548B (zh) * 2020-07-07 2022-10-14 德能森智能科技（成都）有限公司 一种基于隐私管理的终端管理方法及系统
CN111860445B (zh) * 2020-07-31 2024-02-02 大连海事大学 一种动态手势识别方法
CN112022166A (zh) * 2020-08-08 2020-12-04 司法鉴定科学研究院 基于医学运动障碍特征识别的人体身份识别方法及系统
WO2022056013A1 (en) * 2020-09-08 2022-03-17 Kang Zhang Artificial intelligence for detecting a medical condition using facial images
WO2022077113A1 (en) 2020-10-14 2022-04-21 One Cup Productions Ltd. Animal visual identification, tracking, monitoring and assessment systems and methods thereof
CN112331337B (zh) * 2021-01-04 2021-04-16 中国科学院自动化研究所 自动抑郁检测方法、装置、设备
CN112733763B (zh) * 2021-01-15 2023-12-05 北京华捷艾米科技有限公司 人机语音交互的实现方法及装置、电子设备、存储介质
US11586524B1 (en) * 2021-04-16 2023-02-21 Vignet Incorporated Assisting researchers to identify opportunities for new sub-studies in digital health research and decentralized clinical trials
US11789837B1 (en) * 2021-02-03 2023-10-17 Vignet Incorporated Adaptive data collection in clinical trials to increase the likelihood of on-time completion of a trial
US11281553B1 (en) 2021-04-16 2022-03-22 Vignet Incorporated Digital systems for enrolling participants in health research and decentralized clinical trials
US11836731B2 (en) * 2021-03-16 2023-12-05 Toshiba Global Commerce Solutions Holdings Corporation Dynamically-tunable interventions for user transactions
CN112818967B (zh) * 2021-04-16 2021-07-09 杭州魔点科技有限公司 基于人脸识别和头肩重识别的儿童身份识别方法
US11475757B1 (en) * 2021-05-18 2022-10-18 Stmicroelectronics S.R.L. Context-aware system and method for IR sensing
US11689765B1 (en) * 2021-12-31 2023-06-27 The Nielsen Company (Us), Llc Methods and apparatus for obfuscated audience identification
US11783495B1 (en) 2022-10-25 2023-10-10 INSEER Inc. Methods and apparatus for calculating torque and force about body joints using machine learning to predict muscle fatigue

Family Cites Families (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS56115904A (en) 1980-02-19 1981-09-11 Unitika Ltd Automatic measuring method for size of human body and device therefor
US7415126B2 (en) 1992-05-05 2008-08-19 Automotive Technologies International Inc. Occupant sensing system
US5815411A (en) 1993-09-10 1998-09-29 Criticom Corporation Electro-optic vision system which exploits position and attitude
GB2351426A (en) 1999-06-24 2000-12-27 Stephen James Crampton Method and apparatus for the generation of computer graphic representations of individuals
WO2002076251A2 (en) 2001-03-08 2002-10-03 Saint Laurie, Ltd. A system and method for fitting clothing
US7440590B1 (en) 2002-05-21 2008-10-21 University Of Kentucky Research Foundation System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns
US7174033B2 (en) 2002-05-22 2007-02-06 A4Vision Methods and systems for detecting and recognizing an object based on 3D image data
US7760248B2 (en) 2002-07-27 2010-07-20 Sony Computer Entertainment Inc. Selective sound source listening in conjunction with computer interactive processing
US9474968B2 (en) 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US7831087B2 (en) 2003-10-31 2010-11-09 Hewlett-Packard Development Company, L.P. Method for visual-based recognition of an object
JP2005242759A (ja) * 2004-02-27 2005-09-08 National Institute Of Information & Communication Technology 行動・意図推定システム、行動・意図推定方法、行動・意図推定プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
CN101398890B (zh) * 2004-08-03 2010-12-08 松下电器产业株式会社 人物判定装置
JP4319628B2 (ja) * 2005-01-07 2009-08-26 株式会社国際電気通信基礎技術研究所 対象物姿勢推定装置
JP4622702B2 (ja) * 2005-05-27 2011-02-02 株式会社日立製作所 映像監視装置
JP2007226726A (ja) * 2006-02-27 2007-09-06 Toyota Motor Corp 熱画像処理装置
US20070229850A1 (en) 2006-04-04 2007-10-04 Boxternal Logics, Llc System and method for three-dimensional image capture
US9696808B2 (en) 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
WO2008014826A1 (en) 2006-08-03 2008-02-07 Alterface S.A. Method and device for identifying and extracting images of multiple users, and for recognizing user gestures
JP2008046691A (ja) * 2006-08-10 2008-02-28 Fuji Xerox Co Ltd 顔画像処理装置及びコンピュータのプログラム
GB0616293D0 (en) 2006-08-16 2006-09-27 Imp Innovations Ltd Method of image processing
US8269834B2 (en) 2007-01-12 2012-09-18 International Business Machines Corporation Warning a user about adverse behaviors of others within an environment based on a 3D captured image stream
US9402558B2 (en) * 2007-04-05 2016-08-02 New York University System and method for pain detection and computation of a pain quantification index
US8918162B2 (en) 2007-04-17 2014-12-23 Francine J. Prokoski System and method for using three dimensional infrared imaging to provide psychological profiles of individuals
JP2009166783A (ja) * 2008-01-18 2009-07-30 Toyota Motor Corp 症状推定装置
WO2009111886A1 (en) 2008-03-14 2009-09-17 Stresscam Operations & Systems Ltd. Assessment of medical conditions by determining mobility
US8456517B2 (en) 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
US9189886B2 (en) 2008-08-15 2015-11-17 Brown University Method and apparatus for estimating body shape
JP5322712B2 (ja) * 2009-03-12 2013-10-23 広輔 宮▲崎▼ 施設の利用情報の案内方法、情報配信サーバ、画像送信装置、そのためのコンピュータプログラム及びその記録媒体
WO2010140613A1 (ja) 2009-06-03 2010-12-09 学校法人中部大学 物体検出装置
US8565479B2 (en) 2009-08-13 2013-10-22 Primesense Ltd. Extraction of skeletons from 3D maps
US8659658B2 (en) 2010-02-09 2014-02-25 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
US8994790B2 (en) 2010-02-25 2015-03-31 The Board Of Trustees Of The Leland Stanford Junior University Motion capture with low input data constraints
US8611670B2 (en) 2010-02-25 2013-12-17 The Board Of Trustees Of The Leland Stanford Junior University Intelligent part identification for use with scene characterization or motion capture
US8982182B2 (en) 2010-03-01 2015-03-17 Apple Inc. Non-uniform spatial resource allocation for depth mapping
US8787663B2 (en) 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
US8751049B2 (en) 2010-05-24 2014-06-10 Massachusetts Institute Of Technology Kinetic input/output
US8633942B2 (en) 2010-06-07 2014-01-21 Microsoft Corporation View generation using interpolated values
US10702216B2 (en) 2010-06-08 2020-07-07 Styku, LLC Method and system for body scanning and display of biometric data
JP5685837B2 (ja) 2010-06-15 2015-03-18 ソニー株式会社 ジェスチャ認識装置、ジェスチャ認識方法およびプログラム
US8639020B1 (en) 2010-06-16 2014-01-28 Intel Corporation Method and system for modeling subjects from a depth map
US8792722B2 (en) 2010-08-02 2014-07-29 Sony Corporation Hand gesture detection
JP5730518B2 (ja) 2010-08-27 2015-06-10 株式会社日立国際電気 特定人物検知システムおよび特定人物検知方法
WO2012029058A1 (en) 2010-08-30 2012-03-08 Bk-Imaging Ltd. Method and system for extracting three-dimensional information
US8613666B2 (en) 2010-08-31 2013-12-24 Microsoft Corporation User selection and navigation based on looped motions
JP2012098771A (ja) 2010-10-29 2012-05-24 Sony Corp 画像処理装置および方法、並びに、プログラム
WO2012075298A2 (en) 2010-12-01 2012-06-07 Cornell University Body shape analysis method and system
JP2012115570A (ja) 2010-12-02 2012-06-21 Panasonic Corp 通過者識別装置
JP5617581B2 (ja) 2010-12-08 2014-11-05 オムロン株式会社 ジェスチャ認識装置、ジェスチャ認識方法、制御プログラム、および、記録媒体
US8448056B2 (en) 2010-12-17 2013-05-21 Microsoft Corporation Validation analysis of human target
US9501919B2 (en) 2011-03-11 2016-11-22 Elisabeth Laett Method and system for monitoring the activity of a subject within spatial temporal and/or behavioral parameters
US8605992B2 (en) 2011-04-08 2013-12-10 Microsoft Corporation Image completion using scene geometry
US8406470B2 (en) 2011-04-19 2013-03-26 Mitsubishi Electric Research Laboratories, Inc. Object detection in depth images
CN102819725A (zh) * 2011-06-07 2012-12-12 鸿富锦精密工业（深圳）有限公司 疲劳状态检测系统及方法
US10007330B2 (en) 2011-06-21 2018-06-26 Microsoft Technology Licensing, Llc Region of interest segmentation
US9833142B2 (en) 2011-07-05 2017-12-05 Saudi Arabian Oil Company Systems, computer medium and computer-implemented methods for coaching employees based upon monitored health conditions using an avatar
US9033238B2 (en) 2011-08-30 2015-05-19 Digimarc Corporation Methods and arrangements for sensing identification information from objects
WO2013036621A1 (en) 2011-09-09 2013-03-14 Thales Avionics, Inc. Controlling vehicle entertainment systems responsive to sensed passenger gestures
US9520072B2 (en) 2011-09-21 2016-12-13 University Of South Florida Systems and methods for projecting images onto an object
US9974466B2 (en) 2011-10-17 2018-05-22 Atlas5D, Inc. Method and apparatus for detecting change in health status
US9341464B2 (en) 2011-10-17 2016-05-17 Atlas5D, Inc. Method and apparatus for sizing and fitting an individual for apparel, accessories, or prosthetics
US9817017B2 (en) 2011-10-17 2017-11-14 Atlas5D, Inc. Method and apparatus for monitoring individuals while protecting their privacy
US8902607B1 (en) 2011-11-03 2014-12-02 Veex Inc. Modular electronic testing apparatus and methods
JP2013164834A (ja) 2012-01-13 2013-08-22 Sony Corp 画像処理装置および方法、並びにプログラム
US8902198B1 (en) 2012-01-27 2014-12-02 Amazon Technologies, Inc. Feature tracking for device input
FR2988504B1 (fr) 2012-03-23 2014-05-09 Commissariat Energie Atomique Procede de determination d'un plan du sol a partir d'une image de profondeur
JP2013205983A (ja) 2012-03-27 2013-10-07 Sony Corp 情報入力装置及び情報入力方法、並びにコンピューター・プログラム
US9594500B2 (en) 2012-06-27 2017-03-14 sigmund lindsay clements Touch Free hygienic display control panel for a smart toilet
JP6334925B2 (ja) 2013-01-18 2018-05-30 キヤノンメディカルシステムズ株式会社 動作情報処理装置及び方法
JP2015061577A (ja) 2013-01-18 2015-04-02 株式会社東芝 動作情報処理装置
US9251701B2 (en) 2013-02-14 2016-02-02 Microsoft Technology Licensing, Llc Control device with passive reflector
US9098738B2 (en) 2013-02-26 2015-08-04 Elwha Llc System and method for contamination monitoring
US9393695B2 (en) 2013-02-27 2016-07-19 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with person and object discrimination
US20140258942A1 (en) * 2013-03-05 2014-09-11 Intel Corporation Interaction of multiple perceptual sensing inputs
US9710761B2 (en) * 2013-03-15 2017-07-18 Nordic Technology Group, Inc. Method and apparatus for detection and prediction of events based on changes in behavior
US20140298379A1 (en) 2013-03-15 2014-10-02 Yume, Inc. 3D Mobile and Connected TV Ad Trafficking System
KR102057947B1 (ko) * 2013-04-01 2019-12-20 삼성전자주식회사 사용자 인증을 수행하는 디스플레이 장치 및 그 사용자 인증 방법
JP2015095164A (ja) 2013-11-13 2015-05-18 オムロン株式会社 ジェスチャ認識装置およびジェスチャ認識装置の制御方法
US9600993B2 (en) 2014-01-27 2017-03-21 Atlas5D, Inc. Method and system for behavior detection
JP6206773B2 (ja) * 2014-10-22 2017-10-04 株式会社ワロップ放送局 番組連動広告システム及び番組連動広告サーバ
US20160266607A1 (en) 2015-03-11 2016-09-15 Atlas5D, Inc. System for integrating commercial off-the-shelf devices to produce a modular interaction platform
US10013756B2 (en) 2015-03-13 2018-07-03 Atlas5D, Inc. Methods and systems for measuring use of an assistive device for ambulation
US11017901B2 (en) 2016-08-02 2021-05-25 Atlas5D, Inc. Systems and methods to identify persons and/or identify and quantify pain, fatigue, mood, and intent with protection of privacy

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023208090A1 (en) * 2022-04-28 2023-11-02 Neufast Limited Method and system for personal identifiable information removal and data processing of human multimedia
CN117291924A (zh) * 2023-11-27 2023-12-26 惠州市鑫晖源科技有限公司 基于机器视觉的主机电源外观质量检测方法
CN117291924B (zh) * 2023-11-27 2024-02-09 惠州市鑫晖源科技有限公司 基于机器视觉的主机电源外观质量检测方法

Also Published As

Publication number Publication date
JP2023171650A (ja) 2023-12-01
JP2019532532A (ja) 2019-11-07
CN109477951A (zh) 2019-03-15
US20180039745A1 (en) 2018-02-08
CN109477951B (zh) 2021-10-22
WO2018026838A1 (en) 2018-02-08
JP7083809B2 (ja) 2022-06-13
EP3494428A4 (en) 2020-04-08
US20210183516A1 (en) 2021-06-17
US11017901B2 (en) 2021-05-25
JP2022058471A (ja) 2022-04-12
EP3494428A1 (en) 2019-06-12

Similar Documents

Publication Publication Date Title
CN109477951B (zh) 在保护隐私的同时识别人及/或识别并量化疼痛、疲劳、情绪及意图的系统及方法
JP7075085B2 (ja) 全身測定値抽出のためのシステムおよび方法
US10080513B2 (en) Activity analysis, fall detection and risk assessment systems and methods
US20200205697A1 (en) Video-based fall risk assessment system
JP7229174B2 (ja) 人識別システム及び方法
US10159411B2 (en) Detecting irregular physiological responses during exposure to sensitive data
US10154810B2 (en) Security system that detects atypical behavior
US20130289449A1 (en) Activity analysis, fall detection and risk assessment systems and methods
JP2020533701A (ja) 対象者の識別のためのカメラ及び画像校正
Fan et al. Fall detection via human posture representation and support vector machine
JPWO2020121425A1 (ja) 状態判定装置、状態判定方法、及び状態判定プログラム
Pogorelc et al. Detecting gait-related health problems of the elderly using multidimensional dynamic time warping approach with semantic attributes
CN112036267A (zh) 一种目标检测方法、装置、设备和计算机可读存储介质
Alvarez et al. Multimodal monitoring of Parkinson's and Alzheimer's patients using the ICT4LIFE platform
CA2878374C (en) Kinetic-based tool for biometric identification, verification, validation and profiling
Kao et al. Validation of automated mobility assessment using a single 3d sensor
WO2024045208A1 (en) Method and system for detecting short-term stress and generating alerts inside the indoor environment
Cicirelli et al. Skeleton based human mobility assessment by using deep neural networks
Bačić et al. Towards Real-Time Drowsiness Detection for Elderly Care
Vallabh Personalized fall detection monitoring system based on user movements
Dasgupta et al. SPECFACE—A dataset of human faces wearing spectacles
CN115843231A (zh) 在室内环境中检测受试者的短期压力并产生警报的方法和系统
Planinc Behavior modeling based on depth data in the context of ambient assisted living

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination