CN109765991A - 社交互动系统、用于帮助用户进行社交互动的系统及非暂时性计算机可读存储介质 - Google Patents

社交互动系统、用于帮助用户进行社交互动的系统及非暂时性计算机可读存储介质 Download PDF

Info

Publication number
CN109765991A
CN109765991A CN201811323676.9A CN201811323676A CN109765991A CN 109765991 A CN109765991 A CN 109765991A CN 201811323676 A CN201811323676 A CN 201811323676A CN 109765991 A CN109765991 A CN 109765991A
Authority
CN
China
Prior art keywords
social
response
interaction
prompt
status
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811323676.9A
Other languages
English (en)
Inventor
P·H·屠
T·高
J·屠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of CN109765991A publication Critical patent/CN109765991A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/167—Personality evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/04—Electrically-operated educational appliances with audible presentation of the material to be studied
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change

Abstract

本发明提供了用于解释社交提示并使用这些分析通过提供建议的响应改进社交互动的社交互动系统及其操作。社交互动系统包括一个或多个传感器，所述一个或多个传感器获得在社交互动期间环境中的一个或多个个体的社交指示数据，所述社交指示数据与所述一个或多个个体的行为有关。社交互动系统还包括处理系统，所述处理系统被配置成：使用所述社交指示数据确定所述一个或多个个体的社交状态；以及基于所述社交状态的分析确定个人对所述社交互动的最佳社交响应。社交互动系统还包括反馈系统，所述反馈系统给所述个人指示所述最佳社交响应。

Description

社交互动系统、用于帮助用户进行社交互动的系统及非暂时 性计算机可读存储介质
技术领域
本发明的实施例大体上涉及解释和分析社交互动，并且更具体地涉及用于解释社交提示并使用这些分析通过提供建议的响应改进社交互动的方法和设备。
背景技术
人们把个体识别常见的社交提示的能力理解为以有效和有意义的方式参与与他人互动的基础构建模块。然而，出于各种原因以及在许多情况下，人们认为个体识别社交提示的能力可能受到阻碍或相反很困难，不管是由于个体交流(例如文化差异)的差异造成还是由于个别个体的情况造成。
识别社交提示的能力的主要示例是患有自闭症障碍(ASD)的个体。即，患有ASD的一些个体在社交互动中识别他人表示的社交提示方面有困难，例如，不能感知面部表情和身体语言背后的社交含义，因此，这些个体可能在与他人进行社交互动方面有困难。不能识别社交提示的个体不可能对提示进行适当地响应，这可能负面地影响社交互动。
患有ASD的个人的重要应对机制涉及学习识别常见的社交提示，使得他们能够对社交场合进行适当响应。例如，高功能自闭症患者可能已经学会识别在社交互动中别人讲的笑话。此人可能不觉得笑话很幽默，但已经知道这种社交礼仪常常要求对笑话发出笑声的响应。高功能自闭症患者可得益于识别社交提示的帮助，同时形成对社交互动的这种应对机制。
尽管一些患有ASD的个体能够学会不同的应对策略，但患有ASD的其它个体缺乏识别特定的社交提示的固有能力。例如，一些患有ASD的个体在识别副语言提示(paralinguistic cue)方面有困难，而其它人在区别面部表情或身体语言方面可能有困难。当识别特定的社交提示的固有能力缺失时，个体可能不能够形成与那些提示有关的应对策略。缺乏识别特定的社交提示的固有能力的个体可得益于在社交互动期间识别社交提示的帮助。
许多个体能够识别常见的社交提示，但可以使用帮助来识别微妙的社交提示或者来自不同文化的社交提示。例如，个体可能加入到与许多人的社交互动中，但在关注他人时不能辨别来自某个人的重要的社交提示。另外，个人可能参与到与外来文化的人们的社交互动中，而不能理解那种文化的常见社交提示。帮助识别社交提示可能有助于个体对这些提示进行适当响应，从而改进社交互动。
因此，期望设计能改进社交互动的设备和方法。
发明内容
本发明涉及用于解释社交提示并使用这些分析通过提供建议的响应改进社交互动的方法和设备。
根据本发明的一个方面，社交互动系统包括一个或多个传感器，所述一个或多个传感器用以获得在社交互动期间环境中的一个或多个个体的社交指示数据，所述社交指示数据与所述一个或多个个体的行为有关。社交互动系统还包括处理系统，所述处理系统被配置成：使用所述社交指示数据确定所述一个或多个个体的社交状态；以及基于所述社交状态的分析确定个人对所述社交互动的最佳社交响应。社交互动系统还包括反馈系统，所述反馈系统用以给所述个人指示所述最佳社交响应。
根据本发明的另一方面，一种用于帮助用户进行社交互动的系统包括：一个或多个传感器，所述一个或多个传感器用以获得指示一个或多个个体的社交表达的数据；处理系统，所述处理系统被编程为：从所述社交表达数据提取社交提示；以及基于所述社交提示确定社交响应，以帮助用户与所述一个或多个个体进行社交互动，所述社交响应通过应用预定义策略基于社交结果来确定。所述系统还包括反馈系统，所述反馈系统用以给所述用户指示所述社交响应。
根据本发明的又一方面，公开了一种其上存储计算机程序以优化社交结果的非暂时性计算机可读存储介质，所述计算机程序包括指令，所述指令在由处理器执行时使得所述处理器：使用一个或多个传感器获取参与社交互动的一个或多个个人的数据；使用所述数据从所述社交互动提取社交提示；基于参与所述社交互动的一个或多个个人的社交提示，估计社交状态；以及使用基于社交结果优化建议动作的策略，将所述社交状态映射到参与所述社交互动的个人的建议动作。
技术方案1.一种社交互动系统，包括：
一个或多个传感器，所述一个或多个传感器用以获得在社交互动期间环境中的一个或多个个体的社交指示数据，所述社交指示数据与所述一个或多个个体的行为有关；
处理系统，所述处理系统被配置成：
使用所述社交指示数据确定所述一个或多个个体的社交状态；以及
基于所述社交状态的分析确定个人对所述社交互动的最佳社交响应；以及
反馈系统，所述反馈系统用以给所述个人指示所述最佳社交响应。
技术方案2.根据技术方案1所述的社交互动系统，其中，所述处理系统使用强化学习以确定所述最佳社交响应，所述处理系统被配置成：
使用将所述社交状态映射到所述最佳社交响应的策略确定所述最佳社交响应；
确定所述最佳社交响应是否产生所述社交互动的期望社交结果；以及
基于所述社交结果的分析更新所述策略以优化未来的社交响应。
技术方案3.根据技术方案1所述的社交互动系统，其中，所述处理系统使用领域知识通过使用策略将所述社交状态映射到所述最佳社交响应，以确定所述最佳社交响应，所述策略具有映射的社交状态和社交响应之间的预定义关系。
技术方案4.根据技术方案1所述的社交互动系统，其中，所述反馈系统实时操作。
技术方案5.根据技术方案4所述的社交互动系统，其中，所述反馈系统包括可穿戴增强现实系统。
技术方案6.根据技术方案1所述的社交互动系统，其中，所述一个或多个传感器包括至少一个相机或至少一个麦克风。
技术方案7.根据技术方案6所述的社交互动系统，其中，所述一个或多个传感器包括至少一个可穿戴传感器。
技术方案8.根据技术方案1所述的社交互动系统，其中，所述处理系统使用概率推断引擎基于所述社交指示数据通过推断估计产生所述一个或多个个体的行为的社交状态，以确定所述社交状态。
技术方案9.根据技术方案8所述的社交互动系统，其中，所述社交状态是由所述概率推断引擎基于群体行为统计确定的群体社交状态。
技术方案10.根据技术方案1所述的社交互动系统，其中，所述处理系统为可穿戴处理装置。
技术方案11.一种用于帮助用户进行社交互动的系统，所述系统包括：
一个或多个传感器，所述一个或多个传感器用以获得指示一个或多个个体的社交表达的数据；
处理系统，所述处理系统被编程为：
从所述社交表达数据提取社交提示；以及
基于所述社交提示确定社交响应，以帮助用户与所述一个或多个个体进行社交互动，所述社交响应通过应用预定义策略基于社交结果来确定；以及
反馈系统，所述反馈系统用以给所述用户指示所述社交响应。
技术方案12.根据技术方案11所述的系统，其中，在确定所述社交响应时，所述处理系统被编程为通过使用映射的社交提示和社交响应之间的预定义关系，将所述社交提示映射到所述社交响应，从而使用领域知识应用所述预定义策略。
技术方案13.根据技术方案11所述的系统，其中，在确定所述社交响应时，所述处理系统被编程为使用机器学习基于以下各项应用所述预定义策略：
从所述社交提示确定的状态空间；
用以从所述状态空间确定所述社交响应的动作空间；以及
奖励，所述奖励基于由所述社交响应产生的所述用户与所述一个或多个个体进行社交互动的社交结果；以及
其中，所述预定义策略通过最大化所述奖励优化所述社交响应。
技术方案14.根据技术方案11所述的系统，其中，所述一个或多个传感器包括音频、视觉或生理传感器。
技术方案15.根据技术方案11所述的系统，其中，所述处理系统还包括推断引擎，所述推断引擎基于所述社交提示确定社交状态；以及
其中，所述预定义策略将所述社交状态映射到所述社交响应。
技术方案16.根据技术方案11所述的系统，其中，所述反馈系统为可穿戴反馈系统。
技术方案17.一种其上存储计算机程序以优化社交结果的非暂时性计算机可读存储介质，所述计算机程序包括指令，所述指令在由处理器执行时使得所述处理器：
使用一个或多个传感器获取参与社交互动的一个或多个个人的数据；
使用所述数据从所述社交互动提取社交提示；
基于参与所述社交互动的一个或多个个人的社交提示，估计社交状态；以及
使用基于社交结果优化建议动作的策略，将所述社交状态映射到参与所述社交互动的个人的建议动作。
技术方案18.根据技术方案17所述的非暂时性计算机可读存储介质，其中，所述策略具有社交状态和建议动作之间的预定义关系。
技术方案19.根据技术方案17所述的非暂时性计算机可读存储介质，其中，所述策略基于以前的社交结果优化未来的建议动作。
技术方案20.根据技术方案17所述的非暂时性计算机可读存储介质，其中，所述数据是从音频传感器或视觉传感器的至少一个获取的。
技术方案21.根据技术方案17所述的非暂时性计算机可读存储介质，其中，所述数据指示口头或非口头社交表达。
技术方案22.根据技术方案17所述的非暂时性计算机可读存储介质，其中，所述策略基于延迟的奖励优化未来的建议动作。
技术方案23.根据技术方案17所述的非暂时性计算机可读存储介质，其中，所述指令还使得所述处理器将所述建议动作提供至反馈系统。
技术方案24.根据技术方案23所述的非暂时性计算机可读存储介质，其中，所述反馈系统以取证反馈模式操作。
从以下详细描述和图式，将使各种其它特征和优点显而易见。
附图说明
图式说明目前预期用于进行本发明的优选实施例。
在附图中：
图1是根据本发明的实施例的具有壁式安装传感器的社交互动系统的示图。
图2是根据本发明的实施例的由个体穿戴的社交互动系统的示图。
图3是图示根据本发明的实施例的由社交互动系统执行帮助个体进行社交互动的技术的流程图。
具体实施方式
本发明的操作环境的描述与由个体使用以改进社交互动的社交互动系统相关。然而，本领域技术人员将认识到本发明同样适用于由寻求与社交互动有关的信息的其它人使用。而且，本发明描述将与可穿戴或不可穿戴社交互动系统相关。然而，本领域技术人员还将认识到本发明同样适用于包括来自可穿戴和不可穿戴系统的部件的社交互动系统。
参照图1，根据本发明的实施例，示出帮助个人进行社交互动的社交互动系统10。社交互动系统10优选使用一个或多个传感器12以在社交互动期间获得环境16中的一个或多个个体14的社交指示数据。一个或多个传感器12可包括音频传感器18、视觉传感器20、生理传感器或获得与一个或多个个体14的行为有关的社交指示数据的任何其它传感器。社交指示数据可以用来解释来自参与社交互动的个体14或群体的视觉、音频或生理提示。社交互动系统10可以通过自动地解释社交提示帮助个人参与社交互动，并实时地将关于提示的反馈提供至个体。例如，社交互动系统10可以被定制成促进患有ASD的个体过渡到独立。
在一个实施例中，传感器12优选是非侵入性孤立传感器22，使得社交互动系统10从一个或多个不配备传感器的个体14获得社交指示数据。传感器12可以安装在环境16的任何适合的位置，可安装到墙壁、天花板、地板、门、窗、家具等。配备装备的环境16可以是设施中的一个房间，在该房间经常进行系统寻求改进的用户的某类型的社交互动。例如，教室或生活辅助设施的公共区域可以配备麦克风24和相机26来从出现在这些设施中的常见社交互动捕获社交提示。在其它实施例中，社交互动系统10从配备传感器的一个或多个个体14获得社交指示数据。
在图1中传感器12显示为相机26，实现捕获视频、静止图像或者两者。环境16可以配备多个相机26，用于多角度跟踪，并容易跟踪环境16中的所有人14。在一个实施例中，一个地点可以配备能够多人跟踪高达6个个体或更多的群体的多个相机26。相机26可包括调节缩放(PTZ)相机27，其任务是捕获所有被跟踪的个体14的高分辨率图像。相机26可配备麦克风24，以从环境16中的人14捕获音频数据。
传感器12可以被通信耦合，以将数据传输到处理系统28。图1的实施例示出将数据传输到基于云的计算系统30的所联接传感器12。图1的实施例还示出将数据传输到与传感器12一起位于环境16中的计算装置32的所联接传感器12。然而，传感器12可以被耦合以从计算装置32和基于云的计算系统30或另一计算系统的仅一个传输或接收数据。基于云的计算系统30或计算装置32的任一个可以被编程为以预编制的间隔(例如，每隔1秒、10秒、30秒、1分钟、10分钟、1小时或1天)从相机26接收数据，或者任一个可被编程为实时或接近实时地从传感器12接收数据。
基于云的计算系统30可包括一个或多个服务器34和位于服务器外部的一个或多个数据库36。每个服务器34可包括一个或多个处理器38和一个或多个存储器40。社交指示数据可以由一个或多个服务器34接收并存储在一个或多个存储器40或一个或多个数据库36中。每个服务器34还可以具有通信部件42，以促进服务器34、数据库36、计算装置32和/或传感器12之间的有线或无线通信。服务器34可以彼此通信，以在彼此之间分配各种任务以更有效地执行任务。
处理器38可以是能够执行计算机可执行代码的一个或多个计算机处理器或微处理器。计算机可执行代码可存储在存储器40上，存储器40可包括能存储处理器可执行代码的任何适合的非暂时性介质，处理器38使用所述代码执行目前公开的技术。存储器40可以是任何适合类型的计算机可读介质，其可以存储处理器可执行的代码、数据、数据的分析等。数据库36也可以是能够存储处理器可执行代码、数据、数据的分析等的计算机可读非暂时性存储介质。存储器40和/或数据库36可以存储由处理器38使用执行行为识别分析的认知模型。从传感器12接收的数据或由处理器38处理的数据的历史可存储在存储器40或数据库36上。
处理器38通常使用来自传感器12的数据分析来自一个或多个个体14的行为。处理器38单元可以被编程为使用传感器12自动地检测社交信号，并使用各种社交分析来提取社交互动的社交提示。例如，处理器38可从传感器12获取与社交互动有关的信号，并使用此数据以从参与互动的人14中提取视觉和音频提示。处理器38可以运行存储在存储器40上的各种应用，以处理社交指示数据，且可以用情境感知方法中的最近的发展更新处理器38。处理器38可以在存储器40上、在数据库36存储社交指示数据的分析，和/或将分析输出到计算装置32。
由传感器12捕获的音频信号可以被分析，以提取在语义上有意义的表达和副语言提示，包括讽刺、喘气、笑声或其它可听提示。社交互动系统10可以使用自然语言处理，以提取由传感器12捕获的口头提示。可以使用语音到文本转换，以检测语义上有意义的表达、说话、字、词语或其它口头指示。机器学习可以应用到由传感器12捕获的音频信号，以计算副语言提示，包括讽刺、喘气、笑声和其它可听提示。在一个实施例中，社交互动系统10使用处理器38执行语音识别来分析个体14的行为。
由传感器12捕获的视觉信号可以被分析，以提取视觉提示，包括面部表情、凝视方向、身体运动、身体姿势、体位和/或个体14的位置或其它视觉提示。社交互动系统10可以使用计算机视觉(CV)技术44以解释来自社交互动的视觉提示。计算机视觉技术44包括一个或多个相机26，以捕获代表来自社交互动的视觉信号的数据，并处理这些数据来提取视觉提示。例如，可以使用马萨诸塞州波士顿市的General Electric公司的GE Sherlock系统分析来自个体14或群体的视觉或其它社交信号。
处理器38可以使用各种计算机视觉算法来提取社交表达数据。例如，可以使用计算机视觉算法处理社交指示数据，以提供表情识别或其它面部分析。计算机视觉算法可包括一个或多个社交互动模块，其可以选择性并入到社交分析系统10中。所述模块可包括跟踪和接近模块、情感姿势手势模块、凝视分析模块和眼球46分析模块以及面部表情模块中的一个或多个。
关于跟踪和接近模块，检测和跟踪范例可使用距离相机或红、绿、蓝及深度(RGB+D)相机以生成一组个人检测数据。前景运动检测和滑动窗分类器基于每帧产生一组可能的个人检测数据。通过比较各帧，所述一组可能的个人检测数据可以与一组个人跟踪器关联，所述一组个人跟踪器可以用来产生每个人14的地平面轨迹。可以从个人跟踪器提取包括接近度、速度、平稳性或其它测量的测量。
关于情感姿势手势模块，给定上身48的高分辨率图像，通过检测头50、肩52、肘54和手56的位置，可以提取情感姿势。检测这些位置产生上身48的骨架模型的类型。通过分析上身骨架模型的时间演变，可以检测包括特定的姿势位置和特定社交手势的社交提示及其它。例如深度学习的机器学习方法可以基于逐个帧来提取骨架模型。
关于凝视分析模块，给定面部58的高分辨率图像，可使用生成和判别方法使面部界标模型拟合面部。面部界标模型的形状可以用来估计面部58相对于捕获图像的相机26的3D姿势位置。3D姿势位置可以用作凝视方向的代理。
关于眼球46分析模块，给定面部界标模型，可识别个体的眼球区。可以使用对眼睛46的白色区的空间分布建模的图像处理技术检测眼球运动。眼球46运动可以用来检测包括偷偷的一瞥的社交提示或包括狠狠盯着的社交动作以及其它。
关于面部58表情模块，给定面部界标模型，可生成矫正的面部图像。可以使用判别方法(例如深度学习方法)来对矫正的面部图像分类，产生各个面部58表情的识别。
处理系统28可包括一个或多个推断引擎60，其基于所提取的社交提示确定参与社交互动的人14的社交状态。推断引擎60可以存储在存储器40上并由处理器38执行。推断引擎60可以使用计算机算法自动地分析社交表达数据，来计算社交状态，包括高兴、失望、敌意、兴奋、愤怒、恐惧、惊讶或任何其它社交状态。推断引擎60可以确定与用户交互的个体14的社交状态，包括融洽状态、相互信任等级或任何其它的社交变量。推断引擎60可以是贝叶斯(概率)推断引擎62，且可以基于生成或判别建模技术，来推断给定的社交互动的当前社交状态。
例如，处理系统28可以使用概率推断引擎62，通过推断估计产生一个或多个个体14的行为的社交状态，基于社交指示数据确定社交状态。推断引擎60还可以估计群体行为统计，包括群体融洽等级和群体信任等级。即，社交状态可以是由概率推断引擎62基于群体行为统计确定的群体社交状态。在下面将进一步解释，推断引擎60可基于社交提示建立一组社交状态，可以使用所述社交提示形成ASD个体希望参与群体等级交互的应对策略。
在一个实施例中，推断引擎60可以使用包括使用正向模拟的推断方法，其中，使用模拟各种认知过程的人工代理反映所观察的行为，产生对每个个体认知状态以及群体等级的认知状态的解释。因此，可以使用2016年12月6日提交的美国专利申请序号15/370,736中描述的技术，分析视觉或其它社交信号，所述申请的公开内容通过引用被全部并入本文中。
关于群体等级的交互，社交互动系统10可以基于一组计算机视觉技术44，所述一组计算机视觉技术44可以使用非侵入性孤立传感器22自动地解释个体14组成的群体的非口头社交互动，非侵入性孤立传感器22包括安装在天花板的距离成像器64和壁装式PTZ相机27的阵列。一旦进入配备地点，可以跟踪所有个体14。PTZ相机27可以自动地瞄准所有个体14的面部58。可以实时地提取面部表情、凝视方向、身体运动和/或群体等级动态。例如，代表个体14特定的提示的数据流可以提取到一组地点级聚合统计中，所述一组地点级聚合统计独立于所观察的个体14的数目或配置。接着可以计算一组社交信号，包括积极/消极效果，身体活动、参与、模仿或任何其它社交信号。贝叶斯推断引擎62可以用来确定各个社交变量的状态，包括群体融洽、相互信任等级或其它社交变量。
可以使用计算装置32将检测的一个或多个个体14的行为显示给用户，计算装置32可以用作社交互动系统10的图形用户界面(GUI)66。计算装置32可以是台式计算机、膝上型计算机、平板电脑、智能电话、智能手表或其它计算装置。计算装置32可以提供从基于云的计算系统30获得的数据或结果的前端显示。例如，计算装置32可以访问互联网网站，所述互联网网站显示从基于云的计算系统30接收的信息。计算装置32还可以控制社交互动系统10。例如，计算装置32可以具有存储于其上的以控制或对传感器12编程的计算机应用和/或基于云的计算系统30。在其它实施例中，在没有基于云的计算系统30的情况下，计算装置32可以执行一个或多个服务器34和/或一个或多个数据库36的功能，来操作社交互动系统10。
计算装置32还可以将关于所检测的社交提示或社交状态的反馈提供至社交互动系统10的用户。反馈可以是提供至用户的物理指示的视觉、音频形式。计算装置32可以提供反馈来帮助个人与其它人14交互或者与一个或多个计算机(例如计算装置32)或其它电子装置交互。在一个实施例中，计算装置32帮助个人与智能电话交互，智能电话可以指示在人与人之间交流过程中检测的社交提示。在另一实施例中，患有ASD的个体可从直接访问计算装置32的另一人接收反馈。从计算装置32获得的知识可用来为患有ASD的个体寻求改进社交互动形成应对策略。
除了实时操作以识别和引导之外，计算装置32可在取证反馈模式(forensicfeedback mode)操作。取证反馈模式可以提供社交互动的概要。所述概要可包括相遇的视觉总结，所观察的社交提示/社交状态的解释和任何得出结论的背后的推理。使用取证反馈模式接受训练可以提高患有ASD的个体独立地识别微妙的社交提示/社交状态的能力。取证反馈可以用来获得对各种人类社会现象的理解，产生关于ASD个体如何能够更好地应对复杂和理解力差的交互的领悟。
现在参照图2，根据本发明的实施例，示出具有可穿戴部件102的社交互动系统100。社交互动系统100优选帮助用户104进行社交互动。图1示出不由使用系统的个人穿戴的社交互动系统10，而图2示出完全是个人携带的装置的社交互动系统100。替代性地，社交互动系统100可包括个人104携带的一些部件，而其它部件从个人远程地定位。社交互动系统100的任何部件102可以相互连接，以便传输和/或接收数据，包括通过有线链路或无线链路的连接，例如通过或
社交互动系统100可包括一个或多个传感器106，其获得指示一个或多个个体108的社交表达的数据。可以从音频传感器110、视觉传感器112或生理传感器114的至少一个获取所述数据。所述数据可指示来自参与社交互动的一个或多个个体108的口头或非口头社交表达。例如，计算机视觉算法可以应用到视频源，以提取大量社交提示，包括面部表情、凝视方向、眼睛运动(例如躲避目光)、上身情感姿势、上身体位和/或其它社交提示。传感器106可以是可穿戴传感器120、非穿戴传感器或可穿戴传感器和非可穿戴传感器的组合。例如，传感器可以由个体穿戴或者安装在社交互动的位置现场。在一个实施例中，一个或多个传感器可包括至少一个可穿戴传感器120。
可穿戴传感器120可以允许个体在行进时使用社交互动系统100。一个或多个传感器106可包括至少一个相机122、至少一个麦克风124或可由用户104或由另一个人108穿戴的至少一个生理传感器114。相机122和/或麦克风124可以是由个体104穿戴的身体相机装置的一部分。替代性地，可穿戴传感器装置120可安装到具有光学头戴显示器128的一副眼镜126。例如，社交互动系统100可以使用可穿戴装置120，可穿戴装置120类似于加利福尼亚州山景城(Mountain View)的Google公司的Google GlassTM。可穿戴装置120可以检测与用户104交互的人108的社交信号，但也可从用户104检测社交信号。例如，由生物传感器114捕获的生理信号可以被分析，来提取生物提示，包括血压、心率或其它生理提示。
处理系统130可以是可穿戴处理装置132，其在图1中显示为可由个体104穿戴的智能电话134。处理系统130优选执行一个或多个计算机算法来分析从传感器106接收的数据，并将数据的输出提供至反馈系统136。处理单元132可以与传感器或反馈系统集成在一起作为单个部件。例如，智能电话134可以具有传感器，包括麦克风、相机和/或加速度计。智能电话134还可以具有反馈系统，包括显示器、扬声器和/或振动装置。
反馈系统136可以是可穿戴反馈系统，并在图2中显示为可穿戴增强现实系统。可穿戴增强现实系统136实时操作，且可包括智能眼镜126，提供头戴显示器128和耳机138来提供可听信号。反馈可以是话语、符号、图片、音调、振动、放大、增强的形式或任何其它适合形式的指示。反馈可以提供参与社交互动的一个或多个个体108的所检测的社交提示/社交状态的识别(情感辅助工具)，或者可提供指令或引导以产生期望的社交结果的方式进行动作(教练)。
社交互动系统100可作为情感辅助工具140操作，以帮助个体104解释来自社交互动的人108的社交提示和/或识别社交状态。在一个实施例中，情感辅助工具140使用传感器106捕获与社交互动有关的数据，使用处理器132提取社交提示或社交状态，并使用反馈系统136给个人104指示社交提示或社交状态。反馈系统136可以是增强现实助手142，其为寻求改进社交结果的个体104实时放大口头或非口头社交提示。情感辅助工具140可以解释社交提示并识别个体或群体108的社交状态。例如，情感辅助工具140可以指示来自多个人108的社交提示或社交状态，或者指示群体社交提示和/或群体社交状态。情感辅助工具140可以提供完全自动的装置，帮助患有ASD的人更好地理解社交互动。例如，一群人作为整体可能已经被社交互动系统100的特定用户激怒。在这种情况下，如果没有社交互动系统100早期指示敌意的群体等级社交状态，则危险的群体等级动作可以接踵发生。
社交互动系统100可以作为先知(oracle)144操作，以训练个体104对来自社交互动的人108的社交提示或社交状态进行响应。在一个实施例中，先知144可以实时将响应社交提示或社交状态的建议动作提供至寻求改进社交互动的结果的个人104。先知144使用传感器106捕获与社交互动有关的数据，使用处理器132确定建议动作，并使用反馈系统136向个人104指示建议动作。例如，处理系统130可以被配置成使用社交指示数据确定一个或多个个体108的社交状态，基于对社交状态的分析确定个人104对社交互动的最佳社交响应。
由先知144提供的建议动作可以是指令、命令或信号的形式。例如，建议动作可以命令用户104给参与社交互动的其它人108显示社交提示(例如微笑、挥手、大笑、说话等)。先知144还可以并入情感辅助工具140，从而给个人104指示社交提示或社交状态。建议动作可以是对群体等级社交互动的响应。例如，建议动作可以是对来自多个人108的社交提示或社交状态或来自群体社交提示和/或群体社交状态的响应。反馈系统136可以给用户104指示社交响应。先知144可以提供完全自动的装置，以帮助患有ASD的人更好地解释社交互动并对社交互动进行响应。此外，先知144还可以给正尝试与患有ASD的人一起工作的人(例如雇员、教师、护理者或与患有ASD的人社交互动的任何其它人)提供反馈。
人们认识到，如果对社交提示的预期反应缺失，则社交场合可能变得尴尬，因此患有ASD的人可使用先知144来告诉他们何时社交场合期望有特定的行为，例如讲笑话之后发出笑声。高功能自闭症患者可能形成规律无论何时别人讲笑话时都会发出笑声，即便此人并没有觉得笑话很幽默。对于患有ASD的人，先知144可以自动地指示社交提示的存在，且预计对提示的响应。在一个实施例中，先知144可以使用传感器106来检测何时口头或非口头社交提示指示有人讲笑话，推断引擎146确定社交状态适合发出笑声，并提供反馈指示患有ASD的人开始大笑。
在训练个体104对社交提示或社交状态进行响应的操作中，先知144可以使用预定义策略将社交提示或社交状态映射到建议给用户104以改进社交互动的社交响应。通过基于社交结果应用预定义策略可以确定社交响应。可以基于领域知识、机器学习或能够生成策略的任何其它技术生成策略。领域知识和机器学习两者可以提供将类似社交提示或社交状态的输入映射到建议动作的自动化方法。例如，处理系统130可以被编程为从社交表达数据提取社交提示，并基于社交提示确定社交响应，来帮助用户104与一个或多个个体108进行社交互动。领域知识可以建议映射到常见社交提示的预定义动作，而机器学习可以基于先前的社交结果优化建议动作。在一些实施例中，策略可以基于领域知识和机器学习的组合。
基于领域知识的策略可以具有社交状态和建议动作之间的预定义关系。根据一个实施例，在确定社交响应时，处理系统130可以被编程为通过使用映射的社交提示和社交响应之间的预定义关系，将社交提示映射到社交响应，从而使用领域知识应用预定义策略。反馈系统136可以用来给个人104指示最佳社交响应。根据另一实施例，处理系统130可以通过使用策略将社交状态映射到最佳社交响应，使用领域知识确定最佳社交响应，所述策略具有在映射的社交状态和社交响应之间的预定义关系。
基于机器学习的策略可以基于以前的社交结果驱动策略来优化未来的建议动作。机器学习可包括学习型框架，例如强化学习(RL)，其可以随时间生成并优化策略，且还可以优化长期社交结果。学习框架还可以用来增进社交结果的检测，以确定期望结果是否发生。例如，处理系统130可以使用强化学习来确定最佳社交响应，其中处理系统被配置成使用将社交状态映射到最佳社交响应的策略来确定最佳社交响应，确定最佳社交响应是否产生社交互动的期望的社交结果，并基于对社交结果的分析更新策略来优化未来的社交响应。
除了基于特定个体的经验设计策略之外，可以在强化学习范例中聚合多个用户的经验，使得每个个体可以得益于基于多个个体的多个经验开发的策略。因此，机器学习不一定局限于特定用户104，而是可以基于大量的用户。以此方式，可基于所有用户的经验/结果来学习通用策略，使得每个用户可以得益于用户社区的集体经验。
学习框架可以基于先前的社交结果为积极或消极的程度更新策略，且还可以基于包括从交互产生的情绪状态的社交状态来更新策略。例如，患有ASD的个体与同事交互，且在交互结束时，可使用面部表情估计同事的情绪状态。如果估计的情绪状态是积极的，则交互可被认为具有积极的结果。如果社交结果不是最佳的，则策略可更新以在未来指示不同的建议动作。更新的策略可以给用户104提供在未来响应中更悔悟的建议。用于建议动作的最好的策略可以基于所观察的社交状态和交互的结果随时间学习得到。
用于策略生成的强化学习框架优选基于状态空间、动作空间和奖励。状态空间包括基于所检测的社交提示推断的社交状态。动作空间包括提供至用户104改进社交结果的反馈。奖励包括社交互动的积极结果。在确定社交响应时，处理系统130可以被编程为使用机器学习基于从社交提示确定的状态空间、从状态空间确定社交响应的动作空间和奖励来应用预定义策略，所述奖励基于由社交响应产生的与一个或多个个体108社交互动的用户104的社交结果。预定义策略可以通过最大化奖励来优化社交响应。状态空间、动作空间和奖励的组合提供基于学习的方法，来限定将提高积极的社交结果的可能性的策略。
社交互动系统100可以针对特定的子群体定制。策略可以被创建以针对将使群体的大多数受益的特定的子群体。例如，高功能自闭症患者可以分成患有ASD的人的子群体。高功能自闭症患者可能发现自己通过反复试验关于对重复出现的社交提示的未来响应已经形成规则。社交互动系统100可以使规则开发自动化，以用于立即实施而不是通过反复试验。
在一些实施例中，策略可以定制成针对不同类型的用户104以及与用户交互的不同类型的人108。例如，可以特别针对警察、士兵、销售员或患有ASD的人生成策略。
作为一个示例，社交互动系统100可以被定制成帮助士兵与外国平民交互。在与外国平民进行社交互动时，士兵在解释和适当地对文化特定的口头或非口头社交提示方面有困难。士兵或许能够使用给士兵指示社交提示的情感辅助工具140或者引导士兵对对外互动进行响应的先知(oracle)144改进与外国平民的社交互动。社交互动系统100还可以测量用来确定士兵已经获得与外国平民交互的所需技巧的程度的生理因素。
作为另一示例，社交互动系统100可以被定制成帮助销售员与顾客交互。情感辅助工具140可以通过放大社交提示帮助销售员，或者先知144可通过在销售中训练销售员来帮助销售员。先知144可以使用基于奖励的学习框架，所述奖励例如由顾客采取的动作。例如，在顾客与正使用先知144的销售员交互时，可捕获顾客的面部图像，以引导推销辞令。可在将顾客与交互链接的销售点处捕获顾客的另一面部图像。如果来自销售点的信息指示所售卖的商品与从先知144建议动作有关，则可确定交互取得积极结果。商品的购买构成奖励，奖励从建议动作延迟，因此，策略可基于延迟的奖励优化未来的建议动作。
作为又一示例，社交互动系统100可以被定制以帮助护理者与患者交互。护理者(例如护士、医生等)通常必须建立与患者的同理心或信任感，以获得患者在接受护理时的配合。例如，在没有首先建立与护理者的信任或同理心时，患者可能抗拒护理，例如服药或接受痛苦的手术。护理者可以使用情感辅助工具140以确定患者是否表现出与所感知的信任或同理心一致的社交提示，且还可使用先知144来引导护理者达到与患者的信任或同理心的状态。还可以使用社交互动系统100建立与患者的融洽关系，来确保以获得积极结果的方式给予护理。此外，患者可使用社交互动系统100来确定护理者是否表现出某种社交提示或社交状态。例如，患者可使用情感辅助工具140，来确定护理者正表现出指示信任和同理心的社交提示，或者使用先知144来帮助引导患者达到与护理者信任和同理心的状态。
现在参照图3，并继续返回参照图1和图2，根据本发明的实施例，图示用来给寻求改进社交互动的个体指示反馈的过程200的流程图。过程200开始于步骤202，从参与社交互动的人中识别社交提示。可以通过从一个或多个传感器采集的数据识别社交提示，所述一个或多个传感器获得指示一个或多个个体的社交表达的数据，所述一个或多个传感器可以是定位在环境中和/或由个体106穿戴的传感器12。所述数据可以指示来自参与社交互动的一个或多个个体的口头或非口头社交表达，包括面部表情，凝视方向，眼睛运动(例如躲避目光)，上身情感姿势，上身体位，和/或指示个体的行为或情绪状态的其它社交提示。
一旦从参与社交互动的人中识别社交提示，过程200继续步骤204，确定参与社交互动的人的社交状态，其中社交状态基于社交提示确定。即，一个或多个计算机算法可以工作分析从传感器接收的数据和所识别的社交提示，以从中提取和确定社交状态。社交状态的确定包括解释个体或群体的社交提示，以确定社交状态，其中个体的可能的社交状态包括例如高兴、失望、敌意、兴奋、愤怒、恐惧或惊讶。另外，社交状态的确定可扩展到个体之间的社交状态，包括融洽状态、相互信任等级等。
参与社交互动的人的社交状态的确定允许识别适当的接下来的步骤以促进个体之间的社交互动。过程200因此继续步骤206，给寻求改进社交互动的个体提供与社交提示或社交状态有关的反馈。在一个实施例中，所述系统作为情感辅助工具操作，以给使用反馈系统136的个体104指示或传送所提取的社交提示或社交状态。作为一个示例，增强现实助手142可以为寻求改进社交结果的个体104实时放大口头或非口头社交提示，包括来自一个或多个人的社交提示/状态，包括群体社交提示和/或社交状态。在另一实施例中，系统作为先知144操作，以训练个体104如何对来自社交互动的人108的社交提示或社交状态进行响应，例如通过将响应社交提示或社交状态的建议动作实时提供给此人。即，先知144可以基于社交状态的分析确定个体104对社交互动的最佳社交响应，其中所述分析通过预定义策略基于领域知识、机器学习或能够生成策略的任何其它技术来执行，所述策略将社交提示或社交状态映射到给用户建议的社交响应来改进社交互动。先知144接着可以提供形式为指令、命令或信号的建议动作，例如通过指示个体104给参与社交互动的其它人108显示社交提示，例如微笑、挥手、大笑、说话等。
所公开方法和设备的技术贡献为提供了从社交互动提取社交提示，并给寻求改进社交互动的个体104提供关于社交提示的反馈的计算机实现的方法。在一个实施例中，一种非暂时性计算机可读存储介质其上存储了用于优化社交结果的计算机程序。所述计算机程序可包括指令，所述指令在由处理器132执行时使得所述处理器使用一个或多个传感器106获取参与社交互动的一个或多个个人108的数据；使用所述数据从所述社交互动提取社交提示。在另一实施例中，计算机程序可包括指令，所述指令在由处理器执行时使得处理器基于参与所述社交互动的一个或多个个人108的社交提示，估计社交状态；以及使用基于社交结果优化建议动作的策略，将所述社交状态映射到参与所述社交互动的个人104的建议动作。指令可以使处理器132将建议动作提供至反馈系统136。
本领域技术人员将认识到，本发明的实施例可以与其上存储了计算机程序的计算机可读存储介质相接或由其控制。计算机可读存储介质包括多个部件，例如，电子部件、硬件部件和/或计算机软件部件中的一个或多个。这些部件可包括通常存储指令的一个或多个计算机可读存储介质，所述指令例如软件、固件和/或用于执行序列的一个或多个实施方式或实施例的一个或多个部分的汇编语言。这些计算机可读存储介质通常是非暂时性的和/或有形的。这种计算机可读存储介质的示例包括计算机和/或存储装置的可记录数据存储介质。计算机可读存储介质可以使用例如磁、电、光、生物和/或原子数据存储介质中的一个或多个。此外，这种介质可以采用例如软盘、磁带、CD-ROM、DVD-ROM、硬盘驱动器和/或电子存储的形式。没有列出的其它形式的非暂时性和/或有形的计算机可读存储介质可以用于本发明的实施例。
在系统的实施中，许多这种部件可以被组合或分开。此外，这种部件可包括以许多种编程语言的任何一种编写或实现的一组和/或一系列计算机指令，本领域技术人员将会认识到这一点。另外，可以采用例如载波之类的其它形式的计算机可读介质来体现代表指令序列的计算机数据信号，所述指令序列在由一个或多个计算机执行时使得一个或多个计算机执行序列的一个或多个实施方式或实施例的一个或多个部分。
有益地，社交互动系统可以提供社交信号放大系统，其提高患有ASD的个体参与到社会中的能力。社交互动系统还可以并入具有增强现实助手的计算机视觉技术，目的是解释和响应个体或群体等级社交互动。社交互动系统还可以通过使用基于领域知识或机器学习的策略，将社交提示映射到建议动作，来提高获得积极的社交结果的可能性。社交互动系统还可以测量社交提示，并改进社交结果的检测。
本文中描述的方法、系统和设备的技术效果包括用于解释社交提示并使用这些分析通过提供建议的响应改进社交互动的计算机实现的技术。
因此，根据本发明的一个实施例，一种社交互动系统包括：一个或多个传感器，所述一个或多个传感器用以获得在社交互动期间环境中的一个或多个个体的社交指示数据，所述社交指示数据与所述一个或多个个体的行为有关。社交互动系统还包括处理系统，所述处理系统被配置成：使用所述社交指示数据确定所述一个或多个个体的社交状态；以及基于所述社交状态的分析确定个人对所述社交互动的最佳社交响应。社交互动系统还包括反馈系统，所述反馈系统用以给所述个人指示所述最佳社交响应。
根据本发明的另一实施例，一种用于帮助用户进行社交互动的系统包括：一个或多个传感器，所述一个或多个传感器用以获得指示一个或多个个体的社交表达的数据；处理系统，所述处理系统被编程为：从所述社交表达数据提取社交提示；以及基于所述社交提示确定社交响应，以帮助用户与所述一个或多个个体进行社交互动，所述社交响应通过应用预定义策略基于社交结果来确定。所述系统还包括反馈系统，所述反馈系统用以给所述用户指示所述社交响应。
根据本发明的又一实施例，公开了一种其上存储计算机程序以优化社交结果的非暂时性计算机可读存储介质，所述计算机程序包括指令，所述指令在由处理器执行时使得所述处理器：使用一个或多个传感器获取参与社交互动的一个或多个个人的数据；使用所述数据从所述社交互动提取社交提示；基于参与所述社交互动的一个或多个个人的社交提示，估计社交状态；以及使用基于社交结果优化建议动作的策略，将所述社交状态映射到参与所述社交互动的个人的建议动作。
本书面描述使用示例来公开本发明，包括最佳模式，并且还使所属领域的技术人员能够实践本发明，包括制造和使用任何装置或系统以及执行任何所并入的方法。本发明的可获专利的范围由权利要求书界定，且可以包括所属领域的技术人员所想到的其它示例。如果此类其它示例具有并非不同于权利要求书的字面语言的结构要素，或如果它们包括与权利要求书的字面语言无实质差异的等效结构要素，那么它们意图在权利要求书的范围内。

Claims (10)

1.一种社交互动系统，包括：
一个或多个传感器，所述一个或多个传感器用以获得在社交互动期间环境中的一个或多个个体的社交指示数据，所述社交指示数据与所述一个或多个个体的行为有关；
处理系统，所述处理系统被配置成：
使用所述社交指示数据确定所述一个或多个个体的社交状态；以及
基于所述社交状态的分析确定个人对所述社交互动的最佳社交响应；以及
反馈系统，所述反馈系统用以给所述个人指示所述最佳社交响应。
2.根据权利要求1所述的社交互动系统，其中，所述处理系统使用强化学习以确定所述最佳社交响应，所述处理系统被配置成：
使用将所述社交状态映射到所述最佳社交响应的策略确定所述最佳社交响应；
确定所述最佳社交响应是否产生所述社交互动的期望社交结果；以及
基于所述社交结果的分析更新所述策略以优化未来的社交响应。
3.根据权利要求1所述的社交互动系统，其中，所述处理系统使用领域知识通过使用策略将所述社交状态映射到所述最佳社交响应，以确定所述最佳社交响应，所述策略具有映射的社交状态和社交响应之间的预定义关系。
4.根据权利要求1所述的社交互动系统，其中，所述处理系统使用概率推断引擎基于所述社交指示数据通过推断估计产生所述一个或多个个体的行为的社交状态，以确定所述社交状态。
5.根据权利要求4所述的社交互动系统，其中，所述社交状态是由所述概率推断引擎基于群体行为统计确定的群体社交状态。
6.一种用于帮助用户进行社交互动的系统，所述系统包括：
一个或多个传感器，所述一个或多个传感器用以获得指示一个或多个个体的社交表达的数据；
处理系统，所述处理系统被编程为：
从所述社交表达数据提取社交提示；以及
基于所述社交提示确定社交响应，以帮助用户与所述一个或多个个体进行社交互动，所述社交响应通过应用预定义策略基于社交结果来确定；以及
反馈系统，所述反馈系统用以给所述用户指示所述社交响应。
7.根据权利要求6所述的系统，其中，在确定所述社交响应时，所述处理系统被编程为通过使用映射的社交提示和社交响应之间的预定义关系，将所述社交提示映射到所述社交响应，从而使用领域知识应用所述预定义策略。
8.根据权利要求6所述的系统，其中，在确定所述社交响应时，所述处理系统被编程为使用机器学习基于以下各项应用所述预定义策略：
从所述社交提示确定的状态空间；
用以从所述状态空间确定所述社交响应的动作空间；以及
奖励，所述奖励基于由所述社交响应产生的所述用户与所述一个或多个个体进行社交互动的社交结果；以及
其中，所述预定义策略通过最大化所述奖励优化所述社交响应。
9.根据权利要求6所述的系统，其中，所述处理系统还包括推断引擎，所述推断引擎基于所述社交提示确定社交状态；以及
其中，所述预定义策略将所述社交状态映射到所述社交响应。
10.一种其上存储计算机程序以优化社交结果的非暂时性计算机可读存储介质，所述计算机程序包括指令，所述指令在由处理器执行时使得所述处理器：
使用一个或多个传感器获取参与社交互动的一个或多个个人的数据；
使用所述数据从所述社交互动提取社交提示；
基于参与所述社交互动的一个或多个个人的社交提示，估计社交状态；以及
使用基于社交结果优化建议动作的策略，将所述社交状态映射到参与所述社交互动的个人的建议动作。
CN201811323676.9A 2017-11-09 2018-11-08 社交互动系统、用于帮助用户进行社交互动的系统及非暂时性计算机可读存储介质 Pending CN109765991A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/807,688 US20190139438A1 (en) 2017-11-09 2017-11-09 System and method for guiding social interactions
US15/807,688 2017-11-09

Publications (1)

Publication Number Publication Date
CN109765991A true CN109765991A (zh) 2019-05-17

Family

ID=64308487

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811323676.9A Pending CN109765991A (zh) 2017-11-09 2018-11-08 社交互动系统、用于帮助用户进行社交互动的系统及非暂时性计算机可读存储介质

Country Status (5)

Country Link
US (1) US20190139438A1 (zh)
EP (1) EP3483785A1 (zh)
JP (1) JP2019087257A (zh)
KR (1) KR20190053097A (zh)
CN (1) CN109765991A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110313923A (zh) * 2019-07-05 2019-10-11 昆山杜克大学 基于联合注意能力测试和音视频行为分析的孤独症早期筛查系统
CN110516599A (zh) * 2019-08-27 2019-11-29 中国科学院自动化研究所 基于渐进式关系学习的群体行为识别模型及其训练方法
CN112633224A (zh) * 2020-12-30 2021-04-09 深圳云天励飞技术股份有限公司 一种社交关系识别方法、装置、电子设备及存储介质
CN112698688A (zh) * 2020-10-29 2021-04-23 四川写正智能科技有限公司 一种主动触发的智能奖励方法及系统

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190179970A1 (en) * 2017-12-07 2019-06-13 International Business Machines Corporation Cognitive human interaction and behavior advisor
US11813054B1 (en) 2018-11-08 2023-11-14 Duke University Methods, systems, and computer readable media for conducting an automatic assessment of postural control of a subject
US11580874B1 (en) * 2018-11-08 2023-02-14 Duke University Methods, systems, and computer readable media for automated attention assessment
US11468783B2 (en) * 2019-06-04 2022-10-11 International Business Machines Corporation Communication devices
WO2021046412A1 (en) * 2019-09-06 2021-03-11 Cognoa, Inc. Methods, systems, and devices for the diagnosis of behavioral disorders, developmental delays, and neurologic impairments
CN111641850B (zh) * 2020-04-23 2022-08-26 福建凯米网络科技有限公司 一种视听场所互动方法及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130288222A1 (en) * 2012-04-27 2013-10-31 E. Webb Stacy Systems and methods to customize student instruction
US20140370470A1 (en) * 2013-06-13 2014-12-18 Gary And Mary West Health Institute Systems, apparatus and methods for delivery and augmentation of behavior modification therapy and teaching
CN104620276A (zh) * 2012-06-08 2015-05-13 谷歌有限公司 基于社交网站上的个人资料对事件的参与者进行建议
WO2015127441A1 (en) * 2014-02-24 2015-08-27 Brain Power, Llc Systems, environment and methods for evaluation and management of autism spectrum disorder using a wearable data collection device
CN105069728A (zh) * 2015-08-19 2015-11-18 南京邮电大学 一种基于无线传感网的情感推理方法
US20160128617A1 (en) * 2014-11-10 2016-05-12 Intel Corporation Social cuing based on in-context observation

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007047965A2 (en) * 2005-10-21 2007-04-26 Bee Visual, Llc Method and apparatus for developing a person's behavior
US20130305169A1 (en) * 2012-05-11 2013-11-14 Robert Evan Gold Methods and Systems for Providing Feedback in Interactive, Interest Centric Communications Environment
US9280908B2 (en) * 2013-03-15 2016-03-08 International Business Machines Corporation Results of question and answer systems
US10395552B2 (en) * 2014-12-19 2019-08-27 International Business Machines Corporation Coaching a participant in a conversation
US20180284453A1 (en) * 2017-04-03 2018-10-04 Walmart Apollo, Llc Customer interaction system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130288222A1 (en) * 2012-04-27 2013-10-31 E. Webb Stacy Systems and methods to customize student instruction
CN104620276A (zh) * 2012-06-08 2015-05-13 谷歌有限公司 基于社交网站上的个人资料对事件的参与者进行建议
US20140370470A1 (en) * 2013-06-13 2014-12-18 Gary And Mary West Health Institute Systems, apparatus and methods for delivery and augmentation of behavior modification therapy and teaching
WO2015127441A1 (en) * 2014-02-24 2015-08-27 Brain Power, Llc Systems, environment and methods for evaluation and management of autism spectrum disorder using a wearable data collection device
US20160128617A1 (en) * 2014-11-10 2016-05-12 Intel Corporation Social cuing based on in-context observation
CN105069728A (zh) * 2015-08-19 2015-11-18 南京邮电大学 一种基于无线传感网的情感推理方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110313923A (zh) * 2019-07-05 2019-10-11 昆山杜克大学 基于联合注意能力测试和音视频行为分析的孤独症早期筛查系统
CN110516599A (zh) * 2019-08-27 2019-11-29 中国科学院自动化研究所 基于渐进式关系学习的群体行为识别模型及其训练方法
CN112698688A (zh) * 2020-10-29 2021-04-23 四川写正智能科技有限公司 一种主动触发的智能奖励方法及系统
CN112698688B (zh) * 2020-10-29 2022-10-21 四川写正智能科技有限公司 一种主动触发的智能奖励方法及系统
CN112633224A (zh) * 2020-12-30 2021-04-09 深圳云天励飞技术股份有限公司 一种社交关系识别方法、装置、电子设备及存储介质
CN112633224B (zh) * 2020-12-30 2024-03-26 深圳云天励飞技术股份有限公司 一种社交关系识别方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
JP2019087257A (ja) 2019-06-06
KR20190053097A (ko) 2019-05-17
US20190139438A1 (en) 2019-05-09
EP3483785A1 (en) 2019-05-15

Similar Documents

Publication Publication Date Title
CN109765991A (zh) 社交互动系统、用于帮助用户进行社交互动的系统及非暂时性计算机可读存储介质
US11089985B2 (en) Systems and methods for using mobile and wearable video capture and feedback plat-forms for therapy of mental disorders
Benssassi et al. Wearable assistive technologies for autism: opportunities and challenges
Vinola et al. A survey on human emotion recognition approaches, databases and applications
CN110349667B (zh) 结合调查问卷及多模态范式行为数据分析的孤独症评估系统
Saini et al. Kinect sensor-based interaction monitoring system using the BLSTM neural network in healthcare
CN110291489A (zh) 计算上高效的人类标识智能助理计算机
Newman et al. HARMONIC: A multimodal dataset of assistive human–robot collaboration
Wang et al. Automated student engagement monitoring and evaluation during learning in the wild
Martínez-Villaseñor et al. A concise review on sensor signal acquisition and transformation applied to human activity recognition and human–robot interaction
Su et al. Recent advancements in multimodal human–robot interaction
Celiktutan et al. Computational analysis of affect, personality, and engagement in human–robot interactions
Cheng et al. Computer-aided autism spectrum disorder diagnosis with behavior signal processing
JP7306152B2 (ja) 感情推定装置、感情推定方法、プログラム、情報提示装置、情報提示方法及び感情推定システム
Sosa-Jiménez et al. A prototype for Mexican sign language recognition and synthesis in support of a primary care physician
Baothman An intelligent big data management system using haar algorithm-based Nao agent multisensory communication
Gutstein et al. Optical flow, positioning, and eye coordination: automating the annotation of physician-patient interactions
Kirandziska et al. A concept for building more humanlike social robots and their ethical consequence
Gao et al. Human–System Interaction Based on Eye Tracking for a Virtual Workshop
Makhataeva et al. Augmented Reality for Cognitive Impairments
Mansouri Benssassi et al. Wearable assistive technologies for autism: opportunities and challenges
Abeydeera et al. Smart mirror with virtual twin
Krishnaraj Designing Social Robots for Early Detection of Mental Heath Conditions
Hadjara et al. Video-based Emotion Detection Analyzing Facial Expressions and Contactless Vital Signs for Psychosomatic Monitoring
Wang et al. Emotion-aware assistive system for humanistic care based on the orange computing concept

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190517

WD01 Invention patent application deemed withdrawn after publication