CN114392457A - 信息生成方法、装置、电子设备、存储介质和系统 - Google Patents

信息生成方法、装置、电子设备、存储介质和系统 Download PDF

Info

Publication number
CN114392457A
CN114392457A CN202210299494.2A CN202210299494A CN114392457A CN 114392457 A CN114392457 A CN 114392457A CN 202210299494 A CN202210299494 A CN 202210299494A CN 114392457 A CN114392457 A CN 114392457A
Authority
CN
China
Prior art keywords
mental health
user
action
target
depth image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210299494.2A
Other languages
English (en)
Inventor
黄超
张跃曦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Wujiang Naozhi Technology Co ltd
Original Assignee
Beijing Wujiang Naozhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Wujiang Naozhi Technology Co ltd filed Critical Beijing Wujiang Naozhi Technology Co ltd
Priority to CN202210299494.2A priority Critical patent/CN114392457A/zh
Publication of CN114392457A publication Critical patent/CN114392457A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M21/02Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis for inducing sleep or relaxation, e.g. by direct nerve stimulation, hypnosis, analgesia
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Anesthesiology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Social Psychology (AREA)
  • Pathology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Pain & Pain Management (AREA)
  • Acoustics & Sound (AREA)
  • Hematology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本公开提供一种信息生成方法、装置、电子设备、存储介质和系统,通过提供第一心理健康调节目标对应的任务动作提示信息,并在第一用户依据上述任务动作提示信息进行动作的过程中拍摄深度图像,进而得到相应的第一深度图像序列,基于第一深度图像序列进行特征提取得到第一用户的动作特征,再将第一用户的动作特征输入预先训练的、与第一心理健康调节目标对应的目标达成确定模型,得到用于指示与第一深度图像序列对应的第一用户动作是否达到第一心理健康调节目标的第一目标达成信息。整个过程不需心理咨询师和舞动治疗师介入,不需特别场景和场地,可降低调节用户心理健康状态的成本,且不依赖于心理咨询师和舞动治疗师个人经验,统一服务标准。

Description

信息生成方法、装置、电子设备、存储介质和系统
技术领域
本公开的实施例涉及数字疗法技术领域,具体涉及信息生成方法、装置、电子设备、存储介质和系统。
背景技术
心理健康是指心理的各个方面及活动过程处于一种良好或正常的状态。心理健康的理想状态是保持性格完好、智力正常、认知正确、情感适当、意志合理、态度积极、行为恰当、适应良好的状态。
为了调节个体的心理健康状态,除了谈话心理疗法(或称为心理咨询),还出现了舞动治疗方法。舞动治疗又称舞蹈动作治疗,也称舞蹈治疗、动作治疗。美国舞动治疗协会的定义是:“舞动治疗是在心理治疗中使用动作,以促进个体情绪、社会、认知和生理整合。舞动治疗聚焦于治疗关系中呈现的动作行为”。舞动治疗融合了现代舞蹈、动作分析理论和精神分析理论。治疗过程中,治疗师带领舞动对象通过身体做真实的内心呈现,从中看见他们的需求和问题,再通过具体的技术增加他们对自己深层次的觉察,并通过身体表达修通意识中或身体里因创伤被卡住的某些部分。不同于传统的谈话心理疗法,个体可通过动作这一非语言的方式实现情感、身体、精神、认知与环境的整合。
发明内容
本公开的实施例提出了信息生成方法、装置、电子设备、存储介质和系统。
第一方面,本公开的实施例提供了一种信息生成方法,该方法包括:获取第一深度图像序列,所述第一深度图像序列是拍摄第一用户依据第一心理健康调节目标对应的任务动作提示信息进行动作所得到的至少两帧连续深度图像;基于所述第一深度图像序列进行特征提取,得到所述第一用户的动作特征;将所述第一用户的动作特征输入预先训练的、与所述第一心理健康调节目标对应的目标达成确定模型,得到用于指示与所述第一深度图像序列对应的第一用户动作是否达到所述第一心理健康调节目标的第一目标达成信息,其中,所述目标达成确定模型用于表征人体动作特征与用于指示是否达到所述第一心理健康调节目标的目标达成信息之间的对应关系。
在一些可选的实施方式中,所述方法还包括:呈现与所述第一目标达成信息对应的目标达成提示信息。
在一些可选的实施方式中,在所述获取第一深度图像序列之前,所述方法还包括:呈现与所述第一心理健康调节目标对应的任务动作提示信息。
在一些可选的实施方式中,所述第一心理健康调节目标对应的任务动作提示信息包括视频和/或音频;以及所述呈现与所述第一心理健康调节目标对应的任务动作提示信息,以及所述获取第一深度图像序列,包括:播放所述第一心理健康调节目标对应的任务动作提示信息以及在所述播放所述第一心理健康调节目标对应的任务动作提示信息的过程中实时获取深度相机拍摄所述第一用户进行动作所得到的至少两帧连续深度图像。
在一些可选的实施方式中,所述第一心理健康调节目标对应的任务动作提示信息包括以下至少一项:图像、文本和音频;以及所述获取第一深度图像序列,包括:在与所述第一心理健康调节目标对应的预设动作时长内实时获取深度相机拍摄所述第一用户进行动作所得到的至少两帧连续深度图像。
在一些可选的实施方式中,在所述呈现与所述第一心理健康调节目标对应的任务动作提示信息之前,所述方法还包括:呈现预设心理健康调节目标标识集合;响应于检测到针对所述预设心理健康调节目标标识集合中第一心理健康调节目标标识的选择操作,将所述第一心理健康调节目标标识所指示的心理健康调节目标确定为所述第一心理健康调节目标。
在一些可选的实施方式中,在将所述第一用户的动作特征输入预先训练的、与所述第一心理健康调节目标对应的目标达成确定模型,得到所述第一目标达成信息之前,所述方法还包括:获取第一生理特征参数序列,所述第一生理特征参数序列是在拍摄并得到所述第一深度图像序列的过程中,采集所述第一用户的至少一项生理特征参数所得到的相应生理特征参数序列;以及所述基于所述第一深度图像序列进行特征提取,得到所述第一用户的动作特征,包括:基于所述第一深度图像序列和所述第一生理特征参数序列进行特征提取,得到所述第一用户的动作特征。
在一些可选的实施方式中,至少一项生理特征参数包括以下至少一项:心率参数、皮肤电参数。
在一些可选的实施方式中,所述基于所述第一深度图像序列进行特征提取,得到所述第一用户的动作特征,包括:对所述第一深度图像序列进行特征空间转换,得到第一点云数据序列;基于所述第一点云数据序列进行特征提取,得到所述第一用户的动作特征。
在一些可选的实施方式中,所述基于所述第一点云数据序列进行特征提取,得到所述第一用户的动作特征,包括:基于所述第一点云数据序列进行动作分割,得到至少一个按时间排序的第一点云数据子序列;对各所述第一点云数据子序列进行特征提取得到相应特征;基于各所述第一点云数据子序列的特征,确定所述第一用户的动作特征。
在一些可选的实施方式中,所述与所述第一心理健康调节目标对应的目标达成确定模型是通过如下训练步骤得到的:获取训练样本集合,其中,所述训练样本包括拍摄样本用户依据所述第一心理健康调节目标对应的任务动作提示信息进行动作所得到的样本深度图像序列和用于指示所述样本深度图像序列对应的用户动作是否达成所述第一心理健康调节目标的标注目标达成信息;对于所述训练样本集合中的训练样本,执行以下参数调整操作直到满足预设训练结束条件:基于该训练样本中的样本深度图像序列进行特征提取,得到相应的动作特征;将所得到的动作特征输入初始目标达成确定模型,得到相应的目标达成信息;基于所得到的目标达成信息与该训练样本中的标注目标达成信息之间的差异,调整所述初始目标达成确定模型的模型参数;将训练得到的所述初始目标达成确定模型确定为预先训练的与所述第一心理健康调节目标对应的目标达成确定模型。
第二方面,本公开的实施例提供了一种信息生成装置,该装置包括:第一获取单元,被配置成获取第一深度图像序列,所述第一深度图像序列是拍摄第一用户依据第一心理健康调节目标对应的任务动作提示信息进行动作所得到的至少两帧连续深度图像;特征提取单元,被配置成基于所述第一深度图像序列进行特征提取,得到所述第一用户的动作特征;第一确定单元,被配置成将所述第一用户的动作特征输入预先训练的、与所述第一心理健康调节目标对应的目标达成确定模型,得到用于指示与所述第一深度图像序列对应的第一用户动作是否达到所述第一心理健康调节目标的第一目标达成信息,其中,所述目标达成确定模型用于表征人体动作特征与用于指示是否达到所述第一心理健康调节目标的目标达成信息之间的对应关系。
在一些可选的实施方式中,所述装置还包括:第一呈现单元,被配置成呈现与所述第一目标达成信息对应的目标达成提示信息。
在一些可选的实施方式中,所述装置还包括:第二呈现单元,被配置成在所述获取第一深度图像序列之前,呈现与所述第一心理健康调节目标对应的任务动作提示信息。
在一些可选的实施方式中,所述第一心理健康调节目标对应的任务动作提示信息包括视频和/或音频;以及所述第二呈现单元和所述第一获取单元进一步被配置成:播放所述第一心理健康调节目标对应的任务动作提示信息以及在所述播放所述第一心理健康调节目标对应的任务动作提示信息的过程中实时获取深度相机拍摄所述第一用户进行动作所得到的至少两帧连续深度图像。
在一些可选的实施方式中,所述第一心理健康调节目标对应的任务动作提示信息包括以下至少一项:图像、文本和音频;以及所述第一获取单元进一步被配置成:在与所述第一心理健康调节目标对应的预设动作时长内实时获取深度相机拍摄所述第一用户进行动作所得到的至少两帧连续深度图像。
在一些可选的实施方式中,所述装置还包括:第三呈现单元,被配置成在所述呈现与所述第一心理健康调节目标对应的任务动作提示信息之前,呈现预设心理健康调节目标标识集合;第二确定单元,被配置成响应于检测到针对所述预设心理健康调节目标标识集合中第一心理健康调节目标标识的选择操作,将所述第一心理健康调节目标标识所指示的心理健康调节目标确定为所述第一心理健康调节目标。
在一些可选的实施方式中,所述装置还包括:第二获取单元,被配置成在将所述第一用户的动作特征输入预先训练的、与所述第一心理健康调节目标对应的目标达成确定模型,得到所述第一目标达成信息之前,获取第一生理特征参数序列,所述第一生理特征参数序列是在拍摄并得到所述第一深度图像序列的过程中,采集所述第一用户的至少一项生理特征参数所得到的相应生理特征参数序列;以及所述特征提取单元进一步被配置成:基于所述第一深度图像序列和所述第一生理特征参数序列进行特征提取,得到所述第一用户的动作特征。
在一些可选的实施方式中,至少一项生理特征参数包括以下至少一项:心率参数、皮肤电参数。
在一些可选的实施方式中,所述特征提取单元进一步被配置成:对所述第一深度图像序列进行特征空间转换,得到第一点云数据序列;基于所述第一点云数据序列输入进行特征提取,得到所述第一用户的动作特征。
一些可选的实施方式中,所述基于所述第一点云数据序列进行特征提取,得到所述第一用户的动作特征,包括:基于所述第一点云数据序列进行动作分割,得到至少一个按时间排序的第一点云数据子序列;对各所述第一点云数据子序列进行特征提取得到相应特征;基于各所述第一点云数据子序列的特征,确定所述第一用户的动作特征。
在一些可选的实施方式中,所述与所述第一心理健康调节目标对应的目标达成确定模型是通过如下训练步骤得到的:获取训练样本集合,其中,所述训练样本包括拍摄样本用户依据所述第一心理健康调节目标对应的任务动作提示信息进行动作所得到的样本深度图像序列和用于指示所述样本深度图像序列对应的用户动作是否达成所述第一心理健康调节目标的标注目标达成信息;对于所述训练样本集合中的训练样本,执行以下参数调整操作直到满足预设训练结束条件:基于该训练样本中的样本深度图像序列进行特征提取,得到相应的动作特征;将所得到的动作特征输入初始目标达成确定模型,得到相应的目标达成信息;基于所得到的目标达成信息与该训练样本中的标注目标达成信息之间的差异,调整所述初始目标达成确定模型的模型参数;将训练得到的所述初始目标达成确定模型确定为预先训练的与所述第一心理健康调节目标对应的目标达成确定模型。
第三方面,本公开的实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当上述一个或多个程序被上述一个或多个处理器执行时,使得上述一个或多个处理器实现如第一方面中任一实现方式描述的方法。
第四方面,本公开的实施例提供了一种计算机可读存储介质,其上存储有计算机程序,其中,该计算机程序被一个或多个处理器执行时实现如第一方面中任一实现方式描述的方法。
第五方面,本公开的实施例提供了一种信息生成系统,包括:深度相机;以及电子设备,与所述深度相机通信连接,所述电子设备被配置为执行如第一方面中任一实现方式描述的方法。
在一些可选的实施方式中,所述系统还包括:至少一个与所述电子设备通信连接的、用于采集人体生理特征参数的可穿戴设备。
现有技术中的谈话心理疗法和舞动疗法,由于依赖于心理咨询师和舞动治疗师的个人专业经验,不同心理咨询师和舞动治疗师针对同一个体可能提供不同的心理咨询过程和舞动治疗过程,没有统一标准,且大多不会给出明确标准以供个体判断是否可以停止咨询和治疗,导致影响对个体心理健康状态的认知和决策困扰。另外,无论谈话心理疗法还是舞动治疗,一般需要第一用户去到咨询现场或舞动治疗现场以及支付相应费用,对用户而言提高了用户心理健康调节的经济成本和时间成本。
为了解决现有技术用户心理健康调节中存在的上述问题,本公开的实施例提供的信息生成方法、装置、电子设备、存储介质和系统,通过获取利用深度相机拍摄第一用户依据第一心理健康调节目标对应的任务动作提示信息进行动作所得到的第一深度图像序列,再基于第一用户深度图像序列进行特征提取,得到第一用户的动作特征,以及将第一用户的动作特征输入预先训练的、与第一心理健康调节目标对应的目标达成确定模型,得到用于指示与至少两帧连续深度图像对应的第一用户动作是否达到第一心理健康调节目标的第一目标达成信息。从而,第一用户可以根据心理健康调节目标对应的任务动作提示信息进行动作,并自动给出第一用户动作是否达到相应心理健康调节目标,进而实现完整闭环反馈。即,在第一用户完成动作后及时给出是否达成心理健康调节目标的反馈结果,第一用户可及时得到反馈。且整个过程不需心理咨询师和舞动治疗师人工介入,也不需特别的场景和场地,可以降低调节用户心理健康状态的人工成本、经济成本和时间成本,且不依赖于心理咨询师和舞动治疗师的个人经验,进而统一服务标准。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本公开的其它特征、目的和优点将会变得更明显。附图仅用于示出具体实施方式的目的,而并不认为是对本公开的限制。在附图中:
图1是本公开的一个实施例可以应用于其中的示例性系统架构图;
图2是根据本公开的信息生成方法的一个实施例的流程图;
图3是根据本公开的训练步骤的一个实施例的流程图;
图4是根据本公开的信息生成装置的一个实施例的结构示意图;
图5是适于用来实现本公开的实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
图1示出了根据本公开的信息生成系统的示例性系统架构100。
如图1所示,系统架构100可以包括深度相机101和电子设备102,其中,深度相机101与电子设备102通信连接。即,深度相机101采集的深度图像可以被发送至电子设备102。用户可以通过电子设备102与深度相机101交互,以控制深度图像设备采集图像或者发送图像等。电子设备102上可以安装有各种客户端应用,例如信息生成类应用、视频播放类应用、音频播放类应用、文本或图像显示类应用、语音识别类应用、网页浏览器应用等。
电子设备102可以是硬件,也可以是软件。当电子设备102为硬件时,可包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。电子设备102可以具有显示装置(例如,显示器)和/或声音播放装置(例如,扬声器、耳机等)。或者,系统100还可包括与电子设备102通信连接的显示装置和/或声音播放装置。进而,电子设备102可以控制显示装置和/或声音播放装置呈现或者播放第一心理健康调节目标对应的任务动作提示信息。又或者,系统100还可包括与电子设备102不具有通信连接的显示装置和/或声音播放装置,进而,可以是由其他设备或装置控制在显示装置和/或声音播放装置向第一用户呈现第一心理健康调节目标对应的任务动作提示信息。即,显示装置和/或声音播放装置用于向第一用户呈现第一心理健康调节目标对应的任务动作提示信息。这里,例如通过播放音视频或者呈现文本和/或图像等呈现第一心理健康调节目标对应的任务动作提示信息。而深度相机101、显示装置和/或声音播放装置可位于同一场景内,以实现第一用户可获取到第一心理健康调节目标对应的任务动作提示信息,且深度相机101可采集到第一用户的深度图像。
当电子设备102为软件时,可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供信息生成服务),也可以实现成单个软件或软件模块。在此不做具体限定。
在一些可选的实施方式中,系统架构100还可以包括与电子设备102通信连接的、用于采集人体生理特征参数的可穿戴设备1031、1032、1033。
本公开所提供的信息生成方法可以由电子设备102执行,相应地,信息生成装置可以设置于电子设备102中。
应该理解,图1中的深度相机、电子设备和可穿戴设备的数目仅仅是示意性的。根据实现需要,可以具有任意数目的深度相机、电子设备和可穿戴设备。
继续参考图2,其示出了根据本公开的信息生成方法的一个实施例的流程200,该信息生成方法包括以下步骤:
步骤201,获取第一深度图像序列。
在本实施例中,第一深度图像序列可以是利用深度相机拍摄第一用户依据第一心理健康调节目标对应的任务动作提示信息进行动作所得到的至少两帧连续深度图像。
这里,深度图像是指将从深度相机到图像采集场景中各点的距离(也称为深度)作为像素值的图像。深度相机通常是按照一定的帧率进行图像采集,在完成一帧图像的采集后,可生成一帧深度图像,连续且多于一帧的深度图像可以是按照深度相机的采集时间顺序逐帧获取的。
这里,第一用户可以是各种类型的用户。第一用户可以是普通用户,也可是各种疑似或者已经被诊断为患有某种认知障碍或心理疾病的用户,例如疑似或者被诊断为患有孤独症或多动症的用户。第一用户也可以是需要心理疏导的亚健康人群。例如,第一用户可以是注意力不集中、有行为问题待改善、有社交焦虑、有人际交往障碍、有抑郁情绪等类型用户。第一用户还可以是健康或高功能个体。第一用户也可以是各种年龄的用户,本公开对此不做具体限定。
心理健康可认为是由多方面元素组成的。例如可包括以下至少一项:行动、语言/沟通、情绪、认知等。
这里,第一心理健康调节目标可以用于表征调节个体在具体心理健康元素下的调节方向,还可以用于表征调节个体在具体心理健康元素下调节方向和调节程度。
作为示例,心理健康调节目标中在行动方面的调节目标可以包括身体、力效、空间、动作句段等方面的调节目标。其中身体调节目标例如调节肢体末端与核心的连通性、上半身与下半身的连通性等。
在语言/沟通方面的调节目标可包括通过动作等非言语行为的表达能力调节目标。
在情绪调节方面的调节目标可以包括提高、降低或转化某种情绪或者情绪的有效表达等。
在认知方面的调节目标可以包括提高注意力、自控力、记忆力等。
第一心理健康调节目标对应的任务动作提示信息可以是预先由相关领域技术专家(例如,心理咨询师、舞动治疗师等)依据专业知识进行统计分析归纳所得到的、用于协助个体实现第一心理健康调节目标并引导用户进行相应动作的各种信息。任务动作提示信息可用于引导用户做出指定动作,比如指定动作可以是上臂伸直与肩同宽同高掌心向前推、双臂抱肩、半蹲双手置于胸前等。
本公开对任务动作提示信息的信息形式不做具体限定。例如,任务动作提示信息可包括以下至少一项:图像、文本、音频和视频。比如,当任务动作提示信息为图像时,可以是至少一幅图像,且呈现图像形式的任务动作提示信息,可以是按时间顺序进行呈现出指定动作对应的至少一幅动作要领图像,每个动作要领图像中可以利用卡通形象展示关键动作或者利用真人示范展示关键动作。当任务动作提示信息为文本或者音频时,可以是利用文本或音频描述指定动作。当任务动作提示信息是视频时,该视频可以是录制指定人员作出示范性相应指定动作的视频。
在一些可选的实施方式中,信息生成方法的执行主体(例如图1所示的电子设备102)可以在本地的易失性存储介质或者非易失性存储介质获取第一深度图像序列。可选地,深度相机可以与上述执行主体通过有线进行通信连接或者在同一局域网内部无线通信连接,继而深度相机采集的深度图像可以实时发送给上述执行主体,并存储在上述执行主体本地的易失性存储介质或者非易失性存储介质。
在一些可选的实施方式中,上述执行主体也可以远程地从与上述执行主体通信连接的其他电子设备获取第一深度图像序列。相应地,上述执行主体可与深度相机位于不同的实体位置,进而实现远程对第一用户进行信息生成。
在一些可选的实施方式中,上述执行主体也可以从与上述执行主体通信连接的深度相机获取第一深度图像序列。基于此,可选地,当第一心理健康调节目标对应的任务动作提示信息包括视频和/或音频时,步骤201可以如下执行:在播放第一心理健康调节目标对应的任务动作提示信息的过程中实时获取深度相机拍摄第一用户进行动作所得到的至少两帧连续深度图像。
步骤202,基于第一深度图像序列进行特征提取,得到第一用户的动作特征。
在本实施例中,上述执行主体可以采用各种现在已知或者未来开发的人体动作特征提取方法,基于第一深度图像序列进行特征提取,得到第一用户的动作特征。人体动作特征提取的目的是让计算机合理的描述人体动作,以实现自动判断并理解人体动作行为。例如,可以采用以下人体动作特征提取方法:基于视频流提取底层局部时空兴趣点的方法,基于中层语义学习的动作特征属性描述方法或者基于高层语义特征点追踪与肢体可变形模板的方法。
基于底层局部时空兴趣点的方法需要对目标对象(例如,人体)进行局部时空兴趣点的提取,并且结合一定的光流运动估计来获得对目标对象运动建模,并辅以各种描述算子表达肢体动作。
基于中层语义学习的方法通常在提取出底层局部动作特征的基础上,通过前景显著区域、运动目标检测、物体轮廓分割、判别字典学习、多通道特征融合、卷积神经网络等方法,对底层动作特征进行更高层次的语义特征建模,获取多帧视频流中目标对象运动的全局或局部时空特征表达。
基于高层语义特征点的方法依赖于人工手动标注,标定人体的骨骼关节点进行实时追踪,并构建出肢体树形结构模型或者可变形模板,结合关节点运动历史和常用描述算子表征人体动作特征。
在一些可选的实施方式中,步骤202可以包括如下步骤2021和步骤2022:
步骤2021,对第一深度图像序列进行特征空间转换,得到第一点云数据序列。
由于实践中,第一深度图像序列中深度图像中像素位置坐标为(x,y)处像素点的像素值为该像素点对应的物体到深度相机之间的距离(或称为深度)。第一深度图像序列中深度图像与第一点云数据序列之间的转换关系与深度相机的参数相关。即,上述执行主体可以通过深度相机的参数,对第一深度图像序列进行特征空间转换,得到第一点云数据序列。特征空间转换前第一深度图像序列中的深度图像为图像坐标系下的二维数据,而转换后第一点云数据序列中点云数据为世界坐标系下的三维坐标点,该三维坐标点可以对应检测到人体的位置点。
步骤2022,基于第一点云数据序列进行特征提取,得到第一用户的动作特征。
这里,可以采用各种实现方式基于第一点云数据序列进行特征提取,得到第一用户的动作特征。
可选地,步骤2022可以如下进行:
首先,基于第一点云数据序列进行动作分割,得到至少一个按时间排序的第一点云数据子序列。
这里,可采用各种现在已知或者未来开发的动作分割算法基于第一点云数据序列进行动作分割,以确定第一用户动作过程中每个动作的边界,并按照所确定的边界可得到至少一个按时间排序的第一点云数据子序列。所得到的每个第一点云数据子序列可以对应动作分割之后的子动作,而子动作可认为是不可分割的动作单元。例如,可采用包括但不限于主成分分析(PCA,Principal Component Analysis)方法、滑动窗口计算马氏距离的方法、基于聚类的方法和基于深度学习的动作分割方法等。
其次,对各第一点云数据子序列进行特征提取得到相应特征。
最后,基于各第一点云数据子序列的特征,确定第一用户的动作特征。
例如,可以按照各第一点云数据子序列在第一点云数据序列中的时间顺序,拼接第一点云数据子序列的相应特征,以得到第一用户的动作特征。
又例如,还可以计算各第一点云数据子序列的相应特征的均值特征以得到第一用户的动作特征。
经过空间转后的第一点云数据序列中包括的数据由于已经转换到世界坐标系下,且对应检测到人体的位置点坐标,剔除了背景坐标点,基于第一点云数据序列进行特征提取,可减少计算量且可提高特征提取效果。
步骤203,将第一用户的动作特征输入预先训练的、与第一心理健康调节目标对应的目标达成确定模型,得到用于指示与第一深度图像序列对应的第一用户动作是否达到第一心理健康调节目标的第一目标达成信息。
这里,目标达成确定模型用于表征人体动作特征与用于指示是否达到第一心理健康调节目标的目标达成信息之间的对应关系。因而,将第一用户的动作特征输入与第一心理健康调节目标对应的目标达成确定模型,可以得到用于指示与第一深度图像序列对应的第一用户动作是否达到第一心理健康调节目标的第一目标达成信息。
可以理解的是,第一目标达成信息可以是各种形式的数据。例如,第一目标达成信息可以是布尔型数据,即对应“真”或“假”,用于表征达到第一心理健康调节目标或未达到第一心理健康调节目标。
又例如,第一目标达成信息也可以是文本数据,比如可以是“达标!”或者“未达标!”,用于表征达到第一心理健康调节目标或未达到第一心理健康调节目标。
又例如,第一目标达成信息也可以是音视频数据,比如可以是“达标!”对应的音视频或者“未达标”对应的音视频,用于表征达到第一心理健康调节目标或未达到第一心理健康调节目标。
作为示例,第一心理健康调节目标对应的目标达成确定模型可以是技术人员基于对大量的用户动作特征和相应用户动作对应是否达到第一心理健康调节目标的目标达成信息的统计分析而预先制定的、存储有多个用户动作特征与用于指示是否达到第一心理健康调节目标的目标达成信息的对应关系的对应关系表;也可以是技术人员基于对大量用户动作特征的统计而预先设置并存储至上述执行主体中的、对用户动作特征中的一个或多个特征分量进行数值计算以得到目标达成信息的计算公式。
在一些可选的实施中,目标达成确定模型可以是各种分类模型,本公开对此不做具体限定。可选地,分类模型可以是二分类模型。例如,分类模型可以是线性分类器或者非线性分类器。其中,线性分类器例如可以是逻辑回归器,贝叶斯分类器,单层感知机,线性回归分类器,线性核的支持向量机,而非线性分类器例如可以是决策树、随机森林、梯度提升决策树、非线性核的支持向量机、多层感知机等。
在一些可选的实施方式中,与第一心理健康调节目标对应的目标达成确定模型也可以是通过如图3所示的训练步骤300预先建立的。训练步骤300可以包括如下步骤301到步骤303:
步骤301,获取训练样本集合。
这里,训练样本集合中的训练样本可以包括拍摄样本用户依据第一心理健康调节目标对应的任务动作提示信息进行动作所得到的样本深度图像序列和用于指示样本深度图像序列对应的用户动作是否达成第一心理健康调节目标的标注目标达成信息。
这里,样本用户依据第一心理健康调节目标对应的任务动作提示信息进行动作(即,样本深度图像序列对应的用户动作)所对应的标注目标达成信息,可以是由专业技术人员(例如,心理咨询师、心理治疗师、舞动治疗师等)根据样本用户的实际动作和第一心理健康调节目标领域的专业知识进行分析评估并标注而得到的。
而训练样本集合则可以认为是记录了多个样本用户依据第一心理健康调节目标对应的任务动作提示信息进行动作所得到的样本深度图像序列和相应用于指示是否达成第一心理健康调节目标的标注目标达成信息。
需要说明的是,实践中多个样本用户可以是由具有代表性的人群组成的。所谓具有代表性的人群,即用少量的样本用户来模拟大样本人群的组成,具有与大样本人群基本一致或相似的组成。比如,当大样本人群中包括0.5‰的自闭症患者,则多个样本用户中也可以包括0.5‰的自闭症患者。比如,当大样本人群中包括5%的记忆发展困难儿童,则多个样本用户中也可以包括5%的阿尔茨海默病患者以及5%的记忆发展困难儿童。比如,当大样本人群中包括10%的多动症患者,则多个样本用户中也可以包括10%的多动症患者。
步骤302,对于训练样本集合中的训练样本,执行参数调整操作直到满足预设训练结束条件。
这里,参数调整操作可以包括:
首先,基于该训练样本中的样本深度图像序列进行特征提取,得到相应的动作特征。
需要说明的是,这里可以采用与步骤202中进行特征提取的相同方法,基于该训练样本中的样本深度图像序列进行特征提取,在此不再赘述。
其次,将所得到的动作特征输入初始目标达成确定模型,得到相应的目标达成信息。
最后,基于所得到的目标达成信息与该训练样本中的标注目标达成信息之间的差异,调整初始目标达成确定模型的模型参数。
这里,可利用各种损失函数(例如,L1范数、L2范数或者交叉熵损失函数等)计算所得到的目标达成信息与该训练样本中的标注目标达成信息之间的差异。
这里,可以采用各种实现方式基于所得到的目标达成信息与该训练样本中的标注目标达成信息之间的差异,调整初始目标达成确定模型的模型参数。例如,可以采用BP(Back Propagation,反向传播)算法、随机梯度下降(SGD,Stochastic GradientDescent)、牛顿法(Newton's Method)、拟牛顿法(Quasi-Newton Methods)、共轭梯度法(Conjugate Gradient)、启发式优化方法以及其他现在已知或者未来开发的各种优化算法。
这里,训练结束条件例如可以包括以下至少一项:执行参数调整操作的时间达到预设时长,执行参数调整操作的次数达到预设次数,所得到的目标达成信息与该训练样本中的标注目标达成信息之间的差异小于预设差异阈值。
可选地,参数调整操作还可以包括:在每次基于所得到的目标达成信息与该训练样本中的标注目标达成信息之间的差异,调整初始目标达成确定模型的模型参数之后,利用当前的初始目标达成确定模型对测试样本集中的测试样本进行测试,并确定相应的测试准确率。训练结束条件还可以包括:在连续n(n为正整数)次参数调整操作中测试准确率的增加幅度小于预设准确率增加阈值,比如增加为0。即,如果连续n(n为正整数)次参数调整操作中测试准确率的增加幅度小于预设准确率增加阈值,则可以停止执行参数调整操作。其中,测试样本集中的测试样本可以包括拍摄样本用户依据第一心理健康调节目标对应的任务动作提示信息进行动作所得到的样本深度图像序列和用于指示样本深度图像序列对应的用户动作是否达成第一心理健康调节目标的标注目标达成信息;相应地,利用当前的初始目标达成确定模型对测试样本集中的测试样本进行测试,是指对各测试样本,将测试样本中的深度图像序列按照当前特征提取过程的相应参数进行特征提取得到相应测试样本特征,再将所得到的测试样本特征输入当前初始目标达成确定模型,得到测试结果;若所得到的测试结果与测试样本中的标注目标达成信息相同则认为针对该测试样本测试正确;反之,若不同,则认为测试错误。通过测试正确的测试样本数量与测试样本集中测试样本数量的比值,可以计算相应的测试准确率。需要说明的是,测试样本集可与训练样本集合没有交集,也可以有部分交集,本公开对此不做具体限定。
需要说明的是,这里在对初始目标达成确定模型的模型参数进行调整的同时,还可以对特征提取过程中用到的参数(即对训练样本中的样本深度图像序列进行特征提取得到相应的动作特征过程中用到的参数)同步进行调整,以提高目标达成确定模型预测的准确率。
步骤303,将训练得到的初始目标达成确定模型确定为预先训练的与第一心理健康调节目标对应的目标达成确定模型。
采用如图3所示的训练步骤300预先建立的第一心理健康调节目标的发展水平确定模型,由于是基于多个样本用户依据第一心理健康调节目标对应的任务动作提示信息进行动作所得到的样本深度图像序列和相应的标注目标达成信息而建立的,即通过有监督方式训练与第一心理健康调节目标对应的目标达成确定模型,可以提高与第一心理健康调节目标的目标达成确定模型在输入第一用户的深度图像序列后输出用于指示第一用户是否达成第一心理健康调节目标的第一目标达成信息的准确度。
在一些可选的实施方式中,上述执行主体还可以在执行步骤202之前,执行以下步骤204:
步骤204,获取第一生理特征参数序列。
这里,第一生理特征参数序列可以是在拍摄第一用户依据第一心理健康调节目标对应的任务动作提示信息进行动作并得到第一深度图像序列的过程中,采集第一用户的至少一项生理特征参数所得到的相应生理特征参数序列。
这里,至少一项生理特征参数可包括以下至少一项:心率参数、皮肤电参数。进而相应的采集第一用户的生理特征参数的可穿戴设备可以为采集用户心率和/或皮肤电参数的可穿戴设备,例如,可以为手环。
需要说明的是,上述执行主体可以先执行步骤201再执行步骤204,或者也可以先执行步骤204再执行步骤201,或者同步执行步骤201和步骤204,本公开对此不做具体限定。
基于上述步骤204的可选实施方式,步骤202中,基于第一深度图像序列进行特征提取,得到第一用户的动作特征,也可以如下执行:基于第一深度图像序列和第一生理特征参数序列进行特征提取,得到第一用户的动作特征。即,第一用户佩戴至少一个用户采集人体生理特征参数的可穿戴设备,在第一用户依据第一心理健康调节目标对应的任务动作提示信息进行动作的过程中,同时利用深度相机拍摄第一用户以得到第一深度图像序列以及利用至少一个可穿戴设备采集第一用户的生理特征参数以得到第一生理特征参数序列。进而,在步骤2021中进行特征提取后所得到的第一用户的动作特征中,既包括了第一用户的深度图像数据又包括了第一用户的生理特征参数,可以在后续步骤2022中将第一用户的动作特征输入分类模型,所得到的第一目标达成信息中,同时参考了第一用户的深度图像数据和生理特征参数,参考因素更全面,可以更全面反映第一用户动作是否达到第一心理健康调节目标。
在一些可选的实施方式中,上述执行主体还可以在执行步骤203之后,执行以下步骤205:
步骤205,呈现与第一目标达成信息对应的目标达成提示信息。
这里,与第一目标达成信息对应的目标达成提示信息可以是各种数据形成,例如可以是文本信息、图像、音频或视频等。进而呈现目标达成提示信息,也可以是呈现文本、呈现图像、播放音频或视频等。进而,第一用户可及时了解自己动作是否达到第一心理健康调节目标,若未达到可选择再次执行相应任务以逐渐提高进而最终达到第一心理健康调节目标,实现调节第一用户的心理健康状态。
例如,第一目标达成信息对应的目标达成提示信息可以是文本数据,比如可以是“恭喜您,您已达到目标!”或者“抱歉,您尚未达到目标,可以重复完成任务,加油!”,用于表征达到第一心理健康调节目标或未达到第一心理健康调节目标,并引导第一用户继续任务。
又例如,第一目标达成信息也可以是音视频数据,比如可以是“恭喜您,您已达到目标!”对应的音视频或者“抱歉,您尚未达到目标,可以重复完成任务,加油!”对应的音视频,用于表征达到第一心理健康调节目标或未达到第一心理健康调节目标,并引导第一用户继续任务。
在一些可选的实施方式中,上述执行主体还可以在执行步骤201之后,执行以下步骤206:
步骤206,呈现与第一心理健康调节目标对应的任务动作提示信息。
这里,可根据第一心理健康调节目标对应的任务动作提示信息的具体数据形式不同而采用相应的呈现方法。例如,任务动作提示信息可以是文本,即通过呈现文本来向第一用户描述所要执行的动作要领。又例如,任务动作提示信息可以是图像,即通过呈现图像中的卡通或者真人动作图像来向第一用户描述所要执行的动作要领。还例如,例如,任务动作提示信息可以是音频,即通过声音的讲述来引导第一用户知晓所要执行的动作要领。又例如,任务动作提示信息可以是视频,即通过播放视频,视频中可展示卡通形象或者真人展示的动作过程,来向第一用户描述所要执行的动作要领。
可选地,当第一心理健康调节目标对应的任务动作提示信息包括视频和/或音频时,步骤206和步骤201可以如下执行:
播放第一心理健康调节目标对应的任务动作提示信息以及在播放第一心理健康调节目标对应的任务动作提示信息的过程中实时获取深度相机拍摄第一用户进行动作所得到的至少两帧连续深度图像。
可选地,当第一心理健康调节目标对应的任务动作提示信息包括以下至少一项:图像、文本和音频时,步骤206和步骤201也可以如下执行:
呈现第一心理健康调节目标对应的任务动作提示信息;以及在与第一心理健康调节目标对应的预设动作时长内实时获取深度相机拍摄第一用户进行动作所得到的至少两帧连续深度图像。这里,与第一心理健康调节目标对应的预设动作时长可以是由技术人员预先制定并存储到上述执行主体的时长参数值。第一心理健康调节目标对应的预设动作时长用于表征用户应在上述预设动作时长内完成相应动作。
在一些可选的实施方式中,上述执行主体还可以在执行步骤206之后,执行以下步骤207和步骤208:
步骤207,呈现预设心理健康调节目标标识集合。
这里,预设心理健康调节目标标识集合中各心理健康调节目标标识可以用于唯一指示不同的心理健康调节目标。心理健康调节目标标识也可以是采用各种形式进行呈现,例如可以包括文本、图像、音频、视频等。
步骤208,响应于检测到针对预设心理健康调节目标标识集合中第一心理健康调节目标标识的选择操作,将第一心理健康调节目标标识所指示的心理健康调节目标确定为第一心理健康调节目标。
通过步骤207和步骤208,可以使用户在预设心理健康调节目标标识集合所指示的心理健康调节目标集合中选择自己所希望达到的心理健康调节目标,在通过步骤206呈现相应用户选择的心理健康调节目标对应的任务提示信息(例如,真人动作展示视频),进而用户可以按照所呈现的任务提示信息进行动作,并通过深度相机采集相应的用户动作深度图像序列,再基于采集得到的用户动作深度图像序列进行特征提取得到用户动作特征,以及将用户动作特征输入给用户所选择的心理健康调节目标对应的目标达成确定模型,以确定用户是否达到其所选择的心理健康调节目标,并向用户呈现其是否达到选择的心理健康调节目标的提示信息,进而用户可实现从目标选择、进行动作到结果反馈的闭环心理调节过程,以便用户知晓自己达标与否,并以此为依据进行下一步决策。
本公开的上述实施例提供的信息生成方法,通过获取利用深度相机拍摄第一用户依据第一心理健康调节目标对应的任务动作提示信息进行动作所得到的第一深度图像序列,再基于第一用户深度图像序列进行特征提取,得到第一用户的动作特征,再将第一用户的动作特征输入预先训练的、与第一心理健康调节目标对应的目标达成确定模型,得到用于指示与至少两帧连续深度图像对应的第一用户动作是否达到第一心理健康调节目标的第一目标达成信息。从而,第一用户可以根据心理健康调节目标对应的任务动作提示信息进行动作,并自动给出第一用户动作是否达到相应心理健康调节目标,进而实现完整闭环反馈。即,在第一用户完成动作后及时给出是否达成心理健康调节目标的反馈结果,第一用户可及时得到反馈。且整个过程不需心理咨询师和舞动治疗师人工介入,也不需特别的场景和场地,可以降低调节用户心理健康状态的人工成本、经济成本和时间成本,且不依赖于心理咨询师和舞动治疗师的个人经验,进而统一服务标准。
进一步参考图4,作为对上述各图所示方法的实现,本公开提供了一种信息生成装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图4所示,本实施例的信息生成装置400包括:第一获取单元401,被配置成获取第一深度图像序列,所述第一深度图像序列是拍摄第一用户依据第一心理健康调节目标对应的任务动作提示信息进行动作所得到的至少两帧连续深度图像;特征提取单元402,被配置成基于所述第一深度图像序列进行特征提取,得到所述第一用户的动作特征;而第一确定单元403,被配置成将所述第一用户的动作特征输入预先训练的、与所述第一心理健康调节目标对应的目标达成确定模型,得到用于指示与所述第一深度图像序列对应的第一用户动作是否达到所述第一心理健康调节目标的第一目标达成信息,其中,所述目标达成确定模型用于表征人体动作特征与用于指示是否达到所述第一心理健康调节目标的目标达成信息之间的对应关系。
在本实施例中,信息生成装置400的第一获取单元401、特征提取单元402和第一确定单元402的具体处理及其所带来的技术效果可分别参考图2对应实施例中步骤201、步骤202和步骤203的相关说明,在此不再赘述。
在一些可选的实施方式中,所述装置400还可以包括:第一呈现单元(图4中未示出),被配置成呈现与所述第一目标达成信息对应的目标达成提示信息。
在一些可选的实施方式中,所述装置400还可以包括:第二呈现单元(图4中未示出),被配置成在所述获取第一深度图像序列之前,呈现与所述第一心理健康调节目标对应的任务动作提示信息。
在一些可选的实施方式中,所述第一心理健康调节目标对应的任务动作提示信息可以包括视频和/或音频;以及所述第二呈现单元(图4中未示出)和所述第一获取单元401可以进一步被配置成:播放所述第一心理健康调节目标对应的任务动作提示信息以及在所述播放所述第一心理健康调节目标对应的任务动作提示信息的过程中实时获取深度相机拍摄所述第一用户进行动作所得到的至少两帧连续深度图像。
在一些可选的实施方式中,所述第一心理健康调节目标对应的任务动作提示信息可以包括以下至少一项:图像、文本和音频;以及所述第一获取单元401可以进一步被配置成:在与所述第一心理健康调节目标对应的预设动作时长内实时获取深度相机拍摄所述第一用户进行动作所得到的至少两帧连续深度图像。
在一些可选的实施方式中,所述装置400还可以包括:第三呈现单元(图4中未示出),被配置成在所述呈现与所述第一心理健康调节目标对应的任务动作提示信息之前,呈现预设心理健康调节目标标识集合;第二确定单元(图4中未示出),被配置成响应于检测到针对所述预设心理健康调节目标标识集合中第一心理健康调节目标标识的选择操作,将所述第一心理健康调节目标标识所指示的心理健康调节目标确定为所述第一心理健康调节目标。
在一些可选的实施方式中,所述装置400还可以包括:第二获取单元(图4中未示出),被配置成在将所述第一用户的动作特征输入预先训练的、与所述第一心理健康调节目标对应的目标达成确定模型,得到所述第一目标达成信息之前,获取第一生理特征参数序列,所述第一生理特征参数序列是在拍摄并得到所述第一深度图像序列的过程中,采集所述第一用户的至少一项生理特征参数所得到的相应生理特征参数序列;以及所述特征提取单元402可以进一步被配置成:基于所述第一深度图像序列和所述第一生理特征参数序列进行特征提取,得到所述第一用户的动作特征。
在一些可选的实施方式中,至少一项生理特征参数可以包括以下至少一项:心率参数、皮肤电参数。
在一些可选的实施方式中,所述特征提取单元402可以进一步被配置成:对所述第一深度图像序列进行特征空间转换,得到第一点云数据序列;基于所述第一点云数据序列进行特征提取,得到所述第一用户的动作特征。
在一些可选的实施方式中,所述基于所述第一点云数据序列进行特征提取,得到所述第一用户的动作特征,可以包括:基于所述第一点云数据序列进行动作分割,得到至少一个按时间排序的第一点云数据子序列;对各所述第一点云数据子序列进行特征提取得到相应特征;基于各所述第一点云数据子序列的特征,确定所述第一用户的动作特征。
在一些可选的实施方式中,所述与所述第一心理健康调节目标对应的目标达成确定模型可以是通过如下训练步骤得到的:获取训练样本集合,其中,所述训练样本包括拍摄样本用户依据所述第一心理健康调节目标对应的任务动作提示信息进行动作所得到的样本深度图像序列和用于指示所述样本深度图像序列对应的用户动作是否达成所述第一心理健康调节目标的标注目标达成信息;对于所述训练样本集合中的训练样本,执行以下参数调整操作直到满足预设训练结束条件:基于该训练样本中的样本深度图像序列进行特征提取,得到相应的动作特征;将所得到的动作特征输入初始目标达成确定模型,得到相应的目标达成信息;基于所得到的目标达成信息与该训练样本中的标注目标达成信息之间的差异,调整所述初始目标达成确定模型的模型参数;将训练得到的所述初始目标达成确定模型确定为预先训练的与所述第一心理健康调节目标对应的目标达成确定模型。
需要说明的是,本公开的实施例提供的信息生成装置中各单元的实现细节和技术效果可以参考本公开中其它实施例的说明,在此不再赘述。
下面参考图5,其示出了适于用来实现本公开的电子设备的计算机系统500的结构示意图。图5示出的计算机系统500仅仅是一个示例,不应对本公开的实施例的功能和使用范围带来任何限制。
如图5所示,计算机系统500可以包括处理装置(例如中央处理器、图形处理器等)501,其可以根据存储在只读存储器(ROM)502中的程序或者从存储装置508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中,还存储有计算机系统500操作所需的各种程序和数据。处理装置501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
通常,以下装置可以连接至I/O接口505:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风等的输入装置506;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置507;包括例如磁带、硬盘等的存储装置508;以及通信装置509。通信装置509可以允许计算机系统500与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备的计算机系统500,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置509从网络上被下载和安装,或者从存储装置508被安装,或者从ROM 502被安装。在该计算机程序被处理装置501执行时,执行本公开的实施例的方法中限定的上述功能。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备实现如图2所示的实施例及其可选实施方式示出的信息生成方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开的实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定,例如,第一获取单元还可以被描述为“获取第一深度图像序列的单元”。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (16)

1.一种信息生成方法,包括:
获取第一深度图像序列,所述第一深度图像序列是拍摄第一用户依据第一心理健康调节目标对应的任务动作提示信息进行动作所得到的至少两帧连续深度图像;
基于所述第一深度图像序列进行特征提取,得到所述第一用户的动作特征;
将所述第一用户的动作特征输入预先训练的、与所述第一心理健康调节目标对应的目标达成确定模型,得到用于指示与所述第一深度图像序列对应的第一用户动作是否达到所述第一心理健康调节目标的第一目标达成信息,其中,所述目标达成确定模型用于表征人体动作特征与用于指示是否达到所述第一心理健康调节目标的目标达成信息之间的对应关系。
2.根据权利要求1所述的方法,其中,所述方法还包括:
呈现与所述第一目标达成信息对应的目标达成提示信息。
3.根据权利要求1所述的方法,其中,在所述获取第一深度图像序列之前,所述方法还包括:
呈现与所述第一心理健康调节目标对应的任务动作提示信息。
4.根据权利要求3所述的方法,其中,所述第一心理健康调节目标对应的任务动作提示信息包括视频和/或音频;以及
所述呈现与所述第一心理健康调节目标对应的任务动作提示信息,以及所述获取第一深度图像序列,包括:
播放所述第一心理健康调节目标对应的任务动作提示信息以及在所述播放所述第一心理健康调节目标对应的任务动作提示信息的过程中实时获取深度相机拍摄所述第一用户进行动作所得到的至少两帧连续深度图像。
5.根据权利要求3所述的方法,其中,所述第一心理健康调节目标对应的任务动作提示信息包括以下至少一项:图像、文本和音频;以及
所述获取第一深度图像序列,包括:
在与所述第一心理健康调节目标对应的预设动作时长内实时获取深度相机拍摄所述第一用户进行动作所得到的至少两帧连续深度图像。
6.根据权利要求3所述的方法,其中,在所述呈现与所述第一心理健康调节目标对应的任务动作提示信息之前,所述方法还包括:
呈现预设心理健康调节目标标识集合;
响应于检测到针对所述预设心理健康调节目标标识集合中第一心理健康调节目标标识的选择操作,将所述第一心理健康调节目标标识所指示的心理健康调节目标确定为所述第一心理健康调节目标。
7.根据权利要求1所述的方法,其中,在将所述第一用户的动作特征输入预先训练的、与所述第一心理健康调节目标对应的目标达成确定模型,得到所述第一目标达成信息之前,所述方法还包括:
获取第一生理特征参数序列,所述第一生理特征参数序列是在拍摄并得到所述第一深度图像序列的过程中,采集所述第一用户的至少一项生理特征参数所得到的相应生理特征参数序列;以及
所述基于所述第一深度图像序列进行特征提取,得到所述第一用户的动作特征,包括:
基于所述第一深度图像序列和所述第一生理特征参数序列进行特征提取,得到所述第一用户的动作特征。
8.根据权利要求7所述的方法,其中,至少一项生理特征参数包括以下至少一项:心率参数、皮肤电参数。
9.根据权利要求1所述的方法,其中,所述基于所述第一深度图像序列进行特征提取,得到所述第一用户的动作特征,包括:
对所述第一深度图像序列进行特征空间转换,得到第一点云数据序列;
基于所述第一点云数据序列进行特征提取,得到所述第一用户的动作特征。
10.根据权利要求9所述的方法,其中,所述基于所述第一点云数据序列进行特征提取,得到所述第一用户的动作特征,包括:
基于所述第一点云数据序列进行动作分割,得到至少一个按时间排序的第一点云数据子序列;
对各所述第一点云数据子序列进行特征提取得到相应特征;
基于各所述第一点云数据子序列的特征,确定所述第一用户的动作特征。
11.根据权利要求1所述的方法,其中,所述与所述第一心理健康调节目标对应的目标达成确定模型是通过如下训练步骤得到的:
获取训练样本集合,其中,所述训练样本包括拍摄样本用户依据所述第一心理健康调节目标对应的任务动作提示信息进行动作所得到的样本深度图像序列和用于指示所述样本深度图像序列对应的用户动作是否达成所述第一心理健康调节目标的标注目标达成信息;
对于所述训练样本集合中的训练样本,执行以下参数调整操作直到满足预设训练结束条件:基于该训练样本中的样本深度图像序列进行特征提取,得到相应的动作特征;将所得到的动作特征输入初始目标达成确定模型,得到相应的目标达成信息;基于所得到的目标达成信息与该训练样本中的标注目标达成信息之间的差异,调整所述初始目标达成确定模型的模型参数;
将训练得到的所述初始目标达成确定模型确定为预先训练的与所述第一心理健康调节目标对应的目标达成确定模型。
12.一种信息生成装置,包括:
第一获取单元,被配置成获取第一深度图像序列,所述第一深度图像序列是拍摄第一用户依据第一心理健康调节目标对应的任务动作提示信息进行动作所得到的至少两帧连续深度图像;
特征提取单元,被配置成基于所述第一深度图像序列进行特征提取,得到所述第一用户的动作特征;
第一确定单元,被配置成将所述第一用户的动作特征输入预先训练的、与所述第一心理健康调节目标对应的目标达成确定模型,得到用于指示与所述第一深度图像序列对应的第一用户动作是否达到所述第一心理健康调节目标的第一目标达成信息,其中,所述目标达成确定模型用于表征人体动作特征与用于指示是否达到所述第一心理健康调节目标的目标达成信息之间的对应关系。
13.一种电子设备,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1-11中任一所述的方法。
14.一种计算机可读存储介质,其上存储有计算机程序,其中,所述计算机程序被一个或多个处理器执行时实现如权利要求1-11中任一所述的方法。
15.一种信息生成系统,包括:
深度相机;以及
电子设备,与所述深度相机通信连接,所述电子设备被配置为执行如权利要求1-11中任一所述的方法。
16.根据权利要求15所述的系统,其中,所述系统还包括:
至少一个与所述电子设备通信连接的、用于采集人体生理特征参数的可穿戴设备。
CN202210299494.2A 2022-03-25 2022-03-25 信息生成方法、装置、电子设备、存储介质和系统 Pending CN114392457A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210299494.2A CN114392457A (zh) 2022-03-25 2022-03-25 信息生成方法、装置、电子设备、存储介质和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210299494.2A CN114392457A (zh) 2022-03-25 2022-03-25 信息生成方法、装置、电子设备、存储介质和系统

Publications (1)

Publication Number Publication Date
CN114392457A true CN114392457A (zh) 2022-04-26

Family

ID=81233972

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210299494.2A Pending CN114392457A (zh) 2022-03-25 2022-03-25 信息生成方法、装置、电子设备、存储介质和系统

Country Status (1)

Country Link
CN (1) CN114392457A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130099323A (ko) * 2012-02-29 2013-09-06 디게이트 주식회사 네추럴 인터렉션 기반 건강 및 재활운동 기능성 측정 평가 방법
CN108511066A (zh) * 2018-03-29 2018-09-07 百度在线网络技术(北京)有限公司 信息生成方法和装置
CN109344796A (zh) * 2018-10-22 2019-02-15 Oppo广东移动通信有限公司 信息处理方法和装置、电子设备、计算机可读存储介质
CN111931869A (zh) * 2020-09-25 2020-11-13 湖南大学 一种人机自然交互的用户注意力检测方法及系统
CN111933280A (zh) * 2020-09-15 2020-11-13 广东电网有限责任公司电力科学研究院 一种员工心理健康状态评估方法及装置
CN113688710A (zh) * 2021-08-17 2021-11-23 哈尔滨医科大学 儿童孤独症训练系统及其方法
WO2021253777A1 (zh) * 2020-06-19 2021-12-23 北京市商汤科技开发有限公司 姿态检测及视频处理方法、装置、电子设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130099323A (ko) * 2012-02-29 2013-09-06 디게이트 주식회사 네추럴 인터렉션 기반 건강 및 재활운동 기능성 측정 평가 방법
CN108511066A (zh) * 2018-03-29 2018-09-07 百度在线网络技术(北京)有限公司 信息生成方法和装置
CN109344796A (zh) * 2018-10-22 2019-02-15 Oppo广东移动通信有限公司 信息处理方法和装置、电子设备、计算机可读存储介质
WO2021253777A1 (zh) * 2020-06-19 2021-12-23 北京市商汤科技开发有限公司 姿态检测及视频处理方法、装置、电子设备和存储介质
CN111933280A (zh) * 2020-09-15 2020-11-13 广东电网有限责任公司电力科学研究院 一种员工心理健康状态评估方法及装置
CN111931869A (zh) * 2020-09-25 2020-11-13 湖南大学 一种人机自然交互的用户注意力检测方法及系统
CN113688710A (zh) * 2021-08-17 2021-11-23 哈尔滨医科大学 儿童孤独症训练系统及其方法

Similar Documents

Publication Publication Date Title
US11206450B2 (en) System, apparatus and method for providing services based on preferences
US11398223B2 (en) Electronic device for modulating user voice using artificial intelligence model and control method thereof
US9875445B2 (en) Dynamic hybrid models for multimodal analysis
Chou et al. NNIME: The NTHU-NTUA Chinese interactive multimodal emotion corpus
JP2021503662A (ja) ニューラルネットワークのモデルの訓練
US11301775B2 (en) Data annotation method and apparatus for enhanced machine learning
CN109475294A (zh) 用于治疗精神障碍的移动和可穿戴视频捕捉和反馈平台
Gligoric et al. Smart classroom system for detecting level of interest a lecture creates in a classroom
US11602287B2 (en) Automatically aiding individuals with developing auditory attention abilities
KR101913811B1 (ko) 얼굴 표현 및 심리 상태 파악과 보상을 위한 얼굴 정보 분석 방법 및 얼굴 정보 분석 장치
CN112307947A (zh) 用于生成信息的方法和装置
JP2023103335A (ja) コンピュータプログラム、サーバ装置、端末装置及び表示方法
CN113496156B (zh) 一种情感预测方法及其设备
KR20180074562A (ko) 전자 장치 및 이의 제어 방법
Shanthi et al. An integrated approach for mental health assessment using emotion analysis and scales
CN108460364B (zh) 用于生成信息的方法和装置
KR20220106029A (ko) 인공지능을 활용한 심리 상담 방법 및 장치
CN110545386B (zh) 用于拍摄图像的方法和设备
KR102452100B1 (ko) 뇌파 및 눈 깜빡임 기반 학습 서비스 제공 방법, 장치 및 시스템
Kanna et al. Detection of Emotion Employing Deep Learning Modelling Approach
CN114392457A (zh) 信息生成方法、装置、电子设备、存储介质和系统
US20230290505A1 (en) Context Aware Assessment
Chaudhari et al. Emotion recognition system via facial expressions and speech using machine learning and deep learning techniques
US20210142047A1 (en) Salient feature extraction using neural networks with temporal modeling for real time incorporation (sentri) autism aide
CN114420294A (zh) 心理发展水平评估方法、装置、设备、存储介质和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40066713

Country of ref document: HK