CN114167993B - 信息处理方法及装置 - Google Patents

信息处理方法及装置 Download PDF

Info

Publication number
CN114167993B
CN114167993B CN202210124208.9A CN202210124208A CN114167993B CN 114167993 B CN114167993 B CN 114167993B CN 202210124208 A CN202210124208 A CN 202210124208A CN 114167993 B CN114167993 B CN 114167993B
Authority
CN
China
Prior art keywords
action
information
corrected
auxiliary
interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210124208.9A
Other languages
English (en)
Other versions
CN114167993A (zh
Inventor
李超超
李东朔
王晔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Youmu Technology Co ltd
Original Assignee
Beijing Youmu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Youmu Technology Co ltd filed Critical Beijing Youmu Technology Co ltd
Priority to CN202210124208.9A priority Critical patent/CN114167993B/zh
Publication of CN114167993A publication Critical patent/CN114167993A/zh
Application granted granted Critical
Publication of CN114167993B publication Critical patent/CN114167993B/zh
Priority to PCT/CN2022/107229 priority patent/WO2023151232A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本说明书提供信息处理方法及装置,其中所述信息处理方法包括:响应于任务执行指令在动作辅助界面展示基准动作;采集所述基准动作关联的待纠正动作,并确定所述待纠正动作对应的待纠正动作信息;根据所述待纠正动作信息和所述基准动作对应的基准动作信息,创建所述动作辅助界面对应的更新信息;根据所述更新信息将所述动作辅助界面更新为目标动作辅助界面并展示。

Description

信息处理方法及装置
技术领域
本说明书涉及计算机技术领域,特别涉及信息处理方法及装置。
背景技术
随着互联网技术的发展,计算机视觉领域成为了重要的研究方向;而人体关键点检测一直受到业界的广泛关注,其主要功能是准确的定位出人体的关键点,为后续的处理做准备。比如公开号CN114022512A、CN107281710A以及CN112237730A,均公开了关于人机交互的方案,实现可以响应于关键点的识别处理后,向用户提供相应的内容并展示;或者安全检测场景,可以响应于关键点的识别处理后,通过报警设备发出报警提醒。以实现通过动作识别的方式向用户提供相应服务。
发明内容
有鉴于此,本说明书实施例提供了一种信息处理方法。本说明书同时涉及一种信息处理装置,一种计算设备,以及一种计算机可读存储介质,以解决现有技术中存在的动作识别精准度低且无法对用户进行姿态纠正技术缺陷。
根据本说明书实施例的第一方面,提供了一种信息处理方法,包括:
响应于任务执行指令在动作辅助界面展示基准动作;
采集所述基准动作关联的待纠正动作,并确定所述待纠正动作对应的待纠正动作信息;
根据所述待纠正动作信息和所述基准动作对应的基准动作信息,创建所述动作辅助界面对应的更新信息;
根据所述更新信息将所述动作辅助界面更新为目标动作辅助界面并展示。
可选地,所述响应于任务执行指令在动作辅助界面展示基准动作步骤执行之前,还包括:
接收用户提交的动作辅助指令,根据所述动作辅助指令确定动作辅助任务;
确定所述动作辅助任务对应的动作辅助模板以及初始动作辅助界面;
基于所述动作辅助模板将所述初始动作辅助界面更新为中间动作辅助界面并展示;
相应的,所述响应于任务执行指令在动作辅助界面展示基准动作,包括:
接收所述用户通过所述中间动作辅助界面提交的所述任务执行指令;
响应于所述任务执行指令在所述动作辅助模板中提取所述基准动作,并对所述中间动作辅助界面进行更新;
根据更新结果展示包含所述基准动作的所述动作辅助界面。
可选地,所述采集所述基准动作关联的待纠正动作,包括:
通过图像采集设备采集目标图像帧;
将所述目标图像帧输入至识别模型进行处理,获得所述目标图像帧对应的关键点信息;
基于所述关键点信息确定所述目标图像帧对应的目标动作,作为所述基准动作关联的所述待纠正动作。
可选地,所述确定所述待纠正动作对应的待纠正动作信息,包括:
确定所述待纠正动作对应的采集次数以及关键点信息,并根据所述关键点信息创建动作连线信息;
将所述采集次数和所述动作连线信息作为所述待纠正动作信息。
可选地,所述根据所述待纠正动作信息和所述基准动作对应的基准动作信息,创建所述动作辅助界面对应的更新信息,包括:
读取所述基准动作对应的所述基准动作信息,并根据所述基准动作信息确定基准动作连线信息;
根据所述基准动作连线信息和所述动作连线信息,确定所述基准动作和所述待纠正动作之间的动作相似度;
在所述采集次数对应的采集时间小于第一时间阈值的情况下,根据所述采集次数和所述动作相似度确定第一动作分值;
基于所述第一动作分值、所述采集次数以及所述动作相似度,创建所述动作辅助界面对应的所述更新信息。
可选地,还包括:
在所述采集时间大于等于所述第一时间阈值的情况下,根据所述基准动作连线信息创建辅助动作连线信息,以及根据所述采集次数和所述动作相似度确定第二动作分值;
基于所述第二动作分值、所述采集次数、所述动作相似度以及所述辅助动作连线信息,创建所述动作辅助界面对应的所述更新信息。
可选地,所述根据所述基准动作连线信息和所述动作连线信息,确定所述基准动作和所述待纠正动作之间的动作相似度,包括:
根据所述基准动作连线信息确定所述基准动作对应的基准关键点坐标,以及根据所述动作连线信息确定动作关键点坐标;
对所述基准关键点坐标和所述动作关键点坐标分别进行预处理,获得所述基准动作对应的基准相对坐标以及所述待纠正动作对应的动作相对坐标;
根据所述基准相对坐标和所述动作相对坐标计算平均相对距离;
通过对所述平均相对距离进行转换,获得所述基准动作和所述待纠正动作之间的所述动作相似度。
可选地,所述对所述基准关键点坐标进行预处理,获得所述基准动作对应的基准相对坐标,包括:
根据所述基准关键点坐标定位基准中心点坐标,并基于所述基准关键点坐标和所述基准中心点坐标计算初始基准相对坐标;
计算所述初始基准相对坐标与目标距离的比值,根据计算结果确定所述基准动作对应的所述基准相对坐标。
可选地,所述根据所述更新信息将所述动作辅助界面更新为目标动作辅助界面并展示步骤执行之后,还包括:
在所述动作相似度大于相似度阈值的情况下,确定所述任务执行指令对应的关联动作;
将所述关联动作作为所述基准动作,并执行所述响应于任务执行指令在动作辅助界面展示基准动作的步骤。
根据本说明书实施例的第二方面,提供了一种信息处理装置,包括:
展示模块,被配置为响应于任务执行指令在动作辅助界面展示基准动作;
采集模块,被配置为采集所述基准动作关联的待纠正动作,并确定所述待纠正动作对应的待纠正动作信息;
创建模块,被配置为根据所述待纠正动作信息和所述基准动作对应的基准动作信息,创建所述动作辅助界面对应的更新信息;
更新模块,被配置为根据所述更新信息将所述动作辅助界面更新为目标动作辅助界面并展示。
根据本说明书实施例的第三方面,提供了一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令时实现所述信息处理方法的步骤。
根据本说明书实施例的第四方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现所述信息处理方法的步骤。
本说明书提供的信息处理方法,为了能够实现辅助用户进行动作训练,可以响应于任务执行指令在动作辅助界面展示基准动作,之后采集基准动作关联的待纠正动作,并确定待纠正动作对应的待纠正信息,此时确定了用户针对基准动作摆放处的待纠正动作的相关信息;再根据待纠正动作信息和基准动作对应的基准动作信息,创建动作辅助界面对应的更新信息,最后按照更新信息对动作辅助界面进行更新,即可得到能够向用户表达其作出的待纠正动作相关参数的目标动作辅助界面,实现向用户展示目标动作辅助界面的方式,使用户了解待纠正动作与基准动作的相关性,实现对用户动作训练的目的,提高姿态表达的效果。
附图说明
图1是本说明书一实施例提供的一种信息处理方法的流程图;
图2是本说明书一实施例提供的一种动作辅助界面的示意图;
图3是本说明书一实施例提供的另一种动作辅助界面的示意图;
图4是本说明书一实施例提供的一种信息处理方法的处理流程图;
图5是本说明书一实施例提供的一种信息处理装置的结构示意图;
图6是本说明书一实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本说明书内涵的情况下做类似推广,因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在本说明书中,提供了一种信息处理方法,本说明书同时涉及一种信息处理装置,一种计算设备,以及一种计算机可读存储介质,在下面的实施例中逐一进行详细说明。
图1示出了根据本说明书一实施例提供的一种信息处理方法的流程图,具体包括以下步骤:
步骤S102,响应于任务执行指令在动作辅助界面展示基准动作。
具体的,任务执行指令具体是指针对动作训练任务提交的指令,且在动作任务训练中,可以向用户展示基准动作的方式教导用户各个动作如何摆放。比如在演讲训练场景中,可以通过动作训练任务辅助用户学习演讲,以告知用户如何进行手势动作的摆放和变化;或者在运动动作训练场景中,可以通过动作训练任务辅助用户学习瑜伽动作,以告知用户如何进行肢体动作的摆放和变化;再或者在餐饮服务动作训练场景中,可以通过动作训练任务辅助用户学习迎宾服务,以告知用户如何进行迎宾动作的摆放和变化。
相应的,基准动作具体是指需要用户学习的标准动作,且基准动作与动作任务训练场景相关,即动作训练任务可以根据实际应用场景进行设定,且不同的场景下会对应不同的基准动作,以达到通过基准动作辅助用户完成动作训练,本实施例在此不作任何限定。相应的,动作辅助界面具体是指向用户提供基准动作展示,且能够指导用户学习基准动作的界面,该界面中至少包括两部分区域,分别为对基准动作进行展示的区域,以及实时采集用户摆放的动作且进行展示的区域,以方便用户通过动作辅助界面了解当前时刻自己摆放的动作,以及需要学习的基准动作,从而达到学习基准动作的目的。实际应用中,动作辅助界面除上述两部分区域外,还可以根据实际需求设置其他区域,如播放音频的控件操作区域等,本实施例在此不作任何限定。
基于此,当用户需要进行动作训练时,可以通过前端向用户展示的界面提交任务执行指令,之后此时可以响应于任务执行指令确定用户需要学习的基准动作组合,其中,基准动作组合中包含至少一个基准动作;之后将基准动作组合中的动作按照顺序选择优先级最高的基准动作添加到动作辅助界面,以向用户展示包含基准动作的动作辅助界面,使得用户后续可以按照基准动作进行动作训练的实现。
进一步的,考虑到不同场景下用户需要学习的基准动作可能不同,即不同场景会对应不同的动作训练任务,而为了能够覆盖更为广泛的动作训练场景,通常会向用户提供多个动作训练任务;在此基础上,则需要根据用户的选择才能够展示满足用户训练需求的基准动作,因此可以通过提供中间动作辅助界面的方式定位用户的动作训练诉求,本实施例中,具体实现方式如下:
接收用户提交的动作辅助指令,根据所述动作辅助指令确定动作辅助任务;确定所述动作辅助任务对应的动作辅助模板以及初始动作辅助界面;基于所述动作辅助模板将所述初始动作辅助界面更新为中间动作辅助界面并展示;
接收所述用户通过所述中间动作辅助界面提交的所述任务执行指令;响应于所述任务执行指令在所述动作辅助模板中提取所述基准动作,并对所述中间动作辅助界面进行更新;根据更新结果展示包含所述基准动作的所述动作辅助界面。
具体的,动作辅助指令具体是指用户需要进行动作训练时,通过前端展示界面提交的选择指令,通过动作辅助指令可以确定用户选择的动作辅助任务;相应的,动作辅助任务具体是指满足用户当前选择需求的动作训练任务,通过动作辅助任务可以明确用户需要训练的动作对应场景;相应的,动作辅助模板具体是指包含基准动作组合的模板,即用户即将需要学习的基准动作都存在于动作辅助模板中,且动作辅助模板具有相应的动作辅助规则,用于告知用户如何进行动作辅助任务的执行。相应的,初始动作辅助界面具体是指动作辅助界面模板,即初始动作辅助界面中还未被添加对应动作辅助任务的相关信息,且不会被展示;相应的,中间动作辅助模板具体是指按照动作辅助模板对初始动作辅助界面进行更新后的界面,即中间动作辅助界面中包含动作辅助任务相关的信息内容,用于告知动作辅助任务相关的基准动作内容信息、如何进行动作训练信息和/或动作训练规则信息等,以方便用户进行接下来的动作训练。
基于此,当接收到用户提交的动作辅助指令后,为了能够向用户提供满足其动作训练需求的基准动作,可以先根据动作辅助指令确定动作辅助任务,同时确定动作辅助任务对应的动作辅助模板,以及待渲染的初始动作辅助界面,以此明确用户需要训练的基准动作关联的动作辅助模板,以及后续需要进行动作训练的初始动作辅助界面。
进一步的,此时可以基于动作辅助模板对初始动作辅助界面进行更新,以获得中间动作辅助界面并向用户进行展示,实现告知用户关于动作训练的相关规则,以及如何进行动作训练的相关信息等。
更进一步的,当接收到用户通过中间动作辅助界面提交的任务执行指令的情况下,说明用户需要执行动作辅助任务,以实现对动作辅助模板中的基准动作进行学习,实现训练自身动作摆放规范的目的;则此时可以响应于任务执行指令在动作辅助模板中提取需要辅导用户进行动作训练的基准动作,同时基于基准动作对中间动作辅助界面进行更新,以更新出包含基准动作的动作辅助界面向用户进行展示,实现用户可以根据动作辅助界面中的基准动作进行动作训练。
本实施例以信息处理方法在演讲动作训练场景中的应用为例进行说明,即用户需要学习用于演讲场景的相关动作,其他动作训练场景中相关的描述内容均可参见本实施例相同或相应的描述内容,本实施例在此不作任何限定。
基于此,接收用户提交的演讲动作训练指令,此时可以根据演讲动作训练指令确定演讲动作训练任务,之后确定演讲动作训练模板和初始动作训练界面;由于演讲动作训练模板中包含两个演讲动作,因此可以基于演讲动作训练模板将初始动作训练界面更新为中间动作训练界面向用户进行展示,以告知用户演讲动作包含两个待学习的基准演讲动作,同时告知用户如何进行动作训练、训练规则等信息。
进一步的,当用户通过中间动作训练界面提交任务执行指令的情况下,说明用户需要开始学习演讲动作,则此时可以响应于任务执行指令在演讲动作训练模板中提取第一个基准演讲动作,并以此对中间动作训练界面进行更新,生成如图2中(a)所示的动作训练界面的示意图,以向用户展示第一基准演讲动作。
综上,通过向用户提供中间动作辅助界面的方式辅助用户进行基准动作的确定,从而可以保证后续向用户展示满足其学习需求的基准动作,以达到辅助用户充分学习基准动作的目的。
此外,在向用户展示包含基准动作的动作辅助界面时,此时即开启动作辅助任务,即用户即可开始学习基准动作达到动作训练的目的。在此过程中,为了能够方便用户了解动作学习进度,以及动作学习标准度,可以在动作辅助界面中展示关于动作学习的相关信息,如动作采集次数、用户摆放的动作相对于基准动作的相似度、用户摆放的动作的得分、用户基准动作完成度、用户基准动作未完成度等相关信息;如图2中(a)所示的示意图,可以向用户展示演讲动作学习进度、用户动作采集次数、用户学习的动作与基准演讲动作的相似度、以及用户学习的动作的得分,以达到辅助用户了解动作训练详情的目的。实际应用中,动作辅助界面中包含的内容可以根据实际应用场景进行设定,本实施例在此不作任何限定。
步骤S104,采集所述基准动作关联的待纠正动作,并确定所述待纠正动作对应的待纠正动作信息。
具体的,在上述响应于任务执行指令向用户展示基准动作后,进一步的,此后用户即可根据动作辅助界面中展示的基准动作进行动作学习,也就是说,用户可以根据基准动作的摆放自身的肢体做出相应的待纠正动作,此时终端将通过采集模块采集用户摆放的待纠正动作,并以此确定待纠正动作的待纠正动作信息,以方便后续可以结合待纠正动作信息确定用户的动作摆放标准程度,用于对动作辅助界面进行更新,以充分表达用户的动作学习情况。
其中,待纠正动作具体是指用户基于基准动作进行摆放后,被采集模块采集到的动作;需要说明的是,在进行待纠正动作采集时,实则是按照逐帧完成,即通过采集每一帧的待纠正动作进行后续的动作辅助界面的更新操作,以达到通过动作辅助界面实时反馈动作学习情况。相应的,待纠正动作信息具体是指待纠正动作对应的属性信息,通过待纠正动作信息可以确定待纠正动作被采集的次数、待纠正动作中各个肢体关键点的位置信息等。
进一步的,在对待纠正动作进行采集时,为了能够保证采集精准度,以实现后续可以精准的分析动作学习标准度,可以通过识别模型实现,本实施例中,具体实现方式如下:
通过图像采集设备采集目标图像帧;将所述目标图像帧输入至识别模型进行处理,获得所述目标图像帧对应的关键点信息;基于所述关键点信息确定所述目标图像帧对应的目标动作,作为所述基准动作关联的所述待纠正动作。
具体的,图像采集设备具体是指终端配置的能够采集图像的设备,如手机摄像头;相应的,目标图像帧具体是指当前时刻采集到的需要进行识别待纠正动作的图像帧;相应的,识别模型具体是指能够对目标图像帧中表征待纠正动作的关键点进行识别的模型,即通过识别模型可以确定目标图像帧中用户的肢体关键点信息,用于构建出待纠正动作;相应的,关键点信息具体是指能够表征待纠正动作的关键点相关的信息,包括但不限于躯干关键点、四肢关键点等。
基于此,当通过图像采集设备采集到目标图像帧后,为了能够在后续目标图像帧中的待纠正动作作出准确的动作判断,可以将目标图像帧输入至识别模型进行处理,以获得目标图像帧对应的关键点信息,即目标图像帧中关于用户的躯干和四肢关键点的位置信息,之后基于关键点信息构建目标动作,将其作为基准动作关联的待纠正动作,以方便后续用于创建更新信息。
需要说明的是,由于关键点信息是对应用户的身体上的关键点,因此关键点的连线能够与用户作出的动作具有映射关系,通过将关键点连线表征待纠正动作,可以方便后续以此为基础检测动作学习情况,实现确定对界面进行更新的更新信息,从而完成界面更新处理操作,以向用户展示能够体现动作学习情况的动作辅助界面。也就是说,待纠正动作即为用户摆放出相应的动作后,对应该动作下用户关联的关键点连线所表征的动作。用于表征用户当前时刻摆放出的动作,实现通过计算机进行处理。
此外,在为了能够通过识别模型有效的识别关键点,以方便后续构建出与用户摆放的动作相匹配的目标动作,可以在训练阶段针对性进行训练,即获取样本图像帧以及样本图像帧对应的样本标签,其中样本标签即为对样本图像帧中的用户对应的关键点进行准确的标注的标签;之后将样本图像帧输入至初始识别模型进行处理,获得预测关键帧信息;此时基于样本标签和预测关键帧信息对初始模型进行调参,直至获得满足训练停止条件的识别模型即可;即获得的识别模型能够在实际应用场景中,准确的识别图像帧中的用户对应的关键帧信息,以用于构建用户摆放的动作对应的待纠正动作,实现后续进行使用。
综上,通过结合识别模型进行关键点信息的识别,以此为基础确定待纠正动作,可以有效的保证待纠正动作确定的精准度,以此充分表征用户摆放出的动作,实现后续可以在此基础上充分分析用户的动作情况,以构建出准确的更新信息。
进一步的,在确定待纠正动作后,为了能够基于待纠正动作的基础上,在界面中展示动作的学习相关信息,此时可以通过采集次数和动作连线信息确定待纠正动作信息,以方便后续构建更新信息,本实施例中,具体实现方式如下:
确定所述待纠正动作对应的采集次数以及关键点信息,并根据所述关键点信息创建动作连线信息;将所述采集次数和所述动作连线信息作为所述待纠正动作信息。
具体的,采集次数具体是指采集到待纠正动作时所采集的次数,每个次数代表1帧;相应的,关键点信息具体是指待纠正动作对应的关键点的位置信息,关键点包括但不限于躯体、四肢关节点、面部五官点等。相应的,动作连线信息具体是指各个关键点连接后的图形信息,以此表征待纠正动作的相关信息。
基于此,当确定待纠正动作后,为了能够在后续以此为基础构建出准确的更新界面,且充分表征动作学习情况的界面,此时可以确定待纠正动作对应的采集次数以及关键点信息,之后根据关键点信息创建动作连线信息,最后将采集次数和动作连线信息作为待纠正动作信息即可。
沿用上例,当展示如图2中(a)所示的动作训练界面的情况下,说明此时已经开启了针对第一基准演讲动作的训练,此时可以通过终端图像采集设备采集目标图像帧,之后将目标图像帧输入到识别模型进行处理,以得到目标图像帧中用户摆放出学习的演讲动作后的关键点信息,即用户对应的14个关节点位置信息,分别为手臂关联的关节点对应的位置信息,躯体关联的关节点对应的位置信息,以及面部表情关联的关节点对应的位置信息。并以此确定用户的待纠正动作。
进一步的,为了能够在后续以待纠正动作为基础对动作训练界面进行更新,更新出表征当前帧用户的演讲动作的学习情况,此时可以确定用户摆放待纠正动作时,采集待纠正动作的次数,并对关节点对应的关键点进行连线,得到对应待纠正动作的动作连线信息,同时为了方便用户进行观看,会在动作训练界面中展示对应的关节点连线,以生成如图2中(b)所示的示意图,方便后续能够以待纠正动作对应的采集次数和动作连线信息为基础,更新出表征演讲动作学习情况的界面。
综上,通过以采集次数和动作连线信息为基础构建待纠正动作信息,可以准确的表征当前帧待纠正动作对应的属性信息,以方便后续以此为基础能够创建出更加准确的更新信息。
步骤S106,根据所述待纠正动作信息和所述基准动作对应的基准动作信息,创建所述动作辅助界面对应的更新信息。
具体的,在确定待纠正动作对应的待纠正动作信息后,进一步的,此时基于待纠正动作信息可以表征待纠正动作的动作特征,而待纠正动作又是用户基于基准动作摆出的动作,因此将待纠正动作信息与基准动作的基准动作信息进行比较,即可确定待纠正动作与基准动作的差异,从而可以基于该差异创建更新信息,以通过更新后的动作辅助界面体现差异内容,以及体现动作学习情况。
其中,基准动作信息具体是指基准动作对应的特征信息,包括但不限于基准动作对应的关键点信息、以及基准动作对应的标准采集次数信息等。相应的,更新信息具体是指对动作辅助界面进行更新的参数信息,通过更新信息可以明确需要在动作辅助界面中更新的参数,且更新信息表征当前帧采集的待纠正动作与基准动作之间的差异。
进一步的,在根据基准动作信息和待纠正动作信息创建更新信息时,实则是为了通过更新信息体现待纠正动作与基准动作之间的差异,从而反馈用户学习基准动作的学习情况,而为了能够向用户充分表达差异情况,可以结合待纠正动作的具体姿态进行更新信息的创建,本实施例中,具体实现如步骤S1062至步骤S1068。
步骤S1062,读取所述基准动作对应的所述基准动作信息,并根据所述基准动作信息确定基准动作连线信息。
步骤S1064,根据所述基准动作连线信息和所述动作连线信息,确定所述基准动作和所述待纠正动作之间的动作相似度。
具体的,基准动作连线信息具体是指基准动作对应的关键点进行连接够得到的连线相关的信息;相应的,动作相似度具体是指基准动作与待纠正动作之间的相似度,通过动作相似度可以确定用户在当前帧学习基准动作的情况,其影响着是否需要用户继续学习当前动作辅助界面中的基准动作。也就是说,动作相似度越高,表明用户当前帧学习基准动作的待纠正动作的姿态更准确,反之,动作相似度越低,表明用户当前帧学习基准动作的待纠正动作的姿态更错误,以此决定是否需要更换新的基准动作继续进行学习。
基于此,当确定待纠正动作对应的待纠正动作信息后,此时可以读取基准动作对应的基准动作信息,并根据基准动作信息确定基准动作连线信息,之后再根据基准动作连线信息和动作连线信息,计算基准动作和待纠正动作之间的相似度,即可得到二者的动作相似度,以用于后续进行更新信息的构建。
进一步的,在计算基准动作和待纠正动作之间的动作相似度时,由于动作相似度是决定更新信息包含内容的基础,因此准确的计算动作相似度,才能够充分的体现基准动作和待纠正动作之间的差异,本实施例中,动作相似的计算通过如下步骤实现。
步骤S10642,根据所述基准动作连线信息确定所述基准动作对应的基准关键点坐标,以及根据所述动作连线信息确定动作关键点坐标。
步骤S10644,对所述基准关键点坐标和所述动作关键点坐标分别进行预处理,获得所述基准动作对应的基准相对坐标以及所述待纠正动作对应的动作相对坐标。
具体的,基准关键点坐标具体是指基准动作对应的关键点在同一坐标系下的坐标;相应的,动作关键点坐标具体是指待纠正动作对应的关键点在同一坐标系下的坐标;相应的,对关键点坐标预处理具体是指基于关键点坐标转换为相对坐标的预处理,实现通过相对坐标之间的相对距离体现同一个关键点的差异程度,以此整合全部关键点之间的相对坐标之间的相对距离得到动作相似度;相应的,基准相对坐标具体是指对基准关键点坐标进行预处理后得到的相对坐标;待纠正动作坐标具体是指对动作关键点坐标进行预处理后得到的相对坐标。
进一步的,在对关键点坐标进行预处理时,其中,基准关键点坐标的具体预处理过程如下所述:
根据所述基准关键点坐标定位基准中心点坐标,并基于所述基准关键点坐标和所述基准中心点坐标计算初始基准相对坐标;计算所述初始基准相对坐标与目标距离的比值,根据计算结果确定所述基准动作对应的所述基准相对坐标。
具体的,基准中心点坐标具体是指根据基准关键点坐标定位的中心点坐标,比如关键点对应身体的各个关节,则可以通过双肩关键点对应的关键点坐标定位双肩中心点作为基准中心点坐标;以计算出各个基准关键点坐标相对于基准中心点坐标之间的初始基准相对坐标;相应的,初始基准相对坐标具体是指各个基准关键点坐标相对于基准中心点坐标的计算结果坐标;相应的,目标距离具体是指计算基准中心点坐标的两个基准关键点坐标之间的距离。
基于此,当得到基准关键点坐标后,可以以此为基础定位基准中心点坐标,并基于基准关键点坐标和基准中心点坐标计算出初始基准相对坐标;之后再计算初始基准相对坐标与目标距离之间的比值,最后根据计算结果可以确定基准动作对应的基准相对坐标。
例如,以双肩中点作为基准中心点坐标,则可以将各个基准关键点坐标减去双肩中心点坐标,得到各个关键点相对于双肩中心点的相对坐标;再将得到的相对坐标除以双肩关键点坐标之间的距离,即可得到各个关键点基于一定比例相对于双肩中心点的基准相对坐标。
同理,可以根据动作关键点坐标定位动作中心点坐标,之后基于动作关键点坐标和动作中心点坐标计算初始动作相对坐标;再计算初始动作相对坐标与另一目标距离的比值,即可根据计算结果确定待纠正动作对应的动作相对坐标。需要说明的是,关于动作相对坐标的计算过程可以参见基准相对坐标的计算过程,本实施例在此不作过多赘述。
综上,通过采用相对计算的方式确定相对坐标,可以方便后续以此为基础计算出精准的动作相似度,以提高更新信息的构建准确度。
步骤S10646,根据所述基准相对坐标和所述动作相对坐标计算平均相对距离。
步骤S10648,通过对所述平均相对距离进行转换,获得所述基准动作和所述待纠正动作之间的所述动作相似度。
具体的,平均相对距离具体是指反映当前帧的待纠正动作与基准动作之间差异距离,即为待纠正动作和基准动作各自对应的关键点之间的距离的平均值;其中,平均相对距离越小表征待纠正动作与基准动作之间差异越小,反之,平均相对距离越大表征待纠正动作与基准动作之间差异越大;相应的,对平均相对距离进行转换具体是指将其转换为相似度表达形式的转换处理操作。
基于此,当得到基准相对坐标和动作相对坐标后,可以根据基准相对坐标和动作相对坐标计算出基准动作和待纠正动作之间的平均相对距离,之后再对平均相对距离进行转换,即可得到基准动作和待纠正动作之间的所述动作相似度,以反映基准动作和待纠正动作之间的差异。
此外,在对平均相对距离进行转换,确定动作相似度时,考虑到平均相对距离是体现基准动作的关键点与待纠正动作的关键点(关键点对应关节位置相同)之间距离的值,因此其相对距离越大说明相似度越低。基于此,可以设定若平均相对距离大于1,则可以直接确定动作相似度为0;反之,若平均相对距离小于等于1,则可以选择用1减去平均相对距离,将得到的值作为相似度,以方便后续构建更新信息。
综上,通过采用计算动作相似度的方式体现待纠正动作和基准动作之间的相似度,能够充分表征当前帧采集的待纠正动作与基准动作的相似情况,以方便后续构建出能够准确更新界面的更新信息。
更进一步的,当确定动作相似度后,考虑到不同的用户学习基准动作的进度不同,为了能够充分的辅助用户准确的学习基准动作,可以根据不同的采集时间选择不同的方式构建更新信息,具体实现如下:
步骤S1066,在所述采集次数对应的采集时间小于第一时间阈值的情况下,根据所述采集次数和所述动作相似度确定第一动作分值;基于所述第一动作分值、所述采集次数以及所述动作相似度,创建所述动作辅助界面对应的所述更新信息。
具体的,采集时间具体是指采集当前帧对应的待纠正动作所花费的时间;相应的,第一动作分值具体是指结合采集次数和动作相似度得到的分值;通过第一动作分值可以反映待纠正动作与基准动作之间的相似度,当前帧的相似度较高。
基于此,在采集次数对应的采集时间小于第一时间阈值的情况下,说明通过较少的采集次数即完成了待纠正动作的采集,则此时可以根据采集次数和动作相似度计算出第一动作分值,之后基于第一动作分值、采集次数以及动作相似度直接构建更新参数即可。
步骤S1068,在所述采集时间大于等于所述第一时间阈值的情况下,根据所述基准动作连线信息创建辅助动作连线信息,以及根据所述采集次数和所述动作相似度确定第二动作分值;基于所述第二动作分值、所述采集次数、所述动作相似度以及所述辅助动作连线信息,创建所述动作辅助界面对应的所述更新信息。
具体的,辅助动作连线信息具体是指需要添加到界面中辅助用户学习基准动作的连线信息,使得用户可以将对应待纠正动作的动作连线信息可以趋近于辅助动作连线信息,实现对待纠正动作的修正;相应的,第二分值具体是指结合采集次数和动作相似度得到的分值,且该分值表征待纠正动作与基准动作相似度较低。
基于此,在采集时间大于等于第一时间阈值的情况下,说明待纠正动作的采集时间较长,进一步说明用户无法在较短的时间内作出与基准动作贴合的待纠正动作,则此时可以根据基准动作连线信息创建辅助动作连线信息,同时结合采集次数和动作相似度确定第二动作分值;最后基于第二动作分值、采集次数、动作相似度以及辅助动作连线信息,创建动作辅助界面对应的更新信息即可。
此外,为了能够辅助用户快速的完成基准动作的学习,则可以创建辅助动作连线信息,而为了能够通过辅助动作连线信息实现有效的引导,则可以根据采集时长将辅助动作连线信息创建为不同的颜色,即当采集时间大于等于第一时间阈值且小于第二时间阈值的情况下,则可以创建S1颜色的辅助动作连线信息;当采集时间大于第二时间阈值的情况下,则可以创建S2颜色的辅助动作连线信息;其中,S1和S2颜色可以根据实际应用场景进行设定,本实施例在此不作任何限定。
实际应用中,在确定动作分值时,可以预先设定与采集次数和动作相似度的关联关系,以根据关联关系划分为多个层级;例如,采集次数较少,说明采集时间短,而动作相似度较高,则可以得到满分;或者采集次数较多,说明采集时间一般,而动作相似度较高,则可以得到半分;再或者采集次数非常多,说明采集时间长,而动作相似度较低,则可以得到零分。具体划分关系可以根据实际应用场景进行设定,本实施例在此不作任何限定。
沿用上例,通过读取第一基准演讲动作的基准动作信息确定基准动作连线信息,可以实现通过根据基准动作连线信息和待纠正动作的动作连线信息,确定待纠正动作与第一基准演讲动作之间的动作相似度0.925;当采集时长小于第一时间阈值的情况下,可以根据采集次数和动作相似度确定待纠正动作得100分(满分),之后基于100分、采集次数以及动作相似度构建动作训练界面的更新信息。
当采集时长大于等于第一时间阈值且小于第二时间阈值的情况下,可以根据采集次数和动作相似度确定待纠正动作得50分(半分);同时基于第一基准演讲动作的基准动作连线信息创建S1颜色的辅助动作连线信息;之后基于50分、S1颜色的辅助动作连线信息、采集次数和动作相似度构建动作训练界面的更新信息。
当采集时长大于等于第二时间阈值的情况下,可以根据采集次数和动作相似度确定待纠正动作得0分(半分);同时基于第一基准演讲动作的基准动作连线信息创建S2颜色的辅助动作连线信息;之后基于0分、S2颜色的辅助动作连线信息、采集次数和动作相似度构建动作训练界面的更新信息。
综上,通过结合不同的采集时间创建不同的更新信息,可以实现在更新界面时,通过更新后的界面充分的反馈出不同时长下的动作相似度,以体现用户学习基准动作的详情,达到动作训练的目的。
步骤S108,根据所述更新信息将所述动作辅助界面更新为目标动作辅助界面并展示。
具体的,在上述得到更新信息后,进一步的,即可根据更新信息对动作辅助界面进行更新,以得到体现动作学习详情的目标动作辅助界面,并将目标动作辅助界面向用户进行展示,以使得用户了解动作学习情况。
实际应用中,当得到的更新信息确定用户未完成基准动作的情况下,说明当前帧用户摆放的待纠正动作不符合摆放标准,则更新信息中将仅存在采集次数以及动作相似度,更新后的界面也仅为对采集次数和动作相似度分值进行更新,并重复执行步骤S104至步骤S108;直至根据更新信息确定用户完成基准动作后,可以确定更新信息中包含采集次数、动作相似度、动作分值、以及新的基准动作,实现更新后的界面可以展示用户针对基准动作的学习情况;并在短暂停留后,会再次基于新的基准动作更新该界面,再重复步骤S104至步骤S108的过程,实现对新的基准动作进行学习,直至学习结束即可。
沿用上例,在更新信息中包含100分、采集次数以及动作相似度的情况下,说明用户在当前帧的学习情况较好,则可以展示如图3中(a)所示的示意图;在更新信息中包含50分、S1颜色的辅助动作连线信息、采集次数和动作相似度的情况下,说明用户在当前帧的学习情况一般,为了能够辅助用户学习第一基准演讲动作,则可以更新出如图3中(b)所示的示意图,其中包含辅助线,用于向用户表达如何进行待纠正动作的调整,与实现与第一基准演讲动作相同。
此外,当向用户展示了目标动作辅助界面后,如果用户当前帧的动作相似度大于相似度阈值,则表明用户学习基准动作的过程已完成,即待纠正动作与基准动作相同,则可以继续接下来的动作训练,本实施例中,具体实现如下:
在所述动作相似度大于相似度阈值的情况下,确定所述任务执行指令对应的关联动作;将所述关联动作作为所述基准动作,并执行所述响应于任务执行指令在动作辅助界面展示基准动作的步骤。
需要说明的是,针对新的基准动作进行学习的过程,可以参见上述实施例中相同或相应的描述内容,本实施例在此不作过多赘述。
沿用上例,当根据如图3中(a)所示的示意图确定用户学习完成第一基准演讲动作后,可以再从模板中读取第二基准演讲动作,并向用户展示如图3中(c)所示的示意图,再进行后续的动作训练即可。
需要说明的是,本实施例提供的信息处理方法,应用于动作训练全部过程,即每一帧的界面更新过程均可通过上述方式实现,且在基准动作未被切换前,说明用户学习基准动作的待纠正动作一直不符合标准,则需要不断的进行调整,调整过程中,会通过动作辅助界面不断的展示调整后的动作及相关参数,直至满足基准动作的摆放标准后,才会跳转到下一个基准动作进行学习,下一个基准动作的学习过程与上述实施例中描述的内容相似,本实施例在此不作过多赘述。当全部基准动作学习完成后,即可向用户展示基准动作学习完毕的界面。也就是说,每一帧的界面更新都会重复执行上述界面更新处理操作,以充分表达当前帧用户动作的摆放情况。
本说明书提供的信息处理方法,为了能够实现辅助用户进行动作训练,可以响应于任务执行指令在动作辅助界面展示基准动作,之后采集基准动作关联的待纠正动作,并确定待纠正动作对应的待纠正信息,此时确定了用户针对基准动作摆放处的待纠正动作的相关信息;再根据待纠正动作信息和基准动作对应的基准动作信息,创建动作辅助界面对应的更新信息,最后按照更新信息对动作辅助界面进行更新,即可得到能够向用户表达其作出的待纠正动作相关参数的目标动作辅助界面,实现向用户展示目标动作辅助界面的方式,使用户了解待纠正动作与基准动作的相关性,实现对用户动作训练的目的,提高姿态表达的效果。
下述结合附图4,以本说明书提供的信息处理方法在演讲动作辅助训练场景中的应用为例,对所述信息处理方法进行进一步说明。其中,图4示出了本说明书一实施例提供的一种信息处理方法的处理流程图,具体包括以下步骤:
步骤S402,接收用户提交的动作辅助指令,根据动作辅助指令确定动作辅助任务。
步骤S404,确定动作辅助任务对应的动作辅助模板以及初始动作辅助界面。
步骤S406,基于动作辅助模板将初始动作辅助界面更新为中间动作辅助界面并展示。
步骤S408,接收用户通过中间动作辅助界面提交的任务执行指令。
步骤S410,响应于任务执行指令在动作辅助模板中提取基准动作,并对中间动作辅助界面进行更新。
步骤S412,根据更新结果展示包含基准动作的动作辅助界面。
步骤S414,通过图像采集设备采集目标图像帧。
步骤S416,将目标图像帧输入至识别模型进行处理,获得目标图像帧对应的关键点信息。
步骤S418,基于关键点信息确定目标图像帧对应的目标动作,作为基准动作关联的待纠正动作。
步骤S420,确定待纠正动作对应的采集次数以及关键点信息,并根据关键点信息创建动作连线信息。
步骤S422,将采集次数和动作连线信息作为待纠正动作信息。
步骤S424,根据基准动作连线信息和动作连线信息,确定基准动作和待纠正动作之间的动作相似度。
其中,动作相似度的计算包括:根据基准动作连线信息确定基准动作对应的基准关键点坐标,以及根据动作连线信息确定动作关键点坐标;对基准关键点坐标和动作关键点坐标分别进行预处理,获得基准动作对应的基准相对坐标以及待纠正动作对应的动作相对坐标;根据基准相对坐标和动作相对坐标计算平均相对距离;通过对平均相对距离进行转换,获得基准动作和待纠正动作之间的动作相似度。
坐标预处理的过程,包括:根据基准关键点坐标定位基准中心点坐标,基于基准关键点坐标和基准中心点坐标计算初始基准相对坐标;计算初始基准相对坐标与目标距离的比值,根据计算结果确定基准动作对应的基准相对坐标。
步骤S426,在采集次数对应的采集时间小于第一时间阈值的情况下,根据采集次数和动作相似度确定第一动作分值。
步骤S428,基于第一动作分值、采集次数以及动作相似度,创建动作辅助界面对应的更新信息。
步骤S430,在采集时间大于等于第一时间阈值的情况下,根据基准动作连线信息创建辅助动作连线信息,以及根据采集次数和动作相似度确定第二动作分值。
步骤S432,基于第二动作分值、采集次数、动作相似度以及辅助动作连线信息,创建动作辅助界面对应的更新信息。
步骤S434,根据更新信息将动作辅助界面更新为目标动作辅助界面并展示。
此外,在动作相似度大于相似度阈值的情况下,可以确定任务执行指令对应的关联动作;之后将关联动作作为基准动作,并执行响应于任务执行指令在动作辅助界面展示基准动作的步骤即可。
综上所述,为了能够实现辅助用户进行动作训练,可以响应于任务执行指令在动作辅助界面展示基准动作,之后采集基准动作关联的待纠正动作,并确定待纠正动作对应的待纠正信息,此时确定了用户针对基准动作摆放处的待纠正动作的相关信息;再根据待纠正动作信息和基准动作对应的基准动作信息,创建动作辅助界面对应的更新信息,最后按照更新信息对动作辅助界面进行更新,即可得到能够向用户表达其作出的待纠正动作相关参数的目标动作辅助界面,实现向用户展示目标动作辅助界面的方式,使用户了解待纠正动作与基准动作的相关性,实现对用户动作训练的目的,提高姿态表达的效果。
与上述方法实施例相对应,本说明书还提供了信息处理装置实施例,图5示出了本说明书一实施例提供的一种信息处理装置的结构示意图。如图5所示,该装置包括:
展示模块502,被配置为响应于任务执行指令在动作辅助界面展示基准动作;
采集模块504,被配置为采集所述基准动作关联的待纠正动作,并确定所述待纠正动作对应的待纠正动作信息;
创建模块506,被配置为根据所述待纠正动作信息和所述基准动作对应的基准动作信息,创建所述动作辅助界面对应的更新信息;
更新模块508,被配置为根据所述更新信息将所述动作辅助界面更新为目标动作辅助界面并展示。
一个可选的实施例中,所述信息处理装置,还包括:
接收模块,被配置为接收用户提交的动作辅助指令,根据所述动作辅助指令确定动作辅助任务;确定所述动作辅助任务对应的动作辅助模板以及初始动作辅助界面;基于所述动作辅助模板将所述初始动作辅助界面更新为中间动作辅助界面并展示;
一个可选的实施例中,所述展示模块502进一步被配置为:
接收所述用户通过所述中间动作辅助界面提交的所述任务执行指令;响应于所述任务执行指令在所述动作辅助模板中提取所述基准动作,并对所述中间动作辅助界面进行更新;根据更新结果展示包含所述基准动作的所述动作辅助界面。
一个可选的实施例中,所述采集模块504进一步被配置为:
通过图像采集设备采集目标图像帧;将所述目标图像帧输入至识别模型进行处理,获得所述目标图像帧对应的关键点信息;基于所述关键点信息确定所述目标图像帧对应的目标动作,作为所述基准动作关联的所述待纠正动作。
一个可选的实施例中,所述采集模块504进一步被配置为:
确定所述待纠正动作对应的采集次数以及关键点信息,并根据所述关键点信息创建动作连线信息;将所述采集次数和所述动作连线信息作为所述待纠正动作信息。
一个可选的实施例中,所述创建模块506进一步被配置为:
读取所述基准动作对应的所述基准动作信息,并根据所述基准动作信息确定基准动作连线信息;根据所述基准动作连线信息和所述动作连线信息,确定所述基准动作和所述待纠正动作之间的动作相似度;在所述采集次数对应的采集时间小于第一时间阈值的情况下,根据所述采集次数和所述动作相似度确定第一动作分值;基于所述第一动作分值、所述采集次数以及所述动作相似度,创建所述动作辅助界面对应的所述更新信息。
一个可选的实施例中,所述创建模块506进一步被配置为:
在所述采集时间大于等于所述第一时间阈值的情况下,根据所述基准动作连线信息创建辅助动作连线信息,以及根据所述采集次数和所述动作相似度确定第二动作分值;基于所述第二动作分值、所述采集次数、所述动作相似度以及所述辅助动作连线信息,创建所述动作辅助界面对应的所述更新信息。
一个可选的实施例中,所述创建模块506进一步被配置为:
根据所述基准动作连线信息确定所述基准动作对应的基准关键点坐标,以及根据所述动作连线信息确定动作关键点坐标;对所述基准关键点坐标和所述动作关键点坐标分别进行预处理,获得所述基准动作对应的基准相对坐标以及所述待纠正动作对应的动作相对坐标;根据所述基准相对坐标和所述动作相对坐标计算平均相对距离;通过对所述平均相对距离进行转换,获得所述基准动作和所述待纠正动作之间的所述动作相似度。
一个可选的实施例中,所述创建模块506进一步被配置为:
根据所述基准关键点坐标定位基准中心点坐标,并基于所述基准关键点坐标和所述基准中心点坐标计算初始基准相对坐标;计算所述初始基准相对坐标与目标距离的比值,根据计算结果确定所述基准动作对应的所述基准相对坐标。
一个可选的实施例中,所述信息处理装置,还包括:
在所述动作相似度大于相似度阈值的情况下,确定所述任务执行指令对应的关联动作;将所述关联动作作为所述基准动作,并执行所述响应于任务执行指令在动作辅助界面展示基准动作的步骤。
本说明书提供的信息处理装置,为了能够实现辅助用户进行动作训练,可以响应于任务执行指令在动作辅助界面展示基准动作,之后采集基准动作关联的待纠正动作,并确定待纠正动作对应的待纠正信息,此时确定了用户针对基准动作摆放处的待纠正动作的相关信息;再根据待纠正动作信息和基准动作对应的基准动作信息,创建动作辅助界面对应的更新信息,最后按照更新信息对动作辅助界面进行更新,即可得到能够向用户表达其作出的待纠正动作相关参数的目标动作辅助界面,实现向用户展示目标动作辅助界面的方式,使用户了解待纠正动作与基准动作的相关性,实现对用户动作训练的目的,提高姿态表达的效果。
上述为本实施例的一种信息处理装置的示意性方案。需要说明的是,该信息处理装置的技术方案与上述的信息处理方法的技术方案属于同一构思,信息处理装置的技术方案未详细描述的细节内容,均可以参见上述信息处理方法的技术方案的描述。
图6示出了根据本说明书一实施例提供的一种计算设备600的结构框图。该计算设备600的部件包括但不限于存储器610和处理器620。处理器620与存储器610通过总线630相连接,数据库650用于保存数据。
计算设备600还包括接入设备640,接入设备640使得计算设备600能够经由一个或多个网络660通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备640可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC))中的一个或多个,诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口,等等。
在本说明书的一个实施例中,计算设备600的上述部件以及图6中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图6所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
计算设备600可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或PC的静止计算设备。计算设备600还可以是移动式或静止式的服务器。
其中,处理器620用于执行如下计算机可执行指令:
响应于任务执行指令在动作辅助界面展示基准动作;
采集所述基准动作关联的待纠正动作,并确定所述待纠正动作对应的待纠正动作信息;
根据所述待纠正动作信息和所述基准动作对应的基准动作信息,创建所述动作辅助界面对应的更新信息;
根据所述更新信息将所述动作辅助界面更新为目标动作辅助界面并展示。
上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的信息处理方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述信息处理方法的技术方案的描述。
本说明书一实施例还提供一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时以用于:
响应于任务执行指令在动作辅助界面展示基准动作;
采集所述基准动作关联的待纠正动作,并确定所述待纠正动作对应的待纠正动作信息;
根据所述待纠正动作信息和所述基准动作对应的基准动作信息,创建所述动作辅助界面对应的更新信息;
根据所述更新信息将所述动作辅助界面更新为目标动作辅助界面并展示。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的信息处理方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述信息处理方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本说明书并不受所描述的动作顺序的限制,因为依据本说明书,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本说明书所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本说明书的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。

Claims (8)

1.一种信息处理方法,其特征在于,包括:
响应于任务执行指令在动作辅助界面展示基准动作;
通过图像采集设备采集目标图像帧,将所述目标图像帧输入至识别模型进行处理,获得所述目标图像帧对应的关键点信息,基于所述关键点信息确定所述目标图像帧对应的目标动作,作为所述基准动作关联的待纠正动作,确定所述待纠正动作对应的待纠正动作信息,其中,所述待纠正动作信息为所述待纠正动作对应的属性信息;
读取所述基准动作对应的所述基准动作信息,并根据所述基准动作信息确定基准动作连线信息,根据所述基准动作连线信息确定所述基准动作对应的基准关键点坐标,以及根据所述动作连线信息确定动作关键点坐标;根据所述基准关键点坐标定位基准中心点坐标,并基于所述基准关键点坐标和所述基准中心点坐标计算初始基准相对坐标;计算所述初始基准相对坐标与目标距离的比值,根据计算结果确定所述基准动作对应的基准相对坐标,以及对所述动作关键点坐标进行预处理,获得所述待纠正动作对应的动作相对坐标;根据所述基准相对坐标和所述动作相对坐标计算平均相对距离;通过对所述平均相对距离进行转换,获得所述基准动作和所述待纠正动作之间的动作相似度;在所述待纠正动作的采集次数对应的采集时间大于等于第一时间阈值的情况下,根据所述基准动作连线信息创建辅助动作连线信息,以及根据所述采集次数和所述动作相似度确定第二动作分值;基于所述第二动作分值、所述采集次数、所述动作相似度以及所述辅助动作连线信息,创建所述动作辅助界面对应的更新信息;
根据所述更新信息将所述动作辅助界面更新为目标动作辅助界面并展示。
2.根据权利要求1所述的信息处理方法,其特征在于,所述响应于任务执行指令在动作辅助界面展示基准动作步骤执行之前,还包括:
接收用户提交的动作辅助指令,根据所述动作辅助指令确定动作辅助任务;
确定所述动作辅助任务对应的动作辅助模板以及初始动作辅助界面;
基于所述动作辅助模板将所述初始动作辅助界面更新为中间动作辅助界面并展示;
相应的,所述响应于任务执行指令在动作辅助界面展示基准动作,包括:
接收所述用户通过所述中间动作辅助界面提交的所述任务执行指令;
响应于所述任务执行指令在所述动作辅助模板中提取所述基准动作,并对所述中间动作辅助界面进行更新;
根据更新结果展示包含所述基准动作的所述动作辅助界面。
3.根据权利要求1所述的信息处理方法,其特征在于,所述确定所述待纠正动作对应的待纠正动作信息,包括:
确定所述待纠正动作对应的采集次数以及关键点信息,并根据所述关键点信息创建动作连线信息;
将所述采集次数和所述动作连线信息作为所述待纠正动作信息。
4.根据权利要求3所述的信息处理方法,其特征在于,还包括:
在所述采集次数对应的采集时间小于第一时间阈值的情况下,根据所述采集次数和所述动作相似度确定第一动作分值;
基于所述第一动作分值、所述采集次数以及所述动作相似度,创建所述动作辅助界面对应的所述更新信息。
5.根据权利要求4所述的信息处理方法,其特征在于,所述根据所述更新信息将所述动作辅助界面更新为目标动作辅助界面并展示步骤执行之后,还包括:
在所述动作相似度大于相似度阈值的情况下,确定所述任务执行指令对应的关联动作;
将所述关联动作作为所述基准动作,并执行所述响应于任务执行指令在动作辅助界面展示基准动作的步骤。
6.一种信息处理装置,其特征在于,包括:
展示模块,被配置为响应于任务执行指令在动作辅助界面展示基准动作;
采集模块,被配置为通过图像采集设备采集目标图像帧,将所述目标图像帧输入至识别模型进行处理,获得所述目标图像帧对应的关键点信息,基于所述关键点信息确定所述目标图像帧对应的目标动作,作为所述基准动作关联的待纠正动作,确定所述待纠正动作对应的待纠正动作信息,其中,所述待纠正动作信息为所述待纠正动作对应的属性信息;
创建模块,被配置为读取所述基准动作对应的所述基准动作信息,并根据所述基准动作信息确定基准动作连线信息,根据所述基准动作连线信息确定所述基准动作对应的基准关键点坐标,以及根据所述动作连线信息确定动作关键点坐标;根据所述基准关键点坐标定位基准中心点坐标,并基于所述基准关键点坐标和所述基准中心点坐标计算初始基准相对坐标;计算所述初始基准相对坐标与目标距离的比值,根据计算结果确定所述基准动作对应的基准相对坐标,以及对所述动作关键点坐标进行预处理,获得所述待纠正动作对应的动作相对坐标;根据所述基准相对坐标和所述动作相对坐标计算平均相对距离;通过对所述平均相对距离进行转换,获得所述基准动作和所述待纠正动作之间的动作相似度;在所述待纠正动作的采集次数对应的采集时间大于等于第一时间阈值的情况下,根据所述基准动作连线信息创建辅助动作连线信息,以及根据所述采集次数和所述动作相似度确定第二动作分值;基于所述第二动作分值、所述采集次数、所述动作相似度以及所述辅助动作连线信息,创建所述动作辅助界面对应的更新信息;
更新模块,被配置为根据所述更新信息将所述动作辅助界面更新为目标动作辅助界面并展示。
7.一种计算设备,其特征在于,包括存储器和处理器;所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,以实现权利要求1至5任意一项所述方法的步骤。
8.一种计算机可读存储介质,其存储有计算机指令,其特征在于,该指令被处理器执行时实现权利要求1至5任意一项所述方法的步骤。
CN202210124208.9A 2022-02-10 2022-02-10 信息处理方法及装置 Active CN114167993B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210124208.9A CN114167993B (zh) 2022-02-10 2022-02-10 信息处理方法及装置
PCT/CN2022/107229 WO2023151232A1 (zh) 2022-02-10 2022-07-22 信息处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210124208.9A CN114167993B (zh) 2022-02-10 2022-02-10 信息处理方法及装置

Publications (2)

Publication Number Publication Date
CN114167993A CN114167993A (zh) 2022-03-11
CN114167993B true CN114167993B (zh) 2022-05-24

Family

ID=80489614

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210124208.9A Active CN114167993B (zh) 2022-02-10 2022-02-10 信息处理方法及装置

Country Status (2)

Country Link
CN (1) CN114167993B (zh)
WO (1) WO2023151232A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114167993B (zh) * 2022-02-10 2022-05-24 北京优幕科技有限责任公司 信息处理方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112464918A (zh) * 2021-01-27 2021-03-09 昆山恒巨电子有限公司 健身动作纠正方法、装置、计算机设备和存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103390174A (zh) * 2012-05-07 2013-11-13 深圳泰山在线科技有限公司 基于人体姿态识别的体育教学辅助系统和方法
CN104834900B (zh) * 2015-04-15 2017-12-19 常州飞寻视讯信息科技有限公司 一种联合声像信号进行活体检测的方法和系统
WO2016167331A1 (ja) * 2015-04-17 2016-10-20 三菱電機株式会社 ジェスチャー認識装置、ジェスチャー認識方法、及び情報処理装置
KR20200076169A (ko) * 2018-12-19 2020-06-29 삼성전자주식회사 놀이 컨텐츠를 추천하는 전자 장치 및 그의 동작 방법
CN112237730B (zh) * 2019-07-17 2022-12-27 腾讯科技(深圳)有限公司 健身动作纠正方法及电子设备
CN111836358B (zh) * 2019-12-24 2021-09-14 北京嘀嘀无限科技发展有限公司 定位方法、电子设备和计算机可读存储介质
CN112464882B (zh) * 2020-12-11 2021-09-10 东莞先知大数据有限公司 连续动作的识别方法、装置、介质及设备
CN112560665B (zh) * 2020-12-13 2022-05-13 同济大学 基于深度迁移学习实现人体姿态检测的专业舞蹈评价方法
CN114167993B (zh) * 2022-02-10 2022-05-24 北京优幕科技有限责任公司 信息处理方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112464918A (zh) * 2021-01-27 2021-03-09 昆山恒巨电子有限公司 健身动作纠正方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN114167993A (zh) 2022-03-11
WO2023151232A1 (zh) 2023-08-17

Similar Documents

Publication Publication Date Title
KR102014385B1 (ko) 수술영상 학습 및 학습 기반 수술동작 인식 방법 및 장치
CN106875941B (zh) 一种服务机器人的语音语义识别方法
CN108388882B (zh) 基于全局-局部rgb-d多模态的手势识别方法
CN111401318B (zh) 动作识别方法及装置
CN109766840A (zh) 人脸表情识别方法、装置、终端及存储介质
KR20140004230A (ko) 화상처리장치, 정보생성장치, 화상처리방법, 정보생성방법, 제어 프로그램 및 기록매체
CN114120432A (zh) 基于视线估计的在线学习注意力跟踪方法及其应用
CN115345938B (zh) 基于全局到局部的头影标记点定位方法、设备及介质
CN111126280A (zh) 基于融合手势识别的失语症患者辅助康复训练系统及方法
CN112614489A (zh) 用户发音准确度评估方法、装置和电子设备
CN114167993B (zh) 信息处理方法及装置
CN114549557A (zh) 一种人像分割网络训练方法、装置、设备及介质
CN113744286A (zh) 虚拟头发生成方法及装置、计算机可读介质和电子设备
CN117137435A (zh) 一种基于多模态信息融合的康复动作识别方法和系统
CN110704646A (zh) 一种豢养物档案建立方法及装置
CN110084187A (zh) 基于计算机视觉的位置识别方法、装置、设备及存储介质
CN116091664A (zh) 动作重定向方法、装置、电子设备和存储介质
CN116012942A (zh) 手语教学方法、装置、设备及存储介质
CN112560728B (zh) 目标对象识别方法及装置
CN113781271A (zh) 化妆教学方法及装置、电子设备、存储介质
CN111522914A (zh) 标注数据采集方法、装置、电子设备及存储介质
CN111554269A (zh) 一种语音取号方法、系统及存储介质
CN116612495B (zh) 图像处理方法及装置
CN116071528B (zh) 一种医疗整形及美容影像管理系统
CN117058405B (zh) 一种基于图像的情绪识别方法、系统、存储介质及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant