CN106445135B - 通过智能机器人进行体态纠正的数据交互方法和系统 - Google Patents

通过智能机器人进行体态纠正的数据交互方法和系统 Download PDF

Info

Publication number
CN106445135B
CN106445135B CN201610836353.4A CN201610836353A CN106445135B CN 106445135 B CN106445135 B CN 106445135B CN 201610836353 A CN201610836353 A CN 201610836353A CN 106445135 B CN106445135 B CN 106445135B
Authority
CN
China
Prior art keywords
posture
user
attributes
robot
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610836353.4A
Other languages
English (en)
Other versions
CN106445135A (zh
Inventor
黄钊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Guangnian Wuxian Technology Co Ltd
Original Assignee
Beijing Guangnian Wuxian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Guangnian Wuxian Technology Co Ltd filed Critical Beijing Guangnian Wuxian Technology Co Ltd
Priority to CN201610836353.4A priority Critical patent/CN106445135B/zh
Publication of CN106445135A publication Critical patent/CN106445135A/zh
Application granted granted Critical
Publication of CN106445135B publication Critical patent/CN106445135B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • G08B21/24Reminder alarms, e.g. anti-loss alarms

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明提供一种通过智能机器人进行体态纠正的数据交互方法,该方法包括以下步骤:视觉感知步骤,通过机器人视觉系统捕获用户当前图像,以得到按用户群体属性、体态属性以及场景属性进行分类的图像数据;决策步骤,将与用户群体属性、体态属性以及场景属性相关联的图像数据结合进行分析,进行用户的体态健康度判断,并进行是否需要提醒用户调整体态的决策;以及多模态输出步骤,根据决策的结果来进行多模态的输出。通过本发明可以利用机器人对儿童的站姿、坐姿进行提醒,并督促其纠正,帮助儿童养成良好的体态,增强智能机器人的智能性,提高用户体验。

Description

通过智能机器人进行体态纠正的数据交互方法和系统
技术领域
本发明涉及智能机器人领域,具体地说,涉及一种通过智能机器人进行体态纠正的数据交互方法和系统。
背景技术
儿童的体态是否良好是家长非常关心的问题,不好习惯下的体态会影响到子女的健康、仪表等等。比如儿童的站姿、坐姿,特别儿童伏案写作业的时候,如果姿势不对,会影响身体健康和视力。
现在对于儿童体态的纠正,主要靠家长自身的观察和提醒。但这样的做法过于随意,而且也不能保证任何时候都能监管到,因此效果无法保障。
虽然智能机器人越来越多地深入到人们的生活中,但是现有的智能机器人在生活中的应用主要还是局限于陪伴和聊天,还不能代替家长起到监管的作用。
发明内容
本发明的目的在于结合机器人的感知、决策、表达等能力,来解决上述技术问题。为此,本发明提供了一种通过智能机器人进行体态纠正的数据交互方法。该方法包括以下步骤:
视觉感知步骤,通过机器人视觉系统捕获用户当前图像,以得到按用户群体属性、体态属性以及场景属性进行分类的图像数据;
决策步骤,将与用户群体属性、体态属性以及场景属性相关联的图像数据结合进行分析,进行用户的体态健康度判断,并进行是否需要提醒用户调整体态的决策;以及
多模态输出步骤,根据决策的结果来进行多模态的输出。
根据本发明的通过智能机器人进行体态纠正的数据交互方法,在决策步骤中,在将与用户群体属性、体态属性以及场景属性相关联的图像数据结合进行分析时,当根据用户群体属性判断用户的体态健康度不符合预设标准时,还需要结合场景属性判断针对这种不符合预设标准的体态是否有发出调整体态提醒的必要。
根据本发明的通过智能机器人进行体态纠正的数据交互方法,在多模态输出步骤中,通过语音提醒用户进行体态调整的同时,还通过动作输出、表情输出来进行表达。
根据本发明的通过智能机器人进行体态纠正的数据交互方法,在对用户发出的多模态输出提醒大于预设次数并且检测的用户体态在预定的时间以上的期间里仍保持不变时,触发报警通知,以向该用户的监管者发送该事件通知。
根据本发明的通过智能机器人进行体态纠正的数据交互方法,在对用户发出的多模态输出提醒小于预设次数并且检测的用户当前体态健康度符合所述预设标准时,触发奖励输出事件。
根据本发明的另一个方面,本发明还提供了一种通过智能机器人进行体态纠正的数据交互系统。该系统包括以下单元:
视觉感知单元,其用于通过机器人视觉系统捕获用户当前图像,以得到按用户群体属性、体态属性以及场景属性进行分类的图像数据;
决策单元,其用于将与用户特定属性、体态属性以及场景属性相关联的图像数据结合进行分析,进行用户的体态健康度判断,并进行是否提醒用户调整体态的决策;以及
多模态输出单元,其用于根据决策的结果来进行多模态的输出。
根据本发明的通过智能机器人进行体态纠正的数据交互系统,在决策单元中,在将与用户群体属性、体态属性以及场景属性相关联的图像数据结合进行分析时,当根据用户群体属性和体态属性判断用户的体态健康度不符合预设标准时,还需要结合场景属性判断针对这种不符合预设标准的体态是否有发出调整体态提醒的必要。
根据本发明的通过智能机器人进行体态纠正的数据交互系统,在多模态输出单元中,通过语音提醒用户进行体态调整的同时,还通过动作输出、表情输出来进行表达。
根据本发明的通过智能机器人进行体态纠正的数据交互系统,所述系统还包括:
报警触发单元,其用于在对用户发出的多模态输出提醒大于预设次数并且检测的用户体态在预定的时间以上的期间里仍保持不变时,触发报警通知,以向该用户的监管者发送该事件通知。
根据本发明的通过智能机器人进行体态纠正的数据交互系统,所述系统还包括:
奖励触发单元,其用于在对用户发出的多模态输出提醒小于预设次数并且检测的用户当前体态健康度符合所述预设标准时,触发奖励输出事件。
本发明的有益之处在于:通过本发明可以利用机器人对儿童的站姿、坐姿进行提醒,并督促其纠正,帮助儿童养成良好的体态,增强智能机器人的智能性,提高用户体验。本发明除了对儿童进行体态纠正之外,还可以对其他年龄的群体进行体态纠正。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例共同用于解释本发明,并不构成对本发明的限制。在附图中:
图1为根据本发明的一个实施例的方法流程图;
图2显示了根据本发明的一个实施例的触发报警或者奖励事件的方法流程图;
图3显示了根据本发明的一个实施例的纠正体态的数据交互系统的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,以下结合附图对本发明实施例作进一步地详细说明。
如图1所示,其中显示了根据本发明原理的体态纠正数据交互方法的总体流程图。
在视觉感知步骤S101,通过机器人视觉系统捕获用户当前图像,以得到按用户群体属性、体态属性以及场景属性进行分类的图像数据。通过机器人的视觉系统例如摄像头采集视野范围内的图片,分析其中是否有待观察的对象。如果在当前视角下,所捕获的图像中没有目标对象,则会自动调节摄像头角度或者调整机器人的肢体来跟踪目标。关于机器人实时跟踪目标物的技术这里不进行详述,本发明仅考虑,所捕获的图像中存在了待观察对象的情况。
在捕获用户当前图像时,对这些图像按照用户的群体属性、体态属性以及场景属性进行分类。例如,根据身高和大致容貌基本判断出该对象的年龄,按照年龄段分为婴幼儿、青少年、成人。针对不同年龄段的对象系统会个性化制定相对正确的体态。根据体态进行分类,例如坐姿、站姿等。场景属性包括用户所处的环境、当前的时间(早上或下午)等。
接下来,在决策步骤S102中,将与用户群体属性、体态属性以及场景属性相关联的图像数据结合进行分析,进行用户的体态健康度判断,并进行是否需要提醒用户调整体态的决策。
结合属性分析图像数据时,可以采用集合的方式将分类的图像汇总。例如,将已被标记为青少年的图像并且还属于晚上的场景的图像提取出来,如果此张图片还表明他还斜躺在沙发上,则调取健康度数据,从而对其当前的体态的健康度进行判断。
在用户的体态健康度判断时,需要将与用户群体属性、体态属性以及场景属性相关联的图像数据结合进行分析,因为不同的用户群体例如儿童和成人对体态健康度的要求是不同的,另外随着场景的变化,即使是同一种体态,其健康度也是不同的。例如,用户早上躺在床上与放学后便躺在床上的体态健康度不同。也就是说,本发明所谓的体态健康度随场景属性和群体属性而变化。
在多模态输出步骤S103中,系统根据上述决策的结果来进行多模态的输出。根据本发明的机器人可以以多种方式将决策的结果进行输出。例如通过语音发出“XXX,请坐正。”“离书本太近。”“看书时间太长了,出去活动一下吧!”等等。也可以伴随这些语音提醒,同时输出相关的动作,例如用手拍打用户的背部,或者牵扯用户起身等等。甚至还可以通过面部的表情来进一步表达提醒,例如严肃等等。注意的是,这里表情的输出一般是与动作输出或者语音输出同时进行的。
在决策步骤S102中,在将与用户群体属性、体态属性以及场景属性相关联的图像数据结合进行分析时,当根据用户群体属性判断用户的体态健康度不符合预设标准时,还需要结合场景属性判断针对这种不符合预设标准的体态是否有发出调整体态提醒的必要。
如图2所示,其中显示了根据本发明的一个实施例的触发报警或者奖励事件的方法流程图。在步骤S201中,机器人对当前图像数据分析。在步骤S202中,根据图像数据分析的结果判断用户体态健康度是否符合标准。如果不满足标准,则发出提醒通知,步骤S203。在多模态输出的情况下,进行语音输出、动作输出以及表情输出。
进一步地,在步骤S204中,对已发出提醒通知的次数进行计数。根据本发明的通过智能机器人进行体态纠正的数据交互方法,在对用户发出的多模态输出提醒大于预设次数并且检测的用户体态在预定的时间以上的期间里仍保持不变时,步骤S205,触发报警通知,以向该用户的监管者发送该事件通知,步骤S206。
根据本发明的通过智能机器人进行体态纠正的数据交互方法,在对用户发出的多模态输出提醒小于预设次数并且检测的用户当前体态健康度符合所述预设标准时,触发奖励输出事件,步骤S207。
由于本发明的方法描述的是在计算机系统中实现的。该计算机系统例如可以设置在机器人的控制核心处理器中。例如,本文所述的方法可以实现为能以控制逻辑来执行的软件,其由机器人控制系统中的CPU来执行。本文所述的功能可以实现为存储在非暂时性有形计算机可读介质中的程序指令集合。当以这种方式实现时,该计算机程序包括一组指令,当该组指令由计算机运行时其促使计算机执行能实施上述功能的方法。可编程逻辑可以暂时或永久地安装在非暂时性有形计算机可读介质中,例如只读存储器芯片、计算机存储器、磁盘或其他存储介质。除了以软件来实现之外,本文所述的逻辑可利用分立部件、集成电路、与可编程逻辑设备(诸如,现场可编程门阵列(FPGA)或微处理器)结合使用的可编程逻辑,或者包括它们任意组合的任何其他设备来体现。所有此类实施例旨在落入本发明的范围之内。
因此,根据本发明的另一个方面,还提供了一种通过智能机器人进行体态纠正的数据交互系统。该系统包括以下单元:
视觉感知单元301,其用于通过机器人视觉系统捕获用户当前图像,以得到按用户群体属性、体态属性以及场景属性进行分类的图像数据;
决策单元302,其用于将与用户特定属性、体态属性以及场景属性相关联的图像数据结合进行分析,进行用户的体态健康度判断,并进行是否提醒用户调整体态的决策;以及
多模态输出单元303,其用于根据决策的结果来进行多模态的输出。
根据本发明的通过智能机器人进行体态纠正的数据交互系统,在决策单元中,在将与用户群体属性、体态属性以及场景属性相关联的图像数据结合进行分析时,当根据用户群体属性和体态属性判断用户的体态健康度不符合预设标准时,还需要结合场景属性判断针对这种不符合预设标准的体态是否有发出调整体态提醒的必要。
根据本发明的通过智能机器人进行体态纠正的数据交互系统,在多模态输出单元中,通过语音提醒用户进行体态调整的同时,还通过动作输出、表情输出来进行表达。
根据本发明的通过智能机器人进行体态纠正的数据交互系统,所述系统还包括:
报警触发单元304,其用于在对用户发出的多模态输出提醒大于预设次数并且检测的用户体态在预定的时间以上的期间里仍保持不变时,触发报警通知,以向该用户的监管者发送该事件通知。
根据本发明的通过智能机器人进行体态纠正的数据交互系统,所述系统还包括:
奖励触发单元305,其用于在对用户发出的多模态输出提醒小于预设次数并且检测的用户当前体态健康度符合所述预设标准时,触发奖励输出事件。
应该理解的是,本发明所公开的实施例不限于这里所公开的特定结构、处理步骤或材料,而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是,在此使用的术语仅用于描述特定实施例的目的,而并不意味着限制。
说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此,说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。
虽然本发明所公开的实施方式如上,但所述的内容只是为了便于理解本发明而采用的实施方式,并非用以限定本发明。任何本发明所属技术领域内的技术人员,在不脱离本发明所公开的精神和范围的前提下,可以在实施的形式上及细节上作任何的修改与变化,但本发明的专利保护范围,仍须以所附的权利要求书所界定的范围为准。

Claims (6)

1.一种通过智能机器人进行体态纠正的数据交互方法,其特征在于,所述方法包括以下步骤:
视觉感知步骤,通过机器人视觉系统捕获用户当前图像,以得到按用户群体属性、体态属性以及场景属性进行分类的图像数据,如果在当前视角下,所捕获的图像中没有目标对象,则会自动调节所述机器人视觉系统的摄像头角度或者调整机器人的肢体来跟踪目标;
决策步骤,将与用户群体属性、体态属性以及场景属性相关联的图像数据结合进行分析,进行用户的体态健康度判断,同一体态对应的所述体态健康度随场景属性和群体属性而变化,并进行是否需要提醒用户调整体态的决策,当根据用户群体属性判断用户的体态健康度不符合预设标准时,还需要结合场景属性判断针对这种不符合预设标准的体态是否有发出调整体态提醒的必要;以及
多模态输出步骤,根据决策的结果来进行多模态的输出;其中,在多模态输出步骤中,通过语音提醒用户进行体态调整的同时通过动作输出、表情输出来进行表达。
2.如权利要求1所述的通过智能机器人进行体态纠正的数据交互方法,其特征在于,在对用户发出的多模态输出提醒大于预设次数并且检测的用户体态在预定的时间以上的期间里仍保持不变时,触发报警通知,以向该用户的监管者发送该事件通知。
3.如权利要求2所述的通过智能机器人进行体态纠正的数据交互方法,其特征在于,在对用户发出的多模态输出提醒小于预设次数并且检测的用户当前体态健康度符合所述预设标准时,触发奖励输出事件。
4.一种通过智能机器人进行体态纠正的数据交互系统,其特征在于,所述系统包括以下单元:
视觉感知单元,其用于通过机器人视觉系统捕获用户当前图像,以得到按用户群体属性、体态属性以及场景属性进行分类的图像数据,如果在当前视角下,所捕获的图像中没有目标对象,则会自动调节所述机器人视觉系统的摄像头角度或者调整机器人的肢体来跟踪目标;
决策单元,其用于将与用户特定属性、体态属性以及场景属性相关联的图像数据结合进行分析,进行用户的体态健康度判断,同一体态对应的所述体态健康度随场景属性和群体属性而变化,并进行是否提醒用户调整体态的决策,当根据用户群体属性和体态属性判断用户的体态健康度不符合预设标准时,还需要结合场景属性判断针对这种不符合预设标准的体态是否有发出调整体态提醒的必要;以及
多模态输出单元,其用于根据决策的结果来进行多模态的输出,其中,通过语音提醒用户进行体态调整的同时,还通过动作输出、表情输出来进行表达。
5.如权利要求4所述的通过智能机器人进行体态纠正的数据交互系统,其特征在于,所述系统还包括:
报警触发单元,其用于在对用户发出的多模态输出提醒大于预设次数并且检测的用户体态在预定的时间以上的期间里仍保持不变时,触发报警通知,以向该用户的监管者发送该事件通知。
6.如权利要求5所述的通过智能机器人进行体态纠正的数据交互系统,其特征在于,所述系统还包括:
奖励触发单元,其用于在对用户发出的多模态输出提醒小于预设次数并且检测的用户当前体态健康度符合所述预设标准时,触发奖励输出事件。
CN201610836353.4A 2016-09-21 2016-09-21 通过智能机器人进行体态纠正的数据交互方法和系统 Active CN106445135B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610836353.4A CN106445135B (zh) 2016-09-21 2016-09-21 通过智能机器人进行体态纠正的数据交互方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610836353.4A CN106445135B (zh) 2016-09-21 2016-09-21 通过智能机器人进行体态纠正的数据交互方法和系统

Publications (2)

Publication Number Publication Date
CN106445135A CN106445135A (zh) 2017-02-22
CN106445135B true CN106445135B (zh) 2020-07-28

Family

ID=58165610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610836353.4A Active CN106445135B (zh) 2016-09-21 2016-09-21 通过智能机器人进行体态纠正的数据交互方法和系统

Country Status (1)

Country Link
CN (1) CN106445135B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108577298A (zh) * 2018-03-22 2018-09-28 宁波史瑞迪信息科技有限公司 一种具有奖励装置的坐姿矫正机器人
CN108765921A (zh) * 2018-04-04 2018-11-06 昆山市工研院智能制造技术有限公司 基于视觉语意分析应用于巡逻机器人的智能巡逻方法
CN108818534A (zh) * 2018-07-04 2018-11-16 广东猪兼强互联网科技有限公司 一种多功能健身辅助机器人
CN109614955A (zh) * 2018-12-29 2019-04-12 苏州科技大学 一种基于家庭智能机器人的儿童成长习惯行为引导方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201675067U (zh) * 2010-05-07 2010-12-22 招远市天星塑料制品厂 身体姿态提醒腰带
CN103908066A (zh) * 2014-04-03 2014-07-09 安徽海聚信息科技有限责任公司 一种矫正坐姿的智能书桌及其矫正方法
CN105335696A (zh) * 2015-08-26 2016-02-17 湖南信息职业技术学院 一种基于3d异常步态行为检测识别的智能助老机器人及实现方法
CN105930785A (zh) * 2016-04-15 2016-09-07 丁盛 一种智能化的隐式交互系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202306220U (zh) * 2011-10-12 2012-07-04 姜景翔 视力保姆机器人
CN203630921U (zh) * 2013-09-10 2014-06-04 张永锐 矫姿机器人

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201675067U (zh) * 2010-05-07 2010-12-22 招远市天星塑料制品厂 身体姿态提醒腰带
CN103908066A (zh) * 2014-04-03 2014-07-09 安徽海聚信息科技有限责任公司 一种矫正坐姿的智能书桌及其矫正方法
CN105335696A (zh) * 2015-08-26 2016-02-17 湖南信息职业技术学院 一种基于3d异常步态行为检测识别的智能助老机器人及实现方法
CN105930785A (zh) * 2016-04-15 2016-09-07 丁盛 一种智能化的隐式交互系统

Also Published As

Publication number Publication date
CN106445135A (zh) 2017-02-22

Similar Documents

Publication Publication Date Title
KR102446686B1 (ko) 승객 상태 분석 방법 및 장치, 차량, 전자 기기, 저장 매체
CN106445135B (zh) 通过智能机器人进行体态纠正的数据交互方法和系统
CN110300946B (zh) 智能助理
US11844608B2 (en) Posture analysis systems and methods
US11544274B2 (en) Context-based digital assistant
JP7424285B2 (ja) 情報処理システム、情報処理方法、および記録媒体
US11219395B2 (en) Sleepiness estimating device and wakefulness inducing device
US9408562B2 (en) Pet medical checkup device, pet medical checkup method, and non-transitory computer readable recording medium storing program
US10877555B2 (en) Information processing device and information processing method for controlling user immersion degree in a virtual reality environment
US20180330815A1 (en) Dynamically-adaptive occupant monitoring and interaction systems for health care facilities
EP3798900A1 (en) Child state analysis method and apparatus, vehicle, electronic device and storage medium
JP6692987B2 (ja) ベッド転落を予測及び防止する患者監視のためのデバイス、システム、及び方法
US20180192779A1 (en) Tv bed, tv, bed, and method for operating the same
EP3637228A2 (en) Real-time motion feedback for extended reality
US11819996B2 (en) Expression feedback method and smart robot
CN110825220B (zh) 眼球追踪控制方法、装置、智能投影仪及存储介质
WO2019215983A1 (ja) 情報処理システム、情報処理方法、および記録媒体
JP7347414B2 (ja) 情報処理システム、情報処理方法、および記録媒体
US11189289B2 (en) Information processing device, information processing method, and information processing system
JP6859641B2 (ja) 評価システム、情報処理装置およびプログラム
CN107046602A (zh) 一种移动设备的使用提醒方法及装置
Tanaka et al. Intention inference from 2d poses of preliminary action using openpose
KR102065850B1 (ko) 유아 두상 교정 시스템
JP7314939B2 (ja) 画像認識プログラム、画像認識装置、学習プログラム、および学習装置
Sümer et al. An eye-controlled wearable communication and control system for ALS patients: SmartEyes

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant