CN109358747B - 陪伴机器人控制方法、系统、移动终端及存储介质 - Google Patents

陪伴机器人控制方法、系统、移动终端及存储介质 Download PDF

Info

Publication number
CN109358747B
CN109358747B CN201811154830.4A CN201811154830A CN109358747B CN 109358747 B CN109358747 B CN 109358747B CN 201811154830 A CN201811154830 A CN 201811154830A CN 109358747 B CN109358747 B CN 109358747B
Authority
CN
China
Prior art keywords
accompanying
instruction
dynamic
point
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811154830.4A
Other languages
English (en)
Other versions
CN109358747A (zh
Inventor
陈锦英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Chengxin Zhichuang Technology Service Co ltd
Original Assignee
Pingtan Chengxin Zhichuang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pingtan Chengxin Zhichuang Technology Co ltd filed Critical Pingtan Chengxin Zhichuang Technology Co ltd
Priority to CN201811154830.4A priority Critical patent/CN109358747B/zh
Publication of CN109358747A publication Critical patent/CN109358747A/zh
Application granted granted Critical
Publication of CN109358747B publication Critical patent/CN109358747B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue

Abstract

本发明提供了一种陪伴机器人控制方法、系统、移动终端及存储介质，该控制方法包括：当接收到陪护对象发送的语音控制指令时，判断语音控制指令中是否携带特征关键词；若否，获取语音控制指令的当前音量值，并判断当前音量值是否大于音量阈值；若是，采集陪护对象的动态数据，并根据动态数据生成陪护指令；判断陪护指令是否满足陪护需求条件；若是，则将陪护指令与控制指令表进行匹配，以得到动态控制代码，并根据动态控制代码控制陪伴机器人执行陪护操作。本发明通过自动采集特征关键词或陪护指令的方式，以控制陪伴机器人进行陪护操作，无需陪护对象采用按键控制对陪伴机器人的陪护操作进行控制，方便了用户的操作，提高了用户体验。

Description

陪伴机器人控制方法、系统、移动终端及存储介质
技术领域
本发明涉及机器人技术领域，具体而言，涉及一种陪伴机器人控制方法、系统、移动终端及存储介质。
背景技术
中国是个人口大国，目前超过60岁的老人达到1.49亿人，占总人口的11％。由于老龄化的加剧，我国老人的人口还会继续增加。大部分家庭由于儿女长年不在家或工作比较忙，基本没有时间照看老人，那么老人独自生活是有很多安全问题存在的，此时老人的养老护理成了一个棘手的问题，使得养老陪护成为一个巨大的市场，因此，陪伴机器人应运而生。
但现有的陪伴机器人使用过程中，均采用按键控制的方式进行操作控制，当陪伴机器人上控制按键较少时，导致陪伴机器人功能较少，当陪伴机器人上控制按键较多时，导致用户操作繁琐，用户体验差。
发明内容
基于此，本发明实施例的目的在于解决现有技术中，由于采用按键控制陪伴机器人进行陪护操作导致的用户体验差的方式的问题。
第一方面，本发明提供了一种陪伴机器人控制方法，所述控制方法包括：
当接收到陪护对象发送的语音控制指令时，判断所述语音控制指令中是否携带特征关键词；
当判断到所述语音控制指令中携带有所述特征关键词时，将所述特征关键词与本地预存储的控制指令表进行匹配，以得到语音控制代码，并根据所述语音控制代码控制陪伴机器人执行陪护操作；
当判断到所述语音控制指令中未携带所述特征关键词时，获取所述语音控制指令的当前音量值，并判断所述当前音量值是否大于音量阈值；
当判断到所述当前音量大于所述音量阈值时，采集所述陪护对象的动态数据，并根据所述动态数据生成陪护指令；
判断所述陪护指令是否满足陪护需求条件；
若是，则将所述陪护指令与所述控制指令表进行匹配，以得到动态控制代码，并根据所述动态控制代码控制所述陪伴机器人执行陪护操作。
进一步地，在本发明较佳的实施例中，所述根据所述动态数据生成陪护指令的步骤包括：
按预设时间间隔对所述动态数据进行分割，以得到多个动态视频；
按预设规则分别对每个所述动态视频中所述陪护对象的当前手势进行中心点的标记；
分别获取每个所述动态视频中所述中心点的最高坐标点和最低坐标点，并对相邻所述最高坐标点之间、相邻所述最低坐标点之间对应进行连接，以绘制高点手势轨迹和低点手势轨迹。
进一步地，在本发明较佳的实施例中，所述判断所述陪护指令是否满足陪护需求条件的步骤包括：
判断所述高点手势轨迹和/或所述低点手势轨迹与本地预存储的手势模板库是否匹配；
若是，则判定所述陪护指令满足所述陪护需求条件。
进一步地，在本发明较佳的实施例中，所述当前手势包括静态手势和动态手势；
所述静态手势包括通过暂时静止不动的手指、手掌或者手掌连同手臂做出的形状或姿态；
所述动态手势包括由一段时间内的一系列连续的所述静态手势所组成的时变的手势。
进一步地，在本发明较佳的实施例中，所述分别获取每个所述动态视频中所述中心点的最高坐标点和最低坐标点所采用的计算公式为：
Figure BDA0001818697550000031
其中，FHj为所述中心点j在对应所述动态视频内任一帧的离地高度，A、B、C、D是地面系数，{x，y，z}是所述中心点在所述动态视频中的三维坐标值，所述离地高度为所述最高坐标点或所述最低坐标点的纵坐标值，所述最高坐标点和所述最低坐标点的横坐标值为所述预设时间间隔的倍数。
进一步地，在本发明较佳的实施例中，所述判断所述陪护指令是否满足陪护需求条件的步骤之后，所述控制方法还包括：
当判断到所述陪护指令不满足所述陪护需求条件时；
发出错误提示，并判断预设时间内是否接收到按键控制指令；
若是，则根据所述按键控制指令控制所述陪伴机器人执行陪护操作。
上述陪伴机器人控制方法，通过自动采集特征关键词或陪护指令的方式，以控制陪伴机器人进行陪护操作，无需陪护对象采用按键控制对陪伴机器人的陪护操作进行控制，方便了用户的操作，提高了用户体验，通过所述动态数据的采集，以方便了所述陪护指令的生成，通过所述特征关键词、所述陪护指令与所述控制指令表之间的匹配设计，提高了所述语音控制代码和所述动态控制代码获取的准确性，进而有效的保障了对所述陪伴机器人的控制效率。
第二方面，本发明提供了一种陪伴机器人控制系统，包括：
第一判断模块，用于当接收到陪护对象发送的语音控制指令时，判断所述语音控制指令中是否携带特征关键词；
第一控制模块，用于当所述第一判断模块判断到所述语音控制指令中携带有所述特征关键词时，将所述特征关键词与本地预存储的控制指令表进行匹配，以得到语音控制代码，并根据所述语音控制代码控制陪伴机器人执行陪护操作；
第二判断模块，用于当所述第一判断模块判断到所述语音控制指令中未携带所述特征关键词时，获取所述语音控制指令的当前音量值，并判断所述当前音量值是否大于音量阈值；
采集模块，用于当所述第二判断模块判断到所述当前音量大于所述音量阈值时，采集所述陪护对象的动态数据，并根据所述动态数据生成陪护指令；
第三判断模块，用于判断所述陪护指令是否满足陪护需求条件；
第二控制模块，用于当所述第三判断模块判断到所述陪护指令满足所述陪护需求条件时，将所述陪护指令与所述控制指令表进行匹配，以得到动态控制代码，并根据所述动态控制代码控制所述陪伴机器人执行陪护操作。
进一步地，在本发明较佳的实施例中，所述采集模块包括：
分割单元，用于按预设时间间隔对所述动态数据进行分割，以得到多个动态视频；
标记单元，用于按预设规则分别对每个所述动态视频中所述陪护对象的当前手势进行中心点的标记；
轨迹绘制单元，用于分别获取每个所述动态视频中所述中心点的最高坐标点和最低坐标点，并对相邻所述最高坐标点之间、相邻所述最低坐标点之间对应进行连接，以绘制高点手势轨迹和低点手势轨迹。
上述陪伴机器人控制系统，通过自动采集特征关键词或陪护指令的方式，以控制陪伴机器人进行陪护操作，无需陪护对象采用按键控制对陪伴机器人的陪护操作进行控制，方便了用户的操作，提高了用户体验，通过所述第一控制模块和所述第二控制模块中所述特征关键词、所述陪护指令与所述控制指令表之间的匹配设计，提高了所述语音控制代码和所述动态控制代码获取的准确性，进而有效的保障了所述陪伴机器人控制系统对所述陪伴机器人的控制效率。
第三方面，本发明提供了一种移动终端，包括存储设备以及处理器，所述存储设备用于存储计算机程序，所述处理器运行所述计算机程序以使所述移动终端执行上述的陪伴机器人控制方法。
第四方面，本发明提供了一种存储介质，其上存储有上述移动终端中所使用的计算机程序。
附图说明
为了更清楚地说明本发明实施方式的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明第一实施例提供的陪伴机器人控制方法的流程图；
图2为本发明第二实施例提供的陪伴机器人控制方法的流程图；
图3为本发明第三实施例提供的陪伴机器人控制系统的结构示意图；
Figure BDA0001818697550000051
Figure BDA0001818697550000061
具体实施方式
为了便于更好地理解本发明，下面将结合相关实施例附图对本发明进行进一步地解释。附图中给出了本发明的实施例，但本发明并不仅限于上述的优选实施例。相反，提供这些实施例的目的是为了使本发明的公开面更加得充分。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
请参阅图1，为本发明第一实施例提供的陪伴机器人控制方法的流程图，包括步骤S10至S60。
步骤S10：当接收到陪护对象发送的语音控制指令时，判断所述语音控制指令中是否携带特征关键词；
其中，所述特征关键词对应于用户预先设置的任意词组，用户预先设置的这些任意词组形成特征词组表，所述特征关键词可以为“倒水”、“送药”、“播放电视”或“播放音乐”等词组，具体地，该步骤中当接收到所述语音控制指令时，通过语音转换将所述语音控制指令转换为文字数据，并将该文字数据与特征词组表进行文字匹配，以判断所述语音控制指令中是否携带特征关键词。
优选地，该步骤中可以采用音频分析的方式以进行所述特征关键词的判断，即通过对所述语音控制指令进行音频分析后，得到音频数据，并将该音频数据与预设的多个词组音频进行匹配，以判断是否携带所述特征关键词。
进一步地，所述语音控制指令的触发请求可以采用触控信号、红外信号、语音信号或无线信号的方式进行传输，所述语音控制指令的接收可以采用麦克风的方式进行采集后，通过无线信号的方式进行后续远距离的传输，具体地，当该触发请求为触控信号时，该触控信号可以基于触控按键或触控面板的按压触控的方式进行传输，例如可以通过在床边设置该触控按键，当用户按压该触控按键后对应发出所述语音控制指令；可以理解地，还可以通过在移动终端中设置对应APP，当用户在APP中按压预设区域或发出预设信号时，对应发出所述语音控制指令。
当步骤S10判断到所述语音控制指令中携带有所述特征关键词时，执行步骤S20；
步骤S20：将所述特征关键词与本地预存储的控制指令表进行匹配，以得到语音控制代码，并根据所述语音控制代码控制陪伴机器人执行陪护操作；
其中，所述控制指令表中至少存储有一组语音控制代码与对应特征关键词的对应关系，所述语音控制代码可用于对应控制陪伴机器人进行操作，以满足对应的陪护需求。
当步骤S10判断到所述语音控制指令中未携带所述特征关键词时，执行步骤S30；
步骤S30：获取所述语音控制指令的当前音量值，并判断所述当前音量值是否大于音量阈值；
其中，所述音量阈值可以根据用户需求自主进行设置，所述当前音量值与所述音量阈值之间可以采用比较器或计算器的方式进行大小判断；
当步骤S30判断到所述当前音量大于所述音量阈值时，执行步骤S40；当步骤S30判断到所述当前音量不大于所述音量阈值时，则结束控制步骤。
步骤S40：采集所述陪护对象的动态数据，并根据所述动态数据生成陪护指令；
其中，该步骤S40中通过采用摄像头进行该动态数据的采集，且该动态数据的采集时间可以根据用户的需求自主进行设置，或可以采用动态分析的方式进行该采集时间的截止，例如，当判断到该陪护对象停止动作的时间等于预设时间时，停止该摄像头对所述陪护对象的拍摄，以截止该动态数据的采集，当采用自主设置采集时间的方式时，该采集时间可以为5分钟、10分钟或其它任意时间等。
步骤S50：判断所述陪护指令是否满足陪护需求条件；
其中，所述陪护需求条件用于判断所述陪护指令是否为有效指令，当判断到所述陪护指令不满足所述陪护需求条件时，则判定所述陪护指令为无效指令，具体地，所述陪护需求条件可以用户需求自主进行设置；
优选地，该步骤S50中，所述判断所述陪护指令是否满足陪护需求条件的步骤之后，所述方法还包括步骤S501，
步骤S501：当判断到所述陪护指令不满足所述陪护需求条件时，发出错误提示，并判断预设时间内是否接收到按键控制指令；
当判断预设时间内接收到按键控制指令，则进行步骤S502：根据所述按键控制指令控制所述陪伴机器人执行陪护操作；当判断预设时间内没有接收到按键控制指令，则结束控制步骤。
其中，所述按键控制指令采用按键信号的方式进行传输，每个按键信号均对应一个控制按键，每个控制按键均对应预先设置的陪护需求，通过在所述预设时间内对所述按键控制指令的判断，以防止了由于其他因素导致特征关键词和动态数据获取失败时，能继续满足用户的陪护需求。
当步骤S50判断到所述陪护指令满足所述陪护需求时，执行步骤S60。
步骤S60：将所述陪护指令与所述控制指令表进行匹配，以得到动态控制代码，并根据所述动态控制代码控制所述陪伴机器人执行陪护操作；
可以理解地，本实施例中所述控制指令表中至少存储有一组陪护指令与对应动态控制代码的对应关系。
本实施例中，通过自动采集特征关键词或陪护指令的方式，以控制陪伴机器人进行陪护操作，无需陪护对象采用按键控制对陪伴机器人的陪护操作进行控制，方便了用户的操作，提高了用户体验，通过所述动态数据的采集，以方便了所述陪护指令的生成，通过所述特征关键词、所述陪护指令与所述控制指令表之间的匹配设计，提高了所述语音控制代码和所述动态控制代码获取的准确性，进而有效的保障了对所述陪伴机器人的控制效率。
请参阅图2，为本发明第二实施例提供的陪伴机器人控制方法的流程图，所述方法包括步骤S11至S91。
步骤S11：当接收到陪护对象发送的语音控制指令时，判断所述语音控制指令中是否携带特征关键词；
当步骤S11中判断到所述语音控制指令中携带有所述特征关键词时，执行步骤S21；
步骤S21：将所述特征关键词与本地预存储的控制指令表进行匹配，以得到语音控制代码，并根据所述语音控制代码控制陪伴机器人执行陪护操作；
当步骤S11判断到所述语音控制指令中未携带所述特征关键词时，执行步骤S31；
步骤S31：获取所述语音控制指令的当前音量值，并判断所述当前音量值是否大于音量阈值；
当步骤S31判断到所述当前音量大于所述音量阈值时，则执行步骤S41；当步骤S31判断到所述当前音量不大于所述音量阈值时，则结束控制步骤。
步骤S41：采集所述陪护对象的动态数据，并按预设时间间隔对所述动态数据进行分割，以得到多个动态视频；
其中，该步骤S41中通过采用摄像头进行该动态数据的采集，且该动态数据的采集时间可以根据用户的需求自主进行设置，或可以采用动态分析的方式进行该采集时间的截止，例如，当判断到该陪护对象停止动作的时间等于预设时间时，停止该摄像头对所述陪护对象的拍摄，以截止该动态数据的采集，当采用自主设置采集时间的方式时，该采集时间可以为5分钟、10分钟或其它任意时间等；
具体地，该步骤S41中所述预设时间间隔可以为1s、5s或10s等时间间隔，用户可以根据分割需求自主对所述预设时间间隔进行设置，每个所述动态视频中均存储有多帧连续画面，该步骤中通过对所述动态数据的分割设计，以方便了后续对所述动态视频的分析，进而提高了所述陪护机器人控制方法的控制效率。
步骤S51：按预设规则分别对每个所述动态视频中所述陪护对象的当前手势进行中心点的标记；
其中，所述当前手势包括静态手势和动态手势；
所述静态手势包括通过暂时静止不动的手指、手掌或者手掌连同手臂做出的形状或姿态；
所述动态手势包括由一段时间内的一系列连续的所述静态手势所组成的时变的手势。
步骤S61：分别获取每个所述动态视频中所述中心点的最高坐标点和最低坐标点，并对相邻所述最高坐标点之间、相邻所述最低坐标点之间对应进行连接，以绘制高点手势轨迹和低点手势轨迹；
其中，所述分别获取每个所述动态视频中所述中心点的最高坐标点和最低坐标点所采用的计算公式为：
Figure BDA0001818697550000111
其中，FHj为所述中心点j在对应所述动态视频内任一帧的离地高度，A、B、C、D是地面系数，{x，y，z}是所述中心点在所述动态视频中的三维坐标值，所述离地高度为所述最高坐标点或所述最低坐标点的纵坐标值，所述最高坐标点和所述最低坐标点的横坐标值为所述预设时间间隔的倍数。
步骤S71：判断所述高点手势轨迹和/或所述低点手势轨迹与本地预存储的手势模板库是否匹配；
其中，所述手势模板库中存储有多个预设的轨迹图像和其对应的手势编号，且该所述手势模板库中的预设的轨迹图像与手势标号之间可以采用一一对应关系或多对一的方式进行对应存储，即可以为多个不同的轨迹图像对应同一个手势标号；
优选地，所述手势模板库中该手势标号还对应存储有所述手势意图，所述手势意图中所含的数据为程序代码，当服务器查询对应程序代码时，通过该程序代码以控制对应陪伴机器人执行陪护操作，因此，当判断到所述高点手势轨迹或所述低点手势轨迹与所述手势模板库匹配成功时，匹配结果为对应的所述手势标号和所述手势意图；
当步骤S71判断到所述高点手势轨迹和/或所述低点手势轨迹与所述手势模板库匹配时，判定所述陪护指令满足陪护需求条件，并执行步骤S81；当步骤S71判断到所述高点手势轨迹和/或所述低点手势轨迹与所述手势模板库不匹配时，结束控制流程。
步骤S81：将所述陪护指令与所述控制指令表进行匹配，以得到动态控制代码，并根据所述动态控制代码控制所述陪伴机器人执行陪护操作；
其中，本实施例中所述控制指令表中至少存储有一组陪护指令与对应动态控制代码的对应关系；优选地，所述控制指令表中所述陪护指令与对应的所述动态控制代码之间的对应存储关系采用所述手势标号或所述手势意图与所述动态控制代码进行一一对应存储，进而当将所述陪护指令与所述控制指令表进行匹配，能及时有效的获取到所述动态控制代码，以使方便了后续对所述陪伴机器人的操作控制。
本实施例中，通过自动采集特征关键词或陪护指令的方式，以控制陪伴机器人进行陪护操作，无需陪护对象采用按键控制对陪伴机器人的陪护操作进行控制，方便了用户的操作，提高了用户体验，通过所述动态数据的采集，以方便了所述陪护指令的生成，通过所述特征关键词、所述陪护指令与所述控制指令表之间的匹配设计，提高了所述语音控制代码和所述动态控制代码获取的准确性，进而有效的保障了对所述陪伴机器人的控制效率。
请参阅图3，为本发明第三实施例提供的陪伴机器人控制系统100的结构示意图，包括：
第一判断模块10，用于当接收到陪护对象发送的语音控制指令时，判断所述语音控制指令中是否携带特征关键词，其中，所述特征关键词可以为用户预先设置的任意词组，以形成特征词组表，所述特征关键词可以为“倒水”、“送药”、“播放电视”或“播放音乐”等词组，具体地，该模块中当接收到所述语音控制指令时，通过语音转换将所述语音控制指令转换为文字数据，并将该文字数据与特征词组表进行文字匹配，以判断所述语音控制指令中是否携带特征关键词。
第一控制模块11，用于当所述第一判断模块10判断到所述语音控制指令中携带有所述特征关键词时，将所述特征关键词与本地预存储的控制指令表进行匹配，以得到语音控制代码，并根据所述语音控制代码控制陪伴机器人执行陪护操作，其中，所述控制指令表中至少存储有一组语音控制代码与对应特征关键词的对应关系，所述语音控制代码可用于对应控制陪伴机器人进行操作，以满足对应的陪护需求。
第二判断模块12，用于当所述第一判断模块10判断到所述语音控制指令中未携带所述特征关键词时，获取所述语音控制指令的当前音量值，并判断所述当前音量值是否大于音量阈值，其中，所述音量阈值可以根据用户需求自主进行设置，所述当前音量值与所述音量阈值之间可以采用比较器或计算器的方式进行大小判断。
采集模块13，用于当所述第二判断模块12判断到所述当前音量大于所述音量阈值时，采集所述陪护对象的动态数据，并根据所述动态数据生成陪护指令，其中，该模块中通过采用摄像头进行该动态数据的采集，且该动态数据的采集时间可以根据用户的需求自主进行设置，或可以采用动态分析的方式进行该采集时间的截止，例如，当判断到该陪护对象停止动作的时间等于预设时间时，停止该摄像头对所述陪护对象的拍摄，以截止该动态数据的采集，当采用自主设置采集时间的方式时，该采集时间可以为5分钟、10分钟或其它任意时间等。
第三判断模块14，用于判断所述陪护指令是否满足陪护需求条件，其中，所述陪护需求条件用于判断所述陪护指令是否为有效指令，当判断到所述陪护指令不满足所述陪护需求条件时，则判定所述陪护指令为无效指令，具体地，所述陪护需求条件可以用户需求自主进行设置。
第二控制模块15，用于当所述第三判断模块14判断到所述陪护指令满足所述陪护需求条件时，将所述陪护指令与所述控制指令表进行匹配，以得到动态控制代码，并根据所述动态控制代码控制所述陪伴机器人执行陪护操作。
进一步地，在本发明较佳的实施例中，所述采集模块13包括：
分割单元131，用于按预设时间间隔对所述动态数据进行分割，以得到多个动态视频；
标记单元132，用于按预设规则分别对每个所述动态视频中所述陪护对象的当前手势进行中心点的标记；
轨迹绘制单元133，用于分别获取每个所述动态视频中所述中心点的最高坐标点和最低坐标点，并对相邻所述最高坐标点之间、相邻所述最低坐标点之间对应进行连接，以绘制高点手势轨迹和低点手势轨迹；
具体地，所述分别获取每个所述动态视频中所述中心点的最高坐标点和最低坐标点所采用的计算公式为：
Figure BDA0001818697550000141
其中，FHj为所述中心点j在对应所述动态视频内任一帧的离地高度，A、B、C、D是地面系数，{x，y，z}是所述中心点在所述动态视频中的三维坐标值，所述离地高度为所述最高坐标点或所述最低坐标点的纵坐标值，所述最高坐标点和所述最低坐标点的横坐标值为所述预设时间间隔的倍数。
具体地，所述第三判断模块14包括：
判断单元141，用于判断所述高点手势轨迹和/或所述低点手势轨迹与本地预存储的手势模板库是否匹配，若是，则判定所述陪护指令满足所述陪护需求条件。
进一步的，所述陪伴机器人控制系统100还包括：
第四判断模块16，用于当所述第三判断模块14判断到所述陪护指令不满足所述陪护需求条件时，发出错误提示，并判断预设时间内是否接收到按键控制指令；若是，则根据所述按键控制指令控制所述陪伴机器人执行陪护操作，其中，所述按键控制指令采用按键信号的方式进行传输，每个按键信号均对应一个控制按键，每个控制按键均对应预先设置的陪护需求，通过在所述预设时间内对所述按键控制指令的判断，以防止了由于其他因素导致特征关键词和动态数据获取失败时，能继续满足用户的陪护需求。
本实施例中，通过自动采集特征关键词或陪护指令的方式，以控制陪伴机器人进行陪护操作，无需陪护对象采用按键控制对陪伴机器人的陪护操作进行控制，方便了用户的操作，提高了用户体验，通过所述第一控制模块11和所述第二控制模块15中所述特征关键词、所述陪护指令与所述控制指令表之间的匹配设计，提高了所述语音控制代码和所述动态控制代码获取的准确性，进而有效的保障了所述陪伴机器人控制系统100对所述陪伴机器人的控制效率。
本实施例还提供了一种移动终端，包括存储设备(图未示)以及处理器(图未示)，所述存储设备用于存储计算机程序，所述处理器运行所述计算机程序以使所述移动终端执行上述的陪伴机器人控制方法。
本实施例还提供了一种存储介质，其上存储有上述移动终端中所使用的计算机程序，该计算机程序在执行时，包括如下步骤：
当接收到陪护对象发送的语音控制指令时，判断所述语音控制指令中是否携带特征关键词；
当判断到所述语音控制指令中携带有所述特征关键词时，将所述特征关键词与本地预存储的控制指令表进行匹配，以得到语音控制代码，并根据所述语音控制代码控制陪伴机器人执行陪护操作；
当判断到所述语音控制指令中未携带所述特征关键词时，获取所述语音控制指令的当前音量值，并判断所述当前音量值是否大于音量阈值；
当判断到所述当前音量大于所述音量阈值时，采集所述陪护对象的动态数据，并根据所述动态数据生成陪护指令；
判断所述陪护指令是否满足陪护需求条件；
若是，则将所述陪护指令与所述控制指令表进行匹配，以得到动态控制代码，并根据所述动态控制代码控制所述陪伴机器人执行陪护操作。所述的存储介质，如：ROM/RAM、磁碟、光盘等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元或模块完成，即将存储装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施方式中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。
本领域技术人员可以理解，图3中示出的组成结构并不构成对本发明的陪伴机器人控制系统的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，而图1-2中的陪伴机器人控制方法亦采用图3中所示的更多或更少的部件，或者组合某些部件，或者不同的部件布置来实现。本发明所称的单元、模块等是指一种能够被所述陪伴机器人控制系统中的处理器(图未示)所执行并功能够完成特定功能的一系列计算机程序，其均可存储于所述陪伴机器人控制系统的存储设备(图未示)内。
上述实施例描述了本发明的技术原理，这些描述只是为了解释本发明的原理，而不能以任何方式解释为本发明保护范围的限制。基于此处的解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其他具体实施方式，这些方式都将落入本发明的保护范围内。

Claims (7)

1.一种陪伴机器人控制方法，其特征在于，所述方法包括：
当接收到陪护对象发送的语音控制指令时，判断所述语音控制指令中是否携带特征关键词；
当判断到所述语音控制指令中携带有所述特征关键词时，将所述特征关键词与本地预存储的控制指令表进行匹配，以得到语音控制代码，并根据所述语音控制代码控制陪伴机器人执行陪护操作；
当判断到所述语音控制指令中未携带所述特征关键词时，获取所述语音控制指令的当前音量值，并判断所述当前音量值是否大于音量阈值；
当判断到所述当前音量大于所述音量阈值时，采集所述陪护对象的动态数据，并根据所述动态数据生成陪护指令；
根据所述动态数据生成陪护指令的步骤包括：
按预设时间间隔对所述动态数据进行分割，以得到多个动态视频；
按预设规则分别对每个所述动态视频中所述陪护对象的当前手势进行中心点的标记；
分别获取每个所述动态视频中所述中心点的最高坐标点和最低坐标点，并对相邻所述最高坐标点之间、相邻所述最低坐标点之间对应进行连接，以绘制高点手势轨迹和低点手势轨迹；
所述分别获取每个所述动态视频中所述中心点的最高坐标点和最低坐标点所采用的计算公式为：
Figure 672414DEST_PATH_IMAGE001
其中，FHj为所述中心点j在对应所述动态视频内任一帧的离地高度，A、B、C、D是地面系数，{x，y，z}是所述中心点在所述动态视频中的三维坐标值，所述离地高度为所述最高坐标点或所述最低坐标点的纵坐标值，所述最高坐标点和所述最低坐标点的横坐标值为所述预设时间间隔的倍数；
判断所述陪护指令是否满足陪护需求条件；
若是，则将所述陪护指令与所述控制指令表进行匹配，以得到动态控制代码，并根据所述动态控制代码控制所述陪伴机器人执行陪护操作。
2.根据权利要求1所述的陪伴机器人控制方法，其特征在于，所述判断所述陪护指令是否满足陪护需求条件的步骤包括：
判断所述高点手势轨迹和/或所述低点手势轨迹与本地预存储的手势模板库是否匹配；
若是，则判定所述陪护指令满足所述陪护需求条件。
3.根据权利要求1所述的陪伴机器人控制方法，其特征在于，所述当前手势包括静态手势和动态手势；
所述静态手势包括通过暂时静止不动的手指、手掌或者手掌连同手臂做出的形状或姿态；
所述动态手势包括由一段时间内的一系列连续的所述静态手势所组成的时变的手势。
4.根据权利要求1所述的陪伴机器人控制方法，其特征在于，在所述判断所述陪护指令是否满足陪护需求条件的步骤之后，所述陪伴机器人控制方法还包括：
当判断到所述陪护指令不满足所述陪护需求条件时；
发出错误提示，并判断预设时间内是否接收到按键控制指令；
若是，则根据所述按键控制指令控制所述陪伴机器人执行陪护操作。
5.一种陪伴机器人控制系统，其特征在于，包括：
第一判断模块，用于当接收到陪护对象发送的语音控制指令时，判断所述语音控制指令中是否携带特征关键词；
第一控制模块，用于当所述第一判断模块判断到所述语音控制指令中携带有所述特征关键词时，将所述特征关键词与本地预存储的控制指令表进行匹配，以得到语音控制代码，并根据所述语音控制代码控制陪伴机器人执行陪护操作；
第二判断模块，用于当所述第一判断模块判断到所述语音控制指令中未携带所述特征关键词时，获取所述语音控制指令的当前音量值，并判断所述当前音量值是否大于音量阈值；
采集模块，用于当所述第二判断模块判断到所述当前音量大于所述音量阈值时，采集所述陪护对象的动态数据，并根据所述动态数据生成陪护指令；
第三判断模块，用于判断所述陪护指令是否满足陪护需求条件；
第二控制模块，用于当所述第三判断模块判断到所述陪护指令满足所述陪护需求条件时，将所述陪护指令与所述控制指令表进行匹配，以得到动态控制代码，并根据所述动态控制代码控制所述陪伴机器人执行陪护操作；
所述采集模块包括：
分割单元，用于按预设时间间隔对所述动态数据进行分割，以得到多个动态视频；
标记单元，用于按预设规则分别对每个所述动态视频中所述陪护对象的当前手势进行中心点的标记；
轨迹绘制单元，用于分别获取每个所述动态视频中所述中心点的最高坐标点和最低坐标点，并对相邻所述最高坐标点之间、相邻所述最低坐标点之间对应进行连接，以绘制高点手势轨迹和低点手势轨迹；
所述分别获取每个所述动态视频中所述中心点的最高坐标点和最低坐标点所采用的计算公式为：
Figure 5306DEST_PATH_IMAGE001
其中，FHj为所述中心点j在对应所述动态视频内任一帧的离地高度，A、B、C、D是地面系数，{x，y，z}是所述中心点在所述动态视频中的三维坐标值，所述离地高度为所述最高坐标点或所述最低坐标点的纵坐标值，所述最高坐标点和所述最低坐标点的横坐标值为所述预设时间间隔的倍数。
6.一种移动终端，其特征在于，包括存储设备以及处理器，所述存储设备用于存储计算机程序，所述处理器运行所述计算机程序以使所述移动终端执行根据权利要求1至4任一项所述的陪伴机器人控制方法。
7.一种存储介质，其特征在于，其存储有权利要求6所述的移动终端中所使用的计算机程序。
CN201811154830.4A 2018-09-30 2018-09-30 陪伴机器人控制方法、系统、移动终端及存储介质 Active CN109358747B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811154830.4A CN109358747B (zh) 2018-09-30 2018-09-30 陪伴机器人控制方法、系统、移动终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811154830.4A CN109358747B (zh) 2018-09-30 2018-09-30 陪伴机器人控制方法、系统、移动终端及存储介质

Publications (2)

Publication Number Publication Date
CN109358747A CN109358747A (zh) 2019-02-19
CN109358747B true CN109358747B (zh) 2021-11-30

Family

ID=65348495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811154830.4A Active CN109358747B (zh) 2018-09-30 2018-09-30 陪伴机器人控制方法、系统、移动终端及存储介质

Country Status (1)

Country Link
CN (1) CN109358747B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949812A (zh) * 2019-04-26 2019-06-28 百度在线网络技术（北京）有限公司 一种语音交互方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103593680A (zh) * 2013-11-19 2014-02-19 南京大学 一种基于隐马尔科夫模型自增量学习的动态手势识别方法
CN104391578A (zh) * 2014-12-05 2015-03-04 重庆蓝岸通讯技术有限公司 一种三维影像的实时手势操控方法
CN106095109A (zh) * 2016-06-20 2016-11-09 华南理工大学 基于手势和语音进行机器人在线示教的方法
CN106648054A (zh) * 2016-10-08 2017-05-10 河海大学常州校区 一种基于RealSense的陪伴机器人的多模式交互方法
CN106843489A (zh) * 2017-01-24 2017-06-13 腾讯科技（深圳）有限公司 一种飞行器的飞行路线控制方法及飞行器
CN107870674A (zh) * 2017-11-30 2018-04-03 维沃移动通信有限公司 一种程序启动方法和移动终端

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101749100B1 (ko) * 2010-12-23 2017-07-03 한국전자통신연구원 디바이스 제어를 위한 제스처/음향 융합 인식 시스템 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103593680A (zh) * 2013-11-19 2014-02-19 南京大学 一种基于隐马尔科夫模型自增量学习的动态手势识别方法
CN104391578A (zh) * 2014-12-05 2015-03-04 重庆蓝岸通讯技术有限公司 一种三维影像的实时手势操控方法
CN106095109A (zh) * 2016-06-20 2016-11-09 华南理工大学 基于手势和语音进行机器人在线示教的方法
CN106648054A (zh) * 2016-10-08 2017-05-10 河海大学常州校区 一种基于RealSense的陪伴机器人的多模式交互方法
CN106843489A (zh) * 2017-01-24 2017-06-13 腾讯科技（深圳）有限公司 一种飞行器的飞行路线控制方法及飞行器
CN107870674A (zh) * 2017-11-30 2018-04-03 维沃移动通信有限公司 一种程序启动方法和移动终端

Also Published As

Publication number Publication date
CN109358747A (zh) 2019-02-19

Similar Documents

Publication Publication Date Title
JP6587330B2 (ja) ランダムフォレストモデルの訓練方法、電子装置及び記憶媒体
DE102014117504B4 (de) Verwenden von Kontext zum Interpretieren von natürlichen Spracherkennungsbefehlen
US20190385599A1 (en) Speech recognition method and apparatus, and storage medium
WO2019153777A1 (zh) 电器设备的控制方法、装置、设备和存储介质
JP6687741B2 (ja) 情報マイニング方法、システム、電子装置及び読み取り可能な記憶媒体
US10108698B2 (en) Common data repository for improving transactional efficiencies of user interactions with a computing device
CN105976814B (zh) 头戴设备的控制方法和装置
JP6986187B2 (ja) 人物識別方法、装置、電子デバイス、記憶媒体、及びプログラム
US11238858B2 (en) Speech interactive method and device
CN106847285B (zh) 一种机器人及其语音识别方法
WO2020135334A1 (zh) 电视应用主题切换方法、电视、可读存储介质及设备
JP7281521B2 (ja) 音声制御方法及び音声制御装置、電子機器並びに記憶媒体
KR20210044310A (ko) 동적 트렌드 클러스터링을 위한 시스템 및 방법
US20190346929A1 (en) Attention Levels in a Gesture Control System
KR20210156243A (ko) 딥러닝 프레임워크의 훈련 방법, 장치 및 저장 매체
WO2019061851A1 (zh) 手势擦除识别方法、装置及电子设备
CN109358747B (zh) 陪伴机器人控制方法、系统、移动终端及存储介质
WO2019227370A1 (zh) 一种多语音助手控制方法、装置、系统及计算机可读存储介质
CN109434827B (zh) 陪伴机器人控制方法、系统、移动终端及存储介质
CN113836935A (zh) 服务器及文本纠错方法
CN103886069A (zh) 一种软件多语言版本实时切换方法及其系统
CN203054834U (zh) 一种触摸屏上语音查询系统
CN117971154A (zh) 多模态响应
CN104932796B (zh) 一种组件拖放的控制方法及装置
CN109213312B (zh) 电子装置及电子装置的显示控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210128

Address after: 350400 No. 20 station C, No. 31, Taiwan Pioneer Park, Jin Jing two road, Pingtan comprehensive experimentation area, Fuzhou, Fujian.

Applicant after: PINGTAN CHENGXIN ZHICHUANG TECHNOLOGY Co.,Ltd.

Address before: 518000 5805b SEG Plaza, 1002 Huaqiang North Road, Fuqiang community, Huaqiang North Street, Futian District, Shenzhen City, Guangdong Province

Applicant before: SHENZHEN XUZHAN TONGDA TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231222

Address after: Unit 703, No. 199-1 Fengqi Road, Software Park Phase III, Xiamen City, Fujian Province, 361000

Patentee after: XIAMEN CHENGXIN ZHICHUANG TECHNOLOGY SERVICE CO.,LTD.

Address before: 350400 No. 20 station C, No. 31, Taiwan Pioneer Park, Jin Jing two road, Pingtan comprehensive experimentation area, Fuzhou, Fujian.

Patentee before: PINGTAN CHENGXIN ZHICHUANG TECHNOLOGY Co.,Ltd.