CN114800538A - 一种陪伴陪护机器人装置、自适应学习系统及方法 - Google Patents

一种陪伴陪护机器人装置、自适应学习系统及方法 Download PDF

Info

Publication number
CN114800538A
CN114800538A CN202110078859.4A CN202110078859A CN114800538A CN 114800538 A CN114800538 A CN 114800538A CN 202110078859 A CN202110078859 A CN 202110078859A CN 114800538 A CN114800538 A CN 114800538A
Authority
CN
China
Prior art keywords
robot
voice
module
self
accompanying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110078859.4A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tan Sicong
Original Assignee
Tan Sicong
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tan Sicong filed Critical Tan Sicong
Priority to CN202110078859.4A priority Critical patent/CN114800538A/zh
Publication of CN114800538A publication Critical patent/CN114800538A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/008Manipulators for service tasks
    • B25J11/009Nursing, e.g. carrying sick persons, pushing wheelchairs, distributing drugs
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01DMEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00Measuring or testing not otherwise provided for
    • G01D21/02Measuring two or more variables by means not covered by a single other subclass
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Nursing (AREA)
  • Manipulator (AREA)

Abstract

一种陪伴陪护机器人装置,自适应学习系统及方法是利用人工智能,视觉识别技术,语音识别及定位导航移动技术,动作规划,机器人自适应学习,智能识别环境场景下的物品人类,结合机器人节点通信原理,实现语音指令,语音查询,远端及自主控制,自主取物,喂奶喂食喂水,雷达精准定位位置,自主移动导航。3D打印记录成长,婴幼儿语言教学,婴幼儿语音对话交互,视觉物体识别及婴幼儿物体认知教学,婴幼儿的动作教学,机器人自适应动作学习,动作交互。陪伴婴幼儿成长。实现远端,自主的语音,视频监护,陪伴,看护广泛应用于家庭,幼儿看护,老人院,各看护场景,医疗场景。

Description

一种陪伴陪护机器人装置、自适应学习系统及方法
技术领域:
本发明属于人工智能以及机器人技术,涉及机器人语音,视觉技术,机器人地图创建定位导航,机器人动作规划,图像采集识别,多媒体,属于自动化领域及人工智能领域。
背景技术:
婴幼儿及老人等陪伴陪护需要耗费大量人力,时间,采用机器代替人,远端及自主语音陪伴,陪护。新生儿,婴幼儿,少儿陪伴及老人看护,解决人为陪护,雇工成本高,服务质量差。为解决陪护,陪伴需要耗费大量人力,采用机器代替人,设计专业的喂食装置,机器臂取物装置及自适应学习的机器臂学习人类动作。设计机器人的自适应学习系统用于视觉识别,人脸,物体,环境识别,动作行为识别。通过自适应学习系统训练机器人识别语音,识别声纹,建立语言库,建立不同语种语言库,婴幼儿语音教学,语言交互。训练机器人识别物体,环境,以及训练机器人规划动作自主完成喂饭,喂水,喂奶,取物,整理等任务。利用机器人装置,人工智能算法,动作规划算法解决陪伴婴幼儿老人时间短,陪护服务差,成本高,效率低下,陪护人员态度不好,失误多等问题,目前应用于家庭,医院,老人院,看护机构,酒店等各行业。
利用机器臂,多传感,喂食装置,机器取物臂远端自主完成任务,利用语音装置,多媒体液晶屏幕,通过互联网聊天,多传感装置采集信息。
利用客户端与机器人控制器连接,采集物体,人脸部位图像信息,自主聊天,取物,家务动作,用于家庭,医院,老人院,看护机构,酒店等服务行业。本发明通过智能化语音聊天,取物,陪伴陪护服务机器人设计有效防止人为失误,实现自主陪护,取物双臂服务,实现了多任务并行处理。
发明内容:
本发明的目的就在于克服上述现有技术的缺点和不足,提供一种陪伴陪护机器人装置,自适应学习系统及方法,机器代替人,远端及自主控制机器人,采集肌电的肌肉信息,肌肉状态,感觉神经,运动神经的信息,多传感器信息。利用语音模块,用于主控制系统与用户间语音交互,语音仿人聊天。利用摄像头视觉模块,采集人脸图像及采集陪护环境下的常见物体图像,识别常见物体图像。利用多媒体显示屏,机器人-人交互,多媒体播放,互联网浏览,互联网通信。利用机器臂,视觉模块,雷达,移动底座,用于自主定位导航移动,移动至物体位置,利用机器取物,机器臂,喂食,整理。
解决陪护人员人为失误作业,陪护繁忙,婴幼儿老人照顾责任大压力大问题,通过机器人自主作业,缓解作业压力。提高陪护陪伴效率,减少成本,提高陪护灵活性。本发明提供了语音装置,用于人机交互,远端语音命令,提供了自主移动装置,提供了机器臂喂食装置,机器臂取物装置用于远端语音交互,自主陪护,取物,喂食,采集图像,视频及监护服务。
本发明采用的技术方案:
一种陪伴陪护机器人装置,自适应学习系统及方法其特征在于一种陪伴陪护机器人装置包括:
机器人控制器,所述的机器人控制器与机器臂模块,多传感装置,语音装置,视觉装置连接,用于控制机器人。
机器人喂食器,所述的机器人喂食器模块与主控制器连接,用于幼儿,老人,被看护人群喂食。所述的机器人喂食器包括喂奶,喂饭器,专用喂食工具等。
语音自适应学习模块,所述的语音自适应学习模块与机器人控制器连接,用于主控制系统与机器人,多用户间语音交互,远端语音会议,语音仿人聊天,音频录制,语音教学,机器人多种语言语音库的创建及自适应学习,识别。所述的语音自适应学习模块包括语音模块及自适应语音学习器。语音模块包括语音识别,语音唤醒,语音文字转换,声纹合成等。
3D打印模块,所述的3D打印模块用于图像与3D模型间的转换。所述图像包括摄像头采集图像及照片,用3D模型记录成长中的人,环境,物体,动画面具等。
伸缩支撑杆,所述的伸缩支撑杆与机器人本体连接,用于伸缩至成长儿童高度,调整机器人高度。
侧身及后侧防滑拉杆,所述的防滑拉杆,用于幼儿,老人,被看护人群作为手杖扶持,学步,移动防滑。
摄像头视觉自适应学习模块,所述的摄像头视觉模块与机器人控制器,语音装置,机器臂连接,用于采集,识别人脸图像及各种环境下的常见物体图像。所述的摄像头视觉模块包括自适应物体图像识别器,辅助机器爪取物。所述的摄像头包括深度摄像头及一般摄像头,实时采集视频,监视成长环境。
多媒体显示屏模块,所述的多媒体显示屏模块,应用连接器与机器人控制器连接,可与机器人主体分离,便携式,应用蓝牙,wifi与机器人通信,用于多媒体播放,视频教学,在线学习,互联网浏览,通信。
双机器臂自适应动作学习模块,所述的机器臂模块与机器人控制器连接,机器爪用于取物,动作学习模仿。所述的机器臂模块包括机器臂及自适应动作学习器,用于学习用户动作,向儿童等示范标准动作。
多传感信息采集模块,所述的多传感信息采集模块与机器人控制器连接,用于采集多种传感器信息。
雷达自主定位导航移动模块,所述的雷达自主移动模块与机器人控制器,移动底座连接,用于自主定位导航。
移动底座装置,所述的移动底座装置与机器人控制器连接,用于自主移动,底座装置包括:轮式移动底座,履带式移动底座。
所述的陪伴陪护机器人装置,机器人控制器与语音模块,所述的语音自适应学习模块包括语音模块及自适应语音学习器。所述的语音自适应学习模块用于机器人与用户间交互,包括语音识别,语音文字互转,语音引导,语音指令,语音陪伴,语音问答,语音教学,语音仿人聊天,音频录制,机器人多种语言语音库的创建及自适应学习,识别。通过用户云端客户端访问环境视频,利用语音模块支持远端语音通信。远端及自主的陪护,陪伴。
机器人控制器与摄像头视觉采集模块连接,所述摄像头视觉模块用于采集人脸图像,识别人脸。采集物体图像,应用物体识别模块,识别环境附近物体。通过图像参数的设置,利用改进的机器学习方法的颜色,形状,轮廓等综合特征分类人员,物品,器材,利用视觉模块内的改进的机器学习方法与深度神经网络方法,采集环境下的常见物体图像,识别物体图像,辅助机器爪取物。智能识别颜色,数字,字母,文字,特殊标识辅助识别人员,物品,环境,并反馈其所在位置信息。通过图像参数的设置,实时采集环境下视频,监视环境,通过用户云端客户端实时访问环境视频。实现远端及自主的陪护,陪伴。
多传感信息采集模块与机器人控制器,机器臂连接,用于采集温度,湿度,烟雾,酸碱度,甲烷等环境多传感信息依据返回信息,主系统与多传感器通信,依据主控制系统接受的多传感信息,调整环境参数。
多媒体液晶显示屏模块与机器人控制器连接。所述的多媒体液晶显示屏模块,应用连接器与机器人控制器连接,可与机器人主体分离,便携式,应用蓝牙,wifi与机器人通信,利用机器人系统下的用户交互界面,控制机器人音乐,语音对话,仿人式交互聊天,互联网式在线学习,用于播放多媒体,播放音乐,展示网络信息。
机器人控制器与雷达,摄像头,移动底座履带相连。雷达采集的信息通过消息,服务的通信方式,发送至主系统客户端实现场景自建地图。主系统与移动底盘通信;将创建的地图信息发布,与移动底盘节点通信,接受地图信息,实现自主导航。与摄像头与通信,摄像头采集的图像信息通过服务的通信方式,发送至主系统客户端与机器臂通信实现动作规划等。实现远端控制及自主定位导航。
机器人控制器与摄像头模块,机器臂,取物装置,机器爪连接。所述的装置包括:机器臂模块及机器取物装置,机器爪。所述的机器臂模块与机器人控制器,机器取物装置,机器爪连接用于取物,家务动作,陪护,交互动作。通过用户交互界面或语音选定取放环境下的物体及动作目标。摄像头发布视觉信息包括:陪伴陪护环境下的目标信息,环境场景信息。定位目标物体,机器人主控制器,机器取物装置,机器爪接收视觉信息,识别目标物体,识别目标关节,识别动作,返回目标物体位置,目标关节位置,角度等。按照位置,角度信息,机器臂移动,旋转到目标位置。通过视觉识别陪护环境下的目标,机器取物爪动作,拾取和放置物体,模仿学习家务动作,机器取物装置,机器爪动作规划,通过配置机器臂,取物爪的位置参数,角度参数,规划抓,取,动作,放置,移动,旋转参数,机器取物装置机器爪移动目标物品,放置整理摆放物品,学习,模拟家务动作,陪护及交互动作等。实现远端控制及自主抓取,整理,其他家务,陪护,交互动作等。
机器人控制器与机器臂,摄像头模块,喂食装置连接,所述的喂食装置包括:机器臂模块及机器喂食装置模块。所述的喂食装置用于喂奶,喂水,喂食等。所述的机器臂模块与机器人控制器,喂食装置连接用于喂食。通过视觉识别模块识别喂食人脸,摄像头发布视觉信息包括:环境下的物体喂食碗,水瓶等信息,环境场景信息,人脸信息,人脸,口等的识别,定位。机器人主控制器,机器喂食装置接收视觉信息,识别喂食碗,水瓶,人口返回其位置信息。按照位置信息,机器臂移动到喂食位置。通过视觉识别环境下的喂食人群目标,喂食盛具,规划喂食动作,通过配置机器臂,喂食器的位置参数,角度参数,规划取,移动,喂食放置参数,机器喂食器移动,喂食,喂水,整理,摆放盛具。实现远端控制及自主喂食,喂水,喂奶等动作。
机器人控制器与3D打印模块连接,所述的3D打印模块用于图像与3D模型间的转换,制造3D模型记录婴幼儿成长。所述图像包括摄像头采集图像及多角度照片,用3D模型记录成长中的人,环境,物体,动画面具等。
机器人本体与伸缩支撑杆连接,所述的伸缩支撑杆与机器人本体连接,用于伸缩至成长儿童高度,调整机器人高度。
机器人本体与防滑拉杆连接,所述的防滑拉杆,用于幼儿,老人,被看护人群作为手杖扶持,移动防滑。
一种最优化任务动态配置管理系统包括:一种机器人装置、多个子任务,所述陪伴陪护机器人装置为上述机器人装置,所有子任务按照时间,任务时长,任务前后顺序,预约任务或实时任务进行动态配置。机器人主控制系统对所有的预约任务及实时任务最优化动态管理调整,配置。
一种自适应学习系统包括:一种自适应语音学习识别方法,一种自适应动作学习识别方法,一种自适应视觉学习识别方法。进一步,一种自适应语音学习识别方法包括以下步骤:
S1、构建语音库,各种类语言库,语言特征,声纹特征输入项,创建语音模型。
S2、抽取语言的特征值,建立激活函数。
S3、改进深度神经网络方法及利用自适应学习方法调整优化权值,自适应调节参数,阈值,各训练参数,损失函数,优化训练器参数。
S4、训练的方法包括:音频,视频,人类语音示范等通过训练,得到输出值及其语音识别,声纹识别,声音识别结果。
进一步,一种自适应的视觉学习识别方法包括以下步骤:
S1、构建人脸,物体,环境等的模型,抽取特征输入项。
S2、抽取人脸的特征值,物体的颜色,轮廓,纹理,文字,数字,字符等的特征值,建立激活函数。
S3、改进深度神经网络方法及利用自适应学习方法调整优化权值,自适应调节参数,阈值,各训练参数,损失函数,优化训练器参数。
S4、训练的方法包括:图像,视频,实物等。通过训练,得到输出值及其识别结果。
进一步,一种自适应学习的动作学习识别方法包括以下步骤:
S1、构建人体关节的模型,抽取人体关节动作特征输入项。
S2、抽取动作的关节特征值,手,腕,臂的位置,角度以及与其交互的目标物位置,角度等的特征值,建立激活函数。
S3、改进深度神经网络方法及利用自适应学习方法调整优化权值,自适应调节参数,阈值,各训练参数,损失函数,优化训练器参数。
S4、训练的方法包括;图像,视频,人体示范动作等。通过训练,得到输出值及其识别结果。
综上,本发明的有益效果是:
本发明能够通过一种陪伴陪护机器人装置,自适应学习系统及方法,解决远端控制机器人语音装置,用于人机交互,远端语音命令,提供了自主移动装置,提供了机器臂搭载喂食装置,机器取物爪装置,用于远端,自主喂食,取物。改善了陪护陪伴工作作业压力大,作业繁杂等问题。同时,通过采集多传感数据,依据反馈数据,自适应调整喂食,取物,行为动作的运动参数,大幅度提高工作效率减少人力陪护成本。通过本发明,能够实现高效陪护,陪伴辅助医院,老人院,看护机构看护,家庭,酒店等服务机构看陪护陪伴。
附图说明:
图1是本申请说明书中机器人装置模块示意图;附图1标记:
101-机器人主系统;102-视觉模块;103-语音模块;104-喂食器;
105-多媒体液晶屏;106-自适应学习模块;107-机器臂模块;
108-雷达定位导航模块;109-辅助步行,支撑伸缩装置;110-3D打印模块;
图2是本申请说明书中机器人装置组成结构示意图;附图2标记:
201-机器人主系统;202,203-深度摄像头,一般摄像头;204-3D打印模块;205-喂食臂;206-喂食器;207-取物臂;208-语音装置;209-多传感装置;210-激光雷达;211-侧身及后侧防滑拉杆;212-伸缩支撑杆;213-多媒体屏;214-移动底座;215-储物箱;216-客户端;
具体实施方式:
本发明的目的是设计取代人类工作的可远端控制机器人,实现远端控制机器采集图像,同时有效解决自主及远端采集看护,陪护,实现图像,语音通信,视频通信,按摩,移动取物。利用人工智能机器人技术,自动化领域,远端及自主控制机器移动定位导航,利用机器臂取物。实现自主,远端语音命令,通过机器人语音模块,视觉模块实现语音交互,实现远端语音,视频通信。机器人自主控制机器移动,取物。解决了人为失误,实现机器人远端及自主移动,按摩,提高了智能采集,语音通信,视频通信,移动取物效率。解决了婴幼儿喂食,喂水,失能老人喂食喂水等看护问题,实现远端陪护,看护。为了更好的理解上述技术方案,下面结合实施例及附图,对本发明作进一步地的详细说明,但本发明的实施方式不限于此。
本申请实施中的技术方案为解决上述技术间题的总体实施方法如下:
实施例1:
一种陪伴陪护机器人装置,自适应学习系统及方法其特征在于一种陪伴陪护机器人装置包括:如图1是本申请说明书中机器人装置模块示意图;附图1标记;
机器人控制器101,所述的机器人控制器101与机器臂模块107,多传感装置,语音装置103,视觉装置102连接,用于控制机器人。
机器人喂食器104,所述的机器人喂食器模块104与主控制器101连接,用于幼儿,老人,被看护人群喂食。所述的机器人喂食器包括喂奶,喂饭器,专用喂食工具等。
语音自适应学习模块106,所述的语音自适应学习模块与机器人控制器连接,用于主控制系统与机器人,多用户间语音交互,远端语音会议,语音仿人聊天,音频录制,语音教学,机器人多种语言语音库的创建及自适应学习,识别。所述的语音自适应学习模块包括语音模块及自适应语音学习器。语音模块包括语音识别,语音唤醒,语音文字转换,声纹合成等。
3D打印模块110,所述的3D打印模块用于图像与3D模型间的转换。所述图像包括摄像头采集图像及照片,用3D模型记录成长中的人,环境,物体,动画面具等。
伸缩支撑杆211,所述的伸缩支撑杆与机器人本体连接,用于伸缩至成长儿童高度,调整机器人高度。
侧身及后侧防滑拉杆212,所述的防滑拉杆,用于幼儿,老人,被看护人群作为手杖扶持,移动防滑。
摄像头视觉自适应学习模块102,所述的摄像头视觉模块与机器人控制器,语音装置,机器臂连接,用于采集,识别人脸图像及各种环境下的常见物体图像。所述的摄像头视觉模块包括自适应物体图像识别器,辅助机器爪取物。所述的摄像头包括深度摄像头及一般摄像头,实时采集视频,监视成长环境。
多媒体显示屏模块106,所述的多媒体显示屏模块,应用连接器与机器人控制器连接,可与机器人主体分离,便携式,应用蓝牙,wifi与机器人通信,用于多媒体播放,视频教学,在线学习,互联网浏览,通信。
双机器臂自适应动作学习模块107,所述的机器臂模块与机器人控制器连接,机器爪用于取物,动作学习模仿。所述的机器臂模块包括机器臂及自适应动作学习器,用于学习用户动作,向儿童等示范标准动作。
多传感信息采集模块209,所述的多传感信息采集模块与机器人控制器连接,用于采集多种传感器信息。
雷达自主定位导航移动模块108,所述的雷达自主移动模块与机器人控制器,移动底座连接,用于自主定位导航。
移动底座装置214,所述的移动底座履带装置与机器人控制器连接,用于自主移动。
喂食臂205及喂食器206按照机器人喂食器206,所述的机器人喂食器模块与主控制器连接,用于幼儿,老人,被看护人群喂食。所述的机器人喂食器包括喂奶,喂饭器206,专用喂食工具等。机器人控制器与机器臂,摄像头模块,喂食装置连接,喂食装置206用于喂奶,喂水,喂食等。通过视觉识别模块202,203识别喂食人脸,摄像头发布视觉信息包括:环境下的物体喂食碗,水瓶等信息,环境场最信息,人脸信息,人脸,口等的识别,定位。机器人主控制器,喂食装置接收视觉信息,识别喂食碗,水瓶,口等返回其位置信息。按照位置信息,机器臂移动到喂食位置。通过视觉识别环境下的喂食人群目标,喂食盛具,规划喂食动作,通过配置机器臀,喂食器的位置参数,角度参数,规划取,移动,喂食放置参数,机器喂食器移动,喂食,喂水,整理,摆放盛具。
通过用户交互界面或语音选定取放陪护陪伴环境下的物体。摄像头发布视觉信息包括:陪护陪伴环境下的物体信息,环境场景信息。定位物体,机器人主控制器,机器取物爪装置接收视觉信息,识别物体,依据返回的物体位置,机器人移动到区放置区位置。在取物区放置区,利用视觉识别模块202,203以及改善的神经网络方法,视觉摄像头202,203采集物体图像,应用物体识别模块,识别确认取放物体。机器臂207依照动作规划及设定的关节角度,关节限位,指定的关节位形,关节限制,关节轨迹位置,速度分量,关节速度,运动约束,目标轨迹,速度设置,执行规划的轨迹,目标位姿所能拾取的物体对于机器人位姿参数设置,以及机械臂207,参数设置,抓握,取放,抓取位姿参数设置与匹配目标位姿。
初始化机器臂207及机器取物爪,放置抓取,物体的位置,抓取姿态对象,取物区,目标位置,储物箱的放置位置。机器臂207(初始化抓取对象,创建夹瓜张开闭合的姿态,撤离目标的参数)移动,放置在储物箱215,机器臂207从放置在储物箱215抓取,整理,摆放物品,移动到用户要求的放置区。
按照语音装置208的语音引导,语音指令,深度摄像头,一般摄像头202,203发布并360度采集视觉信息,利用2D-3D转换方法及3D打印模块204,打印3D模型。利用多媒体屏,将已拍摄的平面图片利用3D设计软件及3D设计方法,打印3D玩具模型,人物模型,动画模型,家人形象记录婴幼儿,老人生活。所述的3D打印模块用于图像与3D模型间的转换,利用2D-3D转换方法,制造3D模型,记录婴幼儿成长。所述图像包括摄像头采集图像及多角度图像,利用多媒体屏,将已拍摄的平面图片利用3D设计软件及3D设计工具及3D转换方法,打印3D模型,记录成长中的人,环境,物体,动画面具等。
按照语音装置208的语音引导,语音指令,通过用户交互界面或语音选定取放陪护陪伴环境下的物体。摄像头发布视觉信息包括:陪护陪伴环境下的物体信息,环境场景信息。定位物体,机器人主控制器,机器取物爪装置接收视觉信息,识别物体,依据返回的物体位置,机器人移动到区放置区位置。在取物区放置区,利用视觉识别模块202,203以及改善的神经网络方法,视觉摄像头202,203采集物体图像,应用物体识别模块,识别确认取放物体。机器臂207依照动作规划及设定的关节角度,关节限位,指定的关节位形,关节限制,关节轨迹位置,速度分量,关节速度,运动约束,目标轨迹,速度设置,执行规划的轨迹,目标位姿所能拾取的物体对于机器人位姿参数设置,以及机械臂207,参数设置,抓握,取放,抓取位姿参数设置与匹配目标位姿。
初始化机器臂207及机器取物爪,放置抓取,物体的位置,抓取姿态对象,取物区,目标位置,储物箱的放置位置。机器譬207(初始化抓取对象,创建夹瓜张开闭合的姿态,撤离目标的参数)移动,放置在储物箱215,机器臂207从放置在储物箱215抓取,整理,摆放物品,移动到用户要求的放置区。
自适应学习语音识别方法实施步骤:初始化构建语音库,各种类语言库,语言特征,声纹特征输入项,创建语音模型。利用语音装置208的语音引导,语音指令,语音聊天,抽取语言的特征值,建立激活函数,利用改进深度神经网络方法及自适应学习方法调整优化权值,自适应调节参数,阈值,各训练参数,损失函数,优化训练器参数。利用音频,视频,人类语音示范等训练的方法,得到输出值及其语音识别,声纹识别,声音识别结果。
自适应学习视觉识别方法实施步骤:初始化构建人脸,物体,环境等的模型,抽取特征输入项。利用视觉模块一般摄像头203,抽取人脸的特征值,物体的颜色,轮廓,纹理,文字,数字,字符等的特征值,建立激活函数。改进深度神经网络方法及利用自适应学习方法调整优化权值,自适应调节参数,阈值,各训练参数,损失函数,优化训练器参数。利用图像,视频,实物等训练的方法,通过训练,得到输出值及其识别结果。
自适应学习动作识别方法实施步骤:初始化构建人体关节的模型,抽取人体关节动作特征输入项。利用视觉模块深度摄像头202,抽取抽取动作的关节特征值,手,腕,臂的位置,角度以及与其交互的目标物位置,角度等的特征值,建立激活函数。改进深度神经网络方法及利用自适应学习方法调整优化权值,自适应调节参数,阈值,各训练参数,损失函数,优化训练器参数。利用图像,视频,人体示范动作等。通过训练,得到输出值及其识别结果。

Claims (12)

1.一种陪伴陪护机器人装置,自适应学习系统及方法,其特征在于一种陪伴陪护机器人装置包括:
机器人主控制器,所述的机器人主控制器与机器臂模块,多传感装置,语音装置,视觉装置连接,用于控制机器人。
机器人喂食器,所述的机器人喂食器模块与主控制器连接,用于幼儿,老人,被看护人群喂食。所述的机器人喂食器包括喂奶,喂饭器,专用喂食工具等。
语音自适应学习模块,所述的语音自适应学习模块与机器人控制器连接,用于主控制系统与机器人,多用户间语音交互,远端语音会议,语音仿人聊天,音频录制,语音教学,机器人多种语言语音库的创建及自适应学习,识别。所述的语音自适应学习模块包括语音模块及自适应语音学习器。语音模块包括语音识别,语音唤醒,语音文字转换,声纹合成等。
3D打印模块,所述的3D打印模块用于图像与3D模型间的转换。所述图像包括摄像头采集图像及照片,用3D模型记录成长中的人,环境,物体,动画面具等。
伸缩支撑杆,所述的伸缩支撑杆与机器人本体连接,用于伸缩至成长儿童高度,调整机器人高度。
侧身及后侧防滑拉杆,所述的防滑拉杆,用于幼儿老人被看护人群作为手杖扶持,学步,移动防滑。
摄像头视觉自适应学习模块,所述的摄像头视觉模块与机器人控制器,语音装置,机器臂连接,用于采集,识别人脸图像及各种环境下的常见物体图像。所述的摄像头视觉模块包括自适应物体图像识别器,辅助机器爪取物。所述的摄像头包括深度摄像头及一般摄像头,实时采集视频,监视成长环境。
多媒体显示屏模块,所述的多媒体显示屏模块,应用连接器与机器人控制器连接,可与机器人主体分离,便携式,应用蓝牙,wifi与机器人通信,用于多媒体播放,视频教学,在线学习,互联网浏览,通信。
双机器臂自适应动作学习模块,所述的机器臂模块与机器人控制器连接,机器爪用于取物,喂饭,家务动作,儿童动作等的学习模仿。所述的机器臂模块包括机器臂及自适应动作学习器,用于学习用户动作,向儿童等示范标准动作。
多传感信息采集模块,所述的多传感信息采集模块与机器人控制器连接,用于采集多种传感器信息。
雷达自主定位导航移动模块,所述的雷达自主移动模块与机器人控制器,移动底座连接,用于远端控制及自主定位导航。
移动底座装置,所述的移动底座包括:履带式移动装置,轮式移动装置等底座装置,与机器人控制器连接,用于移动。
2.根据权利要求1所述的一种陪伴陪护机器人装置,其特征在于所述的陪伴陪护机器人装置,其特征在于机器人控制器与语音模块连接,所述的语音自适应学习系统包括语音模块及自适应语音学习器。所述的语音自适应学习模块用于机器人与用户间交互,包括语音识别,语音文字互转,语音引导,语音指令,语音陪伴,语音问答,语音教学,语音仿人聊天,音频录制,机器人多种语言语音库的创建及自适应学习,识别。通过用户云端客户端访问环境视频,利用语音模块支持远端语音通信,远端及自主的陪护,陪伴。
3.根据权利要求1所述的一种陪伴陪护机器人装置,其特征在于机器人控制器与摄像头视觉采集模块连接,所述摄像头视觉模块用于采集人脸图像,识别人脸。采集物体图像,应用物体识别模块,识别环境附近物体。通过图像参数的设置,利用改进的机器学习方法的颜色,形状,轮廓等综合特征分类人员,物品,器材,利用视觉模块内的改进的机器学习方法与深度神经网络方法,采集环境下的常见物体图像,识别物体图像,辅助机器爪取物。智能识别颜色,数字,字母,文字,特殊标识辅助识别人员,物品,环境,并反馈其所在位置信息。通过图像参数的设置,实时采集环境下视频,监视环境,通过用户云端客户端实时访问环境视频,实现远端及自主的陪护,陪伴。
4.根据权利要求1所述的一种陪伴陪护机器人装置,其特征在于所述的多传感信息采集模块与机器人控制器,机器臂连接,用于采集温度,湿度,烟雾,酸碱度,甲烷等多传感信息依据返回信息,主系统与多传感器通信,依据主控制系统接受的多传感信息,调整环境指标。
5.根据权利要求1所述的一种陪伴陪护机器人装置,其特征在于所述的多媒体液晶显示屏模块与机器人控制器连接。所述的多媒体液晶显示屏模块,应用连接器与机器人控制器连接,可与机器人主体分离,便携式,应用蓝牙,wifi与机器人通信,利用机器人系统下的用户交互界面,控制机器人音乐,语音对话,仿人式交互聊天,互联网式在线学习,用于播放多媒体,播放音乐,展示网络信息。
6.根据权利要求1所述的一种陪伴陪护机器人装置,其特征在于机器人控制器与雷达,摄像头,移动底座相连。移动底座包括:履带式移动底座及轮式移动底座。雷达采集的信息通过消息,服务的通信方式,发送至主系统客户端实现场景自建地图。主系统与移动底盘通信:发布创建的地图信息,与移动底盘节点通信,接受地图信息,实现远端控制及自主导航。
7.根据权利要求1所述的一种陪伴陪护机器人装置,其特征在于机器人控制器与摄像头模块,机器臂,取物装置,机器爪连接,所述的装置包括:机器臂模块及机器取物装置,机器爪。所述的机器臂模块与机器人控制器,机器取物装置,机器爪连接用于取物,家务动作。通过用户交互界面或语音选定取放环境下的物体及动作目标。摄像头发布视觉信息包括:陪伴陪护环境下的目标信息,环境场景信息。定位目标物体,动作目标。机器人主控制器,机器取物装置,机器爪接收视觉信息,识别目标物体,识别目标关节,识别动作,返回目标物体位置,目标关节位置,角度等。按照位置,角度信息,机器臂移动,旋转到目标位置。通过视觉识别陪护环境下的目标,机器取物爪动作,拾取和放置物体,模仿学习家务动作,交互动作,动作规划,通过配置机器臂,取物爪的位置参数,角度参数,规划抓,取,动作,放置,移动,旋转参数,机器取物装置机器爪移动目标物品,放置整理摆放物品,学习,模拟家务动作,陪护及交互动作等。实现远端控制及自主抓取,整理,其他家务,陪护,交互动作等。
8.根据权利要求1所述的一种陪伴陪护机器人装置,其特征在于机器人控制器与机器臂,摄像头模块,喂食装置连接,所述的喂食装置包括:机器臂模块及机器喂食装置模块。所述的喂食装置用于喂奶,喂水,喂食等。所述的机器臂模块与机器人控制器,喂食装置连接用于喂食。通过视觉识别模块识别喂食人脸,摄像头发布视觉信息包括:环境下的物体喂食碗,水瓶等信息,环境场景信息,人脸信息,人脸,口等的识别,定位。机器人主控制器,机器喂食装置接收视觉信息,识别喂食碗,水瓶,口返回其位置信息。按照位置信息,机器臂移动到喂食位置。通过视觉模块识别环境下的喂食人群目标,喂食盛具,规划喂食动作,通过配置机器臂,喂食器的位置参数,角度参数,规划取,移动,喂食放置参数,机器喂食器移动,喂食,喂水,整理,摆放盛具。实现远端控制及自主喂食,喂水,喂奶等动作。
9.根据权利要求1所述的一种陪伴陪护机器人装置,其特征在于机器人主控制器与摄像头,3D打印模块连接,360度采集视觉信息,用于图像与3D模型间的转换,利用2D-3D转换方法,制造3D模型,记录婴幼儿成长。所述图像包括摄像头采集图像及多角度图像,利用多媒体屏,将已拍摄的平面图片利用3D设计软件及3D设计工具及3D转换方法,打印3D模型,记录成长中的人,环境,物体,动画面具等。
10.根据权利要求1所述的一种陪伴陪护机器人装置,其特征在于机器人本体与伸缩支撑杆连接,所述的伸缩支撑杆与机器人本体连接,用于伸缩至成长儿童高度,调整机器人高度。机器人本体与防滑拉杆连接,所述的防滑拉杆,用于幼儿,老人,被看护人群作为手杖扶持,学步,移动防滑。
11.一种最优化陪护陪伴任务动态配置管理系统,包括:一种机器人装置,多个子任务。任务包括:实时任务及预约任务。所述陪伴陪护机器人装置为上述机器人装置,所有子任务按照时间,任务时长,任务前后顺序,任务类型,预约任务或实时任务进行动态配置。机器人主控制系统对所有的预约任务及实时任务最优化动态管理调整,配置。
12.一种自适应学习系统及方法其特征在于其包括一种自适应学习的语音识别方法,一种自适应学习的动作识别方法,一种自适应学习的视觉识别方法。
进一步,一种自适应语音学习识别方法包括以下步骤:
S1、构建语音库,各种类语言库,语言特征,声纹特征输入项,创建语音模型。
S2、抽取语言的特征值,建立激活函数。
S3、改进深度神经网络方法及利用自适应学习方法调整优化权值,自适应调节参数,阈值,各训练参数,损失函数,优化训练器参数。
S4、训练的方法包括:音频,视频,人类语音示范等通过训练,得到输出值及其语音识别,声纹识别,声音识别结果。
进一步,一种自适应视觉学习识别方法包括以下步骤:
S1、构建人脸,物体,环境等的模型,抽取特征输入项。
S2、抽取人脸的特征值,物体的颜色,轮廓,纹理,文字,数字,字符等的特征值,建立激活函数。
S3、改进深度神经网络方法及利用自适应学习方法调整优化权值,自适应调节参数,阈值,各训练参数,损失函数,优化训练器参数。
S4、训练的方法包括:图像,视频,实物等。通过训练,得到输出值及其识别结果。
进一步,一种自适应的动作学习识别方法包括以下步骤:
S1、构建人体关节的模型,抽取人体关节动作特征输入项。
S2、抽取动作的关节特征值,手,腕,臂的位置,角度以及与其交互的目标物位置,角度等的特征值,建立激活函数。
S3、改进深度神经网络方法及利用自适应学习方法调整优化权值,自适应调节参数,阈值,各训练参数,损失函数,优化训练器参数。
S4、训练的方法包括:图像,视频,人体示范动作等。通过训练,得到输出值及其识别结果。
CN202110078859.4A 2021-01-21 2021-01-21 一种陪伴陪护机器人装置、自适应学习系统及方法 Pending CN114800538A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110078859.4A CN114800538A (zh) 2021-01-21 2021-01-21 一种陪伴陪护机器人装置、自适应学习系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110078859.4A CN114800538A (zh) 2021-01-21 2021-01-21 一种陪伴陪护机器人装置、自适应学习系统及方法

Publications (1)

Publication Number Publication Date
CN114800538A true CN114800538A (zh) 2022-07-29

Family

ID=82525021

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110078859.4A Pending CN114800538A (zh) 2021-01-21 2021-01-21 一种陪伴陪护机器人装置、自适应学习系统及方法

Country Status (1)

Country Link
CN (1) CN114800538A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103985151A (zh) * 2014-05-30 2014-08-13 上海斐讯数据通信技术有限公司 移动设备中形成三维图像的数据采集处理方法及装置
CN205905031U (zh) * 2016-07-05 2017-01-25 李韵朝 一种保姆机器人
CN106408852A (zh) * 2016-10-31 2017-02-15 河池学院 一种基于移动互联网的机器人报警系统
CN107322606A (zh) * 2017-07-05 2017-11-07 福建万宝龙科技发展有限公司 家居护理机器人
CN109741748A (zh) * 2019-03-11 2019-05-10 国网浙江省电力有限公司信息通信分公司 一种基于深度学习的智能语音转写方法及系统
CN110189811A (zh) * 2019-06-11 2019-08-30 中国人民解放军海军工程大学 一种心梗急救喂药机器人及其工作方法
CN111914071A (zh) * 2020-06-23 2020-11-10 深圳全智能机器人科技有限公司 一种仿真机器人语音系统
CN111916195A (zh) * 2020-08-05 2020-11-10 谈斯聪 一种医疗用机器人装置,系统及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103985151A (zh) * 2014-05-30 2014-08-13 上海斐讯数据通信技术有限公司 移动设备中形成三维图像的数据采集处理方法及装置
CN205905031U (zh) * 2016-07-05 2017-01-25 李韵朝 一种保姆机器人
CN106408852A (zh) * 2016-10-31 2017-02-15 河池学院 一种基于移动互联网的机器人报警系统
CN107322606A (zh) * 2017-07-05 2017-11-07 福建万宝龙科技发展有限公司 家居护理机器人
CN109741748A (zh) * 2019-03-11 2019-05-10 国网浙江省电力有限公司信息通信分公司 一种基于深度学习的智能语音转写方法及系统
CN110189811A (zh) * 2019-06-11 2019-08-30 中国人民解放军海军工程大学 一种心梗急救喂药机器人及其工作方法
CN111914071A (zh) * 2020-06-23 2020-11-10 深圳全智能机器人科技有限公司 一种仿真机器人语音系统
CN111916195A (zh) * 2020-08-05 2020-11-10 谈斯聪 一种医疗用机器人装置,系统及方法

Similar Documents

Publication Publication Date Title
WO2022016826A1 (zh) 多模式综合信息识别移动式双臂机器人装置、系统及方法
Tikhanoff et al. Integration of speech and action in humanoid robots: iCub simulation experiments
WO2018137445A1 (zh) 一种基于ros系统的机械臂抓取方法及系统
Ivaldi et al. Object learning through active exploration
Kasaei et al. Towards lifelong assistive robotics: A tight coupling between object perception and manipulation
CN110026987A (zh) 一种机械臂抓取轨迹的生成方法、装置、设备及存储介质
CN109571513B (zh) 一种沉浸式移动抓取服务机器人系统
JPWO2006013829A1 (ja) 物品運搬用ロボット
Juel et al. Smooth robot: Design for a novel modular welfare robot
CN106909216A (zh) 一种基于Kinect传感器的仿人机械手控制方法
CN106791565A (zh) 机器人视频通话控制方法、装置及终端
CN107818705A (zh) 多传感器融合的早教机器人系统及运行方法
CN113133787A (zh) 鼻咽拭子采样机器人人机协同交互控制方法及系统
CN108229678A (zh) 网络训练方法、操作控制方法、装置、存储介质和设备
WO2022073467A1 (zh) 一种陪护按摩双臂多任务并行处理机器人装置
CN114800538A (zh) 一种陪伴陪护机器人装置、自适应学习系统及方法
CN208027122U (zh) 一种酒店机器人
JP2021014010A (ja) マニピュレータ制御装置、及びマニピュレータ制御システム
CN116138042A (zh) 仿鸟夹食的采摘装置
Ma et al. A cloud-based quadruped service robot with multi-scene adaptability and various forms of human-robot interaction
Nakajo et al. Acquisition of viewpoint representation in imitative learning from own sensory-motor experiences
Skoglund Programming by demonstration of robot manipulators
Hosseini et al. Teaching persian sign language to a social robot via the learning from demonstrations approach
Aslan et al. End-to-end learning from demonstation for object manipulation of robotis-Op3 humanoid robot
Memmesheimer et al. Markerless visual robot programming by demonstration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room B704, Cuijing Pavilion, Haojing Haoyuan, Shazui Road, Futian District, Shenzhen, Guangdong 518048

Applicant after: Tan Sicong

Address before: 510403 room 801, No. 27, Tangjing South Street, Jichang Road, Baiyun District, Guangzhou, Guangdong

Applicant before: Tan Sicong

CB02 Change of applicant information