CN111267099A - 基于虚拟现实的陪护机器控制系统 - Google Patents

基于虚拟现实的陪护机器控制系统 Download PDF

Info

Publication number
CN111267099A
CN111267099A CN202010112652.XA CN202010112652A CN111267099A CN 111267099 A CN111267099 A CN 111267099A CN 202010112652 A CN202010112652 A CN 202010112652A CN 111267099 A CN111267099 A CN 111267099A
Authority
CN
China
Prior art keywords
action sequence
accompanying
accompanying machine
instruction
touch screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010112652.XA
Other languages
English (en)
Other versions
CN111267099B (zh
Inventor
宋爱国
秦超龙
赵玉
魏林琥
李会军
曾洪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202010112652.XA priority Critical patent/CN111267099B/zh
Priority to PCT/CN2020/085877 priority patent/WO2021169007A1/zh
Priority to US17/637,265 priority patent/US20220281112A1/en
Publication of CN111267099A publication Critical patent/CN111267099A/zh
Application granted granted Critical
Publication of CN111267099B publication Critical patent/CN111267099B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B25J11/009—Nursing, e.g. carrying sick persons, pushing wheelchairs, distributing drugs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/06—Control stands, e.g. consoles, switchboards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/4155—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by programme execution, i.e. part programme or machine function execution, e.g. selection of a programme
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40146—Telepresence, teletaction, sensor feedback from slave to operator
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/50—Machine tool, machine tool null till machine tool work handling
    • G05B2219/50391—Robot
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Nursing (AREA)
  • Automation & Control Theory (AREA)
  • Manufacturing & Machinery (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于虚拟现实的陪护机器控制系统，其中：视觉单元，获取陪护机器周围的环境信息，并传递至虚拟场景生成单元和计算单元；计算单元，接收陪护机器控制指令，并依据环境信息计算得到陪护机器执行控制指令的动作序列；虚拟场景生成单元，用于将环境信息生成虚拟现实场景，并结合动作序列显示于所述触屏显示屏；触屏显示屏，用于接收针对动作序列的触屏调整指令并反馈至计算单元进行执行，接收针对动作序列的确认指令。采用上述方案，增加人机交互，实现陪护机器和人之间、陪护机器和环境之间自然、有效的交互，避免未知错误发生的概率，降低陪护机器对用户及所处环境造成危害的可能性。

Description

基于虚拟现实的陪护机器控制系统
技术领域
本发明涉及机械控制领域，尤其涉及一种基于虚拟现实的陪护机器控制系统。
背景技术
近年来，我国人口老龄化程度不断加深，卧床老人陪护需求不断增长，此外，由于车祸、事故等引起的肢体受伤患者的数量也在迅速增加，社会和家庭需要花费极大的代价来治疗和陪护这些患者，给家庭和社会带来了沉重的负担，为了满足卧床老人、患者等的基本生活需要，提高生活质量，智能陪护机器人成为当下的研究热点。
而由于陪护机器人的工作环境比较复杂、操作对象和操作方式等具有不确定性，机器人与人之间、机器人与环境之间的交互复杂、甚至危险，容易对用户及所处环境造成危害；随着技术的发展，单一的交互方式已不能满足人们的需求。
现有技术中陪护机器人自主导航、物品识别、物品抓取等独立的智能算法还不够成熟，难以很好的实现机器人和人之间、机器人和环境之间自然、安全、有效的沟通，难以实现对未知的、变化的居家环境局部区域的详细探索、抓取未识别物品等多样化、复杂的陪护需求。
发明内容
发明目的：本发明旨在提供一种基于虚拟现实的陪护机器控制系统。
技术方案：本发明实施例中提供一种基于虚拟现实的陪护机器控制系统，包括：触屏显示屏、视觉单元、虚拟场景生成单元和计算单元，其中：
所述视觉单元，用于获取陪护机器周围的环境信息，并传递至虚拟场景生成单元和计算单元；
所述计算单元，用于接收陪护机器控制指令，并依据环境信息计算得到陪护机器执行控制指令的动作序列；所述控制指令用于控制陪护机器执行陪护目的；
所述虚拟场景生成单元，用于将环境信息生成虚拟现实场景，并结合动作序列显示于所述触屏显示屏；
所述触屏显示屏，用于接收针对动作序列的触屏调整指令并反馈至计算单元进行执行，并在接收针对动作序列的确认指令后，通过所述计算单元依据动作序列控制陪护机器执行控制指令。
具体的，还包括语音单元，用于接收针对动作序列的语音调整指令，并在接收针对动作序列的确认指令后，通过所述计算单元依据动作序列控制陪护机器执行控制指令。
具体的，所述计算单元，还用于依据环境信息对动作序列进行步骤划分并于触屏显示屏展示，接收针对动作序列中步骤的触屏调整指令或/和语音调整指令并反馈至计算单元进行执行。
具体的，所述计算单元还包括训练学习模型，在所述计算单元依据环境信息计算得到陪护机器执行预演指令的动作序列后，将被调整后确认的动作序列作为样本进行训练学习；所述预演指令用于控制陪护机器预先演示执行陪护目的。
具体的，所述训练学习模型还用于将陪护机器实际执行的动作序列作为样本进行训练学习。
具体的，所述训练学习模型还用于依据环境信息计算得到陪护机器执行控制指令的动作序列。
具体的，还包括云端服务器，用于向计算单元收集确认的动作序列和相应的执行结果，并处于与通信连接的陪护机器控制系统分享状态。
具体的，所述云端服务器发送环境信息和训练指令至虚拟场景生成单元和计算单元，所述计算单元依据环境信息计算得到陪护机器执行训练指令的动作序列后，所述训练学习模型将被调整后确认的动作序列作为样本进行训练学习，所述云端服务器将被调整后确认的动作序列作为样本发送至原始陪护机器控制系统。
有益效果：与现有技术相比，本发明具有如下显著优点：增加人机交互，实现陪护机器和人之间、陪护机器和环境之间自然、有效的交互，避免未知错误发生的概率，降低陪护机器对用户及所处环境造成危害的可能性，体现卧床用户的主导地位；
进一步的，云端共享调整成功的方案、卧床用户虚拟环境及陪护目标案例，为卧床用户提供娱乐、训练、互帮互助的平台，为云端连接的陪护机器控制系统提供学习数据，有利于更快地提高陪护机器控制系统服务能力。
附图说明
图1为本发明实施例中提供的基于虚拟现实的陪护机器控制系统的结构示意图；
1-陪护机器；2-语音单元；3-触屏显示屏；4-视觉单元；5-用户；6-可移动支架；7-计算单元；8-云端服务器；9-云端服务器连接的陪护机器控制系统。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
参阅图1，其为本发明实施例中提供的基于虚拟现实的陪护机器控制系统的结构示意图，包括具体结构，以下结合附图进行详细说明。
本发明实施例中提供一种基于虚拟现实的陪护机器控制系统，包括：触屏显示屏、视觉单元4、虚拟场景生成单元和计算单元7，其中：
所述视觉单元4，用于获取陪护机器1周围的环境信息，并传递至虚拟场景生成单元和计算单元7；
所述计算单元7，用于接收陪护机器控制指令，并依据环境信息计算得到陪护机器1执行控制指令的动作序列；所述控制指令用于控制陪护机器1执行陪护目的，通过所述触屏显示屏3接收；
所述虚拟场景生成单元，用于将环境信息生成虚拟现实场景，并结合动作序列显示于所述触屏显示屏3；
所述触屏显示屏3，用于接收针对动作序列的触屏调整指令并反馈至计算单元7进行执行，并在接收针对动作序列的触屏确认指令后，通过所述计算单元7依据动作序列控制陪护机器1执行控制指令。
在具体实施中，视觉单元4可以包括图像获取装置，例如摄像机、照相机、深度相机等，可以用于获取周围的环境信息，即获取周围的环境图像、地理状况和各个物件的放置位置以及相互之间的位置关系等，并将环境信息传递至与其连接的虚拟场景生成单元和计算单元7。
在具体实施中，虚拟场景生成单元可以将环境信息生成虚拟现实场景后，将虚拟现实场景单独显示于触屏显示屏3，在执行控制指令过程中，生成动作序列后，可以结合动作序列显示于所述触屏显示屏3，也即在触屏显示屏3展示的虚拟现实场景中显示陪护机器1执行动作序列以完成控制指令的情形。
在具体实施中，控制指令可以是用户5通过触屏显示屏3输入，也可以是通过其他例如语音的方式输入。控制指令通常表示为用户5期望陪护机器1执行动作后得到的结果，例如抓取放置于某处的物品、挪动某处的物件、拿取某物移送给用户5等。
在具体实施中，计算单元7与触屏显示屏3是连接的，可以从接收从触屏显示屏3传递来的指令。计算机单元在接收控制指令后，计算得到执行完成控制指令的动作序列，并显示于所述触屏显示屏3，用户5可以在触屏显示屏3上观看虚拟的陪护机器1执行控制指令的情形。
在具体实施中，通常计算单元7的独立算法还不够成熟，计算得到的动作序列通常不够完善合理，难以很好的实现机器人和人之间、机器人和环境之间自然、安全、有效的沟通，难以实现对未知的、变化的居家环境局部区域的详细探索、抓取未识别物品等多样化、复杂的陪护需求。因此，在有需要的情况下，用户5可以通过触屏显示屏3输入调整指令，以在触屏显示屏3展示的虚拟现实场景中调整陪护机器1执行的动作序列，以达到符合用户5期望的执行效果，增加人机交互，实现陪护机器1和人之间、陪护机器1和环境之间自然、有效的交互，避免未知错误发生的概率，降低陪护机器1人对用户5及所处环境造成危害的可能性，体现卧床用户5的主导地位。
在具体实施中，触屏显示屏3可以由可移动支架6支撑，触屏显示屏3中展示的虚拟的陪护机器1执行控制指令的情形中有陪护机器1的导航路径线路、速度、抓取位置和力度等参数，调整指令通常表现为用户5调整导航路径线路、速度、抓取位置和力度等展示的参数，例如包括调整陪护机器1的移动路径和移动速度、机械臂抓取物件的路径和移动速度、机械臂抓取物件的和位置和力度大小等方面。
在具体实施中，在用户5输入调整指令后，计算机计算得到基于调整指令将陪护机器1执行调整后的动作序列的情形并在触屏显示屏3予以展示，用户5在觉得合适的情形下，可以输入确认指令，计算单元7便控制陪护机器1执行调整后的动作序列。
在具体实施中，确认指令可以通过触屏显示屏3输入，也可以通过例如语音、按钮等其他方式输入。
本发明实施例中，陪护机器控制系统还包括语音单元2，用于接收针对动作序列的语音调整指令，并在接收针对动作序列的确认指令后，通过所述计算单元7依据动作序列控制陪护机器1执行控制指令。
在具体实施中，触屏显示屏3可以展示何种语音指令可以对动作序列产生何种调整作用，例如展示“向左”是控制陪护机器1的路径向左偏移，“降低”是控制陪护机器1的抓取物件的位置降低。也可以是通过解析语音含义来对动作序列进行调整。通过语音单元2的设置，进一步便捷和加深了身体不便的用户5与机器之间的人机交互，避免未知错误发生的概率，降低陪护机器1人对用户5及所处环境造成危害的可能性，体现卧床用户5的主导地位。
在具体实施中，语音单元2可以由麦克风阵列和开发板组成，可以用于接收控制指令和确认指令等其他来自用户5的指令。
本发明实施例中，所述计算单元7，还用于依据环境信息对动作序列进行步骤划分，接收针对动作序列中步骤的触屏调整指令或/和语音调整指令并反馈至计算单元7进行执行。
在具体实施中，计算单元7可以依据环境信息将动作序列划分为多个步骤。例如，绕过障碍物的过程为一个独立步骤，抓取物件的过程为一个独立步骤等。将动作序列划分为多个步骤，可以更加便于用户5予以调整，还有重要的优势在于避免用户5在调整动作序列的过程中导致其他不愿进行调整的动作也被动地被调整，提升了人机交互的有效性，补偿了计算机算法的不足。
本发明实施例中，所述计算单元7还包括训练学习模型，在所述计算单元7依据环境信息计算得到陪护机器1执行预演指令的动作序列后，将被调整后确认的动作序列作为样本进行训练学习；所述预演指令用于控制陪护机器1预先演示执行陪护目的。
本发明实施例中，所述训练学习模型还用于将陪护机器1实际执行的动作序列作为样本进行训练学习。
本发明实施例中，所述训练学习模型还用于依据环境信息计算得到陪护机器1执行控制指令的动作序列。
在具体实施中，预演指令，即预演控制指令的指令。
在具体实施中，在用户5未下达控制指令时，可以进行预演模式，即在触屏显示屏3中虚拟预演陪护机器1执行预演指令的情形，用户5可以调整其中的动作序列。在用户5确认动作序列后，可以将确认的动作序列作为样本对训练学习模型进行训练，当然，实际执行控制指令时的动作序列同样作为样本进行训练学习。在计算单元7的训练学习模型不断学习训练后，可以提升计算单元7依据环境信息计算得到的动作序列的合理性，便于后续用户5使用陪护机器1，有利于更快地提高陪护机器控制系统的服务能力。同时，体现卧床用户5的主导地位，提高卧床用户5生活积极性。
本发明实施例中，还包括云端服务器8，用于向计算单元7收集确认的动作序列和相应的执行结果，并处于与通信连接的陪护机器控制系统9分享状态。
在具体实施中，云端服务器8可以将收集的确认的动作序列和相应的执行结果存储为历史记录，并可以分享给与云端服务器8通信连接的陪护机器控制系统9。在陪护机器控制系统9向云端服务器8上传环境信息和相应的控制指令后，云端服务器8从存储的历史记录中可以反馈其他用户5调整成功的动作序列的方案；或者云端服务器8的训练学习模型在训练学习历史记录后，可以对上传的环境信息和相应的控制指令进行计算，反馈计算得到的动作序列。有利于更快地提高陪护机器控制系统的服务能力。
本发明实施例中，所述云端服务器8发送环境信息和训练指令至虚拟场景生成单元和计算单元7，所述计算单元7依据环境信息计算得到陪护机器执行训练指令的动作序列后，所述训练学习模型将被调整后确认的动作序列作为样本进行训练学习，所述云端服务器8将被调整后确认的动作序列作为样本发送至原始陪护机器控制系统。
在具体实施中，云端服务器8可以在经其他卧床用户(对应原始陪护控制系统)同意后，在原始陪护控制系统上传该原始陪护控制系统的环境信息和与其对应的训练指令(训练指令包括预演指令和控制指令)，云端服务器8与当前陪护机器控制系统和原始陪护控制系统共享环境信息和训练指令，当前陪护机器控制系统依此进行预演模式，即在触屏显示屏3中虚拟预演陪护机器1执行训练指令的情形，用户5可以调整其中的动作序列。在用户5确认动作序列后，可以将确认的动作序列作为样本对训练学习模型进行训练，同时云端服务器8将被调整后确认的动作序列作为样本发送至原始陪护机器控制系统，供原始陪护机器控制系统进行学习训练。

Claims (8)

1.一种基于虚拟现实的陪护机器控制系统，其特征在于，包括：触屏显示屏、视觉单元、虚拟场景生成单元和计算单元，其中：
所述视觉单元，用于获取陪护机器周围的环境信息，并传递至虚拟场景生成单元和计算单元；
所述虚拟场景生成单元，用于将环境信息生成虚拟现实场景，并结合动作序列显示于所述触屏显示屏；
所述计算单元，用于接收陪护机器控制指令，并依据环境信息计算得到陪护机器执行控制指令的动作序列；所述控制指令用于控制陪护机器执行陪护目的；
所述触屏显示屏，用于接收针对动作序列的触屏调整指令并反馈至计算单元进行执行，并在接收针对动作序列的确认指令后，通过所述计算单元依据动作序列控制陪护机器执行控制指令。
2.根据权利要求1所述的基于虚拟现实的陪护机器控制系统，其特征在于，还包括语音单元，用于接收针对动作序列的语音调整指令，并在接收针对动作序列的确认指令后，通过所述计算单元依据动作序列控制陪护机器执行控制指令。
3.根据权利要求2所述的基于虚拟现实的陪护机器控制系统，其特征在于，所述计算单元，还用于依据环境信息对动作序列进行步骤划分并于触屏显示屏展示，接收针对动作序列中步骤的触屏调整指令或/和语音调整指令并反馈至计算单元进行执行。
4.根据权利要求3所述的基于虚拟现实的陪护机器控制系统，其特征在于，所述计算单元还包括训练学习模型，在所述计算单元依据环境信息计算得到陪护机器执行预演指令的动作序列后，将被调整后确认的动作序列作为样本进行训练学习；所述预演指令用于控制陪护机器预先演示执行陪护目的。
5.根据权利要求4所述的基于虚拟现实的陪护机器控制系统，其特征在于，所述训练学习模型还用于将陪护机器实际执行的动作序列作为样本进行训练学习。
6.根据权利要求5所述的基于虚拟现实的陪护机器控制系统，其特征在于，所述训练学习模型还用于依据环境信息计算得到陪护机器执行控制指令的动作序列。
7.根据权利要求5所述的基于虚拟现实的陪护机器控制系统，其特征在于，还包括云端服务器，用于向计算单元收集确认的动作序列和相应的执行结果，并处于与通信连接的陪护机器控制系统分享状态。
8.根据权利要求7所述的基于虚拟现实的陪护机器控制系统，其特征在于，所述云端服务器发送环境信息和训练指令至虚拟场景生成单元和计算单元，所述计算单元依据环境信息计算得到陪护机器执行训练指令的动作序列后，所述训练学习模型将被调整后确认的动作序列作为样本进行训练学习，所述云端服务器将被调整后确认的动作序列作为样本发送至原始陪护机器控制系统。
CN202010112652.XA 2020-02-24 2020-02-24 基于虚拟现实的陪护机器控制系统 Active CN111267099B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010112652.XA CN111267099B (zh) 2020-02-24 2020-02-24 基于虚拟现实的陪护机器控制系统
PCT/CN2020/085877 WO2021169007A1 (zh) 2020-02-24 2020-04-21 基于虚拟现实的陪护机器控制系统
US17/637,265 US20220281112A1 (en) 2020-02-24 2020-04-21 Virtual reality-based caregiving machine control system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010112652.XA CN111267099B (zh) 2020-02-24 2020-02-24 基于虚拟现实的陪护机器控制系统

Publications (2)

Publication Number Publication Date
CN111267099A true CN111267099A (zh) 2020-06-12
CN111267099B CN111267099B (zh) 2023-02-28

Family

ID=70993896

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010112652.XA Active CN111267099B (zh) 2020-02-24 2020-02-24 基于虚拟现实的陪护机器控制系统

Country Status (3)

Country Link
US (1) US20220281112A1 (zh)
CN (1) CN111267099B (zh)
WO (1) WO2021169007A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106378780A (zh) * 2016-10-21 2017-02-08 遨博（北京）智能科技有限公司 一种机器人系统、控制机器人的方法和服务器
US20170114304A1 (en) * 2015-10-23 2017-04-27 The Procter & Gamble Company Packaged composition
CN107263473A (zh) * 2017-06-19 2017-10-20 中国人民解放军国防科学技术大学 一种基于虚拟现实的人机交互方法
CN107272454A (zh) * 2017-06-19 2017-10-20 中国人民解放军国防科学技术大学 一种基于虚拟现实的实时人机交互方法
CN110180069A (zh) * 2019-05-29 2019-08-30 王森 智能导乐的方法、系统及介质

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11331150B2 (en) * 1999-10-28 2022-05-17 Medtronic Navigation, Inc. Method and apparatus for surgical navigation
US8478901B1 (en) * 2011-05-06 2013-07-02 Google Inc. Methods and systems for robot cloud computing using slug trails
US9272418B1 (en) * 2014-09-02 2016-03-01 The Johns Hopkins University System and method for flexible human-machine collaboration
WO2017180990A1 (en) * 2016-04-14 2017-10-19 The Research Foundation For The State University Of New York System and method for generating a progressive representation associated with surjectively mapped virtual and physical reality image data
KR102526083B1 (ko) * 2016-08-30 2023-04-27 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
KR102573021B1 (ko) * 2016-08-30 2023-08-31 엘지전자 주식회사 공항용 로봇, 그의 서비스 제공 방법을 수행하는 프로그램이 기록된 기록 매체, 및 그와 연결되는 이동 단말기
WO2018045553A1 (zh) * 2016-09-09 2018-03-15 上海海知智能科技有限公司 人机交互的系统及方法
US10956500B2 (en) * 2017-01-19 2021-03-23 Google Llc Dynamic-length stateful tensor array
US10335962B1 (en) * 2017-03-01 2019-07-02 Knowledge Initiatives LLC Comprehensive fault detection and diagnosis of robots
WO2018171196A1 (zh) * 2017-03-21 2018-09-27 华为技术有限公司 一种控制方法、终端及系统
CN107030691B (zh) * 2017-03-24 2020-04-14 华为技术有限公司 一种看护机器人的数据处理方法及装置
GB201709199D0 (en) * 2017-06-09 2017-07-26 Delamont Dean Lindsay IR mixed reality and augmented reality gaming system
CN109934881B (zh) * 2017-12-19 2022-02-18 华为技术有限公司 图像编码方法、动作识别的方法及计算机设备
US10612934B2 (en) * 2018-01-12 2020-04-07 General Electric Company System and methods for robotic autonomous motion planning and navigation
WO2019173396A1 (en) * 2018-03-05 2019-09-12 The Regents Of The University Of Colorado, A Body Corporate Augmented reality coordination of human-robot interaction
US20210109520A1 (en) * 2018-04-23 2021-04-15 Purdue Research Foundation Augmented reality interface for authoring tasks for execution by a programmable robot
US11243083B2 (en) * 2018-06-11 2022-02-08 International Business Machines Corporation Implementing route generation with augmented reality
US10678264B2 (en) * 2018-10-10 2020-06-09 Midea Group Co., Ltd. Method and system for providing remote robotic control
US11320804B2 (en) * 2019-04-22 2022-05-03 Lg Electronics Inc. Multi information provider system of guidance robot and method thereof
US20210012065A1 (en) * 2019-07-14 2021-01-14 Yaniv Shmuel Methods Circuits Devices Systems and Functionally Associated Machine Executable Code for Generating a Scene Guidance Instruction
CN110427536B (zh) * 2019-08-12 2022-03-04 深圳忆海原识科技有限公司 一种类脑决策与运动控制系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170114304A1 (en) * 2015-10-23 2017-04-27 The Procter & Gamble Company Packaged composition
CN106378780A (zh) * 2016-10-21 2017-02-08 遨博（北京）智能科技有限公司 一种机器人系统、控制机器人的方法和服务器
CN107263473A (zh) * 2017-06-19 2017-10-20 中国人民解放军国防科学技术大学 一种基于虚拟现实的人机交互方法
CN107272454A (zh) * 2017-06-19 2017-10-20 中国人民解放军国防科学技术大学 一种基于虚拟现实的实时人机交互方法
CN110180069A (zh) * 2019-05-29 2019-08-30 王森 智能导乐的方法、系统及介质

Also Published As

Publication number Publication date
CN111267099B (zh) 2023-02-28
US20220281112A1 (en) 2022-09-08
WO2021169007A1 (zh) 2021-09-02

Similar Documents

Publication Publication Date Title
CN105563484B (zh) 一种云机器人系统、机器人和机器人云平台
CN109605385B (zh) 一种混合脑机接口驱动的康复辅助机器人
EP3107286B1 (en) Medical robotic system providing three-dimensional telestration
CN109571513B (zh) 一种沉浸式移动抓取服务机器人系统
Tsai et al. Developing a telepresence robot for interpersonal communication with the elderly in a home environment
CN109172066B (zh) 基于语音控制与视觉识别的智能假肢手及其系统和方法
US12017351B2 (en) Remote control system, information processing method, and non-transitory computer-readable recording medium
JP7117237B2 (ja) ロボット制御装置、ロボットシステム及びロボット制御方法
CN108646915B (zh) 结合三维视线跟踪和脑机接口控制机械臂抓取物体的方法和系统
JP2013111737A (ja) ロボット装置及びその制御方法、並びにコンピューター・プログラム
CN115691496B (zh) 基于tts的健康管理机器人语音交互模块
CN116572260A (zh) 基于人工智能生成内容的情感交流陪护养老机器人系统
CN111267099B (zh) 基于虚拟现实的陪护机器控制系统
JP2007130691A (ja) コミュニケーションロボット
Hildebrand et al. Semi-autonomous tongue control of an assistive robotic arm for individuals with quadriplegia
CN111449757B (zh) 远程医疗机器人、控制方法及其充电方法
CN211535454U (zh) 一种可穿戴式的膝关节康复训练设备
CN207202885U (zh) 一种超声检测系统
JP5539001B2 (ja) 制御装置
Arivarasi et al. An advanced cost-efficient IoT method for stroke rehabilitation using smart gloves
WO2019065303A1 (ja) サービス提供システム、サービス提供方法およびサービス提供システム用管理装置
KR102678682B1 (ko) 원격조작 시스템, 정보처리 방법 및 프로그램
JP2022164028A (ja) 遠隔操作制御システム、遠隔操作制御方法、およびプログラム
JP7027285B2 (ja) 遠隔制御サーバおよび遠隔制御システム
WO2023100375A1 (ja) 通信システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant