CN110989605B - 一种三体智能系统架构及探测机器人 - Google Patents

一种三体智能系统架构及探测机器人 Download PDF

Info

Publication number
CN110989605B
CN110989605B CN201911283281.5A CN201911283281A CN110989605B CN 110989605 B CN110989605 B CN 110989605B CN 201911283281 A CN201911283281 A CN 201911283281A CN 110989605 B CN110989605 B CN 110989605B
Authority
CN
China
Prior art keywords
robot
virtual
detection
environment
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911283281.5A
Other languages
English (en)
Other versions
CN110989605A (zh
Inventor
丁亮
袁野
高海波
刘岩
邓宗全
李树
刘振
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN201911283281.5A priority Critical patent/CN110989605B/zh
Publication of CN110989605A publication Critical patent/CN110989605A/zh
Priority to US17/026,342 priority patent/US20220350341A1/en
Priority to PCT/CN2020/101380 priority patent/WO2021114654A1/zh
Application granted granted Critical
Publication of CN110989605B publication Critical patent/CN110989605B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0044Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • G05D1/0236Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons in combination with a laser
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64GCOSMONAUTICS; VEHICLES OR EQUIPMENT THEREFOR
    • B64G1/00Cosmonautic vehicles
    • B64G1/16Extraterrestrial cars
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/0206Control of position or course in two dimensions specially adapted to water vehicles
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Abstract

本发明提供了一种三体智能系统架构及探测机器人,具体涉及机器人技术领域。所述三体智能系统架构包括:数字孪生模块,用于根据探测机器人实时获取的被探测环境的环境数据以及所述探测机器人的机器人数据,而创建虚拟探测环境和虚拟机器人;虚拟现实模块,用于根据所述虚拟探测环境、所述虚拟机器人以及控制人员对所述探测机器人的控制指令,生成所述虚拟机器人在所述虚拟探测环境中执行所述控制指令的过程和结果;以及人机融合模块,所述控制人员展示所述虚拟机器人在所述虚拟探测环境中执行所述控制指令的过程和结果;并在获取所述控制人员确认所述控制指令的反馈后,使所述探测机器人执行所述控制指令。

Description

一种三体智能系统架构及探测机器人
技术领域
本发明涉及机器人技术领域,具体而言,涉及一种的三体智能系统架构及探测机器人。
背景技术
探测机器人被广泛应用于星球探测、深海探测、洞穴探测等对于人类未知的科学探测领域,以满足科学实验及开发需要。
同时,随着技术的不断发展,大量先进的检测器件被广泛应用于检测机器人,以获得更多、更全面的机器人现场信息,同时随着计算机信息技术的大量应用,能够根据获得的机器人现场信息预判出探测机器人下一步的操控结果从而形成新的信息供操控人员及相关配合人员使用;这也导致了信息量过大,使机器人操控人员及相关配合人员无法在短时间内获得全部有效的信息量,并基于该信息量对探测机器人进行有效操控,尤其是用于星球探测的机器人。
发明内容
本发明旨在一定程度上解决现有的探测机器人操控过程中各方传输给操控人员及相关配合人员信息量过大,而不能使操控人员及相关配合人员对探测机器人进行有效控制的问题。
为解决上述问题,本发明提供一种探测机器人的三体智能系统架构,包括:
数字孪生模块,用于根据探测机器人实时获取的被探测环境的环境数据以及所述探测机器人的机器人数据,而创建虚拟探测环境和虚拟机器人;
虚拟现实模块,用于根据所述虚拟探测环境、所述虚拟机器人以及控制人员对所述探测机器人的控制指令,生成所述虚拟机器人在所述虚拟探测环境中执行所述控制指令的过程和结果;以及
人机融合模块,用于传输所述控制指令,并向所述控制人员展示所述虚拟机器人在所述虚拟探测环境中执行所述控制指令的过程和结果;并在获取所述控制人员确认所述控制指令的反馈后,使所述探测机器人执行所述控制指令。
进一步地,所述数字孪生模块能够使所述被探测环境与所述虚拟探测环境相互映射;和/或,所述数字孪生模块能够使所述探测机器人与所述虚拟机器人相互映射。
进一步地,所述控制指令包括:确定所述探测机器人的科学探测目标或确定所述探测机器人的行驶路径。
进一步地,所述探测机器人的三体智能系统架构与云平台相互映射。
进一步地,所述云平台为多个,多个所述云平台包括:
数字云平台模块,分别与所述数字孪生模块及所述虚拟现实模块相互映射;或/和
物理云平台模块,与所述探测机器人相互映射;或/和
生物云平台模块,与所述人机融合模块相互映射。
进一步地,所述数字孪生模块用于根据所述探测机器人实时获取的被探测环境的环境数据以及设定的数据而创建所述虚拟探测环境。
进一步地,所述人机融合模块包括VR眼镜和/或体感座椅,以向所述控制人员展示所述虚拟机器人在所述虚拟探测环境中执行所述控制指令的过程。
进一步地,所述被探测环境与所述虚拟探测环境实时同步,所述探测机器人与所述虚拟机器人实时同步。
另外,本发明还提供了一种探测机器人,所述探测机器人包括所述的探测机器人的三体智能系统架构。
进一步地,所述探测机器人为星球探测机器人或深海探测机器人。
本发明的探测机器人的三体智能系统架构,通过虚拟智能总模块将探测机器人实时获取的被探测环境的环境数据以及探测机器人的机器人数据,创建为虚拟探测环境和虚拟机器人,然后通过人机融合模块向控制人员展示虚拟机器人在虚拟探测环境中的情况,例如通过VR技术和体感座椅使控制人员以及相关配合人员切身感受到被检测环境以及探测机器人在该环境中的情况;从而实现将大量数据信息进行充分整合并充分全面而又生动的展现给控制人员以及相关配合人员,从而使机器人操控人员及相关配合人员充分获知。
在此基础上,通过人机融合模块将控制指令传送到虚拟智能总模块,并向控制人员展示虚拟机器人在虚拟探测环境中执行控制指令的过程和结果;从而使控制人员准确获知该控制指令的执行过程和结果,避免危险的发生,并提高对探测机器人的操控效率和操控的精准性。
附图说明
图1为本发明的具体实施方式的探测机器人的三体智能系统架构的A部分的示意性流程图;
图2为本发明的具体实施方式的探测机器人的三体智能系统架构的B部分的示意性流程图;
图3为本发明的具体实施方式的探测机器人的三体智能系统架构的C部分的示意性流程图;
图4为本发明的具体实施方式的探测机器人和云平台相互映射的示意图。
附图标记说明:
1-第一连接处,2-第二连接处,3-第三连接处,4-第四连接处,5-第五连接处。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂,下面结合附图对本发明的具体实施例做详细的说明。
在本发明的描述中,需要理解的是,术语“上”、“下”、“前”“后”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
对于本实施方式的附图,需要说明的是,为了使本实施方式尽可能公开充分,该探测机器人的三体智能系统架构具体细化后的流程图过多,导致流程图过大,为使本实施方式的附图展示清楚,所以将探测机器人的三体智能系统架构具体细化后的流程图划分为A、B和C三个部分,而这三部分的划分并没有严格限制,主要目的是为了使该探测机器人的三体智能系统架构具体细化后的流程展示清楚。
同时,图1至图4中的第一至第五连接处,仅仅是为了将探测机器人的三体智能系统架构具体细化后的流程相互准确的对应联系起来,以保证图1至图4相互联系的准确性。
参见图1至图4,本实施方式提供了一种探测机器人的三体智能系统架构,包括数字孪生模块、虚拟现实模块以及人机融合模块。数字孪生模块用于根据探测机器人实时获取的被探测环境的环境数据以及探测机器人的机器人数据,而创建虚拟探测环境和虚拟机器人;虚拟现实模块用于根据虚拟探测环境、虚拟机器人以及控制人员对探测机器人的控制指令,生成虚拟机器人在虚拟探测环境中执行控制指令的过程和结果;人机融合模块用于传输控制指令,并向控制人员展示虚拟机器人在虚拟探测环境中执行控制指令的过程和结果;并在获取控制人员确认控制指令的反馈后,使探测机器人执行控制指令。
需要说明的是,可以同时根据探测机器人实时获取被探测环境的环境数据,以及预先对被探测环境的观察检测所获得的环境数据而综合创建出虚拟探测环境。
另外,该探测机器人的三体智能系统架构还包括虚拟智能总模块,虚拟智能总模块包括数字孪生模块和虚拟现实模块。
本发明所涉及的虚拟智能总模块指机器人系统设计、开发、研制、应用过程中所创建的虚拟数字模型,可以对现实中的真实物体、环境或想象中的构思物体、环境等进行模仿,在形态、质地、纹理等方面均和被模仿物体具有很强的相似性,可以反映被模仿物体的相关特性。虚拟数字飞行器、虚拟数字星球车、虚拟数字场景等都属于本发明中数字体的范畴。
另外,本实施方式中提及的控制人员不单单指控制探测机器人的控制人员,既包括接受过一定教育、具备一定的知识和操作能力,可以给机器人指派任务、进行人机交互、研发操作机器人的技术型人员,又包括可以被机器人或虚拟现实等技术服务或协助的非技术型人员。医护人员、科研人员、技术工作者、管理人员、老幼病残等都属于本发明中人的范畴,也就是说,控制人员至少包括科学家和工程师,在后续的科学家、工程师与生物云平台模块结合后,便形成了科学家和工程师的智能。
另外,被探测环境的环境数据可以包括被探测环境的天气情况的数据、地形地貌的数据等各种环境数据。
另外,探测机器人可以是智能探测机器人,智能探测机器人能够进行自主的科学探测和行驶路线的自主设计选择。
另外,控制指令可以是指人类协助机器人进行相关决策(例如,判断科学目标;行驶路径十分复杂,机器人自己无法解算时,地面工作人员为其指定路径),从而体现出探测机器人和控制人员、辅助配合人员的相互融合。
本实施方式的探测机器人的三体智能系统架构,通过数字孪生模块将探测机器人实时获取的被探测环境的环境数据以及探测机器人的机器人数据,创建为虚拟探测环境和虚拟机器人,并且通过虚拟现实模块生成所述虚拟机器人在所述虚拟探测环境中执行所述控制指令的过程和结果;然后通过人机融合模块向控制人员展示虚拟机器人在虚拟探测环境中的情况,例如通过VR技术和体感座椅使控制人员以及相关配合人员切身感受到被检测环境以及探测机器人在该环境中的情况;从而实现将大量数据信息进行充分整合并充分全面而又生动的展现给控制人员以及相关配合人员,从而使机器人操控人员及相关配合人员充分获知。
在此基础上,通过人机融合模块将控制指令传送到虚拟智能总模块,并向控制人员展示虚拟机器人在虚拟探测环境中执行控制指令的过程和结果;从而使控制人员准确获知该控制指令的执行过程和结果,避免危险的发生,并提高对探测机器人的操控效率和操控的精准性。
参见图1至图4,优选地,所述数字孪生模块能够使所述被探测环境与所述虚拟探测环境相互映射;和/或,所述数字孪生模块能够使所述探测机器人与所述虚拟机器人相互映射。
本实施方式的数字孪生模块是探测机器人和虚拟智能总模块的有机结合,是一种物理性和数字性相结合的体系,两者相互作用、关联共生。数字孪生模块集成多学科、多物理量,以数字化方式创建物理实体的虚拟模型,完成虚拟空间和真实空间的相互映射,在虚拟探测环境中可反映探测机器人的物理实体的运行状态。另外,在探测机器人的设计、生产、测试等阶段均可以使用数字孪生模块,如在探测机器人测试阶段,可对虚拟智能总模块中获得的探测机器人的机器人数据进行相关修改,检测探测机器人的反应,通过不断迭代提高探测机器人的整体性能。在探测机器人的实际使用阶段,可以通过数字孪生模块进行机器人的远程监控和操纵控制,将探测机器人运行过程中获得的各种自身状态相关信息实时映射到虚拟机器人上,将对虚拟机器人进行状态控制的效果反应在真实的探测机器人上。数字孪生模块可以实现真实的探测机器人和虚拟机器人间状态的互相反馈,虚拟机器人可以跟随探测机器人自动做出变化,探测机器人也可以根据虚拟机器人接收到的指令进行运动状态调整。数字孪生模块包括高性能计算、先进传感器采集、数字仿真、智能数据分析、双向信息通讯控制等关键技术。
另外,对于数字孪生模块来说,星球探测机器人将所获得的探测信息传输给虚拟智能总模块,虚拟智能总模块根据探测信息作出相应反应。当虚拟智能总模块执行控制指令时候,也将信息传给真实机器人,真实机器人也执行相关动作,从而实现对探测机器人的实时控制。
本发明所指代的虚拟现实模块为人和数字体的有机结合,是一种数字性和生物性相结合的体系,两者相互作用、关联共生。虚拟现实模块可增强现实等。控制人员可使用虚拟现实模块对虚拟智能总模块中的虚拟探测环境和虚拟机器人进行感知与交互,可以带给控制人员与探测机器人交互的感受和体验。在虚拟现实模块包括动态环境建模技术、实时三维图形生成技术、立体显示和传感器技术等关键技术。
另外,需要说明的是,虚拟现实模块使控制人员及其他配合人员能够与虚拟探测环境及虚拟机器人进行交互;例如,控制人员及其他配合人员可以利用键盘鼠标、VR眼镜、体感座椅等在虚拟数字环境(也就是虚拟探测环境)中控制虚拟机器人并接受虚拟机器人的反馈。
参见图1至图4,优选地,探测机器人的三体智能系统架构与云平台相互映射。
参见图1至图4,优选地,云平台为多个,多个云平台包括:
数字云平台模块,与虚拟智能总模块相互映射;或/和
物理云平台模块,与探测机器人相互映射;或/和
生物云平台模块,通过人机融合模块与控制人员相互映射。
也就是说,多个云平台至少包括数字云平台模块、物理云平台模块以及生物云平台模块中的一个。
探测机器人和虚拟智能总模块可以通过网络通信将大规模数据处理、高难度运动规划、多机协作等密集计算卸载到物理云平台模块和数字云平台模块中,通过云平台计算后返回计算结果或进行相关数据的存储等。同时利用云平台具有的强大资源共享、在线学习的能力,通过充分发挥云平台的各项能力可以分别降低探测机器人和虚拟智能总模块的运算、存储负载,拓展探测机器人和虚拟智能总模块的决策、执行、运算和存储能力使其挣脱本体约束的限制,可更高效地解决一系列复杂的问题。除此之外,由于物理云平台模块和数字云平台模块并不依赖探测机器人和虚拟智能总模块本体,使得物理云平台模块和数字云平台模块可以在没有其本体计算任务需求时进行在线学习等工作。生物云平台模块与数字云平台模块和物理云平台模块的工作方式略有不同,生物云平台模块可以储存多个控制人员等相关信息,不同的控制人员可以直接和生物云平台模块之间交换信息,使用其存储和计算功能。生物云平台模块也可以在控制人员与探测机器人或虚拟智能总模块交互时,向探测机器人或虚拟智能总模块提供对应的控制人员的相关信息,为用户提供个性化服务。
综上所述,增加了云平台映射——物理云平台模块、数字云平台模块和生物云平台模块,三部分之间互联互通,有效地提高整个系统构架的工作效率,功能更加强大。
具体地,生物云平台模块可以进行共性思维、历史经验,集体智慧,数据量大于等于库;
物理云平台模块可以进行故障诊断、寿命评估、生产力水平、计算分析,数据量大于库;
数字云平台模块可以进行比较分析,进行预测,具有前瞻性。
参见图1至图4,优选地,虚拟智能总模块根据探测机器人实时获取的被探测环境的环境数据以及设定的数据而创建虚拟探测环境。
参见图1至图4,优选地,人机融合模块包括VR眼镜和/或体感座椅,以向控制人员展示虚拟机器人在虚拟探测环境中执行控制指令的过程。
参见图1至图4,优选地,被探测环境与虚拟探测环境实时同步,探测机器人与虚拟机器人实时同步。
另外,本实施方式还提供了一种探测机器人,探测机器人包括前述的探测机器人的三体智能系统架构。
参见图1至图4,优选地,探测机器人为星球探测机器人或深海探测机器人。
为使本实施方式对探测机器人的三体智能系统架构及探测机器人解释清楚,下面以星球探测机器人为例,进行解释说明;当然,深海探测机器人及其他探测机器人也可以使用该系统架构。
对于星球探测机器人,控制人员可以指代地面的工程师和科学家等,他们可以为星球探测机器人设定科学探测目标、利用星球探测机器人采集到的各种数据分析星球表面状况、在星球探测机器人陷入困境或无法决策时给予帮助等。
星球探测机器人,可以具备在非崎岖复杂环境下自主导航、科学仪器操作和科学目标探测等功能;
虚拟智能总模块可以是虚拟仿真软件中的虚拟星球探测机器人和所处虚拟环境,两者可进行虚拟交互。
另外,在星球探测机器人初期研制阶段,科研人员经过需求分析、方案论证等过程,对星球探测机器人本体结构、尺寸构型、电控系统、控制算法等进行设计。设计时便可以使用虚拟智能总模块进行三维建模、虚拟仿真软件建立机器人与环境等虚拟模型,开发相关程序,在真实环境中开展大量基础性实验研究,将实验得到的真实物理信息映射到虚拟环境中,建立高保真的虚拟模型,可在虚拟环境中对算法进行可行性验证,降低实验不确定性带来的风险,也缩短了开发周期。基于实验与仿真结果,进一步优化与改进现有方案。同时可借助虚拟现实设备,在高保真的虚拟环境中操纵虚拟星球探测机器人,练习指定科学目标、发送控制指令等,培训星球探测机器人操控人员。此阶段充分利用人机融合、虚拟现实、数字孪生模块,对星球探测机器人本体设计、算法优化、方案验证及模拟培训等关键环节起到重要作用。
星球探测机器人到达星球表面后,星球探测机器人本体信息和所处环境信息通过卫星通信传输到地面,也就是探测机器人实时获取的被探测环境的环境数据以及探测机器人的机器人数据,然后虚拟智能总模块根据其创建虚拟探测环境和虚拟机器人。同时通过人机融合模块向控制人员展示虚拟机器人在虚拟探测环境中的情况,例如,可使用VR眼镜、体感座椅等设备使控制人员在虚拟探测环境中感受星球探测机器人的运动状态和周围环境信息,并通过鼠标、键盘、手柄等设备对虚拟机器人进行控制。并通过人机融合模块命令虚拟机器人在虚拟探测环境中完成自主路径规划和路径跟踪,评估在虚拟探测环境中虚拟机器人的运行状态,若效果不佳则控制人员可以进行人为干涉给出路径关键点或完整路径,该过程可以反复进行多次,以求寻找到最佳的机器人控制策略。之后将确认的最佳控制指令,也就是在控制人员确认控制指令后,通过卫星通信上传到星球探测机器人本体的控制系统中,探测机器人即可按照指令执行相关操作,并将探测机器人在星球表面的状态反馈到虚拟机器人,对虚拟机器人状态更新,也就是被探测环境与虚拟探测环境实时同步,探测机器人与虚拟机器人实时同步,使探测机器人和虚拟机器人状态一致。此阶段充分利用人机融合、虚拟现实、数字孪生模块各自优势及特点,不仅增强了地面操作人员直观感知能力,同还时对星球探测机器人未知作业的难度系数分析、可通过性方案验证起到重要作用。
参见图1至图4,当星球探测机器人降落到被探测的星球表面后,利用其自身携带的各种传感器组成的感知系统进行多源信息测量(使用摄像头测量图像信息;激光雷达测量3D点云信息以感知距离深度;电机编码器测量车轮转动角速度;惯性测量单元IMU测量探测机器人的姿态信息;六维力传感器测量机器人个关键位置的受力状态等等)。在测量信息的同时将其传输到地面的星球探测机器人虚拟数字体环境中(也就是虚拟智能总模块),根据环境的图像、点云;探测机器人的速度、位姿和受力情况等建立高度保真的虚拟的数字探测机器人和虚拟数字星球环境(也就是根据探测机器人实时获取的被探测环境的环境数据以及所述探测机器人的机器人数据,而创建虚拟探测环境和虚拟机器人)。星球探测机器人利用感知系统测量的相关信息进行星球土壤参数的辨识和估计,之后同时进行定位和建立包含星球表面几何和物理性质的地图(也就是图1中的SLAM&Characterization),此时也将获得的相关信息传输到虚拟数字体中。在星球探测机器人完成以上工作后,需要进行科学任务规划及决策,目前星球探测机器人的智能程度有限,暂不能自动进行相关科学任务(解释科学任务:例如:哪块石头科学价值更高,需要使用探测仪器检测其成分?或哪里的星壤/土壤更具有代表性,需要采样带回地球?等等)的规划,此时需要地面的科学家进行协助,地面的科学家具有相关领域丰富的科学研究积累,可根据经验进行科学价值的判断,确定要探索的科学目标,以及使用何种科学探测仪器对该目标进行检测,在地面科学家确认目标后将指令传输到星球探测机器人。
另外,图1中,s为智能探测机器人的车轮滑转率;z为智能探测机器人的车轮沉陷量;f为智能探测机器人的车轮受力信息(xyz方向的力和力矩,共六个量,称为:六维力信息);w车轮转速omega,由车轮沉陷量z、滑转率s和六维力f,可以通过地面力学相关公式计算出土壤参数。
星球探测机器人根据该指令进行下一步工作(到达该目标所在的位置即导航)。在导航阶段分为,地貌可通过性分析、路及规划以及路径跟踪,星球探测机器人通过之前建立的地图,结合自身结构的运动学和动力学信息,判断地图上哪些地方是星球探测机器人可以安全通过的(地面坡度过大、地面障碍物过多,地面土壤过于松软等情况都是机器人不可通过的),利用判断结果规划出如何到达指定目标点(此处根据规划标准不同会有不同的路径结果,路径最短、能量最小等都是规划路径的一种标准),规划好路径后进行路径跟踪,星球探测机器人按照规划的路径到达目标地点进行采样或使用科学仪器分析相关科学目标。在导航阶段可能遇到地面十分复杂的情况,此时星球探测机器人自身无法规划出到达指定目标地点的路径,需要地面工作人员的协助,地面工作人员在虚拟探测环境中进行以上可通过性分析、路径规划和路径跟踪过程,可反复测试不断验证指令,得到可行指令后将其上传到真实探测机器人的控制系统中,命令其按照指令移动,到达指定目标点。
综上所述,利用该探测机器人的三体智能系统架构,使星球探测任务中的科学家及工程师通过与生物云平台模块结合而变为智能,也就是控制人员的智能,智能探测机器人和虚拟智能总模块三者任务分工明确,从而形成三体智能系统架构;接着,智能探测机器人、虚拟智能总模块与控制人员的智能相互交叉,从而形成数字孪生模块、虚拟现实模块及人机融合模块,并使它们配合紧密,相互间有机融合,可靠、高效、智能的完成星球探测任务,是典型的三体智能系统的应用场景。
虽然本发明公开披露如上,但本发明公开的保护范围并非仅限于此。本领域技术人员在不脱离本发明公开的精神和范围的前提下,可进行各种变更与修改,这些变更与修改均将落入本发明的保护范围。

Claims (6)

1.一种探测机器人的三体智能系统架构,其特征在于,包括:
数字孪生模块,用于根据探测机器人实时获取的被探测环境的环境数据以及所述探测机器人的机器人数据,而创建虚拟探测环境和虚拟机器人;
虚拟现实模块,用于根据所述虚拟探测环境、所述虚拟机器人以及控制人员对所述探测机器人的控制指令,生成所述虚拟机器人在所述虚拟探测环境中执行所述控制指令的过程和结果;
人机融合模块,用于传输所述控制指令,并向所述控制人员展示所述虚拟机器人在所述虚拟探测环境中执行所述控制指令的过程和结果;并在获取所述控制人员确认所述控制指令的反馈后,使所述探测机器人执行所述控制指令;
其中,所述探测机器人为智能探测机器人;
所述探测机器人的三体智能系统架构还包括虚拟智能总模块,所述虚拟智能总模块包括所述数字孪生模块和虚拟现实模块;
所述探测机器人的三体智能系统架构包括多个云平台,多个所述云平台包括:
数字云平台模块,与所述虚拟智能总模块相互映射;
物理云平台模块,与所述探测机器人相互映射;
生物云平台模块,通过所述人机融合模块与所述控制人员相互映射;
所述人机融合模块包括VR眼镜和体感座椅,以向所述控制人员展示所述虚拟机器人在所述虚拟探测环境中执行所述控制指令的过程;
所述数字孪生模块能够使所述被探测环境与所述虚拟探测环境相互映射;所述数字孪生模块能够使所述探测机器人与所述虚拟机器人相互映射;所述被探测环境与所述虚拟探测环境实时同步,所述探测机器人与所述虚拟机器人实时同步。
2.根据权利要求1所述的探测机器人的三体智能系统架构,其特征在于,所述控制指令包括:确定所述探测机器人的科学探测目标或确定所述探测机器人的行驶路径。
3.根据权利要求1或2所述的探测机器人的三体智能系统架构,其特征在于,所述探测机器人的三体智能系统架构与云平台相互映射。
4.根据权利要求1或2所述的探测机器人的三体智能系统架构,其特征在于,所述数字孪生模块用于根据所述探测机器人实时获取的被探测环境的环境数据以及设定的数据而创建所述虚拟探测环境。
5.一种探测机器人,其特征在于,所述探测机器人包括权利要求1至4中任一项所述的探测机器人的三体智能系统架构。
6.根据权利要求5所述的探测机器人,其特征在于,所述探测机器人为星球智能探测机器人或深海智能探测机器人。
CN201911283281.5A 2019-12-13 2019-12-13 一种三体智能系统架构及探测机器人 Active CN110989605B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201911283281.5A CN110989605B (zh) 2019-12-13 2019-12-13 一种三体智能系统架构及探测机器人
US17/026,342 US20220350341A1 (en) 2019-12-13 2020-07-10 Three-layer intelligence system architecture and an exploration robot
PCT/CN2020/101380 WO2021114654A1 (zh) 2019-12-13 2020-07-10 一种三体智能系统及探测机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911283281.5A CN110989605B (zh) 2019-12-13 2019-12-13 一种三体智能系统架构及探测机器人

Publications (2)

Publication Number Publication Date
CN110989605A CN110989605A (zh) 2020-04-10
CN110989605B true CN110989605B (zh) 2020-09-18

Family

ID=70093421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911283281.5A Active CN110989605B (zh) 2019-12-13 2019-12-13 一种三体智能系统架构及探测机器人

Country Status (3)

Country Link
US (1) US20220350341A1 (zh)
CN (1) CN110989605B (zh)
WO (1) WO2021114654A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110989605B (zh) * 2019-12-13 2020-09-18 哈尔滨工业大学 一种三体智能系统架构及探测机器人
US11393175B2 (en) 2020-02-06 2022-07-19 Network Documentation & Implementation Inc. Methods and systems for digital twin augmented reality replication of non-homogeneous elements in integrated environments
CN111650852B (zh) 2020-04-23 2021-10-26 中国电子科技集团公司第三十八研究所 系留气球数字孪生监控系统
CN111654319B (zh) * 2020-04-23 2022-03-15 中国电子科技集团公司第三十八研究所 系留气球系统数字孪生监控方法
CN111812299A (zh) * 2020-07-17 2020-10-23 哈尔滨工业大学 基于轮式机器人的土壤参数辨识方法、装置及存储介质
CN113687718A (zh) * 2021-08-20 2021-11-23 广东工业大学 一种人-机集成的数字孪生系统及其构建方法
CN113959444A (zh) * 2021-09-30 2022-01-21 达闼机器人有限公司 用于无人设备的导航方法、装置、介质及无人设备
CN115268646A (zh) * 2022-08-02 2022-11-01 清华大学 一种人机协同建造过程感知系统、装置、分析方法和介质
US20240078442A1 (en) * 2022-09-07 2024-03-07 International Business Machines Corporation Self-development of resources in multi-machine environment
CN116382476B (zh) * 2023-03-30 2023-10-13 哈尔滨工业大学 一种用于月表人机协同作业的穿戴式交互系统
CN116401623B (zh) * 2023-04-19 2023-11-03 深圳墨影科技有限公司 一种机器人控制算法融合方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110320873A (zh) * 2019-07-05 2019-10-11 武汉魅客科技有限公司 一种基于分布式传感网络的实时三维呈现系统
CN111126735A (zh) * 2018-11-01 2020-05-08 中国石油化工股份有限公司 一种钻井数字孪生系统

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102306216A (zh) * 2011-08-10 2012-01-04 上海交通大学 月球车多规律仿真测试系统
CN103592854B (zh) * 2013-11-14 2017-01-04 哈尔滨工程大学 一种水下无人航行器观测任务的同步虚拟推演装置
US9671777B1 (en) * 2016-06-21 2017-06-06 TruPhysics GmbH Training robots to execute actions in physics-based virtual environment
EP3287861A1 (en) * 2016-08-24 2018-02-28 Siemens Aktiengesellschaft Method for testing an autonomous system
US10877470B2 (en) * 2017-01-26 2020-12-29 Honeywell International Inc. Integrated digital twin for an industrial facility
US10452078B2 (en) * 2017-05-10 2019-10-22 General Electric Company Self-localized mobile sensor network for autonomous robotic inspection
WO2019018304A1 (en) * 2017-07-17 2019-01-24 Johnson Controls Technology Company SYSTEMS AND METHODS FOR BUILDING SIMULATION ON THE BASIS OF AN AGENT FOR OPTIMAL CONTROL
WO2019133792A1 (en) * 2017-12-30 2019-07-04 Infinite Kingdoms, LLC Smart entertainment technology attractions
CN108388146B (zh) * 2018-02-01 2021-05-18 东南大学 一种基于信息物理融合的三维装配工艺设计系统及运行方法
CN108427390B (zh) * 2018-04-16 2021-03-30 长安大学 一种基于数字孪生的车间级智能制造系统及其配置方法
CN110531846B (zh) * 2018-05-24 2023-05-23 卡兰控股有限公司 在实时3d虚拟世界代表真实世界的范围内的实时3d虚拟对象的双向实时3d交互操作
CN108919765B (zh) * 2018-07-20 2021-06-04 王德权 一种基于数字孪生的智能制造工厂虚拟调试和虚拟监控方法及系统
DE112019004517T5 (de) * 2018-09-10 2021-06-02 Fanuc America Corporation Roboterkalibrierung für ar (augmented reality) und digitaler zwilling
US11584020B2 (en) * 2018-12-04 2023-02-21 Cloudminds Robotics Co., Ltd. Human augmented cloud-based robotics intelligence framework and associated methods
CN109571476A (zh) * 2018-12-14 2019-04-05 南京理工大学 工业机器人数字孪生实时作业控制、监控与精度补偿方法
US20200259896A1 (en) * 2019-02-13 2020-08-13 Telefonaktiebolaget Lm Ericsson (Publ) Industrial Automation with 5G and Beyond
GB201906813D0 (en) * 2019-05-16 2019-06-26 Roboraca Ltd Metaverse
CN110221546B (zh) * 2019-05-21 2020-11-20 武汉理工大学 虚实融合的船舶智能控制系统测试平台
CN110181519B (zh) * 2019-06-25 2022-03-18 广东希睿数字科技有限公司 基于数字孪生机器人的地铁台站门故障检测方法及系统
CN110454290B (zh) * 2019-07-02 2021-01-29 北京航空航天大学 一种基于数字孪生技术的汽车发动机管控方法
JP2023510091A (ja) * 2019-12-10 2023-03-13 ウッドサイド エナジー テクノロジーズ プロプライエタリー リミテッド アセット管理システム
CN110989605B (zh) * 2019-12-13 2020-09-18 哈尔滨工业大学 一种三体智能系统架构及探测机器人

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126735A (zh) * 2018-11-01 2020-05-08 中国石油化工股份有限公司 一种钻井数字孪生系统
CN110320873A (zh) * 2019-07-05 2019-10-11 武汉魅客科技有限公司 一种基于分布式传感网络的实时三维呈现系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于数字孪生的综采工作面生产系统设计与运行模式;谢嘉成 等;《计算机集成制造系统》;20190615;第1381-1391页 *

Also Published As

Publication number Publication date
WO2021114654A1 (zh) 2021-06-17
CN110989605A (zh) 2020-04-10
US20220350341A1 (en) 2022-11-03

Similar Documents

Publication Publication Date Title
CN110989605B (zh) 一种三体智能系统架构及探测机器人
US10607163B2 (en) LOD work package
WO2019076044A1 (zh) 移动机器人局部运动规划方法、装置及计算机存储介质
CN109063973B (zh) 基于人工智能的建设工程建造方法
CN111459166A (zh) 一种灾后救援环境下含受困人员位置信息的情景地图构建方法
CN113325837A (zh) 一种用于多信息融合采集机器人的控制系统及方法
Grehl et al. Research perspective-mobile robots in underground mining
Eiris et al. InDrone: a 2D-based drone flight behavior visualization platform for indoor building inspection
Kryuchkov et al. Simulation of the «cosmonaut-robot» system interaction on the lunar surface based on methods of machine vision and computer graphics
Mettler et al. Research infrastructure for interactive human-and autonomous guidance
Moczulski Autonomous systems control aided by Virtual Teleportation of remote operator
Ootsubo et al. Support system for slope shaping based on a teleoperated construction robot
Bresina et al. K9 operation in May’00 dual-rover field experiment
Zheng et al. Virtual Prototyping-Based Path Planning of Unmanned Aerial Vehicles for Building Exterior Inspection
Siy et al. Implementation of a real-time appearance-based mapping in a fully autonomous urban search robot
Pol et al. Autonomous Differential Drive Mobile Robot Navigation with SLAM, AMCL using ROS
Navon et al. Programming construction robots using virtual reality techniques
Jochmann et al. The virtual space robotics testbed: Comprehensive means for the development and evaluation of components for robotic exploration missions
Wang et al. A mixed reality based teleoperation interface for mobile robot
Kong et al. Mapping 3D guidance performance using approximate optimal cost-to-go function
Shen et al. Check for updates The Development of Mix-Reality Interface and Synchronous Robot Fabrication for the Collaborative Construction
Blackmon et al. Command generation for planetary rovers using virtual reality
Ootsubo et al. Support system for teleoperation of slope shaping by a construction robot
Küçüksubaşı An integrated system design for building inspection by autonomous UAVs
Chatila Autonomous Mobile Robots in France: Some Projects and Scientific Approaches

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant