CN116382286A - 一种实现移动设备与移动平台交互的自主移动系统及方法 - Google Patents
一种实现移动设备与移动平台交互的自主移动系统及方法 Download PDFInfo
- Publication number
- CN116382286A CN116382286A CN202310381966.3A CN202310381966A CN116382286A CN 116382286 A CN116382286 A CN 116382286A CN 202310381966 A CN202310381966 A CN 202310381966A CN 116382286 A CN116382286 A CN 116382286A
- Authority
- CN
- China
- Prior art keywords
- map
- mobile
- interaction
- user
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 98
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000010295 mobile communication Methods 0.000 claims abstract description 102
- 230000033001 locomotion Effects 0.000 claims description 61
- 230000009471 action Effects 0.000 claims description 33
- 230000008447 perception Effects 0.000 claims description 29
- 230000002452 interceptive effect Effects 0.000 claims description 21
- 238000004891 communication Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 14
- 230000014509 gene expression Effects 0.000 claims description 10
- 101100400452 Caenorhabditis elegans map-2 gene Proteins 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 9
- 101150064138 MAP1 gene Proteins 0.000 claims description 7
- 230000007613 environmental effect Effects 0.000 claims description 7
- 230000003068 static effect Effects 0.000 claims description 7
- 230000008449 language Effects 0.000 claims description 6
- 230000005283 ground state Effects 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 4
- 230000005484 gravity Effects 0.000 claims description 3
- 238000010200 validation analysis Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 2
- 230000006855 networking Effects 0.000 abstract description 4
- 101100075995 Schizosaccharomyces pombe (strain 972 / ATCC 24843) fma2 gene Proteins 0.000 description 14
- 101100456045 Schizosaccharomyces pombe (strain 972 / ATCC 24843) map3 gene Proteins 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000009434 installation Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 230000037230 mobility Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0219—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory ensuring the processing of the whole working surface
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明涉及一种实现移动设备与移动平台交互的自主移动系统及方法,属于机器人控制技术领域。该系统使用移动通信设备作为与人的智能交互设备,利用移动生态扩展特定用途的移动机器人,组成一个能够在特定场景下,具备智能交互,智能网联和智能驾驶能力的自主移动系统,该包括智能移动平台、移动通信设备和云服务器,使得特定用途的移动机器人通过节省智能交互系统来降低成本,并因能够支持多种智能设备,以及设备的生态扩展能力,使得系统与人交互,与Iot设备互联的更灵活以及多样性,实现针对特定人在特定场合的服务能力。
Description
技术领域
本发明属于机器人控制技术领域,涉及一种实现移动设备与移动平台交互的自主移动系统及方法。
背景技术
随着自动驾驶技术的发展,实现在特定场景,特别是在封闭场景(比如矿山、港口、厂房、仓库等区域)自动驾驶车辆的技术已经比较成熟。随着感知以及网联技术的发展,通过网络调度的自主运行的车辆能够实现更加复杂的应用,比如矿上港口车辆之间的交互以及协作。但是这类车辆目前仅能在专用的领域使用,或者不需要与人/驾驶者进行现场交互的场景使用,无法实现对任何场景下的个人进行服务。
能够在特定场合对个人进行服务的车辆或者机器人,目前都是原厂集成了人机交互系统,比如carplay、harmonyOs、linux等,均是直接安装到机器人系统,基于系统的生态实现多机的互联和协作,但是只能执行机器人既定的交互方式,不够灵活,并且需要随机部署导致重复投入,并且浪费。
公开号为CN108281143A的专利,公开了使用手机APP进行遥控的机器人系统,通过手机或者移动设备进行交互,主要是通过无线的方式,这种只能执行相对简单任务的机器人系统,不适合需要大数据量的感知能力交互和融合的应用,特别是需要融合不同感知来源,进行综合理解命令、任务来执行自主的复杂移动任务的系统。
发明内容
有鉴于此,本发明的目的在于提供一种实现移动设备与移动平台交互的自主移动系统及方法,使用手机等移动通信设备,通过临时的连接移动平台实现在特定区域的行驶,并且具备与人的交互能力。
为达到上述目的,本发明提供如下技术方案:
一种实现移动设备与移动平台交互的自主移动系统,包括智能移动平台P、移动通信设备M和云服务器S。使用移动通信(手持/穿戴)设备M与智能移动平台P连接,能够实现在特定场合的自动驾驶,具备本区域的联网,区域内的环境感知和建图,以及移动避障能力。支持通过云端或者智能移动设备给定的规划轨迹,并且反馈环境的实时地图到云端或者智能移动设备。
移动通信设备M,在与机器人移动平台连接之后,有线和/或无线,通过智能移动设备的装置能力,比如:
a)摄像头进行人脸表情特征,身体动作特征以及与人交互的环境目标的捕捉和识别;
b)麦克风进行人的语音,以及外界声音的捕捉以及识别;
c)触屏进行人的操作以及当前运行状态的交互显示;
d)网络(wifi,蓝牙,移动通信,USB接口)等进行数据的交互和传输;
将人的指令,应用的设置,以及人的习惯等信息发送到云端,并且将设定的轨迹发送到智能移动平台P,由移动平台进行自动执行。
云服务器S收集到个人移动通信设备M,以及智能移动平台P的信息,以及在本区域内容其他智能设备使用者的信息,根据业务进行统计和规划,从而实现进行针对性的服务。
进一步,所述智能移动平台P包括能源系统P1、移动系统P2、感知系统P3以及第一无线通信系统P4,用于在特定场景下沿着命令轨迹自动安全行驶;
所述移动通信设备M包括图像显示和交互系统M1(如触屏)、声音交互系统M2、图像感知系统M3和第二无线通信系统M4,实现与使用者的交互,包括通过APP等与使用者进行任务和命令的交互,以及移动生态下应用与移动通信设备之间的信息共享,比如位置、时间、日程、偏好等,从而实现移动轨迹规划的同时,能够在多个移动通信设备之间有服务器进行优化;
所述云服务器S包括但是不限于移动应用服务器S1和交互任务服务器S2,根据任务的要求进行调度,以及任务的管理,包括APP的移动应用服务,以及移动通信设备的基础服务,以及交互任务服务等。
进一步,在智能移动平台P的基本移动能力的基础上,增加移动通信设备M进行人机交互能力之后,实现移动服务任务的过程,具体包括:
1)智能移动平台P具备环境感知系统P3,包括平台的传感器,比如相机、激光雷达、超声波传感器、毫米波雷达等,能够对运行环境进行检测。利用智能移动平台P的感知系统P3进行环境感知,利用云服务器S进行运动决策以及运动规划;并由移动系统P2执行,移动系统P2包括平台的执行器,比如驱动电机、转向电机、制动系统以及指示系统等,能够使智能移动平台P按照云服务器S的任务即规划的轨迹安全行驶;
2)移动通信设备M与智能移动平台P通过支架和安装系统P5,以及第二无线通信系统M4和第一无线通信系统P4建立连接之后,实现特定任务服务需要考虑到与使用者的交互,具体包括:
a)移动通信设备M的感知系统(M1、M2、M3),如相机、麦克风、触屏以及网络等感知使用者的语言、动作、情绪等人物状态和命令,直到使用者获取到通过移动通信设备M或者移动通信设备M关联的Iot设备输入的人物以及交互命令;
b)人物以及命令输入,与环境感知的信息进行融合,能够在当前的环境下,理解人物以及命令,从而能够决定如何执行任务,并将任务的决策输入给运动决策模块和交互决策模块;
c)任务决策模块的运动请求,结合环境信息,由智能移动平台P决策如何运动,而规划控制模块在考虑到智能移动平台P需要执行的动作后,对智能移动平台的执行器进行控制;
d)任务决策模块的交互请求,分为动作决策、表情和内容交互决策,以及语音决策三部分,其中,
i.动作决策,比如机械臂,头部等影响运动平衡的动作,需要输入给运动控制模块进行综合稳定性控制,并执行机器臂,头部的动作控制;
ii.表情和内容交互决策,主要是对交互设备的触屏或者状态灯等显示设备进行控制;
iii.语音决策,主要是针对于使用的对话,包括连续对话的管理,由声音执行器输出;
3)限于智能移动平台P以及移动通信设备M的资源,复杂的计算需要通过云服务器S进行大数据量的计算,包括环境的感知,人物的感知以及融合,复杂任务的决策以及规划等,特别是在需要结合其他的信息,进行场景内运行的综合协调控制的情况下,比如场地内的客流服务。
进一步,所述复杂任务的决策以及规划包括基于场景理解的综合任务决策以及规划,其中,用于任务理解以及决策规划的基础地图模型是以分层地图的形式,如图5所示,对应于执行任务的路线规划、轨迹规划以及移动决策内容,以及对交互目标的跟踪和跟随。其中,分层地图包括基础拓扑层map1、实时动态层map2、移动地图层map3、交互目标层map4和操作地图层map5。基础拓扑层包括三类信息,如图6所示:
1)节点:在地图中与当前执行任务相关联的位置/地点,以及相应的属性描述。在行动区域范围内,节点可以作为目标地,有一定用途的兴趣点,是地图的基本信息,节点会被赋予具备相应的属性信息,比如:
a)位置信息:用于定义位置,能够找到节点,以及多设备之间共享节点位置;
b)用途信息:用于任务以及场景的匹配,以及阶段用途的相关信息;
c)对节点内容的状态描述,包括一般的公共属性信息,比如用途、开放时间、容量、活动信息等内容,也包括用户通过移动通信设备M指定的新的属性或者标记,比如事件发生地,限制等。
2)拓扑:包括在地图中各节点之间的路线连接拓扑关系,也包括能够描述拓扑关系的规则以及节点位置的特征信息或者属性。
拓扑是连接所定义范围的节点的行驶路线,以及路线上用于标识规则和位置的特征物,还需要包括线路以及规则、定位特征物的属性信息。属性信息具体包括:
a)路线属性:主要是描述路线与节点的链接以及可用状态等信息,可以被临时赋予拥堵、维护等通行信息。
a)规则目标物以及属性;在路线上对规则进行描述和限制的车道线,边缘线,红绿灯、指示牌等进行通行规则描述的信息,以及临时的障碍物指示的规则理解信息,也包括用户通过移动通信设备M指定的新规则的标记,比如限速、绕行等。
c)定位设施属性:对道路上或者道路边的可以进行辅助定位的设施的描述,比如树木,路牌,建筑物等,也包括用户通过移动通信设备M指定的设施的属性。
3)关联关系:节点以及拓扑之间的属性关联关系,比如替代,同类,优先等关联关系,用于实时规划或者调整,得到最优的路线,特别是为在不同的个性化选择或者限制条件下的最优路线的决策信息。同样分为公共属性的关联关系,以及指定属性的关联关系。
自主移动系统基于全局的基础拓扑层基础拓扑层进行全局的路线规划,制定从当前位置到目标节点的移动路线,并能够根据实际的移动以及目标节点的调整进行实时的跟随调整。
进一步,在规划路线的引导下,自主移动系统在特定的场景内进行安全稳定的移动,移动通信设备M以及智能移动平台P感知的环境信息进行实时的融合生成实时的实时动态层map2,如图7所示,表达系统或者使用者周边的实时的道路以及障碍物情况,用于实时的运行轨迹的规划;感知的环境信息具体包括:
1)节点和位置特征map2-1,用于辅助进行精确定位的,并且匹配到基础拓扑层map1的要素,通过这种特征以及位置的匹配能够保证局部运行的轨迹与整体规划的路线相符合。
2)道路以及特征map2-2,用于描述系统可以通行的区域中的通行规则,通过环境中的地面,标识线/物体,参考的设施的识别以及定位,描述当前道路的通行的属性,比如是否可以通行,通行的区域范围,速度限制等。还包括道路以及规则之间的关联关系,比如红绿灯触发通行切换等。
3)静止目标物map2-3,车辆/使用者周边的静止目标物,包括内容以及相对位置,以及附加的属性信息,一般分为2类:
a)静止的障碍物,可以用于描述范围边界,以及可能会发生碰撞的静止物体;
b)任务相关的操作或者指示物,与当前任务相关联的静止物体,一般由移动通信设备M的APP指定,并且需要与任务或者使用者的动作互动,这类物体需要标识在实时动态层map2。
4)动态目标物map2-4:车辆/使用者周边的动态物体,包括内容和相对位置,运动状态,附加属性信息,以及特殊目标标识;动态物体一般分为3类:
a)移动物体,识别并判断/预测移动的轨迹,用于判断是否会发生碰撞;
b)移动的人,识别并判断/预测移动的轨迹,并需要通过移动通信设备M的识别附加人物的身份以及进行的动作信息,作为交互目标层map4的匹配对应信息;
c)与人互动的物体,识别并判断/预测移动的轨迹,并且与人物相关联,辅助判断人物的行为,作为交互目标层map4的匹配对应信息;
5)风险目标:基于车辆/使用者当前的位置,路线以及运动状态等信息,预测和估计可能发生碰撞风险,对静止目标物以及动态目标物进行预测,并进行跟踪,在实时动态层map2进行标识,标识运动轨迹的相互影响以及关联关系,比如避让等,用于实时的避障决策和规划;
基于实时动态层map2的信息,包括车辆/使用者当前的位置,路线以及运动状态等信息,考虑当前执行的任务以及交互人物、操作物体的空间位置,在满足设定的限制条件,比如禁止通行,对可供选择的运行轨迹,按照安全,交互/跟随,稳定,舒适的优先级,得到最优的运行轨迹供执行。
进一步,自主移动系统在相对较长的时间规划移动轨迹时,当需要执行机构的紧急动作时,需识别:
1)地面状态map3-1:一般是三维立体的实时地图,规划近距离的行驶或者落足位置;
2)风险目标map3-2:在近距离范围,提供更高精度,更加实时的风险目标的跟踪,以进行紧急的避让动作。
自主移动系统在考虑到跟随使用者的调整以及机械臂动作对整体平衡性的影响之后,对轨迹的执行是基于地面状态,以及风险进行调整,其规划控制主要是基于移动地图层map3的信息,结合交互动作以及操作动作的需求进行综合而得到。
进一步,自主移动系统通过保持与使用者的交互,移动通信设备M与移动平台P的连接关系,以及对使用者的跟踪来建立交互目标层map4,并通过对智能移动平台P的定位匹配融合到实时动态层map2的相应位置,如图8所示;基于交互目标层对使用者的识别,跟踪,规划车辆移动的状态以及交互的理解内容,包括:
1)使用者map4-1,包括身份,特征的识别和确认以及关联的人以及物的识别和跟踪;
2)使用者的关联物体map4-2,包括通过动作和语言指示的物体的识别和跟踪;
通过移动通信设备M的感知设备,包括通过支架和安装系统P5的操作,保持对交互目标的跟踪和跟随,综合理解需要执行的命令以及命令状态,以便对任务进行调整,也包括使用者通过移动平台的操作机构输入的直接的操作。
进一步,当自主移动系统是带有机械臂的操作机器人时,针对该机器人建立相应的操作地图层map5。基于操作的目标,对应于实时动态层map2的实时动态图的静止目标物map2-3和动态目标物map2-4,以及机械臂的执行能力,规划操作以及进行的状态,分为3部分:
1)空间障碍map5-1,用于机械臂在随着系统移动过程中的空间避障,以便指示在通过障碍时特殊的空间以及动作的要求,也作为在通过该障碍物时,移动以及操作调整的输入;
2)操作目标map5-2,用于指示目标的特性以及操作的过程和限制等信息,以便指示在不同的阶段拿-运-放的操作要求,也作为对不同过程中的重心以及平衡情况进行估计和调整的输入;
3)操作空间map5-3,用于指示机械臂操作的起始位置以及保持的姿态,特别是与障碍物的关联关系。
进一步,交互决策的表情、内容以及语言的交互,都是根据感知以及理解内容做出的反应,因为动作,包括头部以及操作会对整机的平衡性有影响;自主移动系统在考虑到跟随使用者的调整以及机械臂动作对整体平衡性的影响之后,对轨迹的执行是基于地面状态,以及风险进行调整,以便能够实时调整并保持沿着规划的轨迹行驶。
进一步,规划控制模块主要是基于移动地图层的信息,结合交互动作以及操作动作的需求进行综合的稳定性控制之后,对执行的规划。
本发明的有益效果在于:本发明提供了一种框架性方法,能够使用手机等移动通信设备作为与人的智能交互设备,利用移动生态扩展特定用途的移动机器人,组成一个能够在特定场景下,具备智能交互,智能网联和智能驾驶能力的自主移动系统,这种系统使得特定用途的移动机器人通过节省智能交互系统来降低成本,并因能够支持多种智能设备,以及设备的生态扩展能力,使得系统与人交互,与Iot设备互联得更灵活以及多样性,实现针对特定人在特定场合的服务能力。具体具有以下益处:(1)原有的移动机器人平台能够满足无人自动驾驶,支持优化的调度;(2)原有的机器人平台不再需要人机交互系统,能够节省成本;(3)复用个人的专用应用的设置,能够实现更有针对性的服务;(4)移动应用的信息互联,能够实现基于用户的信息的共享,能够在特定范围内优化针对个人的服务。
这种框架性的交互方法,主要是将不同设备的感知以及处理能力,进行系统性的融合,分层,以及共享和移植,能够让组合的自主移动系统,在特定场景内自主的执行移动任务,而这种自主移动可以是:(1)相同的移动设备,使用不同的机器人移动平台,完成跨平台的任务;(2)相同的机器人平台,使用不同的移动通信设备,实现不同的使用者个性化任务;(3)移动通信设备以及机器人移动平台均不同,实现不同人以及不同阶段任务的接力。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述,并且在某种程度上,基于对下文的考察研究对本领域技术人员而言将是显而易见的,或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作优选的详细描述,其中:
图1为本发明提供的自主移动系统结构示意图;
图2为本发明系统的工作模式以及系统的组成;
图3为系统网络和通信架构;
图4为服务实现的逻辑;
图5为系统使用的地图分层关系;
图6为基于基础拓扑层地图融合任务的方法和内容;
图7为基于实时动态层地图进行实时运行轨迹的规划;
图8为在移动地图层上的动作决策;
图9为交互地图层上进行与人的跟踪和交互;
图10为有机械臂系统的操作地图层进行物体操作
图11为分层地图融合的框架图。
图12为基于系统在不同设备以及不同平台之间的跨平台协作示例。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
其中,附图仅用于示例性说明,表示的仅是示意图,而非实物图,不能理解为对本发明的限制;为了更好地说明本发明的实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;对本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件;在本发明的描述中,需要理解的是,若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此附图中描述位置关系的用语仅用于示例性说明,不能理解为对本发明的限制,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
请参阅图1~图12,本发明公开了一种实现移动设备与移动平台交互的自主移动系统,如图1所示,该系统能够利用设备的能力,实现基于信息的共享,通过增加智能移动通信设备-M让原本只是在场地内执行特定移动任务的智能移动平台P具备了人机交互能力,能够为租用者提供个性化以及强交互体验的任务。
1)智能移动平台P(platform Chassis),平台的典型系统包括能源系统P1,移动系统P2,智能感知系统P3,以及智能网络系统P4,实现在特定场景下,沿着命令轨迹自动安全行驶;具备支持手持等设备安装的支架P5,实现与移动通信设备的安装以及信号的连接;以及可能的机械臂系统P6,进行抓取等操作执行特殊的任务。
智能移动平台P根据场景以及用途进行最优化的配置,包括:
(1)扫码租用的人工操作设备,比如购物车,需要人推动,但是可以通过位置的共享,对客流进行统计;
(2)有人驾驶的移动设备,比如电动车,需要人进行驾驶;
(3)无人驾驶的移动设备,比如AGV电动车。
2)移动通信设备M(Mobile Device),属于个人的移动终端,比如手机、手表等,并且能够调用移动生态下的互联Iot设备,比如穿戴的智能眼镜、智能耳机等。设备的典型系统包括:图像显示和交互系统M1,典型如触屏,智能声音交互系统M2,图像感知系统M3,以及第二无线通信系统M4,实现与使用者的交互,包括通过APP等与使用者进行任务和命令的交互,以及移动生态下应用与设备之间的信息共享,比如位置、时间、日程、偏好等,从而能够对实现移动轨迹规划的同时,能够在多个设备之间有服务器进行优化。
移动通信设备M,主要的与人和环境进行交互信息的设备,可以是以下设备的一种或者几种:(1)手机;(2)平板电脑;(3)智能穿戴设备等。
3)云服务器S(Server),根据任务的要求进行调度,以及任务的管理,包括APP的移动应用服务,以及设备的基础服务,以及交互任务服务等。
云服务器S,是不同应用以及设备管理的专用服务器,并能够进行数据和信息的互通和共享,比如位置,状态的统计,对场地内的设备设施进行调度和管理等。
图2所示为本发明系统在移动通信设备M处建立使用关系的状态和模式切换的过程,即在智能移动平台P,以及云服务器S的基础服务之上,通过键入移动通信设备M,实现使用者的命令和服务,过程如下:
1)调度状态:此时智能移动平台P由云服务器S直接进行管理和调度,包括;
a)云服务器S可以响应移动通信设备M通过APP的使用请求,并确认使用者的位置;
b)云服务器S对智能移动平台P进行配置,并发送规划的轨迹给智能移动平台P;
c)智能移动平台P按照云服务器S规划的轨迹进行移动,并到达指定的位置,等待使用者通过移动通信设备M建立连接。
2)服务初始化;在到达指定位置之后,使用者通过移动通信设备M的App进行租用,建立有线和无线连接,并对系统重新进行基于使用的初始化,包括:
a)使用者身份以及设备的校验,比如移动通信设备M的ID;
b)移动通信设备M的安装以及连接,建立系统的连接网络,并进行初始化,系统网络以及交互内容如图3所示;
c)任务的请求和确认,通过移动通信设备M的系统进行交互,对智能移动平台P的移动,以及云服务器S的服务进行确认;
3)服务:完成系统和服务的初始化,在确认任务之后,系统通过移动通信设备M的设备与使用者进行交互,实现所需的服务,包括通过APP提供的移动服务,以及基于移动通信设备M的移动生态的服务,并由移动通信设备M的管理系统进行调度;
a)移动通信设备M根据任务的内容,请求云服务器S,不同的任务以及能力,实现对使用者的命令和任务;
b)特别的移动应用服务器S1,会综合环境,其他设备等信息,进行综合的任务规划,并与使用者进行交互和确认,以保证移动应用服务的优化以及行驶安全;
c)归还:完成任务之后,使用者通过移除或者端口移动通信设备M与智能移动平台P的连接,通过移动通信设备M的APP对设备进行归还。特别的,归还和服务初始化,可能会因为使用者的操作进行切换。
图3所示为建立连接之后的系统网络架构,数据交互的通道和内容包括:
a)通道1:智能移动平台P和云服务器S,主要是移动应用服务器S1的无线交互通道,通过第一无线通信系统P4建立的连接。
i.云服务器S向智能移动平台P发送轨迹调度和规划的任务信息,智能移动平台P会判断来自云服务器S以及移动通信设备P的任务信息,安全执行。
ii.智能移动平台P向云服务器S反馈当前移动的位置,以及运行状态信息。
b)通道2:移动通信设备M与云服务器S,既包括与移动应用服务器S1,也包括与其他的交互任务服务器S2,比如语音交互等的交互通道,这里主要说明移动应用服务器S1的交互。
i.移动通信设备M通过APP向云服务器S发送任务的请求,以及执行的命令。
ii.云服务器S将规划的任务,以及任务相关的调度和规划等信息反馈到移动通信设备M的APP,供使用者进行决策和选择。
c)通道3:移动通信设备M与智能移动平台P的大数据量信息交互通道,一般是有线的USB,用于交互和同步环境地图以及命令信息。
i.移动通信设备M将使用者决定的移动任务,以及使用者的状态信息发送给智能移动平台P,由智能移动平台P结合安全以及自身状态信息决定如何执行。
ii.智能移动平台P将执行的状态,以及地图和环境信息反馈给移动通信设备M,并通过App进行展示。
d)通道4:移动通信设备M与智能移动平台P的无线通道,主要是进行身份的校验,以及使用归还过程中的信息交互,也会作为通道3的备份通道。
e)通道5和通道6:在需要较多的计算资源进行环境的感知与融合,命令的理解与融合,以及综合决策规划等任务时,系统会根据实际的移动通信设备M以及智能移动平台P的资源以及能力状况,在云服务器S,移动通信设备M以及智能移动平台P之间进行动态的任务执行的分配,相应的传输数据也会不同,参考图4实现过程。
i.智能移动平台P将传感器采集的环境信息,通过智能移动平台P的第一无线通信系统P4将环境数据发送到云服务器S,可以与通道1使用相同的连接。
ii.移动通信设备M将传感器采集的与人交互的信息,通过移动通信设备M的第二无线通信系统M4,将人的语音、图像等新信息发送到交互任务服务器S2进行人的语音和图像交互的理解,让命令信息传递反馈到移动通信设备M,或者直接发送给移动应用服务器S1进行基于任务的综合理解,决策以及规划。
图4所示为在智能移动平台P的基本移动能力的基础上,增加移动通信设备M进行人机交互能力之后,实现移动服务任务的过程,具体包括:
1)智能移动平台P具备环境感知系统P3,包括平台的传感器,比如相机、激光雷达、超声波传感器、毫米波雷达等,能够对运行环境进行检测,利用平台P或者云服务器S的能力进行环境感知,运动决策以及运动规划;并由移动系统P2执行,移动系统P2包括平台的执行器,比如驱动电机、转向电机、制动系统以及指示系统等,能够使智能移动平台P按照云服务器S的任务即规划的轨迹安全行驶。
2)移动通信设备M与智能移动平台P通过支架和安装系统P5,以及第二无线通信系统M4和第一无线通信系统P4建立连接之后,实现特定任务服务需要考虑到与使用者的交互。
a)移动通信设备M的感知系统(M1、M2、M3),如相机、麦克风、触屏以及网络等感知使用者的语言、动作、情绪等人物状态,以及命令,直到使用者获取到通过移动通信设备M或者M关联的Iot设备输入的人物以及交互命令。
b)人物以及命令输入,与环境感知的信息进行融合,能够在当前的环境下,理解人物以及命令,从而能够决定如何执行任务,并将任务的决策输入给运动决策和交互决策模块。
c)任务决策的运动请求,结合环境信息,由移动平台决策如何运动,而规划控制模块在考虑到智能移动平台P需要执行的动作,对智能移动平台的执行器进行控制。
d)任务决策的交互请求,分为动作决策,表情和内容交互决策,语音决策三部分。
i.动作决策,比如机械臂,头部等影响运动平衡的动作,需要输入给运动控制模块进行综合稳定性控制,并执行机器臂,头部的动作控制;
ii.表情和内容交互决策,主要是对交互设备的触屏或者状态灯等显示设备进行控制;
iii.语音决策,主要是针对于使用的对话,包括连续对话的管理,由声音执行器输出;
3)限于智能移动平台P以及移动通信设备M的资源,复杂的计算可能需要通过云服务器S进行计算和任务处理,比如环境的感知,人物的感知以及融合,复杂任务的决策以及规划等,特别是在需要结合其他的信息,进行场景内运行的综合协调控制的情况下,比如场地内的客流服务。
为了实现基于场景理解的综合任务决策以及规划,并能够在多个场景区域进行共享和互通,将任务和移动规划的地图分为五层(基础拓扑层、实时动态层、移动地图层、交互目标层和操作地图层),参考图5,基于智能移动平台P的感知能力以及移动通行设备M的App指令进行场景的切换,以及信息共享,每层地图的内容、用途以及使用方式各不相同。但是能够通过移动通信设备M,以及智能移动平台P的位置进行同步和衔接,特别是在远程通过移动通信设备M进行智能移动平台P的租用时,示例参考图11。
图5所示为实现多平台、场景和任务,通过移动通信设备M的指令实现移动通信设备M,智能移动平台P以及服务器S之间进行位置和地图共享,并基于此进行相应的任务计算和处理,地图以及相应的功能和任务如下:
1)基础拓扑层map1,类似于车用导航地图,表达全局环境下的节点以及节点之间的拓扑关系,用于进行全局的行进路线的规划,以及基于路线上特征的定位。这一层还需要描述节点之间,拓扑之间,以及节点与拓扑之间的相互关联关系。
2)实时动态层map2,智能移动平台P,包括移动通信设备M和移动系统P2,通过感知系统感知的实时环境信息,包括实际看到的节点,拓扑的特征和规则,以及定位特征进行高精度定位,以及环境中存在的影响实际移动的静态以及动态目标物。
3)移动地图层map3,主要是通过智能移动平台P的感知系统P3建立的本地近距离的障碍地图,可以支持进行高实时的移动命令。
4)交互目标层map4,主要是通过移动通信设备M进行跟踪和观测的需要交互的目标,并能够通过匹配实时动态层map2观测到的目标以及特征的匹配,进行定位,以便能够在移动过程中,保持正确的跟踪,朝向,以及输出对安装支架系统P5的操作命令。
5)操作地图层map5,主要是通过智能移动平台P的感知系统P3观测到的需要操作的目标相对的位置,这个感知系统P3会包括在操作执行器上相应的感知设备,以及能够获得操作机构执行相应的操作。
移动应用任务的实现基于通过移动通信设备M获取的人物和命令相关的信息,以及智能移动平台P感知的环境信息,对两个设备获得的信息,取决于计算能力以及融合对资源的需求在特定的设备进行融合。
用于任务理解,以及规划,使用如图5所示的基础拓扑层map1,使用地图的特征以及自身的定位系统进行定位以及全局路径的规划,地图上的信息可以将移动通信设备M,智能动平台P以及服务器S编辑好,并且能够共享,分为三类信息:
1)节点及属性信息map1-1:在全局地图上带有位置、用途、状态等信息的节点,能够在地图上进行相应的搜索以及定位,包括带条件的查找节点,其属性包括一般的公共属性信息,以及系统编辑的指定信息。
2)拓扑关系信息map1-2:连接基础拓扑层map1上的各种路线,以及路线的规则和特征信息,需要至少包括:
a)拓扑的规则:可行驶路线的描述,包括一般的公共属性信息,比如通行规则、车道数量、限速等,以及辅助进行通行规则状态指示的标识物,比如交通灯,指示牌等,也包括用户通过移动通信设备M指定的新的属性或者标记,比如特殊事件标记。
b)拓扑的特征,主要是在拓扑路线上辅助进行定位的特征,这些特征带有描述用途,状态,使用规则等属性信息,可以是描述拓扑规则的辅助标识物,带有的相对位置信息也包括用户通过移动通信设备M指定的新的属性或者标记,比如特殊事件标记。
3)关联关系map1-3:基本内容之间的各种关联关系,比如替代,同类,优先等关联关系,用于进行实时规划或者调整,得到最优的路线。同样分为公共属性的关联关系,以及指定属性的关联关系。
在规划路线的引导下,自主移动系统在特定的场景内进行安全稳定的移动,移动通信设备M以及智能移动平台P感知的环境信息进行实时的融合生成实时的动态目标实时动态层map2,如图7所示,表达系统或者使用者周边的实时的道路以及障碍物情况,用于进行实时的运行轨迹的规划,分为以下内容:
1)节点和位置特征map2-1,能够辅助进行精确定位的,并且匹配到基础拓扑层map1的要素,通过这种特征以及位置的匹配能够保证局部运行的轨迹与整体规划的路线相符合。
2)道路以及特征map2-2,用于描述系统可以通行的区域中的通行规则,通过环境中的地面,标识线/物体,参考的设施的识别以及定位,描述当前道路的通行的属性,比如是否可以通行,通行的区域范围,速度限制等。还包括道路以及规则之间的关联关系,比如红绿灯触发通行切换等。
3)静止目标物map2-3,车辆/使用者周边的静止目标物,包括内容以及相对位置,以及附加的属性信息,一般分为2类。
a)静止的障碍物,可以用于描述范围边界,以及可能会发生碰撞的静止物体;
b)任务相关的操作或者指示物,与当前任务相关联的静止物体,一般由移动通信设备M的APP指定,并且需要与任务或者使用者的动作互动,这类目标需要标识在实时动态层map2;
4)动态目标物map2-4:车辆/使用者周边的动态目标物,包括内容和相对位置,以及运动状态,附加属性信息,一般分为3类以及特殊目标标识。
a)移动物体,识别并判断/预测移动的轨迹,用于判断是否会发生碰撞;
b)移动的人,识别并判断/预测移动的轨迹,并需要通过移动通信设备M的识别附加人物的身份以及进行的动作信息,作为交互目标层map4的匹配对应信息;
c)与人互动的物体,识别并判断/预测移动的轨迹,并且与人物相关联,辅助判断人物的行为,作为交互目标层map4的匹配对应信息;
5)风险目标:基于车辆/使用者当前的位置,路线以及运动状态等信息,预测和估计可能发生碰撞风险,对静止目标物以及动态目标物进行预测,并进行跟踪,在实时动态层map2进行标识,标识运动轨迹的相互影响以及关联关系,比如避让等,用于实时的避障决策和规划。
基于实时动态层map2的信息,包括车辆/使用者当前的位置,路线以及运动状态等信息,考虑当前执行的任务以及交互人物、操作物体的空间位置,在满足设定的限制条件,比如禁止通行,对可供选择的运行轨迹,进行按照安全,交互/跟随,稳定,舒适的优先级,得到最优的运行轨迹供执行。
自主移动系统在相对较长的时间规划移动轨迹,可能需要执行机构的紧急动作,对于轮式车辆一般是制动和转向的动作,特别是足式机器人的落足以及步态调整的动作的决策需要有更多并且更加实时的地面细节,这些细节在移动地图层map3进行表达,如图8所示。移动地图层map3一般是瞬时移动的范围,比如2秒移动5米,主要是表达道路的可行驶状态,比如路面的积水、坑洼、台阶以及临时的障碍等,不容易在较远距离精确识别的内容,用于近距离的实时调整执行器的动作,分为两类:
1)地面状态map3-1:一般是三维立体的实时地图,规划近距离的行驶或者落足位置;
2)风险目标map3-2:在近距离范围,提供更高精度,更加实时的风险目标的跟踪,以进行紧急的避让动作。
自主移动系统在考虑到跟随使用者的调整以及机械臂动作对整体平衡性的影响之后,对轨迹的执行是基于地面状态,以及风险进行调整,其规划控制主要是基于移动地图层map3的信息,结合交互动作以及操作动作的需求进行综合而得到。自主移动系统需要能够保持与使用者的交互,需要能够保持移动通信设备M以及移动通信设备M与移动平台P的连接关系,并能够调整支架和安装系统P5来调整传感器M3的朝向保持对使用者的跟踪,包括动态目标人map2-4,以及人操作的动态或者静止目标map2-3以及动态目标人map2-4,建立基于立体空间的交互目标层map4,并通过对智能移动平台P的定位匹配融合到实时动态层(map2)的相应位置,如图9所示。基于交互目标层对使用者的识别,跟踪,规划车辆移动的状态以及交互的理解内容,包括:
1)使用者map4-1:包括身份,特征的识别和确认,以及关联的人以及物的识别和跟踪。
2)使用者的关联物体map4-2,包括通过动作和语言指示的物体的识别和跟踪。
通过移动通信设备M的感知设备,包括通过支架和安装系统P5的操作,保持对交互目标的跟踪和跟随,综合理解需要执行的命令以及命令状态,以及对任务的实时调整,也包括使用者通过移动平台的操作机构输入的直接的操作。
自主移动系统可以是带有机械臂的操作机器人,而一般机械臂的操作都是针对空间的目标,并且空间目标需要有空间的位置,操作的属性以及空间环境的限制,为此针对有机械臂的系统,建立相应的操作地图层map5,如图10所示,由于对机械臂的操作进行规划以及控制。基于操作的目标,对应于实时动态层map2的实时动态图的静止目标物map2-3和动态目标物map2-4,以及机械臂的执行能力,规划操作以及进行的状态,分为3部分:
1)空间障碍map5-1,用于机械臂在随着系统移动过程中的空间避障,以便指示在通过障碍时特殊的空间以及动作的要求,也作为在通过该障碍物时,移动以及操作调整的输入.
2)操作目标map5-2,用于指示目标的特性以及操作的过程和限制等信息,以便指示在不同的阶段拿-运-放的操作要求,也作为对不同过程中的重心以及平衡情况进行估计和调整的输入。
3)操作空间map5-3,用于指示机械臂操作的起始位置以及保持的姿态,特别是与障碍物的关联关系。
综上,智能移动平台P和移动通信设备M对分层地图融合的框架示例如图11所示,移动平台P感知能力主要是对环境进行识别,并建立相应的位置、拓扑以及运动关系,包括3d关系,同时移动通信设备M的感知能力,提供主人的命令以及操作,对地图中的信息进行个性化以及针对性的调整和修改,标注。从图11中可以用看出,智能移动平台P的感知能力与运行的场景以及平台的能力和应用相关,而移动通信设备M的感知和交互能力与对任务以及使用者的理解相关,不同场景下的内容会有不同。
通过服务器S对地图的同步以及共享组合,也包括对公共地图资源的调用和共享,可以实现在不同智能移动平台P,以及移动通信设备M的任务衔接,互联以及个性化服务,比如,用户通过App发起一项采购任务,指定了采购的内容以及目的地如图12所示:
1)使用者通过手机预订出租车,车辆在服务器S的指挥下到达指定地点,之后使用者通过手机指挥车辆达到商场,使用道路地图以及手机实现去商场的移动以及指定的停车位置,此时的智能移动平台P是共享汽车;
2)达到商场,使用者归还车辆,车辆可以被其他人的移动通信设备M租用,而用户通过手机预订商场内的自动购物车,跟随用户在商场内进行购物。此时的移动智能平台P是商场的自动购车。
3)完成购物,使用者归还购物车,并再次预定出租车回到小区,并且在车上召唤家庭机器人在指定的位置等待,此时使用者通过手机以及服务器S控制家庭机器人自主移动。
4)到达并归还车辆,物品转移到家庭机器人,并放置移动通信设备M到家庭机器人,使其跟随使用者回家,家庭机器人可以有机械臂进行物品的操作,包括移动,摆放等,并且能够在手机的遥控下进行操作此时的机器人智能移动平台P是家庭机器人。
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (9)
1.一种实现移动设备与移动平台交互的自主移动系统,其特征在于,该系统包括智能移动平台(P)、移动通信设备(M)和云服务器(S);
所述智能移动平台(P)包括能源系统(P1)、移动系统(P2)、感知系统(P3)以及第一无线通信系统(P4),用于在特定场景下沿着命令轨迹自动安全行驶;
所述移动通信设备(M)包括图像显示和交互系统(M1)、声音交互系统(M2)、图像感知系统(M3)和第二无线通信系统(M4),实现与使用者的交互,包括通过APP与使用者进行任务和命令的交互,以及移动生态下应用与移动通信设备之间的信息共享,从而实现移动轨迹规划的同时,能够在多个移动通信设备之间有服务器进行优化;
所述云服务器(S)包括移动应用服务器(S1)和交互任务服务器(S2),根据任务的要求进行调度,以及任务的管理,包括APP的移动应用服务,以及移动通信设备的基础服务,以及交互任务服务。
2.根据权利要求1所述的自主移动系统,其特征在于,在智能移动平台(P)的基本移动能力的基础上,增加移动通信设备(M)进行人机交互能力之后,实现移动服务任务的过程,具体包括:
1)利用智能移动平台(P)的感知系统(P3)进行环境感知,利用云服务器(S)进行运动决策以及运动规划;并由移动系统(P2)执行,使智能移动平台(P)按照云服务器(S)的任务即规划的轨迹安全行驶;
2)移动通信设备(M)与智能移动平台(P)通过第二无线通信系统(M4)和第一无线通信系统(P4)建立连接之后,实现特定任务服务需要考虑到与使用者的交互,具体包括:
a)移动通信设备(M)的感知系统(M1、M2、M3)感知使用者的人物状态和命令,直到使用者获取到通过移动通信设备(M)或者移动通信设备(M)关联的Iot设备输入的人物以及交互命令;
b)人物以及命令输入,与环境感知的信息进行融合,能够在当前的环境下,理解人物以及命令,从而能够决定如何执行任务,并将任务的决策输入给运动决策模块和交互决策模块;
c)任务决策模块的运动请求,结合环境信息,由智能移动平台(P)决策如何运动,而规划控制模块在考虑到智能移动平台(P)需要执行的动作后,对智能移动平台的执行器进行控制;
d)任务决策模块的交互请求,分为动作决策、表情和内容交互决策,以及语音决策三部分;
3)复杂的计算需要通过云服务器(S)进行大数据量的计算,包括环境的感知,人物的感知以及融合,复杂任务的决策以及规划。
3.根据权利要求2所述的自主移动系统,其特征在于,所述复杂任务的决策以及规划包括:基于场景理解的综合任务决策以及规划,其中,用于任务理解以及决策规划的基础地图模型是以分层地图的形式,对应于执行任务的路线规划、轨迹规划以及移动决策内容,以及对交互目标的跟踪和跟随;
所述分层地图包括基础拓扑层(map1)、实时动态层(map2)、移动地图层(map3)、交互目标层(map4)和操作地图层(map5);所述基础拓扑层包括三类信息:
1)节点:在地图中与当前执行任务相关联的位置/地点,以及相应的属性描述;
2)拓扑:在地图中各节点之间的路线连接拓扑关系,也包括能够描述拓扑关系的规则以及节点位置的特征信息或者属性;
3)关联关系:节点以及拓扑之间的属性关联关系,用于实时规划或者调整,得到最优的决策和规划的方案。
4.根据权利要求3所述的自主移动系统,其特征在于,在规划路线的引导下,自主移动系统在特定的场景内进行安全稳定的移动,移动通信设备(M)以及智能移动平台(P)感知的环境信息进行实时的融合生成实时的实时动态层(map2),表达系统或者使用者周边的实时的道路以及障碍物情况,用于实时的运行轨迹的规划;感知的环境信息具体包括:
1)节点和位置特征(map2-1),用于辅助进行精确定位的,并且匹配到基础拓扑层的要素;
2)道路以及特征(map2-2),用于描述系统通行的区域中的通行规则,通过环境中的地面,标识线/物体,参考的设施的识别以及定位,描述当前道路的通行的属性,道路以及规则之间的关联关系;
3)静止目标物(map2-3),车辆/使用者周边的静止目标物,包括内容以及相对位置,以及附加的属性信息,分为2类:
a)静止的障碍物,可以用于描述范围边界,以及可能会发生碰撞的静止物体;
b)任务相关的操作或者指示物,与当前任务相关联的静止物体,由移动通信设备(M)的APP指定,并且需要与任务或者使用者的动作互动,这类物体需要标识在实时实时动态层(map2);
4)动态目标物(map2-4):车辆/使用者周边的动态物体,包括内容和相对位置,运动状态,附加属性信息,以及特殊目标标识;动态物体分为3类:
a)移动物体,识别并判断/预测移动的轨迹,用于判断是否会发生碰撞;
b)移动的人,识别并判断/预测移动的轨迹,并需要通过移动通信设备(M)的识别附加人物的身份以及进行的动作信息,作为交互目标层(map4)的匹配对应信息;
c)与人互动的物体,识别并判断/预测移动的轨迹,并且与人物相关联,辅助判断人物的行为,作为交互目标层(map4)的匹配对应信息;
5)风险目标:基于车辆/使用者当前的位置,路线以及运动状态,预测和估计可能发生碰撞风险,对静止目标物以及动态目标物进行预测,并进行跟踪,在实时动态层(map2)进行标识,标识运动轨迹的相互影响以及关联关系,用于实时的避障决策和规划;
基于实时动态层(map2)的信息,包括车辆/使用者当前的位置,路线以及运动状态,考虑当前执行的任务以及交互人物、操作物体的空间位置,在满足设定的限制条件,对可供选择的运行轨迹,按照安全,交互/跟随,稳定,舒适的优先级,得到最优的运行轨迹供执行。
5.根据权利要求2所述的自主移动系统,其特征在于,自主移动系统在长时间规划移动轨迹时,当需要执行机构的紧急动作时,需识别地面状态(map3-1)和风险目标(map3-2)。
6.根据权利要求4所述的自主移动系统,其特征在于,自主移动系统通过保持与使用者的交互,移动通信设备(M)与移动平台(P)的连接关系,以及对使用者的跟踪来建立地图的交互目标层(map4),并通过对智能移动平台(P)的定位匹配融合到实时动态层(map2)的相应位置;基于交互目标层对使用者的识别,跟踪,规划车辆移动的状态以及交互的理解内容,包括:
1)使用者(map4-1),包括身份,特征的识别和确认以及关联的人以及物的识别和跟踪;
2)使用者的关联物体(map4-2),包括通过动作和语言指示的物体的识别和跟踪;
通过移动通信设备(M)的感知设备,包括通过支架和安装系统(P5)的操作,保持对交互目标的跟踪和跟随,综合理解需要执行的命令以及命令状态,以便对任务进行调整,也包括使用者通过移动平台的操作机构输入的直接的操作。
7.根据权利要求1~6中任意一项所述的自主移动系统,其特征在于,当自主移动系统是带有机械臂的操作机器人时,针对该机器人建立相应的操作地图层(map5);基于操作的目标,对应于实时动态层(map2)的实时动态图的静止目标物(map2-3)和动态目标物(map2-4),以及机械臂的执行能力,规划操作以及进行的状态,分为3部分:
1)空间障碍(map5-1),用于机械臂在随着系统移动过程中的空间避障,以便指示在通过障碍时特殊的空间以及动作的要求,也作为在通过障碍物时,移动以及操作调整的输入;
2)操作目标(map5-2),用于指示目标的特性以及操作的过程和限制,以便指示在不同的阶段拿-运-放的操作要求,也作为对不同过程中的重心以及平衡情况进行估计和调整的输入;
3)操作空间(map5-3),用于指示机械臂操作的起始位置以及保持的姿态。
8.根据权利要求5所述的自主移动系统,其特征在于,交互决策的表情、内容以及语言的交互,都是根据感知以及理解内容做出的反应,因为动作,包括头部以及操作会对整机的平衡性有影响;自主移动系统在考虑到跟随使用者的调整以及机械臂动作对整体平衡性的影响之后,对轨迹的执行是基于地面状态,以及风险进行调整,以便能够实时调整并保持沿着规划的轨迹行驶。
9.根据权利要求5所述的自主移动系统,其特征在于,规划控制模块是基于移动地图层的信息,结合交互动作以及操作动作的需求进行综合的稳定性控制之后,对执行的规划。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310381966.3A CN116382286A (zh) | 2023-04-11 | 2023-04-11 | 一种实现移动设备与移动平台交互的自主移动系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310381966.3A CN116382286A (zh) | 2023-04-11 | 2023-04-11 | 一种实现移动设备与移动平台交互的自主移动系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116382286A true CN116382286A (zh) | 2023-07-04 |
Family
ID=86974846
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310381966.3A Pending CN116382286A (zh) | 2023-04-11 | 2023-04-11 | 一种实现移动设备与移动平台交互的自主移动系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116382286A (zh) |
-
2023
- 2023-04-11 CN CN202310381966.3A patent/CN116382286A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3948463B1 (en) | Teleoperation for exception handling | |
CN111656295B (zh) | 用于自主运载工具的对象交互预测系统及方法 | |
CN110083163A (zh) | 一种用于自动驾驶汽车的5g c-v2x车路云协同感知方法及系统 | |
CN103885444B (zh) | 信息处理方法、可移动电子设备和决策控制设备 | |
CN109035747B (zh) | 一种智能移动平台系统及其运行调度方法 | |
US20200101974A1 (en) | Device and method for selecting optimal travel route based on driving situation | |
US11383379B2 (en) | Artificial intelligence server for controlling plurality of robots and method for the same | |
JP7047439B2 (ja) | 移動店舗車および移動店舗システム | |
US20190228664A1 (en) | Vehicle calling system | |
CN102822757A (zh) | 具有影像辅助导航机制的导航系统及其操作方法 | |
JP6891753B2 (ja) | 情報処理装置、移動装置、および方法、並びにプログラム | |
CN113479195A (zh) | 用于自动代客泊车的方法和用于执行所述方法的系统 | |
KR102353103B1 (ko) | 인공 지능 장치 및 그의 동작 방법 | |
WO2024012604A1 (zh) | 一种基于物联网的智能化泊车管理系统 | |
US11281225B2 (en) | Driving method of robot | |
US20220291685A1 (en) | Method and system to improve autonomous robotic systems responsive behavior | |
US20210072758A1 (en) | Robot and controlling method thereof | |
CA3192462C (en) | Systems and methods for generating basis paths for autonomous vehicle motion control | |
KR20190096857A (ko) | 로봇의 경로를 결정하는 인공 지능 서버 및 그 방법 | |
WO2022055630A2 (en) | Systems and methods for autonomous vehicle motion control and motion path adjustments | |
KR20230135548A (ko) | 통신 기반 로봇 제어 방법 및 시스템 | |
KR20190096854A (ko) | 인공 지능을 이용하여, 복수의 로봇들을 제어하는 인공 지능 서버 | |
EP3571560B1 (en) | Autonomous robotic system | |
CN116449837A (zh) | 一种用于交通枢纽的自动行驶机器人系统 | |
CN116382286A (zh) | 一种实现移动设备与移动平台交互的自主移动系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |