CN114734466B - 一种移动机器人化学实验操作系统及方法 - Google Patents
一种移动机器人化学实验操作系统及方法 Download PDFInfo
- Publication number
- CN114734466B CN114734466B CN202210664595.5A CN202210664595A CN114734466B CN 114734466 B CN114734466 B CN 114734466B CN 202210664595 A CN202210664595 A CN 202210664595A CN 114734466 B CN114734466 B CN 114734466B
- Authority
- CN
- China
- Prior art keywords
- mobile robot
- pose
- relative
- working station
- positioning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1669—Programme controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Electromagnetism (AREA)
- General Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种移动机器人化学实验操作系统及方法,方法包括:在各个化学工作站点上固定定位标签,记录各个关键路径点相对定位标签的位姿,从而构建工作站的结构化信息;根据设定的操作流程,利用定位标签的位姿和记录的结构化信息控制移动机器人自动进行化学实验操作。本发明的系统及方法,能实现对物体的高精度位姿定位,并进行复杂的操作臂运动规划和轨迹平滑,从而实现对多种不同化学仪器的灵巧操作,提升化学实验效率。
Description
技术领域
本发明涉及移动操作机器人控制领域,尤其涉及一种移动机器人化学实验操作系统及方法。
背景技术
移动操作机器人一直是机器人领域的一个重要的研究方向。移动式多自由度操作臂属于一类移动操作机器人,由于移动式多自由度操作臂的基座在场景中移动,因此直接指定场景中的物体相对基座的位姿不可行,为了解决物体的结构化信息表达问题,可以设定一个固定不变的世界坐标系,将所有位姿全部在世界坐标系下进行表示。但该方法需要利用特定的位姿采集装备,经济成本高、操作复杂,且一旦场景发生微小变化都需要重新进行采集,灵活性和扩展性弱。并且,目前移动式多自由度操作臂主要采用基于力反馈的六点定位法实现位姿定位,但该方法定位速度慢,要求空间大。最后,目前移动式多自由度操作臂的逆解算法大多是基于数值迭代的方法,当目标位姿远离当前位姿时,算法不能够保证最优且具有随机性,这会导致移动式多自由度操作臂出现不可预期的动作。此外,在一条轨迹中指定多个路径点,采用逐个经过路径点的方法,会在路径点处产生明显的停顿,减慢操作速度,影响操作的平滑性和流畅性。
基于现有移动式多自由度操作臂所存在的问题,目前的移动式多自由度操作臂并无法在多个化学工作站点的化学实验场景中,沿各化学工作站点进行精细化的化学实验操作,局限了移动机器人在化学实验领域的应用。
有鉴于此,特提出本发明。
发明内容
本发明的目的是提供了一种移动机器人化学实验操作系统及方法,能使移动机器人在化学实验场景中按设定化学实验流程进行精细化的化学实验操作,进而解决现有技术中存在的上述技术问题。
本发明的目的是通过以下技术方案实现的:
本发明实施方式提供一种移动机器人化学实验操作系统,用于包含多个化学工作站点的化学实验场景进行化学实验操作,包括:
若干定位标签、移动机器人和至少一台相机;其中,
每个定位标签对应设置在一个化学工作站点上;
所述相机,设置在所述移动机器人的操作臂上,能拍摄采集各化学工作站点的定位标签的彩色图和深度图;
所述移动机器人,与所述相机通信连接,能在接收到控制指令中的初始化指令后,移动到所操作的当前化学工作站点的操作位置,利用设置的所述相机采集确定当前化学工作站点相对所述移动机器人基座的二次定位位姿,并根据二次定位位姿进行二次定位后采集得出当前化学工作站点的精确标签位姿,所述控制指令为预先根据化学实验的实际操作过程确定各化学工作站点的操作流程,依据各化学工作站点的操作流程设定的控制所述系统的移动机器人的控制指令,所述控制指令包括:初始化指令和操作指令;以及根据当前化学工作站点的精确标签位姿和预先采集得到的各化学工作站点的相对标签结构化信息,计算得出当前化学工作站点相对所述移动机器人基座的结构化信息;以及在接收到所述控制指令中的操作指令后,所述移动机器人利用得出的当前化学工作站点相对所述移动机器人基座的结构化信息规划出对当前化学工作站点操作的轨迹,根据规划的轨迹执行当前化学工作站点对应的化学实验操作,直到完成当前化学工作站点的化学实验操作。
本发明实施方式提供一种移动机器人化学实验操作方法,采用本发明所述的移动机器人化学实验操作系统,预先根据化学实验的实际操作过程确定各化学工作站点的操作流程,依据各化学工作站点的操作流程设定的控制所述系统的移动机器人的控制指令,所述控制指令包括:初始化指令和操作指令;包括以下步骤:
步骤1,在接收到所述控制指令中的初始化指令后,所述移动机器人移动到所操作的当前化学工作站点的操作位置,利用该移动机器人上设置的相机采集确定当前化学工作站点相对所述移动机器人基座的二次定位位姿,该移动机器人根据二次定位位姿进行二次定位后采集得出当前化学工作站点的精确标签位姿;
步骤2,所述移动机器人根据当前化学工作站点的精确标签位姿和预先采集得到的各化学工作站点的相对标签结构化信息,计算得出当前化学工作站点相对所述移动机器人基座的结构化信息;
步骤3,在接收到所述控制指令中的操作指令后,所述移动机器人利用得出的当前化学工作站点相对所述移动机器人基座的结构化信息规划出对当前化学工作站点操作的轨迹:
步骤4,所述移动机器人根据规划的轨迹执行当前化学工作站点对应的化学实验操作,直到完成当前化学工作站点的化学实验操作。
与现有技术相比,本发明所提供的机器人化学实验操作系统及方法,其有益效果包括:
该移动机器人化学实验操作系统及方法,能在不需要额外设备情况下,只需要相机和移动机器人(操作臂)就能够构建化学实验场景的局部信息,对物体进行高精度位姿定位,并进行复杂的操作臂运动规划和轨迹平滑,从而实现对多种不同化学仪器的灵巧操作完成化学实验;由于化学实验站点内部结构固定不变,因此化学实验站点的移动不会使得该站点相对标签的结构化信息失效,具有一定的灵活性和扩展性;定位精度高,由于定位精度只与多次定位稳定性有关,故定位误差能够达到微米级;定位速度快,只需拍摄两次图像即可;节省定位空间。可以直接粘贴在化学工作站点上,周围不需要额外的空间;面对复杂环境时鲁棒性强,由于是人工设定路径点并指定规划空间,不会出现和周围环境发生碰撞的情况,轨迹形状不会发生大幅变化,稳定性和安全性好;经过多个路径点的速度连续,不会出现停顿现象,操作效率高。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他附图。
图1为本发明实施例提供的移动机器人化学实验操作系统的构成示意图。
图2为本发明实施例提供的移动机器人化学实验操作方法的流程示意图。
图3为本发明实施例提供的移动机器人化学实验操作方法的具体操作流程图。
图4为本发明实施例提供的移动机器人化学实验操作方法的轨迹规划示意图。
图1中各标记为:10-移动机器人;20-相机;30-定位标签;40-化学工作站点;B表示移动机器人的基座坐标系;C表示相机坐标系;W表示世界坐标系;M表示定位标签坐标系;G表示化学工作站点坐标系。
具体实施方式
下面结合本发明的具体内容,对本发明实施例中的技术方案进行清楚、完整地描述;显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例,这并不构成对本发明的限制。基于本发明的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明的保护范围。
首先对本文中可能使用的术语进行如下说明:
术语“和/或”是表示两者任一或两者同时均可实现,例如,X和/或Y表示既包括“X”或“Y”的情况也包括“X和Y”的三种情况。
术语“包括”、“包含”、“含有”、“具有”或其它类似语义的描述,应被解释为非排它性的包括。例如:包括某技术特征要素(如原料、组分、成分、载体、剂型、材料、尺寸、零件、部件、机构、装置、步骤、工序、方法、反应条件、加工条件、参数、算法、信号、数据、产品或制品等),应被解释为不仅包括明确列出的某技术特征要素,还可以包括未明确列出的本领域公知的其它技术特征要素。
术语“由……组成”表示排除任何未明确列出的技术特征要素。若将该术语用于权利要求中,则该术语将使权利要求成为封闭式,使其不包含除明确列出的技术特征要素以外的技术特征要素,但与其相关的常规杂质除外。如果该术语只是出现在权利要求的某子句中,那么其仅限定在该子句中明确列出的要素,其他子句中所记载的要素并不被排除在整体权利要求之外。
除另有明确的规定或限定外,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如:可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本文中的具体含义。
术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述和简化描述,而不是明示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本文的限制。
下面对本发明所提供的移动机器人化学实验操作系统及方法进行详细描述。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。本发明实施例中未注明具体条件者,按照本领域常规条件或制造商建议的条件进行。本发明实施例中所用试剂或仪器未注明生产厂商者,均为可以通过市售购买获得的常规产品。
如图1所示,本发明实施例提供一种移动机器人化学实验操作系统,用于包含多个化学工作站点的化学实验场景进行化学实验操作,包括:
若干定位标签、移动机器人和至少一台相机;其中,
每个定位标签对应设置在一个化学工作站点上;
所述相机,设置在所述移动机器人的操作臂上,能拍摄采集各化学工作站点的定位标签的彩色图和深度图;
所述移动机器人,与所述相机通信连接,能在接收到控制指令中的初始化指令后,移动到所操作的当前化学工作站点的操作位置,利用设置的所述相机采集确定当前化学工作站点相对所述移动机器人基座的二次定位位姿,并根据二次定位位姿进行二次定位后采集得出当前化学工作站点的精确标签位姿,所述控制指令为预先根据化学实验的实际操作过程确定各化学工作站点的操作流程,依据各化学工作站点的操作流程设定的控制所述系统的移动机器人的控制指令,所述控制指令包括:初始化指令和操作指令;以及根据当前化学工作站点的精确标签位姿和预先采集得到的各化学工作站点的相对标签结构化信息,计算得出当前化学工作站点相对所述移动机器人基座的结构化信息;以及在接收到所述控制指令中的操作指令后,所述移动机器人利用得出的当前化学工作站点相对所述移动机器人基座的结构化信息规划出对当前化学工作站点操作的轨迹,根据规划的轨迹执行当前化学工作站点对应的化学实验操作,直到完成当前化学工作站点的化学实验操作。
进一步的,在预先根据各化学工作站点的操作流程设定控制指令时,预先根据化学工作站点的操作流程设定操作流程信息,操作流程信息包括:操作流程步骤数量、每段轨迹的规划方法、速度、加速度和平滑过渡段最大允许半径的比例因子。
上述系统中,所述移动机器人采用多自由度操作臂。
上述系统中,所述移动机器人在接收到所述控制指令中的初始化指令并移动到所操作的当前化学工作站点的操作位置后,按以下方式利用设置的所述相机采集确定当前化学工作站点相对所述移动机器人基座的二次定位位姿,并根据二次定位位姿进行二次定位后采集得出当前化学工作站点的精确标签位姿,包括:
步骤11,利用该移动机器人上设置的相机拍摄采集当前化学工作站点包含定位标签的彩色图和深度图,在彩色图中检测定位标签,并根据深度图得到定位标签相对相机的初步标签位姿,即为当前化学工作站点的初步标签位姿;
步骤12,根据所述相机的相机坐标系和所述移动机器人的基座坐标系的转换关系,将所述初步标签位姿转换至所述移动机器人的基座坐标系,得到定位标签相对所述移动机器人基座的初步标签位姿;
步骤13,利用得到的相对所述移动机器人的基座的初步标签位姿和预先采集的各化学工作站点的相对标签结构化信息中当前化学工作站点相对标签的定位位姿,计算得出当前化学工作站点相对所述移动机器人基座的二次定位位姿,该二次定位位姿计算公式为:相对基座的二次定位位姿 = 相对基座的初步标签位姿×相对标签的定位位姿;
步骤14,所述移动机器人使操作臂自主移动到得出的当前化学工作站点相对该移动机器人基座的二次定位位姿实现二次定位,二次定位后通过该移动机器人上设置的相机再次采集当前化学工作站点包含定位标签的彩色图和深度图,并在彩色图中检测定位标签,根据深度图得到当前化学工作站点的定位标签相对所述移动机器人基座的精准标签位姿。
所述移动机器人按以下方式根据当前化学工作站点的精准标签位姿和预先采集得到的各化学工作站点的相对标签结构化信息,计算得出当前化学工作站点相对所述移动机器人基座的结构化信息,包括:
所述移动机器人根据得出的当前化学工作站点相对所述移动机器人基座的精准标签位姿和预先采集的相对标签结构化信息中的n个相对标签的操作位姿,通过相对所述移动机器人基座的精准标签位姿×相对标签结构化信息中的第i个相对标签的操作位姿计算得出n个相对所述移动机器人基座的操作位姿,由得出的n个相对所述移动机器人基座的操作位姿组成当前化学工作站点相对所述移动机器人基座的结构化信息。
所述移动机器人按以下方式利用得出的当前化学工作站点相对所述移动机器人基座的结构化信息规划出对当前化学工作站点操作的轨迹,包括:
步骤31,从根据当前化学工作站点的操作流程预先设定的操作流程信息中,选择操作流程步骤、每段轨迹的规划方法、速度、加速度和平滑过渡段最大允许半径的比例因子,并在当前化学工作站点相对所述移动机器人基座的结构化信息中选择与操作流程步骤数量相对应的k个相对该移动机器人基座的操作位姿作为路径点;
步骤32,计算操作臂当前末端位姿和第1个路径点的直线距离,若该距离大于预设距离或当前肩部、肘部1,2关节的关节角和第1个路径点的目标关节角度差值总和大于预设角度,则在第1个路径点前插入预先记录在相对标签结构化信息中的当前化学工作站点的过渡关节角;
步骤34,在所有个路径点中,依次选择第j-1、j、j+1共3个路径点,i=1,2,…,k-1,分别计算第j-1与第j个路径点的直线距离,第j个路径点与第j+1个路径点的直线距离,选择两个直线距离中的较小值作为第j-1段轨迹和第j段轨迹的平滑过渡段最大允许半径,得到k-2个平滑过渡段最大允许半径;
步骤35,从步骤33得到的k-1段轨迹中,依次选择第m、m+1,m=1,2,…,k-1,段轨迹,并根据步骤34得到的第m个平滑过渡段最大允许半径和操作流程信息中的平滑过渡段最大允许半径的比例因子,在第m、m+1段轨迹中计算并插入平滑过渡段轨迹,得到最终轨迹。
上述的移动机器人按以下方式预先采集得到各化学工作站点的相对标签结构化信息,包括:
以移动到各化学工作站点处的方式进行采集,根据该移动机器人上设置的相机采集的各化学工作站点的定位标签的彩色图和深度图、所述相机的相机坐标系和所述系统的移动机器人的基座坐标系得出各化学工作站点相对所述移动机器人的基座的精准标签位姿,根据每个化学工作站点的标签位姿构建相对化学工作站点自身定位标签的标签结构化信息。
具体的,移动机器人按以下方式根据采集的各化学工作站点的定位标签的彩色图和深度图、所述相机的相机坐标系和所系统的移动机器人的基座坐标系得出各化学工作站点相对所述移动机器人基座的精准标签位姿,包括:
步骤21,待所述移动机器人移动到所采集的当前化学工作站点后,通过该移动机器人上设置的相机采集当前化学工作站点包含定位标签的彩色图和深度图,在彩色图中检测定位标签,并根据深度图得出定位标签相对所述相机的标签位姿;
按以下方式根据每个化学工作站点的标签位姿构建相对化学工作站点自身定位标签的标签结构化信息,包括:
步骤23,将所述移动机器人的操作臂人工拖拽到使当前化学工作站点的定位标签处于相机采集图像的中心部位,向所述移动机器人输入对当前化学工作站点的唯一命名,所述移动机器人记录该移动机器人的操作臂末端相对该移动机器人的基座的定位位姿;
步骤24,根据公式计算得出所述移动机器人的操作臂末端相对定位标签的定位位姿,并以当前化学工作站点的唯一命名:定位位姿:所述移动机器人的操作臂末端相对定位标签的定位位姿的形式保存在相对标签结构化信息中;
步骤25,将所述移动机器人的操作臂人工拖拽到当前化学工作站点操作流程中的第i个操作位姿,向所述移动机器人输入对该第i个操作位姿的唯一命名,记录所述移动机器人的操作臂末端相对所述移动机器人的基座的第i个操作位姿,n为当前化学工作站点完成全部操作流程所需的操作位姿数量;
步骤26,根据公式,计算得出所述移动机器人的操作臂末端相对定位标签的第i个操作位姿,并以该第i个操作位姿的唯一命名:第i个操作位姿:计算得到的所述移动机器人的操作臂末端相对定位标签的第i个操作位姿的形式记录在所述相对标签结构化信息中;优选的,该第i个操作位姿的唯一命名可采用该化学工作站点名称,或采用该化学工作站点名称+该第i个操作位姿的命名方式,只要保证该第i个操作位姿的命名唯一即可;
步骤27,重复上述步骤25和步骤26,直到将当前化学工作站点全部操作流程所需的n个操作位姿记录完毕;
步骤28,将所述移动机器人的操作臂人工拖拽到当前化学工作站点操作流程的第1个操作位姿,向所述移动机器人输入对该第1个操作位姿的唯一命名,并以该第1个操作位姿的唯一命名:过渡关节角:操作臂在该第1个操作位姿处的关节角的形式记录在所述相对标签结构化信息中,记录完成后即得到完整的相对标签结构化信息。
可以知道,上述的移动机器人可包括:机器人操作机构(如,可以是操作臂部分)与处理装置(可以是计算机、处理器),两者通信连接,通过处理装置运行对应的程序来实现控制机器人操作机构,来上述化学实验操作。
如图2、3所示,本发明实施例还提供一种移动机器人化学实验操作方法,采用上述的移动机器人化学实验操作系统,预先根据化学实验的实际操作过程确定各化学工作站点的操作流程,依据各化学工作站点的操作流程设定的控制所述系统的移动机器人的控制指令,所述控制指令包括:初始化指令和操作指令;包括以下步骤:
步骤1,在接收到所述控制指令中的初始化指令后,所述移动机器人移动到所操作的当前化学工作站点的操作位置,利用该移动机器人上设置的相机采集确定当前化学工作站点相对所述移动机器人基座的二次定位位姿,该移动机器人根据二次定位位姿进行二次定位后采集得出当前化学工作站点的精确标签位姿;
步骤2,所述移动机器人根据当前化学工作站点的精确标签位姿和预先采集得到的各化学工作站点的相对标签结构化信息,计算得出当前化学工作站点相对所述移动机器人基座的结构化信息;
步骤3,在接收到所述控制指令中的操作指令后,所述移动机器人利用得出的当前化学工作站点相对所述移动机器人基座的结构化信息规划出对当前化学工作站点操作的轨迹:
步骤4,所述移动机器人根据规划的轨迹执行当前化学工作站点对应的化学实验操作,直到完成当前化学工作站点的化学实验操作;
步骤5,判断是否完成所有化学工作站点的对应化学实验操作,若否,则重复上述步骤1-4完成下一化学工作站点的对应化学实验操作,若是,则结束所有化学工作站点对应的化学实验操作。
进一步的,上述方法中,在预先根据各化学工作站点的操作流程设定控制指令时,预先根据化学工作站点的操作流程设定操作流程信息,操作流程信息包括:操作流程步骤数量、每段轨迹的规划方法、速度、加速度和平滑过渡段最大允许半径的比例因子。
上述方法的步骤1中,按以下方式利用该移动机器人上设置的相机采集确定当前化学工作站点相对所述移动机器人基座的二次定位位姿,并将操作臂自主移动到该二次定位位姿,采集得出当前化学工作站点的精确标签位姿,包括:
步骤11,利用该移动机器人上设置的相机拍摄采集当前化学工作站点包含定位标签的彩色图和深度图,在彩色图中检测定位标签,并根据深度图得到定位标签相对相机的初步标签位姿,即为当前化学工作站点的初步标签位姿;
步骤12,根据所述相机的相机坐标系和所述移动机器人的基座坐标系的转换关系,将所述初步标签位姿转换至所述移动机器人的基座坐标系,得到定位标签相对所述移动机器人基座的初步标签位姿;
步骤13,利用得到的相对所述移动机器人的基座的初步标签位姿和预先采集的各化学工作站点的相对标签结构化信息中当前化学工作站点相对所述移动机器人基座的定位位姿,计算得出当前化学工作站点相对所述移动机器人基座的二次定位位姿,计算公式为:相对基座的二次定位位姿 = 相对基座的初步标签位姿×相对标签的定位位姿;
步骤14,所述移动机器人使操作臂自主移动到得出的当前化学工作站点相对该移动机器人基座的二次定位位姿实现二次定位,二次定位后通过该移动机器人上设置的相机再次采集当前化学工作站点包含定位标签的彩色图和深度图,并在彩色图中检测定位标签,根据深度图得到当前化学工作站点的定位标签相对所述移动机器人基座的精准标签位姿。
上述方法中,按以下方式预先采集得到各化学工作站点的相对标签结构化信息,包括:
以所述移动机器人移动到各化学工作站点处的方式进行采集,根据所述移动机器人上设置的相机采集的各化学工作站点的定位标签的彩色图和深度图、所述相机的相机坐标系和所述系统的移动机器人的基座坐标系得出各化学工作站点相对所述移动机器人的基座的精准标签位姿,根据每个化学工作站点的标签位姿构建相对化学工作站点自身定位标签的标签结构化信息。
上述方法中,按以下方式根据采集的各化学工作站点的定位标签的彩色图和深度图、所述相机的相机坐标系和所系统的移动机器人的基座坐标系得出各化学工作站点相对所述移动机器人基座的精准标签位姿,包括:
步骤21,待所述移动机器人移动到所采集的当前化学工作站点后,通过该移动机器人上设置的相机采集当前化学工作站点包含定位标签的彩色图和深度图,在彩色图中检测定位标签,并根据深度图得出定位标签相对所述相机的标签位姿;
按以下方式根据每个化学工作站点的标签位姿构建相对化学工作站点自身定位标签的标签结构化信息,包括:
步骤23,将所述移动机器人的操作臂人工拖拽到使当前化学工作站点的定位标签处于相机采集图像的中心部位,向所述移动机器人输入当前化学工作站点的名称,所述移动机器人记录该移动机器人的操作臂末端相对该移动机器人的基座的定位位姿;
步骤25,将所述移动机器人的操作臂人工拖拽到当前化学工作站点操作流程中的第i个操作位姿,向所述移动机器人输入对该第i个操作位姿的唯一命名,记录所述移动机器人的操作臂末端相对所述移动机器人的基座的第i个操作位姿,n为当前化学工作站点完成全部操作流程所需的操作位姿数量;
步骤26,根据公式,计算得出所述移动机器人的操作臂末端相对定位标签的第i个操作位姿,并以该第i个操作位姿的唯一命名:第i个操作位姿:计算得到的所述移动机器人的操作臂末端相对定位标签的第i个操作位姿的形式记录在所述标签结构化信息中;
步骤27,重复上述步骤25和步骤26,直到将当前化学工作站点全部操作流程所需的n个操作位姿都记录至所述相对标签结构化信息中;
步骤28,将所述移动机器人的操作臂人工拖拽到当前化学工作站点操作流程的第1个操作位姿,向所述移动机器人输入对该第1个操作位姿的唯一命名,并以该第1个操作位姿的唯一命名:过渡关节角:操作臂在该第1个操作位姿处的关节角的形式记录在所述相对标签结构化信息中,记录完成后即得到完整的相对标签结构化信息。
上述方法的步骤2中,所述移动机器人按以下方式根据当前化学工作站点的精确标签位姿和预先采集得到的各化学工作站点的相对标签结构化信息,计算得出当前化学工作站点相对所述移动机器人基座的结构化信息,包括:
所述移动机器人根据得出的当前化学工作站点相对所述移动机器人基座的精准标签位姿和预先采集的相对标签结构化信息中的n个相对标签的操作位姿,通过相对所述移动机器人基座的精准标签位姿×相对标签结构化信息中的第i个相对标签的操作位姿计算得出当前化学工作站点相对所述移动机器人基座的结构化信息中的n个相对所述移动机器人基座的操作位姿。
上述方法的步骤3中,所述移动机器人按以下方式利用得出的当前化学工作站点相对所述移动机器人基座的结构化信息规划出对当前化学工作站点操作的轨迹,包括:
步骤31,从预先设定的操作流程信息中,选择操作流程步骤数量、每段轨迹的规划方法、速度、加速度和平滑过渡段最大允许半径的比例因子,从相对机械臂基座的结构化信息中选择与操作流程步骤数量相对应的k个相对所述操作臂基座的操作位姿作为路径点;
步骤32,计算操作臂当前末端位姿和第1个路径点的直线距离,若该距离大于预设距离或当前肩部、肘部1,2关节的关节角和第1个路径点的目标关节角度差值总和大于预设角度,则在第1个路径点前插入预先记录在相对标签结构化信息中的记录的当前化学工作站点的过渡关节角;
步骤33,在所有k个路径点中,依次选择第i个路径点作为起始位姿,i=1,2,…,k-1,第i+1个路径点作为目标位姿,根据操作流程信息中规划方法、速度和加速度进行轨迹规划,得到k-1段轨迹;
步骤34,在所有k个路径点中,依次选择第j-1、j、j+1共3个路径点,j=1,2,…,k-1,分别计算第j-1与第j个路径点的直线距离,第j个路径点与第j+1个路径点的直线距离,选择两个直线距离中的较小值作为第j-1段轨迹和第j段轨迹的平滑过渡段最大允许半径,得到k-2个平滑过渡段最大允许半径;
步骤35,从步骤33得到的k-1段轨迹中,依次选择第m、m+1,m=1,2,…,k-1段轨迹,并根据步骤34得到的第m个平滑过渡段最大允许半径和操作流程信息中的平滑过渡段最大允许半径的比例因子,在第m、m+1段轨迹中计算并插入平滑过渡段轨迹,得到最终轨迹。该最终轨迹是具有平滑过渡段的关节空间与笛卡尔空间混合轨迹,轨迹形式如图4所示。
上述的步骤35中,按以下方式在第m、m+1段轨迹中计算并插入平滑过渡段,包括:
将步骤34得到的第m个平滑过渡段最大允许半径和步骤31设定的平滑过渡段最大允许半径的比例因子相乘得到第m个平滑过渡段的实际半径,以第m+1个路径点为圆心,以实际半径为半径得到混合球,分别计算出第m、m+1条轨迹与混合球的交点,并计算出在平滑过渡段轨迹上从交点运动到第m+1个路径点的时间和在第m+1段轨迹上从第m+1个路径点运动到交点的时间;
进一步的,上述方法,还包括在移动机器人执行化学实验操作任务过程中,进行反馈执行状态,具体包括:
步骤41,所述移动机器人按规划完成的最终轨迹进行执行完成对应的化学实验操作,同时实时检测执行状态,所检测的执行状态包括:是否正常抓取物体、移动过程中物体是否掉落和移动过程中是否发生碰撞;
步骤42,根据实时检测的执行状态,若确认在执行过程中出现异常,系统针对异常情况尝试自动恢复并反馈异常代码;如果正常执行完成则反馈完成代码。
综上可见,本发明实施例的移动机器人化学实验操作系统及方法,能在不需要额外设备情况下,只需要相机和移动机器人(操作臂)就能够构建化学实验场景的局部信息,对物体进行高精度位姿定位,并进行复杂的操作臂运动规划和轨迹平滑,从而实现对多种不同化学仪器的灵巧操作完成化学实验;由于化学实验站点内部结构固定不变,因此化学实验站点的移动不会使得该站点相对标签的结构化信息失效,具有一定的灵活性和扩展性;定位精度高,由于定位精度只与多次定位稳定性有关,故定位误差能够达到微米级;定位速度快,只需拍摄两次图像即可;节省定位空间。可以直接粘贴在化学工作站点上,周围不需要额外的空间;面对复杂环境时鲁棒性强,由于是人工设定路径点并指定规划空间,不会出现和周围环境发生碰撞的情况,轨迹形状不会发生大幅变化,稳定性和安全性好;经过多个路径点的速度连续,不会出现停顿现象,操作效率高。
为了更加清晰地展现出本发明所提供的技术方案及所产生的技术效果,下面以具体实施例对本发明实施例所提供的移动机器人化学实验操作系统及方法进行详细描述。
实施例1
如图1所示,本实施例提供一种移动机器人化学实验操作系统,用于含有一个或多个化学工作站点的化学实验场景中,各化学工作站点40上设有化学仪器和进行化学实验的操作物,包括:
作为移动机器人10的多自由度操作臂(为描述方便,后简称操作臂),该多自由度操作臂底部设有移动底盘,即基座;
相机20,设置在操作臂上;
多个定位标签30,在每个化学工作站点上设置一个定位标签;
操作臂,其控制系统与相机通信连接,能根据相机采集的包含定位标签的彩色图和深度图,确定的位姿与规划的轨迹,控制操作臂进行化学实验操作。
利用上述的操作系统进行化学实验的操作方法,需要预先得出以下数据,以实现机械臂的准确控制,包括:
(1)需要预先采集构建各化学工作站点的相对标签结构化信息,包括:
将机械臂移动到各化学工作站点处的方式进行采集,根据机械臂上设置的相机采集的各化学工作站点的定位标签的彩色图和深度图、相机的相机坐标系和机械臂的基座坐标系得出各化学工作站点相对机械臂的基座的精准标签位姿,根据每个化学工作站点的标签位姿构建相对化学工作站点自身定位标签的标签结构化信息。
具体的,按以下方式根据采集的各化学工作站点的定位标签的彩色图和深度图、所述相机的相机坐标系和所系统的移动机器人的基座坐标系得出各化学工作站点相对所述移动机器人基座的精准标签位姿,包括:
步骤21,待所述移动机器人移动到所采集的当前化学工作站点后,通过该移动机器人上设置的相机采集当前化学工作站点包含定位标签的彩色图和深度图,在彩色图中检测定位标签,并根据深度图得出定位标签相对所述相机的标签位姿;
按以下方式根据每个化学工作站点的标签位姿构建相对化学工作站点自身定位标签的标签结构化信息,包括:
步骤23,将所述移动机器人的操作臂人工拖拽到使当前化学工作站点的定位标签处于相机采集图像的中心部位,向所述移动机器人输入当前化学工作站点的唯一命名,所述移动机器人记录该移动机器人的操作臂末端相对该移动机器人的基座的定位位姿;
步骤24,根据公式计算得出所述移动机器人的操作臂末端相对定位标签的定位位姿,并以当前化学工作站点的唯一命名:定位位姿:所述移动机器人的操作臂末端相对定位标签的定位位姿的形式保存在相对标签结构化信息中;
步骤25,将所述移动机器人的操作臂人工拖拽到当前化学工作站点操作流程中的第i个操作位姿,向所述移动机器人输入对该第i个操作位姿的唯一命名,记录所述移动机器人的操作臂末端相对所述移动机器人的基座的第i个操作位姿,n为当前化学工作站点完成全部操作流程所需的操作位姿数量;
步骤26,根据公式,计算得出所述移动机器人的操作臂末端相对定位标签的第i个操作位姿,并以该化学工作站点的唯一命名:第i个操作位姿:计算得到的所述移动机器人的操作臂末端相对定位标签的第i个操作位姿的形式记录在所述相对标签结构化信息中;
步骤27,重复上述步骤25和步骤26,直到将当前化学工作站点全部操作流程所需的n个操作位姿记录完毕;
步骤28,将所述移动机器人的操作臂人工拖拽到当前化学工作站点操作流程的第1个操作位姿(由于实际人工拖拽中存在误差,只要拖拽得到的操作位姿与对应的操作位姿差别在允许的误差范围内即可),向所述移动机器人输入对该第1个操作位姿的唯一命名,并以该第1个操作位姿的唯一命名:过渡关节角:操作臂在该第1个操作位姿处的关节角的形式记录在所述相对标签结构化信息中,记录完成后即得到完整的相对标签结构化信息。
由于化学工作站点内部结构不会发生改变,因此也就保证了是恒定的,即该相对标签的结构化信息可以供操作过程中使用;重复采用步骤1、2,可以完成各个化学工作站点结构化信息的采集构建,且每个站点之间相互独立互不影响,移动或增删个别化学工作站点都不会影响其他工作站结构化信息的有效性,说明该方法扩展性强,灵活性高。
(2)为了准确按化学实验流程控制机械臂,预先根据化学实验的实际操作过程确定各化学工作站点的操作流程,依据各化学工作站点的操作流程设定的控制所述系统的移动机器人的控制指令,所述控制指令包括:初始化指令和操作指令。
实施例2
参见图2、3,通过上述实施例1系统的机械臂进行化学实验操作的过程如下:
步骤1,在接收到控制指令中的初始化指令后,机械臂移动到所操作的当前化学工作站点的操作位置,利用该机械臂上设置的相机采集确定当前化学工作站点相对所述机械臂基座的二次定位位姿,该机械臂根据二次定位位姿进行二次定位后采集得出当前化学工作站点的精确标签位姿;
步骤2,机械臂根据当前化学工作站点的精确标签位姿和预先采集得到的各化学工作站点的相对标签结构化信息,计算得出当前化学工作站点相对所述机械臂基座的结构化信息;
步骤3,在接收到控制指令中的操作指令后,机械臂利用得出的当前化学工作站点相对机械臂基座的结构化信息规划出对当前化学工作站点操作的轨迹:
步骤4,机械臂根据规划的轨迹执行当前化学工作站点对应的化学实验操作,直到完成当前化学工作站点的化学实验操作;
步骤5,判断是否完成所有化学工作站点的对应化学实验操作,若否,则重复上述步骤1-4完成下一化学工作站点的对应化学实验操作,若是,则结束所有化学工作站点对应的化学实验操作。
上述步骤1中,按以下方式利用机械臂上设置的相机采集确定当前化学工作站点相对所述机械臂基座的二次定位位姿,该操作臂自主移动到该二次定位位姿,采集得出当前化学工作站点的精确标签位姿,包括:
步骤11,利用该机械臂上设置的相机拍摄采集当前化学工作站点包含定位标签的彩色图和深度图,在彩色图中检测定位标签,并根据深度图得到定位标签相对相机的初步标签位姿,即为当前化学工作站点的初步标签位姿;
步骤12,根据相机的相机坐标系和所述机械臂的基座坐标系的转换关系,将初步标签位姿转换至机械臂的基座坐标系,得到定位标签相对机械臂基座的初步标签位姿;
步骤13,利用得到的相对机械臂的基座的初步标签位姿和预先采集的各化学工作站点的相对标签结构化信息中当前化学工作站点相对机械臂基座的定位位姿,计算得出当前化学工作站点相对所述机械臂基座的二次定位位姿,该二次定位位姿计算公式为:相对基座的二次定位位姿 = 相对基座的初步标签位姿×相对标签的定位位姿;
步骤14,操作臂自主移动到得出的当前化学工作站点相对该机械臂基座的二次定位位姿实现二次定位,二次定位后通过该机械臂上设置的相机再次采集当前化学工作站点包含定位标签的彩色图和深度图,并在彩色图中检测定位标签,根据深度图得到当前化学工作站点的定位标签相对所述机械臂基座的精准标签位姿。
上述的二次重定位方法能消除移动底盘的定位误差,同时满足定位速度快,并考虑了移动机器人的工作环境狭小,化学工作站点密集等环境特点。该方法采用ArUco标签进行定位,并对重复定位稳定性进行了改进。经测试发现ArUco标签的重复定位稳定性可以达到1mm,但仍不能够满足实验要求。为此,本发明对影响标签重复定位稳定性的因素进行了大量测试,发现重复定位稳定性受到拍摄位置和角度的影响较大,如果每次进行拍摄时能够保证相机相对标签的位置和角度基本不变,将极大的提高重复定位稳定性。在记录结构化信息的同时也记录相机相对于ArUco标签的相对位姿。当移动机器人移动到达操作站点后,先对ArUco标签进行拍摄,得到一个初步的标签位姿,根据该粗略的标签位姿和之前记录的操作臂末端相对ArUco标签的定位位姿,可以计算得到一个和构建结构化信息时操作臂末端和ArUco标签相对位姿误差为毫米级的二次定位位姿;将相机移动到二次定位位姿,再次拍摄ArUco标签,就能够保证每次进行拍摄时相机的位置和角度基本不变。经过实验验证,这种二次定位的方法可以满足移动机器人的定位精度要求。另外在测试中发现检测出的定位标签位姿存在Z轴抖动的问题。针对这个问题,考虑到所有ArUco标签都是固定在化学实验站点台面上,而台面与操作臂基坐标系的X-Y平面平行,因此利用操作臂的Z轴指向替代了标签的Z轴指向,解决了标签检测的Z轴抖动,稳定性差的问题。
上述步骤2中,机械臂按以下方式根据当前化学工作站点的精确标签位姿和预先采集得到的各化学工作站点的相对标签结构化信息,计算得出当前化学工作站点相对所述机械臂基座的结构化信息,包括:
机械臂根据得出的当前化学工作站点相对所述机械臂基座的精准标签位姿和预先采集的相对标签结构化信息中的n个相对标签的操作位姿,通过相对所述机械臂基座的精准标签位姿×相对标签结构化信息中的第i个相对标签的操作位姿计算得出n个相对所述机械臂基座的操作位姿,由得出的n个操作位姿组成当前化学工作站点相对机械臂基座的结构化信息。
上述化学工作站点结构化信息的采集构建过程,不需要固定的全局坐标系,只需要针对每一化学工作站点建立局部的世界坐标系,将该化学工作站点的所有指定位姿都在该局部世界坐标系下进行表示。在移动机器人的工作环境中,定义局部世界坐标系与标签坐标系重合。由于移动机器人在到达化学工作站点后的操作过程中是不会发生移动的,因此就保证了该局部世界坐标系相对其他位姿的不变性。此外,可以证明该局部世界坐标系完全可以替代全局世界坐标系的作用,如图2所示:定义全局世界坐标系W到基坐标系B的变换矩阵为,同理可以定位基坐标系到末端坐标系E的变换矩阵为,末端坐标系E到工具坐标系T变换矩阵为,其余变换矩阵类似。那么全局世界坐标系W到操作臂工具坐标系T的变换为:;
全局世界坐标系W到指定位姿坐标系G的变换为:
在操作时,需要令操作臂的工具坐标系和指定位姿重合,即
由此可得,
另一方面,易得:
则可以表示为,
通过上述推导出的上式可以看出,不需要全局世界坐标系W,只需要在标签坐标系M下表示指定位姿即可。此外还证明了结构化信息构建精度与绝对定位精度无关,只与定位稳定性有关,即多次定位位姿保持稳定,误差在允许范围内就可以满足精度要求。
上述步骤3中,机械臂按以下方式利用得出的当前化学工作站点相对机械臂基座的结构化信息规划出对当前化学工作站点操作的轨迹,包括:
步骤31,从预先设定的操作流程信息中,选择操作流程步骤数量、每段轨迹的规划方法、速度、加速度和平滑过渡段最大允许半径的比例因子,从相对机械臂基座的结构化信息中选择与操作流程步骤数量相对应的k个相对所述操作臂基座的操作位姿作为路径点;
上述的预先设定的操作流程信息是根据当前化学工作站点的操作流程预先确定并记录的信息,该信息中包括:操作流程步骤数量、每段轨迹的规划方法、速度、加速度和平滑过渡段最大允许半径的比例因子;
步骤32,计算操作臂当前末端位姿和第1个路径点的直线距离,若该距离大于预设距离或当前肩部、肘部1,2关节的关节角和第1个路径点的目标关节角度差值总和大于预设角度,则在第1个路径点前插入预先记录在相对标签结构化信息中的当前化学工作站点的过渡关节角;
步骤33,在所有k个路径点中,依次选择第i个路径点作为起始位姿,i=1,2,…,k-1,第i+1个路径点作为目标位姿,根据操作流程信息中的规划方法、速度和加速度进行轨迹规划,得到k-1段轨迹;
步骤34,在所有k个路径点中,依次选择第j-1、j、j+1共3个路径点,j=1,2,…,k-1,分别计算第j-1与第j个路径点的直线距离,第j个路径点与第j+1个路径点的直线距离,选择两个直线距离中的较小值作为第j-1段轨迹和第j段轨迹的平滑过渡段最大允许半径,得到k-2个平滑过渡段最大允许半径;
步骤35,从步骤33得到的k-1段轨迹中,依次选择第m、m+1,m=1,2,…,k-1段轨迹,并根据步骤34得到的第m个平滑过渡段最大允许半径和操作流程信息中的平滑过渡段最大允许半径的比例因子,在第m、m+1段轨迹中计算并插入平滑过渡段轨迹,得到最终轨迹。该最终轨迹是具有平滑过渡段的关节空间与笛卡尔空间混合轨迹(参见图4)。
上述的步骤35中,按以下方式在第m、m+1段轨迹中计算并插入平滑过渡段,包括:
将步骤34得到的第m个平滑过渡段最大允许半径和步骤31设定的平滑过渡段最大允许半径的比例因子相乘得到第m个平滑过渡段的实际半径,以第m+1个路径点为圆心,以实际半径为半径得到混合球,分别计算出第m、m+1条轨迹与混合球的交点,并计算出在平滑过渡段轨迹上从交点运动到第m+1个路径点的时间和在第m+1段轨迹上从第m+1个路径点运动到交点的时间;
进一步的,上述方法,还包括在机械臂执行化学实验操作任务过程中,进行反馈执行状态,具体包括:
步骤41,所述机械臂按规划完成的最终轨迹进行执行完成对应的化学实验操作,同时实时检测执行状态,所检测的执行状态包括:是否正常抓取物体、移动过程中物体是否掉落和移动过程中是否发生碰撞;
步骤42,根据实时检测的执行状态,若确认在执行过程中出现异常,系统针对异常情况尝试自动恢复并反馈异常代码;如果正常执行完成则反馈完成代码。
进一步的,上述方法步骤4还包括反馈执行状态:
步骤41:移动机器人对规划完成的最终轨迹进行执行,同时实时检测执行状态,包括是否正常抓取物体,移动过程中物体是否掉落,移动过程中是否发生碰撞等;
步骤42:如果在执行过程中出现异常,系统针对异常情况尝试自动恢复并反馈异常代码;如果正常执行完成则反馈完成代码。
这步处理是考虑到化学工作站点的仪器较为贵重,且对化学反应过程和结果的严格要求。操作臂在操作化学工作站点的过程中会实时检测多种异常情况,并及时进行反馈。异常情况包括:抓取失败,说明操作臂未能成功夹持物体;抓取掉落,说明移动机器人在实验过程中夹持的物体发生了掉落;执行失败:说明移动机器人在实验过程中发生了意外碰撞;规划失败:说明操作臂未能成功规划出一条可行路径用于实验操作;当检测到这些异常情况时,操作臂会根据不同的异常进行不同的处理:如果操作臂没有夹持物体会沿着之前的安全轨迹回到默认位置;如果操作臂夹持有物体则会沿着之前的安全轨迹将物体放回最近的可放置点,再回到默认位置,该默认位置可以避免在移动过程中与外界发生碰撞,提升化学实验操作的安全性。
本领域普通技术人员可以理解:实现上述实施例方法中的全部或部分流程是可以通过程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明披露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求书的保护范围为准。本文背景技术部分公开的信息仅仅旨在加深对本发明的总体背景技术的理解,而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。
Claims (10)
1.一种移动机器人化学实验操作系统,其特征在于,用于包含多个化学工作站点的化学实验场景进行化学实验操作,包括:
若干定位标签、移动机器人和至少一台相机;其中,
每个定位标签对应设置在一个化学工作站点上;
所述相机,设置在所述移动机器人的操作臂上,能拍摄采集各化学工作站点的包含定位标签的彩色图和深度图;
所述移动机器人,与所述相机通信连接,能在接收到控制指令中的初始化指令后,移动到所操作的当前化学工作站点的操作位置,利用设置的所述相机采集确定当前化学工作站点相对所述移动机器人基座的二次定位位姿,并根据二次定位位姿进行二次定位后采集得出当前化学工作站点的精确标签位姿,所述控制指令为预先根据化学实验的实际操作过程确定各化学工作站点的操作流程,依据各化学工作站点的操作流程设定的控制所述系统的移动机器人的控制指令,所述控制指令包括:初始化指令和操作指令;以及根据当前化学工作站点的精确标签位姿和预先采集得到的各化学工作站点的相对标签结构化信息,计算得出当前化学工作站点相对所述移动机器人基座的结构化信息;以及在接收到所述控制指令中的操作指令后,利用得出的当前化学工作站点相对所述移动机器人基座的结构化信息规划出对当前化学工作站点操作的轨迹,根据规划的轨迹执行当前化学工作站点对应的化学实验操作,直到完成当前化学工作站点的化学实验操作;
所述移动机器人按以下方式根据当前化学工作站点的精准标签位姿和预先采集得到的各化学工作站点的相对标签结构化信息,计算得出当前化学工作站点相对所述移动机器人基座的结构化信息,包括:
2.根据权利要求1所述的移动机器人化学实验操作系统,其特征在于,所述移动机器人采用移动式多自由度操作臂。
3.根据权利要求1或2所述的移动机器人化学实验操作系统,其特征在于,所述移动机器人在接收到所述控制指令中的初始化指令并移动到所操作的当前化学工作站点的操作位置后,按以下方式利用设置的所述相机采集确定当前化学工作站点相对所述移动机器人基座的二次定位位姿,并根据二次定位位姿进行二次定位后采集得出当前化学工作站点的精确标签位姿,包括:
步骤11,利用该移动机器人上设置的相机拍摄采集当前化学工作站点的包含定位标签的彩色图和深度图,在彩色图中检测定位标签,并根据深度图得到定位标签相对相机的初步标签位姿,即为当前化学工作站点的初步标签位姿;
步骤12,根据所述相机的相机坐标系和所述移动机器人的基座坐标系的转换关系,将所述初步标签位姿转换至所述移动机器人的基座坐标系,得到定位标签相对所述移动机器人基座的初步标签位姿;
步骤13,利用得到的相对所述移动机器人的基座的初步标签位姿和预先采集的各化学工作站点的相对标签结构化信息中当前化学工作站点相对标签的定位位姿,计算得出当前化学工作站点相对所述移动机器人基座的二次定位位姿,该二次定位位姿的计算公式为:相对基座的二次定位位姿 = 相对基座的初步标签位姿×相对标签的定位位姿;
步骤14,所述移动机器人使操作臂自主移动到得出的当前化学工作站点相对该移动机器人基座的二次定位位姿实现二次定位,二次定位后通过该移动机器人上设置的相机再次采集当前化学工作站点的包含定位标签的彩色图和深度图,并在彩色图中检测定位标签,根据深度图得到当前化学工作站点的定位标签相对所述移动机器人基座的精准标签位姿;
所述移动机器人按以下方式利用得出的当前化学工作站点相对所述移动机器人基座的结构化信息规划出对当前化学工作站点操作的轨迹,包括:
步骤31,从根据当前化学工作站点的操作流程预先设定的操作流程信息中,选择操作流程步骤数量、每段轨迹的规划方法、速度、加速度和平滑过渡段最大允许半径的比例因子,并在当前化学工作站点相对所述移动机器人基座的结构化信息中选择与操作流程步骤数量相对应的k个相对该移动机器人基座的操作位姿作为路径点;
步骤32,计算操作臂当前末端位姿和第1个操作位姿的直线距离,若该距离大于预设距离或当前肩部、肘部1,2关节的关节角和第1个路径点的目标关节角度差值总和大于预设角度,则在第1个路径点前插入预先记录在相对标签结构化信息中的当前化学工作站点的过渡关节角;
步骤33,在所有k个路径点中,依次选择第i个路径点作为起始位姿,i=1,2,…,k-1,第i+1个路径点作为目标位姿,根据操作流程信息中的规划方法、速度和加速度进行轨迹规划,得到k-1段轨迹;
步骤34,在所有k个路径点中,依次选择第j-1、j、j+1共3个路径点,j=1,2,…,k-1,分别计算第j-1与第j个路径点的直线距离,第j个路径点与第j+1个路径点的直线距离,选择两个直线距离中的较小值作为第j-1段轨迹和第j段轨迹的平滑过渡段最大允许半径,得到k-2个平滑过渡段最大允许半径;
步骤35,从步骤33得到的k-1段轨迹中,依次选择第m、m+1,m=1,2,…,k-1段轨迹,并根据步骤34得到的第m个平滑过渡段最大允许半径和操作流程信息中的平滑过渡段最大允许半径的比例因子,在第m、m+1段轨迹中计算并插入平滑过渡段轨迹,得到最终轨迹。
4.一种移动机器人化学实验操作方法,其特征在于,采用权利要求1至2任一项所述的移动机器人化学实验操作系统,预先根据化学实验的实际操作过程确定各化学工作站点的操作流程,并依据各化学工作站点的操作流程设定的控制所述系统的移动机器人的控制指令,所述控制指令包括:初始化指令和操作指令;包括以下步骤:
步骤1,在接收到所述控制指令中的初始化指令后,所述移动机器人移动到所操作的当前化学工作站点的操作位置,利用该移动机器人上设置的相机采集确定当前化学工作站点相对所述移动机器人基座的二次定位位姿,该移动机器人根据二次定位位姿进行二次定位后采集得出当前化学工作站点的精确标签位姿;
步骤2,所述移动机器人根据当前化学工作站点的精确标签位姿和预先采集得到的各化学工作站点的相对标签结构化信息,计算得出当前化学工作站点相对所述移动机器人基座的结构化信息;
步骤3,在接收到所述控制指令中的操作指令后,所述移动机器人利用得出的当前化学工作站点相对所述移动机器人基座的结构化信息规划出对当前化学工作站点操作的轨迹:
步骤4,所述移动机器人根据规划的轨迹执行当前化学工作站点对应的化学实验操作,直到完成当前化学工作站点的化学实验操作;
步骤5,判断是否完成所有化学工作站点的对应化学实验操作,若否,则重复上述步骤1-4完成下一化学工作站点的对应化学实验操作,若是,则结束所有化学工作站点对应的化学实验操作。
5.根据权利要求4所述的移动机器人化学实验操作方法,其特征在于,所述步骤1中,按以下方式利用该移动机器人上设置的相机采集确定当前化学工作站点相对所述移动机器人基座的二次定位位姿,并将操作臂自主移动到该二次定位位姿,采集得出当前化学工作站点的精确标签位姿,包括:
步骤11,利用该移动机器人上设置的相机拍摄采集当前化学工作站点的包含定位标签的彩色图和深度图,在彩色图中检测定位标签,并根据深度图得到定位标签相对相机的初步标签位姿,即为当前化学工作站点的初步标签位姿;
步骤12,根据所述相机的相机坐标系和所述移动机器人的基座坐标系的转换关系,将所述初步标签位姿转换至所述移动机器人的基座坐标系,得到定位标签相对所述移动机器人基座的初步标签位姿;
步骤13,利用得到的相对所述移动机器人的基座的初步标签位姿和预先采集的各化学工作站点的相对标签结构化信息中当前化学工作站点相对所述移动机器人基座的定位位姿,计算得出当前化学工作站点相对所述移动机器人基座的二次定位位姿,该二次定位位姿的计算公式为:相对基座的二次定位位姿=相对基座的初步标签位姿×相对标签的定位位姿;
步骤14,所述移动机器人使操作臂自主移动到得出的当前化学工作站点相对该移动机器人基座的二次定位位姿实现二次定位,二次定位后通过该移动机器人上设置的相机再次采集当前化学工作站点的包含定位标签的彩色图和深度图,并在彩色图中检测定位标签,根据深度图得到当前化学工作站点的定位标签相对所述移动机器人基座的精准标签位姿。
6.根据权利要求4或5所述的移动机器人化学实验操作方法,其特征在于,所述方法中,按以下方式预先采集得到各化学工作站点的相对标签结构化信息,包括:
以所述移动机器人移动到各化学工作站点处的方式进行采集,根据所述移动机器人上设置的相机采集的各化学工作站点包含定位标签的彩色图和深度图、所述相机的相机坐标系和所述系统的移动机器人的基座坐标系得出各化学工作站点相对所述移动机器人的基座的精准标签位姿,根据每个化学工作站点的标签位姿构建相对化学工作站点自身定位标签的相对标签结构化信息。
7.根据权利要求6所述的移动机器人化学实验操作方法,其特征在于,按以下方式根据采集的各化学工作站点的定位标签的彩色图和深度图、所述相机的相机坐标系和所系统的移动机器人的基座坐标系得出各化学工作站点相对所述移动机器人基座的精准标签位姿,包括:
步骤21,待所述移动机器人移动到所采集的当前化学工作站点后,通过该移动机器人上设置的相机采集当前化学工作站点包含定位标签的彩色图和深度图,在彩色图中检测定位标签,并根据深度图得出定位标签相对所述相机的标签位姿;
按以下方式根据每个化学工作站点的标签位姿构建相对化学工作站点自身定位标签的相对标签结构化信息,包括:
步骤23,将所述移动机器人的操作臂人工拖拽到使当前化学工作站点的定位标签处于相机采集图像的中心部位,向所述移动机器人输入当前化学工作站点的唯一命名,所述移动机器人记录该移动机器人的操作臂末端相对该移动机器人的基座的定位位姿;
步骤24,根据公式计算得出所述移动机器人的操作臂末端相对定位标签的定位位姿,并以当前化学工作站点的唯一命名:定位位姿:所述移动机器人的操作臂末端相对定位标签的定位位姿的形式保存在相对标签结构化信息中;
步骤25,将所述移动机器人的操作臂人工拖拽到当前化学工作站点操作流程中的第i个操作位姿,向所述移动机器人输入对该第i个操作位姿的唯一命名,记录所述移动机器人的操作臂末端相对所述移动机器人的基座的第i个操作位姿,n为当前化学工作站点完成全部操作流程所需的操作位姿数量;
步骤26,根据公式,计算得出所述移动机器人的操作臂末端相对定位标签的第i个操作位姿,并以该第i个操作位姿的唯一命名:第i个操作位姿:计算得到的所述移动机器人的操作臂末端相对定位标签的第i个操作位姿的形式记录在所述相对标签结构化信息中;
步骤27,重复上述步骤25和步骤26,直到将当前化学工作站点全部操作流程所需的n个操作位姿都记录至所述相对标签结构化信息中;
步骤28,将所述移动机器人的操作臂人工拖拽到当前化学工作站点操作流程的第1个操作位姿,向所述移动机器人输入对该第1个操作位姿的唯一命名,并以该第1个操作位姿的唯一命名:过渡关节角:操作臂在该第1个操作位姿处的关节角的形式记录在所述相对标签结构化信息中,记录完成后即得到完整的相对标签结构化信息。
8.根据权利要求6所述的移动机器人化学实验操作方法,其特征在于,所述步骤2中,所述移动机器人按以下方式根据当前化学工作站点的精确标签位姿和预先采集得到的各化学工作站点的相对标签结构化信息,计算得出当前化学工作站点相对所述移动机器人基座的结构化信息,包括:
9.根据权利要求7所述的移动机器人化学实验操作方法,其特征在于,所述步骤3中,所述移动机器人按以下方式利用得出的当前化学工作站点相对所述移动机器人基座的结构化信息规划出对当前化学工作站点操作的轨迹,包括:
步骤31,从根据当前化学工作站点的操作流程预先设定的操作流程信息中,选择操作流程步骤数量、每段轨迹的规划方法、速度、加速度和平滑过渡段最大允许半径的比例因子,并在当前化学工作站点相对所述移动机器人基座的结构化信息中选择与操作流程步骤数量相对应的k个相对该移动机器人基座的操作位姿作为路径点;
步骤32,计算操作臂当前末端位姿和第1个路径点的直线距离,若该距离大于预设距离或当前肩部、肘部1,2关节的关节角和第1个路径点的目标关节角度差值总和大于预设角度,则在第1个路径点前插入预先记录在相对标签结构化信息中的当前化学工作站点的过渡关节角;
步骤33,在所有k个路径点中,依次选择第i个路径点作为起始位姿,i=1,2,…,k-1,第i+1个路径点作为目标位姿,根据操作流程信息中的规划方法、速度和加速度进行轨迹规划,得到k-1段轨迹;
步骤34,在所有k个路径点中,依次选择第j-1、j、j+1共3个路径点,j=1,2,…,k-1,分别计算第j-1与第j个路径点的直线距离,第j个路径点与第j+1个路径点的直线距离,选择两个直线距离中的较小值作为第j-1段轨迹和第j段轨迹的平滑过渡段最大允许半径,得到k-2个平滑过渡段最大允许半径;
步骤35,从步骤33得到的k-1段轨迹中,依次选择第m、m+1,m=1,2,…,k-1段轨迹,并根据步骤34得到的第m个平滑过渡段最大允许半径和操作流程信息中的平滑过渡段最大允许半径的比例因子,在第m、m+1段轨迹中计算并插入平滑过渡段轨迹,得到最终轨迹。
10.根据权利要求9所述的移动机器人化学实验操作方法,其特征在于,所述步骤35中,按以下方式在第m、m+1段轨迹中计算并插入平滑过渡段,包括:
S(t)将步骤34得到的第m个平滑过渡段最大允许半径和步骤31设定的平滑过渡段最大允许半径的比例因子相乘得到第m个平滑过渡段的实际半径,以第m+1个路径点为圆心,以实际半径为半径得到混合球,分别计算出第m、m+1条轨迹与混合球的交点,并计算出在平滑过渡段轨迹上从交点运动到第m+1个路径点的时间和在第m+1段轨迹上从第m+1个路径点运动到交点的时间;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210664595.5A CN114734466B (zh) | 2022-06-14 | 2022-06-14 | 一种移动机器人化学实验操作系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210664595.5A CN114734466B (zh) | 2022-06-14 | 2022-06-14 | 一种移动机器人化学实验操作系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114734466A CN114734466A (zh) | 2022-07-12 |
CN114734466B true CN114734466B (zh) | 2022-09-30 |
Family
ID=82287105
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210664595.5A Active CN114734466B (zh) | 2022-06-14 | 2022-06-14 | 一种移动机器人化学实验操作系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114734466B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114995467B (zh) * | 2022-08-08 | 2022-12-30 | 中国科学技术大学 | 化学机器人管理和规划调度系统、方法及设备 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102848388A (zh) * | 2012-04-05 | 2013-01-02 | 上海大学 | 基于多传感器的服务机器人定位和抓取方法 |
CN105500406B (zh) * | 2015-12-25 | 2017-07-28 | 山东建筑大学 | 一种变电站系统 |
CN107351089B (zh) * | 2017-09-12 | 2019-08-27 | 中国科学技术大学 | 一种机器人运动学参数标定位姿优化选取方法 |
CN110125935A (zh) * | 2019-05-14 | 2019-08-16 | 南京邮电大学 | 一种基于rfid的机器人手势控制方法 |
JP7243593B2 (ja) * | 2019-11-25 | 2023-03-22 | トヨタ自動車株式会社 | 搬送制御システム、搬送制御プログラムおよび搬送制御方法 |
CN111496782B (zh) * | 2020-03-17 | 2022-03-08 | 吉利汽车研究院(宁波)有限公司 | 机器人工具点的测量系统、方法、处理设备及存储介质 |
-
2022
- 2022-06-14 CN CN202210664595.5A patent/CN114734466B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN114734466A (zh) | 2022-07-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108453702B (zh) | 机器人仿真器、机器人系统以及仿真方法 | |
Pan et al. | Recent progress on programming methods for industrial robots | |
US8229595B2 (en) | Method and system for providing autonomous control of a platform | |
US4568816A (en) | Method and apparatus for manipulator welding apparatus with improved weld path definition | |
DK2285537T3 (en) | Device and method for computer-assisted generation of a manipulatorbane | |
US9718186B2 (en) | Robot | |
US4685054A (en) | Method and apparatus for outlining the environment of a multiarticular duty machine by means of a laser pointer | |
CN114734466B (zh) | 一种移动机器人化学实验操作系统及方法 | |
CN110450150B (zh) | 轨迹跟踪控制方法及轨迹跟踪系统 | |
CN105382835A (zh) | 一种可穿越腕部奇异点的机器人路径规划方法 | |
CN113334391B (zh) | 一种机械臂的摆位控制方法、系统、机器人及存储介质 | |
De Farias et al. | Dual quaternion-based visual servoing for grasping moving objects | |
Backes et al. | Automated rover positioning and instrument placement | |
Loredo-Flores et al. | Optimization of industrial, vision-based, intuitively generated robot point-allocating tasks using genetic algorithms | |
CN114290330B (zh) | 机器人的校准方法和校准装置、机器人和可读存储介质 | |
CN116214516A (zh) | 移动冗余机械臂实时抓取与轨迹跟踪方法及系统 | |
CN115922702A (zh) | 机械臂的路径规划方法和自移动设备 | |
JP6758915B2 (ja) | 自律作業制御システムおよび自律作業制御方法 | |
JP2661703B2 (ja) | ロボットの自律近接制御装置 | |
CN113043277A (zh) | 多关节机构轨迹规划方法、装置、电子设备及存储介质 | |
JPH07129231A (ja) | 非接触点教示装置 | |
CN113146616B (zh) | 一种四自由度机械臂视觉伺服控制方法 | |
CN116330303B (zh) | Scara机器人运动控制方法、装置、终端设备及介质 | |
Borangiu et al. | Open Robot Control for Services in Construction | |
CN117519469A (zh) | 一种应用于人机交互的空间交互装置及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |