CN114995424A - 一种移动工作站的控制方法及其相关设备 - Google Patents
一种移动工作站的控制方法及其相关设备 Download PDFInfo
- Publication number
- CN114995424A CN114995424A CN202210623539.7A CN202210623539A CN114995424A CN 114995424 A CN114995424 A CN 114995424A CN 202210623539 A CN202210623539 A CN 202210623539A CN 114995424 A CN114995424 A CN 114995424A
- Authority
- CN
- China
- Prior art keywords
- image
- mobile workstation
- determining
- controlling
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 239000003550 marker Substances 0.000 claims abstract description 19
- 230000004888 barrier function Effects 0.000 claims description 13
- 238000003860 storage Methods 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 230000002085 persistent effect Effects 0.000 claims description 3
- 230000001052 transient effect Effects 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 230000007613 environmental effect Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000012360 testing method Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000002547 new drug Substances 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005728 strengthening Methods 0.000 description 2
- 102000004190 Enzymes Human genes 0.000 description 1
- 108090000790 Enzymes Proteins 0.000 description 1
- 102000004310 Ion Channels Human genes 0.000 description 1
- 108090000862 Ion Channels Proteins 0.000 description 1
- 238000010256 biochemical assay Methods 0.000 description 1
- 239000003124 biologic agent Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000009509 drug development Methods 0.000 description 1
- 238000007876 drug discovery Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 102000005962 receptors Human genes 0.000 description 1
- 108020003175 receptors Proteins 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Optics & Photonics (AREA)
- Electromagnetism (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本申请实施例提供了一种移动工作站的控制方法及其相关设备，用于提高移动工作站的智能化程度，包括：获取地图，在地图上确定目标工作位置；接收第一图像采集装置发送的第一图像，提取第一图像中的在第一环境标记；对第一环境标记进行分析，获得第一标记信息；根据第一标记信息确定移动工作站在地图上的第一位置；进行路径规划，得到从第一位置到达目标工作位置的第一目标路径；控制驱动装置带动移动工作站沿第一目标路径运动。本申请实施例中，大大地提高了智能化程度。最大程度地利用了计算机软件能力，减少人员的参与成本，提高了操作精度和可靠性。特别适用于生物实验室内基于移动工作站或机器人的自动化操作。
Description
技术领域
本申请实施例涉及移动工作站领域，具体涉及一种移动工作站的控制方法及其相关设备。
背景技术
目前移动工作站或机器人系统的导航，很多都是示教式的，先绘制实验室地图告诉给移动工作站或机器人，让移动工作站处于地图上的某个初始位置，然后计算出初始到目标工作位置的路径，让机器人按照该路线，移动到工作位置。移动工作站到位后，启动机械臂，按照事先给定的操作轨迹，移动机械臂在指定的空间位置，执行操作作业。这个作业过程中，大部分作业是预先规定好的,或需要预先演示并记录相关轨迹,智能化程度严重低下，不能实时矫正误差，在移动累计误差较大时，可能无法精确的定位机械臂，同时移动工作站无法与周围环境实时交互,很难保证高效的完成操作任务。
发明内容
本申请实施例提供了一种移动工作站的控制方法及其相关设备，用于提高移动工作站的智能化程度。
本申请实施例的第一方面提供了一种移动工作站的控制方法，包括：
获取地图，在地图上确定目标工作位置；
接收第一图像采集装置发送的第一图像，提取第一图像中的在第一环境标记；
对第一环境标记进行分析，获得第一标记信息；
根据第一标记信息确定移动工作站在地图上的第一位置；
进行路径规划，得到从第一位置到达目标工作位置的第一目标路径；
控制驱动装置带动移动工作站沿第一目标路径运动。
本申请实施例的第一方面的一种实现方式中，控制驱动装置带动移动工作站沿第一目标路径运动后，控制方法还包括：
接收第二图像采集装置发送的第二图像，提取第二图像中的第二环境标记；
对第二环境标记进行分析，获得第二标记信息；
根据第二标记信息确定移动工作站在地图上的第二位置；
进行路径规划，得到从第二位置到达目标工作位置的第二目标路径；
控制驱动装置带动移动工作站沿第二目标路径运动。
本申请实施例的第一方面的一种实现方式中，控制驱动装置带动移动工作站沿第一目标路径运动后，方法还包括：
接收第三图像采集装置发送的第三图像，提取第三图像中的对象标识；
利用对象标识强化信号特征并分割图像区域，确定第三图像的特征点；
根据特征点确定操作对象的立体结构；
根据特征点确定操作对象的立体坐标；
根据立体结构和立体坐标，控制机械臂对操作对象进行操作。
本申请实施例的第一方面的一种实现方式中，第三图像采集装置包括左相机和右相机，第三图像包括左图像和右图像；
接收第三图像采集装置发送的第三图像，提取第三图像中的对象标识；利用对象标识强化信号特征并分割图像区域，确定第三图像的特征点，具体包括：
接收左相机发送的左图像和右相机发送的右图像，提取左图像和右图像中的对象标识；
利用对象标识强化信号特征并分割图像区域，确定左图像和右图像的特征点。
本申请实施例的第一方面的一种实现方式中，移动工作站的控制方法还包括：
控制激光雷达对环境进行扫描，获得移动工作站与障碍物或操作对象的相对位置关系；
进行路径规划，具体包括：
根据相对位置关系进行路径规划。
本申请实施例的第一方面的一种实现方式中，根据相对位置关系进行路径规划，具体包括：
根据移动工作站与障碍物的相对位置关系，判断障碍物是否相对环境运动；
若障碍物相对环境运动，则判断障碍物是否将与移动工作站碰撞：
若障碍物将与移动工作站碰撞，则控制驱动装置使得移动工作站减速或停止。
本申请实施例的第一方面的一种实现方式中，在地图上确定目标工作位置前，控制方法还包括：接收服务器发送的任务；
在地图上确定目标工作位置，具体包括：根据任务在地图上确定目标工作位置。
本申请实施例的第二方面提供了一种移动工作站的控制装置，包括：
获取模块，用于获取地图，在地图上确定目标工作位置；
接收模块，用于接收第一图像采集装置发送的第一图像，提取第一图像中的在第一环境标记；
分析模块，用于对第一环境标记进行分析，获得第一标记信息；
确定模块，用于根据第一标记信息确定移动工作站在地图上的第一位置；
规划模块，用于进行路径规划，得到从第一位置到达目标工作位置的第一目标路径；
控制模块，用于控制驱动装置带动移动工作站沿第一目标路径运动。
本申请实施例的第二方面的一种实现方式中，
接收模块，还用于接收第二图像采集装置发送的第二图像，提取第二图像中的第二环境标记；
分析模块，还用于对第二环境标记进行分析，获得第二标记信息；
确定模块，还用于根据第二标记信息确定移动工作站在地图上的第二位置；
规划模块，还用于进行路径规划，得到从第二位置到达目标工作位置的第二目标路径；
控制模块，还用于控制驱动装置带动移动工作站沿第二目标路径运动。
本申请实施例的第二方面的一种实现方式中，
接收模块，还用于接收第三图像采集装置发送的第三图像，提取第三图像中的对象标识；
确定模块，还用于利用对象标识强化信号特征并分割图像区域，确定第三图像的特征点；
确定模块，还用于根据特征点确定操作对象的立体结构；
确定模块，还用于根据特征点确定操作对象的立体坐标；
控制模块，还用于根据立体结构和立体坐标，控制机械臂对操作对象进行操作。
本申请实施例的第二方面的一种实现方式中，第三图像采集装置包括左相机和右相机，第三图像包括左图像和右图像；
接收模块，还用于接收左相机发送的左图像和右相机发送的右图像，提取左图像和右图像中的对象标识；
确定模块，还用于利用对象标识强化信号特征并分割图像区域，确定左图像和右图像的特征点。
本申请实施例的第二方面的一种实现方式中，
控制模块，还用于控制激光雷达对环境进行扫描，获得移动工作站与障碍物或操作对象的相对位置关系；
规划模块，具体用于根据相对位置关系进行路径规划。
本申请实施例的第二方面的一种实现方式中，规划模块包括：
判断子模块，用于根据移动工作站与障碍物的相对位置关系，判断障碍物是否相对环境运动；
判断子模块，还用于在判断子模块确定障碍物相对环境运动时，判断障碍物是否将与移动工作站碰撞：
控制子模块，用于在判断子模块确定障碍物将与移动工作站碰撞时，控制驱动装置使得移动工作站减速或停止。
本申请实施例的第二方面的一种实现方式中，
接收模块，还用于接收服务器发送的任务；
获取模块，还用于根据任务在地图上确定目标工作位置。
本申请实施例第三方面提供了一种计算机设备，包括：
中央处理器，存储器，输入输出接口，有线或无线网络接口以及电源；
存储器为短暂存储存储器或持久存储存储器；
中央处理器配置为与存储器通信，并执行存储器中的指令操作以执行第一方面的方法。
本申请实施例的第四方面提供了一种计算机可读存储介质，计算机可读存储介质包括指令，当指令在计算机上运行时，使得计算机执行第一方面的方法。
本申请实施例的第五方面提供了一种包含指令的计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行第一方面的方法。
本申请实施例的第六方面提供了一种芯片系统，芯片系统包括至少一个处理器和通信接口，通信接口和至少一个处理器通过线路互联，至少一个处理器用于运行计算机程序或指令，以执行第一方面的方法。
本申请实施例的第七方面提供了一种移动工作站，包括：机械臂、驱动装置、图像采集装置、激光雷达和第三方面的计算机设备。
本申请实施例中，接收第一图像采集装置发送的第一图像，提取第一图像中的在第一环境标记；对第一环境标记进行分析，获得第一标记信息；根据第一标记信息确定移动工作站在地图上的第一位置。对移动工作站的导航技术，和试验操作对象的识别和空间定位技术，做了很重要的改进，大大地提高了智能化程度。最大程度地利用了计算机软件能力，减少人员的参与成本，提高了操作精度和可靠性。特别适用于生物实验室内基于移动工作站或机器人的自动化操作。
附图说明
图1是美国塔夫茨大学药物开发中心的研究报道；
图2是本申请实施例的移动工作站的控制方法的实验室；
图3是本申请实施例的移动工作站的控制方法一种流程图；
图4是本申请实施例的移动工作站的控制方法另一种流程图；
图5是本申请实施例的移动工作站的控制方法操作对象的左图像；
图6是本申请实施例的移动工作站的控制方法操作对象的右图像；
图7是本申请实施例的移动工作站的控制方法操作对象的3D结构示意图；
图8是本申请实施例的移动工作站的控制方法操作对象的空间定位示意图；
图9是本申请实施例的移动工作站的控制方法机械手对操作对象进行操作的示意图；
图10是本申请实施例的移动工作站的控制方法另一种流程图；
图11是本申请实施例的移动工作站的控制方法室内静态环境的移动工作站导航和作业示意图；
图12至图15是本申请实施例的移动工作站的控制方法激光雷达扫描环境示意图；
图16是本申请实施例的移动工作站的控制方法室内动态环境的移动工作站导航和作业示意图；
图17是本申请实施例的移动工作站的控制方法移动工作站激光雷达扫描障碍示意图；
图18是本申请实施例的移动工作站的控制方法另一种流程图；
图19是本申请实施例的移动工作站的控制装置的一种结构图；
图20是本申请实施例的计算机设备的一种结构图；
1、工作位置；2、中央服务器；3、实验室内部；4、公司内网；5、移动工作站；6、操作对象；7、激光线；8、障碍物；9、机械臂。
具体实施方式
生物合成和新药物发现是一个复杂和多学科交叉的过程，正如图1美国塔夫茨大学药物开发中心的研究报道显示的，常常需要花费大量时间和金钱。
生物合成和新药开发主要涉及几个步骤：首先是目标药物发现，大部分情况下是蛋白质，酶，受体，离子通道等。然后是通过生物化学测定来确认目标。最后是筛选得到优化的目标。这涉及到繁重和重复性的劳动，而且容易出现误差。现代生物实验室，都采用自动化、智能化的技术来解决上述问题，其中会涉及到移动工作站来实现室内环境移动操作。移动工作站也可以称为智能移动工作平台或机器人。
生物实验室环境内，允许存在多个移动工作站，按照实验室预定的作业内容，高效率地并行运作，完成各自的操作任务。
利用实验室内部环境易于设置标记(landmark)的特点,在生物实验室的室内环境中布置环境标记,这可以大力提高和改善移动工作站的定位和导航功能,进而提高智能化程度。环境标记设置在各个工作位置、墙体、柱体等环境构成体的侧边表面，以便于视觉识别。移动工作站通过识别环境标记,实现自主导航和定位,实时规避障碍,到达环境自适应。
利用标记易于在操作对象上被识别和定位的特点，在操作对象上设置对象标记。移动工作站根据对象标记实时计算机械臂的空间轨迹,引导机械臂完成操作任务。
标记包括环境标记和对象标记，标记(landmark)可以是生物药剂、标签或颜色等可通过视觉进行识别的物理材料。
在实验室内的环境和操作对象上设置标记,采用基于标记识别的自适应环境的高智能导航和目标识别技术，可以在一个复杂的，可变的室内环境中，自适应的实时规避障碍，自主规划路线，寻找目标工作位置，然后识别操作对象，规划机械臂的空间路径，完成作业内容要求的操作任务。同时允许多个移动工作平台在一个实验室环境中协同工作，无障碍地高效完成实验室设定的工作内容。
在一种实现方式中，实验室的布局如图2所示，实验室内部包括多个工作位置、多个移动工作站和中央服务器，中央服务器通过云端与计算机终端连接。一般的，中央服务器连接的是公司内网中的计算机终端，但也可以连接万维网和因特网等广域网上的计算机终端。中央服务器通过无线网络或蓝牙与移动工作站通信连接。实验室可以称为智能自动化实验室。移动工作站和中央服务器等构成移动平台系统。中央服务器也可以简称服务器。
在图2中，移动工作站A的目标工作位置放置有操作对象X，移动工作站B的目标工作位置放置有操作对象Y。中央服务器接受计算机终端下达的工作任务，并分配给移动工作站A和移动工作站B。移动工作站A自主导航到操作对象X附近，然后识别操作对象X的空间位置以引导移动工作站A的机械臂对操作对象X进行操作。移动工作站B自主导航到操作对象Y附近，然后识别操作对象Y的空间位置以引导移动工作站B的机械臂对操作对象Y进行操作。
本申请实施例提供的移动工作站的控制方法，总体上的流程为：
实验室的服务器进行任务分配。
移动工作站接受服务器发布的任务，按任务要求，执行规划和调度。移动工作站利用环境标记完成定位和自主导航。
移动工作站对操作对象进行操作。识别对象标记，根据任务需求自主调动机械臂，执行操作任务。
移动工作站完成一项任务后，再次接受任务，重复循环。
本申请实施例提供的移动工作站的控制方法，如图3所示，具体的流程为：
S1、实验室中央服务器从公司内网接收试验任务，并将试验任务细分成一个个可执行的子任务。
S2、移动工作站从中央服务器检索和查询自己可以完成的子任务，接受子任务。
S3、移动工作站根据子任务的要求，确定目标工作位置。
S4、移动工作站识别和定位环境标记，经过规划路径和避障移动到目标工作位置。
S5、在目标工作位置，移动工作站识别操作对象上的对象标记,判断操作对象是否符合子任务的规定，并计算操作对象的位置。
S6、移动工作站计算机械臂的空间轨迹,控制机械臂到达指定的空间位置，对操作对象实施操作。全部过程无人值守，全自动化完成。
此外，移动工作站的信息实时反馈到中央服务器，由中央服务器通知公司内网工作人员。出现障碍错误时，中央服务器发出警告或暂停信息通知公司内网工作人员。
上述具体流程的S4和S5是本申请实施例的关键，下面展开描述。S4和S5涉及到高度自动化的重要过程，使得在实验室环境有了调整或有移动物体时，也不需要更改软硬件系统，可以满足实验室长时间高效运转的需求。
现有技术,在室内环境中，移动工作站或机器人导航定位，很多采用示教式，预先给定地图和移动工作站的初始位置，以及目标工作位置，在已有地图和两点位置下，然后执行搜索算法，计算规划路径，数据传递到底盘，马达电机再驱动轮子移动，到达目标工作位置。这个方法的缺点，智能化程度低，无法适应环境的变化，室内环境添加或移动了设施，或存在移动物体，移动工作站或机器人就无法自己判断出来，更加无法实时避障。由于需要为移动工作站或机器人设定初始位置，在每次启动的时候，都需要外界的干预，这主要是由于移动工作站或机器人无法识别判断目前自己所在位置，这就需要人工干预。
如图4所示，S4的具体实现方式可以是：
S401、移动工作站的第一图像采集装置识别和定位环境标记，确认机器人的坐标位置。
S402、移动工作站的激光雷达扫描周围环境，计算实时地图，实现机器人的导航和定位功能。
S403、激光扫描可以发现实时障碍，扫描数据可以及时更新地图，使用最短路径算法，得到第一目标路径。目标路径也可以称为移动路径数据。
S404、根据第一目标路径控制底盘的驱动装置，驱动轮子运动。
S405、移动到目标工作位置。
为了实现实时避障，可以采用以下方法：
通过激光雷达进行测算距离，定位障碍物。识别几个位置已知环境标记，根据环境标记的位置和环境标记与移动平台的距离计算移动工作站位置。根据障碍物相对移动工作站的方向和距离，以及移动工作站的位置，定位障碍物的空间坐标。
通过激光雷达测算障碍物的速度和方向。
考虑移动工作站的移动速度、障碍物的移动速度和代码运算时长之间的约束。
v1：移动工作站的移动速度；v2：障碍物的移动速度；t：代码运算时长。代码运算时长由代码计算速度决定，代码运算时长的数值可以通过模拟运算得知，成为常数。
约束关系概述如下：障碍物在其运行方向(相对移动工作站同向、相向或者有角度运行等)上，运行n秒会从A点到达B点，而工作站在此期间实际移动的时间为n-t秒；
规划移动工作站的最短路径时，需要考虑在代码运算完成“传给底盘驱动”的那一刻，障碍物已经移动了t秒。
移动工作站或机器人在导航到目标工作位置后，需要机械臂开始执行操作任务。目前的技术，一般是预先固定好机械臂和操作对象的位置，在此情况下，计算空间轨迹，然后按轨迹操作移动机械臂到指定位置。这个技术无法识别和实时判断操作对象的空间位置，在环境稍变或相对位置有变化时候，就会出现误差，无法准确的完成操作。机械臂也可以称为机械手或机械爪。
为了解决上述问题，移动工作站每次到达目标工作位置的坐标存在一定程度的差异(各种误差造成)，需要通过识别环境标记，重新精定位机器人的位置。
对操作对象的对象标识进行识别和空间定位。按照轨迹数据，引导机械臂的空间走向。机械手到达指定空间位置，对操作对象进行操作。这种实时识别和轨迹计算，调动机械臂完成操作的方法，具有更高的智能性。操作对象也可以称为实验对象或试验对象。
在一种实现方式中，在安装机械臂上的一对工业相机构成立体视觉采集装置，立体视觉采集装置检测被操作物体，计算操作对象的空间位置，算法流程如下：
如图5和图6所示，立体相机获得左图像和右图像，并进行矫正。左图像和右图像可以简称为左右图像。
如图7所示，根据图像特征点，计算左右图像特征点确定3D结构，计算3D结构图，获得空间点的坐标。
如图8所示，对操作对象进行空间定位，确定操作对象在空间的位置坐标和尺寸。
如图9所示，机械臂移动过空间规划的轨迹，抓取操作对象。
立体视觉采集装置可以是立体相机，可以分为左相机和右相机。
如图10所示，S5的具体实现方式可以是：
S501、接收左相机发送的左图像和右相机发送的右图像，提取左图像和右图像中的对象标识；
S502、利用对象标识强化信号特征并分割图像区域，确定左图像和右图像的特征点。
S503、根据特征点确定操作对象的立体结构；
S504、根据特征点确定操作对象的立体坐标；
S505、根据立体结构和立体坐标，控制机械臂对操作对象进行操作。
本申请实施例联合实验室的任务分配管理系统，可以实现全工作流程的自动化。大大减少复杂和重复性劳动带给人们的误差，极大提高了生产效率和可靠性。
实验室可以分为静态环境和动态环境。在静态环境中没有移动的障碍物，在动态环境中有移动的障碍物。下面分别举例子说明。
室内静态环境中，移动工作站的导航和作业。
在图11所示的实验室环境中，左下角的移动工作站A通过无线通信，接受中央服务器分发的任务，前往目标工作位置Ta，以对操作对象进行操作。
首先识别定位环境标记，以驱动轮子移动到目标位置。实际移动路径，如红线所示。整个过程，没有遇到移动障碍。移动工作站A的激光雷达可以快速的扫描环境，实时更新移动工作站在地图中的位置，激光雷达扫描环境如下图示：
如图12至图15是移动工作站使用激光雷达的示意图，图中的方块是移动工作站，灰色是激光线，白色是空白场地，黑色是激光线无法到达区域。激光线呈现锯齿状是因为激光线遇到了障碍物。
移动工作站A到达目标工作位置后，立体视觉相机开始识别和检测操作对象，并且计算操作对象的空间位置。
室内动态环境中，移动工作站的导航和作业。
在图16所示的实验室环境中，左下角的移动工作站A和左上角的移动工作站B通过无线网络从中央服务器分别获得前往目的工作位置Ta和Tb，执行操作的任务。首先识别定位环境标记，驱动轮子移动。
移动工作站B在P1位置，检测到A处于当前自己前进的路径上，可能发生碰撞，移动工作站B就减速稍停，待A通过后，重新规划轨迹，继续前往目标工作位置Tb。
移动工作站使用激光雷达扫描障碍物如图17所示。移动工作站检测到障碍，并实时更新移动工作站和障碍物在地图的位置。
移动工作站A和移动工作站B在分别到达目标工作位置后，立体视觉相机开始识别和检测操作对象目标，并且计算操作对象的空间位置。
如图18所示，本申请实施例提供了一种移动工作站的控制方法，包括：
101、获取地图，在地图上确定目标工作位置；
102、接收第一图像采集装置发送的第一图像，提取第一图像中的在第一环境标记；
103、对第一环境标记进行分析，获得第一标记信息；
104、根据第一标记信息确定移动工作站在地图上的第一位置；
105、进行路径规划，得到从第一位置到达目标工作位置的第一目标路径；
106、控制驱动装置带动移动工作站沿第一目标路径运动。
本申请实施例中，接收第一图像采集装置发送的第一图像，提取第一图像中的在第一环境标记；对第一环境标记进行分析，获得第一标记信息；根据第一标记信息确定移动工作站在地图上的第一位置。对移动工作站的导航技术，和试验操作对象的识别和空间定位技术，做了很重要的改进，大大地提高了智能化程度。最大程度地利用了计算机软件能力，减少人员的参与成本，提高了操作精度和可靠性。特别适用于生物实验室内基于移动工作站或机器人的自动化操作。
第一标记信息包括第一环境标记在地图的坐标，还可以包括第一环境标记的高度。第二标记信息包括第二环境标记在地图的坐标，还可以包括第二环境标记的高度。
在一种可行的方案中，第一目标路径是距离最短路径或用时最短路径。
在一种可行的方案中，控制驱动装置带动移动工作站沿第一目标路径运动后，控制方法还包括：
接收第二图像采集装置发送的第二图像，提取第二图像中的第二环境标记；
对第二环境标记进行分析，获得第二标记信息；
根据第二标记信息确定移动工作站在地图上的第二位置；
进行路径规划，得到从第二位置到达目标工作位置的第二目标路径；
控制驱动装置带动移动工作站沿第二目标路径运动。
第一图像采集装置和第二图像采集装置可以是同一图像采集装置，也可以是不同的图像采集装置。图像采集装置可以是相机、摄影机等。
在一种可行的方案中，控制驱动装置带动移动工作站沿第一目标路径或第二目标路径运动后，方法还包括：
接收第三图像采集装置发送的第三图像，提取第三图像中的对象标识；
利用对象标识强化信号特征并分割图像区域，确定第三图像的特征点；
根据特征点确定操作对象的立体结构；
根据特征点确定操作对象的立体坐标；
根据立体结构和立体坐标，控制机械臂对操作对象进行操作。
在一种可行的方案中，第三图像采集装置包括左相机和右相机，第三图像包括左图像和右图像；
在一种可行的方案中，方法还包括：
控制激光雷达对环境进行扫描，获得移动工作站与障碍物或操作对象的相对位置关系；
进行路径规划，具体包括：
根据相对位置关系进行路径规划。
在一种可行的方案中，根据相对位置关系进行路径规划，具体包括：
根据移动工作站与障碍物的相对位置关系，判断障碍物是否相对环境运动；
若障碍物相对环境运动，则判断障碍物是否将与移动工作站碰撞：
若障碍物将与移动工作站碰撞，则控制驱动装置使得移动工作站减速或停止。
环境是指移动工作站所在的实验室。
在一种可行的方案中，在地图上确定目标工作位置前，控制方法还包括：接收服务器发送的任务；
在地图上确定目标工作位置，具体包括：根据任务在地图上确定目标工作位置。
如图19所示，本申请实施例的提供了一种移动工作站的控制装置，包括：
获取模块201，用于获取地图，在地图上确定目标工作位置；
接收模块202，用于接收第一图像采集装置发送的第一图像，提取第一图像中的在第一环境标记；
分析模块203，用于对第一环境标记进行分析，获得第一标记信息；
确定模块204，用于根据第一标记信息确定移动工作站在地图上的第一位置；
规划模块205，用于进行路径规划，得到从第一位置到达目标工作位置的第一目标路径；
控制模块206，用于控制驱动装置带动移动工作站沿第一目标路径运动。
在一种实现方式中，
接收模块202，还用于接收第二图像采集装置发送的第二图像，提取第二图像中的第二环境标记；
分析模块203，还用于对第二环境标记进行分析，获得第二标记信息；
确定模块204，还用于根据第二标记信息确定移动工作站在地图上的第二位置；
规划模块205，还用于进行路径规划，得到从第二位置到达目标工作位置的第二目标路径；
控制模块206，还用于控制驱动装置带动移动工作站沿第二目标路径运动。
在一种实现方式中，
接收模块202，还用于接收第三图像采集装置发送的第三图像，提取第三图像中的对象标识；
确定模块204，还用于利用对象标识强化信号特征并分割图像区域，确定第三图像的特征点；
确定模块204，还用于根据特征点确定操作对象的立体结构；
确定模块204，还用于根据特征点确定操作对象的立体坐标；
控制模块206，还用于根据立体结构和立体坐标，控制机械臂对操作对象进行操作。
在一种实现方式中，第三图像采集装置包括左相机和右相机，第三图像包括左图像和右图像；
接收模块202，还用于接收左相机发送的左图像和右相机发送的右图像，提取左图像和右图像中的对象标识；
确定模块204，还用于利用对象标识强化信号特征并分割图像区域，确定左图像和右图像的特征点。
在一种实现方式中，
控制模块206，还用于控制激光雷达对环境进行扫描，获得移动工作站与障碍物或操作对象的相对位置关系；
规划模块205，具体用于根据相对位置关系进行路径规划。
在一种实现方式中，规划模块205包括：
判断子模块，用于根据移动工作站与障碍物的相对位置关系，判断障碍物是否相对环境运动；
判断子模块，还用于在判断子模块确定障碍物相对环境运动时，判断障碍物是否将与移动工作站碰撞：
控制子模块，用于在判断子模块确定障碍物将与移动工作站碰撞时，控制驱动装置使得移动工作站减速或停止。
在一种实现方式中，
接收模块202，还用于接收服务器发送的任务；
获取模块201，还用于根据任务在地图上确定目标工作位置。
如图20所示，本申请实施例还提供了一种计算机设备300，包括：
中央处理器301，存储器305，输入输出接口304，有线或无线网络接口303以及电源302；
存储器305为短暂存储存储器或持久存储存储器；
中央处理器301配置为与存储器305通信，并执行存储器305中的指令操作以执行如图2至图18所示实施例中的方法。
本申请实施例还提供了一种移动工作站，包括：机械臂、驱动装置、图像采集装置、激光雷达和如图20所示的计算机设备。
本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质包括指令，当指令在计算机上运行时，使得计算机执行如图2至图18所示实施例中的方法。
本申请实施例还提供了一种包含指令的计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行如图2至图18所示实施例中的方法。
本申请实施例还提供了一种芯片系统，芯片系统包括至少一个处理器和通信接口，通信接口和至少一个处理器通过线路互联，至少一个处理器用于运行计算机程序或指令，以执行如图2至图18所示实施例中的方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-onlymemory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (11)
1.一种移动工作站的控制方法，其特征在于，包括：
获取地图，在所述地图上确定目标工作位置；
接收第一图像采集装置发送的第一图像，提取所述第一图像中的在第一环境标记；
对所述第一环境标记进行分析，获得所述第一标记信息；
根据所述第一标记信息确定所述移动工作站在所述地图上的第一位置；
进行路径规划，得到从所述第一位置到达所述目标工作位置的第一目标路径；
控制驱动装置带动所述移动工作站沿所述第一目标路径运动。
2.根据权利要求1所述的移动工作站的控制方法，其特征在于，所述控制驱动装置带动所述移动工作站沿所述第一目标路径运动后，所述控制方法还包括：
接收第二图像采集装置发送的第二图像，提取所述第二图像中的第二环境标记；
对所述第二环境标记进行分析，获得第二标记信息；
根据所述第二标记信息确定所述移动工作站在所述地图上的第二位置；
进行路径规划，得到从所述第二位置到达所述目标工作位置的第二目标路径；
控制所述驱动装置带动所述移动工作站沿所述第二目标路径运动。
3.根据权利要求1或2所述的移动工作站的控制方法，其特征在于，所述控制驱动装置带动所述移动工作站沿所述第一目标路径运动后，所述方法还包括：
接收第三图像采集装置发送的第三图像，提取所述第三图像中的对象标识；
利用所述对象标识强化信号特征并分割图像区域，确定所述第三图像的特征点；
根据所述特征点确定所述操作对象的立体结构；
根据所述特征点确定所述操作对象的立体坐标；
根据所述立体结构和所述立体坐标，控制机械臂对所述操作对象进行操作。
4.根据权利要求3所述的移动工作站的控制方法，其特征在于，所述第三图像采集装置包括左相机和右相机，所述第三图像包括左图像和右图像；
所述接收第三图像采集装置发送的第三图像，提取所述第三图像中的对象标识；利用所述对象标识强化信号特征并分割图像区域，确定所述第三图像的特征点，具体包括：
接收所述左相机发送的所述左图像和所述右相机发送的所述右图像，提取所述左图像和所述右图像中的所述对象标识；
利用所述对象标识强化信号特征并分割图像区域，确定所述左图像和所述右图像的特征点。
5.根据权利要求1所述的移动工作站的控制方法，其特征在于，所述方法还包括：
控制激光雷达对环境进行扫描，获得所述移动工作站与障碍物或所述操作对象的相对位置关系；
所述进行路径规划，具体包括：
根据所述相对位置关系进行路径规划。
6.根据权利要求5所述的移动工作站的控制方法，其特征在于，所述根据所述相对位置关系进行路径规划，具体包括：
根据所述移动工作站与所述障碍物的相对位置关系，判断所述障碍物是否相对环境运动；
若所述障碍物相对环境运动，则判断所述障碍物是否将与所述移动工作站碰撞：
若所述障碍物将与所述移动工作站碰撞，则控制所述驱动装置使得所述移动工作站减速或停止。
7.根据权利要求1所述的移动工作站的控制方法，其特征在于，所述在地图上确定目标工作位置前，所述控制方法还包括：接收服务器发送的任务；
所述在所述地图上确定目标工作位置，具体包括：根据所述任务在所述地图上确定所述目标工作位置。
8.一种移动工作站的控制装置，其特征在于，包括：
获取模块，用于获取地图，在所述地图上确定目标工作位置；
接收模块，用于接收第一图像采集装置发送的第一图像，提取所述第一图像中的在第一环境标记；
分析模块，用于对所述第一环境标记进行分析，获得所述第一标记信息；
确定模块，用于根据所述第一标记信息确定所述移动工作站在所述地图上的第一位置；
规划模块，用于进行路径规划，得到从所述第一位置到达所述目标工作位置的第一目标路径；
控制模块，用于控制驱动装置带动所述移动工作站沿所述第一目标路径运动。
9.一种计算机设备，其特征在于，包括：
中央处理器，存储器，输入输出接口，有线或无线网络接口以及电源；
存储器为短暂存储存储器或持久存储存储器；
中央处理器配置为与存储器通信，并执行存储器中的指令操作以执行如权利要求1至7中任意一项所述的方法。
10.一种移动工作站，其特征在于，包括：机械臂、驱动装置、图像采集装置、激光雷达和如权利要求9所述的计算机设备。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1至7中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210623539.7A CN114995424A (zh) | 2022-06-02 | 2022-06-02 | 一种移动工作站的控制方法及其相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210623539.7A CN114995424A (zh) | 2022-06-02 | 2022-06-02 | 一种移动工作站的控制方法及其相关设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114995424A true CN114995424A (zh) | 2022-09-02 |
Family
ID=83031575
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210623539.7A Pending CN114995424A (zh) | 2022-06-02 | 2022-06-02 | 一种移动工作站的控制方法及其相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114995424A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115610893A (zh) * | 2022-11-07 | 2023-01-17 | 芜湖港务有限责任公司 | 一种港口取箱智能辅助系统及方法 |
-
2022
- 2022-06-02 CN CN202210623539.7A patent/CN114995424A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115610893A (zh) * | 2022-11-07 | 2023-01-17 | 芜湖港务有限责任公司 | 一种港口取箱智能辅助系统及方法 |
| CN115610893B (zh) * | 2022-11-07 | 2024-05-07 | 芜湖港务有限责任公司 | 一种港口取箱智能辅助系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111496770B (zh) | 基于3d视觉与深度学习的智能搬运机械臂系统及使用方法 | |
| CN110202583B (zh) | 一种基于深度学习的仿人机械手控制系统及其控制方法 | |
| EP3552775B1 (en) | Robotic system and method for operating on a workpiece | |
| CN106650873B (zh) | 一种识别码、自动引导车的快速导航方法及系统 | |
| CN103499973B (zh) | 一种主－从机协同作业农业机械智能导航系统 | |
| Harapanahalli et al. | Autonomous Navigation of mobile robots in factory environment | |
| CN111538337B (zh) | 一种变电站挂轨机器人巡检路线规划方法及系统 | |
| KR20190119237A (ko) | 로봇 주행용 위상 지도 생성 장치 및 방법 | |
| CN111381594A (zh) | 基于3d视觉的agv空间避障方法及系统 | |
| CN105303555A (zh) | 一种基于双目视觉的集卡定位与引导的方法及其系统 | |
| CN110849366A (zh) | 一种基于视觉和激光雷达融合的导航方法及系统 | |
| CN110737271A (zh) | 一种水面机器人自主巡航系统及方法 | |
| JP6925075B1 (ja) | ロボットの順番待ち方法、ロボット及びコンピュータ読み取り可能な記憶媒体 | |
| CN104384762A (zh) | 一种焊机移动控制系统以及控制方法 | |
| CN110162066A (zh) | 智能巡航车控制系统 | |
| CN114995424A (zh) | 一种移动工作站的控制方法及其相关设备 | |
| CN105022399A (zh) | 对于作业机构具有改进的地面跟随农机控制系统 | |
| CN102566552B (zh) | 面向物联网和3d gis的公路隧道智能检修机器人 | |
| CN111813125A (zh) | 一种基于轮式机器人的室内环境检测系统及方法 | |
| CN207281586U (zh) | 一种移动机器人导航控制系统 | |
| CN108152829B (zh) | 一种加装直线导轨的二维激光雷达建图装置及其建图方法 | |
| CN113179862A (zh) | 一种仿人型蘑菇采摘双臂机器人控制系统及控制方法 | |
| Lee et al. | Cyber Physical Autonomous Mobile Robot (CPAMR) framework in the context of industry 4.0 | |
| CN112873206A (zh) | 多任务自动分配的机械臂控制系统及作业台车 | |
| CN117032215A (zh) | 一种基于双目视觉的移动机器人物体识别及定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |