CN113269085B - 一种直线传送带跟踪控制方法、系统、装置及存储介质 - Google Patents
一种直线传送带跟踪控制方法、系统、装置及存储介质 Download PDFInfo
- Publication number
- CN113269085B CN113269085B CN202110561396.7A CN202110561396A CN113269085B CN 113269085 B CN113269085 B CN 113269085B CN 202110561396 A CN202110561396 A CN 202110561396A CN 113269085 B CN113269085 B CN 113269085B
- Authority
- CN
- China
- Prior art keywords
- task
- conveyor belt
- information
- following
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000003860 storage Methods 0.000 title claims abstract description 9
- 238000001514 detection method Methods 0.000 claims abstract description 12
- 230000033001 locomotion Effects 0.000 claims description 17
- 230000009466 transformation Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 3
- 239000000463 material Substances 0.000 abstract description 77
- 230000000694 effects Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G15/00—Conveyors having endless load-conveying surfaces, i.e. belts and like continuous members, to which tractive effort is transmitted by means other than endless driving elements of similar configuration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
- B65G43/08—Control devices operated by article or material being fed, conveyed or discharged
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Robotics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Manipulator (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Control Of Conveyors (AREA)
Abstract
本申请涉及一种直线传送带跟踪控制方法、系统、装置及存储介质，方法包括检测步骤和执行步骤；检测步骤包括：建立任务队列；对传送带进行拍摄，识别并获取各物体的靶标位置；获取编码器输出的传送带位置信息，将各被识别的物体分别新建为预设任务，并将物体的靶标位置和当前的传送带位置信息作为对应预设任务的特征信息；遍历任务队列，判断各预设任务是否与任务队列中的跟随任务重复以删除该预设任务或将预设任务插入任务队列；执行步骤包括：在传送带上建立工作区；按序从任务队列取出跟随任务并判断该跟随任务能否完成，若能则执行该跟随任务，反之则放弃该任务；基于任务队列的内容执行收尾步骤。本申请具有实现物料和任务的准确匹配的效果。
Description
技术领域
本申请涉及工业自动化的领域，尤其是涉及一种直线传送带跟踪控制方法、系统、装置及存储介质。
背景技术
在很多自动化生产环境中，使用机械臂代替人工进行作业，用来节约成本和提高效率。在一般的工况中，机械臂的运动轨迹都是事先设计好的，机械臂按照这种固定的轨迹重复相同的动作。有一些取料放料或者类似喷涂的情况下，物料放置在传送带上，跟着传送带一直移动。这种情况下，就需要机械臂能够根据一定的反馈信息，自动调整自身位置，以追及到物料，并在对物料上进行期望的操作。
在现有技术中，通常需要将物料固定在传送带上，并在各物料进入工作区的瞬间建立相应的任务，在传送带运动过程中执行任务。但是将物料进入工作区前进行固定并在工作区后解除固定的操作较为繁琐，如果不进行固定，由于某些物料具有不规则形状，在工作区中的物料有时会因为意外发生位移，物料位置在改变后将会导致任务与物料位置不对应，从而发生任务的空执行。
发明内容
为了在物料自由放置于传送带的前提下实现物料和任务的准确匹配，本申请提供一种直线传送带跟踪控制方法、系统、装置及存储介质。
第一方面，本申请提供的一种直线传送带跟踪控制方法，采用如下的技术方案：
一种直线传送带跟踪控制方法，包括同步进行的检测步骤和执行步骤；
所述检测步骤包括：
S11.建立任务队列，其中，任务队列用于有序地容纳跟随任务，跟随任务带有特征信息；
S12.基于预设时长间断性地对传送带进行拍摄，识别所获得图像中的物体并获取各物体的靶标位置；
S13.获取编码器输出的传送带位置信息，将各被识别的物体分别新建为预设任务，并将物体的靶标位置和当前的传送带位置信息作为对应预设任务的特征信息；
S14.遍历任务队列，基于预设任务和跟随任务的特征信息判断各预设任务是否与任务队列中的跟随任务重复，若重复则删除该预设任务，若不重复则将预设任务插入任务队列并更新任务队列；
所述执行步骤包括：
S21.在传送带上建立工作区；
S22.按序从任务队列取出一个跟随任务，基于第一策略判断该跟随任务能否完成，若能够完成，执行该跟随任务，若不能完成，则放弃该任务；
S23.检测任务队列是否为空，若是则执行收尾步骤，若否则返回S22。
通过采用上述技术方案，传送带用于对物料进行传送，在传送过程中，如机械臂等设备同步地对物料进行操作。视觉系统对传送带一定范围进行拍摄，拍摄具有固定的时间间隔。当传送带上的物料随传送带进入拍摄区域时，系统对其进行拍摄。系统中事先预录入有传送带上物料的图像信息，因此可以进行相应的识别，判断拍摄图像上物体对应的区块，从而获得靶标位置，靶标位置是对应于物料上特征点的位置。在识别到物料的同时，创建预设任务，同时获取编码器输出的传送带位置信息，并将两者相对应作为预设任务的特征信息。编码器输出的传送带位置信息即为编码器的编码信息，任一编码均能够确定传送带上各点的当前位置。由于拍摄具有固定的时间间隔，因此任两次相邻拍摄识别到的同一物体在不发生移动的情况下，应具有相同的位移。因此对物体是否重复进行判断，并基于判断结果将不重复的物体对应的预设任务插入任务队列。由此，能够基于固定的视觉系统对运动的物体进行识别，降低了图像识别的计算量和误判率，对系统的计算能力的要求较低，降低了设备的生产成本。
在进行执行步骤时，由于进入工作区终点物体的间距不同，机械臂等设备在对物料进行操作时需要一定的工作时长，在几个物体位置较为紧凑时容易导致部分物体在未来得及加工完毕时即离开工作区，因此需要对工作区中的物体对应的任务进行判定，对于能够完成的任务进行执行，对于只能部分完成或无法开始的任务进行放弃。通过这种方法，能够提高装置的工作效率，减少了在物料分布不均匀时废品的产生。
优选的，所述S12包括以下步骤：
S121.基于预设时长间断性地对传送带进行拍摄；
S122.读取物体的识别模板并获取识别模板的轮廓信息， 基于轮廓信息生成并记录设置于轮廓信息内指定像素位置处的靶标位置 ；
S123.识别拍摄的图像信息，获取图像信息中的轮廓信息并与识别模板对应的轮廓信息相匹配；
S124.通过计算获得轮廓信息的指定像素位置处的靶标位置。
通过采用上述技术方案，按固定频率对传送带进行拍摄，并基于预存的识别模板与获取的图像进行匹配，从而得到靶标位置，由于传送带具有一定的宽度，准确的靶标位置不仅能够用于表征物体在传送带宽度方向上的位置，还能够为机械臂等设备提供参考基点。
优选的，所述S13包括以下步骤：
S131.获取编码器输出的传送带位置信息；
S132.将图像信息中和识别模板相同的轮廓信息对应的物体作为预设任务；
S133.将物体的靶标位置和当前的传送带位置信息作为对应预设任务的特征信息。
通过采用上述技术方案，由于传送带具有一定的宽度，物料除了在传送带的运动方向上具有一定间距，在传送带的宽度方向上也具有一定的间距，标靶位置与传送带位置信息配合能够确定物料的实时位置。
优选的，所述S14包括以下步骤：
S141.提取预设任务特征信息中的传送带位置信息，计算估算传送带位置信息，其中，估算传送带位置信息=特征信息中的传送带位置信息-传送带运动速度×预设时长；
S142.依次读取任务队列中各跟随任务的特征信息，得到历史传送带位置信息，比较历史传送带位置信息和估算传送带位置信息，
若|历史传送带位置信息-估算传送带位置信息|＜预设误差上限，则判定该预设任务已存在于任务队列，删除该预设任务，并将当前的传送带位置信息更新入跟随任务中的特征信息；
若|历史传送带位置信息-估算传送带位置信息|＞预设误差上限，则将该预设任务插入任务队列；
S143.删除任务队列中在S142步骤中特征信息未被更新的跟随任务；
S144.基于物体在传送带上的先后顺序排列对应的跟随任务。
通过采用上述技术方案，由于对传送带的拍摄是按固定频率进行的，因此对于每个物料而言，系统所检测到的并不是一条连续的轨迹，而是离散的点位。当物料相对于传送带固定时，物料在相邻点位之间的距离是固定的。本方案通过该固定距离对相邻点的历史位置和预估位置的距离进行测量，判断其是否在误差范围内，若在误差范围内则判定该物料对应于上一次拍照时刻在对应位置的物料，作为同一跟随任务并更新特征信息。若在误差范围外，则判定该物料为新物料或移动的物料，并作为新的任务。删除未被更新的任务，此类任务对应于位置发生移动的物料，对其进行清除以避免机械臂发生空操作。对任务队列内的跟随任务进行排列，以使得机械臂能够优先处理靠近工作区终点的物料，提高了机械臂的工作周期占比。
优选的，所述S21包括以下步骤：
S211.在传送带上标定起点位置和边界位置，其中，起点位置和边界位置在世界坐标系上固定，工作区设于起点位置和边界位置之间；
所述第一策略包括：
步骤一：读取跟随任务，并获取起点位置的当前编码器值和边界位置的当前编码器值；
步骤二：执行判断：
若跟随任务特征信息内的传送带位置信息＜起点位置的当前编码器值，则判断能够完成并进行待机；
若边界位置的当前编码器值＞跟随任务特征信息内的传送带位置信息＞起点位置的当前编码器值，则判断能够完成并执行跟随任务；
若跟随任务特征信息内的传送带位置信息＞起点位置的当前编码器值，则判断无法完成，删除该跟随任务。
通过采用上述技术方案，由于机械臂对物料的操作具有一定的时长，在该时长内物料和机械臂将会沿传送带的传动方向同步移动一段距离，因此当物料与工作区边界位置的距离较近，小于机械臂在物料上操作的所需时间时，如若继续操作将会导致机械臂未处理完任务，任务对应的物料即脱离工作区。因此根据编码器值的相关信息对任务的可完成性进行判断，有助于提高机械臂的工作效率。
优选的，所述跟随任务包括以下步骤：
步骤一：在传送带上建立动工作台坐标系，并确定动工作台坐标系与世界坐标系的空间变换关系；
步骤二：获取机械臂基准点在世界坐标系的坐标，根据空间变换关系转化为动工作台坐标系中的动态坐标；根据空间变换关系将靶标位置转化为动工作台坐标系中的目标位置；
步骤三：基于动态坐标和目标位置进行路径规划，并基于路径规划进行速度规划；
步骤四：将规划的路径和速度根据空间变换关系转化至世界坐标系。
通过采用上述技术方案，动工作台坐标系基于传送带设置的，相对于传送带静止。将世界坐标系中的机械臂基准点转化为动工作台坐标系中的坐标，可以方便地对动态坐标和目标位置进行路径规划和速度规划，再转化回世界坐标系，这一系列操作只需要在世界坐标系和动工作台坐标系进行一次变换，而无需以机械臂基准点建立另外一套坐标系，有利于计算量的减少，降低了对硬件计算能力的要求。
优选的，所述收尾步骤为控制机械臂移动至待机位置。
通过采用上述技术方案，机械臂移动至待机位置以等待下一任务队列的开始。
第二方面，本申请提供了一种系统，采用如下的技术方案：
一种系统，包括：
任务队列存储器，用于有序地容纳跟随任务，跟随任务带有特征信息；
编码器，用于输出传送带位置信息；
视觉模块，用于基于预设时长间断性地对传送带进行拍摄，并识别所获得图像中的物体并获取各物体的靶标位置；
任务建立模块，用于获取编码器输出的传送带位置信息，将各被识别的物体分别新建为预设任务，并将物体的靶标位置和当前的传送带位置信息作为对应预设任务的特征信息
任务更新模块，用于基于当前的传送带位置信息、预设任务的特征信息和预设时长判断是否将预设任务更新入任务队列；
工作区建立模块，用于在传送带上建立工作区；
判断执行模块，用于按序从任务队列取出一个跟随任务以进行可行性判断，并根据可行性进行执行；
收尾模块，用于检测队列的剩余任务并基于检测结果执行收尾工作。
通过采用上述技术方案，传送带用于对物料进行传送，在传送过程中，如机械臂等设备同步地对物料进行操作。视觉系统对传送带一定范围进行拍摄，拍摄具有固定的时间间隔。当传送带上的物料随传送带进入拍摄区域时，系统对其进行拍摄。系统中事先预录入有传送带上物料的图像信息，因此可以进行相应地识别，判断拍摄图像上物体对应的区块，从而获得靶标位置，靶标位置是对应于物料上特征点的位置。在识别到物料的同时，创建预设任务，同时获取编码器输出的传送带位置信息，并将两者相对应作为预设任务的特征信息。编码器输出的传送带位置信息即为编码器的编码信息，任一编码均能够确定传送带上各点的当前位置。由于拍摄具有固定的时间间隔，因此任两次相邻拍摄识别到的同一物体在不发生移动的情况下，应具有相同的位移。因此对物体是否重复进行判断，并基于判断结果将不重复的物体对应的预设任务插入任务队列。由此，能够基于固定的视觉系统对运动的物体进行识别，降低了图像识别的计算量和误判率，对系统的计算能力的要求较低，降低了设备的生产成本。
在进行执行步骤时，由于进入工作区终点物体的间距不同，机械臂等设备在对物料进行操作时需要一定的工作时长，在几个物体位置较为紧凑时容易导致部分物体在未来得及加工完毕时即离开工作区，因此需要对工作区中的物体对应的任务进行判定，对于能够完成的任务进行执行，对于只能部分完成或无法开始的任务进行放弃。通过这种方法，能够提高装置的工作效率，减少了在物料分布不均匀时废品的产生。
第三方面，本申请提供了一种装置，采用如下的技术方案：
一种装置，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行上述任一方法的计算机程序。
第四方面，本申请提供了一种可读存储介质，采用如下的技术方案：
一种可读存储介质，存储有能够被处理器加载并执行如上述任一方法的计算机程序。
附图说明
图1是本申请实施例中检查步骤的流程框图；
图2是本申请实施例中跟随任务的流程框图；
图3是本申请实施例中S12的流程框图；
图4是本申请实施例中S13的流程框图；
图5是本申请实施例中S14的流程框图；
图6是本申请实施例中执行步骤的流程框图；
图7是本申请实施例中物料移动的示意图；
图8是本申请实施例中第一策略的流程框图。
具体实施方式
以下结合附图1-7，对本申请作进一步详细说明。
本申请实施例公开一种直线传送带跟踪控制方法。该直线传送带跟踪控制方法包括同步进行的检测步骤和执行步骤，检测步骤与执行步骤是同步进行的，通过检测步骤获取得到的数据得到合适的任务队列，并在执行步骤中选择性地对任务队列内的跟随任务进行执行，以进行高效跟踪。
参照图1，检测步骤包括以下步骤：
S11.建立任务队列，其中，任务队列用于有序地容纳跟随任务，跟随任务带有特征信息。
跟随任务与传送带上的物料相对应，在跟随任务执行至跟随后，便可执行对物料的操作。举个例子，比如物料为一方形物体，在执行跟随任务时，即表现为先驱动机械臂的末端移动到物料对应的基点上，再让机械臂的末端沿物料的各个边缘进行涂胶。
更具体的，跟随任务内包含机械臂的运动轨迹，该轨迹实际上是机械臂对物体进行一系列的操作，可以由事先进行示教的点位获得。在获得示教点后，由于运动轨迹通常由多条示教点生成的线条组成，比如B样条曲线，或者直接由多个示教点连成的折线组成，需要划分为许多较短的线段进行插补，插补过程中进行速度规划，以使得机械臂的移动更为平滑。需要注意的是，该运动轨迹上各点的位置都是相对于传送带的，而传送带是变动的，因此需要将其转化为世界坐标系下的坐标，世界坐标系对于机械臂来说是固定不变的。
基于此，在一些实施例中，参照图2，跟随任务包括以下步骤：
步骤一：在传送带上建立动工作台坐标系，并确定动工作台坐标系与世界坐标系的空间变换关系。
步骤二：获取机械臂基准点在世界坐标系的坐标，根据空间变换关系转化为动工作台坐标系中的动态坐标；根据空间变换关系将靶标位置转化为动工作台坐标系中的目标位置。
步骤三：基于动态坐标和目标位置进行路径规划，并基于路径规划进行速度规划。
步骤四：将规划路径信息和规划速度信息根据空间变换关系转化至世界坐标系。
动工作台坐标系基于传送带设置的，相对于传送带静止。将世界坐标系中的机械臂基准点转化为动工作台坐标系中的坐标，可以方便地对动态坐标和目标位置进行路径规划和速度规划，再转化回世界坐标系，这一系列操作只需要在世界坐标系和动工作台坐标系进行一次变换，而无需以机械臂基准点建立另外一套坐标系，有利于计算量的减少，降低了对硬件计算能力的要求。
S12.基于预设时长间断性地对传送带进行拍摄，识别所获得图像中的物体并获取各物体的靶标位置。
视觉系统是带有摄像头的用于获取传送台图像的装置，视觉系统对传送带一定范围进行拍摄，拍摄具有固定的时间间隔。当传送带上的物料随传送带进入拍摄区域时，摄像头对其进行拍摄。系统中事先预录入有传送带上物料的图像信息，因此进行相应地识别，判断拍摄图像上物体对应的区块，从而获得靶标位置，靶标位置是对应于物料上特征点的位置。
具体的，在某些实施例中，参照图3，S12包括以下步骤：
S121.基于预设时长间断性地对传送带进行拍摄；
S122.读取物体的识别模板并获取识别模板的轮廓信息， 基于轮廓信息生成并记录设置于轮廓信息内指定像素位置处的靶标位置 ；
S123.识别拍摄的图像信息，获取图像信息中的轮廓信息并与识别模板对应的轮廓信息相匹配 ；
S124.通过计算获得轮廓信息的指定像素位置处的靶标位置。
在传送带运动了预设时长后，控制系统输出一个IO信号给视觉系统，视觉系统收到IO信号后开始拍照识别，与此同时控制系统记录下当前的传送带位置，也就是编码器的编码，作为当前相机识别到的物体的基准位置。视觉系统识别到物体后会将物体的位置数据发送给控制系统，如果识别到多个物体，那么会有多个数据发送。至于图像的匹配方法，则是控制系统基于预存的识别模板与获取的图像进行匹配，从而得到靶标位置。识别模板上预存有物料上的多个特征点，基于特征点可以对物料及物料的姿态进行确定。由于传送带具有一定的宽度，准确的靶标位置不仅能够用于表征物体在传送带宽度方向上的位置，还能够为机械臂等设备提供参考基点。
由于可以通过编码器变化来获取传送带的位置，在某些实施例中，在编码器的编码变化一定值后，而不是传送带运动一定时间后，控制系统输出一个IO信号给视觉系统，视觉系统收到IO信号后开始拍照识别。
S13.获取编码器输出的传送带位置信息，将各被识别的物体分别新建为预设任务，并将物体的靶标位置和当前的传送带位置信息作为对应预设任务的特征信息。
在一些实施例中，参照图4，S13包括以下步骤：
S131.获取编码器输出的传送带位置信息；
S132.将图像信息中和识别模板相同的轮廓信息对应的物体作为预设任务；
S133.将物体的靶标位置和当前的传送带位置信息作为对应预设任务的特征信息。
由于传送带具有一定的宽度，物料除了在传送带的运动方向上具有一定间距，在传送带的宽度方向上也具有一定的间距，标靶位置与传送带位置信息配合能够确定物料的实时位置。该部分生成的预设任务并不直接用于跟随，由于物料不固定于传送带上，还需要筛除物料位置发生偏移导致的原任务失效部分。
S14.遍历任务队列，基于预设任务和跟随任务的特征信息判断各预设任务是否与任务队列中的跟随任务重复，若重复则删除该预设任务，若不重复则将预设任务插入任务队列并更新任务队列。
在一些实施例中，参照图5，S14包括以下步骤：
S141.提取预设任务特征信息中的传送带位置信息，计算估算传送带位置信息，其中，估算传送带位置信息=特征信息中的传送带位置信息-传送带运动速度×预设时长；
S142.依次读取任务队列中各跟随任务的特征信息，得到历史传送带位置信息，比较历史传送带位置信息和估算传送带位置信息，
若|历史传送带位置信息-估算传送带位置信息|＜预设误差上限，则判定该预设任务已存在于任务队列，删除该预设任务，并将当前的传送带位置信息更新入跟随任务中的特征信息；
若|历史传送带位置信息-估算传送带位置信息|＞预设误差上限，则将该预设任务插入任务队列；
S143.删除任务队列中在S142步骤中特征信息未被更新的跟随任务；
S144.基于物体在传送带上的先后顺序排列对应的跟随任务。
在每次拍照后，均会再次记录当前传送带的位置和识别到的物体位置，如果前一次识别到物体的位置加上传送带的位移和新识别到的物体的位置相同（在设定的阈值以内），判定识别到的物体为同一个物体，机械手不会再次抓取，否则认为是不同的物体。这个指令相当于处在一个单独的线程中，是一直执行的，检测到一个物体，就产生一个任务，并将其压入队列中，等待执行。未更新特征信息的任务，即对应于位置发生移动的物料，需要对其进行清除以避免机械臂发生空操作。最后再对任务队列内的跟随任务进行排列，以使得机械臂能够优先处理靠近工作区终点的物料，提高了机械臂的工作周期占比。
执行步骤包括以下步骤：
S21.在传送带上建立工作区；
在一些实施例中，参照图6，S21包括以下步骤：
S211.在传送带上标定起点位置和边界位置，其中，起点位置和边界位置在世界坐标系上固定，工作区设于起点位置和边界位置之间；
S22.按序从任务队列取出一个跟随任务，基于第一策略判断该跟随任务能否完成，若能够完成，执行该跟随任务，若不能完成，则放弃该任务。
标定是机械臂工作前的准备工作，用于在随传送带移动后指示机械臂如何对目标物体产生动作。另外，编码器的安装位置可以在传送带的各处，只需能够反映传送带的运动即可。另外，电机的速度可以是匀速的，可以不是匀速的，传送带负载时，速度有可能是匀速的，也有可能不是匀速的，但凡编码器能够准备记录传动带的移动距离即可。
对于直线传送带，如果工作区标定的点发生改变，则坐标系也发生改变，相当于现在的轨迹和原来的轨迹不一样了，需要重新标出新的轨迹。举个例子，比如一条射线，如果端点移动了，则相当于整个射线移动了。
在S211中也可以在传送带上标定一个记录点，该记录点在世界坐标系上固定，在某些实施例中，重新标定方法可以为如下步骤：首先将原来的记录点移动到新的记录点上，新的记录点为原先记录点发生移动所得，则可以得到各个方向移动的增量。然后起点位置和边界位置叠加这个方向增量，就可以得到新的坐标。因为它们之间的距离没有变，所有编码器的差值也没有变，故可以构造出一组新的坐标了。直线用的是长度与编码器差值的比例，该比例在首次标定时自动计算，后续不会改变。换而言之，就是在最开始示教三个点，并在动工作台坐标系中教导机械臂的轨迹，当物料由于意外在动工作台坐标系中发生移动时，则可根据编码器值平移机械臂的轨迹。
具体的，参照图7，在物体A沿传送带依次经过A1、A2、A3点，其中A1点位于记录点，A2点位于起点位置，A3点位于起点位置和终点位置之间的工作区内。图上的折线即为机械臂相对于物体A的运动轨迹，其相对于动工作台坐标系静止。
动平台
上的点A3到初始平台/>
上的点A1的变换关系为：/>
，其中T为平移转换矩阵。
动工作台坐标系和世界坐标系上点坐标的变换关系为：
，从而将初始平台上的点转化为世界坐标系w上的坐标。
平移转化矩阵
=/>
,
其中，
，/>
，/>
。
两点间的直线为
，x，y，z均为各方向的分量。
具体的，参照图8，第一策略包括：
步骤一：读取跟随任务，并获取起点位置的当前编码器值和边界位置的当前编码器值；
步骤二：执行判断：
若跟随任务特征信息内的传送带位置信息＜起点位置的当前编码器值，则判断能够完成并进行待机；
若边界位置的当前编码器值＞跟随任务特征信息内的传送带位置信息＞起点位置的当前编码器值，则判断能够完成并执行跟随任务；
若跟随任务特征信息内的传送带位置信息＞起点位置的当前编码器值，则判断无法完成，删除该跟随任务。
由于机械臂对物料的操作具有一定的时长，在该时长内物料和机械臂将会沿传送带的传动方向同步移动一段距离，因此当物料与工作区边界位置的距离较近，小于机械臂在物料上操作的所需时间时，如若继续操作将会导致机械臂未处理完任务，任务对应的物料即脱离工作区。因此根据编码器值的相关信息对任务的可完成性进行判断，有助于提高机械臂的工作效率。
S23.检测任务队列是否为空，若是则执行收尾步骤，若否则返回S22。
在某些实施例中，收尾步骤为控制机械臂移动至待机位置，以等待下一任务队列的开始。
本实施例还公开了一种系统，包括：
任务队列存储器，用于有序地容纳跟随任务，跟随任务带有特征信息；
编码器，用于输出传送带位置信息；
视觉模块，用于基于预设时长间断性地对传送带进行拍摄，并识别所获得图像中的物体并获取各物体的靶标位置；
任务建立模块，用于获取编码器输出的传送带位置信息，将各被识别的物体分别新建为预设任务，并将物体的靶标位置和当前的传送带位置信息作为对应预设任务的特征信息
任务更新模块，用于基于当前的传送带位置信息、预设任务的特征信息和预设时长判断是否将预设任务更新入任务队列；
工作区建立模块，用于在传送带上建立工作区；
判断执行模块，用于按序从任务队列取出一个跟随任务以进行可行性判断，并根据可行性进行执行；
收尾模块，用于检测队列的剩余任务并基于检测结果执行收尾工作。
本实施例还公开了一种装置，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如上述方法的计算机程序。
本实施例还公开了一种可读存储介质，存储有能够被处理器加载并执行上述方法的计算机程序。
以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的结构、形状、原理所做的等效变化，均应涵盖于本申请的保护范围之内。
Claims (7)
1.一种直线传送带跟踪控制方法，其特征在于，包括同步进行的检测步骤和执行步骤；
所述检测步骤包括：
S11.建立任务队列，其中，任务队列用于有序地容纳跟随任务，跟随任务带有特征信息；
S12.基于预设时长间断性地对传送带进行拍摄，识别所获得图像中的物体并获取各物体的靶标位置；
S13.获取编码器输出的传送带位置信息，将各被识别的物体分别新建为预设任务，并将物体的靶标位置和当前的传送带位置信息作为对应预设任务的特征信息；
S14.遍历任务队列，基于预设任务和跟随任务的特征信息判断各预设任务是否与任务队列中的跟随任务重复，若重复则删除该预设任务，若不重复则将预设任务插入任务队列并更新任务队列；
所述执行步骤包括：
S21.在传送带上建立工作区；
S22.按序从任务队列取出一个跟随任务，基于第一策略判断该跟随任务能否完成，若能够完成，执行该跟随任务，若不能完成，则放弃该任务；
S23.检测任务队列是否为空，若是则执行收尾步骤，若否则返回S22；
所述S12包括以下步骤：
S121.基于预设时长间断性地对传送带进行拍摄；
S122.获取物体的识别模板的轮廓信息，并基于轮廓信息生成并记录设置于轮廓信息内指定像素位置处的靶标位置；
S123.识别拍摄的图像信息，获取图像信息中的轮廓信息并与识别模板对应的轮廓信息相匹配；
S124.通过计算获得轮廓信息的指定像素位置处的靶标位置；
所述S13包括以下步骤：
S131.获取编码器输出的传送带位置信息；
S132.将图像信息中和识别模板相同的轮廓信息对应的物体作为预设任务；
S133.将物体的靶标位置和当前的传送带位置信息作为对应预设任务的特征信息；
所述S14包括以下步骤：
S141.提取预设任务特征信息中的传送带位置信息，计算估算传送带位置信息，其中，估算传送带位置信息=特征信息中的传送带位置信息-传送带运动速度×预设时长；
S142.依次读取任务队列中各跟随任务的特征信息，得到历史传送带位置信息，比较历史传送带位置信息和估算传送带位置信息，
若|历史传送带位置信息-估算传送带位置信息|＜预设误差上限，则判定该预设任务已存在于任务队列，删除该预设任务，并将当前的传送带位置信息更新入跟随任务中的特征信息；
若|历史传送带位置信息-估算传送带位置信息|＞预设误差上限，则将该预设任务插入任务队列；
S143.删除任务队列中在S142步骤中特征信息未被更新的跟随任务；
S144.基于物体在传送带上的先后顺序排列对应的跟随任务。
2.根据权利要求1所述的直线传送带跟踪控制方法，其特征在于，所述S21包括以下步骤：
S211.在传送带上标定起点位置和边界位置，其中，起点位置和边界位置在世界坐标系上固定，工作区设于起点位置和边界位置之间；
所述第一策略包括：
步骤一：读取跟随任务，并获取起点位置的当前编码器值和边界位置的当前编码器值；
步骤二：执行判断：
若跟随任务特征信息内的传送带位置信息＜起点位置的当前编码器值，则判断能够完成并进行待机；
若边界位置的当前编码器值＞跟随任务特征信息内的传送带位置信息＞起点位置的当前编码器值，则判断能够完成并执行跟随任务；
若跟随任务特征信息内的传送带位置信息＞边界位置的当前编码器值，则判断无法完成，删除该跟随任务。
3.根据权利要求2所述的直线传送带跟踪控制方法，其特征在于，所述跟随任务包括以下步骤：
步骤一：在传送带上建立动工作台坐标系，并确定动工作台坐标系与世界坐标系的空间变换关系；
步骤二：获取机械臂基准点在世界坐标系的坐标，根据空间变换关系转化为动工作台坐标系中的动态坐标；根据空间变换关系将靶标位置转化为动工作台坐标系中的目标位置；
步骤三：基于动态坐标和目标位置进行路径规划，并基于路径规划进行速度规划；
步骤四：将规划的路径和速度根据空间变换关系转化至世界坐标系。
4.根据权利要求3所述的直线传送带跟踪控制方法，其特征在于，所述收尾步骤为控制机械臂移动至待机位置。
5.一种系统，其特征在于，用于执行如权利要求1-4任意一项所述的直线传送带跟踪控制方法，包括：
任务队列存储器，用于有序地容纳跟随任务，跟随任务带有特征信息；
编码器，用于输出传送带位置信息；
视觉模块，用于基于预设时长间断性地对传送带进行拍摄，并识别所获得图像中的物体并获取各物体的靶标位置；
任务建立模块，用于获取编码器输出的传送带位置信息，将各被识别的物体分别新建为预设任务，并将物体的靶标位置和当前的传送带位置信息作为对应预设任务的特征信息
任务更新模块，用于基于当前的传送带位置信息、预设任务的特征信息和预设时长判断是否将预设任务更新入任务队列；
工作区建立模块，用于在传送带上建立工作区；
判断执行模块，用于按序从任务队列取出一个跟随任务以进行可行性判断，并根据可行性进行执行；
收尾模块，用于检测队列的剩余任务并基于检测结果执行收尾工作。
6.一种装置，其特征在于，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如权利要求1至4中任一项所述的方法的计算机程序。
7.一种可读存储介质，其特征在于，存储有能够被处理器加载并执行如权利要求1至4中任一项所述的方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110561396.7A CN113269085B (zh) | 2021-05-22 | 2021-05-22 | 一种直线传送带跟踪控制方法、系统、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110561396.7A CN113269085B (zh) | 2021-05-22 | 2021-05-22 | 一种直线传送带跟踪控制方法、系统、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113269085A CN113269085A (zh) | 2021-08-17 |
| CN113269085B true CN113269085B (zh) | 2023-05-30 |
Family
ID=77232503
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110561396.7A Active CN113269085B (zh) | 2021-05-22 | 2021-05-22 | 一种直线传送带跟踪控制方法、系统、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113269085B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113568414B (zh) * | 2021-09-09 | 2024-06-07 | 苏州艾利特机器人有限公司 | 一种机器人的运动控制方法、装置、机器人及存储介质 |
| CN115108271B (zh) * | 2022-06-29 | 2024-08-02 | 深圳市艾普生物科技有限公司 | 一种烟油自动化输送系统及输送方法 |
| CN115319762B (zh) * | 2022-10-18 | 2023-03-21 | 上海航天壹亘智能科技有限公司 | 用于生产线的机器人控制方法、生产线及数控机床 |
| CN117125469B (zh) * | 2023-09-12 | 2024-03-15 | 天津锐新昌科技股份有限公司 | 散热翅片自动上卸料控制方法、系统、装置、设备及介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106493728A (zh) * | 2015-09-03 | 2017-03-15 | 发那科株式会社 | 坐标系设定方法、坐标系设定装置以及机器人系统 |
| CN109773783A (zh) * | 2018-12-27 | 2019-05-21 | 北京宇琪云联科技发展有限公司 | 一种基于空间点云识别的巡防智能机器人及其警务系统 |
| WO2020010627A1 (zh) * | 2018-07-13 | 2020-01-16 | 深圳配天智能技术研究院有限公司 | 一种工件跟踪方法、系统及机器人 |
| CN110948491A (zh) * | 2019-12-21 | 2020-04-03 | 深圳市华成工业控制有限公司 | 一种基于视觉跟随的工业机器人抓取方法 |
| CN110963298A (zh) * | 2019-12-21 | 2020-04-07 | 深圳市华成工业控制有限公司 | 基于视觉跟随的取料装置及方法 |
| CN211310115U (zh) * | 2019-12-21 | 2020-08-21 | 深圳市华成工业控制股份有限公司 | 基于视觉跟随的取料装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012101955A1 (ja) * | 2011-01-27 | 2012-08-02 | パナソニック株式会社 | ロボットアームの制御装置及び制御方法、ロボット、ロボットアーム制御プログラム、並びに、集積電子回路 |
-
2021
- 2021-05-22 CN CN202110561396.7A patent/CN113269085B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106493728A (zh) * | 2015-09-03 | 2017-03-15 | 发那科株式会社 | 坐标系设定方法、坐标系设定装置以及机器人系统 |
| WO2020010627A1 (zh) * | 2018-07-13 | 2020-01-16 | 深圳配天智能技术研究院有限公司 | 一种工件跟踪方法、系统及机器人 |
| CN109773783A (zh) * | 2018-12-27 | 2019-05-21 | 北京宇琪云联科技发展有限公司 | 一种基于空间点云识别的巡防智能机器人及其警务系统 |
| CN110948491A (zh) * | 2019-12-21 | 2020-04-03 | 深圳市华成工业控制有限公司 | 一种基于视觉跟随的工业机器人抓取方法 |
| CN110963298A (zh) * | 2019-12-21 | 2020-04-07 | 深圳市华成工业控制有限公司 | 基于视觉跟随的取料装置及方法 |
| CN211310115U (zh) * | 2019-12-21 | 2020-08-21 | 深圳市华成工业控制股份有限公司 | 基于视觉跟随的取料装置 |
Non-Patent Citations (2)
| Title |
|---|
| Boschetti, G.1.A picking strategy for circular conveyor tracking.《Journal of Intelligent & Robotic Systems》.2016,第81卷(第2期),第241-255页. * |
| 生产线搬运机械手控制系统设计;何玉辉;王海旭;苗玉刚;于宁静;;自动化技术与应用(第06期);第144-147页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113269085A (zh) | 2021-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113269085B (zh) | 一种直线传送带跟踪控制方法、系统、装置及存储介质 | |
| CN101370624B (zh) | 自动化攫握零件的方法和系统 | |
| CN110640730B (zh) | 生成用于机器人场景的三维模型的方法和系统 | |
| US20200298411A1 (en) | Method for the orientation of an industrial robot, and industrial robot | |
| JPH0863214A (ja) | ビジュアルトラッキング方法 | |
| CN111328305B (zh) | 控制设备、作业机器人、程序和控制方法 | |
| JP2002018754A (ja) | ロボット装置及びその制御方法 | |
| CN111745640B (zh) | 物体检测方法、物体检测装置以及机器人系统 | |
| US11694452B1 (en) | Crane-mounted system for automated object detection and identification | |
| JP7078894B2 (ja) | 制御システム、制御装置、画像処理装置およびプログラム | |
| JPH0972717A (ja) | 画像の取得・処理方法 | |
| JP5573275B2 (ja) | 特徴点抽出装置及びこれを用いた動作教示装置、動作処理装置 | |
| CN114273726A (zh) | 3d视觉引导切坡口方法、装置、设备、系统及存储介质 | |
| CN113601501B (zh) | 机器人柔性作业方法、装置及机器人 | |
| CN109591051B (zh) | 复合机器人作业精度补偿方法、系统及存储介质 | |
| JP5446887B2 (ja) | 制御装置、ロボット、ロボットシステム及びロボットの追従方法 | |
| CN115272410A (zh) | 一种无标定视觉的动态目标追踪方法、装置、设备及介质 | |
| US7203601B2 (en) | Work mounting device | |
| CN113232022B (zh) | 一种圆盘传送跟踪控制方法、系统、装置及存储介质 | |
| TWI696529B (zh) | 自動定位方法以及自動控制裝置 | |
| JPH05150835A (ja) | ロボツトによる組み立て装置 | |
| JP2011093076A (ja) | 情報処理方法及び装置並びにプログラム | |
| US20240198543A1 (en) | Automatic gripper fingertip design to reduce leftover in random bin picking applications | |
| CN116197918B (zh) | 基于动作记录分析的机械手控制系统 | |
| JPH0876829A (ja) | 連続作業経路のロボットへの教示方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |