CN114943751A - 云化plc环境下基于方向矢量的物料跟踪定位方法及系统 - Google Patents

云化plc环境下基于方向矢量的物料跟踪定位方法及系统 Download PDF

Info

Publication number
CN114943751A
CN114943751A CN202210880766.8A CN202210880766A CN114943751A CN 114943751 A CN114943751 A CN 114943751A CN 202210880766 A CN202210880766 A CN 202210880766A CN 114943751 A CN114943751 A CN 114943751A
Authority
CN
China
Prior art keywords
direction vector
information
coordinate
predicted
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210880766.8A
Other languages
English (en)
Other versions
CN114943751B (zh
Inventor
王健全
付美霞
卢一凡
孙雷
王曲
王振乾
吴健生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN202210880766.8A priority Critical patent/CN114943751B/zh
Publication of CN114943751A publication Critical patent/CN114943751A/zh
Application granted granted Critical
Publication of CN114943751B publication Critical patent/CN114943751B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种云化PLC环境下基于方向矢量的物料跟踪定位方法及系统，涉及工业网络控制技术领域。包括：传送模块将待分拣的物料传送至视觉模块的检测区；视觉模块对检测区内的物料进行处理得到物料中物料点的信息，将物料点的信息传送至云化PLC控制模块；云化PLC控制模块接收物料点的信息，并向执行模块下达动作指令；传送模块将经过视觉模块处理的物料传送至执行模块的工作区；执行模块根据动作指令对工作区内的物料进行分拣，完成分拣任务。本发明能够减少因图像处理时间和执行机构动作时间不一致造成的物料信息重复上报现象，减少了因此导致的执行器误捡、空捡现象，达到了提高系统运行效率、减少资源耗费、保护系统部件安全的作用。

Description

云化PLC环境下基于方向矢量的物料跟踪定位方法及系统
技术领域
本发明涉及工业网络控制技术领域，特别是指一种云化PLC环境下基于方向矢量的物料跟踪定位方法及系统。
背景技术
目前，工业制造正在从自动化向智能化阶段转型，这种转型需要利用信息化的手段来赋能工业化，特别是采用人工智能、大数据、云计算等方式来进行数据的智能化处理，在这种新的生产方式中，数据将作为新的生产要素而存在，设备运行状态和性能数据的动态、实时采集是基础，这些数据的高效、实时流转是关键，在此基础上，利用先进信息技术化手段对数据的处理是智能化的目标。由于传统工业自动化制造沿用的是封闭的体系架构，数据难以跨层交互、不同设备和系统间的数据更是难以互通，同时由于标准不统一，也限制了数据的有效采集，这使得传统的自动化生产制造在转型过程中也面临着一系列的问题。
由于PLC（Programmable Logic Controller，可编程逻辑控制器）在传统工业生产体系中对下负责控制设备，对上负责数据的采集、汇聚和上报，是整个系统中数据采集和流转承上启下的关键设备，所以PLC的变革至关重要。
传统的PLC软硬件不解耦，且标准化不统一，基本上被国外主流设备制造商所垄断，如西门子、ABB、施耐德等，价格昂贵且没法高效管理和维护。为了能够支持数据的高效流转，打破国外垄断，同时能够和先进信息技术相融合，PLC的软硬分离和云化已经成为了一种趋势。PLC软件化和云化后，就可以将PLC的控制层次分离出来，集中部署，简化网络架构，实现设备的全局管理和控制，数据的全面、动态管理。
集中式控制系统的实现需要依赖云化PLC技术， 云化PLC利用虚拟化技术和云端CPU资源，替换传统PLC硬件的CPU部份，使用耦合器将IO部分同虚拟CPU连接起来，完成硬PLC的功能。在集中式控制系统中，控制层与现场设备层分离，二者之间通过有线连接、无线网络等方式交换数据，这里统一将中间的数据交换环节抽象为在一个信息传递网络中进行。
在集中式控制系统中，通常包括信息采集装置，控制装置和执行装置，信息采集装置包含传感设备，为控制装置制定控制策略提供必要的信息，由控制装置根据这些信息来调度执行装置完成实际任务。
在现有集中式控制系统中，存在的问题是传感设备采集上报信息的时间与后续信 息传递以及动作执行时间的失衡。常见的传感设备包括摄像头、声波雷达、激光雷达等。一 般来说，传感器完成一次信息采集并将其处理上报所需的时间非常短，假设其采集处理的 时间间隔为
Figure 786508DEST_PATH_IMAGE001
；信息在网络中进行传递，会有传输时延，这里假设信息上行和下行的时间分 别为
Figure 711869DEST_PATH_IMAGE002
，
Figure 578194DEST_PATH_IMAGE003
；上层控制端，比如云化PLC接收到采集设备的信息后需要对其进行处理并完成对 下级执行设备的调度控制，假设这一环节所需的时间为
Figure 103854DEST_PATH_IMAGE004
；在执行器接收到来自控制层的 指令后，需要完成控制器指定的动作，由于大部分情况下的执行机构为机械结构，导致执行 器执行动作的这一环节往往是整个系统中最耗时的环节，假设执行器执行用时为
Figure 713826DEST_PATH_IMAGE005
。在绝 大部分实际应用场景中，传感器处理的时间
Figure 257809DEST_PATH_IMAGE001
往往远小于后续各个环节用时的总和
Figure 357352DEST_PATH_IMAGE006
，如 果被测设备从第一次被感知到
Figure 855461DEST_PATH_IMAGE006
内仍然在可测范围内，且
Figure 534704DEST_PATH_IMAGE007
则被测目标信 息至少重复上报一次，假定执行器工作正常的话，则第一次上报的信息就可以完全将其正 确处理，后续上报的多次都属于无效信息，而且会导致执行器误操作，所以有必要对来自感 知测量系统的重复、冗余信息进行处理。
基于机器视觉的自动分选装置是机器视觉系统在工业制造业中的典型应用，也一直是如制造、服务、医疗、农业等行业的热点研究和应用对象。一般来说，基于机器视觉的分选系统包括如下几部分：传送模块、视觉模块和分选模块。现有技术方案中，传送模块一般使用条形或环形的皮带输送机，在一些技术方案如可回收垃圾智能分选装置中，增加了料格和翻板盘，其目的是为了便于定位分选操作，但整体上来说，传送模块的作用是将物料送到视觉检测区域，或在检测分选完成后对物料进行分类运输。视觉模块一般使用单目或双目摄像机作为图像采集设备，获取待分选物料的图像信息，并通过识别算法对待分选物体进行分类。现有技术方案中所使用的识别算法主要分为两大类，基于图像处理的方法和基于深度学习的方法，现有技术的一种基于视觉检测系统的智能识别分拣系统中使用轮廓提取+模板匹配的基于图像处理的方法来对物料进行识别，这一类方法简单易部署，对硬件算力要求较低，但是本质上只能根据物体的轮廓进行识别，不能区分轮廓以外的比如颜色、款式等，且对于轮廓受损的物体，很可能会影响识别效果；现有技术的一种基于机器视觉的种子分拣装置中，使用了基于深度学习的识别检测算法，基于深度学习的检测方法对物体外观上得所有特征包括颜色、款式、形状等进行学习，并可以根据这些学习得到的特征对物体进行区分识别，但其缺点是应用部署起来较为繁琐，十分依赖于对应场景的数据集数量和质量，且在学习过程中如果参数调整不合适，可能会学到对于解决问题不必要的特征。分选模块为整个分选系统的执行机构，完成具体的分选功能，种类较多，可以是云化PLC控制的执行机构比如机械手、真空吸盘、夹爪等，这类执行器一般需要识别系统提供目标物体的坐标，然后到目标位置完成抓取或分拣功能；分选模块的另一种形式为装置中处于固定位置的气动或电磁吸盘，弹簧板，拨动板，翻板等，其工作方式一般为触发式，当检测到异常目标或分选目标出现时触发，将物体送至指定方向，然后复位，准备下一次触发。
现有技术方案中，整个基于机器视觉的分选装置的大致工作流程是：传送模块在整个流程或生产线中负责传输物料，物料送至视觉系统识别区域后，视觉模块对物料进行识别，选出目标物体后，将目标物体的出现或位置信息发送给分选模块，分选模块根据视觉模块提供的信息完成分选任务。
在现有的基于机器视觉的分选系统技术方案中，鲜有方案考虑到了系统在时间上 的整体性。实际应用过程中，视觉模块对于图像信息的处理时间及处理间隔往往远小于执 行机构完成分选动作以及目标的位置信息从视觉模块传达至执行机构的总时间，即大部分 系统中都会出现
Figure 201702DEST_PATH_IMAGE007
的问题。由于视觉模块按帧处理图像信息，则T就为帧间 隔，所以这个时间差的存在导致在分选模块完成一次分选动作的时间内，视觉模块会对同 一检测对象多次处理和上报，假设执行器收到第一次信息就可以正确处理并完成指定动 作，那么执行机构将会收到大量的冗余信息。而作为信息接收端，比如云化PLC，其本质功能 是按照坐标下发指令给执行机构进行动作，对于云化PLC接收端而言，其接收到的是是大量 的坐标信息，但云化PLC并不能区分这些坐标信息是否是同一对象的冗余，这将导致执行机 构反复执行同一对象的抓取动作，造成误捡、空捡，从而使整个系统的效率降低，甚至可能 发生错误或碰撞，损坏系统部件。
发明内容
本发明针对基于机器视觉的分拣系统中的同一目标重复上报引起的误捡空捡问题，提出一种基于方向矢量的物料跟踪定位方法，可以有效减少视觉模块中同一物体的坐标重复上报问题，减少资源浪费，保护系统安全，提升系统的运行效率。
为解决上述技术问题，本发明提供如下技术方案：
一方面，本发明提供了一种云化PLC环境下基于方向矢量的物料跟踪定位方法，该方法由云化PLC环境下基于方向矢量的物料跟踪定位系统实现，该系统包括传送模块、视觉模块、云化PLC控制模块以及执行模块，该方法包括：
S1、传送模块将待分拣的物料传送至视觉模块的检测区。
S2、视觉模块对检测区内的物料进行处理，得到物料中物料点的信息，并将物料点的信息传送至云化PLC控制模块。
S3、云化PLC控制模块接收物料点的信息，并向执行模块下达动作指令。
S4、传送模块将经过视觉模块处理的物料传送至执行模块的工作区。
S5、执行模块接收动作指令，并根据动作指令对工作区内的物料进行分拣，完成分拣任务。
可选地，S2中的视觉模块包括图像信息采集装置和信息处理装置。
视觉模块对检测区内的物料进行处理，得到物料中物料点的信息包括：
S21、图像信息采集装置采集物料的图像信息。
S22、信息处理装置对图像信息进行识别处理，得到物料中物料点的信息。
可选地，S22中的信息处理装置包括预测坐标库和矢量库。
信息处理装置对图像信息进行识别处理，得到物料中物料点的信息包括：
S221、信息处理装置对当前帧图像进行识别，得到当前帧图像中的一个或多个物料点，并将物料点的信息加入到处理队列。
S222、判断当前的矢量库是否为空；若为空，则执行S225；若不为空，则执行S223。
S223、对矢量库中的每个方向矢量进行检索，得到每个方向矢量的检索结果；其中，方向矢量的检索结果为方向矢量上包含一个或多个处理队列中物料点的方向矢量或方向矢量上不包含处理队列中物料点的方向矢量。
S224、判断每个方向矢量的检索结果；若方向矢量的检索结果为方向矢量上包含一个或多个处理队列中物料点的方向矢量，则获取沿传送模块的运动方向的方向矢量最前方的物料点，将最前方的物料点从处理队列中删除，并执行S225；若方向矢量的检索结果为方向矢量上不包含处理队列中物料点的方向矢量，则将方向矢量从矢量库中删除，并执行S225。
S225、判断当前的预测坐标库是否为空；若为空，则执行S228；若不为空，则执行S226。
S226、对预测坐标库中的每个预测坐标进行检索，得到每个预测坐标的检索结果；其中，预测坐标的检索结果为预测坐标在处理队列中存在匹配点、预测坐标在处理队列中不存在匹配点或物料点与预测坐标不匹配。
S227、判断每个预测坐标的检索结果；若预测坐标的检索结果为预测坐标在处理队列中存在匹配点，则将预测坐标的当前坐标的信息传送至云化PLC控制模块，将预测坐标从预测坐标库中删除；计算当前坐标的方向矢量，存入到矢量库。
若预测坐标的检索结果为预测坐标在处理队列中不存在匹配点，则将预测坐标从预测坐标库中删除。
若预测坐标的检索结果为物料点与预测坐标不匹配，则执行S228。
S228、对预测坐标不匹配的物料点进行预测，得到预测坐标，并将预测坐标更新到预测坐标库中。
S229、对当前帧图像的处理结束，读入下一帧图像，转去执行S221，直至所有帧图像处理结束。
可选地，S223中的对矢量库中的每个方向矢量进行检索，得到每个方向矢量的检索结果包括：
获取处理队列中的每个物料点。
根据物料点的运行方向
Figure 940988DEST_PATH_IMAGE008
以及矢量库中方向矢量的起点，得到新的方向矢量。
根据物料点的方向矢量与新的方向矢量的夹角余弦，判断物料点的方向矢量与新的方向矢量是否共线，若共线，则方向矢量上包含一个或多个处理队列中物料点的方向矢量；若不共线，则方向矢量上不包含处理队列中物料点的方向矢量。
可选地，S226中的对预测坐标库中的每个预测坐标进行检索，得到每个预测坐标的检索结果包括：
获取处理队列中的每个物料点。
判断每个物料点是否与预测坐标库中的预测坐标匹配；若匹配，则判断预测坐标 库中的每个预测坐标在处理队列中是否存在原坐标
Figure 910081DEST_PATH_IMAGE009
；若存在，则预测坐标在处理队 列中存在匹配点；若不存在，则预测坐标在处理队列中不存在匹配点。
若不匹配，则物料点与预测坐标不匹配。
可选地，预测坐标库包括多个数据单元。
多个数据单元中的每个数据单元的表示方式为
Figure 612589DEST_PATH_IMAGE010
，其中
Figure 881896DEST_PATH_IMAGE009
为帧图像中识别到的物料点的原坐标，
Figure 792083DEST_PATH_IMAGE011
为预测到的物料点在下一帧图像 中的预测坐标。
可选地，矢量库包括多个方向矢量。
多个方向矢量中的每个方向矢量的构建过程包括：
获取当前帧图像中识别到的物料点的坐标
Figure 497740DEST_PATH_IMAGE012
。
获取物料点在当前帧图像中的预测坐标
Figure 518785DEST_PATH_IMAGE011
。
判断
Figure 111441DEST_PATH_IMAGE013
是否成立，其中
Figure 943262DEST_PATH_IMAGE014
为预设误差范围；若成立，则获取 预测坐标
Figure 418105DEST_PATH_IMAGE011
的原坐标
Figure 822935DEST_PATH_IMAGE009
，根据原坐标
Figure 801256DEST_PATH_IMAGE009
以及坐标
Figure 381142DEST_PATH_IMAGE012
得到物料点的 运行方向
Figure 608861DEST_PATH_IMAGE008
，将坐标
Figure 253600DEST_PATH_IMAGE012
作为起点
Figure 352006DEST_PATH_IMAGE015
，得到方向矢量
Figure 243738DEST_PATH_IMAGE016
；若不成立，则获取下一对坐 标进行判断。
可选地，S2中的物料点的信息包括物料点的坐标信息、物料点的ID信息以及物料点的时间戳信息。
另一方面，本发明提供了一种云化PLC环境下基于方向矢量的物料跟踪定位系统，该系统应用于实现云化PLC环境下基于方向矢量的物料跟踪定位方法，该系统包括传送模块、视觉模块、云化PLC控制模块以及执行模块，其中：
传送模块，用于将待分拣的物料传送至视觉模块的检测区；将经过视觉模块处理的物料传送至执行模块的工作区。
视觉模块，用于对检测区内的物料进行处理，得到物料中物料点的信息，并将物料点的信息传送至云化PLC控制模块。
云化PLC控制模块，用于接收物料点的信息，并向执行模块下达动作指令。
执行模块，用于接收动作指令，并根据动作指令对工作区内的物料进行分拣，完成分拣任务。
可选地，视觉模块包括图像信息采集装置和信息处理装置。
视觉模块，进一步用于：
S21、图像信息采集装置采集物料的图像信息。
S22、信息处理装置对图像信息进行识别处理，得到物料中物料点的信息。
可选地，信息处理装置包括预测坐标库和矢量库。
视觉模块，进一步用于：
S221、信息处理装置对当前帧图像进行识别，得到当前帧图像中的一个或多个物料点，并将物料点的信息加入到处理队列。
S222、判断当前的矢量库是否为空；若为空，则执行S225；若不为空，则执行S223。
S223、对矢量库中的每个方向矢量进行检索，得到每个方向矢量的检索结果；其中，方向矢量的检索结果为方向矢量上包含一个或多个处理队列中物料点的方向矢量或方向矢量上不包含处理队列中物料点的方向矢量。
S224、判断每个方向矢量的检索结果；若方向矢量的检索结果为方向矢量上包含一个或多个处理队列中物料点的方向矢量，则获取沿传送模块的运动方向的方向矢量最前方的物料点，将最前方的物料点从处理队列中删除，并执行S225；若方向矢量的检索结果为方向矢量上不包含处理队列中物料点的方向矢量，则将方向矢量从矢量库中删除，并执行S225。
S225、判断当前的预测坐标库是否为空；若为空，则执行S228；若不为空，则执行S226。
S226、对预测坐标库中的每个预测坐标进行检索，得到每个预测坐标的检索结果；其中，预测坐标的检索结果为预测坐标在处理队列中存在匹配点、预测坐标在处理队列中不存在匹配点或物料点与预测坐标不匹配。
S227、判断每个预测坐标的检索结果；若预测坐标的检索结果为预测坐标在处理队列中存在匹配点，则将预测坐标的当前坐标的信息传送至云化PLC控制模块，将预测坐标从预测坐标库中删除；计算当前坐标的方向矢量，存入到矢量库。
若预测坐标的检索结果为预测坐标在处理队列中不存在匹配点，则将预测坐标从预测坐标库中删除。
若预测坐标的检索结果为物料点与预测坐标不匹配，则执行S228。
S228、对预测坐标不匹配的物料点进行预测，得到预测坐标，并将预测坐标更新到预测坐标库中。
S229、对当前帧图像的处理结束，读入下一帧图像，转去执行S221，直至所有帧图像处理结束。
可选地，视觉模块，进一步用于：
获取处理队列中的每个物料点。
根据物料点的运行方向
Figure 679792DEST_PATH_IMAGE008
以及矢量库中方向矢量的起点，得到新的方向矢量。
根据物料点的方向矢量与新的方向矢量的夹角余弦，判断物料点的方向矢量与新的方向矢量是否共线，若共线，则方向矢量上包含一个或多个处理队列中物料点的方向矢量；若不共线，则方向矢量上不包含处理队列中物料点的方向矢量。
可选地，视觉模块，进一步用于：
获取处理队列中的每个物料点。
判断每个物料点是否与预测坐标库中的预测坐标匹配；若匹配，则判断预测坐标 库中的每个预测坐标在处理队列中是否存在原坐标
Figure 846331DEST_PATH_IMAGE009
；若存在，则预测坐标在处理队 列中存在匹配点；若不存在，则预测坐标在处理队列中不存在匹配点。
若不匹配，则物料点与预测坐标不匹配。
可选地，预测坐标库包括多个数据单元。
多个数据单元中的每个数据单元的表示方式为
Figure 284397DEST_PATH_IMAGE010
，其中
Figure 878189DEST_PATH_IMAGE009
为帧图像中识别到的物料点的原坐标，
Figure 267451DEST_PATH_IMAGE011
为预测到的物料点在下一帧图像 中的预测坐标。
可选地，矢量库包括多个方向矢量。
多个方向矢量中的每个方向矢量的构建过程包括：
获取当前帧图像中识别到的物料点的坐标
Figure 95073DEST_PATH_IMAGE012
。
获取物料点在当前帧图像中的预测坐标
Figure 653224DEST_PATH_IMAGE011
。
判断
Figure 417918DEST_PATH_IMAGE013
是否成立，其中
Figure 45208DEST_PATH_IMAGE014
为预设误差范围；若成立，则获取 预测坐标
Figure 68397DEST_PATH_IMAGE011
的原坐标
Figure 995902DEST_PATH_IMAGE009
，根据原坐标
Figure 639153DEST_PATH_IMAGE009
以及坐标
Figure 35631DEST_PATH_IMAGE012
得到物料点的 运行方向
Figure 82084DEST_PATH_IMAGE008
，将坐标
Figure 543722DEST_PATH_IMAGE012
作为起点
Figure 696223DEST_PATH_IMAGE015
，得到方向矢量
Figure 829264DEST_PATH_IMAGE016
；若不成立，则获取下一对坐 标进行判断。
可选地，物料点的信息包括物料的坐标信息、物料的ID信息以及物料的时间戳信息。
本发明实施例提供的技术方案带来的有益效果至少包括：
上述方案中，提出了基于方向矢量的物料跟踪定位方法工作在视觉模块向云化PLC模块发送目标物料坐标的环节。由于云化PLC模块无法区分坐标对应的物料是否为同一个，所以本发明提出在视觉模块对坐标信息进行处理，以防止或减少由于同一目标多次上报而带来的执行器误捡、空捡动作。基于方向矢量的物料跟踪定位方法在处理识别图像时，通过对识别到的物料点坐标进行预测来完成对同一物料点的跨帧跟踪，通过建立描述物料点运动方向的矢量来阻止其位置信息的多次上报。经过本发明处理上报的坐标将不再含有冗余信息，大大减少了因图像处理时间和执行机构动作时间不一致造成的物料信息重复上报现象，从而减少了因此导致的执行器误捡、空捡现象，达到了提高系统运行效率，减少资源耗费、保护系统部件安全的作用。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的云化PLC环境下基于方向矢量的物料跟踪定位方法流程示意图；
图2是本发明实施例提供的每个数据单元中存储的数据示意图；
图3是本发明实施例提供的与x轴平行的数据单元中存储的数据示意图；
图4是本发明实施例提供的基于方向矢量的物料跟踪定位方法工作流程图；
图5是本发明实施例提供的矢量库中方向矢量示意图；
图6是本发明实施例提供的云化PLC环境下基于方向矢量的物料跟踪定位系统框图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
如图1所示，本发明实施例提供了一种云化PLC环境下基于方向矢量的物料跟踪定位方法，该方法可以由云化PLC环境下基于方向矢量的物料跟踪定位系统实现。如图1所示的云化PLC环境下基于方向矢量的物料跟踪定位方法流程图，该方法的处理流程可以包括如下的步骤：
S1、传送模块将待分拣的物料传送至视觉模块的检测区。
一种可行的实施方式中，传送模块负责在整个流程中运输物料，在整个检测、分选过程中无需停机。传送模块包括将物料送入和送离视觉模块检测区域和执行模块工作区域。此处合理假设物料在视觉模块的检测区域内的运动为单向运动。
S2、视觉模块对检测区内的物料进行处理，得到物料中物料点的信息，并将物料点的信息传送至云化PLC控制模块。
可选地，S2中的视觉模块包括图像信息采集装置和信息处理装置。
可选地，S2中的物料点的信息包括物料点的坐标信息、物料点的ID信息以及物料点的时间戳信息。
一种可行的实施方式中，视觉模块可以包括两部分，即作为图像信息采集装置的摄像头和作为信息处理装置的PC机。图像采集区在输送机运行方向上位于执行模块工作区之前，即物料先进入视觉检测区域，在此区域内，摄像头负责采集图像信息，PC端对采集到的信息进行识别处理，并将目标类别物料的坐标信息和时间戳信息等发送给云化PLC模块控制模块。
视觉模块对检测区内的物料进行处理，得到物料中物料点的信息包括：
S21、图像信息采集装置采集物料的图像信息。
S22、信息处理装置对图像信息进行识别处理，得到物料中物料点的信息。
其中，信息处理装置包括预测坐标库和矢量库。
一种可行的实施方式中，矢量库用于存储方向矢量的相关数据，预测坐标库用于存储从当前帧的点坐标根据传送模块的运行速度预测得到的下一帧中对应点的坐标。
可选地，S22中的预测坐标库包括多个数据单元。
多个数据单元中的每个数据单元的表示方式为
Figure 695720DEST_PATH_IMAGE010
，其中
Figure 381173DEST_PATH_IMAGE009
为帧图像中识别到的物料点的原坐标，
Figure 189729DEST_PATH_IMAGE011
为预测到的物料点在下一帧图像 中的预测坐标。
一种可行的实施方式中，对于预测坐标库中的每个数据单元，分别存储当前帧中 识别到的某物料点的坐标以及其对应的预测坐标。每个数据单元中存储的数据为（为方便 理解，以二维运动情况来举例，下同）：
Figure 295219DEST_PATH_IMAGE017
，其中
Figure 450520DEST_PATH_IMAGE018
分别代表传 送模块在
Figure 253128DEST_PATH_IMAGE019
方向的运行速度，
Figure 780056DEST_PATH_IMAGE020
代表两帧图像之间的采样间隔。如图2所示，一般情况 下，
Figure 948343DEST_PATH_IMAGE020
为定值，且传送模块运行时的方向与执行机构工作坐标的某一轴平行，假定与
Figure 750077DEST_PATH_IMAGE021
轴平 行，则
Figure 830028DEST_PATH_IMAGE022
，上式可简化为：
Figure 557550DEST_PATH_IMAGE023
。如图3所示，以符号表示预测坐标库中的 数据结构，记
Figure 372054DEST_PATH_IMAGE024
为
Figure 478943DEST_PATH_IMAGE009
表示原始坐标。记
Figure 413401DEST_PATH_IMAGE025
为
Figure 954235DEST_PATH_IMAGE011
表示预测坐标。则 预测坐标库中的数据单元可以表示为：
Figure 505302DEST_PATH_IMAGE010
。
可选地，S22中的矢量库包括多个方向矢量。
多个方向矢量中的每个方向矢量的构建过程包括：
获取当前帧图像中识别到的物料点的坐标
Figure 773473DEST_PATH_IMAGE012
。
获取物料点在当前帧图像中的预测坐标
Figure 139601DEST_PATH_IMAGE011
。
一种可行的实施方式中，获取当前帧图像中识别到的物料点的坐标
Figure 366183DEST_PATH_IMAGE012
的上 一帧图像中的原坐标
Figure 624120DEST_PATH_IMAGE009
，进一步获取上一帧图像中的原坐标
Figure 961560DEST_PATH_IMAGE009
在当前帧图像中 的预测坐标
Figure 136190DEST_PATH_IMAGE011
。
判断
Figure 520291DEST_PATH_IMAGE013
是否成立，其中
Figure 311529DEST_PATH_IMAGE014
为预设误差范围；若成立，则获取 预测坐标
Figure 187082DEST_PATH_IMAGE011
的原坐标
Figure 966950DEST_PATH_IMAGE009
，根据原坐标
Figure 269755DEST_PATH_IMAGE009
以及坐标
Figure 17131DEST_PATH_IMAGE012
得到物料点的 运行方向
Figure 945642DEST_PATH_IMAGE008
，将坐标
Figure 829284DEST_PATH_IMAGE012
作为起点
Figure 568570DEST_PATH_IMAGE015
，得到方向矢量
Figure 288396DEST_PATH_IMAGE016
；若不成立，则获取下一对坐 标进行判断。
一种可行的实施方式中，为了完成对目标物料坐标的上报操作且保证其只上报一 次，需要预测坐标库和矢量库的配合。在每一帧图像的处理过程中，会将当前帧中识别到的 物料点（记为
Figure 240171DEST_PATH_IMAGE012
）与预测坐标库中的物料点坐标进行对应匹配，以确定在相邻两帧图 像中都出现的同一物料点的对应关系。对于每个预测坐标，判断其与当前帧识别到的物料 点匹配的方法是判断是否有
Figure 243899DEST_PATH_IMAGE013
，其中
Figure 622928DEST_PATH_IMAGE014
是人工给定的误差范围，若该 式成立则认为两点匹配。匹配成功时，将会找到一个在相邻两帧图像中都出现的物料点的 一对新旧坐标，这一过程实际上相当于对同一物料点的跨帧跟踪。利用该物料的新旧两个 坐标点可以计算该物料点运行的方向，将该方向记为
Figure 597094DEST_PATH_IMAGE026
，将该物料 点的新坐标，即当前帧中识别到的坐标作为的起点，记为
Figure 352560DEST_PATH_IMAGE015
，则该起点
Figure 210795DEST_PATH_IMAGE015
和方向
Figure 26304DEST_PATH_IMAGE008
就确定了 一个表示方向的矢量，称其为方向矢量。将此方向矢量存入矢量库中，即对每一个方向矢 量，其在矢量库中的表示形式为：
Figure 986301DEST_PATH_IMAGE016
。该方向矢量将会一直保留在矢量库中，直到用以建 立该方向矢量的物料点移出视场。由于传送模块的运行方向恒定，所以每一个被上报过坐 标的物料点而言，直至其移出视场之前都将在此方向矢量上运动，所以根据此特点对识别 到的物料点进行判断，不再上报位于矢量库中已有的方向矢量上的物料点的坐标，即可保 证每个物料点的坐标在其离开视场之前只被上报一次。对于每一个物料点，判断其是否位 于某已有矢量上的方法是，以已有方向矢量的起点为起点S，用该点的坐标P与起点坐标计 算一个新的矢量
Figure 279879DEST_PATH_IMAGE027
，计算
Figure 992620DEST_PATH_IMAGE028
，当点位于矢量上时，新旧矢量同向共线
Figure 493877DEST_PATH_IMAGE029
的值应接近于1，若该值不为1或不接近1则说明该点并不位于
Figure 456017DEST_PATH_IMAGE030
上。
可选地，S22中的信息处理装置对图像信息进行识别处理，得到物料中物料点的信息包括：
S221、信息处理装置对当前帧图像进行识别，得到当前帧图像中的一个或多个物料点，并将物料点的信息加入到处理队列。
一种可行的实施方式中，视觉模块读入一帧图像，并对其进行识别处理。对视觉处理算法而言，每一帧输入图像都是独立的，同一视频流中的不同帧图像间本身没有相关性。所以对每一帧输入图像而言，视觉系统识别到的都是若干个物料点个体，并可以给出其坐标。识别完成后，为当前帧图像中所有识别到的点赋予一个id并将其id与其他相关信息如坐标、时间戳等加入处理队列。后续处理中需要对识别到的点进行处理时，可以从处理队列中获取其相关信息。
S222、判断当前的矢量库是否为空；若为空，则执行S225；若不为空，则执行S223。
一种可行的实施方式中，对于每一帧图像识别处理后，检索当前的矢量库是否为空。对于系统刚开始运行时的前几帧图像，由于还未更新矢量库，故矢量库总为空，则此步骤可直接跳过。
S223、对矢量库中的每个方向矢量进行检索，得到每个方向矢量的检索结果；其中，方向矢量的检索结果为方向矢量上包含一个或多个处理队列中物料点的方向矢量或方向矢量上不包含处理队列中物料点的方向矢量。
可选地，S223中的对矢量库中的每个方向矢量进行检索，得到每个方向矢量的检索结果包括：
获取处理队列中的每个物料点。
根据物料点的运行方向
Figure 553286DEST_PATH_IMAGE008
以及矢量库中方向矢量的起点，得到新的方向矢量。
根据物料点的方向矢量与新的方向矢量的夹角余弦，判断物料点的方向矢量与新的方向矢量是否共线，若共线，则方向矢量上包含一个或多个处理队列中物料点的方向矢量；若不共线，则方向矢量上不包含处理队列中物料点的方向矢量。
一种可行的实施方式中，当矢量库不为空时，对矢量库中的每个方向矢量进行检 索，即对每个方向矢量在处理队列中逐物料点检查该点是否位于该方向矢量上。这一步检 索操作利用每一待检测的物料点与方向矢量起点来计算一个新的方向矢量，并计算其与已 有方向矢量的夹角余弦，以此判断两个方向矢量是否同向共线，从而判断待检测的物料点 是否位于已知方向矢量上，这一过程的伪代码描述为（假设矢量库中方向矢量起点由
Figure 136845DEST_PATH_IMAGE031
描 述，待检测的物料点用
Figure 294157DEST_PATH_IMAGE032
描述，方向矢量用
Figure 478014DEST_PATH_IMAGE033
描述）：
Figure 885031DEST_PATH_IMAGE034
S224、判断每个方向矢量的检索结果；若方向矢量的检索结果为方向矢量上包含一个或多个处理队列中物料点的方向矢量，则获取沿所述传送模块的运动方向的所述方向矢量最前方的物料点，将所述最前方的物料点从所述处理队列中删除，并执行S225；若方向矢量的检索结果为方向矢量上不包含处理队列中物料点的方向矢量，则将方向矢量从矢量库中删除，并执行S225。
一种可行的实施方式中，对矢量库中的每个方向矢量进行检索操作后，可以产生两类方向矢量：1）方向矢量上包含至少一个物料点的方向矢量；2）方向矢量上没有物料点的方向矢量（即空矢量）。按照物料在检测区域内单向运动的假设，当矢量库中的方向矢量被建立后，每次进行检索时，每个方向矢量上应当至少包含一个检物料点，该点即是用于建立该方向矢量的物料点，该点在沿运动方向上一定会位于自己方向矢量的最“前方”，且已经建立方向矢量的物料点一定会位于还未进行匹配、建立矢量操作的物料点“前方”，如图4所示。
根据步骤S223中的不同结果进行不同操作：对于第1）类方向矢量，将该方向矢量上最前方的点剔除处理队列（此处的“前”是相对传送模块的运行方向而言）；对于第2）类方向矢量，更新矢量库，从矢量库中删除该方向矢量。
进一步地，当方向矢量上包含多个物料点时，这些点中可能包含：用于建立该方向矢量的物料点、用于建立其它方向矢量的物料点和还未上报的物料点，对于已经建立方向矢量的物料点来说，其信息已被上报，所以剔除的顺序并不重要，只需要在每个方向矢量的剔除操作中剔除最前方的物料点即可；对于还未上报的物料点来说，其位于方向矢量的最“后方”，所以不会在方向矢量的剔除操作中被误删；仅当物料随着传送带的运动而离开检测区域时，才会出现空矢量，所以可以认为空矢量对应的物料已经离开检测区域，可以不再保留其相关信息。
S225、判断当前的预测坐标库是否为空；若为空，则执行S228；若不为空，则执行S226。
一种可行的实施方式中，检索当前预测坐标库是否为空。对于系统刚开始运行时的前几帧图像，由于还未更新预测坐标库，故预测坐标库总为空，则此步骤可直接跳过。
S226、对预测坐标库中的每个预测坐标进行检索，得到每个预测坐标的检索结果；其中，预测坐标的检索结果为预测坐标在处理队列中存在匹配点、预测坐标在处理队列中不存在匹配点或物料点与预测坐标不匹配。
可选地，S226中的对预测坐标库中的每个预测坐标进行检索，得到每个预测坐标的检索结果包括：
获取处理队列中的每个物料点。
判断每个物料点是否与预测坐标库中的预测坐标匹配；若匹配，则判断预测坐标 库中的每个预测坐标在处理队列中是否存在原坐标
Figure 837944DEST_PATH_IMAGE009
；若存在，则预测坐标在处理队 列中存在匹配点；若不存在，则预测坐标在处理队列中不存在匹配点。
若不匹配，则物料点与预测坐标不匹配。
一种可行的实施方式中，当预测坐标库不为空时，对于预测坐标库中的每一个预 测坐标进行检索，即对每个预测坐标，在处理队列中逐物料点检查是否有识别到的物料点 与该预测坐标匹配。匹配过程的伪代码描述为（设预测库中预测坐标用
Figure 182469DEST_PATH_IMAGE035
描述，处 理队列中的物料坐标用
Figure 322463DEST_PATH_IMAGE036
描述）：
Figure 292693DEST_PATH_IMAGE037
S227、判断每个预测坐标的检索结果；若预测坐标的检索结果为预测坐标在处理队列中存在匹配点，则将预测坐标的当前坐标的信息传送至云化PLC控制模块，将预测坐标从预测坐标库中删除；计算当前坐标的方向矢量，存入到矢量库。
若预测坐标的检索结果为预测坐标在处理队列中不存在匹配点，则将预测坐标从预测坐标库中删除。
若预测坐标的检索结果为物料点与预测坐标不匹配，则执行S228。
一种可行的实施方式中，在步骤S226中进行匹配操作后，将会产生三类点：1）成功匹配的[CoorDct，CoorPre](此时坐标库中仍存有对应预测坐标的原坐标CoorOri)；2）预测库中未成功与物料点配对的预测坐标CoorPre；3）当前帧检测出的物料点中未成功与预测坐标匹配的CoorDct。对预测坐标库中的每个预测坐标，根据步骤S226中的不同结果，进行不同操作：对于第1）类预测坐标，上报对应物料点的当前坐标值，根据匹配的物料点与识别的物料点对其计算方向矢量，并更新矢量库以及预测坐标库，从预测坐标库中删除该预测坐标；对于第2）类点，则认为上一帧图像中与预测点对应的物料点在此帧中已离开视场，更新预测坐标库，将该预测点从预测坐标库中删除。对于第3）类点，在步骤S228中进行处理。
S228、对预测坐标不匹配的物料点进行预测，得到预测坐标，并将预测坐标更新到预测坐标库中。
S229、对当前帧图像的处理结束，读入下一帧图像，转去执行S221，直至所有帧图像处理结束。
一种可行的实施方式中，步骤S221-S229的基于方向矢量的物料跟踪定位方法的工作流程图如图5所示。
S3、云化PLC控制模块接收物料点的信息，并向执行模块下达动作指令。
一种可行的实施方式中，云化PLC控制模块负责接收来自视觉模块的坐标信息等，并以此向执行模块下达运动指令，控制和调度执行模块完成实际的分选功能。
S4、传送模块将经过视觉模块处理的物料传送至执行模块的工作区。
S5、执行模块接收动作指令，并根据动作指令对工作区内的物料进行分拣，完成分拣任务。
本发明实施例中，提出了基于方向矢量的物料跟踪定位方法工作在视觉模块向云化PLC模块发送目标物料坐标的环节。由于云化PLC模块无法区分坐标对应的物料是否为同一个，所以本发明提出在视觉模块对坐标信息进行处理，以防止或减少由于同一目标多次上报而带来的执行器误捡、空捡动作。基于方向矢量的物料跟踪定位方法在处理识别图像时，通过对识别到的物料点坐标进行预测来完成对同一物料点的跨帧跟踪，通过建立描述物料点运动方向的矢量来阻止其位置信息的多次上报。经过本发明处理上报的坐标将不再含有冗余信息，大大减少了因图像处理时间和执行机构动作时间不一致造成的物料信息重复上报现象，从而减少了因此导致的执行器误捡、空捡现象，达到了提高系统运行效率，减少资源耗费、保护系统部件安全的作用。
如图6所示，本发明实施例提供了一种云化PLC环境下基于方向矢量的物料跟踪定位系统，该系统应用于实现云化PLC环境下基于方向矢量的物料跟踪定位系统方法，该系统包括传送模块、视觉模块、云化PLC控制模块以及执行模块，其中：
传送模块，用于将待分拣的物料传送至视觉模块的检测区；将经过视觉模块处理的物料传送至执行模块的工作区。
视觉模块，用于对检测区内的物料进行处理，得到物料中物料点的信息，并将物料点的信息传送至云化PLC控制模块。
云化PLC控制模块，用于接收物料点的信息，并向执行模块下达动作指令。
执行模块，用于接收动作指令，并根据动作指令对工作区内的物料进行分拣，完成分拣任务。
可选地，视觉模块包括图像信息采集装置和信息处理装置。
视觉模块，进一步用于：
S21、图像信息采集装置采集物料的图像信息。
S22、信息处理装置对图像信息进行识别处理，得到物料中物料点的信息。
可选地，信息处理装置包括预测坐标库和矢量库。
视觉模块，进一步用于：
S221、信息处理装置对当前帧图像进行识别，得到当前帧图像中的一个或多个物料点，并将物料点的信息加入到处理队列。
S222、判断当前的矢量库是否为空；若为空，则执行S225；若不为空，则执行S223。
S223、对矢量库中的每个方向矢量进行检索，得到每个方向矢量的检索结果；其中，方向矢量的检索结果为方向矢量上包含一个或多个处理队列中物料点的方向矢量或方向矢量上不包含处理队列中物料点的方向矢量。
S224、判断每个方向矢量的检索结果；若方向矢量的检索结果为方向矢量上包含一个或多个处理队列中物料点的方向矢量，则获取沿传送模块的运动方向的方向矢量最前方的物料点，将最前方的物料点从处理队列中删除，并执行S225；若方向矢量的检索结果为方向矢量上不包含处理队列中物料点的方向矢量，则将方向矢量从矢量库中删除，并执行S225。
S225、判断当前的预测坐标库是否为空；若为空，则执行S228；若不为空，则执行S226。
S226、对预测坐标库中的每个预测坐标进行检索，得到每个预测坐标的检索结果；其中，预测坐标的检索结果为预测坐标在处理队列中存在匹配点、预测坐标在处理队列中不存在匹配点或物料点与预测坐标不匹配。
S227、判断每个预测坐标的检索结果；若预测坐标的检索结果为预测坐标在处理队列中存在匹配点，则将预测坐标的当前坐标的信息传送至云化PLC控制模块，将预测坐标从预测坐标库中删除；计算当前坐标的方向矢量，存入到矢量库。
若预测坐标的检索结果为预测坐标在处理队列中不存在匹配点，则将预测坐标从预测坐标库中删除。
若预测坐标的检索结果为物料点与预测坐标不匹配，则执行S228。
S228、对预测坐标不匹配的物料点进行预测，得到预测坐标，并将预测坐标更新到预测坐标库中。
S229、对当前帧图像的处理结束，读入下一帧图像，转去执行S221，直至所有帧图像处理结束。
可选地，视觉模块，进一步用于：
获取处理队列中的每个物料点。
根据物料点的运行方向以及矢量库中方向矢量的起点，得到新的方向矢量。
根据物料点的方向矢量与新的方向矢量的夹角余弦，判断物料点的方向矢量与新的方向矢量是否共线，若共线，则方向矢量上包含一个或多个处理队列中物料点的方向矢量；若不共线，则方向矢量上不包含处理队列中物料点的方向矢量。
可选地，视觉模块，进一步用于：
获取处理队列中的每个物料点。
判断每个物料点是否与预测坐标库中的预测坐标匹配；若匹配，则判断预测坐标 库中的每个预测坐标在处理队列中是否存在原坐标
Figure 146117DEST_PATH_IMAGE009
；若存在，则预测坐标在处理队 列中存在匹配点；若不存在，则预测坐标在处理队列中不存在匹配点。
若不匹配，则物料点与预测坐标不匹配。
可选地，预测坐标库包括多个数据单元。
多个数据单元中的每个数据单元的表示方式为
Figure 910811DEST_PATH_IMAGE010
，其中
Figure 288834DEST_PATH_IMAGE009
为帧图像中识别到的物料点的原坐标，
Figure 531596DEST_PATH_IMAGE011
为预测到的物料点在下一帧图像 中的预测坐标。
可选地，矢量库包括多个方向矢量。
多个方向矢量中的每个方向矢量的构建过程包括：
获取当前帧图像中识别到的物料点的坐标
Figure 193522DEST_PATH_IMAGE012
。
获取物料点在当前帧图像中的预测坐标
Figure 115735DEST_PATH_IMAGE011
。
判断
Figure 495901DEST_PATH_IMAGE013
是否成立，其中
Figure 807933DEST_PATH_IMAGE014
为预设误差范围；若成立，则获取 预测坐标
Figure 75098DEST_PATH_IMAGE011
的原坐标
Figure 916015DEST_PATH_IMAGE009
，根据原坐标
Figure 517897DEST_PATH_IMAGE009
以及坐标
Figure 102463DEST_PATH_IMAGE012
得到物料点的 运行方向
Figure 722669DEST_PATH_IMAGE008
，将坐标
Figure 66DEST_PATH_IMAGE012
作为起点
Figure 89245DEST_PATH_IMAGE015
，得到方向矢量
Figure 228233DEST_PATH_IMAGE016
；若不成立，则获取下一对坐 标进行判断。
可选地，物料点的信息包括物料的坐标信息、物料的ID信息以及物料的时间戳信息。
本发明实施例中，提出了基于方向矢量的物料跟踪定位方法工作在视觉模块向云化PLC模块发送目标物料坐标的环节。由于云化PLC模块无法区分坐标对应的物料是否为同一个，所以本发明提出在视觉模块对坐标信息进行处理，以防止或减少由于同一目标多次上报而带来的执行器误捡、空捡动作。基于方向矢量的物料跟踪定位方法在处理识别图像时，通过对识别到的物料点坐标进行预测来完成对同一物料点的跨帧跟踪，通过建立描述物料点运动方向的矢量来阻止其位置信息的多次上报。经过本发明处理上报的坐标将不再含有冗余信息，大大减少了因图像处理时间和执行机构动作时间不一致造成的物料信息重复上报现象，从而减少了因此导致的执行器误捡、空捡现象，达到了提高系统运行效率，减少资源耗费、保护系统部件安全的作用。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种云化PLC环境下基于方向矢量的物料跟踪定位方法，其特征在于，所述方法由云化PLC环境下基于方向矢量的物料跟踪定位系统实现，所述系统包括传送模块、视觉模块、云化PLC控制模块以及执行模块，所述方法包括：
S1、所述传送模块将待分拣的物料传送至视觉模块的检测区；
S2、所述视觉模块对检测区内的物料进行处理，得到物料中物料点的信息，并将所述物料点的信息传送至所述云化PLC控制模块；
S3、所述云化PLC控制模块接收所述物料点的信息，并向所述执行模块下达动作指令；
S4、所述传送模块将经过所述视觉模块处理的物料传送至执行模块的工作区；
S5、所述执行模块接收所述动作指令，并根据所述动作指令对工作区内的物料进行分拣，完成分拣任务。
2.根据权利要求1所述的方法，其特征在于，所述S2中的视觉模块包括图像信息采集装置和信息处理装置；
所述视觉模块对检测区内的物料进行处理，得到物料中物料点的信息包括：
S21、所述图像信息采集装置采集所述物料的图像信息；
S22、所述信息处理装置对所述图像信息进行识别处理，得到物料中物料点的信息。
3.根据权利要求2所述的方法，其特征在于，所述S22中的信息处理装置包括预测坐标库和矢量库；
所述信息处理装置对所述图像信息进行识别处理，得到物料中物料点的信息包括：
S221、所述信息处理装置对当前帧图像进行识别，得到当前帧图像中的一个或多个物料点，并将物料点的信息加入到处理队列；
S222、判断当前的矢量库是否为空；若为空，则执行S225；若不为空，则执行S223；
S223、对矢量库中的每个方向矢量进行检索，得到每个方向矢量的检索结果；其中，所述方向矢量的检索结果为所述方向矢量上包含一个或多个处理队列中物料点的方向矢量或所述方向矢量上不包含处理队列中物料点的方向矢量；
S224、判断所述每个方向矢量的检索结果；若所述方向矢量的检索结果为所述方向矢量上包含一个或多个处理队列中物料点的方向矢量，则获取沿所述传送模块的运动方向的所述方向矢量最前方的物料点，将所述最前方的物料点从所述处理队列中删除，并执行S225；若所述方向矢量的检索结果为所述方向矢量上不包含处理队列中物料点的方向矢量，则将所述方向矢量从矢量库中删除，并执行S225；
S225、判断当前的预测坐标库是否为空；若为空，则执行S228；若不为空，则执行S226；
S226、对预测坐标库中的每个预测坐标进行检索，得到每个预测坐标的检索结果；其中，所述预测坐标的检索结果为预测坐标在处理队列中存在匹配点、预测坐标在处理队列中不存在匹配点或物料点与预测坐标不匹配；
S227、判断所述每个预测坐标的检索结果；若所述预测坐标的检索结果为预测坐标在处理队列中存在匹配点，则将所述预测坐标的当前坐标的信息传送至所述云化PLC控制模块，将所述预测坐标从预测坐标库中删除；计算所述当前坐标的方向矢量，存入到矢量库；
若所述预测坐标的检索结果为预测坐标在处理队列中不存在匹配点，则将所述预测坐标从预测坐标库中删除；
若所述预测坐标的检索结果为物料点与预测坐标不匹配，则执行S228；
S228、对预测坐标不匹配的物料点进行预测，得到预测坐标，并将所述预测坐标更新到预测坐标库中；
S229、对所述当前帧图像的处理结束，读入下一帧图像，转去执行S221，直至所有帧图像处理结束。
4.根据权利要求3所述的方法，其特征在于，所述S223中的对矢量库中的每个方向矢量进行检索，得到每个方向矢量的检索结果包括：
获取处理队列中的每个物料点；
根据所述物料点的运行方向以及矢量库中方向矢量的起点，得到新的方向矢量；
根据所述物料点的方向矢量与新的方向矢量的夹角余弦，判断所述物料点的方向矢量与新的方向矢量是否共线，若共线，则所述方向矢量上包含一个或多个处理队列中物料点的方向矢量；若不共线，则所述方向矢量上不包含处理队列中物料点的方向矢量。
5.根据权利要求3所述的方法，其特征在于，所述S226中的对预测坐标库中的每个预测坐标进行检索，得到每个预测坐标的检索结果包括：
获取处理队列中的每个物料点；
判断所述每个物料点是否与预测坐标库中的预测坐标匹配；若匹配，则判断预测坐标库中的每个预测坐标在处理队列中是否存在原坐标；若存在，则预测坐标在处理队列中存在匹配点；若不存在，则预测坐标在处理队列中不存在匹配点；
若不匹配，则物料点与预测坐标不匹配。
6.根据权利要求4所述的方法，其特征在于，所述预测坐标库包括多个数据单元；
所述多个数据单元中的每个数据单元的表示方式为
Figure 885739DEST_PATH_IMAGE001
，其中
Figure 474983DEST_PATH_IMAGE002
为帧图像中识别到的物料点的原坐标，
Figure 51458DEST_PATH_IMAGE003
为预测到的所述物料点在下一帧图像中的 预测坐标。
7.根据权利要求4所述的方法，其特征在于，所述矢量库包括多个方向矢量；
所述多个方向矢量中的每个方向矢量的构建过程包括：
获取当前帧图像中识别到的物料点的坐标
Figure 102459DEST_PATH_IMAGE004
；
获取所述物料点在当前帧图像中的预测坐标
Figure 447990DEST_PATH_IMAGE003
；
判断
Figure 942556DEST_PATH_IMAGE005
是否成立，其中
Figure 868311DEST_PATH_IMAGE006
为预设误差范围；若成立，则获取所述 预测坐标
Figure 863949DEST_PATH_IMAGE007
的原坐标
Figure 939353DEST_PATH_IMAGE002
，根据所述原坐标
Figure 463875DEST_PATH_IMAGE002
以及坐标
Figure 873997DEST_PATH_IMAGE004
得到所述 物料点的运行方向
Figure 142167DEST_PATH_IMAGE008
，将所述坐标
Figure 259027DEST_PATH_IMAGE004
作为起点
Figure 360976DEST_PATH_IMAGE009
，得到方向矢量
Figure 133760DEST_PATH_IMAGE010
；若不成立，则 获取下一对坐标进行判断。
8.根据权利要求1所述的方法，其特征在于，所述S2中的物料点的信息包括物料点的坐标信息、物料点的ID信息以及物料点的时间戳信息。
9.一种云化PLC环境下基于方向矢量的物料跟踪定位系统，其特征在于，所述系统包括传送模块、视觉模块、云化PLC控制模块以及执行模块，其中：
所述传送模块，用于将待分拣的物料传送至视觉模块的检测区；将经过所述视觉模块处理的物料传送至执行模块的工作区；
所述视觉模块，用于对检测区内的物料进行处理，得到物料中物料点的信息，并将所述物料点的信息传送至所述云化PLC控制模块；
所述云化PLC控制模块，用于接收所述物料点的信息，并向所述执行模块下达动作指令；
所述执行模块，用于接收所述动作指令，并根据所述动作指令对工作区内的物料进行分拣，完成分拣任务。
10.根据权利要求9所述的系统，其特征在于，所述视觉模块包括图像信息采集装置和信息处理装置；
所述视觉模块，进一步用于：
S21、所述图像信息采集装置采集所述物料的图像信息；
S22、所述信息处理装置对所述图像信息进行识别处理，得到物料中物料点的信息。
CN202210880766.8A 2022-07-26 2022-07-26 云化plc环境下基于方向矢量的物料跟踪定位方法及系统 Active CN114943751B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210880766.8A CN114943751B (zh) 2022-07-26 2022-07-26 云化plc环境下基于方向矢量的物料跟踪定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210880766.8A CN114943751B (zh) 2022-07-26 2022-07-26 云化plc环境下基于方向矢量的物料跟踪定位方法及系统

Publications (2)

Publication Number Publication Date
CN114943751A true CN114943751A (zh) 2022-08-26
CN114943751B CN114943751B (zh) 2022-11-08

Family

ID=82911254

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210880766.8A Active CN114943751B (zh) 2022-07-26 2022-07-26 云化plc环境下基于方向矢量的物料跟踪定位方法及系统

Country Status (1)

Country Link
CN (1) CN114943751B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115658270A (zh) * 2022-11-02 2023-01-31 广州市易鸿智能装备有限公司 视觉系统的工作流执行方法、装置、设备及存储介质
CN115816469A (zh) * 2023-02-21 2023-03-21 北京科技大学 一种基于机器视觉的云化plc控制物料分拣方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140225886A1 (en) * 2013-02-13 2014-08-14 Corel Corporation Mapping a vision system output to a digital graphics system input
CN106097388A (zh) * 2016-06-07 2016-11-09 大连理工大学 视频目标跟踪中目标位置预测、搜索范围自适应调整及双重匹配融合的方法
CN106934813A (zh) * 2015-12-31 2017-07-07 沈阳高精数控智能技术股份有限公司 一种基于视觉定位的工业机器人工件抓取实现方法
CN109151439A (zh) * 2018-09-28 2019-01-04 上海爱观视觉科技有限公司 一种基于视觉的自动追踪拍摄系统及方法
CN109911549A (zh) * 2019-01-25 2019-06-21 东华大学 一种易损物品的机器人动态跟踪抓取系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140225886A1 (en) * 2013-02-13 2014-08-14 Corel Corporation Mapping a vision system output to a digital graphics system input
CN106934813A (zh) * 2015-12-31 2017-07-07 沈阳高精数控智能技术股份有限公司 一种基于视觉定位的工业机器人工件抓取实现方法
CN106097388A (zh) * 2016-06-07 2016-11-09 大连理工大学 视频目标跟踪中目标位置预测、搜索范围自适应调整及双重匹配融合的方法
CN109151439A (zh) * 2018-09-28 2019-01-04 上海爱观视觉科技有限公司 一种基于视觉的自动追踪拍摄系统及方法
CN109911549A (zh) * 2019-01-25 2019-06-21 东华大学 一种易损物品的机器人动态跟踪抓取系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
肖仁等: "基于机器视觉的自动分拣系统设计研究综述", 《智慧工厂》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115658270A (zh) * 2022-11-02 2023-01-31 广州市易鸿智能装备有限公司 视觉系统的工作流执行方法、装置、设备及存储介质
CN115658270B (zh) * 2022-11-02 2023-08-25 广州市易鸿智能装备有限公司 视觉系统的工作流执行方法、装置、设备及存储介质
CN115816469A (zh) * 2023-02-21 2023-03-21 北京科技大学 一种基于机器视觉的云化plc控制物料分拣方法及系统

Also Published As

Publication number Publication date
CN114943751B (zh) 2022-11-08

Similar Documents

Publication Publication Date Title
CN114943751B (zh) 云化plc环境下基于方向矢量的物料跟踪定位方法及系统
CN111421539A (zh) 一种基于计算机视觉的工业零件智能识别与分拣系统
CN110712202B (zh) 异形元器件抓取方法、装置、系统、控制装置及存储介质
CN107369635B (zh) 一种基于深度学习的智能半导体装备系统
CN109159113B (zh) 一种基于视觉推理的机器人作业方法
CN108672316A (zh) 一种基于卷积神经网络的微小零件质量检测系统
CN106547613A (zh) 任务处理流程的调度及故障恢复方法
CN111331607B (zh) 一种基于机械臂的自主抓取与码垛方法及系统
CN115321090B (zh) 机场行李自动接取方法、装置、设备、系统及介质
CN115330734A (zh) 一种基于三维目标检测和点云缺陷补全的自动化机器人补焊系统
CN113408630A (zh) 一种变电站指示灯状态识别方法
CN111598251B (zh) 一种基于机器学习的cnc预测性维护系统及方法
CN108804268B (zh) 一种智能测试系统及方法
CN113873042B (zh) 边缘智能控制器及数据处理方法
CN114800533A (zh) 一种用于工业机器人的分拣控制方法及系统
US20200202178A1 (en) Automatic visual data generation for object training and evaluation
JP7470062B2 (ja) 情報処理装置、および、学習認識システム
Mei et al. Target recognition and grabbing positioning method based on convolutional neural network
Haiyan et al. Research on robot grabbing system based on hybrid cloud
Kui et al. Construction of intelligent testing system for electronic components
CN113570566B (zh) 一种产品外观缺陷发展性认知检测方法及相关装置
Phan et al. Development of an Autonomous Component Testing System with Reliability Improvement Using Computer Vision and Machine Learning
Borovkov et al. Robotic Manipulator Software and Hardware Development Using Recognition Algorithms
Sefat et al. Robotic grasping in agile production
Wu Research on Design and Application of Brand Vision Inspection and Sorting System Based on Image Processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant