CN115170608A - 物料跟踪方法及装置 - Google Patents

物料跟踪方法及装置 Download PDF

Info

Publication number
CN115170608A
CN115170608A CN202210736435.7A CN202210736435A CN115170608A CN 115170608 A CN115170608 A CN 115170608A CN 202210736435 A CN202210736435 A CN 202210736435A CN 115170608 A CN115170608 A CN 115170608A
Authority
CN
China
Prior art keywords
image
current
tracking area
tracking
rack
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210736435.7A
Other languages
English (en)
Inventor
温志强
李凡
张希元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ceristar Electric Co ltd
MCC Capital Engineering and Research Incorporation Ltd
Original Assignee
Ceristar Electric Co ltd
MCC Capital Engineering and Research Incorporation Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ceristar Electric Co ltd, MCC Capital Engineering and Research Incorporation Ltd filed Critical Ceristar Electric Co ltd
Priority to CN202210736435.7A priority Critical patent/CN115170608A/zh
Publication of CN115170608A publication Critical patent/CN115170608A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种物料跟踪方法及装置，可用于物料跟踪技术领域。所述方法包括：根据实时跟踪指令，实时获取物料台架运输面的图像，其中，所述物料台架用于运输物料，所述运输面至少一部分的颜色对比度与所述物料表面颜色的对比度不同；根据获取的所述图像以及当前的物料跟踪区域，查找所述图像中位于当前的所述物料跟踪区域内的物料，其中，所述物料跟踪区域的位置是动态变化的；根据所述物料在所述图像中的位置，确定当前所述物料在所述物料台架上的位置。所述装置用于执行上述方法。本申请实施例提供的物料跟踪方法及装置，使用图像处理与识别算法代替传统检测仪表信号和设备运行信号，能够准确实现物料在物料台架区域的实时跟踪。

Description

物料跟踪方法及装置
技术领域
本申请涉及物料跟踪技术领域，具体涉及一种物料跟踪方法及装置。
背景技术
棒材的轧制生产过程依次由加热、多机架连轧、切倍尺、冷床冷却、切定尺、收集、打捆、称重等工序组成，如图1所示，小棒在下冷床前以“根”的形式运行，在下冷床后以“把”(一把包括多根)的形式运行。其中，收集工序在收集台架上进行，收集台架由多段链式运输机构成，每段链式运输机分别由电机驱动在轨道上运行，如图2所示，小棒(把)上收集台架时由液压横移臂托放到第一段链上，下收集台架时通过自身重力进入打捆落料槽。
目前，生产厂对信息化管控和智能化数据分析的需求呈爆发式增长，而这种需求的实现是以精确实现小棒轧制生产全流程的物料跟踪为基础的，没有精确的物料跟踪，就无法实现准确的数据采集，也无法实现全线众多单体设备的自动化和信息化集成，更无法实现生产线的高度信息化、高度智能化和少人化。从现阶段的实际应用看，加热、多机架连轧、切倍尺、冷床冷却、切定尺等区域已经实现了较为准确的物料跟踪，但收集台架区域的物料跟踪一直没有很好地解决，无法实现小棒在这个区域的自动跟踪，具体原因主要有：可靠的设备动作信号较少、检测仪表信号稳定性差甚至仪表经常损坏、小棒时有打滑和卡顿滞留发生、人工剔废时有发生等。
收集台架区域无法实现准确物料跟踪，会导致如下后果：
(1)小棒轧制生产过程为典型的流程式生产过程，收集台架区域物料跟踪的不稳定和不准确必将影响后续打捆、称重等区域物料跟踪的实现。
(2)收集台架区域及其下游区域中的端部喷码、分钢器、标牌打印、称重机等关键设备无法自动获取到准确的来料信息，导致这些设备无法全自动运行，需要人工参与。
(3)收集台架区域的操作工无法从信息化系统获取及时的换批和换炉信息，可能出现混批/混炉现象，造成生产质量事故。因此，现场必须留有操作人员，且该操作人员工作强度很大。
(4)无法自动采集和记录收集台架区域的生产数据，无法为后续的生产分析提供数据支撑。
因此，目前亟须一种可靠性高、适应性强的收集台架区域自动物料跟踪方法，为实现小棒全流程物料跟踪奠定基础，满足生产厂对生产过程进行信息化管控和智能化数据分析的新需求。
针对以上问题，目前出现了一种物料自动跟踪技术，其具体方案如下：
当小棒由横移臂托放到第一段链上时，认为该小棒处于收集台架的坐标0点，同时将该小棒信息压入内存跟踪栈，此后根据链条向前或向后运行的实时速度反馈Vi，通过实时积分计算链条向前或向后运行的总位移Sn，假定小棒的位移与链条的运行位移相同进行位置跟踪。当小棒的运行位移达到收集台架的长度Lc时，认为该小棒离开收集台架，同时将该小棒信息弹出内存跟踪栈，完成该小棒在收集台架区域的物料跟踪。大致计算过程如下：
(1)链条运行n秒后的位移：
Figure BDA0003716021410000021
(2)跟踪出栈：当Sn≥Lc时，小棒离开收集台架。
然而该方案存在如下缺点：
(1)该方案假定链条的运行位移就是小棒的运行位移，但实际上小棒在链条上运行时存在打滑、倾斜搭接、多段链条的速度交接延后等现象，导致链条运行位移并不能真实代表小棒的位移，从而导致位置计算不准，跟踪精度较差。
(2)该方案的累积误差较大，进行连续实时积分时位移误差不断累加，链条运行时间越长，累积误差越大。
发明内容
针对现有技术中的问题，本申请实施例提供一种物料跟踪方法及装置，能够至少部分地解决现有技术中存在的问题。
一方面，本申请实施例提供一种物料跟踪方法，包括：
根据实时跟踪指令，实时获取物料台架运输面的图像，其中，所述物料台架用于运输物料，所述运输面至少一部分的颜色对比度与所述物料表面颜色的对比度不同；
根据获取的所述图像以及当前的物料跟踪区域，查找所述图像中位于当前的所述物料跟踪区域内的物料，其中，所述物料跟踪区域的位置是动态变化的；
根据所述物料在所述图像中的位置，确定当前所述物料在所述物料台架上的位置。
可选的，所述实时跟踪指令是在新的物料放置在所述物料台架上时触发的。
可选的，对于根据所述实时跟踪指令实时获取的所述物料台架运输面的第一张图像，所述当前的物料跟踪区域的位置是预先设置的。
可选的，对于根据所述实时跟踪指令获取的除所述第一张图像之外的其他图像，所述根据获取的所述图像以及当前的物料跟踪区域，查找所述图像中位于当前的所述物料跟踪区域内的物料包括：
根据获取的所述图像的前一张图像中位于该前一张图像所对应的物料跟踪区域内的物料的位置，确定当前的物料跟踪区域，所述物料跟踪区域跟随所述物料移动；
根据获取的所述图像以及所述当前的物料跟踪区域，查找所述图像中位于所述当前的物料跟踪区域内的物料。
可选的，所述根据获取的所述图像以及当前的物料跟踪区域，查找所述图像中位于当前的所述物料跟踪区域内的物料包括：
对获取的所述图像进行灰度处理，生成所述图像的灰度图像；
对所述灰度图像进行二值化处理，生成所述灰度图像的二值图像；
计算所述二值图像与预设的辅助处理图像的交集，生成交集图像；
利用连通区域分析技术对所述交集图像进行连通区域分析，得到所述交集图像的至少一个连通区域，其中，所述连通区域表示物料在所述获取的图像中的位置；
根据当前的物料跟踪区域，确定所述至少一个连通区域中位于所述当前的物料跟踪区域中的连通区域。
可选的，所述根据所述物料在所述图像中的位置，确定当前所述物料在所述物料台架上的位置包括：
获取位于所述当前的物料跟踪区域中的连通区域的至少一个边缘坐标；
对所述边缘坐标进行坐标转换处理，得到当前所述物料在所述物料台架上的位置。
可选的，所述预设的辅助处理图像的长度与获取的所述图像的长度相等，所述预设的辅助处理图像的宽度小于或者等于获取的所述图像的宽度。
另一方面，本申请实施例提供一种物料跟踪装置，包括：
获取模块，用于根据实时跟踪指令，实时获取物料台架运输面的图像，其中，所述物料台架用于运输物料，所述运输面至少一部分的颜色对比度与所述物料表面颜色的对比度不同；
查找模块，用于根据获取的所述图像以及当前的物料跟踪区域，查找所述图像中位于当前的所述物料跟踪区域内的物料，其中，所述物料跟踪区域的位置是动态变化的；
确定模块，用于根据所述物料在所述图像中的位置，确定当前所述物料在所述物料台架上的位置。
可选的，所述实时跟踪指令是在新的物料放置在所述物料台架上时触发的。
可选的，对于根据所述实时跟踪指令实时获取的所述物料台架运输面的第一张图像，所述当前的物料跟踪区域的位置是预先设置的。
可选的，对于根据所述实时跟踪指令获取的除所述第一张图像之外的其他图像，所述查找模块具体用于：
根据获取的所述图像的前一张图像中位于该前一张图像所对应的物料跟踪区域内的物料的位置，确定当前的物料跟踪区域，所述物料跟踪区域跟随所述物料移动；
根据获取的所述图像以及所述当前的物料跟踪区域，查找所述图像中位于所述当前的物料跟踪区域内的物料。
可选的，所述查找模块包括：
第一生成单元，用于对获取的所述图像进行灰度处理，生成所述图像的灰度图像；
第二生成单元，用于对所述灰度图像进行二值化处理，生成所述灰度图像的二值图像；
第三生成单元，用于计算所述二值图像与预设的辅助处理图像的交集，生成交集图像；
分析单元，用于利用连通区域分析技术对所述交集图像进行连通区域分析，得到所述交集图像的至少一个连通区域，其中，所述连通区域表示物料在所述获取的图像中的位置；
确定单元，用于根据当前的物料跟踪区域，确定所述至少一个连通区域中位于所述当前的物料跟踪区域中的连通区域。
可选的，所述确定模块具体用于：
获取位于所述当前的物料跟踪区域中的连通区域的至少一个边缘坐标；
对所述边缘坐标进行坐标转换处理，得到当前所述物料在所述物料台架上的位置。
可选的，所述预设的辅助处理图像的长度与获取的所述图像的长度相等，所述预设的辅助处理图像的宽度小于或者等于获取的所述图像的宽度。
又一方面，本申请提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一实施例所述的物料跟踪方法的步骤。
再一方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任一实施例所述的物料跟踪方法的步骤。
本申请实施例提供的物料跟踪方法及装置，根据实时跟踪指令，实时获取物料台架运输面的图像，其中，所述物料台架用于运输物料，所述运输面至少一部分的颜色对比度与所述物料表面颜色的对比度不同；根据获取的所述图像以及当前的物料跟踪区域，查找所述图像中位于当前的所述物料跟踪区域内的物料，其中，所述物料跟踪区域的位置是动态变化的；根据所述物料在所述图像中的位置，确定当前所述物料在所述物料台架上的位置。这样，使用图像处理与识别算法代替传统检测仪表信号和设备运行信号，既可避免由于仪表检测信号的不稳定导致的跟踪紊乱问题，也可避免受物料打滑、卡顿滞留导致的物料位移计算不准确问题，另，由于图像处理与识别算法是通过对监控流每帧图像中各物料的颜色进行对比度分析，判断出图像中是否有物料以及物料所处的位置坐标，进而实现小棒的物理位置跟踪，因此还可避免人工剔废对跟踪的影响；准确实现了物料在物料台架区域的实时跟踪。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是背景技术中所涉及的小棒生产及物料跟踪流程示意图。
图2是背景技术中所涉及的小棒台架的结构示意图。
图3是本申请一实施例提供的物料跟踪方法的流程示意图。
图4是本申请提供的一实例中物料台架涂刷底漆后的效果示意图。
图5是本申请提供的一实例中提供的标定区域在监控图像中的位置的示意图。
图6是本申请提供的一实例中提供的在监控图像中截取标定区域后的示意图。
图7是本申请提供的一实例中物料跟踪方法的流程示意图。
图8是本申请一实施例提供的物料跟踪方法的部分流程示意图。
图9是本申请提供的一实例中对图6所示的图像进行灰度处理后得到的灰度图像。
图10是本申请提供的一实例中对图9所示的灰度图像进行二值化处理之后得到的二值图像。
图11是本申请提供的一实例中对图10中所示的二值图像与预设的辅助处理图像求交之后生成交集图像。
图12是本申请提供的一实例中标定软尺在收集台架上的摆放位置示意图。
图13是本申请提供的一实例中的基准标定图像的示意图。
图14是本申请提供的一实例中物料跟踪区域的位置动态变换过程示意图。
图15是本申请一实施例提供的一种物料跟踪装置的结构示意图。
图16是本申请一实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本申请实施例做进一步详细说明。在此，本申请的示意性实施例及其说明用于解释本申请，但并不作为对本申请的限定。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意排序。
关于本文中所使用的“第一”、“第二”、……等，并非特别指称次序或顺位的意思，亦非用以限定本申请，其仅为了区别以相同技术用语描述的元件或操作。
关于本文中所使用的“包含”、“包括”、“具有”、“含有”等等，均为开放性的用语，即意指包含但不限于。
关于本文中所使用的“及/或”，包括所述事物的任一或全部排序。
本申请实施例提供的物料跟踪方法的执行主体包括但不限于计算机。
图3是本申请一实施例提供的物料跟踪方法的流程示意图，如图1所示，本申请实施例提供的物料跟踪方法，所述方法包括：
S101、根据实时跟踪指令，实时获取物料台架运输面的图像，其中，所述物料台架用于运输物料，所述运输面至少一部分的颜色对比度与所述物料表面颜色的对比度不同；
步骤S101中，可在所述物料台架附近区域安装工业摄像头，用以实时监控物料台架运输面上物料的布料和运行情况；所述执行主体(包括但不限于计算机)在接收到所述实时跟踪指令之后，读取摄像头的实时视频流，并解析得到的监控图像帧。
由于本申请是基于图像处理与识别算法来确定物料的实时位置的，因此要求所分析图像中被识别对象(即物料)与环境背景(即物料台架运输面)要有尽可能明显的对比度差异，但实际现场中物料表面颜色与物料台架运输面的颜色可能较为接近，例如现有的生产环境中小棒表面颜色与收集台架表面颜色均呈金属暗灰色，两者间的对比度不强烈，图像处理难度较大，识别精度也难以保证。
因此，可采用在物料台架运输面上涂刷与物料表面色彩对比度较大的底漆的方式(例如在图2中的收集台架上涂刷黄色底漆)，以增大物料与物料台架运输面的色彩对比度，为图像处理与识别算法提供高质量的源图像。可选的，可在所述物料台架运输面上刷满所述底漆，也可以只在所述运输面的部分区域涂刷所述底漆，例如沿物料的运输方向涂刷一窄带状的区域，且物料在所述物料台架上运输时始终与该窄带状的区域相交(参见图4)。
在物料台架经过上述预处理后，可从监控图像中标定出含上述已涂刷底漆区域的特定区域，也即进行图像标定；图像标定的工作可通过人工完成，在本申请的一本例中，如图5所示，按照左上角坐标(0,226)和右下角坐标(310,320)标定出含底漆区域的矩形区域，标定出的区域相对原监控图像而言仅是宽度缩减了，高度保持不变。一般情况，在摄像头不移位的情况下，监控图像的区域标定仅做一次既可。应当理解的是，在物料台架运输面与物料间的色彩对比度原本就较大的情况下，则无需对物料台架进行上述预处理。
所述执行主体(包括但不限于计算机)从视频流获取到图像帧后，只需截取标定区域的实时图像(如图6所示，命名为Img0)，并利用图像处理与识别算法对截取得到的图像进行下一步的处理和识别。这种处理方式可带来两大好处：(1)被分析图像中物料与物料台架运输面之间的高对比度，保证了物料的识别和定位精度；(2)被分析图像的总像素点数较小，降低了图像处理的运算量，能显著提高算法的运算速度，满足实时跟踪的要求。
S102、根据获取的所述图像以及当前的物料跟踪区域，查找所述图像中位于当前的所述物料跟踪区域内的物料，其中，所述物料跟踪区域的位置是动态变化的；
步骤S102中，物料上物料台架后，将由物料台架上的运输装置向前或者向后移动，为了准确识别每个或者每一批物料的动态位置，排除台架上其他物料对图像识别过程的影响，本申请采用了动态生成物料跟踪区域的方法，该物料跟踪区域的尺寸大小与物料的尺寸和物料之间的间距相关，具体的，该物料跟踪区域在物料运输方向上的尺寸大于每个(或者每扎)物料在该方向上的尺寸，但小于相邻物料(或者相邻扎物料)之间的间距，以确保所述物料跟踪区域中仅包括要跟踪的物料。
且该物料跟踪区域随着物料的运动而移动，以确保要跟踪的物料在运输过程中始终位于所述物料跟踪区域内，且所述物料跟踪区域内仅包括所述要跟踪的物料。基于要追踪的物料与物料跟踪区域的该特点，可利用图像处理与识别算法识别位于所述物料跟踪区域内的所述要跟踪的物料。
S103、根据所述物料在所述图像中的位置，确定当前所述物料在所述物料台架上的位置。
步骤S103中，步骤S102中识别出要跟踪的物料之后，即可得到所述物料在所述图像中的位置，然而，由于摄像头呈一定角度安装，导致了图像坐标的大小并不能直接反映实物所在的物理位置，因此，需要将物料在获取的所述图像中的位置按照一种规则转换成所对应的物理位置，具体的转换规则可以通过提前采用手动标定的方式确定。
本发明实施例提供的物料跟踪方法，根据实时跟踪指令，实时获取物料台架运输面的图像，其中，所述物料台架用于运输物料，所述运输面至少一部分的颜色对比度与所述物料表面颜色的对比度不同；根据获取的所述图像以及当前的物料跟踪区域，查找所述图像中位于当前的所述物料跟踪区域内的物料，其中，所述物料跟踪区域的位置是动态变化的；根据所述物料在所述图像中的位置，确定当前所述物料在所述物料台架上的位置。这样，使用图像处理与识别算法代替传统检测仪表信号和设备运行信号，既可避免由于仪表检测信号的不稳定导致的跟踪紊乱问题，也可避免受物料打滑、卡顿滞留导致的物料位移计算不准确问题，另，由于图像处理与识别算法是通过对监控流每帧图像中各物料的颜色进行对比度分析，判断出图像中是否有物料以及物料所处的位置坐标，进而实现小棒的物理位置跟踪，因此还可避免人工剔废对跟踪的影响；准确实现了物料在物料台架区域的实时跟踪。
在本申请的一可选实施例中，所述实时跟踪指令是在新的物料放置在所述物料台架上时触发的。
本实施例，采用了“事件触发式”跟踪与计算控制逻辑，即图像读取、图像处理与识别、位置坐标变换等核心线程并不是一直在工作的，如图7所示，以对每轧批中第一根钢和最后一根的实时位置跟踪为例，只有当新轧批的第一根和最后一根由横移臂托放到收集台架上时，才由外部应用系统(过程控制系统或人工)触发上述核心线程运行；核心线程一旦启动运行，将循环进行(例如以1秒为周期)“图像读取→图像处理与识别→位置坐标变换→图像读取”运算，实时计算和跟踪第一根和最后一根小棒的位置，直到该小棒离开收集台架，核心线程暂停运行，等待外部应用系统的下一次触发。
触发式跟踪与计算控制逻辑可最大限度地节约网络带宽资源和降低硬件计算资源的占用，使物料跟踪应用程序能友好地集成到过程控制系统或其他应用系统中。
在本申请的一可选实施例中，对于根据所述实时跟踪指令实时获取的所述物料台架运输面的第一张图像，所述当前的物料跟踪区域的位置是预先设置的。
本实施例，可将该物料跟踪区域的位置设置在监控图像中物料台架的入口端，这样，一旦新的物料进入该物料台架，即被该物料跟踪区域捕获。
在本申请的一可选实施例中，对于根据所述实时跟踪指令获取的除所述第一张图像之外的其他图像，所述根据获取的所述图像以及当前的物料跟踪区域，查找所述图像中位于当前的所述物料跟踪区域内的物料包括：
根据获取的所述图像的前一张图像中位于该前一张图像所对应的物料跟踪区域内的物料的位置，确定当前的物料跟踪区域，所述物料跟踪区域跟随所述物料移动；
根据获取的所述图像以及所述当前的物料跟踪区域，查找所述图像中位于所述当前的物料跟踪区域内的物料。
以对每轧批中第一根钢和最后一根的实时位置跟踪为例，小棒上台架后，将随着台架链条的运行向前或向后移动，为了准确识别新轧批第一根和最后一根的动态位置，排除其他小棒对图像识别过程的影响，采用动态生成矩形跟踪区(命名为TrackReg)的方法，在图像处理与识别算法没有被激活时，TrackReg的位置始终位于由(x0,y0)确定的位置，等待被触发；当图像处理与识别算法被循环调用后，TrackReg的位置将会动态变换到由(xn,yn)确定的新位置，其中(xn,yn)为当前小棒的实时图像坐标。这样可保证小棒下次移动后可能的位置始终在TrackReg范围内。矩形跟踪区位置的动态变换可确保图像处理与识别算法能始终锁定目标小棒进行分析和处理。
如图8所示，可选的，所述根据获取的所述图像以及当前的物料跟踪区域，查找所述图像中位于当前的所述物料跟踪区域内的物料包括：
S1021、对获取的所述图像进行灰度处理，生成所述图像的灰度图像；
步骤S1021中，若未预先对监控图像帧进行标定操作，则在得到的监控图像帧之后，直接对得到的监控图像帧进行灰度处理，生成所述监控图像的灰度图像；若预先对监控图像帧进行了标定操作，则在得到的监控图像帧之后，首先按照标定区域对得到的监控图像帧进行截取操作，然后对截取得到的图像进行灰度处理，生成所述图像的灰度图像，在本申请一实例中，得到的灰度图像如图9所示。
S1022、对所述灰度图像进行二值化处理，生成所述灰度图像的二值图像；
步骤S1022中，二值化处理所用公式可以为：
Figure BDA0003716021410000101
公式中Img1(x,y)表示灰度图像的灰度值，Img2(x,y)表示二值化后的图像，Tmin为最小阈值(例如取0)，Tmax为最大阈值(例如取219)。
在本申请一实例中，对图9中的灰度图像进行二值化处理之后，得到如图10所示的二值图像。如图10所示，在所述二值图像中，物料与台架的至少一部分相区分。
S1023、计算所述二值图像与预设的辅助处理图像的交集，生成交集图像；
步骤S1023中，预设的辅助处理图像CropReg，其位置为固定参数，例如取左上角坐标(0,32)，右下角坐标(292,45)；将二值化后的图片Img2与矩形区域CropReg求交集Ireg：Img2∩CropReg；如图11所示，生成的交集图像Ireg为由各物料所组成的区域。
S1024、利用连通区域分析技术对所述交集图像进行连通区域分析，得到所述交集图像的至少一个连通区域，其中，所述连通区域表示物料在所述获取的图像中的位置；
步骤S1024中，交集图像Ireg是以数据集的形式存在的，该数据集中包括各独立的物料区域的位置坐标，利用连通区域分析技术可将每个独立的物料区域分拆分开来，从而得到各独立的物料区域。以上述识别小棒的实施例为例，利用连通区域分析技术对所述交集图像进行连通区域分析，能够获取到多个独立的小棒区域CReg[]。
S1025、根据当前的物料跟踪区域，确定所述至少一个连通区域中位于所述当前的物料跟踪区域中的连通区域。
步骤S1025中，遍历每个连通区域CReg[]，获取到在当前的物料跟踪区域TrackReg中的某一个连通区域CReg[n]。
在本申请的一可选实施例中，所述根据所述物料在所述图像中的位置，确定当前所述物料在所述物料台架上的位置包括：
获取位于所述当前的物料跟踪区域中的连通区域的至少一个边缘坐标；
对所述边缘坐标进行坐标转换处理，得到当前所述物料在所述物料台架上的位置。
本实施例，获取所述连通区域CReg[n]的边缘点阵，并计算出CReg[n]的左上角(具体位置可根据需要指定，也可以是左下角、右上角等)坐标(xn,yn)，可以理解的是，在以扎或把为单位识别物料时，位于所述当前的物料跟踪区域中的连通区域可能为两个或者两个以上，这时，获取得到得所述左上角坐标是指各连通区域中位于最上部的连通区域的左上角坐标；其中xn即可用于表示当前所跟踪物料的图像位置；然后将xn值转换成沿物料台架长度方向的物理位置即可。其中，转换规则的具体确定过程可以如下：
(1)摄像头安装固定后，在物料台架上放置带刻度的特制标定软尺1(图12为示意图)，并获取一张含标尺的图像作为基准标定图像BImg，BImg中的软尺线1称为基准度量轴BAxis，如图13所示。
(2)标定出BAxis上每个刻度在BImg中的图像坐标(bxi,byi)，并形成图像坐标bxi与物理位置的对应关系表ConvertTable[(Li,bxi)]，该表将作为图像坐标与物理位置的转换基准。BImg、BAxis和ConvertTable的标定过程由人工完成，仅在摄像头移位时需要重新标定。
(3)确定图像位置坐标(xn,yn)中的xn值在基准度量轴BAxis上所在区间[bxn,bxn+1]，然后根据ConvertTable数据和插值公式计算出xn坐标对应的物理位置Lxn：
Figure BDA0003716021410000121
上式中，xn：物料在当前图像坐标中的x值；
bxn：xn在BAxis上的下区间；
bxn+1：xn在BAxis上的上区间；
Lxn：当前小棒的物理位置；
Ln：ConvertTable中坐标点bxn对应的物理位置；
Ln+1：ConvertTable中坐标点bxn+1对应的物理位置。
此外，在得到所述边缘坐标之后，利用所述边缘坐标动态变换矩形跟踪区TrackReg的位置，例如将原本位于图14底部的矩形跟踪区TrackReg变化到图14中部，且使矩形跟踪区TrackReg的中心点位于该边缘坐标之上(物料向上移动)，以使物料下次移动后可能的位置始终在TrackReg范围内。
在本申请的一可选实施例中，所述预设的辅助处理图像的长度与获取的所述图像的长度相等，所述预设的辅助处理图像的宽度小于或者等于获取的所述图像的宽度。
本实施例，所述预设的辅助处理图像的长度与获取的所述图像的长度相等，用以确保预设的辅助处理图像与获取的所述图像取交集后能够保留台架上所有的物料的痕迹；所述预设的辅助处理图像的宽度小于或者等于获取的所述图像的宽度，一方面用于在取交集后去除与物料的对比度差异较小的那部分台架区域，避免该部分区域对连通域分析过程产生干扰，另一方面，能够使后续被分析图像的总像素点数较小，降低了图像处理的运算量，能显著提高算法的运算速度，满足实时跟踪的要求。
本发明实施例提供的物料跟踪方法可以应用程序的形式独立运行，也可作为子系统集成到生产过程控制系统中运行，经现场调试后用于实际生产。该物料跟踪方法在应用于小棒在收集台架区域的跟踪时，能够准确实现小棒在收集台架区域的实时按批跟踪，为实现小棒全流程物料跟踪奠定基础，可满足生产厂对生产过程进行信息化管控和智能化数据分析的新需求，具有很高的应用价值。
图15是本申请一实施例提供的一种物料跟踪装置的结构示意图，如图15所示，本申请实施例提供的一种物料跟踪装置，包括：
获取模块21，用于根据实时跟踪指令，实时获取物料台架运输面的图像，其中，所述物料台架用于运输物料，所述运输面至少一部分的颜色对比度与所述物料表面颜色的对比度不同；
查找模块22，用于根据获取的所述图像以及当前的物料跟踪区域，查找所述图像中位于当前的所述物料跟踪区域内的物料，其中，所述物料跟踪区域的位置是动态变化的；
确定模块23，用于根据所述物料在所述图像中的位置，确定当前所述物料在所述物料台架上的位置。
本发明实施例提供的物料跟踪装置，根据实时跟踪指令，实时获取物料台架运输面的图像，其中，所述物料台架用于运输物料，所述运输面至少一部分的颜色对比度与所述物料表面颜色的对比度不同；根据获取的所述图像以及当前的物料跟踪区域，查找所述图像中位于当前的所述物料跟踪区域内的物料，其中，所述物料跟踪区域的位置是动态变化的；根据所述物料在所述图像中的位置，确定当前所述物料在所述物料台架上的位置。这样，使用图像处理与识别算法代替传统检测仪表信号和设备运行信号，既可避免由于仪表检测信号的不稳定导致的跟踪紊乱问题，也可避免受物料打滑、卡顿滞留导致的物料位移计算不准确问题，另，由于图像处理与识别算法是通过对监控流每帧图像中各物料的颜色进行对比度分析，判断出图像中是否有物料以及物料所处的位置坐标，进而实现小棒的物理位置跟踪，因此还可避免人工剔废对跟踪的影响；准确实现了物料在物料台架区域的实时跟踪。
可选的，所述实时跟踪指令是在新的物料放置在所述物料台架上时触发的。
可选的，对于根据所述实时跟踪指令实时获取的所述物料台架运输面的第一张图像，所述当前的物料跟踪区域的位置是预先设置的。
可选的，对于根据所述实时跟踪指令获取的除所述第一张图像之外的其他图像，所述查找模块具体用于：
根据获取的所述图像的前一张图像中位于该前一张图像所对应的物料跟踪区域内的物料的位置，确定当前的物料跟踪区域，所述物料跟踪区域跟随所述物料移动；
根据获取的所述图像以及所述当前的物料跟踪区域，查找所述图像中位于所述当前的物料跟踪区域内的物料。
可选的，所述查找模块包括：
第一生成单元，用于对获取的所述图像进行灰度处理，生成所述图像的灰度图像；
第二生成单元，用于对所述灰度图像进行二值化处理，生成所述灰度图像的二值图像；
第三生成单元，用于计算所述二值图像与预设的辅助处理图像的交集，生成交集图像；
分析单元，用于利用连通区域分析技术对所述交集图像进行连通区域分析，得到所述交集图像的至少一个连通区域，其中，所述连通区域表示物料在所述获取的图像中的位置；
确定单元，用于根据当前的物料跟踪区域，确定所述至少一个连通区域中位于所述当前的物料跟踪区域中的连通区域。
可选的，所述确定模块具体用于：
获取位于所述当前的物料跟踪区域中的连通区域的至少一个边缘坐标；
对所述边缘坐标进行坐标转换处理，得到当前所述物料在所述物料台架上的位置。
可选的，所述预设的辅助处理图像的长度与获取的所述图像的长度相等，所述预设的辅助处理图像的宽度小于或者等于获取的所述图像的宽度。
本申请实施例提供的装置的实施例具体可以用于执行上述各方法实施例的处理流程，其功能在此不再赘述，可以参照上述方法实施例的详细描述。
图16为本申请一实施例提供的电子设备的实体结构示意图，如图16所示，该电子设备可以包括：处理器(processor)301、通信接口(Communications Interface)302、存储器(memory)303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信。处理器301可以调用存储器303中的逻辑指令，以执行上述任一实施例所述的方法，例如包括：根据实时跟踪指令，实时获取物料台架运输面的图像，其中，所述物料台架用于运输物料，所述运输面至少一部分的颜色对比度与所述物料表面颜色的对比度不同；根据获取的所述图像以及当前的物料跟踪区域，查找所述图像中位于当前的所述物料跟踪区域内的物料，其中，所述物料跟踪区域的位置是动态变化的；根据所述物料在所述图像中的位置，确定当前所述物料在所述物料台架上的位置。
此外，上述的存储器303中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法。
本实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，所述计算机程序使所述计算机执行上述各方法实施例所提供的方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在本说明书的描述中，参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述的具体实施例，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的具体实施例而已，并不用于限定本申请的保护范围，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (16)

1.一种物料跟踪方法，其特征在于，包括：
根据实时跟踪指令，实时获取物料台架运输面的图像，其中，所述物料台架用于运输物料，所述运输面至少一部分的颜色对比度与所述物料表面颜色的对比度不同；
根据获取的所述图像以及当前的物料跟踪区域，查找所述图像中位于当前的所述物料跟踪区域内的物料，其中，所述物料跟踪区域的位置是动态变化的；
根据所述物料在所述图像中的位置，确定当前所述物料在所述物料台架上的位置。
2.根据权利要求1所述的方法，其特征在于，所述实时跟踪指令是在新的物料放置在所述物料台架上时触发的。
3.根据权利要求1或2所述的方法，其特征在于，对于根据所述实时跟踪指令实时获取的所述物料台架运输面的第一张图像，所述当前的物料跟踪区域的位置是预先设置的。
4.根据权利要求3所述的方法，其特征在于，对于根据所述实时跟踪指令获取的除所述第一张图像之外的其他图像，所述根据获取的所述图像以及当前的物料跟踪区域，查找所述图像中位于当前的所述物料跟踪区域内的物料包括：
根据获取的所述图像的前一张图像中位于该前一张图像所对应的物料跟踪区域内的物料的位置，确定当前的物料跟踪区域，所述物料跟踪区域跟随所述物料移动；
根据获取的所述图像以及所述当前的物料跟踪区域，查找所述图像中位于所述当前的物料跟踪区域内的物料。
5.根据权利要求4所述的方法，其特征在于，所述根据获取的所述图像以及当前的物料跟踪区域，查找所述图像中位于当前的所述物料跟踪区域内的物料包括：
对获取的所述图像进行灰度处理，生成所述图像的灰度图像；
对所述灰度图像进行二值化处理，生成所述灰度图像的二值图像；
计算所述二值图像与预设的辅助处理图像的交集，生成交集图像；
利用连通区域分析技术对所述交集图像进行连通区域分析，得到所述交集图像的至少一个连通区域，其中，所述连通区域表示物料在所述获取的图像中的位置；
根据当前的物料跟踪区域，确定所述至少一个连通区域中位于所述当前的物料跟踪区域中的连通区域。
6.根据权利要求5所述的方法，其特征在于，所述根据所述物料在所述图像中的位置，确定当前所述物料在所述物料台架上的位置包括：
获取位于所述当前的物料跟踪区域中的连通区域的至少一个边缘坐标；
对所述边缘坐标进行坐标转换处理，得到当前所述物料在所述物料台架上的位置。
7.根据权利要求6所述的方法，其特征在于，所述预设的辅助处理图像的长度与获取的所述图像的长度相等，所述预设的辅助处理图像的宽度小于或者等于获取的所述图像的宽度。
8.一种物料跟踪装置，其特征在于，包括：
获取模块，用于根据实时跟踪指令，实时获取物料台架运输面的图像，其中，所述物料台架用于运输物料，所述运输面至少一部分的颜色对比度与所述物料表面颜色的对比度不同；
查找模块，用于根据获取的所述图像以及当前的物料跟踪区域，查找所述图像中位于当前的所述物料跟踪区域内的物料，其中，所述物料跟踪区域的位置是动态变化的；
确定模块，用于根据所述物料在所述图像中的位置，确定当前所述物料在所述物料台架上的位置。
9.根据权利要求8所述的装置，其特征在于，所述实时跟踪指令是在新的物料放置在所述物料台架上时触发的。
10.根据权利要求8或9所述的装置，其特征在于，对于根据所述实时跟踪指令实时获取的所述物料台架运输面的第一张图像，所述当前的物料跟踪区域的位置是预先设置的。
11.根据权利要求10所述的装置，其特征在于，对于根据所述实时跟踪指令获取的除所述第一张图像之外的其他图像，所述查找模块具体用于：
根据获取的所述图像的前一张图像中位于该前一张图像所对应的物料跟踪区域内的物料的位置，确定当前的物料跟踪区域，所述物料跟踪区域跟随所述物料移动；
根据获取的所述图像以及所述当前的物料跟踪区域，查找所述图像中位于所述当前的物料跟踪区域内的物料。
12.根据权利要求11所述的装置，其特征在于，所述查找模块包括：
第一生成单元，用于对获取的所述图像进行灰度处理，生成所述图像的灰度图像；
第二生成单元，用于对所述灰度图像进行二值化处理，生成所述灰度图像的二值图像；
第三生成单元，用于计算所述二值图像与预设的辅助处理图像的交集，生成交集图像；
分析单元，用于利用连通区域分析技术对所述交集图像进行连通区域分析，得到所述交集图像的至少一个连通区域，其中，所述连通区域表示物料在所述获取的图像中的位置；
确定单元，用于根据当前的物料跟踪区域，确定所述至少一个连通区域中位于所述当前的物料跟踪区域中的连通区域。
13.根据权利要求12所述的装置，其特征在于，所述确定模块具体用于：
获取位于所述当前的物料跟踪区域中的连通区域的至少一个边缘坐标；
对所述边缘坐标进行坐标转换处理，得到当前所述物料在所述物料台架上的位置。
14.根据权利要求13所述的装置，其特征在于，所述预设的辅助处理图像的长度与获取的所述图像的长度相等，所述预设的辅助处理图像的宽度小于或者等于获取的所述图像的宽度。
15.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述方法的步骤。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。
CN202210736435.7A 2022-06-27 2022-06-27 物料跟踪方法及装置 Pending CN115170608A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210736435.7A CN115170608A (zh) 2022-06-27 2022-06-27 物料跟踪方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210736435.7A CN115170608A (zh) 2022-06-27 2022-06-27 物料跟踪方法及装置

Publications (1)

Publication Number Publication Date
CN115170608A true CN115170608A (zh) 2022-10-11

Family

ID=83487226

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210736435.7A Pending CN115170608A (zh) 2022-06-27 2022-06-27 物料跟踪方法及装置

Country Status (1)

Country Link
CN (1) CN115170608A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116883413A (zh) * 2023-09-08 2023-10-13 山东鲁抗医药集团赛特有限责任公司 一种剔废接料滞留视觉检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116883413A (zh) * 2023-09-08 2023-10-13 山东鲁抗医药集团赛特有限责任公司 一种剔废接料滞留视觉检测方法
CN116883413B (zh) * 2023-09-08 2023-12-01 山东鲁抗医药集团赛特有限责任公司 一种剔废接料滞留视觉检测方法

Similar Documents

Publication Publication Date Title
DE102006031178B4 (de) Greiferführungssystem, Bearbeitungssystem und Programm
DE102015219544A1 (de) System und Verfahren zur Verfolgung optischer Codes
CN111762519B (zh) 引导拣选机器人作业的方法、系统和调度装置
CN110046570B (zh) 一种粮仓粮食库存动态监管方法和装置
CN115170608A (zh) 物料跟踪方法及装置
CN113253735B (zh) 跟随目标的方法、装置、机器人及计算机可读存储介质
CN112561859B (zh) 基于单目视觉的锚护用钢带钻孔与锚网识别方法及装置
CN111604898A (zh) 牲畜寻回方法、机器人、终端设备及存储介质
CN110427845B (zh) 物品像素中心确定方法、装置、设备及可读存储介质
CN115321090A (zh) 机场行李自动接取方法、装置、设备、系统及介质
CN113298820A (zh) 一种料堆盘库的方法及系统
CN105229701A (zh) 定义感兴趣区域的方法
CN114904798B (zh) 一种基于图像识别的煤矸石自动分拣方法、系统及介质
Sopauschke et al. Smart process observer for crane automation
CN110390366B (zh) 仓库中的定位系统、方法和装置
CN113313746A (zh) 一种料堆盘库的方法及系统
Ristić-Durrant et al. Deep learning-based obstacle detection and distance estimation using object bounding box
CN113811426A (zh) 物品特征适配技术
CN116833236A (zh) 一种棒材跟踪方法、棒材跟踪系统及棒材跟踪装置
CN115582840B (zh) 无边框钢板工件分拣抓取位姿计算方法、分拣方法及系统
JP2007188268A (ja) 画像上移動物体追跡方法及び装置
CN115635070B (zh) 一种基于力/位混合技术的毛刺去除机器控制传输系统
CN116385471B (zh) 一种基于定向区域生长的激光轮廓线提取方法
CN114772220B (zh) 一种带式输送机物料负载的实时检测方法
CN114779271B (zh) 目标检测方法和装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination