CN116524395B - 一种面向智慧工厂的视频动作识别方法及系统 - Google Patents

一种面向智慧工厂的视频动作识别方法及系统 Download PDF

Info

Publication number
CN116524395B
CN116524395B CN202310352101.4A CN202310352101A CN116524395B CN 116524395 B CN116524395 B CN 116524395B CN 202310352101 A CN202310352101 A CN 202310352101A CN 116524395 B CN116524395 B CN 116524395B
Authority
CN
China
Prior art keywords
time sequence
point
robot
video
judgment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310352101.4A
Other languages
English (en)
Other versions
CN116524395A (zh
Inventor
张世联
王培栋
王洪伟
王俊
张锋知
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Intelligent Workshop Technology Research Institute Co ltd
Original Assignee
Jiangsu Intelligent Workshop Technology Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Intelligent Workshop Technology Research Institute Co ltd filed Critical Jiangsu Intelligent Workshop Technology Research Institute Co ltd
Priority to CN202310352101.4A priority Critical patent/CN116524395B/zh
Publication of CN116524395A publication Critical patent/CN116524395A/zh
Application granted granted Critical
Publication of CN116524395B publication Critical patent/CN116524395B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及视频监控的领域，尤其是涉及一种面向智慧工厂的视频动作识别方法及系统，方法包括获取机器人单次运作视频，训练若干段机器人单次运作视频生成时序动作点位训练数据集；依据巡查命令获取机器人单次运作视频时长的机器人运作视频；从机器人运作视频中节取待识别动作视频；依据待识别动作视频获取与预设时序点组中的判断时序点对应的图像帧；处理图像帧生成判断点位坐标组；按时序依次匹配时序动作点位训练数据集中与判断时序点对应的基准时序点，判断判断点位坐标组是否与基准时序点对应的基准点位坐标组均一致，得到判断结果；依据判断结果确定机器人的视频动作识别结果。本申请具有便于及时发现工厂中出现故障的工业机器人的效果。

Description

一种面向智慧工厂的视频动作识别方法及系统
技术领域
本申请涉及视频监控的领域，尤其是涉及一种面向智慧工厂的视频动作识别方法及系统。
背景技术
随着工厂对产品加工制造效率要求的提升，现在工厂中大量引进了如六轴机器人等工业机器人。
工厂中一条生产线上会设置多个工业机器人，每个工业机器人负责不同节点的工作，如转运、包装、辅助加工以及封箱等。每个机器人的控制系统中均预先设置有机器人运作程序，在实际生产时，工业机器人基于机器人运作程序进行运作；为了防止工业机器人因为故障而停机过长，一般工厂中会设置专门的巡查人员定时对各个工业机器人进行巡查，从而便于尽早发现出现故障的工业机器人。
在实现本申请的过程中，发现上述技术至少存在以下问题：工厂中的工业机器人数量一般较多，巡查员人员仅是定时做一次巡查，而且单次巡查的时间较长；若某个工业机器人出现故障，则巡查人员有可能需要较差时间后才能发现；可见通过现有技术中难以及时发现工厂中出现故障的工业机器人。
发明内容
为了便于及时发现工厂中出现故障的工业机器人，本申请提供一种面向智慧工厂的视频动作识别方法及系统。
第一方面，本申请提供一种面向智慧工厂的视频动作识别方法，采用如下的技术方案：
一种面向智慧工厂的视频动作识别方法，包括：
获取若干段机器人单次运作视频，处理若干段所述机器人单次运作视频生成时序动作点位训练数据集，所述时序动作点位训练数据集包括基准时序点以及与基准时序点对应的基准点位坐标组；
获取巡查命令，依据所述巡查命令获取时长至少为两倍所述机器人单次运作视频时长的机器人运作视频；
从所述机器人运作视频中节取至少一段所述机器人单次运作视频，记为待识别动作视频；依据所述待识别动作视频获取与预设时序点组中的判断时序点一一对应的图像帧；
处理所述图像帧生成与对应的所述判断时序点对应的判断点位坐标组；
按时序依次匹配所述时序动作点位训练数据集中与所述判断时序点对应的基准时序点，判断与所述判断时序点对应的所述判断点位坐标组是否与相匹配的所述基准时序点对应的基准点位坐标组均一致，得到判断结果；
依据所述判断结果确定机器人的视频动作识别结果。
通过采用上述技术方案，先训练出时序动作点位训练数据集作为机器人对应时序点上自身各点位的坐标的判断基准，然后在需要对机器人进行巡查时，先拍摄对应的机器人运作视频，然后从中获取各个时序点上的机器人上各个点位的坐标，然后将获取各个时序点上的机器人上各个点位的坐标与时序动作点位训练数据集进行比较与判断，从而便于判断出机器人各个时序点上的点位坐标是否达到预设状态，从而便于实现机器人视频动作的识别，如此便于及时发现工厂中出现故障的工业机器人。
在一个具体的可实施方案中，所述处理若干段所述机器人单次运作视频生成时序动作点位训练数据集的步骤包括：
依据预设间隔时间确定与每段所述机器人单次运作视频对应的所述基准时序点；
获取与每个所述基准时序点对应的所述机器人单次运作视频中的图像帧；
处理所述图像帧生成与若干预设基准点位对应的基准点位坐标组；
依据所述基准时序点以及所述基准时序点对应的基准点位坐标组生成所述时序动作点位训练数据集。
通过采用上述技术方案，先从机器人单次运作视频中获取与基准时序点对应的图像帧，然后确定图像帧上机器人与各个预设点位对应的基准点位坐标组；最后依据基准时序点以及与基准时序点对应的基准点位坐标组得到时序动作点位训练数据集，如此便于得到一个判断机器人的视频动作是否达到预设状态的判定依据。
在一个具体的可实施方案中，所述处理所述图像帧生成与若干预设基准点位对应的基准点位坐标组后的步骤包括：
获取所有所述机器人单次运作视频中相同所述基准时序点对应的基准点位坐标组；
以所述基准点位坐标组是否一致为依据对所述基准点位坐标组进行分组，得到若干组基准点位坐标组；
判断出数量最多的一组所述基准点位坐标组，将其中的基准点位坐标组作为与所述基准时序点对应的基准点位坐标组。
通过采用上述技术方案，将机器人上任意一个点位在一个基准时序点出现最多的基准点位坐标组作为与该基准时序点对应的基准点位坐标组，从而可使该基准点位坐标组作为判断基准更有说服力。
在一个具体的可实施方案中，所述依据所述待识别动作视频获取与预设时序点组中的判断时序点一一对应的图像帧的步骤包括：
依据所述预设时间间隔确定与所述待识别动作视频对应的时序点组，所述时序点组包含若干判断时序点，相邻所述判断时序点之间的时间间隔为所述预设时间间隔；
获取与所述判断时序点对应的图像帧组，所述图像帧组中包含若干所述图像帧；
计算所述图像帧组中每张所述图像帧的模糊度，按照所述模糊度对所述图像帧组中的中的所述图像帧进行排序，获取所述模糊度最低的图像帧作为与所述判断时序点一一对应的图像帧。
通过采用上述技术方案，获取图像最清楚的一个图像帧作为与判断时序点对应的图像帧，便于提升确定该图像帧上判断点位坐标准确度与便利性。
在一个具体的可实施方案中，所述处理所述图像帧生成与对应的所述判断时序点对应的判断点位坐标组的步骤包括：
从与所述判断时序点对应的所述图像帧中分割出与机器人对应的机器人图像；
计算所述机器人图像中各预设点位的坐标，生成判断点位坐标组。
通过采用上述技术方案，将机器人图像从图像帧中分割出，从而便于防止图像帧中的其他事物图像对判断点坐标的计算造成不利影响。
在一个具体的可实施方案中，所述从与所述判断时序点对应的所述图像帧中分割出与机器人对应的机器人图像的步骤包括：
计算所述图像帧中各个像素点的灰度值；
计算所述像素点与相邻像素点之间灰度值的差值，记为灰度差；
确定与所述灰度差大于预设灰度差阈值对应的所述像素点，记为边缘像素点；
依据所述边缘像素点确定所述机器人图像的轮廓线；
依据所述轮廓线分割所述图像帧得到机器人图像。
通过采用上述技术方案，便于通过计算灰度差，并将计算出灰度差与预设灰度差阈值比较的方式确定轮廓线，然后进一步依据轮廓下分割出机器人图像，从而杜绝了图像帧中的其他食物对机器人图像的影响，进而便于提升计算出机器人上判断点位坐标的速度。
第二方面，本申请提供一种面向智慧工厂的视频动作识别系统，采用如下的技术方案：
一种面向智慧工厂的视频动作识别系统，包括：
时序动作点位训练数据集生成模块，用于获取若干段机器人单次运作视频，处理若干段所述机器人单次运作视频生成时序动作点位训练数据集，所述时序动作点位训练数据集包括基准时序点以及与基准时序点对应的基准点位坐标组；
机器人运作视频获取模块，用于获取巡查命令，依据所述巡查命令获取时长至少为两倍所述机器人单次运作视频时长的机器人运作视频；
图像帧获取模块，用于从所述机器人运作视频中节取至少一段所述机器人单次运作视频，记为待识别动作视频；依据所述待识别动作视频获取与预设时序点组中的判断时序点一一对应的图像帧；
图像处理模块，用于处理所述图像帧生成与对应的所述判断时序点对应的判断点位坐标组；判断结果获取模块，用于按时序依次匹配所述时序动作点位训练数据集中与所述判断时序点对应的基准时序点，判断与所述判断时序点对应的所述判断点位坐标组是否与相匹配的所述基准时序点对应的基准点位坐标组均一致，得到判断结果；
视频动作识别结果确定模块，用于依据所述判断结果确定机器人的视频动作识别结果。
通过采用上述技术方案，先训练出时序动作点位训练数据集作为机器人对应时序点上自身各点位的坐标的判断基准，然后在需要对机器人进行巡查时，先拍摄对应的机器人运作视频，然后从中获取各个时序点上的机器人上各个点位的坐标，然后将获取各个时序点上的机器人上各个点位的坐标与时序动作点位训练数据集进行比较与判断，从而便于判断出机器人各个时序点上的点位坐标是否达到预设状态，从而便于实现机器人视频动作的识别，如此便于及时发现工厂中出现故障的工业机器人。
第三方面，本申请提供一种计算机设备，采用如下技术方案：包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如上述任意一种面向智慧工厂的视频动作识别方法的计算机程序。
通过采用上述技术方案，便于及时发现工厂中出现故障的工业机器人。
第四方面，本申请提供一种计算机可读存储介质，采用如下技术方案：存储有能够被处理器加载并执行上述任意一种面向智慧工厂的视频动作识别方法的计算机程序。
通过采用上述技术方案，便于及时发现工厂中出现故障的工业机器人。
综上所述，本申请包括以下至少一种有益技术效果：
1.便于及时发现工厂中出现故障的工业机器人；
2.便于防止图像帧中的其他事物图像对判断点坐标的计算造成不利影响；
3.便于提升计算出机器人上判断点位坐标的速度。
附图说明
图1是本申请实施例中一种面向智慧工厂的视频动作识别方法的流程示意图。
图2是本申请实施例中面向智慧工厂的视频动作识别系统的结构框图。
附图标记说明：100、训练数据集生成模块；200、运作视频获取模块；300、图像帧获取模块；400、图像处理模块；500、判断结果获取模块；600、视频动作识别结果确定模块。
具体实施方式
以下结合附图1-2对本申请作进一步详细说明。
本申请实施例公开了一种面向智慧工厂的视频动作识别方法。参照图1，面向智慧工厂的视频动作识别方法包括：
S100、获取若干段机器人单次运作视频，处理若干段机器人单次运作视频生成时序动作点位训练数据集，时序动作点位训练数据集包括基准时序点以及与基准时序点对应的基准点位坐标组。
需要说明的是，机器人在实际运行过程中，按照预定程序执行重复进行的一套运行动作，机器人单次运作视频也即一段机器人从运行动作起点开始运行并最终回到运行动作起点的视频，是显示机器人执行一套运行动作的视频。
具体的，上述处理若干段机器人单次运作视频生成时序动作点位训练数据集具体包含以下子步骤：
S11、依据预设间隔时间确定与每段机器人单次运作视频对应的基准时序点。
以其中一段机器人单次运作视频为例，在获取一段时长为S秒的机器人单次运作视频后，将该段机器人单次运作视频的起始时刻定义为0秒，还将该段机器人单次运作视频的终止时刻定义为S秒，然后自主设定一个预设间隔时间，从机器人单次运作视频的0秒开始，每隔一个预设间隔时间确定一个时刻作为基准时序点，如此在机器人单次运作视频的0秒与S秒之间可以对应设定若干个基准时序点。
S12、获取与每个基准时序点对应的机器人单次运作视频中的图像帧；
需要说明的是，上述每个基准时序点对应于机器人单次运作视频中的一个具体的时刻，比如说，其中的基准时序点对应于机器人单次运作视频中的第10秒，则在实施中获取机器人单次运作视频中对应第10秒的图像帧。
S13、图像处理图像帧生成与若干预设基准点位对应的基准点位坐标组。
计算机中预设有若干对应于机器人不同位置的基准点位，也即，每个基准点位对应于机器人上的一个位置。
通过S21步骤获取与一个基准时序点对应的图像帧后，进一步的，依据预设的基准点位在图像帧上找到与每个基准点位对应的基准点位坐标，如此可得到由若干基准点位坐标构成的基准点位坐标组。
S17、依据基准时序点以及基准时序点对应的基准点位坐标组生成时序动作点位训练数据集。
在获取上述机器人单次运作视频中各个基准时序点，以及与每个基准时序点对应的基准点位坐标组后，可以将各个基准时序点以及与每个基准时序点对应的基准点位坐标组综合在一起，从而形成时序动作点位训练数据集。
具体的，上述S13与S17之间的步骤还包括：
S14、获取所有机器人单次运作视频中相同基准时序点对应的基准点位坐标组。
在上述步骤上获取由若干段机器人单次运作视频，获取与每段机器人单次运作视频对应的若干基准时序点以及与每个基准时序点对应的基准点位坐标组。
每段机器人单次运作视频均对应有一组基准时序点，如：0秒、5秒、10秒……，比如获取每段机器人单次运作视频中基准时序点均为5秒的图像帧，然后确定与每个图像帧对应的基准点位坐标组。
S15、以所述基准点位坐标组是否一致为依据对基准点位坐标组进行分组，得到若干组基准点位坐标组。
若机器人一直运行正常，则与每段机器人单次运作视频对应的基准点位坐标组与其他段机器人单次运作视频对应的基准点位坐标组均一致，但受限于信号传输过程的稳定以及机器人自身的结构，机器人可能不能一致处于运行正常状态。
若机器人发生运行不正常的状态，则对应的基准点位坐标组会与其他的基准点位坐标组不一致。
在获取与若干段机器人单次运作视频对应的若干基准点位坐标组后，以所述基准点位坐标组是否一致为依据对基准点位坐标组进行分组，得到若干组基准点位坐标组。
S16、判断出数量最多的一组所述基准点位坐标组，将其中的基准点位坐标组作为与基准时序点对应的基准点位坐标组。
显然的是，出现次数最多的基准点位坐标组因其普遍性更适合作为每个基准时序点最匹配的基准点位坐标组，因此在实施中，对每组基准点位坐标组进行判断，从而判断出基准点位坐标组数量最多的一组基准点位坐标组，然后该基准点位坐标组作为与对应基准时序点对应的基准点位坐标组。
S200、获取巡查命令，依据巡查命令获取时长至少为两倍机器人单次运作视频时长的机器人运作视频。
工厂的控制机房中设有计算机，计算机电连接有设置在机器人附近的摄像头。
在实施中，当计算机接收到预先定时发送的巡查命令，或者接收人为发出的巡查命令，然后依据巡查命令控制摄像头拍摄对应的机器人，得到对应的机器人运作视频，需要说明的是，为了便于拍摄到一个完整的机器人单次运作视频，摄像头拍摄到的机器人运作视频的时长至少为两倍的机器人单次运作视频时长，然后摄像头将拍摄到的机器人运作视频进一步发送至计算机。
S300、从机器人运作视频中节取至少一段机器人单次运作视频，记为待识别动作视频；依据待识别动作视频获取与预设时序点组中的判断时序点一一对应的图像帧。
计算机在获取到机器人运作视频后，对机器人运作视频进行识别，通过识别确定其中一个与机器人单次运作视频起始时刻对应的时刻，然后以及该时刻为起点从机器人运作视频中节取至少一段机器人单次运作视频；在本实施例中，仅节取一段机器人单次运作视频。
具体的，依据待识别动作视频获取与预设时序点组中的判断时序点一一对应的图像帧的步骤包含以下子步骤：
S31、依据预设时间间隔确定与待识别动作视频对应的时序点组，时序点组包含若干判断时序点，相邻判断时序点之间的时间间隔为预设时间间隔。
从机器人运作视频中获取一段机器人单次运作视频后，为该机器人单次运作视频匹配相应的时序组，时序组中包含有若干判断时序点，比如：0秒、5秒、10秒……；判断时序点分别对应有机器人单次运作视频中的一张图像帧，比如：为5秒的判断时序点对应机器人单次运作视频中第5秒的图像帧，为10秒的判断时序点对应机器人单次运作视频中第10秒的图像帧，以此类推。需要说明的是，相邻判断时序点之间的时间间隔仍为上述预设时间间隔，在本实施例中，预设时间间隔为5秒。
S32、获取与判断时序点对应的图像帧组，图像帧组中包含若干图像帧。
需要说明的是，虽然每个判断时序点仅对应有一张图像帧，但是在实际操作中发现，判断时序点对应的一张图像帧可能是一张较为模糊的图像帧，后续使用价值较低。
为了便于增加与判断时序点对应的图像帧是清楚的概率，在实施中，不仅获取机器人单次运作视频中与对应的判断时序点恰好对应的一张图像帧，还获取该张图像帧时序上往前的10张图像帧，以及该张图像帧时序上往后的10张图像帧，从而得到由21张图像帧构成的图像帧组。在其他实施例中，选取的图像帧前后时序上的图像帧的数量并不均限定为10张，可以根据需要自行调整。
S33、计算图像帧组中每张图像帧的模糊度，按照模糊度对图像帧组中的中的图像帧进行排序，获取所述模糊度最低的图像帧作为与判断时序点一一对应的图像帧。
每获取一个图像帧组后，计算机的分别计算每张图像帧的模糊度值，然后按照模糊度值从小到大的顺序对图像帧进行排序，然后获取排序第一的图像帧，也即模糊度值最低的图像帧，然后将模糊度值最低的图像帧作为与该判断时序点对应的图像帧，如此便于增加与判断时序点对应的图像帧是清楚的概率。
S400、图像处理图像帧生成与对应的判断时序点对应的判断点位坐标组。
具体的，S400包括以下子步骤：
S410、从与判断时序点对应的图像帧中分割出与机器人对应的机器人图像。
具体的，S410还包括以下子步骤：
S411、计算图像帧中各个像素点的灰度值。
以获取其中一张图像帧为例，获取与一个与判断时序点对应的图像帧后，计算机对该图像帧上每个像素点的灰度值进行计算，从而得到图像帧上每个像素的灰度值。
S412、计算像素点与相邻像素点之间灰度值的差值，记为灰度差。
在图像帧中，相邻像素点具体指的是位于一个像素点相邻的上下或者左右位置的像素点，一个像素相邻的像素点的数量可能有2个、3个或者4个。
在计算出每个像素点的灰度值后，计算机进一步计算每个像素点与其所有相邻像素点之间的灰度值的差值，且将灰度值的差值记为灰度差。
S413、确定与灰度差大于预设灰度差阈值对应的像素点，记为边缘像素点。
然后判断与每个像素点的对应的所有灰度差是否存在有大于预设灰度差阈值的情况，若有，则将该像素点记为边缘像素点。
S414、依据边缘像素点确定机器人图像的轮廓线。
通过S413步骤确定所有的边缘像素点后，确定距离每个边缘像素点最近的边缘像素点，然后通过连线连接每个边缘像素点与离其最近的边缘像素点，如此可以得到机器人图像的轮廓线。
由于机器人的涂装颜色一般较为显眼，比如黄色，如此会导致图像帧中有关机器人的部分的灰度值会明显大于其周围部分灰度值，如此便于通过比较灰度值差异的方式确定机器人图像的轮廓线。
S415、依据轮廓线分割图像帧得到机器人图像。
在确定出机器人图像的轮廓线后，截取机器人图像的轮廓线以内的图像帧部分，从而得到机器人图像。
仅获取机器人图像的目的在于防止图像帧中其他事物对后续计算机器人上的预设点位坐标造成影响。
S420、计算机器人图像中各预设点位的坐标，生成判断点位坐标组。
需要说明的是，计算机中预设有对一个机器人不同位置的机器人预设点位。在获取机器人图像后，通过图像处理的方式计算出每个预设点位的坐标，也即对应每个判断时序点均计算得到一组判断点位坐标，且将与每个判断时序点对应的一组判断点位坐标记为判断点位坐标组。
S500、按时序依次匹配时序动作点位训练数据集中与判断时序点对应的基准时序点，判断与判断时序点对应的判断点位坐标组是否与相匹配的基准时序点对应的基准点位坐标组均一致，得到判断结果。
按时序将若干基准时序点分别记为T01、T02、T03……，每个基准时序点均对应有一个基准点位坐标组，举例来说，与T01对应的基准点位坐标组为{P011、P012、P013……}；与T02对应的基准点位坐标组为{P021、P022、P023……}；以此类推；
按时序排列的判断时序点为T11、T12、T13……，每个判断时序点也均对应有一个判断点位坐标组，举例来说，与T11对应的基准点位坐标组为{P111、P112、P113……}；与T12对应的基准点位坐标组为{P121、P122、P123……}；以此类推；
其中，T11、T12、T13……与T01、T02、T03……按时序一一对应。
在实施中，先确定T11以及与T11对应的T01，然后获取与T11对应的判断点位坐标组{P111、P112、P113……}，然后判断{P111、P112、P113……}是否与对应的{P011、P012、P013……}一致；以此类推，判断每个判断时序点对应的判断点位坐标组是否与对应的基准点位坐标组一致；最后，综合判断是否每个每个判断时序点对应的判断点位坐标组是否均与对应的基准点位坐标组一致，得到一个判断结果。
S600、依据判断结果确定机器人的视频动作识别结果。
若判断结果为是，则确定出的视频动作识别结果为机器人运作正常；否则，确定出的视频动作识别结果为机器人运作异常；如此便于通过对视频处理的方式实现对机器人视频动作的识别。
图1为一个实施例中面向智慧工厂的视频动作识别方法的流程示意图。应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行；除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行；并且图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本申请实施例还公开了一种面向智慧工厂的视频动作识别系统。参照图2，面向智慧工厂的视频动作识别系统包括：
训练数据集生成模块100，用于获取若干段机器人单次运作视频，训练若干段机器人单次运作视频生成时序动作点位训练数据集，时序动作点位训练数据集包括基准时序点以及与基准时序点对应的基准点位坐标组；
运作视频获取模块200，用于获取巡查命令，依据巡查命令获取时长至少为两倍机器人单次运作视频时长的机器人运作视频；
图像帧获取模块300，用于从机器人运作视频中节取至少一段机器人单次运作视频，记为待识别动作视频；依据待识别动作视频获取与预设时序点组中的判断时序点一一对应的图像帧；图像处理模块400，用于图像处理图像帧生成与对应的判断时序点对应的判断点位坐标组；判断结果获取模块500，用于按时序依次匹配时序动作点位训练数据集中与判断时序点对应的基准时序点，判断与判断时序点对应的判断点位坐标组是否与相匹配的基准时序点对应的基准点位坐标组均一致，得到判断结果。
视频动作识别结果确定模块600，用于依据判断结果确定机器人的视频动作识别结果。
在本实施例中还公开了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述一种面向智慧工厂的视频动作识别方法的步骤。此处一种面向智慧工厂的视频动作识别方法的步骤可以是上述各个实施例的一种面向智慧工厂的视频动作识别方法中的步骤。
在本实施例中还公开了一种计算机可读存储介质，其存储有能够被处理器加载并执行如上述一种面向智慧工厂的视频动作识别方法的计算机程序，该计算机可读存储介质例如包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(RandomAccessMemory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。

Claims (7)

1.一种面向智慧工厂的视频动作识别方法，其特征在于，包括：
获取若干段机器人单次运作视频，处理若干段所述机器人单次运作视频生成时序动作点位训练数据集，所述时序动作点位训练数据集包括基准时序点以及与基准时序点对应的基准点位坐标组；
获取巡查命令，依据所述巡查命令获取时长至少为两倍所述机器人单次运作视频时长的机器人运作视频；
从所述机器人运作视频中节取至少一段所述机器人单次运作视频，记为待识别动作视频；依据所述待识别动作视频获取与预设时序点组中的判断时序点一一对应的图像帧；
处理所述图像帧生成与对应的所述判断时序点对应的判断点位坐标组；
按时序依次匹配所述时序动作点位训练数据集中与所述判断时序点对应的基准时序点，判断与所述判断时序点对应的所述判断点位坐标组是否与相匹配的所述基准时序点对应的基准点位坐标组均一致，得到判断结果；
依据所述判断结果确定机器人的视频动作识别结果；
所述处理若干段所述机器人单次运作视频生成时序动作点位训练数据集的步骤包括：
依据预设间隔时间确定与每段所述机器人单次运作视频对应的所述基准时序点；
获取与每个所述基准时序点对应的所述机器人单次运作视频中的图像帧；
处理所述图像帧生成与若干预设基准点位对应的基准点位坐标组；
依据所述基准时序点以及所述基准时序点对应的基准点位坐标组生成所述时序动作点位训练数据集；
所述依据所述待识别动作视频获取与预设时序点组中的判断时序点一一对应的图像帧的步骤包括：
依据所述预设间隔时间确定与所述待识别动作视频对应的时序点组，所述时序点组包含若干判断时序点，相邻所述判断时序点之间的间隔时间为所述预设间隔时间；
获取与所述判断时序点对应的图像帧组，所述图像帧组中包含若干所述图像帧；
计算所述图像帧组中每张所述图像帧的模糊度，按照所述模糊度对所述图像帧组中的所述图像帧进行排序，获取所述模糊度最低的图像帧作为与所述判断时序点一一对应的图像帧。
2.根据权利要求1所述的一种面向智慧工厂的视频动作识别方法，其特征在于，所述处理所述图像帧生成与若干预设基准点位对应的基准点位坐标组后的步骤包括：
获取所有所述机器人单次运作视频中相同所述基准时序点对应的基准点位坐标组；
以所述基准点位坐标组是否一致为依据对所述基准点位坐标组进行分组，得到若干组基准点位坐标组；
判断出数量最多的一组所述基准点位坐标组，将其中的基准点位坐标组作为与所述基准时序点对应的基准点位坐标组。
3.根据权利要求1所述的一种面向智慧工厂的视频动作识别方法，其特征在于，所述处理所述图像帧生成与对应的所述判断时序点对应的判断点位坐标组的步骤包括：
从与所述判断时序点对应的所述图像帧中分割出与机器人对应的机器人图像；
计算所述机器人图像中各预设点位的坐标，生成判断点位坐标组。
4.根据权利要求3所述的一种面向智慧工厂的视频动作识别方法，其特征在于，所述从与所述判断时序点对应的所述图像帧中分割出与机器人对应的机器人图像的步骤包括：
计算所述图像帧中各个像素点的灰度值；
计算所述像素点与相邻像素点之间灰度值的差值，记为灰度差；
确定与所述灰度差大于预设灰度差阈值对应的所述像素点，记为边缘像素点；
依据所述边缘像素点确定所述机器人图像的轮廓线；
依据所述轮廓线分割所述图像帧得到机器人图像。
5.一种面向智慧工厂的视频动作识别系统，基于如权利要求1的所述的一种面向智慧工厂的视频动作识别方法，其特征在于，包括：
训练数据集生成模块（100），用于获取若干段机器人单次运作视频，处理若干段所述机器人单次运作视频生成时序动作点位训练数据集，所述时序动作点位训练数据集包括基准时序点以及与基准时序点对应的基准点位坐标组；
运作视频获取模块（200），用于获取巡查命令，依据所述巡查命令获取时长至少为两倍所述机器人单次运作视频时长的机器人运作视频；
图像帧获取模块（300），用于从所述机器人运作视频中节取至少一段所述机器人单次运作视频，记为待识别动作视频；依据所述待识别动作视频获取与预设时序点组中的判断时序点一一对应的图像帧；
图像处理模块（400），用于处理所述图像帧生成与对应的所述判断时序点对应的判断点位坐标组；
判断结果获取模块（500），用于按时序依次匹配所述时序动作点位训练数据集中与所述判断时序点对应的基准时序点，判断与所述判断时序点对应的所述判断点位坐标组是否与相匹配的所述基准时序点对应的基准点位坐标组均一致，得到判断结果；
视频动作识别结果确定模块（600），用于依据所述判断结果确定机器人的视频动作识别结果。
6.一种计算机设备，其特征在于：所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1-4任意一项所述的一种面向智慧工厂的视频动作识别方法。
7.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1-4任意一项所述的一种面向智慧工厂的视频动作识别方法。
CN202310352101.4A 2023-04-04 2023-04-04 一种面向智慧工厂的视频动作识别方法及系统 Active CN116524395B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310352101.4A CN116524395B (zh) 2023-04-04 2023-04-04 一种面向智慧工厂的视频动作识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310352101.4A CN116524395B (zh) 2023-04-04 2023-04-04 一种面向智慧工厂的视频动作识别方法及系统

Publications (2)

Publication Number Publication Date
CN116524395A CN116524395A (zh) 2023-08-01
CN116524395B true CN116524395B (zh) 2023-11-07

Family

ID=87398524

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310352101.4A Active CN116524395B (zh) 2023-04-04 2023-04-04 一种面向智慧工厂的视频动作识别方法及系统

Country Status (1)

Country Link
CN (1) CN116524395B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113963162A (zh) * 2021-11-12 2022-01-21 中国南方电网有限责任公司超高压输电公司天生桥局 安全帽佩戴识别方法、装置、计算机设备和存储介质
CN114429675A (zh) * 2022-01-21 2022-05-03 京东方科技集团股份有限公司 动作识别方法、模型训练方法、装置及电子设备
CN114792402A (zh) * 2021-12-30 2022-07-26 重庆知行数联智能科技有限责任公司 一种基于图像识别的水污染判断方法及系统
CN114898466A (zh) * 2022-05-13 2022-08-12 埃夫特智能装备股份有限公司 一种面向智慧工厂的视频动作识别方法及系统
CN114972368A (zh) * 2021-02-26 2022-08-30 阿里巴巴集团控股有限公司 图像分割处理方法及装置、存储介质和电子设备
CN115657012A (zh) * 2022-12-23 2023-01-31 深圳佑驾创新科技有限公司 图像目标与雷达目标的匹配方法、装置、设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10229318B2 (en) * 2017-02-21 2019-03-12 International Business Machines Corporation Activity-based robotic testing of wearable devices

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972368A (zh) * 2021-02-26 2022-08-30 阿里巴巴集团控股有限公司 图像分割处理方法及装置、存储介质和电子设备
CN113963162A (zh) * 2021-11-12 2022-01-21 中国南方电网有限责任公司超高压输电公司天生桥局 安全帽佩戴识别方法、装置、计算机设备和存储介质
CN114792402A (zh) * 2021-12-30 2022-07-26 重庆知行数联智能科技有限责任公司 一种基于图像识别的水污染判断方法及系统
CN114429675A (zh) * 2022-01-21 2022-05-03 京东方科技集团股份有限公司 动作识别方法、模型训练方法、装置及电子设备
CN114898466A (zh) * 2022-05-13 2022-08-12 埃夫特智能装备股份有限公司 一种面向智慧工厂的视频动作识别方法及系统
CN115657012A (zh) * 2022-12-23 2023-01-31 深圳佑驾创新科技有限公司 图像目标与雷达目标的匹配方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN116524395A (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
CN107833236B (zh) 一种动态环境下结合语义的视觉定位系统和方法
CN110852983A (zh) 用于检测半导体装置中的缺陷的方法
CN111507261B (zh) 一种基于视觉目标定位的工序操作质量监控方法
CN110310305B (zh) 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置
CN114359791B (zh) 一种基于Yolo v5网络和SlowFast网络的群体猕猴食欲检测方法
CN117358615A (zh) 一种自动喷码印刷缺陷检测方法及系统
US20140133705A1 (en) Red-eye determination device
CN112614184A (zh) 基于2d检测的物体6d姿态估计方法、装置及计算机设备
CN116494255B (zh) 一种基于强化学习的空间机械臂路径规划系统
CN113780484B (zh) 工业产品缺陷检测方法和装置
CN117124302B (zh) 一种零件分拣方法、装置、电子设备及存储介质
CN107527368A (zh) 基于二维码的三维空间姿态定位方法与装置
US20230096532A1 (en) Machine learning system, learning data collection method and storage medium
CN111832410A (zh) 一种基于视觉与激光雷达融合的前向列车检测方法
CN116524395B (zh) 一种面向智慧工厂的视频动作识别方法及系统
CN115861368A (zh) 一种针对多类图像的多类轮廓跟踪方法、装置和介质
CN115761881A (zh) 一种基于改进yolov5-SFF的检测方法及系统
CN111126286A (zh) 车辆动态检测方法、装置、计算机设备及存储介质
CN116563786A (zh) 一种teds跨接线故障识别检测方法、存储介质及设备
US20230005162A1 (en) Image processing system, image processing method, and storage medium
US20230245293A1 (en) Failure detection and failure recovery for ai depalletizing
CN116052120A (zh) 基于图像增强和多传感器融合的挖掘机夜间物体检测方法
US12112499B2 (en) Algorithm for mix-size depalletizing
CN112950621B (zh) 图像处理方法、装置、设备及介质
CN113359738A (zh) 基于深度学习的移动机器人路径规划方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant