CN110516636A - 一种工序的监测方法、装置、计算机设备和存储介质 - Google Patents

一种工序的监测方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN110516636A
CN110516636A CN201910816745.8A CN201910816745A CN110516636A CN 110516636 A CN110516636 A CN 110516636A CN 201910816745 A CN201910816745 A CN 201910816745A CN 110516636 A CN110516636 A CN 110516636A
Authority
CN
China
Prior art keywords
sample
product
image data
movement
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910816745.8A
Other languages
English (en)
Inventor
黄劲
赵朋飞
康阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yingsheng Zhichuang Technology (guangzhou) Co Ltd
Original Assignee
Yingsheng Zhichuang Technology (guangzhou) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yingsheng Zhichuang Technology (guangzhou) Co Ltd filed Critical Yingsheng Zhichuang Technology (guangzhou) Co Ltd
Priority to CN201910816745.8A priority Critical patent/CN110516636A/zh
Publication of CN110516636A publication Critical patent/CN110516636A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种工序的监测方法、装置、计算机设备和存储介质，该方法包括：面向生产线上的工位采集目标视频数据，目标人员所述工位中生产产品，所述目标视频数据具有多帧目标图像数据；从所述目标图像数据中提取表征生产动作的目标图像区域；将所述目标图像数据输入工序识别模型中，以输出所述目标图像数据中、所述目标人员在生产所述产品时执行的动作；将所述动作组合为所述目标视频数据中、所述目标人员在生产所述产品时执行的工序；校验所述工序是否符合所述产品的生产标准。在生产线一次性部署摄像头、在后端部署计算机设备即可实现了自动对监督技术人员的作业，硬件设备的成本比长期安排监督人员低，可降低长期监督的成本。

Description

一种工序的监测方法、装置、计算机设备和存储介质
技术领域
本发明实施例涉及生产技术，尤其涉及一种工序的监测方法、装置、计算机设备和存储介质。
背景技术
技术人员在生产线上的固定位置进行作业，按照固定的工序生产相关的产品。
工序的执行情况是影响产品质量的重要因素，如果遗漏了某个动作，将导致产品的质量下降，从而导致产品的合格率下降。
为此，在生产线上一般安排监督人员监督技术人员的作业，但是，人工监督的成本较高，并且，监督人员相对于技术人员的数量较少，容易发生遗漏观察的情况。
发明内容
本发明实施例提供一种工序的监测方法、装置、计算机设备和存储介质，以解决人工监督的成本较高，容易发生遗漏观察的情况。
第一方面，本发明实施例提供了一种工序的监测方法，包括：
面向生产线上的工位采集目标视频数据，目标人员所述工位中生产产品，所述目标视频数据具有多帧目标图像数据；
从所述目标图像数据中提取表征生产动作的目标图像区域；
将所述目标图像数据输入工序识别模型中，以输出所述目标图像数据中、所述目标人员在生产所述产品时执行的动作；
将所述动作组合为所述目标视频数据中、所述目标人员在生产所述产品时执行的工序；
校验所述工序是否符合所述产品的生产标准。
可选地，所述从所述目标图像数据中提取表征生产动作的目标图像区域，包括：
从所述目标图像数据中检测人物所处的目标人物区域；
对所述目标人物区域进行扩展，获得目标扩展区域；
取所述目标扩展区域与所述目标图像数据之间的交集，获得目标交集区域；
对所述目标交集区域进行填充处理，获得目标图像区域，以使所述目标图像区域的宽度和高度相等。
可选地，所述将所述动作组合为所述目标视频数据中、所述目标人员在生产所述产品时执行的工序，包括：
统计连续且相同的动作的数量；
若所述数量小于预设的阈值，则确定所述动作无效；
滤除无效的所述操作；
若所述数量大于或等于预设的阈值，则确定所述动作有效；
合并有效的所述动作，并按照时间顺序组合，获得所述目标视频数据中、所述目标人员在生产所述产品时执行的工序。
可选地，所述校验所述工序是否符合所述产品的生产标准，包括：
按照时间顺序将所述工序与用于生产所述产品的、标准工序进行比较；
若所述工序与所述标准工序相同，则确定所述工序符合所述产品的生产标准；
若所述工序与所述标准工序不同，则确定所述工序遗漏动作、不符合所述产品的生产标准。
可选地，还包括：
面向生产线上的工位采集样本视频数据，样本人员在所述工位中生产产品，所述样本视频数据具有多帧样本图像数据；
标注所述样本图像数据中、所述样本人员在生产所述产品时执行的动作，在所述样本视频数据中，所述动作组成标准工序；
从所述样本图像数据中提取表征生产动作的样本图像区域；
根据所述样本图像数据与所述动作训练工序识别模型。
可选地，所述标注所述样本图像数据中、所述样本人员在生产所述产品时执行的动作，包括：
将所述样本视频数据划分为多段视频片段；
对所述视频片段标记所述样本人员在生产所述产品时执行的动作；
确定位于所述视频片段的所有所述样本图像数据中、所述样本人员在生产所述产品时执行所述动作。
可选地，所述从所述样本图像数据中提取表征生产动作的样本图像区域，包括：
从所述样本图像数据中检测人物所处的样本人物区域；
对所述样本人物区域进行扩展，获得样本扩展区域；
取所述样本扩展区域与所述样本图像数据之间的交集，获得样本交集区域；
对所述样本交集区域进行填充处理，获得填充区域，以使所述填充区域的宽度和高度相等；
将所述填充区域进行裁减至至少两种尺寸，获得样本图像区域。
第二方面，本发明实施例还提供了一种工序的监测装置，包括：
目标视频数据采集模块，用于面向生产线上的工位采集目标视频数据，目标人员所述工位中生产产品，所述目标视频数据具有多帧目标图像数据；
目标图像区域提取模块，用于从所述目标图像数据中提取表征生产动作的目标图像区域；
动作识别模块，用于将所述目标图像数据输入工序识别模型中，以输出所述目标图像数据中、所述目标人员在生产所述产品时执行的动作；
工序组合模块，用于将所述动作组合为所述目标视频数据中、所述目标人员在生产所述产品时执行的工序；
生产标准校验模块，用于校验所述工序是否符合所述产品的生产标准。
可选地，所述目标图像区域提取模块包括：
目标人物区域检测子模块，用于从所述目标图像数据中检测人物所处的目标人物区域；
目标扩展区域获得子模块，用于对所述目标人物区域进行扩展，获得目标扩展区域；
目标交集区域获得子模块，用于取所述目标扩展区域与所述目标图像数据之间的交集，获得目标交集区域；
目标图像区域获得子模块，用于对所述目标交集区域进行填充处理，获得目标图像区域，以使所述目标图像区域的宽度和高度相等。
可选地，所述工序组合模块包括：
数量统计子模块，用于统计连续且相同的动作的数量；
有效确定子模块，用于若所述数量大于或等于预设的阈值，则确定所述动作有效；
动作组合子模块，用于合并有效的所述动作，并按照时间顺序组合，获得所述目标视频数据中、所述目标人员在生产所述产品时执行的工序；
无效确定子模块，用于若所述数量小于预设的阈值，则确定所述动作无效；
动作滤除子模块，用于滤除无效的所述操作。
可选地，所述生产标准校验模块包括：
工序比较子模块，用于按照时间顺序将所述工序与用于生产所述产品的、标准工序进行比较；
符合确定子模块，用于若所述工序与所述标准工序相同，则确定所述工序符合所述产品的生产标准；
遗漏确定子模块，用于若所述工序与所述标准工序不同，则确定所述工序遗漏动作、不符合所述产品的生产标准。
可选地，还包括：
样本视频数据采集模块，用于面向生产线上的工位采集样本视频数据，样本人员在所述工位中生产产品，所述样本视频数据具有多帧样本图像数据；
动作标注模块，用于标注所述样本图像数据中、所述样本人员在生产所述产品时执行的动作，在所述样本视频数据中，所述动作组成标准工序；
样本图像区域提取模块，用于从所述样本图像数据中提取表征生产动作的样本图像区域；
工序识别模型训练模块，用于根据所述样本图像数据与所述动作训练工序识别模型。
可选地，所述动作标注模块包括：
视频分段子模块，用于将所述样本视频数据划分为多段视频片段；
视频片段标记子模块，用于对所述视频片段标记所述样本人员在生产所述产品时执行的动作；
动作确定子模块，用于确定位于所述视频片段的所有所述样本图像数据中、所述样本人员在生产所述产品时执行所述动作。
可选地，所述样本图像区域提取模块包括：
样本人物区域检测子模块，用于从所述样本图像数据中检测人物所处的样本人物区域；
样本扩展区域获得子模块，用于对所述样本人物区域进行扩展，获得样本扩展区域；
样本交集区域获得子模块，用于取所述样本扩展区域与所述样本图像数据之间的交集，获得样本交集区域；
填充子模块，用于对所述样本交集区域进行填充处理，获得填充区域，以使所述填充区域的宽度和高度相等；
样本图像区域获得子模块，用于将所述填充区域进行裁减至至少两种尺寸，获得样本图像区域。
第三方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面中任一所述的工序的监测方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一所述的工序的监测方法。
在本实施例中，面向生产线上的工位采集目标视频数据，目标人员工位中生产产品，目标视频数据具有多帧目标图像数据，从目标图像数据中提取表征生产动作的目标图像区域，将目标图像数据输入工序识别模型中，以输出目标图像数据中、目标人员在生产产品时执行的动作，将动作组合为目标视频数据中、目标人员在生产产品时执行的工序，校验工序是否符合产品的生产标准，在生产线一次性部署摄像头、在后端部署计算机设备即可实现了自动对监督技术人员的作业，硬件设备的成本比长期安排监督人员低，可降低长期监督的成本，并且，摄像头、计算机设备可以长期运行，一直对技术人员的作业进行监测，并不会存在遗漏观察的情况，从而保证产品的生成质量，保证产品的合格率。
附图说明
图1为本发明实施例一提供的一种工序的监测方法的流程图；
图2为本发明实施例提供的一种标注动作的示意图；
图3A至图3D本发明实施例提供的一种图像处理的示意图；
图4是本发明实施例二提供的一种工序的监测方法的流程图；
图5A至图5B本发明实施例提供的一种识别动作的示意图；
图6为本发明实施例三提供的一种工序的监测装置的结构示意图；
图7为本发明实施例四提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种工序的监测方法的流程图，本实施例可适用于训练的工序识别模型情况，该方法可以由工序的监测装置来执行，该工序的监测装置可以由软件和/或硬件实现，可配置在计算机设备中，例如，个人电脑、服务器、工作站等，该方法具体包括如下步骤：
S101、面向生产线上的工位采集样本视频数据。
在本实施例中，在生产线上具有一个或多个工位，技术人员作为样本人员，按照标准工序在工位中生产产品。
所谓标准工序，即生成该产品所规定的工序，而工序是指一个(或一组)工人在一个工作地对一个(或几个)劳动对象连续进行生产活动的综合，是组成生产过程的基本单位，即工具是生产产品的特定动作的集合，该动作具有先后次序。
例如，在生产空调的生产线上，其中一个工位的标准工序为焊接管接头，这个标准工序包含“拿螺母”、“蘸助焊剂”、“贴合”、“放焊架上”这个四个动作。
为了提高训练样本的数量，可以对该样本视频数据的参数进行调整，如帧率、分辨率等，从而生成新的样本视频数据。
S102、标注所述样本图像数据中、所述样本人员在生产所述产品时执行的动作。
样本视频数据具有多帧样本图像数据，针对每帧样本图像数据，可以根据其内容，标注样本人员在生产产品时执行的动作。
需要说明的是，在样本视频数据中，各个动作按照时间顺序排列，可组成生产该产品的标准工序。
在一种标记动作的方式中，由于样本视频数据中，各帧样本图像数据的内容是具有连续性的，因此，可按照样本人员的动作，将样本视频数据划分为多段视频片段，使得相邻两段视频片段之间样本人员的动作相互独立。
此时，可对视频片段标记样本人员在生产产品时执行的动作，从而确定位于视频片段的所有样本图像数据中、样本人员在生产产品时执行动作。
例如，如图4所示，对于样本人员生产空调的样本视频数据200，切分为3段视频片段，视频片段201的时间范围为t0-t1，视频片段202的时间范围为t1-t2，视频片段203的时间范围为t2-t3，视频片段204的时间范围为t3-t4。
对视频片段201标记“拿螺母”，则可视频片段201中所有样本图像数据标记样本人员在生产空调时执行“拿螺母”的动作。
对视频片段202标记“蘸助焊剂”，则可视频片段202中所有样本图像数据标记样本人员在生产空调时执行“蘸助焊剂”的动作。
对视频片段203标记“贴合”，则可视频片段203中所有样本图像数据标记样本人员在生产空调时执行“贴合”的动作。
对视频片段204标记“放焊架上”，则可视频片段204中所有样本图像数据标记样本人员在生产空调时执行“放焊架上”的动作。
在本实施例中，将样本视频数据划分为多段视频片段，对视频片段标记样本人员在生产产品时执行的动作，确定位于视频片段的所有样本图像数据中、样本人员在生产产品时执行该动作，通过视频数据内容连续的特性，对视频片段标注动作，进而将该动作同步标注至该视频片段中所有样本图像数据，大大提高了标注的简便性，降低标注的耗时。
当然，上述标记动作的方式只是作为示例，在实施本实施例时，可以根据实际情况设置其他标记动作的方式，例如，逐帧样本图像数据标记动作，等等，本实施例对此不加以限制。另外，除了上述标记动作的方式外，本领域技术人员还可以根据实际需要采用其它标记动作的方式，本发明实施例对此也不加以限制。
S103、从所述样本图像数据中提取表征生产动作的样本图像区域。
在拍摄样本视频数据时，通常涵盖了背景等与生产无关的内容，为了将工序识别模型的注意力集中在于生产动作相关的内容，本实施例可以从样本图像数据中提取表征生产动作的数据，作为样本图像区域。
在具体实现中，与生产动作的内容通常包括如下一种或多种：
1、生产人员
生产人员，是指生产产品的技术人员，在本实施例中可指样本人员。
在训练工序识别模型时，如图3A所示，可通过目标检测算法，如YOLO等，从样本图像数据中检测人物所处的样本人物区域。
如图3B所示，按照预设的扩展参数(如扩展方向、扩展长度等)，对样本人物区域向四周进行扩展，获得样本扩展区域。
如图3C所示，取样本扩展区域与样本图像数据之间的交集，获得样本交集区域。
如图3D所示，对样本交集区域进行填充处理，获得填充区域，以使填充区域的宽度和高度相等。
将填充区域进行裁减至至少两种尺寸，获得样本图像区域，从而增强训练样本，其中，该尺寸一般大于预设的阈值，如0.8。
2、生产工具
生产工具，是指生产产品所使用的工具，如助焊剂、焊枪、焊架等。
通过目标检测算法，如R-CNN、SPP-Net、Fast R-CNN、Faster R-CNN等，可在样本图像数据中检测生产工具所处的区域，作为样本图像区域。
3、产品
通过目标检测算法，如R-CNN、SPP-Net、Fast R-CNN、Faster R-CNN等，可在样本图像数据中检测产品所处的区域，作为样本图像区域。
一般情况下，生产工具、产品与生产人员较为密切，因此，通过扩大化检测生产人员所处的样本图像区域，可以容纳生产工具、产品。
当然，对于生产工具、产品与生产人员较为独立的情况，也可以分别检测生产工具、产品与生产人员所处的样本图像区域，本实施例对此不加以限制。
S104、根据所述样本图像数据与所述动作训练工序识别模型。
在本实施例中，以样本图像数据作为训练样本、动作作为标签，训练工序识别模型，因此，该工序识别模型可以用于识别图像数据中、生产某个产品时执行的动作。
在具体实现中，该工序识别模型可以为神经网络，如CNN(Convolutional NeuralNetwork，卷积神经网络)、LSTM(Long Short-Term Memory，长短期记忆网络)，等等，本实施例对此不加以限制。
以3D CNN训练工序识别模型为例，3D CNN包括如下结构：
输入层(input)
硬线层(hardwired，H1)：每帧提取5个通道信息(灰度gray，横坐标梯度(gradient-x)，纵坐标梯度(gradient-y)，x光流(optflow-x)，y光流(optflow-y))。前面三个通道的信息可以直接对每帧分别动作获取，后面的光流(x，y)则需要利用两帧的信息才能提取。
卷积层(convolution C2)：以硬线层的输出作为该层的输入，对输入5个通道信息分别使用大小为3D卷积核进行卷积动作，同时，为了增加特征maps的个数，在这一层采用了两种不同的3D卷积核。
降采样层(sub-sampling S3)：在该层采用max pooling动作，降采样之后的特征maps数量保持不变。
卷积层(convolution C4)：对两组特征maps分别采用卷积核进行操作，同样为了增加特征maps的数量。
降采样层(sub-sampling S5)：对每个特征maps采用2D卷积核进行降采样操作。
卷积层(convolution C6)：此时对每个特征maps采用2D卷积核进行卷积操作。
通过多层的卷积和降采样，可以获得多维的特征向量。输出层的单元数与视频动作数是相同的，输出层的每个单元与这特征向量采用全连接。在后面一般采用线性分类器对特征向量进行分类，实现行为识别，3D CNN中所有可训练的参数都是随机初始化的，然后通过在线BP(Error Back Propagation，误差反向传播)算法进行训练。
在训练3D CNN时，可以选择n(如16)帧样本图像数据输出一个结果，即将一个时间段内的n帧图像数据送入到3D CNN中进行训练。
实施例二
图4为本发明实施例二提供的一种工序的监测方法的流程图，本实施例可适用于使用工序识别模型监测工序的情况，该方法可以由工序的监测装置来执行，该工序的监测装置可以由软件和/或硬件实现，可配置在计算机设备中，例如，个人电脑、服务器、工作站等，该方法具体包括如下步骤：
S401、面向生产线上的工位采集目标视频数据。
在本实施例中，在生产线上具有一个或多个工位，技术人员作为目标人员，在工位中生产产品。
在临近该工位的位置，安装有面向该工位的摄像头，该摄像头用于面向生产线上的工位采集目标视频数据，并传输至计算机设备。
S402、从所述目标图像数据中提取表征生产动作的目标图像区域。
目标视频数据具有多帧目标图像数据，在拍摄目标视频数据时，通常涵盖了背景等与生产无关的内容，为了将工序识别模型的注意力集中在于生产动作相关的内容，本实施例可以从目标图像数据中提取表征生产动作的数据，作为目标图像区域。
为了配合判定动作的有效性、提高识别目标人员在生产产品时执行的工序的精确度，可从每帧目标图像数据中提取表征生产动作的目标图像区域。
当然，由于目标视频数据中目标图像数据的数量较多，为了降低计算机设备的资源占用，提高处理效率，从而提高工序识别的实时性，可进行跳帧，即每间隔x(x为正整数)帧目标图像数据，将从该目标图像数据中提取表征生产动作的目标图像区域，本实施例对此不加以限制。
在具体实现中，与生产动作的内容通常包括如下一种或多种：
1、生产人员
生产人员，是指生产产品的技术人员，在本实施例中可指目标人员。
在使用工序识别模型识别动作时，如图3A所示，可通过目标检测算法，如YOLO等，从目标图像数据中检测人物所处的目标人物区域。
如图3B所示，按照预设的扩展参数(如扩展方向、扩展长度等)，对目标人物区域进行扩展，获得目标扩展区域。
如图3C所示，取目标扩展区域与目标图像数据之间的交集，获得目标交集区域。
如图3D所示，对目标交集区域进行填充处理，目标图像区域，以使目标图像区域的宽度和高度相等。
2、生产工具
生产工具，是指生产产品所使用的工具，如助焊剂、焊枪、焊架等。
通过目标检测算法，如R-CNN、SPP-Net、Fast R-CNN、Faster R-CNN等，可在目标图像数据中检测生产工具所处的区域，作为目标图像区域。
3、产品
通过目标检测算法，如R-CNN、SPP-Net、Fast R-CNN、Faster R-CNN等，可在目标图像数据中检测产品所处的区域，作为目标图像区域。
一般情况下，生产工具、产品与生产人员较为密切，因此，通过扩大化检测生产人员所处的目标图像区域，可以容纳生产工具、产品。
当然，对于生产工具、产品与生产人员较为独立的情况，也可以分别检测生产工具、产品与生产人员所处的目标图像区域，本实施例对此不加以限制。
S403、将所述目标图像数据输入工序识别模型中，以输出所述目标图像数据中、所述目标人员在生产所述产品时执行的动作。
在本实施例中，可以查找工序识别模型，如图5A与图5B所示，将目标图像数据输入该目标图像数据中，目标图像数据对该目标图像数据进行处理，输出该目标图像数据中目标人员在生产产品时可能执行的动作及其置信度。
一般情况下，选择置信度最高的动作，作为该目标图像数据中目标人员在生产产品时执行的动作。
以3D CNN为工序识别模型的示例，3D CNN的输入是一次输入n(n为正整数，如16)帧目标图像数据，输出一个动作，也就是根据这连续或有间隔的n(n为正整数，如16)帧确定其属于哪个动作，也就是确定一个时间片段的动作，并不是输入单帧目标图像数据的5个通道信息来确定某一帧目标图像数据的动作。
S404、将所述动作组合为所述目标视频数据中、所述目标人员在生产所述产品时执行的工序。
在具体实现中，将动作按照时间顺序进行组合，即可获得目标视频数据中、目标人员在生产产品时执行的工序。
对于一个工序而言，其动作之间是连贯的，每个动作之间的界限并不明显，因此，工序识别模型存在误检测的概率。
在本实施例中，为了降低误检测，可应用目标图像数据的数量较多、动作连贯的特性，统计连续且相同的动作的数量。
所谓连续，是指每两个动作之间在时间排序上是相邻的。
若该数量小于预设的阈值n，则确定该动作无效，滤除该动作，其中，n为正整数，n≥2。
若该数量大于或等于预设的阈值n，则确定该动作有效。
将有效的动作按照时间顺序组合，获得目标视频数据中、目标人员在生产产品时执行的工序。
例如，假设n为5，确定8帧目标视频数据的动作，按照顺序分别为“贴合”、“贴合”、“贴合”、“贴合”、“贴合”、“放焊架上”、“贴合”、“贴合”，滤除第6个动作“放焊架上”，剩余7个动作可合并为“贴合”。
S405、校验所述工序是否符合所述产品的生产标准。
所谓标准工序，即生成该产品所规定的工序。
将当前目标人员生成产品执行的工序与为该产品设置的生产标准进行比较，则可以确定该工序是否符合生产标准。
在具体实现中，可按照时间顺序将工序与用于生产产品的、标准工序进行比较。
若该工序与该标准工序相同，则确定该工序符合产品的生产标准。
若该工序与标准工序不同，则确定工序遗漏动作、不符合产品的生产标准，此时，可生成警报信息，通知目标人员、监督人员。
例如，在生产空调的生产线上，其中一个工位的标准工序为焊接管接头，这个标准工序包含“拿螺母”、“蘸助焊剂”、“贴合”、“放焊架上”这个四个动作。
但是，在实际作业过程中，技术人员容易忘记“蘸助焊剂”这动作，造成焊接质量差。
如果识别到目标人员的工序为“拿螺母”、“贴合”、“放焊架上”，将该工序与标准工序进行比较，发现遗漏“蘸助焊剂”，此时，则可以发出报警信息提醒目标人员、监督人员，从而提高焊接质量。
在本实施例中，面向生产线上的工位采集目标视频数据，目标人员工位中生产产品，目标视频数据具有多帧目标图像数据，从目标图像数据中提取表征生产动作的目标图像区域，将目标图像数据输入工序识别模型中，以输出目标图像数据中、目标人员在生产产品时执行的动作，将动作组合为目标视频数据中、目标人员在生产产品时执行的工序，校验工序是否符合产品的生产标准，在生产线一次性部署摄像头、在后端部署计算机设备即可实现了自动对监督技术人员的作业，硬件设备的成本比长期安排监督人员低，可降低长期监督的成本，并且，摄像头、计算机设备可以长期运行，一直对技术人员的作业进行监测，并不会存在遗漏观察的情况，从而保证产品的生成质量，保证产品的合格率。
实施例三
图6为本发明实施例三提供的一种工序的监测装置的结构示意图，该装置具体可以包括如下模块：
目标视频数据采集模块601，用于面向生产线上的工位采集目标视频数据，目标人员所述工位中生产产品，所述目标视频数据具有多帧目标图像数据；
目标图像区域提取模块602，用于从所述目标图像数据中提取表征生产动作的目标图像区域；
动作识别模块603，用于将所述目标图像数据输入工序识别模型中，以输出所述目标图像数据中、所述目标人员在生产所述产品时执行的动作；
工序组合模块604，用于将所述动作组合为所述目标视频数据中、所述目标人员在生产所述产品时执行的工序；
生产标准校验模块605，用于校验所述工序是否符合所述产品的生产标准。
在本发明的一个实施例中，所述目标图像区域提取模块602包括：
目标人物区域检测子模块，用于从所述目标图像数据中检测人物所处的目标人物区域；
目标扩展区域获得子模块，用于对所述目标人物区域进行扩展，获得目标扩展区域；
目标交集区域获得子模块，用于取所述目标扩展区域与所述目标图像数据之间的交集，获得目标交集区域；
目标图像区域获得子模块，用于对所述目标交集区域进行填充处理，获得目标图像区域，以使所述目标图像区域的宽度和高度相等。
在本发明的一个实施例中，所述工序组合模块604包括：
数量统计子模块，用于统计连续且相同的动作的数量；
有效确定子模块，用于若所述数量大于或等于预设的阈值，则确定所述动作有效；
动作组合子模块，用于合并有效的所述动作，并按照时间顺序组合，获得所述目标视频数据中、所述目标人员在生产所述产品时执行的工序；
无效确定子模块，用于若所述数量小于预设的阈值，则确定所述动作无效；
动作滤除子模块，用于滤除无效的所述操作。
在本发明的一个实施例中，所述生产标准校验模块605包括：
工序比较子模块，用于按照时间顺序将所述工序与用于生产所述产品的、标准工序进行比较；
符合确定子模块，用于若所述工序与所述标准工序相同，则确定所述工序符合所述产品的生产标准；
遗漏确定子模块，用于若所述工序与所述标准工序不同，则确定所述工序遗漏动作、不符合所述产品的生产标准。
在本发明的一个实施例中，还包括：
样本视频数据采集模块，用于面向生产线上的工位采集样本视频数据，样本人员在所述工位中生产产品，所述样本视频数据具有多帧样本图像数据；
动作标注模块，用于标注所述样本图像数据中、所述样本人员在生产所述产品时执行的动作，在所述样本视频数据中，所述动作组成标准工序；
样本图像区域提取模块，用于从所述样本图像数据中提取表征生产动作的样本图像区域；
工序识别模型训练模块，用于根据所述样本图像数据与所述动作训练工序识别模型。
在本发明的一个实施例中，所述动作标注模块包括：
视频分段子模块，用于将所述样本视频数据划分为多段视频片段；
视频片段标记子模块，用于对所述视频片段标记所述样本人员在生产所述产品时执行的动作；
动作确定子模块，用于确定位于所述视频片段的所有所述样本图像数据中、所述样本人员在生产所述产品时执行所述动作。
在本发明的一个实施例中，所述样本图像区域提取模块包括：
样本人物区域检测子模块，用于从所述样本图像数据中检测人物所处的样本人物区域；
样本扩展区域获得子模块，用于对所述样本人物区域进行扩展，获得样本扩展区域；
样本交集区域获得子模块，用于取所述样本扩展区域与所述样本图像数据之间的交集，获得样本交集区域；
填充子模块，用于对所述样本交集区域进行填充处理，获得填充区域，以使所述填充区域的宽度和高度相等；
样本图像区域获得子模块，用于将所述填充区域进行裁减至至少两种尺寸，获得样本图像区域。
本发明实施例所提供的工序的监测装置可执行本发明任意实施例所提供的工序的监测方法，具备执行方法相应的功能模块和有益效果。
实施例四
图7为本发明实施例四提供的一种计算机设备的结构示意图。如图7所示，该计算机设备包括处理器700、存储器701、通信模块702、输入装置703和输出装置704；计算机设备中处理器700的数量可以是一个或多个，图7中以一个处理器700为例；计算机设备中的处理器700、存储器701、通信模块702、输入装置703和输出装置704可以通过总线或其他方式连接，图7中以通过总线连接为例。
存储器701作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本实施例中的工序的监测方法对应的模块(例如，如图6所示的工序的监测装置中的目标视频数据采集模块601、目标图像区域提取模块602、动作识别模块603、工序组合模块604和生产标准校验模块605)。处理器700通过运行存储在存储器701中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的工序的监测方法。
存储器701可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器701可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器701可进一步包括相对于处理器700远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信模块702，用于与显示屏建立连接，并实现与显示屏的数据交互。输入装置703可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。
本实施例提供的计算机设备，可执行本发明任一实施例提供的工序的监测方法，具体相应的功能和有益效果。
实施例五
本发明实施例五还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现一种工序的监测方法，该方法包括：
面向生产线上的工位采集目标视频数据，目标人员所述工位中生产产品，所述目标视频数据具有多帧目标图像数据；
从所述目标图像数据中提取表征生产动作的目标图像区域；
将所述目标图像数据输入工序识别模型中，以输出所述目标图像数据中、所述目标人员在生产所述产品时执行的动作；
将所述动作组合为所述目标视频数据中、所述目标人员在生产所述产品时执行的工序；
校验所述工序是否符合所述产品的生产标准。
当然,本发明实施例所提供的计算机可读存储介质,其计算机程序不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的工序的监测方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述工序的监测装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种工序的监测方法，其特征在于，包括：
面向生产线上的工位采集目标视频数据，目标人员所述工位中生产产品，所述目标视频数据具有多帧目标图像数据；
从所述目标图像数据中提取表征生产动作的目标图像区域；
将所述目标图像数据输入工序识别模型中，以输出所述目标图像数据中、所述目标人员在生产所述产品时执行的动作；
将所述动作组合为所述目标视频数据中、所述目标人员在生产所述产品时执行的工序；
校验所述工序是否符合所述产品的生产标准。
2.根据权利要求1所述的方法，其特征在于，所述从所述目标图像数据中提取表征生产动作的目标图像区域，包括：
从所述目标图像数据中检测人物所处的目标人物区域；
对所述目标人物区域进行扩展，获得目标扩展区域；
取所述目标扩展区域与所述目标图像数据之间的交集，获得目标交集区域；
对所述目标交集区域进行填充处理，获得目标图像区域，以使所述目标图像区域的宽度和高度相等。
3.根据权利要求1所述的方法，其特征在于，所述将所述动作组合为所述目标视频数据中、所述目标人员在生产所述产品时执行的工序，包括：
统计连续且相同的动作的数量；
若所述数量小于预设的阈值，则确定所述动作无效；
滤除无效的所述操作；
若所述数量大于或等于预设的阈值，则确定所述动作有效；
合并有效的所述动作，并按照时间顺序组合，获得所述目标视频数据中、所述目标人员在生产所述产品时执行的工序。
4.根据权利要求1所述的方法，其特征在于，所述校验所述工序是否符合所述产品的生产标准，包括：
按照时间顺序将所述工序与用于生产所述产品的、标准工序进行比较；
若所述工序与所述标准工序相同，则确定所述工序符合所述产品的生产标准；
若所述工序与所述标准工序不同，则确定所述工序遗漏动作、不符合所述产品的生产标准。
5.根据权利要求1-4任一项所述的方法，其特征在于，还包括：
面向生产线上的工位采集样本视频数据，样本人员在所述工位中生产产品，所述样本视频数据具有多帧样本图像数据；
标注所述样本图像数据中、所述样本人员在生产所述产品时执行的动作，在所述样本视频数据中，所述动作组成标准工序；
从所述样本图像数据中提取表征生产动作的样本图像区域；
根据所述样本图像数据与所述动作训练工序识别模型。
6.根据权利要求5所述的方法，其特征在于，所述标注所述样本图像数据中、所述样本人员在生产所述产品时执行的动作，包括：
将所述样本视频数据划分为多段视频片段；
对所述视频片段标记所述样本人员在生产所述产品时执行的动作；
确定位于所述视频片段的所有所述样本图像数据中、所述样本人员在生产所述产品时执行所述动作。
7.根据权利要求5所述的方法，其特征在于，所述从所述样本图像数据中提取表征生产动作的样本图像区域，包括：
从所述样本图像数据中检测人物所处的样本人物区域；
对所述样本人物区域进行扩展，获得样本扩展区域；
取所述样本扩展区域与所述样本图像数据之间的交集，获得样本交集区域；
对所述样本交集区域进行填充处理，获得填充区域，以使所述填充区域的宽度和高度相等；
将所述填充区域进行裁减至至少两种尺寸，获得样本图像区域。
8.一种工序的监测装置，其特征在于，包括：
目标视频数据采集模块，用于面向生产线上的工位采集目标视频数据，目标人员所述工位中生产产品，所述目标视频数据具有多帧目标图像数据；
目标图像区域提取模块，用于从所述目标图像数据中提取表征生产动作的目标图像区域；
动作识别模块，用于将所述目标图像数据输入工序识别模型中，以输出所述目标图像数据中、所述目标人员在生产所述产品时执行的动作；
工序组合模块，用于将所述动作组合为所述目标视频数据中、所述目标人员在生产所述产品时执行的工序；
生产标准校验模块，用于校验所述工序是否符合所述产品的生产标准。
9.一种计算机设备，其特征在于，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的工序的监测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-7中任一所述的工序的监测方法。
CN201910816745.8A 2019-08-30 2019-08-30 一种工序的监测方法、装置、计算机设备和存储介质 Pending CN110516636A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910816745.8A CN110516636A (zh) 2019-08-30 2019-08-30 一种工序的监测方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910816745.8A CN110516636A (zh) 2019-08-30 2019-08-30 一种工序的监测方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN110516636A true CN110516636A (zh) 2019-11-29

Family

ID=68629588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910816745.8A Pending CN110516636A (zh) 2019-08-30 2019-08-30 一种工序的监测方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN110516636A (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127517A (zh) * 2019-12-20 2020-05-08 北京容联易通信息技术有限公司 一种基于监控视频的生产线产品定位方法
CN111144262A (zh) * 2019-12-20 2020-05-12 北京容联易通信息技术有限公司 一种基于监控视频的工序异常检测方法
CN111222428A (zh) * 2019-12-27 2020-06-02 北京容联易通信息技术有限公司 一种基于监控视频的器件紧固操作的检测方法
CN111814557A (zh) * 2020-06-09 2020-10-23 珠海格力电器股份有限公司 动作流检测方法、装置、设备及存储介质
CN112149546A (zh) * 2020-09-16 2020-12-29 珠海格力电器股份有限公司 一种信息处理方法、装置、电子设备及存储介质
CN112766059A (zh) * 2020-12-30 2021-05-07 深圳市裕展精密科技有限公司 产品加工品质的检测方法、检测装置
CN113033492A (zh) * 2021-04-25 2021-06-25 内蒙古海洋工信科技有限责任公司 基于人工智能的磁性材料制备工序识别及监控系统
CN113221678A (zh) * 2021-04-26 2021-08-06 深圳市商汤科技有限公司 一种标准工时确定方法、装置、计算机设备及存储介质
CN113395480A (zh) * 2020-03-11 2021-09-14 珠海格力电器股份有限公司 一种作业监测方法、装置、电子设备及存储介质
CN113489954A (zh) * 2021-07-06 2021-10-08 北京市商汤科技开发有限公司 生产作业报告的生成方法、装置、电子设备及存储介质
CN114004548A (zh) * 2021-12-31 2022-02-01 北京瑞莱智慧科技有限公司 一种基于边缘计算的生产线管控方法、装置及介质
CN114154651A (zh) * 2020-08-18 2022-03-08 富泰华工业（深圳）有限公司 生产控制方法、装置、生产设备及存储介质
CN115081889A (zh) * 2022-06-27 2022-09-20 诚通凯胜生态建设有限公司 一种检查井与城市道路路面顺接施工的监测方法、系统、终端以及存储介质
TWI839583B (zh) * 2020-11-05 2024-04-21 英屬維爾京群島商百威雷科技控股有限公司 生產線監視方法及其監視系統
EP4156115A4 (en) * 2021-07-02 2024-07-10 Beijing Baidu Netcom Sci & Tech Co Ltd METHOD AND DEVICE FOR IDENTIFYING A PRODUCT WITH MISSED INSPECTION, ELECTRONIC DEVICE AND STORAGE MEDIUM
CN118410991A (zh) * 2024-05-22 2024-07-30 深圳市领志光机电自动化系统有限公司 用于大型工厂的生产智能制造mcs管理系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012166354A2 (en) * 2011-06-03 2012-12-06 Apple Inc. Motion pattern classification and gesture recognition
CN104732710A (zh) * 2013-12-24 2015-06-24 贵州久联民爆器材发展股份有限公司 雷管自动装填生产线人员在岗状态自动监控方法及装置
CN107122798A (zh) * 2017-04-17 2017-09-01 深圳市淘米科技有限公司 基于深度卷积网络的引体向上计数检测方法及装置
US20180137346A1 (en) * 2016-11-14 2018-05-17 Aisin Seiki Kabushiki Kaisha Action determination device
CN108229280A (zh) * 2017-04-20 2018-06-29 北京市商汤科技开发有限公司 时域动作检测方法和系统、电子设备、计算机存储介质
CN108681690A (zh) * 2018-04-04 2018-10-19 浙江大学 一种基于深度学习的流水线人员规范操作检测系统
CN109033919A (zh) * 2017-06-08 2018-12-18 富泰华精密电子（郑州）有限公司 岗位监测装置、方法和存储设备
CN109657564A (zh) * 2018-11-28 2019-04-19 深圳市中电数通智慧安全科技股份有限公司 一种人员在岗检测方法、装置、存储介质及终端设备
CN109829456A (zh) * 2017-11-23 2019-05-31 腾讯科技（深圳）有限公司 图像识别方法、装置及终端

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012166354A2 (en) * 2011-06-03 2012-12-06 Apple Inc. Motion pattern classification and gesture recognition
CN104732710A (zh) * 2013-12-24 2015-06-24 贵州久联民爆器材发展股份有限公司 雷管自动装填生产线人员在岗状态自动监控方法及装置
US20180137346A1 (en) * 2016-11-14 2018-05-17 Aisin Seiki Kabushiki Kaisha Action determination device
CN107122798A (zh) * 2017-04-17 2017-09-01 深圳市淘米科技有限公司 基于深度卷积网络的引体向上计数检测方法及装置
CN108229280A (zh) * 2017-04-20 2018-06-29 北京市商汤科技开发有限公司 时域动作检测方法和系统、电子设备、计算机存储介质
CN109033919A (zh) * 2017-06-08 2018-12-18 富泰华精密电子（郑州）有限公司 岗位监测装置、方法和存储设备
CN109829456A (zh) * 2017-11-23 2019-05-31 腾讯科技（深圳）有限公司 图像识别方法、装置及终端
CN108681690A (zh) * 2018-04-04 2018-10-19 浙江大学 一种基于深度学习的流水线人员规范操作检测系统
CN109657564A (zh) * 2018-11-28 2019-04-19 深圳市中电数通智慧安全科技股份有限公司 一种人员在岗检测方法、装置、存储介质及终端设备

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111144262A (zh) * 2019-12-20 2020-05-12 北京容联易通信息技术有限公司 一种基于监控视频的工序异常检测方法
CN111127517A (zh) * 2019-12-20 2020-05-08 北京容联易通信息技术有限公司 一种基于监控视频的生产线产品定位方法
CN111127517B (zh) * 2019-12-20 2023-06-09 北京容联易通信息技术有限公司 一种基于监控视频的生产线产品定位方法
CN111144262B (zh) * 2019-12-20 2023-05-16 北京容联易通信息技术有限公司 一种基于监控视频的工序异常检测方法
CN111222428A (zh) * 2019-12-27 2020-06-02 北京容联易通信息技术有限公司 一种基于监控视频的器件紧固操作的检测方法
CN111222428B (zh) * 2019-12-27 2023-05-16 北京容联易通信息技术有限公司 一种基于监控视频的器件紧固操作的检测方法
CN113395480B (zh) * 2020-03-11 2022-04-08 珠海格力电器股份有限公司 一种作业监测方法、装置、电子设备及存储介质
CN113395480A (zh) * 2020-03-11 2021-09-14 珠海格力电器股份有限公司 一种作业监测方法、装置、电子设备及存储介质
CN111814557A (zh) * 2020-06-09 2020-10-23 珠海格力电器股份有限公司 动作流检测方法、装置、设备及存储介质
CN114154651A (zh) * 2020-08-18 2022-03-08 富泰华工业（深圳）有限公司 生产控制方法、装置、生产设备及存储介质
CN112149546A (zh) * 2020-09-16 2020-12-29 珠海格力电器股份有限公司 一种信息处理方法、装置、电子设备及存储介质
CN112149546B (zh) * 2020-09-16 2024-05-03 珠海格力电器股份有限公司 一种信息处理方法、装置、电子设备及存储介质
TWI839583B (zh) * 2020-11-05 2024-04-21 英屬維爾京群島商百威雷科技控股有限公司 生產線監視方法及其監視系統
CN112766059A (zh) * 2020-12-30 2021-05-07 深圳市裕展精密科技有限公司 产品加工品质的检测方法、检测装置
CN112766059B (zh) * 2020-12-30 2024-05-03 富联裕展科技(深圳)有限公司 产品加工品质的检测方法、检测装置
CN113033492B (zh) * 2021-04-25 2022-08-02 内蒙古海洋工信科技有限责任公司 基于人工智能的磁性材料制备工序识别及监控系统
CN113033492A (zh) * 2021-04-25 2021-06-25 内蒙古海洋工信科技有限责任公司 基于人工智能的磁性材料制备工序识别及监控系统
CN113221678A (zh) * 2021-04-26 2021-08-06 深圳市商汤科技有限公司 一种标准工时确定方法、装置、计算机设备及存储介质
CN113221678B (zh) * 2021-04-26 2024-06-11 深圳市商汤科技有限公司 一种标准工时确定方法、装置、计算机设备及存储介质
EP4156115A4 (en) * 2021-07-02 2024-07-10 Beijing Baidu Netcom Sci & Tech Co Ltd METHOD AND DEVICE FOR IDENTIFYING A PRODUCT WITH MISSED INSPECTION, ELECTRONIC DEVICE AND STORAGE MEDIUM
CN113489954A (zh) * 2021-07-06 2021-10-08 北京市商汤科技开发有限公司 生产作业报告的生成方法、装置、电子设备及存储介质
CN114004548A (zh) * 2021-12-31 2022-02-01 北京瑞莱智慧科技有限公司 一种基于边缘计算的生产线管控方法、装置及介质
CN115081889A (zh) * 2022-06-27 2022-09-20 诚通凯胜生态建设有限公司 一种检查井与城市道路路面顺接施工的监测方法、系统、终端以及存储介质
CN115081889B (zh) * 2022-06-27 2024-08-09 诚通凯胜生态建设有限公司 一种检查井与城市道路路面顺接施工的监测方法、系统、终端以及存储介质
CN118410991A (zh) * 2024-05-22 2024-07-30 深圳市领志光机电自动化系统有限公司 用于大型工厂的生产智能制造mcs管理系统

Similar Documents

Publication Publication Date Title
CN110516636A (zh) 一种工序的监测方法、装置、计算机设备和存储介质
CN104463117B (zh) 一种基于视频方式的人脸识别样本采集方法及系统
CN102542289B (zh) 一种基于多高斯计数模型的人流量统计方法
CN103324937B (zh) 标注目标的方法和装置
CN107742099A (zh) 一种基于全卷积网络的人群密度估计、人数统计的方法
CN106548151B (zh) 面向智能机器人的目标物检测追踪识别方法和系统
Dong et al. Occlusion-aware gan for face de-occlusion in the wild
CN110084165A (zh) 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法
CN110399816A (zh) 一种基于Faster R-CNN的高速列车车底异物检测方法
CN103440668B (zh) 一种在线视频目标跟踪方法和装置
CN110969166A (zh) 一种巡检场景下小目标识别方法和系统
CN105260749B (zh) 基于方向梯度二值模式和软级联svm的实时目标检测方法
CN110443969A (zh) 一种火点检测方法、装置、电子设备及存储介质
CN104517095B (zh) 一种基于深度图像的人头分割方法
CN109800770A (zh) 一种实时目标检测的方法、系统及装置
CN108986075A (zh) 一种优选图像的判断方法及装置
CN106611160A (zh) 一种基于卷积神经网络的图像头发识别方法及其装置
CN102930251B (zh) 两维收藏品数据收录与甄别的装置和方法
CN110490052A (zh) 基于级联多任务学习的人脸检测及人脸属性分析方法及系统
CN110991397B (zh) 一种行进方向确定方法及相关设备
CN104504377A (zh) 一种公交车乘客拥挤程度识别系统及方法
CN109753853A (zh) 一种同时完成行人检测与行人重识别的方法
CN114882440B (zh) 一种人头检测方法和系统
CN110298281A (zh) 视频结构化方法、装置、电子设备及存储介质
CN107948586A (zh) 基于视频拼接的跨区域运动目标检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191129

RJ01 Rejection of invention patent application after publication