CN113591589B - 产品漏检的识别方法、装置、电子设备及存储介质 - Google Patents

产品漏检的识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113591589B
CN113591589B CN202110751437.9A CN202110751437A CN113591589B CN 113591589 B CN113591589 B CN 113591589B CN 202110751437 A CN202110751437 A CN 202110751437A CN 113591589 B CN113591589 B CN 113591589B
Authority
CN
China
Prior art keywords
product
video frame
detection
video
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110751437.9A
Other languages
English (en)
Other versions
CN113591589A (zh
Inventor
杨苏辉
聂磊
肖慧慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202110751437.9A priority Critical patent/CN113591589B/zh
Publication of CN113591589A publication Critical patent/CN113591589A/zh
Priority to US18/003,474 priority patent/US20240104921A1/en
Priority to PCT/CN2022/094501 priority patent/WO2023273695A1/zh
Priority to EP22822838.3A priority patent/EP4156115A1/en
Application granted granted Critical
Publication of CN113591589B publication Critical patent/CN113591589B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
    • G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种产品漏检的识别方法、装置、电子设备及存储介质，计算机技术领域，具体涉及计算机视觉、自然语言处理、图像处理和深度学习等人工智能技术领域。具体实施方案为，获取监控视频；将监控视频的视频帧输入至产品检测模型以生成产品检测结果；将监控视频的视频帧输入至动作识别模型以生成检测动作识别结果；以及根据产品检测结果和检测动作识别结果判断产品是否漏检。由此，能够快速检测出工业生产线中的产品是否漏检，且精确度较高。

Description

产品漏检的识别方法、装置、电子设备及存储介质
技术领域
本公开涉及计算机技术领域，具体涉及计算机视觉、自然语言处理、图像处理和深度学习等人工智能技术领域，尤其涉及一种产品漏检的识别方法、装置、电子设备及存储介质。
背景技术
电极(产品)质量检测是工业生产技术中的重要一环。现代化的电极质量检测流水线中的每一道工序都有特定的人去完成，一步一步地加工，每个人做一个特定的工作。往往工作的人会很快觉得很乏味，由此带来的某一个环节中的电极漏检都会给最终的电极良品率造成重要影响。
相关技术中，厂区产线上电极漏检检测主要有以下三种方式：
①、第一种为人工观察监控视频判断方式，即人为的通过观察现场的各个产线质检员检测电极的行为监控视频来判断；
②、第二种为基于跟踪的计算机视觉方法，该方法主要通过跟踪产线上的每一个电极，并通过电极跟踪的ID(Identity Document,身份证标识号)切换来辅助判断产品是否被检测；
③、第三种则是通过引入姿态估计的方法，首先利用关键点定位得到视频帧图像中质检员的人体关键点，然后基于关键点信息判断质检员姿态是否是正确检测电极的姿态，继而间接得到产品是否漏检的信息。
发明内容
本公开提供了一种用于产品漏检的识别方法、装置、电子设备及存储介质。
根据本公开的一方面，提供了一种产品漏检的识别方法，包括：
获取监控视频；
将所述监控视频的视频帧输入至产品检测模型以生成产品检测结果；
将所述监控视频的视频帧输入至动作识别模型以生成检测动作识别结果；以及
根据所述产品检测结果和所述检测动作识别结果判断产品是否漏检。
根据本公开的另一方面，提供了一种产品漏检的识别装置，包括：
第一获取模块，用于获取监控视频；
第一生成模块，用于将所述监控视频的视频帧输入至产品检测模型以生成产品检测结果；
第二生成模块，用于将所述监控视频的视频帧输入至动作识别模型以生成检测动作识别结果；以及
判断模块，用于根据所述产品检测结果和所述检测动作识别结果判断产品是否漏检。
根据本公开的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述一方面实施例所述的产品漏检的识别方法。
根据本公开另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其上存储有计算机程序，所述计算机指令用于使所述计算机执行上述一方面实施例所述的产品漏检的识别方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述一方面实施例所述的产品漏检的识别方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1为本公开实施例提供的一种产品漏检的识别方法的流程示意图；
图2本公开实施例提供的一种产品漏检的识别方法的时序示意图；
图3为本公开实施例提供的另一种产品漏检的识别方法的流程示意图；
图4为本公开实施例提供的另一种产品漏检的识别方法的流程示意图；
图5为本公开实施例提供的另一种产品漏检的识别方法的流程示意图；
图6为本公开实施例提供的slow-fast动作识别网络结构图；
图7为本公开实施例提供的一种产品漏检的识别装置的结构示意图；以及
图8为根据本公开实施例的产品漏检的识别方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
下面参考附图描述本公开实施例的产品漏检的识别方法、装置和电子设备。
人工智能是研究使用计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术领域也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术包括计算机视觉技术、语音识别技术、自然语言处理技术以及学习、大数据处理技术、知识图谱技术等几大方向。
自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。
学习是机器学习领域中一个新的研究方向。学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。
计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取“信息”的人工智能系统。这里所指的信息指Shannon定义的，可以用来帮助做一个“决定”的信息。因为感知可以看作是从感官信号中提取信息，所以计算机视觉也可以看作是研究如何使人工系统从图像或多维数据中“感知”的科学。
本公开实施例提供的产品漏检的识别方法，可以由电子设备来执行，该电子设备可为PC(Personal Computer，个人计算机)电脑、平板电脑或服务器等，此处不做任何限定。
在本公开实施例中，电子设备中可以设置有处理组件、存储组件和驱动组件。可选的，该驱动组件和处理组件可以集成设置，该存储组件可以存储操作系统、应用程序或其他程序模块，该处理组件通过执行存储组件中存储的应用程序来实现本公开实施例提供的产品漏检的识别方法。
图1为本公开实施例提供的一种产品漏检的识别方法的流程示意图。
本公开实施例的产品漏检的识别方法，还可由本公开实施例提供的产品漏检的识别装置执行，该装置可配置于电子设备中，以实现将获取到的监控视频的视频帧输入至产品检测模型以生成产品检测结果，并将监控视频的视频帧输入至动作识别模型以生成检测动作识别结果，以及根据产品检测结果和检测动作识别结果判断产品是否漏检。从而能够快速检测出工业生产线中的产品是否漏检，且精确度较高。
作为一种可能的情况，本公开实施例的产品漏检的识别方法还可以在服务器端执行，服务器可以为云服务器，可以在云端执行该产品漏检的识别方法。
如图1所示，该产品漏检的识别方法，其中，该产品可以是任意产品，例如，可以是电极等，该方法可包括：
步骤101，获取监控视频。
需要说明的是，该实施例中所描述的监控视频可以通过产品产线上(即，工业生产线上)的监控设备采集得到的，其中，该监控设备可包括高清摄像头和传感器等。
其中，该监控设备与可执行本公开实施例提供的产品漏检的识别方法的电子设备之间，可建立有通信连接，该通信连接可以是无线网络连接和有线网络连接的至少一种，以便于监控设备将采集到的监控视频实时传送(发送)至电子设备。或者通过人工将该监控设备中的监控视频拷贝下来，并输入至电子设备中。
步骤102，将监控视频的视频帧输入至产品检测模型以生成产品检测结果。应说明的是，该实施例中所描述的产品检测模型可以是提前训练好的，并将其预存在电子设备的存储空间中，以方便调取应用。其中，该存储空间不仅限于基于实体的存储空间，例如，硬盘，上述存储空间还可以是连接电子设备的网络硬盘的存储空间(云存储空间)。
其中，该产品检测模型的训练与生成均可由相关的训练服务器执行，该训练服务器可以是云端服务器，也可以是一台电脑的主机，该训练服务器与可执行本公开实施例提供的产品漏检的识别方法的电子设备之间，建立有通信连接，该通信连接可以是无线网络连接和有线网络连接的至少一种。该训练服务器可将训练完成的产品检测模型发送给该电子设备，以便该电子设备在需要时调用，从而大大减少该电子设备的计算压力。
在本公开实施例中，电子设备在获取到监控视频之后，可先对该监控视频进行抽帧处理以得到该监控视频的视频帧。
具体地，电子设备在获取到监控视频之后，可根据预设的抽帧算法对该监控视频进行抽帧处理以得到该监控视频的视频帧，其中，预设的抽帧算法可根据实际情况进行标定，例如，预设的抽帧算法可为抽帧重采样算法。
作为一种可能的情况，电子设备在获取到监控视频之后，可根据抽帧模型对该监控视频进行抽帧处理以得到该监控视频的视频帧。应说明的是，该实施例中所描述的抽帧模型可以是提前训练好的，并将其预存在电子设备的存储空间中，以方便调取应用。
作为另一种可能的情况，电子设备在获取到监控视频之后，还可使用抽帧工具(例如，插件)，对该监控视频进行抽帧处理以得到该监控视频的视频帧。
进一步地，电子设备在得到监控视频的视频帧之后，可从自身的存储空间中调出产品检测模型，并将该视频帧输入至该产品检测模型，从而通过该产品检测模型对该监控视频的视频帧进行检测，以得到该产品检测模型输出(生成)的产品检测结果。
需要说明的是，该实施例中所描述的产品检测模型可为电极、手套、人体检测模型，其中，该电极、手套、人体检测模型中可包括电极检测子模型、手套检测子模型、人体检测子模型等中的多种，具体情况根据需要进行设置。
在本公开实施例中，电子设备在得到监控视频的视频帧之后，还可对该视频帧进行尺寸缩放，并将缩放后的视频帧输入至产品检测模型以生成产品检测结果。
步骤103，将监控视频的视频帧输入至动作识别模型以生成检测动作识别结果。应说明的是，该实施例中所描述的动作识别模型也可以是提前训练好的，并将其预存在电子设备的存储空间中，以方便调取应用。
具体地，电子设备在得到监控视频的视频帧之后，可从自身的存储空间中调出动作识别模型，并将该视频帧输入至该动作识别模型，从而通过该动作识别模型对该监控视频的视频帧进行识别(例如，检测电极)，以得到该动作识别模型输出(生成)的检测动作识别结果。
步骤104，根据产品检测结果和检测动作识别结果判断产品是否漏检。
具体地，电子设备在得到产品检测结果和检测动作识别结果之后，可对该产品检测结果和检测动作识别结果进行解析，以根据解析的结果判断产品(即，工业生产线上生产(运输)的产品)是否漏检。
在本公开实施例中，首先获取监控视频，并将监控视频的视频帧输入至产品检测模型以生成产品检测结果，然后将监控视频的视频帧输入至动作识别模型以生成检测动作识别结果，最后根据产品检测结果和检测动作识别结果判断产品是否漏检。由此，能够快速检测出工业生产线中的产品是否漏检，且精确度较高。
为了清楚说明上一实施例，在本公开的一个实施例中，该产品漏检的识别方法，还包括将监控视频的视频帧存储至视频帧数据库，以作为训练样本，并根据训练样本分别对产品检测模型和动作识别模型进行优化。
具体地，参见图2，电子设备在获取到监控视频之后，可基于抽帧重采样对该监控视频进行抽帧处理，即根据该监控视频实际的帧率对该监控视频进行抽帧，并可根据人为预设置的正负样本比例超参数，从所有抽取的视频帧中采样正常检测电极和漏检电极的样本，并存储至视频帧数据库，以作为训练样本(即，产品检测模型和动作识别模型的训练样本)。其中，正负样本比例超参数可根据实际情况进行标定，例如，正负样本比例可为3：1。由此，可为产品检测模型和动作识别模型的提供高质量的训练样本，从而保障训练的效果，且能很好的避免样本类别不均衡造成的模型预测的类别倾斜性问题。
进一步地，相关人员可根据该视频帧数据库中的训练样本对产品检测模型和动作识别模型进行优化训练，并将完成训练的产品检测模型和动作识别模型预存在电子设备的存储空间中，以方便调取应用。由此，可优化产品检测模型和动作识别模型，从而提高模型的准确度，辅助提高工业生产线中的产品捡漏的精确度。
进一步地，在本公开的一个实施例中，如图3所示，该产品漏检的识别方法，还可包括：
步骤301，将视频帧存储至视频帧缓存队列之中，其中，视频帧缓存队列的长度等于动作识别模型生成检测动作识别结果时动作识别模型的输入视频帧数。
具体地，电子设备在得到监控视频的视频帧之后，还可将该视频帧存储至视频帧缓存队列之中。
步骤302，将检测动作识别结果进行缓存。
具体而言，参加图2，当逐帧读取监控视频时，电子设备不仅可将当前视频帧存入视频帧数据库中用于训练产品检测模型和动作识别模型，同时还可将当前视频帧存入动作视频帧缓存队列(即，视频帧缓存队列)中，该队列长度等于动作识别模型预测结果(检测动作识别结果)时网络(动作识别模型)的输入视频帧数。当动作识别模型预测结果时网络的输入视频帧数超过动作视频帧缓存队列长度时，可将动作视频帧缓存队列中头部视频帧移出队列，同时将当前帧插入到队尾，并可将检测动作识别结果进行缓存。
进一步而言，参见图2，电子设备还可将动作识别模型输出的检测动作识别结果进行缓存，以便后续使用。由此，在需要时可以直接从缓存(即，模型结果缓存)中查询相应的信息，避免了无关视频帧的动作识别工作量。
作为一种可能的情况，电子设备还可将动作识别模型输出的检测动作识别结果进行直接存储在自身的存储空间中，以便后续使用。
为了清楚说明上一实施例，在本公开的一个实施例中，将视频帧存储至视频帧缓存队列之中，可可包括响应于视频帧缓存队列已满，将头部视频帧移出，并将视频帧插入至视频帧缓存队列的尾部。
具体地，电子设备在将上述的当前视频帧存入视频帧缓存队列的过程中，还可实时检测该视频帧缓存队列是否已满，如果是，则可将头部视频帧移出，并将该当前视频帧插入至该视频帧缓存队列的尾部；如果否，则继续正常插入。
在本公开实施例中，参见图2，在进行产品漏检的识别的过程中，动作识别模型的输入可直接从上述的视频帧缓存队列中获取，或者动作识别模型的输入可从上述的监控视频中直接抽取。
由此，可以实现逐帧将视频帧输入动作识别模型，并输出检测动作识别结果，为后续产品漏检提供条件。
进一步地，在本公开的一个实施例中，如图4所示，根据产品检测结果和检测动作识别结果判断产品是否漏检，可包括：
步骤401，对产品检测结果进行筛选，以得到目标产品检测结果。
在公开的实施例中，可根据预设的筛选方法对产品检测结果进行筛选，以得到目标产品检测结果。其中，预设的筛选方法可根据实际情况进行标定。
具体地，电子设备在得到产品检测结果之后，可根据预设的筛选方法对该产品检测结果进行筛选，以得到目标产品检测结果。
步骤402，将目标产品检测结果输入至产品追踪模型，以获取产品的标识和视频帧号，其中，视频帧号包括产品进入电子围栏区域时所在视频帧的视频帧号，和产品离开电子围栏区域时所在视频帧的视频帧号。其中，该产品追踪模型可为mask-rcnn(卷积神经网络)电极检测模型。
需要说明的是，该实施例中所描述的产品追踪模型也可以是提前训练好的，并将其预存在服务器的存储空间中，以方便调取应用。
在本公开实施例中，可利用监控视频帧样本训练产品追踪模型，然后匹配当前视频帧经过卡尔曼滤波预测后的框和产品追踪模型预测的结果(例如，电极框)，并引入iou(Intersection over Union，重叠度)参数辅助框的匹配，同时为了减轻遮挡导致的跟踪ID(即，产品的标识)丢失的问题，可设置当前匹配框的保留时间超参数，即在特定时间内，保留预测框信息。
具体地，电子设备在得到上述的目标产品检测结果之后，可从自身的存储空间中调出产品追踪模型，并将该目标产品检测结果输入至该产品追踪模型，从而通过该产品追踪模型对目标产品检测结果进行检测，以得到该产品追踪模型输出的产品的标识和视频帧号。
需要说明的是，该实施例中所描述的产品的标识可为产品的唯一编码，该实施例中所描述的视频帧号可为到工业生产线中电子围栏区域的每一个产品(电极)出现(即，进入)和结束(即，离开)时的当前视频的视频帧号。
步骤403，根据视频帧号从检测动作识别结果之中提取视频帧号对应的检测动作识别结果。
步骤404，根据视频帧号对应的检测动作识别结果和产品的标识，判断产品是否漏检。
具体地，参见图2，电子设备在得到上述的产品的标识和视频帧号之后，可根据该视频帧号从模型结果缓存中查询相应的信息，即从缓存的检测动作识别结果之中提取视频帧号对应的检测动作识别结果，并可根据视频帧号对应的检测动作识别结果和产品的标识，判断产品是否漏检。
作为一种可能的情况，电子设备在得到上述的产品的标识和视频帧号之后，还可从自身的存储空间中调出检测动作识别结果，并从该检测动作识别结果之中提取视频帧号对应的检测动作识别结果，以及可根据视频帧号对应的检测动作识别结果和产品的标识，判断产品是否漏检。
需要说明的是，参见图2，该实施例中所描述的提取到视频帧号对应的检测动作识别结果中可包具有标识产品在电子围栏区域出现和结束的中间视频片段，并对该视频片段中的开始和结束处判断产品(电极)是否存在被人正确检测的行为，进而判断电极是否漏检。由此，大大避免了无关视频帧的动作识别工作量。
为了清楚说明上一实施例，在本公开的一个实施例中，对产品检测结果进行筛选，以得到目标产品检测结果，可包括获取电子围栏区域对应的坐标信息，并根据坐标信息对产品检测结果进行筛选，以得到目标产品检测结果。
需要说明的是，该实施例中所描述的电子围栏区域可以是相关人员设置的区域，即相关人员在工业生产线中设置的区域。其中，该电子围栏区域对应的坐标信息，可预先存储在电子设备的存储空间中，以便于在使用时获取。
具体地，参见图2，电子设备在得到产品检测结果之后，可从自身的存储空间中获取电子围栏区域对应的坐标信息，然后根据该坐标信息对产品检测结果进行筛选，以得到目标产品检测结果。
为了清楚说明上一实施例，在本公开的一个实施例中，如图5所示，根据坐标信息对产品检测结果进行筛选，以得到目标产品检测结果，可包括：
步骤501，对产品检测结果进行解析，以获取产品目标框。应说明的是，该实施例中所描述的产品目标框用于表征产品所在区域范围，例如，可以是将产品包围的最小框，该最小框的坐标信息即表征产品的坐标信息，其中，产品目标框可为多个，且产品目标框也可叫做电极目标框。
具体地，电子设备在得到产品检测结果之后，可先从自身的存储空间中获取电子围栏区域对应的坐标信息，然后根据预设的解析算法对产品检测结果进行解析，以得到该产品检测结果中的产品目标框。其中，预设的解析算法可根据实际情况进行标定。
步骤502，根据产品目标框和坐标信息计算产品目标框的交并比iof值。
步骤503，根据iof值对产品检测结果进行筛选，以得到目标产品检测结果。
具体地，电子设备在得到上述产品检测结果中的产品目标框之后，可根据电子围栏区域对应的坐标信息，计算每个产品目标框的交并比iof值(即，产品目标框和电子围栏的交并比iof值)，并只保留iof值大于指定阈值的产品目标框，基于此对产品检测结果进行筛选，以得到目标产品检测结果。由此，可大量去除了无关区域的背景电极(产品)，降低了整体算法的时间消耗。
进一步地，在本公开一个实施例中，上述的动作识别模型可包括第一识别通道和第二识别通道，其中，第一识别通道的采样率低于第二识别通道的采样率。
需要说明的是，参见图6，该实施例中所描述的第一识别通道和第二识别通道可以是slow(慢速)通道和fast(快速)通道，其中，slow通道和fast通道都可采用3D(3Dimensions，三维)卷积模块，其中slow通道输入时间跨度较大(即单位时间内采样较少视频帧)的视频帧图像，而fast通道则输入时间跨度较小(即单位时间内采样较多视频帧)的视频帧图像。
为了清楚说明上一实施例，在本公开的一个实施例中，将监控视频的视频帧输入至动作识别模型以生成检测动作识别结果，可包括将视频帧分别输入第一识别通道和第二识别通道，以生成第一识别结果和第二识别结果，并根据第一识别结果和第二识别结果生成检测动作识别结果。
具体地，电子设备在将上述监控视频的视频帧输入至动作识别模型之后，参见图6，该动作识别模型中的slow通道(第一识别通道)和fast通道(第二识别通道)可同时对该监控视频的视频帧进行检测识别，以生成第一识别结果和第二识别结果。最后电子设备根据得到的第一识别结果和第二识别结果生成检测动作识别结果，由此，可以提高动作识别模型预测时的连贯性和一致性。
进一步地，参见图6，该动作识别模型中的slow通道(第一识别通道)和fast通道(第二识别通道)可同时对该监控视频的视频帧进行检测识别，且同时可将fast通道的结果进行数据转换以生成中间结果，并可将该中间结果分阶段加入slow通道，以生成上述的第一识别结果和第二识别结果。最后电子设备根据该第一识别结果和第二识别结果生成检测动作识别结果。
综上，根据本公开实施例的产品漏检的识别方法，首先获取监控视频，并将监控视频的视频帧输入至产品检测模型以生成产品检测结果，然后将监控视频的视频帧输入至动作识别模型以生成检测动作识别结果，最后根据产品检测结果和检测动作识别结果判断产品是否漏检。由此，能够快速检测出工业生产线中的产品是否漏检，且精确度较高。
图7为本公开实施例提供的一种产品漏检的识别装置的结构示意图。
本公开实施例的产品漏检的识别装置，可配置于电子设备中，以实现将获取到的监控视频的视频帧输入至产品检测模型以生成产品检测结果，并将监控视频的视频帧输入至动作识别模型以生成检测动作识别结果，以及根据产品检测结果和检测动作识别结果判断产品是否漏检。从而能够快速检测出工业生产线中的产品是否漏检，且精确度较高。
如图7所示，该产品漏检的识别装置700，可包括：第一获取模块710，第一生成模块720，第二生成模块730，判断模块740。
其中第一获取模块710，用于获取监控视频。
需要说明的是，该实施例中所描述的监控视频可以通过产品产线上(即，工业生产线上)的监控设备采集得到的，其中，该监控设备可包括高清摄像头和传感器等。
其中，该监控设备与可执行本公开实施例提供的产品漏检的识别方法的电子设备之间，可建立有通信连接，该通信连接可以是无线网络连接和有线网络连接的至少一种，以便于监控设备将采集到的监控视频实时传送(发送)至电子设备的第一获取模块710。或者通过人工将该监控设备中的监控视频拷贝下来，并输入至电子设备中。
第一生成模块720，用于将监控视频的视频帧输入至产品检测模型以生成产品检测结果。应说明的是，该实施例中所描述的产品检测模型可以是提前训练好的，并将其预存在电子设备的存储空间中，以方便第一生成模块720调取应用。其中，该存储空间不仅限于基于实体的存储空间，例如，硬盘，上述存储空间还可以是连接电子设备的网络硬盘的存储空间(云存储空间)。
其中，该产品检测模型的训练与生成均可由相关的训练服务器执行，该训练服务器可以是云端服务器，也可以是一台电脑的主机，该训练服务器与可配置本公开实施例提供的产品漏检的识别装置的电子设备之间，建立有通信连接，该通信连接可以是无线网络连接和有线网络连接的至少一种。该训练服务器可将训练完成的产品检测模型发送给该电子设备，以便第一生成模块720在需要时调用，从而大大减少该电子设备的计算压力。
在本公开实施例中，在第一获取模块710获取到监控视频之后，第一生成模块720可先对该监控视频进行抽帧处理以得到该监控视频的视频帧。
具体地，在第一获取模块710获取到监控视频之后，第一生成模块720可根据预设的抽帧算法对该监控视频进行抽帧处理以得到该监控视频的视频帧，其中，预设的抽帧算法可根据实际情况进行标定，例如，预设的抽帧算法可为抽帧重采样算法。
为一种可能的情况，在第一获取模块710获取到监控视频之后，第一生成模块720可根据抽帧模型对该监控视频进行抽帧处理以得到该监控视频的视频帧。应说明的是，该实施例中所描述的抽帧模型可以是提前训练好的，并将其预存在电子设备的存储空间中，以方便调取应用。
作为另一种可能的情况，在第一获取模块710获取到监控视频之后，第一生成模块720还可使用抽帧工具(例如，插件)，对该监控视频进行抽帧处理以得到该监控视频的视频帧。
进一步地，第一生成模块720在得到监控视频的视频帧之后，可从电子设备的存储空间中调出产品检测模型，并将该视频帧输入至该产品检测模型，从而通过该产品检测模型对该监控视频的视频帧进行检测(例如，漏检电极)，以得到该产品检测模型输出(生成)的产品检测结果。
需要说明的是，该实施例中所描述的产品检测模型可为电极、手套、人体检测模型，其中，该电极、手套、人体检测模型中可包括电极检测子模型、手套检测子模型、人体检测子模型等中的多种，具体情况根据需要进行设置。
在本公开实施例中，在第一获取模块710得到监控视频的视频帧之后，第一生成模块720还可对该视频帧进行尺寸缩放，并将缩放后的视频帧输入至产品检测模型以生成产品检测结果。
第二生成模块730，用于将监控视频的视频帧输入至动作识别模型以生成检测动作识别结果。应说明的是，该实施例中所描述的动作识别模型也可以是提前训练好的，并将其预存在电子设备的存储空间中，以方便第二生成模块730调取应用。
具体地，在第一生成模块720得到监控视频的视频帧之后，第二生成模块730可从电子设备的存储空间中调出动作识别模型，并将该视频帧输入至该动作识别模型，从而通过该动作识别模型对该监控视频的视频帧进行识别(例如，检测电极)，以得到该动作识别模型输出(生成)的检测动作识别结果。
判断模块740，用于根据产品检测结果和检测动作识别结果判断产品是否漏检。
具体地，在第二生成模块730得到产品检测结果和检测动作识别结果之后，判断模块740可对该产品检测结果和检测动作识别结果进行解析，以根据解析的结果判断产品(即，工业生产线上生产(运输)的产品)是否漏检。
在本公开实施例中，首先通过第一获取模块获取监控视频，并通过第一生成模块将监控视频的视频帧输入至产品检测模型以生成产品检测结果，然后通过第二生成模块将监控视频的视频帧输入至动作识别模型以生成检测动作识别结果，最后通过判断模块根据产品检测结果和检测动作识别结果判断产品是否漏检。由此，能够快速检测出工业生产线中的产品是否漏检，且精确度较高。
在本公开的一个实施例中，该产品漏检的识别装置700还可包括第一存储模块750和优化模块760。
其中，第一存储模块750用于将监控视频的视频帧存储至视频帧数据库，以作为训练样本。
优化模块760用于根据训练样本分别对产品检测模型和动作识别模型进行优化。
在本公开的一个实施例中，该产品漏检的识别装置700还可包括：第二存储模块770和缓存模块780。
其中，第二存储模块770，用于将视频帧存储至视频帧缓存队列之中，其中，视频帧缓存队列的长度等于动作识别模型生成检测动作识别结果时动作识别模型的输入视频帧数。
缓存模块780，用于将检测动作识别结果进行缓存。
在本公开的一个实施例中，第二存储模块760用于响应于视频帧缓存队列已满，将头部视频帧移出，并将视频帧插入至视频帧缓存队列的尾部。
在本公开的一个实施例中，判断模块740，包括：筛选单元741、第二获取单元742、提取单元743和判断单元744。
其中，筛选单元741用于对产品检测结果进行筛选，以得到目标产品检测结果。
第二获取单元742用于将目标产品检测结果输入至产品追踪模型，以获取产品的标识和视频帧号，其中，视频帧号包括产品进入电子围栏区域时所在视频帧的视频帧号，和产品离开电子围栏区域时所在视频帧的视频帧号。
提取单元743用于根据视频帧号从缓存的检测动作识别结果之中提取视频帧号对应的检测动作识别结果。
判断单元744用于根据视频帧号对应的检测动作识别结果和产品的标识，判断产品是否漏检。
在本公开的一个实施例中，如图7所示，筛选单元741，可包括：获取子单元701和筛选子单元702。
其中，获取子单元701用于获取电子围栏区域对应的坐标信息2
筛选子单元702用于根据坐标信息对产品检测结果进行筛选，以得到目标产品检测结果。
在本公开的一个实施例中，筛选子单元702具体用于：对产品检测结果进行解析，以获取产品目标框；根据产品目标框和坐标信息计算产品目标框的交并比iof值；根据iof值对产品检测结果进行筛选，以得到目标产品检测结果。
在本公开一个实施例中，动作识别模型包括第一识别通道和第二识别通道，其中，第一识别通道的采样率低于第二识别通道的采样率，第二生成模块730，用于：将视频帧分别输入第一识别通道和第二识别通道，以生成第一识别结果和第二识别结果；根据第一识别结果和第二识别结果生成检测动作识别结果。
需要说明的是，前述对产品漏检的识别方法实施例的解释说明也适用于该实施例的产品漏检的识别装置，此处不再赘述。
本公开实施例的产品漏检的识别装置，首先通过第一获取模块获取监控视频，并通过第一生成模块将监控视频的视频帧输入至产品检测模型以生成产品检测结果，然后通过第二生成模块将监控视频的视频帧输入至动作识别模型以生成检测动作识别结果，最后通过判断模块根据产品检测结果和检测动作识别结果判断产品是否漏检。由此，能够快速检测出工业生产线中的产品是否漏检，且精确度较高。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
设备800中的多个部件连接至I/O接口805，包括：输入单元806如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如产品漏检的识别方法。例如，在一些实施例中，产品漏检的识别方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808些实施例中，计算机程序的部分或者全部可以经由ROM802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的产品漏检的识别方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行产品漏检的识别方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (18)

1.一种产品漏检的识别方法，包括：
获取监控视频；
将所述监控视频的视频帧输入至产品检测模型以生成产品检测结果；
将所述监控视频的视频帧输入至动作识别模型以生成检测动作识别结果；以及
根据所述产品检测结果和所述检测动作识别结果判断所述产品是否漏检，包括：
对所述产品检测结果进行筛选，以得到目标产品检测结果；
将所述目标产品检测结果输入至产品追踪模型，以获取所述产品的标识和视频帧号；
根据所述视频帧号从所述检测动作识别结果之中提取所述视频帧号对应的检测动作识别结果；
根据所述视频帧号对应的检测动作识别结果和所述产品的标识，判断所述产品是否漏检。
2.如权利要求1所述的方法，还包括：
将所述监控视频的视频帧存储至视频帧数据库，以作为训练样本；
根据所述训练样本分别对所述产品检测模型和所述动作识别模型进行优化。
3.如权利要求1所述的方法，其中，还包括：
将所述视频帧存储至视频帧缓存队列之中，其中，所述视频帧缓存队列的长度等于所述动作识别模型生成所述检测动作识别结果时所述动作识别模型的输入视频帧数；和/或
将所述检测动作识别结果进行缓存。
4.如权利要求3所述的方法，其中，所述将所述视频帧存储至视频帧缓存队列之中，包括：
响应于所述视频帧缓存队列已满，将头部视频帧移出，并将所述视频帧插入至所述视频帧缓存队列的尾部。
5.如权利要求1所述的方法，其中，所述视频帧号包括所述产品进入电子围栏区域时所在视频帧的视频帧号，和所述产品离开所述电子围栏区域时所在视频帧的视频帧号。
6.如权利要求5所述的方法，其中，所述对所述产品检测结果进行筛选，以得到目标产品检测结果，包括：
获取所述电子围栏区域对应的坐标信息；
根据所述坐标信息对所述产品检测结果进行筛选，以得到所述目标产品检测结果。
7.如权利要求6所述的方法，其中，根据所述坐标信息对所述产品检测结果进行筛选，以得到所述目标产品检测结果，包括：
对所述产品检测结果进行解析，以获取产品目标框；
根据所述产品目标框和所述坐标信息计算所述产品目标框的交并比iof值；
根据所述iof值对所述产品检测结果进行筛选，以得到所述目标产品检测结果。
8.如权利要求1-7中任一项所述的方法，其中，所述动作识别模型包括第一识别通道和第二识别通道，其中，所述第一识别通道的采样率低于所述第二识别通道的采样率，所述将所述监控视频的视频帧输入至动作识别模型以生成检测动作识别结果，包括：
将所述视频帧分别输入所述第一识别通道和第二识别通道，以生成第一识别结果和第二识别结果；
根据所述第一识别结果和所述第二识别结果生成所述检测动作识别结果。
9.一种产品漏检的识别装置，包括：
第一获取模块，用于获取监控视频；
第一生成模块，用于将所述监控视频的视频帧输入至产品检测模型以生成产品检测结果；
第二生成模块，用于将所述监控视频的视频帧输入至动作识别模型以生成检测动作识别结果；以及
判断模块，用于根据所述产品检测结果和所述检测动作识别结果判断产品是否漏检；
所述判断模块，包括：
筛选单元，用于对所述产品检测结果进行筛选，以得到目标产品检测结果；
获取单元，用于将所述目标产品检测结果输入至产品追踪模型，以获取所述产品的标识和视频帧号；
提取单元，用于根据所述视频帧号从所述检测动作识别结果之中提取所述视频帧号对应的检测动作识别结果；
判断单元，用于根据所述视频帧号对应的检测动作识别结果和所述产品的标识，判断所述产品是否漏检。
10.如权利要求9所述的装置，还包括：
第一存储模块，用于将所述监控视频的视频帧存储至视频帧数据库，以作为训练样本；
优化模块，用于根据所述训练样本分别对所述产品检测模型和所述动作识别模型进行优化。
11.如权利要求9所述的装置，还包括：
第二存储模块，用于将所述视频帧存储至视频帧缓存队列之中，其中，所述视频帧缓存队列的长度等于所述动作识别模型生成所述检测动作识别结果时所述动作识别模型的输入视频帧数；
缓存模块，用于将所述检测动作识别结果进行缓存。
12.如权利要求11所述的装置，其中，所述第二存储模块，用于：
响应于所述视频帧缓存队列已满，将头部视频帧移出，并将所述视频帧插入至所述视频帧缓存队列的尾部。
13.如权利要求9所述的装置，其中，所述视频帧号包括所述产品进入电子围栏区域时所在视频帧的视频帧号，和所述产品离开所述电子围栏区域时所在视频帧的视频帧号。
14.如权利要求13所述的装置，所述筛选单元，包括：
获取子单元，用于获取所述电子围栏区域对应的坐标信息；
筛选子单元，用于根据所述坐标信息对所述产品检测结果进行筛选，以得到所述目标产品检测结果。
15.如权利要求14所述的装置，所述筛选子单元，用于：
对所述产品检测结果进行解析，以获取产品目标框；
根据所述产品目标框和所述坐标信息计算所述产品目标框的交并比iof值；
根据所述iof值对所述产品检测结果进行筛选，以得到所述目标产品检测结果。
16.如权利要求9-15中任一项所述的装置，其中，所述动作识别模型包括第一识别通道和第二识别通道，其中，所述第一识别通道的采样率低于所述第二识别通道的采样率，所述第二生成模块，用于：
将所述视频帧分别输入所述第一识别通道和第二识别通道，以生成第一识别结果和第二识别结果；
根据所述第一识别结果和所述第二识别结果生成所述检测动作识别结果。
17.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的产品漏检的识别方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-8中任一项所述的产品漏检的识别方法。
CN202110751437.9A 2021-07-02 2021-07-02 产品漏检的识别方法、装置、电子设备及存储介质 Active CN113591589B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110751437.9A CN113591589B (zh) 2021-07-02 2021-07-02 产品漏检的识别方法、装置、电子设备及存储介质
US18/003,474 US20240104921A1 (en) 2021-07-02 2022-05-23 Method for recognizing product detection missed, electronic device, and storage medium
PCT/CN2022/094501 WO2023273695A1 (zh) 2021-07-02 2022-05-23 产品漏检的识别方法、装置、电子设备及存储介质
EP22822838.3A EP4156115A1 (en) 2021-07-02 2022-05-23 Method and apparatus for identifying product that has missed inspection, electronic device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110751437.9A CN113591589B (zh) 2021-07-02 2021-07-02 产品漏检的识别方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113591589A CN113591589A (zh) 2021-11-02
CN113591589B true CN113591589B (zh) 2022-09-27

Family

ID=78245784

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110751437.9A Active CN113591589B (zh) 2021-07-02 2021-07-02 产品漏检的识别方法、装置、电子设备及存储介质

Country Status (4)

Country Link
US (1) US20240104921A1 (zh)
EP (1) EP4156115A1 (zh)
CN (1) CN113591589B (zh)
WO (1) WO2023273695A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113591589B (zh) * 2021-07-02 2022-09-27 北京百度网讯科技有限公司 产品漏检的识别方法、装置、电子设备及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103885370A (zh) * 2012-12-20 2014-06-25 珠海格力电器股份有限公司 生产线监控系统和生产线监控方法
CN104732710A (zh) * 2013-12-24 2015-06-24 贵州久联民爆器材发展股份有限公司 雷管自动装填生产线人员在岗状态自动监控方法及装置
CN107389689A (zh) * 2017-07-26 2017-11-24 武汉精测电子技术股份有限公司 一种用于缺陷检测的aoi管理系统及管理方法
CN108681690A (zh) * 2018-04-04 2018-10-19 浙江大学 一种基于深度学习的流水线人员规范操作检测系统
CN110046280A (zh) * 2019-04-23 2019-07-23 重庆邮电大学 一种面向抽检的多工位监控视频语义检索系统
JP2019211415A (ja) * 2018-06-08 2019-12-12 アズビル株式会社 外観検査装置および方法
WO2020042966A1 (zh) * 2018-08-28 2020-03-05 阿里巴巴集团控股有限公司 漏扫识别方法、装置、自助收银终端及系统
CN111144262A (zh) * 2019-12-20 2020-05-12 北京容联易通信息技术有限公司 一种基于监控视频的工序异常检测方法
CN111814557A (zh) * 2020-06-09 2020-10-23 珠海格力电器股份有限公司 动作流检测方法、装置、设备及存储介质
CN111860140A (zh) * 2020-06-10 2020-10-30 北京迈格威科技有限公司 目标事件检测方法、装置、计算机设备和存储介质
WO2021014505A1 (ja) * 2019-07-19 2021-01-28 株式会社Ｆｕｊｉ 実装装置、実装システム及び検査実装方法
CN112364702A (zh) * 2020-10-15 2021-02-12 北京三快在线科技有限公司 一种物品核验方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110472492A (zh) * 2019-07-05 2019-11-19 平安国际智慧城市科技股份有限公司 目标生物检测方法、装置、计算机设备和存储介质
CN111768386B (zh) * 2020-06-30 2024-02-20 北京百度网讯科技有限公司 产品缺陷检测方法、装置、电子设备和存储介质
CN112989987A (zh) * 2021-03-09 2021-06-18 北京京东乾石科技有限公司 用于识别人群行为的方法、装置、设备以及存储介质
CN113591589B (zh) * 2021-07-02 2022-09-27 北京百度网讯科技有限公司 产品漏检的识别方法、装置、电子设备及存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103885370A (zh) * 2012-12-20 2014-06-25 珠海格力电器股份有限公司 生产线监控系统和生产线监控方法
CN104732710A (zh) * 2013-12-24 2015-06-24 贵州久联民爆器材发展股份有限公司 雷管自动装填生产线人员在岗状态自动监控方法及装置
CN107389689A (zh) * 2017-07-26 2017-11-24 武汉精测电子技术股份有限公司 一种用于缺陷检测的aoi管理系统及管理方法
CN108681690A (zh) * 2018-04-04 2018-10-19 浙江大学 一种基于深度学习的流水线人员规范操作检测系统
JP2019211415A (ja) * 2018-06-08 2019-12-12 アズビル株式会社 外観検査装置および方法
WO2020042966A1 (zh) * 2018-08-28 2020-03-05 阿里巴巴集团控股有限公司 漏扫识别方法、装置、自助收银终端及系统
CN110046280A (zh) * 2019-04-23 2019-07-23 重庆邮电大学 一种面向抽检的多工位监控视频语义检索系统
WO2021014505A1 (ja) * 2019-07-19 2021-01-28 株式会社Ｆｕｊｉ 実装装置、実装システム及び検査実装方法
CN111144262A (zh) * 2019-12-20 2020-05-12 北京容联易通信息技术有限公司 一种基于监控视频的工序异常检测方法
CN111814557A (zh) * 2020-06-09 2020-10-23 珠海格力电器股份有限公司 动作流检测方法、装置、设备及存储介质
CN111860140A (zh) * 2020-06-10 2020-10-30 北京迈格威科技有限公司 目标事件检测方法、装置、计算机设备和存储介质
CN112364702A (zh) * 2020-10-15 2021-02-12 北京三快在线科技有限公司 一种物品核验方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Christoph Feichtenhofer 等.SlowFast Networks for Video Recognition.《arXiv》.2019, *
Huang Q H 等.Research on Pipeline Video Defect Detection Based on Improved Convolution Neural Network.《Journal of Physics: Conference Series》.2020, *
张迪 等.一种应用于智能视频监控钢管生产的目标检测方法.《计算机系统应用》.2010, *

Also Published As

Publication number Publication date
US20240104921A1 (en) 2024-03-28
WO2023273695A1 (zh) 2023-01-05
CN113591589A (zh) 2021-11-02
EP4156115A1 (en) 2023-03-29

Similar Documents

Publication Publication Date Title
EP3859604A2 (en) Image recognition method and apparatus, device, and computer storage medium
CN108090458A (zh) 人体跌倒检测方法和装置
US20230153387A1 (en) Training method for human body attribute detection model, electronic device and medium
CN112929695B (zh) 视频去重方法、装置、电子设备和存储介质
CN113177472B (zh) 动态手势识别方法、装置、设备以及存储介质
CN113344862B (zh) 缺陷检测方法、装置、电子设备及存储介质
CN113221771A (zh) 活体人脸识别方法、装置、设备、存储介质及程序产品
CN113705361A (zh) 活体检测模型的方法、装置及电子设备
CN111178323A (zh) 基于视频的群体行为识别方法、装置、设备及存储介质
CN112580666A (zh) 图像特征的提取方法、训练方法、装置、电子设备及介质
CN113591589B (zh) 产品漏检的识别方法、装置、电子设备及存储介质
CN113592932A (zh) 深度补全网络的训练方法、装置、电子设备及存储介质
CN115171082B (zh) 驾驶行为的检测方法、装置、电子设备及可读存储介质
CN114783597B (zh) 多类疾病诊断的诊断方法及装置、电子设备和存储介质
EP4083875A1 (en) Data annotation method and apparatus, electronic device and readable storage medium
CN114220163B (zh) 人体姿态估计方法、装置、电子设备及存储介质
KR20220124273A (ko) 동적 제스처 인식 방법, 장치, 기기 및 저장 매체
CN112560848A (zh) 兴趣点poi预训练模型的训练方法、装置及电子设备
CN114842476A (zh) 水印检测方法及装置、模型训练方法及装置
CN114764949A (zh) 一种活体检测方法及装置
CN113591570A (zh) 视频处理方法、装置、电子设备和存储介质
CN113343997A (zh) 光学字符识别方法、装置、电子设备和存储介质
CN111967299A (zh) 无人机巡检方法、装置、设备及存储介质
CN114155589B (zh) 一种图像处理方法、装置、设备以及存储介质
CN114140851B (zh) 图像检测方法和用于训练图像检测模型的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant