CN113313025A - 视觉识别系统、工业生产线以及工业生产系统 - Google Patents

Abstract

本申请公开了一种视觉识别系统以及包括该视觉识别系统的工业生产线和工业生产系统，其中，该视觉识别系统用于工业生产中并包括：图像采集装置，该图像采集装置设置于工业生产现场，用于对至少一个生产节点的工作过程采集包括图片和/或视频流的图像信息，以提供实时和/或延时的所述图像信息；视觉识别装置，该视觉识别装置设置有视觉识别模块，所述视觉识别装置利用该视觉识别模块对所述图像信息进行识别和分析，以获得所述工作节点的工作过程的目标信息；和服务器，所述视觉识别装置将获得的所述目标信息传送给该服务器。

Description

视觉识别系统、工业生产线以及工业生产系统

技术领域

本申请涉及工业生产领域，更具体地说，涉及一种视觉识别系统、工业生产线以及工业生产系统。

背景技术

随着大规模工业生产以及柔性化制造的发展，在工业生产过程中每个环节都至关重要，往往一个生产环节或工件出现问题就会影响到整体生产的进行，进而会影响生产效率，乃至影响最终产品的品质。

对生产环节的管控在传统上大都采用人工的方式来进行。例如，对于人工手动操作的方式来说，如手工分拣、工件筛选、工件人工机加工等，大都由操作人员的经验和责任性来实现对该环节的管控；而对于自动化设备来说，如加工中心、自动化生产线、无人工厂等，已经出现对某些关键生产环节进行视频监控的方式，但依然需要人工来根据视频内容来做出判断。

举例来说，在工业生产线中如何对各个生产环节进行独立的计数统计，是非常重要的。

传统上的计数方式通常由人工完成，大都在某个生产工序生产出零部件后，由统计人员通过人工清点的方式来完成计件，但这种人工方法难以保证工业生产计件的实时性和准确性。

作为一种改进的方式，目前在自动化数控设备中，已经能够对自身生产情况进行实时而准确的记录，无需依赖额外人力完成加工工件的计数工作。但这类设备成本相对较高，对于主要依靠人工操作的工业生产线并不适用。

因此，针对工业生产活动的不同工序或生产环节，如何提供一种适应性较强的智能化视觉识别方案，成为本领域需要解决的技术问题。

发明内容

有鉴于此，本申请提出了一种视觉识别系统，该视觉识别系统用于工业生产中并包括：图像采集装置，该图像采集装置设置于工业生产现场，用于对至少一个生产节点的工作过程采集包括图片和/或视频流的图像信息，以提供实时和/或延时的所述图像信息；视觉识别装置，该视觉识别装置设置有（如基于机器学习的）视觉识别模块，所述视觉识别装置利用该视觉识别模块对所述图像信息进行识别和分析，以获得所述工作节点的工作过程的目标信息；和服务器，所述视觉识别装置将获得的所述目标信息传送给该服务器。

优选地，所述工业生产现场的生产节点的工作过程为预定自动化设备的预定操作，所述目标信息包括该预定自动化设备的预定操作是否完成、是否合格、合格完成的次数、不合格完成的次数、所加工工件的个数、异常操作或危险操作中的至少一者。

优选地，所述工业生产现场的生产节点的工作过程为人工的预定操作，所述目标信息包括该人工的预定操作是否完成、是否合格、合格完成的次数、不合格完成的次数、所加工工件的个数、异常操作或危险操作中的至少一者。

优选地，所述图像采集装置用于对至少一个生产节点的工作过程的全过程和/或节选过程采集图像信息。

优选地，所述视觉识别系统包括图像信息预处理装置，该图像信息预处理装置分别与所述图像采集装置和所述视觉识别装置通信连接，用于从所述图像采集装置接收所述图像信息，对该图像信息进行预处理后，再将预处理后的图像信息发送给所述视觉识别装置，所述预处理包括如下方式中的至少一种：调整和/或选择所述图像信息的拍摄角度；对所述图像信息进行灰度均匀化处理和/或图像锐化滤波处理；将所述图像信息中无关信息过滤；选择所述图像信息中的多张图片；选择所述图像信息中的视频流信息，该视频流具有至少一个帧。

优选地，所述视觉识别模块持续或间断地接受并识别和分析所述图像信息，所述视觉识别模块包括：目标物判断模块，该目标物判断模块用于判断所述图像信息中是否存在目标物，所述目标物为所述人工的预定操作的操作人员和/或该操作人员的身体的一部分；人体姿态判断模块，该人体姿态判断模块用于识别所述操作人员和/或该操作人员的身体的一部分执行动作的情况，并判断是否执行了预定动作；目标信息记录模块，该目标信息记录模块根据所述人体姿态判断模块的判断结果来连续或间断地记录所述目标信息。

优选地，所述目标物判断模块在判断存在操作人员时，所述人体姿态判断模块才启动工作。

优选地，所述人体姿态判断模块判断所述操作人员和/或该操作人员的身体的一部分执行了预定动作时，所述目标信息记录模块才记录所述目标信息。

优选地，所述人体姿态判断模块预设有通过机器学习或人工规定形成的人体姿态判断规则，所述人体姿态判断模块根据所述图像信息中所获取的操作人员的动作，通过比对上述判断规则，进而对所述操作人员和/或该操作人员的身体的一部分是否执行了预定动作进行判断。

优选地，所述人体姿态判断模块识别所述图像信息中操作人员和/或该操作人员身体的一部分的关键点，根据所述图像信息中的多个关键帧逐帧提取各个关键点的坐标信息，将各个关键点的坐标信息的相对变化与所述人体姿态判断规则进行比较，进而对所述操作人员和/或该操作人员的身体的一部分是否执行了预定动作进行判断。

优选地，所述人体姿态判断模块判断所述操作人员和/或该操作人员的身体的一部分执行了预定动作时，该人体姿态判断模块对所述关键帧中的至少一个帧进行裁剪处理，并将裁剪后的图像信息发送给所述目标信息记录模块。

优选地，所述裁剪处理包括：将所述关键帧中的至少一个帧进行裁剪，以使全部或特定关键点邻近或位于裁剪后图片的边缘。

优选地，在所述目标信息为合格完成的次数、不合格完成的次数、所加工工件的个数中的至少一种时，所述人体姿态判断模块每判断所述操作人员和/或该操作人员的身体的一部分执行了预定动作时，所述目标信息记录模块的计数增加1。

优选地，所述目标信息记录模块的计数方式为如下方式的至少一种：该目标信息记录模块根据所述图像信息中的周期性变化进行计数；所述人工的预定操作为重复性动作时，所述目标信息记录模块汇总每个重复性动作的至少起始和结束的关键帧，通过汇总全部重复性动作的起始和结束的关键帧的数量，对重复性动作的次数进行计数。

优选地，所述视觉识别系统包括服务器，所述视觉识别装置将获得的所述目标信息传送给该服务器。

此外，本申请还提供了一种工业生产线，其中，该工业生产线的至少一个生产节点设置有上述视觉识别系统。还提供了一种工业生产系统，该工业生产系统包括位于不同位置的多条工业生产线，该多条工业生产线的至少一个生产节点设置有上述视觉识别系统，该工业生产系统具有至少一级控制终端，该控制终端用作上述服务器或与所述服务器相通信。

根据本申请的技术方案，可以实现对工业生产过程中相关目标信息的无人化、智能化和数字化的获得与提取，从而满足工业生产环境中数字化和智能化的需求。

本申请的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施方式及其说明用于解释本申请。在附图中：

图1A、图1B和图2分别为根据本申请不同优选实施方式的系统架构的示意图。

图3为根据本申请一种优选实施方式的工作过程的流程图。

图4为根据本申请另一种优选实施方式的工作过程的流程图。

图5为根据本申请优选实施方式中对某一关键帧的图像进行剪裁的示意图。

具体实施方式

下面将参考附图并结合实施方式来详细说明本申请的技术方案。

如上所述，在传统的生产线、生产设备或生产场所中，大都依靠人工来对生产过程的情况进行管控；新型的数控化自动化设备虽然自身大多配置了监控系统，可以记录生产过程或生产结果相关信息，但此类设备往往成本高昂，更换代价大，这就无法满足当前大量预算有限的中小企业在生产制造领域数字化或智能化的要求。为了在传统的生产线、生产设备或生产场所基础上，实现所预期的数字化或智能化，本申请提出如下适应性较强且成本可控的解决方案。

如图1所示，本申请所提供的视觉识别系统包括：图像采集装置和视觉识别装置。视觉识别装置对图像采集装置所采集的图像信息进行识别，以获知相关的目标信息。也就是说，利用本申请的技术方案，可以实现对工业生产过程中相关目标信息的无人化、智能化和数字化的获得与提取，从而满足工业生产环境中数字化和智能化的需求。

具体来说，图像采集装置设置于工业生产现场，用于对至少一个生产节点的工作过程采集包括图片和/或视频流的图像信息，以提供实时和/或延时的所述图像信息。图像采集装置可以是各种合适的能够采集图像的装置或器件，如照相机、摄像头、摄像机、手机等具有拍摄照片、图片和/或视频功能的装置，因此利用图像采集装置能够采集获得照片、图片和/或视频流的图像信息，从技术原理的本质上来说，视频流信息可以理解为很多帧图像按照时间顺序所排列而成的。在具体应用环节，可以根据不同的应用工况来选择所采集的图像信息的文件格式、时间、各种图像参数等。

图像采集装置的采集对象是工业生产现场的至少一个生产节点的工作过程。所谓生产节点是指工业生产活动过程中的各个工序或相邻工序的组合。图像采集装置对一个或多个生产节点进行至少一个角度的拍摄，以获得上述图像信息。该图像信息可以是实时的；也可以是延时的，这根据后续需要而加以选择。因此，根据本申请的技术方案，在不同的工况场合或使用情况下，既能够对生产现场中该生产节点的工作过程进行实时采集，以获取实时的目标信息；也可以对此前已经采集获得图像信息进行识别，以在后续需要时获取目标信息。所述图像采集装置可以用于对至少一个生产节点的工作过程的全过程和/或节选过程采集图像信息。这些变化形式都在本申请的范围之内。

视觉识别装置从所述图像采集装置获取上述图像信息，二者之间可以通过有线和/或无线的方式进行信息通信。在无线的通信方式中，可以采用例如蓝牙、WIFI、无线通信网络等方式来实现。视觉识别装置设置有（例如基于机器学习的）视觉识别模块，所述视觉识别装置利用该视觉识别模块对接收到的图像信息进行识别和分析，以获得所述工作节点的工作过程的目标信息。

本申请的技术方案具有良好的适应性。例如，本申请的技术方案可以适用于具有自动化设备但缺乏智能化解决方案的情形中，具体来说，所述工业生产现场的生产节点的工作过程为预定自动化设备的预定操作（例如，该自动化设备可以为自动冲床、焊接机器、加工中心等）。在传统的自动化设备中，其在该工作节点的工作运行大都依靠内置的工作程序进行，即便是有外部监控的情况下，也需要借助于人工做出识别和判断来获取相关的信息。而在本申请的技术方案中，自动化设备依然可以根据内置的工作程序进行工作，但与此同时利用上述图像采集装置和视觉识别装置的配合工作，能够在外部获取其工作过程中的目标信息。所述目标信息包括该预定自动化设备的预定操作是否完成、是否合格、合格完成的次数、不合格完成的次数、所加工工件的个数、异常操作或危险操作中的至少一者。这对于传统自动化设备或生产线的智能化改造来说，具有突出的优势。例如，在自动化设备内置的工作程序没有采集目标信息的情况下，利用本申请的技术方案可以另外获得目标信息；而在自动化设备内置的工作程序或传感器可以自行采集上述信息的情况下，利用本申请的技术方案可以额外获得目标信息，进而对上述两个来源的目标信息进行比较分析，以判断目标信息的准确性或自动化设备的工作可靠性、安全性等。

再如，对于自动化程度更低的工况来说，本申请的技术方案也是使用的。具体来说，所述工业生产现场的生产节点的工作过程为人工的预定操作（人工操作或人工的预定操作可以包括操作人员的纯人体操作（如纯手工操作、人工分拣操作、纯脚动操作等），也可以包括操作人员利用机械设备的人工操作（如人工钻孔操作、人工铣削操作、机械冲压操作等））。在传统的人工操作节点中，工作过程主要依靠操作人员的工作经验和责任心来把控，有关信息（如劳动时间、工作量、工件计数等）完全由人工在阶段性生产之后来汇总统计，效率和准确度均较低。而在本申请的技术方案中，则可以通过上述图像采集装置和视觉识别装置的配合工作，能够在外部获取其工作过程中的目标信息。所述目标信息包括该人工的预定操作是否完成、是否合格、合格完成的次数、不合格完成的次数、所加工工件的个数、异常操作或危险操作中的至少一者。在对人工操作的工况中，利用本申请的技术方案也能够以相对较低的成本实现智能化或数字化的改造工作。

对于上述两种工况情形来说，当目标信息为相关次数的记录和统计时，本申请的技术方案尤其具有高效率和高准确性的优势。

在优选情况下，如图1A、图1B和图2所示，所述视觉识别系统包括图像信息预处理装置，该图像信息预处理装置分别与所述图像采集装置和所述视觉识别装置通信连接，用于从所述图像采集装置接收所述图像信息，对该图像信息进行预处理后，再将预处理后的图像信息发送给所述视觉识别装置。根据不同的应用工况和目的，所述预处理可以具有不同的处理方式。例如，所述预处理包括如下方式中的至少一种：调整和/或选择所述图像信息的拍摄角度，以更全面或更清晰地获得对应的生产节点的工作过程的图像信息；对所述图像信息进行灰度均匀化处理和/或图像锐化滤波处理，以满足后续视觉识别装置的预定要求；将所述图像信息中无关信息过滤，以避免无关信息所带来的干扰（例如，图像信息中的无关背景信息可以过滤掉）；选择所述图像信息中的多张图片；选择所述图像信息中的视频流信息，该视频流信息具有至少一个帧，通过选择图像信息中的图片和/或视频流，以在满足表示生产节点工作过程的要求作为前提下，尽量降低数量容量，以提高系统的工作效率。总之，可以根据不同的目的和需求对图像采集装置所采集的（原始）图像信息进行各种预处理，随后再发送给后续的视觉识别装置。

需要指出的是，图像信息预处理装置可以是独立于图像采集装置和视觉识别装置之外的独立装置，也可以是集成于视觉识别装置中的一个单独功能模块，如图1A和图1B所示。这些变形方式都在本申请的保护范围内。

图像采集装置（或图像信息预处理装置）向视觉识别模块提供图像信息，而视觉识别模块可以持续地或间断地接收并识别和分析所述图像信息。如图2所示，所述视觉识别模块可包括：目标物判断模块，该目标物判断模块用于判断所述图像信息中是否存在目标物，所述目标物为所述人工的预定操作的操作人员和/或该操作人员的身体的一部分；人体姿态判断模块，该人体姿态判断模块用于识别所述操作人员和/或该操作人员的身体的一部分执行动作的情况，并判断是否执行了预定动作；目标信息记录模块，该目标信息记录模块根据所述人体姿态判断模块的判断结果来连续或间断地记录所述目标信息。

目标物可以为自动装备中的工作部件，例如冲床的冲头、钻床的钻头、加工中心的刀具等。在人工操作或人工对机械设备操作的工作节点的工况中，所述目标物为操作人员和/或该操作人员的身体的一部分（如包括手的上肢部分、包括脚的下肢部分等）。通过判断图像信息中是否存在目标物来判断工作节点是否处于工作过程之中，如果尚未开始工作，则无需后续的识别处理工作；而如果已经处于工作过程之中，则启动后续的识别和分析工作。例如，在人工操作的工况中，如果所述目标物判断模块在判断存在操作人员时，所述人体姿态判断模块才启动工作，否则后续的人体姿态判断模块不启动工作。

如图3和图4所示，人体姿态判断模块在启动后，根据所述图像信息来判断目标物（如所述操作人员和/或该操作人员的身体的一部分）执行动作的情况，并根据目标物所执行的实际动作来判断是否执行了预定动作。如果判断目标物没有执行预定动作，则说明目标物没有完成预定操作、或者预定操作不合格等；如果判断目标物执行了预定动作，则说明目标物完成了预定操作、完成得较为合格等。在优选情况下，当人体姿态判断模块在判断所述操作人员和/或该操作人员的身体的一部分执行了预定动作时，所述目标信息记录模块才记录所述目标信息。但本申请并不限于此，例如当需要对不合格的动作进行记录时，也可以启动目标信息记录模块的工作，对不合格操作以及不合格操作的次数、原因等进行记录分析。这需要根据具体的工况应用而加以选择。可以理解的是，在本申请的技术方案中，针对自动化设备的工况，可以用设备运行姿态判断模块取代人体姿态判断模块，该设备运行姿态判断模块可以对自动装备中的工作部件的运行姿态进行判断，实现与人体姿态判断模块类似的功能，在本申请中关于人体姿态判断模块的技术内容也类似适用于运行姿态判断模块。

目标信息记录模块根据人体姿态判断模块的判断结果来连续或间断地记录目标信息。关于目标信息的具体内容，上文中已经进行了详细介绍，可以根据具体应用工况而选择适用。

为了实现对目标物实际动作是否符合预定操作或预定动作的判断，所述人体姿态判断模块预设有通过机器学习或人工规定形成的人体姿态判断规则。该人体姿态判断规则可以预先人工规定，并预设到该人体姿态判断模块中；或者也可以利用机器学习的方式根据大量的人体姿态数据信息来形成人体姿态判断规则。在进行判断时，所述人体姿态判断模块根据所述图像信息中所获取的操作人员的实际动作，通过比对上述判断规则，进而对所述操作人员和/或该操作人员的身体的一部分是否执行了预定动作进行判断并得到判断结果。这种判断方法可以有多种，例如，识别人体各个关键点坐标再计算关键点坐标相对位置关系，或利用卷积神经网络CNN对不同动作的图像进行分类判断。在本申请优选方式中，所述人体姿态判断模块识别所述图像信息中操作人员和/或该操作人员身体的一部分的关键点（如操作人员的颈部、肩部、肘部、脚部等，如图5所示），根据所述图像信息中的多个关键帧逐帧提取各个关键点的坐标信息，从而能够获知各个关键帧中每个关键点的变化情况。进而，将各个关键点的坐标信息的相对变化与所述人体姿态判断规则进行比较，从而对所述操作人员和/或该操作人员的身体的一部分是否执行了预定动作进行判断。

在所述目标信息为合格完成的次数、不合格完成的次数、所加工工件的个数中的至少一种时，所述人体姿态判断模块每判断所述操作人员和/或该操作人员的身体的一部分执行了预定动作时，所述目标信息记录模块的计数增加1并储存起来。在所述目标信息不是涉及次数的情形中，可以增加相应的记录并储存起来，如图3所示。

在优选情况下，所述人体姿态判断模块判断所述操作人员和/或该操作人员的身体的一部分执行了预定动作时，该人体姿态判断模块对所述关键帧中的至少一个帧进行裁剪处理，如图4所示，并将裁剪后的图像信息发送给所述目标信息记录模块。通过将关键帧进行裁剪处理，能够进一步过滤掉多余信息，以更小的图像数据来进行分析和存储，还能提高数据分析的准确性。在进行裁剪时，可以首先考虑将该帧周缘附近无关内容裁剪掉。根据一种优选的实施方式，所述裁剪处理包括：将所述关键帧中的至少一个帧进行裁剪，以使全部或特定关键点邻近或位于裁剪后图片的边缘，从而最大化保留具有分析和保存价值的部分。

目标信息记录模块的记录或计数方式可以有多种。例如，如上所述，所述人体姿态判断模块每判断所述操作人员和/或该操作人员的身体的一部分执行了预定动作时，所述目标信息记录模块的计数增加1。此外，优选情况下，所述目标信息记录模块的计数方式还可以为如下方式的至少一种：该目标信息记录模块根据所述图像信息中的周期性变化进行计数；所述人工的预定操作为重复性动作时，所述目标信息记录模块汇总每个重复性动作的至少起始和结束的关键帧，通过汇总全部重复性动作的起始和结束的关键帧的数量，对重复性动作的次数进行计数，如图4所示。此外，目标信息记录模块还可具有信息统计、筛分、存储、发送等功能。

在目标信息记录模块获得所需的目标信息后，随后可选择地将相关信息发送给服务器，例如工业生产线或生产车间或生产厂区的控制台、控制终端等，以实现对相关目标信息的掌握，并根据相关情况做出处置。

以上对本申请所提供的用于工业生产中的视觉识别系统的架构和工作过程进行了详细地描述。此外，本申请还提供了一种工业生产线，其中，该工业生产线的至少一个生产节点设置有上述视觉识别系统。因此，在该工业生产线的工作过程中，能够高效且准确地实现对目标信息的掌握，以满足智能化或无人化的需求，而且对传统生产线或厂房的改造成本相对较低。本申请还提供了一种工业生产系统，该工业生产系统包括位于不同位置的多条工业生产线或厂区，该多条工业生产线的至少一个生产节点设置有上述视觉识别系统，该工业生产系统具有至少一级控制终端，该控制终端用作上述服务器或与所述服务器相通信。因此，利用该方案能实现对众多工业生产线或厂区的目标信息的集中管控。

另外，需要指出的是，虽然在本申请中主要是以人工操作的工况进行描述的，但本领域技术人员可以理解的是，本申请的技术方案、技术内容和技术特征也同样或类似地适用于自动化设备的操作工况中。在该工况中，如上所述，目标物可以为自动装备中的工作部件，例如冲床的冲头、钻床的钻头、加工中心的刀具等。

以上详细描述了本申请的优选实施方式，但是，本申请并不限于上述实施方式中的具体细节，在本申请的技术构思范围内，可以对本申请的技术方案进行多种简单变型，这些简单变型均属于本申请的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本申请对各种可能的组合方式不再另行说明。

此外，本申请的各种不同的实施方式之间也可以进行任意组合，只要其不违背本申请的思想，其同样应当视为本申请所公开的内容。

Claims (14)

1.视觉识别系统，其中，该视觉识别系统用于工业生产中并包括：

图像采集装置，该图像采集装置设置于工业生产现场，用于对至少一个生产节点的工作过程采集包括图片和/或视频流的图像信息，以提供实时和/或延时的所述图像信息；

视觉识别装置，该视觉识别装置设置有视觉识别模块，所述视觉识别装置利用该视觉识别模块对所述图像信息进行识别和分析，以获得所述工作节点的工作过程的目标信息；和

服务器，所述视觉识别装置将获得的所述目标信息传送给该服务器。

2.根据权利要求1所述的视觉识别系统，其中，所述工业生产现场的生产节点的工作过程为人工的预定操作，所述目标信息包括该人工的预定操作是否完成、是否合格、合格完成的次数、不合格完成的次数、所加工工件的个数、异常操作或危险操作中的至少一者。

3.根据权利要求1所述的视觉识别系统，其中，

所述图像采集装置用于对至少一个生产节点的工作过程的全过程和/或节选过程采集图像信息；和/或

所述视觉识别模块持续或间断地接受并识别和分析所述图像信息。

4.根据权利要求1所述的视觉识别系统，其中，该视觉识别系统包括图像信息预处理装置，该图像信息预处理装置分别与所述图像采集装置和所述视觉识别装置通信连接，用于从所述图像采集装置接收所述图像信息，对该图像信息进行预处理后，再将预处理后的图像信息发送给所述视觉识别装置，

所述预处理包括如下方式中的至少一种：

调整和/或选择所述图像信息的拍摄角度；

对所述图像信息进行灰度均匀化处理和/或图像锐化滤波处理；

将所述图像信息中无关信息过滤；

选择所述图像信息中的多张图片；

选择所述图像信息中的视频流信息，该视频流具有至少一个帧。

5.根据权利要求2所述的视觉识别系统，其中，所述视觉识别模块包括：

目标物判断模块，该目标物判断模块用于判断所述图像信息中是否存在目标物，所述目标物为所述人工的预定操作的操作人员和/或该操作人员的身体的一部分；

人体姿态判断模块，该人体姿态判断模块用于识别所述操作人员和/或该操作人员的身体的一部分执行动作的情况，并判断是否执行了预定动作；

目标信息记录模块，该目标信息记录模块根据所述人体姿态判断模块的判断结果来连续或间断地记录所述目标信息。

6.根据权利要求5所述的视觉识别系统，其中，

所述目标物判断模块在判断存在操作人员时，所述人体姿态判断模块才启动工作；和/或

所述人体姿态判断模块判断所述操作人员和/或该操作人员的身体的一部分执行了预定动作时，所述目标信息记录模块才记录所述目标信息。

7.根据权利要求5所述的视觉识别系统，其中，

所述人体姿态判断模块预设有通过机器学习或人工规定形成的人体姿态判断规则，所述人体姿态判断模块根据所述图像信息中所获取的操作人员的动作，通过比对上述判断规则，进而对所述操作人员和/或该操作人员的身体的一部分是否执行了预定动作进行判断。

8.根据权利要求7所述的视觉识别系统，其中，所述人体姿态判断模块识别所述图像信息中操作人员和/或该操作人员身体的一部分的关键点，根据所述图像信息中的多个关键帧逐帧提取各个关键点的坐标信息，将各个关键点的坐标信息的相对变化与所述人体姿态判断规则进行比较，进而对所述操作人员和/或该操作人员的身体的一部分是否执行了预定动作进行判断。

9.根据权利要求8所述的视觉识别系统，其中，所述人体姿态判断模块判断所述操作人员和/或该操作人员的身体的一部分执行了预定动作时，该人体姿态判断模块对所述关键帧中的至少一个帧进行裁剪处理，并将裁剪后的图像信息发送给所述目标信息记录模块。

10.根据权利要求9所述的视觉识别系统，其中，所述裁剪处理包括：

将所述关键帧中的至少一个帧进行裁剪，以使全部或特定关键点邻近或位于裁剪后图片的边缘。

11.根据权利要求5所述的视觉识别系统，其中，在所述目标信息为合格完成的次数、不合格完成的次数、所加工工件的个数中的至少一种时，所述人体姿态判断模块每判断所述操作人员和/或该操作人员的身体的一部分执行了预定动作时，所述目标信息记录模块的计数增加1。

12.根据权利要求11所述的视觉识别系统，其中，所述目标信息记录模块的计数方式为如下方式的至少一种：

该目标信息记录模块根据所述图像信息中的周期性变化进行计数；

所述人工的预定操作为重复性动作时，所述目标信息记录模块汇总每个重复性动作的至少起始和结束的关键帧，通过汇总全部重复性动作的起始和结束的关键帧的数量，对重复性动作的次数进行计数。

13.工业生产线，其中，该工业生产线的至少一个生产节点设置有权利要求1-12中任意一项所述的视觉识别系统。

14.工业生产系统，该工业生产系统包括位于不同位置的多条工业生产线，该多条工业生产线的至少一个生产节点设置有权利要求1-12中任意一项所述的视觉识别系统，该工业生产系统具有至少一级控制终端，该控制终端用作上述服务器或与所述服务器相通信。

Images