CN114915774A - 一种生产工序检测系统以及检测方法 - Google Patents

一种生产工序检测系统以及检测方法 Download PDF

Info

Publication number
CN114915774A
CN114915774A CN202110171025.8A CN202110171025A CN114915774A CN 114915774 A CN114915774 A CN 114915774A CN 202110171025 A CN202110171025 A CN 202110171025A CN 114915774 A CN114915774 A CN 114915774A
Authority
CN
China
Prior art keywords
processes
real
preset
model
training server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110171025.8A
Other languages
English (en)
Inventor
晏冬
黄明飞
梁维斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Open Intelligent Machine Shanghai Co ltd
Original Assignee
Open Intelligent Machine Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Open Intelligent Machine Shanghai Co ltd filed Critical Open Intelligent Machine Shanghai Co ltd
Priority to CN202110171025.8A priority Critical patent/CN114915774A/zh
Publication of CN114915774A publication Critical patent/CN114915774A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Factory Administration (AREA)

Abstract

本发明实施例涉及一种生产工序检测系统以及测试方法。所述方法首先采用深度学习算法对各工序的历史视频图像进行机器学习,从而生成各工序的工序状态模型;接着响应请求发送各工序的工序状态模型;然后提供设置界面以由检测者按照生产规则添加按预定顺序排列的多个预定工序;最后使用请求获得的各工序的工序状态模型,识别实时视频图像中的当前工序及其紧前工序,判断所述当前工序是否属于所述多个预定工序之一,若否则发送非法工序警示,若是则判断所述当前工序是否为其紧前工序在所述多个预定工序中的紧后预定工序之一或是否为所述预定开始工序,若否则发送非法工序警示。本发明实施例可以降低检测成本及事故发生率,提升检测效率。

Description

一种生产工序检测系统以及检测方法
技术领域
本发明实施例涉及生产检测,具体涉及一种生产工序检测系统以及检测方法。
背景技术
在包括多个工序的生产线或装配线上,由于人工误操作会导致不符合工序规则或工序顺序的非法工序事件发生。现有技术中对于生产的监控,要么设置巡视员在现场对各个工序进行人工检测,要么将各工序的实时监控视频传送到监控中心,由检测员在监控中心通过人工看监控视频的方式进行工序检测。现有的工序检测方式存在检测成本高、效率低、安全隐患较大的问题。
针对上述问题,本发明需要提供一种生产工序检测系统以及检测方法,以解决人工检测成本高、效率低、安全隐患较大的问题,降低检测成本及事故发生率,提升检测效率。
发明内容
为了解决现有技术存在的问题,本发明的至少一个实施例提供了一种生产工序检测系统以及检测方法。
第一方面,本发明实施例提出一种生产工序检测系统,其包括:
图像摄取设备,其用于摄取各工序的图像,并提供各工序的历史视频图像以及实时视频图像;
训练服务器,其通过网络与所述图像摄取设备连接,所述训练服务器采用深度学习算法对所述图像摄取设备通过网络发送的各工序的历史视频图像进行机器学习,从而生成各工序的包括运行状态模型及停止状态模型的工序状态模型;以及
边缘智能设备,其通过网络与所述训练服务器及所述图像摄取设备连接,包括:
模型加载模块,其用于通过所述网络向所述训练服务器发送加载工序状态模型的请求,所述训练服务器响应所述请求并通过网络向所述模型加载模块发送各工序的工序状态模型;
工序设置模块,其提供设置界面以由检测者按照生产规则添加按预定顺序排列的多个预定工序,所述多个预定工序包括预定开始工序、至少一个预定中间工序以及预定结束工序;以及
工序实时检测模块,其接收由所述图像摄取设备通过所述网络发送的各工序的实时视频图像,使用由所述模型加载模块请求获得的各工序的工序状态模型,识别所述实时视频图像中的当前工序及其紧前工序,判断所述当前工序是否属于所述多个预定工序之一,若否则发送非法工序警示,若是则判断所述当前工序是否为其紧前工序在所述多个预定工序中的紧后预定工序之一或是否为所述预定开始工序,若否则发送非法工序警示。
在一些实施例中,所述训练服务器对各工序的历史视频图像进行采集获得各工序的原始运行状态历史图片、原始停止状态历史图片,并在所述原始运行状态历史图片及原始停止状态历史图片的清晰度低于预定清晰度时进行图像增强处理,所述训练服务器采用深度学习算法对各工序的原始运行状态历史图片、原始停止状态历史图片、增强运行状态历史图片以及/或者增强停止状态历史图片进行训练,生成各工序的工序状态模型。
在一些实施例中,所述训练服务器在接收到所述模型加载模块通过所述网络发送的加载请求时,向所述模型加载模块提出验证要求并在后者通过验证后,所述训练服务器将各工序的工序状态模型通过所述网络发送至所述模型加载模块。
在一些实施例中,所述预定开始工序以及所述预定结束工序为不可替换工序,所述至少一个预定中间工序之一为可替换工序,所述当前工序在所述多个预定工序对应的预定中间工序为其紧前工序的直接下一个工序。
在一些实施例中,所述图像摄取设备对各工序的实时视频图像进行实时摄取编码压缩,并传送给所述工序实时检测模块;所述工序实时检测模块相应进行解码解压而获得工序视频帧数据,使用各工序的工序状态模型对工序视频帧数据进行识别而确定所述当前工序及其紧前工序。
第二方面,本发明实施例还提供一种生产工序检测方法,其包括以下步骤:
由图像摄取设备摄取各工序的图像,并提供各工序的历史视频图像以及实时视频图像;
由训练服务器采用深度学习算法对所述图像摄取设备提供的各工序的历史视频图像进行机器学习,从而生成各工序的包括运行状态模型及停止状态模型的工序状态模型;
由边缘智能设备的模型加载模块向所述训练服务器发送加载工序状态模型的请求,所述训练服务器响应所述请求向所述模型加载模块发送各工序的工序状态模型;
由边缘智能设备的工序设置模块提供设置界面以由检测者按照生产规则添加按预定顺序排列的多个预定工序,所述多个预定工序包括预定开始工序、至少一个预定中间工序以及预定结束工序;以及
由边缘智能设备的工序实时检测模块接收由所述图像摄取设备提供的各工序的实时视频图像,使用由所述模型加载模块请求获得的各工序的工序状态模型,识别所述实时视频图像中的当前工序及其紧前工序,判断所述当前工序是否属于所述多个预定工序之一,若否则发送非法工序警示,若是则判断所述当前工序是否为其紧前工序在所述多个预定工序中的紧后预定工序之一或是否为所述预定开始工序,若否则发送非法工序警示。
在一些实施例中,由所述训练服务器对各工序的历史视频图像进行采集获得各工序的原始运行状态历史图片、原始停止状态历史图片,在所述原始运行状态历史图片及原始停止状态历史图片的清晰度低于预定清晰度时进行图像增强处理,所述训练服务器采用深度学习算法对各工序的原始运行状态历史图片、原始停止状态历史图片、增强运行状态历史图片以及/或者增强停止状态历史图片进行训练,生成各工序的工序状态模型。
在一些实施例中,所述训练服务器在接收到所述模型加载模块发送的加载请求时,向所述模型加载模块提出验证要求并在后者通过验证后,所述训练服务器将各工序的工序状态模型发送至所述模型加载模块。
在一些实施例中,所述预定开始工序以及所述预定结束工序为不可替换工序,所述至少一个预定中间工序之一为可替换工序,所述当前工序在所述多个预定工序对应的预定中间工序为其紧前工序的直接下一个工序。
在一些实施例中,所述图像摄取设备对各工序的实时视频图像进行实时摄取编码压缩,并传送给所述工序实时检测模块;所述工序实时检测模块相应进行解码解压而获得工序视频帧数据,使用各工序的工序状态模型对工序视频帧数据进行识别而确定所述当前工序及其紧前工序。
与现有技术中对各个工序进行人工检测相比,本发明实施例首先采用深度学习算法对各工序的历史视频图像进行机器学习,从而生成各工序的工序状态模型;接着响应请求发送各工序的工序状态模型;然后提供设置界面以由检测者按照生产规则添加按预定顺序排列的多个预定工序;最后使用请求获得的各工序的工序状态模型,识别实时视频图像中的当前工序及其紧前工序,判断所述当前工序是否属于所述多个预定工序之一,若否则发送非法工序警示,若是则判断所述当前工序是否为其紧前工序在所述多个预定工序中的紧后预定工序之一或是否为所述预定开始工序,若否则发送非法工序警示。
本发明实施例可以解决人工检测成本高、效率低、安全隐患较大的问题,并能降低检测成本及事故发生率,提升检测效率。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种生产工序检测系统的组成结构示意图;以及
图2为本发明实施例提供的一种生产工序检测方法的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
参见图1,其显示了本发明实施例中的一种生产工序检测系统1的组成结构。如图1所示,生产工序检测系统1包括图像摄取设备10、训练服务器12、边缘智能设备14以及网络16,图像摄取设备10、训练服务器12、边缘智能设备14通过网络16通信连接。以下对生产工序检测系统1的各构件进行详细说明。
图像摄取设备10用于摄取各工序的图像,并提供各工序的历史视频图像以及实时视频图像。图像摄取设备10可为与网络16连接的网络摄像机,其还具有用于存储历史视频图像以及实时视频图像的存储器。
训练服务器12通过网络16与所述图像摄取设备10连接,所述训练服务器12采用深度学习算法对所述图像摄取设备10通过网络16发送的各工序的历史视频图像进行机器学习,从而生成各工序的工序状态模型12A,各工序的工序状态模型12A均包括运行状态模型及停止状态模型。深度学习算法包括神经网络算法等。
所述训练服务器12对各工序的历史视频图像进行采集获得各工序的原始运行状态历史图片、原始停止状态历史图片,并在所述原始运行状态历史图片及原始停止状态历史图片的清晰度低于预定清晰度(可根据实际情况具体确定)时进行图像增强处理,所述训练服务器12采用深度学习算法对各工序的原始运行状态历史图片、原始停止状态历史图片、增强运行状态历史图片以及/或者增强停止状态历史图片进行训练,生成各工序的工序状态模型12A。
边缘智能设备14通过网络16与所述训练服务器12及所述图像摄取设备10连接。边缘智能设备14包括模型加载模块14A、工序设置模块14B以及工序实时检测模块14C。
模型加载模块14A用于通过所述网络16向所述训练服务器12发送加载工序状态模型12A的请求,所述训练服务器12响应所述请求并通过网络向所述模型加载模块14A发送各工序的工序状态模型12A。所述训练服务器12在接收到所述模型加载模块14A通过所述网络16发送的加载请求时,向所述模型加载模块14A提出验证要求(例如需要输入用户名及密码),并在后者通过验证后,所述训练服务器12才将各工序的工序状态模型12A通过所述网络16发送至所述模型加载模块14A。
工序设置模块14B提供设置界面140B,检测者P通过设置界面140B按照生产规则添加按预定顺序排列的多个预定工序,工序设置模块14B将检查者设置好的多个预定工序予以存储。所述多个预定工序包括预定开始工序、至少一个预定中间工序以及预定结束工序。所述预定开始工序以及所述预定结束工序为不可替换工序,所述至少一个预定中间工序之一为可替换工序。在本实施例中,所述多个预定工序可包括按时间先后的预定顺序排列的工序a、工序b、工序c以及工序d,其中的工序b为可替换工序且可被工序e替代,从而使得工序b和工序e为工序a的紧后工序集。
工序实时检测模块14C接收由所述图像摄取设备10通过所述网络16发送的各工序的实时视频图像,使用由所述模型加载模块14A请求获得的各工序的工序状态模型12A,识别所述实时视频图像中的当前工序及其紧前工序。所述当前工序在所述多个预定工序对应的预定中间工序为其紧前工序的直接下一个工序。在本实施例中,工序实时检测模块14C识别出当前工序为工序b,其紧前工序为工序a。
所述图像摄取设备10对各工序的实时视频图像进行实时摄取编码压缩,并传送给所述工序实时检测模块14C,所述工序实时检测模块14C相应进行解码解压而获得工序视频帧数据,各工序的工序状态模型对工序视频帧数据进行识别而确定所述当前工序及其紧前工序。
工序实时检测模块14C判断所述当前工序是否属于所述多个预定工序之一,若否则发送非法工序警示,若是则继续判断所述当前工序是否为其紧前工序在所述多个预定工序中的紧后预定工序之一或是否为所述预定开始工序,若否则发送非法工序警示。在本实施例中,工序实时检测模块14C判断出当前工序工序b为多个预定工序之一,然后继续判断出工序b为其紧前工序工序a的紧后工序,因此并不发送非法工序警示。
在其他实施例中,只要工序实时检测模块14C判断出当前工序并不是多个预定工序之一,或者工序实时检测模块14C判断出当前工序并不是其紧前工序的紧后工序时,就发送非法工序警示,例如弹出非法工序警示界面,并同时发出警示音。
图2为本发明实施例提供的一种生产工序检测系统方法的流程图。参见图2,结合参见图1,所述生产工序检测方法20首先进行步骤S200,由图像摄取设备10摄取各工序的图像,并提供各工序的历史视频图像以及实时视频图像。步骤S200中的图像摄取设备10可为与网络16连接的网络摄像机。
所述生产工序检测方法20接着继续步骤S210,由训练服务器12采用深度学习算法对所述图像摄取设备10通过网络16提供的各工序的历史视频图像进行机器学习,从而生成各工序的包括运行状态模型及停止状态模型的工序状态模型。
在本实施例的步骤S210中,由所述训练服务器对各工序的历史视频图像进行采集获得各工序的原始运行状态历史图片、原始停止状态历史图片,在所述原始运行状态历史图片及原始停止状态历史图片的清晰度低于预定清晰度时进行图像增强处理,所述训练服务器采用深度学习算法对各工序的原始运行状态历史图片、原始停止状态历史图片、增强运行状态历史图片以及/或者增强停止状态历史图片进行训练,生成各工序的工序状态模型。在本实施例的步骤S210中,深度学习算法可为神经网络算法。
所述生产工序检测方法20接着继续步骤S220,由边缘智能设备14的模型加载模块14A经由网络16向所述训练服务器12发送加载工序状态模型的请求,所述训练服务器12响应所述请求经由网络16向所述模型加载模块14A发送各工序的工序状态模型12A。在本实施例中,所述训练服务器12在接收到所述模型加载模块14A发送的加载请求时,向所述模型加载模块14A提出验证要求并在后者通过验证后,所述训练服务器12将各工序的工序状态模型12A发送至所述模型加载模块14A。
所述生产工序检测方法20接着继续步骤S230,由边缘智能设备14的工序设置模块14B提供设置界面140B以由检测者P按照生产规则添加按预定顺序排列的多个预定工序,所述多个预定工序包括预定开始工序、至少一个预定中间工序以及预定结束工序。所述预定开始工序以及所述预定结束工序为不可替换工序,所述至少一个预定中间工序之一为可替换工序。在本实施例中,所述多个预定工序可包括按时间先后的预定顺序排列的工序a、工序b、工序c以及工序d,其中的工序b为可替换工序且可被工序e替代,从而使得工序b和工序e为工序a的紧后工序集。
所述生产工序检测方法20接着继续步骤S240,由边缘智能设备14的工序实时检测模块14C接收由所述图像摄取设备10经由网络16提供的各工序的实时视频图像,使用由所述模型加载模块14A请求获得的各工序的工序状态模型,识别所述实时视频图像中的当前工序及其紧前工序。所述当前工序在所述多个预定工序对应的预定中间工序为其紧前工序的直接下一个工序。在本实施例中,工序实时检测模块14C识别出当前工序为工序b,其紧前工序为工序a。
在本实施例的步骤S200中,所述图像摄取设备10对各工序的实时视频图像进行实时摄取编码压缩,并传送给所述工序实时检测模块14C。在本实施例的步骤S240中,所述工序实时检测模块14C对摄取编码压缩的实时视频图像相应进行解码解压而获得工序视频帧数据,使用各工序的工序状态模型对工序视频帧数据进行识别而确定所述当前工序及其紧前工序。
所述生产工序检测方法20接着继续步骤S250,由工序实时检测模块14C判断所述当前工序是否属于所述多个预定工序之一,若是则继续步骤S270,若否则发送非法工序警示(步骤S260)。
在步骤S260中,由工序实时检测模块14C判断所述当前工序是否为其紧前工序在所述多个预定工序中的紧后预定工序之一或是否为所述预定开始工序,若是则返回步骤S240,若否则发送非法工序警示(步骤S260)。
本发明实施例首先由图像摄取设备摄取各工序的图像,并提供各工序的历史视频图像以及实时视频图像;然后由训练服务器采用深度学习算法对所述图像摄取设备提供的各工序的历史视频图像进行机器学习,从而生成各工序的包括运行状态模型及停止状态模型的工序状态模型;接着由边缘智能设备的模型加载模块向所述训练服务器发送加载工序状态模型的请求,所述训练服务器响应所述请求向所述模型加载模块发送各工序的工序状态模型;之后由边缘智能设备的工序设置模块提供设置界面以由检测者按照生产规则添加按预定顺序排列的多个预定工序;最后由边缘智能设备的工序实时检测模块接收由所述图像摄取设备提供的各工序的实时视频图像,使用由所述模型加载模块请求获得的各工序的工序状态模型,识别所述实时视频图像中的当前工序及其紧前工序,判断所述当前工序是否属于所述多个预定工序之一,若否则发送非法工序警示,若是则判断所述当前工序是否为其紧前工序在所述多个预定工序中的紧后预定工序之一或是否为所述预定开始工序,若否则发送非法工序警示。
本发明实施例可以解决人工检测成本高、效率低、安全隐患较大的问题,并能降低检测成本及事故发生率,提升检测效率。
对于软件实现,可通过执行本文所述功能的单元来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的实施例中,应该理解到,方法实施例的步骤之间除非存在明确的先后顺序,否则执行顺序可任意调整。所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者 网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。
虽然结合附图描述了本发明的实施方式,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种生产工序检测系统,其包括:
图像摄取设备,其用于摄取各工序的图像,并提供各工序的历史视频图像以及实时视频图像;
训练服务器,其通过网络与所述图像摄取设备连接,所述训练服务器采用深度学习算法对所述图像摄取设备通过网络发送的各工序的历史视频图像进行机器学习,从而生成各工序的包括运行状态模型及停止状态模型的工序状态模型;以及
边缘智能设备,其通过网络与所述训练服务器及所述图像摄取设备连接,包括:
模型加载模块,其用于通过所述网络向所述训练服务器发送加载工序状态模型的请求,所述训练服务器响应所述请求并通过网络向所述模型加载模块发送各工序的工序状态模型;
工序设置模块,其提供设置界面以由检测者按照生产规则添加按预定顺序排列的多个预定工序,所述多个预定工序包括预定开始工序、至少一个预定中间工序以及预定结束工序;以及
工序实时检测模块,其接收由所述图像摄取设备通过所述网络发送的各工序的实时视频图像,使用由所述模型加载模块请求获得的各工序的工序状态模型,识别所述实时视频图像中的当前工序及其紧前工序,判断所述当前工序是否属于所述多个预定工序之一,若否则发送非法工序警示,若是则判断所述当前工序是否为其紧前工序在所述多个预定工序中的紧后预定工序之一或是否为所述预定开始工序,若否则发送非法工序警示。
2.根据权利要求1所述的生产工序检测系统,其特征在于,所述训练服务器对各工序的历史视频图像进行采集获得各工序的原始运行状态历史图片、原始停止状态历史图片,并在所述原始运行状态历史图片及原始停止状态历史图片的清晰度低于预定清晰度时进行图像增强处理,所述训练服务器采用深度学习算法对各工序的原始运行状态历史图片、原始停止状态历史图片、增强运行状态历史图片以及/或者增强停止状态历史图片进行训练,生成各工序的工序状态模型。
3.根据权利要求1所述的生产工序检测系统,其特征在于,所述训练服务器在接收到所述模型加载模块通过所述网络发送的加载请求时,向所述模型加载模块提出验证要求并在后者通过验证后,所述训练服务器将各工序的工序状态模型通过所述网络发送至所述模型加载模块。
4.根据权利要求1所述的生产工序检测系统,其特征在于,所述预定开始工序以及所述预定结束工序为不可替换工序,所述至少一个预定中间工序之一为可替换工序,所述当前工序在所述多个预定工序对应的预定中间工序为其紧前工序的直接下一个工序。
5.根据权利要求1所述的生产工序检测系统,其特征在于,所述图像摄取设备对各工序的实时视频图像进行实时摄取编码压缩,并传送给所述工序实时检测模块,所述工序实时检测模块相应进行解码解压而获得工序视频帧数据,使用各工序的工序状态模型对工序视频帧数据进行识别而确定所述当前工序及其紧前工序。
6.一种生产工序检测方法,其包括以下步骤:
由图像摄取设备摄取各工序的图像,并提供各工序的历史视频图像以及实时视频图像;
由训练服务器采用深度学习算法对所述图像摄取设备提供的各工序的历史视频图像进行机器学习,从而生成各工序的包括运行状态模型及停止状态模型的工序状态模型;
由边缘智能设备的模型加载模块向所述训练服务器发送加载工序状态模型的请求,所述训练服务器响应所述请求向所述模型加载模块发送各工序的工序状态模型;
由边缘智能设备的工序设置模块提供设置界面以由检测者按照生产规则添加按预定顺序排列的多个预定工序,所述多个预定工序包括预定开始工序、至少一个预定中间工序以及预定结束工序;以及
由边缘智能设备的工序实时检测模块接收由所述图像摄取设备提供的各工序的实时视频图像,使用由所述模型加载模块请求获得的各工序的工序状态模型,识别所述实时视频图像中的当前工序及其紧前工序,判断所述当前工序是否属于所述多个预定工序之一,若否则发送非法工序警示,若是则判断所述当前工序是否为其紧前工序在所述多个预定工序中的紧后预定工序之一或是否为所述预定开始工序,若否则发送非法工序警示。
7.根据权利要求6所述的生产工序检测方法,其特征在于,由所述训练服务器对各工序的历史视频图像进行采集获得各工序的原始运行状态历史图片、原始停止状态历史图片,在所述原始运行状态历史图片及原始停止状态历史图片的清晰度低于预定清晰度时进行图像增强处理,所述训练服务器采用深度学习算法对各工序的原始运行状态历史图片、原始停止状态历史图片、增强运行状态历史图片以及/或者增强停止状态历史图片进行训练,生成各工序的工序状态模型。
8.根据权利要求6所述的生产工序检测方法,其特征在于,所述训练服务器在接收到所述模型加载模块发送的加载请求时,向所述模型加载模块提出验证要求并在后者通过验证后,所述训练服务器将各工序的工序状态模型发送至所述模型加载模块。
9.根据权利要求6所述的生产工序检测方法,其特征在于,所述预定开始工序以及所述预定结束工序为不可替换工序,所述至少一个预定中间工序之一为可替换工序,所述当前工序在所述多个预定工序对应的预定中间工序为其紧前工序的直接下一个工序。
10.根据权利要求6所述的生产工序检测方法,其特征在于,所述图像摄取设备对各工序的实时视频图像进行实时摄取编码压缩,并传送给所述工序实时检测模块,所述工序实时检测模块相应进行解码解压而获得工序视频帧数据,使用各工序的工序状态模型对工序视频帧数据进行识别而确定所述当前工序及其紧前工序。
CN202110171025.8A 2021-02-08 2021-02-08 一种生产工序检测系统以及检测方法 Pending CN114915774A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110171025.8A CN114915774A (zh) 2021-02-08 2021-02-08 一种生产工序检测系统以及检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110171025.8A CN114915774A (zh) 2021-02-08 2021-02-08 一种生产工序检测系统以及检测方法

Publications (1)

Publication Number Publication Date
CN114915774A true CN114915774A (zh) 2022-08-16

Family

ID=82761117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110171025.8A Pending CN114915774A (zh) 2021-02-08 2021-02-08 一种生产工序检测系统以及检测方法

Country Status (1)

Country Link
CN (1) CN114915774A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115660596A (zh) * 2022-11-03 2023-01-31 创启科技(广州)有限公司 一种移动终端的数据交互方法及移动终端

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115660596A (zh) * 2022-11-03 2023-01-31 创启科技(广州)有限公司 一种移动终端的数据交互方法及移动终端

Similar Documents

Publication Publication Date Title
KR101216271B1 (ko) 카메라 탬퍼링 검출
KR102463928B1 (ko) 기계 원격 측정 전송 및 디지털화 시스템
US8675065B2 (en) Video monitoring system
WO2011041903A1 (en) Video analytics with pre-processing at the source end
CN106454282A (zh) 安防监控方法、装置及系统
CN105681749A (zh) 用于预览视频的方法、装置、系统和计算机可读介质
CN109544870B (zh) 用于智能监控系统的报警判断方法与智能监控系统
CN103997620B (zh) 用于检测压缩视频中的运动的系统和方法
CN111047824B (zh) 一种室内儿童看护联动控制预警方法及系统
TWI521473B (zh) 影像分析裝置、方法及電腦可讀取媒體
CN112419639A (zh) 一种视频信息的获取方法及装置
CN114915774A (zh) 一种生产工序检测系统以及检测方法
US10878272B2 (en) Information processing apparatus, information processing system, control method, and program
JP6809114B2 (ja) 情報処理装置、画像処理システム、プログラム
CN110853272A (zh) 公交车安全监测方法、装置、设备及存储介质
CN114727069A (zh) 一种充电站维护方法、装置、设备和计算机可读介质
CN113887310A (zh) 工人规范着装识别方法、系统及介质
CN111908288A (zh) 一种基于TensorFlow的电梯安全系统及方法
KR101236266B1 (ko) 주차공간정보 관리시스템
CN112419638B (zh) 一种告警视频的获取方法及装置
WO2013173994A1 (en) Embedded system board, method, front device, backend server and system for video surveillance
CN109348133B (zh) 一种安防监控图像处理装置和方法
JP2014016969A (ja) 顔照合システム
CN112883816A (zh) 信息推送方法和装置
CN111225178A (zh) 基于对象检测的视频监控方法及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination