CN110458108B - 手工操作实时监控方法、系统、终端设备和存储介质 - Google Patents

手工操作实时监控方法、系统、终端设备和存储介质 Download PDF

Info

Publication number
CN110458108B
CN110458108B CN201910745020.4A CN201910745020A CN110458108B CN 110458108 B CN110458108 B CN 110458108B CN 201910745020 A CN201910745020 A CN 201910745020A CN 110458108 B CN110458108 B CN 110458108B
Authority
CN
China
Prior art keywords
image
time
real
group
nth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910745020.4A
Other languages
English (en)
Other versions
CN110458108A (zh
Inventor
李如华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gu'an Yue Sheng Automation Equipment Co ltd
Original Assignee
Gu'an Yue Sheng Automation Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gu'an Yue Sheng Automation Equipment Co ltd filed Critical Gu'an Yue Sheng Automation Equipment Co ltd
Priority to CN201910745020.4A priority Critical patent/CN110458108B/zh
Publication of CN110458108A publication Critical patent/CN110458108A/zh
Application granted granted Critical
Publication of CN110458108B publication Critical patent/CN110458108B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00—Non-optical adjuncts; Attachment thereof
    • G02C11/10—Electronic devices other than hearing aids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Tourism & Hospitality (AREA)
  • Manufacturing & Machinery (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Acoustics & Sound (AREA)
  • Optics & Photonics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Otolaryngology (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)

Abstract

本申请公开了一种手工操作实时监控方法、系统、终端设备和存储介质。方法包括：实时通过第二通讯模块接收摄像头采集的实时操作视频；按设定时间间隔从实时操作视频中提取帧图像，获取第1号至第n号零件的起始图像至末尾图像；将第n号零件的起始图像至末尾图像之间的帧图像按时间顺序拼合形成第n号实时图像组；判断第n号实时图像组与第n号标准图像组是否近似，若不近似则通过第二通讯模块向安装在摄像装置上的播放模块发送语音报警信号。本申请可及时地发现员工在安装零件这一操作中的错误，并及时地发出报警语音信号以提醒，从而使得员工及时地更正错误，有效地降低了手工零件安装的错误问题，提高了产品的良率。

Description

手工操作实时监控方法、系统、终端设备和存储介质
技术领域
本公开一般涉及零件加工技术领域，具体涉及手工操作实时监控方法、系统、终端设备和存储介质。
背景技术
目前在工业制造现场有相当部分的复杂工作不能实现自动化生产，依然要用人工手工完成。例如军工领域的导弹、飞机的组装，汽车行业的整车做组装及汽车零部件行业的手工组装等。人工手工操作难免犯错误，在某些重要生产环节手工操作的微小错误都能带来巨大损失。
因此对手工操作提供一种实时监控的方法和系统是非常必要的。
发明内容
鉴于现有技术中的上述缺陷或不足，期望提供一种手工操作实时监控方法、系统、终端设备和存储介质。
第一方面本申请提供一种手工操作实时监控方法，所述方法包括：
实时通过第二通讯模块接收摄像头采集的实时操作视频，所述摄像装置，用于拍摄操作工人视线前方的图像；
按设定时间间隔从所述实时操作视频中提取帧图像；
以安装顺序判断所述帧图像中第n号零件是否被屏蔽，若是则将该帧图像做为所述第n号零件的起始图像，且在n大于等于2时将该图像作为第n-1号零件的末尾图像，将第1号零件被屏蔽时的图像作为上一组安装的零件组中第n号零件的末尾图像；每组需要安装的k个零件按照安装顺序编号，形成第1、2、n......k号零件(n大于等于1小于等于k)；
将第n号零件的起始图像至末尾图像之间的帧图像按时间顺序拼合形成第n号实时图像组；
判断所述第n号实时图像组与所述第n号标准图像组是否近似，若不近似则通过第二通讯模块向安装在所述摄像装置上的播放模块发送语音报警信号，所述播放模块将所述语音报警信号播放。
根据本申请实施例提供的技术方案，判断所述第n号实时图像组与所述第n号标准图像组是否近似具体包括以下步骤：
将所述第n号实时图像组与所述第n号标准图像组输入神经网络模型中识别。
根据本申请实施例提供的技术方案，判断所述第n号实时图像组与所述第n号标准图像组是否近似具体包括以下步骤：
将所述第n号实时图像组输入字符识别模型中识别，得到所述第n号实时图像组中每张图像的比对要素的位置数据，按时间顺序将所述第n号实时图像组中每张图像的比对要素的位置数据依次连接形成第n号实时曲线；
计算第n号实时曲线与第n号标准曲线的拟合度值，当拟合度值大于等于设定值时发出语音报警信号。
根据本申请实施例提供的技术方案，所述比对要素为印刷在操作手套上的标识字符；所述操作手套由操作工人在安装零件时佩戴。
根据本申请实施例提供的技术方案，所述以安装顺序判断所述帧图像中第n号零件是否被屏蔽具体包括以下步骤：
建立对应第1至k号零件的卷积神经网络模型；
分别将第1至k号零件的多个图像输入对应的卷积神经网络模型中训练得到第1号零件识别模型至第k号零件识别模型；
初始化识别组号m＝1，初始化操作时间tm＝0，并开始计时操作时间tm；
超时验证：
判断操作时间tm是否大于设定操作时间Tm，若是则通过第二通讯模块发出语音报警信号，若否则进行图像识别；
图像识别：
将帧图像输入第m号零件识别模型中识别得到识别结果，
判断识别结果为无时，停止计时将该帧图像设为第m号零件的起始图像；
判断m是否等于1，若是则将该帧图像作为上一组第k号零件的末尾图像；
判断m是否等于k时，若否则将该帧图像设为第m+1号零件的末尾图像，将识别组号m加1后再执行所述零件识别步骤；
若是将识别组号m重置为1后执行所述超时验证步骤。
第二方面，本申请提供一种手工操作实时监控系统，包括：
摄像装置，由操作工人在安装零件时佩戴，每组安装零件以安装顺序编排形成第1、2、n......k号零件；所述摄像装置上设有第一通讯模块块和播放模块；所述摄像装置上还安装有摄像头，用于拍摄操作工人视线前方的图像；所述服务端包括第二通讯模块、收发模块、存储模块和数据处理模块；
所述第二通讯模块配置用于与所述第一通讯模块通讯；
所述收发模块配置用于通过第二通讯模块实时接收所述摄像头采集的实时操作视频；
所述存储模块，配置用于存储所述实时操作视频；
所述数据处理模块，配置用于所述存储模块中读取所述实时操作视频，并按设定时间间隔从实时操作视频中提取帧图像；
所述数据处理模块还配置用于：以安装顺序判断所述帧图像中第n号零件是否被屏蔽，若是则将该帧图像做为所述第n号零件的起始图像，且在n大于等于2时将该图像作为第n-1号零件的末尾图像，将第1号零件被屏蔽时的图像作为上一组安装的零件组中第n号零件的末尾图像；每组需要安装的k个零件按照安装顺序编号，形成第1、2、n......k号零件(n大于等于1小于等于k)；
将第n号零件的起始图像至末尾图像之间的帧图像以设定顺序拼合形成第n号实时图像组；
判断所述第n号实时图像组与所述第n号标准图像组是否近似，若不近似则通过第二通讯模块向安装在所述摄像装置发送语音报警信号；
所述播放模块配置用于：将所述语音报警信号通过设置在所述摄像装置上的耳机播放。
根据本申请实施例提供的技术方案，所述数据处理模块具体通过以下步骤判断所述第n号实时图像组与所述第n号标准图像组是否近似：
将所述第n号实时图像组输入字符识别模型中识别，得到所述第n号实时图像组中每张图像的比对要素的位置数据，按设定顺序将所述第n号实时图像组中每张图像的比对要素的位置数据依次连接形成第n号实时曲线；
计算第n号实时曲线与第n号标准曲线的拟合度值，当拟合度值大于等于设定值时发出语音报警信号。
根据本申请实施例提供的技术方案，所述数据处理模块通过以下步骤判断所述帧图像中第n号零件是否被屏蔽：
建立对应第1至k号零件的卷积神经网络模型；
分别将第1至k号零件的多个图像输入对应的卷积神经网络模型中训练得到第1号零件识别模型至第k号零件识别模型；
初始化识别组号m＝1，初始化操作时间tm＝0，并开始计时操作时间tm；
超时验证：
判断操作时间tm是否大于设定操作时间Tm，若是则通过第二通讯模块发出语音报警信号，若否则进行图像识别；
图像识别：
将帧图像输入第m号零件识别模型中识别得到识别结果，
判断识别结果为无时，停止计时将该帧图像设为第m号零件的起始图像；
判断m是否等于1，若是则将该帧图像作为上一组第k号零件的末尾图像；
判断m是否等于k时，若否则将该帧图像设为第m+1号零件的末尾图像，将识别组号m加1后再执行所述零件识别步骤；
若是将识别组号m重置为1后执行所述超时验证步骤。
第三方面，本申请提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任意一种手工操作实时监控方法的步骤。
第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述手工操作实时监控方法的步骤。
本申请的上述技术方案，通过提供手工操作实时监控系统和方法，在监控系统中，通过工人佩戴的摄像装置实时采集工人安装零件的操作过程中的视频，提取视频中的帧图像，并将每一个零件操作中的帧图像拼合形成实时的图像组，也即第n号实时图像组，通过判断第n号实时图像组和第n号标准图像组是否近似来判断该零件的安装是否存在操作不规范的问题，如有则发出语音报警信号；以此来规范员工的操作；
根据本申请实施例提供的技术方案，具体通过给各个零件设置独立的卷积神经网络的识别模型，从而可准确判断各个零件何时被屏蔽，以精准形成各个零件的图像组；并且对每个零件的操作时长设置设定时间Tm,当员工遗漏安装某些零件或者换序安装某些零件时，会导致该零件的操作时间tm超过设定时间Tm，从而得以监控到遗漏零件或者错位安装零件的情况，给操作员工以及时的提醒。
综上所述，本申请的上述技术方案中，可及时地发现员工在安装零件这一操作中的错误，并及时地发出报警语音信号以提醒，从而使得员工及时地更正错误，有效地降低了手工零件安装的错误问题，提高了产品的良率。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1为本申请第一种实施例的原理框图；
图2为本申请中摄像眼镜的结构示意图；
图3为本申请中第二种实施例的流程图；
图4为本申请第二种实施例中步骤s300的详细流程步骤图；
图5为本申请第三种实施例中的原理框图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
实施例一：请参考图1为本申请提供的第一种实施例的原理框图，种手工操作实时监控系统，包括两个部分：摄像装置和服务端；在本实施例中，摄像装置为摄像眼镜100；在其他实施例中，摄像装置也可以用其他办法固定在操作人员头部，摄像眼镜或者将摄像装置固定在操作人员头部的方式方便美观，操作人员负重轻。
在其他实施例中，当摄像头固定也可以覆盖操作区域的时候，也可以采用固定的摄像头的方式；当操作人员的身体或某些设备物体阻挡摄像机拍摄时，可以采用移动摄像头的方式；摄像头的数量也可以是多个，以覆盖操作区域；为了清楚的拍摄，摄像头可以采用高清摄像头。
摄像眼镜100的结构示意图如图2所示，其上安装有摄像头，如图2所示，摄像头100设置在镜框的两侧，用于捕捉操作工人的视线前方的图像；摄像眼镜100内还设有电路结构，用于接收并存储摄像头110采集的图像；电路结构上还设有第一通讯模块140和播放模块120，通讯模块用于用于无线通信，在本实施例中，第一通讯模块140为蓝牙模块；播放模块120连接有耳机130，由于车间的环境一般比较嘈杂，因此操作员工可以共同佩戴耳机来接收摄像眼镜100内的播放模块播放的语音信号；上述具体的电路结构均为成熟的现有技术，在人工智能设备、手机上均为常见的，在此不赘述。
服务端200为设置在操作车间内的电脑，可与摄像眼镜100通过蓝牙模块配对连接，其包括第二通讯模块210，在本实施例中，第二通讯模块210为蓝牙模块，还包括收发模块220，用来接收视频图像并存储在存储模块230中，数据处理模块240从存储模块中调取视频图像并处理，并根据处理结果在需要时同发送模块220和第二通讯模块210向摄像眼镜发送语音报警信号。
本系统所应用的场景如下，应用于体积相对较小的组装件的安装过程的监视，每组安装零件以安装顺序编排形成第1、2、n......k号零件；例如需要安装的组件由螺栓、厚垫片、套筒、密封圈、薄垫片、螺母总共6个零件依次组装形成，则将螺栓标为第1号零件、厚垫片标为第2号零件、套筒标为第3号零件、密封圈标为第4号零件、薄垫片标为第5号零件，螺母标为第6号零件，该组件件的总零件数为k；在操作中，分别对应设有六个零件盒，该六个零件盒在组装过程中都在操作者的视野范围内；当操作员工取某个零件的时候，由于手部的遮挡，该零件将被遮挡屏蔽，此时视为开始组装该零件。
摄像装置上设有启动按钮和结束按钮；当操作员工准备就绪后，按启动按钮，用于盛装零件的零件盒上设有自动开启机构，该自动开启机构例如可以是电磁阀，当电磁阀上电的时候，零件盒开启；自动开启机构可与摄像装置蓝牙通讯模块，当操作人员按动启动按钮的时候，通过蓝牙通讯模块向自动开启机构发送一个上电信号，电磁阀上电，自动开启机构打开；如此保证了监控系统不开启的话操作人员无法进行组装的工作，保证了监控系统得以有效运行。，摄像装置将把实时录取的视频通过蓝牙模块发送至服务端；
在本实施例中，服务端内设有存储所述视频的存储模块、用于处理视频图像的计算模块；计算模块内单独建立对应第1至k号零件的卷积神经网络模型；并且在本系统运行签分别将第1至k号零件的多个图像输入对应的卷积神经网络模型中训练得到第1号零件识别模型至第k号零件识别模型；例如，将多张从不同的视角拍摄的第1号零件螺栓的图像输入到卷积神经网络中训练，得到一个可以识别第1号零件的第1号零件识别模型。
在本实施例中，所述服务端包括与所述第通讯模块通讯的第二通讯模块；所述服务端配置用于：
通过蓝牙模块实时接收所述摄像头采集的实时操作视频；按设定时间间隔从所述实时操作视频中提取帧图像；设定时间间隔例如为5s；
以安装顺序判断所述帧图像中第n号零件是否被屏蔽，若是则将该帧图像做为所述第n号零件的起始图像，且在n大于等于2时将该图像作为第n-1号零件的末尾图像，将第1号零件被屏蔽时的图像作为上一组安装的零件组中第n号零件的末尾图像；每组需要安装的k个零件按照安装顺序编号，形成第1、2、n......k号零件(n大于等于1小于等于k)；
将第n号零件的起始图像至末尾图像之间的帧图像以设定顺序拼合形成第n号实时图像组；
判断所述第n号实时图像组与所述第n号标准图像组是否近似，若不近似则通过蓝牙模块向安装在所述播放模块发送语音报警信号，所述播放模块将所述语音报警信号通过设置在所述摄像装置上的耳机播放。
实施例二
如图3所示为采用实施例一所述的监控系统的监控方法的流程步骤图：当操作员工准备就绪后，按启动按钮后服务端内将启动如下程序：
s100、实时通过第二通讯模块接收摄像头采集的实时操作视频；
s200、按设定时间间隔从所述实时操作视频中提取帧图像；设定时间间隔例如为5s；
s300、识别帧图像，得到第n号零件的起始图像至末尾图像之间的帧图像；如图4所示，具体包括以下步骤：
s310、初始化识别组号m＝1；
s320、初始化操作时间tm＝0，并开始计时操作时间tm；
s330、判断操作时间tm是否大于设定操作时间Tm，服务端对应每个零件都设置有设定操作时间，例如放置零件1的设定操作时间T1为20s，将零件2安装在零件1上的操作时间T2为15s；若员工对于该零件的实际操作时间超过该零件的设定操作时间则则执行步骤s340；若否则执行步骤s350进行图像识别；
s340、通过第二通讯模块发出语音报警信号；
s350、将帧图像输入第m号零件识别模型中识别得到识别结果，
s360、判断识别结果为“有”还是“无”，“有”则表示该帧图像中有第m号零件的图像，若为“有”则执行步骤s330；“无”则执行步骤s370；
s370、将该帧图像设为第m号零件的起始图像；
s380、判断m是否等于1，若是则将该帧图像作为上一组第k号零件的末尾图像；若否则执行步骤s390；
s390、判断m是否等于k；若否，将该帧图像设为第m-1号零件的末尾图像然后执行步骤s391；若是则执行步骤s310；
s391、将识别组号m加1后再执行s320；
s400、将第n号零件的起始图像至末尾图像之间的帧图像按时间顺序拼合形成第n号实时图像组；例如，组装零件1的总操作时间为30s，则每隔1秒取得的帧图像将有30张，将这30张图像按时间顺序拼合形成一张设定长度例如1000cm的第1号实时图像组；在其他实施例中，也可将该30张图像拼合成横向5张纵向6张的第1号实时图像组，其排列顺序为第1排从左到右，第2排从右到左，第3排再从左到右，以此类推，使得所有照片的中心按时间顺序将连接成s型；
s500、判断所述第n号实时图像组与所述第n号标准图像组是否近似，若不近似则执行步骤s600；若近似则继续执行步骤s100；
在本实施例中，操作工人在操作时候佩戴有操作手套，操作手套上印刷有比对要素，在本实施例中比对要素为为印刷在操作手套上的标识字符，例如为一个实心的红色圆形；
服务端内设有字符识别模型，该模型可将图像中的标识字符识别出来并计算得到该字符在图像中的当前位置数据。
步骤s500具体包括：
s510、将所述第n号实时图像组输入字符识别模型中识别，得到所述第n号实时图像组中每张图像的比对要素的位置数据；例如所述标识字符在30张图像中的位置数据用坐标表示，分别为(255.36,542.63)、(354.74,654.21)、(456.12,678.36)......(124.35,23.64)，以每张照片的左下角为坐标零点；
s520、按时间顺序将所述第n号实时图像组中每张图像的比对要素的位置数据依次连接形成第n号实时曲线；例如将上述第1号零件的位置数据(255.36,542.63)、(354.74,654.21)、(456.12,678.36)......(124.35,23.64)放在同一坐标系中连接形成第1号实时曲线；
s530、计算第n号实时曲线与第n号标准曲线的拟合度值，当拟合度值大于等于设定值时发出语音报警信号。第n号标准曲线为服务端事先通过采集标准安装操作视频获得的，即通过录制熟练和标准的操作员工安装该组零件的操作视频，例如与步骤s510相应的，以相同的设定时间间隔1s截取得到，然后例如将该组图像从前到后拼接成设定长度1000cm的标准图像组；因此可以在同一坐标系统中判断两条曲线的拟合度。在本实施例中，服务端设有拟合度计算模块，由MATLAB创建。在本实施例中，当拟合度小于0.8时，将发出语音报警信号。
s600、通过第二通讯模块向安装在所述摄像装置上的播放模块发送语音报警信号，所述播放模块将所述语音报警信号播放。
本实施例中，上述方法步骤结合实施一的系统，实现了对操作过程中操作视频的采集，并通过建立识别零件是否被屏蔽的卷积神经网络模型，提取出各个零件的组装中的操作图像形成第n号实时照片组；并通过标识字符来跟踪该零件组装过程中的动态信息，进一步根据标识字符的位置数据得到该零件的第n号实时曲线，通过第n号实时曲线和第n号标准曲线的拟合度的判断，确定第n号实时照片组和第n号标准照片组的近似与否，实现了对操作员工安装每一个零件的动作规范是否标准的一个监视。
上述实施例中，通过对每个零件的操作时长设置设定时间Tm,当员工遗漏安装某些零件或者换序安装某些零件时，会导致该零件的操作时间tm超过设定时间Tm，从而得以监控到遗漏零件或者错位安装零件的情况，给操作员工以及时的提醒。
综上所述，本申请的上述技术方案中，可及时地发现员工在安装零件这一操作中的错误，并及时地发出报警语音信号以提醒，从而使得员工及时地更正错误，有效地降低了手工零件安装的错误问题，提高了产品的良率。
在其他实施例中，上述第n号实时照片组和第n号标准照片组近似的判断也可以通过神经网络模型直接判断。
实施例三
本实施例提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任意一项目所述的无埋点插码数据处理方法的步骤。如图5所示，终端设备例如为计算机，计算机系统包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM503中，还存储有系统操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地，根据本发明的实施例，上文参考流程图1至图2描述的过程可以被实现为计算机软件程序。例如，本发明的实施例一包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本申请的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例二的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括第一生成模块、获取模块、查找模块、第二生成模块及合并模块。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，输入模块还可以被描述为“用于在该基础表中获取多个待探测实例的获取模块”。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如上述实施例中所述的无埋点插码数据处理方法。
例如，所述电子设备可以实现如图3中所示的步骤s100-s700。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实例的说明只是用于帮助理解本发明的方法及其核心思想。以上所述仅是本发明的优选实施方式，应当指出，由于文字表达的有限性，而客观上存在无限的具体结构，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进、润饰或变化，也可以将上述技术特征以适当的方式进行组合；这些改进润饰、变化或组合，或未经改进将发明的构思和技术方案直接应用于其它场合的，均应视为本发明的保护范围。

Claims (8)

1.一种手工操作实时监控方法，其特征在于，所述方法包括：
实时通过第二通讯模块接收摄像头采集的实时操作视频，所述摄像头设置在摄像装置上，用于拍摄操作工人视线前方的图像；
按设定时间间隔从所述实时操作视频中提取帧图像；
以安装顺序判断所述帧图像中第n号零件是否被屏蔽，若是则将该帧图像做为所述第n号零件的起始图像，且在n大于等于2时将该图像作为第n-1号零件的末尾图像，将第1号零件被屏蔽时的图像作为上一组安装的零件组中第n号零件的末尾图像；每组需要安装的k个零件按照安装顺序编号，形成第1、2、n......k号零件(n大于等于1小于等于k)；
将第n号零件的起始图像至末尾图像之间的帧图像按时间顺序拼合形成第n号实时图像组；
判断所述第n号实时图像组与所述第n号标准图像组是否近似，若不近似则通过第二通讯模块向安装在所述摄像装置上的播放模块发送语音报警信号，所述播放模块将所述语音报警信号播放；
所述以安装顺序判断所述帧图像中第n号零件是否被屏蔽具体包括以下步骤：
建立对应第1至k号零件的卷积神经网络模型；
分别将第1至k号零件的多个图像输入对应的卷积神经网络模型中训练得到第1号零件识别模型至第k号零件识别模型；
初始化识别组号m＝1，初始化操作时间tm＝0，并开始计时操作时间tm；
超时验证：
判断操作时间tm是否大于设定操作时间Tm，若是则通过第二通讯模块发出语音报警信号，若否则进行图像识别；
图像识别：
将帧图像输入第m号零件识别模型中识别得到识别结果，
判断识别结果为无时，停止计时将该帧图像设为第m号零件的起始图像；
判断m是否等于1，若是则将该帧图像作为上一组第k号零件的末尾图像；
判断m是否等于k时，若否则将该帧图像设为第m+1号零件的末尾图像，将识别组号m加1后再执行所述零件识别步骤；
若是将识别组号m重置为1后执行所述超时验证步骤。
2.根据权利要求1所述的手工操作实时监控方法，其特征在于，判断所述第n号实时图像组与所述第n号标准图像组是否近似具体包括以下步骤：
将所述第n号实时图像组与所述第n号标准图像组输入神经网络模型中识别。
3.根据权利要求1所述的手工操作实时监控方法，其特征在于，判断所述第n号实时图像组与所述第n号标准图像组是否近似具体包括以下步骤：
将所述第n号实时图像组输入字符识别模型中识别，得到所述第n号实时图像组中每张图像的比对要素的位置数据，按时间顺序将所述第n号实时图像组中每张图像的比对要素的位置数据依次连接形成第n号实时曲线；
计算第n号实时曲线与第n号标准曲线的拟合度值，当拟合度值大于等于设定值时发出语音报警信号。
4.根据权利要求3所述的手工操作实时监控方法，其特征在于，所述比对要素为印刷在操作手套上的标识字符；所述操作手套由操作工人在安装零件时佩戴。
5.一种手工操作实时监控系统，其特征在于，包括：
摄像装置，用于拍摄操作工人视线前方的图像；每组安装零件以安装顺序编排形成第1、2、n......k号零件；所述摄像装置上设有第一通讯模块块和播放模块；所述摄像装置上还安装有摄像头，用于捕捉操作工人的视线前方的图像；
所述服务端包括第二通讯模块、收发模块、存储模块和数据处理模块；
所述第二通讯模块配置用于与所述第一通讯模块通讯；
所述收发模块配置用于通过第二通讯模块实时接收所述摄像头采集的实时操作视频；
所述存储模块，配置用于存储所述实时操作视频；
所述数据处理模块，配置用于所述存储模块中读取所述实时操作视频，并按设定时间间隔从实时操作视频中提取帧图像；
所述数据处理模块还配置用于：以安装顺序判断所述帧图像中第n号零件是否被屏蔽，若是则将该帧图像做为所述第n号零件的起始图像，且在n大于等于2时将该图像作为第n-1号零件的末尾图像，将第1号零件被屏蔽时的图像作为上一组安装的零件组中第n号零件的末尾图像；每组需要安装的k个零件按照安装顺序编号，形成第1、2、n......k号零件(n大于等于1小于等于k)；
将第n号零件的起始图像至末尾图像之间的帧图像以设定顺序拼合形成第n号实时图像组；
判断所述第n号实时图像组与所述第n号标准图像组是否近似，若不近似则通过第二通讯模块向安装在所述摄像装置发送语音报警信号；
所述播放模块配置用于：将所述语音报警信号通过设置在所述摄像装置上的耳机播放；
所述数据处理模块具体配置用于通过以下步骤判断所述帧图像中第n号零件是否被屏蔽：
建立对应第1至k号零件的卷积神经网络模型；
分别将第1至k号零件的多个图像输入对应的卷积神经网络模型中训练得到第1号零件识别模型至第k号零件识别模型；
初始化识别组号m＝1，初始化操作时间tm＝0，并开始计时操作时间tm；
超时验证：
判断操作时间tm是否大于设定操作时间Tm，若是则通过第二通讯模块发出语音报警信号，若否则进行图像识别；
图像识别：
将帧图像输入第m号零件识别模型中识别得到识别结果，
判断识别结果为无时，停止计时将该帧图像设为第m号零件的起始图像；
判断m是否等于1，若是则将该帧图像作为上一组第k号零件的末尾图像；
判断m是否等于k时，若否则将该帧图像设为第m+1号零件的末尾图像，将识别组号m加1后再执行所述零件识别步骤；
若是将识别组号m重置为1后执行所述超时验证步骤。
6.根据权利要求5所述的手工操作实时监控系统，其特征在于，所述数据处理模块具体配置用于通过以下步骤判断所述第n号实时图像组与所述第n号标准图像组是否近似：
将所述第n号实时图像组输入字符识别模型中识别，得到所述第n号实时图像组中每张图像的比对要素的位置数据，按设定顺序将所述第n号实时图像组中每张图像的比对要素的位置数据依次连接形成第n号实时曲线；
计算第n号实时曲线与第n号标准曲线的拟合度值，当拟合度值大于等于设定值时发出语音报警信号。
7.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-4任意一项所述的手工操作实时监控方法的步骤。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任意一项所述的手工操作实时监控方法的步骤。
CN201910745020.4A 2019-08-13 2019-08-13 手工操作实时监控方法、系统、终端设备和存储介质 Active CN110458108B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910745020.4A CN110458108B (zh) 2019-08-13 2019-08-13 手工操作实时监控方法、系统、终端设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910745020.4A CN110458108B (zh) 2019-08-13 2019-08-13 手工操作实时监控方法、系统、终端设备和存储介质

Publications (2)

Publication Number Publication Date
CN110458108A CN110458108A (zh) 2019-11-15
CN110458108B true CN110458108B (zh) 2023-02-21

Family

ID=68486346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910745020.4A Active CN110458108B (zh) 2019-08-13 2019-08-13 手工操作实时监控方法、系统、终端设备和存储介质

Country Status (1)

Country Link
CN (1) CN110458108B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275943A (zh) * 2020-02-27 2020-06-12 中国人民解放军陆军特色医学中心 一种可穿戴的护理操作流程监测装置
CN111783741A (zh) * 2020-07-30 2020-10-16 国网江苏省电力有限公司南通供电分公司 关键要素定位的绝缘手套使用识别方法及专用识别装置、电子设备
CN113205073A (zh) * 2021-05-28 2021-08-03 青岛海尔工业智能研究院有限公司 作业合规判断方法、装置、电子设备、及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009088944A (ja) * 2007-09-28 2009-04-23 Canon Inc 文字認識装置、撮像装置及び映像再生装置
CN109271881A (zh) * 2018-08-27 2019-01-25 国网河北省电力有限公司沧州供电分公司 一种变电站内人员安全管控方法、装置及服务器
WO2019127271A1 (zh) * 2017-12-28 2019-07-04 深圳市锐明技术股份有限公司 针对肢体冲突行为的告警方法、装置、存储介质及服务器
CN110062212A (zh) * 2019-05-22 2019-07-26 广东慧讯智慧科技有限公司 视频监控方法、装置、系统、设备及计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009088944A (ja) * 2007-09-28 2009-04-23 Canon Inc 文字認識装置、撮像装置及び映像再生装置
WO2019127271A1 (zh) * 2017-12-28 2019-07-04 深圳市锐明技术股份有限公司 针对肢体冲突行为的告警方法、装置、存储介质及服务器
CN109271881A (zh) * 2018-08-27 2019-01-25 国网河北省电力有限公司沧州供电分公司 一种变电站内人员安全管控方法、装置及服务器
CN110062212A (zh) * 2019-05-22 2019-07-26 广东慧讯智慧科技有限公司 视频监控方法、装置、系统、设备及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
家庭安防系统中的多摄像头视频采集与网络传送;王会清等;《武汉工程大学学报》;20120715(第07期);全文 *

Also Published As

Publication number Publication date
CN110458108A (zh) 2019-11-15

Similar Documents

Publication Publication Date Title
CN110458108B (zh) 手工操作实时监控方法、系统、终端设备和存储介质
CN110427917B (zh) 用于检测关键点的方法和装置
CN110650292B (zh) 辅助用户拍摄车辆视频的方法及装置
US11676257B2 (en) Method and device for detecting defect of meal box, server, and storage medium
US11461995B2 (en) Method and apparatus for inspecting burrs of electrode slice
CN110059623B (zh) 用于生成信息的方法和装置
CN110796738B (zh) 巡检设备状态跟踪的三维可视化方法及装置
EP3598386A1 (en) Method and apparatus for processing image
CN110059624B (zh) 用于检测活体的方法和装置
CN109948811A (zh) 车辆定损的处理方法、装置及电子设备
CN102792675B (zh) 用于根据条件自适应地执行图像匹配的方法、系统和计算机可读记录介质
KR102187741B1 (ko) 메타데이터 크라우드 소싱 시스템 및 방법
CN112621765A (zh) 一种基于机械手的设备自动组装控制方法及装置
US10438066B2 (en) Evaluation of models generated from objects in video
CN111860071A (zh) 用于识别物品的方法和装置
CN109903308B (zh) 用于获取信息的方法及装置
CN111191995A (zh) 一种基于互联网平台实现门店智能监控及会员到店智能提醒的方法
CN111310595B (zh) 用于生成信息的方法和装置
CN113391617A (zh) 基于5g网络的车辆远程诊断方法、存储器、装置及系统
WO2024060708A1 (zh) 目标检测方法和装置
CN109062220B (zh) 控制终端运动的方法和装置
CN115756256A (zh) 信息标注的方法、系统、电子设备以及存储介质
CN113780706A (zh) 一种基于视觉增强的现场运维作业方法及装置
CN111353470A (zh) 图像的处理方法、装置、可读介质和电子设备
CN113643343A (zh) 深度估计模型的训练方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant