CN113326822B - 一种具有安全警示系统的程控工业机器人 - Google Patents

一种具有安全警示系统的程控工业机器人 Download PDF

Info

Publication number
CN113326822B
CN113326822B CN202110883418.1A CN202110883418A CN113326822B CN 113326822 B CN113326822 B CN 113326822B CN 202110883418 A CN202110883418 A CN 202110883418A CN 113326822 B CN113326822 B CN 113326822B
Authority
CN
China
Prior art keywords
safety
module
worker
expression
warning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110883418.1A
Other languages
English (en)
Other versions
CN113326822A (zh
Inventor
伍京华
赵涛
张亚
孙怡
耿翠阳
张婷
王文哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology Beijing CUMTB
Original Assignee
China University of Mining and Technology Beijing CUMTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology Beijing CUMTB filed Critical China University of Mining and Technology Beijing CUMTB
Priority to CN202110883418.1A priority Critical patent/CN113326822B/zh
Publication of CN113326822A publication Critical patent/CN113326822A/zh
Application granted granted Critical
Publication of CN113326822B publication Critical patent/CN113326822B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G05B19/0426—Programming the control sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Tourism & Hospitality (AREA)
  • Data Mining & Analysis (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Robotics (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Primary Health Care (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Manipulator (AREA)

Abstract

本发明提供了一种具有安全警示系统的程控工业机器人。该方案包括人脸识别模块、智能问答模块、信号联接模块、警示发出模块、安全问题复盘模块；人脸识别模块用于识别工人的面部表情，并判断工人的精神状态；所述的智能问答模块，用于对工人进行主动提问，并根据工人的回答内容及语气在有风险时通过所述的警示发出模块发出安全警示；信号联接模块用于与作业对象的主控系统相联接，自动监测作业对象的运行参数；安全问题复盘模块用于进行特征提取与数据分析，当出现安全问题时将所述安全问题的特征提取出来，并录入所述安全问题复盘模块的后台信息系统。该方案通过识别工人的精神状态和是否按照标准流程作业，从而减少安全事故的发生。

Description

一种具有安全警示系统的程控工业机器人
技术领域
本发明涉及安全警示技术领域，更具体地，涉及一种具有安全警示系统的程控工业机器人。
背景技术
风电作为一种清洁、低成本的可再生能源，近年来发展迅速。开发风能资源是减少环境污染的重要手段。随着风电行业的急速发展，风电场的安全问题也日渐凸显出来，风电场事故频发，对员工安全和社会利益造成危险，安全管理问题突出。如何解决安全管理问题是保障风电行业未来发展的关键。
但是，现有技术均未对风电场进行工人的在线情绪与工作状态的监视，而造成风电场事故频发的一个重要原因是风电场通常位于野外人烟稀少的地方，这些地方多为管理盲点或管理薄弱区，工人长期在风电场野外作业，容易有情绪波动，也容易麻痹大意，进而在工作中容易造成安全问题此外，工人不按照标准流程作业也是造成安全问题的一个重要原因。
发明内容
鉴于上述问题，本发明提出了一种具有安全警示系统的程控工业机器人，该方案通过识别工人的精神状态和是否按照标准流程作业，从而减少安全事故的发生。
在一个或多个实施例中，优选地，所述的一种具有安全警示系统的程控工业机器人包括：人脸识别模块、智能问答模块、信号联接模块、警示发出模块、安全问题复盘模块；
所述的人脸识别模块，用于识别工人的面部表情，并根据所述面部表情判断工人的精神状态，在工人精神状态不佳的时通过所述的警示发出模块发出安全警示；
所述的智能问答模块，用于对工人进行主动提问，根据工人的回答内容及语气识别工人的作业有无风险，存在风险时通过所述的警示发出模块发出安全警示；
所述的信号联接模块，用于与作业对象的主控系统相联接，自动监测作业对象的运行参数，在运行参数不适合或将要进行作业时，通过所述的警示发出模块发出安全警示；
所述的安全问题复盘模块，用于进行特征提取与数据分析，当出现安全问题时，所述安全问题复盘模块用于将所述安全问题的特征提取出来，并录入所述安全问题复盘模块的后台信息系统，由所述后台信息系统进行数据分析后将分析结果反馈到安全警示系统中进行优化，从而完成所述安全问题复盘模块的安全警示功能的自动学习。
在一个或多个实施例中，优选地，所述的人脸识别模块识别工人的面部表情方法，具体包括：
获取当前被测工人的人脸表情与历史表情，提取中性表情分量；
获取当前被测工人的所述人脸表情，并利用第一计算公式将所述人脸表情进行表情分量的拆分；
提取当前被测工人的工作完成进度和当前被测工人的工作执行可靠性，利用第二计算公式获取当前被测工人的归一化工作心态指数；
利用第三计算公式计算表情分量变化频率，当所述归一化工作心态指数超过预设定值，且表情分量变化频率超过每分钟1次的状态下5次的情况,发出安全提示指令，并发出在线的视频指导；
根据工人的所述人脸表情与所述历史表情，利用第四计算公式进行中性表情系数和表情系数预测，确定未来一段时间的工人表情的所述中性表情系数和所述表情系数，并利用第五计算公式获得目标工人表情的预测；
所述第一计算公式为：
F2=F-Fre-F1
其中，F2为表情分量；F为所述人脸表情；F1为所述中性表情分量；Fre为标准人脸表情；
所述第二计算公式为：
P=[1-(X-A)/A]*B
其中，P为所述归一化工作心态指数，X为当前工人的工作完成进度，A为预先确定的预设工作完成进度曲线取值，B为当前工人的工作执行可靠性，
所述第三计算公式为：
T=Time[F2>S1]
其中，T为所述表情分量变化频率，Time[]为用于判定所述表情分量大于预设变化裕度次数的函数，F2为所述表情分量，S1为所述预设变化裕度；
所述第四计算公式：
Figure 116374DEST_PATH_IMAGE001
其中，
Figure 502224DEST_PATH_IMAGE002
为向量y与向量
Figure 171103DEST_PATH_IMAGE003
的欧氏距离，
Figure 102150DEST_PATH_IMAGE004
为表示x2的稀疏程度的预设系数，
Figure 856479DEST_PATH_IMAGE005
为x2中系数的绝对值之和，y为所述人脸表情与所述标准人脸表情系数之差形成的向量，argmin{}为获取{}内数据取的最小值时对应的x1、x2的训练函数；
所述第五计算公式：
Figure 780442DEST_PATH_IMAGE006
其中，A1为中性表情空间，A2为表情空间，x1为中性表情空间的系数，x2为表情空间的系数，Fm为所述目标工人表情。
在一个或多个实施例中，优选地，所述的智能问答模块对工人进行主动提问的内容包括询问工人叶片维修、巡检、定期维护，根据不同的答案调用不同的要求或程序来判断该工人的作业环境有无风险。
在一个或多个实施例中，优选地，所述预先确定的预设工作完成进度曲线取值的获取方法，具体包括：
获取工人每日完成进度，以5分钟为时间间隔进行进度采集，存储为进度数据组；
对进度数据组的数据进行滤波，当后一时间的进度低于前一时间进度时，将前一时间进度替换为后一时间进度；
将全部的进度数据汇总为矩阵形式，提取每个间隔时间位置的进度列向量，计算所有的所述进度列向量的平均值，生成预设进度取值；
以全部的所述预设进度取值为基础进行曲线拟合，生成所述预先确定的预设工作完成进度曲线。
在一个或多个实施例中，优选地，所述的警示发出模块在发出安全警示的同时还将进行阻止错误，具体过程包括：
所述的警示发出模块向安全员发送警示信息； 所述的警示发出模块发出安全警示的所述安全员过程中存在确认环节，所述安全员收到所述安全警示后，自动反馈收到信号，并反馈信息收取时间；
在所述信息收取时间后的10分钟内，若所述安全员进行在线的信息确认，并反馈确认收到信息，则认为阻止工作开始；
在所述信息收取时间后的10分钟内，若所述安全员未进行在线的信息确认，则认为阻止工作终止；
所述安全员完成阻止工人进一步的作业的任务后，反馈阻止完成命令给所述的警示发出模块。
在一个或多个实施例中，优选地，所述的人脸识别模块中还设置或远程连接有员工数据库，该员工数据库中预存储有员工信息，所述的人脸识别模块在对工人的面部表情进行识别的同时将该工人的面部特征与员工数据库中预存储的员工信息进行比对，判断该工人是否有电工证和登高证，如果没有则通过所述的警示发出模块发出安全警示。
在一个或多个实施例中，优选地，所述的信号联接模块还用于自动监测员工是否按流程对风机进行停机操作，具体包括操作时风机不能带电；当风机未运行时进行操作时，风机切换至维护状态。
在一个或多个实施例中，优选地，所述安全问题的特征包括发生所述安全问题的原因、位置、所述安全问题发生时工人的身份信息和操作动作。
在一个或多个实施例中，优选地，所述的人脸识别模块还用于监测工人是否正确佩戴好安全防护用品，以及是否使用破损的个人防护用品，在判断工人未正确佩戴好安全防护用品或者使用破损及未经检验合格的安全工器具和个人防护用品时，通过所述的警示发出模块发出安全警示。
在一个或多个实施例中，优选地，所述的智能问答模块对工人进行主动提问的内容还包括询问工人能否正确使用与变压器电压相适应的劳保用品和安全工具，在工人的回答答案中如果出现不符合使用规范的内容的时候，通过所述的警示发出模块发出安全警示。
本发明的实施例提供的技术方案可以包括以下有益效果：
本发明所述的具有安全警示系统的程控工业机器人通过人脸识别模块自动识别工人的面部表情进而判断工人的精神状态，在工人精神状态不佳的时候发出安全警示，避免因工人精神状态不佳而造成安全事故。所述的安全警示系统还通过与风机本身的主控系统相联接，自动监测温度、风速等运行参数，自动监测员工是否按流程对风机进行停机操作（操作时不能带电，有时即使风机没转，也要把它切换到 “维护状态”）。
本发明所述的具有安全警示系统的程控工业机器人能够进行特征提取与数据分析。一旦有风力发电机组里的员工操作出现问题，安全员将信息录入所述的安全警示系统的后台信息系统。所述的安全警示系统可以做分析，将结果再反馈到算法中进行优化。即：本发明所述的安全警示系统能自我学习和成长。
此外，本发明所述的具有安全警示系统的程控工业机器人除了能够应用在风电场中以外，还能够应用在矿井等高危环境中，通过给出安全警示提高安全性，有效避免事故的发生。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的一种具有安全警示系统的程控工业机器人的流程图。
图2是本发明一个实施例的一种具有安全警示系统的程控工业机器人中的识别工人的面部表情方法的流程图。
图3是本发明一个实施例的一种具有安全警示系统的程控工业机器人中的预先确定的预设工作完成进度曲线取值的获取方法的流程图。
图4是本发明一个实施例的一种具有安全警示系统的程控工业机器人中的警示发出模块进行阻止错误的流程图。
具体实施方式
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
风电作为一种清洁、低成本的可再生能源，近年来发展迅速。开发风能资源是减少环境污染的重要手段。随着风电行业的急速发展，风电场的安全问题也日渐凸显出来，风电场事故频发，对员工安全和社会利益造成危险，安全管理问题突出。如何解决安全管理问题是保障风电行业未来发展的关键。
但是，现有技术均未对风电场进行工人的在线情绪与工作状态的监视，此外由于风电场的工人的情绪如何进行监视以及如何完成工作人员的进度监控和工作流程安全性无响应经验。造成风电场事故频发，尤其是风电场通常位于野外人烟稀少的地方，这些地方多为管理盲点或管理薄弱区，工人长期在风电场野外作业，容易有情绪波动，也容易麻痹大意，进而在工作中容易造成安全也可能出现工人不按照标准流程作业的情况，这些都是造成安全问题的重要原因。
本发明实施例中，提供了一种具有安全警示系统的程控工业机器人。该方案通过识别工人的精神状态和是否按照标准流程作业，从而减少安全事故的发生。
图1是本发明一个实施例的一种具有安全警示系统的程控工业机器人的流程图。
如图1所示，在一个或多个实施例中，优选地，所述的一种具有安全警示系统的程控工业机器人包括：人脸识别模块101、智能问答模块102、信号联接模块103、警示发出模块104、安全问题复盘模块105；
所述的人脸识别模块101，用于识别工人的面部表情，并根据所述面部表情判断工人的精神状态，在工人精神状态不佳的时通过所述的警示发出模块104发出安全警示；
所述的智能问答模块102，用于对工人进行主动提问，根据工人的回答内容及语气识别工人的作业有无风险，存在风险时通过所述的警示发出模块104发出安全警示；
所述的信号联接模块103，用于与作业对象的主控系统相联接，自动监测作业对象的运行参数，在运行参数不适合或将要进行作业时，通过所述的警示发出模块104发出安全警示；
所述的安全问题复盘模块105，用于进行特征提取与数据分析，当出现安全问题时，所述安全问题复盘模块105用于将所述安全问题的特征提取出来，并录入所述安全问题复盘模块105的后台信息系统，由所述后台信息系统进行数据分析后将分析结果反馈到安全警示系统中进行优化，从而完成所述安全问题复盘模块105的安全警示功能的自动学习。
本发明实施例中，首先进行了整体的具有安全警示系统的程控工业机器人的模块搭建，获得的模块包括5个，这些模块之间相互配合，实现在获得不健康的状态或信息后，通过这种优化的方式获得最好的安全警示系统的自主学习能力。其中，所述的信号联接模块用于与作业对象（例如风机）的主控系统相联接，自动监测温度（比如新疆冬天零下30多度）和风速等运行参数，在运行参数不适合即将进行的作业的时候通过所述的警示发出模块发出安全警示。
图2是本发明一个实施例的一种具有安全警示系统的程控工业机器人中的识别工人的面部表情方法的流程图。
如图2所示，在一个或多个实施例中，优选地，所述的人脸识别模块101识别工人的面部表情方法，具体包括：
S201、获取当前被测工人的人脸表情与历史表情，提取中性表情分量；
S202、获取当前被测工人的所述人脸表情，并利用第一计算公式将所述人脸表情进行表情分量的拆分；
S203、提取当前被测工人的工作完成进度和当前被测工人的工作执行可靠性，利用第二计算公式获取当前被测工人的归一化工作心态指数；
S204、利用第三计算公式计算表情分量变化频率，当所述归一化工作心态指数超过预设定值，且表情分量变化频率超过每分钟1次的状态下5次的情况,发出安全提示指令，并发出在线的视频指导；
S205、根据工人的所述人脸表情与所述历史表情，利用第四计算公式进行中性表情系数和表情系数预测，确定未来一段时间的工人表情的所述中性表情系数和所述表情系数，并利用第五计算公式获得目标工人表情的预测；
所述第一计算公式为：
F2=F-Fre-F1
其中，F2为表情分量；F为所述人脸表情；F1为所述中性表情分量；Fre为标准人脸表情；
所述标准人脸表情、所述表情分量、所述人脸表情和所述中性表情分量为相同行列数量的矩阵，该矩阵为方阵，该矩阵的维度为预先设定，本实施例中，选择128行128列的矩阵；
其中，所述中性表情分类和所述标准人脸表情在BosphorusDB人脸库中选择。所述BosphorusDB人脸库一共包括105个人，编号从bs000至bs104。每个人包括不同的姿态，表情和遮挡情况。每个人最多有54个人脸数据，有34个人仅有31个人脸数据，共有人脸数据4652个。其中，在BosphorusDB的中性人脸超过300个，随机选择其中中性人脸一个处理为所述中性表情分量。根据工人的头发和胡须有无，在BosphorusDB人脸库中选择头发和胡须有无相同的一个人脸作为标准人脸，对标准人脸处理为矩阵形式。
所述中性表情分量和所述标准人脸表情都通过如下步骤获得：通过BosphorusDB人脸库选取人脸，对该人脸进行灰度提取，进行主成分分析运算，获得预设维度的所述中性表情分量或所述标准人脸表情。
所述人脸表情通过如下步骤获得：通过传感器获得人脸图片，对所述人脸图片进行灰度提取生成矩阵形式，对该矩阵利用主成分分析法，则可以提取为预设维度的人脸表情。
通过第一计算公式，可以将人脸表情减去中性表情分量和标准人脸表情，最终，获得当前的实际表情分量。所述第二计算公式为：
P=[1-(X-A)/A]*B
其中，P为所述归一化工作心态指数，X为当前工人的工作完成进度，A为预先确定的预设工作完成进度曲线取值，B为当前工人的工作执行可靠性，
在发明实施例中，X为当前工人的工作完成进度，当前工人的工作完成进度主要根据工人自行在网上确认输入，输入形式为百分比；A为预先确定的预设工作完成进度曲线取值，A是一个随着时间的变换的曲线，具体获取方式为根据预设的工作计划设置；B为当前工人的工作执行可靠性与每个工人的历史工作信息相关，在进行工作前，每个工人的工作可靠性由工厂负责人进行打分。
所述第三计算公式为：
T=Time[F2>S1]
其中，T为所述表情分量变化频率，Time[]为用于判定所述表情分量大于预设变化裕度次数的函数，F2为所述表情分量，S1为所述预设变化裕度；
所述预设变化裕度S1为一个与所述表情分量相同型式的矩阵，F2>S1的情况为F2矩阵中50%的节点的数值超过S1矩阵中的数据，Time[]是一个单位时间内连续进行判断的函数，举例说明Time[F2>S1]表示单位时间内F2>S1的发生次数，其中，本发明实施例中所述单位时间选择的1分钟；因此，在本发明实施例中，Time[F2>S1]当一分钟内出现5次以上表情变化过大时，发出安全提示指令，并发出在线的视频指导。安全提示是为了在工人情绪波动较大时提示工人不要出现安全问题，视频指导防止工人在情绪波动大时忘记关键的工作步骤。
所述第四计算公式：
Figure 303827DEST_PATH_IMAGE001
其中，
Figure 671355DEST_PATH_IMAGE002
为向量y与向量
Figure 162248DEST_PATH_IMAGE007
的欧氏距离，
Figure 437371DEST_PATH_IMAGE008
为表示x2的稀疏程度的预设系数，
Figure 267793DEST_PATH_IMAGE009
为x2中系数的绝对值之和，y为所述人脸表情与所述标准人脸表情系数之差形成的向量；argmin{}为获取{}内数据取的最小值时对应的x1、x2的训练函数。
A1为中性表情空间，中性表情空间选择范围为BosphorusDB人脸库获得的中性表情获得的矩阵，A2为表情空间，表情空间选择范围为所述历史表情中所有类型的表情获得的矩阵；x1、x2分别为与中性表情空间A1、表情空间A2相对应可选的范围；其中，x1、x2中的可选范围分别为0~1。
其中，
Figure 602959DEST_PATH_IMAGE007
具体计算为A1 x1+A2 x2。
y为所述人脸表情与所述标准人脸表情系数之差形成的矩阵，具体的，原始的所述人脸表情为128行128列的矩阵，所述标准人脸表情系数为所述标准人脸表情128行128列的矩阵，y为所有对应位置数据差形成的矩阵。其中，
Figure 269564DEST_PATH_IMAGE008
预设值在0-1内，本实施例中选择0.1为稀疏程度。
所述第五计算公式：
Figure 348378DEST_PATH_IMAGE006
其中，A1为中性表情空间，A2为表情空间，x1为中性表情空间的系数，x2为表情空间的系数，Fm为所述目标工人表情。
所述目标工人表情为一个预测出来的表情矩阵。
在一个或多个实施例中，优选地，所述的智能问答模块102对工人进行主动提问的内容包括询问工人叶片维修、巡检、定期维护，根据不同的答案调用不同的要求或程序来判断该工人的作业环境有无风险。
本发明实施例中，对于如何进行表情信息的提取，提供了一种方案，该方案首先将中性的表情拆分除去，进一步结合当前的表情空间数据进行了中性表情系数和表情空间系数的预测分析，并结合工人的提问确定工人额安全状态和现场工作进度。
图3是本发明一个实施例的一种具有安全警示系统的程控工业机器人中的预先确定的预设工作完成进度曲线取值的获取方法的流程图。
如图3所示，在一个或多个实施例中，优选地，所述预先确定的预设工作完成进度曲线取值的获取方法，具体包括：
S301、获取工人每日完成进度，以5分钟为时间间隔进行进度采集，存储为进度数据组；
S302、对进度数据组的数据进行滤波，当后一时间的进度低于前一时间进度时，将前一时间进度替换为后一时间进度；
S303、将全部的进度数据汇总为矩阵形式，提取每个间隔时间位置的进度列向量，计算所有的所述进度列向量的平均值，生成预设进度取值；
S304、以全部的所述预设进度取值为基础进行曲线拟合，生成所述预先确定的预设工作完成进度曲线。
图4是本发明一个实施例的一种具有安全警示系统的程控工业机器人中的警示发出模块进行阻止错误的流程图。
如图4所示，在一个或多个实施例中，优选地，所述的警示发出模块104在发出安全警示的同时还将进行阻止错误，具体过程包括：
S401、所述的警示发出模块104向安全员发送警示信息；
S402、所述的警示发出模块104发出安全警示的所述安全员过程中存在确认环节，所述安全员收到所述安全警示后，自动反馈收到信号，并反馈信息收取时间；
S403、在所述信息收取时间后的10分钟内，若所述安全员进行在线的信息确认，并反馈确认收到信息，则认为阻止工作开始；
S404、在所述信息收取时间后的10分钟内，若所述安全员未进行在线的信息确认，则认为阻止工作终止；
S405、所述安全员完成阻止工人进一步的作业的任务后，反馈阻止完成命令给所述的警示发出模块104。
在一个或多个实施例中，优选地，所述的人脸识别模块101中还设置或远程连接有员工数据库，该员工数据库中预存储有员工信息，所述的人脸识别模块101在对工人的面部表情进行识别的同时将该工人的面部特征与员工数据库中预存储的员工信息进行比对，判断该工人是否有电工证和登高证，如果没有则通过所述的警示发出模块104发出安全警示。
在一个或多个实施例中，优选地，所述的信号联接模块103还用于自动监测员工是否按流程对风机进行停机操作，具体包括操作时风机不能带电；当风机未运行时进行操作时，风机切换至维护状态。
在一个或多个实施例中，优选地，所述安全问题的特征包括发生所述安全问题的原因、位置、所述安全问题发生时工人的身份信息和操作动作。
在一个或多个实施例中，优选地，所述的人脸识别模块101还用于监测工人是否正确佩戴好安全防护用品，以及是否使用破损的个人防护用品，在判断工人未正确佩戴好安全防护用品或者使用破损及未经检验合格的安全工器具和个人防护用品时，通过所述的警示发出模块104发出安全警示。
在本发明实施例中，所述的劳保用品和安全工具包括但不限于防电弧冲击面屏、绝缘手套、绝缘鞋、绝缘毯或绝缘凳、电气锁具、验电器或接地线等。
在一个或多个实施例中，优选地，所述的智能问答模块102对工人进行主动提问的内容还包括询问工人能否正确使用与变压器电压相适应的劳保用品和安全工具，在工人的回答答案中如果出现不符合使用规范的内容的时候，通过所述的警示发出模块104发出安全警示。
本发明的实施例提供的技术方案可以包括以下有益效果：
本发明所述的具有安全警示系统的程控工业机器人通过人脸识别模块自动识别工人的面部表情进而判断工人的精神状态，在工人精神状态不佳的时候发出安全警示，避免因工人精神状态不佳而造成安全事故。所述的安全警示系统还通过与风机本身的主控系统相联接，自动监测温度、风速等运行参数，自动监测员工是否按流程对风机进行停机操作（操作时不能带电，有时即使风机没转，也要把它切换到 “维护状态”）。
本发明所述的具有安全警示系统的程控工业机器人能够进行特征提取与数据分析。一旦有风力发电机组里的员工操作出现问题，安全员将信息录入所述的安全警示系统的后台信息系统。所述的安全警示系统可以做分析，将结果再反馈到算法中进行优化。即：本发明所述的安全警示系统能自我学习和成长。
此外，本发明所述的具有安全警示系统的程控工业机器人除了能够应用在风电场中以外，还能够应用在矿井等高危环境中，通过给出安全警示提高安全性，有效避免事故的发生。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器和光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种具有安全警示系统的程控工业机器人，其特征在于，该机器人包括：人脸识别模块、智能问答模块、信号联接模块、警示发出模块、安全问题复盘模块；
所述的人脸识别模块，用于识别工人的面部表情，并根据所述面部表情判断工人的精神状态，在工人精神状态不佳的时通过所述的警示发出模块发出安全警示；
所述的智能问答模块，用于对工人进行主动提问，根据工人的回答内容及语气识别工人的作业有无风险，存在风险时通过所述的警示发出模块发出安全警示；
所述的信号联接模块，用于与作业对象的主控系统相联接，自动监测作业对象的运行参数，在运行参数不适合即将要进行作业时，通过所述的警示发出模块发出安全警示；
所述的安全问题复盘模块，用于进行特征提取与数据分析，当出现安全问题时，所述安全问题复盘模块用于将所述安全问题的特征提取出来，并录入所述安全问题复盘模块的后台信息系统，由所述后台信息系统进行数据分析后将分析结果反馈到安全警示系统中进行优化，从而完成所述安全问题复盘模块的安全警示功能的自动学习。
2.如权利要求1所述的一种具有安全警示系统的程控工业机器人，其特征在于，所述的人脸识别模块识别工人的面部表情方法，具体包括：
获取当前被测工人的人脸表情与历史表情，提取中性表情分量；
获取当前被测工人的所述人脸表情，并利用第一计算公式将所述人脸表情进行表情分量的拆分；
提取当前被测工人的工作完成进度和当前被测工人的工作执行可靠性，利用第二计算公式获取当前被测工人的归一化工作心态指数；
利用第三计算公式计算表情分量变化频率，当所述归一化工作心态指数超过预设定值，且表情分量变化频率超过每分钟1次的状态下5次的情况,发出安全提示指令，并发出在线的视频指导；
根据工人的所述人脸表情与所述历史表情，利用第四计算公式进行中性表情系数和表情系数预测，确定未来一段时间的工人表情的所述中性表情系数和所述表情系数，并利用第五计算公式获得目标工人表情的预测；
所述第一计算公式为：
F2=F-Fre-F1
其中，F2为表情分量；F为所述人脸表情；F1为所述中性表情分量；Fre为标准人脸表情；
所述第二计算公式为：
P=[1-(X-A)/A]*B
其中，P为所述归一化工作心态指数，X为当前工人的工作完成进度，A为预先确定的预设工作完成进度曲线取值，B为当前工人的工作执行可靠性，
所述第三计算公式为：
T=Time[F2>S1]
其中，T为所述表情分量变化频率，Time[]为用于判定所述表情分量大于预设变化裕度次数的函数，F2为所述表情分量，S1为所述预设变化裕度；
所述第四计算公式：
Figure 533871DEST_PATH_IMAGE001
其中，
Figure 513328DEST_PATH_IMAGE002
为向量y与向量
Figure 293065DEST_PATH_IMAGE003
的欧氏距离，
Figure 688275DEST_PATH_IMAGE004
为表示x2的稀疏程度的预设系数，
Figure 564964DEST_PATH_IMAGE005
为x2中系数的绝对值之和，y为所述人脸表情与所述标准人脸表情系数之差形成的向量，argmin{}为获取{}内数据取的最小值时对应的x1、x2的训练函数；
所述第五计算公式：
Figure 387426DEST_PATH_IMAGE006
其中，A1为中性表情空间，A2为表情空间，x1为中性表情空间的系数，x2为表情空间的系数，Fm为所述目标工人表情。
3.如权利要求1所述的一种具有安全警示系统的程控工业机器人，其特征在于，所述的智能问答模块对工人进行主动提问的内容包括询问工人叶片维修、巡检、定期维护，根据不同的答案调用不同的要求或程序来判断该工人的作业环境有无风险。
4.如权利要求2所述的一种具有安全警示系统的程控工业机器人，其特征在于，所述预先确定的预设工作完成进度曲线取值的获取方法，具体包括：
获取工人每日完成进度，以5分钟为时间间隔进行进度采集，存储为进度数据组；
对进度数据组的数据进行滤波，当后一时间的进度低于前一时间进度时，将前一时间进度替换为后一时间进度；
将全部的进度数据汇总为矩阵形式，提取每个间隔时间位置的进度列向量，计算所有的所述进度列向量的平均值，生成预设进度取值；
以全部的所述预设进度取值为基础进行曲线拟合，生成所述预先确定的预设工作完成进度曲线。
5.如权利要求1所述的一种具有安全警示系统的程控工业机器人，其特征在于，所述的警示发出模块在发出安全警示的同时还将进行阻止错误，具体过程包括：
所述的警示发出模块向安全员发送警示信息； 所述的警示发出模块发出安全警示的所述安全员过程中存在确认环节，所述安全员收到所述安全警示后，自动反馈收到信号，并反馈信息收取时间；
在所述信息收取时间后的10分钟内，若所述安全员进行在线的信息确认，并反馈确认收到信息，则认为阻止工作开始；
在所述信息收取时间后的10分钟内，若所述安全员未进行在线的信息确认，则认为阻止工作终止；
所述安全员完成阻止工人进一步的作业的任务后，反馈阻止完成命令给所述的警示发出模块。
6.如权利要求1所述的一种具有安全警示系统的程控工业机器人，其特征在于，所述的人脸识别模块中还设置或远程连接有员工数据库，该员工数据库中预存储有员工信息，所述的人脸识别模块在对工人的面部表情进行识别的同时将该工人的面部特征与员工数据库中预存储的员工信息进行比对，判断该工人是否有电工证和登高证，如果没有则通过所述的警示发出模块发出安全警示。
7.如权利要求1所述的一种具有安全警示系统的程控工业机器人，其特征在于，所述的信号联接模块还用于自动监测员工是否按流程对风机进行停机操作，具体包括操作时风机不能带电；当风机未运行时进行操作时，风机切换至维护状态。
8.如权利要求1所述的一种具有安全警示系统的程控工业机器人，其特征在于，所述安全问题的特征包括发生所述安全问题的原因、位置、所述安全问题发生时工人的身份信息和操作动作。
9.如权利要求1所述的一种具有安全警示系统的程控工业机器人，其特征在于，所述的人脸识别模块还用于监测工人是否正确佩戴好安全防护用品，以及是否使用破损的个人防护用品，在判断工人未正确佩戴好安全防护用品或者使用破损及未经检验合格的安全工器具和个人防护用品时，通过所述的警示发出模块发出安全警示。
10.如权利要求1所述的一种具有安全警示系统的程控工业机器人，其特征在于，所述的智能问答模块对工人进行主动提问的内容还包括询问工人能否正确使用与变压器电压相适应的劳保用品和安全工具，在工人的回答答案中如果出现不符合使用规范的内容的时候，通过所述的警示发出模块发出安全警示。
CN202110883418.1A 2021-08-03 2021-08-03 一种具有安全警示系统的程控工业机器人 Active CN113326822B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110883418.1A CN113326822B (zh) 2021-08-03 2021-08-03 一种具有安全警示系统的程控工业机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110883418.1A CN113326822B (zh) 2021-08-03 2021-08-03 一种具有安全警示系统的程控工业机器人

Publications (2)

Publication Number Publication Date
CN113326822A CN113326822A (zh) 2021-08-31
CN113326822B true CN113326822B (zh) 2021-10-15

Family

ID=77426801

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110883418.1A Active CN113326822B (zh) 2021-08-03 2021-08-03 一种具有安全警示系统的程控工业机器人

Country Status (1)

Country Link
CN (1) CN113326822B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109240311A (zh) * 2018-11-19 2019-01-18 国网四川省电力公司电力科学研究院 基于智能机器人的室外电力场地施工作业监督方法
CN112184475A (zh) * 2020-08-21 2021-01-05 国网河南省电力公司焦作供电公司 电力生产作业电子两票系统
CN112395948A (zh) * 2019-12-10 2021-02-23 吴仁超 融合人脸识别与数据分析的智能签到系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070098229A1 (en) * 2005-10-27 2007-05-03 Quen-Zong Wu Method and device for human face detection and recognition used in a preset environment

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109240311A (zh) * 2018-11-19 2019-01-18 国网四川省电力公司电力科学研究院 基于智能机器人的室外电力场地施工作业监督方法
CN112395948A (zh) * 2019-12-10 2021-02-23 吴仁超 融合人脸识别与数据分析的智能签到系统
CN112184475A (zh) * 2020-08-21 2021-01-05 国网河南省电力公司焦作供电公司 电力生产作业电子两票系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
人脸表情识别研究的新进展;刘晓旻等;《中国图象图形学报》;20061031(第10期);全文 *

Also Published As

Publication number Publication date
CN113326822A (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
CN107402921B (zh) 识别用户行为的事件时序数据处理方法、装置及系统
CN110210632A (zh) 基于泛在电力物联网的故障应急处理方法、装置及终端
US12001985B2 (en) System for action determination
CN117006002B (zh) 基于数字孪生的海上风力发电机监测方法及系统
CN115358155A (zh) 一种电力大数据异常预警方法、装置、设备及可读存储介质
CN112528860A (zh) 基于图像识别的安全工器具管理方法及系统
EP4038557A1 (en) Method and system for continuous estimation and representation of risk
CN115330129A (zh) 一种企业安全风险预警分析方法及系统
CN113326822B (zh) 一种具有安全警示系统的程控工业机器人
Zhao A PROCESS ORIENTED QUALITY CONTROL APPROACH BASED ON DYNAMIC SPC AND FMEA REPOSITORY.
CN113657788A (zh) 一种企业安全生产标准化智能监管系统及方法
Diop et al. A mathematical model: A flexible manufacturing system, prone to error, making two products each with stochastic demand schedules
CN116385925A (zh) 一种生产现场智慧安全管理方法及系统
Wang et al. Initial Task Allocation in Multi-Human Multi-Robot Teams: An Attention-enhanced Hierarchical Reinforcement Learning Approach
CN115378136A (zh) 一种电网二次设备安全风险智能预警方法及预警装置
JP2019139319A (ja) 物流管理装置、物流管理方法及びプログラム
CN104063315B (zh) 一种对电力调度自动化软件行为进行检测的系统
Chernetskaya Structure of conceptual models in the senior operating staff of nuclear power plants
CN118172213B (zh) 一种基于多源数据融合的工伤预防培训管理系统
CN113657689B (zh) 一种自适应微型电网的调度优化的方法及系统
CN117972687B (zh) 一种基于区块链的电力智能监控系统
Duffuaa et al. A mathematical model for the optimal robust design of cause selecting control charts
Kosmowski Cognitive engineering and functional safety technology for reducing risks in hazardous plants
CN115169821A (zh) 一种地铁设备检维修作业智能决策管控方法及系统
Vijayaraghavan et al. Fuzzy logic in process safety modeling of chemical process

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant