CN111582167B - 集装箱起重机司机操作安全识别方法、系统、计算设备 - Google Patents

集装箱起重机司机操作安全识别方法、系统、计算设备 Download PDF

Info

Publication number
CN111582167B
CN111582167B CN202010381615.9A CN202010381615A CN111582167B CN 111582167 B CN111582167 B CN 111582167B CN 202010381615 A CN202010381615 A CN 202010381615A CN 111582167 B CN111582167 B CN 111582167B
Authority
CN
China
Prior art keywords
driver
result
recognition result
current
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010381615.9A
Other languages
English (en)
Other versions
CN111582167A (zh
Inventor
王勇
周超群
张瑜杰
胡鑫楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Zhenghua Heavy Industries Co Ltd
Original Assignee
Shanghai Zhenghua Heavy Industries Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Zhenghua Heavy Industries Co Ltd filed Critical Shanghai Zhenghua Heavy Industries Co Ltd
Priority to CN202010381615.9A priority Critical patent/CN111582167B/zh
Publication of CN111582167A publication Critical patent/CN111582167A/zh
Application granted granted Critical
Publication of CN111582167B publication Critical patent/CN111582167B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G07C1/10—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people together with the recording, indicating or registering of other data, e.g. of signs of identity
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

本发明提供了一种集装箱起重机司机操作安全识别方法，包括以下步骤：采集司机的当前面部信息；采集司机的当前操作信息；根据逻辑控制状态，接收、识别当前面部信息和当前操作信息，获得面部识别结果和操作识别结果；接收面部识别结果和操作识别结果，获得综合分析结果；判断面部识别结果、操作识别结果、综合分析结果中至少一种与预设规范数据库中规范行为是否匹配；输出匹配结果，其中，当匹配结果为不匹配时，则系统启动应急机制。还提供一种集装箱起重机司机操作安全识别系统、计算设备及存储介质。可以对司机的工作状态进行实时分析，判断是否存在非正常操作，对非正常操作进行及时干预和报警，降低操作失误的发生，避免引发重大的安全事故。

Description

集装箱起重机司机操作安全识别方法、系统、计算设备
技术领域
本发明涉及集装箱起重机行业安全技术领域，尤其涉及一种集装箱起重机司机操作安全识别方法、系统、计算设备。
背景技术
司机是操作集装箱起重机起吊的关键人物，但对码头设备长时间的重复操作，容易造成司机疲劳和操作失误；另外操作司机工作时注意力不集中，身体状态不佳等情况也会导致其操作失误，从而引发重大的安全事故。
发明内容
本发明解决的技术问题是司机疲劳和操作失误，易引起重大的安全事故。本发明提供了一种集装箱起重机司机操作安全识别方法、系统、计算设备及存储介质，可以对司机的工作状态进行实时分析，判断是否存在非正常操作，对非正常操作进行及时干预和报警，降低操作失误的发生，避免引发重大的安全事故。
为了解决上述问题，本发明的实施方式公开了一种集装箱起重机司机操作安全识别方法，包括以下步骤：采集司机的当前面部信息；采集司机的当前操作信息；根据逻辑控制状态，接收、识别当前面部信息和当前操作信息，获得面部识别结果和操作识别结果；接收面部识别结果和操作识别结果，获得综合分析结果；判断面部识别结果、操作识别结果、综合分析结果中至少一种与预设规范数据库中规范行为是否匹配；输出匹配结果，其中，当匹配结果为不匹配时，则系统启动应急机制。
采用上述技术方案，可以对司机的工作状态进行实时分析，判断是否存在非正常操作，对非正常操作进行及时干预和报警，降低操作失误的发生，避免引发重大的安全事故。
根据本发明的另一具体实施方式，本发明的实施方式公开了一种集装箱起重机司机操作安全识别方法，预设规范数据库包括操作节点流程，安全识别方法还包括以下步骤：根据综合分析结果与预设规范数据库的匹配结果获取当前操作节点；根据当前操作节点提示司机下一步的正确操作信息。
根据本发明的另一具体实施方式，本发明的实施方式公开了一种集装箱起重机司机操作安全识别方法，还包括以下步骤：采集起重机当前工作状态下各机构运行允许条件的信号；根据面部识别结果、操作识别结果及各机构运行允许条件的信号获得综合分析结果；根据综合分析结果与规范数据库进行匹配，得到起重机的操作目标；其中，当操作目标为俯仰作业时：若制动信息为未释放或当前操作信息为起升时，则匹配结果为不匹配。
根据本发明的另一具体实施方式，本发明的实施方式公开了一种集装箱起重机司机操作安全识别方法，在接收面部识别结果和操作识别结果，获得综合分析结果步骤之前，包括：判断面部识别结果、操作识别结果中至少一种与预设规范数据库中规范行为是否匹配。
根据本发明的另一具体实施方式，本发明的实施方式公开了一种集装箱起重机司机操作安全识别方法，操作识别结果包括：识别当前操作信息相对应的逻辑控制状态，并依据逻辑控制状态显示PLC指示状态。
根据本发明的另一具体实施方式，本发明的实施方式公开了一种集装箱起重机司机操作安全识别方法，面部识别结果包括：基于k-mean的改进算法，识别当前面部信息中眼睛的位置，采用卷积网络进行二次检测确认。
根据本发明的另一具体实施方式，本发明的实施方式公开了一种集装箱起重机司机操作安全识别方法，综合分析结果包括：当无法识别到司机眼睛的时间达到阈值时，且PLC指示状态发生改变，则司机的面部识别结果与预设规范数据库中规范行为不匹配。
根据本发明的另一具体实施方式，本发明的实施方式公开了一种集装箱起重机司机操作安全识别方法，当PLC标准指示状态对应的司机操作信息与司机的当前操作信息不对应时，则司机的所述操作识别结果与预设规范数据库中规范行为不匹配。
根据本发明的另一具体实施方式，本发明的实施方式公开了一种集装箱起重机司机操作安全识别方法，还包括以下步骤：身份识别认证；选择远程或本地操作模式；选择人脸识别算法。
根据本发明的另一具体实施方式，本发明的实施方式公开了一种集装箱起重机司机操作安全识别方法，当面部识别结果、操作识别结果、综合分析结果中至少一种与预设规范数据库中规范行为不匹配时，启动报警装置进行提示或者紧急制动。
根据本发明的另一具体实施方式，本发明的实施方式公开了一种集装箱起重机司机操作安全识别方法，报警装置包括本地报警机制和远程报警机制；所述提示包括：声音、光、振动。
根据本发明的另一具体实施方式，本发明的实施方式公开了一种集装箱起重机司机操作安全识别方法，当前操作信息包括：操控设备的前进、后退、起吊。
根据本发明的另一具体实施方式，本发明的实施方式公开了一种集装箱起重机司机操作安全识别方法，在所述采集司机的面部信息步骤之前，收到司机启动信号。
本发明的实施方式还公开了一种集装箱起重机司机操作安全识别系统，包括：启动模块，适于接受司机启动信号；采集模块，适于采集司机的当前面部信息和当前操作信息；识别模块，包括识别单元，识别单元适于根据逻辑控制状态，接收、识别当前面部信息和当前操作信息，获得面部识别结果和操作识别结果；综合模块，适于接收面部识别结果和操作识别结果，获得综合分析结果；判断模块，适于判断面部识别结果、操作识别结果、综合分析结果中至少一种与预设规范数据库中规范行为是否匹配；输出模块，适于输出匹配结果，其中，当匹配结果为不匹配时，则系统启动应急机制。
采用上述技术方案，可以对司机的工作状态进行实时分析，判断是否存在非正常操作，对非正常操作进行及时干预和报警，降低操作失误的发生，避免引发重大的安全事故。
根据本发明的另一具体实施方式，本发明的实施方式公开了一种集装箱起重机司机操作安全识别系统，预设规范数据库包括操作节点流程，安全识别系统还包括：获取模块，适于根据综合分析结果与预设规范数据库的匹配结果获取当前操作节点；提示模块，适于根据当前操作节点提示司机下一步的正确操作信息。
根据本发明的另一具体实施方式，本发明的实施方式公开了一种集装箱起重机司机操作安全识别系统，还包括：第一采集模块，适于采集所述起重机当前工作状态下各机构运行允许条件的信号；第一综合模块，适于根据所述面部识别结果、所述操作识别结果及所述各机构运行允许条件的信号获得所述综合分析结果；第一判断模块，适于根据所述综合分析结果与规范数据库进行匹配，得到所述起重机的操作目标；其中，当所述操作目标为俯仰作业时：若所述制动信息为未释放或所述当前操作信息为起升时，则匹配结果为不匹配。
根据本发明的另一具体实施方式，本发明的实施方式公开了一种集装箱起重机司机操作安全识别系统，识别模块还包括：判断单元，适于判断面部识别结果、操作识别结果中至少一种与预设规范数据库中规范行为是否匹配。
根据本发明的另一具体实施方式，本发明的实施方式公开了一种集装箱起重机司机操作安全识别系统，操作识别结果包括：识别当前操作信息相对应的逻辑控制状态，并依据逻辑控制状态显示PLC指示状态；面部识别结果包括：基于k-mean的改进算法，识别当前面部信息中眼睛的位置，采用卷积网络进行二次检测确认；综合分析结果包括：当无法识别到司机眼睛的时间达到阈值时，且PLC指示状态发生改变，则司机的面部识别结果与预设规范数据库中规范行为不匹配；其中，当PLC标准指示状态对应的司机操作信息与司机的当前操作信息不对应时，则司机的操作识别结果与预设规范数据库中规范行为不匹配。
根据本发明的另一具体实施方式，本发明的实施方式公开了一种集装箱起重机司机操作安全识别系统，还包括：应急模块，适于当面部识别结果、操作识别结果、综合分析结果中至少一种与预设规范数据库中规范行为不匹配时，启动报警装置进行提示或者紧急制动，其中，报警装置包括本地报警机制和远程报警机制；提示包括：声音、光、振动，当前操作信息包括：操控设备的前进、后退、起吊。
根据本发明的另一具体实施方式，本发明的实施方式公开了一种集装箱起重机司机操作安全识别系统，还包括：验证模块，适于身份识别认证；选择模块，适于选择远程或本地操作模式，选择人脸识别算法。
本发明的实施方式还公开了一种计算设备，包括:处理器，适于实现各种指令；存储器，适于存储多条指令，所述指令适于由所述处理器加载并执行上述实施例所述的集装箱起重机司机操作安全识别方法。
采用上述技术方案，可以对司机的工作状态进行实时分析，判断是否存在非正常操作，对非正常操作进行及时干预和报警，降低操作失误的发生，避免引发重大的安全事故。
本发明的实施方式还公开了一种存储介质，所述存储介质存储有多条指令，所述指令适于由处理器加载并执行上述实施例所述的集装箱起重机司机操作安全识别方法。
采用上述技术方案，可以对司机的工作状态进行实时分析，判断是否存在非正常操作，对非正常操作进行及时干预和报警，降低操作失误的发生，避免引发重大的安全事故。
附图说明
图1是本发明实施例的集装箱起重机司机操作安全识别方法的流程图一；
图2是本发明人眼定位的示意图；
图3是本发明实施例的集装箱起重机司机操作安全识别方法的流程图二；
图4是本发明实施例的集装箱起重机司机操作安全识别系统的示意框图一；
图5是本发明实施例的集装箱起重机司机操作安全识别方法的流程图三；
图6是本发明实施例的集装箱起重机司机操作安全识别系统的示意框图二。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其他优点及功效。虽然本发明的描述将结合较佳实施例一起介绍，但这并不代表此发明的特征仅限于该实施方式。恰恰相反，结合实施方式作发明介绍的目的是为了覆盖基于本发明的权利要求而有可能延伸出的其它选择或改造。为了提供对本发明的深度了解，以下描述中将包含许多具体的细节。本发明也可以不使用这些细节实施。此外，为了避免混乱或模糊本发明的重点，有些具体细节将在描述中被省略。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
应注意的是，在本说明书中，相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。
本发明中“预设规范数据库”是指由司机操作集装箱起重机的操作特征和面部特征作为规范行为而建立的数据库，其中操作特征可以为操控设备的前进、后退、起吊等状态，面部特征可以为正视前方等，该预设规范数据库可根据需要进行更新。
以下结合附图1描述根据本发明的具体实施方式的一种集装箱起重机司机操作安全识别方法。图1是本发明实施例的集装箱起重机司机操作安全识别方法的流程图。根据本发明实施例提供的一种集装箱起重机司机操作安全识别方法，包括以下步骤：
S1：采集司机的当前面部信息；
S2：采集司机的当前操作信息；
S3：根据逻辑控制状态，接收、识别当前面部信息和当前操作信息，获得面部识别结果和操作识别结果；
S4：接收面部识别结果和操作识别结果，获得综合分析结果；
S5：判断面部识别结果、操作识别结果、综合分析结果中至少一种与预设规范数据库中规范行为是否匹配；
S6：输出匹配结果，其中，当匹配结果为不匹配时，则系统启动应急机制。
具体来说，前端相机布置在司机正前方，采集司机的当前面部信息和当前操作信息，前端相机分析司机的当前面部信息，PLC(Programmable Logic Controller)逻辑控制反馈司机操作流程，后端的处理软件接收、识别当前面部信息和当前操作信息，获得面部识别结果和操作识别结果，进一步接收面部识别结果和操作识别结果，获得综合分析结果，判断面部识别结果、操作识别结果、综合分析结果中至少一种与预设规范数据库中规范行为是否匹配，输出匹配结果，分析司机的当前行为是否存在非正常操作(判断司机是否分心、疲劳或者应该目视前方的时间段内而没有目视前方)，并对非正常操作进行及时干预和报警，降低操作失误的发生，避免引发重大的安全事故。
本发明实施例通过可编程逻辑控制器(PLC)实现对起重机操作的控制，并通过预设规范数据库中预设的规范行为作为辅助判定，起重机操作在本地操作起重机时，还需通过可编程逻辑控制器(PLC)来辨别司机是否需要低头操作。
进一步地，预设规范数据库包括操作节点流程，安全识别方法还包括以下步骤：根据综合分析结果与预设规范数据库的匹配结果获取当前操作节点；根据当前操作节点提示司机下一步的正确操作信息。对于新手司机来说，在不熟悉操作流程的情况下，可以用来提示新手司机如何进行后续操作，以达到辅助操作或提示报警的目的。
进一步地，还包括以下步骤：采集起重机当前工作状态下各机构运行允许条件的信号；采集起重机当前工作状态下的制动信息；根据面部识别结果、操作识别结果及各机构运行允许条件的信号获得综合分析结果；根据综合分析结果与规范数据库进行匹配，得到起重机的操作目标；其中，当操作目标为俯仰作业时：若制动信息为未释放或当前操作信息为起升时，则匹配结果为不匹配，进行报警提示，这样可以降低操作失误的发生，避免引发重大的安全事故。
具体来说，若要运行俯仰，必须满足风速正常、大车、起升、小车制动器都释放等一系列条件。当新手司机面对已发生的故障不知如何操作时，系统会根据人脸识别、操作手柄、预设规范数据库中预设的俯仰逻辑以及采集的逻辑状态等一系列条件综合分析判断，给出最终提示，以帮助司机将俯仰运行起来，而对于操作俯仰时的不规范操作也会给出报警提示。例如，若制动器未释放，则开始操作设备，这样会磨损制动器甚至出现危险，此时系统也会进行报警提示。
进一步地，在S4：接收面部识别结果和操作识别结果，获得综合分析结果步骤之前，包括：判断面部识别结果、操作识别结果中至少一种与预设规范数据库中规范行为是否匹配。具体来说，当面部识别结果、操作识别结果中任一种与预设规范数据库中规范行为不匹配时，则司机当前行为属于非正常操作，系统进行及时干预和报警。
进一步地，操作识别结果包括：识别当前操作信息相对应的逻辑控制状态，并依据逻辑控制状态显示PLC指示状态。由于前端采集设备，例如前端相机，无法知道司机控制的设备是如何运作的，只能通过读取PLC的逻辑状态作为判断依据，再结合司机的面部信息，分析司机的当前行为。
进一步地，面部识别结果包括：基于k-mean的改进算法，识别当前面部信息中眼睛的位置，同时采用卷积网络进行二次检测确认，使用CNN，LSTM等算法完成人眼的行为识别。司机刷卡上机操作，获得卡片信息判断司机身份，确定远程或本地操作模式，司机开始操作起重机，通过相机采集司机面部信息，根据远程或本地信号，确定面部识别的算法，其中远程模式只判断眼睛，本地模式结合吊具下降信号排除司机低头的情况，同时采集司机当前操作设备的运行控制信号综合判断。如图2所示，具体来说，人眼初步定位，是根据人眼在人脸中的位置分布的先验知识，在人脸识别的基础上，假设采集到的人脸宽度W，高度为H，设人脸矩形框的起点坐标为(X,Y)，建立模型。把人脸的宽度分为6份均等长度，高度分为4份均等长度，框选出的人眼位置的起点坐标为(X+1/6W，Y+1/4H)，终点位置的坐标为(X+5/6W，Y+1/2H)，由该矩形两端决定的位置就是人眼所在的部位。
进一步地，综合分析结果包括：当无法识别到司机眼睛的时间达到阈值时，且PLC指示状态发生改变，则司机的面部识别结果与预设规范数据库中规范行为不匹配。进结合图3所示，通过人眼追踪、PLC逻辑控制的操作流程步骤、PLC逻辑中每个逻辑点的状态的结合来判断司机是否处于疲劳操作或者误操作或者注意力不集中等情况，其中识别到司机眼睛的时间达到阈值是指司机眼睛长时间没有朝向屏幕(如司机闭眼时间超过0.3秒)，结合PLC逻辑的司机操作信号发生改变，则提醒司机注意。具体来说，例如，司机没有正视前方，但按了前进按钮或者向前推手柄，属于非正常操作，容易造成安全事故，系统会发出报警，或者如图3所示，司机眼睛长时间没有朝向屏幕(如司机闭眼时间超过0.3秒)，则系统发出报警。
进一步地，集装箱起重机司机操作安全识别方法，还包括以下步骤：S20：身份识别认证；选择远程或本地操作模式；选择人脸识别算法。具体来说，如图5所示，S10：司机启动信号，为司机打卡操作设备；S20：获得卡片信息判断司机身份；选择远程或本地操作模式；确定远程或本地操作模式，司机开始操作起重机，通过相机采集司机面部信息，根据远程或本地信号，确定面部识别的算法；远程模式只判断眼睛，本地模式结合吊具下降信号排除司机低头的情况；S30：采集司机的当前面部信息；S40：采集司机的当前操作信息；S50：根据逻辑控制状态，接收、识别当前面部信息和当前操作信息，获得面部识别结果和操作识别结果；S60：接收面部识别结果和操作识别结果，获得综合分析结果；S70：判断面部识别结果、操作识别结果、综合分析结果中至少一种与预设规范数据库中规范行为是否匹配；S80：输出匹配结果，其中，当匹配结果为不匹配时，则系统启动应急机制。
进一步地，当PLC标准指示状态对应的司机操作信息与司机的当前操作信息不对应时，则认为司机的操作识别结果与预设规范数据库中规范行为不匹配，系统启动应急机制，其中应急机制包括：启动报警装置进行提示或者紧急制动。例如，PLC逻辑获得的司机操作指令与面部识别结果的应有状态不符合正常操作流程，即综合分析结果与预设规范数据库中规范行为不匹配，则属于非正常操作，系统启动报警装置进行提示，提醒司机和后台管理人员，情况严重时进行紧急制动，系统可以中断设备的非正常运行。PLC标准指示状态是指预设规范数据库中PLC逻辑中每个逻辑点的状态。
进一步地，当面部识别结果、操作识别结果、综合分析结果中至少一种与预设规范数据库中规范行为不匹配时，启动报警装置进行提示或者紧急制动。
进一步地，报警装置包括本地报警机制和远程报警机制，提示包括：声音、光、振动，远程报警机制可以为远程提醒控制室的工作人员，该设备出现警报情况，以便及时采取有效措施。
进一步地，当前操作信息包括：操控设备的前进、后退、起吊。
进一步地，在S1：采集司机的面部信息步骤之前，收到司机启动信号，即司机打卡操作设备。
以下结合附图4描述根据本发明的具体实施方式的一种集装箱起重机司机操作安全识别系统。图4是本发明实施例的集装箱起重机司机操作安全识别系统的示意框图。根据本发明实施例提供的一种集装箱起重机司机操作安全识别系统1，包括：启动模块11，适于接受司机启动信号；采集模块12，适于采集司机的当前面部信息和当前操作信息；识别模块13，包括识别单元132，识别单元132适于根据逻辑控制状态，接收、识别当前面部信息和当前操作信息，获得面部识别结果和操作识别结果；综合模块14，适于接收面部识别结果和操作识别结果，获得综合分析结果；判断模块15，适于判断面部识别结果、操作识别结果、综合分析结果中至少一种与预设规范数据库中规范行为是否匹配；输出模块16，适于输出匹配结果，其中，当匹配结果为不匹配时，则系统启动应急机制。可以对司机的工作状态进行实时分析，判断是否存在非正常操作，对非正常操作进行及时干预和报警，降低操作失误的发生，避免引发重大的安全事故。
进一步地，如图4和图6所示，预设规范数据库包括操作节点流程，安全识别系统还包括：获取模块，适于根据综合分析结果与预设规范数据库的匹配结果获取当前操作节点；提示模块18，适于根据当前操作节点提示司机下一步的正确操作信息。对于新手司机来说，在不熟悉操作流程的情况下，可以用来提示新手司机如何进行后续操作，以达到辅助操作或提示报警的目的。
进一步地，如图6所示，还包括：第一采集模块12，适于采集所述起重机当前工作状态下各机构运行允许条件的信号；识别模块13，包括识别单元132，识别单元132适于根据逻辑控制状态，接收、识别当前面部信息和当前操作信息，获得面部识别结果和操作识别结果；第一综合模块14，适于根据所述面部识别结果、所述操作识别结果及所述各机构运行允许条件的信号获得所述综合分析结果；第一判断模块15，适于根据所述综合分析结果与规范数据库进行匹配，得到所述起重机的操作目标；输出模块16，适于输出所述起重机的操作目标，其中，当所述操作目标为俯仰作业时：若所述制动信息为未释放，且所述当前操作信息为起升时，则匹配结果为不匹配，启动应急模块17，进行报警提示，这样可以降低操作失误的发生，避免引发重大的安全事故；若所述制动信息为释放或所述当前操作信息为起升时，则匹配结果为匹配，启动提示模块18，提示新手司机进行下一步操作。
进一步地，如图4和图6所示，识别模块还包括：判断单元131，适于判断面部识别结果、操作识别结果中至少一种与预设规范数据库中规范行为是否匹配。
进一步地，操作识别结果包括：识别当前操作信息相对应的逻辑控制状态，并依据逻辑控制状态显示PLC指示状态；面部识别结果包括：基于k-mean的改进算法，识别当前面部信息中眼睛的位置，同时采用卷积网络进行二次检测确认，使用CNN，LSTM等算法完成人眼的行为识别；综合分析结果包括：当无法识别到司机眼睛的时间达到阈值时，且PLC指示状态发生改变，则司机的面部识别结果与预设规范数据库中规范行为不匹配；其中，当PLC标准指示状态对应的司机操作信息与司机的当前操作信息不对应时，则司机的操作识别结果与预设规范数据库中规范行为不匹配。
进一步地，还包括：应急模块17，适于当面部识别结果、操作识别结果、综合分析结果中至少一种与预设规范数据库中规范行为不匹配时，启动报警装置进行提示或者紧急制动，其中，报警装置包括本地报警机制和远程报警机制；提示包括：声音、光、振动，当前操作信息包括：操控设备的前进、后退、起吊。
进一步地，还包括：验证模块，适于身份识别认证；选择模块，适于选择远程或本地操作模式，选择人脸识别算法。远程或本地操作模式的选择，还可以是根据验证模块的身份识别结果自动进行，例如A司机仅具有远程操作的权限时，当验证模块识别出司机为A时，即自动切换到远程操作模式，此时能够防止没有相应模式操作经验的司机误操作，提升了作业安全。
本发明还提供一种计算设备，包括:处理器，适于实现各种指令；存储器，适于存储多条指令，所述指令适于由所述处理器加载并执行上述实施例所述的集装箱起重机司机操作安全识别方法。
本发明还提供一种存储介质，所述存储介质存储有多条指令，所述指令适于由处理器加载并执行上述实施例所述的集装箱起重机司机操作安全识别方法。
根据一个或多个实施例，所述存储器可以包括计算机可读记录/存储介质，如随机存取存储器(RAM)、只读存储器(ROM)、闪存存储器、光盘、磁盘、固态盘等等。根据一个或多个实施例，所述处理器由变成为用户执行本文所描述的一个或多个操作和/或功能的微处理器来执行。根据一个或多个实施例，所述处理器整个或部分地由专门配置的硬件来执行，例如，由一个或多个专用集成或ASI(s)来执行。
本发明可以包括以下所描述的各种具体实施方式的组合。
根据本发明的示例1提供的一种集装箱起重机司机操作安全识别方法，包括以下步骤：采集司机的当前面部信息；采集司机的当前操作信息；根据逻辑控制状态，接收、识别当前面部信息和当前操作信息，获得面部识别结果和操作识别结果；接收面部识别结果和操作识别结果，获得综合分析结果；判断面部识别结果、操作识别结果、综合分析结果中至少一种与预设规范数据库中规范行为是否匹配；输出匹配结果，其中，当匹配结果为不匹配时，则系统启动应急机制。
根据本发明的示例2提供的一种集装箱起重机司机操作安全识别方法，预设规范数据库包括操作节点流程，安全识别方法还包括以下步骤：根据综合分析结果与预设规范数据库的匹配结果获取当前操作节点；根据当前操作节点提示司机下一步的正确操作信息。
根据本发明的示例3提供的一种集装箱起重机司机操作安全识别方法，还包括以下步骤：采集起重机当前工作状态下各机构运行允许条件的信号；根据面部识别结果、操作识别结果及各机构运行允许条件的信号获得综合分析结果；根据综合分析结果与规范数据库进行匹配，得到起重机的操作目标；其中，当操作目标为俯仰作业时：若制动信息为未释放或当前操作信息为起升时，则匹配结果为不匹配。
根据本发明的示例4提供的一种集装箱起重机司机操作安全识别方法，在接收面部识别结果和操作识别结果，获得综合分析结果步骤之前，包括：判断面部识别结果、操作识别结果中至少一种与预设规范数据库中规范行为是否匹配。
根据本发明的示例5提供的一种集装箱起重机司机操作安全识别方法，操作识别结果包括：识别当前操作信息相对应的逻辑控制状态，并依据逻辑控制状态显示PLC指示状态。
根据本发明的示例6提供的一种集装箱起重机司机操作安全识别方法，面部识别结果包括：基于k-mean的改进算法，识别当前面部信息中眼睛的位置，采用卷积网络进行二次检测确认。
根据本发明的示例7提供的一种集装箱起重机司机操作安全识别方法，综合分析结果包括：当无法识别到司机眼睛的时间达到阈值时，且PLC指示状态发生改变，则司机的面部识别结果与预设规范数据库中规范行为不匹配。
根据本发明的示例8提供的一种集装箱起重机司机操作安全识别方法，当PLC标准指示状态对应的司机操作信息与司机的当前操作信息不对应时，则司机的操作识别结果与预设规范数据库中规范行为不匹配。
根据本发明的示例9提供的一种集装箱起重机司机操作安全识别方法，还包括以下步骤：身份识别认证；选择远程或本地操作模式；选择人脸识别算法。
根据本发明的示例10提供的一种集装箱起重机司机操作安全识别方法，当面部识别结果、操作识别结果、综合分析结果中至少一种与预设规范数据库中规范行为不匹配时，启动报警装置进行提示或者紧急制动。
根据本发明的示例11提供的一种集装箱起重机司机操作安全识别方法，报警装置包括本地报警机制和远程报警机制；所述提示包括：声音、光、振动。
根据本发明的示例12提供的一种集装箱起重机司机操作安全识别方法，当前操作信息包括：操控设备的前进、后退、起吊。
根据本发明的示例13提供的一种集装箱起重机司机操作安全识别方法，在所述采集司机的面部信息步骤之前，收到司机启动信号。
根据本发明的示例14提供的一种集装箱起重机司机操作安全识别系统，包括：启动模块，适于接受司机启动信号；采集模块，适于采集司机的当前面部信息和当前操作信息；识别模块，包括识别单元，识别单元适于根据逻辑控制状态，接收、识别当前面部信息和当前操作信息，获得面部识别结果和操作识别结果；综合模块，适于接收面部识别结果和操作识别结果，获得综合分析结果；判断模块，适于判断面部识别结果、操作识别结果、综合分析结果中至少一种与预设规范数据库中规范行为是否匹配；输出模块，适于输出匹配结果，其中，当匹配结果为不匹配时，则系统启动应急机制。
根据本发明的示例15提供的一种集装箱起重机司机操作安全识别系统，预设规范数据库包括操作节点流程，安全识别系统还包括：获取模块，适于根据综合分析结果与预设规范数据库的匹配结果获取当前操作节点；提示模块，适于根据当前操作节点提示司机下一步的正确操作信息。
根据本发明的示例16提供的一种集装箱起重机司机操作安全识别系统，还包括：第一采集模块，适于采集所述起重机当前工作状态下各机构运行允许条件的信号；第一综合模块，适于根据所述面部识别结果、所述操作识别结果及所述各机构运行允许条件的信号获得所述综合分析结果；第一判断模块，适于根据所述综合分析结果与规范数据库进行匹配，得到所述起重机的操作目标；其中，当所述操作目标为俯仰作业时：若所述制动信息为未释放或所述当前操作信息为起升时，则匹配结果为不匹配。
根据本发明的示例17提供的一种集装箱起重机司机操作安全识别系统，识别模块还包括：判断单元，适于判断面部识别结果、操作识别结果中至少一种与预设规范数据库中规范行为是否匹配。
根据本发明的示例18提供的一种集装箱起重机司机操作安全识别系统，操作识别结果包括：识别当前操作信息相对应的逻辑控制状态，并依据逻辑控制状态显示PLC指示状态；面部识别结果包括：基于k-mean的改进算法，识别当前面部信息中眼睛的位置，采用卷积网络进行二次检测确认；综合分析结果包括：当无法识别到司机眼睛的时间达到阈值时，且PLC指示状态发生改变，则司机的面部识别结果与预设规范数据库中规范行为不匹配；其中，当PLC标准指示状态对应的司机操作信息与司机的当前操作信息不对应时，则司机的操作识别结果与预设规范数据库中规范行为不匹配。
根据本发明的示例19提供的一种集装箱起重机司机操作安全识别系统，还包括：应急模块，适于当面部识别结果、操作识别结果、综合分析结果中至少一种与预设规范数据库中规范行为不匹配时，启动报警装置进行提示或者紧急制动，其中，报警装置包括本地报警机制和远程报警机制；提示包括：声音、光、振动，当前操作信息包括：操控设备的前进、后退、起吊。
根据本发明的示例20提供的一种集装箱起重机司机操作安全识别系统，还包括：验证模块，适于身份识别认证；选择模块，适于选择远程或本地操作模式，选择人脸识别算法。
根据本发明的示例21提供的一种计算设备，包括:处理器，适于实现各种指令；存储器，适于存储多条指令，所述指令适于由所述处理器加载并执行上述实施例所述的集装箱起重机司机操作安全识别方法。
根据本发明的示例22提供的一种存储介质，所述存储介质存储有多条指令，所述指令适于由处理器加载并执行上述实施例所述的集装箱起重机司机操作安全识别方法。
综上所述，本发明提供的上述实施例仅例示性说明本发明的原理及功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (17)

1.一种集装箱起重机司机操作安全识别方法，其特征在于，包括以下步骤：
采集司机的当前面部信息；
采集司机的当前操作信息；
根据逻辑控制状态，接收、识别所述当前面部信息和所述当前操作信息，获得面部识别结果和操作识别结果；
接收所述面部识别结果和所述操作识别结果，获得综合分析结果；其中，
所述操作识别结果包括：识别所述当前操作信息相对应的所述逻辑控制状态，并依据所述逻辑控制状态显示PLC指示状态；
所述面部识别结果包括：基于k-mean的改进算法，识别所述当前面部信息中眼睛的位置，采用卷积网络进行二次检测确认；
所述综合分析结果包括：当无法识别到司机眼睛的时间达到阈值时，且所述PLC指示状态发生改变，则司机的所述面部识别结果与所述预设规范数据库中规范行为不匹配；
当PLC标准指示状态对应的司机操作信息与司机的当前操作信息不对应时，则司机的所述操作识别结果与所述预设规范数据库中规范行为不匹配；
判断所述面部识别结果、所述操作识别结果、所述综合分析结果中至少一种与预设规范数据库中规范行为是否匹配；
输出匹配结果，其中，当所述匹配结果为不匹配时，则系统启动应急机制。
2.如权利要求1所述的集装箱起重机司机操作安全识别方法，其特征在于，所述预设规范数据库包括操作节点流程，所述安全识别方法还包括以下步骤：
根据综合分析结果与预设规范数据库的匹配结果获取当前操作节点；
根据所述当前操作节点提示司机下一步的正确操作信息。
3.如权利要求1所述的集装箱起重机司机操作安全识别方法，其特征在于，还包括以下步骤：
采集所述起重机当前工作状态下各机构运行允许条件的信号；
根据所述面部识别结果、所述操作识别结果及所述各机构运行允许条件的信号获得所述综合分析结果；
根据所述综合分析结果与规范数据库进行匹配，得到所述起重机的操作目标；
其中，当所述操作目标为俯仰作业时：
若制动信息为未释放或所述当前操作信息为起升时，则匹配结果为不匹配。
4.如权利要求1所述的集装箱起重机司机操作安全识别方法，其特征在于，在所述接收所述面部识别结果和所述操作识别结果，获得综合分析结果步骤之前，包括：判断所述面部识别结果、所述操作识别结果中至少一种与所述预设规范数据库中规范行为是否匹配。
5.如权利要求1所述的集装箱起重机司机操作安全识别方法，其特征在于，还包括以下步骤：身份识别认证；选择远程或本地操作模式；选择人脸识别算法。
6.如权利要求1-5中任一项所述的集装箱起重机司机操作安全识别方法，其特征在于，当所述面部识别结果、所述操作识别结果、所述综合分析结果中至少一种与所述预设规范数据库中规范行为不匹配时，启动报警装置进行提示或者紧急制动。
7.如权利要求6所述的集装箱起重机司机操作安全识别方法，其特征在于，所述报警装置包括本地报警机制和远程报警机制；所述提示包括：声音、光、振动。
8.如权利要求1所述的集装箱起重机司机操作安全识别方法，其特征在于，所述当前操作信息包括：操控设备的前进、后退、起吊。
9.如权利要求1所述的集装箱起重机司机操作安全识别方法，其特征在于，在所述采集司机的面部信息步骤之前，收到司机启动信号。
10.一种集装箱起重机司机操作安全识别系统，其特征在于，包括：
启动模块，适于接受司机启动信号；
采集模块，适于采集司机的当前面部信息和当前操作信息；
识别模块，包括识别单元，所述识别单元适于根据逻辑控制状态，接收、识别所述当前面部信息和所述当前操作信息，获得面部识别结果和操作识别结果；
综合模块，适于接收所述面部识别结果和所述操作识别结果，获得综合分析结果；
所述操作识别结果包括：识别所述当前操作信息相对应的所述逻辑控制状态，并依据所述逻辑控制状态显示PLC指示状态；所述面部识别结果包括：基于k-mean的改进算法，识别所述当前面部信息中眼睛的位置，采用卷积网络进行二次检测确认；所述综合分析结果包括：当无法识别到司机眼睛的时间达到阈值时，且所述PLC指示状态发生改变，则司机的所述面部识别结果与所述预设规范数据库中规范行为不匹配；其中，当PLC标准指示状态对应的司机操作信息与司机的当前操作信息不对应时，则司机的所述操作识别结果与所述预设规范数据库中规范行为不匹配；
判断模块，适于判断所述面部识别结果、所述操作识别结果、所述综合分析结果中至少一种与预设规范数据库中规范行为是否匹配；
输出模块，适于输出匹配结果，其中，当所述匹配结果为不匹配时，则系统启动应急机制。
11.如权利要求10所述的集装箱起重机司机操作安全识别系统，其特征在于，所述预设规范数据库包括操作节点流程，所述安全识别系统还包括：
获取模块，适于根据综合分析结果与预设规范数据库的匹配结果获取当前操作节点；
提示模块，适于根据当前操作节点提示司机下一步的正确操作信息。
12.如权利要求10所述的集装箱起重机司机操作安全识别系统，其特征在于，还包括：
第一采集模块，适于采集所述起重机当前工作状态下各机构运行允许条件的信号；
第一综合模块，适于根据所述面部识别结果、所述操作识别结果及所述各机构运行允许条件的信号获得所述综合分析结果；
第一判断模块，适于根据所述综合分析结果与规范数据库进行匹配，得到所述起重机的操作目标；
其中，当所述操作目标为俯仰作业时：
若制动信息为未释放或所述当前操作信息为起升时，则匹配结果为不匹配。
13.如权利要求10所述的集装箱起重机司机操作安全识别系统，其特征在于，所述识别模块还包括：判断单元，适于判断所述面部识别结果、所述操作识别结果中至少一种与所述预设规范数据库中规范行为是否匹配。
14.如权利要求10所述的集装箱起重机司机操作安全识别系统，其特征在于，还包括：应急模块，适于当所述面部识别结果、所述操作识别结果、所述综合分析结果中至少一种与预设规范数据库中规范行为不匹配时，启动报警装置进行提示或者紧急制动，其中，所述报警装置包括本地报警机制和远程报警机制；所述提示包括：声音、光、振动，所述当前操作信息包括：操控设备的前进、后退、起吊。
15.如权利要求10所述的集装箱起重机司机操作安全识别系统，其特征在于，还包括：验证模块，适于身份识别认证；选择模块，适于选择远程或本地操作模式，选择人脸识别算法。
16.一种计算设备，其特征在于，包括:
处理器，适于实现各种指令；
存储器，适于存储多条指令，所述指令适于由所述处理器加载并执行权利要求1-9中任一项所述的集装箱起重机司机操作安全识别方法。
17.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于由处理器加载并执行权利要求1-9中任一项所述的集装箱起重机司机操作安全识别方法。
CN202010381615.9A 2020-05-08 2020-05-08 集装箱起重机司机操作安全识别方法、系统、计算设备 Active CN111582167B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010381615.9A CN111582167B (zh) 2020-05-08 2020-05-08 集装箱起重机司机操作安全识别方法、系统、计算设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010381615.9A CN111582167B (zh) 2020-05-08 2020-05-08 集装箱起重机司机操作安全识别方法、系统、计算设备

Publications (2)

Publication Number Publication Date
CN111582167A CN111582167A (zh) 2020-08-25
CN111582167B true CN111582167B (zh) 2024-03-01

Family

ID=72110772

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010381615.9A Active CN111582167B (zh) 2020-05-08 2020-05-08 集装箱起重机司机操作安全识别方法、系统、计算设备

Country Status (1)

Country Link
CN (1) CN111582167B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112677981B (zh) * 2021-01-08 2022-06-07 浙江三一装备有限公司 用于作业机械安全驾驶的智能辅助方法及装置
CN113420631A (zh) * 2021-06-17 2021-09-21 广联达科技股份有限公司 一种基于图像识别的安全报警方法及装置
CN114627504B (zh) * 2022-03-17 2023-01-10 盐城笃诚建设有限公司 一种建筑工程劳务人员管理系统及管理方法
CN115367627B (zh) * 2022-09-16 2023-11-14 江苏省特种设备安全监督检验研究院 基于物联网的起重机安全监测方法、系统及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104715235A (zh) * 2015-02-10 2015-06-17 锦州铁道勘察设计院有限公司 列车司机状态识别报警方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060044307A1 (en) * 2004-08-24 2006-03-02 Kyuman Song System and method for visually representing project metrics on 3-dimensional building models
CN106446831B (zh) * 2016-09-24 2021-06-25 江西欧迈斯微电子有限公司 一种人脸识别方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104715235A (zh) * 2015-02-10 2015-06-17 锦州铁道勘察设计院有限公司 列车司机状态识别报警方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
钟增军 ; .桥吊、龙门吊司机安全规范操作识别及语音提醒系统探讨.机电信息.2020,(06),全文. *

Also Published As

Publication number Publication date
CN111582167A (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
CN111582167B (zh) 集装箱起重机司机操作安全识别方法、系统、计算设备
CN104803251B (zh) 电梯困人的检测方法及系统
CN109558795A (zh) 一种校车乘客安全智能监控系统
US20150273704A1 (en) Robot system for determining operator by biometric authentication
US11625927B2 (en) Abnormality determination apparatus
WO2021248833A1 (zh) 一种利用摄像头主动引导停车的防撞系统及方法
TW201323296A (zh) 廢棄物清運監控系統及方法
CN113085885A (zh) 一种驾驶模式的切换方法、装置、设备及可读存储介质
CN113119982A (zh) 操作状态识别与处理方法、装置、设备、介质及程序产品
CN109189567A (zh) 时延计算方法、装置、设备及计算机可读存储介质
CN110963411B (zh) 一种塔式起重机身份识别系统的安全控制方法
CN210129104U (zh) 一种应用于工程机械的操作权限控制系统
CN112287313A (zh) 设备验证系统和方法
CN108556629B (zh) 一种驾驶安全辅助系统和方法
CN114176768B (zh) 一种点阵激光治疗仪中振镜偏转超时检测方法及装置
CN112307920B (zh) 一种高风险工种作业人员行为预警装置及方法
JPH0793700A (ja) 運転者状態監視装置
CN102955461A (zh) 机械式停车位监控系统及方法
CN216621260U (zh) 一种船闸设备故障诊断专家系统
CN112651275A (zh) 人员密集场所踩踏事故诱因行为智能识系统
CN109686060B (zh) 一种健身器材的监控方法及装置
CN114216707B (zh) 吊装设备及其挂钩检测方法
CN108286576A (zh) 一种离合器系统安全控制方法及装置
CN108646659B (zh) 一种紧急状况处理方法
CN115818537B (zh) 叉车行驶安全的监控系统、方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant