CN115471826A - 航空加油车安全驾驶行为判别方法、装置和安全运维系统 - Google Patents

航空加油车安全驾驶行为判别方法、装置和安全运维系统 Download PDF

Info

Publication number
CN115471826A
CN115471826A CN202211014426.3A CN202211014426A CN115471826A CN 115471826 A CN115471826 A CN 115471826A CN 202211014426 A CN202211014426 A CN 202211014426A CN 115471826 A CN115471826 A CN 115471826A
Authority
CN
China
Prior art keywords
information
upper limb
data
driving behavior
human body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211014426.3A
Other languages
English (en)
Other versions
CN115471826B (zh
Inventor
黄素琴
赵恒晖
管锡昭
左琳
范亮
汤坚
张磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Zhongke Zhi Tour Technology Co ltd
China Aviation Oil Group Co ltd
Original Assignee
Guangzhou Zhongke Zhi Tour Technology Co ltd
China Aviation Oil Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Zhongke Zhi Tour Technology Co ltd, China Aviation Oil Group Co ltd filed Critical Guangzhou Zhongke Zhi Tour Technology Co ltd
Priority to CN202211014426.3A priority Critical patent/CN115471826B/zh
Publication of CN115471826A publication Critical patent/CN115471826A/zh
Application granted granted Critical
Publication of CN115471826B publication Critical patent/CN115471826B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/182—Level alarms, e.g. alarms responsive to variables exceeding a threshold
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/26—Incapacity

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Emergency Management (AREA)
  • Psychiatry (AREA)
  • Business, Economics & Management (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请提供一种航空加油车安全驾驶行为判别方法、装置和安全运维系统。其中，该航空加油车安全驾驶行为判别方法，包括：获取航空加油车的数据采集设备采集的车内数据，所述车内数据包括驾驶员的驾驶行为相关的数据；解析所述车内数据，得到与驾驶行为对应的待测数据，所述待测数据包括人体图像；对所述人体图像进行检测，确定所述驾驶员的人体信息；在所述驾驶员的人体信息包括所述驾驶员的上肢信息中的手部信息，且所述待测数据包含所述驾驶员的手背信息与所述航空加油车的方向盘的相交数据的情况下，根据所述驾驶员的上肢信息，确定所述驾驶行为是否偏离安全驾驶行为。如此，减少人为的遗漏出错。

Description

航空加油车安全驾驶行为判别方法、装置和安全运维系统
技术领域
本发明涉及航空加油车安全检测技术领域，尤其涉及一种航空加油车安全驾驶行为判别方法、装置和安全运维系统。
背景技术
航空机场的航空加油车是航空机场的重要设施，是保障机场能够顺利运转的基础，对航空加油车的安全运维管理是航油公司日常运维管理工作的重点之一。
随着视频采集和移动网络传输技术的快速发展，部分企业在运维区域部署了大量的摄像头，通过被动式监控的方式人为查看监控画面对监控区域进行监管。但是这种方法，通过人工观测多个监控画面，容易遗漏出错。
发明内容
本申请提供一种航空加油车安全驾驶行为判别方法、装置和安全运维系统，方法的减少人为的遗漏出错。
本申请提供一种航空加油车安全驾驶行为判别方法，包括：
获取航空加油车的数据采集设备采集的车内数据，所述车内数据包括驾驶员的驾驶行为相关的数据；
解析所述车内数据，得到与驾驶行为对应的待测数据，所述待测数据包括人体图像；
对所述人体图像进行检测，确定所述驾驶员的人体信息；
在所述驾驶员的人体信息包括所述驾驶员的上肢信息中的手部信息，且所述待测数据包含所述驾驶员的手背信息与所述航空加油车的方向盘的相交数据的情况下，根据所述驾驶员的上肢信息，确定所述驾驶行为是否偏离安全驾驶行为。
进一步的，所述上肢信息包括左上肢信息及右上肢信息，所述左上肢信息包括左手腕信息、左手肘信息及左肩部信息，所述右上肢信息包括右手腕信息、右手肘信息及右肩部信息；
所述根据所述驾驶员的上肢信息，确定所述驾驶行为是否偏离安全驾驶行为，包括：
确定所述左上肢信息的第一联合位置，是否与所述右上肢信息的第二联合位置对应一致；
在所述第一联合位置与所述第二联合位置对应不一致的情况下，确定所述驾驶行为是单手握方向盘的行为；
在所述第一联合位置与所述第二联合位置对应一致的情况下，确定所述驾驶行为不是所述单手握方向盘的行为。
进一步的，所述确定所述驾驶行为不是所述单手握方向盘的行为，包括：
确定所述左上肢信息的第一角度以及所述右上肢信息的第二角度，是否符合角度条件；
在所述第一角度及所述第二角度符合角度条件的情况下，确定所述驾驶行为是双手握方向盘的行为；
在所述第一角度及所述第二角度不符合所述角度条件的情况下，确定所述驾驶行为不是所述双手握方向盘的行为。
进一步的，所述驾驶员的人体信息包括头部信息；
所述确定所述驾驶行为不是所述双手握方向盘的行为，包括：
确定所述上肢信息及所述头部信息的运动轨迹是否偏离正常运动轨迹；
在所述上肢信息及所述头部信息的运动轨迹偏离正常运动轨迹的情况下，确定所述驾驶行为是急打方向盘的行为；
在所述上肢信息及所述头部信息的运动轨迹未偏离正常运动轨迹的情况下，确定所述驾驶行为不是所述急打方向盘的行为。
进一步的，所述确定所述上肢信息及所述头部信息的运动轨迹是否偏离正常运动轨迹，包括：确定所述左上肢信息及所述头部信息的运动幅度是否与所述右上肢信息及所述头部信息的运动幅度一致；在所述左上肢信息的运动幅度与所述右上肢信息及所述头部信息的运动幅度不一致的情况下，确定所述上肢信息及所述头部信息的运动轨迹偏离正常运动轨迹；在所述左上肢信息及所述头部信息的运动幅度与所述右上肢信息及所述头部信息的运动幅度一致的情况下，确定所述上肢信息及所述头部信息的运动轨迹未偏离正常运动轨迹；
和/或，
所述确定所述上肢信息及所述头部信息的运动轨迹是否偏离正常运动轨迹，包括：确定所述左上肢信息及所述头部信息的运动轨迹是否与所述右上肢信息及所述头部信息的运动轨迹交叉；在所述左上肢信息及所述头部信息的运动轨迹与所述右上肢信息及所述头部信息的运动轨迹交叉的情况下，确定所述上肢信息及所述头部信息的运动轨迹偏离正常运动轨迹；在所述左上肢信息及所述头部信息的运动轨迹与所述右上肢信息及所述头部信息的运动轨迹未交叉的情况下，确定所述上肢信息及所述头部信息的运动轨迹未偏离正常运动轨迹。
进一步的，所述对所述人体图像进行检测，确定驾驶员的人体信息，包括：
将所述人体图像输入人体图像检测模型，以输出所述驾驶员的人体信息，所述人体图像检测模型是通过人体图像样本集训练得到的，所述人体图像样本集包括样本上肢肘部信息、样本肩部信息及样本头部信息；
和/或，
所述人体信息包括头部信息及躯干信息，所述头部信息包括左眼睛信息、右眼睛信息及脖子信息，所述上肢信息包括左上肢信息及右上肢信息。
进一步的，在所述根据所述驾驶员的上肢信息，确定所述驾驶行为是否偏离安全驾驶行为之后，所述方法还包括：在所述驾驶行为偏离所述安全驾驶行为的情况下，生成报警信息；向航油安全运维系统中的中心服务器发送所述报警信息；
或者，
所述车内数据包括方向盘角度数据；所述根据所述驾驶员的上肢信息，确定所述驾驶行为是否偏离安全驾驶行为，包括：根据所述驾驶员的上肢信息，确定所述驾驶行为是否初定偏离所述安全驾驶行为；在所述驾驶行为初定偏离所述安全驾驶行为的情况下，确定所述方向盘的角度数据是否小于角度阈值；在所述方向盘的角度数据小于角度阈值的情况下，将所述驾驶行为最终确定为偏离所述安全驾驶行为。
本申请实施例提供一种航空加油车安全驾驶行为判别装置，包括：
获取模块，用于获取航空加油车的数据采集设备采集的车内数据，所述车内数据包括驾驶员的驾驶行为相关的数据；
解析模块，用于解析所述车内数据，得到与驾驶行为对应的待测数据，所述待测数据包括人体图像；
第一处理模块，用于对所述人体图像进行检测，确定所述驾驶员的人体信息；
第二处理模块，用于在所述驾驶员的人体信息包括所述驾驶员的上肢信息中的手部信息，且所述待测数据包含所述驾驶员的手背信息与所述航空加油车的方向盘的相交数据的情况下，根据所述驾驶员的上肢信息，确定所述驾驶行为是否偏离安全驾驶行为。
本申请实施例提供一种航油安全运维系统，包括：中心服务器及与所述中心服务器连接的多个边缘处理子系统，所述边缘处理子系统包括航油数据采集终端及与所述航油数据采集终端连接的边缘计算设备；
多个所述边缘处理子系统，用于通过航油数据采集终端采集的数据，并采用所述边缘计算设备处理所述数据，得到处理结果，并向所述中心服务器发送所述处理结果；
多个所述边缘处理子系统还包括航空加油车的边缘处理子系统，所述航空加油车的边缘处理子系统与所述中心服务器连接，所述边缘计算设备包括第一边缘计算终端，所述航油数据采集终端包括与所述第一边缘计算终端连接的数据采集设备，所述第一边缘计算终端与所述数据采集设备通信，所述第一边缘计算终端包括如上所述的航空加油车安全驾驶行为判别装置。
进一步的，所述航空加油车的边缘处理子系统，用于通过数据采集设备采集与航空加油车相关的数据，并使用所述航空加油车的第一边缘计算终端处理所述航空加油车相关的数据，得到第一处理结果，以及向所述中心服务器发送所述第一处理结果；
和/或，
多个所述边缘处理子系统还包括航油油库的边缘处理子系统，所述航油油库的边缘处理子系统与所述中心服务器连接，所述边缘计算设备包括边缘计算服务器，所述航油数据采集终端包括与所述边缘计算服务器连接的智能感知终端，所述智能感知终端与所述边缘计算服务器进行通信，所述航油油库的边缘处理子系统，用于通过所述智能感知终端获取与油库相关的数据，并使用所述边缘计算服务器处理所述与油库相关的数据，得到第二处理结果，以及向所述中心服务器发送所述第二处理结果；
和/或，
多个所述边缘处理子系统还包括航油管线的边缘处理子系统，所述航油数据采集终端包括飞行器，所述边缘计算设备包括第二边缘计算终端，所述飞行器与所述航油管线的边缘处理子系统进行通信，其中，所述航油油库的边缘处理子系统，用于通过所述飞行器获取与航油管线的相关的数据，并使用所述第一边缘计算终端处理所述与航油管线的相关的数据，得到第三处理结果，以及向所述中心服务器发送所述第三处理结果。
在一些实施例中，本申请的航空加油车安全驾驶行为判别方法，通过使用获取航空加油车的数据采集设备采集的车内数据，解析车内数据，得到与驾驶行为对应的待测数据。对人体图像进行检测，确定驾驶员的人体信息。在驾驶员的人体信息包括驾驶员的上肢信息中的手部信息，且待测数据包含驾驶员的手背信息与航空加油车的方向盘的相交数据的情况下，根据驾驶员的上肢信息，确定驾驶行为是否偏离安全驾驶行为。如此，自动确定驾驶行为是否偏离安全驾驶行为，解放低效人力，减少人为的遗漏出错。
附图说明
图1所示为本申请实施例的航空加油车安全驾驶行为判别方法的应用实例的整体示意图；
图2所示为本申请实施例的航空加油车安全驾驶行为判别方法的应用实例的具体示意图；
图3所示为图2所示的航空加油车的边缘处理子系统的结构示意图；
图4所示为图2所示的航油安全运维系统的后端部署的结构示意图；
图5所示为本申请实施例的航空加油车安全驾驶行为判别方法的流程示意图；
图6所示为图5所示的航空加油车安全驾驶行为判别方法中的步骤330的具体流程示意图；
图7所示为图5所示的航空加油车安全驾驶行为判别方法中的步骤340的具体流程示意图；
图8所示为图7所示的航空加油车安全驾驶行为判别方法中的第一角度的示意图；
图9所示为本申请实施例的航空加油车安全驾驶行为判别装置的模块示意图；
图10所示为本申请实施例提供的电子设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施例并不代表与本说明书一个或多个实施例相一致的所有实施例。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。
需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。
为解决容易遗漏出错的技术问题，本申请实施例提供一种航空加油车安全驾驶行为判别方法，通过使用获取航空加油车的数据采集设备采集的车内数据，解析车内数据，得到与驾驶行为对应的待测数据。对人体图像进行检测，确定驾驶员的人体信息。在驾驶员的人体信息包括驾驶员的上肢信息中的手部信息，且待测数据包含驾驶员的手背信息与航空加油车的方向盘的相交数据的情况下，根据驾驶员的上肢信息，确定驾驶行为是否偏离安全驾驶行为。如此，在驾驶员的人体信息包括驾驶员的上肢信息中的手部信息，且待测数据包含驾驶员的手背信息与航空加油车的方向盘的相交数据的情况下，根据驾驶员的上肢信息，自动确定驾驶行为是否偏离安全驾驶行为，解放低效人力，减少人为的遗漏出错，有效提升航空加油车安全巡检效率。
图1所示为本申请实施例的航空加油车安全驾驶行为判别方法的应用实例的整体示意图。如图1所示，航空加油车安全驾驶行为判别方法的应用系统可以包括但不限于为航油算法协助系统。航油算法协助系统包括航油安全运维系统10。航油安全运维系统10包括中心服务器11及与中心服务器11连接的多个边缘处理子系统12，边缘处理子系统12包括航油数据采集终端1211及与航油数据采集终端1211连接的边缘计算设备1212。边缘计算设备1212可以实现对航油数据采集终端1211的配置。
多个边缘处理子系统12，用于通过航油数据采集终端1211采集的数据，并采用边缘计算设备1212处理数据，得到处理结果，并向中心服务器发送处理结果。如此，通过边缘处理子系统12处理各航油数据采集终端1211的数据，向中心服务器11发送处理结果，数据来源多样，方便整合展示。
其中，上述中心服务器11可以但不限于包括报警设备13，该报警设备13用于发出警报。此警报可以是声光电等各种方式的警报。在此不一一举例。上述数据可以包括从航油数据采集终端1211采集的实时视频流。进一步的，上述数据可以包括报警信息，采用边缘计算设备1212处理数据中的报警信息，得到报警处理结果。在报警处理结果为需要上报报警的处理结果的情况下，向中心服务器11发送该处理结果，中心服务器11控制报警设备13进行报警。
图2所示为本申请实施例的航空加油车安全驾驶行为判别方法的应用实例的具体示意图。如图2所示，上述多个边缘处理子系统12相对于中心服务器11呈分布式设置。多个边缘处理子系统可以但不限于包括航油管线201的边缘处理子系统211、航空加油车202的边缘处理子系统212及航油油库203的边缘处理子系统213中的多种。如此，各边缘处理子系统12相对于中心服务器11分布式分布，并通过各边缘处理子系统12处理数据后，向中心服务器11发送处理结果，各边缘处理子系统12分担中心服务器11的处理量，降低中心服务器11的负担，并且，通过各边缘处理子系统12自动处理有效数据，数据的利用价值高，主动监控，避免人工观测遗漏。
其中，多个边缘处理子系统12包括航油管线201的边缘处理子系统211，航油数据采集终端1211包括飞行器2111，飞行器2111与航油管线201的边缘处理子系统211进行通信。其中，飞行器2111包括无人机，无人机可采集可见光图像及视频数据。边缘计算设备1212包括第二边缘计算终端2112，飞行器2111与航油管线201的边缘处理子系统211进行通信，其中，航油管线201的边缘处理子系统211，用于通过飞行器2111获取与航油管线201的相关的数据，并使用第二边缘计算终端2112处理与航油管线201的相关的数据，得到第三处理结果，以及向中心服务器11发送第三处理结果，以实现航油管线防外破无人机巡视。
航空加油车202的边缘处理子系统212与中心服务器11连接，航油数据采集终端1211包括与第一边缘计算终端2122连接的数据采集设备2121，边缘计算设备1212包括第一边缘计算终端2122。“第一边缘计算终端2122”中的“第一”和“第二边缘计算终端2112”中的“第二”，用来区分两个边缘计算终端。
航油油库203的边缘处理子系统213与中心服务器11连接，边缘计算设备1212包括边缘计算服务器2132，航油数据采集终端1211包括与边缘计算服务器2132连接的智能感知终端2131。航油油库203的边缘处理子系统213，用于通过智能感知终端2131获取与油库相关的数据，并使用边缘计算服务器2132处理与油库相关的数据，得到第二处理结果，以及向中心服务器11发送第二处理结果，以实现航油油库203的安全运维。其中，智能感知终端2131可以包括传感数据。示例性的，传感设备可以为可见光的传感设备。可见光的传感设备可以采集单一/批量图像和视频流。
图3所示为图2所示的航空加油车202的边缘处理子系统212的结构示意图。如图3所示，航空加油车202的边缘处理子系统212，用于通过数据采集设备2121采集与航空加油车202相关的数据，并使用航空加油车202的第一边缘计算终端2122处理航空加油车202相关的数据，得到第一处理结果，以及向中心服务器11发送第一处理结果，以实现航空加油车202的安全运行。其中，数据采集设备2121可以包括视频监控终端。示例性的，视频监控终端包括摄像头及监控器中的一种或多种，在此不再一一举例。数据采集设备2121可以采集可见光图像及视频数据。视频监控终端比如为NVR(Network Video Recorder，网络视频录像机)。
继续图2和图3所示，航油安全运维系统10包括航油安全运维系统10的前端网页端及云端服务器。通过航油安全运维系统10的前端网页端和/或移动端登录云端服务器，以访问云端服务集群。然后，通过防火墙，中心服务器11分别与多个边缘处理子系统12进行通信。如此，通过航油安全运维系统10的中心服务器11，实现云边端的联动系统，并且，通过第一边缘计算终端2122、边缘计算服务器2132、云端服务器等设备的计算结果，进行信息的整合和展示。
通过云、边、端结合的方式实现对航油管线201、航空加油车202、航油油库203的智能化安全运维，对不同场景使用不同的智能计算设备与算法，实现多种场景有效结合，云、边、端同步协作的航油算法协助系统。
图4所示为图2所示的航油安全运维系统10的后端部署的结构示意图。如图4所示，航油安全运维系统10部署在后端，实现对航油数据采集终端1211所采集的数据的存储与管理，并为航油数据采集终端1211提供智能推理服务，并对外提供规范化的接口定义方式。建立对不同服务能力和接口方式的管理界面。实现统一纳管、版本控制、统一授权、运行配置和应用统计。
在本申请实施例中，针对航空加油车安全驾驶行为判别、航油油库安全运维管理、航油管线防外破无人机巡视进行了智能化的升级，实现了这些场景的算法与运维系统的结合，在不同场景根据需要部署了云、边、端设备协同技术方案，实现了多种设备协同作业的航油安全运维管理。
图5所示为本申请实施例的航空加油车安全驾驶行为判别方法的流程示意图。如图5所示，该航空加油车安全驾驶行为判别方法，包括如下步骤310至步骤340：
步骤310，获取航空加油车的数据采集设备采集的车内数据，车内数据包括驾驶员的驾驶行为相关的数据。
其中，上述数据采集设备2121包括视频监控终端及传感器中的一种或多种。
其中，视频监控终端包括车内摄像头。车内摄像头正对驾驶员设置，用于采集驾驶员的数据。传感器示例性的为角度传感器。角度传感器设于方向盘上，用来感应方向盘转动角度的传感器。如此，在航空加油车部署端侧智能识别盒子，通过车上配装的摄像机设备进行行为判别，对加油车的不安全驾驶行为进行实时的判别报警，将报警结果回传到云端应用服务集群进行上报和管理，有效降低数据传输压力，提升航空加油车行为判别的时效性。
步骤320，解析车内数据，得到与驾驶行为对应的待测数据，待测数据包括人体图像。待测数据还包括上述角度传感器感应的方向盘转动角度的角度信息。
步骤330，对人体图像进行检测，确定驾驶员的人体信息。
其中，人体信息包括头部信息及躯干信息，头部信息包括左眼睛信息、右眼睛信息及脖子信息，上肢信息包括左上肢信息及右上肢信息。
人体信息包括手背信息、手腕信息、手肘信息及肩部信息，左上肢信息包括左手腕信息、左手背信息、左手肘信息及左肩部信息，右上肢信息包括右手腕信息、右手背信息、右手肘信息及右肩部信息，躯干信息包括上腹部信息，比如上腹部特征46(如图8所示)。在本实施例中，算法首先调用检测模型，判断图像人体关键点坐标信息，包括头部、躯干、四肢等关键点作为行为判别的辅助信息。
这些人体信息包括人体特征的关键点。并且，人体特征的关键点的获取方式可以是通过人体图像检测模型对人体图像进行检测输出的。利用标注工具，对人体关键点进行标注，保存成xml文件，里面包含类别信息、以及位置点信息，每个人总计15个人体关键点，再将数据生成LMDB数据文件作为数据集。详细说明请参见下文。
步骤340，在驾驶员的人体信息包括驾驶员的上肢信息中的手部信息，且待测数据包含驾驶员的手背信息与航空加油车的方向盘的相交数据的情况下，根据驾驶员的上肢信息，确定驾驶行为是否偏离安全驾驶行为。在上述步骤340之后，方法还包括：在驾驶行为偏离安全驾驶行为的情况下，生成报警信息；向航油安全运维系统中的中心服务器发送报警信息。如此，通过作为边缘端设备的数据采集设备，实时将安全驾驶行为判别方法应用于航空加油车202的边缘处理子系统212，辅助判断航空加油车工作人员的动作是否符合规范。
其中，安全驾驶行为用于反映驾驶员安全驾驶的行为动作。安全驾驶行为包括双手握方向盘的安全驾驶行为及不急打方向盘的安全驾驶行为中的一者或多者。安全驾驶行为的判断包括行车过程中是否双手离开方向盘，是否在一段时间内单手握方向盘等行为，是否存在异常猛打方向盘等行为。
上述步骤340中的根据驾驶员的上肢信息，确定驾驶行为是否偏离安全驾驶行为进一步包括根据驾驶员的上肢信息，确定驾驶行为是否初定偏离安全驾驶行为；在驾驶行为初定偏离安全驾驶行为的情况下，确定方向盘的角度数据是否小于角度阈值；在方向盘的角度数据小于角度阈值的情况下，将驾驶行为最终确定为偏离安全驾驶行为。其中，角度阈值可以但不限于大于90度。角度阈值用来反映方向盘转动了至少一圈。如此，多次确定是否偏离安全驾驶行为，提高驾驶行为安全性判断的准确性。当然上述步骤340中的根据驾驶员的上肢信息，确定驾驶行为是否偏离安全驾驶行为进一步包括也可以直接根据驾驶员的上肢信息，确定驾驶行为是否偏离安全驾驶行为，采用一步的方式，确定驾驶行为的安全性。
图6所示为图5所示的航空加油车安全驾驶行为判别方法中的步骤330的具体流程示意图。
如图6所示，上述步骤330进一步可以包括步骤331，将人体图像输入人体图像检测模型，以输出驾驶员的人体信息，人体图像检测模型是通过人体图像样本集训练得到的，人体图像样本集包括样本上肢肘部信息、样本肩部信息及样本头部信息。
其中，人体图像检测模型可以用于对人体图像检测模型进行检测。其中，人体图像检测模型可以为神经网络。示例性，人体图像检测模型可以为具有vgg(visual geometrygroup，视觉几何小组)16的OpenPose Backbone深度神经网络或者具有vgg19的OpenPoseBackbone深度神经网络。可选的，人体图像检测模型可以为具有vgg19的OpenPoseBackbone深度神经网络。如此，OpenPose的行为判别算法，在原算法的基础上通过修改骨干网络为Vgg19，进一步提升了算法的准确率，实现在航空加油车场景的安全驾驶行为判别，能够有效提升对航空加油车的安全驾驶行为的监测力度。
OpenPose Backbone网络结构中的OpenPose是一种bottom-up的方法，就是对于一张图片，首先找到图像中的所有人的所有点，然后再对这些点进行匹配连接，让同一个人的点进行相连。如此，先使用OpenPose深度神经网络，算法精度好，实测速度好。
上述openpose的基础网络选择的是使用vgg16出来的特征图再经过两个通道，完成关键点、连接方式的预测。每个stage出来的特征图会和基础网络的输出特征图进行concat，再传入下一个stage，然后重复多个stage(可设置)。并且在每个stage之后进行loss的设置。详细训练过程及测试过程，请参见下文。
在本申请实施例中，方法还包括如下第1个步骤至第4个步骤：
采用如下方式，训练人体图像检测模型：
第1个步骤，获取图像样本集，其中，图像样本集包含驾驶员的人体信息、人体信息的类别以及人体信息的位置。
第2个步骤，对图像样本集中的驾驶员的人体信息以及人体信息的位置进行标记，得到标记后的图像样本集。
其中，本申请实施例的航空加油车安全驾驶行为判别方法还包括按照预定比例，将标记后的图像样本集，拆分为训练样本集和测试样本集。其中，预定比例可以但不限于为4：1的比例，也就是，将标记后的图像样本集划分为80％测试样本集、20％测试样本集。
在步骤430中的得到标记后的图像样本集之后，方法还包括：根据标记后的图像样本集，确定测试样本集，测试样本集包含多个标记后的第二图像样本以及各标记后的第二图像样本的预设场景信息。如此，后续可以利用训练样本集对OpenPose模型进行迭代训练，以及利用测试样本集对OpenPose模型进行迭代测试。
第3个步骤，根据标记后的图像样本集，确定训练样本集，训练样本集包含多个标记后的第一图像样本以及各标记后的第一图像样本的人体信息。
第4个步骤，使用多个标记后的第一图像样本，得到已训练的人体图像检测模型。
其中，上述第4个步骤包括如下第1步骤至第3步骤：
第1步骤，将各标记后的第一图像样本输入人体图像检测模型，以输出标记后的第一图像样本的预测人体信息。
第2步骤根据标记后的第一图像样本的预测人体信息，以及标记后的第一图像样本的人体信息，确定当前损失；当前损失包括人体信息的类别预测的损失及人体信息的置信度的损失。
其中，OpenPose网络损失函数说明如下。对于每个stage输出的特征图，会和label进行损失计算。计算方式是均方差。在每个阶段的末尾有一个L2损失函数，损失函数为：
Figure BDA0003811938820000141
Figure BDA0003811938820000142
其中，在前向神经网络中会同时预测一组身体部位位置的二维置信度图S(S＝(S1，S2，...，SJ)，这一组S＝(S1，S2，...，SJ)每部分有J个置信图，Sj∈Rw×h，j∈{1...J}。)和一组2维关联场向量L(L＝(L1，L2，...，LC)，每个肢体部分有C个向量场)。
Figure BDA0003811938820000143
为人体信息的类别预测的损失，
Figure BDA0003811938820000144
为人体信息的置信度的损失，c为(其中一个向量场)，C为集合中的向量场的数量(vector fields)，p为图像位置，W为一个二进制掩码，当图像位置p处缺少注释时，W(p)＝0。该掩码用于避免在训练期间惩罚真正的正预测.
Figure BDA0003811938820000145
为t阶段的关联场向量，t为t阶段(t stage)，
Figure BDA0003811938820000146
为GT部分亲和矢量场(the ground truth part affifinityvector field)，*指代GT(ground truth)，t为t阶段(t-stage)，J为置信图数量(confidence map)，
Figure BDA0003811938820000147
为t阶段网络产生的一系列检测结果的置信图(the networkproduces a set of detection confifidence maps)，
Figure BDA0003811938820000148
为GT部分的置信图(the groundtruth part confifidence map)。
在人体图像检测模型的最后的一个总体损失函数，人体图像检测模型的总目标就是要让这个损失函数最小：
Figure BDA0003811938820000149
其中，f为总的损失函数，
Figure BDA00038119388200001410
为人体信息的类别预测的损失，L为一组身体部位位置的2维关联场向量L，T为阶段数量，c为向量场数(vector field)，
Figure BDA00038119388200001411
为人体信息的置信度的损失，s为一组身体部位位置的二维置信度图S。
在每个阶段结束后会计算损失函数，并且这些损失函数的值会被存储下来，在整个人体图像检测模型最后被求和到最终的损失函数当中去。最后使这个总的损失函数最小。
第3步骤，根据人体信息的类别预测的损失及人体信息的置信度的损失，对人体图像检测模型的训练参数进行调整，直至满足预设结束条件，得到已训练的人体图像检测模型。
测试过程中如下：
在得到标记后的图像样本集之后，方法还包括：
根据标记后的图像样本集，确定测试样本集，测试样本集包含多个标记后的第二图像样本以及各标记后的第二图像样本的人体信息；
在使用多个标记后的第一图像样本，得到已训练的人体图像检测模型之后，方法还包括：
将多个标记后的第二图像样本输入已训练的人体图像检测模型，以输出标记后的第二图像样本的人体信息；
根据标记后的第二图像样本的人体信息，以及标记后的第二图像样本的人体信息，确定已训练的人体图像检测模型的准确率；
在已训练的人体图像检测模型的准确率满足预设阈值的情况下，得到训练好的人体图像检测模型。如此，测试样本集准确率提高，训练样本集和测试样本集损失均下降直到保持稳定，达到预设阈值，也就是说明达到迭代目标。
OpenPose Backbone采用了vgg19，具体说明如下：首先，将OpenPose的基础网络Darknet53中的标准卷积结构替换为深度可分离卷积结构，然后去掉Darknet53后面的全连接层和Softmax层。其中深度可分离卷积模块将卷积操作分成了深度卷积和点卷积两个步骤，其中3*3深度卷积对于不同输入通道采取不同的卷积核进行卷积，再通过1*1点卷积完成对深度卷积输出特征图的整合，这样就避免了普通卷积层中任意一个卷积核需要对所有通道进行操作的缺陷。通过深度可分离卷积结构建立的网络模型，其参数量约为普通卷积的1/9，大大精简人体图像检测模型的规模，极大地减少了计算量。
OpenPose Backbone特征提取如下：
首先让图片经过VGG-19神经网络的前十层，生成一组输入到第一阶段的特征图F。
接下来是神经网络的主体部分，分成两个大的模块，第一个是PAF(Part AffinityFields for Part Association，部件关联场)模块，用于训练PAF。第二个是置信图模块，用于训练图像中的每个人的身体关键部分。置信图就是对图上各个像素可能是身体某一部分的概率。
进入PAF的生成神经网络，神经网络分为Tp个阶段(Tp是超参数)，在第一阶段神经网络仅仅输入F，而在2到Tp阶段，神经网络则输入F和前一阶段的输出。
当这个模块运行一次时，称作Stage1记为
Figure BDA0003811938820000161
Stage1(阶段1)输出一个PAF，将这个PAF记为L1。那就有
Figure BDA0003811938820000162
模块运行第二次时，将前一阶段的L1和输入的特征图F合并，输入Stage2。依次运行就有下面的公式。注意这里是顺序的一层层传播的，相当于这里有了Tp层PAF训练模块。
Figure BDA0003811938820000163
其中，Lt为t阶段的关联场向量，F为输入量，
Figure BDA0003811938820000164
为t阶段，Lt-1为t-1阶段的关联场向量，
Figure BDA0003811938820000165
为量词代表任意，t为t阶段，Tp为超参数，p为超参数。
对于整个模块来说公式就是：
Figure BDA0003811938820000166
其中，
Figure BDA0003811938820000167
为Tp部分的置信图，ρt为所有模块的总体参数，
Figure BDA0003811938820000168
为Tp部分的关联场向量。
PAF神经网络模块，由5个卷积块(Convolution Block)和2个1*1的卷积层(Convolution)加上一个L2损失函数组成，其中每个卷积块有三个3*3的卷基层，每个卷积层的输出不但直接向后一层传输同时也直接传输到卷积块的末尾。
图7所示为图5所示的航空加油车安全驾驶行为判别方法中的步骤340的具体流程示意图。
如图7所示，上肢信息包括左上肢信息及右上肢信息，左上肢信息包括左手腕信息、左手肘信息及左肩部信息，右上肢信息包括右手腕信息、右手肘信息及右肩部信息；
上述步骤340进一步可以包括确定左上肢信息的第一联合位置，是否与右上肢信息的第二联合位置对应一致；在第一联合位置与第二联合位置对应不一致的情况下，确定驾驶行为是单手握方向盘的行为；在第一联合位置与第二联合位置对应一致的情况下，确定驾驶行为不是单手握方向盘的行为。
其中，确定驾驶行为不是单手握方向盘的行为，包括：确定左上肢信息的第一角度以及右上肢信息的第二角度，是否符合角度条件；在第一角度及第二角度符合角度条件的情况下，确定驾驶行为是双手握方向盘的行为；在第一角度及第二角度不符合角度条件的情况下，确定驾驶行为不是双手握方向盘的行为。
其中，驾驶员的人体信息包括头部信息；确定驾驶行为不是双手握方向盘的行为，包括：确定上肢信息及头部信息的运动轨迹是否偏离正常运动轨迹；在上肢信息及头部信息的运动轨迹偏离正常运动轨迹的情况下，确定驾驶行为是急打方向盘的行为；在上肢信息及头部信息的运动轨迹未偏离正常运动轨迹的情况下，确定驾驶行为不是急打方向盘的行为。
继续图7所示，上述步骤340进一步可以包括步骤341，确定左上肢信息的第一联合位置，是否与右上肢信息的第二联合位置对应一致。若否，也就是在第一联合位置与第二联合位置对应不一致的情况下，执行步骤342。若是，也就是在第一联合位置与第二联合位置对应一致的情况下，确定驾驶行为不是单手握方向盘的行为，可以继续执行步骤343。第一联合位置是指左手腕特征41、左上肢肘部特征42、左肩部特征43之间空间点的位置。第二联合位置是指右手腕特征、右上肢肘部特征、右肩部特征之间空间点的位置。
步骤342，确定驾驶行为是单手握方向盘的行为。单手握方向盘和双手握方向盘的行为均是指在所述驾驶员开车过程中的单手握方向盘和双手握方向盘的行为。
步骤343，确定左上肢信息的第一角度以及右上肢信息的第二角度，是否符合角度条件。如果是，也就是在第一角度及第二角度符合角度条件的情况下，执行步骤344。如果否，在第一角度及第二角度不符合角度条件的情况下，确定驾驶行为不是双手握方向盘的行为，可以继续执行步骤345。
图8所示为图7所示的航空加油车安全驾驶行为判别方法中的第一角度的示意图。如图8所示，第一角度A是左手腕特征41、左上肢肘部特征42、左肩部特征43之间形成的角度。第二角度是右手腕特征、右上肢肘部特征、右肩部特征之间形成的角度。角度条件是用来反映手腕特征、上肢肘部特征、肩部特征之间形成的角度情况。
步骤344，确定驾驶行为是双手握方向盘的行为。
步骤345，确定上肢信息及头部信息的运动轨迹是否偏离正常运动轨迹。如果是，也就是在上肢信息及头部信息的运动轨迹偏离正常运动轨迹的情况下，执行步骤346。如果否，也就是在上肢信息及头部信息的运动轨迹未偏离正常运动轨迹的情况下，执行步骤347。其中，头部信息包括头部特征45和脖子特征44。
步骤346，确定驾驶行为是急打方向盘的行为。
步骤347确定驾驶行为不是急打方向盘的行为。
在一些实施例中，上述步骤345进一步可以包括如下第1步至第3步。第1步，确定左上肢信息及头部信息的运动幅度是否与右上肢信息及头部信息的运动幅度一致。第2步，在左上肢信息的运动幅度与右上肢信息及头部信息的运动幅度不一致的情况下，确定上肢信息及头部信息的运动轨迹偏离正常运动轨迹。第3步，在左上肢信息及头部信息的运动幅度与右上肢信息及头部信息的运动幅度一致的情况下，确定上肢信息及头部信息的运动轨迹未偏离正常运动轨迹。
在一些实施例中，确定上肢信息及头部信息的运动轨迹是否偏离正常运动轨迹，包括如下第一个步骤至第三个步骤。第一个步骤，确定左上肢信息及头部信息的运动轨迹是否与右上肢信息及头部信息的运动轨迹交叉。第二个步骤，在左上肢信息及头部信息的运动轨迹与右上肢信息及头部信息的运动轨迹交叉的情况下，确定上肢信息及头部信息的运动轨迹偏离正常运动轨迹。第三个步骤，在左上肢信息及头部信息的运动轨迹与右上肢信息及头部信息的运动轨迹未交叉的情况下，确定上肢信息及头部信息的运动轨迹未偏离正常运动轨迹。
上述两个实施例中的运动轨迹可以是连续多张视频帧的位置确定的。
图9所示为本申请实施例的航空加油车安全驾驶行为判别装置的模块示意图。如图9所示，该航空加油车安全驾驶行为判别装置，包括如下模块：
获取模块51，用于获取航空加油车的数据采集设备采集的车内数据，车内数据包括驾驶员的驾驶行为相关的数据；
解析模块52，用于解析车内数据，得到与驾驶行为对应的待测数据，待测数据包括人体图像；
第一处理模块53，用于对人体图像进行检测，确定驾驶员的人体信息；
第二处理模块54，用于在驾驶员的人体信息包括驾驶员的上肢信息中的手部信息，且待测数据包含驾驶员的手背信息与航空加油车的方向盘的相交数据的情况下，根据驾驶员的上肢信息，确定驾驶行为是否偏离安全驾驶行为。
在一些实施例中，第一边缘计算终端包括如上述的航空加油车安全驾驶行为判别装置。
在一些实施例中，所述上肢信息包括左上肢信息及右上肢信息，所述左上肢信息包括左手腕信息、左手肘信息及左肩部信息，所述右上肢信息包括右手腕信息、右手肘信息及右肩部信息；
所述第二处理模块54，具体用于：确定所述左上肢信息的第一联合位置，是否与所述右上肢信息的第二联合位置对应一致；
在所述第一联合位置与所述第二联合位置对应不一致的情况下，确定所述驾驶行为是单手握方向盘的行为；
在所述第一联合位置与所述第二联合位置对应一致的情况下，确定所述驾驶行为不是所述单手握方向盘的行为。
在一些实施例中，第一处理模块53，具体用于：将所述人体图像输入人体图像检测模型，以输出所述驾驶员的人体信息，所述人体图像检测模型是通过人体图像样本集训练得到的，所述人体图像样本集包括样本上肢肘部信息、样本肩部信息及样本头部信息；
和/或，
所述人体信息包括头部信息及躯干信息，所述头部信息包括左眼睛信息、右眼睛信息及脖子信息，所述上肢信息包括左上肢信息及右上肢信息。
在一些实施例中，所述装置还包括：上报模块，用于在所述根据所述驾驶员的上肢信息，确定所述驾驶行为是否偏离安全驾驶行为之后，在所述驾驶行为偏离所述安全驾驶行为的情况下，生成报警信息；向航油安全运维系统中的中心服务器发送所述报警信息。
在一些实施例中，所述车内数据包括方向盘角度数据；所述第二处理模块54，具体用于：根据所述驾驶员的上肢信息，确定所述驾驶行为是否初定偏离所述安全驾驶行为；在所述驾驶行为初定偏离所述安全驾驶行为的情况下，确定所述方向盘的角度数据是否小于角度阈值；在所述方向盘的角度数据小于角度阈值的情况下，将所述驾驶行为最终确定为偏离所述安全驾驶行为。
上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
图10所示为本申请实施例提供的电子设备60的结构示意图。
如图10所示，电子设备60包括处理器61和存储器69。
存储器69，用于存放计算机程序。
一个或多个处理器61，用于执行存储器上所存放的程序时，实现如上所述的航空加油车安全驾驶行为判别方法。
在一些实施例中，电子设备60可以包括内存68和接口67。在一些实施例中，电子设备60还可以根据实际应用包括其他硬件。
其中，存储器69可以存储有可被处理器61调用的程序，可以包括非易失性存储介质。本文中提到的存储器69可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，存储器69可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。
在一些实施例中，还提供了一种计算机可读存储介质，如图10中的存储器69，该计算机可读存储介质内存储有机器可执行指令，所述机器可执行指令被处理器执行时实现上文描述的方法。例如，所述计算机可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘和光数据存储设备等。
本申请可采用在一个或多个其中包含有程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等存储器)上实施的计算机程序产品的形式。计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体，可以任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机可读存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
本申请实施例还提供了一种计算机程序，存储于计算机可读存储介质，例如图10中的计算机可读存储介质，并且当处理器执行该计算机程序时，促使处理器61执行上文中描述的方法。
以上所述仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

Claims (10)

1.一种航空加油车安全驾驶行为判别方法，其特征在于，包括：
获取航空加油车的数据采集设备采集的车内数据，所述车内数据包括驾驶员的驾驶行为相关的数据；
解析所述车内数据，得到与驾驶行为对应的待测数据，所述待测数据包括人体图像；
对所述人体图像进行检测，确定所述驾驶员的人体信息；
在所述驾驶员的人体信息包括所述驾驶员的上肢信息中的手部信息，且所述待测数据包含所述驾驶员的手背信息与所述航空加油车的方向盘的相交数据的情况下，根据所述驾驶员的上肢信息，确定所述驾驶行为是否偏离安全驾驶行为。
2.如权利要求1所述的航空加油车安全驾驶行为判别方法，其特征在于，所述上肢信息包括左上肢信息及右上肢信息，所述左上肢信息包括左手腕信息、左手肘信息及左肩部信息，所述右上肢信息包括右手腕信息、右手肘信息及右肩部信息；
所述根据所述驾驶员的上肢信息，确定所述驾驶行为是否偏离安全驾驶行为，包括：
确定所述左上肢信息的第一联合位置，是否与所述右上肢信息的第二联合位置对应一致；
在所述第一联合位置与所述第二联合位置对应不一致的情况下，确定所述驾驶行为是单手握方向盘的行为；
在所述第一联合位置与所述第二联合位置对应一致的情况下，确定所述驾驶行为不是所述单手握方向盘的行为。
3.如权利要求2所述的航空加油车安全驾驶行为判别方法，其特征在于，所述确定所述驾驶行为不是所述单手握方向盘的行为，包括：
确定所述左上肢信息的第一角度以及所述右上肢信息的第二角度，是否符合角度条件；
在所述第一角度及所述第二角度符合角度条件的情况下，确定所述驾驶行为是双手握方向盘的行为；
在所述第一角度及所述第二角度不符合所述角度条件的情况下，确定所述驾驶行为不是所述双手握方向盘的行为。
4.如权利要求3所述的航空加油车安全驾驶行为判别方法，其特征在于，所述驾驶员的人体信息包括头部信息；
所述确定所述驾驶行为不是所述双手握方向盘的行为，包括：
确定所述上肢信息及所述头部信息的运动轨迹是否偏离正常运动轨迹；
在所述上肢信息及所述头部信息的运动轨迹偏离正常运动轨迹的情况下，确定所述驾驶行为是急打方向盘的行为；
在所述上肢信息及所述头部信息的运动轨迹未偏离正常运动轨迹的情况下，确定所述驾驶行为不是所述急打方向盘的行为。
5.如权利要求4所述的航空加油车安全驾驶行为判别方法，其特征在于，所述确定所述上肢信息及所述头部信息的运动轨迹是否偏离正常运动轨迹，包括：确定所述左上肢信息及所述头部信息的运动幅度是否与所述右上肢信息及所述头部信息的运动幅度一致；在所述左上肢信息的运动幅度与所述右上肢信息及所述头部信息的运动幅度不一致的情况下，确定所述上肢信息及所述头部信息的运动轨迹偏离正常运动轨迹；在所述左上肢信息及所述头部信息的运动幅度与所述右上肢信息及所述头部信息的运动幅度一致的情况下，确定所述上肢信息及所述头部信息的运动轨迹未偏离正常运动轨迹；
和/或，
所述确定所述上肢信息及所述头部信息的运动轨迹是否偏离正常运动轨迹，包括：确定所述左上肢信息及所述头部信息的运动轨迹是否与所述右上肢信息及所述头部信息的运动轨迹交叉；在所述左上肢信息及所述头部信息的运动轨迹与所述右上肢信息及所述头部信息的运动轨迹交叉的情况下，确定所述上肢信息及所述头部信息的运动轨迹偏离正常运动轨迹；在所述左上肢信息及所述头部信息的运动轨迹与所述右上肢信息及所述头部信息的运动轨迹未交叉的情况下，确定所述上肢信息及所述头部信息的运动轨迹未偏离正常运动轨迹。
6.如权利要求1所述的航空加油车安全驾驶行为判别方法，其特征在于，所述对所述人体图像进行检测，确定驾驶员的人体信息，包括：
将所述人体图像输入人体图像检测模型，以输出所述驾驶员的人体信息，所述人体图像检测模型是通过人体图像样本集训练得到的，所述人体图像样本集包括样本上肢肘部信息、样本肩部信息及样本头部信息；
和/或，
所述人体信息包括头部信息及躯干信息，所述头部信息包括左眼睛信息、右眼睛信息及脖子信息，所述上肢信息包括左上肢信息及右上肢信息。
7.如权利要求1所述的航空加油车安全驾驶行为判别方法，其特征在于，在所述根据所述驾驶员的上肢信息，确定所述驾驶行为是否偏离安全驾驶行为之后，所述方法还包括：在所述驾驶行为偏离所述安全驾驶行为的情况下，生成报警信息；向航油安全运维系统中的中心服务器发送所述报警信息；
或者，
所述车内数据包括方向盘角度数据；所述根据所述驾驶员的上肢信息，确定所述驾驶行为是否偏离安全驾驶行为，包括：根据所述驾驶员的上肢信息，确定所述驾驶行为是否初定偏离所述安全驾驶行为；在所述驾驶行为初定偏离所述安全驾驶行为的情况下，确定所述方向盘的角度数据是否小于角度阈值；在所述方向盘的角度数据小于角度阈值的情况下，将所述驾驶行为最终确定为偏离所述安全驾驶行为。
8.一种航空加油车安全驾驶行为判别装置，其特征在于，包括：
获取模块，用于获取航空加油车的数据采集设备采集的车内数据，所述车内数据包括驾驶员的驾驶行为相关的数据；
解析模块，用于解析所述车内数据，得到与驾驶行为对应的待测数据，所述待测数据包括人体图像；
第一处理模块，用于对所述人体图像进行检测，确定所述驾驶员的人体信息；
第二处理模块，用于在所述驾驶员的人体信息包括所述驾驶员的上肢信息中的手部信息，且所述待测数据包含所述驾驶员的手背信息与所述航空加油车的方向盘的相交数据的情况下，根据所述驾驶员的上肢信息，确定所述驾驶行为是否偏离安全驾驶行为。
9.一种航油安全运维系统，其特征在于，所述航油安全运维系统包括：中心服务器及与所述中心服务器连接的多个边缘处理子系统，所述边缘处理子系统包括航油数据采集终端及与所述航油数据采集终端连接的边缘计算设备；
多个所述边缘处理子系统，用于通过航油数据采集终端采集的数据，并采用所述边缘计算设备处理所述数据，得到处理结果，并向所述中心服务器发送所述处理结果；
多个所述边缘处理子系统还包括航空加油车的边缘处理子系统，所述航空加油车的边缘处理子系统与所述中心服务器连接，所述边缘计算设备包括第一边缘计算终端，所述航油数据采集终端包括与所述第一边缘计算终端连接的数据采集设备，所述第一边缘计算终端与所述数据采集设备通信，所述第一边缘计算终端包括如权利要求8所述的航空加油车安全驾驶行为判别装置。
10.如权利要求9所述的航油安全运维系统，其特征在于，所述航空加油车的边缘处理子系统，用于通过数据采集设备采集与航空加油车相关的数据，并使用所述航空加油车的第一边缘计算终端处理所述航空加油车相关的数据，得到第一处理结果，以及向所述中心服务器发送所述第一处理结果；
和/或，
多个所述边缘处理子系统还包括航油油库的边缘处理子系统，所述航油油库的边缘处理子系统与所述中心服务器连接，所述边缘计算设备包括边缘计算服务器，所述航油数据采集终端包括与所述边缘计算服务器连接的智能感知终端，所述智能感知终端与所述边缘计算服务器进行通信，所述航油油库的边缘处理子系统，用于通过所述智能感知终端获取与油库相关的数据，并使用所述边缘计算服务器处理所述与油库相关的数据，得到第二处理结果，以及向所述中心服务器发送所述第二处理结果；
和/或，
多个所述边缘处理子系统还包括航油管线的边缘处理子系统，所述航油数据采集终端包括飞行器，所述边缘计算设备包括第二边缘计算终端，所述飞行器与所述航油管线的边缘处理子系统进行通信，其中，所述航油油库的边缘处理子系统，用于通过所述飞行器获取与航油管线的相关的数据，并使用所述第一边缘计算终端处理所述与航油管线的相关的数据，得到第三处理结果，以及向所述中心服务器发送所述第三处理结果。
CN202211014426.3A 2022-08-23 2022-08-23 航空加油车安全驾驶行为判别方法、装置和安全运维系统 Active CN115471826B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211014426.3A CN115471826B (zh) 2022-08-23 2022-08-23 航空加油车安全驾驶行为判别方法、装置和安全运维系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211014426.3A CN115471826B (zh) 2022-08-23 2022-08-23 航空加油车安全驾驶行为判别方法、装置和安全运维系统

Publications (2)

Publication Number Publication Date
CN115471826A true CN115471826A (zh) 2022-12-13
CN115471826B CN115471826B (zh) 2024-03-26

Family

ID=84366846

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211014426.3A Active CN115471826B (zh) 2022-08-23 2022-08-23 航空加油车安全驾驶行为判别方法、装置和安全运维系统

Country Status (1)

Country Link
CN (1) CN115471826B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108647630A (zh) * 2018-05-08 2018-10-12 北京优创新港科技股份有限公司 一种基于视频识别的危险驾驶行为监督方法与装置
CN109543651A (zh) * 2018-12-06 2019-03-29 长安大学 一种驾驶员危险驾驶行为检测方法
CN109584507A (zh) * 2018-11-12 2019-04-05 深圳佑驾创新科技有限公司 驾驶行为监测方法、装置、系统、交通工具和存储介质
WO2019146488A1 (ja) * 2018-01-25 2019-08-01 日本電気株式会社 運転状況監視装置、運転状況監視方法、および運転状況監視システム
CN110147738A (zh) * 2019-04-29 2019-08-20 中国人民解放军海军特色医学中心 一种驾驶员疲劳监测预警方法及系统
CN110217238A (zh) * 2019-06-18 2019-09-10 北京中位科技有限公司 一种行车风险等级判断优化方法
CN111209848A (zh) * 2020-01-03 2020-05-29 北京工业大学 一种基于深度学习的实时跌倒检测方法
CN111301280A (zh) * 2018-12-11 2020-06-19 北京嘀嘀无限科技发展有限公司 一种危险状态识别方法及装置
CN112613441A (zh) * 2020-12-29 2021-04-06 新疆爱华盈通信息技术有限公司 异常驾驶行为的识别和预警方法、电子设备
CN112671863A (zh) * 2020-12-15 2021-04-16 大连海事大学 一种基于边缘计算的智能航标系统
CN112926544A (zh) * 2021-04-12 2021-06-08 上海眼控科技股份有限公司 一种驾驶状态确定方法、装置、设备和存储介质
CN114005105A (zh) * 2021-12-30 2022-02-01 青岛以萨数据技术有限公司 驾驶行为检测方法、装置以及电子设备
WO2022027894A1 (zh) * 2020-08-07 2022-02-10 上海商汤临港智能科技有限公司 驾驶员行为检测方法、装置、电子设备、存储介质和程序
CN114463725A (zh) * 2021-12-28 2022-05-10 科大讯飞股份有限公司 驾驶员行为检测方法及装置、安全驾驶提醒方法及装置
CN114599008A (zh) * 2022-03-18 2022-06-07 广东电网有限责任公司 基于云平台的输电线路运维系统及方法
CN114764912A (zh) * 2020-12-30 2022-07-19 中兴通讯股份有限公司 驾驶行为识别方法、设备和存储介质

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019146488A1 (ja) * 2018-01-25 2019-08-01 日本電気株式会社 運転状況監視装置、運転状況監視方法、および運転状況監視システム
CN108647630A (zh) * 2018-05-08 2018-10-12 北京优创新港科技股份有限公司 一种基于视频识别的危险驾驶行为监督方法与装置
CN109584507A (zh) * 2018-11-12 2019-04-05 深圳佑驾创新科技有限公司 驾驶行为监测方法、装置、系统、交通工具和存储介质
CN109543651A (zh) * 2018-12-06 2019-03-29 长安大学 一种驾驶员危险驾驶行为检测方法
CN111301280A (zh) * 2018-12-11 2020-06-19 北京嘀嘀无限科技发展有限公司 一种危险状态识别方法及装置
CN110147738A (zh) * 2019-04-29 2019-08-20 中国人民解放军海军特色医学中心 一种驾驶员疲劳监测预警方法及系统
CN110217238A (zh) * 2019-06-18 2019-09-10 北京中位科技有限公司 一种行车风险等级判断优化方法
CN111209848A (zh) * 2020-01-03 2020-05-29 北京工业大学 一种基于深度学习的实时跌倒检测方法
WO2022027894A1 (zh) * 2020-08-07 2022-02-10 上海商汤临港智能科技有限公司 驾驶员行为检测方法、装置、电子设备、存储介质和程序
CN112671863A (zh) * 2020-12-15 2021-04-16 大连海事大学 一种基于边缘计算的智能航标系统
CN112613441A (zh) * 2020-12-29 2021-04-06 新疆爱华盈通信息技术有限公司 异常驾驶行为的识别和预警方法、电子设备
CN114764912A (zh) * 2020-12-30 2022-07-19 中兴通讯股份有限公司 驾驶行为识别方法、设备和存储介质
CN112926544A (zh) * 2021-04-12 2021-06-08 上海眼控科技股份有限公司 一种驾驶状态确定方法、装置、设备和存储介质
CN114463725A (zh) * 2021-12-28 2022-05-10 科大讯飞股份有限公司 驾驶员行为检测方法及装置、安全驾驶提醒方法及装置
CN114005105A (zh) * 2021-12-30 2022-02-01 青岛以萨数据技术有限公司 驾驶行为检测方法、装置以及电子设备
CN114599008A (zh) * 2022-03-18 2022-06-07 广东电网有限责任公司 基于云平台的输电线路运维系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHE CAO ET AL.: "Realtime multi-person 2D pose estimation using part affinity fields", pages 1 - 9 *
苏超 等: "基于改进Openpose 的学生行为识别研究", vol. 38, no. 38, pages 3183 - 3188 *

Also Published As

Publication number Publication date
CN115471826B (zh) 2024-03-26

Similar Documents

Publication Publication Date Title
CN111860155B (zh) 一种车道线的检测方法及相关设备
CN110866887A (zh) 一种基于多传感器的目标态势融合感知方法和系统
CN106503653A (zh) 区域标注方法、装置和电子设备
Donadio et al. Artificial intelligence and collaborative robot to improve airport operations
CN110414359A (zh) 长输管道无人机巡检数据分析与管理方法及系统
Macaulay et al. Machine learning techniques for robotic and autonomous inspection of mechanical systems and civil infrastructure
CN111611918B (zh) 基于航拍数据和深度学习的交通流数据集采集及构建方法
CN115457297B (zh) 航油油库漏油检测方法、装置及航油安全运维系统
CN113284144B (zh) 一种基于无人机的隧道检测方法及装置
US20200394838A1 (en) Generating Map Features Based on Aerial Data and Telemetry Data
CN113592905A (zh) 基于单目摄像头的车辆行驶轨迹预测方法
CN115690153A (zh) 一种智能体轨迹预测方法及系统
CN106773709A (zh) 一种沉浸式无人机驾驶飞行系统
CN115909092A (zh) 轻量化输电通道隐患测距方法及隐患预警装置
CN116993681A (zh) 一种变电站巡检缺陷检测方法及系统
CN110263836B (zh) 一种基于多特征卷积神经网络的不良驾驶状态识别方法
Coradeschi et al. Anchoring symbols to vision data by fuzzy logic
Fanthony et al. YOLO algorithm-based surrounding object identification on autonomous electric vehicle
Tsintotas et al. Visual place recognition for simultaneous localization and mapping
CN115471826A (zh) 航空加油车安全驾驶行为判别方法、装置和安全运维系统
Rezaei et al. A deep learning-based approach for vehicle motion prediction in autonomous driving
CN115979669A (zh) 一种无人车故障检测方法及系统
Ma et al. UAV Target Tracking and Detection Based on Faster R-CNN Improved Networks
Lin et al. Improving LiDAR Object Classification Based on PointNet in Noisy Environments
Wu Computer Vision-Based Traffic Sign Detection and Extraction: A Hybrid Approach Using GIS And Machine Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant