CN112699807A - 一种驾驶员状态信息监控方法和装置 - Google Patents
一种驾驶员状态信息监控方法和装置 Download PDFInfo
- Publication number
- CN112699807A CN112699807A CN202011633557.0A CN202011633557A CN112699807A CN 112699807 A CN112699807 A CN 112699807A CN 202011633557 A CN202011633557 A CN 202011633557A CN 112699807 A CN112699807 A CN 112699807A
- Authority
- CN
- China
- Prior art keywords
- driver
- information
- state
- duty
- eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000001514 detection method Methods 0.000 claims abstract description 29
- 230000002159 abnormal effect Effects 0.000 claims abstract description 15
- 230000006399 behavior Effects 0.000 claims description 50
- 230000001815 facial effect Effects 0.000 claims description 45
- 238000012545 processing Methods 0.000 claims description 30
- 230000009471 action Effects 0.000 claims description 20
- 239000000779 smoke Substances 0.000 claims description 13
- 230000004424 eye movement Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 6
- 238000012806 monitoring device Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000004397 blinking Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 235000019800 disodium phosphate Nutrition 0.000 description 2
- 239000002360 explosive Substances 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000013074 reference sample Substances 0.000 description 2
- 238000013068 supply chain management Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000011265 semifinished product Substances 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B19/00—Alarms responsive to two or more different undesired or abnormal conditions, e.g. burglary and fire, abnormal temperature and abnormal rate of flow
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Traffic Control Systems (AREA)
- Emergency Alarm Devices (AREA)
Abstract
本发明实施例涉及一种驾驶员状态信息监控方法包括：实时采集驾驶员的监控视频图像数据；监控视频图像数据包括第一时间信息；对监控视频图像数据进行人脸图像检测，得到驾驶员面部图像及驾驶员面部图像的检测结果信息；根据检测结果信息和第一时间信息，确定驾驶员的在岗状态为正常状态或异常状态；如果在岗状态为异常状态，生成驾驶员离岗报警信息；如果在岗状态为正常状态，对驾驶员面部图像进行分析，生成驾驶员工作状态信息；驾驶员工作状态信息包括：眨眼行为信息和/或闭眼行为信息；根据眨眼行为信息和/或闭眼行为信息，生成驾驶员疲劳度指数；当疲劳度指数超过预设的疲劳度指数阈值时，生成驾驶员疲劳报警信息。
Description
技术领域
本发明涉及供应链管理技术领域，尤其涉及一种驾驶员状态信息监控方法和装置。
背景技术
物流属于供应链管理非常重要的一个环节，是指为了满足客户的需求，以最低的成本，通过运输、保管及配送等方式，实现原材料、半成品、成品或相关信息进行由商品的产地到商品的消费地的计划、实施和管理的全过程，物流是一个控制原材料、制成品、产成品和信息的系统，从供应开始经各种中间环节的转让及拥有而到达最终消费者手中的实物运动，以此实现组织的明确目标，现代物流是经济全球化的产物，也是推动经济全球化的重要服务业。
现代物流中，缺乏有效的对驾驶员工作状态的监测与提醒装置，驾驶员长时间坐在固定的座位上，动作受到一定限制，忙于判断车内外刺激信息，精神状态高度紧张，容易造成疲劳。当驾驶着装载有易燃易爆的能源运输车辆行车时，驾驶员的违规操作或疲劳驾驶，都会给生命和财产带来不可估量的损失。
发明内容
本发明的目的是针对现有技术所存在的缺陷，提供一种驾驶员状态信息监控方法，通过该方法可有效监控驾驶员在行车过程中的工作状态，特别是疲劳状态，当驾驶员处于疲劳状态时，能够及时进行报警，提高行车的安全性。
为实现上述目的，本发明实施例第一方面提供了一种所述驾驶员状态信息监控方法，包括：
实时采集驾驶员的监控视频图像数据；所述监控视频图像数据包括第一时间信息；
对所述监控视频图像数据进行人脸图像检测，得到驾驶员面部图像及所述驾驶员面部图像的检测结果信息；
根据所述检测结果信息和所述第一时间信息，确定驾驶员的在岗状态为正常状态或异常状态；
如果所述在岗状态为异常状态，生成驾驶员离岗报警信息；
如果所述在岗状态为正常状态，对所述驾驶员面部图像进行分析，生成驾驶员工作状态信息；所述驾驶员工作状态信息包括：眨眼行为信息和/或闭眼行为信息；
根据所述眨眼行为信息和/或闭眼行为信息，生成驾驶员疲劳度指数；
当所述疲劳度指数超过预设的疲劳度指数阈值时，生成驾驶员疲劳报警信息。
优选的，所述对所述监控视频图像数据进行人脸图像检测，得到驾驶员面部图像的检测结果信息具体包括：
对所述监控视频图像数据进行灰度处理；
基于特征脸方法(Eigenface)对预处理后的图像进行处理，提取驾驶员面部区域特征点；
根据所述驾驶员面部区域特征点，对面部区域进行定位，得到驾驶员面部图像的检测结果信息。
优选的，所述实时采集驾驶员的监控视频图像数据之前，所述方法还包括：
建立驾驶员的面部图像信息数据库；所述面部图像信息数据库中包括驾驶员面部基准采样图像和对应的身份信息。
进一步优选的，所述对所述驾驶员面部图像进行分析，生成驾驶员工作状态信息之前，所述方法还包括：
基于类Haar特征提取算法对所述驾驶员面部图像进行第一特征提取，得到第一面部特征集合，根据所述第一面部特征集合在所述面部图像信息数据库中查找匹配的驾驶员面部基准采样图像，从而获得身份信息；
获取驾驶员排班信息，确定应在岗驾驶员身份信息，根据所述应在岗驾驶员身份信息和所获得的身份信息是否一致，如果不一致，生成驾驶员身份错误报警信息。
优选的，所述对所述驾驶员面部图像进行分析，生成驾驶员工作状态信息具体为：
根据所述监控视频图像数据，识别驾驶员的眼部动作；所述眼部动作具体为由睁眼状态至闭眼状态再到睁眼状态的过程；
在预设时间内，统计驾驶员的眼部动作的次数，生成驾驶员眨眼行为信息；
计算每次眼部动作的时长，当所述时长超过预设时长时，记录一次闭眼行为，统计在预设时间内的闭眼行为，生成驾驶员闭眼行为信息。
优选的，所述方法还包括：获取烟雾报警器发送的报警信号，对所述报警信号进行解析，生成烟雾报警信息。
本发明实施例第二方面提供了一种驾驶员状态信息监控装置，包括：
处理模块，用于实时采集驾驶员的监控视频图像数据；所述监控视频图像数据包括第一时间信息；以及，
对所述监控视频图像数据进行人脸图像检测，得到驾驶员面部图像及所述驾驶员面部图像的检测结果信息；
根据所述检测结果信息和所述第一时间信息，确定驾驶员的在岗状态为正常状态或异常状态；
如果所述在岗状态为异常状态，生成驾驶员离岗报警信息；
如果所述在岗状态为正常状态，对所述驾驶员面部图像进行分析，生成驾驶员工作状态信息；所述驾驶员工作状态信息包括：眨眼行为信息和/或闭眼行为信息；
根据所述眨眼行为信息和/或闭眼行为信息，生成驾驶员疲劳度指数；
当所述疲劳度指数超过预设的疲劳度指数阈值时，生成驾驶员疲劳报警信息。
本发明实施例第三方面提供了一种电子设备，包括：存储器、处理器和收发器；
所述处理器用于与所述存储器耦合，读取并执行所述存储器中的指令，以实现上述第一方面所述的方法步骤；
所述收发器与所述处理器耦合，由所述处理器控制所述收发器进行消息收发。
本发明实施例第四方面提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机指令，当所述计算机指令被计算机执行时，使得所述计算机执行上述第一方面所述的方法的指令。
本发明实施例提供的一种所述驾驶员状态信息监控方法、一种驾驶员状态信息监控装置、一种电子设备和一种计算机可读存储介质，将采集到驾驶员的监控视频图像数据，进行人脸图像检测，确定驾驶员的到岗状态，然后再对监控视频图像数据中的驾驶员面部图像进行分析，得到驾驶员是否处于疲劳驾驶，并且当驾驶员处于疲劳状态时，能够及时报警，提高了行车安全性。
附图说明
图1为本发明实施例一提供的一种驾驶员状态信息监控方法的流程图；
图2为本发明实施例二提供的一种驾驶员状态信息监控装置的模块结构图；
图3为本发明实施例三提供的一种电子设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
本发明实施例一提供的一种驾驶员状态信息监控方法，通过对进行能源运输驾驶员的行为进行监控和记录，当有可能发生危险情况时，及时进行报警处理，提高了能源运输过程中的安全性。
如图1为本发明实施例一提供的一种驾驶员状态信息监控方法的流程图所示，本方法的执行主体可以为能源运输车中的处理器也可以为云端服务器，本方法主要包括如下步骤：
步骤101，实时采集驾驶员的监控视频图像数据；监控视频图像数据包括第一时间信息；
具体的，在驾驶员驾驶位置安装视频监控设备，并且确保视频监控设备的安装方向及角度能够实时采集到驾驶员的面部状态，比如面部特征点和面部朝向等。视频监控设备可以为具有将视频图像数据进行实时传输的网络摄像机。监控视频图像数据是由多帧监控图像组成的，每帧监控图像对应的时间即为第一时间信息。
在步骤101之前，该方法还包括，建立驾驶员的面部图像信息数据库；面部图像信息数据库中包括驾驶员面部基准采样图像和对应的身份信息。
具体的，采集驾驶员的面部图像信息，并进行录入，建立驾驶员的面部图像信息数据库。面部图像信息数据库中包括驾驶员面部基准采样图像和对应的身份信息，方便后续进行驾驶员面部特征的对比和身份的确认。其中，身份信息包括驾驶员ID。需要说明的是，此步骤中对驾驶员的面部图像信息的采集可以采用步骤101中的网络摄像机，也可以采用照相机，在此不做限定。
步骤102，对监控视频图像数据进行人脸图像检测，得到驾驶员面部图像及驾驶员面部图像的检测结果信息；
具体的，人脸图像检测是指在监控视频图像数据，采用一定的策略对其进行搜索以确定其中是否含有人脸，从而得到提取监控视频图像中的驾驶员面部图像。驾驶员面部图像的检测结果信息包括检测到驾驶员的面部图像和未检测到驾驶员的面部图像。
进一步具体的，对监控视频图像数据进行灰度处理；避免采集环境周边光线的影响，增强图像的对比度。
基于特征脸方法(Eigenface)对预处理后的图像进行处理，提取驾驶员面部区域特征点；
根据驾驶员面部区域特征点，对面部区域进行定位，得到驾驶员面部图像的检测结果信息。
步骤103，根据检测结果信息和第一时间信息，确定驾驶员的在岗状态为正常状态或异常状态；
步骤104，如果在岗状态为异常状态，生成驾驶员离岗报警信息；
具体的，当未检测到驾驶员的面部图像时，还要结合第一时间信息，进一步判断驾驶员是否在岗。例如，当第一时间信息正好是驾驶员的就餐时间，肯定检测不到驾驶员的面部图像，但是不能判定驾驶员是离岗状态。当第一时间信息为工作时间时，驾驶员处于离岗，即在岗状态异常时，生成报警信息，并输出至相应的报警装置，发出报警信号，可以对驾驶员起到提醒作用。
步骤105，如果在岗状态为正常状态，对驾驶员面部图像进行分析，生成驾驶员工作状态信息；驾驶员工作状态信息包括：眨眼行为信息和/或闭眼行为信息；
具体的，只有当驾驶员在岗状态为正常状态时，才会对驾驶员面部图像进行分析。驾驶员工作状态信息可以理解为驾驶员在工作时的面部动作信息，通过面部动作信息的获取，从而反映了驾驶员的工作状态。
进一步具体的，根据监控视频图像数据，识别驾驶员的眼部动作；眼部动作具体为由睁眼状态至闭眼状态再到睁眼状态的过程；
在预设时间内，统计驾驶员的眼部动作的次数，生成驾驶员眨眼行为信息。
在一个具体的实施例中，预设时间为1min，统计到驾驶员眼部动作的次数为20次，则驾驶员眨眼行为信息为20次/min。
计算每次眼部动作的时长，当时长超过预设时长时，记录一次闭眼行为，统计在预设时间内的闭眼行为，生成驾驶员闭眼行为信息。
一般来说某驾驶员发生一次眼部动作的时长是相对固定的，因此，可以统计该驾驶员，发生一次眼部动作的时间，然后计算平均值，即预设时长为该驾驶员发生一次眼部动作的平均时间。
在另一个具体的实施例中，预设时长为3S,当驾驶员眼部动作的时长为6S时，判定为一次闭眼行为。如果预设时间为1min,闭眼行为为10次，则驾驶员闭眼行为信息为10次/min。
在步骤105之前，该方法还包括：
基于类Haar特征提取算法对驾驶员面部图像进行第一特征提取，得到第一面部特征集合，根据第一面部特征集合在面部图像信息数据库中查找匹配的驾驶员面部基准采样图像，从而获得身份信息；
获取驾驶员排班信息，确定应在岗驾驶员身份信息，根据应在岗驾驶员身份信息和所获得的身份信息是否一致，如果不一致，生成驾驶员身份错误报警信息，发送给管理终端，以便于管理人员及时了解情况，采取相应的措施，提高安全性。
具体的，通过步骤103确定完驾驶员的在岗状态后，只是确定了在工作时间内是否有驾驶员到岗，并未确定到岗的驾驶员是不是应该在岗的驾驶员。所以还要进行驾驶员身份信息的确认。应在岗驾驶员身份信息中，包括应在岗驾驶员ID，将到岗的驾驶员ID与应在岗驾驶员ID相比较，两者如果不一致，则生成驾驶员身份错误报警信息。
步骤106，根据眨眼行为信息和/或闭眼行为信息，生成驾驶员疲劳度指数；
步骤107，当疲劳度指数超过预设的疲劳度指数阈值时，生成驾驶员疲劳报警信息。
具体的，疲劳度指数是根据眨眼行为信息、闭眼行为信息或结合眨眼行为信息和闭眼行为信息得出的。疲劳度指数等于驾驶员实际眨眼行为信息与驾驶员眨眼行为信息的比值；或，驾驶员实际闭眼行为信息与驾驶员闭眼行为信息的比值。预设的疲劳度指数阈值是结合人体生理特点得出的数据。假设预设的疲劳度指数阈值为1，当疲劳度指数大于1时，驾驶员处于疲劳状态。
在一个具体的例子中，驾驶员实际眨眼行为信息为25次/min，疲劳度指数为1.25，判定驾驶员处于疲劳状态。
在另一个具体的例子中，驾驶员实际闭眼行为信息为15次/min，疲劳度指数为1.5，判定驾驶员处于疲劳状态。
需要说明的是，只要疲劳度指数大于1，即判定驾驶员处于疲劳状态。
作为优选方案，该方法还包括：获取烟雾报警器发送的报警信号，对报警信号进行解析，生成烟雾报警信息。
具体的，当驾驶着装载有易燃易爆的能源运输车辆时，驾驶员的抽烟行为可能会带来毁灭性的灾难，因此，在驾驶室内设置烟雾报警器是非常必要的，当驾驶室的烟雾浓度达到预设的烟雾浓度报警阈值时，烟雾报警器发出报警信号，提醒驾驶员注意，当报警信号被处理器或者云端服务器获取时，对报警信号进行解析，生成烟雾报警信息进行存储。
图2为本发明实施例二提供的一种驾驶员状态信息监控装置的模块结构图，该装置可以为前述实施例所描述的视频监控设备(如网络摄像机)，也可以为能够使得视频监控设备实现本申请实施例提供的方法的装置，例如该装置可以是视频监控设备中的装置或芯片系统。如图2所示，该装置包括：
处理模块201，用于实时采集驾驶员的监控视频图像数据；监控视频图像数据包括第一时间信息；以及，
对监控视频图像数据进行人脸图像检测，得到驾驶员面部图像及驾驶员面部图像的检测结果信息；
根据检测结果信息和第一时间信息，确定驾驶员的在岗状态为正常状态或异常状态；
如果在岗状态为异常状态，生成驾驶员离岗报警信息；
如果在岗状态为正常状态，对驾驶员面部图像进行分析，生成驾驶员工作状态信息；驾驶员工作状态信息包括：眨眼行为信息和/或闭眼行为信息；
根据眨眼行为信息和/或闭眼行为信息，生成驾驶员疲劳度指数；
当疲劳度指数超过预设的疲劳度指数阈值时，生成驾驶员疲劳报警信息。
在本实施例提供的一个具体实现方式中，处理模块201具体用于：
对监控视频图像数据进行灰度处理；
基于特征脸方法(Eigenface)对预处理后的图像进行处理，提取驾驶员面部区域特征点；
根据驾驶员面部区域特征点，对面部区域进行定位，得到驾驶员面部图像的检测结果信息。
在本实施例提供的另一个具体实现方式中，处理模块201，还用于建立驾驶员的面部图像信息数据库；面部图像信息数据库中包括驾驶员面部基准采样图像和对应的身份信息。
在本实施例提供的另一个具体实现方式中，处理模块201，还用于基于类Haar特征提取算法对驾驶员面部图像进行第一特征提取，得到第一面部特征集合，根据第一面部特征集合在面部图像信息数据库中查找匹配的驾驶员面部基准采样图像，从而获得身份信息；
获取驾驶员排班信息，确定应在岗驾驶员身份信息，根据应在岗驾驶员身份信息和所获得的身份信息是否一致，如果不一致，生成驾驶员身份错误报警信息。
在本实施例提供的另一个具体实现方式中，处理模块201具体用于：
根据监控视频图像数据，识别驾驶员的眼部动作；眼部动作具体为由睁眼状态至闭眼状态再到睁眼状态的过程；
在预设时间内，统计驾驶员的眼部动作的次数，生成驾驶员眨眼行为信息；
计算每次眼部动作的时长，当时长超过预设时长时，记录一次闭眼行为，统计在预设时间内的闭眼行为，生成驾驶员闭眼行为信息。
在本实施例提供的另一个具体实现方式中，处理模块201，还用于获取烟雾报警器发送的报警信号，对报警信号进行解析，生成烟雾报警信息。
本发明实施例提供的一种驾驶员状态信息监控装置，可以执行上述方法实施例中的方法步骤，其实现原理和技术效果类似，在此不再赘述。
需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，确定模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上确定模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所描述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，ASIC)，或，一个或多个微处理器(Digital Signal Processor，DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(System-on-a-chip，SOC)的形式实现。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例所描述的流程或功能。上述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。上述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，上述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线路((Digital Subscriber Line，DSL))或无线(例如红外、无线、蓝牙、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。上述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。上述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
图3为本发明实施例三提供的一种电子设备的结构示意图。该电子设备可以为前述的视频监控设备(如网络摄像机)。如图3所示，该电子设备300可以包括：处理器31(例如CPU)、存储器32、收发器33；收发器33耦合至处理器31，处理器31控制收发器33的收发动作。存储器32中可以存储各种指令，以用于完成各种处理功能以及实现本发明实施例电子设备执行的方法步骤。优选的，本发明实施例涉及的电子设备还可以包括：电源34、系统总线35以及通信端口36。系统总线35用于实现元件之间的通信连接。上述通信端口36用于电子设备与其他外设之间进行连接通信。
该图3中提到的系统总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，RAM)，也可能还包括非易失性存储器(Non-Volatile Memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器CPU、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器DSP、专用集成电路ASIC、现场可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
需要说明的是，本发明实施例还提供一种计算机可读存储介质，该存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中提供的方法和处理过程。
本发明实施例还提供一种运行指令的芯片，该芯片用于执行上述实施例中提供的方法和处理过程。
本发明实施例还提供一种程序产品，该程序产品包括计算机程序，该计算机程序存储在存储介质中，至少一个处理器可以从上述存储介质读取上述计算机程序，上述至少一个处理器执行上述实施例中提供的方法和处理过程。
本发明实施例提供的一种驾驶员状态信息监控方法，将采集到驾驶员的监控视频图像数据，进行人脸图像检测，确定驾驶员的到岗状态，然后再对监控视频图像数据中的驾驶员面部图像进行分析，得到驾驶员是否处于疲劳驾驶，并且当驾驶员处于疲劳状态时，能够及时报警，提高了行车安全性。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM动力系统控制方法、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种驾驶员状态信息监控方法，其特征在于，所述驾驶员状态信息监控方法包括：
实时采集驾驶员的监控视频图像数据；所述监控视频图像数据包括第一时间信息；
对所述监控视频图像数据进行人脸图像检测，得到驾驶员面部图像及所述驾驶员面部图像的检测结果信息；
根据所述检测结果信息和所述第一时间信息，确定驾驶员的在岗状态为正常状态或异常状态；
如果所述在岗状态为异常状态，生成驾驶员离岗报警信息；
如果所述在岗状态为正常状态，对所述驾驶员面部图像进行分析，生成驾驶员工作状态信息；所述驾驶员工作状态信息包括：眨眼行为信息和/或闭眼行为信息；
根据所述眨眼行为信息和/或闭眼行为信息，生成驾驶员疲劳度指数；
当所述疲劳度指数超过预设的疲劳度指数阈值时，生成驾驶员疲劳报警信息。
2.根据权利要求1所述的驾驶员状态信息监控方法，其特征在于，所述对所述监控视频图像数据进行人脸图像检测，得到驾驶员面部图像的检测结果信息具体包括：
对所述监控视频图像数据进行灰度处理；
基于特征脸方法(Eigenface)对预处理后的图像进行处理，提取驾驶员面部区域特征点；
根据所述驾驶员面部区域特征点，对面部区域进行定位，得到驾驶员面部图像的检测结果信息。
3.根据权利要求1所述的驾驶员状态信息监控方法，其特征在于，所述实时采集驾驶员的监控视频图像数据之前，所述方法还包括：
建立驾驶员的面部图像信息数据库；所述面部图像信息数据库中包括驾驶员面部基准采样图像和对应的身份信息。
4.根据权利要求3所述的驾驶员状态信息监控方法，其特征在于，所述对所述驾驶员面部图像进行分析，生成驾驶员工作状态信息之前，所述方法还包括：
基于类Haar特征提取算法对所述驾驶员面部图像进行第一特征提取，得到第一面部特征集合，根据所述第一面部特征集合在所述面部图像信息数据库中查找匹配的驾驶员面部基准采样图像，从而获得身份信息；
获取驾驶员排班信息，确定应在岗驾驶员身份信息，根据所述应在岗驾驶员身份信息和所获得的身份信息是否一致，如果不一致，生成驾驶员身份错误报警信息。
5.根据权利要求1所述的驾驶员状态信息监控方法，其特征在于，所述对所述驾驶员面部图像进行分析，生成驾驶员工作状态信息具体为：
根据所述监控视频图像数据，识别驾驶员的眼部动作；所述眼部动作具体为由睁眼状态至闭眼状态再到睁眼状态的过程；
在预设时间内，统计驾驶员的眼部动作的次数，生成驾驶员眨眼行为信息；
计算每次眼部动作的时长，当所述时长超过预设时长时，记录一次闭眼行为，统计在预设时间内的闭眼行为，生成驾驶员闭眼行为信息。
6.根据权利要求1所述的驾驶员状态信息监控方法，其特征在于，所述方法还包括：
获取烟雾报警器发送的报警信号，对所述报警信号进行解析，生成烟雾报警信息。
7.一种驾驶员状态信息监控装置，其特征在于，包括：
处理模块，用于实时采集驾驶员的监控视频图像数据；所述监控视频图像数据包括第一时间信息；以及，
对所述监控视频图像数据进行人脸图像检测，得到驾驶员面部图像及所述驾驶员面部图像的检测结果信息；
根据所述检测结果信息和所述第一时间信息，确定驾驶员的在岗状态为正常状态或异常状态；
如果所述在岗状态为异常状态，生成驾驶员离岗报警信息；
如果所述在岗状态为正常状态，对所述驾驶员面部图像进行分析，生成驾驶员工作状态信息；所述驾驶员工作状态信息包括：眨眼行为信息和/或闭眼行为信息；
根据所述眨眼行为信息和/或闭眼行为信息，生成驾驶员疲劳度指数；
当所述疲劳度指数超过预设的疲劳度指数阈值时，生成驾驶员疲劳报警信息。
8.一种电子设备，其特征在于，包括：存储器、处理器和收发器；
所述处理器用于与所述存储器耦合，读取并执行所述存储器中的指令，以实现权利要求1-6任一项所述的方法步骤；
所述收发器与所述处理器耦合，由所述处理器控制所述收发器进行消息收发。
9.一种计算机可读存储介质，其特征在于，所述计算机存储介质存储有计算机指令，当所述计算机指令被计算机执行时，使得所述计算机执行权利要求1-6任一项所述的方法的指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011633557.0A CN112699807A (zh) | 2020-12-31 | 2020-12-31 | 一种驾驶员状态信息监控方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011633557.0A CN112699807A (zh) | 2020-12-31 | 2020-12-31 | 一种驾驶员状态信息监控方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112699807A true CN112699807A (zh) | 2021-04-23 |
Family
ID=75513721
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011633557.0A Pending CN112699807A (zh) | 2020-12-31 | 2020-12-31 | 一种驾驶员状态信息监控方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112699807A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113408466A (zh) * | 2021-06-30 | 2021-09-17 | 东风越野车有限公司 | 车辆驾驶员不良驾驶行为检测方法及设备 |
| CN113537135A (zh) * | 2021-07-30 | 2021-10-22 | 三一重机有限公司 | 一种驾驶监测方法、装置、系统及可读存储介质 |
| CN113591533A (zh) * | 2021-04-27 | 2021-11-02 | 浙江工业大学之江学院 | 基于道路监控的防疲劳驾驶方法、装置、设备及存储介质 |
| CN113705427A (zh) * | 2021-08-26 | 2021-11-26 | 成都上富智感科技有限公司 | 基于车规级芯片SoC的疲劳驾驶监测预警方法及系统 |
| CN113780108A (zh) * | 2021-08-24 | 2021-12-10 | 中联重科建筑起重机械有限责任公司 | 用于塔机的驾驶员行为识别的方法、处理器、装置及塔机 |
| CN113903140A (zh) * | 2021-09-10 | 2022-01-07 | 武汉中极氢能源发展有限公司 | 行驶信息的提示方法、装置和系统，及存储介质和处理器 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108446600A (zh) * | 2018-02-27 | 2018-08-24 | 上海汽车集团股份有限公司 | 一种车辆驾驶员疲劳监测预警系统及方法 |
| CN108846308A (zh) * | 2018-04-24 | 2018-11-20 | 浙江吉利控股集团有限公司 | 一种疲劳驾驶检测方法及装置 |
| WO2019232972A1 (zh) * | 2018-06-04 | 2019-12-12 | 上海商汤智能科技有限公司 | 驾驶管理方法和系统、车载智能系统、电子设备、介质 |
| CN110879973A (zh) * | 2019-10-31 | 2020-03-13 | 安徽普华灵动机器人科技有限公司 | 一种驾驶员疲劳状态面部特征识别检测方法 |
-
2020
- 2020-12-31 CN CN202011633557.0A patent/CN112699807A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108446600A (zh) * | 2018-02-27 | 2018-08-24 | 上海汽车集团股份有限公司 | 一种车辆驾驶员疲劳监测预警系统及方法 |
| CN108846308A (zh) * | 2018-04-24 | 2018-11-20 | 浙江吉利控股集团有限公司 | 一种疲劳驾驶检测方法及装置 |
| WO2019232972A1 (zh) * | 2018-06-04 | 2019-12-12 | 上海商汤智能科技有限公司 | 驾驶管理方法和系统、车载智能系统、电子设备、介质 |
| CN110879973A (zh) * | 2019-10-31 | 2020-03-13 | 安徽普华灵动机器人科技有限公司 | 一种驾驶员疲劳状态面部特征识别检测方法 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113591533A (zh) * | 2021-04-27 | 2021-11-02 | 浙江工业大学之江学院 | 基于道路监控的防疲劳驾驶方法、装置、设备及存储介质 |
| CN113408466A (zh) * | 2021-06-30 | 2021-09-17 | 东风越野车有限公司 | 车辆驾驶员不良驾驶行为检测方法及设备 |
| CN113537135A (zh) * | 2021-07-30 | 2021-10-22 | 三一重机有限公司 | 一种驾驶监测方法、装置、系统及可读存储介质 |
| CN113780108A (zh) * | 2021-08-24 | 2021-12-10 | 中联重科建筑起重机械有限责任公司 | 用于塔机的驾驶员行为识别的方法、处理器、装置及塔机 |
| CN113705427A (zh) * | 2021-08-26 | 2021-11-26 | 成都上富智感科技有限公司 | 基于车规级芯片SoC的疲劳驾驶监测预警方法及系统 |
| CN113705427B (zh) * | 2021-08-26 | 2024-06-11 | 成都上富智感科技有限公司 | 基于车规级芯片SoC的疲劳驾驶监测预警方法及系统 |
| CN113903140A (zh) * | 2021-09-10 | 2022-01-07 | 武汉中极氢能源发展有限公司 | 行驶信息的提示方法、装置和系统，及存储介质和处理器 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112699807A (zh) | 一种驾驶员状态信息监控方法和装置 | |
| US20200292471A1 (en) | Solder paste printing quality inspection system and method | |
| CN108320256A (zh) | 基于大数据的社会安全事件识别方法、设备及存储介质 | |
| CN111814775B (zh) | 目标对象异常行为识别方法、装置、终端及存储介质 | |
| CN111177714A (zh) | 异常行为检测方法、装置、计算机设备和存储介质 | |
| CN111613335A (zh) | 一种健康预警系统及方法 | |
| CN115865649B (zh) | 一种智能运维管理控制方法、系统和存储介质 | |
| CN112992325B (zh) | 一种监护对象的检测数据处理方法、系统及装置 | |
| CN115358155A (zh) | 一种电力大数据异常预警方法、装置、设备及可读存储介质 | |
| CN113468530A (zh) | 基于云计算的风险管理安全实时监控方法 | |
| CN117079211B (zh) | 一种网络机房的安全监控系统及其方法 | |
| CN114898261A (zh) | 一种基于视频和生理数据融合的睡眠质量评估方法及系统 | |
| CN112910733A (zh) | 一种基于大数据的全链路监控系统及方法 | |
| CN116308366A (zh) | 一种支付安全监控处理方法、系统及存储介质 | |
| CN113312958B (zh) | 一种基于司机状态的派单优先度调整方法及装置 | |
| CN118000734A (zh) | 车内人员健康监测方法、装置、电子设备及存储介质 | |
| CN111723767B (zh) | 一种图像处理方法、装置及计算机存储介质 | |
| CN111126167B (zh) | 一种快速识别多名特定人员串联活动的方法及系统 | |
| CN112801783A (zh) | 一种基于数字货币交易特征的实体识别方法及装置 | |
| CN113743326B (zh) | 安全带佩戴状态监测系统、方法、装置和计算机设备 | |
| CN111339142A (zh) | 数据监控响应方法、计算机可读存储介质及数据驱动平台 | |
| CN116311080B (zh) | 监控影像检测方法及装置 | |
| RU2723670C1 (ru) | Система контроля операторов рентгено-телевизионных установок | |
| Harutyunyan | ORGANIZING INFORMATION COLLECTION IN THE CONTEXT OF DISASTER: APPROACHES BEFORE, DURING AND AFTER EMERGENCIES | |
| CN118506356A (zh) | 食品安全综合治理的自动检测方法、装置、介质及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210708 Address after: 255000 south-02, 4th floor, building 15, Instrument Industrial Park, 9009 Qinglongshan Road, high tech Zone, Zibo City, Shandong Province Applicant after: Energy chain logistics technology Co.,Ltd. Address before: 100025 building 7, Huitong Times Square, 1 yaojiayuan South Road, Chaoyang District, Beijing Applicant before: CHEZHUBANG (BEIJING) TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right |