CN111661059B - 分心驾驶监测方法、系统及电子设备 - Google Patents

分心驾驶监测方法、系统及电子设备 Download PDF

Info

Publication number
CN111661059B
CN111661059B CN201910175982.0A CN201910175982A CN111661059B CN 111661059 B CN111661059 B CN 111661059B CN 201910175982 A CN201910175982 A CN 201910175982A CN 111661059 B CN111661059 B CN 111661059B
Authority
CN
China
Prior art keywords
target object
detection result
driving behavior
result
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910175982.0A
Other languages
English (en)
Other versions
CN111661059A (zh
Inventor
张骁迪
张志伟
鲍天龙
丁春辉
王进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rainbow Software Co ltd
Original Assignee
Rainbow Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rainbow Software Co ltd filed Critical Rainbow Software Co ltd
Priority to CN201910175982.0A priority Critical patent/CN111661059B/zh
Priority to KR1020217032527A priority patent/KR102543161B1/ko
Priority to US16/626,350 priority patent/US11783599B2/en
Priority to PCT/CN2019/122790 priority patent/WO2020181840A1/zh
Priority to EP19817571.3A priority patent/EP3730371A4/en
Priority to JP2021552987A priority patent/JP7407198B2/ja
Publication of CN111661059A publication Critical patent/CN111661059A/zh
Application granted granted Critical
Publication of CN111661059B publication Critical patent/CN111661059B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明公开了一种分心驾驶监测方法、系统及电子设备。一种分心驾驶监测方法通过采集驾驶员图像；检测目标物，获得检测结果；根据检测结果，获取驾驶行为的判断结果；当判断结果表示出现分心驾驶行为时，发出报警信号；可以对驾驶员的分心驾驶行为进行实时监测并报警，从而督促驾驶员集中注意力，保障安全驾驶，避免交通事故的发生；此外，还可以判断出具体是哪种分心驾驶行为并给出不同的报警提示，有助于作为执法依据或用于数据采集、数据分析、进一步的人工确认；进而解决未对司机在行车过程中出现的分心驾驶行为进行监控而造成交通事故的问题。

Description

分心驾驶监测方法、系统及电子设备
技术领域
本发明涉及计算机视觉处理技术，具体而言，涉及一种分心驾驶监测方法、系统及电子设备。
背景技术
随着国家经济发展，国内汽车保有量持续上升，家用车辆、交通运输车辆快速增多。与此同时，交通事故数量同步快速上升，造成众多人员伤亡和重大的财产损失。如何减少交通事故数量，是全社会共同关注的问题。在驾驶过程中，出现接打电话、抽烟、喝水或饮食等行为时，使司机分心驾驶，是造成交通事故的最常见原因之一。因此，有必要在司机驾驶过程中，对其行为进行监控，在司机出现接打电话、抽烟、喝水或饮食等分心驾驶行为时，能够及时对其进行警告，或者反馈给监管机构，以降低出现交通事故的风险。
发明内容
本发明实施例提供了一种分心驾驶监测方法、系统及电子设备，以至少解决未对司机在行车过程中出现的分心驾驶行为进行监控而造成交通事故的问题。
根据本发明实施例的一个方面，提供了一种分心驾驶监测方法，包括：采集驾驶员图像；检测目标物，获得检测结果，其中，所述目标物与分心驾驶行为对应；根据所述检测结果，获取驾驶行为的判断结果；当所述判断结果表示出现所述分心驾驶行为时，发出报警信号。
进一步地，所述方法通过图像采集模块采集驾驶员图像，其中，所述图像采集模块为独立的摄像装置或集成在电子设备上的摄像装置。
进一步地，所述目标物包括以下至少之一：香烟、手机、水杯、食物，与所述目标物对应的所述分心驾驶行为则包括以下至少之一：抽烟、接打电话、喝水、饮食。
进一步地，所述检测结果表示所述驾驶员图像中是否包含目标物，当所述检测结果表示所述驾驶员图像中包含目标物时，所述驾驶行为的判断结果为分心驾驶行为。
进一步地，所述检测结果包括所述目标物的类型、与所属类型对应的概率值。
进一步地，所述方法包括：根据所述概率值筛选检测结果。
进一步地，所述方法包括：比较所述检测结果中与所属类型对应的概率值和第一阈值，获得比较结果；根据所述比较结果来筛选检测结果。
进一步地，所述方法包括：当所述比较结果表示检测结果中与所属类型对应的概率值大于所述第一阈值时，保留该检测结果；否则，将所述检测结果丢弃。
进一步地，当存在多个概率值大于第一阈值的检测结果时，仅保留概率值最高的检测结果。
进一步地，所述方法包括：在所述采集驾驶员图像之后，检测人脸区域。
进一步地，所述检测结果包括目标物的位置。
进一步地，所述方法包括：通过分析所述目标物的位置和预设合理区域的相对位置关系，评估所述检测结果的合理性。
进一步地，通过分析目标物的位置和预设合理区域的相对位置关系，评估检测结果的合理性包括：计算所述目标物的位置与所述目标物对应的所述预设合理区域的交并比，比较交并比与第二阈值；当所述交并比大于所述第二阈值时，表示所述目标物的位置出现在预设合理区域中，目标检测结果可信；否则丢弃所述目标检测结果。
进一步地，在采集驾驶员图像之后，所述方法还包括：对所述驾驶员图像进行预处理，得到预处理图像；其中，所述预处理包括以下至少之一：图像缩放、像素值归一化、图像增强。
进一步地，所述方法使用深度学习算法得到所述驾驶员图像或所述预处理图像中所述目标物的位置、类型和概率值，其中，所述概率值为所述目标物属于所属类型的概率。
进一步地，所述方法通过结合连续帧的判断结果，确定最终的判断结果。
进一步地，所述方法使用队列结构存储最近t秒中每一帧的判断结果并维护该队列；遍历该队列记录，如果驾驶行为在最近t秒中的占比超过第三阈值，则将该驾驶行为作为最终的判断结果。
根据本发明实施例的另一方面，还提供了一种分心驾驶监测系统，包括：图像采集模块，被配置为采集驾驶员图像；检测模块，被配置为检测目标物，获得检测结果；逻辑判断模块，被配置为根据检测结果，获取驾驶行为的判断结果；通讯模块，被配置为当判断结果表示出现分心驾驶行为时，发出报警信号。
进一步地，所述图像采集模块为独立的摄像装置或集成在电子设备上的摄像装置。
进一步地，所述目标物包括以下至少之一：香烟、手机、水杯、食物，与所述目标物对应的所述分心驾驶行为则包括以下至少之一：抽烟、接打电话、喝水、饮食。
进一步地，所述检测结果包括以下至少之一：是否存在目标物、目标物的位置、目标物的类型、与所属类型对应的概率值。
进一步地，所述逻辑判断模块被配置为根据所述概率值筛选所述检测结果。
进一步地，所述逻辑判断模块通过比较所述检测结果中与所属类型对应的概率值和第一阈值，获得比较结果；根据所述比较结果来筛选检测结果；当所述比较结果表示检测结果中与所属类型对应的概率值大于所述第一阈值时，保留该检测结果；否则，将所述检测结果丢弃。
进一步地，当存在多个概率值大于第一阈值的检测结果时，仅保留概率值最高的检测结果。
进一步地，所述检测模块被配置为在所述采集驾驶员图像之后，检测人脸区域。
进一步地，所述逻辑判断模块通过分析所述目标物的位置和预设合理区域的相对位置关系，评估所述检测结果的合理性。
进一步地，通过分析目标物的位置和预设合理区域的相对位置关系，评估检测结果的合理性包括：计算所述目标物的位置与所述目标物对应的所述预设合理区域的交并比，比较交并比与第二阈值；当所述交并比大于所述第二阈值时，表示所述目标物的位置出现在预设合理区域中，目标检测结果可信；否则丢弃所述目标检测结果。
进一步地，所述检测模块使用深度学习算法得到所述驾驶员图像中所述目标物的位置、类型和概率值，其中，所述概率值为所述目标物属于所属类型的概率。
进一步地，所述逻辑判断模块通过结合连续帧的判断结果，确定最终的判断结果。
进一步地，所述逻辑判断模块使用队列结构存储最近t秒中每一帧的判断结果并维护该队列；遍历该队列记录，如果驾驶行为在最近t秒中的占比超过第三阈值，则将该驾驶行为作为最终的判断结果。
根据本发明实施例的另一方面，还提供了一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的分心驾驶监测方法。
根据本发明实施例的另一方面，还提供了一种存储介质，其中，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述任意一项所述的分心驾驶监测方法。
在本发明实施例中，通过采集驾驶员图像；检测目标物，获得检测结果；根据检测结果，获取驾驶行为的判断结果；当判断结果表示出现分心驾驶行为时，发出报警信号；可以对驾驶员的分心驾驶行为进行实时监测并报警，从而督促驾驶员集中注意力，保障安全驾驶，避免交通事故的发生；此外，还可以判断出具体是哪种分心驾驶行为并给出不同的报警提示，有助于作为执法依据、数据分析或用于进一步的人工确认；进而解决未对司机在行车过程中出现的分心驾驶行为进行监控而造成交通事故的问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1根据本发明实施例的一种可选的分心驾驶监测方法的示意图；
图2是根据本发明实施例的另一种可选的分心驾驶监测方法的流程图；
图3是根据本发明实施例的一种可选的分心驾驶监测系统的结构框图；
图4是根据本发明实施例一种可选的电子设备的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例可以应用于计算机系统/服务器，其可与众多其它通用或者专用计算系统环境或配置一起操作。适于与计算机系统/服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块等)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑以及数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，由通过通信网络链接的远程处理设备执行任务。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或者远程计算系统存储介质上。
下面通过详细的实施例来说明本发明。
参考图1，是根据本发明实施例的一种可选的分心驾驶监测方法的流程图。如图1所示，该方法包括以下步骤：
S10：采集驾驶员图像；
S12：检测目标物，获得检测结果，其中，目标物与分心驾驶行为对应；
S14：根据检测结果，获取驾驶行为的判断结果；
S16：当判断结果表示出现分心驾驶行为时，发出报警信号。
在本发明实施例中，通过上述步骤，即通过采集驾驶员图像；检测目标物，获得检测结果；根据检测结果，获取驾驶行为的判断结果；当判断结果表示出现分心驾驶行为时，发出报警信号；可以对驾驶员的分心驾驶行为进行实时监测并报警，从而督促驾驶员集中注意力，保障安全驾驶，避免交通事故的发生。
下面对上述各步骤进行详细说明。
步骤S10，采集驾驶员图像；
可选的，在本发明实施例中，可以通过图像采集模块获取驾驶员图像，其中，图像采集模块可以为独立的摄像装置或集成在电子设备上的摄像装置等，例如独立的红外摄像头、深度摄像头、RGB摄像头、Mono摄像头等，或者手机、平板电脑、行车记录仪、导航仪、操作面板、中控台等电子设备上自带的摄像头。驾驶员图像可以通过截取图像采集模块采集的视频中的图像帧获取。
由于车内(例如，驾驶室)的光线通常会跟随行车环境而变化，在天气晴好的白天，车内(例如，驾驶室)的光线较为明亮，在夜晚或者阴天或者隧道内，车内(例如，驾驶室)的光线则较暗，而红外摄像头受光照变化影响小，具有全天候工作的能力，因此可以选择红外摄像头(包括近红外摄像头等)获取驾驶员图像，以获取质量优于普通摄像头的驾驶员图像，从而提高分心驾驶监测结果的准确度。
可选的，在本发明实施例中，图像采集模块可以设置在车内任意可以拍摄到驾驶员面部的至少一个位置，例如，仪表盘附近，中控台附近，后视镜附近等。图像采集模块的数量可以为一个或多个。
可选的，在本发明实施例中，可以每隔预定数目帧获取视频帧图像，以降低视频帧图像的获取频率，优化计算资源。
可选的，在本发明实施例中，可以对驾驶员图像进行预处理，预处理包括以下至少之一：图像缩放、像素值归一化、图像增强；由此，可以得到清晰度、大小等符合要求的驾驶员图像。
步骤S12，检测目标物，获得检测结果；其中，目标物与分心驾驶行为对应；
可选的，在本发明实施例中，可以通过检测模块检测目标物，获得检测结果。
可选的，在本发明实施例中，检测结果可以表示驾驶员图像中是否包含目标物。
可选的，在本发明实施例中，目标物包括以下至少之一：香烟、手机、水杯、食物。与目标物对应的分心驾驶行为则包括以下至少之一：抽烟、接打电话、喝水、饮食。
可选的，在本发明实施例中，可以将驾驶员图像输入目标检测算法以检测目标物，其中目标检测算法可以通过离线训练大量样本得到。优选的，目标检测算法可以为深度学习算法，例如yolo、faster-RCNN，SSD等。
步骤S14：根据检测结果，获取驾驶行为的判断结果；
可选的，在本发明实施例中，可以通过逻辑判断模块根据检测结果，获取驾驶行为的判断结果。
可选的，在本发明实施例中，驾驶行为的判断结果包含正常驾驶行为和分心驾驶行为。当检测结果表示驾驶员图像中包含目标物时，驾驶行为的判断结果为分心驾驶行为；当检测结果表示驾驶员图像中未包含目标物时，驾驶行为的判断结果为正常驾驶行为。
步骤S16：当判断结果表示出现分心驾驶行为时，发出报警信号。
可选的，在本发明实施例中，可以通过通讯模块根据判断结果发出报警信号。其中，报警信号可以为以下至少之一：声音提示，灯光提示，震动提示。具体地，声音提示包括语音或响铃等，灯光提示包括亮灯或灯光闪烁等。
可选的，在本发明实施例中，当判断结果表示出现分心驾驶行为时，还可以将驾驶员图像实时传送到监控中心，作为执法依据或用于数据采集、数据分析、进一步的人工确认等。
通过上述步骤，可以对驾驶员的分心驾驶行为进行监测并报警，从而督促驾驶员集中注意力，保障安全驾驶，避免交通事故的发生。但是，上述分心驾驶监测方法只能判断驾驶员的行为是正常驾驶行为还是分心驾驶行为并进行简单的报警，而无法确定具体是哪一种分心驾驶行为并给出不同的报警提示。
参考图2，是根据本发明实施例的另一种可选的分心驾驶监测方法的流程图。如图2所示，该方法包括以下步骤：
S20：采集驾驶员图像；
S22：检测目标物，获得检测结果，其中，目标物与分心驾驶行为对应；
S24：筛选检测结果，确定目标物的类型；
S26：根据目标物的类型，获取驾驶行为的判断结果；
S28：当判断结果表示出现分心驾驶行为时，发出报警信号。
在本发明实施例中，通过上述步骤，即通过采集驾驶员图像；检测目标物，获得检测结果；筛选检测结果，确定目标物的类型；根据目标物的类型，获取驾驶行为的判断结果；当判断结果表示出现分心驾驶行为时，发出报警信号；除了可以判断驾驶员的行为是正常驾驶行为还是分心驾驶行为并发出简单的报警信号，还可以判断出具体是哪种分心驾驶行为并给出不同的报警提示，从而督促驾驶员集中注意力，保障安全驾驶，避免交通事故的发生；同时有助于作为执法依据、数据分析或用于进一步的人工确认。
上述步骤S20与图1所示的步骤S10基本相同，在此不再赘述。下面对上述步骤S22至步骤S28分别进行详细说明。
S22：检测目标物，获得检测结果，其中，目标物与分心驾驶行为对应；
可选的，在本发明实施例中，可以通过检测模块检测目标物，获得检测结果。
可选的，在本发明实施例中，检测结果可以表示驾驶员图像中是否包含目标物。
可选的，在本发明实施例中，目标物包括以下至少之一：香烟、手机、水杯、食物。与目标物对应的分心驾驶行为则包括以下至少之一：抽烟、接打电话、喝水、饮食。
由于分心驾驶行为包含抽烟、接打电话、喝水、饮食等，为了更清楚地判断出具体为哪一种分心驾驶行为，可选的，在本发明实施例中，步骤S22的检测结果除了可以表示驾驶员图像中是否包含目标物以外，当检测到驾驶员图像中包含目标物时，检测结果还可以包含：目标物的类型、与所属类型对应的概率值。概率值表示目标物为所属类型的概率，优选的，取值范围为0-1。
S24：筛选检测结果，确定目标物的类型；
可选的，在本发明实施例中，可以通过逻辑判断模块筛选检测结果，确定目标物的类型。
由于每帧驾驶员图像上可能检测到多个目标物或除目标物以外的干扰物，其中部分为错误的检测目标。为了去除这些错误的检测目标，可选的，在本发明实施例中，筛选检测结果，确定目标物的类型包括：比较检测结果中与所属类型对应的概率值和第一阈值，获得比较结果；根据比较结果筛选目标检测结果；其中，多个不同类型的目标物可以共用同一个第一阈值或者每个类型的目标物对应一个第一阈值。当比较结果表示检测结果中与所属类型对应的概率值大于第一阈值时，保留该检测结果；否则，将该检测结果丢弃。当只有一个概率值大于第一阈值的检测结果时，即可确定目标物的类型。当存在多个概率值大于第一阈值的检测结果时，仅保留概率值最高的检测结果，以此确定目标物的类型。
可选的，在本发明实施例中，可以将驾驶员图像输入目标检测算法以检测目标物，其中目标检测算法可以通过离线训练大量样本得到。优选的，目标检测算法可以为深度学习算法，例如yolo、faster-RCNN，SSD等。
步骤S26：根据目标物的类型，获取驾驶行为的判断结果；
可选的，在本发明实施例中，可以通过逻辑判断模块根据目标物的类型，获取驾驶行为的判断结果。
可选的，在本发明实施例中，驾驶行为的判断结果包含正常驾驶行为和各种具体的分心驾驶行为。当检测结果表示驾驶员图像中未包含目标物时，驾驶行为的判断结果为正常驾驶行为；当检测结果表示驾驶员图像中包含目标物时，驾驶行为的判断结果为分心驾驶行为，并且，根据目标物的类型，可进一步判断出各种具体的分心驾驶行为，例如，抽烟、接打电话、喝水、饮食等。具体地，例如，目标物类型为烟，则判断具体分心驾驶行为为抽烟；目标物类型为水杯，则判断具体分心驾驶行为为喝水。
步骤S28：当判断结果表示出现分心驾驶行为时，发出报警信号。
可选的，在本发明实施例中，可以通过通讯模块根据判断结果发出报警信号。其中，报警信号可以为以下至少之一：声音提示，灯光提示，震动提示。具体地，声音提示包括语音或响铃等，灯光提示包括亮灯或灯光闪烁等。优选的，可以采用语音播报的方式对所出现的各种具体的分心驾驶行为进行不同的提示。
可选的，在本发明实施例中，当判断结果表示出现分心驾驶行为时，还可以将驾驶员图像实时传送到监控中心，作为执法依据、数据采集、数据分析或用于进一步的人工确认。
通过上述步骤，不仅可以判断驾驶员的行为是正常驾驶行为还是分心驾驶行为并发出简单的报警信号，还可以判断出具体是哪种分心驾驶行为并给出不同的报警提示，从而督促驾驶员集中注意力，保障安全驾驶，避免交通事故的发生；同时有助于作为执法依据、数据采集、数据分析或用于进一步的人工确认。
可选的，本发明实施例的分心驾驶监测方法还包括在步骤S10或S20采集驾驶员图像之前对硬件和软件进行初始化。
为了提高分心驾驶监测结果的准确度，可选的，在本发明实施例中，在步骤S10或S20(即采集驾驶员图像)之后，还可以包括步骤S11：检测人脸区域。需要注意的是，步骤S11可以在步骤S12或S22(即检测目标物，获得检测结果)之前、之后或同时进行。
由于驾驶员图像整体区域较大，在该区域内可能会同时出现多种目标物或者除目标物以外的干扰物，为了提高分心驾驶监测结果的准确度，可选的，在本发明实施例中，步骤S12或S22的检测结果还可以包含目标物的位置，其中，目标物的位置可以用矩形框表示，包括左上角、右下角两个点的坐标或者右上角、左下角两个点的坐标或者左上角、右下角、右上角、左下角四个点的坐标。
在步骤S12或S22的检测结果包含目标物的位置时，步骤S14或S24还可以包含步骤S13：评估检测结果的合理性。可选的，在本发明实施例中，可以通过分析目标物的位置和预设合理区域的相对位置关系评估检测结果的合理性。具体地，评估目标物位置的合理性包括计算目标物的位置与该目标物对应的预设合理区域的交并比，比较交并比与第二阈值；当交并比大于第二阈值时，表示该目标物的位置出现在预设合理区域中，检测结果可信，可进行下一步骤；否则丢弃该目标检测结果。其中，预设合理区域可根据分心驾驶行为在人脸区域可能出现的合理区域预先设置。例如，接打电话行为所对应的预设合理区域可以为人脸区域的两侧或下方区域；抽烟行为所对应的预设合理区域可以为人脸的下方区域。
通过加入步骤S11和/或步骤S13，即检测人脸区域和/或评估检测结果的合理性，可以提高分心驾驶监测结果的准确度。
为了进一步提高分心驾驶监测结果的准确度，可选的，在本发明实施例中，步骤S14或步骤S26还可以通过结合连续帧的判断结果，确定最终的判断结果，以更准确地判断分心驾驶行为，降低误检率。具体的，结合连续帧的判断结果包括使用队列结构存储最近t秒中每一帧的判断结果并维护该队列；遍历该队列记录，如果某一种驾驶行为在最近t秒中的占比超过第三阈值，则将该驾驶行为作为最终的判断结果。
根据本发明实施例的另一方面，还提供了一种分心驾驶监测系统，分心驾驶监测系统30包括：
图像采集模块300，被配置为采集驾驶员图像；
可选的，在本发明实施例中，图像采集模块300可以为独立的摄像装置或集成在电子设备上的摄像装置等，例如独立的红外摄像头、深度摄像头、RGB摄像头、Mono摄像头等，或者手机、平板电脑、行车记录仪、导航仪、操作面板、中控台等电子设备上自带的摄像头。驾驶员图像可以通过截取图像采集模块采集的视频中的图像帧获取。
由于车内(例如，驾驶室)的光线通常会跟随行车环境而变化，在天气晴好的白天，车内(例如，驾驶室)的光线较为明亮，在夜晚或者阴天或者隧道内，车内(例如，驾驶室)的光线则较暗，而红外摄像头受光照变化影响小，具有全天候工作的能力，因此可以选择红外摄像头(包括近红外摄像头等)作为图像采集模块300获取驾驶员图像，以获取质量优于普通摄像头的驾驶员图像，从而提高分心驾驶监测结果的准确度。
可选的，在本发明实施例中，图像采集模块300可以设置在车内任意可以拍摄到驾驶员面部的至少一个位置，例如，仪表盘附近，中控台附近，后视镜附近等。图像采集模块的数量可以为一个或多个。
可选的，在本发明实施例中，可以每隔预定数目帧获取视频帧图像，以降低视频帧图像的获取频率，优化计算资源。
可选的，在本发明实施例中，可以通过图像采集模块300对驾驶员图像进行预处理，预处理包括以下至少之一：图像缩放、像素值归一化、图像增强；由此，可以得到清晰度、大小等符合要求的驾驶员图像。
检测模块302，被配置为检测目标物，获得检测结果；
可选的，在本发明实施例中，检测结果可以表示驾驶员图像中是否包含目标物。
可选的，在本发明实施例中，目标物包括以下至少之一：香烟、手机、水杯、食物。与目标物对应的分心驾驶行为则包括以下至少之一：抽烟、接打电话、喝水、饮食。
可选的，在本发明实施例中，检测模块302采用目标检测算法以检测目标物，其中目标检测算法可以通过离线训练大量样本得到。优选的，目标检测算法可以为深度学习算法，例如yolo、faster-RCNN，SSD等。
逻辑判断模块304，被配置为根据检测结果，获取驾驶行为的判断结果；
可选的，在本发明实施例中，驾驶行为的判断结果包含正常驾驶行为和分心驾驶行为。当检测结果表示驾驶员图像中包含目标物时，驾驶行为的判断结果为分心驾驶行为；当检测结果表示驾驶员图像中未包含目标物时，驾驶行为的判断结果为正常驾驶行为。
通讯模块306，被配置为当判断结果表示出现分心驾驶行为时，发出报警信号。
可选的，在本发明实施例中，报警信号可以为以下至少之一：声音提示，灯光提示，震动提示。具体地，声音提示包括语音或响铃等，灯光提示包括亮灯或灯光闪烁等。
可选的，在本发明实施例中，当判断结果表示出现分心驾驶行为时，通讯模块还可以将驾驶员图像实时传送到监控中心，作为执法依据或用于数据采集、数据分析、进一步的人工确认等。
上述图像采集模块300、检测模块302、逻辑判断模块304和通讯模块306可以以相互独立的方式配置在分心驾驶监测系统中，也可以以部分集成或全部集成为一个大模块的方式配置在分心驾驶监测系统中，由此，分心驾驶监测系统可以实现对驾驶员的分心驾驶行为进行实时监测并报警，从而督促驾驶员集中注意力，保障安全驾驶，避免交通事故的发生。
由于分心驾驶行为包含抽烟、接打电话、喝水、饮食等，为了更清楚地判断出具体为哪一种分心驾驶行为。可选的，在本发明实施例的另一种分心驾驶监测系统中，检测模块302除了可以检测驾驶员图像中是否包含目标物以外，还可以检测：目标物的类型、与所属类型对应的概率值。概率值表示目标物为所属类型的概率，优选的，取值范围为0-1。
然后，逻辑判断模块304被配置为根据所述概率值筛选所述检测结果，确定目标物的类型。由于每帧驾驶员图像上可能检测到多个目标物或除目标物以外的干扰物，其中部分为错误的检测目标。为了去除这些错误的检测目标，可选的，在本发明实施例中，逻辑判断模块304被配置为比较检测结果中与所属类型对应的概率值和第一阈值，获得比较结果；根据比较结果筛选目标检测结果；其中，多个不同类型的目标物可以共用同一个第一阈值或者每个类型的目标物对应一个第一阈值。当比较结果表示检测结果中与所属类型对应的概率值大于第一阈值时，保留该检测结果；否则，将该检测结果丢弃。当只有一个概率值大于第一阈值的检测结果时，即可确定目标物的类型。当存在多个概率值大于第一阈值的检测结果时，仅保留概率值最高的检测结果，以此确定目标物的类型。可选的，在本发明实施例中，驾驶行为的判断结果包含正常驾驶行为和各种具体的分心驾驶行为。当检测结果表示驾驶员图像中未包含目标物时，驾驶行为的判断结果为正常驾驶行为；当检测结果表示驾驶员图像中包含目标物时，驾驶行为的判断结果为分心驾驶行为，并且，根据目标物的类型，逻辑判断模块304可进一步判断出各种具体的分心驾驶行为，例如，抽烟、接打电话、喝水、饮食等。具体地，例如，目标物类型为烟，则判断具体分心驾驶行为为抽烟；目标物类型为水杯，则判断具体分心驾驶行为为喝水。
之后，通讯模块306根据判断结果发出报警信号。其中，报警信号可以为以下至少之一：声音提示，灯光提示，震动提示。具体地，声音提示包括语音或响铃等，灯光提示包括亮灯或灯光闪烁等。优选的，可以采用语音播报的方式对所出现的各种具体的分心驾驶行为进行不同的提示。
在本发明实施例的又一种分心驾驶监测系统中，检测模块302还可以被配置为在所述采集驾驶员图像之后，检测人脸区域和目标物的位置，其中，目标物的位置可以用矩形框表示，包括左上角、右下角两个点的坐标或者右上角、左下角两个点的坐标或者左上角、右下角、右上角、左下角四个点的坐标。
逻辑判断模块304还可以被配置为评估检测结果的合理性。可选的，在本发明实施例中，可以通过分析目标物的位置和预设合理区域的相对位置关系评估检测结果的合理性。具体地，评估目标物位置的合理性包括计算目标物的位置与该目标物对应的预设合理区域的交并比，比较交并比与第二阈值；当交并比大于第二阈值时，表示该目标物的位置出现在预设合理区域中，检测结果可信，可进行下一步骤；否则丢弃该目标检测结果。其中，预设合理区域可根据分心驾驶行为在人脸区域可能出现的合理区域预先设置。例如，接打电话行为所对应的预设合理区域可以为人脸区域的两侧或下方区域；抽烟行为所对应的预设合理区域可以为人脸的下方区域。
在本发明实施例的再一种分心驾驶监测系统中，逻辑判断模块304还可以被配置为通过结合连续帧的判断结果，确定最终的判断结果，以更准确地判断分心驾驶行为，降低误检率。具体的，结合连续帧的判断结果包括使用队列结构存储最近t秒中每一帧的判断结果并维护该队列；遍历该队列记录，如果某一种驾驶行为在最近t秒中的占比超过第三阈值，则将该驾驶行为作为最终的判断结果。
根据本发明实施例的另一方面，还提供了一种电子设备，电子设备40包括：处理器400；以及存储器402，用于存储所述处理器400的可执行指令；其中，所述处理器400被配置为经由执行所述可执行指令来执行上述任意一项所述的分心驾驶监测方法。
根据本发明实施例的另一方面，还提供了一种存储介质，其中，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述任意一项所述的分心驾驶监测方法。
本领域技术人员完全可以理解，本发明实施例的应用场景不限于汽车驾驶，还可以广泛应用于船、飞机、火车、地铁、轻轨等其他各种交通工具驾驶过程中驾驶员驾驶状态的监控。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (21)

1.一种分心驾驶监测方法，其特征在于，所述方法包括：
采集驾驶员图像；
检测目标物，获得检测结果，其中，所述目标物与分心驾驶行为对应，所述检测结果包括是否包含目标物、所述目标物的位置、所述目标物的类型与所属类型对应的概率值；
检测人脸区域和评估所述检测结果的合理性，包括：计算所述目标物的位置与所述目标物对应的预设合理区域的交并比，通过比较所述交并比与第二阈值评估所述检测结果的合理性，当所述交并比大于所述第二阈值时，表示所述目标物的位置出现在所述预设合理区域中，检测结果可信，可进行下一步骤，否则丢弃该检测结果，其中，所述预设合理区域根据分心驾驶行为在所述人脸区域可能出现的合理区域预先设置；
根据所述检测结果，获取驾驶行为的判断结果；
结合连续帧的判断结果，确定最终的判断结果；
当所述判断结果表示出现所述分心驾驶行为时，发出报警信号和将驾驶员图像实时传回监控中心。
2.根据权利要求1所述的方法，其特征在于，通过图像采集模块采集驾驶员图像，其中，所述图像采集模块为独立的摄像装置或集成在电子设备上的摄像装置。
3.根据权利要求1所述的方法，其特征在于，所述目标物包括以下至少之一：香烟、手机、水杯、食物，与所述目标物对应的所述分心驾驶行为则包括以下至少之一：抽烟、接打电话、喝水、饮食。
4.根据权利要求1所述的方法，其特征在于，所述检测结果表示所述驾驶员图像中是否包含目标物，当所述检测结果表示所述驾驶员图像中包含目标物时，所述驾驶行为的判断结果为分心驾驶行为。
5.根据权利要求1所述的方法，其特征在于，所述方法包括：根据所述概率值筛选检测结果。
6.根据权利要求5所述的方法，其特征在于，所述方法包括：比较所述检测结果中与所属类型对应的概率值和第一阈值，获得比较结果；根据所述比较结果来筛选检测结果。
7.根据权利要求6所述的方法，其特征在于，所述方法包括：当所述比较结果表示检测结果中与所属类型对应的概率值大于所述第一阈值时，保留该检测结果；否则，将所述检测结果丢弃。
8.根据权利要求7所述的方法，其特征在于，当存在多个概率值大于第一阈值的检测结果时，仅保留概率值最高的检测结果。
9.根据权利要求1所述的方法，其特征在于，在采集驾驶员图像之后，所述方法还包括：
对所述驾驶员图像进行预处理，得到预处理图像；其中，所述预处理包括以下至少之一：图像缩放、像素值归一化、图像增强。
10.根据权利要求9所述的方法，其特征在于，使用深度学习算法得到所述驾驶员图像或所述预处理图像中所述目标物的位置、类型和概率值，其中，所述概率值为所述目标物属于所属类型的概率。
11.根据权利要求1所述的方法，其特征在于，使用队列结构存储最近t秒中每一帧的判断结果并维护该队列；遍历该队列记录，如果驾驶行为在最近t秒中的占比超过第三阈值，则将该驾驶行为作为最终的判断结果。
12.一种分心驾驶监测系统，包括：
图像采集模块，被配置为采集驾驶员图像；
检测模块，被配置为检测目标物，获得检测结果, 其中，所述目标物与分心驾驶行为对应，所述检测结果包括以下至少之一：是否存在目标物、目标物的位置、目标物的类型、与所属类型对应的概率值；
逻辑判断模块，检测人脸区域和评估所述检测结果的合理性，包括：计算所述目标物的位置与所述目标物对应的预设合理区域的交并比，通过比较交并比与第二阈值评估所述检测结果的合理性，当所述交并比大于所述第二阈值时，表示所述目标物的位置出现在所述预设合理区域中，检测结果可信，可进行下一步骤，否则丢弃该检测结果；其中，所述预设合理区域根据分心驾驶行为在所述人脸区域可能出现的合理区域预先设置；根据检测结果，获取驾驶行为的判断结果；通过结合连续帧的判断结果，确定最终的判断结果;被配置为根据检测结果，获取驾驶行为的判断结果；通过结合连续帧的判断结果，确定最终的判断结果；
通讯模块，被配置为当判断结果表示出现分心驾驶行为时，发出报警信号和将驾驶员图像实时传回监控中心。
13.根据权利要求12所述的分心驾驶监测系统，其特征在于，所述图像采集模块为独立的摄像装置或集成在电子设备上的摄像装置。
14.根据权利要求12所述的分心驾驶监测系统，其特征在于，所述目标物包括以下至少之一：香烟、手机、水杯、食物，与所述目标物对应的所述分心驾驶行为则包括以下至少之一：抽烟、接打电话、喝水、饮食。
15.根据权利要求12所述的分心驾驶监测系统，其特征在于，所述逻辑判断模块被配置为根据所述概率值筛选所述检测结果。
16.根据权利要求15所述的分心驾驶监测系统，其特征在于，所述逻辑判断模块通过比较所述检测结果中与所属类型对应的概率值和第一阈值，获得比较结果；根据所述比较结果来筛选检测结果；当所述比较结果表示检测结果中与所属类型对应的概率值大于所述第一阈值时，保留该检测结果；否则，将所述检测结果丢弃。
17.根据权利要求16所述的分心驾驶监测系统，其特征在于，当存在多个概率值大于第一阈值的检测结果时，仅保留概率值最高的检测结果。
18.根据权利要求12所述的分心驾驶监测系统，其特征在于，所述检测模块使用深度学习算法得到所述驾驶员图像中所述目标物的位置、类型和概率值，其中，所述概率值为所述目标物属于所属类型的概率。
19.根据权利要求12所述的分心驾驶监测系统，其特征在于，所述逻辑判断模块使用队列结构存储最近t秒中每一帧的判断结果并维护该队列；遍历该队列记录，如果驾驶行为在最近t秒中的占比超过第三阈值，则将该驾驶行为作为最终的判断结果。
20.一种电子设备，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至11中任意一项所述的分心驾驶监测方法。
21.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至11中任意一项所述的分心驾驶监测方法。
CN201910175982.0A 2019-03-08 2019-03-08 分心驾驶监测方法、系统及电子设备 Active CN111661059B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201910175982.0A CN111661059B (zh) 2019-03-08 2019-03-08 分心驾驶监测方法、系统及电子设备
KR1020217032527A KR102543161B1 (ko) 2019-03-08 2019-12-03 산만 운전 모니터링 방법, 시스템 및 전자기기
US16/626,350 US11783599B2 (en) 2019-03-08 2019-12-03 Distracted-driving monitoring method, system and electronic device
PCT/CN2019/122790 WO2020181840A1 (zh) 2019-03-08 2019-12-03 分心驾驶监测方法、系统及电子设备
EP19817571.3A EP3730371A4 (en) 2019-03-08 2019-12-03 STEERING WHEEL DISTRACTION MONITORING METHOD AND SYSTEM, AND ELECTRONIC DEVICE
JP2021552987A JP7407198B2 (ja) 2019-03-08 2019-12-03 ながら運転のモニタリング方法、システム及び電子機器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910175982.0A CN111661059B (zh) 2019-03-08 2019-03-08 分心驾驶监测方法、系统及电子设备

Publications (2)

Publication Number Publication Date
CN111661059A CN111661059A (zh) 2020-09-15
CN111661059B true CN111661059B (zh) 2022-07-08

Family

ID=70475931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910175982.0A Active CN111661059B (zh) 2019-03-08 2019-03-08 分心驾驶监测方法、系统及电子设备

Country Status (6)

Country Link
US (1) US11783599B2 (zh)
EP (1) EP3730371A4 (zh)
JP (1) JP7407198B2 (zh)
KR (1) KR102543161B1 (zh)
CN (1) CN111661059B (zh)
WO (1) WO2020181840A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112208547B (zh) * 2020-09-29 2021-10-01 英博超算(南京)科技有限公司 一种安全自动驾驶系统
CN112347891B (zh) * 2020-10-30 2022-02-22 南京佑驾科技有限公司 基于视觉的舱内喝水状态检测方法
CN112613441A (zh) * 2020-12-29 2021-04-06 新疆爱华盈通信息技术有限公司 异常驾驶行为的识别和预警方法、电子设备
CN112677981B (zh) * 2021-01-08 2022-06-07 浙江三一装备有限公司 用于作业机械安全驾驶的智能辅助方法及装置
CN113191244A (zh) * 2021-04-25 2021-07-30 上海夏数网络科技有限公司 一种驾驶员不规范行为检测方法
CN113335296B (zh) * 2021-06-24 2022-11-29 东风汽车集团股份有限公司 一种分心驾驶自适应检测系统及方法
CN117163054B (zh) * 2023-08-30 2024-03-12 广州方驰信息科技有限公司 一种用于虚拟实景视频融合的大数据分析系统及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109086662A (zh) * 2018-06-19 2018-12-25 浙江大华技术股份有限公司 一种异常行为检测方法及装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4775658B2 (ja) 2006-12-27 2011-09-21 アイシン・エィ・ダブリュ株式会社 地物認識装置・自車位置認識装置・ナビゲーション装置・地物認識方法
JP4942604B2 (ja) * 2007-10-02 2012-05-30 本田技研工業株式会社 車両用電話通話判定装置
US9952046B1 (en) 2011-02-15 2018-04-24 Guardvant, Inc. Cellular phone and personal protective equipment usage monitoring system
CN102436715B (zh) * 2011-11-25 2013-12-11 大连海创高科信息技术有限公司 疲劳驾驶检测方法
KR101417408B1 (ko) * 2012-11-15 2014-07-14 현대자동차주식회사 레이더를 이용한 객체 인식방법 및 시스템
TWI474264B (zh) * 2013-06-14 2015-02-21 Utechzone Co Ltd 行車警示方法及車用電子裝置
JP2015012679A (ja) 2013-06-28 2015-01-19 株式会社日立製作所 アキシャルギャップ型回転電機
CN104598934B (zh) 2014-12-17 2018-09-18 安徽清新互联信息科技有限公司 一种驾驶员吸烟行为监控方法
CN105069842A (zh) 2015-08-03 2015-11-18 百度在线网络技术（北京）有限公司 道路三维模型的建模方法和装置
CN105632104B (zh) * 2016-03-18 2019-03-01 内蒙古大学 一种疲劳驾驶检测系统和方法
CN106529565B (zh) * 2016-09-23 2019-09-13 北京市商汤科技开发有限公司 目标识别模型训练和目标识别方法及装置、计算设备
EP3535646A4 (en) * 2016-11-07 2020-08-12 Nauto, Inc. SYSTEM AND METHOD FOR DETERMINING DRIVER DISTRACTION
CN106709420B (zh) * 2016-11-21 2020-07-10 厦门瑞为信息技术有限公司 一种监测营运车辆驾驶人员驾驶行为的方法
KR102342143B1 (ko) * 2017-08-08 2021-12-23 주식회사 만도모빌리티솔루션즈 딥 러닝 기반 자율 주행 차량, 딥 러닝 기반 자율 주행 제어 장치 및 딥 러닝 기반 자율 주행 제어 방법
JP6972756B2 (ja) 2017-08-10 2021-11-24 富士通株式会社 制御プログラム、制御方法、及び情報処理装置
WO2019028798A1 (zh) * 2017-08-10 2019-02-14 北京市商汤科技开发有限公司 驾驶状态监控方法、装置和电子设备
CN107704805B (zh) * 2017-09-01 2018-09-07 深圳市爱培科技术股份有限公司 疲劳驾驶检测方法、行车记录仪及存储装置
CN108629282B (zh) * 2018-03-29 2021-12-24 福建海景科技开发有限公司 一种吸烟检测方法、存储介质及计算机
CN108609018B (zh) 2018-05-10 2019-11-05 郑州天迈科技股份有限公司 用于分析危险驾驶行为的预警终端、预警系统及分析算法
US10915769B2 (en) * 2018-06-04 2021-02-09 Shanghai Sensetime Intelligent Technology Co., Ltd Driving management methods and systems, vehicle-mounted intelligent systems, electronic devices, and medium
JP6870660B2 (ja) * 2018-06-08 2021-05-12 トヨタ自動車株式会社 ドライバ監視装置
CN109063574B (zh) * 2018-07-05 2021-04-23 顺丰科技有限公司 一种基于深度神经网络检测的包络框的预测方法、系统及设备
US10882398B2 (en) * 2019-02-13 2021-01-05 Xevo Inc. System and method for correlating user attention direction and outside view

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109086662A (zh) * 2018-06-19 2018-12-25 浙江大华技术股份有限公司 一种异常行为检测方法及装置

Also Published As

Publication number Publication date
JP7407198B2 (ja) 2023-12-28
EP3730371A4 (en) 2020-11-18
WO2020181840A1 (zh) 2020-09-17
CN111661059A (zh) 2020-09-15
US20220180648A1 (en) 2022-06-09
KR102543161B1 (ko) 2023-06-14
KR20210135313A (ko) 2021-11-12
US11783599B2 (en) 2023-10-10
EP3730371A1 (en) 2020-10-28
JP2022523247A (ja) 2022-04-21

Similar Documents

Publication Publication Date Title
CN111661059B (zh) 分心驾驶监测方法、系统及电子设备
EP3617935A1 (en) Driving management method and system, vehicle-mounted intelligent system, electronic device and medium
CN110889351B (zh) 视频检测方法、装置、终端设备及可读存储介质
CN108275114B (zh) 一种油箱防盗监控系统
CN111010530B (zh) 应急车辆检测
CN105857180B (zh) 雾霾天车辆驾驶辅助系统及其方法
US11715333B2 (en) Human monitoring system incorporating calibration methodology
CN205281786U (zh) 报警系统
CN108482367A (zh) 一种基于智能后视镜辅助驾驶的方法、装置及系统
CN111860210A (zh) 双手脱离方向盘检测方法、装置、电子设备和存储介质
CN110706115A (zh) 交通事故快速理赔方法、系统以及一种服务器
CN113920310A (zh) 方向盘脱手检测方法及装置
CN111241918B (zh) 一种基于人脸识别的车用防跟踪方法及系统
CN116704644A (zh) 一种基于云端数据处理和多源数据分析的汽车管控平台
JP7057074B2 (ja) 車載器および運転支援装置
US20190149777A1 (en) System for recording a scene based on scene content
CN211979500U (zh) 一种车载信息汇总处理系统
CN113506436A (zh) 一种用于监管的检测车内驾驶员玩手机的系统及方法
CN113744498B (zh) 驾驶员注意力监测的系统和方法
CN112258813A (zh) 一种车辆主动安全控制方法和设备
CN116152790B (zh) 一种安全带检测方法及装置
US20190149778A1 (en) Method for variable recording of a scene based on scene content
JP2002262282A (ja) 画像監視方法及び画像監視装置
DE102022119825A1 (de) Automatische Detektion von Vorfällen für Fahrzeuge
CN117727186A (zh) 一种车辆视频检测方法和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant