CN110705483A - 驾驶提醒方法、装置、终端及存储介质 - Google Patents

驾驶提醒方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN110705483A
CN110705483A CN201910949103.5A CN201910949103A CN110705483A CN 110705483 A CN110705483 A CN 110705483A CN 201910949103 A CN201910949103 A CN 201910949103A CN 110705483 A CN110705483 A CN 110705483A
Authority
CN
China
Prior art keywords
driving
scene
scene recognition
model
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910949103.5A
Other languages
English (en)
Other versions
CN110705483B (zh
Inventor
彭冬炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910949103.5A priority Critical patent/CN110705483B/zh
Publication of CN110705483A publication Critical patent/CN110705483A/zh
Application granted granted Critical
Publication of CN110705483B publication Critical patent/CN110705483B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请公开了一种驾驶提醒方法、装置、终端及存储介质,属于人机交互领域。所述方法用于终端,所述方法包括:获取环境信息;将环境信息输入场景识别模型,得到场景识别模型输出的场景识别结果;若场景识别结果指示处于驾驶场景,则启用驾驶辅助系统;车辆行驶过程中,通过驾驶辅助系统进行驾驶提醒。相较于相关技术中驾驶模式的被动交互方式,本申请实施例中,终端通过预训练的场景识别模型自动识别当前场景,从而在识别出当前处于驾驶场景时,自动开启驾驶辅助系统,实现了对驾驶者的主动交互,且通过驾驶过程中实时为驾驶者提供驾驶提醒服务,也提高了驾驶者在驾驶过程中的安全性,从而为驾驶者尽可能地规避交通事故。

Description

驾驶提醒方法、装置、终端及存储介质
技术领域
本申请实施例涉及人机交互领域,特别涉及一种驾驶提醒方法、装置、终端及存储介质。
背景技术
一直以来,交通安全问题受到全社会乃至全世界的重点关注,且根据统计数据可知,造成车祸的主要原因和驾驶者的驾驶行为有关,随着汽车数量越来越多,车祸死亡人数会进一步上升,因此,用于检测驾驶者驾驶行为的机制变得非常重要。
相关技术中,用于检测驾驶者驾驶行为的机制可实现于驾驶者使用的手机等其它智能电子设备,如在驾驶者所使用的手机中,通过驾驶者主动开启驾驶模式,不仅能够避免驾驶者在驾驶过程中使用其它应用,也能够实现一定的语音交互功能。
发明内容
本申请实施例提供了一种驾驶提醒方法、装置、终端及存储介质。所述技术方案如下:
一方面,本申请实施例提供了一种驾驶提醒方法,所述方法用于终端,所述方法包括:
获取环境信息;
将所述环境信息输入场景识别模型,得到所述场景识别模型输出的场景识别结果;
若所述场景识别结果指示处于驾驶场景,则启用驾驶辅助系统;
车辆行驶过程中,通过所述驾驶辅助系统进行驾驶提醒。
另一方面,本申请实施例提供了一种驾驶提醒装置,所述装置用于终端,所述装置包括:
信息获取模块,用于获取环境信息;
信息输入模块,用于将所述环境信息输入场景识别模型,得到所述场景识别模型输出的场景识别结果;
系统启用模块,用于若所述场景识别结果指示处于驾驶场景,则启用驾驶辅助系统;
驾驶提醒模块,用于车辆行驶过程中,通过所述驾驶辅助系统进行驾驶提醒。
另一方面,本申请实施例提供了一种终端,所述终端包括处理器和存储器;所述存储器存储有至少一条指令,所述至少一条指令用于被所述处理器执行以实现如上述方面的驾驶提醒方法。
另一方面,提供了一种计算机可读存储介质,所述存储介质存储有至少一条指令,所述至少一条指令用于被处理器执行以实现如上述方面的驾驶提醒方法。
采用本申请实施例提供的驾驶提醒方法,当终端获取场景信息并输入至场景识别模型后,得到场景识别模型的场景识别结果,且当场景识别结果指示终端用户当前处于驾驶场景时,终端启用驾驶辅助系统,并在车辆行驶过程中,终端通过驾驶辅助系统为驾驶者进行驾驶提醒;相较于相关技术中驾驶模式的被动交互方式,本申请实施例中,终端通过预训练的场景识别模型自动识别当前场景,从而在识别出当前处于驾驶场景时,自动开启驾驶辅助系统,实现了对驾驶者的主动交互,且通过驾驶过程中实时为驾驶者提供驾驶提醒服务,也提高了驾驶者在驾驶过程中的安全性,从而为驾驶者尽可能地规避交通事故。
附图说明
图1示出了本申请一个示例性实施例提供的驾驶场景的示意图;
图2示出了本申请一个示例性实施例示出的驾驶提醒方法的流程图;
图3示出了本申请另一个示例性实施例示出的驾驶提醒方法的流程图;
图4示出了场景识别模型的将预设卷积层分解为深度depthwise卷积和点态pointwise卷积的卷积过程示意图;
图5示出了本申请一个示例性实施例提供的用于提示启用辅助驾驶系统的界面示意图;
图6示出了本申请一个示例性实施例提供的终端驾驶模式的界面示意图;
图7示出了当驾驶者存在不良头部姿态时驾驶辅助系统的语音提示方式的界面示意图;
图8示出了当驾驶者处于疲劳驾驶状态时驾驶辅助系统的语音提示方式的界面示意图;
图9示出了驾驶过程结束时驾驶辅助系统生成驾驶评估信息的界面示意图;
图10示出了本申请另一个示例性实施例示出的驾驶提醒方法的流程图;
图11示出了当样本图像不符合图像采集条件时驾驶辅助系统的提示信息的界面示意图;
图12示出了本申请另一个示例性实施例示出的驾驶提醒方法的流程图;
图13示出了本申请一个实施例提供的驾驶提醒装置的结构框图;
图14示出了本申请一个示例性实施例提供的终端的结构方框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本申请实施例提供的驾驶提醒方法应用于终端,且应用于终端安装有驾驶辅助系统,该终端可以是智能手机、平板电脑或可穿戴式设备等等。
示意性的,如图1所示的场景中,终端100为手机,终端100通过采集到的场景信息(比如通过麦克风采集到的音频信息以及通过摄像头采集到的图像信息)识别出当前场景为驾驶场景,从而开启驾驶辅助系统。在驾驶过程中,驾驶辅助系统用于实时监测用户的驾驶行为,并为驾驶员提供触屏互动功能以及语音交互功能来实现智能化的驾驶提醒。
在一种可能的实施方式中,本申请实施例中的驾驶辅助系统可以是独立于终端100中驾驶模式101(系统应用程序)的一种应用程序,且在驾驶辅助系统运行过程中,驾驶辅助系统可以是独立运行的应用程序,也可以通过应用间的信息交互与系统自带的驾驶模式101进行交互使用;在另一种可能的实施方式中,驾驶辅助系统也可以是原有系统所安装的驾驶模式的升级。示意性的,如图1所示,本申请实施例中,以驾驶辅助系统为独立于驾驶模式101的驾驶辅助应用程序102为例来举例说明。
其中,驾驶辅助系统为了实现驾驶过程中智能化的驾驶提醒,本申请实施例所涉及的驾驶辅助系统预置有头部姿态检测模型和睁闭眼检测模型,对于各个模型具体的训练过程在后续实施例中再做说明。
请参考图2,其示出了本申请一个示例性实施例示出的驾驶提醒方法的流程图。本实施例以该方法应用于图1所示的终端来举例说明,所述方法包括:
步骤201,获取环境信息。
本申请实施例中,安装于终端的驾驶辅助系统能够实现实时为驾驶者提供智能化的驾驶提醒服务,因此,在一种可能的实施方式中,终端需要根据环境信息来判断终端用户当前所处的具体场景,且当终端用户当前所处的场景为驾驶场景时,终端通过驾驶辅助系统及时地为处于驾驶场景的终端用户提供驾驶提醒服务。
可选的,终端获取终端用户的环境信息,并根据环境信息执行后续的场景识别步骤。
然而,终端实时采集用户的环境信息进行场景识别是较为浪费系统资源的,因此,为了提高终端环境信息获取时机的准确性,在一种可能的实施方式中,本申请通过终端系统采集终端用户的操作行为,生成用户行为数据并进行数据挖掘从而建立“用户画像”,不同的终端用户对应不同的“用户画像”。
在一个示意性的例子中,用户A设置工作日的起床时间为上午七点,并且在一个月内的上午八点至九点之间导航至大厦B累积19次,则终端系统可根据该数据挖掘出:用户A在上午的八点至九点这一时间段是需要提供驾驶提醒服务的高峰期,终端根据该时间段实时获取的环境信息,能够在最大概率下识别出终端用户的当前场景为驾驶场景。
在一种可能的实施方式中,终端以固定频率获取终端用户的环境信息,如每隔10s获取一次终端用户的环境信息。
步骤202,将环境信息输入场景识别模型,得到场景识别模型输出的场景识别结果。
本申请是基于场景识别模型实现场景识别功能的。该场景识别模型能够提取环境信息的特征,并根据不同环境信息的特征作出场景识别的判断。
在一种可能的实施方式中,终端将获取到的环境信息输入至场景识别模型中,场景识别模型将环境信息最大概率对应的场景作为场景识别结果进行输出,从而实现终端的场景识别功能。
可选的,根据实际情况,场景识别结果可以是驾驶场景、公交场景等,本申请实施例对场景识别模型所训练得到的场景识别结果不作限定。
在一个示意性的例子中,用户A在周一上午请假,但终端根据已建立的“用户画像”在上午八点至九点之间进行实时的环境信息的获取,并将获取到的环境信息输入至场景识别模型,场景识别模型根据该时间段的环境信息并没有输出驾驶场景的场景识别结果,从而终端并没有启用驾驶辅助系统,即并没有执行步骤203。
步骤203,若场景识别结果指示处于驾驶场景,则启用驾驶辅助系统。
在一种可能的实施方式中,对于不同环境信息的输入,场景识别模型能够输出不同的场景识别结果,若场景识别结果指示处于驾驶场景,则终端启用驾驶辅助系统。
步骤204,车辆行驶过程中,通过驾驶辅助系统进行驾驶提醒。
由于驾驶者在驱动车辆行驶的过程中,容易被诸如社交应用的消息通知分散注意力,从而产生一些不良驾驶姿势,如频繁抬头、低头或者直接在驾驶的过程中长时间使用手机,显然,上述情形下的驾驶者易发生交通事故。
在一种可能的实施方式中,驾驶辅助系统的主要功能即为终端用户提供智能化的驾驶提醒服务,因此,当场景识别结果指示处于驾驶场景后,驾驶辅助系统被终端启用,在车辆行驶过程中,终端通过驾驶辅助系统实现为驾驶者提供驾驶提醒服务,从而为驾驶者尽可能地规避交通事故。
综上所述,采用本申请实施例提供的驾驶提醒方法,当终端获取场景信息并输入至场景识别模型后,得到场景识别模型的场景识别结果,且当场景识别结果指示终端用户当前处于驾驶场景时,终端启用驾驶辅助系统,并在车辆行驶过程中,终端通过驾驶辅助系统为驾驶者进行驾驶提醒;相较于相关技术中驾驶模式的被动交互方式,本申请实施例中,终端通过预训练的场景识别模型自动识别当前场景,从而在识别出当前处于驾驶场景时,自动开启驾驶辅助系统,实现了对驾驶者的主动交互,且通过驾驶过程中实时为驾驶者提供驾驶提醒服务,也提高了驾驶者在驾驶过程中的安全性,从而为驾驶者尽可能地规避交通事故。
请参考图3,其示出了本申请一个示例性实施例示出的驾驶提醒方法的流程图。本实施例以该方法应用于图1所示的终端来举例说明,所述方法包括:
步骤301,获取环境信息,环境信息中包括环境音频信息和环境图像信息。
在步骤201的基础上,本申请实施例对获取环境信息作进一步的阐述。
可选的,环境信息中包括环境音频信息和环境图像信息。终端通过获取环境音频信息和环境图像信息能够更精确地识别出终端用户当前所处的场景。
为了更好地对下述各个步骤进行阐述,首先对场景识别模型的结构进行说明。
本申请实施例中,考虑到驾驶辅助系统运行的灵敏性与速度的需求性,场景识别模型基于轻量级神经网络进行构建,如mobilenet模型和shufflenet模型。
在一种可能的实施方式中,场景识别模型基于mobilenet模型构建,场景识别模型的预设卷积层采用depthwise卷积和pointwise卷积,且场景识别模型采用softmax损失和focal loss损失联合训练得到。
mobilenet模型现已发展到mobilenetv2模型,mobilenetv2模型的网络结构是一种卷积神经网络结构,卷积神经网络结构包括数据输入层Input layer、卷积计算层convlayer、激励层ReLU layer、池化层Pooling layer和全连接层(Fully Connected Layers,FC layer)。
如表一所示,其示出了mobilenetv2模型的整体网络结构。其中,Input一列的数据指代数据输入层中输入数据的维度;Operator一列的名称指代数据输入层输入的输入数据所进行的下一层操作,如conv2d指示对该层的输入数据进行二维卷积(既保持输入数据的深度不变),如bottleneck指代瓶颈层,在mobilenetv2模型中,具体为线性瓶颈层linearbottlenecks,conv2d 1×1指代1×1卷积核下的卷积层,如avgpool是池化层所包含的一种池化方法,即平均池化,avgpool 7×7指代7×7卷积核下的平均池化层。此外,对于每一层的输入数据的处理参数是不同的。诸如conv2d一类的预设卷积层而言,其处理参数包括输出通道数c、重复卷积次数n和卷积步长s;又如线性瓶颈层的处理参数除上述参数之外还包括扩张倍数t。
表一
Input Operator t c n s
224<sup>2</sup>×3 conv2d - 32 1 2
112<sup>2</sup>×32 bottleneck 1 16 1 1
112<sup>2</sup>×16 bottleneck 6 24 2 2
56<sup>2</sup>×24 bottleneck 6 32 3 2
28<sup>2</sup>×32 bottleneck 6 64 4 2
14<sup>2</sup>×64 bottleneck 6 96 3 1
14<sup>2</sup>×96 bottleneck 6 160 3 2
7<sup>2</sup>×160 bottleneck 6 320 1 1
7<sup>2</sup>×320 conv2d 1×1 - 1280 1 1
7<sup>2</sup>×1280 avgpool 7×7 - - 1 -
1×1×1280 conv2d 1×1 - k -
如图4所示,其示出了场景识别模型的将预设卷积层分解为depthwise卷积和pointwise卷积的卷积过程示意图。图4的(a)示出了传统卷积示意图;图4的(b)示出了depthwise卷积过程示意图;图4的(c)示出了pointwise卷积过程示意图。
对于图4的(a)示出的传统卷积示意图而言,M是指输入数据的通道数,Dk×Dk卷积核的大小,N为卷积核的个数。传统卷积基于3×3卷积核,一个3×3卷积核在卷积时,对应输入数据中的所有通道均被同时考虑,即在卷积运算的过程中,同时考虑图像区域与通道的卷积计算。
对于图4的(b)示出的depthwise卷积过程示意图而言,depthwise卷积是指将输入数据分为M组,然后每一组做一个3×3卷积核的卷积,从而实现场景识别模型收集每个通道的特征,即depthwise特征。
对于图4的(c)示出的pointwise卷积过程示意图而言,pointwise卷积是指计算输入数据做N个1×1卷积核的卷积,从而实现场景识别模型收集输入数据中每个点的特征,即pointwise特征。
在一个示意性的例子中,输入数据的通道数M为3,卷积核的个数N为5。对于图4的(a)所示的传统卷积过程而言,其计算量为:3×3×M×N=135;对于图4的(b)所示的depthwise卷积过程而言,其计算量为:3×3×M=27,对于图4的(c)所示的depthwise卷积过程而言,设置上一层输出数据对应的特征图的数量为3,设置本层最终需要的输出数据的维度为4,其计算量为:1×1×M×N=15,所以将预设卷积层分解为depthwise卷积和pointwise卷积的卷积计算总量为42,显然,经过拆解后的预设卷积层的计算量大大降低了,从而提升了场景识别模型的识别速度。
在一种可能的实施方式中,对于场景识别模型整体训练采用softmax损失和focalloss损失联合训练得到。在场景识别模型的训练过程中,对于每一次的训练输出结果,训练员需要根据实际偏差情况进行校正,即通过softmax损失和focal loss损失联合校正。
在一个示意性的例子中,输入数据A的预设输出结果为1,而输入数据A在场景识别模型下的实际输出结果为0.2,因此,需要对本次训练的结果进行校正,训练员通过softmax损失和focal loss损失对输入数据A的输出结果进行0.8的偏差校正。
步骤302,将环境音频信息输入场景识别模型,得到场景识别模型输出的第一场景识别结果。
对于场景识别模型来说,场景识别模型在输出场景识别结果之后,能够获取所输入的环境信息来自各个场景的概率。
在一种可能的实施方式中,终端将环境音频信息输入场景识别模型,场景识别模型获取所输入的环境音频信息来自各个场景的概率,将概率最大的场景确定为第一场景识别结果并输出。
在一个示意性的例子中,如表二所示,其示出了根据环境音频信息场景识别模型所能够得到的场景概率。如编号为V1的环境音频信息,场景识别模型得到产生V1的场景是场景1的概率为90%,是场景2的概率为50%,是场景3的概率为40%,是场景4的概率为60%,因此,对于V1而言,最佳场景为概率最大的场景,即场景1,从而场景识别模型输出的第一场景识别结果为场景1,编号为V2和V3的环境音频信息以此类推。
表二
环境音频信息 场景1 场景2 场景3 场景4 最佳场景
V1 90% 50% 40% 60% 场景1
V2 10% 25% 80% 50% 场景3
V3 50% 80% 15% 30% 场景2
步骤303,将环境图像信息输入场景识别模型,得到场景识别模型输出的第二场景识别结果。
同样的,在一种可能的实施方式中,终端将环境图像信息输入场景识别模型,场景识别模型获取所输入的环境图像信息来自各个场景的概率,将概率最大的场景确定为第二场景识别结果并输出。
可选的,步骤302可以执行于步骤303之前,也可以执行于步骤303之后,或者,步骤302与步骤303并行执行,本实施例以步骤302与步骤303并行执行为例进行说明。
在一种可能的实施方式中,终端获取场景识别模型所输出的第一场景识别结果和第二场景识别结果,并根据第一场景识别结果和第二场景识别结果的异同作出相应的操作。
可选的,以步骤304至步骤306的第一场景识别结果和第二场景识别结果的判断结果进行终端操作的说明。
步骤304,若第二场景识别结果指示未处于驾驶场景,且第一场景识别结果指示处于驾驶场景,则终端继续执行获取环境信息的步骤。
由于环境图像信息相较于环境音频信息而言,是一种更为直观的环境信息,因此,在一种可能的实施方式中,对于场景识别模型输出的场景识别结果,终端以第二场景识别结果为主要判断依据。
因此,若第二场景识别结果指示未处于驾驶场景,且第一场景识别结果指示处于驾驶场景,终端则继续执行获取环境信息的步骤。
步骤305,若第一场景识别结果指示处于驾驶场景,且第二场景识别结果指示处于驾驶场景,则启用驾驶辅助系统。
在本申请实施例中,步骤305所示的第一场景识别结果和第二场景识别结果的判断结果是较为理想的情形,在此情形下,终端启用驾驶辅助系统。
进一步的,考虑到存在终端用户对于应用程序的自动开启较为敏感,因此,在终端启用驾驶辅助系统之前,终端为驾驶者生成关于启用驾驶辅助系统的系统提示。
在一个示意性的例子中,如图5所示,手机500生成“检测您正处于驾驶位,是否开启驾驶助手?”的提示信息,并为驾驶者提供了“是”和“否”的选择控件;和/或,用户还可以通过图5所示的语音呼唤操作来启用驾驶助手(驾驶辅助系统的示意性的应用程序名称)。
在一种可能的实施方式中,终端启用驾驶辅助系统之后,还可以实现终端蓝牙与车载蓝牙的自动连接,以及终端驾驶模式的自动开启。
在一个示意性的例子中,如图6所示,终端启用驾驶辅助系统之后,自动进入驾驶模式界面,其中,驾驶模式自带有路线导航服务、打电话服务、播放音乐服务、搜电台服务、设置服务以及使用帮助服务。且通过实现终端蓝牙与车载蓝牙的自动连接,还可以实现用户通过语音呼唤实现服务的选择。
步骤306,若第二场景识别结果指示未处于驾驶场景,且第一场景识别结果指示未处于驾驶场景,则停止执行获取环境信息的步骤。
显然,若第二场景识别结果指示未处于驾驶场景,且第一场景识别结果指示未处于驾驶场景,表明终端用户的当前场景为驾驶场景的概率极低,终端则停止执行获取环境信息的步骤。
步骤307,车辆行驶过程中,获取前置摄像头采集的头部图像和眼部图像。
在一种可能的实施方式中,被终端启用的驾驶辅助系统能够在驾驶过程中,实时检测驾驶者的姿态与状态,当存在不良之态和不良状态时及时主动地向驾驶者发出驾驶提醒,以保障驾驶过程的安全。
对于驾驶者而言,易对驾驶过程造成潜在危害的行为主要包括驾驶者的频繁低头、频繁抬头等其他不良姿态行为,以及预示驾驶者有可能是疲劳驾驶的长时间闭眼、眨眼过慢等其他不良眼部行为,因此,在一种可能的实施方式中,驾驶辅助系统在车辆行驶过程中获取前置摄像头采集的头部图像和眼部图像,并通过驾驶辅助系统中包括的头部姿态检测模型和睁闭眼检测模型进行不良行为的识别。
为了更好地对下述各个步骤进行阐述,首选对头部姿态检测模型和睁闭眼检测模型的具体结构进行说明。
本申请实施例中,考虑到驾驶辅助系统运行的灵敏性与速度的需求性,头部姿态检测模型和睁闭眼检测模型同样基于轻量级神经网络进行构建,如mobilenet模型和shufflenet模型。
其中,shufflenet模型与mobilenet模型等其它轻量级神经网络模型相比,在相同复杂度下,shufflenet模型的处理速度更快、准确度也更高。由于本申请实施例中,头部姿态检测与睁闭眼检测的精度要求要高于场景识别,因此,头部姿态检测模型和睁闭眼检测模型基于shufflenet模型构建。
在一种可能的实施方式中,头部姿态检测模型和睁闭眼检测模型基于shufflenet模型,头部姿态检测模型和睁闭眼检测模型的预设卷积层采用depthwise卷积和pointwise卷积,且头部姿态检测模型和睁闭眼检测模型采用focal loss损失训练得到。
shufflenet模型现已发展到shufflenetv2模型,shufflenetv2模型的网络结构是一种卷积神经网络结构,如表三所示,其示出了shufflenetv2模型的整体网络结构。其中,Layer一列指代shufflenetv2模型的各个处理层的名称,如Image指代数据输入层,如Conv1指代一个卷积层(数字编号用于区分不同的卷积层),如MaxPool是池化层所包含的一种池化方法,即最大池化,如stage2、stage3和stage4这三个阶段用于shufflenet模型中下采样模块的下采样处理,每经过一个阶段的处理,输入数据能够实现空间大小的减半和输出通道的翻倍,如Conv5指代一个卷积层,如GlobalPool是池化层所包含的一种池化方法,即全局池化,如FC指代全连接层;其中,Output size一列指代Layer一列下的各个处理层所要求的输入数据的尺寸;其中,KSize一列的数据为各个卷积层与不用池化方法下的池化层的卷积核尺寸;其中,Stride一列的数据为涉及卷积的处理层的卷积步长;其中,Repeat一列的数据为对应处理层的重复处理次数;其中,Output channels指代输出通道,其中,Outputchannels一列的数据为各个处理层的输出数据基于不同通道系数下的通道数,其中,通道系数为0.5、1、1.5和2。
表三
Figure BDA0002225171770000111
Figure BDA0002225171770000121
同样的,基于场景识别模型中相同的阐述理由,头部姿态检测模型和睁闭眼检测模型的的预设卷积层采用depthwise卷积和pointwise卷积,本步骤对此不再赘述;头部姿态检测模型和睁闭眼检测模型采用focal loss损失训练得到,focal loss损失与场景识别模型整体训练采用的softmax损失和focal loss损失是不同函数形式的损失函数,同样的,头部姿态检测模型和睁闭眼检测模型通过focal loss损失对模型识别结果的偏差进行校正。
在一种可能的实施方式中,在驾驶过程中,前置摄像头以固定频率采集头部图像和眼部图像,如每隔2s采集一次驾驶者的头部图像和眼部图像,驾驶辅助系统实时获取前置摄像头所采集的头部图像和眼部图像。
步骤308,将头部图像输入头部姿态检测模型,得到头部姿态检测模型输出的头部姿态检测结果。
对于头部姿态检测模型来说,头部姿态检测模型是基于检测头部图像中的头部姿态与目标姿态之间是否存在姿态偏移进行识别的,当存在姿态偏移时,头部姿态检测模型输出的头部姿态检测结果为当前图像包含不良头部姿态,如驾驶者在低头、抬头、转头等其它头部运动时都会使得对应的头部姿态与目标姿态之间存在姿态偏移。
在一种可能的实施方式中,目标姿态是头部姿态检测模型训练的模板,在驾驶场景中,目标姿态是指驾驶员的头部方向与驾驶方向处于平行的一种姿态;或者,对于存在特殊头部姿态的驾驶员,驾驶辅助系统会在累积一定姿态识别数据的基础上,为不同的驾驶员预设合适的目标姿态。
考虑到驾驶员在驾驶过程中,由于身体的灵活性,偶尔存在头部轻微偏移的情形,因此,在一种可能的实施方式中,当头部姿态检测模型检测头部图像中的头部姿态与目标姿态之间存在的姿态偏移大于预设偏移阈值时,输出指示当前图像包含不良头部姿态的头部姿态检测结果。
步骤309,将眼部图像输入睁闭眼检测模型,得到睁闭眼检测模型输出的睁闭眼检测结果。
对于睁闭眼检测模型来说,睁闭眼检测模型是基于检测眼部图像中的眼部状态是否为睁眼状态或闭眼状态。当眼部图像中的眼部状态为睁眼状态,则驾驶辅助系统得到睁闭眼检测模型输出的睁闭眼检测结果为睁眼;当眼部图像中的眼部状态为闭眼状态,则驾驶辅助系统得到睁闭眼检测模型输出的睁闭眼检测结果为闭眼。
在一种可能的实施方式中,驾驶辅助系统在获取脸部图像的基础上实现眼部图像的获取。
可选的,步骤308可以执行于步骤309之前,也可以执行于步骤309之后,或者,步骤308与步骤309并行执行,本实施例以步骤308与步骤309并行执行为例进行说明。
在一种可能的实施方式中,驾驶辅助系统获取头部姿态检测模型所输出的头部姿态检测结果和睁闭眼检测模型所输出的睁闭眼检测结果,并根据头部姿态检测结果和睁闭眼检测结果的持续时长,和/或,出现频率作出相应的应用操作。
步骤310,根据头部姿态检测结果和/或睁闭眼检测结果进行驾驶提醒。
驾驶过程中,驾驶者可能仅包含不良头部姿态或闭眼状态,也可能同时包含不良头部姿态和闭眼状态,如瞌睡状态时,驾驶者易发生包括头部偏移和频繁闭眼的情形。因此,本申请实施例所提供的驾驶辅助系统存在单一获取或同时获取检测结果的情形。
在一种可能的实施方式中,本步骤包括如下内容。相应的,当驾驶辅助系统单一获取头部姿态检测结果时,则本步骤包括内容一;当驾驶辅助系统单一获取睁闭眼检测结果时,则本步骤包括内容二;当驾驶辅助系统同时获取头部姿态检测结果和睁闭眼检测结果时,则本步骤包括内容一和内容二。
内容一、若头部姿态检测结果指示的头部姿态与目标姿态之间存在姿态偏移,且持续时长达到第一时长阈值,则通过预定方式进行驾驶提醒。
存在一种可能的情形,头部姿态检测模型输出若干次指示不良头部姿态的头部姿态检测结果,但较少次数的头部姿态检测结果不具有代表性,易使得驾驶辅助系统存在判断误差。
因此,本申请实施例为了提高驾驶辅助系统进行驾驶提醒的准确性,在一种可能的实施方式中,若头部姿态检测结果指示的头部姿态与目标姿态之间存在姿态偏移,且持续时长达到第一时长阈值,驾驶辅助系统则通过预定方式进行驾驶提醒。
在一个示意性的例子中,摄像头每隔0.5s获取一次头部图像,头部姿态检测模型根据头部图像输出相应的头部姿态检测结果,辅助驾驶系统在延迟一定的模型处理时间后以每隔0.5s的获取频率获取头部姿态检测结果。第一时长阈值设置为3s,当辅助驾驶系统在3s内获取的6次头部姿态检测结果连续为不良头部姿态,辅助驾驶系统则通过预定方式进行驾驶提醒。
可选的,预定方式可以是终端设备的强烈震动、大声语音提示等提醒方式,本申请实施例对具体的预定方式不作限定。
示意性的,如图7所示,其示出了存在不良头部姿态时驾驶辅助系统的语音提示方式的界面示意图。在手机700内,驾驶辅助系统下的驾驶助手通过语音提示方式对驾驶者进行如下内容的驾驶提醒:“检测您有不良驾驶行为,请调整头部姿势及坐姿!请勿频繁低头、抬头和摇头”。
内容二、根据睁闭眼检测结果确定闭眼时长和/或睁闭眼频率;若闭眼时长大于第二时长阈值,和/或,睁闭眼频率小于频率阈值,则通过预定方式进行驾驶提醒。
在一种可能的实施方式中,对于睁闭眼检测模型输出的睁闭眼检测结果,驾驶辅助系统主要从两个角度分析该睁闭眼检测结果:其一为闭眼时长,其二为睁闭眼频率。
对于分析闭眼时长来说,驾驶辅助系统根据睁闭眼检测结果确定闭眼时长,若闭眼时长大于第二时长阈值,此时驾驶者极大可能处于疲劳驾驶状态,驾驶辅助系统则通过预定方式进行驾驶提醒。
在一个示意性的例子中,摄像头每隔0.5s获取一次脸部图像,摄像辅助系统从脸部图像中获取眼部图像,睁闭眼检测模型根据眼部图像输出相应的睁闭眼检测结果,辅助驾驶系统在延迟一定的模型处理时间后以每隔0.5s的获取频率获取睁闭眼检测结果。第二时长阈值设置为2s,当辅助驾驶系统在2s内获取的4次睁闭眼检测结果连续为闭眼,辅助驾驶系统则通过预定方式进行驾驶提醒。
对于分析睁闭眼频率来说,驾驶辅助系统根据睁闭眼检测结果确定睁闭眼频率,本申请实施例中,睁闭眼频率定义为每分钟内的闭眼次数,若睁闭眼频率小于频率阈值,此时驾驶者极大可能处于疲劳驾驶状态,驾驶辅助系统则通过预定方式进行驾驶提醒。
根据大量数据统计,人眼的正常眨眼频率为每分钟眨眼15次,因此可以设置频率阈值为每分钟接收10次指示闭眼的睁闭眼检测结果。
在一个示意性的例子中,摄像头每隔2s获取一次脸部图像,摄像辅助系统从脸部图像中获取眼部图像,睁闭眼检测模型根据眼部图像输出相应的睁闭眼检测结果,辅助驾驶系统在延迟一定的模型处理时间后以每隔2s的获取频率获取睁闭眼检测结果。频率阈值设置为每分钟接收10次指示闭眼的睁闭眼检测结果,当辅助驾驶系统在一分钟内获取的30次睁闭眼检测结果中包含8次闭眼,显然,驾驶者当前的睁闭眼频率小于频率阈值,辅助驾驶系统则通过预定方式进行驾驶提醒。
实际上,当驾驶者处于疲劳驾驶状态时,不仅在一定时间内的闭眼次数会减少,其闭眼时长会增加、切换至睁眼的速度也会变缓慢,因此,为了提高驾驶提醒的准确性,在一种可能的实施方式中,驾驶辅助系统同时分析闭眼时长和睁闭眼频率,通过睁闭眼检测结果的综合分析,辅助驾驶系统通过预定方式对驾驶者进行驾驶过程中的及时驾驶提醒。
示意性的,如图8所示,其示出了当驾驶者处于疲劳驾驶状态时驾驶辅助系统的语音提示方式的界面示意图。在手机800内,驾驶辅助系统下的驾驶助手通过语音提示方式对驾驶者进行如下内容的驾驶提醒:“累了就休息一下吧,疲劳驾驶可不行哦”。
此外,在一种可能的实施方式中,当驾驶过程结束后,驾驶辅助系统根据驾驶过程中的驾驶提醒次数生成本次驾驶过程的驾驶评估信息。
在一个示意性的例子中,如图9所示,其示出了驾驶过程结束时驾驶辅助系统生成驾驶评估信息的界面示意图。图9的(a)示出在手机900内,当本次驾驶过程中未出现或出现次数较少的驾驶提醒,驾驶辅助系统下的驾驶助手则通过语音评估方式对驾驶者进行如下内容的驾驶评估:“行程结束!本次驾驶良好,请继续保持良好的驾驶习惯哦”;图9的(b)示出在手机900内,当本次驾驶过程中出现次数较多的驾驶提醒,驾驶辅助系统下的驾驶助手则通过语音评估方式对驾驶者进行如下内容的驾驶评估:“行程结束!本次驾驶出现多次不良驾驶姿势,且驾驶状态较为疲劳,请及时注意调整”。
综上所述,采用本申请实施例提供的驾驶提醒方法,不仅能够实现终端通过场景识别模型进行场景识别的功能,且在终端用户的当前场景为驾驶场景时,通过驾驶辅助系统对驾驶过程进行驾驶者的头部姿态检测与眼部状态检测,可选的,驾驶辅助系统通过终端的摄像头进行头部图像与眼部图像的采集,将采集到的图像输入至头部姿态检测模型和睁闭眼检测模型,驾驶辅助系统根据模型输出的头部姿态检测结果与睁闭眼检测结果进行综合分析,当分析结果显示当前驾驶者存在不良头部姿态,和/或,不良眼部状态时,及时地通过预定方式对驾驶者进行驾驶提醒;相较于相关技术中驾驶模式的被动交互方式,本申请实施例中,在终端通过预训练的场景识别模型识别出当前场景为驾驶场景后,继续通过图像采集进行对驾驶者驾驶过程的实时检测,保障了驾驶者驾驶过程的安全,且驾驶辅助系统能够根据驾驶者具体的姿态与状态作出相对应的驾驶提醒,提高了驾驶提醒的精准性与及时性,从而为驾驶者尽可能地规避交通事故。
本申请实施例中,在驾驶辅助系统为驾驶者进行实时驾驶提醒的过程中,为了保障采集信息的完整性与准确性,在一种可能的实施方式中,终端启用驾驶辅助系统之后,本申请各个实施例还包括如下步骤的内容,即图2所示的步骤203和图3所示的步骤305之后还包括如下步骤:
步骤1001,获取前置摄像头采集的样本图像。
在一种可能的实施方式中,为了保障当终端的当前位置被固定时,摄像头所采集的图像信息是有效的,驾驶辅助系统被终端启用之后,通过终端内的前置摄像头采集样本图像,并获取该样本图像进行是否满足图像采集条件的判断。
可选的,图像采集条件可以设置为:样本图像至少包括驾驶者的完整头部图像。本申请实施例中,为了尽可能地提高采集信息的有效性,将图像采集条件拓展至样本图像至少包括驾驶者的完整头部图像以及上半身图像。
步骤1002,若样本图像符合图像采集条件,则执行通过驾驶辅助系统进行驾驶提醒的步骤。
相应的,若样本图像符合图像采集条件,表明终端内的前置摄像头采集的图像信息是有效的,则执行终端通过驾驶辅助系统进行驾驶提醒的步骤。
步骤1003,若样本图像不符合图像采集条件,则生成提示信息,提示信息用于提示调整前置摄像头的拍摄角度。
相应的,若样本图像不符合图像采集条件,表明终端内的前置摄像头采集的图像信息很可能是无效的,则生成提示信息,提示信息用于提示驾驶者调整前置摄像头的拍摄角度。
在一个示意性的例子中,如图11所示,其示出了当样本图像不符合图像采集条件时驾驶辅助系统的提示信息的界面示意图。在手机1100内,驾驶辅助系统下的驾驶助手通过语音提示方式对驾驶者进行如下内容的驾驶提醒:“请调整您的手机位置,小欧需要检测到您的完整脸部与上半身”,其中,驾驶者可通过参照框1101进行前置摄像头拍摄角度的调整,当驾驶者的前置摄像范围在参照框1101中的人物取景参照线内时,即可完成前置摄像头拍摄角度的调整。
综上所述,在终端启用驾驶辅助系统之后,采用本申请实施例提供的方法,能够在驾驶辅助系统为驾驶者进行实时驾驶提醒的过程中,保障终端内前置摄像头所采集的图像信息的完整性与准确性。
本申请实施例中,在驾驶辅助系统为驾驶者进行实时驾驶提醒的过程中,由于终端设备无法始终固定在同一位置进行图像信息的采集,因此,在一种可能的实施方式中,终端启用驾驶辅助系统之后,驾驶辅助系统根据终端设备与驾驶者具体的相对位置进行头部姿态检测模型与睁闭眼检测模型的选取,本申请各个实施例还包括如下步骤的方法,即图2所示的步骤203和图3所示的步骤305之后还包括如下步骤:
步骤1201,获取前置摄像头采集的样本图像。
本步骤的实施方式可以参考上述步骤1001,本实施例在此不再赘述。
步骤1202,若样本图像符合图像采集条件,则根据样本图像确定当前拍摄角度。
若样本图像符合图像采集条件,表明终端内的前置摄像头采集的图像信息是有效的,在此基础上,对用于驾驶提醒的头部姿态检测模型与睁闭眼检测模型进行选取。
实际应用场景中,驾驶者根据自身习惯,可以将终端设备放置在驾驶者的左侧区域或右侧区域。相应的,终端设备与驾驶者不同的相对位置会使得前置摄像头采集的图像信息发生变化,因此,驾驶辅助系统基于终端设备的放置方位的不同而选择合适的头部姿态检测模型与睁闭眼检测模型是很有必要的。
在一种可能的实施方式中,若样本图像符合图像采集条件,驾驶辅助系统则根据样本图像确定当前拍摄角度,通过当前拍摄角度,驾驶辅助系统能够确定终端设备固定时相对于驾驶者的方位。
步骤1203,从至少两个候选头部姿态检测模型中获取与当前拍摄角度匹配的头部姿态检测模型,并从至少两个候选睁闭眼检测模型中获取与当前拍摄角度匹配的睁闭眼检测模型。
其中,不同的候选头部姿态检测模型根据不同拍摄角度下的样本头部图像训练得到,不同的候选睁闭眼检测模型根据不同拍摄角度下的样本眼部图像训练得到。
可选的,候选头部姿态检测模型分为两大类:左方位候选头部姿态检测模型和右方位候选头部姿态检测模型。考虑终端设备放置在驾驶者左侧区域的情形,终端设备在左侧区域的不同位置对应了不同的拍摄角度,因此左方位候选头部姿态检测模型根据终端设备在左侧区域的不同拍摄角度下的样本头部图像训练得到;相应的,考虑终端设备放置在驾驶者右侧区域的情形,终端设备在右侧区域的不同位置对应了不同的拍摄角度,因此右方位候选头部姿态检测模型根据终端设备在右侧区域的不同拍摄角度下的样本头部图像训练得到。
在一种可能的实施方式中,驾驶辅助系统从至少两个候选头部姿态检测模型中获取与当前拍摄角度匹配的头部姿态检测模型,从而利用选取的头部姿态检测模型进行后续头部姿态检测。
可选的,候选睁闭眼检测模型分为两大类:左方位候选睁闭眼检测模型和右方位候选睁闭眼检测模型。同样的,考虑终端设备放置在驾驶者左侧区域的情形,终端设备在左侧区域的不同位置对应了不同的拍摄角度,因此左方位候选睁闭眼检测模型根据终端设备在左侧区域的不同拍摄角度下的样本眼部图像训练得到;相应的,考虑终端设备放置在驾驶者右侧区域的情形,终端设备在右侧区域的不同位置对应了不同的拍摄角度,因此右方位候选睁闭眼检测模型根据终端设备在右侧区域的不同拍摄角度下的样本眼部图像训练得到。
在一种可能的实施方式中,驾驶辅助系统从至少两个候选睁闭眼检测模型中获取与当前拍摄角度匹配的睁闭眼检测模型,从而利用选取的睁闭眼检测模型进行后续睁闭眼检测。
综上所述,在终端启用驾驶辅助系统之后,驾驶辅助系统从至少两个候选头部姿态检测模型中获取与当前拍摄角度匹配的头部姿态检测模型,并从至少两个候选睁闭眼检测模型中获取与当前拍摄角度匹配的睁闭眼检测模型,最终利用选取的头部姿态检测模型和睁闭眼检测模型分别进行后续头部姿态检测和后续睁闭眼检测;因此,采用本申请实施例提供的方法,能够在驾驶辅助系统为驾驶者进行实时驾驶提醒的过程中,保障头部姿态检测模型与睁闭眼检测模型在选取时的匹配性。
请参考图13,其示出了本申请一个实施例提供的驾驶提醒装置的结构框图。该装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。该装置包括:
信息获取模块1301,用于获取环境信息;
信息输入模块1302,用于将所述环境信息输入场景识别模型,得到所述场景识别模型输出的场景识别结果;
系统启用模块1303,用于若所述场景识别结果指示处于驾驶场景,则启用驾驶辅助系统;
第一驾驶提醒模块1304,用于车辆行驶过程中,通过所述驾驶辅助系统进行驾驶提醒。
可选的,所述环境信息中包括环境音频信息和环境图像信息;
可选的,所述信息输入模块1302,包括:
音频输入子模块,用于将所述环境音频信息输入所述场景识别模型,得到所述场景识别模型输出的第一场景识别结果;
图像输入子模块,用于将所述环境图像信息输入所述场景识别模型,得到所述场景识别模型输出的第二场景识别结果。
可选的,所述系统启用模块1303,包括:
第一启用子模块,用于若所述第一场景识别结果指示处于所述驾驶场景,且第二场景识别结果指示处于所述驾驶场景,则启用所述驾驶辅助系统;
所述系统启用模块1303还包括:
第二启用子模块,用于若所述第二场景识别结果指示未处于所述驾驶场景,且所述第一场景识别结果指示处于所述驾驶场景,则继续执行所述获取环境信息的步骤;
第二启用子模块,用于若所述第二场景识别结果指示未处于所述驾驶场景,且所述第一场景识别结果指示未处于所述驾驶场景,则停止执行所述获取环境信息的步骤。
可选的,所述场景识别模型基于mobilenet模型,所述场景识别模型的预设卷积层采用depthwise卷积和pointwise卷积,且所述场景识别模型采用softmax损失和focalloss损失联合训练得到。
可选的,所述驾驶辅助系统中包括头部姿态检测模型和睁闭眼检测模型;
可选的,所述第一驾驶提醒模块1304,包括:
图像获取子模块,用于车辆行驶过程中,获取前置摄像头采集的头部图像和眼部图像;
第一图像输入子模块,用于将所述头部图像输入所述头部姿态检测模型,得到所述头部姿态检测模型输出的头部姿态检测结果;
第二图像输入子模块,用于将所述眼部图像输入所述睁闭眼检测模型,得到所述睁闭眼检测模型输出的睁闭眼检测结果;
驾驶提醒子模块,用于根据所述头部姿态检测结果和/或所述睁闭眼检测结果进行驾驶提醒。
可选的,所述驾驶提醒子模块,用于若所述头部姿态检测结果指示的头部姿态与目标姿态之间存在姿态偏移,且持续时长达到第一时长阈值,则通过预定方式进行驾驶提醒;
和/或,
根据所述睁闭眼检测结果确定闭眼时长和/或睁闭眼频率;若所述闭眼时长大于第二时长阈值,和/或,所述睁闭眼频率小于频率阈值,则通过预定方式进行驾驶提醒。
可选的,所述装置还包括:
样本图像获取模块,用于获取所述前置摄像头采集的样本图像;
第二驾驶提醒模块,用于若所述样本图像符合图像采集条件,则执行所述通过所述驾驶辅助系统进行驾驶提醒的步骤;
信息生成模块,用于若所述样本图像不符合所述图像采集条件,则生成提示信息,所述提示信息用于提示调整所述前置摄像头的拍摄角度。
可选的,所述装置还包括:
角度确定模块,用于若所述样本图像符合所述图像采集条件,则根据所述样本图像确定当前拍摄角度;
模型获取模块,用于从至少两个候选头部姿态检测模型中获取与所述当前拍摄角度匹配的所述头部姿态检测模型,并从至少两个候选睁闭眼检测模型中获取与所述当前拍摄角度匹配的所述睁闭眼检测模型,其中,不同的候选头部姿态检测模型根据不同拍摄角度下的样本头部图像训练得到,不同的候选睁闭眼检测模型根据不同拍摄角度下的样本眼部图像训练得到。
可选的,所述头部姿态检测模型和所述睁闭眼检测模型基于shufflenet模型,所述头部姿态检测模型和所述睁闭眼检测模型的预设卷积层采用depthwise卷积和pointwise卷积,且所述头部姿态检测模型和所述睁闭眼检测模型采用focal loss损失训练得到。
请参考图14,其示出了本申请一个示例性实施例提供的终端1400的结构方框图。该终端1400可以是智能手机、平板电脑、电子书、便携式个人计算机等安装并运行有应用程序的电子设备。本申请中的终端1400可以包括一个或多个如下部件:处理器1410、存储器1420和屏幕1430。
处理器1410可以包括一个或者多个处理核心。处理器1410利用各种接口和线路连接整个终端1400内的各个部分,通过运行或执行存储在存储器1420内的指令、程序、代码集或指令集,以及调用存储在存储器1420内的数据,执行终端1400的各种功能和处理数据。可选地,处理器1410可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器1410可集成中央处理器(CentralProcessing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责屏幕1430所需要显示的内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器1410中,单独通过一块通信芯片进行实现。
存储器1420可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。可选地,该存储器1420包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1420可用于存储指令、程序、代码、代码集或指令集。存储器1420可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等,该操作系统可以是安卓(Android)系统(包括基于Android系统深度开发的系统)、苹果公司开发的IOS系统(包括基于IOS系统深度开发的系统)或其它系统。存储数据区还可以存储终端1000在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
屏幕1430可以为触摸显示屏,该触摸显示屏用于接收用户使用手指、触摸笔等任何适合的物体在其上或附近的触摸操作,以及显示各个应用程序的用户界面。触摸显示屏通常设置在终端1400的前面板。触摸显示屏可被设计成为全面屏、曲面屏或异型屏。触摸显示屏还可被设计成为全面屏与曲面屏的结合,异型屏与曲面屏的结合,本申请实施例对此不加以限定。
本申请实施例还提供了一种计算机可读介质,该计算机可读介质存储有至少一条指令,所述至少一条指令由所述处理器加载并执行以实现如上各个实施例所述的驾驶提醒方法。
本申请实施例还提供了一种计算机程序产品,该计算机程序产品存储有至少一条指令,所述至少一条指令由所述处理器加载并执行以实现如上各个实施例所述的驾驶提醒方法。
本领域技术人员应该可以意识到,在上述一个或多个示例中,本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时,可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质,其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (12)

1.一种驾驶提醒方法,其特征在于,所述方法用于终端,所述方法包括:
获取环境信息;
将所述环境信息输入场景识别模型,得到所述场景识别模型输出的场景识别结果;
若所述场景识别结果指示处于驾驶场景,则启用驾驶辅助系统;
车辆行驶过程中,通过所述驾驶辅助系统进行驾驶提醒。
2.根据权利要求1所述的方法,其特征在于,所述环境信息中包括环境音频信息和环境图像信息;
所述将所述环境信息输入场景识别模型,得到所述场景识别模型输出的场景识别结果,包括:
将所述环境音频信息输入所述场景识别模型,得到所述场景识别模型输出的第一场景识别结果;
将所述环境图像信息输入所述场景识别模型,得到所述场景识别模型输出的第二场景识别结果。
3.根据权利要求2所述的方法,其特征在于,所述若所述场景识别结果指示处于驾驶场景,则启用驾驶辅助系统,包括:
若所述第一场景识别结果指示处于所述驾驶场景,且第二场景识别结果指示处于所述驾驶场景,则启用所述驾驶辅助系统;
所述方法还包括:
若所述第二场景识别结果指示未处于所述驾驶场景,且所述第一场景识别结果指示处于所述驾驶场景,则继续执行所述获取环境信息的步骤;
若所述第二场景识别结果指示未处于所述驾驶场景,且所述第一场景识别结果指示未处于所述驾驶场景,则停止执行所述获取环境信息的步骤。
4.根据权利要求1至3任一所述的方法,其特征在于,所述场景识别模型基于移动网络mobilenet模型,所述场景识别模型的预设卷积层采用深度depthwise卷积和点态pointwise卷积,且所述场景识别模型采用softmax损失和focal loss损失联合训练得到。
5.根据权利要求1至3任一所述的方法,其特征在于,所述驾驶辅助系统中包括头部姿态检测模型和睁闭眼检测模型;
所述车辆行驶过程中,通过所述驾驶辅助系统进行驾驶提醒,包括:
车辆行驶过程中,获取前置摄像头采集的头部图像和眼部图像;
将所述头部图像输入所述头部姿态检测模型,得到所述头部姿态检测模型输出的头部姿态检测结果;
将所述眼部图像输入所述睁闭眼检测模型,得到所述睁闭眼检测模型输出的睁闭眼检测结果;
根据所述头部姿态检测结果和/或所述睁闭眼检测结果进行驾驶提醒。
6.根据权利要求5所述的方法,其特征在于,所述根据所述头部姿态检测结果和/或所述睁闭眼检测结果进行驾驶提醒,包括:
若所述头部姿态检测结果指示的头部姿态与目标姿态之间存在姿态偏移,且持续时长达到第一时长阈值,则通过预定方式进行驾驶提醒;
和/或,
根据所述睁闭眼检测结果确定闭眼时长和/或睁闭眼频率;若所述闭眼时长大于第二时长阈值,和/或,所述睁闭眼频率小于频率阈值,则通过预定方式进行驾驶提醒。
7.根据权利要求5所述的方法,其特征在于,所述启用驾驶辅助系统之后,所述方法还包括:
获取所述前置摄像头采集的样本图像;
若所述样本图像符合图像采集条件,则执行所述通过所述驾驶辅助系统进行驾驶提醒的步骤;
若所述样本图像不符合所述图像采集条件,则生成提示信息,所述提示信息用于提示调整所述前置摄像头的拍摄角度。
8.根据权利要求7所述的方法,其特征在于,所述获取所述前置摄像头采集的样本图像之后,还包括:
若所述样本图像符合所述图像采集条件,则根据所述样本图像确定当前拍摄角度;
从至少两个候选头部姿态检测模型中获取与所述当前拍摄角度匹配的所述头部姿态检测模型,并从至少两个候选睁闭眼检测模型中获取与所述当前拍摄角度匹配的所述睁闭眼检测模型,其中,不同的候选头部姿态检测模型根据不同拍摄角度下的样本头部图像训练得到,不同的候选睁闭眼检测模型根据不同拍摄角度下的样本眼部图像训练得到。
9.根据权利要求5所述的方法,其特征在于,所述头部姿态检测模型和所述睁闭眼检测模型基于shufflenet模型,所述头部姿态检测模型和所述睁闭眼检测模型的预设卷积层采用depthwise卷积和pointwise卷积,且所述头部姿态检测模型和所述睁闭眼检测模型采用focal loss损失训练得到。
10.一种驾驶提醒装置,其特征在于,所述装置用于终端,所述装置包括:
信息获取模块,用于获取环境信息;
信息输入模块,用于将所述环境信息输入场景识别模型,得到所述场景识别模型输出的场景识别结果;
系统启用模块,用于若所述场景识别结果指示处于驾驶场景,则启用驾驶辅助系统;
驾驶提醒模块,用于车辆行驶过程中,通过所述驾驶辅助系统进行驾驶提醒。
11.一种终端,其特征在于,所述终端包括处理器和存储器;所述存储器存储有至少一条指令,所述至少一条指令用于被所述处理器执行以实现如权利要求1至9任一所述的驾驶提醒方法。
12.一种计算机可读存储介质,其特征在于,所述存储介质存储有至少一条指令,所述至少一条指令用于被处理器执行以实现如权利要求1至9任一所述的驾驶提醒方法。
CN201910949103.5A 2019-10-08 2019-10-08 驾驶提醒方法、装置、终端及存储介质 Active CN110705483B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910949103.5A CN110705483B (zh) 2019-10-08 2019-10-08 驾驶提醒方法、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910949103.5A CN110705483B (zh) 2019-10-08 2019-10-08 驾驶提醒方法、装置、终端及存储介质

Publications (2)

Publication Number Publication Date
CN110705483A true CN110705483A (zh) 2020-01-17
CN110705483B CN110705483B (zh) 2022-11-18

Family

ID=69197789

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910949103.5A Active CN110705483B (zh) 2019-10-08 2019-10-08 驾驶提醒方法、装置、终端及存储介质

Country Status (1)

Country Link
CN (1) CN110705483B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200086A (zh) * 2020-10-10 2021-01-08 深圳市华付信息技术有限公司 一种基于视频的人脸活体检测方法
CN113132625A (zh) * 2021-03-11 2021-07-16 宇龙计算机通信科技(深圳)有限公司 一种场景图像获取方法、存储介质及设备
CN113850224A (zh) * 2021-10-09 2021-12-28 苏州中科先进技术研究院有限公司 基于轻量深度学习网络的活体识别方法及其识别系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609602A (zh) * 2017-09-28 2018-01-19 吉林大学 一种基于卷积神经网络的驾驶场景分类方法
CN108197526A (zh) * 2017-11-23 2018-06-22 西安艾润物联网技术服务有限责任公司 检测方法、系统及计算机可读存储介质
CN108961681A (zh) * 2018-07-23 2018-12-07 奇瑞汽车股份有限公司 疲劳驾驶提醒方法、装置及存储介质
CN109087485A (zh) * 2018-08-30 2018-12-25 Oppo广东移动通信有限公司 驾驶提醒方法、装置、智能眼镜及存储介质
CN109166141A (zh) * 2018-08-10 2019-01-08 Oppo广东移动通信有限公司 危险提醒方法、装置、存储介质及移动终端
CN110084137A (zh) * 2019-04-04 2019-08-02 百度在线网络技术(北京)有限公司 基于驾驶场景的数据处理方法、装置和计算机设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609602A (zh) * 2017-09-28 2018-01-19 吉林大学 一种基于卷积神经网络的驾驶场景分类方法
CN108197526A (zh) * 2017-11-23 2018-06-22 西安艾润物联网技术服务有限责任公司 检测方法、系统及计算机可读存储介质
CN108961681A (zh) * 2018-07-23 2018-12-07 奇瑞汽车股份有限公司 疲劳驾驶提醒方法、装置及存储介质
CN109166141A (zh) * 2018-08-10 2019-01-08 Oppo广东移动通信有限公司 危险提醒方法、装置、存储介质及移动终端
CN109087485A (zh) * 2018-08-30 2018-12-25 Oppo广东移动通信有限公司 驾驶提醒方法、装置、智能眼镜及存储介质
CN110084137A (zh) * 2019-04-04 2019-08-02 百度在线网络技术(北京)有限公司 基于驾驶场景的数据处理方法、装置和计算机设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200086A (zh) * 2020-10-10 2021-01-08 深圳市华付信息技术有限公司 一种基于视频的人脸活体检测方法
CN113132625A (zh) * 2021-03-11 2021-07-16 宇龙计算机通信科技(深圳)有限公司 一种场景图像获取方法、存储介质及设备
CN113850224A (zh) * 2021-10-09 2021-12-28 苏州中科先进技术研究院有限公司 基于轻量深度学习网络的活体识别方法及其识别系统

Also Published As

Publication number Publication date
CN110705483B (zh) 2022-11-18

Similar Documents

Publication Publication Date Title
CN110047487B (zh) 车载语音设备的唤醒方法、装置、车辆以及机器可读介质
CN111372119B (zh) 多媒体数据录制方法、装置及电子设备
US10462568B2 (en) Terminal and vehicle control method of mobile terminal using machine learning
CN110705483B (zh) 驾驶提醒方法、装置、终端及存储介质
US20130155237A1 (en) Interacting with a mobile device within a vehicle using gestures
CN107623778B (zh) 来电接听方法及移动终端
KR20160099497A (ko) 핸드라이팅 인식 방법 및 장치
CN105320726A (zh) 降低对手动开始/结束点和触发短语的需求
CN112689201B (zh) 弹幕信息识别方法、显示方法、服务器及电子设备
CN109286728B (zh) 一种通话内容处理方法及终端设备
EP4004908B1 (en) Activating speech recognition
US11816924B2 (en) Method for behaviour recognition based on line-of-sight estimation, electronic equipment, and storage medium
CN109040444B (zh) 一种通话录音方法、终端及计算机可读存储介质
WO2019119290A1 (zh) 提示信息确定方法、装置、电子设备和计算机程序产品
CN110491384B (zh) 一种语音数据处理方法及装置
CN109981890B (zh) 一种提醒任务处理方法、终端及计算机可读存储介质
CN110154048B (zh) 机器人的控制方法、控制装置和机器人
CN114220420A (zh) 多模态语音唤醒方法、装置及计算机可读存储介质
CN114489331A (zh) 区别于按钮点击的隔空手势交互方法、装置、设备和介质
CN116860913A (zh) 语音交互方法、装置、设备及存储介质
CN111985417A (zh) 功能部件识别方法、装置、设备及存储介质
CN111526244A (zh) 一种闹钟处理方法以及电子设备
CN115985309A (zh) 语音识别方法、装置、电子设备及存储介质
CN112951216B (zh) 一种车载语音处理方法及车载信息娱乐系统
CN108594998A (zh) 一种车载导航系统及其手势操作方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant