CN109835260B

CN109835260B - 一种车辆信息显示方法、装置、终端和存储介质

Info

Publication number: CN109835260B
Application number: CN201910172181.9A
Authority: CN
Inventors: 杨尊程
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2019-03-07
Filing date: 2019-03-07
Publication date: 2023-02-03
Anticipated expiration: 2039-03-07
Also published as: CN109835260A

Abstract

本发明实施例公开了一种车辆信息显示方法、装置、终端和存储介质，该方法包括：实时获取驾驶员头部图像；利用预先训练的头部姿态识别模型，根据所述驾驶员头部图像识别驾驶员的当前头部姿态；利用预先训练的与所述当前头部姿态对应的当前视线检测模型，根据所述驾驶员头部图像识别驾驶员的当前视线区域，其中，不同的头部姿态对应预先训练有不同的视线检测模型；将驾驶员前方显示屏上与所述当前视线区域对应的信息进行突出显示。本发明实施例结合驾驶员头部姿态的识别结果选择不同的视线检测模型对驾驶员的视线区域进行识别，提高了视线区域的识别精度，进而通过突出显示显示屏上与视线区域对应的信息，达到为驾驶员提供全面、清晰的信息的目的。

Description

一种车辆信息显示方法、装置、终端和存储介质

技术领域

本发明实施例涉及人机交互技术，尤其涉及一种车辆信息显示方法、装置、终端和存储介质。

背景技术

随着汽车产业技术的不断发展，汽车的智能化正在改变人们的生活，给人们的出行带来前所未有的便利和体验。汽车是非常复杂的工具，其上有上万个零部件和电子模块，因此，有很多与车辆有关的信息需要提供给驾驶员，以便驾驶员随时了解车辆的运行状况。这些信息通常显示在驾驶员前方的显示屏上，例如，显示车速、里程计、时间等驾驶辅助信息，或者外部摄像头拍到的图像，方便驾驶员了解车外运行环境。

然而，车内空间有限，驾驶员前方的显示屏大小也会受到限制，但是需要展示的信息又很多，因此往往需要驾驶员仔细盯着显示屏才能看清楚，从而带来潜在的驾驶安全隐患。而如果缩减展示内容，减少信息量，又无法保证驾驶员能够及时获取到有用的信息，同样无法确保安全驾驶。

发明内容

本发明实施例提供一种车辆信息显示方法、装置、终端和存储介质，以解决现有技术中无法为驾驶员显示出全面、清晰的车辆信息的问题。

第一方面，本发明实施例提供了一种车辆信息显示方法，该方法包括：

实时获取驾驶员头部图像；

利用预先训练的头部姿态识别模型，根据所述驾驶员头部图像识别驾驶员的当前头部姿态；

利用预先训练的与所述当前头部姿态对应的当前视线检测模型，根据所述驾驶员头部图像识别驾驶员的当前视线区域，其中，不同的头部姿态对应预先训练有不同的视线检测模型；

将驾驶员前方显示屏上与所述当前视线区域对应的信息进行突出显示。

第二方面，本发明实施例还提供了一种车辆信息显示装置，该装置包括：

头部图像获取模块，用于实时获取驾驶员头部图像；

头部姿态识别模块，用于利用预先训练的头部姿态识别模型，根据所述驾驶员头部图像识别驾驶员的当前头部姿态；

视线区域识别模块，用于利用预先训练的与所述当前头部姿态对应的当前视线检测模型，根据所述驾驶员头部图像识别驾驶员的当前视线区域，其中，不同的头部姿态对应预先训练有不同的视线检测模型；

信息显示模块，用于将驾驶员前方显示屏上与所述当前视线区域对应的信息进行突出显示。

第三方面，本发明实施例还提供了一种终端，包括：

至少一个摄像头，用于拍摄驾驶员头部图像；

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上任意实施例所述的车辆信息显示方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上任意实施例所述的车辆信息显示方法。

本发明实施例在获取驾驶员头部图像后，先识别驾驶员的头部姿态，然后根据不同的头部姿态选择对应的视线检测模型对驾驶员的视线区域进行检测，由此，通过结合驾驶员头部姿态的识别结果来进行视线区域识别，提高了视线区域的识别精度，进而通过突出显示显示屏上与视线区域对应的信息，达到为驾驶员提供全面、清晰的信息的目的。

附图说明

图1为本发明实施例一中的车辆信息显示方法的流程图；

图2是本发明实施例二中的车辆信息显示方法的流程图；

图3是本发明实施例三中的车辆信息显示装置的结构示意图；

图4是本发明实施例四中的终端的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的车辆信息显示方法的流程图，本实施例可适用于突出显示驾驶员前方显示屏上，驾驶员视线区域所对应的的车辆信息的情况，该方法可以由车辆信息显示装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成在终端上，例如车载终端。如图1所示，该方法具体包括：

S101、实时获取驾驶员头部图像。

具体的，可以在驾驶员头部对面安装一个或多个摄像头，用于拍摄驾驶员头部图像，并由摄像头将拍摄到的头部图像发送至车辆信息显示装置。

S102、利用预先训练的头部姿态识别模型，根据所述驾驶员头部图像识别驾驶员的当前头部姿态。

具体的，可以采用深度学习技术预先训练得到头部姿态识别模型，用于根据驾驶员头部图像实时识别出驾驶员的头部姿态，例如头部的上下、左右或前后等方向的旋转角度。

对于头部姿态识别模型的训练，可以是预先获取大量的驾驶员头部图像样本，并标注出每个样本图像中的头部姿态，将每个头部图像样本作为深度神经网络的输入，将所述标注信息作为输出，经过训练得到所述头部姿态识别模型。其中，关于深度神经网络的选择，本发明实施例不作任何限制。

S103、利用预先训练的与所述当前头部姿态对应的当前视线检测模型，根据所述驾驶员头部图像识别驾驶员的当前视线区域，其中，不同的头部姿态对应预先训练有不同的视线检测模型。

常用的视线方向检测技术往往检测的准确度不高，因为驾驶员坐在摄像头的前方时，脸部未必正对着摄像头，会存在一定的拍摄角度，从而导致识别不准确。而在本发明实施例中，基于不同的头部姿态训练出不同的视线检测模型，进而依据与头部姿态对应的视线检测模型对视线区域进行检测，从而提高检测精度。

示例性的，可以预先划分出9种头部姿态，包括正中、左、右、左上、中上、右上、坐下、中下和右下。针对不同的头部姿态获取对应的头部图像训练样本，并标注出每个训练样本中的视线区域，训练时，针对每个种类的头部姿态分别进行训练，将对应的头部图像训练样本作为输入，将标注的视线区域作为输出，对深度神经网络进行训练，得到不同头部姿态对应的视线检测模型。

S104、将驾驶员前方显示屏上与所述当前视线区域对应的信息进行突出显示。

其中，可以根据实际需求划分出所需的视线区域，示例性的，同样可以将视线区域划分成9个不同的区域，并训练出对应的视线检测模型。例如，当驾驶员看向前方显示屏的左侧时，可以突出显示左后视镜上的外摄像头采集到的图像信息；当驾驶员看向显示屏的中下方时，可以显示汽车尾部的倒车影像信息；当看向显示屏正中时，突出显示汽车的当前时速等信息。

还需要说明的是，在驾驶员前方的显示屏上，通常会显示车辆的运行信息，例如：车速、里程计、时间等，还可以显示外部摄像头拍到的图像等内容，方便驾驶员了解整车及车外运行环境，以便实现辅助驾驶。然而，由于显示屏大小受车内空间的限制，无法将全部信息都清楚地、同时地显示在显示屏上，导致驾驶员无法快速看清屏幕上想看的内容。而通过视线检测技术检测驾驶员的视线区域，可以实现当驾驶员看向显示屏的某一个区域时，突出显示该区域的信息内容，以便驾驶员看得更清楚一些，这不仅可以提升驾驶员的视野，还因为不再需要驾驶员长时间盯着屏幕看而提升驾驶时的安全性。那么在此过程中，对驾驶员视线区域的识别精度就显得尤为重要。例如，如果驾驶员实际想看后视镜上的外摄像头采集到的图像信息，但因为识别精度的误差，导致识别出驾驶员的视线方向是正中，显示出车辆时速信息，那么就会因为信息的错误显示而引起驾驶员的错误驾驶，带来安全隐患。

因此，本发明实施例在获取驾驶员头部图像后，先识别驾驶员的头部姿态，然后根据不同的头部姿态选择对应的视线检测模型对驾驶员的视线区域进行检测，由此，通过结合驾驶员头部姿态的识别结果来进行视线区域识别，提高了视线区域的识别精度，进而通过突出显示显示屏上与视线区域对应的信息，达到为驾驶员提供全面、清晰的信息的目的。

实施例二

图2为本发明实施例二提供的车辆信息显示方法的流程图，本实施例二在实施例一的基础上进行进一步地优化。如图2所示，所述方法包括：

S201、实时获取驾驶员头部图像。

S202、利用预先训练的头部姿态识别模型，根据所述驾驶员头部图像识别驾驶员的当前头部姿态。

S203、利用图像识别技术，从所述驾驶员头部图像中提取出人脸图像。

其中，关于人脸图像提取的方法，本发明实施例不作任何限定，可以采用现有技术中的任意方法提取人脸图像。

此外，S203和S203的执行顺序，本发明实施例也不作任何限定。

S204、利用预先训练的与所述当前头部姿态对应的当前视线检测模型，根据所述人脸图像识别驾驶员的当前视线区域，其中，所述视线检测模型是基于人脸图像中的眼球特征和眼睛周围的至少一个眼周特征识别眼睛的视线区域。

在本实施例中，视线检测模型具体是根据人脸图像识别驾驶员的视线区域，进一步的，是基于人脸图像中的眼球特征和眼睛周围的至少一个眼周特征识别眼睛的视线区域。

众所周知，常用的视线方向检测技术是通过检测眼睛的眼球图片，根据眼球的特征分析出眼球坐标实现的。但是由于人眼并非完全静态，人眼需要眨眼并频繁转换视线方向，因此眼球特征就显得比较隐蔽，不容易识别，那么在识别眼球以及检测眼球特征时，识别准确度就不是很高。为了克服该问题，在本实施例中，不仅考虑了眼球特征，还考虑了眼睛周围的至少一个眼周特征，结合这些特征来识别视线区域。其中，眼周特征例如包括上下眼皮的变化情况、睫毛或眼角的变化等。可以理解的是，基于人类用眼的特点，在眼睛看向不同的视线区域时，眼睛周围存在各种各样的变化情况，而对于同样的眼球特征，不同的眼周特征也会影响最终视线方向的识别结果。因此，结合眼球和眼周特征共同来识别，必然能提高对视线区域的识别准确度。

示例性的，所述视线检测模型的训练过程包括：

基于不同的头部姿态获取相应的人脸图像样本集；

针对每一种头部姿态的人脸图像样本集，获取其中每张人脸图像样本中的眼球特征和眼睛周围的至少一个眼周特征的特征标注信息；

将所述人脸图像样本集和所述特征标注信息作为输入，将预先标注的每张人脸图像样本的视线区域作为输出，基于深度神经网络训练得到所述视线检测模型。

这里需要说明的是，关于眼部特征对视线区域的影响，目前还无法通过人工来进行统计，而利用深度学习技术，让神经网络来学习眼球和眼周特征的结合对视线区域的影响，使得经学习和训练得到的视线检测模型即可实现精确的视线区域检测。

S205、将驾驶员前方显示屏上与所述当前视线区域对应的信息进行放大显示。

为了使驾驶员更清楚地看到其视线区域所对应的显示屏上的信息，可以采用放大显示的方式，当然，也可以采用其他突出显示方式，例如将文字部分高亮，将图像部分放大等，本发明实施例对此不作任何限定，可以根据实际需要进行设置。

本发明实施例在获取驾驶员头部图像后，先识别驾驶员的头部姿态，然后根据不同的头部姿态选择对应的视线检测模型对驾驶员的视线区域进行检测，由此，通过结合驾驶员头部姿态的识别结果来进行视线区域识别，同时，还结合眼球和眼周特征共同来对视线区域进行识别，进一步提高了视线区域的识别精度，进而通过突出显示显示屏上与视线区域对应的信息，达到为驾驶员提供全面、清晰的信息的目的。

实施例三

图3是本发明实施例三中的车辆信息显示装置的结构示意图。如图3所示，车辆信息显示装置包括：

头部图像获取模块310，用于实时获取驾驶员头部图像；

头部姿态识别模块320，用于利用预先训练的头部姿态识别模型，根据所述驾驶员头部图像识别驾驶员的当前头部姿态；

视线区域识别模块330，用于利用预先训练的与所述当前头部姿态对应的当前视线检测模型，根据所述驾驶员头部图像识别驾驶员的当前视线区域，其中，不同的头部姿态对应预先训练有不同的视线检测模型；

信息显示模块340，用于将驾驶员前方显示屏上与所述当前视线区域对应的信息进行突出显示。

可选的，所述装置还包括：

人脸图像获取模块，用于利用图像识别技术，从所述驾驶员头部图像中提取出人脸图像；

相应的，所述视线区域识别模块330具体用于：

利用预先训练的与所述当前头部姿态对应的当前视线检测模型，根据所述人脸图像识别驾驶员的当前视线区域，其中，所述视线检测模型是基于人脸图像中的眼球特征和眼睛周围的至少一个眼周特征识别眼睛的视线区域。

可选的，所述视线检测模型的训练过程包括：

基于不同的头部姿态获取相应的人脸图像样本集；

可选的，所述突出显示至少包括放大显示。

本发明实施例所提供的车辆信息显示装置可执行本发明任意实施例所提供的车辆信息显示方法，具备执行方法相应的功能模块和有益效果。

实施例四

图4为本发明实施例四提供的一种终端的结构示意图。图4示出了适于用来实现本发明实施方式的示例性终端12的框图。图4显示的终端12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图4所示，终端12以通用计算设备的形式表现。终端12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

终端12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被终端12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。终端12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

终端12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该终端12交互的设备通信，和/或与使得该终端12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，终端12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与终端12的其它模块通信。应当明白，尽管图中未示出，可以结合终端12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的车辆信息显示方法：

实时获取驾驶员头部图像；

实施例五

本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的车辆信息显示方法：

实时获取驾驶员头部图像；

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims

1.一种车辆信息显示方法，其特征在于，包括：

实时获取驾驶员头部图像；

利用预先训练的与所述当前头部姿态对应的当前视线检测模型，根据所述驾驶员头部图像识别驾驶员的当前视线区域，其中，不同的头部姿态对应预先训练有不同的视线检测模型，每种不同头部姿态对应的视线检测模型是分别基于每种不同头部姿态的头部图像训练得到；

将驾驶员前方显示屏上与所述当前视线区域对应的信息进行突出显示；

根据所述驾驶员头部图像识别驾驶员的当前视线区域之前，所述方法还包括：

利用图像识别技术，从所述驾驶员头部图像中提取出人脸图像；

相应的，利用预先训练的与所述当前头部姿态对应的当前视线检测模型，根据所述驾驶员头部图像识别驾驶员的当前视线区域，包括：

2.根据权利要求1所述的方法，其特征在于，所述视线检测模型的训练过程包括：

基于不同的头部姿态获取相应的人脸图像样本集；

3.根据权利要求1或2所述的方法，其特征在于，所述突出显示至少包括放大显示。

4.一种车辆信息显示装置，其特征在于，包括：

头部图像获取模块，用于实时获取驾驶员头部图像；

视线区域识别模块，用于利用预先训练的与所述当前头部姿态对应的当前视线检测模型，根据所述驾驶员头部图像识别驾驶员的当前视线区域，其中，不同的头部姿态对应预先训练有不同的视线检测模型，每种不同头部姿态对应的视线检测模型是分别基于每种不同头部姿态的头部图像训练得到；

信息显示模块，用于将驾驶员前方显示屏上与所述当前视线区域对应的信息进行突出显示；

所述装置还包括：

相应的，所述视线区域识别模块具体用于：

5.根据权利要求4所述的装置，其特征在于，所述视线检测模型的训练过程包括：

基于不同的头部姿态获取相应的人脸图像样本集；

6.根据权利要求4或5所述的装置，其特征在于，所述突出显示至少包括放大显示。

7.一种终端，其特征在于，包括：

至少一个摄像头，用于拍摄驾驶员头部图像；

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-3中任一所述的车辆信息显示方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-3中任一所述的车辆信息显示方法。