CN115878006A - 操控显示屏的方法、车辆、装置、电子设备及介质 - Google Patents

Abstract

本申请提供了一种操控显示屏的方法、车辆、装置、电子设备及介质。所述方法包括：若显示屏进入预设模式或者显示屏中显示有预设内容，且在第一预设时长内未检测到用户对所述显示屏的操作，获取用户视线；若所述用户视线停留在所述显示屏内的时长超过第二预设时长，放大所述显示屏中显示的内容。该方法提供了一种对用户更友好的显示屏操作方式，支持用户通过视线对车载终端的显示屏中的内容进行操作，无需用户手动释放双手来使用显示屏，一方面保证了行车安全(司机的手无需离开方向盘，不会影响车辆驾驶)，另一方面丰富了车载终端的功能性，增强了显示屏操作的便利性，优化了用户体验。

Description

操控显示屏的方法、车辆、装置、电子设备及介质

技术领域

本申请涉及数据处理技术领域，特别是涉及一种操控显示屏的方法、车辆、装置、电子设备及介质。

背景技术

随着车联网的普及，车内大屏越来越普及，给予车内乘客更多的娱乐功能。大部分娱乐功能需要用户在车载终端的显示屏上进行手动操作。例如，乘客在通过车载终端的显示屏查看视频或者看照片时，需要手动滑动界面进行暂停和缩放的操作。

然而，通过手动滑动屏幕来使用车载终端的娱乐功能，需要车内用户释放单双手，不仅操作复杂，而且具有一定的危险性。例如司机在开车过程中，如果手离开方向盘，则容易出现行车安全问题。可见，这种手动操作屏幕的方式对用户的友好程度较低。因此，相关技术中急需一种更灵活、对用户更友好的显示屏操作方式。

发明内容

鉴于上述问题，本发明提供了一种操控显示屏的方法、装置、电子设备及存储介质，支持用户通过视线对车载终端的显示屏中的预设内容进行操作，无需用户手动释放双手来操控显示屏。

本发明第一方面提供了一种操控显示屏的方法，包括：

若显示屏进入预设模式或所述显示屏中显示有预设内容，且在第一预设时长内未检测到用户对所述显示屏的操作，获取用户视线；

若所述用户视线停留在所述显示屏内的时长超过第二预设时长，放大所述显示屏中显示的内容。

本发明第二方面提供了一种车辆，包括：

显示屏，用于显示内容；

视线检测装置，用于若显示屏进入预设模式或所述显示屏中显示有预设内容，且在第一预设时长内未检测到用户对所述显示屏的操作，获取用户视线；

车载终端，用于若所述用户视线停留在所述显示屏内的时长超过第二预设时长，放大所述显示屏中显示的内容。

本发明第三方面提供了一种操控显示屏的装置，包括：

获取模块，用于若显示屏进入预设模式或所述显示屏中显示有预设内容，且在第一预设时长内未检测到用户对所述显示屏的操作，获取用户视线；

放大模块，用于若所述用户视线停留在所述显示屏内的时长超过第二预设时长，放大所述显示屏中显示的内容。

本发明第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明第一方面所述的操控显示屏的方法。

本发明第五方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现本发明第一方面所述的操控显示屏的方法。

采用本发明的操控显示屏的方法，若显示屏进入预设模式或显示屏中显示有预设内容，且在第一预设时长内未检测到用户对显示屏的操作，获取用户视线；若用户视线停留在显示屏内的时长超过第二预设时长，放大显示屏中显示的内容。该方法提供了一种对用户更友好的显示屏操作方式，支持用户通过视线对车载终端的显示屏中的内容进行操作，无需用户手动释放双手来使用显示屏，一方面保证了行车安全(司机的手无需离开方向盘，不会影响车辆驾驶)，另一方面丰富了车载终端的功能性，增强了显示屏操作的便利性，优化了用户体验。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍。

图1是本发明一实施例示出的一种实施环境示意图；

图2是本发明一实施例示出的一种操控显示屏的方法的流程图；

图3是本发明一实施例示出的一种放大显示的内容的方法的过程示意图；

图4是本发明一实施例示出的一种操控显示屏的装置的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明一实施例示出的一种实施环境示意图。在图1中，车载终端包括显示屏，显示屏可用于显示各种内容，例如视频、相册、地图等。车载终端可以与图像采集装置连接，用于对图像采集装置采集的图像进行处理。其次，车载终端还可以与远程服务模块(例如云端系统)连接，使得远程服务模块可以远程协助车载终端进行数据处理。

本发明提供了一种操控显示屏的方法，应用于图1所示的车载终端。图2是本发明一实施例示出的一种操控显示屏的方法的流程图。结合图2，该操控显示屏的方法具体可以包括如下步骤：

步骤S21：若显示屏进入预设模式或所述显示屏中显示有预设内容，且在第一预设时长内未检测到用户对所述显示屏的操作，获取用户视线。

在本实施例中，显示屏具有多种显示模式，显示模式的类型可以根据实际需求任意划分，例如可以包括图片显示模式(只要显示屏内显示有图片，则满足图片显示模式)、地图显示模式(只要显示屏内显示有地图，则满足地图显示模式)、文字显示模式(只要显示屏内显示有文字，则满足文字显示模式)、音乐视频显示模式、菜单显示模式、主页显示模式等，本实施例对此不作具体限制。显示屏可以同时满足多种模式，例如既显示有图片也显示有文字时，则同时满足图片显示模式和文字显示模式。

在本实施例中，预设内容可以是预设应用程序的内容，只要显示屏内显示有预设应用程序的内容，则满足显示屏中显示有预设内容。预设内容还可以是预设类型的应用程序的内容，只要显示屏内显示有预设类型的应用程序的内容，则满足显示屏中显示有预设内容。其中，预设类型的应用程序可以包括：视频、相册、地图、电话簿、音乐等。预设应用程序例如是地图类型下的高德地图、百度地图、腾讯地图等。本实施例对预设类型的应用程序，和预设应用程序不作具体限制。

在实际实施时，用户可以设置多个应用程序的类型词，当车载终端检测到开启的某个应用程序的类型符合类型词中的任意一个时，确定显示屏中显示有预设内容。或者用户可以在预设应用名单内添加多个应用程序，当车载终端检测到开启的某个应用程序是预设应用名单内的任意一个时，确定显示屏中显示有预设内容。

在一种实施方式中，若显示屏进入预设模式或所述显示屏中显示有预设内容，且在第一预设时长内未检测到用户对所述显示屏的操作，获取用户视线，可以包括：

若显示屏进入预设模且在第一预设时长内未检测到用户对所述显示屏的操作，获取用户视线；或者

若显示屏中显示有预设内容且在第一预设时长内未检测到用户对所述显示屏的操作，获取用户视线。在本实施例中，显示屏中显示有预设内容，是指车载终端打开了与预设内容对应的功能模块，例如打开了视频播放器，或者打开了相册模块，或者打开了地图模块等，因此，显示屏中显示有预设内容并不包括显示屏的壁纸是预设内容的情况。

在一种实施方式中，用户对显示屏的操作至少包括：用户在所述显示屏上的触摸操作、用户通过终端控制显示屏的操作、用户对显示屏的观看操作。

如果车载终端在第一预设时长内未检测到用户对显示屏的触摸操作，或者用户通过其它终端设备(例如手机、平板等)向车载终端发送的操作命令，又或者用户对显示屏的观看操作，则获取用户视线。也即，只要用户在第一预设时长内未检测到上述三种操作中的任意一种操作，则可以获取用户视线。其中，用户是否观看显示屏的操作可以通过图像分析确定，例如可以对包含用户人脸和车载终端的显示屏的图像进行分析，来确定用户是否正在观看显示屏。

在一种实施方式中，获取用户视线，具体可以包括：

获取预设名单内的用户的视线；或者

获取距所述显示屏在预设范围内的用户的视线。

在本实施例中，需要预先设置视线操控权限名单(预设名单)，预设名单内的用户才可以通过视线对显示屏进行操控。或者，还可以直接设置在显示屏的预设范围内的用户具备通过视线对显示屏进行操控的权限，例如设置司机和副驾驶具备通过视线对显示屏进行操控的权限。设置哪些用户具备通过视线对显示屏进行操控的权限，可以根据实际需求而定，本实施例对此不作具体限制。

在具体实施时，预设名单内的用户可以是以用户人脸图形式存储的用户。如此，车载终端才能在采集到车内用户的图像后，根据图像特征识别出其是否为预设名单内的用户。

在一种实施方式中，获取用户视线，还可以包括：

获取优先级别最高的用户的视线。

在一些场景中，为避免多个用户同时通过视线对显示屏进行操控时存在的冲突现象，还可以对用户的优先级进行设置，如此，当多个用户均通过视线对显示屏进行操控时，车载终端可以选择优先级最高的那个用户的视线。

步骤S22：若所述用户视线停留在所述显示屏内的时长超过第二预设时长，放大所述显示屏中显示的内容。

在本实施例中，在获取到用户视线后，判断用户视线停留在显示屏内的时长是否超过(不包括本数)第二预设时长，如果超过第二预设时长，则放大显示显示屏中显示的内容，使得用户能更清楚地观看到显示的内容，优化用户的操作体验。

在一种实施方式中，若所述用户视线停留在所述显示屏内的时长超过第二预设时长，放大所述显示屏中显示的内容，可以包括：

若所述用户视线停留在所述显示屏内的时长超过第二预设时长，且在所述第二预设时长内未检测到用户对所述显示屏的操作，放大所述显示屏中显示的内容。

如果在第二预设时长内检测到了用户对显示屏的操作，则结束后续步骤的执行，重新开始执行上述步骤S11中的方法，不再放大显示屏中显示的内容。如果在第二预设时长内未检测到用户对显示屏的操作，则放大显示屏中显示的内容。

在一种实施方式中，若所述用户视线停留在所述显示屏内的时长超过第二预设时长，放大所述显示屏中显示的内容，具体还可以包括：

若所述用户视线的焦点停留在所述显示屏内的时长超过第二预设时长，放大所述显示屏中显示的内容。

一般地，用户在认真观看显示屏时，视线会在显示屏上汇聚成一个点(以下简称：焦点)，焦点是用户在显示屏中最关注的部分。因此，还可以判断用户视线的焦点停留在显示屏内的时长是否超过第二预设时长，如果是，则放大显示内容。在具体实施时，可以根据实际需求选择根据用户视线来判定是否放大，或者根据用户视线的焦点来判定是否放大，本实施例对此不作具体限制。

在本实施例中，车载终端可以通过任意方式获取到用户视线或用户视线的焦点，本实施例对此不作限制。

示例地，当显示屏进入图片显示模式后，如果在第一预设时长内车载终端未检测到用户对显示屏的操作，则车载终端获取到副驾驶的视线，并判断其视线停留在显示屏内的时长是否超过第二预设时长，如果超过，表示副驾驶对显示屏内的内容感兴趣，则放大显示屏中显示的内容，使得用户能更清楚地看到显示屏的内容。

在本实施例中，若显示屏显示的内容是视频，放大显示屏中显示的内容时，先暂停播放视频，再将暂停时显示的图像帧进行放大显示。采用本实施例的操控显示屏的方法，若显示屏进入预设模式或者显示屏中显示有预设内容，且在第一预设时长内未检测到用户对显示屏的操作，获取用户视线；若用户视线停留在显示屏内的时长超过第二预设时长，放大显示屏中显示的内容。该方法提供了一种对用户更友好的显示屏操作方式，支持用户通过视线对车载终端的显示屏中的内容进行操作，无需用户手动释放双手来使用显示屏，一方面保证了行车安全(司机的手无需离开方向盘，不会影响车辆驾驶)，另一方面丰富了车载终端的功能性，增强了显示屏操作的便利性，优化了用户体验。

结合以上实施例，在一种实施方式中，本发明还提供了第一种放大所述显示屏中显示的内容的方法，该方法具体可以包括：

保持所述显示屏的中心处的内容在所述显示屏的中心位置不变，对所述显示的内容的显示尺寸进行放大。

在本实施例中，在放大内容时，可以保持显示屏的中心处的内容的位置固定不动，对显示的内容进行整体放大。

例如，显示屏全屏显示一张图片时，该显示屏中心的图像是一只小狗，那么在保持显示屏的中心处的内容的位置固定不动，且对内容进行整体放大后，显示屏显示的图片的尺寸整体变大，但中心处的图像仍然是一只小狗。

本实施例中，直接对显示的内容进行整体放大，不仅可以使得用户观看到放大后的内容，还可以降低放大操作的难度。

结合以上实施例，在一种实施方式中，用户可能只想放大自己感兴趣的区域的图像，即针对性地查看某个区域的图像，对此，本发明还提供了第二种放大所述显示屏中显示的内容的方法，该方法可以具体包括：

将所述用户视线的焦点处的内容拖动到所述显示屏的中心位置；

保持所述用户视线的焦点处的内容在所述显示屏的中心位置不变，对所述显示的内容的显示尺寸进行放大。

在本实施例中，用户视线的焦点通常可以反映出用户感兴趣的区域，因此，为了使得用户能更清晰地查看到感兴趣的区域的内容，可以将用户感兴趣的区域的内容拖动到显示屏的中心处并放大显示。

在本实施例中，可以预先将显示屏的区域划分为多个区域，例如划分为左上角区域、右上角区域、中心区域、左下角区域以及右下角区域。具体划分方式可以根据实际需求设置，本实施例对此不作具体限制。

示例地，显示屏全屏显示一张图片时，该显示屏中心区域内的图像是一只小狗，显示屏左上角区域内的图像是一只小鸟，如果用户视线的焦点落在左上角区域，那么将焦点处的内容拖动到显示屏的中心位置固定，且对内容的显示尺寸进行放大后，显示屏显示的图片的尺寸整体变大，但中心区域处显示的图像变成了小鸟，右下角区域处显示的图像变成了小狗。

本实施例中，将用户视线的焦点所处的区域内的内容拖动到显示屏的中心处并放大显示，使得用户能更清晰地查看到感兴趣的区域的内容，优化用户的操控体验。

结合以上实施例，在一种实施方式中，用户感兴趣的内容可能在放大后超出显示屏的范围，为解决该问题，本发明还提供了第三种放大所述显示屏中显示的内容的方法，该方法可以包括：

以所述用户视线的焦点为中心点，在所述显示的内容中截取预设范围内的图片；

确定截取的图片中各个顶点与所述显示屏的相应顶点之间的距离，并根据确定出的多个距离确定所述各个顶点中的目标顶点，所述目标顶点与所述显示屏的对应顶点之间的距离在确定出的多个距离中最短；

保持所述目标顶点处的内容在所述显示屏中的位置不变，按照所述目标顶点指向所述焦点处的方向，对所述截取的图片的显示尺寸进行放大。

在本实施例中，为了使得用户能更好地查看到感兴趣的区域的内容，可以在显示的内容中截取预设范围内的图片，再对截取的图片进行放大显示。截取图片的目的是进一步保证放大后不超出显示范围。

在本实施例中，截取的图片主要是矩形图片。在截取图片时，预设范围具体可以使用一组距离参数表示：P＝(d1、d2、d3、d4)，其中，d1-d4分别表示截取的图片中对角线的交点(焦点)距离各个边的距离。

为保证截取的图片在放大后也能较好显示，因此根据经验值，预设范围一般不超过显示屏显示范围的二分之一。

图3是本发明一实施例示出的一种放大显示的内容的方法的过程示意图。

在图3中，LU表示显示屏的左上角顶点，LD表示显示屏的左下角顶点，RU表示显示屏的右上角顶点，RD表示显示屏的右下角顶点。lu表示截取的图片的左上角顶点，ld表示截取的图片的左下角顶点，ru表示截取的图片的右上角顶点，rd表示截取的图片的右下角顶点。O表示视线焦点。

接着，确定截取的图片中各个顶点与显示屏的相应顶点之间的距离，包括：

确定lu与LU之间的距离D1。

确定ld与LD之间的距离D2。

确定ru与RU之间的距离D3。

确定rd与RD之间的距离D4。

接着，在D1-D4中确定最短的距离，如果最短的距离是D1，那么将目标顶点确定为lu，此时lu指向焦点处的方向为右下方向，在放大截取的图片时，往右下方向放大。如果不往右下方向放大，由于lu距离显示屏的上边界和左边界都较近，因此放大截取的图片后可能造成用户感兴趣的区域的内容超出显示屏的上边界和左边界从而无法完整显示，影响用户的观看体验。因此，将截取的图片往右下方向放大，能尽可能地保证放大后的图片不超出显示屏的上边界和左边界。

同理，如果最短的距离是D2，那么将目标顶点确定为ld，此时ld指向焦点处的方向为右上方向，在放大截取的图片时，往右上方向放大。如果不往右上方向放大，由于ld距离显示屏的左边界和下边界都较近，因此放大截取的图片后可能造成用户感兴趣的区域的内容超出显示屏的下边界和左边界从而无法完整显示，影响用户的观看体验。因此，将截取的图片往右上方向放大，能尽可能地保证放大后的图片不超出显示屏的下边界和左边界。

按照相同原理，如果最短的距离是D3，在放大截取的图片时，往左下方向放大。如果最短的距离是D4，在放大截取的图片时，往左上方向放大。

在本实施例中，将用户感兴趣的区域的内容截取成图片并确定目标顶点，然后按照目标顶点指向焦点处的方向对截取的图片的显示尺寸进行放大，能有效保证显示屏完整显示放大后的用户感兴趣的区域的内容，优化用户的观看体验和操控体验。

结合以上实施例，在一种实施方式中，用户可能还需要对图像进行进一步放大，对此，本发明还提供了第四种放大所述显示屏中显示的内容的方法，该方法可以包括：

获取用户输入的放大命令；

根据所述放大命令，进一步放大所述显示屏中显示的内容。

在本实施例中，放大命令可以是用户手动输入的命令，也可以是语音输入的命令，当用户通过语音输入放大命令时，可以进一步降低操作复杂度，优化用户的操作体验。

可以预先在车载系统中设置支持放大的倍数，以及每一次输入放大命令时可以放大的倍数。例如可以预先设置第一次接收到放大命令时放大多少倍，设置第二次接收到放大命令时放大多少倍等。除此以外，还可以设置放大命令的语音内容，例如语音内容为“再次放大”。

示例地，以放大命令是语音形式的命令为例，当用户第一次语音输入“再次放大”时，车载系统对已放大的内容再次放大到110％并显示。当用户第二次语音输入“再次放大”时，车载系统对已放大的内容再次放大到120％并显示。

本实施例中，可以将视线操作和语音操作结合使用，通过语音输入快捷方便的特点进一步丰富了车载终端的放大功能，丰富了用户的观看选择，增强了用户的操作体验。

结合以上实施例，在一种实施方式中，用户在多次放大内容后，可能想要滑动到其它区域查看，此时，如果退出放大显示再通过前述视线操作放大其它区域，则会相当繁琐。为解决该问题，本发明还提供了第五种放大所述显示屏中显示的内容的方法，该方法可以包括：

获取用户输入的拖动命令；

根据所述拖动命令，拖动所述显示屏中显示的内容到指定位置显示。

在本实施例中，拖动命令可以是用户手动输入的命令，也可以是语音输入的命令，当用户通过语音输入拖动命令时，可以进一步降低操作复杂度，优化用户的操作体验。

在具体实施时，可以预先在车载系统中设置各种方向的拖动操作对应的语音内容，例如可以设置四个方向的拖动操作，包括：向上拖动、向下拖动、向左拖动以及向右拖动。向上拖动对应的语音内容是“向上拖动”，向下拖动对应的语音内容是“向下拖动”，向左拖动对应的语音内容是“向左拖动”，向右拖动对应的语音内容是“向右拖动”。

在一种实施方式中，在放大显示内容后，如果执行向上拖动，那么会将原来在显示屏的中心处显示的内容拖动到上方，使得原来在显示屏的下方处显示的内容拖动到中心处显示。如果执行向右拖动，那么会将原来在显示屏的中心处显示的内容拖动到右边，使得原来在显示屏的左边处显示的内容拖动到中心处显示。

在另一种实施方式中，还可以设置每一次拖动的步长，例如每次拖动操作时可以按照指定方向拖动4cm。本实施例对步长不作具体限制。

示例地，以拖动命令是语音形式的命令为例，当用户第一次语音输入“向右拖动”时，车载系统将已放大的内容的中心处的内容向右拖动4cm并显示，当用户第二次语音输入“向右拖动”时，车载系统将第一次拖动后的内容的中心处的内容再次向右拖动4cm并显示。当用户第三次语音输入“向下拖动”时，车载系统将第二次拖动后的内容的中心处的内容再次向下拖动4cm并显示。

本实施例中，可以将视线操作和语音操作结合使用，通过语音输入快捷方便的特点进一步丰富了车载终端的功能，通过拖动操作，使得放大后可能超出显示屏范围的内容得到完整显示，丰富了用户的观看选择，增强了用户的操作体验。

结合以上实施例，在一种实施方式中，本发明提供了第一种获取用户视线的方法，具体可以包括：

获取包含用户人脸和所述显示屏所在的显示设备的视频；

对所述视频进行图像分析，获得用户的眼部特征和所述显示屏的特征，所述用户的眼部特征至少包括眼部关键点位置和眼部姿态，所述显示屏的特征至少包括显示屏的位置和显示屏的尺寸；

对所述用户的眼部特征和所述显示屏的特征进行分析，获得用户视线。

在本实施例中，车辆内部安装有摄像头，用于采集包含用户人脸和显示屏所在的显示设备的视频。摄像头在采集到视频后，提取视频中的图像帧，通过对图像帧进行识别，得到用户的眼部特征和显示屏的特征，然后对用户的眼部特征和显示屏的特征进行分析，从而获得用户视线。其中，用户的眼部特征至少包括眼部关键点位置和眼部姿态(眼睛对屏幕的方向)，显示屏的特征至少包括显示屏的位置和显示屏的尺寸。

在实际实施时，由于摄像头的和显示屏的相对位置通常是不变的，因此还可以预先获得显示屏的位置和显示屏的尺寸，从而减少图像识别工作量，并在通过图像识别获得用户的眼部特征后，对用户的眼部特征和显示屏的特征进行综合分析，从而获得用户视线。

本实施例中，可以采用任意方式对用户的眼部特征和显示屏的特征进行分析以获得用户视线。

本实施例中，车载终端支持本地获取用户视线的功能，使得摄像头在采集到视频后，车载终端可以快速确定出用户视线，并及时响应用户的视线操作命令，提升了显示屏操控的灵敏性。

结合以上实施例，在一种实施方式中，本发明提供了第二种获取用户视线的方法，具体可以包括：

获取包含用户人脸和所述显示屏所在的显示设备的视频；

将所述视频的图像帧输入预先训练的视线检测模型，通过所述视线检测模型对所述图像帧进行分析并获得用户视线；

其中，所述视线检测模型是通过如下方式训练得到的：

获取样本图像，所述样本图像中标注有用户的眼部特征和显示屏的特征，所述用户的眼部特征至少包括眼部关键点位置和眼部姿态，所述显示屏的特征至少包括显示屏的位置和显示屏的尺寸；

利用所述样本图像对初始模型进行训练，得到所述视线检测模型，所述初始模型是由深度卷积网络构建的。

在本实施例中，还可以预先训练得到视线检测模型，步骤包括：

基于深度卷积网络构建初始模型；

对样本图像进行特征标注，标注其中的用户的眼部特征、显示屏的特征以及用户视线；

以标注后的样本图像作为输入，对初始模型进行训练，直到基于损失函数的损失值小于预设阈值，得到视线检测模型。

其中，深度卷积网络可以采用MobileNet-SSD网络，也可以采用其它网络，本实施例对此不作具体限制。

在得到视线检测模型后，将采集的视频的图像帧输入视线检测模型，即可获得用户视线。

在本实施例中，在车载终端本地既可以采用第一种方法获取到用户视线的方法，也可以采用第二种方法获取用户视线的方法。

本实施例中，车载终端可以通过模型获取用户视线，使得摄像头在采集到视频后，车载终端可以更为精准地确定出用户视线，避免确定出误差较大的用户视线后导致显示屏误操作，提升了显示屏操控结果的准确度。

结合以上实施例，在一种实施方式中，本发明提供了第三种获取用户视线的方法，具体可以包括：

获取包含用户人脸和所述显示屏所在的显示设备的视频；

将所述视频发送到云端系统，以使所述云端系统对所述视频进行分析并获得用户视线；

接收所述云端分析系统返回的用户视线。

除了可以在本地获取到用户视线外，本实施例还可以在云端系统(图1所示的远程服务模块)获取到用户视线。云端系统在获取到用户视线时，既可以采用第一种方法获取到用户视线的方法，也可以采用第二种方法获取用户视线的方法，本实施例对此不作具体限制。

本实施例中，车载终端可以通过云端系统获取到用户视线，不仅丰富了车载终端的视线获取方式，还能保证车载终端本地由于故障无法获取到用户视线时，用户依旧能通过视线对显示屏进行操作，优化了用户体验。

结合以上实施例，在一种实施方式中，若显示屏进入预设模式或所述显示屏中显示有预设内容，且在第一预设时长内未检测到用户对所述显示屏的操作，获取用户视线，具体可以包括：

在显示屏进入预设模式或所述显示屏的显示画面切换到所述预设内容时，开启视线检测功能；

若在第一预设时长内未检测到用户对所述显示屏的操作，通过所述视线检测功能获取用户视线。

在此基础上，本发明的操控显示屏的方法还可以包括：

在所述显示屏退出预设模式且所述显示屏退出显示所述预设内容时，关闭所述视线检测功能。

在本实施例中，为了降低车载终端的耗能，可以不实时开启车载终端的视线检测功能，而是在显示屏进入预设模式，或者显示屏的显示画面切换到预设内容时，才开启车载终端的视线检测功能，并在显示屏退出预设模式且显示屏退出显示预设内容时，关闭视线检测功能。

其中，在显示屏的显示画面切换到预设内容时，开启视线检测功能，包括：

在显示屏进入预设模式或者显示屏的显示画面切换到预设内容，且在第一预设时长内未检测到用户对所述显示屏的操作时，获取用户视线。

在本实施例中，在显示屏进入预设模式或者显示屏的显示画面切换到预设内容后，且在第一预设时长内未检测到用户对所述显示屏的操作时，才获取用户视线，可进一步降低车载终端开启视线检测功能时的时长，从而减少耗能。

在本实施例中，在显示屏进入预设模式或者显示屏的显示画面切换到预设内容时才开启视线检测功能，并在显示屏退出预设模式且显示屏退出显示预设内容时关闭视线检测功能，相比于时刻开启视线检测功能而言，可显著降低车载终端开启视线检测功能时的时长，进而减少车辆耗能。

结合以上实施例，在一种实施方式中，在放大所述显示屏中显示的内容后，本发明的操控显示屏的方法还可以包括如下步骤：

在所述用户视线离开所述显示屏的时长超过第三预设时长时，将所述显示的内容的显示尺寸恢复至放大前的状态。

在本实施例中，如果检测到用户视线离开显示屏的时长超过第三预设时长，可以认为用户已经查看到想要查看的内容，此时，为了便于用户后续对显示屏的其它部分进行操作，可以将显示的内容的显示尺寸恢复至放大前的状态。

在另一种实施方式中，在放大所述显示屏中显示的内容后，本发明的操控显示屏的方法还可以包括如下步骤：

在所述用户视线的焦点离开所述显示屏的时长超过第三预设时长时，将所述显示的内容的显示尺寸恢复至放大前的状态。

用户已经查看到想要的内容，但是由于视线是一个较宽的范围，可能存在视线不小心落在显示屏内的现象，影响用户后续对显示屏的其它部分进行操作。因此，为了更准确地判断用户是否真正还需要查看显示屏的内容，可以检测用户视线的焦点离开显示屏的时长是否超过第三预设时长，如果超过第三预设时长，可以认为用户已经查看到想要查看的内容，此时可以将显示的内容的显示尺寸恢复至放大前的状态。

本实施例中，在用户已经查看到想要查看的内容后，及时将显示的内容的显示尺寸恢复至放大前的状态，可便于用户后续对显示屏的其它部分进行操作，优化了用户的操控体验。

采用本发明的操控显示屏的方法，若显示屏进入预设模式或者显示屏中显示有预设内容，且在第一预设时长内未检测到用户对显示屏的操作，获取用户视线；若用户视线停留在显示屏内的时长超过第二预设时长，放大显示屏中显示的内容。该方法提供了一种对用户更友好的显示屏操作方式，支持用户通过视线对车载终端的显示屏中的内容进行操作，无需用户手动释放双手来使用显示屏，一方面保证了行车安全(司机的手无需离开方向盘，不会影响车辆驾驶)，另一方面丰富了车载终端的功能性，增强了显示屏操作的便利性，优化了用户体验。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

基于同一发明构思，本发明还提供了一种车辆，包括：

显示屏，用于显示内容；

视线检测装置，用于若显示屏进入预设模式或所述显示屏中显示有预设内容，且在第一预设时长内未检测到用户对所述显示屏的操作，获取用户视线；

车载终端，用于若所述用户视线停留在所述显示屏内的时长超过第二预设时长，放大所述显示屏中显示的内容。

基于同一发明构思，本发明提供了一种操控显示屏的装置400。图4是本发明一实施例示出的一种操控显示屏的装置的结构框图。参照图4，本发明的装置400可以包括：

获取模块401，用于若显示屏进入预设模式或所述显示屏中显示有预设内容，且在第一预设时长内未检测到用户对所述显示屏的操作，获取用户视线；

放大模块402，用于若所述用户视线停留在所述显示屏内的时长超过第二预设时长，放大所述显示屏中显示的内容。

可选地，所述获取模块401包括：

第一获取子模块，用于获取包含用户人脸和所述显示屏所在的显示设备的视频；

第一分析子模块，用于对所述视频进行图像分析，获得用户的眼部特征和所述显示屏的特征，所述用户的眼部特征至少包括眼部关键点位置和眼部姿态，所述显示屏的特征至少包括显示屏的位置和显示屏的尺寸；

第二分析子模块，用于对所述用户的眼部特征和所述显示屏的特征进行分析，获得用户视线。

可选地，所述放大模块402包括：

第一放大子模块，用于保持所述显示屏的中心处的内容在所述显示屏的中心位置不变，对所述显示的内容的显示尺寸进行放大。

可选地，所述放大模块402包括：

截取子模块，用于以所述用户视线的焦点为中心点，在所述显示的内容中截取预设范围内的图片；

确定子模块，用于确定截取的图片中各个顶点与所述显示屏的相应顶点之间的距离，并根据确定出的多个距离确定所述各个顶点中的目标顶点，所述目标顶点与所述显示屏的对应顶点之间的距离在确定出的多个距离中最短；

第二放大子模块，用于保持所述目标顶点处的内容在所述显示屏中的位置不变，按照所述目标顶点指向所述焦点处的方向，对所述截取的图片的显示尺寸进行放大。

可选地，所述装置400还包括：

恢复子模块，用于在所述用户视线离开所述显示屏的时长超过第三预设时长时，将所述显示的内容的显示尺寸恢复至放大前的状态。

可选地，所述获取模块401包括：

开启子模块，用于在显示屏进入预设模式或所述显示屏的显示画面切换到所述预设内容时，开启视线检测功能；

第一获取子模块，用于若在第一预设时长内未检测到用户对所述显示屏的操作，通过所述视线检测功能获取用户视线；

所述装置还包括：

关闭子模块，用于在所述显示屏退出预设模式且所述显示屏退出显示所述预设内容时，关闭所述视线检测功能。

可选地，所述获取模块401包括：

第二获取子模块，用于获取包含用户人脸和所述显示屏所在的显示设备的视频；

第三获取子模块，用于将所述视频的图像帧输入预先训练的视线检测模型，通过所述视线检测模型对所述图像帧进行分析并获得用户视线；

其中，所述视线检测模型是通过如下方式训练得到的：

获取样本图像，所述样本图像中标注有用户的眼部特征和显示屏的特征，所述用户的眼部特征至少包括眼部关键点位置和眼部姿态，所述显示屏的特征至少包括显示屏的位置和显示屏的尺寸；

利用所述样本图像对初始模型进行训练，得到所述视线检测模型，所述初始模型是由深度卷积网络构建的。

可选地，所述获取模块401包括：

第四获取子模块，用于获取包含用户人脸和所述显示屏所在的显示设备的视频；

第五获取子模块，用于将所述视频发送到云端系统，以使所述云端系统对所述视频进行分析并获得用户视线；

接收子模块，用于接收所述云端分析系统返回的用户视线。

基于同一发明构思，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明上述任一实施例所述的操控显示屏的方法。

基于同一发明构思，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行时实现本发明上述任一实施例所述的操控显示屏的方法。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种操控显示屏的方法、车辆、装置、电子设备及介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种操控显示屏的方法，包括：

若显示屏进入预设模式或所述显示屏中显示有预设内容，且在第一预设时长内未检测到用户对所述显示屏的操作，获取用户视线；

若所述用户视线停留在所述显示屏内的时长超过第二预设时长，放大所述显示屏中显示的内容。

2.根据权利要求1所述的方法，获取用户视线，包括：

获取包含用户人脸和所述显示屏所在的显示设备的视频；

对所述视频进行图像分析，获得用户的眼部特征和所述显示屏的特征，所述用户的眼部特征至少包括眼部关键点位置和眼部姿态，所述显示屏的特征至少包括显示屏的位置和显示屏的尺寸；

对所述用户的眼部特征和所述显示屏的特征进行分析，获得用户视线。

3.根据权利要求1所述的方法，放大所述显示屏中显示的内容，包括：

保持所述显示屏的中心处的内容在所述显示屏的中心位置不变，对所述显示的内容的显示尺寸进行放大。

4.根据权利要求1所述的方法，放大所述显示屏中显示的内容，包括：

以所述用户视线的焦点为中心点，在所述显示的内容中截取预设范围内的图片；

确定截取的图片中各个顶点与所述显示屏的相应顶点之间的距离，并根据确定出的多个距离确定所述各个顶点中的目标顶点，所述目标顶点与所述显示屏的对应顶点之间的距离在确定出的多个距离中最短；

保持所述目标顶点处的内容在所述显示屏中的位置不变，按照所述目标顶点指向所述焦点处的方向，对所述截取的图片的显示尺寸进行放大。

5.根据权利要求1-4任一项所述的方法，在放大所述显示屏中显示的内容后，所述方法还包括：

在所述用户视线离开所述显示屏的时长超过第三预设时长时，将所述显示的内容的显示尺寸恢复至放大前的状态。

6.根据权利要求5所述的方法，若显示屏进入预设模式或所述显示屏中显示有预设内容，且在第一预设时长内未检测到用户对所述显示屏的操作，获取用户视线，包括：

在显示屏进入预设模式或所述显示屏的显示画面切换到所述预设内容时，开启视线检测功能；

若在第一预设时长内未检测到用户对所述显示屏的操作，通过所述视线检测功能获取用户视线；

所述方法还包括：

在所述显示屏退出预设模式且所述显示屏退出显示所述预设内容时，关闭所述视线检测功能。

7.根据权利要求1所述的方法，获取用户视线，包括：

获取包含用户人脸和所述显示屏所在的显示设备的视频；

将所述视频的图像帧输入预先训练的视线检测模型，通过所述视线检测模型对所述图像帧进行分析并获得用户视线；

其中，所述视线检测模型是通过如下方式训练得到的：

获取样本图像，所述样本图像中标注有用户的眼部特征和显示屏的特征，所述用户的眼部特征至少包括眼部关键点位置和眼部姿态，所述显示屏的特征至少包括显示屏的位置和显示屏的尺寸；

利用所述样本图像对初始模型进行训练，得到所述视线检测模型，所述初始模型是由深度卷积网络构建的。

8.根据权利要求1所述的方法，获取用户视线，包括：

获取包含用户人脸和所述显示屏所在的显示设备的视频；

将所述视频发送到云端系统，以使所述云端系统对所述视频进行分析并获得用户视线；

接收所述云端分析系统返回的用户视线。

9.一种车辆，包括：

显示屏，用于显示内容；

视线检测装置，用于若显示屏进入预设模式或所述显示屏中显示有预设内容，且在第一预设时长内未检测到用户对所述显示屏的操作，获取用户视线；

车载终端，用于若所述用户视线停留在所述显示屏内的时长超过第二预设时长，放大所述显示屏中显示的内容。

10.一种操控显示屏的装置，包括：

获取模块，用于若显示屏进入预设模式或所述显示屏中显示有预设内容，且在第一预设时长内未检测到用户对所述显示屏的操作，获取用户视线；

放大模块，用于若所述用户视线停留在所述显示屏内的时长超过第二预设时长，放大所述显示屏中显示的内容。

11.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-8任一项所述的操控显示屏的方法。

12.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现如权利要求1-8任一项所述的操控显示屏的方法。

Images