CN109407845A - 屏幕交互方法以及屏幕交互装置 - Google Patents

屏幕交互方法以及屏幕交互装置 Download PDF

Info

Publication number
CN109407845A
CN109407845A CN201811280399.8A CN201811280399A CN109407845A CN 109407845 A CN109407845 A CN 109407845A CN 201811280399 A CN201811280399 A CN 201811280399A CN 109407845 A CN109407845 A CN 109407845A
Authority
CN
China
Prior art keywords
user
visual lines
network model
neural network
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811280399.8A
Other languages
English (en)
Inventor
黄臻
黄德波
余熙平
苏迎
陈弈丞
胡文波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eye-To-Eye (shenzhen) Cloud Technology Co Ltd
Original Assignee
Eye-To-Eye (shenzhen) Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eye-To-Eye (shenzhen) Cloud Technology Co Ltd filed Critical Eye-To-Eye (shenzhen) Cloud Technology Co Ltd
Priority to CN201811280399.8A priority Critical patent/CN109407845A/zh
Publication of CN109407845A publication Critical patent/CN109407845A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0264Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for control means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Mechanical Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提供种屏幕交互方法以及屏幕交互装置,方法包括:通过深度学习算法训练神经网络模型,其中,神经网络模型可识别用户的视线方向;采集包含用户脸部的图像,并通过神经网络模型识别用户的视线方向;根据用户的视线方向控制视线方向对应的显示屏幕运行。本申请能够根据用户的视线方向控制相应的显示屏幕进行工作,避免用户被不需要观看的屏幕分散注意力而引发安全事故。

Description

屏幕交互方法以及屏幕交互装置
技术领域
本申请涉及交互领域,尤其涉及屏幕交互方法以及屏幕交互装置。
背景技术
现有技术中,车载屏幕是越来越多的。用户因为操作的需要会经常注意屏幕的内容,如果屏幕同时显示内容的话,则可能会导致用户的注意力分散,用户在驾驶过程中则可能会存在一定的安全隐患。
发明内容
本申请提供一种屏幕交互方法及屏幕交互装置,能够免去现有技术中用户在驾驶车辆因为多个屏幕同时工作会分散用户的注意力可能会导致出现安全事故从而危及用户生命安全的问题。
根据本申请的第一方面,本申请提供一种屏幕交互方法,方法包括:通过深度学习算法训练神经网络模型,其中,神经网络模型可识别用户的视线方向;采集包含用户脸部的图像,并通过神经网络模型识别用户的视线方向;根据用户的视线方向控制视线方向对应的显示屏幕运行。
优选地,在通过深度学习算法训练神经网络模型的步骤中,包括:将包含人物的头部朝向和人物眼球朝向的图像画面以及眼球方向信息通过深度学习算法训练出神经网络模型,其中,包含人物眼球的图像画面为神经网络模型的输入,眼球方向信息为神经网络模型的输出。
优选地,在根据用户的视线方向控制视线方向对应的显示屏幕运行的步骤之前,包括:预设用户的视线方向所对应的显示屏幕。
优选地,在通过深度学习算法训练神经网络模型的步骤之前,还包括步骤:预设用户的视线方向与高级辅助驾驶系统的预设方向的预警强度关系;在根据用户的视线方向以及对应关系运行对应的显示屏幕的步骤之后,还包括步骤:根据用户的视线方向以及预警强度关系调整高级辅助驾驶系统在预设方向的预警强度。
根据申请的第二方面,本申请提供一种屏幕交互装置,装置包括:训练模块,用于通过深度学习算法训练神经网络模型,其中,神经网络模型可识别用户的视线方向;采集模块,用于采集包含用户脸部的图像,并通过神经网络模型识别用户的视线方向;控制模块,用于根据用户的视线方向控制视线方向对应的显示屏幕运行。
优选地,训练模块还用于:将包含人物的头部朝向和人物眼球朝向的图像画面以及眼球方向信息通过深度学习算法训练出神经网络模型,其中,包含人物眼球的图像画面为神经网络模型的输入,眼球方向信息为神经网络模型的输出。
优选地,屏幕交互装置还包括:预设模块,用于预设用户的视线方向所对应的显示屏幕。
优选地,屏幕交互装置还包括还包括:强度设置模块,用于预设用户的视线方向与高级辅助驾驶系统的预设方向的预警强度关系;预警模块,用于根据用户的视线方向以及预警强度关系调整高级辅助驾驶系统在预设方向的预警强度。
本申请的有益效果在于:通过深度学习算法训练可识别所述用户的视线方向的神经网络模型,采集包含用户脸部的图像后,并通过所述神经网络模型识别所述用户的视线方向,再根据所述用户的视线方向控制所述视线方向对应的显示屏幕运行,这样就能够根据用户的视线方向控制相应的显示屏幕进行工作,避免用户被不需要观看的屏幕分散注意力而引发安全事故。
附图说明
图1是本申请一实施例的屏幕交互方法方法的流程图;
图2是本申请另一实施例的屏幕交互装置的原理图。
具体实施方式
下面结合附图和示例性实施例对本发明作进一步地描述,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。此外,如果已知技术的详细描述对于示出本发明的特征是不必要的,则将其省略。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
请参阅图1,本申请提出一种屏幕交互方法,方法包括:
步骤S101:通过深度学习算法训练神经网络模型,其中,神经网络模型可识别用户的视线方向。
在步骤S101中,包括:将包含人物的头部朝向和人物眼球朝向的图像画面以及眼球方向信息通过深度学习算法训练出神经网络模型,其中,包含人物的头部朝向和人物眼球朝向的图像画面为神经网络模型的输入,眼球方向信息为神经网络模型的输出。亦既是,可以根据人物的头部朝向和包含人物眼球朝向的图像来识别出人物眼球朝向的位置。
比如包含人物的头部朝向和人物眼球朝向的图像画面中,人物的头部转向左侧,并且眼球也朝向左侧一定角度,则可定义为设定角度例如偏左。具体的数值可以用户经过试验后进行设置。
步骤S102:采集用户的面部图像,并通过神经网络模型识别用户的视线方向。
本实施例中,通过行车记录仪的拍摄车内方向的摄像头能够采集到用户的面部图像。
步骤S103:根据用户的视线方向控制视线方向对应的显示屏幕运行。
本实施例中,根据用户的实现方向控制视线方向对应的显示屏幕显示信息,如果用户的视线方向发生改变,亦既是用户的视线转移后,根据用户的视线转移后的方向控制对应的显示屏幕显示。
本实施例中,方向盘上方一般包括三个屏幕:仪表盘、中控屏幕以及手机终端。
进一步地,在步骤103之前,包括:预设用户的视线方向所对应的显示屏幕。
亦既是,可以设置用户坐在驾驶座时,方向盘上面有三个屏幕,以朝向正前方为参考标准往左30°以及往右30°对应中间屏幕,以朝向正前方为参考标准往左30度至60°对应左侧屏幕,以朝向正前方为参考标准往右30度至60°对应右侧屏幕。当用户的视线方向在以朝向正前方为参考标准往左30°以及往右30°的范围内时,控制中间屏幕工作;当用户的视线方向在以朝向正前方为参考标准往左30度至60°对应左侧屏幕的范围内时,控制左侧屏幕工作;当用户的视线方向在以朝向正前方为参考标准往右30度至60°对应右侧屏幕。
进一步地,在步骤S101之前,还包括步骤:预设用户的视线方向与高级辅助驾驶系统的预设方向的预警强度关系。
在步骤S103之后,还包括步骤:根据用户的视线方向以及预警强度关系调整高级辅助驾驶系统在预设方向的预警强度。
本实施例中,以用户的视线朝向正前方为参考标准往左30°以及往右30°对应中间区域,以用户的视线朝向正前方为参考标准往左30度至60°对应左侧区域,以用户的视线朝向正前方为参考标准往右30度至60°对应右侧区域。当识别到用户的视线方向对应中间区域时,设置高级辅助驾驶系统在用户视线方向左侧区域以及右侧区域的预警强度提高一个级别,当识别到用户的视线方向对应左侧区域时,设置高级辅助驾驶系统在用户视线方向中间区域以及右侧区域的预警强度提高一个级别。亦既是说,当用户的视线在左侧时,注意力集中在左侧的位置,用户的注意力在中间区域和右侧区域就会降低,高级辅助驾驶系统为了防止用户没有注意到中间区域和右侧区域的情况,提高中间区域和右侧区域的预警程度。
相应的,依据计算机软件的功能模块化思维,请参阅图2,本申请提出一种屏幕交互装置,装置包括:
训练模块201,用于通过深度学习算法训练神经网络模型,其中,神经网络模型可识别用户的视线方向。
训练模块201还用于:将包含人物的头部朝向和人物眼球朝向的图像画面以及眼球方向信息通过深度学习算法训练出神经网络模型,其中,包含人物眼球的图像画面为神经网络模型的输入,眼球方向信息为神经网络模型的输出。
比如包含人物的头部朝向和人物眼球朝向的图像画面中,人物的头部转向左侧,并且眼球也朝向左侧一定角度,则可定义为设定角度例如偏左。具体的数值可以用户经过试验后进行设置。
采集模块202,用于采集包含用户脸部的图像,并通过神经网络模型识别用户的视线方向。
本实施例中,通过行车记录仪的拍摄车内方向的摄像头能够采集到用户的面部图像。
控制模块203,用于根据用户的视线方向控制视线方向对应的显示屏幕运行。
本实施例中,根据用户的实现方向控制视线方向对应的显示屏幕显示信息,如果用户的视线方向发生改变,亦既是用户的视线转移后,根据用户的视线转移后的方向控制对应的显示屏幕显示。
本实施例中,方向盘上方一般包括三个屏幕:仪表盘、中控屏幕以及手机终端。
进一步地,屏幕交互装置还包括:预设模块200,用于预设用户的视线方向所对应的显示屏幕。
亦既是,可以设置用户坐在驾驶座时,方向盘上面有三个屏幕,以朝向正前方为参考标准往左30°以及往右30°对应中间屏幕,以朝向正前方为参考标准往左30度至60°对应左侧屏幕,以朝向正前方为参考标准往右30度至60°对应右侧屏幕。当用户的视线方向在以朝向正前方为参考标准往左30°以及往右30°的范围内时,控制中间屏幕工作;当用户的视线方向在以朝向正前方为参考标准往左30度至60°对应左侧屏幕的范围内时,控制左侧屏幕工作;当用户的视线方向在以朝向正前方为参考标准往右30度至60°对应右侧屏幕。
屏幕交互装置还包括还包括:强度设置模块204,用于预设用户的视线方向与高级辅助驾驶系统的预设方向的预警强度关系。
预警模块205,用于根据用户的视线方向以及预警强度关系调整高级辅助驾驶系统在预设方向的预警强度。
本实施例中,以用户的视线朝向正前方为参考标准往左30°以及往右30°对应中间区域,以用户的视线朝向正前方为参考标准往左30度至60°对应左侧区域,以用户的视线朝向正前方为参考标准往右30度至60°对应右侧区域。当识别到用户的视线方向对应中间区域时,设置高级辅助驾驶系统在用户视线方向左侧区域以及右侧区域的预警强度提高一个级别,当识别到用户的视线方向对应左侧区域时,设置高级辅助驾驶系统在用户视线方向中间区域以及右侧区域的预警强度提高一个级别。亦既是说,当用户的视线在左侧时,注意力集中在左侧的位置,用户的注意力在中间区域和右侧区域就会降低,高级辅助驾驶系统为了防止用户没有注意到中间区域和右侧区域的情况,提高中间区域和右侧区域的预警程度。
下面结合图1至图2来对本申请的工作原理进行说明。
首先,通过深度学习算法训练神经网络模型,其中,神经网络模型可识别用户的视线方向。具体是,通过包含人物的头部朝向和人物眼球朝向的图像画面以及眼球方向信息通过深度学习算法训练出神经网络模型,能够识别用户的视线方向。
通过行车记录仪中朝向车内的摄像头拍摄驾驶员的面部图像画面。
预设用户的视线方向所对应的显示屏幕。具体是,可以设置用户坐在驾驶座时,方向盘上面有三个屏幕,以朝向正前方为参考标准往左30°以及往右30°对应中间屏幕,以朝向正前方为参考标准往左30度至60°对应左侧屏幕,以朝向正前方为参考标准往右30度至60°对应右侧屏幕。
根据采集到的面部图像画面通过神经网络模型确定用户的视线方向,根据用户用户的视线方向控制该视线方向对应的显示屏幕运行。
本公开提出一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现如上所述屏幕交互方法的步骤。
所述设备的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
本申请的有益效果在于:通过深度学习算法训练可识别所述用户的视线方向的神经网络模型,采集包含用户脸部的图像后,并通过所述神经网络模型识别所述用户的视线方向,再根据所述用户的视线方向控制所述视线方向对应的显示屏幕运行,这样就能够根据用户的视线方向控制相应的显示屏幕进行工作,避免用户被不需要观看的屏幕分散注意力而引发安全事故。
本领域技术人员可以理解,上述实施方式中各种方法的全部或部分步骤可以通过程序来指令相关硬件完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器、随机存取存储器、磁盘或光盘等。
以上内容是结合具体的实施方式对本申请所作的进一步详细说明,不能认定本申请的具体实施只局限于这些说明。对于本申请所属技术领域的普通技术人员来说,在不脱离本申请发明构思的前提下,还可以做出若干简单推演或替换。

Claims (8)

1.一种屏幕交互方法,其特征在于,所述方法包括:
通过深度学习算法训练神经网络模型,其中,所述神经网络模型可识别所述用户的视线方向;
采集包含用户脸部的图像,并通过所述神经网络模型识别所述用户的视线方向;
根据所述用户的视线方向控制所述视线方向对应的显示屏幕运行。
2.如权利要求1所述的屏幕交互方法,其特征在于,在所述通过深度学习算法训练神经网络模型的步骤中,包括:
将包含人物的头部朝向和人物眼球朝向的图像画面以及眼球方向信息通过所述深度学习算法训练出所述神经网络模型,其中,所述包含人物眼球的图像画面为所述神经网络模型的输入,所述眼球方向信息为所述神经网络模型的输出。
3.如权利要求1所述的屏幕交互方法,其特征在于,在所述根据用户的视线方向控制视线方向对应的显示屏幕运行的步骤之前,包括:
预设所述用户的视线方向所对应的所述显示屏幕。
4.如权利要求1所述的屏幕交互方法,其特征在于,在所述通过深度学习算法训练神经网络模型的步骤之前,还包括步骤:
预设所述用户的视线方向与所述高级辅助驾驶系统的预设方向的预警强度关系;
在所述根据用户的视线方向以及对应关系运行对应的显示屏幕的步骤之后,还包括步骤:
根据所述用户的视线方向以及预警强度关系调整所述高级辅助驾驶系统在预设方向的预警强度。
5.一种屏幕交互装置,其特征在于,所述装置包括:
训练模块,用于通过深度学习算法训练神经网络模型,其中,所述神经网络模型可识别所述用户的视线方向;
采集模块,用于采集包含用户脸部的图像,并通过所述神经网络模型识别所述用户的视线方向;
控制模块,用于根据所述用户的视线方向控制所述视线方向对应的显示屏幕运行。
6.如权利要求5所述的屏幕交互装置,其特征在于,所述训练模块还用于:将包含人物的头部朝向和人物眼球朝向的图像画面以及眼球方向信息通过所述深度学习算法训练出所述神经网络模型,其中,所述包含人物眼球的图像画面为所述神经网络模型的输入,所述眼球方向信息为所述神经网络模型的输出。
7.如权利要求5所述的屏幕交互装置,其特征在于,所述屏幕交互装置还包括:预设模块,用于预设所述用户的视线方向所对应的所述显示屏幕。
8.如权利要求5所述的屏幕交互装置,其特征在于,所述屏幕交互装置还包括还包括:
强度设置模块,用于预设所述用户的视线方向与所述高级辅助驾驶系统的预设方向的预警强度关系;
预警模块,用于根据所述用户的视线方向以及预警强度关系调整所述高级辅助驾驶系统在预设方向的预警强度。
CN201811280399.8A 2018-10-30 2018-10-30 屏幕交互方法以及屏幕交互装置 Pending CN109407845A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811280399.8A CN109407845A (zh) 2018-10-30 2018-10-30 屏幕交互方法以及屏幕交互装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811280399.8A CN109407845A (zh) 2018-10-30 2018-10-30 屏幕交互方法以及屏幕交互装置

Publications (1)

Publication Number Publication Date
CN109407845A true CN109407845A (zh) 2019-03-01

Family

ID=65470296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811280399.8A Pending CN109407845A (zh) 2018-10-30 2018-10-30 屏幕交互方法以及屏幕交互装置

Country Status (1)

Country Link
CN (1) CN109407845A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109835260A (zh) * 2019-03-07 2019-06-04 百度在线网络技术(北京)有限公司 一种车辆信息显示方法、装置、终端和存储介质
CN111081090A (zh) * 2019-06-09 2020-04-28 广东小天才科技有限公司 一种点读场景下的信息输出方法及学习设备
CN112215198A (zh) * 2020-10-28 2021-01-12 郑小云 一种基于大数据的自适应人机交互系统与方法
CN114647319A (zh) * 2022-03-28 2022-06-21 重庆长安汽车股份有限公司 一种用户车内屏幕显示信息流转的方法、系统及存储介质
CN115562490A (zh) * 2022-10-12 2023-01-03 西北工业大学太仓长三角研究院 一种基于深度学习的飞机驾驶舱跨屏眼动交互方法及系统
CN115691037A (zh) * 2022-09-02 2023-02-03 广州市新三雅电子技术有限公司 一种应急广播图文报警系统及方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120176353A1 (en) * 2009-09-16 2012-07-12 Nec Corporation Mobile information apparatus and display control method
US20130106921A1 (en) * 2010-09-15 2013-05-02 Nec Casio Mobile Communications, Ltd. Screen display device, screen display control method, screen display control program, and information terminal device
CN103153678A (zh) * 2010-10-05 2013-06-12 宝马股份公司 具有用于影响驾驶员视线方向装置的汽车
US20150015479A1 (en) * 2013-07-15 2015-01-15 Lg Electronics Inc. Mobile terminal and control method thereof
CN104461005A (zh) * 2014-12-15 2015-03-25 东风汽车公司 一种车载屏幕开关控制方法
US9159221B1 (en) * 2012-05-25 2015-10-13 George Stantchev Steering wheel with remote control capabilities
US20160196098A1 (en) * 2015-01-02 2016-07-07 Harman Becker Automotive Systems Gmbh Method and system for controlling a human-machine interface having at least two displays
GB201716146D0 (en) * 2017-10-04 2017-11-15 Continental Automotive Gmbh Display system in a vehicle
CN107776579A (zh) * 2017-09-14 2018-03-09 中国第汽车股份有限公司 一种直感式驾驶员状态提醒装置
CN107850989A (zh) * 2015-07-31 2018-03-27 大众汽车(中国)投资有限公司 用于在车辆中呈现信息的方法、装置和系统
CN108171152A (zh) * 2017-12-26 2018-06-15 深圳大学 深度学习人眼视线估计方法、设备、系统及可读存储介质
CN108509037A (zh) * 2018-03-26 2018-09-07 维沃移动通信有限公司 一种信息显示方法及移动终端

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120176353A1 (en) * 2009-09-16 2012-07-12 Nec Corporation Mobile information apparatus and display control method
US20130106921A1 (en) * 2010-09-15 2013-05-02 Nec Casio Mobile Communications, Ltd. Screen display device, screen display control method, screen display control program, and information terminal device
CN103153678A (zh) * 2010-10-05 2013-06-12 宝马股份公司 具有用于影响驾驶员视线方向装置的汽车
US9159221B1 (en) * 2012-05-25 2015-10-13 George Stantchev Steering wheel with remote control capabilities
US20150015479A1 (en) * 2013-07-15 2015-01-15 Lg Electronics Inc. Mobile terminal and control method thereof
CN104461005A (zh) * 2014-12-15 2015-03-25 东风汽车公司 一种车载屏幕开关控制方法
US20160196098A1 (en) * 2015-01-02 2016-07-07 Harman Becker Automotive Systems Gmbh Method and system for controlling a human-machine interface having at least two displays
CN107850989A (zh) * 2015-07-31 2018-03-27 大众汽车(中国)投资有限公司 用于在车辆中呈现信息的方法、装置和系统
CN107776579A (zh) * 2017-09-14 2018-03-09 中国第汽车股份有限公司 一种直感式驾驶员状态提醒装置
GB201716146D0 (en) * 2017-10-04 2017-11-15 Continental Automotive Gmbh Display system in a vehicle
CN108171152A (zh) * 2017-12-26 2018-06-15 深圳大学 深度学习人眼视线估计方法、设备、系统及可读存储介质
CN108509037A (zh) * 2018-03-26 2018-09-07 维沃移动通信有限公司 一种信息显示方法及移动终端

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109835260A (zh) * 2019-03-07 2019-06-04 百度在线网络技术(北京)有限公司 一种车辆信息显示方法、装置、终端和存储介质
CN111081090A (zh) * 2019-06-09 2020-04-28 广东小天才科技有限公司 一种点读场景下的信息输出方法及学习设备
CN111081090B (zh) * 2019-06-09 2022-05-03 广东小天才科技有限公司 一种点读场景下的信息输出方法及学习设备
CN112215198A (zh) * 2020-10-28 2021-01-12 郑小云 一种基于大数据的自适应人机交互系统与方法
CN114647319A (zh) * 2022-03-28 2022-06-21 重庆长安汽车股份有限公司 一种用户车内屏幕显示信息流转的方法、系统及存储介质
CN115691037A (zh) * 2022-09-02 2023-02-03 广州市新三雅电子技术有限公司 一种应急广播图文报警系统及方法
CN115691037B (zh) * 2022-09-02 2023-08-11 广州市新三雅电子技术有限公司 一种应急广播图文报警系统及方法
CN115562490A (zh) * 2022-10-12 2023-01-03 西北工业大学太仓长三角研究院 一种基于深度学习的飞机驾驶舱跨屏眼动交互方法及系统
CN115562490B (zh) * 2022-10-12 2024-01-09 西北工业大学太仓长三角研究院 一种基于深度学习的飞机驾驶舱跨屏眼动交互方法及系统

Similar Documents

Publication Publication Date Title
CN109407845A (zh) 屏幕交互方法以及屏幕交互装置
Engström et al. Effects of visual and cognitive load in real and simulated motorway driving
Patterson et al. Human factors of stereoscopic 3D displays
CN113378771B (zh) 驾驶员状态确定方法、装置、驾驶员监控系统、车辆
CN103985334A (zh) 透明显示系统以及设置有该透明显示系统的设备
CN104461005A (zh) 一种车载屏幕开关控制方法
DE102014214516A1 (de) Vorrichtung und Verfahren zur Wiedergabe von Daten in einer erweiterten Realität für einen Insassen eines Fahrzeugs
DE102015219111A1 (de) Fahrerassistenzsystem und Verfahren zur Anpassung der Beleuchtung von Bedienelementen bei Kraftfahrzeugen
CN103612632A (zh) 驾驶操作系统的调节方法和装置
DE102013021834A1 (de) Vorrichtung und Verfahren zum Navigieren innerhalb eines Menüs zur Fahrzeugsteuerung sowie Auswählen eines Menüeintrags aus dem Menü
DE102007045932A1 (de) Verfahren und Vorrichtung zur Warnung eines Fahrers eines Fahrzeuges
DE102016121625A1 (de) Vorrichtung und Verfahren zum Überwachen einer Konzentration eines Fahrers mittels Augenverfolgung
Clark et al. Performance in takeover and characteristics of non-driving related tasks during highly automated driving in younger and older drivers
DE102016214478A1 (de) Anordnung, Fortbewegungsmittel und Verfahren zur Unterstützung eines Anwenders eines Fortbewegungsmittels
Brooks et al. Simulation of driving in low-visibility conditions: Does stereopsis improve speed perception?
CN103465825A (zh) 一种车载系统及其控制方法
DE102015219859B4 (de) Vorrichtung und Verfahren für die AR-Darstellung
DE102012221647A1 (de) Testen der Sehfähigkeit eines Fahrers eines Kraftfahrzeugs
CN101459764B (zh) 视觉缺陷测量及补偿的系统及方法
CN104483754A (zh) 针对视觉障碍患者的头戴式多媒体终端辅助观看系统
DE102015204283A1 (de) Verfahren und Vorrichtung zur Erfassung der Blickrichtung einer Person
US10895749B2 (en) Electronic glasses and method operating them
Okubo et al. The role of high spatial frequencies in hemispheric processing of categorical and coordinate spatial relations
DE102013210587A1 (de) Anzeigensystem mit Datenbrille
WO2017042223A1 (de) System zur prüfung der sehleistung und zum erkennen und korrigieren von sehfehlern

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190301