CN114253439B - 一种多屏交互方法 - Google Patents

一种多屏交互方法 Download PDF

Info

Publication number
CN114253439B
CN114253439B CN202111278460.7A CN202111278460A CN114253439B CN 114253439 B CN114253439 B CN 114253439B CN 202111278460 A CN202111278460 A CN 202111278460A CN 114253439 B CN114253439 B CN 114253439B
Authority
CN
China
Prior art keywords
preset
icons
judging
eye
interaction method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111278460.7A
Other languages
English (en)
Other versions
CN114253439A (zh
Inventor
刘耀正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huizhou Foryou General Electronics Co Ltd
Original Assignee
Huizhou Huayang General Intelligence Vehicle System Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huizhou Huayang General Intelligence Vehicle System Development Co ltd filed Critical Huizhou Huayang General Intelligence Vehicle System Development Co ltd
Priority to CN202111278460.7A priority Critical patent/CN114253439B/zh
Publication of CN114253439A publication Critical patent/CN114253439A/zh
Application granted granted Critical
Publication of CN114253439B publication Critical patent/CN114253439B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供多屏交互方法,方法包括:步骤1、判断用户的视线焦点所处的显示区域;步骤2、获取当前显示区域内的全部图标的操作属性,所述操作属性包括可操作图标、不可操作图标;步骤3、以突出模式显示所述可操作图标;步骤4、获取用户的视线焦点所处的可操作图标,以预设形式展示对应的可执行操作;步骤5、对于所述可执行操作,判断是否检测到预设眼部动作,是则执行对应操作,否则进入下一步;步骤6、判断用户的视线焦点是否离开所述当前显示区域,是则返回步骤1,否则返回步骤4。本发明实现了基于眼部动作的多屏交互控制,提高了驾驶安全性。

Description

一种多屏交互方法
技术领域
本发明涉及人机交互技术领域,尤其涉及一种多屏交互方法。
背景技术
随着电子技术的发展,智能驾驶座舱的概念正逐渐普及和应用,表现为车内具备大尺寸、高分辨率液晶显示屏的车载终端越来越多,例如数字液晶仪表、大尺寸液晶中控、车载娱乐导航系统、外后视镜显示屏等。随着车载应用程序功能越来越多,界面越来越复杂,其中的图标越来越多,单用户对于哪些图标是可操作图标,哪些是不可操作图标,往往难以分辨。
而且,目前对于大屏车载终端的交互方法主要包括触摸控制、语音控制、手势控制,然而,语音控制对于多屏幕、多系统的智能座舱而言,存在无法识别具体控制哪个屏幕的问题,而触摸控制、手势控制均需驾驶员释放一只手来进行操作,存在驾驶安全隐患。
发明内容
本发明提供一种多屏交互方法,旨在解决现有技术中的缺陷,实现基于眼部动作的多屏交互控制,提高驾驶安全性。
为达到上述目的,本发明所采取的技术方案为:
本发明提供一种多屏交互方法,包括:
步骤1、判断用户的视线焦点所处的显示区域;
步骤2、获取当前显示区域内的全部图标的操作属性,所述操作属性包括可操作图标、不可操作图标;
步骤3、以突出模式显示所述可操作图标。
具体地,所述突出模式为突出颜色模式。
具体地,所述步骤3包括:
步骤301、预先存储至少两种颜色的所述可操作图标;
步骤302、当用户的视线焦点处于所述当前显示区域时,读取所述可操作图标中与所述不可操作图标的颜色不同的图标进行显示。
具体地,所述突出模式为动画模式。
进一步地,在所述步骤3之后还包括:
步骤4、获取用户的视线焦点所处的可操作图标,以预设形式展示对应的可执行操作;
步骤5、对于所述可执行操作,判断是否检测到预设眼部动作,是则执行对应操作,否则进入下一步;
步骤6、判断用户的视线焦点是否离开所述当前显示区域,是则返回步骤1,否则返回步骤4。
具体地,所述可执行操作为播放/暂停,所述检测到预设眼部动作为检测到预设次数的连续眨眼动作。
具体地,所述检测到连续眨眼预设次数包括:
步骤501、确定头部区域高度,根据所述头部区域高度确定人眼区域;
步骤502、读取所述人眼区域的当前图像序列;
步骤503、对所述当前图像序列的进行人眼识别,判断是否存在符合预设规律的眼部动作,是则进入下一步,否则返回步骤502,所述预设规律的眼部动作为睁眼-闭眼;
步骤504、判断在预设时间内符合预设规律的眼部动作是否为预设次数,是则判定检测到连续眨眼预设次数,否则返回步骤502。
具体地,所述判断是否存在符合预设规律的眼部动作包括:
步骤A1、对人眼进行边缘检测,获取人眼的上下边界;
步骤A2、判断所述人眼的上下边界的最大距离是否小于阈值,是则判断为闭眼,否则判断为睁眼。
具体地,所述判断是否存在符合预设规律的眼部动作包括:
步骤B1、读取所述人眼区域的预设帧数的历史图像,计算所述预设帧数的历史图像中皮肤像素数量的平均值及标准差;
步骤B2、根据所述平均值及标准差,确定判断阈值;
步骤B3、统计人眼区域的当前帧图像的皮肤像素数量;
步骤B4、判断所述皮肤像素数量是否大于判断阈值,是则判断为闭眼,否则判断为睁眼。
具体地,所述判断阈值t=m+n,其中,t表示判断阈值,m表示预设帧数的历史图像中皮肤像素数量的平均值,n表示预设帧数的历史图像各帧中皮肤像素数量的标准差。
本发明的有益效果在于:本发明通过判断用户的视线焦点所处的显示区域,并获取当前显示区域内的全部图标的操作属性,以突出模式显示可操作图标,进一步通过获取用户的视线焦点所处的可操作图标,当检测到预设眼部动作时,执行对应操作,实现了基于眼部动作的多屏交互控制,提高了驾驶安全性。
附图说明
图1是本发明的多屏交互方法的流程示意图;
图2是本发明的多屏交互方法的另一流程示意图。
具体实施方式
下面结合附图具体阐明本发明的实施方式,附图仅供参考和说明使用,不构成对本发明专利保护范围的限制。
实施例1
如图1所示,本实施例提供一种多屏交互方法,包括:
步骤1、判断用户的视线焦点所处的显示区域。
在本实施例中,所述显示区域可以是多个显示屏幕中的一个,也可以是从多个显示界面中的一个或多个通过HUD投射形式在驾驶舱玻璃前方而形成的显示区域。
步骤2、获取当前显示区域内的全部图标的操作属性,所述操作属性包括可操作图标、不可操作图标。
所述可操作图标是指能够接收操作指令从而执行相关操作的图标,例如播放图标;所述不可操作图标是指仅用于显示相关信息的图标,例如信号强度图标。
步骤3、以突出模式显示所述可操作图标。
在本实施例中,所述突出模式包括突出颜色模式或者动画模式。
对于所述可操作图标的突出颜色模式,具体包括:
步骤301、预先存储至少两种颜色的所述可操作图标。
在具体实施时,一种颜色是与不可操作图标相同(例如蓝色)的颜色,另一种是与不可操作图标不同(例如橙色)的颜色。
步骤302、当用户的视线焦点处于所述当前显示区域时,读取所述可操作图标中与所述不可操作图标的颜色不同的图标进行显示。
例如,如果所述可操作图标是控制播放图标,当用户的视线焦点处于所述当前显示区域时,则以橙色图标显示控制播放图标。
而当用户的视线焦点未处于当前显示区域时,该区域所有的全部图标均以默认的颜色显示。
实施例2
如图2所示,与实施例1不同的是,本实施例在所述步骤3之后还包括:
步骤4、获取用户的视线焦点所处的可操作图标,以预设形式展示对应的可执行操作。
在具体实施时,可预先设置每个可操作图标具备的可执行操作。例如,对于控制播放图标,对应的可执行操作为播放、暂停两种。那么,当用户的视线焦点处于控制播放图标时,则以预设形式(例如动画演示形式)展示播放、暂停动作。
本步骤通过获取视线焦点所处的可操作图标对应的可执行操作,并以预设形式进行展示,有利于用户快速了解如何操作当前图标。
步骤5、对于所述可执行操作,判断是否检测到预设眼部动作,是则执行对应操作,否则进入下一步。
在实施例中,所述可执行操作为播放/暂停,所述检测到预设眼部动作为检测到预设次数的连续眨眼动作。
在本发明的另一个实施例中,所述检测到连续眨眼预设次数包括:
步骤501、确定头部区域高度h,根据所述头部区域高度确定人眼区域。
在本实施例中,人眼区域为[0.5h,0.8h],其中h以下巴为高度起始点。
步骤502、读取所述人眼区域的当前图像序列。
步骤503、对所述当前图像序列的进行人眼识别,判断是否存在符合预设规律的眼部动作,是则进入下一步,否则返回步骤502,所述预设规律的眼部动作为睁眼-闭眼。
步骤504、判断在预设时间内符合预设规律的眼部动作是否为预设次数,是则判定检测到连续眨眼预设次数,否则返回步骤502。
在具体实施时,所述预设次数可以为2次,即连续2次眨眼。
在本实施例中,所述判断是否存在符合预设规律的眼部动作包括:
步骤A1、对人眼进行边缘检测,获取人眼的上下边界。
例如,通过canny边缘检测算法对人眼进行边缘检测。
步骤A2、判断所述人眼的上下边界的最大距离是否小于阈值,是则判断为闭眼,否则判断为睁眼。
在本发明的另一个实施例中,所述判断是否存在符合预设规律的眼部动作包括:
步骤B1、读取所述人眼区域的预设帧数的历史图像,计算所述预设帧数的历史图像中皮肤像素数量的平均值及标准差。
步骤B2、根据所述平均值及标准差,确定判断阈值。
在本实施例中,所述判断阈值t=m+n,其中,t表示判断阈值,m表示预设帧数的历史图像中皮肤像素数量的平均值,n表示预设帧数的历史图像各帧中皮肤像素数量的标准差。
步骤B3、统计人眼区域的当前帧图像的皮肤像素数量。
步骤B4、判断所述皮肤像素数量是否大于判断阈值,是则判断为闭眼,否则判断为睁眼。
步骤6、判断用户的视线焦点是否离开所述当前显示区域,是则返回步骤1,否则返回步骤4。
当用户的视线焦点是否离开所述当前显示区域后,继续获取用户下一格关注的显示区域;反之,则继续获取用户关注的当前显示区域内的下一个可操作图标。
以上所揭露的仅为本发明的较佳实施例,不能以此来限定本发明的权利保护范围,因此依本发明申请专利范围所作的等同变化,仍属本发明所涵盖的范围。

Claims (9)

1.一种多屏交互方法,其特征在于,包括:
步骤1、判断用户的视线焦点所处的显示区域;
步骤2、获取当前显示区域内的全部图标的操作属性,所述操作属性包括可操作图标、不可操作图标;
步骤3、以突出模式显示所述可操作图标。
2.根据权利要求1所述的多屏交互方法,其特征在于,所述突出模式为突出颜色模式。
3.根据权利要求2所述的多屏交互方法,其特征在于,所述步骤3包括:
步骤301、预先存储至少两种颜色的所述可操作图标;
步骤302、当用户的视线焦点处于所述当前显示区域时,读取所述可操作图标中与所述不可操作图标的颜色不同的图标进行显示。
4.根据权利要求1所述的多屏交互方法,其特征在于,所述突出模式为动画模式。
5.根据权利要求1所述的多屏交互方法,其特征在于,在所述步骤3之后还包括:
步骤4、获取用户的视线焦点所处的可操作图标,以预设形式展示对应的可执行操作;
步骤5、对于所述可执行操作,判断是否检测到预设眼部动作,是则执行对应操作,否则进入下一步;
步骤6、判断用户的视线焦点是否离开所述当前显示区域,是则返回步骤1,否则返回步骤4。
6.根据权利要求5所述的多屏交互方法,其特征在于,所述可执行操作为播放/暂停,所述检测到预设眼部动作为检测到预设次数的连续眨眼动作。
7.根据权利要求6所述的多屏交互方法,其特征在于,所述检测到连续眨眼预设次数包括:
步骤501、确定头部区域高度,根据所述头部区域高度确定人眼区域;
步骤502、读取所述人眼区域的当前图像序列;
步骤503、对所述当前图像序列的进行人眼识别,判断是否存在符合预设规律的眼部动作,是则进入下一步,否则返回步骤502,所述预设规律的眼部动作为睁眼-闭眼;
步骤504、判断在预设时间内符合预设规律的眼部动作是否为预设次数,是则判定检测到连续眨眼预设次数,否则返回步骤502。
8.根据权利要求7所述的多屏交互方法,其特征在于,所述判断是否存在符合预设规律的眼部动作包括:
步骤A1、对人眼进行边缘检测,获取人眼的上下边界;
步骤A2、判断所述人眼的上下边界的最大距离是否小于阈值,是则判断为闭眼,否则判断为睁眼。
9.根据权利要求7所述的多屏交互方法,其特征在于,所述判断是否存在符合预设规律的眼部动作包括:
步骤B1、读取所述人眼区域的预设帧数的历史图像,计算所述预设帧数的历史图像中皮肤像素数量的平均值及标准差;
步骤B2、根据所述平均值及标准差,确定判断阈值;
步骤B3、统计人眼区域的当前帧图像的皮肤像素数量;
步骤B4、判断所述皮肤像素数量是否大于判断阈值,是则判断为闭眼,否则判断为睁眼;
所述判断阈值t=m+n,其中,t表示判断阈值,m表示预设帧数的历史图像中皮肤像素数量的平均值,n表示预设帧数的历史图像各帧中皮肤像素数量的标准差。
CN202111278460.7A 2021-10-30 2021-10-30 一种多屏交互方法 Active CN114253439B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111278460.7A CN114253439B (zh) 2021-10-30 2021-10-30 一种多屏交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111278460.7A CN114253439B (zh) 2021-10-30 2021-10-30 一种多屏交互方法

Publications (2)

Publication Number Publication Date
CN114253439A CN114253439A (zh) 2022-03-29
CN114253439B true CN114253439B (zh) 2024-06-04

Family

ID=80792235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111278460.7A Active CN114253439B (zh) 2021-10-30 2021-10-30 一种多屏交互方法

Country Status (1)

Country Link
CN (1) CN114253439B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115562490B (zh) * 2022-10-12 2024-01-09 西北工业大学太仓长三角研究院 一种基于深度学习的飞机驾驶舱跨屏眼动交互方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007296889A (ja) * 2006-04-28 2007-11-15 Honda Motor Co Ltd 車両搭載機器の操作装置
JP2007302116A (ja) * 2006-05-11 2007-11-22 Honda Motor Co Ltd 車両搭載機器の操作装置
CN104935747A (zh) * 2015-06-17 2015-09-23 努比亚技术有限公司 应用图标的处理方法、装置及终端
CN105242834A (zh) * 2015-11-17 2016-01-13 中科创达软件股份有限公司 一种信息提醒方法及装置
CN105739705A (zh) * 2016-02-04 2016-07-06 重庆邮电大学 一种车载系统人眼控制方法及装置
CN105892642A (zh) * 2015-12-31 2016-08-24 乐视移动智能信息技术(北京)有限公司 一种根据眼部动作对终端进行控制的方法及装置
CN107992196A (zh) * 2017-12-08 2018-05-04 天津大学 一种眨眼的人机交互系统
CN108255400A (zh) * 2017-11-30 2018-07-06 北京九五智驾信息技术股份有限公司 车载终端操作方法及车载终端
CN108289151A (zh) * 2018-01-29 2018-07-17 维沃移动通信有限公司 一种应用程序的操作方法及移动终端
CN110389800A (zh) * 2018-04-23 2019-10-29 广州小鹏汽车科技有限公司 一种车载大屏上显示内容处理方法、装置、介质和设备
CN112286358A (zh) * 2020-11-02 2021-01-29 恒大新能源汽车投资控股集团有限公司 屏幕操作方法、装置、电子设备及计算机可读存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9690463B2 (en) * 2015-01-06 2017-06-27 Oracle International Corporation Selecting actionable items in a graphical user interface of a mobile computer system
WO2017069176A1 (ja) * 2015-10-19 2017-04-27 株式会社オリィ研究所 視線入力装置、視線入力方法、および、視線入力プログラム

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007296889A (ja) * 2006-04-28 2007-11-15 Honda Motor Co Ltd 車両搭載機器の操作装置
JP2007302116A (ja) * 2006-05-11 2007-11-22 Honda Motor Co Ltd 車両搭載機器の操作装置
CN104935747A (zh) * 2015-06-17 2015-09-23 努比亚技术有限公司 应用图标的处理方法、装置及终端
CN105242834A (zh) * 2015-11-17 2016-01-13 中科创达软件股份有限公司 一种信息提醒方法及装置
CN105892642A (zh) * 2015-12-31 2016-08-24 乐视移动智能信息技术(北京)有限公司 一种根据眼部动作对终端进行控制的方法及装置
CN105739705A (zh) * 2016-02-04 2016-07-06 重庆邮电大学 一种车载系统人眼控制方法及装置
CN108255400A (zh) * 2017-11-30 2018-07-06 北京九五智驾信息技术股份有限公司 车载终端操作方法及车载终端
CN107992196A (zh) * 2017-12-08 2018-05-04 天津大学 一种眨眼的人机交互系统
CN108289151A (zh) * 2018-01-29 2018-07-17 维沃移动通信有限公司 一种应用程序的操作方法及移动终端
CN110389800A (zh) * 2018-04-23 2019-10-29 广州小鹏汽车科技有限公司 一种车载大屏上显示内容处理方法、装置、介质和设备
CN112286358A (zh) * 2020-11-02 2021-01-29 恒大新能源汽车投资控股集团有限公司 屏幕操作方法、装置、电子设备及计算机可读存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
基于彩色分割的虹膜检测;曹倩霞, 罗大庸, 朱明旱;计算机工程(19);173-175 *
基于眨眼动作的低成本人机交互系统研究;武照敏;中国优秀硕士学位论文全文数据库信息科技辑;22-24 *
基于肤色模型和灰度积分投影的疲劳驾驶检测系统;闫国梁;闫文秀;成亮;;重庆工学院学报(自然科学版)(12);9-13 *
面向疲劳驾驶的阈值法人眼睁闭识别研究;杨露;工程技术;105-106 *

Also Published As

Publication number Publication date
CN114253439A (zh) 2022-03-29

Similar Documents

Publication Publication Date Title
US11449294B2 (en) Display system in a vehicle
CN105189178B (zh) 视线输入装置
WO2021196716A1 (zh) 一种信息的显示控制方法、装置和车辆
CN109649276B (zh) 一种基于透明液晶显示屏的车辆挡风玻璃及其交互方法
EP3726360B1 (en) Device and method for controlling vehicle component
US20160274658A1 (en) Graphic meter device
US9493106B2 (en) Image displaying speedometer
US9826206B2 (en) Display control device, projection device, and non-transitory storage medium
CN111469908B (zh) 一种触控方向盘、控制方法及汽车
CN111252074B (zh) 多模态控制方法、装置、计算机可读存储介质和车辆
US20180157324A1 (en) Method and Device for Interacting with a Graphical User Interface
CN114253439B (zh) 一种多屏交互方法
CN112667084B (zh) 车载显示屏的控制方法及装置、电子设备和存储介质
CN109739428A (zh) 触控交互方法及装置、显示设备及存储介质
CN112162688A (zh) 一种基于手势识别的车载虚拟屏交互信息系统
KR101806172B1 (ko) 차량 단말기 조작 시스템 및 그 방법
CN106444040B (zh) 抬头显示装置及其显示方法
CN215436217U (zh) 一种车辆信息控制系统及车辆
CN117863868A (zh) 座舱显示系统
US20190155559A1 (en) Multi-display control apparatus and method thereof
KR101709129B1 (ko) 멀티모달 차량 제어 장치 및 그 방법
US20200278745A1 (en) Vehicle and control method thereof
JP2017197015A (ja) 車載用情報処理システム
US20190155560A1 (en) Multi-display control apparatus and method thereof
CN114537417A (zh) 一种基于hud和触摸设备的盲操作方法、系统和车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240716

Address after: 516005 No. 2, A District, Huayang Industrial Park, 1 North Road, Dongjiang hi tech Industrial Park, Huizhou, Guangdong

Patentee after: Huizhou Foryou General Electronics Co. Ltd.

Country or region after: China

Address before: 516005 No.2 workshop, area a, Huayang Industrial Park, No.1 SHANGXIA North Road, Dongjiang high tech Industrial Park, Huizhou City, Guangdong Province

Patentee before: Huizhou Huayang General Intelligence Vehicle System Development Co.,Ltd.

Country or region before: China