CN106843503A - 一种显示装置及其控制方法 - Google Patents

一种显示装置及其控制方法 Download PDF

Info

Publication number
CN106843503A
CN106843503A CN201710150696.XA CN201710150696A CN106843503A CN 106843503 A CN106843503 A CN 106843503A CN 201710150696 A CN201710150696 A CN 201710150696A CN 106843503 A CN106843503 A CN 106843503A
Authority
CN
China
Prior art keywords
distance
human eye
module
reflections
high brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710150696.XA
Other languages
English (en)
Other versions
CN106843503B (zh
Inventor
马伟杰
丁贤林
谢涛峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Hefei Xinsheng Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Hefei Xinsheng Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Hefei Xinsheng Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201710150696.XA priority Critical patent/CN106843503B/zh
Publication of CN106843503A publication Critical patent/CN106843503A/zh
Application granted granted Critical
Publication of CN106843503B publication Critical patent/CN106843503B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Abstract

本发明提供一种显示装置及其控制方法,涉及显示技术领域,可使用户不直接接触显示装置即可对其操作。显示装置包括外壳、显示组件、控制模块;外壳露出显示面;还包括多个追踪模块;多个追踪模块分设于与显示面同侧的至少两条边框上,顺次连线构成平面;多个追踪模块分别用于发射不可见光,并捕捉不可见光进入人眼瞳孔形成的高亮度反射点的位置、高亮度反射点之间的第一距离、不可见光与高亮度反射点所形成平面之间的第一夹角;控制模块用于获取多个追踪模块之间的第二距离、多个追踪模块构成平面的内角,并根据追踪模块的捕获的信息,得到人眼在显示面的聚焦区域;根据追踪模块检测的人眼状态,对聚焦区域进行操作。

Description

一种显示装置及其控制方法
技术领域
本发明涉及显示技术领域,尤其涉及一种显示装置及其控制方法。
背景技术
随着科技的不断进步,手机、电脑、平板等电子产品被广泛使用,电子产品的人机交互方式也受到越来越多的重视。
由于电子产品在各个领域的不断发展,使得敲击键盘、点击鼠标等传统人机交互方式的局限性日益凸显。而触摸屏技术可以完全摆脱鼠标和键盘,为人们提供方便快捷的服务,但是,目前现有的触摸屏技术都是以硬件为基础的,容易受到电子元件性能的影响,并且成本较高。
发明内容
本发明的实施例提供一种显示装置及其控制方法,可以使用户在不直接接触显示装置的情况下,对其进行操作,给用户带来全新的体验。
为达到上述目的,本发明的实施例采用如下技术方案:
一方面,提供一种显示装置,包括外壳、设置于所述外壳中的显示组件、以及控制模块;所述外壳露出所述显示组件的显示面;所述控制模块用于控制所述显示组件进行显示;还包括设置于所述外壳上的多个追踪模块。
所述多个追踪模块分设于与所述显示面同侧的至少两条边框上,所述多个追踪模块顺次连线构成一个平面。
所述多个追踪模块,分别用于发射预定波长的不可见光,并捕捉各自发出的所述不可见光进入人眼瞳孔形成的高亮度反射点的位置、追踪模块到各自捕捉的所述高亮度反射点之间的第一距离、所述不可见光与所有所述高亮度反射点所形成的平面之间的第一夹角;还用于检测人眼状态。
所述控制模块,还用于获取所述多个追踪模块之间的第二距离、以及所述多个追踪模块顺次连线构成的平面的内角;根据每个所述追踪模块捕捉的所述高亮度反射点的位置、所述第一夹角、所述第一距离、以及自身获取的所述第二距离和所述内角,得到人眼在所述显示面的聚焦区域;根据所述追踪模块检测的人眼状态,对所述聚焦区域进行操作。
优选的,所述追踪模块的个数为3个。
进一步优选的,所述控制模块用于根据每个所述追踪模块捕捉的所述高亮度反射点的位置、所述第一夹角、所述第一距离、以及自身获取的所述第二距离和所述内角,得到人眼在所述显示面的聚焦区域,具体包括:
根据所述高亮度反射点的位置,确定人眼瞳孔中心的位置,根据所述高亮度反射点的位置和所述第一夹角,确定人眼眼球中心的位置,所述人眼眼球中心到所述人眼瞳孔中心的连线方向为人眼视线的方向;根据每个所述追踪模块捕捉的所述第一夹角,计算每个所述追踪模块发射的所述不可见光与人眼视线方向之间的第二夹角。
根据所述高亮度反射点的位置,得到相邻所述高亮度反射点之间的第三距离,并由所述第三距离得到每个所述高亮度反射点到所述人眼瞳孔中心的第四距离。
根据所述第四距离以及所述第二夹角,得到每个所述高亮度反射点到所述人眼眼球中心的第五距离。
根据所述第一距离以及所述第五距离,得到每个所述追踪模块到人眼眼球中心的第六距离。
在上述基础上,根据所述第二夹角、所述第六距离、所述第二距离、以及所述内角,得到人眼视线落在所述显示面上的视线点到每个所述追踪模块的第七距离;根据所述视线点到三个所述追踪模块的第七距离,确定所述聚焦区域。
优选的,所述追踪模块为微型红外摄像机。
优选的,所述显示组件中集成有触控结构;所述显示装置还包括设置在所述外壳外侧表面的切换按键,所述切换按键与所述控制模块相连;所述控制模块还用于接收到所述切换按键发出的切换信号后,控制所述多个追踪模块停止工作,并基于所述触控结构,对触控位置进行识别。
优选的,所述显示组件包括OLED显示面板;或者,所述显示组件包括LCD面板和背光源。
另一方面,提供一种如第一方面所述的显示装置的控制方法,控制模块获取多个追踪模块之间的第二距离、以及所述多个追踪模块顺次连线构成的平面的内角;并接收所述多个追踪模块分别发送的高亮度反射点的位置、追踪模块到各自捕捉的所述高亮度反射点之间的第一距离、所述不可见光与所有所述高亮度反射点所形成的平面之间的第一夹角。
根据所述高亮度反射点的位置、所述第一夹角、所述第一距离、所述第二距离和所述内角,得到人眼在所述显示面的聚焦区域。
根据所述追踪模块检测的人眼状态,对所述聚焦区域进行操作。
优选的,所述追踪模块的个数为3个。
进一步优选的,控制模块根据所述高亮度反射点的位置、所述第一夹角、所述第一距离、所述第二距离和所述内角,得到人眼在所述显示面的聚焦区域,具体包括:
控制模块根据所述高亮度反射点的位置,确定人眼瞳孔中心的位置,根据所述高亮度反射点的位置和所述第一夹角,确定人眼眼球中心的位置,所述人眼眼球中心到所述人眼瞳孔中心的连线方向为人眼视线的方向;根据每个所述追踪模块发送的所述第一夹角,计算每个所述追踪模块发射的所述不可见光与人眼视线方向之间的第二夹角。
根据所述高亮度反射点的位置,得到相邻所述高亮度反射点之间的第三距离,并由所述第三距离得到每个所述高亮度反射点到所述人眼瞳孔中心的第四距离。
根据所述第四距离以及所述第二夹角,得到每个所述高亮度反射点到所述人眼眼球中心的第五距离。
根据所述第一距离以及所述第五距离,得到每个所述追踪模块到所述人眼眼球中心的第六距离。
根据所述第二夹角、所述第六距离、所述第二距离、以及所述内角,得到人眼视线落在所述显示面上的视线点到每个所述追踪模块的第七距离;根据所述视线点到三个所述追踪模块的第七距离,确定所述聚焦区域。
优选的,所述方法还包括:所述控制模块接收到切换信号后,控制所述多个追踪模块停止工作,并基于触控结构,对触控位置进行识别。
本发明施例提供一种显示装置及其控制方法,通过在与显示面同侧的边框上设置多个可发射预定波长的不可见光的追踪模块,且多个追踪模块分设于至少两条边框上,使得多个追踪模块顺次连线可构成一个平面,控制模块根据各个追踪模块捕捉各自发出的不可见光进入人眼瞳孔形成的高亮度反射点的位置、追踪模块到各自捕捉的高亮度反射点之间的第一距离、不可见光与所有高亮度反射点所形成的平面之间的第一夹角、以及自身获取的多个追踪模块之间的第二距离和多个追踪模块顺次连线构成的平面的内角,得到人眼在显示面的聚焦区域,再根据追踪模块检测的人眼状态,对所述聚焦区域进行操作,可以使用户在不直接接触显示装置的情况下,对显示装置进行操作,给用户带来全新的体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种显示装置的结构示意图;
图2为本发明实施例提供的一种显示装置确定人眼聚焦区域的原理图;
图3为本发明实施例提供的一种显示装置确定视线点位置的原理图;
图4为本发明实施例提供的一种显示装置中各模块的连接示意图;
图5为本发明实施例提供的一种显示装置控制方法的流程示意图一;
图6为本发明实施例提供的一种显示装置控制方法的流程示意图二。
附图标记:
10-显示面;20-边框;30-追踪模块;401-人眼眼球中心;402-高亮度反射点;403-人眼瞳孔中心;50-不可见光;60-视线点;70-控制模块;80-切换按键;90-触控结构。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供一种显示装置,如图1所示,包括外壳、设置于所述外壳中的显示组件、以及控制模块(图中未标出);外壳露出显示组件的显示面10;控制模块用于控制显示组件进行显示;还包括设置于外壳上的多个追踪模块30;多个追踪模块30分设于与显示面10同侧的至少两条边框20上,多个追踪模块30顺次连线构成一个平面。
如图2所示,多个追踪模块30,分别用于发射预定波长的不可见光50,并捕捉各自发出的不可见光50进入人眼瞳孔形成的高亮度反射点402的位置、追踪模块30到各自捕捉的高亮度反射点402之间的第一距离(图2中的FB、GC、HD)、不可见光50与所有高亮度反射点402所形成的平面之间的第一夹角(图2中的∠ABE、∠ACE、∠ADE);还用于检测人眼状态。
如图2和图3所示,控制模块,还用于获取多个追踪模块30之间的第二距离(图2中的FG、GH、FH)、以及多个追踪模块30顺次连线构成的平面的内角(图2中的∠FGH、∠GFH、∠FHG);根据每个追踪模块30捕捉的高亮度反射点402的位置、所述第一夹角、所述第一距离、以及自身获取的所述第二距离和所述内角,得到人眼在显示面10的聚焦区域;根据追踪模块30检测的人眼状态,对所述聚焦区域进行操作。
此处,本领域的技术人员应该知道,不可见光50为人眼看不到的光。因此,多个追踪模块30发射的预定波长的不可见光50不会影响用户正常观看显示装置显示的画面。
需要说明的是,第一,追踪模块30具有同步追踪功能,能自动捕捉人眼的转动方向,并随人眼的转动方向转动。
第二,不对不可见光50的具体波长进行限定,例如预定波长的不可见光50可以是红外光、紫外光等。
第三,无论眼球怎样转动,人眼视线都与人眼瞳孔垂直、且经过人眼瞳孔中心403。将圆盘状的人眼瞳孔近似看作所有高亮度反射点402顺次连线所形成的平面的外接圆,人眼瞳孔中心403为所述外接圆的圆心,则人眼视线垂直于所述外接圆,进而人眼视线垂直于所述外接圆上任意一条直线,由于人眼瞳孔中心403与高亮度反射点402的连线为所述外接圆上的一条直线,因此,人眼视线垂直于人眼瞳孔中心403与高亮度反射点402的连线,而不可见光50为经过高亮度反射点402、且不与所述外接圆平行的直线,从而根据线面夹角关系可得,不可见光50与所有高亮度反射点402所形成的平面之间的第一夹角为:人眼瞳孔中心403与高亮度反射点402的连线和不可见光50之间的夹角。
第四,不对各个追踪模块30的具体设置位置进行限定,只要多个追踪模块30分设于与显示面10同侧的至少两条边框20上,且顺次连线可构成一个平面即可。
第五,追踪模块30可以检测人眼的活动状态,例如张开、闭合、眨眼等。
第六,控制模块确定人眼在显示面10的聚焦区域后,可以按照已设定的操作规则,根据追踪模块30检测的人眼状态,对所述聚焦区域进行操作。
示例的,当人眼视线聚焦某一区域,且在5秒内没有眨眼时,表示对该聚焦区域进行单击操作;当人眼视线聚焦某一区域,且在5秒内眨眼两次时,表示对该聚焦区域进行双击操作。
本发明施例提供一种显示装置,通过在与显示面10同侧的边框20上设置多个可发射预定波长的不可见光50的追踪模块30,且多个追踪模块30分设于至少两条边框20上,使得多个追踪模块30顺次连线可构成一个平面,控制模块根据各个追踪模块30捕捉各自发出的不可见光50进入人眼瞳孔形成的高亮度反射点402的位置、追踪模块30到各自捕捉的高亮度反射点402之间的第一距离、不可见光50与所有高亮度反射点402所形成的平面之间的第一夹角、以及自身获取的多个追踪模块30之间的第二距离和多个追踪模块30顺次连线构成的平面的内角,得到人眼在显示面10的聚焦区域,再根据追踪模块30检测的人眼状态,对所述聚焦区域进行操作,可以使用户在不直接接触显示装置的情况下,对显示装置进行操作,给用户带来全新的体验。
考虑到将多个追踪模块30分设于与显示面10同侧的至少两条边框20上,且多个追踪模块30顺次连线构成一个平面,至少需要3个追踪模块30,优选的,如图1-3所示,追踪模块30的个数为3个,可节省制作成本。
进一步优选的,如图2和图3所示,所述控制模块用于根据每个追踪模块30捕捉的高亮度反射点402的位置、所述第一夹角、所述第一距离、以及自身获取的所述第二距离和所述内角,得到人眼在显示面10的聚焦区域60,具体包括如下过程:
控制模块根据高亮度反射点402的位置,确定人眼瞳孔中心403的位置,根据高亮度反射点402的位置和所述第一夹角,确定人眼眼球中心401的位置,人眼眼球中心401到人眼瞳孔中心403的连线方向为人眼视线的方向;根据每个追踪模块30捕捉的所述第一夹角,计算每个追踪模块30发射的不可见光50与人眼视线方向之间的第二夹角(图2中的∠HAI、∠FAI、∠GAI,或者∠DAE、∠CAE、∠DAE)。
具体的,计算第二夹角∠HAI、∠FAI、∠GAI的度数,以∠HAI为例:在直角△ADE中,已知AE⊥DE、以及∠ADE的度数,得到∠HAI的度数。同理可求出∠FAI、∠GAI的度数。
此处,追踪模块30发出的不可见光50先在人眼瞳孔形成高亮反射点402,再与所有高亮反射点402的外接圆形成所述第一夹角汇聚到视网膜中间凹,视网膜中间凹与人眼瞳孔中心403连线的方向为人眼视线的方向,因此,可通过高亮度反射点402的位置和所述第一夹角,确定视网膜中间凹的位置。其中,由于眼睛晶体变化复杂,且获取视网膜中间凹的位置很困难,因此,通常将人眼眼球中心401与人眼瞳孔中心403连线的方向作为视线方向。
根据高亮度反射点402的位置,得到相邻高亮度反射点402之间的第三距离(图2中的BC、CD、BD),并由所述第三距离得到每个高亮度反射点402到人眼瞳孔中心403的第四距离(图2中的BE、CE、DE)。
具体的,计算第四距离DE、BE、CE的长度,以DE为例:根据B、C、D的位置,得到第三距离BC、CD、BD的长度,在△BCD中,可根据已知三角形三边边长,求三角形外接圆半径的公式,计算出△BCD的外接圆半径DE,具体的,根据得到∠BDC的度数,再根据得到DE的长度。同理可求出BE、CE的长度。
根据所述第四距离以及所述第二夹角,得到每个高亮度反射点402到人眼眼球中心401的第五距离(图2中的BA、CA、DA)。
具体的,计算第五距离DA、BA、CA的长度,以DA为例:在直角△ADE中,已知AE⊥DE、∠DAE的度数、DE的长度,根据得到DA的长度。同理可求出BA、CA的长度。
根据所述第一距离以及所述第五距离,得到每个追踪模块30到人眼眼球中心401的第六距离(图2中的FA、GA、HA)。
具体的,计算第六距离FA、GA、HA的长度,以HA为例:已知HD的长度、以及DA的长度,根据HA=HD+DA,得到HA的长度。同理可求出FA、GA的长度。
根据所述第二夹角、所述第六距离、所述第二距离、以及所述内角,得到人眼视线落在显示面10上的视线点60到每个追踪模块30的第七距离(图2中的IF、IG、IH);根据所述视线点60到三个追踪模块30的第七距离,确定所述聚焦区域。
具体的,计算第七距离HI、GI、FI的长度,在△AHI中,已知∠HAI的度数、HA的长度,根据余弦定理可得在△AFI中,已知∠FAI的度数、FA的长度,得到在△AGI中,已知∠GAI的度数、GA的长度,得到在式①②③中,HI、FI、GI都可用只含AI一个未知数的表达式表示出来。
在此基础上,在△FHI和△GHI中,已知FH、GH的长度、∠FHG的度数α,则∠FHI+∠GHI=α------④;在△FHI中,根据余弦定理可得出关系式同理,在△GHI中,可得出关系式
综上,在①②③④⑤⑥6个方程中,HI、GI、FI、AI、∠FHI、∠GHI为未知数,由于HI、GI、FI都可以用只含AI一个未知数的表达式进行表示,因此,可先求出AI的值,再根据式①求出HI的长度、式②求出FI的长度、式③求出GI的长度。
由上述计算结果可知:视线点I到各个追踪模块F、H、G的第七距离,从而可根据视线点I到三个追踪模块F、H、G的第七距离,确定所述聚焦区域,如图3所示,具体方法为:以追踪模块F、H、G为圆心,视线点I到追踪模块F、H、G的第七距离为半径画圆,三个圆的交点即为视线点I的位置。
需要说明的是,本领域的技术人员应该知道,通常以显示面10上任一点建立直角坐标系作为屏幕坐标,控制模块可通过获取某点在显示面10上的坐标,得到该点在显示面10上的具体位置,进而对该点进行操作。
基于此,在已知每个追踪模块30的坐标的情况下,控制模块可根据视线点60到三个追踪模块30之间的第七距离,确定视线点60的坐标。由于人眼观看显示面10时,视线的聚焦位置是由很多个视线点60组成的聚焦区域,因此,可通过视线点60的坐标,得到人眼聚焦区域的坐标。
本发明实施例中,控制模块可确定当追踪模块30的个数为3个时,人眼的聚焦区域。
优选的,所述追踪模块30为微型红外摄像机。
本发明实施例中,由于微型红外摄像机的制作及应用已经非常成熟,且能实现本发明中追踪模块30所需的功能,因此,可将微型红外摄像机用作追踪模块30。
优选的,所述显示组件中集成有触控结构;显示装置还包括设置在外壳外侧表面的切换按键,切换按键与控制模块相连;如图4所示,控制模块70还用于接收到切换按键80发出的切换信号后,控制所述多个追踪模块30停止工作,并基于触控结构90,对触控位置进行识别。
需要说明的是,触控结构90可以是基于电容式的触控结构90,也可以是基于电阻式的触控结构90。当触控结构90为基于电容式的触控结构90时,不对触控结构90的设置位置进行限定,只要能实现触控功能即可,例如可以是内嵌式触控(in cell touch)、可以是表面式触控(on cell touch)、也可以是一体化触控(One Glass Solution,简称OGS);当触控结构90为基于电阻式的触控结构90时,可以是四线电阻式、也可以是五线电阻式。
本发明实施例中,显示装置不但可以通过视觉识别触控位置,还可以在控制模块70接收到切换按键80发出的切换信号后,通过触控结构90识别触控位置。
优选的,所述显示组件包括有机发光二极管(Organic Light-Emitting Diode,简称OLED)显示面板;或者,所述显示组件包括液晶显示(Liquid Crystal Display,简称LCD)面板和背光源。
本发明实施例中,显示装置既可以是LCD,也可以是OLED显示器。
本发明实施例提供一种如本发明前述任一实施例显示装置的控制方法,如图5所示,具体可通过如下步骤实现:
S10、如图2所示,控制模块70获取多个追踪模块30之间的第二距离、以及多个追踪模块30顺次连线构成的平面的内角;并接收多个追踪模块30分别发送的高亮度反射点402的位置、追踪模块30到各自捕捉的高亮度反射点402之间的第一距离、不可见光50与所有高亮度反射点402所形成的平面之间的第一夹角。
S20、如图2所示,根据高亮度反射点402的位置、所述第一夹角、所述第一距离、所述第二距离和所述内角,得到人眼在显示面10的聚焦区域。
S30、根据追踪模块30检测的人眼状态,对所述聚焦区域进行操作。
本发明施例还提供一种显示装置的控制方法,通过在与显示装置的显示面10同侧的边框20上,设置多个可发射预定波长的不可见光50的追踪模块30,且多个追踪模块30分设于至少两条边框20上,使得多个追踪模块30顺次连线可构成一个平面,显示装置中的控制模块70根据各个追踪模块30捕捉各自发出的不可见光50进入人眼瞳孔形成的高亮度反射点402的位置、追踪模块30到各自捕捉的高亮度反射点402之间的第一距离、不可见光50与所有高亮度反射点402所形成的平面之间的第一夹角、以及自身获取的多个追踪模块30之间的第二距离和多个追踪模块30顺次连线构成的平面的内角,得到人眼在显示面10的聚焦区域,再根据追踪模块30检测的人眼状态,对所述聚焦区域进行操作,可以使用户在不直接接触显示装置的情况下,对显示装置进行操作,给用户带来全新的体验。
考虑到将多个追踪模块30分设于与显示面10同侧的至少两条边框20上,且多个追踪模块30顺次连线构成一个平面,因此,至少需要3个追踪模块30,优选的,如图1-3所示,追踪模块30的个数为3个,可节省制作成本。
进一步优选的,如图2和图3所示,控制模块70根据高亮度反射点402的位置、所述第一夹角、所述第一距离、所述第二距离和所述内角,得到人眼在所述显示面11的聚焦区域,如图6所示,所述方法具体还包括如下步骤:
S100、如图2所示,控制模块70根据高亮度反射点402的位置,确定人眼瞳孔中心403的位置,根据高亮度反射点402的位置和所述第一夹角,确定人眼眼球中心401的位置,人眼眼球中心401到人眼瞳孔中心403的连线方向为人眼视线的方向;根据每个追踪模块30发送的所述第一夹角,计算每个追踪模块30发射的不可见光50与人眼视线方向之间的第二夹角。
具体的,计算第二夹角∠HAI、∠FAI、∠GAI的度数,以∠HAI为例:在直角△ADE中,已知AE⊥DE、以及∠ADE的度数,得到∠HAI的度数。同理可求出∠FAI、∠GAI的度数。
S200、如图2所示,根据高亮度反射点402的位置,得到相邻高亮度反射点402之间的第三距离,并由所述第三距离得到每个高亮度反射点402到人眼瞳孔中心403的第四距离。
具体的,计算第四距离DE、BE、CE的长度,以DE为例:根据B、C、D的位置,得到第三距离BC、CD、BD的长度,在△BCD中,可根据已知三角形三边边长,求三角形外接圆半径的公式,计算出△BCD的外接圆半径DE,具体的,根据得到∠BDC的度数,再根据得到DE的长度。同理可求出BE、CE的长度。
S300、如图2所示,根据所述第四距离以及所述第二夹角,得到每个高亮度反射点402到人眼眼球中心401的第五距离。
具体的,计算第五距离DA、BA、CA的长度,以DA为例:在直角△ADE中,已知AE⊥DE、∠DAE的度数、DE的长度,根据得到DA的长度。同理可求出BA、CA的长度。
S400、如图2所示,根据所述第一距离以及所述第五距离,得到每个追踪模块30到人眼眼球中心401的第六距离。
具体的,计算第六距离FA、GA、HA的长度,以HA为例:已知HD的长度、以及DA的长度,根据HA=HD+DA,得到HA的长度。同理可求出FA、GA的长度。
S500、如图2和图3所示,根据所述第二夹角、所述第六距离、所述第二距离、以及所述内角,得到人眼视线落在显示面10上的视线点60到每个追踪模块30的第七距离;根据所述视线点60到三个追踪模块30的第七距离,确定所述聚焦区域。
具体的,计算第七距离HI、GI、FI的长度,在△AHI中,已知∠HAI的度数、HA的长度,根据余弦定理可得在△AFI中,已知∠FAI的度数、FA的长度,得到在△AGI中,已知∠GAI的度数、GA的长度,得到在式①②③中,HI、FI、GI都可用只含AI一个未知数的表达式表示出来。
在此基础上,在△FHI和△GHI中,已知FH、GH的长度、∠FHG的度数α,则∠FHI+∠GHI=α------④;在△FHI中,根据余弦定理可得出关系式同理,在△GHI中,可得出关系式
综上,在①②③④⑤⑥6个方程中,HI、GI、FI、AI、∠FHI、∠GHI为未知数,由于HI、GI、FI都可以用只含AI一个未知数的表达式进行表示,因此,可先求出AI的值,再根据式①求出HI的长度、式②求出FI的长度、式③求出GI的长度。
由上述计算结果可知:视线点I到各个追踪模块F、H、G的第七距离,从而可根据视线点I到三个追踪模块F、H、G的第七距离,确定所述聚焦区域,如图3所示,具体方法为:以追踪模块F、H、G为圆心,视线点I到追踪模块F、H、G的第七距离为半径画圆,三个圆的交点即为视线点I的位置。
本发明实施例中,控制模块70根据所述步骤,可确定当追踪模块30的个数为3个时,人眼的聚焦区域。
优选的,如图4所示,所述方法还包括:控制模块70接收到切换信号后,控制多个追踪模块30停止工作,并基于触控结构90,对触控位置进行识别。
本发明实施例中,显示装置不但可以通过视觉识别触控位置,还可以在控制模块70接收到切换按键80发出的切换信号后,通过触控结构90识别触控位置。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种显示装置,包括外壳、设置于所述外壳中的显示组件、以及控制模块;所述外壳露出所述显示组件的显示面;所述控制模块用于控制所述显示组件进行显示;其特征在于,还包括设置于所述外壳上的多个追踪模块;
所述多个追踪模块分设于与所述显示面同侧的至少两条边框上,所述多个追踪模块顺次连线构成一个平面;
所述多个追踪模块,分别用于发射预定波长的不可见光,并捕捉各自发出的所述不可见光进入人眼瞳孔形成的高亮度反射点的位置、追踪模块到各自捕捉的所述高亮度反射点之间的第一距离、所述不可见光与所有所述高亮度反射点所形成的平面之间的第一夹角;还用于检测人眼状态;
所述控制模块,还用于获取所述多个追踪模块之间的第二距离、以及所述多个追踪模块顺次连线构成的平面的内角;根据每个所述追踪模块捕捉的所述高亮度反射点的位置、所述第一夹角、所述第一距离、以及自身获取的所述第二距离和所述内角,得到人眼在所述显示面的聚焦区域;根据所述追踪模块检测的人眼状态,对所述聚焦区域进行操作。
2.根据权利要求1所述的显示装置,其特征在于,所述追踪模块的个数为3个。
3.根据权利要求2所述的显示装置,其特征在于,所述控制模块用于根据每个所述追踪模块捕捉的所述高亮度反射点的位置、所述第一夹角、所述第一距离、以及自身获取的所述第二距离和所述内角,得到人眼在所述显示面的聚焦区域,具体包括:
根据所述高亮度反射点的位置,确定人眼瞳孔中心的位置,根据所述高亮度反射点的位置和所述第一夹角,确定人眼眼球中心的位置,所述人眼眼球中心到所述人眼瞳孔中心的连线方向为人眼视线的方向;根据每个所述追踪模块捕捉的所述第一夹角,计算每个所述追踪模块发射的所述不可见光与人眼视线方向之间的第二夹角;
根据所述高亮度反射点的位置,得到相邻所述高亮度反射点之间的第三距离,并由所述第三距离得到每个所述高亮度反射点到所述人眼瞳孔中心的第四距离;
根据所述第四距离以及所述第二夹角,得到每个所述高亮度反射点到所述人眼眼球中心的第五距离;
根据所述第一距离以及所述第五距离,得到每个所述追踪模块到人眼眼球中心的第六距离;
根据所述第二夹角、所述第六距离、所述第二距离、以及所述内角,得到人眼视线落在所述显示面上的视线点到每个所述追踪模块的第七距离;根据所述视线点到三个所述追踪模块的第七距离,确定所述聚焦区域。
4.根据权利要求1所述的显示装置,其特征在于,所述追踪模块为微型红外摄像机。
5.根据权利要求1所述的显示装置,其特征在于,所述显示组件中集成有触控结构;
所述显示装置还包括设置在所述外壳外侧表面的切换按键,所述切换按键与所述控制模块相连;
所述控制模块还用于接收到所述切换按键发出的切换信号后,控制所述多个追踪模块停止工作,并基于所述触控结构,对触控位置进行识别。
6.根据权利要求1-5任一项所述的显示装置,其特征在于,所述显示组件包括OLED显示面板;或者,
所述显示组件包括LCD面板和背光源。
7.一种如权利要求1-6任一项所述显示装置的控制方法,其特征在于,
控制模块获取多个追踪模块之间的第二距离、以及所述多个追踪模块顺次连线构成的平面的内角;并接收所述多个追踪模块分别发送的高亮度反射点的位置、追踪模块到各自捕捉的所述高亮度反射点之间的第一距离、所述不可见光与所有所述高亮度反射点所形成的平面之间的第一夹角;
根据所述高亮度反射点的位置、所述第一夹角、所述第一距离、所述第二距离和所述内角,得到人眼在所述显示面的聚焦区域;
根据所述追踪模块检测的人眼状态,对所述聚焦区域进行操作。
8.根据权利要求7所述的控制方法,其特征在于,所述追踪模块的个数为3个。
9.根据权利要求8所述的控制方法,其特征在于,控制模块根据所述高亮度反射点的位置、所述第一夹角、所述第一距离、所述第二距离和所述内角,得到人眼在所述显示面的聚焦区域,具体包括:
控制模块根据所述高亮度反射点的位置,确定人眼瞳孔中心的位置,根据所述高亮度反射点的位置和所述第一夹角,确定人眼眼球中心的位置,所述人眼眼球中心到所述人眼瞳孔中心的连线方向为人眼视线的方向;根据每个所述追踪模块发送的所述第一夹角,计算每个所述追踪模块发射的所述不可见光与人眼视线方向之间的第二夹角;
根据所述高亮度反射点的位置,得到相邻所述高亮度反射点之间的第三距离,并由所述第三距离得到每个所述高亮度反射点到所述人眼瞳孔中心的第四距离;
根据所述第四距离以及所述第二夹角,得到每个所述高亮度反射点到所述人眼眼球中心的第五距离;
根据所述第一距离以及所述第五距离,得到每个所述追踪模块到所述人眼眼球中心的第六距离;
根据所述第二夹角、所述第六距离、所述第二距离、以及所述内角,得到人眼视线落在所述显示面上的视线点到每个所述追踪模块的第七距离;根据所述视线点到三个所述追踪模块的第七距离,确定所述聚焦区域。
10.根据权利要求7所述的控制方法,其特征在于,所述方法还包括:
所述控制模块接收到切换信号后,控制所述多个追踪模块停止工作,并基于触控结构,对触控位置进行识别。
CN201710150696.XA 2017-03-14 2017-03-14 一种显示装置及其控制方法 Expired - Fee Related CN106843503B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710150696.XA CN106843503B (zh) 2017-03-14 2017-03-14 一种显示装置及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710150696.XA CN106843503B (zh) 2017-03-14 2017-03-14 一种显示装置及其控制方法

Publications (2)

Publication Number Publication Date
CN106843503A true CN106843503A (zh) 2017-06-13
CN106843503B CN106843503B (zh) 2019-10-25

Family

ID=59143798

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710150696.XA Expired - Fee Related CN106843503B (zh) 2017-03-14 2017-03-14 一种显示装置及其控制方法

Country Status (1)

Country Link
CN (1) CN106843503B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107328387A (zh) * 2017-07-04 2017-11-07 成都康烨科技有限公司 夹角测量方法、装置及摄影机
CN108478184A (zh) * 2018-04-26 2018-09-04 京东方科技集团股份有限公司 基于vr的视力测量方法及装置、vr设备
CN109542240A (zh) * 2019-02-01 2019-03-29 京东方科技集团股份有限公司 眼球追踪装置及追踪方法
CN110045834A (zh) * 2019-05-21 2019-07-23 广东工业大学 用于视线锁定的检测方法、装置、系统、设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202110514U (zh) * 2011-03-23 2012-01-11 上海优熠电子科技有限公司 具有超声波和红外触摸功能的触摸屏
CN104506836A (zh) * 2014-11-28 2015-04-08 深圳市亿思达科技集团有限公司 基于眼球追踪的个人全息三维显示方法及设备
CN105094300A (zh) * 2014-05-16 2015-11-25 北京七鑫易维信息技术有限公司 一种基于标准化眼睛图像的视线追踪系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202110514U (zh) * 2011-03-23 2012-01-11 上海优熠电子科技有限公司 具有超声波和红外触摸功能的触摸屏
CN105094300A (zh) * 2014-05-16 2015-11-25 北京七鑫易维信息技术有限公司 一种基于标准化眼睛图像的视线追踪系统及方法
CN104506836A (zh) * 2014-11-28 2015-04-08 深圳市亿思达科技集团有限公司 基于眼球追踪的个人全息三维显示方法及设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107328387A (zh) * 2017-07-04 2017-11-07 成都康烨科技有限公司 夹角测量方法、装置及摄影机
CN108478184A (zh) * 2018-04-26 2018-09-04 京东方科技集团股份有限公司 基于vr的视力测量方法及装置、vr设备
CN109542240A (zh) * 2019-02-01 2019-03-29 京东方科技集团股份有限公司 眼球追踪装置及追踪方法
CN110045834A (zh) * 2019-05-21 2019-07-23 广东工业大学 用于视线锁定的检测方法、装置、系统、设备和存储介质

Also Published As

Publication number Publication date
CN106843503B (zh) 2019-10-25

Similar Documents

Publication Publication Date Title
US10713812B2 (en) Method and apparatus for determining facial pose angle, and computer storage medium
CN103809880B (zh) 人机交互系统及方法
CN106843503B (zh) 一种显示装置及其控制方法
EP2956844B1 (en) Systems and methods of eye tracking calibration
CN103336575B (zh) 一种人机交互的智能眼镜系统及交互方法
CN102799277B (zh) 一种基于眨眼动作的人机交互方法及系统
US9189614B2 (en) Password entry for double sided multi-touch display
CN104137118B (zh) 视频中的增强的脸部识别
KR102643660B1 (ko) 생체 센서를 포함하는 전자 장치
US20170277259A1 (en) Eye tracking via transparent near eye lens
CN103347437A (zh) 3d映射环境中的凝视检测
US10019107B2 (en) Correcting for parallax in electronic displays
CN101311882A (zh) 视线跟踪人机交互方法及装置
EP4064714A1 (en) Screen display control method and electronic device
CN102830797A (zh) 一种基于视线判断的人机交互方法及系统
CN106164827A (zh) 用于输入事件处理的抽选策略
CN105446474A (zh) 可穿戴智能设备及其交互的方法、可穿戴智能设备系统
KR20190030140A (ko) 시선 추적 방법 및 이를 수행하기 위한 사용자 단말
US11854310B2 (en) Face liveness detection method and related apparatus
CN104750230A (zh) 可穿戴智能设备及其交互的方法、可穿戴智能设备系统
CN109343693A (zh) 一种亮度调节方法及终端设备
CN109976654A (zh) 一种显示屏内容调整方法、装置、移动终端及存储介质
CN109634438A (zh) 一种输入法的控制方法及终端设备
CN111857333A (zh) 眼动追踪方法、装置及电子设备
CN106325480A (zh) 基于视线追踪的鼠标控制设备及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191025

CF01 Termination of patent right due to non-payment of annual fee