CN113703572B - 电子设备、控制方法、控制装置和存储介质 - Google Patents
电子设备、控制方法、控制装置和存储介质 Download PDFInfo
- Publication number
- CN113703572B CN113703572B CN202110981677.8A CN202110981677A CN113703572B CN 113703572 B CN113703572 B CN 113703572B CN 202110981677 A CN202110981677 A CN 202110981677A CN 113703572 B CN113703572 B CN 113703572B
- Authority
- CN
- China
- Prior art keywords
- display screen
- electronic device
- human eye
- display
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000003287 optical effect Effects 0.000 claims abstract description 33
- 230000009471 action Effects 0.000 claims abstract description 17
- 238000001514 detection method Methods 0.000 claims abstract description 15
- 238000005192 partition Methods 0.000 claims description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 6
- 230000003190 augmentative effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000004397 blinking Effects 0.000 description 2
- 230000005587 bubbling Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 208000004350 Strabismus Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D5/00—Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable
- G01D5/26—Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable characterised by optical transfer means, i.e. using infrared, visible, or ultraviolet light
Abstract
本申请公开了一种电子设备、控制方法、控制装置和计算机可读存储介质。电子设备包括显示组件、检测组件和处理器。显示组件包括间隔设置的光学透镜和显示屏，检测组件包括红外发射模块和多个光敏传感器，红外发射模块用于向人眼发射呈面光源的红外光，多个光敏传感器间隔分布在显示屏的侧边，用于接收被人眼反射并穿过光学透镜的红外光以产生电信号，处理器连接光敏传感器，处理器用于依据光敏传感器的电信号识别人眼动作以控制显示屏进行对应显示。本申请通过红外发射模块向人眼发射呈面光源的红外光，再通过间隔分布在显示屏侧边的光敏传感器接收由人眼反射的红外光产生电信号，以及根据电信号来得到人眼动作从而控制显示屏执行相应的操作。
Description
技术领域
本申请涉及显示技术，特别涉及一种电子设备、控制方法、控制装置和存储介质。
背景技术
相关技术中，可基于人眼注视追踪技术或人眼动作传感器来捕捉到人眼状态，从而可根据人眼状态生成控制指令并执行相应的操作，实现人机交互，如此，可以摆脱对手部动作的依赖。然而，采用人眼注视追踪的方案通常需要用相机拍摄图片再设计算法进行图像处理，增加系统操作延时。而采用人眼动作传感器的方案需要接触眼周皮肤，用户体验不佳且不利于相关设备的消费级产品化。
发明内容
本申请提供了一种电子设备，包括显示组件、检测组件和处理器，所述显示组件包括间隔设置的光学透镜和显示屏，所述检测组件包括：
红外发射模块，用于向人眼发射呈面光源的红外光；
多个光敏传感器，多个所述光敏传感器间隔分布在所述显示屏的侧边，用于接收被人眼反射并穿过所述光学透镜的红外光以产生电信号；
所述处理器连接所述光敏传感器，所述处理器用于依据所述电信号识别人眼动作以控制所述显示屏进行对应显示。
沿所述显示屏的第一侧边将所述显示屏划分为多个第一子分区，沿所述显示屏的第二侧边将所述显示屏划分为多个第二子分区，每个所述第一子分区均与各个所述第二子分区相交，多个光敏传感器分别对应多个所述第一子分区和多个所述第二子分区设置。
在某些实施方式中，所述电子设备包括像平面，所述像平面划分成预设数量个子区域，每个所述光敏传感器对应一个所述子区域，各个所述光敏传感器的朝向角度由所述光敏传感器的位置、所述显示屏的尺寸以及所述像平面与所述显示屏的距离确定。
在某些实施方式中，各个所述光敏传感器的视场角由所述光敏传感器位置、所述显示屏的尺寸、像平面与所述显示屏的距离以及所述光敏传感器对应所述子区域的尺寸确定。
在某些实施方式中，所述光敏传感器包括光学控制结构，所述光学控制结构实现所述传感器的朝向角度和视场角，光学控制结构包括狭缝、小孔和/或微透镜。
在某些实施方式中，所述红外发射模块包括多个发光元件，多个发光元件环绕所述光学透镜分布。
在某些实施方式中，所述红外光的波长为850nm或940nm。
本申请还提供了一种控制方法，用于如上述任意一项实施方式所述的电子设备，控制方法包括：
按第一预设频率获取所述光敏传感器的编码和电信号；
按第二预设频率对所述电信号和所述编码处理以得到人眼状态，所述第一预设频率大于所述第二预设频率；
根据相邻多次得到的所述人眼状态判断人眼动作；和
根据所述人眼动作控制所述显示屏执行对应显示操作。
在某些实施方式中，所述对每次获取的所述电信号和所述编码处理以得到人眼状态，包括：
对所述电信号滤波和放大处理以得到数字信号；
根据预设排序算法和所述编码对所述数字信号排序得到排序结果；
根据所述排序结果确定所述人眼注视位置。
在某些实施方式中，所述根据预设排序算法和所述编码对所述数字信号排序得到排序结果，包括：
根据所述编码将所述数字信号分成横向数据信号和纵向数字信号；
通过所述预设排序算法分别对所述横向数据信号、所述横向数据信号进行排序以得到横向目标数字信号和纵向目标数字信号；
所述根据所述排序结果确定所述人眼注视位置，包括：
根据所述横向目标数字信号、所述纵像目标数字信号对应的编码确定所述人眼注视位置。
本申请还提供了一种控制装置，包括：
获取模块，用于按第一预设频率获取所述光敏传感器的编码和电信号；
处理模块，用于对每次获取的所述电信号和所述编码处理以得到人眼状态；
判断模块，用于根据相邻两次得到的所述人眼状态判断人眼动作；和
控制模块，用于根据所述人眼动作控制所述显示屏执行对应显示操作。
本申请提供了一种包含计算机程序非易失性计算机可读存储介质，当所述计算机程序被处理器执行时，使得所述处理器执行上述任意一项所述控制方法。
本申请实施方式的电子设备、控制方法和计算机可读存储介质中，通过红外发射模块向人眼发射呈面光源的红外光，红外光遇到人眼后发生反射并透过光学透镜，被间隔分布在显示屏侧边的光敏传感器接收，光敏传感器在接收到红外光后，根据反射的红外光而产生电信号，再由处理器根据电信号确认出人眼动作，从而生成控制指令来控制显示屏执行相应的操作。如此，避免了采用摄像头或人眼动作传感器等复杂硬件设备，节省了成本。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是本申请某些实施方式的电子设备的模块示意图。
图2是本申请某些实施方式的检测组件和显示组件的位置示意图。
图3是本申请某些实施方式的显示屏与光敏传感器的位置示意图。
图4是本申请某些实施方式的像平面与显示屏的位置示意图。
图5是本申请某些实施方式的朝向角度的示意图。
图6是申请某些实施方式的视场角的计算示意图。
图7是本申请某些实施方式的控制方法的流程示意图。
图8是本申请某些实施方式的控制方法的流程示意图。
图9是本申请某些实施方式的编码和注视点位置的场景示意图。
图10本申请某些实施方式的控制方法的流程示意图。
附图主要元件标号：
电子设备100、显示组件110、光学透镜111、显示屏112、检测组件120、红外发射模块121、光敏传感器122、处理器130。
控制装置10、获取模块11、处理模块12、判断模块13、控制模块14。
具体实施方式
下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。
请结合图1和图2，本申请提供了一种电子设备100，电子设备100包括显示组件110、检测组件120和处理器130。
显示组件110包括间隔设置的光学透镜111和显示屏112。检测组件120包括红外发射模块121和多个光敏传感器122。
红外发射模块121用于向人眼发射呈面光源的红外光，多个光敏传感器122间隔分布在显示屏112的侧边，用于接收被人眼反射并穿过光学透镜111的红外光以产生电信号。
处理器130连接光敏传感器122，处理器130用于依据光敏传感器122的电信号识别人眼动作以控制显示屏112进行对应显示。
本申请的电子设备100中，通过红外发射模块121向人眼发射呈面光源的红外光，红外光遇到人眼后发生反射并透过光学透镜111，被间隔分布在显示屏112侧边的光敏传感器122接收，光敏传感器122在接收到红外光后，根据反射的红外光而产生电信号，再由处理器130根据电信号的强弱确认出人眼动作，从而生成控制信号来控制显示屏112执行相应的操作。如此，避免了采用摄像头或人眼动作传感器等复杂硬件设备，节省了成本。
请结合图1-3，下面以电子设备100的具体结构进行说明。
具体地，电子设备100可以为虚拟现实(Virtual Reality，VR)设备或增强现实(Augmented Reality，AR)设备等，例如，电子设备100可以为虚拟现实眼镜、虚拟现实头盔、增强现实眼镜、增强现实头盔等。在本实施方式中，电子设备100可以以虚拟现实设备进行为例说明。
电子设备100包括有显示组件110、检测组件120和处理器130。处理器130可与显示组件110和检测组件120电连接。
显示组件110包括有显示屏112和光学透镜111，显示屏112与光学透镜111平行间隔设置，在用户使用电子设备100时，用户眼睛位于光学透镜111远离显示屏112的一侧，并且，人眼与光学透镜111的距离小于光学透镜111与显示屏112的距离。用户可透过光学透镜111看到显示屏112显示的内容。
显示屏112包括第一侧边和第二侧边，第一侧边和第二侧边为相邻边，其中，第一侧边可以为横边(与水平面平行)、第二侧边可以为竖边(与水平面垂直)。沿显示屏112的第一侧边将显示屏112划分为多个第一子分区，沿显示屏112的第二侧边将显示屏112划分为多个第二子分区，每个第一子分区均与各个第二子分区相交。
检测组件120包括有红外发射模块121和多个光敏传感器122。
红外发射模块121可设置于光学透镜111上远离显示屏112的一侧，并且，红外发射模块121环绕光学透镜111分布，红外发射模块121可由多个发光元件构成，发光元件可以为红外LED灯，多个发光元件环绕光学透镜111设置，多个发光元件均发出红外光，均匀的照射在人眼区域，使得照射到人眼区域的红外光相当于面光源。当然，在一些示例中，也可直接先对每个红外LED灯发出的点光源处理为面光源后，再向眼部照射，例如，在红外LED灯前设置一个磨砂灯罩，从而使得红外LED灯发出的红外光经灯罩后形成面光源。
进一步地，红外发射模块121发出为特定波长的红外光，例如，红外光的波长可以为850nm或940nm。
多个光敏传感器122分别对应多个第一子分区和多个第二子分区设置，每个光敏传感器122包括有与其位置对应的编号。可以理解地，由于红外发射模块121发出的为例如850nm或940nm等特定波长的红外光，因此，光敏传感器122也需要设置为对特定波长响应敏感的传感器，例如，红外发射模块121发出940nm波长的红外光，则光敏传感器122可以为只对940nm波长响应敏感的光敏传感器122。如此，可以避免接收到其它波长的光而产生干扰，提升了检测组件120的检测的准确性。
光敏传感器122既可以独立设置的感光器件，当然，也可与显示屏112制造工艺相结合，在显示屏112制作工艺时，将光敏传感器122集成于显示屏112。也即是，光敏传感器122的具体设置不限。可根据实际情况进行设置。
请结合图4，进一步地，电子设备100还包括有像平面(EyeBox区域)，像平面也叫人眼瞳孔观看区域，为显示内容最清晰的区域，像平面与显示屏112对应设置。在电子设备100中，如果接收眼与显示屏112的中心对齐，则将获得完美的图像。当人眼瞳孔向侧面或上下移动时，在每个方向上的某个点处，图像将变差，直到无法接受为止，超出该区域的范围可能会呈现图像扭曲、显色错误，甚至不显示内容等问题。将所有这些点串在一起会形成一个称为“Eye Box”的形状，即像平面。像平面分别按横向、纵向划分为预设数量个呈条形的EyeBox子区域。EyeBox子区域与第一子分区和第二子分区一一对应。Eyebox子区域的数量与光敏传感器122的数量相等，每个光敏传感器122对应一个EyeBox子区域。
每个光敏传感器122能够按照一定的朝向角度和视场角(Field of view，FOV)设置，从而准确地对应一个EyeBox子区域，使得每个光敏传感器122接收对应EyeBox子区域传输的反射红外光。也即是，不同的光敏传感器122分别接收不同区域传输的反射红外光。
光敏传感器122可通过光学控制结构确定朝向角度和视场角，从而使得每个光敏传感器122准确地对准对应的EyeBox子区域。光学控制结构可以包括但不限于狭缝、小孔、微透镜等。
请结合图5，在某些实施方式中，各个光敏传感器122的朝向角度由光敏传感器122的位置、显示屏112的尺寸以及像平面与显示屏112的距离确定。
具体地，首先模拟出在红外光的照射下，反射光在经过光学透镜111后，在光学透镜111与显示屏112之间的某一位置所成的像，得到像平面(EyeBox区域)，其中。像平面与显示屏112中心对应。以显示屏112中心为三维坐标中心建立三维坐标系，并确定光敏传感器122的位置坐标、显示屏112尺寸大小以及像平面与显示屏112的距离d，如此，可以得到点A、B、C、D、R、P、S的坐标。需要说明的是，S点为光敏传感器122的位置，D点为光敏传感器122平行投影至与像平面同一平面的位置，P点为光敏传感器122对应的EyeBox子区域的中心点，A点为P点在显示屏112中的投影位置，B点光敏传感器122在y轴中投影点。C点为光敏传感器122投影到显示屏112中与P点在同一水平面的位置，R点为C点在与像平面处于同一平面的位置。如此，A、B、C、D、R、P、S的坐标计算出光敏传感器122相对于垂直屏幕方向的旋转角即朝向角度。
请结合图6，在某些实施方式中，各个光敏传感器122的视场角由光敏传感器122位置、显示屏112的尺寸、像平面与显示屏112的距离以及光敏传感器122对应子区域的尺寸确定。
具体地，首先模拟出在红外光的照射下，反射光在经过光学透镜111后，在光学透镜111与显示屏112之间的某一位置所成的像，得到像平面(EyeBox区域)，其中。像平面与显示屏112中心对应。以显示屏112中心为三维坐标中心建立三维坐标系，并确定光敏传感器122的位置坐标、显示屏112尺寸大小、光敏传感器122对应EyeBox子区域的尺寸(b*2a)以及像平面与显示屏112的距离d，如此，可以得到点S、B、E、F、M、N以及P点的坐标。需要说明的是，S点为光敏传感器122的位置，B点光敏传感器122在y轴中投影点，P点为光敏传感器122对应的EyeBox子区域的中心点，M、E、F和N点EyeBox子区域的四个顶点。如此，可根据S、B、E、F、M、N以及P点的坐标计算出得到光敏传感器122的视场角。
请参阅图7，本申请实施方式提供一种控制方法，控制方法包括步骤：
01，按第一预设频率获取光敏传感器的编码和电信号；
02，按第二预设频率对电信号和编码处理以得到人眼状态，第一预设频率大于第二预设频率；
03，根据相邻多次得到的人眼状态判断人眼动作；
04，根据人眼动作控制显示屏执行对应显示操作。
请进一步参阅图8，本申请实施方式提供了一种控制装置10。控制装置10包括获取模块11、处理模块12、判断模块13和控制模块14。
步骤01可以由获取模块11实现，步骤02可以由处理模块12实现，步骤03可以由判断模块13实现，步骤04可以由控制模块14实现。或者说，获取模块11可以用于按第一预设频率获取光敏传感器的编码和电信号。处理模块12可以用于按第二预设频率对电信号和编码处理以得到人眼状态，第一预设频率大于第二预设频率。判断模块13可以用于根据相邻多次得到的人眼状态判断人眼动作。控制模块14可以用于根据人眼动作控制显示屏执行对应显示操作。
在某些实施方式中，上述控制方法可以由电子设备100的处理器130实现，或者说，处理器130用于按第一预设频率获取光敏传感器的编码和电信号，并按第二预设频率对电信号和编码处理以得到人眼状态，第一预设频率大于第二预设频率，在根据相邻多次得到的人眼状态判断人眼动作，以及根据人眼动作控制显示屏执行对应显示操作。
这些实施方式的控制方法、图像处理装置10和电子设备100中，通过获取到表征位置光敏传感器的编码以及获取到根据反射红外光产生的电信号，并对每次获取的电信号和编码处理，从而可以确定每个位置的光敏传感器获取到反射光的强度，从而确定每次人眼状态，再根据相邻两次得到的人眼状态判断人眼动作，最后根据人眼动作控制显示屏执行对应显示操作。如此，用户可通过人眼实现对电子设备100的控制。并且，避免了采用摄像头或人眼动作传感器等复杂硬件设备，节省了成本。
在一些实施方式中，控制装置10可以是预安装于电子设备100的硬件或软件，并在电子设备100上启动运行时可以执行该控制方法。例如，控制装置10可以是电子设备100的底层软件代码段或者说是操作系统的一部分。
在一些实施方式中，控制装置10可以是一定方式组装以具有前述功能的分立元件、或者是以集成电路形式存在具有前述功能的芯片、又或者是在计算机上运行时使得计算机具有前述功能的计算机软件代码段。
在一些实施方式中，作为硬件，控制装置10可以是独立或者作为额外增加的外围元件加装到计算机或者计算机系统。控制装置10也可以集成到计算机或者计算机系统，例如，控制装置10是电子设备100的一部分时，控制装置10可以集成到处理器130上。
需要说明的是，第一预设频率与第二预设频率的具体大小不限，例如，第一预设频率可以为1000HZ，第二预设频率可以为500HZ。
人眼状态可包括但不限于睁眼、闭眼以及眯眼等以及注视位置。人眼动作可包括但不限于眨眼动作，注视动作等。其中，可定义有意识眼部动作包括但不限于以下内容：相邻若干值较高，判定当前眼部动作为眨眼；相邻三次眨眼间隔小于2s，判定为有意识眨眼动作；左右眼未同步眨眼，只有单侧眨眼动作，判定为有意识眨眼动作；注视位置在显示屏的上/下/左/右角位置停留5s以上判定为有意识注视动作。
请结合图9，还需要说明的是，每个光敏传感器都具有唯一的编码，编码和注视点位置可以以ID对和坐标LUT的形式预设存储在处理器130的缓存中。也即是，光敏传感器的编码以及注视点位置可从处理器130的缓存中获取。
具体地，处理器130可包括信号处理模块与之电连接的操作控制模块。其中，信号处理模块连接光敏传感器，操作控制模块与电子设备100的中央处理器130(CPU)连接。信号处理模块可按第一预设频率从每个光敏传感器获取电信号以及从缓存中获取每个光敏传感器的编码，并按第二预设频率对电信号和编码处理，得到以得到人眼状态。再根据相邻多次得到的人眼状态判断出人眼动作，进而，根据人眼动作生成响应的控制信号并发送至操作控制模块，操作控制模块在接收到控制信号时，传输至电子设备100的CPU，从而控制显示屏执行对应显示操作。
请参阅图10，在某些实施方式中，步骤02包括子步骤：
021，对电信号滤波和放大处理以得到数字信号；
022，根据预设排序算法和编码对数字信号排序得到排序结果；
023，根据排序结果确定人眼注视位置。
请进一步参阅图2，在某些实施方式中，021-023可以由处理模块12实现，或者说，处理模块12可以用于对电信号滤波和放大处理以得到数字信号，并根据预设排序算法和编码对数字信号排序得到排序结果，以及根据排序结果确定人眼注视位置。
在某些实施方式中，处理器130可以用于对电信号滤波和放大处理以得到数字信号，并根据预设排序算法和编码对数字信号排序得到排序结果，以及根据排序结果确定人眼注视位置。
具体地，信号转换单元用于对每一个光敏传感器的电信号做滤波和放大处理转化为数字信号，并传输至数据计算单元，数据计算单元获取光敏传感器对应的编码及数字信号后，可根据编码对数字信号进行划分，分成横向数字信号和纵向数字信号，可以理解地，横向数字信号由第一侧边的光敏传感器的电信号生成，纵向数字信号由第二侧边的光敏传感器的电信号生成。并按照冒泡排序算法依据每个横向数字信号的值对横向数字信号排序，以及依据每个纵向数字信号的值对纵向数字信号排序进行排序，再分别取最小值，最小值对应编码即可确定人眼注视位置的横向、纵向位置，又或者，在按照冒泡排序算法分别将第一侧边、第二侧边的光敏传感器的数字信号值排序后，分别取较小的若干值求平均，信号值与平均值误差最小的对应编号传感器即可确定眼睛注视位置的横向、纵向位置。
本申请提供了一种包含计算机程序的非易失性计算机可读存储介质，计算机程序被处理器执行时，使得处理器执行上述控制方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其他任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (11)
1.一种电子设备，其特征在于，包括显示组件、检测组件和处理器，所述显示组件包括间隔设置的光学透镜和显示屏，所述检测组件包括：
红外发射模块，用于向人眼发射呈面光源的红外光；
多个光敏传感器，多个所述光敏传感器间隔分布在所述显示屏的侧边，用于接收被人眼反射并穿过所述光学透镜的红外光以产生电信号；
所述处理器连接所述光敏传感器，所述处理器用于依据所述电信号识别人眼动作以控制所述显示屏进行对应显示；
沿所述显示屏的第一侧边将所述显示屏划分为多个第一子分区，沿所述显示屏的第二侧边将所述显示屏划分为多个第二子分区，每个所述第一子分区均与各个所述第二子分区相交，多个光敏传感器分别对应多个所述第一子分区和多个所述第二子分区设置。
2.如权利要求1所述的电子设备，其特征在于，所述电子设备包括像平面，所述像平面划分成预设数量个子区域，每个所述光敏传感器对应一个所述子区域，各个所述光敏传感器的朝向角度由所述光敏传感器的位置、所述显示屏的尺寸以及所述像平面与所述显示屏的距离确定。
3.如权利要求2所述的电子设备，其特征在于，各个所述光敏传感器的视场角由所述光敏传感器位置、所述显示屏的尺寸、像平面与所述显示屏的距离以及所述光敏传感器对应的所述子区域的尺寸确定。
4.如权利要求3所述的电子设备，其特征在于，所述光敏传感器包括光学控制结构，所述光学控制结构实现所述传感器的朝向角度和视场角，所述光学控制结构包括狭缝、小孔和/或微透镜。
5.如权利要求1所述的电子设备，其特征在于，所述红外发射模块包括多个发光元件，多个所述发光元件环绕所述光学透镜分布。
6.如权利要求5所述的电子设备，其特征在于，所述红外光的波长为850nm或940nm。
7.一种控制方法，用于如权利要求1-6任意一项所述的电子设备，其特征在于，包括：
按第一预设频率获取所述光敏传感器的编码和电信号；
按第二预设频率对所述电信号和所述编码处理以得到人眼状态，所述第一预设频率大于所述第二预设频率；
根据相邻多次得到的所述人眼状态判断人眼动作；和
根据所述人眼动作控制所述显示屏执行对应显示操作。
8.根据权利要求7所述的控制方法，其特征在于，对每次获取的所述电信号和所述编码处理以得到人眼状态，包括：
对所述电信号滤波和放大处理以得到数字信号；
根据预设排序算法和所述编码对所述数字信号排序得到排序结果；
根据所述排序结果确定所述人眼注视位置。
9.根据权利要求8所述的控制方法，其特征在于，所述根据预设排序算法和所述编码对所述数字信号排序得到排序结果，包括：
根据所述编码将所述数字信号分成横向数据信号和纵向数字信号；
通过所述预设排序算法分别对所述横向数据信号、所述纵向数据信号进行排序以得到横向目标数字信号和纵向目标数字信号；
所述根据所述排序结果确定所述人眼注视位置，包括：
根据所述横向目标数字信号、所述纵向目标数字信号对应的编码确定所述人眼注视位置。
10.一种用于权利要求1-9中任意一项所述电子设备的控制装置，其特征在于，包括：
获取模块，用于按第一预设频率获取所述光敏传感器的编码和电信号；
处理模块，用于按第二预设频率对所述电信号和所述编码处理以得到人眼状态，所述第一预设频率大于所述第二预设频率；
判断模块，用于根据相邻两次得到的所述人眼状态判断人眼动作；和
控制模块，用于根据所述人眼动作控制所述显示屏执行对应显示操作。
11.一种包含计算机程序的非易失性计算机可读存储介质，其特征在于，当所述计算机程序被处理器执行时，使得所述处理器执行权利要求7-9中任一项所述控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110981677.8A CN113703572B (zh) | 2021-08-25 | 2021-08-25 | 电子设备、控制方法、控制装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110981677.8A CN113703572B (zh) | 2021-08-25 | 2021-08-25 | 电子设备、控制方法、控制装置和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113703572A CN113703572A (zh) | 2021-11-26 |
| CN113703572B true CN113703572B (zh) | 2024-02-09 |
Family
ID=78654672
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110981677.8A Active CN113703572B (zh) | 2021-08-25 | 2021-08-25 | 电子设备、控制方法、控制装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113703572B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114035335B (zh) * | 2021-11-29 | 2023-08-08 | 京东方科技集团股份有限公司 | 显示装置及其控制方法、显示系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN205594581U (zh) * | 2016-04-06 | 2016-09-21 | 北京七鑫易维信息技术有限公司 | 视频眼镜的眼球追踪模组 |
| CN106873158A (zh) * | 2017-02-27 | 2017-06-20 | 阿里巴巴集团控股有限公司 | 虚拟现实头戴设备 |
| CN108354584A (zh) * | 2018-03-06 | 2018-08-03 | 京东方科技集团股份有限公司 | 眼球追踪模组及其追踪方法、虚拟现实设备 |
| CN109542240A (zh) * | 2019-02-01 | 2019-03-29 | 京东方科技集团股份有限公司 | 眼球追踪装置及追踪方法 |
| CN109582141A (zh) * | 2018-11-23 | 2019-04-05 | 华为技术有限公司 | 根据眼球焦点控制显示屏的方法和头戴电子设备 |
| CN111479103A (zh) * | 2020-04-10 | 2020-07-31 | 深圳奥比中光科技有限公司 | 一种近眼光场显示系统、方法和电子设备 |
| CN111766702A (zh) * | 2020-06-29 | 2020-10-13 | 京东方科技集团股份有限公司 | 眼球追踪的近眼显示光学系统 |
| CN112346558A (zh) * | 2019-08-06 | 2021-02-09 | 苹果公司 | 眼睛跟踪系统 |
| CN213934926U (zh) * | 2021-01-05 | 2021-08-10 | 南昌虚拟现实研究院股份有限公司 | 一种眼球追踪模组 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014186620A1 (en) * | 2013-05-15 | 2014-11-20 | The Johns Hopkins University | Eye tracking and gaze fixation detection systems, components and methods using polarized light |
-
2021
- 2021-08-25 CN CN202110981677.8A patent/CN113703572B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN205594581U (zh) * | 2016-04-06 | 2016-09-21 | 北京七鑫易维信息技术有限公司 | 视频眼镜的眼球追踪模组 |
| CN106873158A (zh) * | 2017-02-27 | 2017-06-20 | 阿里巴巴集团控股有限公司 | 虚拟现实头戴设备 |
| CN108354584A (zh) * | 2018-03-06 | 2018-08-03 | 京东方科技集团股份有限公司 | 眼球追踪模组及其追踪方法、虚拟现实设备 |
| CN109582141A (zh) * | 2018-11-23 | 2019-04-05 | 华为技术有限公司 | 根据眼球焦点控制显示屏的方法和头戴电子设备 |
| CN109542240A (zh) * | 2019-02-01 | 2019-03-29 | 京东方科技集团股份有限公司 | 眼球追踪装置及追踪方法 |
| CN112346558A (zh) * | 2019-08-06 | 2021-02-09 | 苹果公司 | 眼睛跟踪系统 |
| CN111479103A (zh) * | 2020-04-10 | 2020-07-31 | 深圳奥比中光科技有限公司 | 一种近眼光场显示系统、方法和电子设备 |
| CN111766702A (zh) * | 2020-06-29 | 2020-10-13 | 京东方科技集团股份有限公司 | 眼球追踪的近眼显示光学系统 |
| CN213934926U (zh) * | 2021-01-05 | 2021-08-10 | 南昌虚拟现实研究院股份有限公司 | 一种眼球追踪模组 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113703572A (zh) | 2021-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10715824B2 (en) | System and method for data compressing optical sensor data prior to transferring to a host system | |
| US9092671B2 (en) | Visual line detection device and visual line detection method | |
| CN112527102B (zh) | 头戴式一体机系统及其6DoF追踪方法和装置 | |
| EP3195595B1 (en) | Technologies for adjusting a perspective of a captured image for display | |
| KR100850357B1 (ko) | 시선 위치 추적 방법 및 그 장치 | |
| CN108205374B (zh) | 一种视频眼镜的眼球追踪模组及其方法、视频眼镜 | |
| CN110967166B (zh) | 近眼显示光学系统的检测方法、检测装置和检测系统 | |
| CN110263657A (zh) | 一种人眼追踪方法、装置、系统、设备和存储介质 | |
| US20140340424A1 (en) | System and method for reconfigurable projected augmented/virtual reality appliance | |
| EP3521978B1 (en) | Apparatus and method for tracking a focal point in a head mounted display system | |
| CN110377148B (zh) | 计算机可读介质、训练对象检测算法的方法及训练设备 | |
| CN106778641B (zh) | 视线估计方法及装置 | |
| US8937593B2 (en) | Interactive projection system and method for calibrating position of light point thereof | |
| US20190349506A1 (en) | Virtual reality head-mounted apparatus | |
| CN113703572B (zh) | 电子设备、控制方法、控制装置和存储介质 | |
| JP6528964B2 (ja) | 入力操作検出装置、画像表示装置、プロジェクタ装置、プロジェクタシステム、及び入力操作検出方法 | |
| CN110895433B (zh) | 用于增强现实中用户交互的方法和装置 | |
| KR20200035003A (ko) | 정보 처리 장치, 정보 처리 방법, 및 프로그램 | |
| CN115516513A (zh) | 基于卷积的相机和显示器校准 | |
| US10990167B1 (en) | Display apparatus and method using projection matrices to generate image frames | |
| CN110213407B (zh) | 一种电子装置的操作方法、电子装置和计算机存储介质 | |
| KR101002072B1 (ko) | 펄스 구동 방식의 투영 영상 터치 장치 | |
| US10203505B2 (en) | Feature balancing | |
| CN113382228B (zh) | 头戴显示设备和头戴显示系统 | |
| US20210281822A1 (en) | Display system, display control device, and non-transitory computer readable medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |