CN114879840A - 根据眼球焦点控制显示屏的方法和头戴电子设备 - Google Patents
根据眼球焦点控制显示屏的方法和头戴电子设备 Download PDFInfo
- Publication number
- CN114879840A CN114879840A CN202210492188.0A CN202210492188A CN114879840A CN 114879840 A CN114879840 A CN 114879840A CN 202210492188 A CN202210492188 A CN 202210492188A CN 114879840 A CN114879840 A CN 114879840A
- Authority
- CN
- China
- Prior art keywords
- display screen
- display
- focus
- user
- eyeball
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000005252 bulbus oculi Anatomy 0.000 title claims abstract description 195
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000001514 detection method Methods 0.000 claims description 44
- 210000001508 eye Anatomy 0.000 claims description 43
- 239000004973 liquid crystal related substance Substances 0.000 claims description 17
- 230000015654 memory Effects 0.000 claims description 17
- 238000003825 pressing Methods 0.000 claims description 12
- 239000007787 solid Substances 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 7
- 230000033001 locomotion Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 230000004044 response Effects 0.000 description 35
- 230000003287 optical effect Effects 0.000 description 31
- 238000004891 communication Methods 0.000 description 23
- 230000006854 communication Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 23
- 230000000007 visual effect Effects 0.000 description 21
- 230000003993 interaction Effects 0.000 description 19
- 230000006870 function Effects 0.000 description 15
- 239000011521 glass Substances 0.000 description 15
- 238000010801 machine learning Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 13
- 241001465754 Metazoa Species 0.000 description 12
- 238000010295 mobile communication Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 9
- 230000005236 sound signal Effects 0.000 description 9
- 238000013507 mapping Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 210000004556 brain Anatomy 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000010287 polarization Effects 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000017525 heat dissipation Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 210000002858 crystal cell Anatomy 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 208000001491 myopia Diseases 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 206010020675 Hypermetropia Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
- G06F1/3231—Monitoring the presence, absence or movement of users
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3234—Power saving characterised by the action undertaken
- G06F1/325—Power saving in peripheral device
- G06F1/3265—Power saving in display device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Controls And Circuits For Display Device (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
一种根据眼球焦点控制显示屏的方法和头戴电子设备,该方法应用于头戴电子设备,头戴电子设备包含显示屏,显示屏在关闭显示时是透明的;方法包括:在显示屏上显示图像,用户眼球的聚焦焦点在第一距离范围内;在检测到用户眼球聚焦焦点不在第一距离范围内的持续时长大于或等于第一时长时,关闭显示屏。实施本申请实施例,可以节省功耗,并减少图像对观看现实世界的影响。
Description
本申请是分案申请,原申请的申请号是201811407510.5,原申请日是2018年11月23日,原申请的全部内容通过引用结合在本申请中。
技术领域
本申请涉及通信技术领域,尤其涉及一种根据眼球焦点控制显示屏的方法和头戴电子设备。
背景技术
头戴电子设备中,增强现实(augmented reality,AR)装置可以在用户观看现实世界场景的同时,为用户显示虚拟图像。用户还可以与虚拟图像进行交互来实现增强现实的效果。
目前,功耗与散热问题是头戴电子设备的技术瓶颈之一。而头戴电子设备的显示屏的功耗和散热问题占据主要部分。另外,当佩戴头戴电子设备的用户想要观看现实世界时,头戴电子设备的显示屏显示的图像会影响用户观看现实世界,特别是图像底色为亮色系如白色时,用户很难看清图像后面的现实世界。
因此,如何降低头戴电子设备功耗,减小散热的问题,并使用户能够更清楚的看到现实世界,是亟待解决的问题。
发明内容
本申请提供了一种根据眼球焦点控制显示屏的方法和头戴电子设备。节省功耗,并减少图像对观看现实世界的影响。
第一方面,本申请提供了一种根据眼球焦点控制显示屏的方法,其特征在于,所述方法应用于头戴电子设备,所述头戴电子设备包含显示屏,所述显示屏在关闭显示时是透明的;所述方法包括:在所述显示屏上显示图像,所述用户眼球的聚焦焦点在第一距离范围内;在检测到用户眼球聚焦焦点不在所述第一距离范围内的持续时长大于或等于第一时长时,关闭所述显示屏。
实施上述的根据眼球焦点控制显示屏的方法,当用户眼球聚焦的焦点不在显示屏的定焦焦点内时,即关闭显示屏。用户可以通过透明的显示屏观看实体对象。可以减少显示图像对用户观看现实世界的影响。另外可以减少显示屏的功耗。
可选的,当以下中的一个或多个条件发生时才关闭显示屏:a.处理器调用焦距检测传感器检测到用户的眼球聚焦的焦点落在显示屏的定焦焦点上低于第一阈值,第一阈值例如可以是1秒。b.处理器调用焦距检测传感器检测到用户的眼球聚焦的焦点超出显示屏的定焦焦点的频率超过第二阈值,第二阈值例如可以是每分钟两次。c.处理器调用焦距检测传感器检测到用户的眼球聚焦的焦点从显示屏的定焦焦点移开时间超过第一时长,第一时长例如可以是1分钟。
在一些实施例中,所述关闭所述显示屏之后,所述方法还包括:在检测到所述用户眼球聚焦焦点落在所述第一距离范围内的持续时长大于或等于第二时长时,打开所述显示屏。
当用户眼球聚焦的焦点在显示屏的定焦焦点内时,即打开显示屏。可以提高头戴电子设备的操作便利性。
可选的,当以下中的一个或多个条件发生时才打开显示屏:a.处理器调用焦距检测传感器检测到用户的眼球聚焦的焦点落在显示屏的定焦焦点上超过第二时长,该第二时长例如可以是1秒;b.处理器调用焦距检测传感器检测到用户的眼球聚焦的焦点落在显示屏的定焦焦点的频率超过每分钟两次;c.处理器调用焦距检测传感器检测到用户200的眼球聚焦的焦点落在显示屏的定焦焦点附近超过1秒;d.处理器调用焦距检测传感器检测到用户的眼球聚焦的焦点落在显示屏的定焦焦点以外的持续时间小于1秒。
在一些实施例中,所述显示屏为液晶显示屏,在所述显示屏上播放视频时,所述关闭所述显示屏,包括:关闭所述显示屏的背光。
在观看视频时,用户需要看实体对象则暂停视频播放且关闭显示屏的显示,可以降低功耗并提高用户观看视频的便利性。另外,仅关闭显示面板无需关闭屏驱动IC,在恢复播放视频时无需初始化配置屏驱动IC,从而可以提高恢复播放的响应速度。
其中,显示屏上播放视频是指,显示屏上在时间上按序刷新显示不同的图像。暂停播放视频即显示屏上显示的图像不随时间变化,显示屏上后续显示的图像是被暂停时显示的图像。
可选的,关闭显示屏,可以是指关闭显示屏上的第一区域。打开显示屏可以是指打开显示屏的第一区域。
本申请实施例中,显示屏上播放的视频图像暂停后,第一区域被关闭显示,且除第一区域以外的显示区域显示的图像不再变化,直到显示屏被恢复播放视频。
电子设备还可以检测用户眼球的聚焦深度。电子设备还可以检测用户眼球聚焦的视角,即眼球的注视方向。显示屏上关闭显示的第一区域可以是眼球视角方向落在显示屏上的区域。显示屏上关闭显示的第一区域还可以是眼球垂直投射在显示屏上的区域。
在一些实施例中,在检测到用户眼球聚焦焦点不在所述第一距离范围内的持续时长大于或等于第一时长时,头戴电子设备可以执行以下中的任一项:降低第一区域的亮度;关闭显示屏的显示;移动显示屏上显示图像的区域;移动并缩小显示屏上显示图像的区域。
在一些实施例中,所述显示屏为液晶显示屏,在所述显示屏上显示导航信息时,所述关闭所述显示屏,包括:关闭所述显示屏的背光和以下一项或多项:显示面板、所述背光的驱动电路和所述显示屏的驱动电路。
在导航场景下,可以将显示屏的背光、显示面板和驱动IC均关闭,来进一步节省功耗。
在一些实施例中,所述显示屏为有机发光二极管显示屏,在所述显示屏上播放视频时,所述关闭所述显示屏,包括:关闭所述显示屏的显示面板。
在观看视频时,用户需要看实体对象则暂停视频播放且关闭显示屏的显示,可以降低功耗并提高用户观看视频的便利性。另外,仅关闭显示面板无需关闭屏驱动IC,在恢复播放视频时无需初始化配置屏驱动IC,从而可以提高恢复播放的响应速度。
在一些实施例中,所述显示屏为有机发光二极管显示屏,在所述显示屏上显示导航信息时,所述关闭所述显示屏,包括:关闭所述显示屏的驱动电路和所述显示屏的显示面板。
在导航场景下,可以将显示面板和驱动IC均关闭,来进一步节省功耗。
在一些实施例中,所述方法还包括:在检测到以下任一项或多项时,关闭所述显示屏:检测到用户眼球聚焦焦点不在所述第一距离范围内的持续时长大于或等于所述第一时长;检测到第一按键的按下操作;检测到第一手势;检测到第一语音信号。
该第一手势例如可以是以下手势中的一个或多个:剪刀手、拳头、打响指、比OK手势等。
其中,第一按键与关闭显示屏的指令的对应关系可以是系统预设的,也可以是响应于用户的操作设置的。第一手势与关闭显示屏的指令的对应关系也可以是系统预设的,也可以是响应于用户的操作设置的。第一语音信号与关闭显示屏的指令的对应关系可以是系统预设的,也可以是响应于用户的操作设置的。
在一些实施例中,所述方法还包括:在检测到以下任一项或多项时,打开所述显示屏:
检测到所述用户眼球聚焦焦点落在所述第一距离范围内的持续时长大于或等于所述第二时长;检测到第二按键的按下操作;检测到第二手势;检测到第二语音信号。
其中,第二按键与打开显示屏的指令的对应关系可以是系统预设的,也可以是响应于用户的操作设置的。第二手势与打开显示屏的指令的对应关系也可以是系统预设的,也可以是响应于用户的操作设置的。第二语音信号与打开显示屏的指令的对应关系可以是系统预设的,也可以是响应于用户的操作设置的。
该第二手势例如可以是以下手势中的一个或多个:剪刀手、拳头、打响指、比OK手势等。
用户操作还可以是显示屏触控操作和脑电波信号。头戴电子设备还可以通过摄像头在检测到眼球特定状态下,例如眼球上翻、下翻或者快速眨眼,则头戴电子设备可以将显示屏关闭显示或打开显示。
可选的,在显示屏显示导航信息时,头戴电子设备还可以通过速度传感器检测到移动速度超过速度阈值,关闭显示屏显示,也可以将显示屏上显示的导航信息移动到显示屏的侧面。在检测到头戴电子设备的移动速度过高时,将显示屏关闭。可以减少导航场景下用户移动速度过快显示屏显示图像影响用户安全的情况,为用户提供便利性。
可选的,在显示屏显示导航信息时,头戴电子设备还可以根据设备定位位置确定当前行走路线的运动方向上距离阈值范围内没有路口,例如1千米内没有路口,则头戴电子设备可以关闭显示屏显示。在导航场景下,未接近需要用户注意的路口的时候,关闭显示屏显示,可以节省头戴电子设备功耗,并减少显示屏显示图像对用户视线的遮挡,为用户提供便利性。
可选的,为减少显示屏反复被关闭打开的次数,电子设备可以在检测到连续N个实体对象在显示屏上的图像均未被眼球聚焦时,关闭显示面板和驱动IC。之后在检测到以下一项或多项时才开启显示屏和驱动IC,来显示电子设备当前视角内实体对象的图像:a.眼球的焦点聚焦在显示屏定焦焦点内。b.响应于某一用户操作。c.检测到先后M(大于1的整数)个实体对象进入电子设备视角内。
可选的,头戴电子设备还可以通过机器学习,获取用户对不同实体对象对应的图像历史聚焦的次数或概率。头戴电子设备可以根据每类实体对象的历史聚焦次数或概率确定关闭显示屏的触发条件。历史聚焦次数或概率越大,可以设置该类实体对象越宽松的关闭显示屏的触发条件。例如越小的第一阈值取值,越大的第二阈值和第一时长的取值。
上述的方法,利用机器学习确定用户偏好的显示屏显示内容,然后根据用户偏好的显示屏显示内容设置关闭显示屏条件。在节省功耗的同时,可以更精确的确定用户是否需要关闭显示屏。
可选的,头戴电子设备可以通过机器学习,获取用户对不同场景下对应的图像历史聚焦的次数或频率。头戴电子设备可以根据每个场景下实体对象的历史聚焦次数或频率确定关闭显示屏的触发条件。历史聚焦次数或频率越大,可以设置该场景下越宽松的关闭显示屏的触发条件。例如越小的第一阈值取值,越大的第二阈值和第一时长的取值。
上述的方法,利用机器学习确定用户偏好的显示屏显示场景,然后根据用户偏好的显示屏显示场景设置关闭显示屏条件。在节省功耗的同时,可以更精确的确定用户是否需要关闭显示屏。
第二方面,本申请提供了另一种根据眼球焦点控制显示屏的方法,所述方法应用于头戴电子设备,所述头戴电子设备包含显示屏,所述显示屏在关闭显示时是透明的;所述方法包括:在所述显示屏上播放视频,所述用户眼球的聚焦焦点在第一距离范围内;在检测到用户眼球聚焦焦点不在所述第一距离范围内的持续时长大于或等于第一时长时,关闭所述用户眼球聚焦视角上所述显示面板上对应的显示区域,暂停播放所述显示屏上的视频。
实施上述的根据眼球焦点控制显示屏的方法,当用户眼球聚焦的焦点不在显示屏的定焦焦点内时,即用户眼球聚焦视角上所述显示面板上对应的显示区域,暂停播放所述显示屏上的视频。用户可以通过透明的关闭显示区域观看实体对象。可以减少显示图像对用户观看现实世界的影响。另外可以减少显示屏的功耗。
在一些实施例中,所述关闭所述用户眼球聚焦视角上所述显示面板上对应的显示区域之后,所述方法还包括:在检测到所述用户眼球聚焦焦点落在所述第一距离范围内的持续时长大于或等于第二时长时,将所述用户眼球聚焦视角上所述显示面板上对应的显示区域打开,开始播放所述显示屏上的视频。
第三方面,本申请提供了一种头戴电子设备,包括:一个或多个处理器、一个或多个存储器;所述一个或多个存储器与所述一个或多个处理器耦合,所述一个或多个存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述一个或多个处理器执行所述计算机指令时,所述终端执行如第一方面、第二方面、第一方面任一种可能的实施方式或者第二方面任一种可能的实施方式提供的根据眼球焦点控制显示屏的方法。
第四方面,本申请提供了一种计算机存储介质,包括计算机指令,当所述计算机指令在终端上运行时,使得所述终端执行如第一方面、第二方面、第一方面任一种可能的实施方式或者第二方面任一种可能的实施方式提供的根据眼球焦点控制显示屏的方法。
实施本申请实施例,当用户眼球聚焦的焦点不在显示屏的定焦焦点内时,即关闭显示屏。用户可以通过透明的显示屏观看实体对象。可以减少显示图像对用户观看现实世界的影响。另外可以减少显示屏的功耗。
附图说明
下面对本申请实施例用到的附图进行介绍。
图1是本申请实施例提供的一种头戴电子设备的结构示意图;
图2是本申请实施例提供的一种电子设备中眼球焦距测量的原理示意图;
图3是本申请实施例提供的导航场景下一些人机交互的示意图;
图4a-图4k是本申请实施例提供的一些人机交互的实施例的示意图;
图5是本申请实施例提供的导航场景下一些人机交互的示意图;
图6是本申请实施例提供的导航场景下另一些人机交互的示意图;
图7是本申请实施例提供的人机交互的示意图;
图8是本申请实施例提供的一种人机交互的示意图;
图9a和图9b分别是本申请实施例提供的一种显示屏的结构示意图;
图10是本发明实施例提供的根据眼球焦点控制显示屏的方法的流程示意图。
具体实施方式
下面结合本申请实施例中的附图对本申请实施例进行描述。本申请实施例的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释,而非旨在限定本申请。
对本申请实施例涉及的电子设备进行介绍。电子设备可以是头戴电子设备。用户可以佩戴头戴电子设备实现虚拟现实(virtual reality,VR)、AR、混合现实(mixedreality,MR)等不同效果。例如,头戴电子设备可以是眼镜、头戴电子设备、护目镜等。电子设备还可以是包含显示屏的其他设备,例如包含显示屏的自动驾驶车辆等。
请参阅图1,图1是本申请实施例提供的一种头戴电子设备的结构示意图。当头戴电子设备安装在用户头上时,用户眼睛可以看到头戴电子设备显示屏呈现的图像。当显示屏是透明的情况下,用户眼睛可以透过显示屏看到实体对象,或者用户眼睛可以透过显示屏看到另外的显示装置显示的图像。
可以理解的,本申请实施例以电子设备为头戴电子设备为例进行介绍,但是本申请实施例不限于头戴电子设备,电子设备还可以是其他设备。
如图1所示,头戴电子设备100可以包括处理器110,存储器120,传感器模块130,麦克风140,按键150,输入输出接口160,通信模块170,摄像头180,电池190以及显示屏1100等。其中传感器模块130可以包括焦距检测光学传感器131,焦距检测光学传感器131用于检测用户200的眼球的焦距。传感器模块130还可以包含其他传感器,例如声音探测器,接近光传感器,距离传感器,陀螺仪传感器,环境光传感器,加速度传感器和温度传感器等。
可以理解的是,本申请实施例示意的结构并不构成对头戴电子设备100的具体限定。在本申请另一些实施例中,头戴电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),视频处理单元(videoprocessing unit,VPU)控制器,存储器,视频编解码器,数字信号处理器(digital signalprocessor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是头戴电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,通用异步收发传输器(universal asynchronousreceiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processorinterface,MIPI),通用输入输出(general-purpose input/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serialbus,USB)接口,串行外设接口(serial peripheral interface,SPI)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合焦距检测光学传感器131,电池190,摄像头180等。例如:处理器110可以通过I2C接口耦合焦距检测光学传感器131,使处理器110与焦距检测光学传感器131通过I2C总线接口通信,来获取用户的眼球焦距。SPI接口可以用于处理器与传感器之间的连接。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与通信模块170。例如:处理器110通过UART接口与通信模块170中的蓝牙模块通信,实现蓝牙功能。
MIPI接口可以被用于连接处理器110与显示屏1100,摄像头180等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头180通过CSI接口通信,实现头戴电子设备100的拍摄功能。处理器110和显示屏1100通过DSI接口通信,实现头戴电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头180,显示屏1100,通信模块170,传感器模块130,麦克风140等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口可以用于连接充电器为头戴电子设备100充电,也可以用于头戴电子设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如手机等。USB接口可以是USB3.0,用于兼容高速显示接口(display port,DP)信号传输,可以传输视音频高速数据。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对头戴电子设备100的结构限定。在本申请另一些实施例中,头戴电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
另外,头戴电子设备100可以包含无线通信功能。通信模块170可以包含无线通信模块和移动通信模块。无线通信功能可以通过天线(未示出)、移动通信模块(未示出),调制解调处理器(未示出)以及基带处理器(未示出)等实现。
天线用于发射和接收电磁波信号。头戴电子设备100中可以包含多个天线,每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块可以提供应用在头戴电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块可以由天线接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块还可以对经调制解调处理器调制后的信号放大,经天线转为电磁波辐射出去。在一些实施例中,移动通信模块的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器等)输出声音信号,或通过显示屏1100显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块或其他功能模块设置在同一个器件中。
无线通信模块可以提供应用在头戴电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块经由天线接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线转为电磁波辐射出去。
在一些实施例中,头戴电子设备100的天线和移动通信模块耦合,使得头戴电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(code division multipleaccess,CDMA),宽带码分多址(wideband code division multiple access,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(longterm evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigationsatellite system,GLONASS),北斗卫星导航系统(beidou navigation satellitesystem,BDS),准天顶卫星系统(quasi-zenith satellite system,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
头戴电子设备100通过GPU,显示屏1100,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏1100和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
头戴电子设备100中显示屏1100的数量可以是两个,分别对应用户200的两个眼球。这两个显示屏上显示的内容可以独立显示。可以在这两个显示屏上显示不同的图像来提高图像的立体感。在一些可能的实施例中,头戴电子设备100中显示屏1100的数量也可以是一个,来对应用户200的两个眼球。
头戴电子设备100可以通过ISP,摄像头180,视频编解码器,GPU,显示屏1100以及应用处理器等实现拍摄功能。
ISP用于处理摄像头180反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头180中。
摄像头180用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,头戴电子设备100可以包括1个或N个摄像头180,N为大于1的正整数。
如图1所示,摄像头180可以安装在头戴电子设备100的侧面,还可以安装在头戴电子设备100上两个显示屏之间的位置。摄像头180用于实时捕捉用户200视角内的图像和视频。头戴电子设备100根据捕获的实时的图像和视频生成虚拟图像,并将虚拟图像通过显示屏1100进行显示。
处理器110可以根据摄像头180捕获的静态图像或视频图像,结合传感器模块130获取的数据(例如亮度、声音等数据),来确定显示屏1100上显示的虚拟图像,来实现在现实世界物体上叠加上虚拟图像。
其中,数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当头戴电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。头戴电子设备100可以支持一种或多种视频编解码器。这样,头戴电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现头戴电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
存储器120可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在存储器120的指令,从而执行头戴电子设备100的各种功能应用以及数据处理。存储器120可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储头戴电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,存储器120可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
头戴电子设备100可以通过音频模块,扬声器,麦克风140,耳机接口,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块还可以用于对音频信号编码和解码。在一些实施例中,音频模块可以设置于处理器110中,或将音频模块的部分功能模块设置于处理器110中。
扬声器,也称“喇叭”,用于将音频电信号转换为声音信号。头戴电子设备100可以通过扬声器收听音乐,或收听免提通话。
麦克风140,也称“话筒”,“传声器”,用于将声音信号转换为电信号。头戴电子设备100可以设置至少一个麦克风140。在另一些实施例中,头戴电子设备100可以设置两个麦克风140,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,头戴电子设备100还可以设置三个,四个或更多麦克风140,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
在一些实施例中,头戴电子设备100可以包括声音探测器132,该声音探测器132可以检测和处理用于控制便携电子设备的语音信号。例如,声音探测器可以包含麦克风140。便头戴电子设备100可以使用麦克风140将声音转换为电信号。声音探测器132随后可以处理电信号,并将信号识别为头戴式显示系统的命令。处理器110可以被配置为从麦克风140接收语音信号。在接收到语音信号后,处理器110可以运行声音探测器132来识别语音命令。例如,当接收到语音指令时,头戴电子设备100可以获取存储的用户联系人列表上的联系人,便头戴电子设备100可以自动拨打该联系人电话号码。
耳机接口用于连接有线耳机。耳机接口可以是USB接口,也可以是3.5mm的开放移动头戴电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
在一些实施例中,头戴电子设备100可以包括一个或多个按键150,这些按键可以控制头戴电子设备,为用户提供访问头戴电子设备100上的功能。按键150的形式可以是按钮、开关、刻度盘和触摸或近触摸传感设备(如触摸传感器)。具体的,例如,用户200可以通过按下按钮来打开头戴电子设备100的显示屏1100。按键150包括开机键,音量键等。按键150可以是机械按键。也可以是触摸式按键。头戴电子设备100可以接收按键输入,产生与头戴电子设备100的用户设置以及功能控制有关的键信号输入。
在一些实施例中,头戴电子设备100可以包括输入输出接口160,输入输出接口160可以通过合适的组件将其他装置连接到头戴电子设备100。组件例如可以包括音频/视频插孔,数据连接器等。
声音探测器可以检测和处理用于控制便携电子设备的语音信号。
在一些实施例中,头戴电子设备100可以实现眼球追踪(eye tracking)。具体的,可以利用红外设备(如红外发射器)和图像采集设备(如摄像头)来检测眼球注视方向。
接近光传感器可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。头戴电子设备100通过发光二极管向外发射红外光。头戴电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定头戴电子设备100附近有物体。当检测到不充分的反射光时,头戴电子设备100可以确定头戴电子设备100附近没有物体。头戴电子设备100可以利用接近光传感器检测头戴电子设备100特定位置的手势操作,以实现手势操作与操作命令相关联的目的。
距离传感器,用于测量距离。头戴电子设备100可以通过红外或激光测量距离。在一些实施例中,头戴电子设备100可以利用距离传感器测距以实现快速对焦。
陀螺仪传感器可以用于确定头戴电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器确定头戴电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器还可以用于导航,体感游戏场景。
环境光传感器用于感知环境光亮度。头戴电子设备100可以根据感知的环境光亮度自适应调节显示屏1100亮度。环境光传感器也可用于拍照时自动调节白平衡。
加速度传感器可检测头戴电子设备100在各个方向上(一般为三轴)加速度的大小。当头戴电子设备100静止时可检测出重力的大小及方向。还可以用于识别头戴电子设备姿态,应用于计步器等应用。
温度传感器用于检测温度。在一些实施例中,头戴电子设备100利用温度传感器检测的温度,执行温度处理策略。例如,当温度传感器上报的温度超过阈值,头戴电子设备100执行降低位于温度传感器附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,头戴电子设备100对电池190加热,以避免低温导致头戴电子设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,头戴电子设备100对电池190的输出电压执行升压,以避免低温导致的异常关机。
焦距检测光学传感器131用于检测用户200的眼球的焦距。在一些实施例中,如图1所示,头戴电子设备100还可以包含红外线光源1200。焦距检测光学传感器131可以是和红外线光源1200配合检测用户200的眼球的焦距。
如图1所示,焦距检测光学传感器131和红外线光源1200可以设置在显示屏靠近眼球的一侧。焦距检测光学传感器131和红外线光源1200的数量可以均为两个,每个眼球可以对应一个焦距检测光学传感器131和红外线光源1200,用于检测眼球聚焦的焦距。
可以理解的,图1中示出的焦距检测光学传感器131、红外线光源1200和摄像头180的在头戴电子设备100上的位置和数量仅用于解释本申请实施例,不应构成限定。焦距检测光学传感器131和红外线光源1200的数量还可以是一个。一个焦距检测光学传感器131和一个红外线光源1200的数量可以用于检测一个眼球聚焦的焦距,或者同时检测两个眼球聚焦的焦距。
下面结合图2介绍测量用户眼球焦距的具体原理。请参阅图2,图2是本申请实施例提供的一种头戴电子设备中眼球焦距测量的原理示意图。如图2所示,红外线光源1200、眼球和焦距检测光学传感器131组成一个光学系统。其中,焦距检测光学传感器131可以包含狭缝光阑Z和图像传感器(例如CCD或者CMOS)。如图2所示,红外线光源1200可以周期性的发射红外光线。红外光线投射到眼球,眼球将红外光线反射。眼球屈光状态不同,反射光线经过光阑Z在成像平面上形成不同形状的眼球图像。眼球图像可以是包含亮、暗两部分的圆形光斑。眼球的焦距或者屈光度(屈光度=1/焦距)与眼球图像的亮暗范围有对应关系。眼球的屈光度越大,眼球图像的亮部分和暗部分之间的比例越大。根据上述原理,焦距检测光学传感器131可以检测眼球图像亮区大小,然后根据该亮区大小计算出眼球的屈光度和焦距。亮区大小和焦距之间的关系可以由光学系统中下列数据确定:眼睛主平面到焦距检测光学传感器131主平面的距离A、眼睛的半径、红外线光源中心到光阑刀口边缘的偏心距E。
如图1所示,焦距检测光学传感器131可以位于头戴电子设备100的边缘。即焦距检测光学传感器131的光轴和眼球所在的光轴不重叠,则可以根据焦距检测光学传感器131和眼球的位置对亮区大小和焦距之间的关系进行补偿。
可以理解的,上述对眼球焦距测量的原理介绍仅用于解释本申请实施例,不应构成限定。本申请实施例中眼球焦距测量还可以利用其它的方法。
显示屏1100用于显示图像,视频等。显示屏1100包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。
为降低电子设备的功耗并减少显示屏显示的图像对用户观看现实世界的影响,本申请实施例提供一种电子设备和电子设备的显示方法。下面介绍本申请实施例提供的几个示例。
下面介绍一种场景:用户200佩戴AR眼镜,且观看AR眼镜上显示屏显示的虚拟图像,例如用户200在使用AR眼镜观看视频。请参阅图3,图3是本申请实施例提供的一些人机交互的实施例的示意图。
如图3中的3a所示,头戴电子设备100可以被设置在视频播放模式。在视频播放模式下,头戴电子设备100的显示屏1100上显示视频片段。用户200可以聚焦眼球焦点到显示屏1100的定焦焦点上来看到清晰的图像。该定焦焦点例如可以是距离用户200眼球前方2米的位置。该定焦焦点也可以是距离用户200眼球前方的一个距离范围内,例如可以是距离用户200眼球前方2~4米的位置。该距离范围即为第一距离范围。
用户200会出现需要观看显示屏1100显示画面以外的实体对象的场景。例如,如图3中的3b所示,当用户200需要观察实体对象300时,可以聚焦眼球焦点到实体对象300上。
如图3中的3b所示,当头戴电子设备100中焦距检测传感器检测到用户200的眼球聚焦的焦点在超出显示屏1100的定焦焦点时,例如,检测到用户200的眼球聚焦的焦点聚焦到距离用户200眼球前方0.5米处实体对象300所在的位置。头戴电子设备100可以将显示屏1100上的第一区域1101内关闭显示。关闭显示的第一区域1101是透明的。用户200可以通过该第一区域1101观看到实体对象300。
可选的,当头戴电子设备100中的处理器通过焦距检测传感器检测到用户200的眼球聚焦的焦点在超出显示屏1100的定焦焦点时,头戴电子设备100还可以将显示屏上播放的视频图像暂停。头戴电子设备100将显示屏上播放的视频图像暂停同时,也可以暂停播放该视频对应的音频。
其中,显示屏上播放视频是指,显示屏上在时间上按序刷新显示不同的图像。暂停播放视频即显示屏上显示的图像不随时间变化,显示屏上后续显示的图像是被暂停时显示的图像。本申请实施例中,显示屏上播放的视频图像暂停后,第一区域1101被关闭显示,且除第一区域1101以外的显示区域显示的图像不再变化,直到显示屏被恢复播放视频。
其中,显示屏1100是OLED显示屏时,关闭第一区域1101的显示可以通过处理器控制OLED显示面板上第一区域内的像素供电被关闭来实现。关于像素供电被关闭的描述可以参考后续图8示出实施例的具体描述,这里不再赘述。
另外,头戴电子设备100中的处理器确定用户200的眼球聚焦的焦点在超出显示屏1100的定焦焦点,可以通过以下中的一个或多个条件确定:a.处理器调用焦距检测传感器检测到用户200的眼球聚焦的焦点落在显示屏1100的定焦焦点上低于第一阈值,第一阈值例如可以是1秒。b.处理器调用焦距检测传感器检测到用户200的眼球聚焦的焦点超出显示屏1100的定焦焦点的频率超过第二阈值,第二阈值例如可以是每分钟两次。c.处理器调用焦距检测传感器检测到用户200的眼球聚焦的焦点从显示屏1100的定焦焦点移开时间超过第一时长,第一时长例如可以是1分钟。
如图3中的3c所示,在头戴电子设备100的处理器将显示屏1100上的第一区域1101关闭显示之后,当头戴电子设备100中的处理器检测到用户200的眼球聚焦的焦点回到显示屏1100的定焦焦点时,头戴电子设备100可以将显示屏1100上关闭显示的第一区域1101恢复显示。显示屏1100是OLED显示屏时,恢复显示显示屏1100上的第一区域1101可以通过处理器控制OLED显示面板上第一区域内的像素供电恢复来实现。关于像素供电恢复的描述可以参考图8示出实施例的具体描述,这里不再赘述。
本申请实施例中,显示屏1100上第一区域1101恢复显示之后显示的图像可以与图3中的3c中关闭第一区域1101内显示的图像相同。
可选的,头戴电子设备100将显示屏上播放的视频图像暂停之后,当头戴电子设备100中的处理器确定用户200的眼球聚焦的焦点回到显示屏1100的定焦焦点内时,头戴电子设备100可以恢复播放视频图像。
其中,头戴电子设备100中的处理器确定用户200的眼球聚焦的焦点回到显示屏1100的定焦焦点内,可以通过以下中的一个或多个条件确定:a.处理器调用焦距检测传感器检测到用户200的眼球聚焦的焦点落在显示屏1100的定焦焦点上超过第二时长,该第二时长例如可以是1秒;b.处理器调用焦距检测传感器检测到用户200的眼球聚焦的焦点落在显示屏1100的定焦焦点的频率超过每分钟两次;c.处理器调用焦距检测传感器检测到用户200的眼球聚焦的焦点落在显示屏1100的定焦焦点附近超过1秒;d.处理器调用焦距检测传感器检测到用户200的眼球聚焦的焦点落在显示屏1100的定焦焦点以外的持续时间小于1秒。
关于上述条件c,例如,当显示屏1100的定焦焦点在距离用户200眼球前方2~4米的位置时,定焦焦点附近可以是距离用户200眼球前方1~5米。
其中,第二时长和第一时长可以相等,也可以不等。
本申请实施例中,图3示出的人机交互的示意图中,除了检测用户的眼球聚焦的焦点以外,头戴电子设备100还可以检测用户眼球的聚焦深度。头戴电子设备100还可以检测用户眼球聚焦的视角,即眼球的注视方向。显示屏1100上关闭显示的第一区域1101可以是眼球视角方向落在显示屏1100上的区域。显示屏1100上关闭显示的第一区域1101还可以是眼球垂直投射在显示屏1100上的区域。
上述电子设备的显示方法中,显示屏上显示图像时,在处理器检测到用户200的眼球聚焦的焦点不在显示屏1100的定焦焦点内时,即关闭显示屏的第一区域的显示。用户可以通过透明的第一区域观看实体对象。可以减少显示图像对用户观看现实世界的影响。在观看视频时,用户需要看实体对象则暂停视频播放且关闭显示屏第一区域的显示,可以降低功耗并提高用户观看视频的便利性。另外,仅关闭显示面板无需关闭屏驱动IC,在恢复播放视频时无需初始化配置屏驱动IC,从而可以提高恢复播放的响应速度。
可选的,当头戴电子设备100中焦距检测传感器检测到用户200的眼球聚焦的焦点在超出显示屏1100的定焦焦点时,头戴电子设备100的处理器可以降低第一区域的亮度或者关闭显示屏的显示。头戴电子设备100的处理器还可以移动或者缩小显示屏上用于显示图像的区域。请参阅图4a-图4d,图4a-图4d是本申请实施例提供的一些人机交互的实施例的示意图。
(一)降低第一区域的亮度
如图4a所示,当头戴电子设备100中焦距检测传感器检测到用户200的眼球聚焦的焦点在超出显示屏1100的定焦焦点时,头戴电子设备100的处理器可以降低第一区域1101的亮度。用户200可以通过透明的第一区域1101观看实体对象300,可以减少显示图像对用户观看现实世界的影响。另外,仅降低第一区域1101的亮度,无需关闭屏驱动IC和显示面板,在恢复播放视频时无需初始化配置屏驱动IC和显示面板,从而可以提高恢复播放的响应速度。
(二)关闭显示屏的显示
如图4b所示,当头戴电子设备100中焦距检测传感器检测到用户200的眼球聚焦的焦点在超出显示屏1100的定焦焦点时,头戴电子设备100的处理器可以关闭显示屏的显示。该显示屏可以是LCD显示屏,也可以是OLED显示屏。关闭显示后显示屏为透明的,用户200可以通过透明的显示屏观看实体对象300,可以减少显示图像对用户观看实体对象300的影响。将整个显示屏关闭,可以来进一步节省功耗。
(三)移动显示屏上显示图像的区域
如图4c所示,处理器可以调用显示屏1100上的部分显示区域1102进行显示,显示屏上显示图像的区域1102以外的区域关闭显示,是透明状态。当头戴电子设备100中焦距检测传感器检测到用户200的眼球聚焦的焦点在超出显示屏1100的定焦焦点时,头戴电子设备100的处理器可以将显示图像的区域从区域1102切换为区域1103。如图4c所示,可以将显示图像的区域1103避开眼球聚焦视角在显示屏上投射的区域,使眼球可以通过显示图像的区域以外的显示屏区域观看实体对象300。可选的,处理器可以切换显示图像的区域到偏离显示屏中心的位置,为用户眼球预留透明区域来观看实体对象300。
在头戴电子设备100的处理器检测到用户200的眼球聚焦的焦点回到显示屏1100的定焦焦点时,头戴电子设备100的处理器可以将显示图像的区域切换到显示屏的中心区域,或者使用整个显示屏区域显示图像。
将显示屏上显示图像的区域移动到眼球聚焦视角在显示屏上投射的区域以外的区域,可以减少显示图像对用户观看实体对象300的影响,并提高显示屏恢复显示时的响应速度。
(四)移动并缩小显示屏上显示图像的区域
如图4d所示,当头戴电子设备100中焦距检测传感器检测到用户200的眼球聚焦的焦点在超出显示屏1100的定焦焦点时,头戴电子设备100的处理器可以将显示图像的区域从区域1104切换为区域1105。且切换后区域1105的像素数量小于区域1104,来为用户眼球预留更大的显示屏透明区域。如图4d所示,可以将显示图像的区域避开眼球聚焦视角在显示屏上投射的区域,使眼球可以通过显示图像的区域1105以外的显示屏区域观看实体对象300。
在头戴电子设备100的处理器检测到用户200的眼球聚焦的焦点回到显示屏1100的定焦焦点时,头戴电子设备100的处理器可以将显示图像的区域切换到显示屏的中心区域,且扩大显示图像的区域,或者使用整个显示屏区域显示图像。
本申请实施例中,显示屏上显示图像的区域移动或缩小的方向可以根据眼球追踪得到的视角确定。显示屏上显示图像的区域被移动或缩小后,眼球可以通过显示屏上显示图像的区域以外的显示屏区域观看实体对象300。
将显示屏上显示图像的区域移动并缩小到眼球聚焦视角在显示屏上投射的区域以外的区域,可以减少显示图像对用户观看实体对象300的影响,由于显示屏未被关闭,也可以提高显示屏恢复显示时的响应速度。
可选的,头戴电子设备100可以响应于用户的操作来恢复显示屏显示图像。用户的操作可以是按键操作、手势操作、语音信号,还可以是其他操作。请参阅图4e和图4f,图4e和图4f分别是一种人机交互的实施例的示意图。
如图4e所示,在显示屏1100上第一区域1101关闭显示或降低亮度,或者关闭显示屏1100显示的情况下,头戴电子设备100检测到第二按键的按下操作则可以恢复第一区域1101或者显示屏上显示图像。
可选的,如图4e所示,在显示屏1100上第一区域1101关闭显示或降低亮度,或者关闭显示屏1100显示的情况下,头戴电子设备100中处理器还可以是调用环境光传感器检测到手指靠近时反射的光线,则可以恢复第一区域1101或者显示屏上显示图像。
可选的,如图4e所示,在显示屏1100上第一区域1101关闭显示或降低亮度,或者关闭显示屏1100显示的情况下,头戴电子设备100中处理器还可以是调用摄像头检测到特定的手势,即第二手势,则可以恢复第一区域1101或者显示屏上显示图像。处理器可以调用图像识别算法识别摄像头采集的特定手势(第二手势)。该第二手势例如可以是以下手势中的一个或多个:剪刀手、拳头、打响指、比OK手势等。
可选的,在显示屏1100上第一区域1101关闭显示或降低亮度,或者关闭显示屏1100显示的情况下,头戴电子设备100中处理器可以是检测到以下一项或多项时即恢复第一区域1101或者显示屏上显示图像:a检测到用户操作;b检测到用户的眼球聚焦的焦点在显示屏1100的定焦焦点上。
如图4f所示,在显示屏1100上第一区域1101关闭显示或降低亮度,或者关闭显示屏1100显示的情况下,头戴电子设备100检测到第二语音信号时,则可以恢复第一区域1101或者显示屏上显示图像。头戴电子设备100中的处理器通过声音探测器获取到第二语音信号时,则处理器可以恢复第一区域1101或者显示屏上显示图像。头戴电子设备100中可以存储第二语音信号和执行恢复显示的指令之间的映射关系。
可以理解的,不限于按键、手势和语音的操作,电子设备还可以检测其他信号,例如显示屏触控操作和脑电波信号,来恢复显示屏显示。
可选的,关闭显示屏显示之后,在检测到用户眼球聚焦的焦点在一定时间段内(例如1分钟内)频繁变化,例如焦距变化频率大于1分钟5次,头戴电子设备可以恢复显示屏显示,并以低亮度显示。例如可以以关闭显示前亮度的30%显示。低亮度显示的图像可以供用户眼球聚焦。在检测到用户眼球聚焦焦点回到显示屏的定焦焦点上时,可以将显示屏的亮度调到正常亮度,例如调到关闭显示前的亮度。在显示屏以低亮度显示的一定时间,例如20秒,检测到用户眼球聚焦焦点未在显示屏的定焦焦点内,关闭显示屏显示。或者在显示屏以低亮度显示的一定时间,例如20秒,检测到用户眼球聚焦焦点变化频率仍然较大,关闭显示屏显示。
可选的,关闭显示屏显示之后,头戴电子设备可以在每隔一段时间,例如2分钟,重新打开显示屏供用户眼球重新聚焦。在打开显示屏之后5秒内若仍未检测到显示屏被聚焦,则关闭显示屏。重新打开显示屏时,显示屏的亮度可以是低亮度显示,例如以关闭显示前亮度的30%显示。直到检测到用户眼球聚焦焦点回到显示屏的定焦焦点上时,才将显示屏的亮度调到正常亮度,例如调到关闭显示前的亮度。
可选的,头戴电子设备100的可以响应于用户的操作来关闭显示屏显示或者移动、缩小显示屏上显示图像的区域。用户的操作也可以是按键操作、手势操作、语音信号,还可以是其他操作。请参阅图4g和图4h,图4g和图4h分别是一种人机交互的实施例的示意图。
如图4g所示,在显示屏1100上显示图像的情况下,头戴电子设备100检测到第一按键的按下操作,则可以执行以下中的任一项:关闭显示屏1100显示;关闭显示屏上第一区域的显示;移动显示屏上显示图像的区域;移动并缩小显示屏上显示图像的区域。
可选的,如图4g所示,在显示屏1100上显示图像的情况下,头戴电子设备100中处理器调用环境光传感器检测到手指靠近时反射的光线,则处理器可以执行以下中的任一项:关闭显示屏1100显示;关闭显示屏上第一区域的显示;移动显示屏上显示图像的区域;移动并缩小显示屏上显示图像的区域。
可选的,如图4g所示,在显示屏1100上显示图像的情况下,头戴电子设备100中处理器还可以调用摄像头检测特定的手势时,例如第一手势,则处理器可以执行以下中的任一项:关闭显示屏1100显示;关闭显示屏上第一区域的显示;移动显示屏上显示图像的区域;移动并缩小显示屏上显示图像的区域。该第一手势例如可以是以下手势中的一个或多个:剪刀手、拳头、打响指、比OK手势等。
可选的,如图4g所示,在显示屏1100上显示图像的情况下,头戴电子设备100中处理器可以是检测到以下一项或多项时即关闭显示屏显示:a检测到用户操作;b检测到用户的眼球聚焦的焦点在显示屏1100的定焦焦点以外。
如图4h所示,在显示屏1100上显示图像的情况下,头戴电子设备100检测到第一语音信号时,则可以执行以下中的任一项:关闭显示屏1100显示;关闭显示屏上第一区域的显示;移动显示屏上显示图像的区域;移动并缩小显示屏上显示图像的区域。头戴电子设备100中的处理器可以是通过声音探测器检测第一语音信号。第一语音信号可以是系统预设的特定语音信号。头戴电子设备100中可以存储第一语音信号和执行关闭显示屏显示的指令之间的映射关系。
利用用户的操作来恢复显示屏显示图像,利用用户的操作来关闭显示屏显示或者移动、缩小显示屏上显示图像的区域,可以减少误操作的情况,提高控制显示屏显示图像的准确性。
本申请实施例中,头戴电子设备100中可以存储用户操作与指令的映射关系。指令可以包括:恢复显示屏显示图像;关闭显示屏显示;关闭显示屏上第一区域的显示;移动显示屏上显示图像的区域;移动并缩小显示屏上显示图像的区域。该映射关系可以是系统预设的,也可以是响应于用户操作自定义设置的。下面给出一种用户自定义设置用户操作与指令的映射关系的示例。
请参阅图4i,图4i是一种人机交互的实施例的示意图。如图4i所示,用户可以在头戴显示设备的设置界面上打开“第一按键关联显示屏”的选项,则头戴显示设备可以响应于该打开操作,建立第一按键按下与显示屏开关的映射关系。在打开“第一按键关联显示屏”的选项后,电子设备可以响应第一按键的按下操作,关闭点亮的显示屏1100或者打开关闭的显示屏1100。类似的,如图4i所示,用户可以在头戴显示设备的设置界面上打开“OK手势关联显示屏”的选项,则头戴显示设备可以响应于该打开操作,建立OK手势与显示屏开关的映射关系。在打开“OK手势关联显示屏”的选项后,电子设备可以响应摄像头检测到的OK手势,关闭点亮的显示屏1100或者打开关闭的显示屏1100。
其中,电子设备检测到用户打开“第一按键关联显示屏”的选项,可以是电子设备处理器利用摄像头检测到手指放置在“第一按键关联显示屏”的选项的打开开关处。
可以理解的,图4i示出的自定义设置用户操作与指令的映射关系的示例仅用于解释本申请实施例,不应构成限定。设置界面还可以包含其他自定义用户操作与指令对应关系选项,本申请实施例对此不作限定。
可选的,如图4j所示,在显示屏1100关闭显示之后,可以仍然在显示屏1100上显示标记1106。该标记1106例如可以是圆形亮点。该标记1106可以显示在显示屏1100的边缘,例如左上角或右上角。显示屏1100上可以显示提示信息“看这里恢复显示”。如图4j所示,当眼球聚焦在该标记1106上时,头戴电子设备可以将显示屏1100重新打开。
可选的,请参阅图4k,图4k是本申请实施例提供的一人机交互的实施例的示意图。如图4k所示,在显示屏1100关闭显示之后,可以仍然在显示屏1100上显示标记1106。该标记1106例如可以是三角形亮点。该标记1106可以显示在显示屏1100的边缘,例如左上角或右上角。显示屏1100上可以显示提示信息“看这里恢复显示”。如图4k所示,当眼球聚焦在该标记1106上时,头戴电子设备可以打开提示页面。提示页面上可以提示用户是否打开显示屏。当头戴电子设备通过摄像头检测到手指放在“是”的位置上,即重新恢复显示屏的显示。
可选的,本申请实施例中,头戴电子设备可以通过摄像头在检测到眼球特定状态下,例如眼球上翻、下翻或者快速眨眼,则头戴电子设备可以将显示屏关闭显示或打开显示。
不同场景下,用户对显示屏恢复或关闭的响应速度要求不同。例如,在观看视频模式下,用户对响应速度的要求较高。而在使用AR眼镜导航的场景下,用户无需时刻关注显示屏上显示的导航信息,用户对显示屏恢复或关闭的响应速度的要求较低,可以关闭显示屏的背光、显示面板和驱动IC,来进一步节省功耗。本申请实施例中,头戴电子设备100可以根据不同的场景下对显示屏恢复或关闭的响应速度的要求,设置不同的关闭显示屏显示的方案。在用户对响应速度的要求较高的场景(例如观看视频场景)下,可以仅关闭显示屏的背光或者显示面板。在用户对响应速度的要求较低的场景(例如导航场景)下,可以将显示屏的背光、显示面板和驱动IC均关闭,来进一步节省功耗。关于关闭显示屏的背光、显示面板和驱动IC的具体描述可以参考图9a和图9b示出的示例,这里不再赘述。
关于导航场景,请参阅图5,图5是本申请实施例提供的导航场景下一些人机交互的示意图。如图5中的5a所示,显示屏1100上可以显示导航信息,当用户200聚焦眼球焦点到显示屏的定焦焦点(例如眼球前方2米处)时,可以清晰的看到显示屏显示的导航信息。当用户看完导航信息,需要看现实世界时,如图5中的5b所示,头戴显示设备中的焦距检测光学传感器可以检测到眼球的焦距在显示屏定焦焦点以外的位置,例如眼球前方10米处。头戴显示设备中处理器可以将显示屏1100关闭显示。具体的,可以将显示屏1100的背光、显示面板和驱动IC均关闭。关闭后的显示屏1100是透明的,用户200可以通过显示屏1100观看到实体对象。当用户200需要重新观看显示屏的导航信息时,如图5中的5c所示,电子设备可以响应于用户的手势来恢复显示屏显示图像。关于用户的手势的描述可以参考图4e和图4g的描述,这里不再赘述。如图5中的5d所示,电子设备在检测到用户的手势时,即可以重新启动显示屏对导航信息进行显示。
可以理解的,头戴电子设备100中处理器可以是检测到以下一项或多项时即恢复显示屏上显示图像:a检测到用户手势;b检测到用户的眼球聚焦的焦点在显示屏1100的定焦焦点上。
可选的,头戴电子设备中可以包含速度传感器,来检测设备的移动速度。在头戴电子设备通过速度传感器检测到移动速度超过速度阈值,例如超过50千米/小时,则头戴电子设备可以关闭显示屏显示,也可以将显示屏上显示的导航信息移动到显示屏的侧面,如图4c所示,还可以移动并缩小显示屏显示图像位置,如图4d所示。在检测到头戴电子设备的移动速度过高时,将显示屏关闭。可以减少导航场景下用户移动速度过快显示屏显示图像影响用户安全的情况,为用户提供便利性。
可选的,在导航场景下,如果头戴电子设备根据设备定位位置确定当前行走路线的运动方向上距离阈值范围内没有路口,例如1千米内没有路口,则头戴电子设备可以关闭显示屏显示。请参阅图6,图6是本申请实施例提供的导航场景下另一些人机交互的示意图。如图6中的6a所示,当头戴电子设备检测到当前移动方向上经过5公里后才会有路口出现,则确定当前行走路线的运动方向上1千米内没有路口,则如图6中的6b所示,头戴电子设备可以关闭显示屏1100显示。显示屏1100关闭后,导航和定位系统仍然工作。当头戴电子设备根据设备定位位置确定1千米内出现路口时,如图6中的6c所示,则头戴电子设备可以重新打开显示屏1100,来显示导航信息。在导航场景下,未接近需要用户注意的路口的时候,关闭显示屏显示,可以节省头戴电子设备功耗,并减少显示屏显示图像对用户视线的遮挡,为用户提供便利性。
电子设备的显示屏上可以显示电子设备视角内实体对象相关的图像。其中,电子设备视角内实体对象可以利用摄像头采集图像确定。例如,摄像头采集到某件衣服的图像,则电子设备中处理器利用图像识别来确定图像内容为“衣服”,并确定该衣服的品牌、价格、购物链接等信息,并将这些信息显示在显示屏上。
在显示屏上显示的图像是针对于先后进入电子设备视角的多个实体对象时,电子设备可以统计得到某一时间段内用户眼球连续注视显示屏的图像的状态,根据统计结果确定是否关闭显示屏。电子设备在检测到实体对象1在显示屏上的图像未被眼球聚焦时,关闭显示屏显示。之后电子设备视角内出现实体对象2时,需要重新开启显示屏来显示实体对象2在显示屏上的图像。若检测到实体对象2在显示屏上的图像未被眼球聚焦时,再次关闭显示屏显示。
为减少显示屏反复被关闭打开的次数,电子设备可以在检测到连续N(大于1的整数)个实体对象在显示屏上的图像均未被眼球聚焦时,关闭显示面板和驱动IC。之后在检测到以下一项或多项时才开启显示屏和驱动IC,来显示电子设备当前视角内实体对象的图像:a.眼球的焦点聚焦在显示屏定焦焦点内。b.响应于某一用户操作。c.检测到先后M(大于1的整数)个实体对象进入电子设备视角内。
电子设备可以在检测到连续S(大于1的整数)个实体对象在显示屏上的图像均被眼球聚焦时,放宽关闭显示屏显示的条件。具体的,可以减小条件中第一阈值取值,增大第二阈值和第一时长的取值。从而可以减少显示屏反复被关闭打开的次数,延长显示屏寿命并减少显示屏反复被关闭打开对眼球的刺激。
举例说明,在佩戴AR眼镜的用户在动物园的场景下,检测到AR眼镜的视角内动物1的图像时,AR眼镜利用图像识别来确定图像内容为“动物1”。AR眼镜可以根据“动物1”确定显示屏显示内容为动物1关联的图像。AR眼镜的显示屏上显示该动物1关联的图像,例如可以包含动物1的网页链接、分布地、保护级别、相关动漫视频等。在检测到显示屏上动物1关联的图像未被眼球聚焦后,关闭显示屏。然后检测到AR眼镜的视角内动物2的图像时,AR眼镜打开显示屏并显示该动物2关联的图像,在检测到显示屏上动物2关联的图像仍未被眼球聚焦后,关闭显示屏。类似的,动物3关联的图像仍未被眼球聚焦后,关闭显示屏。则AR眼镜可以持续关闭显示屏直到检测到眼球的焦点聚焦在显示屏定焦焦点内,才打开显示屏显示图像。或者直到检测到用户操作才打开显示屏显示图像。或者直到检测到先后4个实体对象进入电子设备视角内才打开显示屏显示图像。
再例如,在导航场景下,显示屏显示导航信息。当AR眼镜检测到眼球聚焦焦点不在显示屏定焦焦点上时,可以将LCD显示屏的背光关闭。当AR眼镜检测到持续五分钟,眼球聚焦焦点仍没有回到显示屏定焦焦点上,则可以将LCD显示屏的显示面板关闭。当AR眼镜检测到持续十分钟,眼球聚焦焦点还是没有回到LCD显示屏定焦焦点上,则可以将LCD显示屏的驱动IC也关闭。
头戴电子设备还可以通过机器学习,获取用户对不同实体对象对应的图像历史聚焦的次数或概率。头戴电子设备可以根据每类实体对象的历史聚焦次数或概率确定关闭显示屏的触发条件。历史聚焦次数或概率越大,可以设置该类实体对象越宽松的关闭显示屏的触发条件。例如越小的第一阈值取值,越大的第二阈值和第一时长的取值。
不同的实体对象例如可以包含:人、汽车、动物、建筑等。
例如,头戴电子设备经过机器学习,得到以下结果:在摄像头视角内出现人,经过图像识别显示屏上显示为人关联的图像时,显示屏上的图像被眼球聚焦的概率为85%。而在摄像头视角内出现汽车,经过图像识别显示屏上显示为汽车关联的图像时,显示屏上的图像被眼球聚焦的概率为50%。在摄像头视角内出现建筑,经过图像识别显示屏上显示为建筑关联的图像时,显示屏上的图像被眼球聚焦的概率为10%。则可以在摄像头视角内出现人时,显示屏的定焦焦点被眼球聚焦少于1秒,电子设备确定显示屏上的图像未被眼球聚焦。在摄像头视角内出现汽车时,显示屏的定焦焦点被眼球聚焦少于2秒,电子设备确定显示屏上的图像未被眼球聚焦。在摄像头视角内出现建筑时,显示屏的定焦焦点被眼球聚焦少于3秒,电子设备才确定显示屏上的图像未被眼球聚焦。
上述的方法,利用机器学习确定用户偏好的显示屏显示内容,然后根据用户偏好的显示屏显示内容设置关闭显示屏条件。在节省功耗的同时,可以更精确的确定用户是否需要关闭显示屏。
头戴电子设备可以通过机器学习,获取用户对不同场景下对应的图像历史聚焦的次数或频率。头戴电子设备可以根据每个场景下实体对象的历史聚焦次数或频率确定关闭显示屏的触发条件。历史聚焦次数或频率越大,可以设置该场景下越宽松的关闭显示屏的触发条件。例如越小的第一阈值取值,越大的第二阈值和第一时长的取值。
不同的场景例如可以包含:虚拟试衣场景、名胜古迹场景、导航场景等。
例如,电子设备经过机器学习,得到以下结果:在虚拟试衣场景下,显示屏上的图像被聚焦的概率为95%。而在导航场景下,显示屏上的图像被聚焦的概率为48%。在名胜古迹场景下,显示屏上的图像被聚焦的概率为5%。则电子设备处理器检测到摄像头视角内为虚拟试衣场景,显示屏的定焦焦点被聚焦少于1秒,电子设备确定显示屏上的图像未被聚焦。在摄像头视角内为导航场景时,显示屏的定焦焦点被聚焦少于2秒,电子设备确定显示屏上的图像未被聚焦。在摄像头视角内为名胜古迹场景时,显示屏的定焦焦点被聚焦少于3秒,电子设备才确定显示屏上的图像未被聚焦。
本申请实施例中,对于远视眼或者近视眼的用户来说,头戴电子设备上可以矫正眼球度数。具体的,显示屏和眼球之间可以设置外加镜片的插槽,该插槽可以固定用于矫正视力的近视镜片或者远视镜片。
本申请实施例中,除了通过显示屏来显示图像,头戴电子设备可以包含投射系统,该投射系统可以代替显示屏,直接在用户视野中生成清晰的图像。该投射系统例如可以是全息波导显示仪,利用全息技术向眼球投射出可见的全息影像。
在使用投射系统向用户眼球投射图像的场景下,本申请实施例中,关闭显示屏显示可以是指关闭该投射系统。该投射系统被关闭后,用户眼球无法看到投射系统投射的图像,可以看到现实世界的实体对象。关闭显示屏的第一区域,可以是指投影系统在用户眼球中与第一区域对应的位置不投射图像。降低显示屏亮度,可以是指投影系统降低在用户眼球中投射图像的亮度。移动显示屏中显示图像的区域,可以是指移动投射的图像在用户眼球中的位置。缩小显示屏中显示图像的区域,可以是指缩小投射的图像在用户眼球中占据的区域。
本申请实施例中,电子设备可以包含两种模式:第一种模式下,电子设备可以根据眼球聚焦焦点关闭或打开显示屏,具体如图3、图4a-图4k、图5和图6示出的交互方式。第二种模式下,电子设备的显示屏不受眼球聚焦焦点的控制。电子设备可以响应于用户的操作确定一种模式。具体的,请参阅图7,图7是本申请实施例提供的人机交互的示意图。如图7所示,用户可以在头戴显示设备的设置界面上打开“眼球跟踪亮屏灭屏”的选项,则头戴显示设备可以响应于该打开操作,将电子设备设置在第一种模式下。在打开“眼球跟踪亮屏灭屏”的选项后,电子设备可以根据眼球聚焦焦点关闭或打开显示屏显示,具体执行图3、图4a-图4k、图5和图6示出的打开或关闭显示屏的方式。
请参阅图8,图8是本申请实施例提供的一种人机交互的示意图。如图8所示,头戴电子设备100可以与其他电子设备400,例如手机、平板等建立连接。该连接可以是蓝牙连接、WiFi连接或者其他无线连接。该连接还可以是有线连接,本申请实施例对此不作限定。
头戴电子设备100可以与电子设备400通过建立的连接交互数据。电子设备400还可以接收用户操作,例如触摸操作,并生成设置指令发送给头戴电子设备100。具体的,如图8所示,在头戴电子设备100与电子设备400建立连接后,电子设备400可以接收用户的触摸操作,并将用于打开功能:根据眼球焦点控制显示屏的指令发送给头戴电子设备100。头戴电子设备100执行打开该功能:根据眼球焦点控制显示屏。
可以理解的,图8示出的头戴电子设备100与电子设备400之间的交互举例仅用于解释本申请实施例,不应构成限定。头戴电子设备100还可以利用电子设备400来设置其他参数,或者交互其他数据,例如图4i中的设置界面。
本申请实施例中,显示屏1100可以是LCD显示屏,也可以是OLED显示屏。图9a和图9b分别是本申请实施例提供的一种显示屏的结构示意图。图9a为LCD的结构示意图,图9b是OLED的结构示意图。
如图9a所示,LCD显示屏包含背光,显示面板(panel),背光驱动电路(integratedcircuit,IC),和屏驱动IC。其中,显示面板用于提供不同的液晶分子的转动方向,从而达到每个像素点偏振光出射与否而达到是否显示的目的。
显示面板包含液晶盒、偏光板等。液晶盒中包含液晶分子,液晶分子不同的转向对光的偏振不同,从而实现像素的明暗状态。显示面板的每个像素对应的液晶盒在屏驱动IC的控制下实现不同的液晶转向,从而使光线透过或者不透过显示面板。偏光板用于提供一定的偏振方向,仅供偏振方向在该特定方向上的光通过。液晶盒的上下两面可以分别设置偏光板,从而实现偏振方向在特定方向上的光通过显示面板。液晶盒的上下两面可以包含靠近背光的一面和靠近眼球的一面。
由于显示面板中液晶不会发光,需要背光为显示屏提供光源。背光可以是发光二极管(light emitting diode,LED)实现。为实现显示屏的彩色效果,背光可以显示红绿蓝(red green blue,RGB)三色。具体的,每个像素均可以包含三色各自对应的LED。像素的红绿蓝三色也可以通过彩色滤光片和白光LED实现。
背光驱动IC和背光构成回路,背光驱动IC用于控制背光为显示屏提供光源。背光驱动IC可以与处理器接口连接,被处理器控制以调节背光的电流的大小,从而实现不同的背光亮度。处理器控制背光驱动IC输入给背光的电流大小可以是利用内容对应背光控制技术(content adaptive brightness control,CABC)或者环境光侦测对应背光控制技术(light adaptive brightness control,LABC)。
屏驱动IC可以接收处理器接口传输的显示数据,来驱动显示面板和背光。这些显示数据包含显示面板各个像素的亮度数据和色彩数据。屏驱动IC利用亮度数据通过显示数据传输通道驱动显示面板提供各个像素对应的亮度。屏驱动IC还可以通过RGB背光控制接口与背光驱动IC连接。屏驱动IC利用色彩数据通过RGB背光控制接口驱动背光驱动IC和背光提供各个像素对应的色彩。
如图9a所示,LCD显示屏还可以包含负载开关1。该负载开关1可以在处理器的控制下执行以下一项或多项操作:控制背光驱动IC关闭或恢复背光供电、控制关闭或恢复显示屏供电、控制关闭或恢复背光驱动IC供电、控制关闭或恢复屏驱动IC供电。
如图9b所示,OLED显示屏包含OLED显示面板(panel)和屏驱动IC。其中,OLED显示面板包含多个阵列排布的显示单元。每个显示单元可以在屏驱动IC的驱动下发光。处理器可以通过接口控制输送给OLED显示面板的电流的大小,从而实现不同的背光亮度。处理器控制输入给OLED显示面板的电流大小可以是利用CABC或者LABC。
屏驱动IC可以接收处理器接口传输的显示数据,来驱动OLED显示面板。这些显示数据包含OLED显示面板各个像素的亮度数据和色彩数据。屏驱动IC利用亮度数据和色彩数据驱动OLED显示面板提供各个像素对应的亮度和色彩。
如图9b所示,OLED显示屏还可以包含负载开关2。该负载开关2可以在处理器的控制下执行以下一项或多项操作:控制关闭或恢复OLED显示面板供电、控制关闭或恢复屏驱动IC供电。
本申请实施例中,处理器可以是图1所描述头戴电子设备100中的处理器110。上述对LCD显示屏和OLED显示屏的结构举例仅用于解释本申请实施例,不应构成限定。LCD显示屏和OLED显示屏均可以包含更多或更少的部分,也可以包含不同的部分布置。
下面介绍显示屏关闭显示的实现方式和显示屏定焦的实现。
(1)关闭显示屏显示
本申请实施例中,对于LCD显示屏来说,关闭显示屏显示可以包含以下任一种情况:①关闭显示屏的背光供电。②关闭显示屏的背光供电和显示面板供电。③关闭显示屏背光供电、显示面板、屏驱动IC和背光驱动IC。
当控制背光驱动IC关闭背光供电时,处理器依然通过屏驱动IC和背光驱动IC向显示面板发送显示数据,但由于背光被关闭,显示屏无法显示图像。由于显示数据一直被发送给显示面板,重新恢复背光供电恢复速度快。
当控制关闭显示面板供电时,显示面板无法接收屏驱动IC发送的显示数据,显示面板初始配置数据丢失。重新恢复显示屏供电时需要对每个像素进行初始化配置(例如一些初始电位赋值等)。因此恢复显示屏显示的速度较慢,可以节省显示面板电能消耗。在对显示屏恢复显示的响应速度要求不高的情况下,可以将显示面板关闭来进一步节省功耗。
当控制关闭背光驱动IC后,背光驱动IC无法接收处理器发送的背光数据。背光驱动IC也无法接收屏驱动IC发送的色彩数据。重新恢复背光驱动IC供电时类似的需要对背光驱动IC进行初始化配置。当控制关闭屏驱动IC后,屏驱动IC无法接收处理器发送的显示数据,也无法向背光驱动IC发送色彩数据。重新恢复屏驱动IC供电时类似的也需要对屏驱动IC进行初始化配置。因此重新恢复显示屏显示的速度慢。
本申请实施例中,对于OLED显示屏来说,关闭显示屏显示可以包含以下任一种情况:①关闭OLED显示面板供电。②关闭OLED显示面板供电和屏驱动IC供电。
其中,当处理器控制关闭OLED显示面板供电时,处理器依然向屏驱动IC发送显示数据,但由于OLED显示面板供电被关闭,OLED显示屏无法显示图像。重新恢复显示屏供电时需要对每个像素进行初始化配置(例如一些初始电位赋值等)。由于显示数据一直被发送给OLED显示面板,重新恢复OLED显示面板供电恢复速度快。
当控制关闭屏驱动IC后,屏驱动IC无法接收处理器发送的显示数据,也无法向OLED显示面板发送显示数据。重新恢复屏驱动IC供电时类似的也需要对屏驱动IC进行初始化配置。重新恢复屏驱动IC供电恢复速度较慢。
另外,处理器可以控制OLED显示面板部分区域内的像素供电被关闭。则该部分区域内无法显示图像。可以实现关闭显示屏上部分区域的显示。
(2)显示屏定焦
显示屏上显示的图像可以在用户眼球中成虚拟的图像。可以通过对显示屏的光学设计将该虚拟的图像对应的焦点设置在距离用户眼球前方一定距离内,例如2米或4米。该距离还可以是一个距离区间,例如2-4米。则在显示屏上显示的图像对用户眼球看来即成像在用户眼球前方定焦焦点上。
基于前述图1-图3、图4a-图4k、图5-图8、图9a和图9b所示的一些实施例,下面介绍本申请提供的根据眼球焦点控制显示屏的方法。
参见图10,图10是本发明实施例提供的根据眼球焦点控制显示屏的方法的流程示意图。如图10所示,该方法应用于头戴电子设备,该头戴电子设备包含显示屏,显示屏在关闭显示时是透明的。该头戴电子设备可以是图1示出的头戴电子设备。该方法包括:
S101、在显示屏上显示图像。
其中,用户眼球的聚焦焦点在第一距离范围内。第一距离范围可以参考图3中的3a所示的定焦焦点的相关描述,可以是距离用户200眼球前方的一个距离范围内,例如可以是距离用户200眼球前方2~4米的位置。
本申请实施例中,显示屏还可以被头戴电子设备中的投射系统替代,在眼球中形成图像。
S102、在检测到用户眼球聚焦焦点不在第一距离范围内的持续时长大于或等于第一时长时,关闭显示屏。
其中,第一时长可以是参考图3中的3b所示的超出定焦焦点的相关描述,例如可以是1分钟。
在一些可能的实施例中,步骤S102之后,在检测到用户眼球聚焦焦点落在第一距离范围内的持续时长大于或等于第二时长时,打开显示屏。
其中,第二时长可以是参考图3中的3c所示的回到定焦焦点的相关描述,例如可以是1秒。
在一些可能的实施例中,显示屏为液晶显示屏,在显示屏上播放视频时,关闭显示屏,包括:关闭显示屏的背光。
在另一些可能的实施例中,显示屏为液晶显示屏,在显示屏上显示导航信息时,关闭所述显示屏,包括:关闭所述显示屏的背光和以下一项或多项:显示面板、背光的驱动电路和所述显示屏的驱动电路。
关于液晶显示屏、显示面板、背光的驱动电路和所述显示屏的驱动电路的描述可以参考图9a所示的LCD显示屏的具体描述,这里不再赘述。
在一些可能的实施例中,所述显示屏为有机发光二极管显示屏,在显示屏上播放视频时,关闭所述显示屏,包括:关闭显示屏的显示面板。
在另一些可能的实施例中,显示屏为有机发光二极管显示屏,在显示屏上显示导航信息时,关闭显示屏,包括:关闭显示屏的驱动电路和显示屏的显示面板。
关于OLED显示屏、OLED显示面板和驱动电路的描述可以参考图9b所示的OLED显示屏的具体描述,这里不再赘述。
在一些可能的实施例中,在检测到以下任一项或多项时,关闭显示屏:检测到用户眼球聚焦焦点不在第一距离范围内的持续时长大于或等于第一时长。检测到第一按键的按下操作。检测到第一手势。检测到第一语音信号。
其中,第一按键可以参考图4g中的第一按键的相关描述。第一手势可以参考图4g中的第一手势的相关描述,第一手势例如可以是以下手势中的一个或多个:剪刀手、拳头、打响指、比OK手势等。第一语音信号可以参考图4h中的第一语音信号的相关描述。
进一步的,第一按键与关闭显示屏的指令的对应关系可以是系统预设的,也可以是响应于用户的操作设置的。具体参考图4i相关描述。图4i示出的设置界面也可以是在与头戴电子设备连接的手机等电子设备上显示的。
在一些可能的实施例中,在检测到以下任一项或多项时,打开显示屏:检测到用户眼球聚焦焦点落在第一距离范围内的持续时长大于或等于第二时长。检测到第二按键的按下操作。检测到第二手势。检测到第二语音信号。
其中,第二按键可以参考图4g中的第二按键的相关描述。第一按键和第二按键可以相同,也可以不同。第二手势可以参考图4e中的第二手势的相关描述。第一手势和第二手势可以相同,也可以不同。
进一步的,第二按键与打开显示屏的指令的对应关系可以是系统预设的,也可以是响应于用户的操作设置的。具体可以参考图4i相关描述。图4i示出的设置界面也可以是在与头戴电子设备连接的手机等电子设备上显示的。
在上述步骤S101-S102中,当用户眼球聚焦的焦点不在显示屏的定焦焦点内时,即关闭显示屏。用户可以通过透明的显示屏观看实体对象。可以减少显示图像对用户观看现实世界的影响。另外可以减少显示屏的功耗。当用户眼球聚焦的焦点在显示屏的定焦焦点内时,即打开显示屏。可以提高头戴电子设备的操作便利性。
在观看视频时,用户需要看实体对象则暂停视频播放且关闭显示屏第一区域的显示,可以降低功耗并提高用户观看视频的便利性。另外,仅关闭显示面板无需关闭屏驱动IC,在恢复播放视频时无需初始化配置屏驱动IC,从而可以提高恢复播放的响应速度。
用户操作还可以是显示屏触控操作和脑电波信号。头戴电子设备还可以通过摄像头在检测到眼球特定状态下,例如眼球上翻、下翻或者快速眨眼,则头戴电子设备可以将显示屏关闭显示或打开显示。
可选的,在显示屏显示导航信息时,头戴电子设备还可以通过速度传感器检测到移动速度超过速度阈值,关闭显示屏显示,也可以将显示屏上显示的导航信息移动到显示屏的侧面。在检测到头戴电子设备的移动速度过高时,将显示屏关闭。可以减少导航场景下用户移动速度过快显示屏显示图像影响用户安全的情况,为用户提供便利性。
可选的,在显示屏显示导航信息时,头戴电子设备还可以根据设备定位位置确定当前行走路线的运动方向上距离阈值范围内没有路口,例如1千米内没有路口,则头戴电子设备可以关闭显示屏显示。在导航场景下,未接近需要用户注意的路口的时候,关闭显示屏显示,可以节省头戴电子设备功耗,并减少显示屏显示图像对用户视线的遮挡,为用户提供便利性。
可选的,为减少显示屏反复被关闭打开的次数,电子设备可以在检测到连续N个实体对象在显示屏上的图像均未被眼球聚焦时,关闭显示面板和驱动IC。之后在检测到以下一项或多项时才开启显示屏和驱动IC,来显示电子设备当前视角内实体对象的图像:a.眼球的焦点聚焦在显示屏定焦焦点内。b.响应于某一用户操作。c.检测到先后M(大于1的整数)个实体对象进入电子设备视角内。
在导航场景下,可以将显示屏的背光、显示面板和驱动IC均关闭,来进一步节省功耗。
可选的,头戴电子设备还可以通过机器学习,获取用户对不同实体对象对应的图像历史聚焦的次数或概率。头戴电子设备可以根据每类实体对象的历史聚焦次数或概率确定关闭显示屏的触发条件。历史聚焦次数或概率越大,可以设置该类实体对象越宽松的关闭显示屏的触发条件。例如越小的第一阈值取值,越大的第二阈值和第一时长的取值。
上述的方法,利用机器学习确定用户偏好的显示屏显示内容,然后根据用户偏好的显示屏显示内容设置关闭显示屏条件。在节省功耗的同时,可以更精确的确定用户是否需要关闭显示屏。
可选的,头戴电子设备可以通过机器学习,获取用户对不同场景下对应的图像历史聚焦的次数或频率。头戴电子设备可以根据每个场景下实体对象的历史聚焦次数或频率确定关闭显示屏的触发条件。历史聚焦次数或频率越大,可以设置该场景下越宽松的关闭显示屏的触发条件。例如越小的第一阈值取值,越大的第二阈值和第一时长的取值。
上述的方法,利用机器学习确定用户偏好的显示屏显示场景,然后根据用户偏好的显示屏显示场景设置关闭显示屏条件。在节省功耗的同时,可以更精确的确定用户是否需要关闭显示屏。
可以理解的,关于图10所述方法的各个步骤的具体实现方式,可参考前述图1-图3、图4a-图4k、图5-图8、图9a和图9b实施例,这里不赘述。
本申请的各实施方式可以任意进行组合,以实现不同的技术效果。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid StateDisk)等。
总之,以上所述仅为本发明技术方案的实施例而已,并非用于限定本发明的保护范围。凡根据本发明的揭露,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (20)
1.一种根据眼球焦点控制显示屏的方法,其特征在于,所述方法应用于头戴电子设备,所述头戴电子设备包含显示屏,所述显示屏在关闭显示时是透明的;所述方法包括:
所述显示屏显示图像,用户眼球的聚焦焦点在第一距离范围内;
当以下一个或多个条件发生时,关闭所述显示屏的显示:
检测到所述用户眼球的聚焦焦点落在所述第一距离范围内的定焦焦点上低于第一阈值;或者
检测到所述用户眼球的聚焦焦点超出所述第一距离范围的定焦焦点的频率超过第二阈值;或者
检测到所述用户眼球的聚焦焦点从所述第一距离范围的定焦焦点移开时间超过第一时长。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当以下一个或多个条件发生时,打开所述显示屏的显示:
检测到所述用户眼球的聚焦焦点落在所述第一距离范围的定焦焦点上超过第二时长;或者
检测到所述用户眼球的聚焦焦点落在所述第一距离范围的定焦焦点的频率超过第三阈值;或者
检测到所述用户眼球的聚焦焦点落在所述第一距离范围的定焦焦点附近超过第三时长;或者
检测到所述用户眼球的聚焦焦点落在所述第一距离范围的定焦焦点以外的持续时间小于第四时长。
3.根据权利要求1所述的方法,其特征在于,所述显示屏上显示所述电子设备视角内实体对象相关的图像;所述方法还包括:
在检测到连续N个实体对象在显示屏上的图像均未被眼球聚焦时,关闭所述显示屏的显示,所述N为大于1的整数。
4.一种根据眼球焦点控制显示屏的方法,其特征在于,所述方法应用于头戴电子设备,所述头戴电子设备包含显示屏,所述显示屏在关闭显示时是透明的;所述方法包括:
所述显示屏显示导航信息,用户眼球的聚焦焦点在第一距离范围内;
当以下一个或多个条件发生时,关闭所述显示屏的显示:
检测到所述用户眼球的聚焦焦点落在所述第一距离范围内的定焦焦点上低于第一阈值;或者
检测到所述用户眼球的聚焦焦点超出所述第一距离范围的定焦焦点的频率超过第二阈值;或者
检测到所述用户眼球的聚焦焦点从所述第一距离范围的定焦焦点移开时间超过第一时长。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
当以下一个或多个条件发生时,打开所述显示屏的显示:
检测到所述用户眼球的聚焦焦点落在所述第一距离范围的定焦焦点上超过第二时长;或者
检测到所述用户眼球的聚焦焦点落在所述第一距离范围的定焦焦点的频率超过第三阈值;或者
检测到所述用户眼球的聚焦焦点落在所述第一距离范围的定焦焦点附近超过第三时长;或者
检测到所述用户眼球的聚焦焦点落在所述第一距离范围的定焦焦点以外的持续时间小于第四时长。
6.根据权利要求4所述的方法,其特征在于,所述头戴电子设备还包括速度传感器,所述速度传感器用于检测所述头戴电子设备的移动速度;所述方法还包括:
当检测到所述头戴电子设备的移动速度超过速度阈值,关闭所述显示屏的显示;或者,
将所述显示屏上显示的导航信息移动到所述显示屏的侧面;或者,
移动并缩小所述显示屏显示导航信息的位置。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
当所述头戴电子设备根据定位位置确定当前行走路线的运动方向上距离阈值范围内没有路口时,关闭所述显示屏的显示。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
当所述头戴电子设备根据所述定位位置确定当前行走路线的运动方向上距离阈值范围内有路口时,重新打开所述显示屏以显示所述导航信息。
9.根据权利要求4、6-8任一项所述的方法,其特征在于,所述显示屏为液晶显示屏,所述关闭所述显示屏的显示,包括:
关闭所述显示屏的背光和以下一项或多项:显示面板、背光的驱动电路和所述显示屏的驱动电路。
10.根据权利要求4、6-8任一项所述的方法,其特征在于,所述显示屏为有机发光二极管显示屏,所述关闭所述显示屏的显示,包括:
关闭所述显示屏的驱动电路和显示屏的显示面板。
11.根据权利要求1至10任一项所述的方法,其特征在于,所述方法还包括:
在检测到以下任一项或多项时,关闭所述显示屏的显示:
检测到第一按键的按下操作;或者
检测到第一手势;或者
检测到第一语音信号。
12.根据权利要求1至10任一项所述的方法,其特征在于,所述方法还包括:
在检测到以下任一项或多项时,打开所述显示屏的显示:
检测到第二按键的按下操作;或者
检测到第二手势;或者
检测到第二语音信号。
13.一种根据眼球焦点控制显示屏的方法,其特征在于,所述方法应用于头戴电子设备,所述头戴电子设备包含显示屏,所述显示屏在关闭显示时是透明的;所述方法包括:
所述显示屏上播放视频,所述用户眼球的聚焦焦点在第一距离范围内;
当以下一个或多个条件发生时,关闭所述显示屏的显示,暂停播放所述显示屏上的视频:
检测到所述用户眼球的聚焦焦点落在所述第一距离范围内的定焦焦点上低于第一阈值;或者
检测到所述用户眼球的聚焦焦点超出所述第一距离范围的定焦焦点的频率超过第二阈值;或者
检测到所述用户眼球的聚焦焦点从所述第一距离范围的定焦焦点移开时间超过第一时长。
14.根据权利要求13所述的方法,其特征在于,所述方法还包括:
当以下一个或多个条件发生时,打开所述显示屏的显示,开始播放所述显示屏上的视频:
检测到所述用户眼球的聚焦焦点落在所述第一距离范围的定焦焦点上超过第二时长;或者
检测到所述用户眼球的聚焦焦点落在所述第一距离范围的定焦焦点的频率超过第三阈值;或者
检测到所述用户眼球的聚焦焦点落在所述第一距离范围的定焦焦点附近超过第三时长;或者
检测到所述用户眼球的聚焦焦点落在所述第一距离范围的定焦焦点以外的持续时间小于第四时长。
15.根据权利要求13所述的方法,其特征在于,所述方法还包括:
在检测到以下任一项或多项时,关闭所述显示屏的显示,暂停播放所述显示屏上的视频:
检测到第一按键的按下操作;或者
检测到第一手势;或者
检测到第一语音信号。
16.根据权利要求15所述的方法,其特征在于,所述方法还包括:
在检测到以下任一项或多项时,打开所述显示屏的显示,开始播放所述显示屏上的视频:
检测到第二按键的按下操作;或者
检测到第二手势;或者
检测到第二语音信号。
17.根据权利要求13或15所述的方法,其特征在于,所述显示屏为液晶显示屏,所述关闭所述显示屏的显示,包括:
关闭所述显示屏的背光。
18.根据权利要求13或15所述的方法,其特征在于,所述显示屏为有机发光二极管显示屏,所述关闭所述显示屏的显示,包括:
关闭所述显示屏的显示面板。
19.一种头戴电子设备,其特征在于,包括:一个或多个处理器、一个或多个存储器;
所述一个或多个存储器与所述一个或多个处理器耦合,所述一个或多个存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述一个或多个处理器执行所述计算机指令时,执行如权利要求1-18任一项所述的根据眼球焦点控制显示屏的方法。
20.一种计算机存储介质,其特征在于,包括计算机指令,当所述计算机指令在终端上运行时,使得所述终端执行如权利要求1-18任一项所述的根据眼球焦点控制显示屏的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210492188.0A CN114879840A (zh) | 2018-11-23 | 2018-11-23 | 根据眼球焦点控制显示屏的方法和头戴电子设备 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210492188.0A CN114879840A (zh) | 2018-11-23 | 2018-11-23 | 根据眼球焦点控制显示屏的方法和头戴电子设备 |
CN201811407510.5A CN109582141B (zh) | 2018-11-23 | 2018-11-23 | 根据眼球焦点控制显示屏的方法和头戴电子设备 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811407510.5A Division CN109582141B (zh) | 2018-11-23 | 2018-11-23 | 根据眼球焦点控制显示屏的方法和头戴电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114879840A true CN114879840A (zh) | 2022-08-09 |
Family
ID=65924258
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210492188.0A Pending CN114879840A (zh) | 2018-11-23 | 2018-11-23 | 根据眼球焦点控制显示屏的方法和头戴电子设备 |
CN201811407510.5A Active CN109582141B (zh) | 2018-11-23 | 2018-11-23 | 根据眼球焦点控制显示屏的方法和头戴电子设备 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811407510.5A Active CN109582141B (zh) | 2018-11-23 | 2018-11-23 | 根据眼球焦点控制显示屏的方法和头戴电子设备 |
Country Status (5)
Country | Link |
---|---|
US (1) | US12105870B2 (zh) |
EP (1) | EP3862845B1 (zh) |
CN (2) | CN114879840A (zh) |
FI (1) | FI3862845T3 (zh) |
WO (1) | WO2020103763A1 (zh) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114879840A (zh) | 2018-11-23 | 2022-08-09 | 华为技术有限公司 | 根据眼球焦点控制显示屏的方法和头戴电子设备 |
CN111824043A (zh) * | 2019-04-16 | 2020-10-27 | 上汽通用汽车有限公司 | 汽车显示屏控制系统和方法以及包括该系统的车辆 |
CN111077989B (zh) * | 2019-05-27 | 2023-11-24 | 广东小天才科技有限公司 | 一种基于电子设备的屏幕控制方法及电子设备 |
CN110332944A (zh) * | 2019-07-18 | 2019-10-15 | 百度国际科技(深圳)有限公司 | 导航设备控制方法、装置、设备和存储介质 |
CN111240414B (zh) * | 2020-01-23 | 2021-03-09 | 福州贝园网络科技有限公司 | 一种眼镜腰带式计算机装置 |
JP7423325B2 (ja) * | 2020-01-29 | 2024-01-29 | キヤノン株式会社 | 表示制御装置およびその制御方法 |
CN111741511B (zh) * | 2020-05-29 | 2022-05-10 | 华为技术有限公司 | 快速匹配方法及头戴电子设备 |
CN111710284B (zh) * | 2020-07-17 | 2023-03-31 | Oppo广东移动通信有限公司 | 智能眼镜控制方法、智能眼镜控制装置及智能眼镜 |
WO2022212072A1 (en) * | 2021-03-31 | 2022-10-06 | Snap Inc. | Eyewear projector brightness control |
WO2022245564A1 (en) * | 2021-05-17 | 2022-11-24 | Snap Inc. | Eyewear device dynamic power configuration |
CN113359270B (zh) * | 2021-05-25 | 2023-06-09 | 歌尔股份有限公司 | 头戴设备的屈光度调节方法及屈光度调节系统 |
CN113485546A (zh) * | 2021-06-29 | 2021-10-08 | 歌尔股份有限公司 | 可穿戴设备的控制方法、可穿戴设备及可读存储介质 |
CN113672085A (zh) * | 2021-08-04 | 2021-11-19 | Oppo广东移动通信有限公司 | 参数控制方法、装置、头戴式显示设备以及存储介质 |
US20230050526A1 (en) * | 2021-08-10 | 2023-02-16 | International Business Machines Corporation | Internet of things configuration using eye-based controls |
CN113703572B (zh) * | 2021-08-25 | 2024-02-09 | 京东方科技集团股份有限公司 | 电子设备、控制方法、控制装置和存储介质 |
CN113504833B (zh) * | 2021-09-10 | 2021-12-24 | 世纳微电子科技(成都)有限公司 | 数字光学色温传感器、眼球追踪装置及人机交互系统 |
CN113900253A (zh) * | 2021-10-18 | 2022-01-07 | 杨敬尧 | 一种迷你功能型镜头模组 |
CN114615488B (zh) * | 2022-03-14 | 2022-12-27 | 北京行者无疆科技有限公司 | 一种ar眼镜显示模式的控制方法 |
CN114779916B (zh) * | 2022-03-29 | 2024-06-11 | 杭州海康威视数字技术股份有限公司 | 一种电子设备屏幕唤醒方法、门禁管理方法及装置 |
CN116149471A (zh) * | 2022-12-30 | 2023-05-23 | 维沃移动通信有限公司 | 显示控制方法、装置、增强现实设备和介质 |
CN116880702B (zh) * | 2023-09-08 | 2024-01-05 | 深圳市江元科技(集团)有限公司 | 一种感应式车载媒体的控制方法、系统和存储介质 |
CN117056749B (zh) * | 2023-10-12 | 2024-02-06 | 深圳市信润富联数字科技有限公司 | 点云数据处理方法、装置、电子设备及可读存储介质 |
Family Cites Families (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2093603B1 (en) | 2008-02-19 | 2011-08-17 | Saab Ab | Head-up display with brightness control |
US9081416B2 (en) * | 2011-03-24 | 2015-07-14 | Seiko Epson Corporation | Device, head mounted display, control method of device and control method of head mounted display |
US10627860B2 (en) * | 2011-05-10 | 2020-04-21 | Kopin Corporation | Headset computer that uses motion and voice commands to control information display and remote devices |
AU2011204946C1 (en) * | 2011-07-22 | 2012-07-26 | Microsoft Technology Licensing, Llc | Automatic text scrolling on a head-mounted display |
CN103294178A (zh) * | 2012-02-29 | 2013-09-11 | 联想(北京)有限公司 | 一种人机交互控制方法及电子终端 |
CN202602831U (zh) * | 2012-05-11 | 2012-12-12 | 山东沃飞电子科技有限公司 | 显示控制装置 |
US9310611B2 (en) | 2012-09-18 | 2016-04-12 | Qualcomm Incorporated | Methods and systems for making the use of head-mounted displays less obvious to non-users |
US9619911B2 (en) | 2012-11-13 | 2017-04-11 | Qualcomm Incorporated | Modifying virtual object display properties |
WO2015047032A1 (ko) | 2013-09-30 | 2015-04-02 | 삼성전자 주식회사 | 생체 신호에 기초하여 컨텐츠를 처리하는 방법, 및 그에 따른 디바이스 |
US9836122B2 (en) * | 2014-01-21 | 2017-12-05 | Osterhout Group, Inc. | Eye glint imaging in see-through computer display systems |
US20150288788A1 (en) * | 2014-04-08 | 2015-10-08 | Stephen Y Liu | Mobile Device Management |
US20160025971A1 (en) * | 2014-07-25 | 2016-01-28 | William M. Crow | Eyelid movement as user input |
CN104850317A (zh) * | 2014-12-31 | 2015-08-19 | 华为终端(东莞)有限公司 | 可穿戴设备的屏幕的显示方法及可穿戴设备 |
CN104598029A (zh) | 2015-01-12 | 2015-05-06 | 联想(北京)有限公司 | 一种控制电子设备的方法及电子设备 |
WO2016138178A1 (en) * | 2015-02-25 | 2016-09-01 | Brian Mullins | Visual gestures for a head mounted device |
CN105203028B (zh) | 2015-10-10 | 2018-08-31 | 杭州中科极光科技有限公司 | 基于人眼特征的激光图像散斑的测量系统及测量方法 |
CN105204651A (zh) * | 2015-11-12 | 2015-12-30 | 上海卓易科技股份有限公司 | 一种控制方法及装置 |
CN105759959A (zh) | 2016-01-29 | 2016-07-13 | 广东欧珀移动通信有限公司 | 一种用户终端的控制方法及用户终端 |
US10345988B2 (en) * | 2016-03-16 | 2019-07-09 | International Business Machines Corporation | Cursor and cursor-hover based on user state or sentiment analysis |
US10372205B2 (en) * | 2016-03-31 | 2019-08-06 | Sony Interactive Entertainment Inc. | Reducing rendering computation and power consumption by detecting saccades and blinks |
US10095307B2 (en) * | 2016-05-13 | 2018-10-09 | Google Llc | Eye tracking systems and methods for virtual reality environments |
CN107424584A (zh) * | 2016-05-24 | 2017-12-01 | 富泰华工业(深圳)有限公司 | 护眼系统及方法 |
US10552183B2 (en) * | 2016-05-27 | 2020-02-04 | Microsoft Technology Licensing, Llc | Tailoring user interface presentations based on user state |
KR102461953B1 (ko) * | 2016-07-25 | 2022-10-31 | 매직 립, 인코포레이티드 | 증강 현실 및 가상 현실 안경류를 사용한 이미징 수정, 디스플레이 및 시각화 |
TWI610059B (zh) * | 2016-08-04 | 2018-01-01 | 緯創資通股份有限公司 | 三維量測方法及應用其之三維量測裝置 |
KR20180028796A (ko) | 2016-09-09 | 2018-03-19 | 삼성전자주식회사 | 이미지 표시 방법, 저장 매체 및 전자 장치 |
CN106412563A (zh) | 2016-09-30 | 2017-02-15 | 珠海市魅族科技有限公司 | 一种图像显示方法以及装置 |
US20210191491A1 (en) * | 2016-10-24 | 2021-06-24 | Hewlett-Packard Development Company, L.P. | Awakening electronic devices in selected modes of operation |
US20180314066A1 (en) * | 2017-04-28 | 2018-11-01 | Microsoft Technology Licensing, Llc | Generating dimming masks to enhance contrast between computer-generated images and a real-world view |
US10810773B2 (en) * | 2017-06-14 | 2020-10-20 | Dell Products, L.P. | Headset display control based upon a user's pupil state |
CN207651151U (zh) * | 2017-12-27 | 2018-07-24 | 北京枭龙防务科技有限公司 | 一种自动调整显示内容的透视型近眼显示装置 |
US10922862B2 (en) * | 2018-04-05 | 2021-02-16 | Lenovo (Singapore) Pte. Ltd. | Presentation of content on headset display based on one or more condition(s) |
CN114879840A (zh) * | 2018-11-23 | 2022-08-09 | 华为技术有限公司 | 根据眼球焦点控制显示屏的方法和头戴电子设备 |
-
2018
- 2018-11-23 CN CN202210492188.0A patent/CN114879840A/zh active Pending
- 2018-11-23 CN CN201811407510.5A patent/CN109582141B/zh active Active
-
2019
- 2019-11-15 US US17/295,699 patent/US12105870B2/en active Active
- 2019-11-15 WO PCT/CN2019/118623 patent/WO2020103763A1/zh unknown
- 2019-11-15 EP EP19886694.9A patent/EP3862845B1/en active Active
- 2019-11-15 FI FIEP19886694.9T patent/FI3862845T3/fi active
Also Published As
Publication number | Publication date |
---|---|
US12105870B2 (en) | 2024-10-01 |
US20220019282A1 (en) | 2022-01-20 |
EP3862845B1 (en) | 2024-01-10 |
EP3862845A4 (en) | 2021-12-29 |
CN109582141A (zh) | 2019-04-05 |
EP3862845A1 (en) | 2021-08-11 |
WO2020103763A1 (zh) | 2020-05-28 |
CN109582141B (zh) | 2022-05-10 |
FI3862845T3 (fi) | 2024-04-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109582141B (zh) | 根据眼球焦点控制显示屏的方法和头戴电子设备 | |
CN110221432B (zh) | 头戴式显示器的图像显示方法及设备 | |
CN109710080B (zh) | 一种屏幕控制和语音控制方法及电子设备 | |
US9245389B2 (en) | Information processing apparatus and recording medium | |
CN110244840A (zh) | 图像处理方法、相关设备及计算机存储介质 | |
US11798234B2 (en) | Interaction method in virtual reality scenario and apparatus | |
CN111103975B (zh) | 显示方法、电子设备及系统 | |
CN111526407B (zh) | 屏幕内容的显示方法及装置 | |
CN114257920B (zh) | 一种音频播放方法、系统和电子设备 | |
CN111458876B (zh) | 一种头戴式显示设备的控制方法及头戴式显示设备 | |
US20240231038A9 (en) | Control Method for Wearable Device, and Electronic Device | |
WO2022089625A1 (zh) | 一种增强现实功能控制方法和电子设备 | |
CN112565735B (zh) | 一种虚拟现实的测量和显示方法、装置、以及系统 | |
JP2018085595A (ja) | 頭部装着型表示装置、及び、頭部装着型表示装置の制御方法 | |
CN112558847B (zh) | 控制界面显示的方法及头戴式显示器 | |
CN115515001B (zh) | 屏幕镜像方法、装置、设备及存储介质 | |
CN116860102A (zh) | 一种佩戴检测方法及相关装置 | |
CN118000660A (zh) | 前庭功能的风险检测方法及电子设备 | |
CN116414339A (zh) | 穿戴式设备及其控制方法 | |
CN114564162A (zh) | 一种数据传输方法、电子设备、系统及存储介质 | |
CN116540911A (zh) | 信息交互方法、手表及计算机可读存储介质 | |
CN118033903A (zh) | 头戴式显示器及其摄像头的调节方法 | |
CN117130472A (zh) | 虚拟空间操作指引显示方法、移动设备及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |