CN116679822A - 一种头戴式设备的调焦控制方法及相关设备 - Google Patents

一种头戴式设备的调焦控制方法及相关设备 Download PDF

Info

Publication number
CN116679822A
CN116679822A CN202210162620.XA CN202210162620A CN116679822A CN 116679822 A CN116679822 A CN 116679822A CN 202210162620 A CN202210162620 A CN 202210162620A CN 116679822 A CN116679822 A CN 116679822A
Authority
CN
China
Prior art keywords
user
head
information
focusing
gazing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210162620.XA
Other languages
English (en)
Inventor
卢江林
孔飞
吴开涛
辛桂珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202210162620.XA priority Critical patent/CN116679822A/zh
Publication of CN116679822A publication Critical patent/CN116679822A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C7/00Optical parts
    • G02C7/02Lenses; Lens systems ; Methods of designing lenses
    • G02C7/08Auxiliary lenses; Arrangements for varying focal length
    • G02C7/081Ophthalmic lenses with variable focal length

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例公开了一种头戴式设备的调焦控制方法及相关设备,其特征在于,所述方法包括:响应于目标操作,获取用户的注视信息;所述注视信息包括所述用户通过所述头戴式设备注视电子设备的显示屏的注视距离,和注视时长、注视内容、注视状态或注视环境中的一种或多种;基于所述注视信息确定针对所述头戴式设备的调焦策略;所述调焦策略用于调节所述头戴式设备的焦距。采用本申请实施例能够更加智能地改善用户眼疲劳状态。

Description

一种头戴式设备的调焦控制方法及相关设备
技术领域
本发明涉及智能终端技术领域,尤其涉及一种头戴式设备的调焦控制方法及相关设备。
背景技术
近视防控是当前全球性的一个难题。特别是随着电子产品的普及、学习及工作时长增加、户外活动时间减少以及各种不健康用眼习惯增多,当前青少年近视率居高不下。
有调查表明:34.2%的受访者每天使用手机在5小时以上;受访者主要用手机刷短视频(67.9%)和沟通工作事项(62.3%),其他还有:玩微博、微信等社交平台(53.3%),浏览新闻和资讯(45.9%),看影视剧(45.8%),打游戏(38.2%),上网课(31.1%);不同的阅读内容,眼睛焦点移动的频率不一样,疲劳程度不一样。此外,使用者的行为,如走路和坐车时身体一直晃动,看手机或屏幕时,焦点会不断调整,更容易引起眼睛疲劳;躺着时眼压比站着或坐着高,更容易引起眼睛疲劳;更重要的,昏暗的灯光、近距离阅读、高屏幕亮度等环境因素也会更容易引起眼睛疲劳。
医学临床试验表明,人眼可以快速响应变焦镜片的屈光度变化,从而主动牵引人眼睫状肌变化,达到视力矫正、疲劳缓解等目的。但在现有技术中,变焦镜片的屈光度调节方法(即变焦镜片的头戴式设备的调焦控制方法)存在以下缺点:功能单一,只有固定调焦档位,使用者眼部无法实现持续、主动的放松;调焦的触发方式无法根据使用者眼疲劳状态进行自动调整。
因此,如何提供一种头戴式设备的调焦控制方法,以实现头戴式设备自动调焦,从而更加智能地改善用户眼疲劳状态,是亟待解决的问题。
发明内容
本发明实施例所要解决的技术问题在于,提供一种头戴式设备的调焦控制方法及相关设备,以实现头戴式设备自动调焦,从而更加智能地改善用户眼疲劳状态。
第一方面,本发明实施案例提供一种头戴式设备的调焦控制方法,其特征在于,所述方法包括:响应于目标操作,获取用户的注视信息;所述注视信息包括所述用户通过所述头戴式设备注视电子设备的显示屏的注视距离,和注视时长、注视内容、注视状态或注视环境中的一种或多种;基于所述注视信息确定针对所述头戴式设备的调焦策略;所述调焦策略用于调节所述头戴式设备的焦距。
在本发明实施例中,基于用户的注视信息为头戴式设备生成调焦策略,以使得头戴式设备能够基于该调焦策略进行自动调焦,从而在人眼无感知的情况下同时实现视野清晰且眼睛放松的效果,提升了用户体验。具体地,当检测到目标操作后,可获取用户的注视信息(该信息中不仅包括用户的注视距离,还可包括用户注视时长等相关信息),而后可基于这些信息对用户眼部状态进行分析,进一步地,基于用户眼部状态的分析结果为用户生成未来一段时间内的调焦策略。而现有技术中,在用户视线进行远近交替时,即用户注视距离发生变化时,是通过将镜片的焦距调节至目标焦距(该目标焦距为用户注视距离的倒数),使用户获得视力矫正,但是,在该现有技术的方案中,只有用户的注视距离发生变化,头戴式设备才会改变镜片的焦距,并未考虑用户实际的用眼情况(如用户在眼疲劳状态),更未对未来时间段内的调焦策略进行预测,从而无法有效且及时地缓解用户的眼疲劳状态。综上,由于本申请在生成调焦策略时,不仅考虑了用户的注视距离,还考虑了其他相关注视信息(如注视时长,注视内容等),且是基于注视信息主动生成未来一段时间内的调焦策略,最终根据该调焦策略进行自动调焦,因而避免了用户由于眼部状态发生变化而注视距离未发生变化时,而导致的需要主动调整眼睛焦点所产生的眼疲劳,实现了在人眼无感知的情况下视野清晰且眼睛放松的效果,提升了用户体验。
在一种可能的实现方式中,所述获取用户的注视信息,包括以下至少一种:通过所述电子设备上的传感器获取所述注视信息中的部分或全部信息;通过所述头戴式设备上的传感器获取所述注视信息中的部分或全部信息;通过云端获取所述注视信息中的部分或全部信息。
在本发明实施例中,由于注视信息中所包括的多种信息需要通过多种传感器得到,因此若电子设备上能够集成获取所需信息的多种传感器,则可通过电子设备上的多种传感器得到用户的注视信息;若所需信息的部分传感器集成在头戴式设备上,则可通过头戴式设备采集对应的数据;若所需信息的部分传感器集成在其他电子设备上,则可通过其他电子设备采集对应的数据并上传至云端。综上,可通过多种途径获取到更加完整与全面的用户的注视信息,从而能够生成更加接近于用户实际需求的调焦策略,提升了用户体验。
在一种可能的实现方式中,所述基于所述注视信息确定调焦策略,包括:基于所述注视信息,得到所述用户的眼部预测信息,所述眼部预测信息包括所述用户在未来时间段内的眨眼频率、眼疲劳时间中的一种或多种;基于所述眼部预测信息,确定所述调焦策略。
在本发明实施例中,当获取到用户的注视状态、行为状态、阅读内容、阅读环境等信息后,可通过深度学习方法,预测在未来一段时间内用户眼疲劳发生的时间、眨眼频率等,进而基于预测的信息生成头戴式设备的调焦策略,以使得头戴式设备能够基于该调焦策略进行自动调焦,实现了在人眼无感知的情况下放松眼睛,提升了用户体验。
在一种可能的实现方式中,所述眼部预测信息包括所述用户在所述未来时间段内的眼疲劳时间,所述基于所述眼部预测信息,确定所述调焦策略,包括:获取所述用户的平均注视距离和所述头戴式设备的当前焦距;基于所述平均注视距离和所述当前焦距,计算所述用户所需的目标焦距;基于所述目标焦距和预测的所述眼疲劳时间,确定所述调焦策略。
在本发明实施例中,若预测了用户在未来时间段内进入眼疲劳状态的时间,则在用户进入眼疲劳状态前,通过调节镜片的焦距,实现眼睛的放松,从而避免用户进入眼疲劳状态。具体地,可基于用户的平均注视距离和当前头戴式设备的焦距,确定头戴式设备在未来时间段内的目标焦距。进一步地,可基于目标焦距和预测的眼疲劳时间,生成未来时间段内的调焦策略,以使得头戴式设备能够基于该调焦策略进行自动调焦,实现在人眼无感知的情况下放松眼睛,提升了用户体验。
在一种可能的实现方式中,所述调焦策略为以预设步进的方式逐渐接近所述目标焦距。
在本发明实施例中,当确定了未来一段时间内头戴式设备所需的目标焦距后,不是控制头戴式设备直接将镜片调节至目标焦距,而是通过预设步进的方式逐渐将镜片调节至目标焦距。若直接将镜片调节至目标焦距,会使得用户眼睛无法快速适应镜片度数的快速改变,引起用户眼部不适,降低用户体验。因此,通过预设步进的方式逐步将镜片调节至目标焦距,既能够缓解用户眼疲劳状态,也使得用户眼睛能够适应镜片度数的变换,提升了用户体验。
在一种可能的实现方式中,所述方法还包括:向所述头戴式设备发送所述调焦策略。
在本发明实施例中,可由电子设备为头戴式设备生成调焦策略,并向头戴式设备发送该调焦策略,由于无需在头戴式设备上生成调焦策略,避免了在头戴式设备上集成高性能的处理器导致头戴式设备重量增加的问题,提升了用户体验。同时,头戴式设备能够基于该调焦策略进行自动调焦,实现了在人眼无感知的情况下放松眼睛,提升了用户体验。
在一种可能的实现方式中,所述方法还包括:当所述头戴式设备基于所述调焦策略调焦后,检测所述用户的当前状态信息;所述当前状态信息包括佩戴所述头戴式设备的佩戴状态、所述用户的实际眨眼频率中的一种或多种;基于所述当前状态信息判断所述用户是否处于眼疲劳状态;若否,则向所述头戴式设备发送退出调焦功能的指示。
在本发明实施例中,当头戴式设备基于调焦策略调节镜片的焦距后,电子设备可以实时检测用户眼部当前的状态信息,并基于用户眼部当前的状态信息判断用户眼疲劳状态是否得到缓解。若用户眼睛眼疲劳状态已得到缓解,则电子设备可通知头戴式设备退出调焦功能,避免过多的调节影响用户浏览电子设备,提升了用户体验。
在一种可能的实现方式中,所述当前状态信息包括所述用户的所述实际眨眼频率,所述基于所述当前状态信息判断所述用户是否处于眼疲劳状态,包括:判断所述用户的所述实际眨眼频率是否大于眼疲劳阈值;若是,则所述用户处于眼疲劳状态;若否,则所述用户处于眼疲劳解除状态。
在本发明实施例中,当头戴式设备基于调焦策略调节镜片的焦距后,若电子设备可以检测到用户眼部的实际眨眼频率,则可以将实际眨眼频率与眼疲劳阈值进行比较,当实际眨眼频率小于眼疲劳阈值,则代表用户的眼疲劳状态已得到缓解;当实际眨眼频率大于眼疲劳阈值,则代表用户的眼疲劳状态未得到缓解。通过本发明实施例提供的方法,可以判断电子设备生成的调焦策略是否能够满足用户需求,便于后续电子设备优化调焦策略的生成过程,提升用户体验。
在一种可能的实现方式中,所述方法还包括:若所述用户处于眼疲劳状态,则获取所述头戴式设备的调焦信息;所述调焦信息包括已执行时间内的单位注视时间内调节次数、最大调节次数、所述已执行时间内的平均注视距离中的一种或多种;基于所述调焦信息更新所述调焦策略,并向所述头戴式电子设备发送更新后的所述调焦策略。
在本发明实施例中,当头戴式设备基于电子设备生成的调焦策略进行调焦后,若用户眼睛依旧进入了眼疲劳状态,则电子设备可以重新获取头戴式设备在已执行时间内的单位注视时间内调节次数、最大调节次数、已执行时间内的平均注视距离等信息,基于这些信息更新调焦策略,以使得头戴式设备能够基于更新后的调焦策略进行自动调焦,实现在人眼无感知的情况下再次放松眼睛,提升了用户体验。
在一种可能的实现方式中,所述目标操作包括以下操作中的至少一项:用户在电子设备的显示屏上绘制第一图形,用户在所述显示屏上方悬浮绘制第二图形,用户在所述显示屏上点击第三控件,按压目标按键;其中,所述目标按键包括电源键、音量加键、音量减键中的一个或多个。
在一种可能的实现方式中,所述方法还包括:在所述显示屏上显示第一界面;所述第一界面用于显示所述用户的用眼时间和所述头戴式设备的调焦次数中的一种或多种。
在本发明实施例中,电子设备可以统计头戴式设备的调焦次数,及用户的用眼时间,并在显示屏上进行显示,以使得用户能够获取到自己的眼部信息,提升了用户体验。
在一种可能的实现方式中,所述方法还包括:当所述头戴式设备基于所述调焦策略调焦后,检测所述用户的实际眨眼频率;若所述实际眨眼频率小于眼疲劳阈值,则退出调焦功能。
在本发明实施例中,当头戴式设备基于电子设备生成的调焦策略进行调焦后,若头戴式设备上集成了眨眼检测装置,则头戴式设备可以通过眨眼检测装置实时检测用户的眨眼频率,当检测到用户的眨眼频率小于眼疲劳阈值,则头戴式设备可以主动退出调焦功能,避免过多的调节影响用户浏览电子设备,提升了用户体验。
第二方面,本发明实施例提供了一种电子设备,其特征在于,所述设备包括:第一获取单元,用于响应于目标操作,获取用户的注视信息;所述注视信息包括所述用户通过头戴式设备注视电子设备的显示屏的注视距离,和注视时长、注视内容、注视状态或注视环境中的一种或多种;第一处理单元,用于基于所述注视信息确定针对所述头戴式设备的调焦策略;所述调焦策略用于调节所述头戴式设备的焦距。
在一种可能的实现方式中,所述第一获取单元,具体用于:通过所述电子设备上的传感器获取所述注视信息中的部分或全部信息,或通过所述头戴式设备上的传感器获取所述注视信息中的部分或全部信息,或通过云端获取所述注视信息中的部分或全部信息。
在一种可能的实现方式中,所述第一处理单元,具体用于:基于所述注视信息,得到所述用户的眼部预测信息,所述眼部预测信息包括所述用户在未来时间段内的眨眼频率、眼疲劳时间中的一种或多种;基于所述眼部预测信息,确定所述调焦策略。
在一种可能的实现方式中,所述眼部预测信息包括所述用户在所述未来时间段内的眼疲劳时间,所述第一处理单元,具体用于:获取所述用户的平均注视距离和所述头戴式设备的当前焦距;基于所述平均注视距离和所述当前焦距,计算所述用户所需的目标焦距;基于所述目标焦距和预测的所述眼疲劳时间,确定所述调焦策略。
在一种可能的实现方式中,所述调焦策略为以预设步进的方式逐渐接近所述目标焦距。
在一种可能的实现方式中,所述设备还包括:第一发送单元,用于向所述头戴式设备发送所述调焦策略。
在一种可能的实现方式中,所述设备还包括:第一检测单元,用于当所述头戴式设备基于所述调焦策略调焦后,检测所述用户的当前状态信息;所述当前状态信息包括佩戴所述头戴式设备的佩戴状态、所述用户的实际眨眼频率中的一种或多种;第二处理单元,用于基于所述当前状态信息判断所述用户是否处于眼疲劳状态;第二发送单元,用于若否,则向所述头戴式设备发送退出调焦功能的指示。
在一种可能的实现方式中,所述当前状态信息包括所述用户的所述实际眨眼频率,所述第二处理单元,具体用于:判断所述用户的所述实际眨眼频率是否大于眼疲劳阈值;若是,则所述用户处于眼疲劳状态;若否,则所述用户处于眼疲劳解除状态。
在一种可能的实现方式中,所述设备还包括:第二获取单元,用于若所述用户处于眼疲劳状态,则获取所述头戴式设备的调焦信息;所述调焦信息包括已执行时间内的单位注视时间内调节次数、最大调节次数、所述已执行时间内的平均注视距离中的一种或多种;第三处理单元,用于基于所述调焦信息更新所述调焦策略,并向所述头戴式电子设备发送更新后的所述调焦策略。
在一种可能的实现方式中,所述目标操作包括以下操作中的至少一项:用户在电子设备的显示屏上绘制第一图形,用户在所述显示屏上方悬浮绘制第二图形,用户在所述显示屏上点击第三控件,按压目标按键;其中,所述目标按键包括电源键、音量加键、音量减键中的一个或多个。
在一种可能的实现方式中,所述设备还包括:第一显示单元,用于在所述显示屏上显示第一界面;所述第一界面用于显示所述用户的用眼时间和所述头戴式设备的调焦次数中的一种或多种。
在一种可能的实现方式中,所述设备还包括:第四处理单元,用于当所述头戴式设备基于所述调焦策略调焦后,检测所述用户的实际眨眼频率;所述第四处理单元,还用于若所述实际眨眼频率小于眼疲劳阈值,则退出调焦功能。
第三方面,本申请提供了一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机程序,该计算机程序被处理器执行时实现上述第一方面任意一项所述的方法。
第四方面,本发明实施例提供一种电子设备,该电子设备中包括处理器,处理器被配置为支持该电子设备实现第一方面提供的一种头戴式设备的调焦控制方法中相应的功能。该电子设备还可以包括存储器,存储器用于与处理器耦合,其保存该电子设备必要的程序指令和数据。该电子设备还可以包括通信接口,用于该电子设备与其他设备或通信网络通信。
第五方面,本申请提供了一种芯片系统,该芯片系统包括处理器,用于支持电子设备实现上述第一方面中所涉及的功能,例如,生成或处理上述头戴式设备的调焦控制方法中所涉及的信息。在一种可能的设计中,所述芯片系统还包括存储器,所述存储器,用于保存电子设备必要的程序指令和数据。该芯片系统,可以由芯片构成,也可以包含芯片和其他分立器件。
第六方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行上述第一方面任一项可能的实现方式中的头戴式设备的调焦控制方法。
附图说明
图1A为本发明实施例提供的一种电子设备100的结构示意图。
图1B为本发明实施例提供的一种电子设备100的软件结构框图。
图2A是本发明实施例提供的一种头戴式设备的调焦控制方法的系统架构示意图。
图2B为本发明实施例提供的一种头戴式调焦设备的示意图。
图3A为本发明实施例提供的一种注视单个电子产品的场景示意图。
图3B为本发明实施例提供的一种注视多个电子产品的场景示意图。
图4是本申请实施例中的一种头戴式设备的调焦控制方法的流程示意图。
图5A为本发明实施例提供的一种执行目标操作的示意图。
图5B为本发明实施例提供的另一种执行目标操作的示意图。
图6为本发明实施例提供的一种头戴式设备的结构示意图。
图7为本发明实施例提供的一种注视信息统计示意图。
图8为本发明实施例提供的另一种头戴式设备的调焦控制方法的流程示意图。
图9A为本发明实施例提供的一种调焦策略的示意图。
图9B为本发明实施例提供的另一种调焦策略的示意图。
图10为本发明实施例提供的一种更新调焦策略的流程示意图。
图11为本发明实施例提供的一种电子设备显示第一界面的示意图。
图12是本申请实施例中的又一种头戴式设备的调焦控制方法的流程示意图。
图13是本发明实施例提供的本申请提供了一种电子设备的示意图。
图14是本发明实施例提供的本申请提供了一种头戴式设备的示意图。
图15是本发明实施例提供的本申请提供了另一种电子设备的示意图。
具体实施方式
本申请以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式,除非其上下文中明确地有相反指示。还应当理解,本申请中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。
以下介绍了电子设备、用于这样的电子设备的用户界面、和用于使用这样的电子设备的实施例。在一些实施例中,电子设备可以是还包含其他功能诸如个人数字助理和/或音乐播放器功能的便携式电子设备,诸如手机、平板电脑、具备无线通讯功能的可穿戴电子设备(如智能手表)等。便携式电子设备的示例性实施例包括但不限于搭载 或者其他操作系统的便携式电子设备。上述便携式电子设备也可以是其他便携式电子设备,诸如具有触敏表面或触控面板的膝上型计算机(Laptop)等。还应当理解的是,在其他一些实施例中,上述电子设备也可以不是便携式电子设备,而是具有触敏表面或触控面板的台式计算机。
本申请的说明书和权利要求书及附图中的术语“用户界面(user interface,UI)”,是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。应用程序的用户界面是通过java、可扩展标记语言(extensible markup language,XML)等特定计算机语言编写的源代码,界面源代码在终端设备上经过解析,渲染,最终呈现为用户可以识别的内容,比如图片、文字、按钮等控件。控件(control)也称为部件(widget),是用户界面的基本元素,典型的控件有工具栏(toolbar)、菜单栏(menu bar)、文本框(text box)、按钮(button)、滚动条(scrollbar)、图片和文本。界面中的控件的属性和内容是通过标签或者节点来定义的,比如XML通过<Textview>、<ImgView>、<VideoView>等节点来规定界面所包含的控件。一个节点对应界面中一个控件或属性,节点经过解析和渲染之后呈现为用户可视的内容。此外,很多应用程序,比如混合应用(hybrid application)的界面中通常还包含有网页。网页,也称为页面,可以理解为内嵌在应用程序界面中的一个特殊的控件,网页是通过特定计算机语言编写的源代码,例如超文本标记语言(hyper text markup language,GTML),层叠样式表(cascading style sheets,CSS),java脚本(JavaScript,JS)等,网页源代码可以由浏览器或与浏览器功能类似的网页显示组件加载和显示为用户可识别的内容。网页所包含的具体内容也是通过网页源代码中的标签或者节点来定义的,比如GTML通过<p>、<img>、<video>、<canvas>来定义网页的元素和属性。
用户界面常用的表现形式是图形用户界面(graphic user interface,GUI),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素,其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
首先介绍本申请以下实施例中提供的示例性电子设备100。
图1A示出了电子设备100的结构示意图。
电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,3D摄像模组193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中,传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),中央处理器(central processing unit,CPU),图形处理器(graphics processing unit,GPU),神经网络处理器(neural-network processing unit,NPU),调制解调处理器,图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。在一些实施例中,电子设备100也可以包括一个或多个处理器110。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了电子设备100的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,3D摄像模组193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现电子设备100的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194,3D摄像模组193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(display serial interface,DSI)等。在一些实施例中,处理器110和3D摄像模组193通过CSI接口通信,实现电子设备100的摄像功能。处理器110和显示屏194通过DSI接口通信,实现电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与3D摄像模组193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,3D摄像模组193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。示例性地,无线通信模块160可以包括蓝牙模块、Wi-Fi模块等。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellitesystem,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
电子设备100通过GPU,显示屏194,以及应用处理器等可以实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过3D摄像模组193,ISP,视频编解码器,GPU,显示屏194以及应用处理器AP、神经网络处理器NPU等实现摄像功能。
3D摄像模组193可用于采集拍摄对象的彩色图像数据以及深度数据。ISP可用于处理3D摄像模组193采集的彩色图像数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在3D摄像模组193中。
在一些实施例中,3D摄像模组193可以由彩色摄像模组和3D感测模组组成。
在一些实施例中,彩色摄像模组的摄像头的感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。
在一些实施例中,3D感测模组可以是(time of flight,TOF)3D感测模块或结构光(structured light)3D感测模块。其中,结构光3D感测是一种主动式深度感测技术,结构光3D感测模组的基本零组件可包括红外线(Infrared)发射器、IR相机模等。结构光3D感测模组的工作原理是先对被拍摄物体发射特定图案的光斑(pattern),再接收该物体表面上的光斑图案编码(light coding),进而比对与原始投射光斑的异同,并利用三角原理计算出物体的三维坐标。该三维坐标中就包括电子设备100距离被拍摄物体的距离。其中,TOF 3D感测也是主动式深度感测技术,TOF 3D感测模组的基本组件可包括红外线(Infrared)发射器、IR相机模等。TOF 3D感测模组的工作原理是通过红外线折返的时间去计算TOF 3D感测模组跟被拍摄物体之间的距离(即深度),以得到3D景深图。
结构光3D感测模组还可应用于人脸识别、体感游戏机、工业用机器视觉检测等领域。TOF 3D感测模组还可应用于游戏机、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)等领域。
在另一些实施例中,3D摄像模组193还可以由两个或更多个摄像头构成。这两个或更多个摄像头可包括彩色摄像头,彩色摄像头可用于采集被拍摄物体的彩色图像数据。这两个或更多个摄像头可采用立体视觉(stereo vision)技术来采集被拍摄物体的深度数据。立体视觉技术是基于人眼视差的原理,在自然光源下,透过两个或两个以上的摄像头从不同的角度对同一物体拍摄影像,再进行三角测量法等运算来得到电子设备100与被拍摄物之间的距离信息,即深度信息。
在一些实施例中,电子设备100可以包括1个或N个3D摄像模组193,N为大于1的正整数。具体的,电子设备100可以包括1个前置3D摄像模组193以及1个后置3D摄像模组193。其中,前置3D摄像模组193通常可用于采集面对显示屏194的拍摄者自己的彩色图像数据以及深度数据,后置3D摄像模组可用于采集拍摄者所面对的拍摄对象(如人物、风景等)的彩色图像数据以及深度数据。
在一些实施例中,处理器110中的CPU或GPU或NPU可以对3D摄像模组193所采集的彩色图像数据和深度数据进行处理。在一些实施例中,NPU可以通过骨骼点识别技术所基于的神经网络算法,例如卷积神经网络算法(CNN),来识别3D摄像模组193(具体是彩色摄像模组)所采集的彩色图像数据,以确定被拍摄人物的骨骼点。CPU或GPU也可来运行神经网络算法以实现根据彩色图像数据确定被拍摄人物的骨骼点。在一些实施例中,CPU或GPU或NPU还可用于根据3D摄像模组193(具体是3D感测模组)所采集的深度数据和已识别出的骨骼点来确认被拍摄人物,即进行人物识别。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐、照片、视频等数据保存在外部存储卡中。
内部存储器121可以用于存储一个或多个计算机程序,该一个或多个计算机程序包括指令。处理器110可以通过运行存储在内部存储器121的上述指令,从而使得电子设备100执行本申请一些实施例中所提供的电子设备的变焦控制方法,以及各种功能应用以及数据处理等。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统;该存储程序区还可以存储一个或多个应用程序(比如图库、联系人等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如用户眼疲劳状态信息等)。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
气压传感器180C用于测量气压。在一些实施例中,电子设备100通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中,当电子设备100是翻盖机时,电子设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,电子设备100可以利用距离传感器180F测量用户眼睛与注视物之间的距离。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测电子设备100是否在口袋里,以防误触。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中,电子设备100利用温度传感器180J检测的温度,执行温度处理策略。例如,当温度传感器180J上报的温度超过阈值,电子设备100执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备100对电池142加热,以避免低温导致电子设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备100对电池142的输出电压执行升压,以避免低温导致的异常关机。在一些实施例中,温度传感器180J用于检测眼睛附近的温度。
触摸传感器180K,也可称触控面板或触敏表面。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器180M也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息,实现心率检测功能。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
图1A示例性所示的电子设备100可以通过显示屏194显示以下各个实施例中所描述的各个用户界面。电子设备100可以通过触摸传感器180K在各个用户界面中检测触控操作,例如在各个用户界面中的点击操作(如在图标上的触摸操作、双击操作),又例如在各个用户界面中的向上或向下的滑动操作,或执行画圆圈手势的操作,等等。在一些实施例中,电子设备100可以通过陀螺仪传感器180B、加速度传感器180E等检测用户手持电子设备100执行的运动手势,例如晃动电子设备。在一些实施例中,电子设备100可以通过3D摄像模组193(如3D摄像头、深度摄像头)检测非触控的手势操作。
电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本发明实施例以分层架构的Android系统为例,示例性说明电子设备100的软件结构。
图1B是本发明实施例的电子设备100的软件结构框图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,Android运行时(Android Runtime)和系统库,以及内核层。
应用程序层可以包括一系列应用程序包。
如图1B所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息,智慧感知等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图1B所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括用户眼疲劳状态信息,视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
Android Runtime包括核心库和虚拟机。Android Runtime负责Android系统的调度和管理。核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是Android的核心库。应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,G.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
图1B所示的软件系统涉及到使用分享能力的应用呈现,提供分享能力的即时分享模块,提供打印能力的打印服务(print service)和打印后台服务(print spooler),以及应用框架层提供打印框架、WLAN服务、蓝牙服务,以及内核和底层提供WLAN蓝牙能力和基本通信协议。
下面结合附图对本申请的实施例进行描述。
基于上述提出的技术问题,为了便于理解本发明实施例,下面先对本发明实施例所基于的系统架构进行描述。请参考见图2A,图2A是本发明实施例提供的一种头戴式设备的调焦控制方法的系统架构示意图,该系统可用于解决可变焦眼镜(也可称为头戴式设备)无法根据使用者实际需求进行智能变焦的问题。该系统架构中可包括可变焦眼镜201和至少一个电子设备202。需要说明的是,所述可变焦眼镜201可通过无线方式(如蓝牙,WiFi无线连接等)与所述电子设备202建立连接。其中,
可变焦眼镜201,为可以改变焦距的头戴式设备。随着电子产品的普及以及繁重的工作、学习压力,近视眼的发病率逐年提高,同时也存在远视眼等其他眼部视力障碍。因此,需要佩戴眼镜来改善该状况。传统的眼镜度数固定,不能根据使用者的实际视力进行调整。后来又出现了能够变焦的眼镜,即变焦眼镜是指能够调整镜片焦距的眼镜。在本发明实施例中,可变焦眼镜201可接收电子设备202发送的调焦策略,并基于该策略进行智能调焦。例如,如图2B所示,图2B为本发明实施例提供的一种头戴式调焦设备的示意图,图中头戴式调焦设备(为可变焦眼镜201的一种)上可包括多个功能模块,可用于对变焦镜片进行变焦,也可用于监测一些与佩戴者相关的信息。可选的,头戴式调焦设备可包括控制及通信模块、眨眼检测模块和变焦透镜模块。其中,控制及通信模块中又可包括驱动模块可用于驱动液晶透镜;WiFi/蓝牙通信模块可用于与终端通信和左右模块同步;MCU(MicrocontrollerUnit,微控制单元)模块可用于处理数据;电源模块可用于电池或无线充电;佩戴监测模块可用于监测使用者是否佩戴眼镜;位姿检测模块(可包括加速计和重力计)可用于监测头部位姿、敲击等;红外测距模块可用红外测量目标与设备距离;温度检测传感器可用于检测眼睛附近的温度;湿度检测传感器可用于检测眼睛附近的湿度。眨眼检测模块中又可包括眨眼检测中间电极可用于检测两眼中间位置的电势;眨眼检测左电极可用于检测左眼附近电势;眨眼检测右电极可用于检测右眼附近电势。变焦透镜模块可包括左透镜,即左侧变焦透镜,可通过两片配向垂直的镜片叠加实现偏振不敏感;右透镜,即右侧变焦透镜,通过两片配向垂直的镜片叠加实现偏振不敏感。需要说明的是,本发明实施例中的可变焦眼镜201(也称为头戴式设备)可包括上述多个功能模块中的一种或多种,在此不作限定。
电子设备202,可为上述图1A中的所述电子设备100,详细可见上述对电子设备100的描述,在此不重复赘述。在本发明实施例中,电子设备202可支持注视感知(如可通过低功耗相机、面容识别等方法实时检测终端机主或注册用户是否注视终端设备),也可支持场景识别等功能。常见的电子设备包括,智能手机、电子书、个人电脑、平板、智慧屏等设备。例如,在本发明实施例中,电子设备202可为智能手机,智能手机具有独立的操作系统,并可以通过移动通讯网络来实现与可变焦眼镜201的无线连接。电子设备202可根据使用者的实际情况为其生成一个调焦策略,进而可变焦眼镜201可基于该调焦策略进行智能调焦,从而实现可变焦眼镜201根据使用者实际需求进行智能变焦。
可以理解的是,图2A中的一种头戴式设备的调焦控制方法的系统架构只是本申请实施例中的一种示例性的实施方式,本申请实施例中的系统架构包括但不仅限于以上系统架构。
为了便于理解本发明实施例,以下示例性列举本申请中一种头戴式设备的调焦控制方法的应用场景,可以理解的是,当本申请中的一种头戴式设备的调焦控制方法应用到不同的场景中时,电子设备可以分别对应不同类型的设备,以下示例性列举两种场景。
场景一,用户浏览电子书场景:
随着电子设备的普及和互联网技术的高速发展,更多的用户会选择使用电子书进行阅读。如图3A所示,图3A为本发明实施例提供的一种注视单个电子产品的场景示意图,图中若用户佩戴眼镜长时间注视智能手机的显示屏,用户的眼睛会进入眼疲劳状态,若不及时进行调整,则会增加用户近视的风险。因此,在本发明实施例中,可在眼睛进入眼疲劳状态前,通过主动改变眼镜焦距来缓解眼疲劳。具体地,在用户佩戴可变焦眼镜前,可将智能手机与可变焦眼镜建立无线连接,由于在该场景下,用户仅注视一个电子设备(如智能手机),因此可通过该智能手机上的传感器获取一些用户使用可变焦眼镜的信息并进行分析,从而使得智能手机可根据用户的真实需求生成一个调焦策略并将其发送给可变焦眼镜。进一步地,可变焦眼镜能够基于该策略进行调焦,以使得用户眼部得到放松,改善了用户眼疲劳情况,提升用户体验。
场景二,用户进行多屏协同工作场景:
随着科技的进步,人们越来越重视高效办公。如图3B所示,图3B为本发明实施例提供的一种注视多个电子产品的场景示意图,图中用户为提升办公效率,会在工作中同时使用到多个电子设备,如智能手机、平板电脑、智慧屏、笔记本电脑等。若用户长时间注视这多个电子设备的显示屏,用户的眼睛会进入眼疲劳状态,若不及时进行调整,则会增加用户近视的风险。因此,在本发明实施例中,可在眼睛进入眼疲劳状态前,通过主动改变眼镜焦距来缓解眼疲劳。具体地,在用户佩戴可变焦眼镜前,可将这多个电子设备与可变焦眼镜建立无线连接,由于在该场景下,用户会注视到多个电子设备,若仅基于一个设备获取到的信息来生成调焦策略,由于信息不全面,会影响用户体验,即可能无法达到缓解用户眼疲劳的效果。因此,在用户注视多个电子设备的场景中,每个设备都可对用户使用可变焦眼镜的相关信息进行检测,并将检测结果上传至云端。可选的,智能手机从云端上获取所有设备检测到的信息,并进行分析,从而使得智能手机可根据用户的真实需求生成一个调焦策略并将其发送给可变焦眼镜。进一步地,可变焦眼镜能够基于该策略进行调焦,以使得用户眼部得到放松,改善了用户眼疲劳情况,提升用户体验。
可以理解的是,上述两种应用场景的只是本发明实施例中的几种示例性的实施方式,本发明实施例中的应用场景包括但不仅限于以上应用场景。
下面将详细地对本申请实施例所基于的具体方法架构进行描述。
请参见图4,图4是本申请实施例中的一种头戴式设备的调焦控制方法的流程示意图,下面将结合附图4并基于上述图2A中的系统架构从电子设备(可以为图2A中的电子设备202)和头戴式设备(可以为图2A中的可变焦眼镜201)的交互侧对本申请实施例中的头戴式设备的调焦控制方法进行描述。需要说明的是,为了更详细地描述本申请实施例中的头戴式设备的调焦控制方法,本申请在各个流程步骤中描述了相应的执行主体分别为电子设备或头戴式设备,但不代表本申请实施例只能通过所描述的执行主体进行对应的方法流程。
步骤S301:电子设备检测目标操作。
具体地,所述电子设备可包括显示屏,对所述显示屏的详细描述可参见上述对图1A中显示屏194的描述,在此不重复赘述。需要说明的是,电子设备可以在执行步骤S301前通过无线通信模块160与头戴式设备建立无线连接,电子设备也可以在执行步骤S301前通过传输线与头戴式设备建立有线连接。所述目标操作包括以下操作中的至少一项:用户在所述显示屏上绘制第一图形,用户在所述显示屏上方悬浮绘制第二图形,用户在所述显示屏上点击第三控件,按压目标按键;其中,所述目标按键包括电源键、音量加键、音量减键中的一个或多个。
例如,如图5A所示,图5A为本发明实施例提供的一种执行目标操作的示意图,图5A中的(a)为电子设备的应用界面,当前电子设备可运行视频应用;图5A中的(b)为电子设备的下滑通知栏界面,在该界面中可以预设多个功能控件,其中可以包括智能调焦放松眼镜预设控件。假设,用户在浏览如图5A中的(a)所示的应用界面时,可通过下滑手势进入如图5A中的(b)所示的下滑通知栏界面,然后在该下滑通知栏界面中点击智能调焦放松眼镜预设控件,进而触发目标操作,可开启电子设备为头戴式设备生成调焦策略的流程。
又例如,如图5B所示,图5B为本发明实施例提供的另一种执行目标操作的示意图,图5B中的(a)为电子设备的手机主界面,当前电子设备的主界面上可存在多个应用程序,其中可包括智慧感知应用;图5B中的(b)为电子设备的智慧感知应用界面,在该界面中可以预设多个功能控件,其中可以包括智能调焦放松眼镜预设控件。假设,用户在浏览如图5B中的(a)所示的手机主界面时,可通过点击智慧感知应用进入如图5B中的(b)所示的智慧感知应用界面,然后在该智慧感知应用界面中选择智能调焦放松眼镜预设控件,并且从左向右滑动该预设控件,进而触发目标操作,可开启电子设备为头戴式设备生成调焦策略的流程。
步骤S302:电子设备响应用户的目标操作,获取用户的注视信息。
具体地,所述注视信息包括所述用户通过头戴式设备注视所述显示屏的注视距离、注视时长、注视内容、注视状态和注视环境中的一种或多种。其中,注视距离可以为头戴式设备与电子设备之间的直线距离;注视时长可以为用户注视电子设备显示屏194的时间;注视内容可以为电子设备上显示的内容,包括但不限于新闻、电影、电子书、游戏等;注视状态包括但不限于用户眼疲劳状态和用户的行为状态,其中用户行为状态包括但不限于行走、坐立、躺卧等;注视环境可以为用户的阅读环境,包括但不限于屏幕亮度、环境光等。可选的,注视信息中还可包括用户身份信息。
在一种可能的实现方式中,所述电子设备所述获取用户的注视信息,包括以下至少一种:通过所述电子设备上的传感器获取所述注视信息中的部分或全部信息;通过所述头戴式设备上的传感器获取所述注视信息中的部分或全部信息;通过云端获取所述注视信息中的部分或全部信息。具体地,由于注视信息中所包括的多种信息需要通过多种传感器得到,因此若电子设备上能够集成获取所需信息的多种传感器,则可通过电子设备上的多种传感器得到用户的注视信息;若所需信息的部分传感器集成在头戴式设备上,则可通过头戴式设备采集对应的数据,然后将其发送给电子设备;若所需信息的部分传感器集成在其他电子设备上,则可通过其他电子设备采集对应的数据并上传至云端。综上,电子设备可通过多种途径获取到更加完整与全面的用户的注视信息,从而能够生成更加接近于用户实际需求的调焦策略,提升用户体验。
可选的,若电子设备上集成了结构光3D感测模组,当用户注视电子设备时,可通过该结构光3D感测模组对用户进行注视感知,即获取用户的面容识别信息、注视距离、注视时长等信息。需要说明的是,注视感知的形式可以是电子设备操作系统的组件,也可以是运行在操作系统上的应用程序,在此不作限定。
可选的,在电子设备处于亮屏状态时,可获取传感器数据和前置摄像头采集的图像信息;根据传感器数据确定电子设备的设备姿态;根据图像信息确定用户人脸相对于电子设备的相对姿态;进而根据用户人脸相对于电子设备的相对姿态和设备姿态,确定用户的行为状态。该用户的行为状态包括但不限于行走、坐立、躺卧等。
可选的,电子设备上的距离传感器180F可以用于测量距离,如红外、激光和超声波等;环境光传感器180L可以用于感知环境光亮度,手机上可以根据感知的环境光亮度自适应调节显示屏194的亮度;温度传感器180J可以用于检测温度;触摸传感器180K可以设置于显示屏194,用于检测作用于其上或附近的触摸操作,如检测目标操作。
可选的,用户的阅读内容检测可以根据电子设备当前运行在前台的应用程序来确定,通常包括但不限于,即时通信类应用、视频类应用、电子书应用、新闻类应用、游戏类应用等等。
在一种可能的实现方式中,所述方法还包括:头戴式设备通过传感器获取所述用户的所述注视状态;所述注视状态包括所述用户的眼疲劳状态和行为状态中的一种或多种;向所述电子设备发送所述注视状态。具体地,由于用户的注视信息中所包括的多种信息需要通过多种传感器得到,若所需信息的部分传感器集成在头戴式设备上,则可通过头戴式设备采集对应的数据,然后将其发送给电子设备,以使得电子设备获取到更加完整与全面的用户的注视信息,从而电子设备能够生成更加接近于用户实际需求的调焦策略,提升用户体验。
例如,如图6所示,图6为本发明实施例提供的一种头戴式设备的结构示意图,图中头戴式设备的左右镜腿上可集成控制及通信模块,可用于与电子设备之间建立无线连接;头戴式设备的左右镜片为变焦透镜,可用于改变镜片焦距,缓解用户的眼疲劳状态;头戴式设备的左右鼻托上可集成眨眼检测装置,可用于检测用户的眨眼次数。
可选的,用户的眼疲劳检测,可通过传感器检测单位时间内眨眼的次数作为眼疲劳的指标。在本发明实施例中,优选通过设置于鼻梁和鼻托处的眼电位传感器(即头戴式设备上的眨眼检测装置)检测眨眼次数,眼疲劳检测模块可计算单位时间内的眨眼次数N1,并与预设阈值N进行比较,判断眼睛处于疲劳状态或解除疲劳状态。需要说明的是,预设阈值N通常取室内300-500lx照度下20分钟近距离阅读、工作后的单位时间内眨眼次数。
可选的,利用贝尔现象进行眨眼检测,即眼睑闭合时眼球前部的反射性向上运动,通过眼电位传感器检测眼球垂直方向上的电位变化表征眨眼。
可选的,利用图像技术进行眨眼检测,即通过电子设备的前置摄像头获取人脸眼睛的图像,计算眨眼的频率。
可选的,通过设置于眼镜或镜片上的摄像头获取人眼信息,计算眨眼频率。
步骤S303:电子设备基于所述注视信息确定调焦策略。
具体地,所述调焦策略用于调节所述头戴式设备的焦距。当电子设备获取到用户的注视信息后,可对用户的注视信息进行分析,如可基于注视信息预测出在未来一段时间内用户的眼部状态信息,进而根据预测的信息来确定头戴式设备的调焦策略。调焦策略可包括在未来一段时间内头戴式设备何时调节变焦镜片的焦距,及调节的焦距大小(可以理解为,变焦镜片需要调节的度数)。由于分析用户的注视信息需要在高性能的处理器上完成,若将高性能的处理器集成在头戴式设备上,则会增加头戴式设备的重量,降低用户体验。因此,可通过电子设备(如智能手机)上的高性能处理器来进行分析,避免在头戴式设备上集成高性能处理器导致眼镜重量增加的问题,提升了用户体验。
在一种可能的实现方式中,所述电子设备基于所述注视信息确定调焦策略,包括:电子设备基于所述注视信息,得到所述用户的眼部预测信息,所述眼部预测信息包括所述用户在未来时间段内的眨眼频率、眼疲劳时间中的一种或多种;基于所述眼部预测信息,确定所述调焦策略。具体地,当电子设备(如智能手机)获取到用户的注视情况、行为状态、阅读内容、阅读环境等信息后,可利用头戴式设备上的眼疲劳检测装置检测用户的眼疲劳状态,并通过深度学习方法,预测在未来一段时间内的眼疲劳发生时间、眨眼频率等,进而基于预测的信息生成头戴式设备的调焦策略,以使得头戴式设备能够基于该调焦策略进行自动调焦,实现在人眼无感知的情况下放松眼睛,提升了用户体验。
可选的,由于每个用户的眼部调节能力和用眼习惯不同,需要通过深度学习方法根据影响用户视力疲劳的因素去评估、预测不同用户的眼疲劳状态。影响眼疲劳的因素包括但不限于用户的行为状态,如行走、坐立、躺卧;阅读内容,如视频、电子书、游戏;单位时间内的平均用眼距离;单位时间内的平均光照强度;单位时间内的平均屏幕亮度;单位时间内的平均温度;单位时间内的平均湿度;注视时长;单位时间内的眨眼次数。通过收集影响眼疲劳的因素值,可形成一个多元时间序列;根据过去的单位时间内的眨眼次数,及其他影响因素的值,可预测未来时间内的眨眼次数,即有监督学习。需要说明的是,在本发明实施例中,可优选基于长期记忆(Long Short-Term Memory,LSTM)的循环神经网络(RecurrentNeural Network,RNN)。
例如,首先确定数据集,如图7所示,图7为本发明实施例提供的一种注视信息统计示意图,图中电子设备可先收集用户状态、阅读内容、距离、光照度、亮度、湿度、温度、注视时间、平均眨眼频率等信息。而后,LSTM数据准备,可包括数据归一化、划分训练集等。接下来,定义和拟合模型,平台可选用TensorFlow,Python版本为Python3.8,NPU为kirin平台。进一步地,评估模型,根据过去的单位时间内的眨眼次数,及其他影响因素的值,预测未来T1时间的眨眼次数;然后,部署模型,TensorFlow的模型训练完之后,得到.ckpt模型,将其转化为.pb模型即可离线运行。最终,得到预测结果,并基于该预测结果生成头戴式设备的调焦策略。
在一种可能的实现方式中,所述眼部预测信息包括所述用户在所述未来时间段内的眼疲劳时间,所述基于所述眼部预测信息,确定所述调焦策略,包括:获取所述用户的平均注视距离和所述头戴式设备的当前焦距;基于所述平均注视距离和所述当前焦距,计算所述用户所需的目标焦距;基于所述目标焦距和预测的所述眼疲劳时间,确定所述调焦策略。需要说明的是,若预测了用户在未来时间段内进入眼疲劳状态的时间,则在用户进入眼疲劳状态前,通过调节镜片的焦距,实现眼睛的放松,从而避免用户进入眼疲劳状态。具体地,可基于用户的平均注视距离和当前头戴式设备的焦距,确定头戴式设备在未来时间段内的目标焦距。进一步地,可基于目标焦距和预测的眼疲劳时间,生成未来时间段内的调焦策略,以使得头戴式设备能够基于该调焦策略进行自动调焦,实现在人眼无感知的情况下放松眼睛,提升了用户体验。需要说明的是,眼疲劳阈值通常取室内300-500lx照度下20分钟近距离阅读、工作后的单位时间内眨眼次数。
例如,如图8所示,图8为本发明实施例提供的另一种头戴式设备的调焦控制方法的流程示意图,图中首先将头戴式设备(可为上述图4中的头戴式设备)和移动终端设备(可为上述图4中的电子设备)连接;移动终端定时通过注视感知模块获取用户注视状态信息;判断预设用户是否注视中;若否,则移动终端继续通过注视感知模块获取用户的注视状态;若是,移动终端获取并记录用户状态、环境信息、阅读内容、单位时间内眨眼频率等;移动终端通过深度学习方法预测单位时间T1后的眨眼频率;判断预测的眨眼频率或检测到的眨眼频率是否达到眼疲劳阈值;若否,则移动终端继续通过注视感知模块获取用户的注视状态;若是,则移动终端获取平均注视距离和头戴式设备的当前度数,并生成初始变焦度数和变焦策略;头戴式设备动态变焦执行;判断是否达到退出时间或单位时间内检测到眨眼频率小于眼疲劳阈值;若否,则移动终端可再获取平均注视距离和当前度数,生成变焦度数和调焦策略;若是,则头戴式设备可退出变焦功能。
在一种可能的实现方式中,所述调焦策略为以预设步进的方式逐渐接近所述目标焦距。具体地,当确定了未来一段时间内头戴式设备所需的目标焦距后,不是控制头戴式设备直接将镜片调节至目标焦距,而是通过预设步进的方式逐渐将镜片调节至目标焦距。若直接将镜片调节至目标焦距,会使得用户眼睛无法快速适应镜片度数的快速改变,引起用户眼部不适,降低用户体验。因此,通过预设步进的方式逐步将镜片调节至目标焦距,既能够缓解用户眼疲劳状态,也使得用户眼睛能够适应镜片度数的变换,提升了用户体验。
可选的,如图9A所示,图9A为本发明实施例提供的一种调焦策略的示意图,图中在未来时间段T1内,镜片焦距在基础镜片的基础上以特定幅度和特定速率翻转变化。针对调节能力弱、老花人群,可主动刺激人眼,以锻炼人眼的调节力,达到舒缓视疲劳效果。需要说明的是,图中MAX_MOD_CNT表示调节强度,可以由用户设置;step为调节的步进,通常为0.2D。
可选的,如图9B所示,图9B为本发明实施例提供的另一种调焦策略的示意图,图中在未来时间段T1内,镜片焦距在基础镜片的基础上以特定幅度和特定速率渐进变化。针对近视人群渐进加光,以减缓疲劳。需要说明的是,图中MAX_MOD_CNT表示调节强度,可以由用户设置;step为调节的步进,通常为0.2D。
步骤S304:电子设备向所述头戴式设备发送所述调焦策略。
具体地,由于电子设备与头戴式设备建立了连接,因此当电子设备生成了调焦策略后,可将调焦策略发送给头戴式设备,以使得头戴式设备能够基于该调焦策略进行自动调焦,实现在人眼无感知的情况下放松眼睛,提升了用户体验。
步骤S305:头戴式设备接收电子设备发送的调焦策略。
具体地,所述调焦策略为所述电子设备基于用户的注视信息确定的,所述注视信息包括所述用户通过头戴式设备注视所述显示屏的注视距离、注视时长、注视内容、注视状态和注视环境中的一种或多种。
步骤S306:头戴式设备基于所述调焦策略,调节所述可变焦镜片的焦距。
具体地,由于调焦策略中可包括在未来一段时间内头戴式设备何时调节变焦镜片的焦距,及调节的焦距大小(可以理解为,变焦镜片需要调节的度数)。因此,头戴式设备能够基于该调焦策略进行自动调焦,实现在人眼无感知的情况下放松眼睛,提升了用户体验。
需要说明的是,头戴式设备可以使用一个控制模块驱动左右两个透镜,也可以使用两个控制模块驱动分别驱动左右两个透镜。
在一种可能的实现方式中,所述方法还包括:当所述头戴式设备基于所述调焦策略调焦后,电子设备检测所述用户的当前状态信息;所述当前状态信息包括佩戴所述头戴式设备的佩戴状态、所述用户的实际眨眼频率中的一种或多种;基于所述当前状态信息判断所述用户是否处于眼疲劳状态;若否,则向所述头戴式设备发送退出调焦功能的指示。具体地,当头戴式设备基于调焦策略调节镜片的焦距后,电子设备可以实时检测用户眼部当前的状态信息,并基于用户眼部当前的状态信息判断用户眼疲劳状态是否得到缓解。若用户眼睛眼疲劳状态已得到缓解,则电子设备可通知头戴式设备退出调焦功能,避免过多的调节影响用户浏览电子设备,提升了用户体验。
在一种可能的实现方式中,所述当前状态信息包括所述用户的所述实际眨眼频率,所述电子设备基于所述当前状态信息判断所述用户是否处于眼疲劳状态,包括:判断所述用户的所述实际眨眼频率是否大于眼疲劳阈值;若是,则所述用户处于眼疲劳状态;若否,则所述用户处于眼疲劳解除状态。具体地,当头戴式设备基于调焦策略调节镜片的焦距后,若电子设备可以检测到用户眼部的实际眨眼频率,则可以将实际眨眼频率与眼疲劳阈值进行比较,当实际眨眼频率小于眼疲劳阈值,则代表用户的眼疲劳状态已得到缓解;当实际眨眼频率大于眼疲劳阈值,则代表用户的眼疲劳状态未得到缓解。通过本发明实施例提供的方法,可以判断电子设备生成的调焦策略是否能够满足用户需求,便于后续电子设备优化调焦策略的生成过程,提升用户体验。
需要说明的是,眼疲劳阈值通常取室内300-500lx照度下20分钟近距离阅读、工作后的单位时间内眨眼次数。
在一种可能的实现方式中,所述方法还包括:当所述头戴式设备基于所述调焦策略调焦后,所述头戴式设备检测所述用户的实际眨眼频率;若所述实际眨眼频率小于眼疲劳阈值,则退出调焦功能。具体地,当头戴式设备基于电子设备生成的调焦策略进行调焦后,若头戴式设备上集成了眨眼检测装置,则头戴式设备可以通过眨眼检测装置实时检测用户的眨眼频率,当检测到用户的眨眼频率小于眼疲劳阈值,则头戴式设备可以主动退出调焦功能,避免过多的调节影响用户浏览电子设备,提升了用户体验。
在一种可能的实现方式中,所述方法还包括:若所述用户处于眼疲劳状态,则电子设备获取所述头戴式设备的调焦信息;所述调焦信息包括已执行时间内的单位注视时间内调节次数、最大调节次数、所述已执行时间内的平均注视距离中的一种或多种;基于所述调焦信息更新所述调焦策略,并向所述头戴式电子设备发送更新后的所述调焦策略。具体地,当头戴式设备基于电子设备生成的调焦策略进行调焦后,若用户眼睛依旧进入了眼疲劳状态,则电子设备可以重新获取头戴式设备在已执行时间内的单位注视时间内调节次数、最大调节次数、已执行时间内的平均注视距离等信息,基于这些信息更新调焦策略,以使得头戴式设备能够基于更新后的调焦策略进行自动调焦,实现在人眼无感知的情况下再次放松眼睛,提升了用户体验。
例如,如图10所示,图10为本发明实施例提供的一种更新调焦策略的流程示意图,图中头戴式设备执行变焦策略;判断是否达到退出时间或单位时间内检测到眨眼频率小于眼疲劳阈值;若是,则头戴式设备退出调焦功能;若否,则电子设备获取单位注视时间内调节次数MOD_CNT、单位时间内最大调节次数MAX_MOD_CNT、预测周期内的平均注视距离S_AVG,动态调整调节最大屈光度D1(屈光度可以理解为焦距的倒数);电子设备计算调节屈光度步进;单个屈光度持续的周期为T1,可以为用户设置值,也可以为根据用户年龄预估的值;用户也可通过交互方式在变焦过程中提前结束;变焦的对象可以为单眼,也可以为双眼,也可以组合;电子设备重新生成T1时间内的变焦策略。
需要说明的是,可基于下述公式计算步进step:
step=(1-MOD_CNT/MAX_MOD_CNT)*1/S_AVG (公式一)
在一种可能的实现方式中,所述方法还包括:电子设备在所述显示屏上显示第一界面;所述第一界面用于显示所述用户的用眼时间和所述头戴式设备的调焦次数中的一种或多种。具体地,电子设备可以统计头戴式设备的调焦次数,及用户的用眼时间,并在显示屏194上进行显示,以使得用户能够获取到自己的眼部信息,提升用户体验。
例如,如图11所示,图11为本发明实施例提供的一种电子设备显示第一界面的示意图,图11中的(a)为电子设备的手机主界面,当前电子设备的主界面上可存在多个应用程序,其中可包括智慧感知应用;图11中的(b)为电子设备的智慧感知应用界面,在该界面中可以显示多种用户眼部信息,如头戴式设备的变焦次数、用眼时间、用户眼部调节能力等。假设,用户在浏览如图11中的(a)所示的手机主界面时,可通过点击智慧感知应用进入如图11中的(b)所示的智慧感知应用界面,然后可在该界面查看到头戴式设备的变焦次数、用眼时间、用户眼部调节能力等信息。
在本发明实施例中,移动终端可获取用户的注视情况、行为状态、阅读内容、阅读环境,也可利用头戴式设备上的眼疲劳检测装置检测用户的眼疲劳状态,通过深度学习方法,预测眼疲劳发生的时间。进一步地,通过预测疲劳发生的时间、平均用眼距离和变焦次数,自动生成变焦图案,变化镜片焦距,引导人眼屈光度变化,可适配近视加老花人群。此外,在本发明实施例中,可根据变焦执行后单位时间内平均眨眼次数自动判断头戴式设备是否需要退出调焦,当眼疲劳检测模块检测到单位时间内眨眼次数大于阈值时,表示眼疲劳得到缓解,退出调焦。同时,在本发明实施例中,在用户注视不同终端时可通过云端同步注视信息,云端将信息同步至手机,手机控制眼镜进行调焦。
请参见图12,图12是本申请实施例中的又一种头戴式设备的调焦控制方法的流程示意图,下面将结合附图12对本申请实施例中的头戴式设备的调焦控制方法进行描述。需要说明的是,为了更详细地描述本申请实施例中的头戴式设备的调焦控制方法,本申请在各个流程步骤中描述了相应的执行主体为头戴式设备,但不代表本申请实施例只能通过所描述的执行主体进行对应的方法流程。
步骤S401:头戴式设备响应于目标操作,获取用户的注视信息。
具体地,所述注视信息包括所述用户通过所述头戴式设备注视电子设备的显示屏的注视距离,和注视时长、注视内容、注视状态或注视环境中的一种或多种。需要说明的是,注视信息可以为上述对步骤S302中的注视信息,在此不重复赘述。
步骤S402:头戴式设备基于所述注视信息确定针对所述头戴式设备的调焦策略。
具体地,所述调焦策略用于调节所述头戴式设备的焦距。需要说明的是,头戴式电子设备基于注视信息生成调焦策略与上述电子设备基于注视信息生成调焦策略的过程相似,详细描述可参见上述对步骤S303的详细描述,在此不重复赘述。
在本发明实施例中,基于用户的注视信息为头戴式设备生成调焦策略,以使得头戴式设备能够基于该调焦策略进行自动调焦,从而在人眼无感知的情况下同时实现视野清晰且眼睛放松的效果,提升了用户体验。具体地,当检测到目标操作后,可获取用户的注视信息(该信息中不仅包括用户的注视距离,还可包括用户注视时长等相关信息),而后可基于这些信息对用户眼部状态进行分析,进一步地,基于用户眼部状态的分析结果为用户生成未来一段时间内的调焦策略。而现有技术中,在用户视线进行远近交替时,即用户注视距离发生变化时,是通过将镜片的焦距调节至目标焦距(该目标焦距为用户注视距离的倒数),使用户获得视力矫正,但是,在该现有技术的方案中,只有用户的注视距离发生变化,头戴式设备才会改变镜片的焦距,并未考虑用户实际的用眼情况(如用户在眼疲劳状态),更未对未来时间段内的调焦策略进行预测,从而无法有效且及时地缓解用户的眼疲劳状态。综上,由于本申请在生成调焦策略时,不仅考虑了用户的注视距离,还考虑了其他相关注视信息(如注视时长,注视内容等),且是基于注视信息主动生成未来一段时间内的调焦策略,最终根据该调焦策略进行自动调焦,因而避免了用户由于眼部状态发生变化而注视距离未发生变化时,而导致的需要主动调整眼睛焦点所产生的眼疲劳,实现了在人眼无感知的情况下视野清晰且眼睛放松的效果,提升了用户体验。
上述详细阐述了本发明实施例的方法,下面提供了本发明实施例的相关设备。
请参见图13,图13是本发明实施例提供的本申请提供了一种电子设备的示意图,所述电子设备包括显示屏,该电子设备70,可以包括第一检测单元701、第一获取单元702、第一处理单元703、第一发送单元704、第二检测单元705、第二处理单元706、第二发送单元707、第二获取单元708、第三处理单元709、第一显示单元710,其中,各个模块的详细描述如下。
第一检测单元701,用于检测目标操作;所述目标操作包括以下操作中的至少一项:用户在所述显示屏上绘制第一图形,用户在所述显示屏上方悬浮绘制第二图形,用户在所述显示屏上点击第三控件,按压目标按键;其中,所述目标按键包括电源键、音量加键、音量减键中的一个或多个;
第一获取单元702,用于响应用户的所述目标操作,获取用户的注视信息;所述注视信息包括所述用户通过头戴式设备注视所述显示屏的注视距离、注视时长、注视内容、注视状态和注视环境中的一种或多种;
第一处理单元703,用于基于所述注视信息确定调焦策略;所述调焦策略用于调节所述头戴式设备的焦距;
第一发送单元704,用于向所述头戴式设备发送所述调焦策略。
在一种可能的实现方式中,所述第一获取单元702,具体用于:所述获取用户的注视信息,包括以下至少一种:通过所述电子设备上的传感器获取所述注视信息中的部分或全部信息;通过所述头戴式设备上的传感器获取所述注视信息中的部分或全部信息;通过云端获取所述注视信息中的部分或全部信息。
在一种可能的实现方式中,所述第一处理单元703,具体用于:基于所述注视信息,得到所述用户的眼部预测信息,所述眼部预测信息包括所述用户在未来时间段内的眨眼频率、眼疲劳时间中的一种或多种;基于所述眼部预测信息,确定所述调焦策略。
在一种可能的实现方式中,所述眼部预测信息包括所述用户在所述未来时间段内的眼疲劳时间,所述第一处理单元703,具体用于:获取所述用户的平均注视距离和所述头戴式设备的当前焦距;基于所述平均注视距离和所述当前焦距,计算所述用户所需的目标焦距;基于所述目标焦距和预测的所述眼疲劳时间,确定所述调焦策略。
在一种可能的实现方式中,所述调焦策略为以预设步进的方式逐渐接近所述目标焦距。
在一种可能的实现方式中,所述设备还包括:第二检测单元705,用于当所述头戴式设备基于所述调焦策略调焦后,检测所述用户的当前状态信息;所述当前状态信息包括佩戴所述头戴式设备的佩戴状态、所述用户的实际眨眼频率中的一种或多种;第二处理单元706,用于基于所述当前状态信息判断所述用户是否处于眼疲劳状态;第二发送单元707,用于若否,则向所述头戴式设备发送退出调焦功能的指示。
在一种可能的实现方式中,所述当前状态信息包括所述用户的所述实际眨眼频率,所述第二处理单元706,具体用于:判断所述用户的所述实际眨眼频率是否大于眼疲劳阈值;若是,则所述用户处于眼疲劳状态;若否,则所述用户处于眼疲劳解除状态。
在一种可能的实现方式中,所述设备还包括:第二获取单元708,用于若所述用户处于眼疲劳状态,则获取所述头戴式设备的调焦信息;所述调焦信息包括已执行时间内的单位注视时间内调节次数、最大调节次数、所述已执行时间内的平均注视距离中的一种或多种;第三处理单元709,用于基于所述调焦信息更新所述调焦策略,并向所述头戴式电子设备发送更新后的所述调焦策略。
在一种可能的实现方式中,所述设备还包括:第一显示单元710,用于在所述显示屏上显示第一界面;所述第一界面用于显示所述用户的用眼时间和所述头戴式设备的调焦次数中的一种或多种。
需要说明的是,本发明实施例中所描述的电子设备70中各功能单元的功能可参见上述图4中所述的方法实施例中电子设备所执行的步骤的相关描述,此处不再赘述。
请参见图14,图14是本发明实施例提供的本申请提供了一种头戴式设备的示意图,所述头戴式设备包括可变焦镜片,该头戴式设备80,可以包括第一接收单元801、第一处理单元802、第一获取单元803、第二处理单元804,其中,各个模块的详细描述如下。
第一接收单元801,用于接收电子设备发送的调焦策略;所述调焦策略为所述电子设备基于用户的注视信息确定的,所述注视信息包括所述用户通过头戴式设备注视所述显示屏的注视距离,和注视时长、注视内容、注视状态和注视环境中的一种或多种;
第一处理单元802,用于基于所述调焦策略,调节所述可变焦镜片的焦距。
在一种可能的实现方式中,所述设备还包括:第一获取单元803,用于通过传感器获取所述用户的所述注视状态;所述注视状态包括所述用户的眼疲劳状态和行为状态中的一种或多种;第一发送单元,用于向所述电子设备发送所述注视状态。
在一种可能的实现方式中,所述设备还包括:第二处理单元804,用于当所述头戴式设备基于所述调焦策略调焦后,检测所述用户的实际眨眼频率;若所述实际眨眼频率小于眼疲劳阈值,则退出调焦功能。
需要说明的是,本发明实施例中所描述的头戴式设备80中各功能单元的功能可参见上述图4中所述的方法实施例中头戴式设备所执行的步骤的相关描述,此处不再赘述。
请参见图15,图15是本发明实施例提供的本申请提供了另一种电子设备的示意图,该电子设备90,可以包括第一获取单元901、第一处理单元902、第一发送单元903、第一检测单元904、第二处理单元905、第二发送单元906、第二获取单元907、第三处理单元908、第一显示单元909、第四处理单元910。
第一获取单元901,用于响应于目标操作,获取用户的注视信息;所述注视信息包括所述用户通过头戴式设备注视电子设备的显示屏的注视距离,和注视时长、注视内容、注视状态或注视环境中的一种或多种;
第一处理单元902,用于基于所述注视信息确定针对所述头戴式设备的调焦策略;所述调焦策略用于调节所述头戴式设备的焦距。
在一种可能的实现方式中,所述第一获取单元901,具体用于:通过所述电子设备上的传感器获取所述注视信息中的部分或全部信息,或通过所述头戴式设备上的传感器获取所述注视信息中的部分或全部信息,或通过云端获取所述注视信息中的部分或全部信息。
在一种可能的实现方式中,所述第一处理单元902,具体用于:基于所述注视信息,得到所述用户的眼部预测信息,所述眼部预测信息包括所述用户在未来时间段内的眨眼频率、眼疲劳时间中的一种或多种;基于所述眼部预测信息,确定所述调焦策略。
在一种可能的实现方式中,所述眼部预测信息包括所述用户在所述未来时间段内的眼疲劳时间,所述第一处理单元902,具体用于:获取所述用户的平均注视距离和所述头戴式设备的当前焦距;基于所述平均注视距离和所述当前焦距,计算所述用户所需的目标焦距;基于所述目标焦距和预测的所述眼疲劳时间,确定所述调焦策略。
在一种可能的实现方式中,所述调焦策略为以预设步进的方式逐渐接近所述目标焦距。
在一种可能的实现方式中,所述设备还包括:第一发送单元903,用于向所述头戴式设备发送所述调焦策略。
在一种可能的实现方式中,所述设备还包括:第一检测单元904,用于当所述头戴式设备基于所述调焦策略调焦后,检测所述用户的当前状态信息;所述当前状态信息包括佩戴所述头戴式设备的佩戴状态、所述用户的实际眨眼频率中的一种或多种;第二处理单元905,用于基于所述当前状态信息判断所述用户是否处于眼疲劳状态;第二发送单元906,用于若否,则向所述头戴式设备发送退出调焦功能的指示。
在一种可能的实现方式中,所述当前状态信息包括所述用户的所述实际眨眼频率,所述第二处理单元905,具体用于:判断所述用户的所述实际眨眼频率是否大于眼疲劳阈值;若是,则所述用户处于眼疲劳状态;若否,则所述用户处于眼疲劳解除状态。
在一种可能的实现方式中,所述设备还包括:第二获取单元907,用于若所述用户处于眼疲劳状态,则获取所述头戴式设备的调焦信息;所述调焦信息包括已执行时间内的单位注视时间内调节次数、最大调节次数、所述已执行时间内的平均注视距离中的一种或多种;第三处理单元908,用于基于所述调焦信息更新所述调焦策略,并向所述头戴式电子设备发送更新后的所述调焦策略。
在一种可能的实现方式中,所述目标操作包括以下操作中的至少一项:用户在电子设备的显示屏上绘制第一图形,用户在所述显示屏上方悬浮绘制第二图形,用户在所述显示屏上点击第三控件,按压目标按键;其中,所述目标按键包括电源键、音量加键、音量减键中的一个或多个。
在一种可能的实现方式中,所述设备还包括:第一显示单元909,用于在所述显示屏上显示第一界面;所述第一界面用于显示所述用户的用眼时间和所述头戴式设备的调焦次数中的一种或多种。
在一种可能的实现方式中,所述设备还包括:第四处理单元910,用于当所述头戴式设备基于所述调焦策略调焦后,检测所述用户的实际眨眼频率;所述第四处理单元,还用于若所述实际眨眼频率小于眼疲劳阈值,则退出调焦功能。
需要说明的是,本发明实施例中所描述的电子设备90中各功能单元的功能可参见上述描述的方法实施例中电子设备所执行的步骤的相关描述,此处不再赘述。
本申请提供了一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机程序,该计算机程序被处理器执行时实现上述一种头戴式设备的调焦控制方法中的任意一项所述的方法。
本申请提供了一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机程序,该计算机程序被处理器执行时实现上述另一种头戴式设备的调焦控制方法中的任意一项所述的方法。
本发明实施例提供一种电子设备,该电子设备中包括处理器,处理器被配置为支持该电子设备实现一种头戴式设备的调焦控制方法中相应的功能。该电子设备还可以包括存储器,存储器用于与处理器耦合,其保存该电子设备必要的程序指令和数据。该电子设备还可以包括通信接口,用于该电子设备与其他设备或通信网络通信。
本发明实施例提供一种电子设备,该电子设备中包括处理器,处理器被配置为支持该电子设备实现另一种头戴式设备的调焦控制方法中相应的功能。该电子设备还可以包括存储器,存储器用于与处理器耦合,其保存该电子设备必要的程序指令和数据。该电子设备还可以包括通信接口,用于该电子设备与其他设备或通信网络通信。
本申请提供了一种芯片系统,该芯片系统包括处理器,用于支持电子设备实现上述一种头戴式设备的调焦控制方法中的任意一项所涉及的功能,例如,生成或处理上述头戴式设备的调焦控制方法中所涉及的信息。在一种可能的设计中,所述芯片系统还包括存储器,所述存储器,用于保存电子设备必要的程序指令和数据。该芯片系统,可以由芯片构成,也可以包含芯片和其他分立器件。
本申请提供了一种芯片系统,该芯片系统包括处理器,用于支持电子设备实现上述另一种头戴式设备的调焦控制方法中所涉及的功能,例如,生成或处理上述头戴式设备的调焦控制方法中所涉及的信息。在一种可能的设计中,所述芯片系统还包括存储器,所述存储器,用于保存电子设备必要的程序指令和数据。该芯片系统,可以由芯片构成,也可以包含芯片和其他分立器件。
本申请实施例提供了一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行上述一种头戴式设备的调焦控制方法中的任一项可能的实现方式中的头戴式设备的调焦控制方法、或上述另一种头戴式设备的调焦控制方法中的任一项可能的实现方式中的头戴式设备的调焦控制方法。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可能可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等,具体可以是计算机设备中的处理器)执行本申请各个实施例上述方法的全部或部分步骤。其中,而前述的存储介质可包括:U盘、移动硬盘、磁碟、光盘、只读存储器(Read-Only Memory,缩写:ROM)或者随机存取存储器(Random Access Memory,缩写:RAM)等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (27)

1.一种头戴式设备的调焦控制方法,其特征在于,所述方法包括:
响应于目标操作,获取用户的注视信息;所述注视信息包括所述用户通过所述头戴式设备注视电子设备的显示屏的注视距离,和注视时长、注视内容、注视状态或注视环境中的一种或多种;
基于所述注视信息确定针对所述头戴式设备的调焦策略;所述调焦策略用于调节所述头戴式设备的焦距。
2.如权利要求1所述的方法,其特征在于,所述获取用户的注视信息,包括以下至少一种:
通过所述电子设备上的传感器获取所述注视信息中的部分或全部信息;
通过所述头戴式设备上的传感器获取所述注视信息中的部分或全部信息;
通过云端获取所述注视信息中的部分或全部信息。
3.如权利要求1或2所述的方法,其特征在于,所述基于所述注视信息确定调焦策略,包括:
基于所述注视信息,得到所述用户的眼部预测信息,所述眼部预测信息包括所述用户在未来时间段内的眨眼频率、眼疲劳时间中的一种或多种;
基于所述眼部预测信息,确定所述调焦策略。
4.如权利要求3所述的方法,其特征在于,所述眼部预测信息包括所述用户在所述未来时间段内的眼疲劳时间,所述基于所述眼部预测信息,确定所述调焦策略,包括:
获取所述用户的平均注视距离和所述头戴式设备的当前焦距;
基于所述平均注视距离和所述当前焦距,计算所述用户所需的目标焦距;
基于所述目标焦距和预测的所述眼疲劳时间,确定所述调焦策略。
5.如权利要求4所述的方法,其特征在于,所述调焦策略为以预设步进的方式逐渐接近所述目标焦距。
6.如权利要求1-5任意一项所述的方法,其特征在于,所述方法还包括:
向所述头戴式设备发送所述调焦策略。
7.如权利要求6所述的方法,其特征在于,所述方法还包括:
当所述头戴式设备基于所述调焦策略调焦后,检测所述用户的当前状态信息;所述当前状态信息包括佩戴所述头戴式设备的佩戴状态、所述用户的实际眨眼频率中的一种或多种;
基于所述当前状态信息判断所述用户是否处于眼疲劳状态;
若否,则向所述头戴式设备发送退出调焦功能的指示。
8.如权利要求7所述的方法,其特征在于,所述当前状态信息包括所述用户的所述实际眨眼频率,所述基于所述当前状态信息判断所述用户是否处于眼疲劳状态,包括:
判断所述用户的所述实际眨眼频率是否大于眼疲劳阈值;
若是,则所述用户处于眼疲劳状态;
若否,则所述用户处于眼疲劳解除状态。
9.如权利要求7或8所述的方法,其特征在于,所述方法还包括:
若所述用户处于眼疲劳状态,则获取所述头戴式设备的调焦信息;所述调焦信息包括已执行时间内的单位注视时间内调节次数、最大调节次数、所述已执行时间内的平均注视距离中的一种或多种;
基于所述调焦信息更新所述调焦策略,并向所述头戴式电子设备发送更新后的所述调焦策略。
10.如权利要求6-9任意一项所述的方法,其特征在于,所述目标操作包括以下操作中的至少一项:用户在电子设备的显示屏上绘制第一图形,用户在所述显示屏上方悬浮绘制第二图形,用户在所述显示屏上点击第三控件,按压目标按键;其中,所述目标按键包括电源键、音量加键、音量减键中的一个或多个。
11.如权利要求6-10任意一项所述的方法,其特征在于,所述方法还包括:
在所述显示屏上显示第一界面;所述第一界面用于显示所述用户的用眼时间和所述头戴式设备的调焦次数中的一种或多种。
12.如权利要求1-5任意一项所述的方法,其特征在于,所述方法还包括:
当所述头戴式设备基于所述调焦策略调焦后,检测所述用户的实际眨眼频率;
若所述实际眨眼频率小于眼疲劳阈值,则退出调焦功能。
13.一种电子设备,其特征在于,所述设备包括:
第一获取单元,用于响应于目标操作,获取用户的注视信息;所述注视信息包括所述用户通过头戴式设备注视电子设备的显示屏的注视距离,和注视时长、注视内容、注视状态或注视环境中的一种或多种;
第一处理单元,用于基于所述注视信息确定针对所述头戴式设备的调焦策略;所述调焦策略用于调节所述头戴式设备的焦距。
14.如权利要求13所述的设备,其特征在于,所述第一获取单元,具体用于:
通过所述电子设备上的传感器获取所述注视信息中的部分或全部信息,或通过所述头戴式设备上的传感器获取所述注视信息中的部分或全部信息,或通过云端获取所述注视信息中的部分或全部信息。
15.如权利要求13或14所述的设备,其特征在于,所述第一处理单元,具体用于:
基于所述注视信息,得到所述用户的眼部预测信息,所述眼部预测信息包括所述用户在未来时间段内的眨眼频率、眼疲劳时间中的一种或多种;
基于所述眼部预测信息,确定所述调焦策略。
16.如权利要求15所述的设备,其特征在于,所述眼部预测信息包括所述用户在所述未来时间段内的眼疲劳时间,所述第一处理单元,具体用于:
获取所述用户的平均注视距离和所述头戴式设备的当前焦距;
基于所述平均注视距离和所述当前焦距,计算所述用户所需的目标焦距;
基于所述目标焦距和预测的所述眼疲劳时间,确定所述调焦策略。
17.如权利要求16所述的设备,其特征在于,所述调焦策略为以预设步进的方式逐渐接近所述目标焦距。
18.如权利要求13-17任意一项所述的设备,其特征在于,所述设备还包括:
第一发送单元,用于向所述头戴式设备发送所述调焦策略。
19.如权利要求18所述的设备,其特征在于,所述设备还包括:
第一检测单元,用于当所述头戴式设备基于所述调焦策略调焦后,检测所述用户的当前状态信息;所述当前状态信息包括佩戴所述头戴式设备的佩戴状态、所述用户的实际眨眼频率中的一种或多种;
第二处理单元,用于基于所述当前状态信息判断所述用户是否处于眼疲劳状态;
第二发送单元,用于若否,则向所述头戴式设备发送退出调焦功能的指示。
20.如权利要求19所述的设备,其特征在于,所述当前状态信息包括所述用户的所述实际眨眼频率,所述第二处理单元,具体用于:
判断所述用户的所述实际眨眼频率是否大于眼疲劳阈值;
若是,则所述用户处于眼疲劳状态;
若否,则所述用户处于眼疲劳解除状态。
21.如权利要求19或20所述的设备,其特征在于,所述设备还包括:
第二获取单元,用于若所述用户处于眼疲劳状态,则获取所述头戴式设备的调焦信息;所述调焦信息包括已执行时间内的单位注视时间内调节次数、最大调节次数、所述已执行时间内的平均注视距离中的一种或多种;
第三处理单元,用于基于所述调焦信息更新所述调焦策略,并向所述头戴式电子设备发送更新后的所述调焦策略。
22.如权利要求18-21任意一项所述的设备,其特征在于,所述目标操作包括以下操作中的至少一项:用户在电子设备的显示屏上绘制第一图形,用户在所述显示屏上方悬浮绘制第二图形,用户在所述显示屏上点击第三控件,按压目标按键;其中,所述目标按键包括电源键、音量加键、音量减键中的一个或多个。
23.如权利要求18-21任意一项所述的设备,其特征在于,所述设备还包括:
第一显示单元,用于在所述显示屏上显示第一界面;所述第一界面用于显示所述用户的用眼时间和所述头戴式设备的调焦次数中的一种或多种。
24.如权利要求13-17任意一项所述的设备,其特征在于,所述设备还包括:
第四处理单元,用于当所述头戴式设备基于所述调焦策略调焦后,检测所述用户的实际眨眼频率;
所述第四处理单元,还用于若所述实际眨眼频率小于眼疲劳阈值,则退出调焦功能。
25.一种电子设备,包括触控屏,存储器,一个或多个处理器,多个应用程序,以及一个或多个程序;其中,所述一个或多个程序被存储在所述存储器中;其特征在于,所述一个或多个处理器在执行所述一个或多个程序时,使得所述电子设备实现如权利要求1至12任一项的方法。
26.一种计算机存储介质,其特征在于,包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求1至12任一项所述的方法。
27.一种计算机程序产品,其特征在于,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如权利要求1至12任一项所述的方法。
CN202210162620.XA 2022-02-22 2022-02-22 一种头戴式设备的调焦控制方法及相关设备 Pending CN116679822A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210162620.XA CN116679822A (zh) 2022-02-22 2022-02-22 一种头戴式设备的调焦控制方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210162620.XA CN116679822A (zh) 2022-02-22 2022-02-22 一种头戴式设备的调焦控制方法及相关设备

Publications (1)

Publication Number Publication Date
CN116679822A true CN116679822A (zh) 2023-09-01

Family

ID=87779644

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210162620.XA Pending CN116679822A (zh) 2022-02-22 2022-02-22 一种头戴式设备的调焦控制方法及相关设备

Country Status (1)

Country Link
CN (1) CN116679822A (zh)

Similar Documents

Publication Publication Date Title
CN112717370B (zh) 一种控制方法和电子设备
KR102310130B1 (ko) 착용 가능한 전자 장치
CN113364971B (zh) 图像处理方法和装置
EP4020491A1 (en) Fitness-assisted method and electronic apparatus
CN111553846B (zh) 超分辨率处理方法及装置
KR20160024168A (ko) 전자 장치의 디스플레이 제어 방법 및 전자 장치
WO2021013132A1 (zh) 输入方法及电子设备
CN111400605A (zh) 基于眼球追踪的推荐方法及装置
KR20180099026A (ko) 외부 전자 장치를 이용한 촬영 방법 및 이를 지원하는 전자 장치
KR20160055534A (ko) 전자 장치의 주변 환경에 기반한 컨텐트 적응 방법 및 그 전자 장치
WO2023000772A1 (zh) 模式切换方法、装置、电子设备及芯片系统
WO2022042766A1 (zh) 信息显示方法、终端设备及计算机可读存储介质
CN112835445B (zh) 虚拟现实场景中的交互方法、装置及系统
WO2021103990A1 (zh) 显示方法、电子设备及系统
EP4254319A1 (en) Image processing method and apparatus
CN115794287A (zh) 一种显示方法、电子设备及计算机存储介质
CN115525372B (zh) 显示界面的方法和装置
CN113177229A (zh) 数据处理方法及相关装置
CN116057451A (zh) 改变显示器的设置的方法及电子装置
CN111768352A (zh) 图像处理方法及装置
CN117234398A (zh) 一种屏幕亮度调节方法及电子设备
WO2023030168A1 (zh) 界面显示方法和电子设备
US20240111403A1 (en) Page sliding processing method and related apparatus
CN114531582B (zh) 一种增强现实功能控制方法和电子设备
CN116679822A (zh) 一种头戴式设备的调焦控制方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication