CN114578940A - 一种控制方法、装置和电子设备 - Google Patents
一种控制方法、装置和电子设备 Download PDFInfo
- Publication number
- CN114578940A CN114578940A CN202011381148.6A CN202011381148A CN114578940A CN 114578940 A CN114578940 A CN 114578940A CN 202011381148 A CN202011381148 A CN 202011381148A CN 114578940 A CN114578940 A CN 114578940A
- Authority
- CN
- China
- Prior art keywords
- eye
- rendering
- image
- display screen
- electronic device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000009877 rendering Methods 0.000 claims abstract description 136
- 230000004424 eye movement Effects 0.000 claims abstract description 38
- 230000004044 response Effects 0.000 claims abstract description 27
- 230000015654 memory Effects 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 8
- 239000011521 glass Substances 0.000 abstract description 70
- 238000012545 processing Methods 0.000 abstract description 19
- 230000007246 mechanism Effects 0.000 abstract description 12
- 230000000694 effects Effects 0.000 abstract description 10
- 238000013461 design Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 21
- 230000008569 process Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 14
- 230000016776 visual perception Effects 0.000 description 14
- 239000000203 mixture Substances 0.000 description 11
- 230000000007 visual effect Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 7
- 230000009467 reduction Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 210000001747 pupil Anatomy 0.000 description 6
- 210000004556 brain Anatomy 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000001179 pupillary effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3234—Power saving characterised by the action undertaken
- G06F1/325—Power saving in peripheral device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3234—Power saving characterised by the action undertaken
- G06F1/325—Power saving in peripheral device
- G06F1/3265—Power saving in display device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请实施例公开了一种控制方法、装置和电子设备,涉及电子设备,使得根据确定的主视眼,对眼动追踪模组的工作机制以及渲染处理机制进行调整,由此减少对不敏感的辅视眼的无效工作,达到降低VR眼镜功耗的效果,进而提升VR眼镜的工作效率。具体方案为:确定主视眼。响应于确定结果,关闭非主视眼对应的眼动追踪模组。响应于确定结果,将非主视眼对应图像的渲染参数由第一渲染参数调整为第二渲染参数。其中,渲染参数包括输出图像帧率,第一渲染参数包括的输出图像帧率大于第二渲染参数包括的输出图像帧率。根据第二渲染参数对非主视眼对应的图像进行渲染处理。
Description
技术领域
本申请实施例涉及电子设备领域,尤其涉及一种控制方法、装置和电子设备。
背景技术
目前,增强现实(Augmented Reality,AR)和虚拟现实(Virtual Reality,VR)技术逐渐兴起。其中,在一些AR/VR技术的应用场景下时,需要AR/VR设备能够通过眼动追踪模组,实现眼动追踪,并据此提供相应的功能。
以AR/VR设备为VR眼镜为例。VR眼镜中可以设置有两个眼动追踪模组,每个眼动追踪模组用于对一只人眼进行眼动追踪。用户在佩戴VR眼镜时,VR眼镜可以通过眼动追踪模组获取用户双眼的眼动追踪数据,并据此提供注视点渲染,基于虹膜识别的身份认证、支付、个人信息定制化等功能。
可以看到,为了能够提供上述功能,VR眼镜需要持续地进行眼动追踪,由此就需要维持两个眼动追踪模组的长时间工作。这样就会导致VR眼镜功耗较高的问题。
发明内容
本申请实施例提供一种控制方法、装置和电子设备,可以根据确定的主视眼,对眼动追踪模组的工作机制和/或渲染处理机制进行调整,由此减少对不敏感的辅视眼的无效工作,达到降低VR眼镜功耗的效果,进而提升VR眼镜的工作效率。
为了达到上述目的,本申请实施例采用如下技术方案:
第一方面,提供一种控制方法,应用于电子设备,电子设备中包括两个眼动追踪模组,两个眼动追踪模组对应于不同人眼,该方法包括:确定主视眼。响应于确定结果,关闭非主视眼对应的眼动追踪模组。响应于确定结果,将非主视眼对应图像的渲染参数由第一渲染参数调整为第二渲染参数。其中,渲染参数包括输出图像帧率,第一渲染参数包括的输出图像帧率大于第二渲染参数包括的输出图像帧率。根据第二渲染参数对非主视眼对应的图像进行渲染处理。
基于该方案,提供了一种能够适用于目前的电子设备的降功耗方案。在该示例中,电子设备可以为AR/VR设备。在本示例中,通过关闭辅视眼对应的眼动追踪模组,节省该眼动追踪模组的长时间工作产生的功耗。另外,还可以通过调整对非主视眼(即辅视眼)的图像渲染参数进行调整,使得在不影响用户视觉感知的前提下,进一步降低功耗。可以理解的是,由于辅视眼对于图像质量不敏感,降低辅视眼对应的图像质量不会影响用户的视觉感知,因此,可以关闭用于提升辅视眼图像质量的眼动追踪,不对辅视眼进行眼动追踪,实现在不影响用户视觉感知的前提下,降低设备功耗。另外,由于不对辅视眼进行眼动追踪,因此同时还能够节省对辅视眼进行眼动追踪过程中的算力开销,由此提高电子设备的工作效率。需要说明的是,在本示例中,由于采用了降低输出图像帧率的方案进行辅视眼对应图像的渲染,因此能够节省辅视眼对应图像渲染的处理压力,同时由于需要显示的帧图像数量的降低,因此也能够降低提交渲染结果进行显示过程中的指令开销。应当理解的是,上述效果都可以使得电子设备节省不必要的功耗,从而提升工作性能。其中,对于不同的用户,主视眼可以是左眼,也可以是右眼,本申请实施例对于主视眼具体为左眼还是右眼不作限定。
在一种可能的设计中,确定主视眼,包括:显示透光孔及提示信息。透光孔所在像面位于提示信息所在像面和电子设备之间。响应于检测到第一操作,调整透光孔在透光孔所在像面上的位置。响应于检测到第二操作,根据第一显示屏和第二显示屏上的显示内容,将显示提示信息的显示屏对应的人眼作为主视眼。其中,第一显示屏是电子设备中,向第一人眼显示图像的显示屏。第二显示屏是电子设备中,向第二人眼显示图像的显示屏。基于该方案,提供了一种具体的确定用户主视眼的方案。在该示例中,电子设备可以通过向用户展示虚拟的三维场景,结合用户的操作,确定主视眼。比如,用户可以在该虚拟场景中手持一个设置有孔径1.5英寸左右透光孔的纸片。用户可以在该虚拟场景中,通过第一操作,调整纸片位置,使得通过双眼能够通过该透光孔观察到三维场景中的提示信息(如1英寸高的字母)。在本示例中,用户可以在能够通过双眼透过透光孔看清提示信息时,向电子设备输入第二操作。响应于该第二操作,电子设备就可以根据两个显示屏上显示的内容来确定主视眼。其中,第二操作可以是用户按下、触摸对应的按钮或图标,或者通过语音、肢体语言输入的。需要说明的是,在本申请的另一些实现方式中,电子设备还可以在用户在一定时间(如预设时长)内不输入移动透光孔/纸片的操作时,确定用户已经可以通过透光孔看到提示信息。可以理解的是,在主视眼和辅视眼看到的图像不同时,人脑会将主视眼看到的图像为主,而由于双眼在空间的位置差别,因此两只人眼分别通过小孔看到图形并不一致。也就是说,在通过双眼能够看到该提示信息时,在电子设备两个显示屏上显示有提示信息的一个显示屏对应的人眼就可以是主视眼。由此,电子设备可以根据两个显示屏上显示的内容来确定主视眼。这样,通过该示例中的方式,使得在用户的轻度参与下,电子设备能够准确地获取用户的主视眼和辅视眼分布情况。
在一种可能的设计中,透光孔所在像面为第一虚拟像面,提示信息所在像面为第二虚拟像面。第一虚拟像面与电子设备的距离为第一预设距离。第一虚拟像面与第二虚拟像面之间的距离为第二预设距离。基于该方案,提供了一种电子设备显示透光孔和提示信息的具体实现方案。在该示例中,电子设备可以根据预设的第一预设距离和第二预设距离来显示虚拟三维空间中的透光孔和提示信息。其中,第一预设距离可以为用户的臂长,第二预设距离可以为10英尺左右。在本申请的一些实现方式中,电子设备可以在第一次被用户使用时,获取用户的臂长信息,比如,提示用户通过对应的应用程序输入臂长信息,电子设备可以将该获取的臂长信息作为第一预设距离。在本申请的另一些实现方式中,电子设备还可以将第一预设距离和第二预设距离预置在其中,比如,该第一预设距离可以是通调研采样确定的普通用户的臂长。
在一种可能的设计中,电子设备对应有手持设备。显示透光孔及提示信息,包括:根据手持设备的位置,确定透光孔的位置,在透光孔的位置显示透光孔。提示信息所在像面与透光孔所在像面的距离为第三预设距离。手持设备的位置是电子设备检测获取的,或者,手持设备的位置是电子设备从手持设备获取的。基于该方案,提供了又一种电子设备显示透光孔和提示信息的具体实现方案。在该示例中,电子设备可以结合对应的手持设备,进行透光孔和提示信息的显示。以手持设备为遥控器为例。电子设备可以提示用户手持遥控器,并伸直手臂,以模拟在虚拟空间中伸直手臂拿起设置有1.5英寸孔径透光孔的纸片。电子设备可以通过遥控器上设置的传感器,或者光电器件,采集相关的信息,以确定遥控器在空间中的位置。比如,遥控器上可以设置有电磁发射部件,电子设备可以接收电磁发射部件发射的电磁波,并根据该电磁波对遥控器进行空间定位,由此确定遥控器的位置。又如,遥控器上可以设置有发光部件,遥控器可以在与电子设备对齐的时刻开始发光。对应的,电子设备可以根据接收到光线的时刻与遥控器爱是发光的时刻的时间差,确定遥控器与电子设备之间的距离,进而结合接收到光线的入射角度,确定遥控器的空间位置。又如,电子设备可以对遥控器进行拍照,并基于对获取的图像进行分析的结果,确定遥控器的空间位置。在本申请的另一些实现方式中,遥控器还可以通过其中设置的传感器,确定当前的空间位置,并将携带有该空间位置的信息发送给电子设备,以便电子设备知晓遥控器的空间位置。可以理解的是,由于像面与视平面(或用于在佩戴电子设备观看虚拟三维空间时对应的光轴)在空间中是垂直关系,因此在确定手持设备的空间位置后,电子设备就可以根据当前视平面,或者视线,或者能够用于标识光轴的其他信息,结合手持设备的空间位置,确定虚拟三维空间中透光孔所在像面,进而在该像面上与遥控器对应的位置显示透光孔。需要说明的是,在本示例的另一种实现中,电子设备还可以根据预设的手持设备的位置与透光孔的位置关系,在对应的位置显示透光孔。基于手持设备的位置,或者透光孔所在像面,电子设备就可以在第三预设距离处显示对应的提示信息。需要说明的是,在该示例中,第三预设距离可以为与第二预设距离相同的10英尺,也可以是其他预设的值。
在一种可能的设计中,眼动追踪模组包括LED灯组和IR相机,关闭非主视眼对应的眼动追踪模组,包括:关闭非主视眼对应的眼动追踪模组中的LED灯组和/或IR相机。基于该方案,提供了一种具体的关闭非主视眼对应的眼动追踪模组的方案。比如,可以关闭非主视眼对应的LED灯组,以节省LED灯组长时间工作产生的功耗。又如,可以关闭非主视眼对应的IR相机,以节省IR相机持续拍照产生的功耗。又如,还可以同时关闭非主视眼对应的LED灯组和IR相机。对于所关闭部件的选择,可以根据实现该方案的电子设备的内部架构灵活选择。
在一种可能的设计中,渲染参数还包括分辨率,和/或注视点渲染范围。基于该方案,提供了一种具体的渲染参数的组成。在该示例中,渲染参数中还可以包括分辨率,和/或注视点渲染范围。以使得电子设备可以以采用较低的渲染参数进行辅视眼图像的渲染,从而在不影响用户视觉感知的前提下,节省电子设备的功耗和算力开销。
第二方面,提供一种控制装置,应用于电子设备,电子设备中包括两个眼动追踪模组,两个眼动追踪模组对应于不同人眼,该装置包括:确定单元,用于确定主视眼。追踪控制单元,用于响应于确定结果,关闭非主视眼对应的眼动追踪模组。调整单元,用于响应于确定结果,将非主视眼对应图像的渲染参数由第一渲染参数调整为第二渲染参数。其中,渲染参数包括输出图像帧率,第一渲染参数包括的输出图像帧率大于第二渲染参数包括的输出图像帧率。根据第二渲染参数对非主视眼对应的图像进行渲染处理。
在一种可能的设计中,确定单元,具体用于:显示透光孔及提示信息。透光孔所在像面位于提示信息所在像面和电子设备之间。响应于检测到第一操作,调整透光孔在透光孔所在像面上的位置。响应于检测到第二操作,根据第一显示屏和第二显示屏上的显示内容,将显示提示信息的显示屏对应的人眼作为主视眼。其中,第一显示屏是电子设备中,向第一人眼显示图像的显示屏。第二显示屏是电子设备中,向第二人眼显示图像的显示屏。
在一种可能的设计中,透光孔所在像面为第一虚拟像面,提示信息所在像面为第二虚拟像面。第一虚拟像面与电子设备的距离为第一预设距离。第一虚拟像面与第二虚拟像面之间的距离为第二预设距离。
在一种可能的设计中,电子设备对应有手持设备。确定单元,具体用于:根据手持设备的位置,确定透光孔的位置,在透光孔的位置显示透光孔。提示信息所在像面与透光孔所在像面的距离为第三预设距离。该设备还包括获取单元,用于检测获取手持设备的位置,或者,用于从手持设备获取手持设备的位置。
在一种可能的设计中,追踪控制单元,具体用于关闭非主视眼对应的眼动追踪模组中的LED灯组和/或IR相机。
在一种可能的设计中,渲染参数还包括分辨率,和/或注视点渲染范围。
第三方面,提供一种电子设备,电子设备中设置有第一眼动追踪模组和第二眼动追踪模组,第一眼动追踪模组用于对第一人眼进行眼动追踪,第二眼动追踪模组用于对第二人眼进行眼动追踪。电子设备包括一个或多个处理器和一个或多个存储器。一个或多个存储器与一个或多个处理器耦合,一个或多个存储器存储有计算机指令。当一个或多个处理器执行计算机指令时,使得电子设备执行如第一方面及其可能的设计中任一项所述的控制方法。
第四方面,提供一种计算机可读存储介质,计算机可读存储介质包括计算机指令,当计算机指令运行时,执行如第一方面及其可能的设计中任一项所述的控制方法。
第五方面,提供一种芯片系统,芯片系统包括接口电路和处理器;接口电路和处理器通过线路互联;接口电路用于从存储器接收信号,并向处理器发送信号,信号包括存储器中存储的计算机指令;当处理器执行计算机指令时,芯片系统执行如上述第一方面以及各种可能的设计中任一项所述的控制方法。
第六方面,提供一种计算机程序产品,计算机程序产品中包括指令,当计算机程序产品在计算机上运行时,使得计算机可以根据指令执行如上述第一方面以及各种可能的设计中任一项所述的控制方法。
应当理解的是,上述第二方面,第三方面,第四方面,第五方面以及第六方面提供的技术方案,其技术特征均可对应到第一方面及其可能的设计中提供的控制方法,因此能够达到的有益效果类似,此处不再赘述。
附图说明
图1为一种眼动追踪模组的组成示意图;
图2为又一种眼动追踪模组的组成示意图;
图3为本申请实施例提供的一种AR/VR设备的组成示意图;
图4为本申请实施例提供的一种VR眼镜的组成示意图;
图5为本申请实施例提供的一种VR眼镜确定用户的主视眼和/或辅视眼的方法示意图;
图6为本申请实施例提供的又一种VR眼镜确定用户的主视眼和/或辅视眼的方法示意图;
图7为本申请实施例提供的一种VR眼镜的工作示意图;
图8为本申请实施例提供的一种显示屏的播放时序的对比示意图;
图9为本申请实施例提供的又一种显示屏的播放时序的对比示意图;
图10为本申请实施例提供的又一种显示屏的播放时序的对比示意图;
图11为本申请实施例提供的一种控制装置的组成示意图;
图12为本申请实施例提供的一种电子设备的组成示意图;
图13为本申请实施例提供的一种芯片系统的组成示意图。
具体实施方式
目前的AR/VR设备中,可以通过眼动追踪模组,实现眼动追踪,由此确定人眼的注视点、和/或瞳孔特征等信息,进而为用户提供各种相应的功能。示例性的,AR/VR设备可以通过眼动追踪模组,确定用户双眼分别对应的注视点坐标,并根据注视点坐标,进行注视点渲染。比如,AR/VR设备可以根据人眼的注视点坐标,对图像上注视点坐标附近的像素进行精细渲染,以便用户能够在注视点附近看到图像质量较高的画面。由于人眼对于距离注视点较远的图像质量并不敏感,对于远离注视点的像素,AR/VR设备可以适当降低渲染质量。可以理解的是,通过注视点渲染,AR/VR设备能够在提升用户视觉感知的同时,不需要对全画幅的图像进行精细渲染。由此能够有效地降低AR/VR设备的运算压力。
为了能够实现眼动追踪的功能,请参考图1,示出了一种眼动追踪模组的组成。如图1所示,该眼动追踪模组可以包括发光二极管(Light-Emitting Diode Light,LED)灯组,以及红外(infrared,IR)相机。其中,LED灯组可以包括多个LED灯。图1中是以LED灯组包括4个LED灯为例进行说明的。一个眼动追踪模组可以对应用户双眼中的一只人眼,用于对该人眼进行眼动追踪。
比如,以通过眼动追踪模组确定注视点坐标为例。AR/VR设备可以通过建立人眼对光线的响应图像特征与注视点坐标的对应关系,进而实现实时地根据人眼对光线的响应图像特征,确定注视点坐标。
示例性的,在眼动追踪模组工作时,AR/VR设备可以在显示屏上显示一个观察点,提示用户观看该观察点。也就是说,当前时刻对应人眼的注视点坐标(即观察点的位置)是已知的。
LED灯组可以将产生的光线(如红外光)沿路径1投射向人眼。IR相机可以通过路径2采集光线投射在人眼上时,人眼的响应图像。
需要说明的是,由于人眼不同区域(比如人眼上的瞳孔区域和其他区域)对于光线的响应不同。本示例中,将瞳孔区域对光线的响应表现在图像上的特征(即瞳孔特征)记为特征1。在IR相机获取的响应图像中,可以包括该特征1。而人眼在观看不同位置时,瞳孔区域在响应图像中的位置不同,因此,特征1在响应图像中的位置也不同。由此,通过引导用户观看已知的观察点,即可建立人眼的注视点坐标(与观察点位置相同)与在对应位置包括特征1的响应图像的对应关系。
AR/VR设备可以多次调整观察点位置,分别执行上述测量。在完成多次测量之后,AR/VR设备就可以获取特征1在图像上不同位置时,对应注视点的坐标。这样,在用户后续使用AR/VR设备的过程中,根据各个时刻IR相机获取的响应图像中特征1的位置,就可以快速确定对应时刻人眼的注视点坐标。
在获取该人眼的注视点坐标后,AR/VR设备可以执行注视点渲染。可以理解的是,通过上述方案说明,IR相机可以获取包括人眼瞳孔区域等人眼上不同区域对光线的响应图像。根据该响应图像,AR/VR设备可以基于虹膜识别技术,确定当前用户的身份,进而实现身份认证、支付、个人信息定制化等功能。
结合对图1的说明,在AR/VR设备中可以分别在用户双眼附近,分别设置眼动追踪模组,实现对于双眼的眼动追踪。示例性的,请参考图2,以AR/VR设备为VR眼镜为例,示出了一种包括眼动追踪模组的VR眼镜的组成。如图2所示,在VR眼镜中可以设置包括有LED灯组1以及IR相机1的眼动追踪模组1,以及包括有LED灯组2以及IR相机2的眼动追踪模组2。其中,眼动追踪模组1可以用于对左眼进行眼动追踪,眼动追踪模组2可以用于对右眼进行眼动追踪。基于如图2所示的组成,就可以实现通过两个眼动追踪模组,实时地对双眼进行眼动追踪。
应当理解的是,眼动追踪模组在工作过程中,LED灯组需要一直向人眼投射光线,IR相机也需要持续地对人眼进行拍照以获取对应时刻人眼对于光线的响应图像。这样,就对VR眼镜的功耗产生较大的压力。由此带来的设备发热等问题也会影响VR眼镜的使用。
为了解决上述问题,本申请实施例提供的技术方案,使得AR/VR设备可以根据人眼特征(比如主视眼和辅视眼的分布),只需要1个眼动追踪模组的工作,即可实现与进行双眼眼动追踪时类似的视觉感知效果。通过本申请实施例提供的方案,能够在不影响用户体验的前提下,显著节省AR/VR设备的功耗。
以下结合附图对本申请实施例提供的方案进行详细说明。
请参考图3,为本申请实施例提供的一种AR/VR设备的组成示意。该AR/VR设备中可以包括处理器,两个显示模组(如显示模组1和显示模组2),两个眼动追踪模组(如眼动追踪模组1和眼动追踪规模组2)。
应当理解的是,本实施例示意的结构并不构成对AR/VR设备的具体限定。在另一些实施例中,AR/VR设备可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
在如图3所示的组成中,处理器可以包括一个或多个处理单元,例如:处理器可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphicsprocessing unit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。在本申请的不同实现方式中,对图像的渲染处理可以是由GPU执行的,也可以是由CPU等具有计算功能的处理器执行的。另外,对于电子设备中命令的获取、处理以及下发可以是由CPU执行的,也可以是由其他具有类似功能的部件执行的。为了便于说明,以下以由GPU执行图像渲染,由CPU执行其他命令的获取、处理以及下发为例进行说明。
处理器中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器中的存储器为高速缓冲存储器。该存储器可以保存处理器刚用过或循环使用的指令或数据。如果处理器需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器的等待时间,因而提高了系统的效率。
两个显示模组可以分别对应到用户双眼中的一只眼。比如,显示模组1可以对应到用户的左眼,显示模组2可以对应到用户的右眼。各个显示模组可以分别用于向对应的人眼显示对应的内容。
作为一种示例,显示模组可以包括显示屏和透镜。比如,显示模组1可以包括显示屏1和透镜1,显示模组2可以包括显示屏2和透镜2。以显示模组1为例,在显示模组1工作时,可以在处理器的控制下,在显示屏1上显示与左眼对应的图像。左眼可以通过透镜1看到显示屏1上的图像。由于透镜1对于光线的折射,因此,透镜1可以使得在人眼距离屏幕较近的情况下,提供较大的视场角,由此使得用户可以通过透镜1看到更大范围的图像。需要说明的是,在不同的实现场景中,透镜1或透镜2的功能可以分别通过1个透镜实现其功能,也可以是通过包括多个光学元件的透镜组实现其各自功能的。另外,在实际的实现过程中,显示屏1和显示屏2可以对应在不同的硬件显示部件上,在另一些实现中,显示屏1和显示屏2也可以对应到一个显示部件上的不同显示区域。
类似的,两个眼动追踪模组也分别对应到用户双眼中的一只眼。比如,眼动追踪模组1可以对应到用户的左眼,眼动追踪模组2可以对应到用户的右眼。各个眼动追踪模组可以分别用于对应的人眼进行眼动追踪。比如,眼动追踪模组的工作可以是在处理器的控制下,根据如图2所示的类似方法实现,此处不再赘述。
在本示例中,处理器可以用于处理各种数据和信息,并控制各个模组实现其对应功能。比如,GPU可以根据应用提供的需要显示的虚拟场景下,三维空间中各个坐标对应的图像特征,进行渲染处理,以获取左眼和右眼分别对应的二维图像对应的数据流。其中,在执行渲染处理的过程中,GPU可以根据一些渲染参数进行渲染处理。比如,这些渲染参数可以包括输出图像的帧率,分辨率以及注视点渲染范围等。在获取左眼和右眼分别对应的二维图像对应的数据流之后,GPU可以将这些数据流分别传输给显示屏1和显示屏2,以便各个显示屏分别向左眼和右眼显示对应的图像。
以AR/VR设备为VR眼镜为例,图4示出了具有如图3所示组成的一种VR眼镜。如图4所示,显示屏1和透镜1可以向左眼提供显示功能。LED灯组1和IR相机1可以用于实现对左眼的眼动追踪。类似的,显示屏2和透镜2以向右眼提供显示功能。LED灯组2和IR相机2可以用于实现对右眼的眼动追踪。
在一些实现方式中,LED灯组中的LED等可以是沿着透镜设置的。比如,如图4所示,LED灯组中可以包括4个LED灯,该4个LED灯可以沿着透镜外延均匀设置。
在将目前的方案使用在如图4所示的VR眼镜中时,处理器可以控制眼动追踪模组1对左眼进行眼动追踪,由此获取包括左眼注视点、瞳孔特征等信息。处理器可以结合上述信息,执行图像的渲染(比如进行注视点渲染),以获取与左眼对应图像的数据流,并通过显示屏1展示给左眼。同时,处理器还可以控制眼动追踪模组2对右眼进行眼动追踪,由此获取包括右眼注视点、瞳孔特征等信息,并据此获取与右眼对应图像的数据流,通过显示屏2展示给右眼。这就需要LED灯组1和LED灯组2、IR相机1和IR相机2同时进行长时间的工作。处理器(如GPU)也需要同步地处理双眼对应的数据,进行渲染等处理。由此经常使得VR眼镜的功耗过高,影响使用。
需要说明的是,基于对人眼的研究,人的双眼有主视眼和辅视眼之分。其中,主视眼也叫注视眼、优势眼。从人的生理角度讲,每个人都有一个主视眼,可能是左眼,可能是右眼。主视眼所看到的东西会被大脑优先接受。人的大脑习惯性利用主视眼的成像来分析和定位图像中的物体。也就是说,在视觉感知中,主视眼占主导地位。对应的,辅视眼所看到的图像一般可以作为对主视眼所看到图像的补充。在主视眼和辅视眼所看到图像的有所不同时,人的大脑往往会根据主视眼所看到图像确定当前看到图像。因此,可以理解的是,主视眼对于图像质量的变化较为敏感,而辅视眼对于图像质量的变化并不敏感。在保证主视眼的图像质量的前提下,辅视眼的图像质量稍差也不会影响用户的视觉感知。
结合上述对图4所示VR眼镜工作机制的说明,由于VR眼镜会对双眼(即主视眼和辅视眼)提供相同精度的图像,而辅视眼对于的图像质量并不敏感,由此就会导致对辅视眼的眼动追踪过程收益较小。同时,对于辅视眼的精细图像渲染也显得不必要。应当理解的是,这些都会导致VR眼镜的功耗被浪费,由此降低VR眼镜的工作效率。
针对该问题,本申请实施例提供一种控制方法,使得包括VR眼镜在内的AR/VR设备可以预先确定用户的主视眼和/或辅视眼,并据此对眼动追踪模组的工作机制和/或渲染处理机制进行调整,由此减少对不敏感的辅视眼的无效工作,达到降低VR眼镜功耗的效果,进而提升VR眼镜的工作效率。
本申请实施例提供的方案,可以应用于具有如图3所示组成的AR/VR设备中。比如,该方案可以应用于如图4所示的VR眼镜中。为了便于说明,以下以该方案应用如图4所示的VR眼镜为例进行说明。
不同与现有技术,本申请实施例提供的方案,可以实现对用户主视眼和/或辅视眼的检测。作为一种示例,VR眼镜可以通过小孔成像法,确定用户的主视眼和/或辅视眼。
示例性的,结合图5,示出了一种VR眼镜确定用户的主视眼和/或辅视眼的方法示意。可以理解的是,VR眼镜中的处理器可以控制显示屏1和显示屏2,在三维空间中向用户展示虚拟图像。如图5所示,该虚拟图像中可以包括两个虚拟像面,如像面1和像面2。其中,像面1与人眼的距离较近,像面2与人眼的距离较远。在一些实现方式中,像面2与像面1的像面距离可以为10英尺(inch)。像面1与用户之间的距离可以为用户的手臂长度(如左臂长度或右臂长度)。在像面2上,可以显示有提示信息,比如该提示信息可以为字母,数字或文字等。图5中以提示信息为字母H为例。在一些实现方式中,该字母H的高度可以为1英寸。在像面1上,可以设置有虚拟小孔,像面1上的其他区域则是不透光的。也就是说,该通过该透光孔,用户可以看到像面2上的虚像。在一些实现方式中,该透光孔可以为孔径1.5英寸左右的圆孔。
用户可以在VR眼镜的提示下,对VR眼镜输入操作,以移动小孔在像面1上的位置。以便使得在通过双眼观察的情况下,可以通过小孔1看到像面2上的字母。
在用户能够通过小孔清楚地看到字母时,可以指示VR眼镜已经能够清楚地看到字母。在一些实现方式中,该指示的输入可以是通过语音控制、触摸或单击或双击预设按键实现的。在本申请的另一些实现方式中,在能够清楚地看到字母后,用户可以不输入任何操作,这样,VR眼镜可以通过确定用户在预设时长内没有输入任何操作,确定已经能够清楚地看到字母。
结合图5,在用户能够清楚地看到像面2上的字母时,实质上只有一只眼的能够通过透光孔看到字母的(比如图5中的左眼可以通过视线1的路径看到字母H),而另一只眼则不会通过透光孔看到字母(比如图5中的右眼通过视线2的路径不会看到字母H)。此时,左眼就可以被确定为主视眼,对应的,右眼可以被确定为辅视眼。
可以理解的是,用户通过双眼看到虚拟图像,实际上是通过左眼观看在左眼对应的显示屏(如显示屏1)上的图像1,同时通过右眼观看在右眼对应的显示屏(如显示屏2)上的图像2,并在获取图像1和图像2之后在人脑中合成获取的视觉感知。结合上述说明,在用户能够通过双眼清楚地看到字母H时,在图像1和图像2中,只有一个图像会向用户展示字母H。而图像1和图像2是VR眼镜中的处理器控制显示屏显示的,因此,VR眼镜能够知晓在用户能够通过双眼看到字母H时,显示有字母H的图像是显示屏1上显示的图像1,还是显示屏2上显示的图像2。在本示例中,VR眼镜可以将显示有字母H的显示屏对应的人眼确定为主视眼。
作为一种具体的实现举例,VR眼镜可以在需要检测主视眼和/或辅视眼时,向用户展示如图6所示的虚拟场景。在该虚拟场景中,用户可以通过持握VR眼镜对应的遥控器,模拟持握虚拟场景中的设置有孔径1.5英寸的小孔的纸片。用户可以持握遥控器,伸直手臂,模拟在虚拟场景中手中拿着纸片伸直手臂。用户可以通过调整遥控器的空间位置,达到调整虚拟场景中纸片上小孔位置的效果。在该虚拟场景中,可以在距离纸片所在像面10英尺的位置(即如图5所示的像面2的位置)显示有墙面的图像。在墙面上可以悬挂一个1英寸大小的字母H。用户可以不断调整小孔的位置,直到双眼观察的情况下,通过小孔能够清晰地看到墙面上的字母H为止。接着,用户可以在短时间内保持该姿势,那么VR眼镜就可以通过用户停止移动遥控器的行为,确定当前状态下,用户可以通过小孔清晰地看到墙面上的字母。这样,VR眼镜就可以根据当前状态下,显示屏上是否有显示字母确定主视眼和/或辅视眼。
需要说明的是,上述小孔成像法在VR眼镜的实际使用过程中,可以是用于确定主视眼的,也可以是用于确定辅视眼的,也可以是通过该方法确定主视眼和辅视眼的。比如,在本申请的一些实现方式中,VR眼镜可以通过上述小孔成像法,确定在用户能够通过双眼清楚看清字母时,显示有字母的显示屏对应的人眼为主视眼。在另一些实现方式中,VR眼镜可以通过上述小孔成像法,确定在用户能够通过双眼清楚看清字母时,没有显示字母的显示屏对应的人眼为辅视眼。在另一些实现方式中,VR眼镜可以通过上述小孔成像法,确定在用户能够通过双眼清楚看清字母时,显示有字母的显示屏对应的人眼为主视眼,没有显示字母的显示屏对应的人眼为辅视眼。
以下以左眼为主视眼,右眼为辅视眼,VR眼镜通过小孔成像法确定主视眼为例,对本方案中确定主视眼之后的执行过程进行说明。
在确定主视眼为左眼之后,VR眼镜就可以通过调整眼动追踪模组的工作机制,达到降低VR设备功耗的目的。
示例性的,结合图4,在确定主视眼为左眼之后,VR眼镜可以关闭用于对右眼进行眼动追踪的眼动追踪模组2,即关闭对辅视眼的眼动追踪,由此节省对辅视眼的眼动追踪导致的功耗。
作为一种对比,在两个眼动追踪模组都正常工作时,VR眼镜的工作情况如图4所示,即LED灯组1和LED灯组2都正常发光,IR相机1和IR相机2也都正常拍摄对应的人眼的响应图像,据此分别对左眼和右眼进行眼动追踪。对应的,在本示例中,在关闭右眼的眼动追踪模组时,VR眼镜的工作情况如图7所示。即LED灯组1和IR相机1正常工作,对左眼(即主视眼)进行正常的眼动追踪。而LED灯组2和IR相机2处于休眠状态或者关闭状态,不对右眼(即辅视眼)进行眼动追踪,由此节省对右眼的眼动追踪引发的功耗损失。比如,能够节省LED灯组2发光引发的功耗,还能够节省IR相机2对右眼进行拍照引发的功耗损失,同时还能够节省VR眼镜中CPU为了确定右眼注视点坐标等信息时进行相关计算引发的功耗损失。
需要说明的是,在本申请的一些实现方式中,在确定主视眼为左眼之后,还可以对另一只人眼(比如右眼)对应的图像渲染机制进行调整,由此节省对辅视眼对应图像渲染过程中消耗的功耗和计算带宽。
示例性的,结合前述说明,VR设备在控制显示屏显示对应的图像前,需要控制GPU根据应用下发的三维虚拟场景下各个位置的图像特征,以及渲染参数,进行渲染处理,以获取对应的图像数据。其中,渲染参数可以包括输出图像的帧率,分辨率以及注视点渲染范围等。在本示例中,GPU在对辅视眼的图像进行渲染处理时,可以通过降低渲染参数,以使用较低的计算带宽,获取为辅视眼显示的图像的数据流。根据该数据流显示的效果可以差于对主视眼的显示效果。由于辅视眼对于图像质量不敏感,因此,该调整不会影响到用户的视觉感知。本示例中,可以通过这种方式节省渲染处理过程中的功耗和计算开支。
在一些实施例中,GPU在对右眼(即辅视眼)对应的图像进行渲染处理时,可以采用较低输出图像帧率执行。
可以理解的是,在正常渲染过程中,GPU可以在渲染完成第N帧图像之后,执行对第N+1帧图像的渲染。在本示例中,以降低输出图像帧率到正常渲染过程中的一半为例。GPU可以在渲染完成第N帧图像之后,执行对第N+2帧图像的渲染,而跳过对第N+1帧的渲染。在将渲染处理之后的图像的数据流发送给显示屏进行显示时,显示屏可以根据该数据流,通过插值的方法进行连续图像的显示。比如,在完成第N帧图像的显示之后,由于图像的数据流中没有第N+1帧图像,因此,显示屏可以在应该显示N+1帧图像的时间段内,继续显示第N帧图像。在需要显示第N+2帧图像时,显示屏可以根据数据流中第N+2帧图像对应的数据显示第N+2帧图像。这样,GPU就可以节省一半的渲染计算,由此获取节省渲染计算量和功耗的效果。
结合图8,示出了显示屏的播放时序的对比。左眼(即主视眼)对应于显示屏1。在显示屏1上,可以按照播放时序1进行播放,即按照第N帧图像、第N+1帧图像、第N+2帧图像的顺序依次显示。如果采用现有技术,那么显示屏2可以根据与显示屏1相同的播放时序(如播放时序2)进行显示。而采用本示例中的方案,显示屏2可以在显示屏1显示第N帧图像和第N+1帧图像对应的播放时间内,显示第N帧图像。之后在显示屏1显示第N+2帧图像时,显示屏2也显示第N+2帧图像,即按照如图8中的播放时序3进行显示即可。
可以理解的是,显示屏上图像的显示,是GPU在完成渲染之后,通过驱动程序提交给显示屏进行显示的。由于采用播放时序3进行显示时,相同时长内需要显示的帧图像数量减少了,因此,也就节省了GPU通过驱动程序向显示屏提交显示指令的开销。
需要说明的是,上述示例中,是以GPU隔帧渲染为例进行说明的,在本申请的另一些实现方式中,GPU还可以以其他的间隔进行图像渲染。比如,输出图像帧率降低为正常渲染过程中的1/3时,GPU可以在完成第N帧图像的渲染后,跳过第N+1帧和第N+2帧图像,执行第N+3帧图像的渲染。这样,就可以节省GPU 2/3的渲染计算。在不同的实现方式中,输出图像帧率的调整,可以是VR眼镜自行确定的,也可以是根据预设值确定的,本申请实施例对此不作限制。
在另一些实施例中,GPU在对右眼(即辅视眼)对应的图像进行渲染处理时,可以采用较低的分辨率执行渲染处理。
示例性的,在正常渲染过程中,GPU可以对每帧图像进行分辨率为A的渲染处理,由此即可获取分辨率为A的渲染结果,对应的,在显示屏上可以显示分辨率为A的图像。具体的,在GPU对图像进行渲染过程中,可以根据分辨率,将虚拟空间中多个空间位置的图像特征映射到一个像素上,以获取该像素的图像特征。分辨率越大,图像的像素就越多,执行上述映射的次数就越多,对应需要的算力就越大。根据本示例中的方案,GPU可以根据分辨率降低后的分辨率为B的渲染参数进行渲染处理。其中,B小于A。具体的,GPU可以将虚拟空间中各个位置的图像特征,映射到B个像素中,以获取B个像素中各个像素的图像特征。由此获取降低分辨率之后的渲染结果。这样,GPU只需进行B次映射即可,而无需执行A次映射操作。因此,GPU可以通过减少映射次数,从降低GPU渲染处理对于算力消耗。
结合图9,示出了一种降低分辨率前后的对比。对于左眼(主视眼)的渲染,可以采用较高的分辨率进行并在显示屏1上进行显示。比如,在左眼对应的显示屏1上可以显示如图9中的(a)所示的高分辨率图像。在采用现有技术的情况下,右眼对应的显示屏2上可以显示与显示屏1上显示的图像分辨率相近的具有高分辨率的图像(如图9中的(b)所示)。然而,由于右眼对于图像质量并不敏感,因此,对右眼显示分辨率较高的图像显然没有必要。采用本示例中的方案后,在显示屏2上可以显示有如图9中的(c)所示的具有相对较低分辨率的图像。这样能够显著节省图像渲染的算力开销。
在另一些实施例中,GPU在对右眼(即辅视眼)对应的图像进行渲染处理时,可以适当调整注视点渲染的机制。结合前述说明,为了节省高精度渲染的算力开销,VR眼镜可以只针对注视点附近区域进行精细渲染(或称为高精度渲染),而对于远离注视点的区域则以较低精度进行渲染,由此达到以较低算力开销提升用户视觉感知的目的。在本申请中,由于右眼对于图像质量不敏感,因此,对右眼的局部高精度渲染也没有必要。也就是说,GPU在进行图像渲染时,可以不对右眼对应的图像进行注视点渲染,而是采用较低精度对右眼对应的图像进行渲染,由此虽然获取的图像精细度较低,但是由于是展示给辅视眼,因此不会导致用户视觉感知的下降。
结合图10,示出了一种注视点渲染的图像对比示意。如图10所示,对于左眼(即主视眼),GPU可以根据左眼的注视点坐标,进行注视点渲染,并据此在显示屏1上显示如图10中的(a)所示的图像。其中,注视点附近区域经过注视点渲染,提高了精细度。因此在左眼看到该图像时,能够显著感受到图像质量的提升。而如果采用现有技术,那么在显示屏2上可以显示如图10中的(b)所示的图像,其中,也包括进行注视点渲染后的高精度区域。然而,在右眼观看该图像时,由于右眼对于图像质量不敏感,因此,可能无法感受到由于高精度区域的存在导致的图像质量的提升。因此,在本示例中,可以在显示屏2上显示如图10中的(c)所示的图像。该图像可以是全画幅的通过正常渲染后获取的图像。右眼在看到如图10中的(b)所示的图像后的视觉感知与看到如图10中的(c)所示图像后的视觉感知差别不大,同时能够节省GPU进行注视点渲染的算力开销。应当理解的是,该示例中,是以对辅视眼不进行注视点渲染(即将注视点渲染的区域降低为0)为例进行说明的,在本申请的另一些实现方式中,GPU还可以通过适当缩小对辅视眼图像的注视点渲染区域的大小,达到节省GPU算力开销的目的。其中,由于VR眼镜可能已经关闭了对于右眼的眼动追踪,因此无法获取右眼的注视点坐标,在该示例中,VR眼镜可以以图像几何中心为假定的注视点坐标进行缩小范围之后的注视点渲染。
上述示例中,提供了三种肯能的通过降低辅视眼图像质量,使得在用户不感知的情况下,降低VR眼镜功耗,节省GPU算力开销的方案。在实际使用过程中,VR眼镜可以灵活选取上述三种方案中的一种或者多种。另外,VR眼镜还可以结合调整眼动追踪机制和上述调整质量的方案,进一步降低VR眼镜的功耗。比如,VR眼镜可以在确定主视眼之后,关闭对辅视眼的眼动追踪模组,同时降低辅视眼对应的图像质量,由此达到降低VR眼镜功耗的效果。
需要说明的是,在本申请的另一些实施例中,VR眼镜还可以根据当前所处场景,判断是否采取上述示例中提供的降功耗的措施(比如眼动追踪模组的工作机制,又如降低辅视眼的图像渲染参数)。作为一种示例,VR眼镜可以确定当前场景下,仅涉及注视点渲染功能时,则开启上述降功耗措施中的一项或多项。对应的,VR眼镜可以在基于双眼数据的用户研究场景下,不开启上述降功耗措施,以便能够获取更加全面的数据。
上述主要从电子设备(如VR眼镜)的角度对本申请实施例提供的方案进行了介绍。为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对其中涉及的设备进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
请参考图11,提供了一种控制装置1100,应用于电子设备,电子设备中包括两个眼动追踪模组,两个眼动追踪模组对应于不同人眼。如图11所示,该装置可以包括:确定单元1101,用于确定主视眼。追踪控制单元1102,用于响应于确定结果,关闭非主视眼对应的眼动追踪模组。调整单元1103,用于响应于确定结果,将非主视眼对应图像的渲染参数由第一渲染参数调整为第二渲染参数。其中,渲染参数包括输出图像帧率,第一渲染参数包括的输出图像帧率大于第二渲染参数包括的输出图像帧率。根据第二渲染参数对非主视眼对应的图像进行渲染处理。
在一种可能的设计中,该装置还包括:显示单元1104,用于显示透光孔及提示信息。透光孔所在像面位于提示信息所在像面和电子设备之间。响应于检测到第一操作,调整透光孔在透光孔所在像面上的位置。确定单元1101,用于响应于检测到第二操作,根据第一显示屏和第二显示屏上的显示内容,将显示提示信息的显示屏对应的人眼作为主视眼。其中,第一显示屏是电子设备中,向第一人眼显示图像的显示屏。第二显示屏是电子设备中,向第二人眼显示图像的显示屏。
在一种可能的设计中,透光孔所在像面为第一虚拟像面,提示信息所在像面为第二虚拟像面。第一虚拟像面与电子设备的距离为第一预设距离。第一虚拟像面与第二虚拟像面之间的距离为第二预设距离。
在一种可能的设计中,电子设备对应有手持设备。显示单元1104,用于根据手持设备的位置,确定透光孔的位置,在透光孔的位置显示透光孔。提示信息所在像面与透光孔所在像面的距离为第三预设距离。该设备还包括获取单元1105,用于检测获取手持设备的位置,或者,用于从手持设备获取手持设备的位置。
在一种可能的设计中,追踪控制单元1102,具体用于关闭非主视眼对应的眼动追踪模组中的LED灯组和/或IR相机。
在一种可能的设计中,渲染参数还包括分辨率,和/或注视点渲染范围。
需要说明的是,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。
请参考图12,为本申请实施例提供的一种电子设备1200,电子设备1200中设置有第一眼动追踪模组和第二眼动追踪模组,第一眼动追踪模组用于对第一人眼进行眼动追踪,第二眼动追踪模组用于对第二人眼进行眼动追踪。电子设备1200包括一个或多个处理器1201和一个或多个存储器1202。一个或多个存储器1202与一个或多个处理器1201耦合,一个或多个存储器1202存储有计算机指令。当一个或多个处理器1201执行计算机指令时,使得电子设备1200执行本申请实施例提供的任一项所述的控制方法。
需要说明的是,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。
请参考图13,为本申请实施例提供的一种芯片系统1300,芯片系统1300包括接口电路1301和处理器1302;接口电路1301和处理器1302通过线路互联;接口电路1301用于从存储器接收信号,并向处理器1302发送信号,信号包括存储器中存储的计算机指令;当处理器1302执行计算机指令时,芯片系统1300执行本申请实施例提供的任一项所述的控制方法。
需要说明的是,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。
在上述实施例中的功能或动作或操作或步骤等,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时,可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包括一个或多个可以用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带),光介质(例如,DVD)、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
尽管结合具体特征及其实施例对本申请进行了描述,显而易见的,在不脱离本申请的精神和范围的情况下,可对其进行各种修改和组合。相应地,本说明书和附图仅仅是所附权利要求所界定的本申请的示例性说明,且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包括这些改动和变型在内。
Claims (9)
1.一种控制方法,其特征在于,应用于电子设备,所述电子设备中包括两个眼动追踪模组,两个所述眼动追踪模组对应于不同人眼,所述方法包括:
确定主视眼;
响应于确定结果,关闭非主视眼对应的眼动追踪模组;
响应于所述确定结果,将所述非主视眼对应图像的渲染参数由第一渲染参数调整为第二渲染参数;其中,所述渲染参数包括输出图像帧率,所述第一渲染参数包括的输出图像帧率大于所述第二渲染参数包括的输出图像帧率;
根据所述第二渲染参数对所述非主视眼对应的图像进行渲染处理。
2.根据权利要求1所述的方法,其特征在于,所述确定主视眼,包括:
显示透光孔及提示信息;所述透光孔所在像面位于所述提示信息所在像面和所述电子设备之间;
响应于检测到第一操作,调整所述透光孔在所述透光孔所在像面上的位置;
响应于检测到第二操作,根据第一显示屏和第二显示屏上的显示内容,将显示所述提示信息的显示屏对应的人眼作为所述主视眼;
其中,所述第一显示屏是所述电子设备中,向所述第一人眼显示图像的显示屏;所述第二显示屏是所述电子设备中,向所述第二人眼显示图像的显示屏。
3.根据权利要求2所述的方法,其特征在于,所述透光孔所在像面为第一虚拟像面,所述提示信息所在像面为第二虚拟像面;
所述第一虚拟像面与所述电子设备的距离为第一预设距离;
所述第一虚拟像面与所述第二虚拟像面之间的距离为第二预设距离。
4.根据权利要求2所述的方法,其特征在于,所述电子设备对应有手持设备;
所述显示透光孔及提示信息,包括:
根据所述手持设备的位置,确定所述透光孔的位置,在所述透光孔的位置显示所述透光孔;
所述提示信息所在像面与所述透光孔所在像面的距离为第三预设距离;
所述手持设备的位置是所述电子设备检测获取的,或者,所述手持设备的位置是所述电子设备从所述手持设备获取的。
5.根据权利要求1-4中任一项所述的方法,其特征在于,所述眼动追踪模组包括LED灯组和IR相机,
所述关闭非主视眼对应的眼动追踪模组,包括:
关闭所述非主视眼对应的眼动追踪模组中的LED灯组和/或IR相机。
6.根据权利要求1-5中任一项所述的方法,其特征在于,所述渲染参数还包括分辨率,和/或注视点渲染范围。
7.一种电子设备,其特征在于,所述电子设备中设置有第一眼动追踪模组和第二眼动追踪模组,所述第一眼动追踪模组用于对第一人眼进行眼动追踪,所述第二眼动追踪模组用于对第二人眼进行眼动追踪;
所述电子设备包括一个或多个处理器和一个或多个存储器;所述一个或多个存储器与所述一个或多个处理器耦合,所述一个或多个存储器存储有计算机指令;
当所述一个或多个处理器执行所述计算机指令时,使得所述电子设备执行如权利要求1-6中任一项所述的控制方法。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括计算机指令,当所述计算机指令运行时,执行如权利要求1-6中任一项所述的控制方法。
9.一种芯片系统,所述芯片系统包括接口电路和处理器;所述接口电路和所述处理器通过线路互联;所述接口电路用于从存储器接收信号,并向所述处理器发送所述信号,所述信号包括所述存储器中存储的计算机指令;当所述处理器执行计算机指令时,所述芯片系统执行如权利要求1-6中任一项所述的控制方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011381148.6A CN114578940A (zh) | 2020-11-30 | 2020-11-30 | 一种控制方法、装置和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011381148.6A CN114578940A (zh) | 2020-11-30 | 2020-11-30 | 一种控制方法、装置和电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114578940A true CN114578940A (zh) | 2022-06-03 |
Family
ID=81768216
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011381148.6A Pending CN114578940A (zh) | 2020-11-30 | 2020-11-30 | 一种控制方法、装置和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114578940A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105093546A (zh) * | 2015-08-20 | 2015-11-25 | 京东方科技集团股份有限公司 | 3d显示装置及其控制方法 |
CN107516335A (zh) * | 2017-08-14 | 2017-12-26 | 歌尔股份有限公司 | 虚拟现实的图形渲染方法和装置 |
CN111556305A (zh) * | 2020-05-20 | 2020-08-18 | 京东方科技集团股份有限公司 | 图像处理方法、vr设备、终端、显示系统和计算机可读存储介质 |
CN111857336A (zh) * | 2020-07-10 | 2020-10-30 | 歌尔科技有限公司 | 头戴式设备及其渲染方法、存储介质 |
-
2020
- 2020-11-30 CN CN202011381148.6A patent/CN114578940A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105093546A (zh) * | 2015-08-20 | 2015-11-25 | 京东方科技集团股份有限公司 | 3d显示装置及其控制方法 |
CN107516335A (zh) * | 2017-08-14 | 2017-12-26 | 歌尔股份有限公司 | 虚拟现实的图形渲染方法和装置 |
CN111556305A (zh) * | 2020-05-20 | 2020-08-18 | 京东方科技集团股份有限公司 | 图像处理方法、vr设备、终端、显示系统和计算机可读存储介质 |
CN111857336A (zh) * | 2020-07-10 | 2020-10-30 | 歌尔科技有限公司 | 头戴式设备及其渲染方法、存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11073908B2 (en) | Eye-tracking enabled wearable devices | |
US10715824B2 (en) | System and method for data compressing optical sensor data prior to transferring to a host system | |
EP3048949B1 (en) | Gaze tracking variations using dynamic lighting position | |
WO2016184107A1 (zh) | 用于视线焦点定位的可穿戴设备及视线焦点定位方法 | |
EP3574408A1 (en) | No miss cache structure for real-time image transformations | |
US11557020B2 (en) | Eye tracking method and apparatus | |
JP2018197974A (ja) | 視線検出用コンピュータプログラム、視線検出装置及び視線検出方法 | |
Lander et al. | hEYEbrid: A hybrid approach for mobile calibration-free gaze estimation | |
US11216066B2 (en) | Display device, learning device, and control method of display device | |
US20240077937A1 (en) | Devices, methods, and graphical user interfaces for controlling avatars within three-dimensional environments | |
CN109542240B (zh) | 眼球追踪装置及追踪方法 | |
US20230239586A1 (en) | Eye tracking using efficient image capture and vergence and inter-pupillary distance history | |
CN114578940A (zh) | 一种控制方法、装置和电子设备 | |
US20230367857A1 (en) | Pose optimization in biometric authentication systems | |
US20240105046A1 (en) | Lens Distance Test for Head-Mounted Display Devices | |
US20230015732A1 (en) | Head-mountable display systems and methods | |
US20220068014A1 (en) | Image rendering system and method | |
Hornak et al. | Point-of-Gaze Estimation on Embedded Platform |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |