CN117369634A - 显示方法、装置、电子设备和可读存储介质 - Google Patents
显示方法、装置、电子设备和可读存储介质 Download PDFInfo
- Publication number
- CN117369634A CN117369634A CN202311299694.9A CN202311299694A CN117369634A CN 117369634 A CN117369634 A CN 117369634A CN 202311299694 A CN202311299694 A CN 202311299694A CN 117369634 A CN117369634 A CN 117369634A
- Authority
- CN
- China
- Prior art keywords
- image
- display
- input device
- target image
- image object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000004044 response Effects 0.000 claims abstract description 7
- 210000001508 eye Anatomy 0.000 description 30
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000003190 augmentative effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 210000005252 bulbus oculi Anatomy 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000001404 mediated effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种显示方法、装置、电子设备和可读存储介质,属于显示技术领域。其中,显示方法由可穿戴显示器执行,可穿戴显示器与输入设备通信连接,显示方法包括:显示目标图像,目标图像包括至少两个图像对象,图像对象用于展示图像信息;在接收到通过输入设备进行第一输入的情况下,在至少两个图像对象中确定目标图像对象,目标图像对象为用户注视的图像对象;将输入设备的控制对象设置为目标图像对象;响应于第一输入,控制第一图像对象展示与第一输入对应的第一图像信息。
Description
技术领域
本申请属于显示技术领域,具体涉及一种显示方法、装置、电子设备和可读存储介质。
背景技术
在相关技术中,增强现实(Augmented Reality,AR)显示、虚拟现实(VirtualReality,VR)显示和介导现实(Mediated Reality,MR)能够显示虚拟的画面,通过虚拟出来的画面对象来向用户展示信息。
对于将AR等设备与个人计算机、手机等电子设备连接使用的情况,存在一种应用场景,就是用户能够同时看到电子设备的实体显示屏和AR设备显示的虚拟显示屏,实体显示屏和虚拟显示屏一般需要两种不同的输入设备来进行操作,比如用户通过个人计算机连接的实体键盘来操作实体显示屏幕,或者通过虚拟键盘来操作AR中的虚拟显示屏幕,如果用户需要控制不同显示屏幕中的内容,需要反复切换输入方式,操作步骤复杂。
发明内容
本申请实施例的目的是提供一种显示方法、装置、电子设备和可读存储介质,能够解决用户使用AR设备时需要反复切换输入方式来操作不同显示屏幕中的内容的问题。
第一方面,本申请实施例提供了一种显示方法,显示方法由可穿戴显示器执行,可穿戴显示器与输入设备通信连接,显示方法包括:
显示目标图像,目标图像包括至少两个图像对象,图像对象用于展示图像信息;
在接收到通过输入设备进行第一输入的情况下,在至少两个图像对象中确定目标图像对象,目标图像对象为用户注视的图像对象;
将输入设备的控制对象设置为目标图像对象;以及
响应于第一输入,通过目标图像对象展示与第一输入对应的目标图像信息。
第二方面,本申请实施例提供了一种显示装置,显示装置由可穿戴显示器执行,可穿戴显示器与输入设备通信连接,显示装置包括:
显示模块,用于显示目标图像,目标图像包括至少两个图像对象,图像对象用于展示图像信息;
确定模块,用于在接收到通过输入设备进行的第一输入的情况下,在至少两个图像对象中确定目标图像对象,目标图像对象为用户注视的图像对象;
设置模块,用于将输入设备的控制对象设置为目标图像对象;
展示模块,用于响应于第一输入,通过目标图像对象展示与第一输入对应的目标图像信息。
第三方面,本申请实施例提供了一种电子设备,包括处理器和存储器,存储器存储可在处理器上运行的程序或指令,程序或指令被处理器执行时实现如第一方面的方法的步骤。
第四方面,本申请实施例提供了一种可读存储介质,该可读存储介质上存储程序或指令,该程序或指令被处理器执行时实现如第一方面的方法的步骤。
第五方面,本申请实施例提供了一种芯片,该芯片包括处理器和通信接口,该通信接口和该处理器耦合,该处理器用于运行程序或指令,实现如第一方面的方法的步骤。
第六方面,本申请实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如第一方面的方法。
在本申请实施例中,在通过可穿戴显示器,如AR头显等设备显示画面时,如果画面中同时存在多个能够根据用户输入展示内容信息的图像对象时,通过检测用户当前正在注视的图像对象是哪一个,当用户操作输入设备,如实体键盘时,通过检测到的用户正在注视的图像对象来显示与用户输入匹配的结果,从而使得用户通过一个输入设备,就可以同时控制实体显示屏和虚拟显示屏,且无需用户手动切换不同的输入设备,也无需用户手动切换输入设备与显示屏之间的关联关系,简化了使用可穿戴显示器显示图像时进行输入的操作步骤。
附图说明
图1示出了本申请的一些实施例的显示方法的流程图;
图2示出了本申请的一些实施例的可穿戴显示器显示图像的示意图;
图3示出了本申请的一些实施例的可穿戴显示器显示图像的示意图;
图4示出了本申请的一些实施例的显示装置的结构框图;
图5示出了根据本申请实施例的电子设备的结构框图;
图6为实现本申请实施例的一种电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的显示方法、装置、电子设备和可读存储介质进行详细地说明。
在本申请的一些实施例中,提供了一种显示方法,显示方法由可穿戴显示器执行,可穿戴显示器与输入设备通信连接,图1示出了本申请的一些实施例的显示方法的流程图,如图1所示,显示方法包括:
步骤102,显示目标图像,目标图像包括至少两个图像对象,图像对象用于展示图像信息。
在本申请实施例中,图2示出了本申请的一些实施例的可穿戴显示器显示图像的示意图,如图2所示,用户通过可穿戴显示器20来观看目标图像200,目标图像200包括实体显示屏202的图像对象和虚拟显示屏204的图像对象,其中,可穿戴显示器20通过网络连接与实体显示屏202通信连接,同时可穿戴显示器20还与输入设备30通信连接,示例性地,输入设备30包括鼠标和键盘等外设输入设备。
实体显示屏202上显示个人计算机、手机、平板电脑等电子设备输出的画面,示例性地,如图2所示,实体显示屏202显示电子设备的桌面2022。虚拟显示屏204则是由AR、VR等设备生成的虚拟图像对象,示例性地,虚拟显示屏204显示某网页界面2042。
在一些实施方式中,图像对象的数量为两个,两个图像对象中的一个图像对象是实体显示屏,两个图像对象中的另一个图像对象是虚拟显示屏。
在另一些实施方式中,图像对象的数量为两个以上,其中包括一个以上的虚拟显示屏。示例性地,图像对象的数量为三个,三个图像对象中的第一个图像对象是实体显示屏,三个图像对象中的第二个图像对象是第一个虚拟显示屏,三个图像对象中的第三个图像对象是第二个虚拟显示屏。
在另一些实施方式中,两个图像对象可以是相同显示屏中显示的不同图像对象,比如相同显示屏上的不同显示窗口。举例来说,虚拟显示屏上显示有文本编辑软件的软件窗口和网页浏览软件的软件窗口,其中文本编辑软件的软件窗口为一个图像对象,网页浏览软件的软件窗口为另一个图像对象。
步骤104,在接收到通过输入设备进行的第一输入的情况下,在至少两个图像对象中确定目标图像对象,目标图像对象为用户注视的图像对象。
在本申请实施例中,第一输入是用户通过输入设备进行的输入,第一输入可以是用户通过敲击键盘、移动或点击鼠标或滑动触摸板等方式进行的输入。在输入设备检测到用户的第一输入后,输入设备将第一输入对应的信号发送给可穿戴显示器和与可穿戴显示器通信连接的电子设备。
在检测到用户的第一输入后,可穿戴显示器确定用户当前正在注视的图像对象具体是哪一个,示例性地,可穿戴显示器显示的目标图像包括实体显示屏的图像对象和虚拟显示屏的图像对象,在检测到第一输入后,可穿戴显示器判断用户当前正在注视实体显示屏,还是正在注视虚拟显示屏。
步骤106,将输入设备的控制对象设置为目标图像对象。
在本申请实施例中,输入设备的控制对象,具体为响应用户对输入设备的输入操作的对象。举例来说,用户移动鼠标,如果此时输入设备的控制对象为实体显示屏,则根据用户移动鼠标的操作,控制实体显示屏上显示的鼠标指针对应移动。举例来说,用户敲击键盘,如果此时输入设备的控制对象为虚拟显示屏,则根据用户敲击键盘的操作,控制虚拟显示屏上显示用户敲击键盘的操作所输入的字符。
步骤108,响应于第一输入,控制目标图像对象展示与第一输入对应的目标图像信息。
在本申请实施例中,在确定出当前用户正在注视的图像对象后,将用户正在注视的目标图像对象确定为响应第一输入的图像对象。具体地,以当前可穿戴显示器显示实体显示屏的图像对象和虚拟显示屏的图像对象为例,当检测到用户此时正在注视实体显示屏时,则将实体显示屏的图像对象确定为目标图像对象,并确定此时用户通过输入设备进行的第一输入是针对实体显示屏上的内容的输入,因此通过实体显示屏来显示第一输入的输入结果对应的图像信息,也即目标图像信息。
当检测到用户此时正在注视虚拟显示屏时,则将虚拟显示屏的图像对象确定为目标图像对象,并确定此时用户通过输入设备进行的第一输入是针对虚拟显示屏上的内容的输入,因此通过虚拟显示屏来显示第一输入的输入结果对应的图像信息,也即目标图像信息。
示例性地,当前用户正在注视实体显示屏,实体显示屏上显示电子设备的桌面,用户移动鼠标,则实体显示屏上显示的桌面中的鼠标指针根据用户对鼠标的移动操作而移动。
示例性地,当前用户正在注视虚拟显示屏,虚拟显示屏上显示某网页界面,当用户敲击键盘,则虚拟显示屏上显示的网页界面中的输入框显示用户通过敲击键盘输入的字符。
示例性地,实体显示屏中显示有文本编辑界面和网页界面,当前用户正在注视文本编辑界面,当用户敲击键盘,则实体显示屏上显示的文本编辑界面中的输入框显示用户通过敲击键盘输入的字符。
示例性地,虚拟显示屏中显示有文本编辑界面和网页界面,当前用户正在注视网页界面,当用户敲击键盘,则虚拟显示屏上显示的网页界面中的输入框显示用户通过敲击键盘输入的字符。
本申请实施例通过检测到的用户正在注视的图像对象来显示与用户输入匹配的结果,从而使得用户通过一个输入设备,就可以同时控制实体显示屏和虚拟显示屏,且无需用户手动切换不同的输入设备,也无需用户手动切换输入设备与显示屏之间的关联关系,简化了使用可穿戴显示器显示图像时进行输入的操作步骤。
在本申请的一些实施例中,可穿戴显示器包括眼球追踪设备,眼球追踪设备用于检测人眼信息;
在至少两个图像对象中确定目标图像对象,包括:
根据人眼信息,在目标图像中确定人眼注视区域;
在人眼注视区域位于至少两个图像对象中的第一图像对象的显示区域内的情况下,将第一图像对象确定为目标图像对象。
在本申请实施例中,可穿戴显示器包括眼球追踪设备,示例性地,眼球追踪设备可以是图像传感器或眼动仪等设备,通过检测人眼瞳孔的位置变化、人眼瞳孔的放大、收缩状态等,确定人眼角点,并通过眼球追踪算法,在当前显示的目标图像中,确定出人眼注视区域,该人眼注视区域也即当前用户视觉注视的区域。
在确定出人眼注视区域后,进一步判断人眼注视区域与当前目标图像中的至少两个图像对象的对应关系。具体地,如果当前人眼注视区域处于某个图像对象的显示区域内,比如人眼注视区域处于第一图像对象的显示区域内,则将该第一图像对象确定当前用户正在注视的目标图像对象。
能够理解的是,如果人眼注视区域的一部分处于一个图像对象的显示区域内,人眼注视区域的另一部分处于另一个图像对象的显示区域内,则将与人眼注视区域的重叠面积更大的一个图像对象确定为当前用户正在注视的目标图像对象。
示例性地,目标图像中包括实体显示屏的图像对象和虚拟显示屏的图像对象,当检测到人眼注视区域处于实体显示屏的显示区域内时,则将实体显示屏的图像对象确定为当前用户正在注视的目标图像对象。
示例性地,目标图像中包括虚拟显示屏的图像对象和虚拟显示屏的图像对象,当检测到人眼注视区域处于虚拟显示屏的显示区域内时,则将虚拟显示屏的图像对象确定为当前用户正在注视的目标图像对象。
本申请实施例通过可穿戴显示器来追踪用户眼球,通过检测结果在可穿戴显示器显示的图像中确定人眼注视区域,并根据人眼注视区域与不同图像对象的显示区域的对应关系,识别出用户正在关注的图像对象,并将此时用户通过输入设备进行的用户输入确定为针对关注的图像对象的输入,因此能够实现通过一个输入设备控制多个图像对象,如同时控制实体显示屏和虚拟显示屏,用户无需反复切换输入设备,简化了操作步骤。
在本申请的一些实施例中,可穿戴显示器还包括图像传感器,图像传感器用于获取环境图像;
目标图像包括虚拟图像区域和现实图像区域,虚拟图像区域用于显示虚拟图像对象,现实图像区域用于显示环境图像,环境图像包括输入设备的图像。
在本申请实施例中,可穿戴显示器可以是AR设备、VR设备或MR设备。可穿戴显示器上设置有图像传感器,该图像传感器能够获取当前所处环境的环境图像,示例性地,图像传感器为摄像头。
可穿戴显示器所显示的目标图像中,包括用于显示虚拟对象的虚拟图像区域,该虚拟图像区域显示的虚拟图像对象可以是虚拟的空间背景,如虚拟的树林、虚拟的星空、虚拟的房间等,也可以包括虚拟的物体,如虚拟的人物、虚拟的家居等物件或虚拟的动物、植物等。
目标图像中还包括用于显示图像传感器获取的环境图像的现实图像区域,该现实图像区域显示当前用户所处的真实环境内的图像,尤其包括输入设备的图像。
具体地,对于使用AR、VR或者MR来观看虚拟场景的情况下,虚拟的背景、物体会充斥用户的视野,如果此时用户需要通过键盘等实体输入设备来进行输入时,用户可能会因为看不到周遭环境而无法找到键盘。
因此,本申请实施例通过图像传感器采集环境图像,并从中识别出键盘等输入设备,并在显示虚拟场景图像的同时,在现实图像区域内显示包括键盘等输入设备的图像的环境图像,从而能够在不影响用户观看虚拟场景图像内容的情况下,使用户能够在一定程度上同时掌握真实环境内的信息,并能够看到输入设备的图像,使得用户在需要使用输入设备时能够第一时间找到输入设备。
示例性地,图3示出了本申请的一些实施例的可穿戴显示器显示图像的示意图,如图3所示,用户通过可穿戴显示器20显示目标图像302,目标图像302包括虚拟图像区域3022和现实图像区域3024,其中,虚拟图像区域3022中显示有虚拟图像对象,包括虚拟的人物、动物、桌子、屏幕和虚拟窗口等。现实图像区域3024中显示有真实环境图像,包括输入设备30的图像。
本申请实施例通过在可穿戴显示器的不同显示区域分别显示虚拟图像对象和真实环境图像,使得用户能够通过真实环境图像快速定位实体的输入设备,便于用户通过实体输入设备对可穿戴显示器的显示内容进行操作。
在本申请的一些实施例中,可穿戴显示器还包括图像传感器,图像传感器用于获取输入设备的图像信息;
至少两个图像对象包括第二图像对象,第二图像对象是根据输入设备的图像信息生成虚拟图像对象,且第二图像对象在目标图像中的显示位置与输入设备的位置信息相对应。
可穿戴显示器可以是AR设备、VR设备或MR设备。可穿戴显示器上设置有图像传感器,该图像传感器能够获取当前所处环境的环境图像,示例性地,图像传感器为摄像头。
通过图像传感器来获取环境图像后,环境图像包括与可穿戴显示器通信连接的输入设备,如键盘的图像信息。在从环境图像中识别出输入设备的图像信息后,根据输入设备的图像信息确定输入设备的外形、尺寸和空间位置等信息,并基于输入设备的外形、尺寸和空间位置等信息生成与输入设备相对应的第二图像对象。
该第二图像对象在目标图像中的显示外观与输入设备的外形和尺寸相同,且第二图像对象在目标图像中的显示位置与输入设备的空间位置相同,也就是将真实存在的输入设备“投影”到虚拟空间中。
可穿戴显示器所显示的目标图像中,包括通过3D建模、计算机图形算法等方式生成的虚拟图像对象,该虚拟图像对象可以是虚拟的空间背景,如虚拟的树林、虚拟的星空、虚拟的房间等,也可以包括虚拟的物体,如虚拟的人物、虚拟的家居等物件或虚拟的动物、植物等。
目标图像中还包括根据输入设备的外形、尺寸和空间位置等信息生成的第二图像对象,由于第二图像对象的外观和位置均与现实世界中的输入设备相同,因此用户可以通过第二图像对象掌握输入设备在现实世界环境的位置,使得用户在需要使用输入设备时能够第一时间找到输入设备。
本申请实施例通过采集输入设备的图像,根据输入设备的图像生成与输入设备外形、位置相对应的第二图像对象,使得用户能够通过第二图像对象快速定位实体的输入设备,便于用户通过实体输入设备对可穿戴显示器的显示内容进行操作。
本申请实施例提供的显示方法,执行主体可以为显示装置。本申请实施例中以显示装置执行显示的方法为例,说明本申请实施例提供的显示的装置。
在本申请的一些实施例中,提供了一种显示装置,显示装置与输入设备通信连接,图4示出了本申请的一些实施例的显示装置的结构框图,如图4所示,显示装置400包括:
显示模块402,用于显示目标图像,目标图像包括至少两个图像对象,图像对象用于展示图像信息;
确定模块404,用于在接收到通过输入设备进行的第一输入的情况下,在至少两个图像对象中确定目标图像对象,目标图像对象为用户注视的图像对象;
设置模块406,用于将输入设备的控制对象设置为目标图像对象;
展示模块408,用于响应于第一输入,控制目标图像对象展示与第一输入对应的目标图像信息。
本申请实施例通过检测到的用户正在注视的图像对象来显示与用户输入匹配的结果,从而使得用户通过一个输入设备,就可以同时控制实体显示屏和虚拟显示屏,且无需用户手动切换不同的输入设备,也无需用户手动切换输入设备与显示屏之间的关联关系,简化了使用可穿戴显示器显示图像时进行输入的操作步骤。
在本申请的一些实施例中,显示装置包括眼球追踪设备,眼球追踪设备用于检测人眼信息;
确定模块,还用于根据人眼信息,在目标图像中确定人眼注视区域;在人眼注视区域位于至少两个图像对象中的第一图像对象的显示区域内的情况下,将第一图像对象确定为目标图像对象。
本申请实施例通过可穿戴显示器来追踪用户眼球,通过检测结果在可穿戴显示器显示的图像中确定人眼注视区域,并根据人眼注视区域与不同图像对象的显示区域的对应关系,识别出用户正在关注的图像对象,并将此时用户通过输入设备进行的用户输入确定为针对关注的图像对象的输入,因此能够实现通过一个输入设备控制多个图像对象,如同时控制实体显示屏和虚拟显示屏,用户无需反复切换输入设备,简化了操作步骤。
在本申请的一些实施例中,显示装置还包括图像传感器,图像传感器用于获取环境图像;
目标图像包括虚拟图像区域和现实图像区域,虚拟图像区域用于显示虚拟图像对象,现实图像区域用于显示环境图像,环境图像包括输入设备的图像和实体显示屏的图像。
本申请实施例通过在可穿戴显示器的不同显示区域分别显示虚拟图像对象和真实环境图像,使得用户能够通过真实环境图像快速定位实体的输入设备,便于用户通过实体输入设备对可穿戴显示器的显示内容进行操作。
在本申请的一些实施例中,显示装置还包括图像传感器,图像传感器用于获取输入设备的图像信息;
至少两个图像对象包括第二图像对象,第二图像对象是根据输入设备的图像信息生成虚拟图像对象,且第二图像对象在目标图像中的显示位置与输入设备的位置信息相对应。
本申请实施例通过采集输入设备的图像,根据输入设备的图像生成与输入设备外形、位置相对应的第二图像对象,使得用户能够通过第二图像对象快速定位实体的输入设备,便于用户通过实体输入设备对可穿戴显示器的显示内容进行操作。
本申请实施例中的显示装置可以是电子设备,也可以是电子设备中的部件,例如集成电路或芯片。该电子设备可以是终端,也可以为除终端之外的其他设备。示例性的,电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device,MID)、增强现实(augmented reality,AR)/虚拟现实(virtualreality,VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personalcomputer,UMPC)、上网本或者个人数字助理(personal digital assistant,PDA)等,还可以为服务器、网络附属存储器(Network Attached Storage,NAS)、个人计算机(personalcomputer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的显示装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为iOS操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
本申请实施例提供的显示装置能够实现上述方法实施例实现的各个过程,为避免重复,这里不再赘述。
可选地,本申请实施例还提供一种电子设备,图5示出了根据本申请实施例的电子设备的结构框图,如图5所示,电子设备500包括处理器502,存储器504,存储在存储器504上并可在处理器502上运行的程序或指令,该程序或指令被处理器502执行时实现上述方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,本申请实施例中的电子设备包括上述的移动电子设备和非移动电子设备。
图6为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备600包括但不限于:射频单元601、网络模块602、音频输出单元603、输入单元604、传感器605、显示单元606、用户输入单元607、接口单元608、存储器609以及处理器610等部件。
本领域技术人员可以理解,电子设备600还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器610逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图6中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
其中,显示单元606,用于显示目标图像,目标图像包括至少两个图像对象,图像对象用于展示图像信息;
处理器610,用于在接收到通过输入设备进行的第一输入的情况下,在至少两个图像对象中确定目标图像对象,目标图像对象为用户注视的图像对象;响应于第一输入,控制目标图像对象展示与第一输入对应的目标图像信息。
本申请实施例通过检测到的用户正在注视的图像对象来显示与用户输入匹配的结果,从而使得用户通过一个输入设备,就可以同时控制实体显示屏和虚拟显示屏,且无需用户手动切换不同的输入设备,也无需用户手动切换输入设备与显示屏之间的关联关系,简化了使用可穿戴显示器显示图像时进行输入的操作步骤。
可选地,处理器610,还用于根据人眼信息,在目标图像中确定人眼注视区域;在人眼注视区域位于至少两个图像对象中的第一图像对象的显示区域内的情况下,将第一图像对象确定为目标图像对象。
本申请实施例通过可穿戴显示器来追踪用户眼球,通过检测结果在可穿戴显示器显示的图像中确定人眼注视区域,并根据人眼注视区域与不同图像对象的显示区域的对应关系,识别出用户正在关注的图像对象,并将此时用户通过输入设备进行的用户输入确定为针对关注的图像对象的输入,因此能够实现通过一个输入设备控制多个图像对象,如同时控制实体显示屏和虚拟显示屏,用户无需反复切换输入设备,简化了操作步骤。
可选地,目标图像包括虚拟图像区域和现实图像区域,虚拟图像区域用于显示虚拟图像对象,现实图像区域用于显示环境图像,环境图像包括输入设备的图像。
本申请实施例通过在可穿戴显示器的不同显示区域分别显示虚拟图像对象和真实环境图像,使得用户能够通过真实环境图像快速定位实体的输入设备,便于用户通过实体输入设备对可穿戴显示器的显示内容进行操作。
可选地,至少两个图像对象包括第二图像对象,第二图像对象是根据输入设备的图像信息生成虚拟图像对象,且第二图像对象在目标图像中的显示位置与输入设备的位置信息相对应。
本申请实施例通过采集输入设备的图像,根据输入设备的图像生成与输入设备外形、位置相对应的第二图像对象,使得用户能够通过第二图像对象快速定位实体的输入设备,便于用户通过实体输入设备对可穿戴显示器的显示内容进行操作。
应理解的是,本申请实施例中,输入单元604可以包括图形处理器(GraphicsProcessing Unit,GPU)6041和麦克风6042,图形处理器6041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元606可包括显示面板6061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板6061。用户输入单元607包括触控面板6071以及其他输入设备6072中的至少一种。触控面板6071,也称为触摸屏。触控面板6071可包括触摸检测装置和触摸控制器两个部分。其他输入设备6072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
存储器609可用于存储软件程序以及各种数据。存储器609可主要包括存储程序或指令的第一存储区和存储数据的第二存储区,其中,第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外,存储器609可以包括易失性存储器或非易失性存储器,或者,存储器609可以包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DRRAM)。本申请实施例中的存储器609包括但不限于这些和任意其它适合类型的存储器。
处理器610可包括一个或多个处理单元;可选的,处理器610集成应用处理器和调制解调处理器,其中,应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作,调制解调处理器主要处理无线通信信号,如基带处理器。可以理解的是,上述调制解调处理器也可以不集成到处理器610中。
本申请实施例还提供一种可读存储介质,可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,处理器为上述实施例中的电子设备中的处理器。可读存储介质,包括计算机可读存储介质,如计算机只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片,芯片包括处理器和通信接口,通信接口和处理器耦合,处理器用于运行程序或指令,实现上述方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
本申请实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如上述方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
Claims (10)
1.一种显示方法,其特征在于,所述显示方法由可穿戴显示器执行,所述可穿戴显示器与输入设备通信连接,所述显示方法包括:
显示目标图像,所述目标图像包括至少两个图像对象,所述图像对象用于展示图像信息;
在接收到通过所述输入设备进行第一输入的情况下,在至少两个所述图像对象中确定目标图像对象,所述目标图像对象为用户注视的图像对象;
将所述输入设备的控制对象设置为所述目标图像对象;
响应于所述第一输入,控制所述目标图像对象展示与所述第一输入对应的目标图像信息。
2.根据权利要求1所述的显示方法,其特征在于,所述可穿戴显示器包括眼球追踪设备,所述眼球追踪设备用于检测人眼信息;
所述在至少两个所述图像对象中确定目标图像对象,包括:
根据所述人眼信息,在所述目标图像中确定人眼注视区域;
在所述人眼注视区域位于至少两个所述图像对象中的第一图像对象的显示区域内的情况下,将所述第一图像对象确定为所述目标图像对象。
3.根据权利要求1所述的显示方法,其特征在于,所述可穿戴显示器还包括图像传感器,所述图像传感器用于获取环境图像;
所述目标图像包括虚拟图像区域和现实图像区域,所述虚拟图像区域用于显示虚拟图像对象,所述现实图像区域用于显示所述环境图像,所述环境图像包括所述输入设备的图像和实体显示屏的图像。
4.根据权利要求1所述的显示方法,其特征在于,所述可穿戴显示器还包括图像传感器,所述图像传感器用于获取所述输入设备的图像信息;
至少两个所述图像对象包括第二图像对象,所述第二图像对象是根据所述输入设备的图像信息生成虚拟图像对象,且所述第二图像对象在所述目标图像中的显示位置与所述输入设备的位置信息相对应。
5.一种显示装置,其特征在于,所述显示装置与输入设备通信连接,所述显示装置包括:
显示模块,用于显示目标图像,所述目标图像包括至少两个图像对象,所述图像对象用于展示图像信息;
确定模块,用于在接收到通过所述输入设备进行第一输入的情况下,在至少两个所述图像对象中确定目标图像对象,所述目标图像对象为用户注视的图像对象;
设置模块,用于将所述输入设备的控制对象设置为所述目标图像对象;
展示模块,用于响应于所述第一输入,控制所述目标图像对象展示与所述第一输入对应的目标图像信息。
6.根据权利要求5所述的显示装置,其特征在于,所述显示装置包括眼球追踪设备,所述眼球追踪设备用于检测人眼信息;
所述确定模块,还用于根据所述人眼信息,在所述目标图像中确定人眼注视区域;以及
在所述人眼注视区域位于至少两个所述图像对象中的第一图像对象的显示区域内的情况下,将所述第一图像对象确定为所述目标图像对象。
7.根据权利要求5所述的显示装置,其特征在于,所述显示装置还包括图像传感器,所述图像传感器用于获取环境图像;
所述目标图像包括虚拟图像区域和现实图像区域,所述虚拟图像区域用于显示虚拟图像对象,所述现实图像区域用于显示所述环境图像,所述环境图像包括所述输入设备的图像和实体显示屏的图像。
8.根据权利要求5所述的显示装置,其特征在于,所述显示装置还包括图像传感器,所述图像传感器用于获取所述输入设备的图像信息;
至少两个所述图像对象包括第二图像对象,所述第二图像对象是根据所述输入设备的图像信息生成虚拟图像对象,且所述第二图像对象在所述目标图像中的显示位置与所述输入设备的位置信息相对应。
9.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1至4中任一项所述方法的步骤。
10.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1至4中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311299694.9A CN117369634A (zh) | 2023-10-09 | 2023-10-09 | 显示方法、装置、电子设备和可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311299694.9A CN117369634A (zh) | 2023-10-09 | 2023-10-09 | 显示方法、装置、电子设备和可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117369634A true CN117369634A (zh) | 2024-01-09 |
Family
ID=89399547
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311299694.9A Pending CN117369634A (zh) | 2023-10-09 | 2023-10-09 | 显示方法、装置、电子设备和可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117369634A (zh) |
-
2023
- 2023-10-09 CN CN202311299694.9A patent/CN117369634A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106716302B (zh) | 用于显示图像的方法、设备和计算机可读介质 | |
CN107479691B (zh) | 一种交互方法及其智能眼镜和存储装置 | |
CN115202524B (zh) | 显示方法和装置 | |
CN114995713B (zh) | 显示控制方法、装置、电子设备和可读存储介质 | |
CN116107531A (zh) | 界面显示方法和装置 | |
CN115729544A (zh) | 桌面组件生成方法、装置、电子设备和可读存储介质 | |
CN117369634A (zh) | 显示方法、装置、电子设备和可读存储介质 | |
CN115002551A (zh) | 视频播放方法、装置、电子设备和介质 | |
CN114741151B (zh) | 分屏显示方法、装置、电子设备和可读存储介质 | |
Kurauchi et al. | Towards wearable gaze supported augmented cognition | |
CN117270719A (zh) | 界面显示方法、装置、电子设备和可读存储介质 | |
CN117369930A (zh) | 界面的控制方法、装置、电子设备和可读存储介质 | |
CN114327730A (zh) | 图像显示方法和电子设备 | |
CN117631932A (zh) | 截图方法、装置、电子设备及计算机可读存储介质 | |
CN114554098A (zh) | 显示方法、显示装置、电子设备和可读存储介质 | |
CN114546576A (zh) | 显示方法、显示装置、电子设备和可读存储介质 | |
CN116027908A (zh) | 颜色获取方法、装置、电子设备及存储介质 | |
CN116452781A (zh) | 图像显示方法、装置、电子设备和存储介质 | |
CN117676256A (zh) | 视频播放方法、装置、电子设备及可读存储介质 | |
CN117112111A (zh) | 信息显示方法、装置及电子设备 | |
CN117648144A (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
CN116149471A (zh) | 显示控制方法、装置、增强现实设备和介质 | |
CN116366824A (zh) | 视频生成方法、装置、电子设备及存储介质 | |
WO2024064373A1 (en) | Devices, methods, and graphical user interfaces for interacting with window controls in three-dimensional environments | |
CN117724636A (zh) | 窗口显示方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |