CN111930236B - 设备控制方法、装置、存储介质及电子设备 - Google Patents

设备控制方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN111930236B
CN111930236B CN202010827713.0A CN202010827713A CN111930236B CN 111930236 B CN111930236 B CN 111930236B CN 202010827713 A CN202010827713 A CN 202010827713A CN 111930236 B CN111930236 B CN 111930236B
Authority
CN
China
Prior art keywords
virtual information
lens
coupled
human eyes
augmented reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010827713.0A
Other languages
English (en)
Other versions
CN111930236A (zh
Inventor
黄凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010827713.0A priority Critical patent/CN111930236B/zh
Publication of CN111930236A publication Critical patent/CN111930236A/zh
Application granted granted Critical
Publication of CN111930236B publication Critical patent/CN111930236B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

本申请公开了一种设备控制方法、装置、存储介质及增强现实可穿戴设备。该设备控制方法可以应用于增强现实可穿戴设备,该增强现实可穿戴设备包括镜片,该设备控制方法包括:响应于将虚拟信息耦合至人眼的指令,获取目标图像,所述目标图像为用户视野范围内的物体的图像;根据所述目标图像,确定所述虚拟信息耦合至人眼的参数;根据所述参数,通过所述镜片将所述虚拟信息耦合至人眼。本申请可以提高增强现实可穿戴设备在将虚拟信息耦合至人眼时的场景契合度。

Description

设备控制方法、装置、存储介质及电子设备
技术领域
本申请属于增强现实技术领域,尤其涉及一种设备控制方法、装置、存储介质及电子设备。
背景技术
随着技术的发展,智能可穿戴设备开始涌现并逐渐成熟起来。目前常见的一类智能可穿戴设备包括头戴式智能设备,如智能眼镜、智能头盔、智能头带等。这些智能可穿戴设备不仅仅是一种硬件设备,还可以通过软件支持以及数据交互、云端交互来实现强大的功能。智能可穿戴设备中有一类设备为增强现实(Augmented Reality,AR)可穿戴设备。然而,相关技术中,增强现实可穿戴设备在将虚拟信息耦合至人眼时的场景契合度较差。
发明内容
本申请实施例提供一种设备控制方法、装置、存储介质及电子设备,可以提高增强现实可穿戴设备在将虚拟信息耦合至人眼时的场景契合度。
第一方面,本申请实施例提供一种设备控制方法,应用于增强现实可穿戴设备,所述增强现实可穿戴设备包括镜片,所述设备控制方法包括:
响应于将虚拟信息耦合至人眼的指令,获取目标图像,所述目标图像为用户视野范围内的物体的图像;
根据所述目标图像,确定所述虚拟信息耦合至人眼的参数;
根据所述参数,通过所述镜片将所述虚拟信息耦合至人眼。
第二方面,本申请实施例提供一种设备控制装置,应用于增强现实可穿戴设备,所述增强现实可穿戴设备包括镜片,所述设备控制装置包括:
获取模块,用于响应于将虚拟信息耦合至人眼的指令,获取目标图像,所述目标图像为用户视野范围内的物体的图像;
确定模块,用于根据所述目标图像,确定所述虚拟信息耦合至人眼的参数;
所述镜片,用于根据所述参数,将所述虚拟信息耦合至人眼。
第三方面,本申请实施例提供一种存储介质,其上存储有计算机程序,当所述计算机程序在计算机上执行时,使得所述计算机执行本申请实施例提供的设备控制方法中的流程。
第四方面,本申请实施例还提供一种增强显示可穿戴设备,包括存储器、处理器以及镜片,所述处理器通过调用所述存储器中存储的计算机程序,以执行本申请实施例提供的设备控制方法中的流程。
本申请实施例中,当需要将虚拟信息耦合至人眼时,增强现实可穿戴设备可以先获取用户视野范围内的外界物体的目标图像。之后,增强现实可穿戴设备可以根据该目标图像确定出虚拟信息耦合至人眼的参数,并根据该参数通过增强现实可穿戴设备的镜片将该虚拟信息耦合至用户人眼。由于本申请实施例可以根据当前场景下用户视野范围内的外界物体的图像来确定虚拟信息耦合至人眼的参数,并根据确定出来的参数将虚拟信息耦合至人眼,因此本申请实施例可以提高增强现实可穿戴设备在将虚拟信息耦合至人眼时的场景契合度。
附图说明
下面结合附图,通过对本申请的具体实施方式详细描述,将使本申请的技术方案及其有益效果显而易见。
图1是本申请实施例提供的设备控制方法的流程示意图。
图2是本申请实施例提供的设备控制方法的另一流程示意图。
图3是本申请实施例提供的确定虚拟信息耦合至人眼的位置的示意图。
图4至图6是本申请实施例提供的波导原理示意图。
图7至图10是本申请实施例提供的设备控制方法的场景示意图。
图11是本申请实施例提供的设备控制装置的结构示意图。
图12是本申请实施例提供的电子设备的结构示意图。
图13是本申请实施例提供的电子设备的另一结构示意图。
具体实施方式
请参照图示,其中相同的组件符号代表相同的组件,本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例,其不应被视为限制本申请未在此详述的其它具体实施例。
可以理解的是,本申请实施例的执行主体可以是诸如智能手机或平板电脑等的电子设备。
请参阅图1,图1是本申请实施例提供的设备控制方法的流程示意图。该设备控制方法可以应用于增强现实可穿戴设备,该增强现实可穿戴设备可以包括镜片。一方面,外界光线能够透过该镜片,从而使用户能够看到真实的外部世界。另一方面,通过该镜片也能够将虚拟信息耦合至人眼。也即,通过该增强现实可穿戴设备的镜片,用户既可以看到真实的外部世界,也可以看到虚拟信息(如由设备产生的视觉图像等)。因此,增强现实可穿戴设备的镜片通过“层叠”的形式,可以将虚拟信息和真实场景融为一体,从而实现互相补充、互相“增强”的效果。
本申请实施例提供的设备控制方法的流程可以包括:
101、响应于将虚拟信息耦合至人眼的指令,获取目标图像,该目标图像为用户视野范围内的物体的图像。
随着技术的发展,智能可穿戴设备开始涌现并逐渐成熟起来。目前常见的一类智能可穿戴设备包括头戴式智能设备,如智能眼镜、智能头盔、智能头带等。这些智能可穿戴设备不仅仅是一种硬件设备,还可以通过软件支持以及数据交互、云端交互来实现强大的功能。智能可穿戴设备中有一类设备为增强现实(Augmented Reality,AR)可穿戴设备。然而,相关技术中,增强现实可穿戴设备在将虚拟信息耦合至人眼时的场景契合度较差。
在本申请实施例中,比如,当需要将虚拟信息耦合至人眼时,即响应于将虚拟信息耦合至人眼的指令,增强现实可穿戴设备可以先获取一目标图像,其中,该目标图像可以为用户视野范围内的真实外界物体的图像。
102、根据目标图像,确定虚拟信息耦合至人眼的参数。
103、根据参数,通过镜片将虚拟信息耦合至人眼。
比如,102和103可以包括:
在获取到用户视野范围内的真实外界物体的目标图像后,增强现实可穿戴设备可以根据该目标图像确定出虚拟信息耦合至人眼的参数。之后,增强现实可穿戴设备可以根据该参数,通过镜片将虚拟信息耦合至用户的人眼。
在一些实施方式中,虚拟信息耦合至人眼的参数至少可以包括如虚拟信息在镜片上耦合至人眼的位置、虚拟信息耦合至人眼的大小、虚拟信息耦合至人眼的颜色、虚拟信息耦合至人眼的时长等。
可以理解的是,本申请实施例中,当需要将虚拟信息耦合至人眼时,增强现实可穿戴设备可以先获取用户视野范围内的外界物体的目标图像。之后,增强现实可穿戴设备可以根据该目标图像确定出虚拟信息耦合至人眼的参数,并根据该参数通过增强现实可穿戴设备的镜片将该虚拟信息耦合到用户人眼。由于本申请实施例可以根据当前场景下用户视野范围内的外界物体的图像来确定虚拟信息耦合至人眼的参数,并根据确定出来的参数将虚拟信息耦合至人眼,因此本申请实施例可以提高增强现实可穿戴设备在将虚拟信息耦合至人眼时的场景契合度。
请参阅图2,图2为本申请实施例提供的设备控制方法的另一流程示意图。该设备控制方法可以应用于增强现实可穿戴设备,该增强现实可穿戴设备可以包括镜片。一方面,外界光线能够透过该镜片,从而使用户能够看到真实的外部世界。另一方面,通过该镜片也能够将虚拟信息耦合至人眼。也即,通过该增强现实可穿戴设备的镜片,用户既可以看到真实的外部世界,也可以看到虚拟信息(如由设备产生的视觉图像等)。因此,增强现实可穿戴设备的镜片通过“层叠”的形式,可以将虚拟信息和真实场景融为一体,从而实现互相补充、互相“增强”的效果。
本申请实施例提供的设备控制方法的流程可以包括:
201、响应于将虚拟信息耦合至人眼的指令,获取目标图像,该目标图像为用户视野范围内的物体的图像。
比如,当需要将虚拟信息耦合至人眼时,增强现实可穿戴设备可以响应于该将虚拟信息耦合至人眼的指令,获取一目标图像,该目标图像可以为用户视野范围内的外界物体的图像。
在一种实施方式中,增强现实可穿戴设备可以包括摄像模组,通过该摄像模组可以拍摄得到用户视野范围内的物体的图像。
例如,以增强现实可穿戴设备为AR眼镜为例,可以在AR眼镜的镜框上设置两个摄像模组,并按照双眼的视觉对应关系标定这两个摄像模组的对应关系,从而利用这两个摄像模组来模拟双眼的视觉关系和视野范围。基于此,可以利用这两个摄像模组来拍摄得到用户视野范围内的物体的图像。
202、检测目标图像中是否包含天空区域。
比如,在获取到目标图像后,增强现实可穿戴设备可以检测该目标图像中是否包含天空区域。
如果检测到目标图像中包含天空区域,即用户当前的视野范围内能够看到天空,那么可以进入203的流程。
如果检测到目标图像中不包含天空区域,即用户当前的视野范围内不能够看到天空,那么可以进入205的流程。
在一种实施方式中,增强现实可穿戴设备可以通过如下方式来检测目标图像中是否包含天空区域:
对目标图像进行图像分割,得到图像分割结果;
根据图像分割结果,检测该目标图像中是否包含天空区域。
比如,在获取到目标图像后,增强现实可穿戴设备可以对该目标图像进行图像分割处理,从而得到图像分割结果。之后,增强现实可穿戴设备可以根据该图像分割结果检测该目标图像中是否包含天空区域。
需要说明的是,图像分割就是把图像分成若干个特定的、具有独特性质的区域的技术和过程。图像分割可以将图像分成若干互不重叠的子区域,使得同一个子区域内的特征具有一定相似性,不同子区域的特征呈现较为明显的差异。例如,对于一张有山有水有人物的照片,通过图像分割可以得到山对应的区域、水对应的区域以及人物对应的区域。因此,通过图像分割可以检测目标图像中是否包含天空区域。
在一种实施方式中,图像分割可以是基于深度学习的人工智能神经网络进行的图像分割,这样可以提高图像分割的精度和准确度。
203、若目标图像中包含天空区域,则在镜片上确定出目标区域,其中,人眼通过该目标区域看到该天空区域。
204、将目标区域确定为虚拟信息在镜片上耦合至人眼的位置。
比如,增强现实可穿戴设备检测到用户视野范围内的物体的图像中包含天空区域,那么该增强现实可穿戴设备可以在其镜片上确定出一目标区域,其中,人眼是通过该目标区域看到天空区域的。
例如,目标图像中的天空区域位于该目标图像的顶部,那么用户是通过镜片的顶部区域看到该天空区域的,因此增强现实可穿戴设备可以将镜片的顶部区域确定为目标区域。
在确定出目标区域后,增强现实可穿戴设备可以将该目标区域确定为虚拟信息在镜片上耦合至人眼的位置。需要说明的是,虚拟信息在镜片上耦合至人眼的位置可以是指虚拟信息对应的光线是从该位置处出射到外界,该虚拟信息对应的光线被人眼接收到即可在该人眼中形成虚拟信息对应的图像或文字。
205、若目标图像中不包含天空区域,则将镜片的顶部具有预设尺寸的区域确定为虚拟信息在该镜片上耦合至人眼的位置。
比如,增强现实可穿戴设备检测到目标图像中不包含天空区域,那么该增强现实可穿戴设备可以将镜片的顶部具有预设尺寸的区域确定为虚拟信息在该镜片上耦合至人眼的位置。
比如,增强现实可穿戴设备检测到目标图像中不包含天空区域,那么该增强现实可穿戴设备可以将镜片的顶部中间具有预设尺寸的区域确定为虚拟信息在该镜片上耦合至人眼的位置,如图3所示,图3中的虚线所围成的区域可以为在镜片上确定出来的虚拟信息耦合至人眼的位置。当然,该增强现实可穿戴设备也可以将镜片的顶部左侧或右侧具有预设尺寸的区域确定为虚拟信息在该镜片上耦合至人眼的位置,等等,本申请实施例对此不做具体限定。
206、获取与虚拟信息在镜片上耦合至人眼的位置重叠的外界背景物体的颜色。
207、将虚拟信息耦合至人眼的颜色设置为不同于外界背景物体的颜色。
比如,206、207可以包括:
在确定出虚拟信息在镜片上耦合至人眼的位置后,增强现实可穿戴设备还可以获取与该位置重叠的外界背景物体的颜色,即电子设备可以获取人眼在该位置处能够看到的物体的颜色。
比如,目标图像上包含天空区域,即用户通过镜片上的目标区域看到的是天空,那么增强现实可穿戴设备可以从目标图像上获取天空的颜色。例如,如果是蓝天,那么天空区域的颜色就是蓝色。如果是阴天,那么天空区域的颜色就是灰色,等等。
又如,目标图像上不包含天空区域,那么增强现实可穿戴设备是将镜片的顶部中间具有预设尺寸的区域确定为虚拟信息在该镜片上耦合至人眼的位置,例如用户通过该位置看到的是绿树的图像,即目标图像的顶部中间的区域显示的是绿树的图像,那么增强现实可穿戴设备获取到的与虚拟信息在镜片上耦合至人眼的位置重叠的外界背景物体的颜色为绿色。
在获取到与虚拟信息在镜片上耦合至人眼的位置重叠的外界背景物体的颜色之后,增强现实可穿戴设备可以将虚拟信息耦合至人眼的颜色设置为不同于在该位置能够看到的物体的颜色。例如,通过虚拟信息在镜片上耦合至人眼的位置能够看到天空,天空的颜色为蓝色,那么增强现实可穿戴设备可以将虚拟信息的显示颜色设置为不同于蓝色,例如可以设置为红色或黑色等。
可以理解的是,通过将虚拟信息耦合至人眼的颜色设置为不同于在虚拟信息在镜片上耦合至人眼的位置重叠的外界背景物体的颜色,可以使虚拟信息更加显眼、更加清晰。
208、获取增强显示可穿戴设备的移动速度。
209、根据移动速度确定虚拟信息耦合至人眼的时长,其中,移动速度越快虚拟信息耦合至人眼的时长越长。
比如,208和209可以包括:
增强现实可穿戴设备还可以获取其当前的移动速度,并根据该移动速度来确定虚拟信息耦合至人眼的时长。其中,在本申请实施例中,可以是移动速度越快虚拟信息耦合至人眼的时长越长。
例如,如果处于汽车导航的场景,比如用户使用增强现实可穿戴设备进行导航,那么相对于地面,增强现实可穿戴设备的移动速度是很快的。此时,虚拟信息即导航信息耦合至人眼的时长可以很长。例如,本申请实施例中,导航信息可以是持续地、不间断地显示。
又如,如果是跑步场景,比如用户在跑步的过程中使用了增强现实可穿戴设备。如果此时增强现实可穿戴设备需要将虚拟信息耦合至人眼,该虚拟信息例如可以为当前时间、已跑步数、已跑时长、燃烧的卡路里数值等信息,那么增强现实可穿戴设备可以根据用户跑步的速度来确定虚拟信息耦合至人眼的时长。例如,当用户做慢走运动时,其运动速度为3km/h至6km/h,那么,虚拟信息耦合至人眼的时长可以为4秒钟。当用户做快走运动时,其运动速度为6km/h至8km/h,那么,虚拟信息耦合至人眼的时长可以为6秒钟。当用户做慢跑运动时,其运动速度为8km/h至10km/h,那么,虚拟信息耦合至人眼的时长可以为8秒钟。当用户做快跑运动时,其运动速度为12km/h以上,那么,虚拟信息耦合至人眼的时长可以为10秒钟,等等。
在其它实施方式中,如果虚拟信息时文字信息,那么还可以根据可穿戴设备的移动速度来确定虚拟信息耦合至人眼的字号的大小。比如,可以是移动速度越快耦合至人眼的字号越大。例如,当用户慢走、快走时,可以用小号字体将虚拟信息耦合至人眼。当用户慢跑时,可以用中号字体将虚拟信息耦合至人眼的。当用户快跑时,可以用大号字体将虚拟信息耦合至人眼。
210、根据确定出的耦合至人眼的位置、颜色、时长,通过镜片将虚拟信息耦合至人眼。
比如,在确定出虚拟信息的在镜片上耦合至人眼的位置、耦合至人眼的颜色、耦合至人眼的时长后,增强现实可穿戴设备可以根据这些参数通过镜片将该虚拟信息耦合至人眼。
可以理解的是,本申请实施例中,增强现实可穿戴设备可以根据当前场景下用户视野范围内的图像和可穿戴设备的移动速度来确定出虚拟信息耦合至人眼的参数,并根据该参数向用户人眼呈现该虚拟信息。因此,本申请实施例不仅可以提高增强现实可穿戴设备在将虚拟信息耦合至人眼时的场景契合度,还可以提高将虚拟信息耦合至人眼的灵活性。
当然,在另一种实施方式中,增强现实可穿戴设备也可以不检测目标图像中是否包含天空区域,而是直接将镜片上的某一不会遮挡用户视线的位置确定为虚拟信息在镜片上耦合至人眼的位置。比如,增强现实可穿戴设备可以将镜片顶部的某一固定区域确定为虚拟信息在该镜片上耦合至人眼的位置,等等。
在又一种实施方式中,除了将镜片上能够看到天空区域的位置确定为虚拟信息耦合至人眼的位置外,增强现实可穿戴设备也可以将镜片上的其他区域确定为虚拟信息耦合至人眼的位置。比如,增强现实可穿戴设备可以将镜片上能够看到河流或者能够看到树木的位置确定为虚拟信息耦合至人眼的位置,等等,只要是确定出来的虚拟信息耦合至人眼的位置不遮挡用户视线即可
下面以AR眼镜为例,说明增强现实可穿戴设备利用光波导技术向用户呈现虚拟信息的原理。
在AR眼镜中,为了既要看到真实的外部世界,也要看到虚拟信息,成像系统不能挡在视线前方。这就需要多加一个光学器件,将虚拟信息和真实场景融为一体,互相补充,互相“增强”。光波导器件就是起到这样的作用。
光波导器件的特点是轻薄而且外界光线有高穿透性。在AR眼镜中,要想光在传输的过程中无损失无泄漏,“全反射”是关键,即光在波导中像只游蛇一样通过来回反射前进而并不会透射出来。光波导器件将光耦合进自己的玻璃基底中,通过“全反射”原理将光传输到眼睛前方再释放出来。这个过程中光波导器件只负责传输图像。光源发射的光投射到耦入光栅的位置,在光波导器件内部光的传输是全反射,在耦出光栅的位置射向人眼的方向,如图4所示。所以在人眼位置可以看到虚拟的图像,同时因为光波导器件的透明特性,用户还可以看到真实的世界。
除了光波导器件以外,还有一部分重要的元件,叫做光机或者光学引擎(opticalengine)。它的作用是将光机显示屏显示的图像放大输出。光机主要由光机显示屏、光机镜片组成。
基于上述光机和光波导技术,在一个光机显示屏上的内容经过光机的放大和光波导的传输入射到人眼。正常显示的虚拟图像从光机射出到耦入光栅,耦入光栅对入射光衍射后改变其传播方向,之后在玻璃内部进行全反射,向耦出光栅传播,到达耦出光栅位置,耦出光栅对入射光衍射后改变其方向,入射到人眼。人眼看到的图像实际上就是光机显示屏上显示的图像。
只需对光机显示屏上的内容的显示位置进行调整,就可以实现在AR眼镜的镜片的不同位置将图像耦合至人眼。需要注意的是光机显示屏上显示黑色的时候,也就是黑色部分没有光从光机进入波导,人眼位置不是看到黑色的图片,而是透明的。如图5所示,图5的左边是光机显示屏上显示的内容,图5的右边是实际人眼看到的内容。又如,图6的左边是光机显示屏上显示的内容,图6的右边是实际人眼看到的内容。
因此,在确定出的镜片上耦合至人眼的位置将虚拟信息耦合至人眼,可以包括:
调整虚拟信息在光机显示屏上的显示位置,以使该光机显示屏在显示该虚拟信息时发出的光线经该耦合至人眼的位置处的耦出光栅反射至人眼。请参阅图7至图10,图7至图10为本申请实施例提供的设备控制方法的场景示意图。
比如,本实施例提供的增强现实可穿戴设备为AR眼镜。AR眼镜可以和智能手机建立无线通信连接。在建立无线通信连接后,智能手机可以将信息传输至AR眼镜,并通过AR眼镜的镜片将信息呈现给用户查看。例如,用户佩戴了AR眼镜在路上开车,用户使用智能手机进行导航,智能手机可以将导航信息传输至AR眼镜,AR眼镜可以将导航信息作为虚拟信息通过镜片呈现给用户,从而帮助用户导航,这样用户即可以看到真实的路况,又可以看到AR眼镜呈现的虚拟导航信息。
在一些实施方式中,AR眼镜和智能手机可以通过蓝牙无线连接或者红外无线连接等方式进行无线通信。
请参阅图7,在相关技术中,AR眼镜一般是将虚拟信息从镜片的中央位置耦合至人眼。然而,在诸如导航等场景下,将虚拟信息从镜片的中央位置耦合至人眼容易遮挡用户的视线,从而影响交通安全。
在本申请实施例中,智能手机可以将导航信息传输给AR眼镜,在接收到导航信息后,AR眼镜可以先获取用户视野范围内的物体的目标图像。例如,AR眼镜获取到的用户视野范围内的目标图像可以如图8所示。之后,AR眼镜可以对该目标图像进行图像分割处理,从而得到图像分割结果。
之后,AR眼镜可以根据图像分割结果检测目标图像中是否包含天空区域。例如,本实施例中,AR眼镜检测到目标图像中包含天空区域。在这种情况下,AR眼镜可以在镜片上确定出目标区域,其中,人眼是通过该目标区域看到天空区域的。例如,由于天空区域位于目标图像的顶部的大概左三分之二的区域,因此AR眼睛可以将镜片的顶部的大概左三分之二的区域确定为目标区域,如图9所示,图9中的虚线围成的区域为目标区域。之后,AR眼镜可以将该目标区域确定为导航信息在镜片上耦合至人眼的位置
之后,AR眼镜可以获取与确定出的导航信息在镜片上耦合至人眼的位置重叠的外界背景物体的颜色。例如,由于通过确定出的导航信息在镜片上耦合至人眼的位置能够看到天空区域,因此AR眼镜可以获取目标图像上的天空区域的颜色。例如,目标图像上的天空区域的颜色为灰色。那么,AR眼镜可以将导航信息耦合至人眼的颜色设置为不同于灰色,例如AR眼镜可以将导航信息耦合至人眼的颜色设置为绿色。
之后,AR眼镜可以将导航信息以绿色的颜色在镜片上的目标区域耦合至用户人眼,如图10所示。
可以理解的是,本申请实施例中,由于可以将导航信息在对应于天空的区域耦合至人眼,因此可以避免AR眼镜将导航信息耦合至人眼时遮挡用户视线造成的不安全情况发生。
请参阅图11,图11为本申请实施例提供的设备控制装置的结构示意图。该设备控制装置可以应用于增强现实可穿戴设备,所述增强现实可穿戴设备包括镜片。
本申请实施例提供的设备控制装置300可以包括:获取模块301,确定模块302,以及镜片303。
获取模块301,用于响应于将虚拟信息耦合至人眼的指令,获取目标图像,所述目标图像为用户视野范围内的物体的图像;
确定模块302,用于根据所述目标图像,确定所述虚拟信息耦合至人眼的参数;
镜片303,用于根据所述参数将所述虚拟信息耦合至人眼。
在一种实施方式中,所述参数包括所述虚拟信息在所述镜片上耦合至人眼的位置。
在一种实施方式中,所述确定模块302可以用于:若检测到所述目标图像中包含天空区域,则在所述镜片上确定出目标区域,其中,人眼通过所述目标区域看到所述天空区域;将所述目标区域确定为所述虚拟信息在所述镜片上耦合至人眼的位置。
在一种实施方式中,所述确定模块302还可以用于:对所述目标图像进行图像分割,得到图像分割结果;根据所述图像分割结果,检测所述目标图像中是否包含天空区域。
在一种实施方式中,所述确定模块302还可以用于:将所述镜片的顶部具有预设尺寸的区域确定为所述虚拟信息在所述镜片上耦合至人眼的位置。
在一种实施方式中,所述参数还包括所述虚拟信息耦合至人眼的颜色,所述确定模块302可以用于:获取与所述虚拟信息在所述镜片上耦合至人眼的位置重叠的外界背景物体的颜色;将所述虚拟信息耦合至人眼的颜色设置为不同于所述外界背景物体的颜色。
在一种实施方式中,所述参数还包括所述虚拟信息耦合至人眼的时长,所述确定模块302还可以用于:获取所述增强显示可穿戴设备的移动速度;根据所述移动速度确定所述虚拟信息耦合至人眼的时长。
在一种实施方式中,所述移动速度越快,所述虚拟信息耦合至人眼的时长越长。
在一种实施方式中,所述镜片303可以用于:若所述虚拟信息为导航信息,则持续不间断地将所述导航信息耦合至人眼。
在一种实施方式中,所述增强显示可穿戴设备还包括摄像模组,所述摄像模组用于获取用户视野范围内的物体的图像。
在一种实施方式中,所述增强现实可穿戴设备还包括光机器件,所述镜片包括光波导器件,所述光机器件包括光机显示屏,所述光波导器件包括耦入光栅和耦出光栅;所述光机显示屏在显示信息时所发出的光线被传输到所述耦入光栅,所述光线在所述光波导器件内从所述耦入光栅反射至所述耦出光栅,并从所述耦出光栅释放到外界;当在所述光机显示屏的不同位置显示信息时,对应的光线从所述镜片上的不同位置处的耦出光栅释放到外界。
那么,在确定出的所述镜片上耦合至人眼的位置将所述虚拟信息耦合至人眼,可以包括:调整所述虚拟信息在所述光机显示屏上的显示位置,以使所述光机显示屏在显示所述虚拟信息时发出的光线经所述耦合至人眼的位置处的耦出光栅反射至人眼。
本申请实施例提供一种计算机可读的存储介质,其上存储有计算机程序,当所述计算机程序在计算机上执行时,使得所述计算机执行如本实施例提供的设备控制方法中的流程。
本申请实施例还提供一种增强显示可穿戴设备,包括存储器、处理器以及镜片,所述增强现实可穿戴设备包括镜片,所述处理器通过调用所述存储器中存储的计算机程序,以执行本申请实施例提供的设备控制方法中的流程。
例如,上述增强现实可穿戴设备可以是诸如AR眼镜或AR头盔等。请参阅图12,图12为本申请实施例提供的增强显示可穿戴设备的结构示意图。
该增强显示可穿戴设备400可以包括镜片401、存储器402、处理器403等部件。本领域技术人员可以理解,图12中示出的增强显示可穿戴设备结构并不构成对增强显示可穿戴设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
镜片401能够使用户即可以看到真实世界,又可以看到虚拟信息。即,一方面,外界光线能够透过所述镜片401。另一方面,通过所述镜片401能够将虚拟信息耦合至人眼。
存储器402可用于存储应用程序和数据。存储器402存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器403通过运行存储在存储器402的应用程序,从而执行各种功能应用以及数据处理。
处理器403是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器402内的应用程序,以及调用存储在存储器402内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。
在本实施例中,电子设备中的处理器403会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器402中,并由处理器403来运行存储在存储器402中的应用程序,从而执行:
响应于将虚拟信息耦合至人眼的指令,获取目标图像,所述目标图像为用户视野范围内的物体的图像;
根据所述目标图像,确定所述虚拟信息耦合至人眼的参数;
根据所述参数,通过所述镜片将所述虚拟信息耦合至人眼。
请参阅图13,增强现实可穿戴设备400可以包括镜片401、存储器402、处理器403、扬声器404、电池405、麦克风406等部件。
镜片401能够使用户即可以看到真实世界,又可以看到虚拟信息。即,一方面,外界光线能够透过所述镜片401。另一方面,通过所述镜片401能够将虚拟信息耦合至人眼。
存储器402可用于存储应用程序和数据。存储器402存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器403通过运行存储在存储器402的应用程序,从而执行各种功能应用以及数据处理。
处理器403是增强现实可穿戴设备的控制中心,利用各种接口和线路连接整个增强现实可穿戴设备的各个部分,通过运行或执行存储在存储器402内的应用程序,以及调用存储在存储器402内的数据,执行增强现实可穿戴设备的各种功能和处理数据,从而对增强现实可穿戴设备进行整体监控。
扬声器404可以用于播放声音信号。
麦克风406可以用于拾取周围环境中的声音信号。
电池405可以用于为增强现实可穿戴设备的各个部件提供电力支持,从而保证各个部件的正常运行。
在本实施例中,增强现实可穿戴设备中的处理器403会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器402中,并由处理器403来运行存储在存储器402中的应用程序,从而执行:
响应于将虚拟信息耦合至人眼的指令,获取目标图像,所述目标图像为用户视野范围内的物体的图像;
根据所述目标图像,确定所述虚拟信息耦合至人眼的参数;
根据所述参数,通过所述镜片将所述虚拟信息耦合至人眼。
在一种实施方式中,所述参数包括所述虚拟信息在所述镜片上耦合至人眼的位置。
在一种实施方式中,处理器403执行根据所述目标图像确定所述虚拟信息在所述镜片上耦合至人眼的位置时,可以执行:若检测到所述目标图像中包含天空区域,则在所述镜片上确定出目标区域,其中,人眼通过所述目标区域看到所述天空区域;将所述目标区域确定为所述虚拟信息在所述镜片上耦合至人眼的位置。
在一种实施方式中,处理器403还可以执行:对所述目标图像进行图像分割,得到图像分割结果;根据所述图像分割结果,检测所述目标图像中是否包含天空区域。
在一种实施方式中,处理器403还可以执行:将所述镜片的顶部具有预设尺寸的区域确定为所述虚拟信息在所述镜片上耦合至人眼的位置。
在一种实施方式中,所述参数还包括所述虚拟信息耦合至人眼的颜色,处理器403还可以执行:获取与所述虚拟信息在所述镜片上耦合至人眼的位置重叠的外界背景物体的颜色;将所述虚拟信息耦合至人眼的颜色设置为不同于所述外界背景物体的颜色。
在一种实施方式中,所述参数还包括所述虚拟信息耦合至人眼的时长,处理器403还可以执行:获取所述增强显示可穿戴设备的移动速度;根据所述移动速度确定所述虚拟信息耦合至人眼的时长。
在一种实施方式中,所述移动速度越快,所述虚拟信息耦合至人眼的时长越长。
在一种实施方式中,处理器403还可以执行:若所述虚拟信息为导航信息,则持续不间断地将所述导航信息耦合至人眼。
在一种实施方式中,所述增强显示可穿戴设备还包括摄像模组,所述摄像模组用于获取用户视野范围内的物体的图像。
在一种实施方式中,所述增强现实可穿戴设备还包括光机器件,所述镜片包括光波导器件,所述光机器件包括光机显示屏,所述光波导器件包括耦入光栅和耦出光栅;所述光机显示屏在显示信息时所发出的光线被传输到所述耦入光栅,所述光线在所述光波导器件内从所述耦入光栅反射至所述耦出光栅,并从所述耦出光栅释放到外界;当在所述光机显示屏的不同位置显示信息时,对应的光线从所述镜片上的不同位置处的耦出光栅释放到外界;
那么,处理器403执行在确定出的所述镜片上耦合至人眼的位置将所述虚拟信息耦合至人眼时,可以执行:调整所述虚拟信息在所述光机显示屏上的显示位置,以使所述光机显示屏在显示所述虚拟信息时发出的光线经所述耦合至人眼的位置处的耦出光栅反射至人眼。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对设备控制方法的详细描述,此处不再赘述。
本申请实施例提供的所述设备控制装置与上文实施例中的设备控制方法属于同一构思,在所述设备控制装置上可以运行所述设备控制方法实施例中提供的任一方法,其具体实现过程详见所述设备控制方法实施例,此处不再赘述。
需要说明的是,对本申请实施例所述设备控制方法而言,本领域普通技术人员可以理解实现本申请实施例所述设备控制方法的全部或部分流程,是可以通过计算机程序来控制相关的硬件来完成,所述计算机程序可存储于一计算机可读取存储介质中,如存储在存储器中,并被至少一个处理器执行,在执行过程中可包括如所述设备控制方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)等。
对本申请实施例的所述设备控制装置而言,其各功能模块可以集成在一个处理芯片中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中,所述存储介质譬如为只读存储器,磁盘或光盘等。
以上对本申请实施例所提供的一种设备控制方法、装置、存储介质以及电子设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种设备控制方法,应用于增强现实可穿戴设备,其特征在于,所述增强现实可穿戴设备包括镜片,所述设备控制方法包括:
响应于将虚拟信息耦合至人眼的指令,获取目标图像,所述目标图像为用户视野范围内的物体的图像;
根据所述目标图像,确定所述虚拟信息耦合至人眼的参数;
根据所述参数,通过所述镜片将所述虚拟信息耦合至人眼,其中,所述参数包括所述虚拟信息在所述镜片上耦合至人眼的位置,若检测到所述目标图像中包含天空区域,则在所述镜片上确定出目标区域,其中,人眼通过所述目标区域看到所述天空区域;将所述目标区域确定为所述虚拟信息在所述镜片上耦合至人眼的位置,所述参数还包括所述虚拟信息耦合至人眼的时长,获取所述增强现实可穿戴设备的移动速度,所述移动速度越快,所述虚拟信息耦合至人眼的时长越长。
2.根据权利要求1所述的设备控制方法,其特征在于,所述方法还包括:
对所述目标图像进行图像分割,得到图像分割结果;
根据所述图像分割结果,检测所述目标图像中是否包含天空区域。
3.根据权利要求1所述的设备控制方法,其特征在于,所述方法还包括:
将所述镜片的顶部具有预设尺寸的区域确定为所述虚拟信息在所述镜片上耦合至人眼的位置。
4.根据权利要求3所述的设备控制方法,其特征在于,所述参数还包括所述虚拟信息耦合至人眼的颜色,所述方法还包括:
获取与所述虚拟信息在所述镜片上耦合至人眼的位置重叠的外界背景物体的颜色;
将所述虚拟信息耦合至人眼的颜色设置为不同于所述外界背景物体的颜色。
5.根据权利要求1所述的设备控制方法,其特征在于,所述方法还包括:
若所述虚拟信息为导航信息,则持续不间断地将所述导航信息耦合至人眼。
6.根据权利要求1所述的设备控制方法,其特征在于,所述增强现实可穿戴设备还包括摄像模组,所述摄像模组用于获取用户视野范围内的物体的图像。
7.根据权利要求1所述的设备控制方法,其特征在于,所述增强现实可穿戴设备还包括光机器件,所述镜片包括光波导器件,所述光机器件包括光机显示屏,所述光波导器件包括耦入光栅和耦出光栅;
所述光机显示屏在显示信息时所发出的光线被传输到所述耦入光栅,所述光线在所述光波导器件内从所述耦入光栅反射至所述耦出光栅,并从所述耦出光栅释放到外界;
当在所述光机显示屏的不同位置显示信息时,对应的光线从所述镜片上的不同位置处的耦出光栅释放到外界;
在确定出的所述镜片上耦合至人眼的位置将所述虚拟信息耦合至人眼,包括:
调整所述虚拟信息在所述光机显示屏上的显示位置,以使所述光机显示屏在显示所述虚拟信息时发出的光线经所述耦合至人眼的位置处的耦出光栅反射至人眼。
8.一种设备控制装置,应用于增强现实可穿戴设备,其特征在于,所述增强现实可穿戴设备包括镜片,所述设备控制装置包括:
获取模块,用于响应于将虚拟信息耦合至人眼的指令,获取目标图像,所述目标图像为用户视野范围内的物体的图像;
确定模块,用于根据所述目标图像,确定所述虚拟信息耦合至人眼的参数;
所述镜片,用于根据所述参数,通过所述镜片将所述虚拟信息耦合至人眼,其中,所述参数包括所述虚拟信息在所述镜片上耦合至人眼的位置,若检测到所述目标图像中包含天空区域,则在所述镜片上确定出目标区域,其中,人眼通过所述目标区域看到所述天空区域;将所述目标区域确定为所述虚拟信息在所述镜片上耦合至人眼的位置,所述参数还包括所述虚拟信息耦合至人眼的时长,获取所述增强现实可穿戴设备的移动速度,所述移动速度越快,所述虚拟信息耦合至人眼的时长越长。
9.一种计算机可读的存储介质,其上存储有计算机程序,其特征在于,当所述计算机程序在计算机上执行时,使得所述计算机执行如权利要求1至7中任一项所述的方法。
10.一种增强现实可穿戴设备,包括存储器、处理器以及镜片,其特征在于,所述处理器通过调用所述存储器中存储的计算机程序,以执行如权利要求1至7中任一项所述的方法。
CN202010827713.0A 2020-08-17 2020-08-17 设备控制方法、装置、存储介质及电子设备 Active CN111930236B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010827713.0A CN111930236B (zh) 2020-08-17 2020-08-17 设备控制方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010827713.0A CN111930236B (zh) 2020-08-17 2020-08-17 设备控制方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN111930236A CN111930236A (zh) 2020-11-13
CN111930236B true CN111930236B (zh) 2023-06-20

Family

ID=73310631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010827713.0A Active CN111930236B (zh) 2020-08-17 2020-08-17 设备控制方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN111930236B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113923423A (zh) * 2021-10-22 2022-01-11 北京乐驾科技有限公司 调整ar眼镜视图色彩的方法和电子设备、存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014194773A1 (zh) * 2013-06-06 2014-12-11 华为终端有限公司 一种获取目标图像的方法、装置及终端
CN110413121A (zh) * 2019-07-29 2019-11-05 Oppo广东移动通信有限公司 一种虚拟现实设备的控制方法、虚拟现实设备和存储介质
CN110585707A (zh) * 2019-09-20 2019-12-20 腾讯科技(深圳)有限公司 视野画面显示方法、装置、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8427508B2 (en) * 2009-06-25 2013-04-23 Nokia Corporation Method and apparatus for an augmented reality user interface
CN109714583B (zh) * 2019-01-22 2022-07-19 京东方科技集团股份有限公司 增强现实的显示方法及增强现实的显示系统
CN111399222A (zh) * 2020-04-07 2020-07-10 Oppo广东移动通信有限公司 显示组件及显示控制方法、存储介质、眼镜
CN111510701A (zh) * 2020-04-22 2020-08-07 Oppo广东移动通信有限公司 虚拟内容的显示方法、装置、电子设备及计算机可读介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014194773A1 (zh) * 2013-06-06 2014-12-11 华为终端有限公司 一种获取目标图像的方法、装置及终端
CN110413121A (zh) * 2019-07-29 2019-11-05 Oppo广东移动通信有限公司 一种虚拟现实设备的控制方法、虚拟现实设备和存储介质
CN110585707A (zh) * 2019-09-20 2019-12-20 腾讯科技(深圳)有限公司 视野画面显示方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111930236A (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
US8884984B2 (en) Fusing virtual content into real content
US9348141B2 (en) Low-latency fusing of virtual and real content
US20150379770A1 (en) Digital action in response to object interaction
CN110275297B (zh) 头部佩戴型显示装置、显示控制方法以及记录介质
US9076033B1 (en) Hand-triggered head-mounted photography
US8957916B1 (en) Display method
EP3714318B1 (en) Position tracking system for head-mounted displays that includes sensor integrated circuits
WO2015012280A1 (ja) 視線検出装置
CN108421252B (zh) 一种基于ar设备的游戏实现方法和ar设备
US20130321390A1 (en) Augmented books in a mixed reality environment
KR20140059213A (ko) 홍채 스캔 프로파일링을 이용하는 헤드 마운티드 디스플레이
CA2913650A1 (en) Virtual object orientation and visualization
JP6492673B2 (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
JP2017091433A (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
CN115209057B (zh) 一种拍摄对焦方法及相关电子设备
US10755434B2 (en) Low feature object detection and pose estimation for image data streams
CN111930236B (zh) 设备控制方法、装置、存储介质及电子设备
US20190114502A1 (en) Information processing device, information processing method, and program
US20230154368A1 (en) Method and device for controlling luminance of augmented reality (ar) image
US20220365354A1 (en) Segmented illumination display
US20220375172A1 (en) Contextual visual and voice search from electronic eyewear device
CN112908228B (zh) 显示亮度的调整方法、装置、头戴显示设备及存储介质
EP4198873A1 (en) Sparse rgb filter hardware accelerator
US20240138668A1 (en) Augmented reality apparatus and method for providing vision measurement and vision correction
CN219107510U (zh) 增强现实设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant