CN111308707B - 画面显示调节方法、装置、存储介质及增强现实显示设备 - Google Patents
画面显示调节方法、装置、存储介质及增强现实显示设备 Download PDFInfo
- Publication number
- CN111308707B CN111308707B CN202010058408.XA CN202010058408A CN111308707B CN 111308707 B CN111308707 B CN 111308707B CN 202010058408 A CN202010058408 A CN 202010058408A CN 111308707 B CN111308707 B CN 111308707B
- Authority
- CN
- China
- Prior art keywords
- augmented reality
- picture
- reality glasses
- target image
- picture display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Abstract
本申请实施例公开了一种画面显示调节方法、装置、存储介质及增强现实显示设备。该方法包括:接收画面显示调节指令,调节指令指示调节增强现实眼镜的画面显示位置;根据调节指令获取目标图像,目标图像为当前用户佩戴增强现实眼镜时的图像;获取增强现实眼镜对应的硬件参数信息;根据目标图像和所述硬件参数信息,确定画面显示位置的调节信息;基于调节信息对增强现实眼镜的画面显示位置进行调节。本方案中通过用户自拍佩戴AR眼镜时的图像获取瞳距,智能调节AR眼镜显示器屏幕的画面内容中心,提升画面显示效果;另外,整个调节过程无需操作者手动设置,操作简单,调节灵活、高效。
Description
技术领域
本申请涉及终端技术领域,尤其涉及一种画面显示调节方法、装置、存储介质及增强现实显示设备。
背景技术
AR(Augmented Reality,增强现实)是一种将虚拟信息与真实世界巧妙融合的技术,广泛应用了多媒体、实时跟踪、显示、传感器等多种技术手段,将真实物体和虚拟物体相互叠加和补充,从而提供超越现实的感官体验。其中增强现实显示技术是其中重要的内容,通常增强现实系统有一个头盔式显示器或者眼镜,半透明屏幕显示的内容与屏幕后面的真实场景叠加在一起。其中应用最为广泛的是AR眼镜显示器。
然而,由于AR眼镜显示器存在以下两个问题:第一,没有调节瞳距功能的标准化生产的AR眼镜显示器无法适应所有人的使用;第二,带有机械齿轮等调节机构的AR眼镜虽然一定程度上能够缓解个体瞳距的差异,但是存在调节操作繁琐,调节精度不高和不同人佩戴时又需要重新调节等问题。因此,导致不同用户使用该AR眼镜时,其画面显示效果较差。
发明内容
本申请实施例提供一种画面显示调节方法、装置、存储介质及增强现实显示设备,可以提升增强现实显示设备的画面显示效果。
第一方面,本申请实施例提供一种画面显示调节方法,应用于增强现实显示系统,包括:
接收画面显示调节指令,所述调节指令指示调节增强现实眼镜的画面显示位置;
根据所述调节指令获取目标图像,所述目标图像为当前用户佩戴所述增强现实眼镜时的图像;
获取所述增强现实眼镜对应的硬件参数信息;
根据所述目标图像和所述硬件参数信息,确定画面显示位置的调节信息;
基于所述调节信息对所述增强现实眼镜的画面显示位置进行调节。
在一实施方式中,根据所述目标图像和所述硬件参数信息,确定画面显示位置的调节信息,包括:
对所述目标图像进行识别,得到识别结果;
基于所述识别结果至少确定用户瞳孔位置与所述增强现实眼镜的内框位置;
根据所述瞳孔位置、所述内框位置及所述硬件参数信息,确定画面显示位置的调节信息。
在一实施方式中,所述硬件参数信息包括所述增强现实眼镜两侧内框的实际距离;
所述根据所述瞳孔位置、所述内框位置及所述硬件参数信息,确定画面显示位置的调节信息,包括:
基于所述瞳孔位置确定所述目标图像中通瞳孔之间的第一距离;
基于所述内框位置确定所述目标图像中所述增强现实眼镜两侧内框的第二距离;
根据第一距离、第二距离及两侧内框的实际距离,确定用户瞳孔的实际距离;
根据用户瞳孔的实际距离、及所述增强现实眼镜的当前画面显示位置,确定画面显示位置的调节信息。
在一实施方式中,所述对所述目标图像进行识别,得到识别结果,包括:
对所述目标图像进行图像特征提取;
根据所述图像特征从所述目标图像中确定出多个实体;
对所述多个实体进行识别,得到识别结果。
在一实施方式中,所述增强现实眼镜显示第一画面和第二画面,所述调节信息包括移动距离、第一画面的第一移动方向、及第二画面的第二移动方向;
所述基于所述调节信息对所述增强现实眼镜的画面显示位置进行调节,包括:
分别确定第一画面、第二画面的的当前显示位置;
基于所述第一移动方向将第一画面从当前显示位置进行移动、及基于所述第二移动方向将第二画面进行移动,以使第一画面和第二画面移动的距离之和等于所述移动距离。
在一实施方式中,第一画面的移动的距离与第二画面的移动距离相同,第一画面、第二画面的的当前显示位置为画面中心点位置。
在一实施方式中,所述根据所述调节指令获取目标图像,包括:
根据所述调节指令调用终端摄像头;
通过所述摄像头采集当前用户佩戴所述增强现实眼镜时的图像,作为目标图像。
第二方面,本申请实施例提供了一种画面显示调节装置,应用于增强现实显示系统,所述装置包括:
接收单元,用于接收画面显示调节指令,所述调节指令指示调节增强现实眼镜的画面显示位置;
图像获取单元,用于根据所述调节指令获取目标图像,所述目标图像为当前用户佩戴所述增强现实眼镜时的图像;
参数获取单元,用于获取所述增强现实眼镜对应的硬件参数信息;
确定单元,用于根据所述目标图像和所述硬件参数信息,确定画面显示位置的调节信息;
调节单元,用于基于所述调节信息对所述增强现实眼镜的画面显示位置进行调节。
第三方面,本申请实施例还提供了一种计算机可读存储介质,所述存储介质中存储有多条指令,所述指令适于由处理器加载以执行上述的画面显示调节方法。
第四方面,本申请实施例还提供了一种增强现实显示设备,包括处理器及存储器,所述处理器与所述存储器电性连接,所述存储器用于存储指令和数据,处理器用于执行上述的画面显示调节方法。
本申请实施中,通过接收画面显示调节指令,调节指令指示调节增强现实眼镜的画面显示位置;根据调节指令获取目标图像,目标图像为当前用户佩戴增强现实眼镜时的图像;获取增强现实眼镜对应的硬件参数信息;根据目标图像和所述硬件参数信息,确定画面显示位置的调节信息;基于调节信息对增强现实眼镜的画面显示位置进行调节。本方案中通过用户自拍佩戴AR眼镜时的图像获取瞳距,智能调节AR眼镜显示器屏幕的画面内容中心,提升画面显示效果;另外,整个调节过程无需操作者手动设置,操作简单,调节灵活、高效。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的画面显示调节方法的一流程示意图。
图2是本申请实施例提供的画面显示调节方法的一应用场景图。
图3是本申请实施例提供的画面显示调节方法的另一应用场景示意图
图4是本申请实施例提供的画面显示调节方法的又一应用场景示意图。
图5是本申请实施例提供的画面显示调节装置的一结构示意图。
图6是本申请实施例提供的增强现实显示设备的一结构示意图。
图7是本申请实施例提供的增强现实显示设备的另一结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供一种画面显示调节方法、装置、存储介质及增强现实显示设备。以下将分别进行详细说明。
在一实施例中,提供一种画面显示调节方法,应用于增强现实显示系统中,该增强现实显示系统可以包括增强现实显示设备和终端,该增强现实显示设备和终端建立有通信连接(可以为有线连接方式,或蓝牙、wifi等无线连接方式)。其中,该增强现实显示设备可以包括AR眼镜、AR头盔等具有显示功能的增强现实穿戴设备。终端具体可以包括手机、平板电脑、笔记本电脑等具备拍摄功能的摄像设备。参考图1,该画面显示调节方法的具体流程可以如下:
101、接收画面显示调节指令,该调节指令指示调节增强现实眼镜的画面显示位置。
具体的,本申请实施例针对的是增强现实显示系统,采用增强现实技术实现画面内容的显示。在接收到画面显示调节指令时,可触发对增强现实显示画面的的显示位置进行调节。
增强现实技术也被称为扩增现实,其广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段,将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后,应用到真实世界中。两种信息互为补充,从而实现对真实世界的“增强”。增强现实技术是促使真实世界信息和虚拟世界信息内容之间综合在一起的较新的技术内容,其将原本在现实世界的空间范围中比较难以进行体验的实体信息在电脑等科学技术的基础上,实施模拟仿真处理,叠加将虚拟信息内容在真实世界中加以有效应用,并且在这一过程中能够被人类感官所感知,从而实现超越现实的感官体验。
增强现实技术不仅能够有效体现出真实世界的内容,也能够促使虚拟的信息内容显示出来,这些细腻内容相互补充和叠加。在视觉化的增强现实中,用户需要在头盔显示器的基础上,促使真实世界能够和电脑图形之间重合在一起,在重合之后可以充分看到真实的世界围绕着它。增强现实技术中主要有多媒体和三维建模以及场景融合等新的技术和手段,增强现实所提供的信息内容和人类能够感知的信息内容之间存在着明显不同。
102、根据调节指令获取目标图像,目标图像为当前用户佩戴增强现实眼镜时的图像。
具体的,可以通过该增强现实显示系统中具有拍摄功能的终端设备,获取当前用户佩戴增强现实眼镜时的图像。实际应用中,可通过调用该终端设备的摄像头采集当前用佩戴增强现实眼镜时的图像。也即,在一些实施例中,步骤“根据调节指令获取目标图像”,可以包括以下流程:
根据调节指令调用终端摄像头;
通过摄像头采集当前用户佩戴增强现实眼镜时的图像,作为目标图像。
参考图2,可在用户初次将AR眼镜与手机通过数据线进行连接之后,读取连接设备信息,手机内置的指定应用监听到连接AR眼镜所触发的广播。此时用户待佩戴舒适之后,通过调用手机摄像头采集用户自拍图像。
103、获取增强现实眼镜对应的硬件参数信息。
具体的,由于每种型号的AR眼镜在出厂时,诸如产品型号、规格、尺寸等硬件相关信息都是设定存储在内部的。因此,可以从该AR眼镜对应的硬件参数信息中提取AR眼镜的尺寸等信息。
104、根据目标图像和硬件参数信息,确定画面显示位置的调节信息。
具体的,由目标图像中用户瞳距与镜框之间的比例关系,结合已知的AR眼镜实际尺寸信息,可以计算得到用户的实际瞳距。
在一些实施例中,上述手机中的指定应用内置可眼睛捕捉算法,能够识别用户自拍图像中的眼球元素、以及AR眼镜镜框的内框线条。基于识别结果,从中获取需要的数据,并结合上述实际产品硬件参数信息,计算得到画面所需的调节信息。也即,在一些实施例中,步骤“根据目标图像和硬件参数信息,确定画面显示位置的调节信息”,可以包括以下流程:
对目标图像进行识别,得到识别结果;
基于识别结果至少确定用户瞳孔位置与增强现实眼镜的内框位置;
根据瞳孔位置、内框位置及硬件参数信息,确定画面显示位置的调节信息。
具体的,可对目标图像进行识别,基于识别结果在自动标识眼球中心点、AR眼镜镜框的内框等所需图像内容的位置,再结合上述实际产品硬件参数信息,计算得到画面所需的调节信息。
实际应用中,该硬件参数信息包括增强现实眼镜两侧内框的实际距离。则在根据所述瞳孔位置、内框位置及所述硬件参数信息,确定画面显示位置的调节信息时,具体可以包括以下流程:
基于瞳孔位置确定目标图像中通瞳孔之间的第一距离;
基于内框位置确定目标图像中增强现实眼镜两侧内框的第二距离;
根据第一距离、第二距离及两侧内框的实际距离,确定用户瞳孔的实际距离;
根据用户瞳孔的实际距离、及增强现实眼镜的当前画面显示位置,确定画面显示位置的调节信息。
具体的,参考图3,根据上述对目标图像标识的所需图像内容的位置,获取所拍摄采集到的目标图像中的瞳距y和AR眼镜镜框的内框距离x。由于AR眼镜的硬件参数信息已知,结合图像中瞳距和内框距离比例关系,可以计算得到用户的真实瞳距D=y*(L/x)。
由于在瞳距、透镜中心距和画面显示中心距越接近、同时中心线也越接近,则画面显示效果也越好。因此,可根据用户瞳孔的实际距离、及增强现实眼镜的当前画面显示位置,来确定画面显示位置的调节信息,从而使得调节后的画面显示效果更佳。
在一些实施例中,在对目标图像进行识别时,具体可以对目标图像进行图像特征提取,再根据图像特征从目标图像中确定出多个实体,最后对多个实体进行识别,从而得到识别结果。
具体的,首先可根据用户的需求在图像中寻找满足定义的特征,包括角点、Blob点和边缘点。为了选择稳定和可靠的特征,在检测到的特征集合中,需要进一步约束,通过类似于非极大值抑制、对比度阈值约束等条件保留显著特征,得到特征子集。在确定稳定可靠的特征子集后,需要提取特征的位置(Location)、方向(Orientation)和尺度(Scale)信息。然后,结合特征(点)邻域信息,使用一定的描述规则来对特征区域进行量化并抽取能代表该特征的描述信息,如特征向量(feature vector)。接着,对提取到的特征,通过使用一定的方法来进一步判断对应的特征是否相同(或近似),对特征向量一般使用欧式距离或最邻近距离比(NNDR)进行判定,满足一定的条件约束,则认为两个特征相近,否则剔除。从而识别图像中的各个实体的实际含义,得到是被结果。
105、基于调节信息对增强现实眼镜的画面显示位置进行调节
具体的,在确定好调节信息后,可基于此对增强现实眼镜的画面显示位置进行调节,以使调节后的画面显示效果更佳。
在一些实施例中,增强现实眼镜可显示第一画面和第二画面,即对应左右眼看到的画面。调节信息包括移动距离、第一画面的第一移动方向、及第二画面的第二移动方向。则,在基于调节信息对所述增强现实眼镜的画面显示位置进行调节时,具体可以包括以下流程:
分别确定第一画面的画面中心、当前第二画面的画面中心的当前显示位置;
基于第一移动方向将第一画面的画面中心从当前显示位置进行移动、及基于第二移动方向将第二画面的画面中心从当前显示位置进行移动,以使第一画面的画面中心和第二画面的画面中心移动的距离之和等于移动距离。
在一些实施例中,第一画面的画面中心移动的距离与第二画面的画面中心移动距离相同,第一移动方向与第二移动方向相反。
具体的,参考图4,对于标准瞳距的场景(即成像面的画面中心与用户两瞳孔中心线一致),无需调节画面显示位置;对于瞳距偏小的场景,需将第一画面的画面中心和第二画面的画面中心往中间移动,直至两画面中心的中心线与两瞳孔的中心线一致;对于瞳距偏大的场景,需将第一画面的画面中心和第二画面的画面中心往分别向左右两边移动,直至两画面中心的中心线与两瞳孔的中心线一致,从而实现提升画面显示效果。
由上可知,本实施例提供的画面显示调节方法,根据调节指令获取目标图像,目标图像为当前用户佩戴增强现实眼镜时的图像;获取增强现实眼镜对应的硬件参数信息;根据目标图像和所述硬件参数信息,确定画面显示位置的调节信息;基于调节信息对增强现实眼镜的画面显示位置进行调节。本方案中通过用户自拍佩戴AR眼镜时的图像获取瞳距,智能调节AR眼镜显示器屏幕的画面内容中心,提升画面显示效果;另外,整个调节过程无需操作者手动设置,操作简单,调节灵活、高效。
下面,将以AR眼镜与手机构成增强现实显示系统为例,对本方案中的画面显示调节方法进行详细描述。
首先,用户将AR眼镜设备与手机建立通信连接,触发手机系统发出连接广播。手机中指定的应用程序接收连接AR眼镜时系统发出的广播,获取AR眼镜设备的型号、规格等硬件参数信息。
接着,手机界面弹出是否需要调节画面显示位置的消息窗口。在接收到用户触发的调节指令时,应用程序查询设备连接历史纪录,查询是否存在当前用户的连接历史(可以通过人脸识别来判断)。如果该用户历史调节信息存在,则直接获取与该用户匹配的调节信息进行画面调节,并在调节后进行画面展示。否则应用程序将申请相机权限,获得用户的自拍图像,根据瞳孔自动检测算法捕获自拍图像中瞳距,识别自拍图象中AR眼镜内框元素。应用程序根据识别设备的型号、规格等硬件参数信息获取内框的实际距离,根据自拍图象的比例计算用户的实际瞳距。应用程序根据计算所得瞳距调节投影画面中心。
最后,手机生成提示信息询问用户是否舒适。若用户应答为不舒适,则应用程序将在显示界面提示用户使用音量按键无极微调,当检测到时间阈值(例如10s)之后用户无操作,继续请求用户是否舒适,直至用户对画面显示效果满意为止。
在本申请又一实施例中,还提供一种画面显示调节装置,该画面显示调节装置可以软件或硬件的形式集成在增强现实显示系统中,该增强现实显示系统可以包括增强现实显示设备和终端,该增强现实显示设备和终端建立有通信连接。其中,该增强现实显示设备可以为AR眼镜、AR头盔等具备显示功能的增强现实穿戴设备。终端具体可以包括手机、平板电脑、笔记本电脑等具备拍摄功能的摄像设备。如图5所示,该画面显示调节装置300可以包括:接收单元301、图像获取单元302、参数获取单元303、确定单元304和调节单元305,其中:
接收单元301,用于接收画面显示调节指令,所述调节指令指示调节增强现实眼镜的画面显示位置;
图像获取单元302,用于根据所述调节指令获取目标图像,所述目标图像为当前用户佩戴所述增强现实眼镜时的图像;
参数获取单元303,用于获取所述增强现实眼镜对应的硬件参数信息;
确定单元304,用于根据所述目标图像和所述硬件参数信息,确定画面显示位置的调节信息;
调节单元305,用于基于所述调节信息对所述增强现实眼镜的画面显示位置进行调节。
在一些实施例中,确定单元304可以用于:
对所述目标图像进行识别,得到识别结果;
基于所述识别结果至少确定用户瞳孔位置与所述增强现实眼镜的内框位置;
根据所述瞳孔位置、所述内框位置及所述硬件参数信息,确定画面显示位置的调节信息。
在一些实施例中,所述硬件参数信息包括所述增强现实眼镜两侧内框的实际距离;确定单元304进一步可以用于:
基于所述瞳孔位置确定所述目标图像中通瞳孔之间的第一距离;
基于所述内框位置确定所述目标图像中所述增强现实眼镜两侧内框的第二距离;
根据第一距离、第二距离及两侧内框的实际距离,确定用户瞳孔的实际距离;
根据用户瞳孔的实际距离、及所述增强现实眼镜的当前画面显示位置,确定画面显示位置的调节信息。
在一些实施例中,确定单元304进一步可以用于:
对所述目标图像进行图像特征提取;
根据所述图像特征从所述目标图像中确定出多个实体;
对所述多个实体进行识别,得到识别结果。
在一些实施例中,所述增强现实眼镜显示第一画面和第二画面,所述调节信息包括移动距离、第一画面的第一移动方向、及第二画面的第二移动方向。
调节单元305可以用于:
分别确定第一画面的画面中心、当前第二画面的画面中心的当前显示位置;
基于第一移动方向将第一画面的画面中心从当前显示位置进行移动、及基于第二移动方向将第二画面的画面中心从当前显示位置进行移动,以使第一画面的画面中心和第二画面的画面中心移动的距离之和等于移动距离。
在一些实施例中,第一画面的画面中心移动的距离与第二画面的画面中心移动距离相同,第一移动方向与第二移动方向相反。
在一些实施例中,图像获取单元302具体可以用于:
根据所述调节指令调用终端摄像头;
通过所述摄像头采集当前用户佩戴所述增强现实眼镜时的图像,作为目标图像。
由上可知,本申请实施例提供的画面显示调节装置,接收画面显示调节指令,调节指令指示调节增强现实眼镜的画面显示位置;根据调节指令获取目标图像,目标图像为当前用户佩戴增强现实眼镜时的图像;获取增强现实眼镜对应的硬件参数信息;根据目标图像和所述硬件参数信息,确定画面显示位置的调节信息;基于调节信息对增强现实眼镜的画面显示位置进行调节。本方案中通过用户自拍佩戴AR眼镜时的图像获取瞳距,智能调节AR眼镜显示器屏幕的画面内容中心,提升画面显示效果;另外,整个调节过程无需操作者手动设置,操作简单,调节灵活、高效。
在本申请又一实施例中还提供一种增强现实显示设备,如可以是AR眼镜等具有显示功能的智能穿戴设备。如图6所示,该增强现实显示设备400包括处理器401和存储器402。其中,处理器401与存储器402电性连接。
处理器401是增强现实显示设备400的控制中心,利用各种接口和线路连接整个增强现实显示设备的各个部分,通过运行或加载存储在存储器402内的应用,以及调用存储在存储器402内的数据,执行增强现实显示设备的各种功能和处理数据,从而对增强现实显示设备进行整体监控。
在本实施例中,增强现实显示设备400中的处理器401会按照如下的步骤,将一个或一个以上的应用的进程对应的指令加载到存储器402中,并由处理器401来运行存储在存储器402中的应用,从而实现各种功能:
接收画面显示调节指令,所述调节指令指示调节增强现实眼镜的画面显示位置;
根据所述调节指令获取目标图像,所述目标图像为当前用户佩戴所述增强现实眼镜时的图像;
获取所述增强现实眼镜对应的硬件参数信息;
根据所述目标图像和所述硬件参数信息,确定画面显示位置的调节信息;
基于所述调节信息对所述增强现实眼镜的画面显示位置进行调节。
在一些实施例中,在根据所述目标图像和所述硬件参数信息,确定画面显示位置的调节信息时,处理器401执行以下步骤:
对所述目标图像进行识别,得到识别结果;
基于所述识别结果至少确定用户瞳孔位置与所述增强现实眼镜的内框位置;
根据所述瞳孔位置、所述内框位置及所述硬件参数信息,确定画面显示位置的调节信息。
在一些实施例中,所述硬件参数信息包括所述增强现实眼镜两侧内框的实际距离;在根据所述瞳孔位置、所述内框位置及所述硬件参数信息,确定画面显示位置的调节信息时,处理器401还执行以下步骤:
基于所述瞳孔位置确定所述目标图像中通瞳孔之间的第一距离;
基于所述内框位置确定所述目标图像中所述增强现实眼镜两侧内框的第二距离;
根据第一距离、第二距离及两侧内框的实际距离,确定用户瞳孔的实际距离;
根据用户瞳孔的实际距离、及所述增强现实眼镜的当前画面显示位置,确定画面显示位置的调节信息。
在一些实施例中,在对所述目标图像进行识别,得到识别结果时,处理器401还执行以下步骤:
对所述目标图像进行图像特征提取;
根据所述图像特征从所述目标图像中确定出多个实体;
对所述多个实体进行识别,得到识别结果。
在一些实施例中,增强现实眼镜显示第一画面和第二画面,所述调节信息包括移动距离、第一画面的第一移动方向、及第二画面的第二移动方向。在基于所述调节信息对所述增强现实眼镜的画面显示位置进行调节时,处理器401还执行以下步骤:
分别确定第一画面的画面中心、当前第二画面的画面中心的当前显示位置;
基于第一移动方向将第一画面的画面中心从当前显示位置进行移动、及基于第二移动方向将第二画面的画面中心从当前显示位置进行移动,以使第一画面的画面中心和第二画面的画面中心移动的距离之和等于移动距离。
在一些实施例中,第一画面的画面中心移动的距离与第二画面的画面中心移动距离相同,第一移动方向与第二移动方向相反。
在一些实施例中,在根据所述调节指令获取目标图像时,处理器401还执行以下步骤:
根据所述调节指令调用终端摄像头;
通过所述摄像头采集当前用户佩戴所述增强现实眼镜时的图像,作为目标图像。
存储器402可用于存储应用和数据。存储器402存储的应用中包含有可在处理器中执行的指令。应用可以组成各种功能模块。处理器401通过运行存储在存储器402的应用,从而执行各种功能应用以及画面显示调节。
在一些实施例中,如图7所示,增强现实显示设备400还包括:显示屏403、控制电路404、射频电路405、输入单元406、传感器408以及电源409。其中,处理器401分别与显示屏403、控制电路404、射频电路405、输入单元406、摄像头407、传感器408以及电源409电性连接。
显示屏403可用于显示由用户输入的信息或提供给用户的信息以及增强现实显示设备的各种图形用户接口,这些图形用户接口可以由图像、文本、图标、视频和其任意组合来构成。
控制电路404与显示屏403电性连接,用于控制显示屏403显示信息。
射频电路405用于收发射频信号,以通过无线通信与增强现实显示设备或其他增强现实显示设备建立无线通讯,与服务器或其他增强现实显示设备之间收发信号。
输入单元406可用于接收输入的数字、字符信息或用户特征信息(例如指纹),以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。其中,输入单元406可以包括指纹识别模组。
摄像头407可用于采集图像信息。其中,该摄像头可以是具有一个镜头的单摄像头,也可以具有两个或多个镜头。
传感器408用于采集外部环境信息。传感器408可以包括环境亮度传感器、加速度传感器、光传感器、运动传感器、以及其他传感器。在本实施例中,该传感器可以为陀螺仪,当用户穿戴增强现实显示设备时,通过陀螺仪获取三个方向的运动数据,并发送至处理器401进行处理。
电源409用于给增强现实显示设备400的各个部件供电。在一些实施例中,电源409可以通过电源管理系统与处理器401逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管图7中未示出,增强现实显示设备400还可以包括扬声器、蓝牙模块等,在此不再赘述。
由上可知,本申请实施例提供的增强现实显示设备,在接收画面显示调节指令时,调节指令指示调节增强现实眼镜的画面显示位置;根据调节指令获取目标图像,目标图像为当前用户佩戴增强现实眼镜时的图像;获取增强现实眼镜对应的硬件参数信息;根据目标图像和所述硬件参数信息,确定画面显示位置的调节信息;基于调节信息对增强现实眼镜的画面显示位置进行调节。本方案中通过用户自拍佩戴AR眼镜时的图像获取瞳距,智能调节AR眼镜显示器屏幕的画面内容中心,提升画面显示效果;另外,整个调节过程无需操作者手动设置,操作简单,调节灵活、高效。
在一些实施例中,还提供了一种计算机可读存储介质,该存储介质中存储有多条指令,该指令适于由处理器加载以执行上述任一画面显示调节方法。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,RandomAccess Memory)、磁盘或光盘等。
以上对本申请实施例所提供的画面显示调节方法、装置、存储介质及增强现实显示设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (9)
1.一种画面显示调节方法,应用于增强现实显示系统,其特征在于,包括:
接收画面显示调节指令,所述调节指令指示调节增强现实眼镜的画面显示位置;
对当前用户进行人脸识别,根据人脸识别结果判断是否存在所述当前用户对于所述增强现实眼镜的历史调节信息;
若不存在所述历史调节信息,则根据所述调节指令调用终端摄像头,通过所述终端摄像头采集当前用户佩戴增强现实眼镜时的图像,作为目标图像,所述目标图像为当前用户佩戴所述增强现实眼镜时的图像;
获取所述增强现实眼镜对应的硬件参数信息,所述硬件参数信息包括所述增强现实眼镜的尺寸;
根据所述目标图像和所述硬件参数信息,确定画面显示位置的调节信息,包括:
根据所述目标图像中用户瞳距与所述增强现实眼镜镜框之间的比例关系,以及所述尺寸计算用户瞳孔的实际距离,根据所述实际距离确定画面显示位置的调节信息;
基于所述调节信息对所述增强现实眼镜的画面显示位置进行调节。
2.根据权利要求1所述的画面显示调节方法,其特征在于,根据所述目标图像和所述硬件参数信息,确定画面显示位置的调节信息,包括:
对所述目标图像进行识别,得到识别结果;
基于所述识别结果至少确定用户瞳孔位置与所述增强现实眼镜的内框位置;
根据所述瞳孔位置、所述内框位置及所述硬件参数信息,确定画面显示位置的调节信息。
3.根据权利要求2所述的画面显示调节方法,其特征在于,所述硬件参数信息包括所述增强现实眼镜两侧内框的实际距离;
所述根据所述瞳孔位置、所述内框位置及所述硬件参数信息,确定画面显示位置的调节信息,包括:
基于所述瞳孔位置确定所述目标图像中通瞳孔之间的第一距离;
基于所述内框位置确定所述目标图像中所述增强现实眼镜两侧内框的第二距离;
根据第一距离、第二距离及两侧内框的实际距离,确定用户瞳孔的实际距离;
根据用户瞳孔的实际距离、及所述增强现实眼镜的当前画面显示位置,确定画面显示位置的调节信息。
4.根据权利要求2所述的画面显示调节方法,其特征在于,所述对所述目标图像进行识别,得到识别结果,包括:
对所述目标图像进行图像特征提取;
根据所述图像特征从所述目标图像中确定出多个实体;
对所述多个实体进行识别,得到识别结果。
5.根据权利要求1-4任一项所述的画面显示调节方法,其特征在于,所述增强现实眼镜显示第一画面和第二画面,所述调节信息包括移动距离、第一画面的第一移动方向、及第二画面的第二移动方向;
所述基于所述调节信息对所述增强现实眼镜的画面显示位置进行调节,包括:
分别确定第一画面的画面中心、当前第二画面的画面中心的当前显示位置;
基于所述第一移动方向将第一画面的画面中心从当前显示位置进行移动、及基于所述第二移动方向将第二画面的画面中心从当前显示位置进行移动,以使第一画面的画面中心和第二画面的画面中心移动的距离之和等于所述移动距离。
6.根据权利要求5所述的画面显示调节方法,其特征在于,第一画面的画面中心移动的距离与第二画面的画面中心移动距离相同,第一移动方向与第二移动方向相反。
7.一种画面显示调节装置,应用于增强现实显示系统,其特征在于,所述装置包括:
接收单元,用于接收画面显示调节指令,所述调节指令指示调节增强现实眼镜的画面显示位置;对当前用户进行人脸识别,根据人脸识别结果判断是否存在所述当前用户对于所述增强现实眼镜的历史调节信息;
图像获取单元,用于若不存在所述历史调节信息,则根据所述调节指令获取目标图像,所述目标图像为当前用户佩戴所述增强现实眼镜时的图像;
参数获取单元,用于获取所述增强现实眼镜对应的硬件参数信息,所述硬件参数信息包括所述增强现实眼镜的尺寸;
确定单元,用于根据所述目标图像和所述硬件参数信息,确定画面显示位置的调节信息,包括:
根据所述目标图像中用户瞳距与所述增强现实眼镜镜框之间的比例关系,以及所述尺寸计算用户瞳孔的实际距离,根据所述实际距离确定画面显示位置的调节信息;
调节单元,用于基于所述调节信息对所述增强现实眼镜的画面显示位置进行调节。
8.一种计算机可读存储介质,其特征在于,所述存储介质中存储有多条指令,所述指令适于由处理器加载以执行权利要求1-6任一项所述的画面显示调节方法。
9.一种增强现实显示设备,其特征在于,包括处理器及存储器,所述处理器与所述存储器电性连接,所述存储器用于存储指令和数据;所述处理器用于执行权利要求1-6任一项所述的画面显示调节方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010058408.XA CN111308707B (zh) | 2020-01-19 | 2020-01-19 | 画面显示调节方法、装置、存储介质及增强现实显示设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010058408.XA CN111308707B (zh) | 2020-01-19 | 2020-01-19 | 画面显示调节方法、装置、存储介质及增强现实显示设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111308707A CN111308707A (zh) | 2020-06-19 |
CN111308707B true CN111308707B (zh) | 2022-11-04 |
Family
ID=71144920
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010058408.XA Active CN111308707B (zh) | 2020-01-19 | 2020-01-19 | 画面显示调节方法、装置、存储介质及增强现实显示设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111308707B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114815239B (zh) * | 2021-01-29 | 2023-11-10 | 华为技术有限公司 | 头戴式显示设备及其画面显示方法 |
CN113820863A (zh) * | 2021-09-22 | 2021-12-21 | 广东九联科技股份有限公司 | Vr瞳距调节方法及装置 |
CN114355627B (zh) * | 2022-01-05 | 2023-06-30 | 北京蜂巢世纪科技有限公司 | 一种镜腿长度调整方法、装置、电子设备及存储介质 |
CN114593688B (zh) * | 2022-03-03 | 2023-10-03 | 惠州Tcl移动通信有限公司 | 基于ar眼镜的三维测量方法、装置、ar眼镜及存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103150013A (zh) * | 2012-12-20 | 2013-06-12 | 天津三星光电子有限公司 | 一种移动终端 |
CN104090371B (zh) * | 2014-06-19 | 2017-07-04 | 京东方科技集团股份有限公司 | 一种3d眼镜及3d显示系统 |
CN104822061A (zh) * | 2015-04-30 | 2015-08-05 | 小鸟科技有限公司 | 头戴式3d显示器的瞳距调节方法、系统、以及模块 |
CN108957742B (zh) * | 2017-05-19 | 2021-09-03 | 深圳市易瞳科技有限公司 | 一种实现画面虚拟透明动态调节的增强现实头盔及方法 |
CN107462992B (zh) * | 2017-08-14 | 2020-09-18 | 深圳创维新世界科技有限公司 | 一种头戴显示设备的调节方法、装置及头戴显示设备 |
CN107682690A (zh) * | 2017-10-19 | 2018-02-09 | 京东方科技集团股份有限公司 | 自适应视差调节方法和虚拟现实vr显示系统 |
-
2020
- 2020-01-19 CN CN202010058408.XA patent/CN111308707B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111308707A (zh) | 2020-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111308707B (zh) | 画面显示调节方法、装置、存储介质及增强现实显示设备 | |
US11546505B2 (en) | Touchless photo capture in response to detected hand gestures | |
CN110647865B (zh) | 人脸姿态的识别方法、装置、设备及存储介质 | |
US11520399B2 (en) | Interactive augmented reality experiences using positional tracking | |
US11417052B2 (en) | Generating ground truth datasets for virtual reality experiences | |
US11854147B2 (en) | Augmented reality guidance that generates guidance markers | |
CN108351522A (zh) | 注视方向映射 | |
EP4026318A1 (en) | Intelligent stylus beam and assisted probabilistic input to element mapping in 2d and 3d graphical user interfaces | |
CN113569614A (zh) | 虚拟形象生成方法、装置、设备及存储介质 | |
US11582409B2 (en) | Visual-inertial tracking using rolling shutter cameras | |
CN110544272A (zh) | 脸部跟踪方法、装置、计算机设备及存储介质 | |
US11889291B2 (en) | Head-related transfer function | |
US11620792B2 (en) | Fast hand meshing for dynamic occlusion | |
US11741679B2 (en) | Augmented reality environment enhancement | |
CN116048244A (zh) | 一种注视点估计方法及相关设备 | |
CN114741559A (zh) | 确定视频封面的方法、设备及存储介质 | |
US20240004197A1 (en) | Dynamic sensor selection for visual inertial odometry systems | |
CN112907702A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
US20220358689A1 (en) | Curated contextual overlays for augmented reality experiences | |
US20220377491A1 (en) | Low latency, low power multi-channel audio processing | |
CN116310020A (zh) | 一种反光效果实现方法、装置、计算机设备和存储介质 | |
CN117950783A (zh) | 一种界面交互提示方法、装置、头显设备和存储介质 | |
CN114356089A (zh) | 增强现实眼镜控制方法及装置、存储介质和电子设备 | |
CN113849142A (zh) | 图像展示方法、装置、电子设备及计算机可读存储介质 | |
CN115457102A (zh) | 图像处理方法、人脸识别方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |