CN114615488A - 一种ar眼镜显示模式的控制方法 - Google Patents

一种ar眼镜显示模式的控制方法 Download PDF

Info

Publication number
CN114615488A
CN114615488A CN202210249384.5A CN202210249384A CN114615488A CN 114615488 A CN114615488 A CN 114615488A CN 202210249384 A CN202210249384 A CN 202210249384A CN 114615488 A CN114615488 A CN 114615488A
Authority
CN
China
Prior art keywords
glasses
display area
display
user
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210249384.5A
Other languages
English (en)
Other versions
CN114615488B (zh
Inventor
姜公略
张贺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xingzhe Wujiang Technology Co ltd
Original Assignee
Beijing Xingzhe Wujiang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xingzhe Wujiang Technology Co ltd filed Critical Beijing Xingzhe Wujiang Technology Co ltd
Priority to CN202210249384.5A priority Critical patent/CN114615488B/zh
Publication of CN114615488A publication Critical patent/CN114615488A/zh
Application granted granted Critical
Publication of CN114615488B publication Critical patent/CN114615488B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了一种AR眼镜显示模式的控制方法,该方法包括:检测所述AR眼镜的显示内容在所述AR眼镜的显示区域所占的显示面积;基于所述显示面积是否超过预设面积对所述AR眼镜用户进行眼球追踪检测;根据所述眼球追踪检测确定所述AR眼镜用户的注视点在所述AR眼镜的显示区域的位移发生超过预设位移的情况下,控制调整所述显示内容在所述AR眼镜中的显示模式。解决了现有技术中用户为了不让AR眼镜中的虚拟图像挡住视线,往往会手动关闭AR眼镜从而降低用户体验的技术问题。

Description

一种AR眼镜显示模式的控制方法
技术领域
本发明涉及AR领域,尤其是涉及一种AR眼镜显示模式的控制方法。
背景技术
增强现实(Augmented Reality)技术是一种将虚拟信息与真实世界巧妙融合的技术,广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段,将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后,应用到真实世界中,两种信息互为补充,从而实现对真实世界的“增强”。
随着社会经济以及科技的发展,越来的越多的人佩戴AR眼镜进行娱乐,比如观影或者打游戏。
需要说明的是,在现有技术中,在用户使用AR眼镜进行娱乐时,如果用户此时需要吃饭或者行走,用户为了不让AR眼镜中的虚拟图像挡住视线,往往会手动关闭AR眼镜,此种情况无疑会降低用户的使用体验。
有鉴于此,提出本发明。
发明内容
本发明提供了一种AR眼镜显示模式的控制方法,以解决在现有技术中用户为了不让AR眼镜中的虚拟图像挡住视线,往往会手动关闭AR眼镜从而降低用户体验的技术问题。
本发明包括:检测所述AR眼镜的显示内容在所述AR眼镜的显示区域所占的显示面积;基于所述显示面积是否超过预设面积对所述AR眼镜用户进行眼球追踪检测;根据所述眼球追踪检测确定所述AR眼镜用户的注视点在所述AR眼镜的显示区域的位移发生超过预设位移的情况下,控制调整所述显示内容在所述AR眼镜中的显示模式。
进一步地,所述AR眼镜设置有加速度传感器,其中,控制调整所述显示内容在所述AR眼镜中的显示模式的步骤包括:获取所述加速度传感器发送的加速度信号;根据所述加速度信号判定所述AR眼镜的用户发生预设事件,其中,所述预设事件为所述AR眼镜用户处于非行走状态或者行走状态;根据所述预设事件调整所述显示内容在所述AR眼镜中的显示模式。
进一步地,根据所述预设事件调整所述显示内容在所述AR眼镜中的显示模式的步骤包括:根据所述预设事件调整所述显示内容在所述AR眼镜中的显示面积和/或显示位置。
进一步地,根据所述预设事件调整所述显示内容在所述AR眼镜中的显示面积包括:在所述预设事件为所述AR眼镜用户处于非行走状态时,控制所述显示内容在所述AR眼镜中的显示面积为第一目标面积,其中,所述第一目标面积小于所述预设面积;在所述预设事件为所述AR眼镜用户处于行走状态时,控制所述AR眼镜的左眼成像装置为透视状态,所述AR眼镜的右眼成像装置形成右眼显示区域,其中,所述右眼显示区域包括第一显示区域以及第二显示区域,第一显示区域为透视状态,所述第二显示区域用于显示所述显示内容,其中,所述第二显示区域的面积小于所述第一目标面积。
进一步地,所述AR眼镜设置有光线传感器,其中,控制所述第二显示区域显示所述显示内容的步骤包括:获取所述光线传感器采集的实时光线亮度;在所述实时光线亮度小于预设光线亮度的情况下,控制所述第一显示区域的亮度大于所述第二显示区域的亮度。
进一步地,控制所述第二显示区域的亮度大于所述第一显示区域的亮度的步骤包括:控制提高所述第一显示区域的亮度以及降低所述第二显示区域的亮度。
进一步地,根据所述加速度信号判定所述AR眼镜的用户发生预设事件的步骤包括:获取所述AR眼镜摄像头采集的图像;基于所述采集的图像以及所述加速度信号判定所述AR眼镜的用户发生预设事件。
进一步地,基于所述采集的图像以及所述加速度信号判定所述AR眼镜的用户发生预设事件的步骤包括:在所述加速度信号符合预设信号的情况下,对所述采集的图像进行图像识别;根据是否识别出目标物来判定所述 AR眼镜的用户发生预设事件。
进一步地,根据是否识别出现目标物来判定所述AR眼镜的用户发生预设事件的步骤包括:在识别出目标物的情况下,判定所述AR眼镜的用户为非行走状态;在没有识别出目标物的情况下,判定所述AR眼镜的用户为行走状态。
进一步地,基于所述显示面积是否超过预设面积对所述AR眼镜用户进行眼球追踪检测的步骤包括:在所述显示面积超过预设面积的情况下,检测到所述显示内容在所述AR眼镜的显示区域中是否置覆盖到预设区域;在覆盖到所述预设区域的情况下,对所述AR眼镜用户进行眼球追踪检测。
本发明提供了一种AR眼镜显示模式的控制方法,该方法包括:检测所述AR眼镜的显示内容在所述AR眼镜的显示区域所占的显示面积;基于所述显示面积是否超过预设面积对所述AR眼镜用户进行眼球追踪检测;根据所述眼球追踪检测确定所述AR眼镜用户的注视点在所述AR眼镜的显示区域的位移发生超过预设位移的情况下,控制调整所述显示内容在所述AR眼镜中的显示模式。解决了现有技术中用户为了不让AR眼镜中的虚拟图像挡住视线,往往会手动关闭AR眼镜从而降低用户体验的技术问题。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例的AR眼镜显示模式的控制方法的流程图;
图2至图3为本发明实施例效果图;
图4是本发明实施例的AR眼镜显示模式的控制装置的示意图。
具体实施方式
为了使本发明的上述以及其他特征和优点更加清楚,下面结合附图进一步描述本发明。应当理解,本文给出的具体实施例是出于向本领域技术人员解释的目的,仅是示例性的,而非限制性的。
在以下描述中,阐述了许多具体细节以提供对本发明的透彻理解。然而,对于本领域普通技术人员来说,明显的是,不需要采用具体细节来实践本发明。在其他情况下,未详细描述众所周知的步骤或操作,以避免模糊本发明。
实施例一
本发明提供了一种AR眼镜显示模式的控制方法,如图1所示,所述方法包括:
步骤S11,检测AR眼镜的显示内容在所述AR眼镜的显示区域所占的显示面积。
具体的,在本方案中,可以由AR眼镜的控制器作为本方案的方法的执行主体,在用户使用AR眼镜时,AR眼镜的虚拟成像装置会生成虚拟图像(即上述显示内容),并且显示在AR眼镜的显示区域中,本方案中的AR 眼镜的控制器则可以检测上述显示内容在显示区域所占的显示面积,需要说明的是,上述显示区域为AR眼镜用户带上AR眼镜之后,眼睛能够观测到的显示区域。
例如,用户正在使用AR眼镜进行看电影,结合图2,电影画面则为AR 眼镜虚拟成像装置生成的虚拟图像,然后显示在上述AR眼镜的显示区域中,此时AR眼镜的控制器则检测电影画面在显示区域中所占的显示面积是多少。
步骤S13,基于所述显示面积是否超过预设面积对所述AR眼镜用户进行眼球追踪检测。
具体的,在本方案中,AR眼镜的控制器可以判断上述显示面积是否超过预设面积,在显示面积超过预设面积的情况下,本实施例则认定显示内容遮挡了用户对于外界真实环境的视线,AR眼镜的控制器则针对AR眼镜用户进行眼球追踪检测。关于上述显示面积以及预设面积的比较,本方案可以通过显示面积占显示区域的占比与预设占比(可以为三分之二)进行比较,在显示内容在显示区域的占比超过三分之二的情况下,本方案则针对AR眼镜进行眼球追踪检测,需要说明的是,在显示内容在显示区域的占比超过三分之二,则说明此时显示内容影响了AR用户对于外界真实环境的视线。
例如,结合图2,用户使用AR眼镜在观看电影,此时AR眼镜的控制器检测到电影画面在显示区域中占比超过了三分之二,这说明电影画面影响了用户对于外界真实环境的视线,此时AR眼镜的控制器则开始启动针对于用户的眼镜追踪功能。需要说明的是,眼球追踪的工作原理是通过近红外光被导向眼睛的中心(瞳孔),在瞳孔和角膜(眼睛的最外面的光学元件)中引起可检测的反射,这些反射计算为角膜和瞳孔之间的矢量,再由红外摄像头(camera)进行跟踪,可以通过现有技术来实现。
步骤S15,根据所述眼球追踪检测确定所述AR眼镜用户的注视点在所述AR眼镜的显示区域的位移发生超过预设位移的情况下,控制调整所述显示内容在所述AR眼镜中的显示模式。
具体的,在本方案中,如果用户的注视点发生了超过预设位移则说明用户需要有特定的事情要去做。在判定出用户有特定事情要做的情况下,本方案则控制调整所述显示内容在所述AR眼镜中的显示模式,需要说明的是,结合图3,在调整显示内容在所述AR眼镜中的显示模式之后,显示内容则不再遮挡用户对于外界真实环境的视线,但是显示内容仍旧显示在显示区域中,如图3所示,用户则可以一边做特定的事情一边继续观看AR眼镜中的虚拟影像。
例如,用户静坐在沙发上在使用AR眼镜进行看电影,此时如果用户要用手吃饭或者站起来走路,按照人的正常反应,用户会下意识进行注视点的移动,AR眼镜的控制器在检测到用户注视点移动的情况下,判定用户要吃饭或者走路,此时AR眼镜的控制器则控制电影画面改变显示模式;在改变显示模式之后,结合图3,电影画面虽然在显示区域中进行显示,但是显示内容的显示面积较小,显示位置也不会遮挡用户对于外界的真实环境的视线,用户则可以一边看电影,一边吃饭或者走路。这里还需要说明的是,在本方案中,结合图3,在AR眼镜的显示区域的中部区域(即图3中的预设区域)为透明的情况下,则不遮挡或者不影响用户对于外界的真实环境的视线。
这里需要说明的是,在本方案检测到用户要做特定的事情的情况下,为了不影响用户做特定的事情,不同于现有技术需要用户手动直接关闭AR眼镜的虚拟成像,本方案是自动调整显示内容的显示模式从而让用户既可以体验到AR眼镜的显示内容,又能不影响实现的做特定的事情,较大的提升了用户的体验,同时保障了安全。因此,本方案解决了现有技术中用户为了不让AR眼镜中的虚拟图像挡住视线,往往会手动关闭AR眼镜从而降低用户体验的技术问题。
可选的,所述AR眼镜设置有加速度传感器,其中,步骤S15控制调整所述显示内容在所述AR眼镜中的显示模式的步骤包括:
步骤S151,获取所述加速度传感器发送的加速度信号。
步骤S152,根据所述加速度信号判定所述AR眼镜的用户发生预设事件,其中,所述预设事件为所述AR眼镜用户处于非行走状态或者行走状态。
具体的,在本方案中,AR眼镜设置有加速度传感器,由于用户戴着AR 眼镜一同运动,因此,本方案可以通过AR眼镜的加速度传感器检测到的加速度从而判断用户是否发生了预设事件,如果加速度传感器采集到的加速度较低,则说明用户处于非行走的运动状态,比如用户坐在沙发上吃饭,如果加速度传感器采集到的加速度比较高,则说明用户处于行走的运动状态。
这里需要说明的是,在上述步骤S15中,只根据用户的注视点在所述 AR眼镜的显示区域的位移来判定用户有特定事情要做(即发生预设事件),但是,用户的注视点发生位移在有些情况下并非一定代表用户有特定事情要做,因此在步骤S151中,在确定用户的注视点发生位移之后,本方案还要进一步根据AR眼镜的加速度信号才判定用户是否有特定事情要做(发生预设事件),即在此实施例中,本方案在确定用户的注视点发生位移的情况下再采集获取AR眼镜的加速度信号作进一步的判定,与步骤S151相比,关于预设事件的判定更加精确。
步骤S153,根据所述预设事件调整所述显示内容在所述AR眼镜中的显示模式。
具体的,在本方案中,在判定用户发生预设事件之后,本方案可以匹配得到与预设事件关联的显示模式,然后控制显示内容按照显示模式进行显示,以使得在不遮挡用户针对外界真实环境的视线情况下,用户可以同时做特定事件以及观看AR眼镜中的显示内容。
可选的,步骤S153根据所述预设事件调整所述显示内容在所述AR眼镜中的显示模式的步骤包括:
步骤S1531,根据所述预设事件调整所述显示内容在所述AR眼镜中的显示面积和/或显示位置。
具体的,结合图3,显示内容(电影画面)虽然在显示区域中进行显示,但是显示内容的显示面积较小,显示位置也不会遮挡用户对于外界的真实环境的视线,用户则可以一边观看AR眼镜的内容,一边吃饭或者走路。
可选的,步骤S1531根据所述预设事件调整所述显示内容在所述AR眼镜中的显示面积包括:
步骤S15311,在所述预设事件为所述AR眼镜用户处于非行走状态时,控制所述显示内容在所述AR眼镜中的显示面积为第一目标面积,其中,所述第一目标面积小于所述预设面积。
具体的,在本方案中,在判定用户处于非行走状态(比如坐着吃饭等) 的情况下,本方案则可以控制缩小显示内容在显示区域的显示面积,即将显示内容的显示面积调整为第一目标面积,结合图3,图3中的电影画面的显示面积为第一目标面积,图3中的预设区域的面积为预设面积,电影画面的第一目标面积是小于预设面积的,通过此种设置方式,可以实现用户则可以一边观看AR眼镜的内容,一边吃饭或者走路的技术效果。
步骤S15312,在所述预设事件为所述AR眼镜用户处于行走状态时,控制所述AR眼镜的左眼成像装置为透视状态,所述AR眼镜的右眼成像装置形成右眼显示区域,其中,所述右眼显示区域包括第一显示区域以及第二显示区域,第一显示区域为透视状态,所述第二显示区域用于显示所述显示内容,根据所述显示内容确定所述显示内容的应用程序来源,基于所述应用程序的来源调整所述第一显示区域与所述第二显示区域在所述右眼显示区域的显示面积占比。
具体的,在本方案中,在判断出用户处于行走状态时候,本方案则将 AR眼镜的左眼成像装置关闭虚拟成像的功能,即控制AR眼镜的左眼成像装置为透视状态,用户的左眼则毫无遮挡的直接观看到真实的场景,这里需要说明的是,在用户处于行走状态的时候,因为用户在行走,所以为了用户的安全考虑,本方案将AR眼镜的左眼成像装置为透视状态,只有AR眼镜的右眼成像装置开启虚拟成像的功能,此种“单眼成像”的功能可以在让用户持续观看虚拟图像的同时保证行走的安全,而且,在针对于第一显示区域以及第二显示区域在右眼显示区域中的显示面积的占比,本方案是基于显示内容的应用程序来源来决定,如果显示内容的应用程序来源为电影播放软件,那么本方案则控制将第一显示区域与所述第二显示区域在所述右眼显示区域的显示面积占比调整为3:1,如果显示内容的应用程序来源为地图导航软件,此时则说明用户正在导航中,在导航的情况下,本方案可以将第一显示区域与所述第二显示区域在所述右眼显示区域的显示面积占比调整为 3:2,即本方案可以根据显示内容的应用程序来源精准的判断出用户使用AR 眼镜的真实场景,从而调整第一显示区域与所述第二显示区域在所述右眼显示区域的显示面积占比,在保障了行走安全的情况下提高了用户的使用体验。
在本申请具体技术方案中,采用了特定的右侧的右眼单眼成像功能,实现了虚实景象相互融合的技术实现,同时也确保在虚拟画面下兼顾使用安全 (即右侧实现画中画显示控制策略),同时左侧的左眼实景显示,通过上述技术方案比较其现有技术中,目前从未涉及该技术手段也没有围绕采用左右分区分开控制的显示模式,最终实现的特定的画中画虚实融合的场景技术方案;这里还需要说明的是,在AR眼镜的虚拟成像装置的虚拟成像功能关闭的情况下,AR眼镜则呈现透视的状态,就相当于普通的透明镜片,用户的左眼可以直接无遮挡的看到外部真实环境。不仅如此,在进一步的实施例方案中,本申请在采用了针对双目分区分开控制策略之后,还设计了进一步的双目最终控制方案(即实现进一步的控制策略),具体详见步骤S15313-步骤S15315:
在上述步骤S15312中,在“单眼成像”功能启动后,在右眼的成像装置呈现两个显示区域,第一显示区域以及第二显示区域,第一显示区域为透视状态,所述第二显示区域用于显示所述显示内容;其中,所述第二显示区域的面积小于所述第一目标面积,即在本实施例中,用户的左眼可以通过透视的左边镜片直接看到外部的真实环境,右眼所看到的两个区域中,既可以通过第一显示区域看到外部的真实环境,也可以通过第二显示区域看到虚拟成像,在不影响用户观看AR影像的同时更加保证了用户的行走安全。
可选的,所述AR眼镜设置有光线传感器,其中,步骤S15312控制所述第二显示区域显示所述显示内容的步骤可以包括:
步骤S153121,获取所述光线传感器采集的实时光线亮度。
步骤S153122,在所述实时光线亮度小于预设光线亮度的情况下,控制所述第一显示区域的亮度大于所述第二显示区域的亮度。
具体的,在本方案中,可以实时获取AR眼镜的光线传感器采集的实时光线亮度,如果外界的光线过于昏暗,本方案则控制第一显示区域的亮度大于所述第二显示区域的亮度,使得镜片中外界环境的亮度更大,更加保证了用户行走时的安全;通过上述进一步的控制方案可以实现对用户画中画现实控制模式进行有侧重方向的实现,即右侧的右眼的成像装置呈现两个显示区域,侧重第一显示区域为透视状态确保用户行走进行安全保障,侧重该第一显示区域的显示面积更大确保使用安全;同时在右眼成像装置上的画中画与左眼成像装置上的全实景显示画面的兼容融合的同时,还侧重右眼成像装置上的显示区域亮度调整,以确保使用场景下的使用安全。
这里需要说明的是,使得镜片中外界环境的亮度更大,可以通过AR镜片中的亮度调节模块来实现,亮度调节模块的实现的原理为使得AR眼镜中光阀镜片的透光率发生改变,从而改变镜片中不同显示区域的亮度。
可选的,步骤S153122控制所述第二显示区域的亮度大于所述第一显示区域的亮度的步骤可以包括:
步骤S1531221,控制提高所述第一显示区域的亮度以及降低所述第二显示区域的亮度。
具体的,在本方案中,可以让第二显示区域的亮度降低,第一显示区域的亮度提高,从而让显示外界真实环境的第一显示区域从视觉效果上更加显著。
可选的,步骤S152根据所述加速度信号判定所述AR眼镜的用户发生预设事件的步骤包括:
步骤S1521,获取所述AR眼镜摄像头采集的图像。
步骤S1522,基于所述采集的图像以及所述加速度信号判定所述AR眼镜的用户发生预设事件。
具体的,在本方案中,AR眼镜设置有摄像头,本方案可以同时基于摄像头采集的图像以及加速度信号判定所述AR眼镜的用户发生预设事件;这里需要说明的是,在步骤S152中,只根据加速度信号来判定用户是否发生预设事件,比如吃饭,但是加速度信号发生改变也不代表用户一定会发生预设事件,因此,本方案在步骤S1522基于采集的图像以及所述加速度信号两个因素来判定AR眼镜的用户发生预设事件;与步骤S152相比,判定用户发生预设事件更加精确。
可选的,步骤S1522基于所述采集的图像以及所述加速度信号判定所述 AR眼镜的用户发生预设事件的步骤可以包括:
步骤S15221,在所述加速度信号符合预设信号的情况下,对所述采集的图像进行图像识别。
步骤S15222,根据是否识别出目标物来判定所述AR眼镜的用户发生预设事件。
可选的,步骤S15222根据是否识别出现目标物来判定所述AR眼镜的用户发生预设事件的步骤可以包括:
步骤S152221,在识别出目标物的情况下,判定所述AR眼镜的用户为非行走状态。
步骤S152222,在没有识别出目标物的情况下,判定所述AR眼镜的用户为行走状态。
具体的,在本方案中,在加速度信号符合预设信号,比如说用户的加速度发生变化,本方案则开始对采集的图像进行识别,如果根据图像识别判断出上述图像中包括目标物,本方案则判定用户是否发生了预设时间,比如,上述目标物可以为食物,饭碗等,即在识别出AR眼镜前方出现了食物,本方案则直接确定用户处于要吃饭的状态(即非行走状态)。如果没有识别到 AR眼镜前方出现了食物,而且用户的加速度发生变化,本方案则确定用户处于行走的状态。
可选的,步骤S13基于所述显示面积是否超过预设面积对所述AR眼镜用户进行眼球追踪检测的步骤可以包括:
步骤S131,在所述显示面积超过预设面积的情况下,检测到所述显示内容在所述AR眼镜的显示区域中是否置覆盖到预设区域。
步骤S132,在覆盖到所述预设区域的情况下,对所述AR眼镜用户进行眼球追踪检测。
具体的,步骤S13中,如果检测到了显示内容的显示面积超过了预设面积,本方案则认定显示内容遮挡了用户对于外界真实环境的视线,然后针对用户进行眼球追踪检测进而在用户发生预设事件之后调整显示内容的显示模式,但是在上述步骤S13中,仅仅检测到显示内容的显示面积超过了预设面积并不能完全代表显示内容遮挡了用户对于外界真实环境的视线。在上述步骤S131至步骤S132中,本方案在同时检测到显示面积超过预设面积以及显示内容覆盖了预设区域的情况下,本方案才判定显示内容遮挡了用户对于外界真实环境的视线,与步骤S13相比,较大的提升了判定显示内容遮挡了用户对于外界真实环境的视线的精准性。
需要说明的是,结合图3,图3中的虚线的框为上述预设区域,在预设区域不发生遮挡的情况下,才不影响用户对于外界真实环境的视线。
本申请在采用了针对双目分区分开控制策略之后,还涉及了进一步的双目最终控制方案(即实现进一步的控制策略),具体包括如下操作,即步骤 S15313-步骤S15315:
步骤S15313,在启动AR眼镜的右眼成像装置开启虚拟成像的功能之时作为起算时间,在第一预设时间周期截止时对AR眼镜用户的眼球追踪检测进行重启检测的初始化控制动作;(第一预设时间周期作为用户反应调整的空窗期,该空窗期内不要对用户的眼球的注视点进行特征识别以及追踪识别);
步骤S15314,然后确定第一预设时间周期截止时作为初始化开始时刻,在第二预设时间周期内继续对AR眼镜用户的眼球追踪检测(即初始化控制动作是准备重新启动对AR眼镜用户的眼球追踪检测,然后确定初始化时刻;在第二预设时间周期内进行继续检测),同时在第二预设时间周期内获取用户的眼球的注视点在AR眼镜的显示区域的位置关系,进一步根据用户的眼球的注视点在AR眼镜的显示区域的位置关系实现对左眼成像装置和右眼成像装置进行控制动作;
步骤S15315,如果判断当前用户的眼球的关注点的位置信息持续在左眼的左眼成像装置上的显示区域上的时间与关注点的位置信息持续在右眼成像装置上的第一显示区域上的时间之和数值大于当前用户的眼球的关注点的位置信息持续在右眼成像装置上的第二显示区域上的时间数值,则同时控制左眼成像装置以及右眼成像装置均呈现透视状态动作(具体执行步骤:步骤S01:右眼成像装置逐渐减少第二显示区域上的画面面积直至完全切换到透视状态,此时不要采用瞬间切换的控制方法避免出现对用户眼球造成刺激影响,影响用户体验);
如果判断当前用户的眼球的关注点的位置信息持续在左眼的左眼成像装置上的显示区域上的时间与关注点的位置信息持续在右眼成像装置上的第一显示区域上的时间之和数值小于或等于当前用户的眼球的关注点的位置信息持续在右眼成像装置上的第二显示区域上的时间数值,则控制左眼成像装置以及右眼成像装置均呈现虚拟画面显示状态动作(具体执行步骤:步骤S02:左眼成像装置切换至虚拟画面,同时右眼成像装置逐渐增加第二显示区域上的画面面积直至完全切换到虚拟画面显示状态,此时右眼成像装置也不宜采用瞬间切换到完全虚拟画面的控制方法避免出现对用户眼球造成刺激影响);
需要说明的是,在本申请的技术方案中,如果判断当前用户的眼球的关注点的位置信息持续在左眼的左眼成像装置上的显示区域上的时间与关注点的位置信息持续在右眼成像装置上的第一显示区域上的时间之和数值大于当前用户的眼球的关注点的位置信息持续在右眼成像装置上的第二显示区域上的时间数值,则可以进一步判断当前用户的眼球的关注点的位置信息持续在左眼的左眼成像装置上的显示区域上(即在第二预设周期内用户更多关注左眼成像装置上的显示区域,即程序认定为其在空窗期常规反应调整后立刻就可以对其真实的显示需求再做进一步的判断处理了,然而该判断处理的过程来自于对眼球的追踪结果的识别),则控制左眼成像装置以及右眼成像装置均呈现透视状态动作(即全部切换实景显示);
相反地,如果判断当前用户的眼球的关注点的位置信息持续在左眼的左眼成像装置上的显示区域上的时间与关注点的位置信息持续在右眼成像装置上的第一显示区域上的时间之和数值小于或等于当前用户的眼球的关注点的位置信息持续在右眼成像装置上的第二显示区域上的时间数值,则控制左眼成像装置以及右眼成像装置均呈现虚拟画面显示状态;即根据注视点在 AR眼镜的显示区域的位置关系再次进行画面控制。
实施例二
本发明提供了一种AR眼镜显示模式的控制装置,该装置可以设置于 AR眼镜中,也可以用户执行上述实施例一的方法,如图4所示,该装置可以包括:检测单元40,用于检测所述AR眼镜的显示内容在所述AR眼镜的显示区域所占的显示面积;眼球追踪单元42,用于基于所述显示面积是否超过预设面积对所述AR眼镜用户进行眼球追踪检测;模式控制单元44,用于根据所述眼球追踪检测确定所述AR眼镜用户的注视点在所述AR眼镜的显示区域的位移发生超过预设位移的情况下,控制调整所述显示内容在所述 AR眼镜中的显示模式。
本实施例通过上述装置中的各个单元,可以实现用户在保证安全的情况下,同时观看AR虚拟图像以及进行做特定事情(吃饭或者行走),较大的提升了用户的体验。
应理解,本文中前述关于本发明的方法所描述的具体特征、操作和细节也可类似地应用于本发明的装置和系统,或者,反之亦然。另外,上文描述的本发明的方法的每个步骤可由本发明的装置或系统的相应部件或单元执行。
应理解,本发明的装置的各个模块/单元可全部或部分地通过软件、硬件、固件或其组合来实现。所述各模块/单元各自可以硬件或固件形式内嵌于计算机设备的处理器中或独立于所述处理器,也可以软件形式存储于计算机设备的存储器中以供处理器调用来执行所述各模块/单元的操作。所述各模块/单元各自可以实现为独立的部件或模块,或者两个或更多个模块/单元可实现为单个部件或模块。
在一个实施例中,提供了一种计算机设备,其包括存储器和处理器,所述存储器上存储有可由处理器执行的计算机指令,所述计算机指令在由所述处理器执行时指示所述处理器执行本发明的实施例一中的方法的各步骤。该计算机设备可以广义地为服务器、终端,或任何其他具有必要的计算和/或处理能力的电子设备。在一个实施例中,该计算机设备可包括通过系统总线连接的处理器、存储器、网络接口、通信接口等。该计算机设备的处理器可用于提供必要的计算、处理和/或控制能力。该计算机设备的存储器可包括非易失性存储介质和内存储器。该非易失性存储介质中或上可存储有操作系统、计算机程序等。该内存储器可为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口和通信接口可用于与外部的设备通过网络连接和通信。该计算机程序被处理器执行时执行本发明的方法的步骤。
本发明可以实现为一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序在由处理器执行时导致本发明实施例一的方法的步骤被执行。在一个实施例中,所述计算机程序被分布在网络耦合的多个计算机设备或处理器上,以使得所述计算机程序由一个或多个计算机设备或处理器以分布式方式存储、访问和执行。单个方法步骤/操作,或者两个或更多个方法步骤/操作,可以由单个计算机设备或处理器或由两个或更多个计算机设备或处理器执行。一个或多个方法步骤/操作可以由一个或多个计算机设备或处理器执行,并且一个或多个其他方法步骤/操作可以由一个或多个其他计算机设备或处理器执行。一个或多个计算机设备或处理器可以执行单个方法步骤/操作,或执行两个或更多个方法步骤/操作。
本领域普通技术人员可以理解,本发明的方法步骤可以通过计算机程序来指示相关的硬件如计算机设备或处理器完成,所述的计算机程序可存储于非暂时性计算机可读存储介质中,该计算机程序被执行时导致本发明的步骤被执行。根据情况,本文中对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器的示例包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪存、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘等。易失性存储器的示例包括随机存取存储器(RAM)、外部高速缓冲存储器等。
以上描述的各技术特征可以任意地组合。尽管未对这些技术特征的所有可能组合进行描述,但这些技术特征的任何组合都应当被认为由本说明书涵盖,只要这样的组合不存在矛盾。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种AR眼镜显示模式的控制方法,其特征在于,其中,所述方法包括:
检测所述AR眼镜的显示内容在所述AR眼镜的显示区域所占的显示面积;
基于所述显示面积是否超过预设面积对所述AR眼镜用户进行眼球追踪检测;
根据所述眼球追踪检测确定所述AR眼镜用户的注视点在所述AR眼镜的显示区域的位移发生超过预设位移的情况下,控制调整所述显示内容在所述AR眼镜中的显示模式。
2.根据权利要求1所述的方法,其特征在于,所述AR眼镜设置有加速度传感器,其中,控制调整所述显示内容在所述AR眼镜中的显示模式的步骤包括:
获取所述加速度传感器发送的加速度信号;
根据所述加速度信号判定所述AR眼镜的用户发生预设事件,其中,所述预设事件为所述AR眼镜用户处于非行走状态或者行走状态;
根据所述预设事件调整所述显示内容在所述AR眼镜中的显示模式。
3.根据权利要求2所述的方法,其特征在于,根据所述预设事件调整所述显示内容在所述AR眼镜中的显示模式的步骤包括:
根据所述预设事件调整所述显示内容在所述AR眼镜中的显示面积和/或显示位置。
4.根据权利要求3所述的方法,其特征在于,根据所述预设事件调整所述显示内容在所述AR眼镜中的显示面积包括:
在所述预设事件为所述AR眼镜用户处于非行走状态时,控制所述显示内容在所述AR眼镜中的显示面积为第一目标面积,其中,所述第一目标面积小于所述预设面积;
在所述预设事件为所述AR眼镜用户处于行走状态时,控制所述AR眼镜的左眼成像装置为透视状态,所述AR眼镜的右眼成像装置形成右眼显示区域,其中,所述右眼显示区域包括第一显示区域以及第二显示区域,第一显示区域为透视状态,所述第二显示区域用于显示所述显示内容,根据所述显示内容确定所述显示内容的应用程序来源,基于所述应用程序的来源调整所述第一显示区域与所述第二显示区域在所述右眼显示区域的显示面积占比。
5.根据权利要求4所述的方法,其特征在于,所述AR眼镜设置有光线传感器,其中,控制所述第二显示区域显示所述显示内容的步骤包括:
获取所述光线传感器采集的实时光线亮度;
在所述实时光线亮度小于预设光线亮度的情况下,控制所述第一显示区域的亮度大于所述第二显示区域的亮度。
6.根据权利要求5所述的方法,其特征在于,控制所述第二显示区域的亮度大于所述第一显示区域的亮度的步骤包括:
控制提高所述第一显示区域的亮度以及降低所述第二显示区域的亮度。
7.根据权利要求2所述的方法,其特征在于,根据所述加速度信号判定所述AR眼镜的用户发生预设事件的步骤包括:
获取所述AR眼镜摄像头采集的图像;
基于所述采集的图像以及所述加速度信号判定所述AR眼镜的用户发生预设事件。
8.根据权利要求7所述的方法,其特征在于,基于所述采集的图像以及所述加速度信号判定所述AR眼镜的用户发生预设事件的步骤包括:
在所述加速度信号符合预设信号的情况下,对所述采集的图像进行图像识别;
根据是否识别出目标物来判定所述AR眼镜的用户发生预设事件。
9.根据权利要求8所述的方法,其特征在于,根据是否识别出现目标物来判定所述AR眼镜的用户发生预设事件的步骤包括:
在识别出目标物的情况下,判定所述AR眼镜的用户为非行走状态;
在没有识别出目标物的情况下,判定所述AR眼镜的用户为行走状态。
10.根据权利要求1所述的方法,其特征在于,基于所述显示面积是否超过预设面积对所述AR眼镜用户进行眼球追踪检测的步骤包括:
在所述显示面积超过预设面积的情况下,检测到所述显示内容在所述AR眼镜的显示区域中是否置覆盖到预设区域;
在覆盖到所述预设区域的情况下,对所述AR眼镜用户进行眼球追踪检测。
CN202210249384.5A 2022-03-14 2022-03-14 一种ar眼镜显示模式的控制方法 Active CN114615488B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210249384.5A CN114615488B (zh) 2022-03-14 2022-03-14 一种ar眼镜显示模式的控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210249384.5A CN114615488B (zh) 2022-03-14 2022-03-14 一种ar眼镜显示模式的控制方法

Publications (2)

Publication Number Publication Date
CN114615488A true CN114615488A (zh) 2022-06-10
CN114615488B CN114615488B (zh) 2022-12-27

Family

ID=81862705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210249384.5A Active CN114615488B (zh) 2022-03-14 2022-03-14 一种ar眼镜显示模式的控制方法

Country Status (1)

Country Link
CN (1) CN114615488B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103294178A (zh) * 2012-02-29 2013-09-11 联想(北京)有限公司 一种人机交互控制方法及电子终端
US20160116979A1 (en) * 2014-01-21 2016-04-28 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
CN107003521A (zh) * 2014-09-22 2017-08-01 脸谱公司 基于眼睛会聚的显示能见度
CN109582141A (zh) * 2018-11-23 2019-04-05 华为技术有限公司 根据眼球焦点控制显示屏的方法和头戴电子设备
CN110187855A (zh) * 2019-05-28 2019-08-30 武汉市天蝎科技有限公司 近眼显示设备的避免全息影像阻挡视线的智能调节方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103294178A (zh) * 2012-02-29 2013-09-11 联想(北京)有限公司 一种人机交互控制方法及电子终端
US20160116979A1 (en) * 2014-01-21 2016-04-28 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
CN107003521A (zh) * 2014-09-22 2017-08-01 脸谱公司 基于眼睛会聚的显示能见度
CN109582141A (zh) * 2018-11-23 2019-04-05 华为技术有限公司 根据眼球焦点控制显示屏的方法和头戴电子设备
CN110187855A (zh) * 2019-05-28 2019-08-30 武汉市天蝎科技有限公司 近眼显示设备的避免全息影像阻挡视线的智能调节方法

Also Published As

Publication number Publication date
CN114615488B (zh) 2022-12-27

Similar Documents

Publication Publication Date Title
EP3479202B1 (en) Augmenting virtual reality content with real world content
CN111670453B (zh) 依赖于注视的凹状渲染装置、方法、计算机程序和系统
CN111886564B (zh) 信息处理装置、信息处理方法和程序
US11068050B2 (en) Method for controlling display of virtual image based on eye area size, storage medium and electronic device therefor
US20200278551A1 (en) Head-mounted personal multimedia systems and visual assistance devices thereof
CN107272904B (zh) 一种图像显示方法及电子设备
CA2961830C (en) Display visibility based on eye convergence
US10218968B2 (en) Gaze-contingent display technique
JP2023504373A (ja) 電子ディスプレイの中心窩レンダリングのための予測視線追跡システムおよび方法
US20170301137A1 (en) Method, apparatus, and smart wearable device for fusing augmented reality and virtual reality
US9678337B2 (en) Viewer with multifocal lens and method for changing focal length of viewer
WO2011074198A1 (ja) ユーザインタフェース装置および入力方法
JP7388349B2 (ja) 情報処理装置、情報処理方法、及びプログラム
EP3521978B1 (en) Apparatus and method for tracking a focal point in a head mounted display system
CN104656257A (zh) 信息处理方法及电子设备
US20240256052A1 (en) User interactions with remote devices
CN110633009A (zh) 用于显示虚拟对象的方法和系统
WO2020016970A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20210055791A1 (en) Presenting images on a display device
CN109799899A (zh) 交互控制方法、装置、存储介质和计算机设备
CN114615488B (zh) 一种ar眼镜显示模式的控制方法
KR20170089228A (ko) 스마트 폰을 이용한 가상현실 헤드 마운트 디스플레이의 제어 방법
WO2018150711A1 (ja) 表示制御装置、表示制御装置の制御方法、および制御プログラム
JP2021124520A (ja) 画像表示装置、画像表示用プログラム及び画像表示方法
US12111463B2 (en) Head-mounted display apparatus and operating method thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant