CN112839162A - 一种调整眼睛显示位置的方法、装置、终端及存储介质 - Google Patents
一种调整眼睛显示位置的方法、装置、终端及存储介质 Download PDFInfo
- Publication number
- CN112839162A CN112839162A CN201911167411.9A CN201911167411A CN112839162A CN 112839162 A CN112839162 A CN 112839162A CN 201911167411 A CN201911167411 A CN 201911167411A CN 112839162 A CN112839162 A CN 112839162A
- Authority
- CN
- China
- Prior art keywords
- determining
- user
- pupil
- adjusting
- adjustment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000003860 storage Methods 0.000 title claims abstract description 17
- 210000001508 eye Anatomy 0.000 claims abstract description 139
- 210000001747 pupil Anatomy 0.000 claims abstract description 119
- 210000003128 head Anatomy 0.000 claims abstract description 82
- 238000004891 communication Methods 0.000 claims description 13
- 238000011065 in-situ storage Methods 0.000 claims description 9
- 230000001179 pupillary effect Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000000474 nursing effect Effects 0.000 abstract description 17
- 238000006073 displacement reaction Methods 0.000 abstract description 8
- 230000008569 process Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 15
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000001154 acute effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明公开了一种调整眼睛显示位置的方法、装置、终端及存储介质,该方法包括:获取用户头部图像;基于所述头部图像中的瞳孔坐标确定校准线;基于所述校准线确定调整策略,生成与所述调整策略对应的调整指令,以通过所述调整指令调整图像采集装置,使所述用户头部图像中用户眼睛处于设定标准位置。解决用户在使用眼控仪过程中出现不自主歪斜而影响使用的问题,通过头部图像中的瞳孔坐标确定校准线而生成的调整策略对眼控仪进行自动调整,因此当用户眼睛发生倾斜时无需手动调整而继续使用眼控仪,降低了用户因为位移导致无法继续使用眼控仪的概率,提高了用户的使用感受,也降低了护理人员或家属的护理压力。
Description
技术领域
本发明实施例涉及眼球追踪技术领域,尤其涉及一种调整眼睛显示位置的 方法、装置、终端及存储介质。
背景技术
当疾病或者损伤,导致丧失了语言能力或使用电脑的能力,四肢受伤的患 病用户群体需要控制计算机或者沟通时,因为行为的限制,需要使用眼控仪。 眼控仪可以精确的捕捉并追踪用户的眼部特征和注视方向,以实现使用眼睛控 制计算机鼠标的结果。
眼控操作前需要进行校准,使用中如果用户的位置与校准位置保持一致, 则使用效果较好,如果操作过程中位置与校准时的位置产生较大幅度的偏差位 移,则会影响使用质量。由于用户无法控制四肢进行任何操作,同时也无法通 过语言与他人交流沟通,长期处于坐立或卧床的状态,需要家属或护理人员长 期照顾,病人无法自主控制颈部或坐卧的姿势。
但是,在眼控仪的使用中,用户的头颈部会出现不自主的歪斜,当用户觉 得位置变了不准确时,无法呼叫他人帮忙,即使护理人员帮忙扶正,使用过程 中依然会倾斜,依然影响使用。当用户的头部倾斜到一定的幅度后就会影响甚 至无法使用,当病人发现此情况后已经无法呼叫护理人员了,而护理人员也无 法主动得知此状态,所以无法为用户进行调整,最终影响病人使用,影响心情, 影响病情。
发明内容
本发明提供一种调整眼睛显示位置的方法、装置、终端及存储介质,以实 现眼控仪调节位置时简单、准确操作。
第一方面,本发明实施例提供了一种调整眼睛显示位置的方法,所述调整 眼睛显示位置的方法包括:
获取用户头部图像;
基于所述头部图像中的瞳孔坐标确定校准线;
基于所述校准线确定调整策略,生成与所述调整策略对应的调整指令,以 通过所述调整指令调整图像采集装置,使所述用户头部图像中用户眼睛处于设 定标准位置。
第二方面,本发明实施例还提供了一种调整眼睛显示位置的装置,该调整 眼睛显示位置的装置包括:
获取模块,用于获取用户头部图像;
确定模块,用于基于所述头部图像中的瞳孔坐标确定校准线;
调整模块,用于基于所述校准线确定调整策略,生成与所述调整策略对应 的调整指令,以通过所述调整指令调整图像采集装置,使所述用户头部图像中 用户眼睛处于设定标准位置。
第三方面,本发明实施例还提供了一种终端,该终端包括:
通信模块,与眼动仪的支架通信连接,用于发送调整指令至所述支架;
一个或多个处理器,与所述通信模块电连接,用于发送调整指令至所述通 信模块;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多 个处理器实现本发明实施例中任一所述的一种调整眼睛显示位置的方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有 计算机程序,该程序被处理器执行时实现本发明实施例中任一所述的一种调整 眼睛显示位置的方法。
本发明通过获取用户头部图像;基于所述头部图像中的瞳孔坐标确定校准 线;基于所述校准线确定调整策略,生成与所述调整策略对应的调整指令,以 通过所述调整指令调整图像采集装置,使所述用户头部图像中用户眼睛处于设 定标准位置。解决用户在使用眼控仪过程中出现不自主歪斜而影响使用的问题, 通过头部图像中的瞳孔坐标确定校准线而生成的调整策略对眼控仪进行自动调 整,因此当用户眼睛发生倾斜时无需手动调整而继续使用眼控仪,降低了用户 因为位移导致无法继续使用眼控仪的概率,提高了用户的使用感受,也降低了 护理人员或家属的护理压力。
附图说明
图1是本发明实施例一中的一种调整眼睛显示位置的方法的流程图;
图2是本发明实施例二中的一种调整眼睛显示位置的方法的流程图;
图3是本发明实施例二中的一种确定判断区域的流程图;
图4是本发明实施例二中的一种标准校准图像;
图5是本发明实施例二中的左瞳孔与判断区域左边缘重合的示意图;
图6是本发明实施例二中的右瞳孔与判断区域右边缘重合的示意图;
图7是本发明实施例二中的用户头部左倾斜的示意图;
图8是本发明实施例二中的用户头部右倾斜的示意图;
图9是本发明实施例二中的一种调整眼睛显示位置的流程图;
图10是本发明实施例三中的一种调整眼睛显示位置的装置的结构图;
图11是本发明实施例四中的一种终端的结构示意图;
图12是本发明实施例四中的一种支架结构示意图;
图13是本发明实施例四中的一种支架结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此 处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需 要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结 构。
实施例一
图1为本发明实施例一提供的一种调整眼睛显示位置的方法的流程图,本 实施例可适用于调整眼睛显示位置的情况,该方法可以由一种调整眼睛显示位 置的装置来执行,具体包括如下步骤:
步骤11、获取用户头部图像。
其中,用户具体可以理解为使用眼控仪的人;头部图像具体可以理解为包 含用户眼睛的用户图像。
具体的,获取用户头部图像的方式可以是通过摄像机拍摄,将拍摄到的用 户图像通过图像算法进行识别,最终识别出带有用户眼睛的头部图像。
步骤12、基于所述头部图像确定图像中的瞳孔坐标并确定校准线。
其中,瞳孔坐标具体可以理解为用户瞳孔映射在屏幕坐标系内的坐标;校 准线具体可以理解为调整眼睛显示位置时作为调整基准的一条线。
具体的,首先从用户头部图像中识别出用户的眼睛,并进一步根据图像算 法进一步识别出瞳孔的位置,瞳孔坐标的确定方式可以是在屏幕中建立直角坐 标系,用户的瞳孔映射在屏幕中坐标系内,从而确定用户的瞳孔坐标;校准线 的确定方式可以是根据两个瞳孔坐标确定一条线段,将其作为校准线。
步骤13、基于所述校准线确定调整策略,生成与所述调整策略对应的调整 指令,以通过所述调整指令调整图像采集装置,使所述用户头部图像中用户眼 睛处于设定标准位置。
其中,调整策略具体可以理解为调整眼控仪的位置的方式;调整指令具体 可以理解为与调整策略对应的可以调整眼控仪的位置的指令;设定标准位置具 体可以理解为预先设定的正常情况下用户眼睛应该处于的位置。示例性的,若 眼控仪固定于支架上,则可以通过调整指令控制支架沿X、Y或Z三个方向中的 至少一个方向进行调整,进而调整眼控仪的位置。
具体的,调整策略可以是逆时针旋转、顺时针旋转、向左旋转和向右旋转 等等;调整策略的确定方式可以是根据校准线,判断用户双眼是否发生倾斜、 后移等情况,若确定用户双眼发生倾斜或后移,则根据校准线确定用户调整到 正常情况下所需要进行的调整;图像采集装置可以是和显示装置一体设置在眼 控仪上,在调整图像采集装置的同时需要连同眼控仪整体一块儿调整;图像采 集装置也可以是和显示装置分开设置的,在调整时只需要调整图像采集装置, 而显示装置并不需要调整。
本发明通过获取用户头部图像;基于所述头部图像获取图像中的瞳孔坐标 并确定校准线;基于所述校准线确定调整策略,生成所述调整策略对应的调整 指令,以通过所述调整指令使所述用户头部图像中用户眼睛处于设定标准位置。 解决用户在使用眼控仪过程中出现不自主歪斜而影响使用的问题,通过头部图 像中的瞳孔坐标确定校准线而生成的调整策略对眼控仪进行自动调整,使用户 头部发生倾斜时无需手动调整而继续使用眼控仪,降低了用户因为位移导致无 法继续使用眼控仪的概率,提高了用户的使用感受,降低护理人员的学习成本, 也降低了护理人员或家属的护理压力。
实施例二
图2为本发明实施例二提供的一种调整眼睛显示位置的方法的流程图。本 实施例的技术方案在上述技术方案的基础上进一步细化,具体主要包括如下步 骤:
步骤201、基于标准头部图像中的瞳孔坐标确定标准瞳孔距离和/或判断区 域。
其中,标准头部图像具体可以理解为预先采集的用户在正常状态下的包含 用户双眼的头部图像;标准瞳孔距离具体可以理解为标准头部图像中,用户两 个瞳孔间的直线距离;判断区域具体可以理解为根据用户的双眼预先设定的区 域;此区域包含用户双眼,但是并不是固定的,对于不同用户来说,此区域也 不同。
具体的,标准瞳孔距离的确定方式可以是根据两个瞳孔间的坐标计算得到; 判断区域的确定方式可以是根据用户的瞳孔坐标,确定一个包含用户双眼的区 域。如果运动幅度达到或超过判断区域的边缘,定义为“幅度较大需要调整位 置”,否则定义为“幅度不大无需调整位置”。
进一步地,图3提供了一种确定判断区域的流程图,所述基于标准头部图 像中的瞳孔坐标确定判断区域,具体可以包括以下步骤:
步骤2011、基于所述标准头部图像,确定所述标准头部图像中瞳孔的坐标。
具体的,首先从标准头部图像中识别出用户的眼睛,并根据图像识别算法 进一步识别出瞳孔,瞳孔坐标的确定方式可以是在屏幕中建立直角坐标系,用 户的瞳孔映射在屏幕中坐标系内,从而确定用户的瞳孔坐标。
步骤2012、根据所述瞳孔的坐标结合第一预设距离确定所述判断区域的左 边界和右边界。
其中,第一预设距离具体可以理解为根据实际情况以及需求设定的一个数 值;为方便确定是否需要进行调整以及如何调整,判断区域优选为一个封闭图 形,左边界具体可以理解为封闭图形的左边界,右边界具体可以理解为封闭图 形的右边界。
具体的,确定所述判断区域的左边界和右边界的方式可以是将左瞳孔的横 坐标值减去第一预设距离确定左边界横坐标值,以左边界横坐标值作为判断区 域左边界;将右瞳孔的横坐标值加上第一预设距离确定右边界横坐标值,以右 边界横坐标值作为判断区域右边界,根据左边界和右边界可以确定判断区域的 长度。
步骤2013、将所述瞳孔的坐标连线作为标准线,根据所述标准线和第二预 设距离确定所述判断区域的上边界和下边界。
其中,所述标准线具体可以理解为调整眼睛显示位置时作为确定眼睛是否 发生偏移的一条线;第二预设距离具体可以理解为根据实际情况以及需求设定 的一个数值;上边界具体可以理解为封闭图形的上边界,下边界具体可以理解 为封闭图形的下边界。
具体的,将所述瞳孔的坐标连线作为标准线,标准线垂直方向为判断区域 的上边界和下边界,在标准线垂直方向上以标准线为对称轴取第二预设距离长 度,作为判断区域的高度值,并确定判断区域的上边界和下边界。
图4给出了一种标准图像,根据双眼瞳孔确定标准线,根据瞳孔坐标结合 第一预设距离和第二预设距离确定判断区域。
步骤202、获取用户头部图像。
步骤203、获取所述用户头部图像中的瞳孔坐标。
步骤204、将所述瞳孔坐标之间的连线作为校准线。
具体的,获取到用户头部图像后,通过图像识别算法确定用户瞳孔,将用 户瞳孔映射到屏幕的坐标系上,确定用户瞳孔坐标。将两个瞳孔进行连线,把 连线作为校准线。
步骤205、比较所述校准线的长度和所述标准瞳孔距离,根据比较结果确 定焦距调整策略。
其中,焦距调整策略具体可以理解为图像采集装置改变焦距的大小。
具体的,通过比较校准线的长度和所述标准瞳孔距离的大小,可以确定焦 距是否需要调整,以及需要进行什么样的调整。
进一步地,比较所述校准线的长度和所述标准瞳孔距离,根据比较结果确 定焦距调整策略,包括:当校准线的长度和标准瞳孔距离的差值的绝对值大于 预设值时,确定调整策略为焦距调整。
其中,预设值具体可以理解为预先设定的数值,用来判断用户是否进行后 移。
具体的,校准线的长度可以根据瞳孔坐标确定,当校准线长度小于标准瞳 孔距离时,说明用户后移。但是用户后移距离在一定范围内时,不需要进行调 整也可以准确识别用户眼睛。此时设定预设值可以在用户后移幅度小时,不进 行重新聚焦,避免了不断聚焦的情况出现。
当用户与仪器之间的距离大于仪器使用距离的上限时,(不考虑距离下限, 因为眼控使用如果距离太近,用户会看不到屏幕,所以没人那样使用,通常都 是在使用中不知不觉的远离了设备,而且如果距离太近,镜头采集不到脸部特 征的情况下,也无法识别到距离,所以只考虑超出使用距离上限,导致眼图捕 捉不够清晰的现象),软件自动调节仪器的焦距,使用户的面部图像放大,达 到初始校准时的图像效果。
步骤206、根据所述焦距调整策略,生成对应的焦距调整指令。
具体的,根据当前用户眼睛在屏幕中的显示,来确定采集到正常眼部图像 时所需要的焦距大小;通过调整焦距大小使图像中的瞳孔清晰,可以被清楚采 集到的。
步骤207、根据所述焦距调整指令调整所述图像采集装置的焦距。
具体的,焦距调整指令是根据眼睛调整到正常状态所需要的焦距大小来确 定图像采集装置的焦距需要进行的大小调整。例如,当用户头部后移时两瞳孔 距离小于所述标准瞳孔距离,并且两者差值的绝对值大于预设值时,缩小图像 采集装置的焦距,使得人眼两瞳孔在图像中的距离再次等于标准瞳孔距离。
步骤208、在所述瞳孔坐标超出判断区域的情况下,根据所述瞳孔坐标与 判断区域的位置关系确定位置调整策略。
具体的,当用户的瞳孔坐标超出判断区域,根据瞳孔坐标确定用户双眼位 置和判断区域位置的关系,确定双眼移动回判断区域所需要进行的调整策略。 例如左瞳孔坐标超过判断区域的左边界,说明头向左偏,此时调整策略为调整 仪器也向左移动,如果右瞳孔坐标超过判断区域的右边界,说明头向右偏,此 时调整策略为调整仪器也向右移动,根据瞳孔坐标和判断区域边界坐标确定瞳 孔移动至判断区域内,此时停止移动,最终达到瞳孔坐标处于判断区域的效果。
步骤209、在所述瞳孔坐标未超出判断区域的情况下,确定校准线和标准 线之间的第一夹角的第一度数。
其中,第一夹角具体可以理解为校准线和标准线之间的夹角,可以是锐角 或者钝角;第一度数具体可以理解为第一夹角对应的度数。
步骤210、判断所述第一度数是否等于0°或180°。
步骤211、若是,则根据所述瞳孔坐标和所述判断区域确定位置调整策略。
具体的,当所述瞳孔坐标未超出判断区域时,根据校准线和标准线之间的 夹角的度数确定此时双眼所处位置;当夹角度数为0°或180°时,说明此时校 准线和标准线在水平方向重合,眼睛发生移动的方向只可能是左右移动,此时 根据瞳孔坐标和判断区域可以确定用户双眼移动至判断区域所需要的进行的调 整策略。
进一步地,所述根据所述瞳孔坐标和所述判断区域确定位置调整策略,包 括:当所述瞳孔坐标位于所述判断区域的边界时,确定位置调整策略为平移所 述图像采集装置。
具体的,当所述瞳孔坐标位于所述判断区域的边界时,用户双眼若想移动 回判断区域,只需要进行平移即可。
图5给出了左瞳孔与判断区域左边缘重合的示意图,用户的左瞳孔处于判 断区域的左边界,此时位置调整策略为向左平移图像采集装置,直至移动至图 4所示的标准图像位置。图6给出了右瞳孔与判断区域右边缘重合的示意图, 用户的右瞳孔处于判断区域的右边界,此时位置调整策略为向右平移图像采集 装置,直至移动至图4所示的标准图像位置。
步骤212、否则,确定校准线和标准校准线之间的交点。
步骤213、基于所述交点以标准线为横轴建立平面直角坐标系,根据所述 交点、左瞳孔和横轴负半轴确定第二夹角。
步骤214、基于所述瞳孔坐标确定所述第二夹角的第二度数。
步骤215、当所述第二度数在第三象限或四象限时,确定位置调整策略为 原地逆时针旋转所述图像采集装置。
步骤216、当所述第二度数在第一象限或二象限时,确定位置调整策略为 原地顺时针旋转所述图像采集装置。
具体的,当夹角度数不为0°或180°时,用户双眼发生倾斜,此时确定校 准线和标准线之间的交点,以交点为原点、标准线为横轴建立平面直角坐标系, 用户左瞳孔和原点之间的连线和横轴负半轴确定第二夹角,当第二夹角的第二 度数在第三象限或者第四象限时,用户双眼发生的是左倾斜,此时确定调整策 略为原地逆时针旋转图像采集装置;当所述第二度数在第一象限或二象限时, 用户双眼发生的是右倾斜,此时确定位置调整策略为原地顺时针旋转图像采集 装置。
图7给出了用户头部左倾斜的示意图,当夹角的位置处于标准线下方时, 判断为向左倾斜。图8给出了用户头部右倾斜的示意图,当夹角的位置处于标 准线上方时,判断为向右倾斜。
除了上述具体调整步骤之外,也可以使用其他调整步骤对人眼进行调整, 例如当眼睛超出预设区域时,先进行左右倾斜判断,,先根据倾斜程度确定对 应的调整策略,将其调整至水平方向,再判断瞳孔坐标是否位于所述判断区域 的边界或者超出判断区域,确定对应的左右调整策略。
示例性的,图9提供了一种调整眼睛显示位置的流程图。在使用前首先确定 眼睛的标准位置,开始使用时通过判断眼睛发生的位移幅度大小确定是否需要 对眼控仪进行调整。当眼睛发生位移幅度小时,不进行调整;当眼睛发生位置 幅度大时进行眼控仪位置调整,通过计算机程序计算出当前图像位置与校准时 图像位置的关系,并计算出从当前图像位置回到校准时图像位置所需要进行的 移动,由此对电机下达调整指令,电机根据指令驱动三脚架进行角度调整。
本发明通过获取用户头部图像;基于所述头部图像获取图像中的瞳孔坐标 确定校准线;基于所述校准线确定调整策略,生成所述调整策略对应的调整指 令,以通过所述调整指令使所述用户头部图像中用户眼睛处于设定校准位。解 决用户在使用眼控仪过程中出现不自主歪斜而影响使用的问题,通过头部图像 中的瞳孔坐标确定校准线而生成的调整策略对眼控仪进行自动调整,使用户发 生倾斜时无需手动调整而继续使用眼控仪,降低了用户因为位移导致无法继续 使用眼控仪的概率,提高了用户的使用感受,降低了护理人员的学习成本,也 降低了护理人员或家属的护理压力。
实施例三
图10为本发明实施例三提供的一种调整眼睛显示位置的装置的结构图,该 装置包括:获取模块31、确定模块32和调整模块33。
其中,获取模块31,用于获取用户头部图像;确定模块32,用于基于所述 头部图像确定图像中的瞳孔坐标并确定校准线;调整模块33,用于基于所述校 准线确定调整策略,生成与所述调整策略对应的调整指令,以通过所述调整指 令调整图像采集装置,使所述用户头部图像中用户眼睛处于设定校准位。
本发明通过获取模块获取用户头部图像;确定模块,基于所述头部图像确 定图像中的瞳孔坐标确定校准线;调整模块,基于所述校准线确定调整策略, 生成与所述调整策略对应的调整指令,以通过所述调整指令调整图像采集装置, 使所述用户头部图像中用户眼睛处于设定校准位。解决用户在使用眼控仪过程 中出现不自主歪斜而影响使用的问题,通过头部图像中的瞳孔坐标确定校准线 而生成的调整策略对眼控仪进行自动调整,使用户发生倾斜时无需手动调整而 继续使用眼控仪,降低了用户因为位移导致无法继续使用眼控仪的概率,提高 了用户的使用感受,降低护理人员的学习成本,也降低了护理人员或家属的护 理压力。
进一步地,确定模块32还包括:
第一单元,用于获取所述用户头部图像中的瞳孔坐标。
第二单元,将所述瞳孔坐标之间的连线作为校准线。
进一步地,该装置还包括,区域确定模块,用于基于标准头部图像中的瞳 孔坐标确定标准瞳孔距离和/或判断区域。
进一步地,区域确定模块,包括:
坐标确定单元,用于基于所述标准头部图像,确定所述标准头部图像中瞳 孔的坐标。
第一边界确定单元,用于根据所述瞳孔的坐标结合第一预设距离确定所述 判断区域的左边界和右边界。
第二边界确定单元,用于将所述瞳孔的坐标连线作为标准线,根据所述标 准线和第二预设距离确定所述判断区域的上边界和下边界。
进一步地,调整模块33,包括:
比较单元,用于比较所述校准线的长度和所述标准瞳孔距离,根据比较结 果确定焦距调整策略。
指令生成单元,用于根据所述焦距调整策略生成对应的焦距调整指令。
调整单元,用于根据所述焦距调整指令调整所述图像采集装置的焦距。
优选的,比较单元还用于当校准线的长度和标准瞳孔距离的差值的绝对值 大于预设值时,确定调整策略为焦距调整。
优选的,调整模块33还用于在所述瞳孔坐标超出判断区域的情况下,根据 所述瞳孔坐标与判断区域的位置关系确定位置调整策略。
优选的,调整模块33还用于在所述瞳孔坐标未超出判断区域的情况下,确 定校准线和标准线之间的第一夹角的第一度数;判断所述第一度数是否等于0° 或180°;若是,则根据所述瞳孔坐标和所述判断区域确定位置调整策略;否 则,根据所述第一度数确定位置调整策略。
进一步地,所述根据所述瞳孔坐标和所述判断区域确定位置调整策略的方 式可以是当所述瞳孔坐标位于所述判断区域的边界时,确定位置调整策略为平 移所述图像采集装置。
进一步地,所述根据所述第一度数确定位置调整策略的方式可以是:确定 校准线和标准线之间的交点;基于所述交点以标准线为横轴建立平面直角坐标 系,根据所述交点、左瞳孔和横轴负半轴确定第二夹角;基于所述瞳孔坐标确 定所述第二夹角的第二度数;根据所述第二度数确定位置调整策略。
进一步地,所述根据所述第二度数确定位置调整策略的方式可以是:当所 述第二度数在第三象限或四象限时,确定位置调整策略为原地逆时针旋转所述 图像采集装置;或者,当所述第二度数在第一象限或二象限时,确定位置调整 策略为原地顺时针旋转所述图像采集装置。
本发明实施例所提供的一种调整眼睛显示位置的装置可执行本发明任意实 施例所提供的一种调整眼睛显示位置的方法,具备执行方法相应的功能模块和 有益效果。
实施例四
图11为本发明实施例四提供的一种终端的结构示意图,如图11所示,该 终端包括通信模块40,处理器41、存储器42、输入装置43和输出装置44;终 端中处理器41的数量可以是一个或多个,图11中以一个处理器41为例;终端 中的通信模块40、处理器41、存储器42、输入装置43和输出装置44可以通 过总线或其他方式连接,图11中以通过总线连接为例。
通信模块40,与眼动仪的支架通信连接,用于发送调整指令至所述支架。
图12给出了一种支架结构示意图,包括眼控仪的三角支架和采集镜头,眼 控仪的三角支架可以实现带着仪器在垂直方向上下调节,图中虚线标记的区域, 此部件可以实现仪器原地180°顺逆时针旋转。图13给出了一种支架结构示意 图,图中箭头指示的旋转方向,可以实现眼控仪水平方向左右旋转。
在支架上增加“电机”,由电机工作替代手动调节。控制单元方面,不通过 传统的“手柄”或“遥控器”控制三脚架活动,使用“无线连接”的方式,透 过计算机下达指令,可以通过采用蓝牙装置发出消息,三角支架端的蓝牙接收 装置收到消息后,电机根据指令进行相关的活动。此支架如无线鼠标一样,带 有一个蓝牙连接器,用于计算机与支架进行信息沟通。改造后的支架具有角度 调节功能,分别为左右水平调节与上下垂直调节,改造后的支架带有的电机, 可以实现电机操控支架进行左右水平调节与上下垂直调节,改造后的支架带有 的蓝牙连接器可以接收到蓝牙发送的指令。电机配套的蓝牙接收装置接收到来 自于配对的蓝牙发送装置的指令后,电机根据指令调整方向与角度。改造后的 支架增加了电源,用于提供电机的电力以及蓝牙接收装置所需的电力。
电机接收根据图像下达的调整指令调整眼控仪的位置。例如,眼控三角支 架被设定为4种调整方式,分别为原地逆时针旋转,指令代码0001;原地顺时 针旋转,指令代码0002;中轴向左旋转,指令代码0003;中轴向右旋转,指令 代码0004。
在使用中,当用户位置过于靠左,左眼已经达到“头动判断区域”左侧虚 线,此时应用软件发出指令,通过配对的蓝牙设备向电机发指令0003,此指令 通过连接于计算机的蓝牙装置传输至于三角支架的蓝牙接收装置,支架的电机 根据事先设定好的0003对应指令执行动作操作,在中轴进行左旋转操作,从图 像中的效果来看就是位于图像偏左的双眼逐渐回到图像的中部,直到全部回到 与校准效果一样的图像位置。
在使用中,当用户头部向左侧歪达到或超过预期的角度,此时应用软件发 出指令,通过配对的蓝牙设备向电机下发指令0001,此指令通过连接于计算机 的蓝牙装置传输至于三角支架的蓝牙接收装置,支架的电机根据事先设定好的 0001对应指令执行动作操作,逆时针旋转操作,从图像中的效果来看就是位于 图像中偏左双眼逐渐回到图像的中部,直到全部回到与校准效果一样的图像位 置。
在使用中,当用户的椅子往后推,导致用户脸部在图像中缩小,眼睛特征 模糊,眼控仪和计算机通过USB线连接,此时软件通过瞳距的变化判断出距离 变化,即自动调节焦距,使用户的脸部图像重新达到校准时脸部所在的区域和 比例,使眼部特征可以重新被仪器顺利捕捉到。
存储器42作为一种计算机可读存储介质,可用于存储软件程序、计算机可 执行程序以及模块,如本发明实施例中的一种调整眼睛显示位置的方法对应的 程序指令/模块(例如,一种调整眼睛显示位置的装置中的获取模块31、确定 模块32和调整模块33)。处理器41通过运行存储在存储器42中的软件程序、 指令以及模块,从而执行终端的各种功能应用以及数据处理,即实现上述的一 种调整眼睛显示位置的方法。
存储器42可主要包括存储程序区和存储数据区,其中,存储程序区可存储 操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用 所创建的数据等。此外,存储器42可以包括高速随机存取存储器,还可以包括 非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固 态存储器件。在一些实例中,存储器42可进一步包括相对于处理器41远程设 置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括 但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置43可用于接收输入的数字或字符信息,以及产生与终端的用户设 置以及功能控制有关的键信号输入。输出装置44可包括显示屏等显示设备。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质,所述计算 机可执行指令在由计算机处理器执行时用于执行一种调整眼睛显示位置的方法。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计 算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所 提供的一种调整眼睛显示位置的方法中的相关操作。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到, 本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很 多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上 或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机 软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器 (Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、 闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以 是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是,上述一种调整眼睛显示位置的方法装置的实施例中,所包 括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分, 只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于 相互区分,并不用于限制本发明的保护范围。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员 会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进 行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽 然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以 上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例, 而本发明的范围由所附的权利要求范围决定。
Claims (14)
1.一种调整眼睛显示位置的方法,其特征在于,包括:
获取用户头部图像;
基于所述头部图像确定图像中的瞳孔坐标并确定校准线;
基于所述校准线确定调整策略,生成与所述调整策略对应的调整指令,以通过所述调整指令调整图像采集装置,使所述用户头部图像中用户眼睛处于设定标准位置。
2.根据权利要求1所述的方法,其特征在于,所述基于所述头部图像中的瞳孔坐标确定校准线,包括:
获取所述用户头部图像中的瞳孔坐标;
将所述瞳孔坐标之间的连线作为校准线。
3.根据权利要求1所述的方法,其特征在于,在获取用户头部图像之前,还包括:
基于标准头部图像中的瞳孔坐标确定标准瞳孔距离和/或判断区域。
4.根据权利要求3所述的方法,其特征在于,所述基于标准头部图像中的瞳孔坐标确定判断区域,包括:
基于所述标准头部图像,确定所述标准头部图像中瞳孔的坐标;
根据所述瞳孔的坐标结合第一预设距离确定所述判断区域的左边界和右边界;
将所述瞳孔的坐标连线作为标准线,根据所述标准线和第二预设距离确定所述判断区域的上边界和下边界。
5.根据权利要求3所述的方法,其特征在于,所述基于所述校准线确定调整策略,生成与所述调整策略对应的调整指令,以通过所述调整指令调整图像采集装置,包括:
比较所述校准线的长度和所述标准瞳孔距离,根据比较结果确定焦距调整策略;
根据所述焦距调整策略生成对应的焦距调整指令;
根据所述焦距调整指令调整所述图像采集装置的焦距。
6.根据权利要求5所述的方法,其特征在于,所述比较所述校准线的长度和所述标准瞳孔距离,根据比较结果确定焦距调整策略,包括:
当校准线的长度和标准瞳孔距离的差值的绝对值大于预设值时,确定调整策略为焦距调整。
7.根据权利要求3所述的方法,其特征在于,所述基于所述校准线确定调整策略,包括:
在所述瞳孔坐标超出判断区域的情况下,根据所述瞳孔坐标与判断区域的位置关系确定位置调整策略。
8.根据权利要求4所述的方法,其特征在于,所述基于所述校准线确定调整策略,包括:
在所述瞳孔坐标未超出判断区域的情况下,确定校准线和标准线之间的第一夹角的第一度数;
判断所述第一度数是否等于0°或180°;
若是,则根据所述瞳孔坐标和所述判断区域确定位置调整策略;
否则,根据所述第一度数确定位置调整策略。
9.根据权利要求8所述的方法,其特征在于,所述根据所述瞳孔坐标和所述判断区域确定位置调整策略,包括:
当所述瞳孔坐标位于所述判断区域的边界时,确定位置调整策略为平移所述图像采集装置。
10.根据权利要求8所述的方法,其特征在于,所述根据所述第一度数确定位置调整策略,包括:
确定校准线和标准线之间的交点;
基于所述交点以标准线为横轴建立平面直角坐标系,根据所述交点、左瞳孔和横轴负半轴确定第二夹角;
基于所述瞳孔坐标确定所述第二夹角的第二度数;
根据所述第二度数确定位置调整策略。
11.根据权利要求10所述的方法,其特征在于,所述根据所述第二度数确定位置调整策略,包括:
当所述第二度数在第三象限或四象限时,确定位置调整策略为原地逆时针旋转所述图像采集装置;或者,
当所述第二度数在第一象限或二象限时,确定位置调整策略为原地顺时针旋转所述图像采集装置。
12.一种调整眼睛显示位置的装置,其特征在于,包括:
获取模块,用于获取用户头部图像;
确定模块,用于基于所述头部图像中的瞳孔坐标确定校准线;
调整模块,用于基于所述校准线确定调整策略,生成与所述调整策略对应的调整指令,以通过所述调整指令调整图像采集装置,使所述用户头部图像中用户眼睛处于设定标准位置。
13.一种终端,其特征在于,所述终端包括:
通信模块,与眼动仪的支架通信连接,用于发送调整指令至所述支架;
一个或多个处理器,与所述通信模块电连接,用于发送调整指令至所述通信模块;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-11中任一所述的方法。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-11中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911167411.9A CN112839162B (zh) | 2019-11-25 | 2019-11-25 | 一种调整眼睛显示位置的方法、装置、终端及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911167411.9A CN112839162B (zh) | 2019-11-25 | 2019-11-25 | 一种调整眼睛显示位置的方法、装置、终端及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112839162A true CN112839162A (zh) | 2021-05-25 |
CN112839162B CN112839162B (zh) | 2022-12-02 |
Family
ID=75922459
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911167411.9A Active CN112839162B (zh) | 2019-11-25 | 2019-11-25 | 一种调整眼睛显示位置的方法、装置、终端及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112839162B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116687340A (zh) * | 2023-06-26 | 2023-09-05 | 湖南火眼医疗科技有限公司 | 一种基于人脸眼部特征识别的眼科检查辅助设备 |
CN117373402A (zh) * | 2023-12-08 | 2024-01-09 | 深圳市华远显示器件有限公司 | 一种控制液晶显示屏显示方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102323829A (zh) * | 2011-07-29 | 2012-01-18 | 青岛海信电器股份有限公司 | 一种显示屏视角调整方法及显示设备 |
CN203027358U (zh) * | 2013-01-21 | 2013-06-26 | 天津师范大学 | 一种自适应视线跟踪系统 |
CN104238120A (zh) * | 2013-12-04 | 2014-12-24 | 全蕊 | 智能眼镜及控制方法 |
CN105243362A (zh) * | 2015-09-23 | 2016-01-13 | 努比亚技术有限公司 | 一种控制摄像头的装置及方法 |
CN109976535A (zh) * | 2019-05-05 | 2019-07-05 | 北京七鑫易维信息技术有限公司 | 一种校准方法、装置、设备及存储介质 |
CN110248091A (zh) * | 2019-06-12 | 2019-09-17 | Oppo广东移动通信有限公司 | 焦距调整方法及相关产品 |
-
2019
- 2019-11-25 CN CN201911167411.9A patent/CN112839162B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102323829A (zh) * | 2011-07-29 | 2012-01-18 | 青岛海信电器股份有限公司 | 一种显示屏视角调整方法及显示设备 |
CN203027358U (zh) * | 2013-01-21 | 2013-06-26 | 天津师范大学 | 一种自适应视线跟踪系统 |
CN104238120A (zh) * | 2013-12-04 | 2014-12-24 | 全蕊 | 智能眼镜及控制方法 |
CN105243362A (zh) * | 2015-09-23 | 2016-01-13 | 努比亚技术有限公司 | 一种控制摄像头的装置及方法 |
CN109976535A (zh) * | 2019-05-05 | 2019-07-05 | 北京七鑫易维信息技术有限公司 | 一种校准方法、装置、设备及存储介质 |
CN110248091A (zh) * | 2019-06-12 | 2019-09-17 | Oppo广东移动通信有限公司 | 焦距调整方法及相关产品 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116687340A (zh) * | 2023-06-26 | 2023-09-05 | 湖南火眼医疗科技有限公司 | 一种基于人脸眼部特征识别的眼科检查辅助设备 |
CN117373402A (zh) * | 2023-12-08 | 2024-01-09 | 深圳市华远显示器件有限公司 | 一种控制液晶显示屏显示方法及系统 |
CN117373402B (zh) * | 2023-12-08 | 2024-02-20 | 深圳市华远显示器件有限公司 | 一种控制液晶显示屏显示方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112839162B (zh) | 2022-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11282284B2 (en) | Systems for augmented reality visual aids and tools | |
US12008723B2 (en) | Depth plane selection for multi-depth plane display systems by user categorization | |
US11789262B2 (en) | Systems and methods for operating a head-mounted display system based on user identity | |
CN109410285B (zh) | 一种校准方法、装置、终端设备及存储介质 | |
JP5887026B2 (ja) | ヘッドマウントシステム及びヘッドマウントシステムを用いてディジタル画像のストリームを計算しレンダリングする方法 | |
CN108681399B (zh) | 一种设备控制方法、装置、控制设备及存储介质 | |
CN108881724B (zh) | 一种图像获取方法、装置、设备及存储介质 | |
CN112839162B (zh) | 一种调整眼睛显示位置的方法、装置、终端及存储介质 | |
CN109976535B (zh) | 一种校准方法、装置、设备及存储介质 | |
CN109960412B (zh) | 一种基于触控调整注视区域的方法以及终端设备 | |
CN114816065B (zh) | 屏幕背光的调节方法、虚拟现实设备以及可读存储介质 | |
CN112101064B (zh) | 一种视线追踪方法、装置、设备及存储介质 | |
CN109917923B (zh) | 基于自由运动调整注视区域的方法以及终端设备 | |
CN113641238A (zh) | 一种控制方法、装置、终端设备、受控设备及存储介质 | |
EP4086693A1 (en) | Method, processing device and system for determining at least one centration parameter for aligning spectacle lenses in a spectacle frame to eyes of a wearer | |
CN112835444A (zh) | 眼控一体机使用角度的调整方法、装置、设备及存储介质 | |
US20230059153A1 (en) | Methods, devices and media for input/output space mapping in head-based human-computer interactions | |
CN118182352A (zh) | 车载化妆镜调节方法、车载化妆镜、设备、介质及车辆 | |
CN113643438A (zh) | 一种控制方法、装置、控制设备、目标设备及存储介质 | |
KR20240029470A (ko) | 디스플레이 디바이스 및 그 제어 방법 | |
CN118535011A (zh) | 一种眼动控制方法、装置、终端设备及存储介质 | |
CN113434043A (zh) | 控制翻页方法、装置、存储介质及电子装置 | |
CN118113056A (zh) | 一种智能升降桌的控制方法及智能升降桌 | |
CN115468290A (zh) | 空调器的控制方法、装置及空调器 | |
CN116048251A (zh) | Vr显示方法、装置、电子设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |