CN107516093A - 一种眼睛瞳孔中心点的确定方法和电子设备 - Google Patents

一种眼睛瞳孔中心点的确定方法和电子设备 Download PDF

Info

Publication number
CN107516093A
CN107516093A CN201710875663.1A CN201710875663A CN107516093A CN 107516093 A CN107516093 A CN 107516093A CN 201710875663 A CN201710875663 A CN 201710875663A CN 107516093 A CN107516093 A CN 107516093A
Authority
CN
China
Prior art keywords
parameter
sensor
display
central point
oculopupillary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710875663.1A
Other languages
English (en)
Inventor
董天田
陈迪凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201710875663.1A priority Critical patent/CN107516093A/zh
Publication of CN107516093A publication Critical patent/CN107516093A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明实施例提供了一种眼睛瞳孔中心点的确定方法和电子设备,其中所述方法可以包括:通过第一传感器采集人眼瞳孔的第一参数;通过第二传感器采集所述人眼瞳孔的第二参数;基于所述第一参数和所述第二参数确定所述人眼瞳孔的中心点。本发明实施例具备精度高且方便检测的特点。

Description

一种眼睛瞳孔中心点的确定方法和电子设备
技术领域
本发明实施例涉及电子设备领域,特别涉及一种眼睛瞳孔中心点的确定方法和电子设备。
背景技术
当前大多数电子设备或终端的操作行为都以手指的滑动与点击为主,通常会有诸多限制与不便,如单手操作时可控制的区域非常小、屏幕损坏或接触不灵敏时操作困难、长时间的拇指滑动点击会使得手部疲劳、操作不够灵活自如等等。
在这种情况下,眼动识别与控制成为提升用户体验与操作便捷性的重要途径之一。但是现有技术中通常采用眨眼等方式来执行设备的控制,但是通过该种方式容易引起用户的疲劳,用户体验不好。而目前,将眼睛瞳孔中心点的位置确定技术结合至电子设备的控制已经成为热点,如何提高瞳孔中心点位置的检测精度也就成为亟待解决的问题。
发明内容
本发明实施例提供了一种能够方便的通过精确对瞳孔定位的眼睛瞳孔中心点的确定方法和电子设备。
为了解决上述技术问题,本发明实施例提供了如下的技术方案:
一种眼睛瞳孔中心点的确定方法,所述方法包括:
通过第一传感器采集人眼瞳孔的第一参数;
通过第二传感器采集所述人眼瞳孔的第二参数;
基于所述第一参数和所述第二参数确定所述人眼瞳孔的中心点。
作为优选实施例,其中,所述第一传感器与所述第二传感器不同;
其中,所述第一传感器为电子设备的色彩传感器,所述第二传感器为所述电子设备的红外传感器。
作为优选实施例,其中所述基于所述第一参数和所述第二参数确定所述人眼瞳孔的中心点包括:
基于所述第一参数确定所述人眼瞳孔的第一中心点;
基于所述第二参数确定所述人眼瞳孔的第二中心点;
所述第一中心点与所述第二中心点满足预定条件时,基于预设规则确定所述人眼瞳孔的中心点。
作为优选实施例,所述方法还包括:
基于所述人眼瞳孔的中心点确定所述电子设备的显示输出区域中所对应的关注点。
作为优选实施例,所述显示输出区域显示有多个显示对象,每个显示对象占有所述显示输出区域的显示子区域;
所述方法还包括:
所述关注点位于第一显示子区域时,确定所述人眼所关注的为所述第一显示子区域对应的第一显示对象;
所述关注点未落入任何一个显示子区域时,基于容错机制确定所述人眼所关注的为第二显示对象。
作为优选实施例,其中,所述基于容错机制确定所述人眼所关注的为第二显示对象包括:
判断与所述关注点距离最近的显示子区域,并确定该与所述关注点距离最近的显示子区域内的显示对象为第二显示对象。
作为优选实施例,其中,所述还包括:
获得确认操作;
基于所述确认操作,调用与所述人眼所关注的显示对象。
本发明实施例还提供了一种电子设备,其应用如上述实施例所述的一种眼睛瞳孔中心点的确定方法,并且所述电子设备包括:
第一传感器,其配置为采集人眼瞳孔的第一参数;
第二传感器,其配置为采集所述人眼瞳孔的第二参数;
处理器,其配置为基于所述第一参数和所述第二参数确定所述人眼瞳孔的中心点。
作为优选实施例,其中,
所述处理器进一步配置为基于所述第一参数确定所述人眼瞳孔的第一中心点,以及基于所述第二参数确定所述人眼瞳孔的第二中心点;并且在所述第一中心点与所述第二中心点满足预定条件时,基于预设规则确定所述人眼瞳孔的中心点。
作为优选实施例,所述电子设备还包括:
显示器,其包括显示输出区域;
所述处理器进一步配置为基于所述人眼瞳孔的中心点确定所述显示输出区域中所对应的关注点。
根据上述公开的实施例,本发明实施例具有的有益效果如下:
本发明实施例通过对用户的关注点进行定位,并执行校正确定在成像装置上所确定的可操作对象,不需要用户手动操作即可实现操作对象的选择;
同时,本发明实施例需要解决用户的确认来触发可操作对象,具有更好的准确性,避免误操作。
附图说明
图1为本发明实施例中的一种人眼睛通孔中心点的确定方法的原理流程图;
图2为本发明实施例中的基于所述第一参数和所述第二参数确定所述人眼瞳孔的中心点的原理流程图;
图3为本发明实施例确定关注点所对应的显示对象的方法流程图;
图4为本发明实施例中确定电子设备上的显示对象的流程示意图;
图5为本发明实施例中的电子设备的原理结构图。
具体实施方式
下面,结合附图对本发明的具体实施例进行详细的描述,但不作为本发明的限定。
应理解的是,可以对此处公开的实施例做出各种修改。因此,上述说明书不应该视为限制,而仅是作为实施例的范例。本领域的技术人员将想到在本公开的范围和精神内的其他修改。
包含在说明书中并构成说明书的一部分的附图示出了本公开的实施例,并且与上面给出的对本公开的大致描述以及下面给出的对实施例的详细描述一起用于解释本公开的原理。
通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述,本发明的这些和其它特性将会变得显而易见。
还应当理解,尽管已经参照一些具体实例对本发明进行了描述,但本领域技术人员能够确定地实现本发明的很多其它等效形式,它们具有如权利要求所述的特征并因此都位于借此所限定的保护范围内。
当结合附图时,鉴于以下详细说明,本公开的上述和其他方面、特征和优势将变得更为显而易见。
此后参照附图描述本公开的具体实施例;然而,应当理解,所公开的实施例仅仅是本公开的实例,其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本公开模糊不清。因此,本文所公开的具体的结构性和功能性细节并非意在限定,而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本公开。
本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”,其均可指代根据本公开的相同或不同实施例中的一个或多个。
下面,结合附图详细的说明本发明实施例,本发明实施例提供了一种眼睛瞳孔中心点的确定方法和电子设备,其通过至少两个传感器来检测人眼通孔的中心点,提高了检测精度,用户体验更好。
如图1所示,为本发明实施例中的一种人眼睛通孔中心点的确定方法的原理流程图。其中所述方法可以包括:
通过第一传感器采集人眼瞳孔的第一参数;
通过第二传感器采集所述人眼瞳孔的第二参数;
基于所述第一参数和所述第二参数确定所述人眼瞳孔的中心点。
本发明实施例中的所述方法可以应用在电子设备中,该电子设备可以包括便携式终端设备(如手机、计算机设备),可佩带设备(如智能眼镜)或者显示设备等。本发明实施例提供的方法应用在上述电子设备上时,可以通过设置在电子设备上的传感器来检测对应的参数信息,并利用与传感器连接的处理器或者其他数据处理器件可以基于上述参数信息确定人眼瞳孔的中心点,并可以进一步确定用户在电子设备上的关注点。
本实施例中,电子设备可以配置多个传感器,如至少包括第一传感器和第二传感器,通过且该多个传感器可以获取对应的参数信息,并进一步确定人眼通孔中心点。
具体的,本发明实施例中的第一传感器和第二传感器可以构造为相同类型的传感器,例如,两个都是虹膜传感器,或者两个都是色彩传感器;或者两个都是红外传感器,两个都是摄像头等等。也可以构造为不同类型的传感器。例如,第一传感器为红外传感器和第二传感器为色彩传感器,或者其中的任何一种传感器都可以替换为为距离传感器、光传感器、角度传感器等任意一种。其中,例如本发明实施例中第一传感器和第二传感器可以均为红外传感器,红外线传感器是利用红外线来进行数据处理的一种传感器,有灵敏度高等优点。另外,红外线传感器常用于无接触温度测量,气体成分分析和无损探伤,在医学、军事、空间技术和环境工程等领域得到广泛应用。例如采用红外线传感器远距离测量人体表面温度的热像图,可以发现温度异常的部位。利用红外线的物理性质来进行测量的传感器。红外线又称红外光,它具有反射、折射、散射、干涉、吸收等性质。任何物质,只要它本身具有一定的温度(高于绝对零度),都能辐射红外线。红外线传感器测量时不与被测物体直接接触,因而不存在摩擦,并且有灵敏度高,反应快等优点。在此,本发明实施例中的处理器可以根据接收到的控制指令控制各传感器启动或者关闭,其中控制指令可以包括预设手势、预设按键或者预设生物特征信息等。通过该配置用户可以在需要执行瞳孔中心点定位时控制执行该操作,而避免不必要的电源消耗,或者也可以提高用户体验。
基于上述,可以通过第一传感器采集人眼瞳孔的第一参数,以及通过第二传感器采集所述人眼瞳孔的第二参数;这里的第一传感器所采集的第一参数可以为其获取的经人眼不同位置反射的反射光的温度参数,同理,第二传感器所采集的第二参数也可以为其获取的经人眼不同位置反射的反射光的温度参数,由于光通过瞳孔和照在晶体被反射的光的温度不同,因此可以基于通过第一传感器采集的第一参数和第二传感器采集的第二参数进一步确定人眼瞳孔的位置和形状,从而获取瞳孔的中心点。
另外,第一传感器和第二传感器也可以均为色彩传感器,色彩传感器又叫颜色识别传感器或颜色传感器,它可以获取检测对象的图像,并获取图像中各位置的颜色,并输出颜色参数。据此,本发明实施例可以通过第一传感器采集人眼瞳孔的第一参数,以及通过第二传感器采集所述人眼瞳孔的第二参数。此时,第一传感器获取的第一参数可以包括利用第一传感器获取的人眼图像中人眼各位置的颜色参数。同理,第二传感器采集的第二参数可以包括利用第二传感器获取的人眼图像中人眼各位置的颜色参数。由于人眼的瞳孔和晶体其他位置的颜色区别,可以进一步基于通过第一传感器采集的第一参数和第二传感器采集的第二参数进一步确定人眼瞳孔的位置和形状,从而获取瞳孔的中心点。
另外,在本发明的其他实施例中,第一传感器和第二传感器也可以构造为不同类型的传感器,例如,第一传感器可以为电子设备的色彩传感器,所述第二传感器可以为电子设备的红外传感器。并通过第一传感器和第二传感器分别获取第一参数和第二参数。对应的这里的第一参数即可以为获取的图像的颜色参数,第二参数为接收的反射光的温度参数。进一步可以基于上述第一参数和第二参数确定人眼瞳孔的中心点。
基于上述配置,本发明实施例中可以通过至少两个传感器来确定人眼瞳孔中心点,相较于利用一种检测器件的方式检测精度更高,而且用户体验更好。
如图2所示,为本发明实施例中的基于所述第一参数和所述第二参数确定所述人眼瞳孔的中心点的原理流程图,其中可以包括:
基于所述第一参数确定所述人眼瞳孔的第一中心点;
基于所述第二参数确定所述人眼瞳孔的第二中心点;
所述第一中心点与所述第二中心点满足预定条件时,基于预设规则确定所述人眼瞳孔的中心点。
如上所述,通过第一传感器可以获取第一参数,通过第二传感器可以获取第二参数,其中第一参数和第二参数可以为温度参数或者颜色参数,并且与第一传感器和第二传感器连接的处理器可以分别基于第一参数和第二参数确定第一中心点和第二中心点。也就是说,处理器可以通过每个传感器所获取的参数都单独的确定出瞳孔的中心点,并进一步基于每个中心点获得精确度高的中心点作为确定的中心点。
这里,处理器可以从第一传感器和第二传感器获取第一参数和第二参数,并通过上述第一参数和第二参数分别确定第一中心点和第二中心点,处理器可以将第一中心点和第二中心点进行对比分析,如可以在同一坐标系或者同一图像中分析两者的差别,并判断基于第一参数所确定的第一中心点和基于第二参数所确定的第二中心点是否满足预定条件,如果满足该预定条件,则基于预设规则确定所述人眼瞳孔的中心点。其中,预定条件可以包括第一中心点和第二中心点之间的距离小于预设距离。也就是说,处理器可以判断第一中心点和第二中心点之间的差异,在第一中心点和第二中心点之间的距离小于预设距离时,即可以判断为满足预定条件。如果判断为不满足预定条件,则可以重新根据第一传感器和第二传感器分别确定第一中心点和第二中心点,或者结合其他传感器所确定的中心点重新确定瞳孔中心点,通过该方式可以进一步提高对于瞳孔位置和中心点确定的精度。
进一步地,本发明实施例中,处理器在判断出第一中心点和第二中心点符合预定条件时,可以基于预设规则确定瞳孔中心点。其中预设规则为以第一中心点和第二中心点之间的中间点作为中心点。即本发明实施例中,可以将第一中心点和第二中心点之间的中心点作为确定的瞳孔中心点。当然本发明的另一个实施例,该预定规则为基于第一传感器所采集的第一参数所确定的人眼瞳孔的中心(即,第一中心点)以及基于第二传感器所采集的第二参数所确定的人眼瞳孔的中心(即,第二中心点)是否重合,只有在重合时(即满足预定条件)用户是在关注眼镜式穿戴式设备所显示的某一个虚拟显示对象,那么给重合的点就是人眼瞳孔的中心点。尤其是在AR场景,多个虚拟显示对象呈现在智能眼镜的镜片上,佩戴该智能眼镜的用户此时既能够看到多个虚拟显示对象又能够看到用户所在环境的真实存在的场景(当然用户所观察到或者看到每个所述多个虚拟显示对象也可以与真实存在的场景中所对应的真实对象叠加且匹配显示的),如果用户需要操作某一个虚拟显示对象那么就需要精确的确定瞳孔的中心点从而精确地确定用户所关注的某一个虚拟显示对象。那么在该实施例中只有为基于第一传感器所采集的第一参数所确定的人眼瞳孔的中心(即,第一中心点)以及基于第二传感器所采集的第二参数所确定的人眼瞳孔的中心(即,第二中心点)重合(预定条件满足)时眼镜式电子设备才确认此时是用户关注在虚拟对象的某一个虚拟对象,用户是想进一步的去操作该某一个虚拟对象。如果不重合那么眼镜式电子设备就将其当成误操作忽略掉,即,即使眼镜式电子设备的镜片上呈现有虚拟显示对象,那么用户的关注的也是真实场景中的真实对象而不是虚拟显示对象。简言之,预定规则就是用于通过人眼运动来判断/推断用户意图并且在确认用户是关注的为虚拟现实对象能够基于之前判断过程中的结果快速直接且精确以人眼瞳孔的中心确认对应的关注点从而精确的确认用户所关注的/需要操作的某一个虚拟显示对象。
本发明实施例中,还可以通过其他传感器,如第三传感器、第四传感器等来分别确定人眼的瞳孔的参数信息,同时处理器可以结合所有传感器或者至少其中两个传感器所获取的参数信息来分别确定瞳孔中心点的位置,并基于符合预定条件的各中心点的位置来综合性的判断瞳孔的中心点,从而去除误差较大的参数,而利用精确度高的参数来进行判断,进一步提高了检测精度。
进一步地,在本发明实施例中,在确定人眼瞳孔中心点之后还可以基于确定的中心点来获取该人眼在电子设备上的关注点,进一步确定人眼所查看的内容。在本发明实施例中,所述方法还可以进一步包括:
基于所述人眼瞳孔的中心点确定所述电子设备的显示输出区域中所对应的关注点。
如上所述,本发明实施例中的人眼睛通孔中心点的确定方法可以适用于具有显示器的电子设备,而基于本发明的实施例确定了瞳孔中心点之后,还可以基于该中心点进一步确定在显示设备的显示器的显示输出区域中所对应的关注点。此时可以结合角度传感器、距离传感器等传感器参数来确定在显示输出区域中所对应的关注点,本领域技术人员可以根据现有技术手段实现,在此不再赘述。
本发明实施例中,电子设备的显示输出区域可以显示有多个显示对象,每个显示对象可以占有所述显示输出区域的显示子区域。即,上述显示对象可以包括例如快捷方式图标、按键等可操作对象,即显示对象可以包括能够触发进一步动作的可操作对象,同时也可以为文本内容、图片等信息。
如图3所示,为本发明实施例确定关注点所对应的显示对象的方法流程图,其中可以包括:
判断所述关注点是否位于任一显示子区域中;
所述关注点位于第一显示子区域时,确定所述人眼所关注的为所述第一显示子区域对应的第一显示对象;
所述关注点未落入任何一个显示子区域时,基于容错机制确定所述人眼所关注的为第二显示对象。
上述第一显示对象或者第二显示对象即可以为关注点所对应的显示对象。通过上述配置即可以实现确定关注点所对应的显示对象,电子设备可以获知人眼当前所关注的对象内容,并可以据此进一步执行操作和分析。
如上所述,本发明实施例中电子设备的显示输出区域上的每个显示对象都可以占有显示输出区域的显示子区域,而在确定瞳孔中心点之后,处理器可以对应到电子设备的显示输出区域上的关注点。其中,可以判断该关注点是否位于任一显示子区域中,如果该关注点位于一个显示子区域(如第一显示子区域)中,则该显示子区域中的显示对象即可以被确定为第一显示对象。
另外,如果在判断出瞳孔中心点在显示输出区域上的关注点并未任何一个显示子区域时,可以基于容错机制确定所述人眼所关注的为第二显示对象。即,如果在通过瞳孔中心点确定的关注点并未在任何一个显示子区域时,则可以通过容错机制确定最有可能的第二显示对象,本发明实施例中所述基于容错机制确定所述人眼所关注的为第二显示对象包括:
判断与所述关注点距离最近的显示子区域,并确定该与所述关注点距离最近的显示子区域内的显示对象为第二显示对象。
也就是说,处理器可以判断出离当前的关注点最近的显示子区域,并将该最近的显示子区域内的显示对象作为第二显示对象。或者处理器还可以判断离当前的关注点最近的显示对象,并将该最近的显示对象确定为第二显示对象。
在确定关注点所对应的显示对象后,本发明实施例还可以进一步基于该确定的显示对象执行操作。例如,处理器可以判断用户在该关注点所关注的时间或者关注该确定的显示对象的时间,如超过预设时间则可以触发该显示对象,如确定的显示对象为对应的快捷操作图标时,则可以执行对该快捷操作图标的触发。或者,当确定的显示对象为上一下或者下一页按键时,则可以执行上述按键的触发,实现页面的跳转。也就是说,用户可以通过持续关注对应的显示对象来实现该显示对象的触发。
在另一实施例中,当用户所关注的显示对象为文本或者图片等内容时。当处理器判断为用户在该关注点所关注的时间或者关注该确定的显示对象的时间超过预设时间时,则可以基于预配置的指令执行对上述显示对象的文本操作,如复制、剪切等操作。
在一优选实施例中,处理器在确定了关注点在电子设备上的显示对象时,可以控制执行对该显示对象的突出显示,一方面可以显示出所确定的关注对象,另一方面还可以使用户进一步确认该对象。基于此,如果在电子设备所确定的显示对象有误时,还可以接收用户的取消指令,该取消指令可以为预设手势、预设的按键操作或者语音指令等,在接收到该取消指令后,处理器可以取消对确定的显示对象的突出显示,以及对应的触发控制操作。
另外,在本发明的优选实施例中,还可以结合用户的操作来执行对显示对象的相应操作。例如,在确定了关注点所对应的关注对象后,还可以包括:
获得确认操作;
基于所述确认操作,调用与所述人眼所关注的显示对象。
即,在确定了关注点所确定的关注对象后可以进一步获取确认操作,并基于该确认操作调用与所述人眼所关注的显示对象或者执行对显示对象的预配置指令。
在本发明实施例中,获得确认操作的方法可以包括:在判断为接收到对显示输出区域的触控操作时判断为获得确认操作,或者检测到对电子设备任意位置的触控时判断为获得确认操作,或者检测到用户的预设手势时判断为获得确认操作,或者检测到电子设备的预设姿态(如摇晃等)的变化时判断为获得确认操作,或者也可以在检测到预设语音信息时判断为获得确认操作。也就是说,用户可以根据各种方式确定是否要触发该显示对象的相应操作,并不是在确认了显示对象之后就执行对显示对象的调用或者其他操作,而是需要在进一步接收用户的确认操作才能执行相应的操作,用户体验更好。
下面,结合图4中所示出的本发明实施例中确定电子设备上的显示对象的流程示意图,对本发明实施例进行详细的说明。
电子设备的显示器的显示输出区域可以被划分为n个极小区域或者点,该n个极小区域中的部分区域或者部分点可以构造为上述显示子区域,也即部分极小区域中包括显示对象。而处理器或者存储器中可以存储有上述极小区域或者点以及显示对象的布置信息,例如可以以坐标系的方式记录各显示对象、点和区域的位置信息,从而在进行显示对象的判断时可以读取对应的位置信息。
而通过第一传感器和第二传感器可以分别检测第一参数和第二参数,处理器基于该检测到的第一参数和第二参数确定瞳孔中心点b。该图4中以第一传感器和第二传感器构造为不同的传感器进行说明,但本发明实施例不限于此。同时,处理器可以对应的判断出该瞳孔中心点b在显示器上的关注点B(具体方法可以根据距离传感器或者角度传感器等检测的信息来确定,在此不再赘述)。
在确定在显示器上的关注点B后,处理器可以根据上述各极小区域或者点的以及显示对象的位置信息判断该关注点B是否落入在任意一个显示子区域中。
图4中示出的为关注点B所在的区域并非是包括显示对象的显示子区域,此时可以根据容错机制确定距离该关注点B最近的显示子区域中的显示对象为被关注的对象X2,或者距离关注点B最近的显示对象为被关注的对象X2,即上述实施例中的第二显示对象,此时可以在该显示对象X2所在的显示子区域中生成一新的关注点B1,即作为对关注点B的矫正点。关注点B1所在的显示子区域内的显示对象即为X2。即,如果在通过瞳孔中心点b确定的关注点B并未在任何一个显示子区域时,则可以通过容错机制确定最有可能的显示对象作为关注的对象。在另一实施例中,如果该关注点B位于一个包括显示对象的显示子区域(如第一显示子区域)中时,则该显示子区域中的显示对象即可以被确定为被关注的对象,即上述实施例中的第一显示对象。
通过上述过程即可以获取瞳孔中心点在显示器上所对应的显示对象。此时可以进一步地基于确认操作,调用与所述人眼所关注的显示对象。
通过上述实施例的公开,可以获知本发明实施例所提供的眼睛瞳孔中心点的确定方法可以方便且高精度的获取人眼瞳孔的中心点,并可以进一步应用到电子设备的关注点确定上,从而可以方便的触发电子设备的相应程序,具有更好的用户体验。
另外,本发明实施例还可以提供一种电子设备,该电子设备可以应用如上述实施例所述的一种眼睛瞳孔中心点的确定方法。如图5所示,为本发明实施例中的电子设备的原理结构图,其中,本发明实施例中的电子设备可以包括:
第一传感器100,其配置为采集人眼瞳孔的第一参数;
第二传感器200,其配置为采集所述人眼瞳孔的第二参数;
处理器300,其配置为基于所述第一参数和所述第二参数确定所述人眼瞳孔的中心点。
在本发明实施例中,电子设备可以包括便携式终端设备(如手机、计算机设备),可佩带设备(如智能眼镜)或者具有显示功能的其他显示设备等。本发明实施例中的电子设备也可以为AR设备或者VR设备。本发明实施例中,可以通过设置在电子设备上的传感器来检测对应的参数信息,并利用与传感器连接的处理器300或者其他数据处理器件可以基于上述参数信息确定人眼瞳孔的中心点,从而可以进一步确定用户在电子设备上的关注点。另外,本发明实施例提供的电子设备可以用于检测一只眼睛的瞳孔中心点,也可以检测两只眼睛的中心点,并基于两只眼睛瞳孔的中心点确定在电子设备上的关注点。
本发明实施例中,电子设备可以配置多个传感器,如至少包括第一传感器和100第二传感器200,通过且该多个传感器可以获取对应的参数信息,并通过处理器300进一步确定人眼通孔中心点。
具体的,本发明实施例中的第一传感器100和第二传感器200可以构造为相同类型的传感器,也可以构造为不同类型的传感器。例如,第一传感器100和第二传感器200可以均为红外传感器或者色彩传感器,或者也可以为距离传感器、光传感器、角度传感器等任意一种。其中,例如本发明实施例中第一传感器100和第二传感器200可以均为红外传感器,红外线传感器是利用红外线来进行数据处理的一种传感器,有灵敏度高等优点。另外,红外线传感器常用于无接触温度测量,气体成分分析和无损探伤,在医学、军事、空间技术和环境工程等领域得到广泛应用。例如采用红外线传感器远距离测量人体表面温度的热像图,可以发现温度异常的部位。利用红外线的物理性质来进行测量的传感器。红外线又称红外光,它具有反射、折射、散射、干涉、吸收等性质。任何物质,只要它本身具有一定的温度(高于绝对零度),都能辐射红外线。红外线传感器测量时不与被测物体直接接触,因而不存在摩擦,并且有灵敏度高,反应快等优点。
基于上述,可以通过第一传感器100采集人眼瞳孔的第一参数,以及通过第二传感器200采集所述人眼瞳孔的第二参数;这里的第一传感器100所采集的第一参数可以为其获取的经人眼不同位置反射的反射光的温度参数,同理,第二传感器200所采集的第二参数也可以为其获取的经人眼不同位置反射的反射光的温度参数,由于光通过瞳孔和照在晶体被反射的光的温度不同,因此可以基于通过第一传感器100采集的第一参数和第二传感器200采集的第二参数进一步确定人眼瞳孔的位置和形状,从而获取瞳孔的中心点。
另外,第一传感器100和第二传感器200也可以均为色彩传感器,色彩传感器又叫颜色识别传感器或颜色传感器,它可以获取检测对象的图像,并获取图像中各位置的颜色,并输出颜色参数。据此,本发明实施例可以通过第一传感器100采集人眼瞳孔的第一参数,以及通过第二传感器200采集所述人眼瞳孔的第二参数。此时,第一传感器100获取的第一参数可以包括利用第一传感器100获取的人眼图像中人眼各位置的颜色参数。同理,第二传感器200采集的第二参数可以包括利用第二传感器200获取的人眼图像中人眼各位置的颜色参数。由于人眼的瞳孔和晶体其他位置的颜色区别,处理器300可以进一步基于通过第一传感器100采集的第一参数和第二传感器200采集的第二参数进一步确定人眼瞳孔的位置和形状,从而获取瞳孔的中心点。
另外,在本发明的其他实施例中,第一传感器100和第二传感器200也可以构造为不同类型的传感器,例如,第一传感器100可以为电子设备的色彩传感器,所述第二传感器200可以为电子设备的红外传感器。并通过第一传感器100和第二传感器200分别获取第一参数和第二参数。对应的这里的第一参数即可以为获取的图像的颜色参数,第二参数为接收的反射光的温度参数。进一步可以基于上述第一参数和第二参数确定人眼瞳孔的中心点。
基于上述配置,本发明实施例中可以通过至少两个传感器来确定人眼瞳孔中心点,相较于利用一种检测器件的方式检测精度更高,而且用户体验更好。
进一步地,本发明实施例中的处理器300可以基于第一参数和第二参数确定所述人眼瞳孔的中心点,其中,可以基于所述第一参数确定所述人眼瞳孔的第一中心点;基于所述第二参数确定所述人眼瞳孔的第二中心点;并且在第一中心点与所述第二中心点满足预定条件时,基于预设规则确定所述人眼瞳孔的中心点。
如上所述,通过第一传感器100可以获取第一参数,通过第二传感器200可以获取第二参数,其中第一参数和第二参数可以为温度参数或者颜色参数,并且与第一传感器100和第二传感器200连接的处理器300可以分别基于第一参数和第二参数确定第一中心点和第二中心点。也就是说,处理器300可以通过每个传感器所获取的参数都单独的确定出瞳孔的中心点,并进一步基于每个中心点获得精确度高的中心点作为确定的中心点。
这里,处理器300可以从第一传感器100和第二传感器200获取第一参数和第二参数,并通过上述第一参数和第二参数分别确定第一中心点和第二中心点,处理器300可以将第一中心点和第二中心点进行对比分析,如可以在同一坐标系或者同一图像中分析两者的差别,并判断基于第一参数所确定的第一中心点和基于第二参数所确定的第二中心点是否满足预定条件,如果满足该预定条件,则基于预设规则确定所述人眼瞳孔的中心点。其中,预定条件可以包括第一中心点和第二中心点之间的距离小于预设距离。也就是说,处理器300可以判断第一中心点和第二中心点之间的差异,在第一中心点和第二中心点之间的距离小于预设距离时,即可以判断为满足预定条件。如果判断为不满足预定条件,则处理器可以重新根据第一传感器100和第二传感器200分别确定第一中心点和第二中心点,或者结合其他传感器所确定的中心点重新确定瞳孔中心点,通过该方式可以进一步提高对于瞳孔位置和中心点确定的精度。上述预设距离,本领域技术人员可以自行设定,或者用户也可以进行自定义,设定的预设距离信息可以存储在存储器中也可以存储在处理器300内,处理器300可以读取该预设距离的信息,并执行上述预定条件的判断。
进一步地,处理器300在判断出第一中心点和第二中心点符合预定条件时,可以基于预设规则确定瞳孔中心点。其中预设规则为以第一中心点和第二中心点之间的中间点作为中心点。即本发明实施例中,可以将第一中心点和第二中心点之间的中心点作为确定的瞳孔中心点。
本发明实施例中,还可以通过其他传感器,如第三传感器、第四传感器等来分别确定人眼的瞳孔的参数信息,同时处理器可以结合所有传感器或者至少其中两个传感器所获取的参数信息来分别确定瞳孔中心点的位置,并基于符合预定条件的各中心点的位置来综合性的判断瞳孔的中心点,从而去除误差较大的参数,而利用精确度高的参数来进行判断,进一步提高了检测精度。
进一步地,在本发明实施例中,处理器300在确定人眼瞳孔中心点之后还可以基于确定的中心点来获取该人眼在电子设备上的关注点,进一步确定人眼所查看的内容(即关注对象)。在本发明实施例中,处理器300还可以进一步基于所述人眼瞳孔的中心点确定所述电子设备的显示输出区域中所对应的关注点。
如上所述,本发明实施例中的人眼睛通孔中心点的确定方法可以适用于具有显示器400的电子设备,而基于本发明的实施例确定了瞳孔中心点之后,处理器300还可以基于该中心点进一步确定在显示设备的显示器400的显示输出区域中所对应的关注点。此时可以结合角度传感器、距离传感器等传感器参数来确定在显示输出区域中所对应的关注点,本领域技术人员可以根据现有技术手段实现,在此不再赘述。
本发明实施例中,电子设备的显示输出区域可以显示有多个显示对象,每个显示对象可以占有所述显示输出区域的显示子区域。即,上述显示对象可以包括例如快捷方式图标、按键等可操作对象,即显示对象可以包括能够触发进一步动作的可操作对象,同时也可以为文本内容、图片等信息。
处理器300还可以在判断出关注点位于显示器400的第一显示子区域时,确定人眼所关注的为所述第一显示子区域对应的第一显示对象;并在判断出关注点未落入任何一个显示子区域时,基于容错机制确定所述人眼所关注的为第二显示对象。
上述第一显示对象或者第二显示对象即可以为关注点所对应的显示对象。通过上述配置即可以实现确定关注点所对应的显示对象,处理器300可以获知人眼当前所关注的对象内容,并可以据此进一步执行操作和分析。
如上所述,本发明实施例中电子设备的显示输出区域上的每个显示对象都可以占有显示输出区域的显示子区域,而在确定瞳孔中心点之后,处理器可以对应到电子设备的显示输出区域上的关注点,如果该关注点位于一个显示子区域(如第一显示子区域)中,则该显示子区域中的显示对象即可以被确定为第一显示对象。
另外,如果在判断出瞳孔中心点在显示输出区域上的关注点并未任何一个显示子区域时,处理器可以基于容错机制确定所述人眼所关注的为第二显示对象。即,如果在通过瞳孔中心点确定的关注点并未在任何一个显示子区域时,则可以通过容错机制确定最有可能的第二显示对象,本发明实施例中所述基于容错机制确定所述人眼所关注的为第二显示对象可以包括:
处理器300进一步判断与所述关注点距离最近的显示子区域,并确定该与所述关注点距离最近的显示子区域内的显示对象为第二显示对象。
也就是说,处理器300可以判断出离当前的关注点最近的显示子区域,并将该最近的显示子区域内的显示对象作为第二显示对象。或者处理器300还可以判断离当前的关注点最近的显示对象,并将该最近的显示对象确定为第二显示对象。
在确定关注点所对应的显示对象后,本发明实施例还可以进一步基于该确定的显示对象执行操作。例如,处理器300可以判断用户在该关注点所关注的时间或者关注该确定的显示对象的时间,如超过预设时间则可以触发该显示对象,如确定的显示对象为对应的快捷操作图标时,则可以执行对该快捷操作图标的触发。或者,当确定的显示对象为上一下或者下一页按键时,则可以执行上述按键的触发,实现页面的跳转。也就是说,用户可以通过持续关注对应的显示对象来实现该显示对象的触发。
在另一实施例中,当用户所关注的显示对象为文本或者图片等内容时。当处理器300判断为用户在该关注点所关注的时间或者关注该确定的显示对象的时间超过预设时间时,则可以基于预配置的指令执行对上述显示对象的文本操作,如复制、剪切等操作。
在一优选实施例中,处理器300在确定了关注点在电子设备上的显示对象时,可以控制显示驱动模块执行对显示器400上的该确定的显示对象的突出显示,一方面可以显示出所确定的关注对象,另一方面还可以使用户进一步确认该对象。基于此,如果在电子设备所确定的显示对象有误时,还可以接收用户的取消指令,该取消指令可以为预设手势、预设的按键操作或者语音指令等,在接收到该取消指令后,处理器可以取消对确定的显示对象的突出显示,以及对应的触发控制操作。
另外,在本发明的优选实施例中,还可以结合用户的操作来执行对显示对象的相应操作。例如,在确定了关注点所对应的关注对象后,处理器还可以获得确认操作,并基于所述确认操作,调用与所述人眼所关注的显示对象。
即,在确定了关注点所确定的关注对象后处理器300可以进一步获取确认操作,并基于该确认操作调用与所述人眼所关注的显示对象或者执行对显示对象的预配置指令。
在本发明实施例中,可以通过接收模块获得上述确认操作,接收模块可以包括触控屏、压力传感器、陀螺仪、加速度传感器、音频识别模块等。例如,处理器可以在判断为通过触控屏接收到对显示输出区域的触控操作时判断为获得确认操作,或者在通过压力传感器检测到对电子设备任意位置的触控时判断为获得确认操作,或者在摄像头或者手势识别模块检测到用户的预设手势时判断为获得确认操作,或者检测到电子设备的预设姿态(如摇晃等)的变化时判断为获得确认操作,或者也可以在通过音频识别模块检测到预设语音信息时判断为获得确认操作。也就是说,用户可以根据各种方式确定是否要触发该显示对象的相应操作,并不是在确认了显示对象之后就执行对显示对象的调用或者其他操作,而是需要在进一步接收用户的确认操作才能执行相应的操作,用户体验更好。
通过上述实施例的公开,可以获知本发明实施例所提供的电子设备可以方便且高精度的获取人眼瞳孔的中心点,并可以进一步应用到电子设备的关注点确定上,从而可以方便的触发电子设备的相应程序,具有更好的用户体验。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的数据处理方法所应用于的电子设备,可以参考前述产品实施例中的对应描述,在此不再赘述。
以上实施例仅为本发明的示例性实施例,不用于限制本发明,本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内,对本发明做出各种修改或等同替换,这种修改或等同替换也应视为落在本发明的保护范围内。

Claims (10)

1.一种眼睛瞳孔中心点的确定方法,所述方法包括:
通过第一传感器采集人眼瞳孔的第一参数;
通过第二传感器采集所述人眼瞳孔的第二参数;
基于所述第一参数和所述第二参数确定所述人眼瞳孔的中心点。
2.根据权利要求1所述的方法,其中,所述第一传感器与所述第二传感器不同;
其中,所述第一传感器为电子设备的色彩传感器,所述第二传感器为所述电子设备的红外传感器。
3.根据权利要求2所述的方法,其中所述基于所述第一参数和所述第二参数确定所述人眼瞳孔的中心点包括:
基于所述第一参数确定所述人眼瞳孔的第一中心点;
基于所述第二参数确定所述人眼瞳孔的第二中心点;
所述第一中心点与所述第二中心点满足预定条件时,基于预设规则确定所述人眼瞳孔的中心点。
4.根据权利要求1所述的方法,其中,所述方法还包括:
基于所述人眼瞳孔的中心点确定所述电子设备的显示输出区域中所对应的关注点。
5.根据权利要求4所述的方法,其中,所述显示输出区域显示有多个显示对象,每个显示对象占有所述显示输出区域的显示子区域;
所述方法还包括:
所述关注点位于第一显示子区域时,确定所述人眼所关注的为所述第一显示子区域对应的第一显示对象;
所述关注点未落入任何一个显示子区域时,基于容错机制确定所述人眼所关注的为第二显示对象。
6.根据权利要求5所述的方法,其中,所述基于容错机制确定所述人眼所关注的为第二显示对象包括:
判断与所述关注点距离最近的显示子区域,并确定该与所述关注点距离最近的显示子区域内的显示对象为第二显示对象。
7.根据权利要求5所述的方法,其中,所述还包括:
获得确认操作;
基于所述确认操作,调用与所述人眼所关注的显示对象。
8.一种电子设备,其应用如权利要求1-7中任意一项所述的一种眼睛瞳孔中心点的确定方法,并且所述电子设备包括:
第一传感器,其配置为采集人眼瞳孔的第一参数;
第二传感器,其配置为采集所述人眼瞳孔的第二参数;
处理器,其配置为基于所述第一参数和所述第二参数确定所述人眼瞳孔的中心点。
9.根据权利要求8所述的电子设备,其中,
所述处理器进一步配置为基于所述第一参数确定所述人眼瞳孔的第一中心点,以及基于所述第二参数确定所述人眼瞳孔的第二中心点;并且在所述第一中心点与所述第二中心点满足预定条件时,基于预设规则确定所述人眼瞳孔的中心点。
10.根据权利要求8所述的电子设备,其中,所述电子设备还包括:
显示器,其包括显示输出区域;
所述处理器进一步配置为基于所述人眼瞳孔的中心点确定所述显示输出区域中所对应的关注点。
CN201710875663.1A 2017-09-25 2017-09-25 一种眼睛瞳孔中心点的确定方法和电子设备 Pending CN107516093A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710875663.1A CN107516093A (zh) 2017-09-25 2017-09-25 一种眼睛瞳孔中心点的确定方法和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710875663.1A CN107516093A (zh) 2017-09-25 2017-09-25 一种眼睛瞳孔中心点的确定方法和电子设备

Publications (1)

Publication Number Publication Date
CN107516093A true CN107516093A (zh) 2017-12-26

Family

ID=60726616

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710875663.1A Pending CN107516093A (zh) 2017-09-25 2017-09-25 一种眼睛瞳孔中心点的确定方法和电子设备

Country Status (1)

Country Link
CN (1) CN107516093A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022257120A1 (zh) * 2021-06-11 2022-12-15 华为技术有限公司 瞳孔位置的确定方法、装置及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102323829A (zh) * 2011-07-29 2012-01-18 青岛海信电器股份有限公司 一种显示屏视角调整方法及显示设备
US20130282345A1 (en) * 2012-04-24 2013-10-24 Daniel J. McCulloch Context aware surface scanning and reconstruction
CN103838378A (zh) * 2014-03-13 2014-06-04 广东石油化工学院 一种基于瞳孔识别定位的头戴式眼睛操控系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102323829A (zh) * 2011-07-29 2012-01-18 青岛海信电器股份有限公司 一种显示屏视角调整方法及显示设备
US20130282345A1 (en) * 2012-04-24 2013-10-24 Daniel J. McCulloch Context aware surface scanning and reconstruction
CN103838378A (zh) * 2014-03-13 2014-06-04 广东石油化工学院 一种基于瞳孔识别定位的头戴式眼睛操控系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022257120A1 (zh) * 2021-06-11 2022-12-15 华为技术有限公司 瞳孔位置的确定方法、装置及系统

Similar Documents

Publication Publication Date Title
US10739202B2 (en) Smart device and method for controlling same
US11023038B2 (en) Line of sight detection adjustment unit and control method
JP6315354B2 (ja) タッチセンサにおける周波数変換
US20180157323A1 (en) Eye gaze determination
EP2724667B1 (en) Mobile apparatus with biosensors
EP2203982B1 (en) Detecting finger orientation on a touch-sensitive device
JP5658500B2 (ja) 情報処理装置及びその制御方法
US8581856B2 (en) Touch sensitive display apparatus using sensor input
US9122351B2 (en) Apparatus for detecting proximity of object near a touchscreen
US20150185857A1 (en) User interface method and apparatus based on spatial location recognition
CN108292448A (zh) 信息处理装置、信息处理方法和程序
CN109324659A (zh) 用于检测多屏幕设备的面向用户的屏幕的方法和装置
US20170300119A1 (en) Intra-oral imaging using operator interface with gesture recognition
JP2017507406A (ja) タッチセンス装置において軽減された感度で作動するための装置及び方法
CN105549856A (zh) 一种基于移动终端的指令输入方法及装置
EP2905680A1 (en) Information processing apparatus, information processing method, and program
KR20160101605A (ko) 제스처 입력 처리 방법 및 이를 지원하는 전자 장치
US20190302949A1 (en) Methods and systems for enhanced force-touch based gesture solutions
CN112716117A (zh) 智能手环及其控制方法
US20150077351A1 (en) Method and system for detecting touch on user terminal
CN104360817B (zh) 一种信息处理方法和电子设备
CN107516093A (zh) 一种眼睛瞳孔中心点的确定方法和电子设备
CN110174937A (zh) 注视信息控制操作的实现方法及装置
JP6000035B2 (ja) 情報処理装置、情報処理装置の制御方法、制御プログラム、および記録媒体
JP4088282B2 (ja) コンピュータ入力方法と装置

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171226

RJ01 Rejection of invention patent application after publication