CN112989964B - 一种眼球追踪模组性能的检测装置、检测系统及检测方法 - Google Patents

一种眼球追踪模组性能的检测装置、检测系统及检测方法 Download PDF

Info

Publication number
CN112989964B
CN112989964B CN202110209451.6A CN202110209451A CN112989964B CN 112989964 B CN112989964 B CN 112989964B CN 202110209451 A CN202110209451 A CN 202110209451A CN 112989964 B CN112989964 B CN 112989964B
Authority
CN
China
Prior art keywords
tracking module
led light
image
infrared
infrared led
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110209451.6A
Other languages
English (en)
Other versions
CN112989964A (zh
Inventor
翟霈
徐博
张兴鑫
董文华
赵国派
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Inc
Original Assignee
Goertek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Inc filed Critical Goertek Inc
Priority to CN202110209451.6A priority Critical patent/CN112989964B/zh
Publication of CN112989964A publication Critical patent/CN112989964A/zh
Application granted granted Critical
Publication of CN112989964B publication Critical patent/CN112989964B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination

Abstract

本申请公开了一种眼球追踪模组性能的检测装置、检测系统及检测方法。其中,该检测装置包括一用于固定眼球追踪模组的固定载台和正对固定载台设置的一红外反射板,该红外反射板包括圆形的第一区域和环绕在第一区域周边的第二区域。该检测系统包括上述的检测装置、眼球追踪模组和暗箱;眼球追踪模组包括红外摄像头和环绕红外摄像头均匀设置的红外LED光源,检测时,检测装置和眼球追踪模组设于暗箱内,眼球追踪模组安装在固定载台上,且眼球追踪模组的红外摄像头对准红外反射板的第一区域的中心。该检测方法利用上述的检测系统检测眼球追踪模组的红外LED光源能否正常关闭或打开,进而判断眼球追踪模组的性能是否合格。

Description

一种眼球追踪模组性能的检测装置、检测系统及检测方法
技术领域
本申请涉及眼球追踪领域,具体涉及一种眼球追踪模组性能的检测装置、检测系统及检测方法。
背景技术
眼球追踪技术广泛应用于新型VR、AR等各类电子产品中,眼球追踪模组一般由一个红外摄像头和一组红外发光二极管(Light Emitting Diode,LED)光源组成,用于对人眼的自动捕捉。红外摄像头和红外LED光源,作为眼球追踪模组的关键部件,性能是否良好至关重要。
现有技术中,针对眼球追踪模组的性能是否合格,对红外LED光源一般是使用工业相机或者相关光学传感器进行检测,而对红外摄像头,一般需要特质的红外图卡和红外光源进行检测。此类检测方法往往需要投入价格高昂的相机、光学传感器及相关检测图卡和光源,价格昂贵,设备复杂,检测效率低,设备调试难度较大。
发明内容
鉴于上述问题,提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的一种眼球追踪模组性能的检测装置、检测系统及检测方法。
依据本申请的一个方面,提供了一种眼球追踪模组性能的检测装置,所述检测装置包括一固定载台和正对所述固定载台设置的一红外反射板;
所述固定载台用于固定眼球追踪模组;
所述红外反射板包括圆形的第一区域和环绕在所述第一区域周边的第二区域,其中所述第一区域采用的是50%反射率的红外漫反射材料,所述第二区域采用的是红外吸收率大于96%的红外吸收材料。
依据本申请的另一个方面,提供了一种眼球追踪模组性能的检测系统,所述检测系统包括上述的检测装置、眼球追踪模组和暗箱;
所述眼球追踪模组包括红外摄像头和环绕所述红外摄像头均匀设置的红外LED光源;
所述检测装置和所述眼球追踪模组设于所述暗箱内,所述眼球追踪模组安装在所述固定载台上,且所述眼球追踪模组的红外摄像头对准所述红外反射板的第一区域的中心。
依据本申请的又一个方面,提供了一种眼球追踪模组性能的检测方法,利用上述的检测系统,所述检测方法包括:
获取所述眼球追踪模组在所有红外LED光源均关闭的情况下拍摄的第一图像,根据所述第一图像中特征区域的灰度均值,检测所述眼球追踪模组的红外LED光源是否存在无法正常关闭的情况;
获取所述眼球追踪模组在所有红外LED光源均打开的情况下拍摄的第二图像,以及所述第二图像中特征区域的灰度均值;
获取所述眼球追踪模组在所有红外LED光源均打开状态下依次关闭每个光源的情况下拍摄的多张第三图像,根据每张所述第三图像中特征区域的灰度均值相对于所述第二图像中特征区域的灰度均值的变化情况,检测所述眼球追踪模组的红外LED光源是否存在无法正常打开的情况。
可选地,所述根据所述第一图像中特征区域的灰度均值,检测所述眼球追踪模组的红外LED光源是否存在无法正常关闭的情况包括:
判断所述第一图像中每个特征区域的灰度均值是否大于第一灰度阈值,如果所述第一图像中存在灰度均值大于所述第一灰度阈值的特征区域,则确定该特征区域对应的光源无法正常关闭。
可选地,所述根据每张所述第三图像中特征区域的灰度均值相对于所述第二图像中特征区域的灰度均值的变化情况,检测所述眼球追踪模组的红外LED光源是否存在无法正常打开的情况包括:
将所述第二图像中每个特征区域的灰度均值设为对应光源的灰度初始值;
在某个光源被关闭时,确定关闭光源的灰度初始值与所述第三图像中的对应特征区域的灰度均值的差值,判断所述差值是否小于差值阈值,如果所述差值小于所述差值阈值,则确定所述关闭光源无法正常打开;如果所述差值不小于所述差值阈值,则确定所述关闭光源可以正常打开。
可选地,所述检测方法还包括:
确定所述第一图像中灰度值大于第二灰度阈值的像素的数量,如果所述数量不大于第一数量阈值,则确定所述眼球追踪模组的红外摄像头无亮点;如果所述数量大于所述第一数量阈值,则确定所述眼球追踪模组的红外摄像头有亮点。
可选地,所述检测方法还包括:
在所述眼球追踪模组的红外摄像头无亮点且所有红外LED光源均可正常关闭的情况下,获取所述眼球追踪模组在所有红外LED光源均打开的情况下拍摄的第二图像;
判断所述第二图像的圆周边缘的清晰度是否小于清晰度阈值,如果所述第二图像的圆周边界的清晰度小于所述清晰度阈值,则确定所述眼球追踪模组的红外摄像头的清晰度不足,如果所述第二图像的圆周边界的清晰度不小于所述清晰度阈值,则确定所述眼球追踪模组的红外摄像头的清晰度合格;
根据所述第二图像中所有特征区域的灰度均值情况确定出第三灰度阈值,依次判断所述第二图像中每个特征区域的灰度均值是否小于所述第三灰度阈值,如果存在小于所述第三灰度阈值的情况,则初步确定所述眼球追踪模组存在亮度不足的红外LED光源。
可选地,所述检测方法还包括:
对定位出的可以正常打开但亮度不足的红外LED光源,通过更换光源或调整光源亮度后再次打开所有的红外LED光源,获取所述眼球追踪模组在所有红外LED光源再次均打开的情况下拍摄的第四图像,根据所述第四图像中可以正常打开但亮度不足的红外LED光源对应的特征区域的灰度均值检测该红外LED光源的亮度是否充足,若亮度充足,则确定所述红外LED光源的亮度合格,若仍亮度不足,则确定所述红外LED光源的亮度不合格。
依据本申请的再一个方面,提供了一种电子设备,包括:处理器;以及被安排成存储计算机可执行指令的存储器,所述可执行指令在被所述处理器执行时,实现上述的眼球追踪模组性能的检测方法。
依据本申请的又再一个方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被处理器执行时,实现上述的眼球追踪模组性能的检测方法。
由上述可知,本申请的技术方案,通过利用包括检测装置的眼球追踪模组性能的检测系统,对眼球追踪模组在所有红外LED光源均关闭的情况下、在所有红外LED光源均打开的情况下以及在所有红外LED光源均打开状态下依次关闭一个光源的情况下拍摄的图像进行分析,检测眼球追踪模组的红外LED光源能否正常关闭或打开。本申请的技术方案通过特制的红外反射板即可以实现对眼球追踪模组的性能的检测,提高了检测效率,且设备简单,检测成本较低,有利于进行大批量产品检测。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本申请的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本申请一个实施例的一种眼球追踪模组性能的检测装置的结构示意图;
图2示出了根据本申请一个实施例的一种红外反射板的结构示意图;
图3示出了根据本申请一个实施例的一种眼球追踪模组性能的检测系统的结构示意图;
图4示出了根据本申请一个实施例的一种眼球追踪模组的结构示意图;
图5示出了根据本申请一个实施例的一种眼球追踪模组的反射示意图;
图6示出了根据本申请一个实施例的一种眼球追踪模组性能的检测方法的流程示意图;
图7示出了根据本申请一个实施例的第一图像的示意图;
图8示出了根据本申请一个实施例的第二图像的示意图;
图9示出了根据本申请一个实施例的另一种眼球追踪模组性能的检测方法的流程示意图;
图10示出了根据本申请一个实施例的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例,然而应当理解,可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本申请,并且能够将本申请的范围完整的传达给本领域的技术人员。
图1示出了根据本申请一个实施例的一种眼球追踪模组性能的检测装置的结构示意图,图2示出了根据本申请一个实施例的一种红外反射板的结构示意图。如图1所示,该检测装置100包括一固定载台110和正对该固定载台设置的一红外反射板120。其中,固定载台110用于固定眼球追踪模组。
如图2所示,红外反射板120包括圆形的第一区域201和环绕在第一区域周边的第二区域202,其中第一区域201采用的是50%反射率的红外漫反射材料,第二区域202采用的是红外吸收率大于96%的红外吸收材料。此种设计可以使拍摄的分析区域图像为较为规则的圆形,便于对红外LED光源的检测,避免不均匀造成的杂散光反射干扰计算。
图3示出了根据本申请一个实施例的一种眼球追踪模组性能的检测系统的结构示意图,图4示出了根据本申请一个实施例的一种眼球追踪模组的结构示意图,图5示出了根据本申请一个实施例的一种眼球追踪模组的反射示意图。如图3所示,该检测系统300包括眼球追踪模组310、暗箱320和上述检测装置100。
如图4所示,眼球追踪模组310包括红外摄像头401和环绕红外摄像头401均匀设置的红外LED光源402。红外LED光源402用于照亮人眼,红外摄像头401用于捕捉眼球轮廓,以便实现眼球追踪和中心对准。
检测时,将检测装置100和眼球追踪模组310设于暗箱320内,暗箱320内为全漆黑环境,将眼球追踪模组310安装在固定载台110上,并将眼球追踪模组310的红外摄像头401对准红外反射板120的第一区域201的中心。如图5所示,红外LED光源402照射到红外反射板120上,通过反射射入红外摄像头401中,红外摄像头401通过拍摄红外反射板120反射的画面,同步检测红外LED光源402和红外摄像头401的性能。
图6示出了根据本申请一个实施例的一种眼球追踪模组性能的检测方法的流程示意图。该检测方法利用如上所述的检测系统300,将待检测的眼球追踪模组安装在检测装置的固定载台上,并与检测装置一同设于暗箱内,将待检测的眼球追踪模组的红外摄像头对准红外反射板的第一区域的中心。如图6所示,该方法包括:
步骤S610,获取眼球追踪模组在所有红外LED光源均关闭的情况下拍摄的第一图像,根据第一图像中特征区域的灰度均值,检测眼球追踪模组的红外LED光源是否存在无法正常关闭的情况。
关闭待检测眼球追踪模组的所有红外LED光源,并拍摄照片,获得第一图像。图7示出了根据本申请一个实施例的第一图像的示意图,获得的第一图像如图7所示。获取第一图像中的每个特征区域的灰度均值,并设置第一灰度阈值,判断第一图像中每个特征区域的灰度均值是否大于第一灰度阈值,如果第一图像中存在灰度均值大于第一灰度阈值的特征区域,则确定该特征区域对应的光源无法正常关闭。如果第一图像中的每个特征区域的灰度均值均不大于第一灰度阈值,则所有红外LED光源均可以正常关闭。
步骤S620,获取眼球追踪模组在所有红外LED光源均打开的情况下拍摄的第二图像,以及第二图像中特征区域的灰度均值。
本实施例中,打开眼球追踪模组的所有红外LED光源和红外摄像头,对准红外反射板进行拍照,获得第二图像,并获取第二图像中每个特征区域的灰度均值。图8示出了根据本申请一个实施例的第二图像的示意图,获得的第二图像如图8所示。
步骤S630,获取眼球追踪模组在所有红外LED光源均打开状态下依次关闭每个光源的情况下拍摄的多张第三图像,根据每张第三图像中特征区域的灰度均值相对于第二图像中特征区域的灰度均值的变化情况,检测眼球追踪模组的红外LED光源是否存在无法正常打开的情况。
本实施例中,在步骤S620将所有红外LED光源均打开的情况下,依次关闭每个光源,并拍摄在每个光源依次关闭情况下的照片,获得多张第三图像。
将第二图像中每个特征区域的灰度均值设为对应光源的灰度初始值,在某个光源被关闭时,确定该关闭光源的灰度初始值与第三图像中的对应特征区域的灰度均值的差值,判断该差值是否小于差值阈值,如果该差值小于差值阈值,则确定关闭光源无法正常打开,如果该差值不小于差值阈值,则确定关闭光源可以正常打开,以此判断每个红外LED光源是否可以正常打开。
综上所述,本申请的技术方案,通过利用包括检测装置的眼球追踪模组性能的检测系统,对眼球追踪模组在所有红外LED光源均关闭的情况下、在所有红外LED光源均打开的情况下以及在所有红外LED光源均打开状态下依次关闭一个光源的情况下拍摄的图像进行分析,检测眼球追踪模组的红外LED光源能否正常关闭或打开。本申请的技术方案通过特制的红外反射板即可以实现对眼球追踪模组的性能的检测,提高了检测效率,且设备简单,检测成本较低,有利于进行大批量产品检测。
在本发明的一个实施例中,上述检测方法还包括:确定第一图像中灰度值大于第二灰度阈值的像素的数量,如果数量不大于第一数量阈值,则确定眼球追踪模组的红外摄像头无亮点;如果数量大于第一数量阈值,则确定眼球追踪模组的红外摄像头有亮点。
本实施例中,设置第二灰度阈值和第一数量阈值,确定第一图像中灰度值大于第二灰度阈值的像素的数量,并判断该数量是否大于第一数量阈值,如果数量大于第一数量阈值,则确定眼球追踪模组的红外摄像头有亮点,说明红外摄像头的芯片存在缺陷。
在本发明的一个实施例中,上述检测方法还包括:
在眼球追踪模组的红外摄像头无亮点且所有红外LED光源均可正常关闭的情况下,获取眼球追踪模组在所有红外LED光源均打开的情况下拍摄的第二图像;
判断第二图像的圆周边缘的清晰度是否小于清晰度阈值,如果第二图像的圆周边界的清晰度小于清晰度阈值,则确定眼球追踪模组的红外摄像头的清晰度不足,如果第二图像的圆周边界的清晰度不小于清晰度阈值,则确定眼球追踪模组的红外摄像头的清晰度合格;
依次判断第二图像中每个特征区域的灰度均值是否小于第三灰度阈值,如果存在小于第三灰度阈值的情况,则初步确定眼球追踪模组存在亮度不足的红外LED光源。
本实施例中,在眼球追踪模组的红外摄像头无亮点且所有红外LED光源均可正常关闭的情况下包括:通过前述方法判断眼球追踪模组的红外摄像头无亮点且所有红外LED光源均可正常关闭,或者虽然通过前述方法判断眼球追踪模组的红外摄像头有亮点或某些红外LED光源不能正常关闭,但通过更换或修理等方法使得眼球追踪模组的红外摄像头无亮点且所有红外LED光源均可正常关闭。
在眼球追踪模组的红外摄像头无亮点且所有红外LED光源均可正常关闭的情况下,打开眼球追踪模组的所有红外LED光源和红外摄像头,对准红外反射板进行拍照,获得第二图像,可以排除红外摄像头有亮点或红外LED光源不能正常关闭对清晰度和红外LED光源亮度是否充足的判断结果的影响。
本实施例中,判断第二图像的圆周边缘的清晰度是否小于清晰度阈值,可以通过将圆周边缘两侧的灰度均值的差值与清晰度阈值比较确定。
本实施例中,第三灰度阈值可以根据第二图像中所有特征区域的灰度均值情况确定,也可以由用户根据实际需要确定。
本实施例通过获取第二图像,并判断第二图像的圆周边缘的清晰度是否小于清晰度阈值,第二图像中每个特征区域的灰度均值是否小于第三灰度阈值,即实现了对红外摄像头清晰度和红外LED光源亮度是否充足的检测。
在本发明的一个实施例中,上述检测方法还包括:对定位出的可以正常打开但亮度不足的红外LED光源,通过更换光源或调整光源亮度后再次打开所有的红外LED光源,获取眼球追踪模组在所有红外LED光源再次均打开的情况下拍摄的第四图像,根据第四图像中可以正常打开但亮度不足的红外LED光源对应的特征区域的灰度均值检测该红外LED光源的亮度是否充足,若亮度充足,则确定红外LED光源的亮度合格,若仍亮度不足,则确定红外LED光源的亮度不合格。
本实施例通过对前述方法初步判断出的亮度不足的红外LED光源进行再次判断,可以保证判断的准确性,有效防止了误判的发生。
在本发明的一个实施例中,上述检测方法还包括:在确定所有红外LED光源的亮度均合格且均可正常打开和关闭、红外摄像头清晰度合格且无亮点的情况下,确定眼球追踪模组的性能合格。
综上所述,本申请的技术方案,使用一种特制的红外反射板对红外LED光源进行反射,通过对不同情况下拍摄的图像进行分析,检测眼球追踪模组的红外摄像头有无亮点、清晰度是否合格,以及检测眼球追踪模组的红外LED光源能否正常关闭和打开、亮度是否充足,并在确定所有红外LED光源的亮度均合格且均可正常打开和关闭、红外摄像头清晰度合格且无亮点的情况下的情况下,确定眼球追踪模组的性能合格。实现了对眼球追踪模组、红外摄像头和红外LED光源的整体性能的检测,提高了检测效率,且设备简单,检测成本较低,有利于进行大批量产品检测。
图9示出了根据本申请一个实施例的另一种眼球追踪模组性能的检测方法的流程示意图。如图9所示,该检测方法包括:
步骤901,将眼球追踪模组安装在固定载台上,并将眼球追踪模组的红外摄像头对准红外反射板的第一区域的中心,之后将安装好的眼球追踪模组放置在暗箱内,并进入步骤902。
步骤902,关闭所有红外LED光源,并使用红外摄像头拍照,得到第一图像,并进入步骤903。
步骤903,根据第一图像判断红外摄像头是否无亮点及红外LED光源能否正常关闭。
步骤903的具体判断手段如下:
获取第一图像中每个像素的灰度值,将每个像素的灰度值与第一灰度阈值进行比较,并统计第一图像中灰度值大于第一灰度阈值的像素的数量。如果数量为零,即第一图像中不存在灰度值大于第一灰度阈值的像素,说明该第一图像为全黑图像,则确定眼球追踪模组的红外摄像头可以正常拍照,且红外LED光源均可正常关闭;如果数量不为零,但不大于第一数量阈值,则确定眼球追踪模组的红外摄像头无亮点;如果数量大于第一数量阈值,则确定眼球追踪模组的红外摄像头有亮点,进入步骤910。其中,第一灰度阈值和第一数量阈值根据检测产品的实际情况设置。
计算第一图像中每个光源对应区域的灰度均值,并判断每个光源对应区域的灰度均值是否大于第二灰度阈值,如果第一图像中存在光源对应区域的灰度均值大于第二灰度阈值的情况,则确定对应光源无法正常关闭,进入步骤910。其中,第二灰度阈值根据检测产品的实际情况设置。
现举例说明,假设眼球追踪模组包括10个红外LED光源,该10个红外LED光源在第一图像中对应的区域分别用1,2,……,10进行标记,在所有红外LED光源均关闭的情况下拍摄的第一图像如图7所示。每个红外LED光源在第一图像中的对应区域的灰度均值如表1所示:
NO 灰度值均值
1 0
2 3
3 2
4 2
5 1
6 2
7 1
8 2
9 0
10 2
表1
假设第二灰度阈值设为5,根据表1中的灰度均值可以看出,每个红外LED光源在第一图像中的对应区域的灰度均值均小于第二灰度阈值,则说明每个红外LED光源均可以正常关闭。假设第二灰度阈值设为2,根据表1中的灰度均值可以看出,2号红外LED光源在第一图像中的对应区域的灰度均值大于第二灰度阈值,则说明2号红外LED光源无法正常关闭。
在通过步骤903确定眼球追踪模组的红外摄像头无亮点且所有红外LED光源均可正常关闭的情况下,才进入步骤904。
步骤904,打开所有红外LED光源,并使用红外摄像头拍照,得到第二图像,并进入步骤905。
步骤905,根据第二图像判断红外摄像头的清晰度是否合格及红外LED光源的亮度是否合格。
步骤905的具体判断手段如下:
设置圆周边缘的清晰度阈值,判断第二图像的圆周边缘的清晰度是否小于清晰度阈值,如果第二图像的圆周边界的清晰度小于清晰度阈值,则确定眼球追踪模组的红外摄像头的清晰度不合格,并进入步骤911;如果第二图像的圆周边界的清晰度不小于清晰度阈值,则确定眼球追踪模组的红外摄像头的清晰度合格,并进入步骤906。其中,第二图像的圆周边缘的清晰度可以理解为第二图像中圆周黑白边界的灰度值的差异值,如果该差异值达到清晰度阈值,则判断红外摄像头的清晰度合格,反之红外摄像头的清晰度不合格。
根据第二图像中所有光源对应区域的灰度均值情况确定出第三灰度阈值,依次判断第二图像中每个光源对应区域的灰度均值是否小于第三灰度阈值,如果存在小于第三灰度阈值的情况,则初步确定眼球追踪模组存在亮度不足的红外LED光源,并进入步骤911;如果不存在小于第三灰度阈值的情况,则确定眼球追踪模组不存在亮度不足的红外LED光源。
接上例继续举例说明,在所有红外LED光源均打开的情况下拍摄的第二图像如图8所示。图8中的每个红外LED光源,在第二图像中的对应区域的灰度均值如表2所示:
Figure BDA0002950777590000111
Figure BDA0002950777590000121
表2
假设第三灰度阈值设为50,根据表2中的灰度均值可以看出,8号红外LED光源在第二图像中的对应区域的灰度均值小于第三灰度阈值,则说明8号红外LED光源可能存在亮度不足的问题。
在通过步骤905确定眼球追踪模组的红外摄像头的清晰度合格的情况下,才进入步骤906。
步骤906,依次关闭每个红外LED光源,并使用红外摄像头拍照,得到多张第三图像,并进入步骤907。
步骤907,根据每张第三图像依次判断每个对应的关闭光源能否正常打开。
步骤907的具体判断手段如下:
将第二图像中每个光源对应区域的灰度均值设为对应区域的灰度初始值。在某个光源被关闭时,确定关闭光源的对应区域的灰度初始值与对应的第三图像中对应区域的灰度均值的差值,判断差值是否小于差值阈值,如果差值小于差值阈值,则确定关闭光源无法正常打开,并进入步骤912;如果差值不小于差值阈值,则确定关闭光源可以正常打开。其中,差值阈值根据检测产品的实际情况设置。
接上例,以依次关闭1号红外LED光源和2号红外LED光源为例进行说明。关闭1号红外LED光源时,第三图像中每个光源对应区域的灰度均值如表3所示:
Figure BDA0002950777590000122
Figure BDA0002950777590000131
表3
打开1号红外LED光源,关闭2号红外LED光源时,第三图像中每个光源对应区域的灰度均值如表4所示:
NO 灰度值均值
1 70
2 47
3 67
4 69
5 71
6 71
7 65
8 33
9 63
10 59
表4
分别关闭1号红外LED光源和2号红外LED光源时,关闭光源的对应区域的灰度初始值与对应的第三图像中对应区域的灰度均值的差值如表5所示:
Figure BDA0002950777590000141
表5
如果差值阈值设为25,则关闭1号红外LED光源和2号红外LED光源时,关闭光源的对应区域的灰度初始值与对应的第三图像中对应区域的灰度均值的差值均大于差值阈值,则说明1号红外LED光源和2号红外LED光源均能正常打开。
在所有红外LED光源的亮度均合格且均可正常打开的情况下,判断眼球追踪模组的性能合格。对进入步骤910、911和912的眼球追踪模组,则判断眼球追踪模组的性能不合格。
在眼球追踪模组的实际检测过程中,通过步骤905和步骤907的判断,可能会定位出可以正常打开但亮度不足的红外LED光源,针对这类红外LED光源还可以进行如下检测步骤:
步骤908,对亮度不足的红外LED光源,通过更换光源或调整光源亮度后再次打开所有的红外LED光源,获取眼球追踪模组在所有红外LED光源再次均打开的情况下拍摄的第四图像,并进入步骤909。
步骤909,根据第四图像中该光源对应区域的灰度均值检测该红外LED光源的亮度是否充足,若该光源的亮度充足,则判断眼球追踪模组的性能合格,若该光源的亮度仍不充足,则判断眼球追踪模组的性能不合格。
接上例继续说明,在步骤905中初步判断出8号红外LED光源亮度不足,如果通过步骤907确定8号红外LED光源不可以正常打开,则直接确定该眼球追踪模组的性能不合格,不再对8号红外LED光源的亮度是否充足进行进一步判断。如果通过步骤907确定8号红外LED光源可以正常打开,则进一步判断8号红外LED光源的亮度是否充足。
具体的,对8号红外LED光源进行调整或更换。通过更换光源或调整光源亮度后再次打开所有的红外LED光源,获取眼球追踪模组在所有红外LED光源再次均打开的情况下拍摄的第四图像,根据第四图像中8号光源对应区域的灰度均值检测该红外LED光源的亮度是否充足,将第四图像中8号光源对应区域的灰度均值与第三灰度阈值进行比较,如果仍小于第三灰度阈值,则确定该8号光源的亮度经调整后仍不合格,反之,则确定该8号光源的亮度经调整后合格。
例如,对8号光源调整后,第四图像中每个光源对应区域的灰度均值如
表6所示:
NO 灰度均值
1 76
2 78
3 73
4 71
5 74
6 76
7 71
8 78
9 73
10 74
表6
如表6所示,调整后8号光源的灰度均值为78,大于第三阈值50,则确定8号光源的亮度经调整后合格。
对可以正常打开但亮度不足的红外LED光源,通过更换光源或调整光源亮度后再次进行检测,既能够保证检测结果的准确性,还可以提高产品检测的合格通过率。
本实施例中,通过以上检测步骤的判断,如果待检测眼球追踪模组的所有红外LED光源均可正常打开且亮度充足,则确定该眼球追踪模组的性能合格。由于,步骤905是在确定眼球追踪模组的红外摄像头无亮点且所有红外LED光源均可正常关闭的情况下进行的,步骤907是在确定眼球追踪模组的红外摄像头的清晰度合格的情况下进行的,步骤909是对检测出的可以正常打开但亮度不足的红外LED光源的进一步检测,因此通过以上检测步骤的判断,如果待检测眼球追踪模组的所有红外LED光源均可正常打开且亮度充足,则可以确定该眼球追踪模组的性能合格。
至此,全部检测步骤执行完毕。
需要说明的是:
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述,构造这类装置所要求的结构是显而易见的。此外,本申请也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本申请的内容,并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本申请并帮助理解各个发明方面中的一个或多个,在上面对本申请的示例性实施例的描述中,本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本申请的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。本申请的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的眼球追踪模组性能的检测装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
例如,图10示出了根据本申请一个实施例的电子设备的结构示意图。请参考图10,在硬件层面,该电子设备包括存储器和处理器,可选地还包括接口模块、通信模块等。存储器可能包含内存,例如高速随机存取存储器(Random-Access Memory,RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器等。当然,该电子设备还可能包括其他业务所需要的硬件。
处理器、接口模块、通信模块和存储器可以通过内部总线相互连接,该内部总线可以是ISA(Industry Standard Architecture,工业标准体系结构)总线、PCI(PeripheralComponent Interconnect,外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture,扩展工业标准结构)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,图10中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
存储器,用于存放计算机可执行指令。存储器通过内部总线向处理器提供计算机可执行指令。
处理器,执行存储器所存放的计算机可执行指令,并具体用于实现以下操作:
获取眼球追踪模组在所有红外LED光源均关闭的情况下拍摄的第一图像,根据第一图像中特征区域的灰度均值,检测眼球追踪模组的红外LED光源是否存在无法正常关闭的情况;
获取眼球追踪模组在所有红外LED光源均打开的情况下拍摄的第二图像,以及第二图像中特征区域的灰度均值;
获取眼球追踪模组在所有红外LED光源均打开状态下依次关闭每个光源的情况下拍摄的多张第三图像,根据每张第三图像中特征区域的灰度均值相对于第二图像中特征区域的灰度均值的变化情况,检测眼球追踪模组的红外LED光源是否存在无法正常打开的情况。
上述如本申请图1所示实施例揭示的眼球追踪模组性能的检测装置执行的功能和如本申请图2所示实施例揭示的眼球追踪模组性能的检测系统执行的功能可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。该电子设备还可执行图6中眼球追踪模组性能的检测方法的步骤,并实现眼球追踪模组性能的检测方法在图1、图2所示实施例的功能,本申请实施例在此不再赘述。
本申请实施例还提出了一种计算机可读存储介质,该计算机可读存储介质存储一个或多个程序,该一个或多个程序当被处理器执行时,实现前述的图6中眼球追踪模组性能的检测方法。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种眼球追踪模组性能的检测方法,其特征在于,所述检测方法包括:
获取所述眼球追踪模组在所有红外LED光源均关闭的情况下拍摄的第一图像,根据所述第一图像中特征区域的灰度均值,检测所述眼球追踪模组的红外LED光源是否存在无法正常关闭的情况;
获取所述眼球追踪模组在所有红外LED光源均打开的情况下拍摄的第二图像,以及所述第二图像中特征区域的灰度均值;
获取所述眼球追踪模组在所有红外LED光源均打开状态下依次关闭每个光源的情况下拍摄的多张第三图像,根据每张所述第三图像中特征区域的灰度均值相对于所述第二图像中特征区域的灰度均值的变化情况,检测所述眼球追踪模组的红外LED光源是否存在无法正常打开的情况。
2.如权利要求1所述的检测方法,其特征在于,所述根据所述第一图像中特征区域的灰度均值,检测所述眼球追踪模组的红外LED光源是否存在无法正常关闭的情况包括:
判断所述第一图像中每个特征区域的灰度均值是否大于第一灰度阈值,如果所述第一图像中存在灰度均值大于所述第一灰度阈值的特征区域,则确定该特征区域对应的光源无法正常关闭。
3.如权利要求1所述的检测方法,其特征在于,所述根据每张所述第三图像中特征区域的灰度均值相对于所述第二图像中特征区域的灰度均值的变化情况,检测所述眼球追踪模组的红外LED光源是否存在无法正常打开的情况包括:
将所述第二图像中每个特征区域的灰度均值设为对应光源的灰度初始值;
在某个光源被关闭时,确定关闭光源的灰度初始值与所述第三图像中的对应特征区域的灰度均值的差值,判断所述差值是否小于差值阈值,如果所述差值小于所述差值阈值,则确定所述关闭光源无法正常打开;如果所述差值不小于所述差值阈值,则确定所述关闭光源可以正常打开。
4.如权利要求1所述的检测方法,其特征在于,所述检测方法还包括:
确定所述第一图像中灰度值大于第二灰度阈值的像素的数量,如果所述数量不大于第一数量阈值,则确定所述眼球追踪模组的红外摄像头无亮点;如果所述数量大于所述第一数量阈值,则确定所述眼球追踪模组的红外摄像头有亮点。
5.如权利要求4所述的检测方法,其特征在于,所述检测方法还包括:
在所述眼球追踪模组的红外摄像头无亮点且所有红外LED光源均可正常关闭的情况下,获取所述眼球追踪模组在所有红外LED光源均打开的情况下拍摄的第二图像;
判断所述第二图像的圆周边缘的清晰度是否小于清晰度阈值,如果所述第二图像的圆周边界的清晰度小于所述清晰度阈值,则确定所述眼球追踪模组的红外摄像头的清晰度不足,如果所述第二图像的圆周边界的清晰度不小于所述清晰度阈值,则确定所述眼球追踪模组的红外摄像头的清晰度合格;
根据所述第二图像中所有特征区域的灰度均值情况确定出第三灰度阈值,依次判断所述第二图像中每个特征区域的灰度均值是否小于所述第三灰度阈值,如果存在小于所述第三灰度阈值的情况,则初步确定所述眼球追踪模组存在亮度不足的红外LED光源。
6.如权利要求5所述的检测方法,其特征在于,所述检测方法还包括:
对定位出的可以正常打开但亮度不足的红外LED光源,通过更换光源或调整光源亮度后再次打开所有的红外LED光源,获取所述眼球追踪模组在所有红外LED光源再次均打开的情况下拍摄的第四图像,根据所述第四图像中可以正常打开但亮度不足的红外LED光源对应的特征区域的灰度均值检测该红外LED光源的亮度是否充足,若亮度充足,则确定所述红外LED光源的亮度合格,若仍亮度不足,则确定所述红外LED光源的亮度不合格。
7.一种眼球追踪模组性能的检测装置,其特征在于,所述检测装置包括一固定载台和正对所述固定载台设置的一红外反射板;
所述固定载台用于固定眼球追踪模组;
所述红外反射板包括圆形的第一区域和环绕在所述第一区域周边的第二区域,其中所述第一区域采用的是50%反射率的红外漫反射材料,所述第二区域采用的是红外吸收率大于96%的红外吸收材料;
所述检测装置应用于眼球追踪模组性能的检测系统,用于实现如权利要求1-6所述的方法。
8.一种眼球追踪模组性能的检测系统,其特征在于,所述检测系统包括如权利要求7所述的检测装置、眼球追踪模组和暗箱;
所述眼球追踪模组包括红外摄像头和环绕所述红外摄像头均匀设置的红外LED光源;
所述检测装置和所述眼球追踪模组设于所述暗箱内,所述眼球追踪模组安装在所述固定载台上,且所述眼球追踪模组的红外摄像头对准所述红外反射板的第一区域的中心;
所述检测系统用于实现如权利要求1-6所述的方法。
9.一种电子设备,包括:处理器;以及被安排成存储计算机可执行指令的存储器,其特征在于,所述可执行指令在被所述处理器执行时,实现所述权利要求1至6任一项所述的眼球追踪模组性能的检测方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被处理器执行时,实现所述权利要求1至6任一项所述的眼球追踪模组性能的检测方法。
CN202110209451.6A 2021-02-24 2021-02-24 一种眼球追踪模组性能的检测装置、检测系统及检测方法 Active CN112989964B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110209451.6A CN112989964B (zh) 2021-02-24 2021-02-24 一种眼球追踪模组性能的检测装置、检测系统及检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110209451.6A CN112989964B (zh) 2021-02-24 2021-02-24 一种眼球追踪模组性能的检测装置、检测系统及检测方法

Publications (2)

Publication Number Publication Date
CN112989964A CN112989964A (zh) 2021-06-18
CN112989964B true CN112989964B (zh) 2023-03-28

Family

ID=76350476

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110209451.6A Active CN112989964B (zh) 2021-02-24 2021-02-24 一种眼球追踪模组性能的检测装置、检测系统及检测方法

Country Status (1)

Country Link
CN (1) CN112989964B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110062168A (zh) * 2019-05-05 2019-07-26 北京七鑫易维信息技术有限公司 眼动追踪设备的拍摄参数调整方法、装置、设备及介质
CN110245607A (zh) * 2019-06-13 2019-09-17 Oppo广东移动通信有限公司 眼球追踪方法及相关产品

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998001303A1 (fr) * 1996-07-09 1998-01-15 Cycolor System Inc. Dispositif d'exposition, procede d'exposition et imprimante
WO2011040075A1 (ja) * 2009-09-30 2011-04-07 シャープ株式会社 表示方法および表示装置
CN104750232B (zh) * 2013-12-28 2017-12-29 华为技术有限公司 一种眼动跟踪方法及装置
CN207541417U (zh) * 2017-12-18 2018-06-26 苏州大学 一种能减少再现浪费信息的计算全息三维显示装置
CN108519824B (zh) * 2018-04-13 2021-02-05 京东方科技集团股份有限公司 一种虚拟现实显示装置、设备及视线角度计算方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110062168A (zh) * 2019-05-05 2019-07-26 北京七鑫易维信息技术有限公司 眼动追踪设备的拍摄参数调整方法、装置、设备及介质
CN110245607A (zh) * 2019-06-13 2019-09-17 Oppo广东移动通信有限公司 眼球追踪方法及相关产品

Also Published As

Publication number Publication date
CN112989964A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN110659660B (zh) 利用深度学习系统的自动光学检测分类设备及其训练设备
US11587219B2 (en) Method and apparatus for detecting pixel defect of optical module, and device
JP6945245B2 (ja) 外観検査装置
US6259827B1 (en) Machine vision methods for enhancing the contrast between an object and its background using multiple on-axis images
CN111627009A (zh) 一种屏幕检测方法、装置及头戴显示设备
US8503818B2 (en) Eye defect detection in international standards organization images
CN101464418B (zh) 缺陷检测方法以及缺陷检测装置
CN115147362A (zh) 显示器面板的检测方法、检测装置和检测系统
JP2004354250A (ja) 欠陥検査装置
CN114240877A (zh) 一种检测焊接质量的方法及装置
CN112989964B (zh) 一种眼球追踪模组性能的检测装置、检测系统及检测方法
CN105229665A (zh) 对基于图像的蛇形带子磨损评估的增强分析
JP2008014842A (ja) シミ欠陥検出方法及び装置
CN101995325A (zh) 一种图像传感器的外观检测方法及系统
CN112183158B (zh) 一种谷物烹饪设备的谷物种类识别方法和谷物烹饪设备
CN115479891A (zh) 基于图像识别的电路板载元器件自动检测系统和方法
KR20070101669A (ko) 마운팅 플레이트 어셈블리의 비전 검사장치 및 검사방법
KR102248673B1 (ko) 교통 신호의 식별 방법, 이를 이용하는 교통 신호 식별 장치 및 프로그램
JPH0862155A (ja) 物体観測装置
JP7362324B2 (ja) 画像表示装置の検査方法、製造方法及び検査装置
JP4967132B2 (ja) 対象物表面の欠陥検査方法
CN112987356A (zh) 液晶面板底部异物误检滤除方法及装置
CN111351754A (zh) 瓶底缺陷检测系统及方法
CN111598943A (zh) 基于书本辅助阅读设备的书本就位检测方法、装置及设备
CN117706815B (zh) 胶带上骑检测方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant