CN114502059A - 用于评估瞳孔反应的系统和方法 - Google Patents

用于评估瞳孔反应的系统和方法 Download PDF

Info

Publication number
CN114502059A
CN114502059A CN202080069026.5A CN202080069026A CN114502059A CN 114502059 A CN114502059 A CN 114502059A CN 202080069026 A CN202080069026 A CN 202080069026A CN 114502059 A CN114502059 A CN 114502059A
Authority
CN
China
Prior art keywords
pupil
user
image data
display
eyes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080069026.5A
Other languages
English (en)
Inventor
萨万·R·德瓦尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayer Trilling
Original Assignee
Bayer Trilling
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayer Trilling filed Critical Bayer Trilling
Publication of CN114502059A publication Critical patent/CN114502059A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0041Operational features thereof characterised by display arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/112Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring diameter of pupils
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • A61B3/15Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing
    • A61B3/152Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing for aligning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4845Toxicology, e.g. by detection of alcohol, drug or toxic products

Abstract

一种示例性系统在设备的同一侧设有显示器和摄像头。在一些实例中,所述系统可以利用用户的眼睑对瞳孔进行暗适应,并使用环境光和/或来自显示器的光来调节刺激,而不是使用闪光来提供所述刺激。前置显示器和前置摄像头的使用进一步允许所公开的系统在图像捕获期间控制环境光照条件,以确保在测量原始瞳孔反应时不会产生其它瞳孔刺激。

Description

用于评估瞳孔反应的系统和方法
相关申请的交叉引用
本申请要求于2019年8月28日提交的题为“用于评估瞳孔反应的系统和方法”的美国临时专利申请号62/892,977的优先权和权益,其全部内容通过引用并入本文。
技术领域
本公开涉及用于测量和分析瞳孔反应及其特征和指标的系统和方法。
背景技术
响应于各种外部(如,光)和内部(如,认知/情感)刺激,瞳孔进行缩小和扩大。为评估生理和行为健康等许多方面,对瞳孔反应,如瞳孔对光反射(“PLR”)进行评估。常规的测量方法使用瞳孔计进行测量。瞳孔计价格昂贵,高达4,500美元,主要用于医疗环境,且必须由经过培训的临床医生使用。其它常规测量使用笔形电筒进行检查,临床医生将笔形电筒对准患者的眼睛并观察瞳孔的反应。
发明内容
以上检查易执行,但在质量上有很大的缺陷,包括缺乏标准化、需要专业培训、不同测量操作员在不同时间进行测量的差异、以及观察者之间的可靠性或再现性差。笔形电筒检查通常用于紧急急救情况,在这种情况下,优先考虑快速、粗略的评估、易使用性和便利性,而不是精确度。此外,即使是半自动的用于测量瞳孔反应的常规方法,也需要新的或外部物理硬件,以满足以下任一或全部条件:(1)适当的环境光照条件,(2)由移动设备显示器的正面引导的面部/眼部的正确对齐,(3)充分的瞳孔反应刺激,和/或(4)充分的执行外部图像处理/特征提取的处理能力。
常规的瞳孔测量系统除了具有上述缺点外,这些设备使用可见光作为刺激源,然后使用可见光作为光照源进行图像捕获。在一些实例中,使用可见光谱对刺激后的瞳孔进行测量,可能会导致意外的瞳孔反应,这类似于物理学中的“观察者效应”,即对某个现象的观察导致这种现象不可避免地发生改变,这通常是仪器导致的结果,因为这些仪器必然会以某种方式改变其测量的现象的状态。此外,常规系统需要:(1)提供充足的光刺激以产生瞳孔-虹膜分割所需的高对比度,以及(2)提供中等至充足的光照条件以照亮面部并进行充分的图像捕获。
最后,使用这些常规方法,通常仅在疾病出现急性症状或逐渐发展后才发现疾病发生的迹象,而此阶段可能已错过了疾病的最可治疗阶段。
本公开的多个实例的目的在于提供一种用于评估瞳孔对光反射的系统,包括要求用户闭合并打开眼睑以传递光刺激的系统。所述系统包括移动设备、摄像头、显示器、处理器和存储器。所述移动设备包括正面和背面。所述摄像头和显示器位于所述移动设备的正面。所述存储器包括可由所述处理器或一个或多个处理器或服务器执行的多个代码段。所述多个代码段包括一系列指令。在一些实例中,所述指令用于由所述显示器发射至少一种可见光刺激。然后,所述指令用于从所述摄像头接收用户的至少一只眼睛对应的图像数据。接着,所述指令用于对所述图像数据进行处理以识别至少一个瞳孔特征。然后,所述指令用于基于所述至少一个瞳孔特征确定健康状况。
在一些实例中,所述指令还用于在所述显示器上输出所述健康状况。
在一些实例中,所述图像数据的处理以识别至少一个瞳孔特征包括:预处理接收到的图像数据。
在一些实例中,所述基于接收到的图像数据以识别至少一个瞳孔特征包括:分割接收到的图像数据,以确定瞳孔对应的第一数据部分和虹膜对应的第二数据部分。
在一些实例中,所述至少一个瞳孔特征包括以下至少一个:瞳孔反应潜伏期、缩小潜伏期、最大缩小速度、平均缩小速度、最小瞳孔直径、扩大速度、75%恢复时间、平均瞳孔直径、最大瞳孔直径、缩小幅度、缩小比率、瞳孔逃避、基线瞳孔幅度、光照后瞳孔反应及其任意组合。
在一些实例中,所述基于至少一个瞳孔特征确定健康状况还包括:(1)确定所述至少一个瞳孔特征与相应的健康瞳孔测量值之间的差异,以及(2)基于确定的所述至少一个瞳孔特征的差异确定健康状况。例如,所述处理器检索的相应的健康瞳孔测量值来自一外部测量值数据库。
在一些实例中,由所述显示器发射至少一个可见光刺激包括:(1)当显示器不提供光刺激时接收眼睛的第一图像数据,(2)基于所述第一图像数据确定要提供的光通量的量,(3)确定显示器的一个区域以输出确定的光通量的量,以及(4)在显示器的确定区域上输出确定的光通量的量。在一些实例中,在输出所述光通量之后接收眼睛的第二图像数据。在一些实例中,基于所述第二图像数据调整输出的光通量。
在一些实例中,所述指令还用于基于接收到的图像数据来标记第一瞳孔反应。然后接收第二图像数据。然后,所述指令用于基于所述第二图像数据确定光照条件的变化。然后标记第二瞳孔反应。
在一些实例中,所述指令用于在显示器上显示用户应该闭上眼睛的指示。这可能包括在预定时间量内闭上眼睛的指令。在其它实例中,可能包括等待提示音或振动以使用户睁开眼睛的指令。然后,所述系统可以从所述摄像头接收用户的至少一只眼睛对应的图像数据。在一些实例中,所述系统可以通过处理图像数据以确定是否或何时用户睁开眼睛(例如,通过识别图像中的瞳孔或虹膜)。然后,所述系统可以基于所述至少一个瞳孔特征确定用户的健康状况,并将其显示在所述显示器上。
在一些实例中,给用户的指令可以是在显示器上显示的基于文本的消息指示。在其它实例中,系统可向用户发出闭眼的音频指令。在其它实例中,系统可向用户发出不基于文本消息的其它视觉指示。
本公开还提供一种用于评估瞳孔对光反射的示例性方法。所述方法包括由所述显示器发射至少一种可见光刺激。所述方法还包括从所述摄像头接收用户眼睛对应的图像数据。所述方法还包括处理所述图像数据以识别至少一个瞳孔特征。然后,所述方法包括基于所述至少一个瞳孔特征来确定健康状况。所述方法的其它实例如上文关于示例性系统所述。
本公开还提供了一种包括机器可执行代码的非暂时性机器可读介质。当由至少一台机器执行时,所述机器可执行代码使所述机器通过所述显示器发出至少一种可见光刺激。然后,所述代码用于从所述摄像头接收与用户眼睛对应的图像数据。所述代码然后用于图像数据的处理以识别至少一个瞳孔特征。所述代码然后用于基于所述至少一个瞳孔特征来确定健康状况。所述代码的其它实例如上文关于示例性系统所述。
在另一个示例性实施例中,本公开提供了另一种用于评估瞳孔对光反射的系统。所述系统包括硬件设备、摄像头、显示器、处理器和存储器。所述硬件设备包括正面和背面;所述摄像头和显示器位于所述硬件设备的正面。所述存储器包括可由所述处理器执行的多个代码段。所述代码段包括用于使所述显示器发出至少一种视觉刺激的指令。所述指令进一步用于通过一红外发射设备发射至少一种不可见光。然后,所述指令用于从所述摄像头或一红外探测器接收用户眼睛对应的图像数据。接着,所述指令用于对所述图像数据进行处理以识别至少一个瞳孔特征。然后,所述指令用于基于所述至少一个瞳孔特征确定健康状况。
在一些实例中,所述不可见光发射的波长在700至1000纳米之间。在一些实例中,所述不可见光发射的波长包括远红外波长。
在一些实例中,所述摄像头是红外摄像头。
在一些实例中,所述基于接收到的图像数据以识别至少一个瞳孔特征包括:(1)确定接收到的图像数据的图像对比度,(2)确定所述图像对比度低于一阈值对比度水平,以及(3)在所述显示器上输出让用户在光线较暗的位置提供第二图像数据的提示。例如,所述至少一个瞳孔特征是基于所述第二图像数据确定的。
在一些实例中,所述至少一个瞳孔特征包括以下至少一个:瞳孔反应潜伏期、缩小潜伏期、最大缩小速度、平均缩小速度、最小瞳孔直径、扩大速度、75%恢复时间、平均瞳孔直径、最大瞳孔直径、缩小幅度、缩小比率、瞳孔逃避、基线瞳孔幅度、光照后瞳孔反应及其任意组合。
在一些实例中,所述基于接收到的图像数据以识别至少一个瞳孔特征还包括:分割接收到的图像数据,以确定瞳孔对应的数据部分和虹膜对应的数据部分。
在一些实例中,所述硬件设备为耳机。
在一些实例中,所述硬件设备为智能手机。
以上内容并不旨在代表本公开的每个实施例或每个方面。相反,前述内容仅提供本文阐述的一些新颖方面和特征的实例。结合附图和所附权利要求,下文通过对代表性实施例和实施本发明的方式进行详细描述,可以清楚地了解本公开的上述特征和优点,及其它特征和优点。
附图说明
附图举例说明了本发明的实施例,并与说明书共同用于解释和阐述本发明的原理。附图旨在以图解方式阐述示例性实施例的主要特征。附图并非旨在示实际实施例的每个特征或所示元素的相对尺寸,并且未按比例绘制。
图1示出了根据本公开的一些实施方式的示例性系统100。
图2示出了根据本公开的一些实施方式,用于测量瞳孔反应的示例性系统200。
图3示出了根据本公开的一些实施方式,用于识别和分析瞳孔特征的示例性方法300。
图4A示出了根据本公开的一些实施方式的示例性瞳孔反应,所述瞳孔反应被分成各子阶段。
图4B示出了根据本公开的一些实施方式,在健康和不健康受试者之间比较的示例性瞳孔反应。
图5示出了根据本公开的一些实施方式的平均瞳孔反应测量结果。
图6A示出了根据本公开的一些实施方式,对认知负荷的示例性瞳孔反应。
图6B示出了根据本公开的一些实施方式,对认知负荷的示例性瞳孔反应。
图7示出了根据本公开的一些实施方式,随轻度认知障碍变化的示例性瞳孔反应。
图8示出了根据本公开的一些实施方式的示例性瞳孔分割方法。
图9示出了根据本公开的一些实施方式的示例性红眼反射。
图10示出了根据本公开的一些实施方式的示例性角膜光反射。
图11示出了根据本公开的一些实施方式的示例性瞳孔缩小。
图12示出了根据本公开的一些实施方式,自动检测适当光照和空间定向的示例性软件应用实施方式。
图13示出了根据本公开的一些实施方式的示例性眼睛边界检测。
图14示出了根据本公开的一些实施方式,用于确定光通量的示例性方法。
图15示出了根据本公开的一些实施方式,用于识别第二瞳孔反应的示例性方法。
图16示出了根据本公开的一些实施方式,利用不可见光测量瞳孔反应的示例性方法。
图17示出了根据本公开的一些实施方式,用于确定适当图像对比度的示例性方法。
图18示出了根据本公开的一些实施方式,在可见光和不可见光下比较的瞳孔虹膜分割的示例性资料。
图19示出了根据本公开的一些实施方式的示例性虹膜识别。
图20示出了根据本公开的一些实施方式,在识别巩膜时的示例性标准化资料。
图21示出了根据本公开的一些实施方式,利用眼睑介入的刺激来测量瞳孔反应的示例性方法。
图22A示出了根据本公开的一些实施方式,在摄入酒精和咖啡后的PLR数据,其显示了对左瞳孔运动的某些指标的影响。
图22B示出了根据本公开的一些实施方式,在摄入酒精和咖啡后的PLR数据,其显示了对右瞳孔运动的某些指标的影响。
图23A示出了根据本公开的一些实施方式,在摄入酒精、抗组胺药、阿片类镇痛药和咖啡后的PLR数据,其显示了对左瞳孔运动的某些指标的影响。
图23B示出了根据本公开的一些实施方式,在摄入酒精、抗组胺药、阿片类镇痛药和咖啡后的PLR数据,其显示了对右瞳孔运动的某些指标的影响。
图24A示出了根据本公开的一些实施方式,在饮酒和早晨身体伸展后的PLR数据,其显示了对左瞳孔运动的某些指标的影响。
图24B示出了根据本公开的一些实施方式,在饮酒和早晨身体伸展后的PLR数据,其显示了对右瞳孔运动的某些指标的影响。
具体实施方式
参考附图,对本发明进行了说明。在所有附图中,使用相同的标号来表示相似或相同的元素。附图未按比例绘制,仅用于阐述本发明。下面参考实例应用,对本发明的几个方面进行了描述以进行阐述。应当理解,为了全面了解本发明,对大量具体细节、关系和方法进行了阐述。然而,对于相关领域的普通技术人员来说,很容易认识到可以在缺乏一个或多个具体细节的情况下,或通过其它方法,来实施本发明。在其它情况下,为避免混淆本发明,没有对已知结构或操作进行详细说明。本发明不限于所阐述的操作或事件的顺序,因为一些操作可能以不同的顺序发生,和/或与其它操作或事件同时发生。此外,对于实施根据本发明的方法来说,并非所有阐述的操作或事件是必需的。
概述
本公开涉及测量瞳孔反应的系统和方法。例如,在一些实例中,系统可以利用用户的眼睑使瞳孔暗适应,并使用环境光来调节刺激(此处为“眼睑介入的反应”或“EMD”),而不是使用闪光或显示器的刺激。因此,当用户闭上眼睑时,瞳孔经历会黑暗适应过程,使瞳孔习惯于黑暗,进而有效地扩大瞳孔。在提供/允许光刺激(例如,用户睁开眼睛)之前,将上述结果作为基线,从而在一些实例中(例如,无需使用移动设备背面的闪光灯),有利于潜伏期及其它特征的测量,且无需单独提供基于光的刺激使瞳孔缩小,因此允许用户使用前置摄像头。
例如,在本实例中,系统可以显示指令让用户闭眼一段预定的时间量,或者直到听到提示音或感觉到振动时再睁眼。这项操作非常有利,因为本发明人已经证明,在用户摄入酒精或其它药物后,当用户闭眼和睁眼(从而允许房间内的所有环境光进入眼睛)时,进入用户眼睛的光之间的对比度足以引发瞳孔反射并检测瞳孔反射的差异。
在另一个示例性系统中,在设备的同一侧设置显示器和摄像头。所述显示器提供可见光刺激,以刺激用户的眼睛并促进瞳孔反射。所述摄像头同时接收瞳孔反射的图像数据。因此,根据本公开的示例性设备可以提供比当前系统和方法更可扩展、可使用、可负担和方便、和更准确、客观和定量的系统,用户可以在有或没有健康专业人员或非健康专业人员的情况下进行使用。例如,在先前的系统中,已尝试使用智能手机背面的后置摄像头和闪光灯来测量瞳孔对光反射,但用户无法使用该系统自行测量本身的PLR,因此需要第二个测量操作员,从而导致由多个测量操作员引起的潜在的不一致的纵向测量结果。然而,现有系统并未尝试使用前置摄像头,因为移动设备的前部不包括闪光灯,因此无法产生刺激来引发瞳孔对光反射。
因此,基于本文描述的方法和特征,发现智能手机或相似设备前面的显示器可用于提供刺激。此发现非常有利,因为使用前置摄像头和显示器允许用户使用智能手机或其它相关设备,对瞳孔对光反射进行更准确的多次测量。由此,使得所公开的系统更具可扩展性,因为它具有更可负担、更易于使用等特点。例如,由于显示器也位于设备的正面,用户可以正确地对齐双眼,而无需其他人的帮助。因无需其他人员进行测量,使得用户可频繁地进行测量。从而,所述系统使用户可更频繁地收集数据,并获得有关其健康状况的纵向数据(单次测量结果可能不足以识别需要纵向数据的某些情况,例如建立基线和与基线的偏差)。此外,利用显示器提供刺激,可使系统在可显示的强度和颜色范围一定的情况下,使刺激具有更精确的控制和可变性。最后,在使用红外检测的一些实施例中,所述系统尤为有利,因为红外检测使眼睛能产生充分的瞳孔反应,而测量光不会引起瞳孔的二次反应,这一点很重要,因为显示器的最大强度低于背面闪光灯,而二次反应可能会导致无法记录充分的瞳孔对光反射。在一些实例中,所公开的系统包括智能手机或其它手持计算设备。通过这样的系统可进行频繁和准确的数据收集,从而产生有关用户健康的重要的量化数据。在一些实例中,如下文所述,本公开实现纵向健康数据的收集,并用于为用户创建基线瞳孔指标测量结果。因此,本公开提供了诊断前、创伤前和/或疾病前的测量结果,其可用于监测疾病、和/或监测创伤进展、和/或建立个人的纵向健康基线。
在一些实例中,可见刺激产生充分的光子能量以导致完全的瞳孔反射。示例性方法还包括在达到光强度阈值之前收集数据,以及确定随影响瞳孔反应的其它因素而变化的瞳孔指标。通过使用前置显示器和前置摄像头,使所公开的系统在图像捕获期间能控制环境光照条件,以确保在测量第一有意瞳孔反应时,不会引发二次意外瞳孔反应。在一些实例中,示例性方法包括检测环境光水平,以清楚环境光水平对检测到的瞳孔指标的影响。在一些实例中,在达到光强度阈值之前收集的数据,可为用户的瞳孔指标提供基线值。
本公开的一些实例还提出使用可见光刺激来照亮面部,然后使用不可见发射光来进行图像捕获。使用不可见光可以避免以外的刺激反射对数据造成混淆。此外,由于要求光刺激强度和环境光照条件之间具有高对比度,以引发瞳孔对光反射,在一些实例中,在昏暗的条件下进行评估更为有利。然而,在一些实例中,在光线昏暗的区域进行评估存在一个问题,因为黑暗的房间可能会干扰图像捕获,从而无法获得高质量的眼睛图像。例如,瞳孔和虹膜成份之间的对比度通常很小,特别是在具有较高色素沉着或虹膜颜色较深的个体中。将这两个特征加以区分,对正确分割特征以进行提取和指标计算来说至关重要。红外摄像头或其它红外硬件可实现高分辨率的瞳孔图像以进行有效的特征分割。
测量瞳孔指标的系统
图1示出了根据本公开的一些实施方式的示例性系统100。在一些实例中,系统100为智能电话、智能手表、平板电脑、计算设备、头戴设备、耳机、虚拟现实设备、增强现实设备、或能够接收和解释物理信号的任何其它设备。系统100包括外壳110、显示器112、摄像头114、扬声器118、振动电机120和传感器116。图1示出了系统100的正面。该系统还可包括位于外壳110背面的摄像头114(未示出)。
外壳110为显示器112、摄像头114、扬声器118、振动电机120和传感器116提供壳体。外壳110还包括系统100的任何计算组件(未示出),如处理器、存储器、无线通信元件、和本领域技术人员容易想到的任何其它元件。所述计算组件还包括用于实现下文所述过程的软件。
显示器112,例如,为智能手机、智能手表、光学耳机或任何其它设备的屏幕。在一些实例中,显示器112为LCD屏幕、OLED屏幕、LED屏幕或本领域已知的任何其它类型的电子显示器,用以显示图像、文本或其它类型的图形。例如,所述屏幕设有多个发光二极管或其它用于产生多个像素的装置。每个像素显示一个光刺激。
显示器112用于发射可见光。在一些实例中,显示器112在其一部分表面区域上发光。在其它实例中,显示器112在其所有表面区域上发光。显示器112发出的光可被控制为自动发光,并可增加或减少可见刺激。在一些实例中,显示器112显示摄像头114捕获的图像数据。显示器112还可向用户显示文本和消息。在一些实例中,显示器112可显示摄像头114输出的图像数据的实时馈送。
一个或多个摄像头114接收其前方视场的图像数据。在一些实例中,摄像头114接收照片和/或视频数据。在一些实例中,摄像头114接收连续的照片数据(例如,以秒、毫秒或微秒为间隔)。在一些实例中,摄像头114为可见光摄像头。在一些实例中,摄像头114为红外摄像头且包括红外光发射器。在一些实例中,摄像头114基于检测到特定刺激(如,用户的面部、用户的眼睛、用户的瞳孔、和/或用户的虹膜),自动启动图像数据捕获。在一些实例中,摄像头114为多摄像头。
传感器116包括,例如,光传感器、接近传感器、环境传感器和/或红外传感器中的任何一个。在一些实例中,传感器116通信地连接至摄像头114,且用于启动和/或终止摄像头114捕获图像数据。如图所示,传感器116与摄像头114位于系统100的同一侧。在一些实例中,传感器116设置于靠近摄像头114的位置。
图2示出了根据本公开的一些实施方式,用于接收用户面部的图像数据的示例性系统200。系统200包括系统100、摄像头114、用户眼睛202、用户头部204和摄像头视场206。系统100和摄像头114可参考图1如上文所述。图2示出了可将系统100定位,以使摄像头114面向用户204。例如,用户204的眼睛202可以在摄像头206的视场中。当用户204将系统100定位在其面前时,可执行本公开的各种实施例。
分析瞳孔反应的方法
瞳孔对光反射(PLR)描述了瞳孔对光反应进行的缩小和随后的扩大,其可作为自主神经系统功能的重要指标。PLR的测量结果可用作神经系统(以及可能的其它系统)中各种神经系统通路异常的指标,并用于随后的疾病检测。如本文所述,“健康状况”可以包括瞳孔对光反射的测量结果。
例如,酗酒、季节性情感障碍、精神分裂症和广泛性焦虑症等心理健康障碍、阿尔茨海默病和帕金森病、自闭症谱系障碍、以及与糖尿病相关的青光眼和自主神经病变都可能导致PLR异常。在下文描述的方法中,描述了通过使用智能手机或类似设备,对PLR的一个组份进行测量。在一些实施例中,所述智能手机不仅可以捕获用于测量PLR的表型数据,还可以在本地实时地处理数据。类似地,也可能在本地处理从眼部/面部测得的其它可量化特征的提取结果(如巩膜颜色和沉积物密度)。因此,可以更好地保存用户的隐私,并可以减少测量的时间。所述方法和系统还可用于计算动态改变的瞳孔直径。该方法和系统可以生成更稳定的基线,在该基线上检测实时检测统计偏差。这种偏差可能是生理系统异常的征兆,由此产生测量值的变化。
本文描述的PLR测量结果可以在时间和空间上与其它测量结果联合,包括但不限于:在屏幕上投射“眨眼”一词,由用户阅读,并通过运动皮层进行神经元处理后,用户的眨眼速度的自主反射导致的可测量的单眼或双眼的眨眼变化(可作为自主神经系统通路中发生的生理变化的测量结果)、巩膜(眼白颜色梯度变为红色或黄色)、其它眼睛特征以及虹膜和角膜环(例如胆固醇沉积和心血管风险)、以及从面部/眼睛中提取的其它测量特征。这些特征可以由用户在空间和时间可及的范围内测量,产生更有效的用户体验,并且可以在用户的生活环境(例如家庭或非医疗场所)里进行定量和纵向(始终)测量并建立基线,具有便捷、可负担性和可用性等特点。如本文所述,这些数据在用于医疗环境之前,可作为对各种生理系统(例如神经系统、心脏系统等)的初步了解,具有数量大、统计意义显著的特点。
图3示出了可以根据本公开的各种实施例执行的示例性方法300。方法300可以在参考图1和2所述的系统100和200上执行。在一些实例中,方法300是在黑暗的房间、昏暗的房间、具有自然光的房间或任何其它环境中执行的。在一些实例中,方法300,例如,是在外部变量(如,光)最小且可控时,由用户在晚上或睡前重复执行的。
在一些实例中,方法300从310开始,通过由显示器(例如,图1的显示器112或传感器116)发射可见光刺激,或者,通过在显示器上显示指示来提供光刺激,指示用户应该闭上双眼一段预定时间量。所述光刺激,例如,会导致瞳孔缩小。在一些实例中,瞳孔缩小的程度随着可见光刺激和环境光水平之间的对比度增加而增加。所提供的可见光刺激的量可由图4的方法1400确定,如下文所述。
在310的一些实例中,当检测到用户的面部(如,图2中的用户204)处于适当的空间距离时,摄像头(如,图1中的系统100的摄像头114)自动发射可见光刺激。在其它实例中,当检测到用户面部时,屏幕可以向用户显示闭上眼睛的消息。在一些实例中,显示器先发出一个即将出现显示器光刺激的通知。例如,在图12中,显示器可以显示实时捕获的用户面部的图像数据,并提供用户特征已被正确地检测到的视觉图形。在一些实例中,显示器为图1中的显示器112。例如,可以在用户的眼睛或鼻子上显示圆圈1202。如图13所示,显示器显示了用户眼、口和鼻的示例性边界框。
参考图3,在一些实例中,310首先检测瞳孔。如果未检测到瞳孔,则通知用户环境设置不满足方法300的标准。
然后,方法300在320接收用户眼部对应的图像数据。示例性图像数据包括视频和/或照片数据。在一些实例中,所述图像数据是在一段时间内被收集(例如,由图1的摄像头114收集)。在一些实例中,视频的录制速度为30-60帧/秒,或更高的帧速率。在320的一些实例中,由摄像头产生一组静止图像。在320的一些实例中,所捕获的图像数据为灰度视频/图像集,或者在被接收后转换为灰度。
在320的一些实例中,包括某些视觉刺激,如红眼反射、瞳孔反应、虹膜和巩膜数据、眼跟踪数据和皮肤数据。
然后,方法300在330继续处理图像数据以识别瞳孔特征。
在330的一些实例中,首先预处理接收到的图像数据以过滤数据。下文将进一步讨论示例性类型的数据预处理。在用于预处理数据的简要示例性协议中,320的图像数据通过裁剪和过滤以获得图像的一个区域。例如,根据设置的亮度、颜色和饱和度的阈值,对图像进行过滤。然后,将图像数据转换为灰度以提高瞳孔和虹膜之间的对比度,并划分瞳孔-虹膜边界。在330的一些实例中,进行形状分析,以基于预选的圆度阈值过滤图像数据。例如,扫描像素的轮廓和凸形以进行形状分析。在330的一些实例中,将基线图像与在320中的接收到的图像数据进行对比以帮助进行预处理。
在一些实例中,330还用于确定在图像数据中检测到的瞳孔和虹膜区域的表面面积。例如,通过评估每个图像的经过时间,成像分析软件算法确定一系列记录图像的瞳孔大小参数,以确定瞳孔大小随时间变化的速率。
在一些实例中,可选地,在330将识别信息从传感器数据中去除。换句话说,可以从原始图像数据中提取最相关、最感兴趣的主要表型特征。示例性特征包括:瞳孔速度(如大小和方向)、巩膜颜色、组织炎症的测量结果和/或其它特征。在从基础原始数据中提取相关指标后,这些特征可以表示为标量数。不使用可识别的用户图像。
在一些实例中,330确定是否需要其它数据。例如,在显示器上显示警示,以识别所需的测量结果类型,以及用于获取适当类型的测量结果的用户指令。
在330的一些实例中,特征包括:(1)瞳孔反应潜伏期,包括测得的瞳孔对光刺激做出反应的时间,例如,以毫秒为单位;(2)最大直径,即观察到的最大瞳孔直径;(3)最大缩小速度(MCV),即在缩小期间观察到的最大速度;(4)平均缩小速度(ACV),即在整个缩小期间观察到的平均速度;(5)最小瞳孔直径,即观察到的最小直径;(6)扩大速度,即在整个扩大期内观察到的平均速度;(7)75%恢复时间,即瞳孔达到其初始直径值的75%的时间;(8)平均直径,即在各个时间测得的所有直径的平均值;(9)瞳孔逃避;(10)基线瞳孔幅度;(11)光照后瞳孔反应;(12)最大瞳孔直径;(13)本领域已知的任何其它瞳孔反应测量值;以及(14)其任意组合。在330的一些实例中,确定了虹膜的类似指标。
例如,缩小潜伏期的测量方法为缩小(时间闪光)-缩小(时间初始)。例如,缩小速度是瞳孔缩小速率的测量值,以毫米/秒为单位。例如,缩小幅度的测量方法为(光照前的直径最大值)-(光照后的直径最小值)。例如,通过将直径最大值的比率作为缩小幅度,来测量缩小比率。例如,扩大速度为瞳孔扩大速度的测量值,以毫米/秒为单位。上述许多特征可通过评估第一个图像的瞳孔直径、第二个图像的瞳孔直径以及两个图像之间的时长得出,如本领域技术人员容易想到的那样。此外,本领域技术人员将容易理解,可以基于在320提供的数据,以类似的方法来计算扩大潜伏期、扩大速度、扩大幅度和扩大比率。
其它特征包括,例如:响应屏幕投影词“眨眼”的自主眨眼反射速度(可作为自主神经系统通路的测量结果)、巩膜(眼睛由白变黄)颜色特征、虹膜和角膜环特征(胆固醇沉积和心血管风险)、以及从面部/眼睛提取的其它测量特征。
在330的一些实例中,基于观察到的所收集图像数据的轨迹,由内或由外推断瞳孔测量值。
然后,方法300在340基于在330中识别的瞳孔特征确定健康状况。在一些实例中,所述健康状况为瞳孔对光反射的测量结果或其它临床相关的瞳孔测量结果或特征。在340的一些实例中,将在330确定的特征与健康个体的对应值进行比较,以识别异常。在一些实例中,将所述特征与用户的纵向数据进行比较;当前测量值与已建立的纵向基线(个体的)之间的差异可作为疾病状态的指示或对疾病表现的测量。在340的一些实例中,在系统200的纵向使用过程中建立个人用户基线,并且当在330中识别的瞳孔特征偏离建立的个人基线1.5个标准偏差或一预定阈值偏差时,通知用户。例如,所述阈值偏差随疾病状态而变化。在一些实例中,340利用健康个体的通用或外部数据库,直到个体用户根据方法300提供20个单独的PLR测量结果。
在方法300的一些实例中,图像数据包括用户双眼的数据。在330,分别分析每个瞳孔的反射。但是,在340,同时将两者的特征进行分析以确定健康状况,这是因为两眼之间不同的瞳孔对光反射能指示某种疾病状态(例如中风)。
在方法300的一些实施例中,基于接收到的数据提出警示。例如,如果检测到某种疾病的数字标记,则系统100收到疾病前检测警示,并呈现在,例如,显示器112上。在一些实施例中,可以使用音频警报补充或替代图形警报。从而告知用户正在发展的疾病、异常或疾病前兆并及时应对。也可以接收上述其它信息,例如联系医生进行身体检查的建议,并将其呈现给所述。
在图2的系统200和图3的方法300的一些实例中,在环境光可控的室内,用户手持智能手机,并与面部保持自然可控的空间视距(例如,水平距面部6-24或6-12英寸,垂直距眼睛0-6英寸,水平(从用户右侧到左侧)距鼻子0-6英寸,也可以为其它距离)。在一些实施例中,将智能手机保持在该位置一段时间量(例如,至少5秒),将激活应用程序(通过传感器和软件),在录制过程中,在用户受到触摸屏或智能手机上的其它光源的短暂强烈闪光的刺激后,以每秒60+或120+帧的高清视频记录受试者的面部(尤其是眼睛和瞳孔反射),或在显示器上指示用户应该闭眼一段预定的时间量。在一些实例中,闪光是聚焦的,且具有已知的发射强度,并且到达瞳孔的光强度也可以通过其与光源和瞳孔距离的平方之间的已知反比关系来推断。因此,在进行短暂强烈闪光之前、期间和之后捕获用户面部的图像。在一些实施例中,在闪光或指示用户睁开眼睛之前至少1秒且不超过5秒开始记录,并且在闪光或用户睁开眼睛后至少3秒且不超过8秒内保持记录。值得注意的是,到达瞳孔的光强度可以通过其与瞳孔和光源距离的平方之间的已知反比关系来推断。
示例性瞳孔反应曲线
图4A示出了示例性瞳孔反应曲线和可在曲线的不同点识别的各种特征。例如,这些特征是参考上述方法300来分析的。图4A显示了当提供光刺激时,首先检测基线瞳孔直径,随后评估MCV、MCA和瞳孔逃避。当关闭光刺激时,可评估光照后瞳孔反应(PIPR)。
图4B显示了另一个示例性PLR曲线,包括:(1)潜伏期,(2)缩小速度,(3)缩小幅度,(4)缩小比率,和(5)扩大速度。与实线所示的正常PLR曲线相比,虚线显示了异常PLR曲线,其潜伏期延长、速度变慢、且幅度减小。
数据的预处理和处理
在330的一些实例中,对接收到的图像数据进行预处理。本文对示例性预处理技术进行了描述。
序列中的帧经过平滑处理,以对系统进行去噪,从而消除瞳孔的自然波动、虹膜颜色变化以及设备本身的变化。可使用高斯平滑算子轻微模糊化图像并减少噪声。二维高斯方程如下:
Figure BDA0003573113590000131
其中sigma为分布的标准偏差,可由下式表示:
Figure BDA0003573113590000132
其中x为第i个PLR测量值,μ为平均PLR,N为PLR测量值的总数。在一些实施例中,在概率上明显的某个PLR测量值,例如+/-一个标准偏差或+/-1.5个标准偏差,可触发在神经系统中检测到异常的警示。在一些这样的实施例中,警示可指示某种疾病前状况。在其它实施例中,警示可简单地指示检测到异常。
在本公开的一些实例中,PLR被表示为平滑傅里叶变换。例如,当使用平滑灰度帧的直方图表示时,可通过阈值函数将图像二值化。可以通过直方图上暗像素和亮像素之间的区别来确定所述阈值函数。基于此,通过将图像的白色部分标记为1,将图像的黑色部分标记为0,可以对图像进行二值化,从而区分巩膜和瞳孔。从而有效地生成一个带有白色圆圈的黑色正方形,用以清楚地表示瞳孔以供分析。瞳孔的形状通常为椭圆形,但可通过平均轴线表示为圆形。可以以距离最远的两个白色像素之间的像素为单位对直径进行测量。可以通过使用靠近眼睛的、具有已知尺寸的基准,将该像素测量值转换为毫米。例如,可以使用智能手机中的点阵投射器,来确定智能手机距面部的深度。
用随光变化的瞳孔直径通量来描述瞳孔对光反射的微分方程如下:
Figure BDA0003573113590000141
Figure BDA0003573113590000142
D为瞳孔直径的测量值(mm),Φ(t-τ)r表示在时间t内到达视网膜的光强度。因此,通过使用来自视频的数据(例如,每帧中代表瞳孔的白色圆圈的直径、各帧之间的时间以及像素到毫米的转换),上述微分方程可用于确定瞳孔速度。可以确定对闪光进行反应(直径减小)的瞳孔速度,和恢复(直径增加)的瞳孔速度。
在一些实例中,预处理包括裁剪片段使其包括每只眼睛的区域。这一点可以通过对人脸的已知结构应用简单的试探法来实现。然后,可以提交片段进行处理,包括,例如将接收到的视觉刺激解构为一系列图像以逐个处理。对图像进行处理,以消除图像捕获过程中眼镜、眨眼和手部小动作产生的像差。使用轮廓梯度熵的瞳孔边界检测可用于提取每个瞳孔的大小,并创建可视的系列数据。
在一些实施例中,可以使用眼球跟踪器来捕捉具有不同扩大程度的眼睛帧画面。用户可手动标记每帧的瞳孔直径。使用标记的数据,可使用标记的瞳孔训练一分割模型。例如,可使用U-Net或类似服务来输出可以用于推断直径的形状。可以实施流水线,来处理记录的视频帧,并随时间绘制瞳孔扩大图。
在数据处理的一些实例中,使用色调、饱和度和亮度值对接收到的图像数据进行过滤。例如,如果像素的“V”值(表示亮度)大于60,则可能该像素会被过滤掉。在另一实例中,可以基于LAB值过滤像素,其中“L”代表像素的亮度,“A”和“B”代表颜色拮抗值。由于瞳孔是眼睛中最暗的特征,因此可以过滤掉“L”值大于50的像素,从而只留下相对较暗且更可能包括瞳孔的像素。
其它示例性处理步骤包括:(1)复制过滤后的图像,清除已过滤掉的内容以仅显示感兴趣区域(ROI),(2)将过滤后的ROI像素转换为灰度,(3)根据亮度或强度值过滤灰度像素,例如,过滤L值高于45的像素,(4)扫描剩余像素的轮廓和凸形,(5)扫描像素以获取像素灰度值的增量梯度,(6)根据轮廓构造形状或构造由轮廓定义的形状,(7)根据大小和圆度过滤形状,(8)确定瞳孔区域和虹膜区域的表面积,以及(9)确定两个区域随时间的相对变化。
在基于圆度过滤的一些实例中,设备过滤掉圆度值不等于或不接近1.0的值。例如,圆形的圆度值等于或接近1.0,而细长的椭圆的圆度值可能约为0.25。
根据瞳孔特征预测健康状况
图3的方法300的340中的各个方面可用于识别用户是否具有一些疾病状态、疾病严重性或其它健康疾病。下文中图5-7显示了示例性健康状况对应的示例性数据。
图5显示了测得的与阿尔茨海默病相关的平均瞳孔反应。例如,如图5所示,在认知健康患者组和阿尔茨海默病患者组之间,潜伏期、MCV、MCA和振幅具有明显差异。
图6A-6B示出了根据本公开的一些实施方式,对认知负荷的示例性瞳孔反应。如图6A-6B所示,心理感觉瞳孔反应与阿尔茨海默病相关。认知负荷是通过受试者能否回忆起3、6或9个数字来衡量的。图6A-6B表明,随着认知负荷的增加,与认知健康对照组(CN)相比,遗忘型单领域轻度认知障碍(S-MCI)组的瞳孔扩大程度更为明显。此外,在某些认知负荷下,与认知正常组和S-MCI组相比,多领域轻度认知障碍(M-MCI)组的扩大程度明显更低。这表明认知负荷远远超出了该组的能力。
图7示出了根据本公开的一些实施方式,随轻度认知障碍变化的示例性瞳孔反应。例如,数据显示瞳孔扩大会随着由3位数负载变为6位数负载而增加,但一旦达到9位数负载时就会减小。因此,本公开设想,具有较低认知能力的个体在较低负荷下的瞳孔扩大程度大,而在较高负荷下瞳孔扩大程度小。
瞳孔分割
本公开提供了瞳孔分割方法。眼睛的图像数据可分为三个主要部分:瞳孔、虹膜和巩膜。图像分割算法可用于实现所需的分割。
图8示出了示例性瞳孔分割过程。首先接收眼睛的灰度图像。然后,基于每个像素的灰度创建平衡直方图。例如,可能使用平衡直方图阈值化分割、K均值聚类或边缘检测以及区域填充。示例性平衡直方图分割算法为像素设置阈值灰度,以确定哪些像素对应于瞳孔。瞳孔对应的像素将是最暗的像素。
在一个实例中,K均值聚类选择k(例如,在本实例中k为4)个数据值作为初始聚类中心。确定每个聚类中心和每个数据值之间的距离。把每个数据值分配给最近的聚类中心。然后更新每个聚类中心的平均值并重复该过程,直到不再可能进行聚类。对每个聚类中心进行分析,确定哪个聚类中心包括瞳孔的像素,得到分割结果。该方法可用于根据眼睛中颜色不同的四个主要部分:黑色瞳孔、白色巩膜、彩色虹膜和皮肤背景,从背景中分割出感兴趣区域。
图8所示的方法还用于边缘检测和区域填充,从而增强图像并连接瞳孔的主要像素。对一定形状和大小的孔进行填充,得到最终的分割结果。
分割后,确定以像素为单位的瞳孔面积。基于收集图像数据的摄像头的比例,像素测量值被转换为物理尺寸(例如,以毫米为单位)。
红眼反射
图9示出了根据本公开的一些实施方式的示例性红眼反射数据收集。例如,对突出用户眼睛视网膜中的红色反射的图像数据进行收集。然后,本公开确定红色反射是否暗淡(可能是斜视或视网膜母细胞瘤的征兆),反射是否为黄色(可能是外层渗出性视网膜病变的征兆),和/或反射是否为白色或包含眼光(可能是视网膜母细胞瘤、白内障、视网膜脱离和/或眼部感染的征兆)。根据图3的方法300的330和340,这些方法可以相应地提供用于确定健康状况的特征。
角膜对光反射
图10示出了根据本公开的一些实施方式的示例性角膜对光反射数据的收集。例如,对捕获斜视度数(眼睛错位)的图像数据进行收集。然后,本公开确定所捕获的数据是否包括以下任何一项:(A)瞳孔中心的微小光点;(B)、(C)和(D)所述点位置与瞳孔中心之间的偏差,其指示眼睛错位。根据图3的方法300的330和340,这些方法可以相应地提供用于确定健康状况的特征。
测量瞳孔直径
图11示出了示例性瞳孔直径的测量值。例如,1112和1122分别显示受试者1110和1120的基线瞳孔直径。受试者1110为健康受试者,受试者1120患有阿尔茨海默病。MCV和MCA可根据本文所述的方法计算。
确定视觉刺激量
图14的方法1400提供了用于确定将在显示器上提供的视觉刺激量的示例性方法。例如,将方法1400作为图3中方法300的步骤310的一部分执行。在一些实例中,方法1400分别在图1和2的系统100和200上执行。在一些实例中,基于一段时间或确定用户已睁开眼睛,通过在用户睁眼之前或当用户睁眼时提供显示器的光刺激,将显示器刺激与眼睑介入的反应结合使用。因此,将闭眼时瞳孔的暗适应、睁眼和光刺激进行组合可提供更强的光刺激,在一些实施例中,这可能是引发充分的瞳孔对光反射所必需的。
在方法1400中,开始时,在没有提供光刺激的情况下,在1410接收第一图像数据。例如,在不提供显示器112或传感器116的光刺激的情况下,系统100的摄像头114接收用户的图像数据。
然后,基于从1410接收的第一图像数据,方法1400在1420确定将提供的光通量的量。
在1420的一些实例中,还确定从显示器输出的光的类型。例如,确定要显示的光的波长(或可见光谱内的光的颜色)。用户双眼都具有由不同颜色激活的黑视感受器。因此,1420控制光的波长(或颜色)以激活用户眼中的某些黑视感受器和感受器通路。在一些实例中,这些通路可用于区分由某些感受器通路介导的疾病。这一点也可以基于环境光确定。因此,系统可以基于环境光的量和环境光的波长,调整显示器的输出作为刺激。
然后,方法1400在1430确定显示器的一个区域以输出光通量。在一些实例中,使用显示器的整个表面区域。在其它实例中,仅使用一部分显示器的表面区域。
在方法1400的一些实例中,可同时或以任何顺序确定光通量的量和用于输出光通量的显示器的区域(例如,1420和1430)。
然后,在1440,方法1400在显示器的确定区域上输出确定的光通量的量。
在方法1400的一些实例中,在输出光通量之后,接收眼睛的其它图像数据。在一些实例中,根据接收到的图像数据调整光通量。
识别多个瞳孔的反应
在本公开的一些实例中,提供了一种识别多个瞳孔反应的方法。例如,这种方法可识别是否图像数据集被意外的瞳孔刺激所混淆(例如,在图3的方法300中)。图15示出了根据本公开的一些实施方式,用于识别和标记意外瞳孔反应的示例性方法1500。例如,方法1500可在图3的方法300之前、期间和/或之后执行。
首先,图15的方法1500在1510基于接收到的图像数据标记第一瞳孔反应。例如,所述第一瞳孔反应包括本文所述的任何瞳孔特征的变化。
然后,在1520,方法1500在最初接收的图像数据之后接收第二图像数据。
然后,方法1500在1530确定光照条件的变化。例如,基于在1510接收的图像数据和在1520接收的第二图像数据之间的亮度差,可确定光照条件的变化。
然后,方法1500在1540标记第二图像数据中的第二瞳孔反应。例如,如果第二图像数据是一系列图像,则在1540识别于光照条件变化后同时或在相近时间出现的一个或多个图像。在一些实例中,所识别的第二瞳孔反应为本文所述的任何一种瞳孔特征。
红外测量实施方式
本公开进一步提供了使用不可见光刺激和/或红外摄像头进行图像捕获。例如,图1的传感器116、红外发射器和/或显示器112可提供不可见光发射。在一些实例中,摄像头114为红外摄像头且包括一个或多个红外光发射器。图16示出了示例性方法1600,其可分别在图1和图2的系统100和/或200上执行。这一点可以在本文公开的各种实施例中使用,包括在利用基于屏幕的可见光刺激的暗室中,使用眼睑介入的反应。因此,在黑暗房间中基于屏幕的刺激能获得更高的对比度,因为当用户闭眼时,能阻挡黑暗或昏暗房间中的任何剩余光线。
方法1600在1610由显示器(例如,图1的显示器112或传感器116)发射可见光刺激。例如,可见光刺激的波长大于1000纳米。可见光刺激指向用户的面部。该可见刺激用于在用户的眼睛中引发瞳孔反应。
然后,方法1600在1620由显示器(例如,图1的显示器112或传感器116,例如红外发射器)发射不可见光刺激。不可见光刺激用于照亮用户的面部,从而产生足够高的图像对比度(足以进行瞳孔-虹膜分割)。因此,1620利用了基本上由红外光提供的高图像对比度。例如,在1620提供的不可见光刺激是波长为600-1000纳米的光刺激。
由于1620提供的光照能产生足够高的图像对比度,与仅使用可见刺激的方法(包括,例如,图3的方法300)相比,方法1600在步骤1610需要更少的可见刺激。因此,方法1600能够更准确地引发瞳孔反应,因为在1610提供的可见刺激无须照亮用户的面部。
进一步的,方法1600在1630接收用户眼睛对应的图像数据。在一些实例中,接收到的图像数据是一组图像或视频。在一些实例中,在一段时间(例如,超过一分钟、两分钟、三分钟)内,以固定间隔(例如,以秒、毫秒和/或微秒测量的间隔)收集图像集。在一些实例中,在1630接收的图像数据来自红外摄像头。
在1640,方法1600进一步处理图像数据以识别瞳孔特征。例如,根据图3的方法300的330所述的任何方法,对接收到的图像数据进行处理。然后,方法1600在1650基于所识别的瞳孔特征确定健康状况。例如,根据图3的方法300的340所述的任何方法来确定健康状况。
因此,方法1600避免了将瞳孔反应结果与其它意外的刺激相混淆。
识别适当的光照条件
在本公开的一些实例中,自动检测光照条件能否提供质量充分的图像数据以确定本文所述的各种瞳孔特征。图17示出了根据本公开的一些实施方式,用于评估光照条件的示例性方法1700。方法1700可由图1和2的系统100和/或200分别执行。在一些实例中,方法1700分别在图3和16的方法300和/或方法1600之前、之后和/或期间执行。
法1700在1710确定接收到的图像数据的图像对比度。例如,根据亮度、颜色、饱和度和/或本领域已知的任何其它视觉图片分析手段,来确定图像对比度。
然后,方法1700在1720确定图像对比度是否低于阈值对比度水平。例如,1720确定是否可以基于所提供的图像数据,来进行瞳孔-虹膜分割。在一些实例中,1720确定是否可以以某个准确度阈值和/或置信度测量值,来进行瞳孔-虹膜分割。
然后,如果刺激是由用户眼睑介入的环境光(例如,用户闭/睁眼),方法1700在1730输出让用户在更昏暗的位置或更亮的位置提供第二图像数据的提示。
当与方法1600结合使用时,方法1700确保用户处于足够昏暗的位置以产生用于瞳孔分割的高对比度。
实验数据——红外光
图18示出了在可见光下拍摄的图像组(图像组1810和1830)与红外光下拍摄的图像组(图像组1820和1840)之间进行比较的示例性图像数据。与在可见光下拍摄的图像集1810和1830相比,在图像集1820和1840中,受试者的瞳孔和虹膜之间显示出更清晰的轮廓。特别地,图像集1830取自具有深色虹膜的受试者,由于瞳孔和虹膜颜色的相似性以及两者之间的低对比度,瞳孔分割几乎是不可能的。因此,图18示出了图16的方法1600(用不可见刺激收集图像数据)和图17的方法1700(确保瞳孔-虹膜图像具有足够高的对比度)的效果。
眼睑介入反应的实施方式
图21为一流程图,示出了如何利用用户的眼睑使瞳孔暗适应并使用环境光调节刺激(“眼睑介入的反应”),实施所公开的系统和方法的详细实例。因此,当用户闭上眼睑时,瞳孔经历会黑暗适应过程,使瞳孔习惯于黑暗,进而有效地扩大瞳孔。所得结果用作应用光刺激(例如,用户睁开眼睛)之前的基线——以利于进行潜伏期测量和最大限度的构建。
例如,在本实例中,系统可以显示指令让用户闭眼一段预定的时间量,或者直到听到提示音或感觉到振动时再睁眼。该操作的优点在于,当用户眼睛闭合和睁开(从而允许房间的所有环境光,或在黑暗或昏暗的房间中基于屏幕的刺激进入眼睛)时,进入用户眼睛的光线之间的对比足以引发瞳孔反射。
例如,在普通观看距离下,一般从显示器发出的最大勒克斯(例如200勒克斯)可能不足以引发充分的瞳孔对光反射。(例如,可能需要300勒克斯以上)。然而,在正常光照条件下,睁眼和闭眼状态时进入眼睛的光之间的对比能足以引发瞳孔对光反射。否则,由于环境光太亮,难以确保环境光和光刺激之间有足够的对比度以产生瞳孔对光反射。因此,眼睑介入的实施可避免对其它光刺激(如闪光或发光显示器)的需求。在其它实例中,从用户闭眼一段时间量开始,基线扩大,眼睑介入的刺激可使显示器提供足够的其它刺激以引发瞳孔反应。
因此,在一些实例中,使用该系统不需要由设备提供基于光的刺激。因此,用户可以手持手机,面向显示器(因为不需要闪光灯)。此外,显示器无需向用户的眼睛提供光刺激,且在一些实例中,可以使用后置摄像头来评估眼睑介入的瞳孔反应。此外,利用眼睑介入的反应可能比足以引发瞳孔反射的闪光更可取,因为对用户来说可能更舒适。在其它实例中,用户闭眼结合来自显示器的光刺激可足以引发瞳孔对光反射。
此外,所述方法允许用户在任何光线充足或明亮的房间中轻松实施该方法,所述房间具有足够的环境光,以在用户从闭眼和黑暗适应状态到睁开眼睛后引发反射。图21提供了实现该方法的实例。在一些实例中,系统可以首先在显示器112上提供图像数据的实时馈送,以便用户可以在摄像头114前正确地对齐双眼,如本文所述(例如,在实时图像数据上显示圆圈或箭头,以便用户在图像中对齐双眼)。在其它实例中,可以使用后置摄像头,并且给用户的反馈可以是纯音频或振动的,以告知其何时睁开和闭上眼睛,以及何时将眼睛与后置摄像头正确对齐。
接下来,系统可提供请求用户闭上眼睛的指示2110。该指示可包括在显示器112上显示的基于文本的消息。例如,显示器112可以显示文本“闭上眼睛3、10、15秒”或“闭上眼睛直到听到提示音[或感觉到振动]”。然后,系统可启动一定时器,持续三秒(或4、10、15秒或足以引发瞳孔对光反射的其它合适的时间),并在设定的时间过去之后开始记录摄像头114输出的图像数据。在其它实例中,系统将在设定时间过去之后发出提示音或激励振动电机,通知用户可以睁开眼睛2120。在这些实例中,系统将在提示音或振动开始时或之前开始记录图像数据。
在一些实例中,系统可能会处理图像数据,直到确定检测到用户睁开至少一只眼睛(例如,利用计算机视觉识别瞳孔、虹膜或眼球的其它特征),并且当确定用户闭眼时,过滤帧。这一点尤为重要,因为这使得系统识别用户睁开眼睛的第一帧(在用户仍闭眼时启动摄像头114的记录),并因此捕获所有或大部分瞳孔对光反射。
在一些实例中,可能包括,在用户的眼睛完全睁开之前或如果用户的眼睛没有完全睁开时,基于瞳孔的部分图像来确定瞳孔的直径。例如,系统可以由部分直径,通过外推或以其它方式估计瞳孔的全直径。例如,如果可见瞳孔的圆角低于360度,则可以使用已知的数学函数(例如三角函数)来估计整个瞳孔的直径。这可能包括由可见的一小部分瞳孔(例如90度的可见圆角)来确定瞳孔直径。在一些实例中,通过部分测量值得出的瞳孔直径的估计值可能具有足够高的准确性,以用于计算健康状况,包括,例如,用于瞳孔对光反射的定量测量。
此外,系统还可以识别用户眼睛正确聚焦在摄像头或屏幕上某个点的帧,从而可以准确测量瞳孔直径。该系统可以在显示器上显示用户应将目光集中在何处的指示(例如箭头)。在其它实例中,系统可能能够确定用户注视的方向,并基于这些测量值来近似得出瞳孔直径。
此外,系统可能会持续监测帧,以确定在用户眼睛完全睁开一段足够长的时间(例如,用户过早闭眼)的情况下,捕获了足够的帧。如果没有捕获足够数量的可用帧来确定瞳孔对光反射或其它相关的瞳孔特征,则将重新开始该过程。
接下来,系统可接收用户的眼睛对应的视觉数据(320),并且系统可以以图3所述的相同方式处理图像数据。包括处理图像数据以识别瞳孔特征(330)和处理瞳孔特征以确定用户的健康状况(340)。
实验数据实例:使用眼睑介入的智能手机应用
发明人测试了眼睑介入的智能手机应用的实例,以确定该实施方式是否能引发PLR并检测某些药物的使用。因此,通过使用基于眼睑介入反应的应用,在摄入几种关键药物后,测量多个关键指标的PLR所生成的数据表明,它与本文所述的当使用基于眼睑介入反应的应用进行测试时,预期的生理效应一致。因此,数据表明,眼睑介入的实施方式能够有效地传递充分的刺激以有效地评估瞳孔对光反射,这与传统的和已建立的用于评估PLR的方法一致,此外,还能检测患者对某些药物的摄入。
例如,图22A示出了PLR数据,其表明了通过使用基于眼睑介入反应的应用,测得的酒精和咖啡摄入对左瞳孔运动的某些指标的影响。例如,图22A示出,与基线相比,咖啡显著加快了(瞳孔运动)速度,而酒精减慢了速度。由此,图22A证实了可通过基于眼睑介入反应的智能手机或移动设备上的应用,来确定患者是否饮酒;图22B显示的PLR数据说明,通过使用眼睑介入的应用,可检测酒精和咖啡摄入对右瞳孔运动的某些指标的影响;图23A显示的PLR数据表明,通过使用眼睑介入的应用,可检测酒精、抗组胺药、阿片类镇痛药和咖啡的摄入对左瞳孔运动的某些指标的影响;图23B显示的PLR数据表明,通过使用眼睑介入的应用,可检测酒精、抗组胺药、阿片类镇痛药和咖啡的摄入对右瞳孔运动的某些指标的影响;图24A显示的PLR数据表明,通过使用眼睑介入的应用,可检测饮酒和早晨身体伸展对左瞳孔运动的某些指标的影响;以及图24B显示的PLR数据表明,通过使用眼睑介入的应用,可检测饮酒和早晨身体伸展对右瞳孔运动的某些指标的影响。
实验数据:使用眼睑介入应用的PLR数据的再现性
表1示出了在应用平滑技术后,使用眼睑介入的应用时,右眼和左眼之间处理的再现性。
表1中的高分值表明EMD介入在PLR会话中非常准确,因为双眼的指标可高度再现。
处理的再现性 描述 分数
PLR MCV 左右MCV比率差异的平均值 78%
PLR MCA 左右MCA比率差异的平均值 84%
PLR ACV 左右ACV比率差异的平均值 70%
表1:使用眼睑介入的应用时,右眼和左眼之间处理的指标再现性,显示双眼ACV测量值的精度。
表2示出了在应用平滑技术后,使用眼睑介入的应用时,随时间产生的处理的标准偏差。
高分值表明了指标的稳定性和随时间产生的再现性。
处理的标准偏差 描述 分数
PLR MCV 不同人的MCV标准偏差 0.85
PLR MCA 不同人的MCA标准差 0.30
PLR ACV 不同人的ACV标准偏差 0.39
表2:使用眼睑介入的应用时,随时间产生的处理的指标标准偏差。
由此,表1和表2表明了,使用眼睑介入应用时,PLR指标在两眼之间和随时间产生的再现性。因此,本文公开的系统和方法可以可靠地用于测量PLR的特征。
附加软件实施方式
示例性软件应用
本公开设想了一种示例性健康应用,其在客户端设备的显示器上呈现一模板,模板具有用于用户面部主要部位的对齐标记。所述健康应用指示用户将面部的主要部位与智能手机屏幕上显示的对齐标记对齐。选择用户的面部部位进行对齐,以便在这些面部部位在三维空间中随着时间的推移保持固定、且用户不能有意或意外地将其改变的条件下,确保深度和角度的三角一致性。当即将进行测量时,客户端设备可显示指示,如绿光。健康应用在客户端设备上呈现一闪光,并使用作为传感器之一的高清摄像头捕捉用户眼睛的视频。通过使用该视频,健康应用确定瞳孔直径反射速度——用户眼睛的瞳孔直径响应光线而缩小并随后扩大至其正常基线大小的速度。由此,可捕获瞳孔速度的动态表型数据。瞳孔速度可用于预示发展中的疾病、异常或某些神经障碍的疾病前兆。此外,由于使用了摄像头,可能会捕获其它表型数据。例如,眼睛巩膜的颜色是可见的。眼睛巩膜的颜色可用于确定用户是否有各种发展中的疾病、异常或疾病前兆。眼睛巩膜呈黄色可能预示黄疸。眼睛巩膜发红可能预示由眼睛血管收缩导致的心血管问题。同样,考虑到频率和一天中的时间,巩膜发红可能预示药物滥用。环绕瞳孔的部分中的其它表型特征可能预示通常与心血管问题相关的胆固醇沉积。用户面部色素沉着的变化或痣的生长可能预示皮肤病,例如黑色素瘤。因此,单次动态测试可生成数据,作为与多种疾病相关的多种表型特征的量化测量结果。
为了测量PLR,指示用户在摄像头中对准双眼。这一操作可为进一步的图像处理和瞳孔测量提供适当的图像尺寸。启动摄像头会话以检测用户的面部并获取用户眼睛的图像。调整背景颜色和手机亮度(如果使用前置摄像头)(或调整torchLevel)以产生各种明暗程度。可以对图像进行实时处理,包括分割,从而获得瞳孔直径并跟踪时间以测量瞳孔的缩小速度。最后,可以向用户呈现测量结果,包括双眼反应时间、缩小速度和瞳孔缩小比率。
自动面部检测
通过鼻尖和两个瞳孔可以进行自动面部检测。在一些实施例中,是通过用户将面部与取景器上的3个红色三角形点(2个用于瞳孔,1个用于鼻尖)对齐,来实现上文所述的可控空间距离。通过机器视觉,可识别瞳孔与红点对齐,鼻尖与鼻尖对齐(基于鼻部皮肤的RGB颜色)。然后使用环境光传感器检查是否存在会给测量结果带来干扰因素的任何环境光(噪声)。如果已正确对齐(深度/角度)且光照充分,则红点变为绿色,并通知用户在一定时间量内进行测量。这一过程如图12所示。
发出闪光并捕获视频。可以使用视频的一个或多个帧来实现面部检测。由此,在捕捉到上面的视频后,借助基于机器视觉的算法辅助,智能手机会自动检测鼻尖以及两个瞳孔(也可能被投射到屏幕上)的像素位置,以确保测量在三角几何形状和空间上是一致的。这三个参考点的特殊几何形状和距离不会随时间被面部肌肉有意或意外地改变,进一步保证了可控性和一致性。
该测量方法的面部检测/机器视觉部分可以使用开源和/或专有软件来完成。由此,可以检测面部和眼睛(如图12-13所示)。在一些实施例中,输入的视频/视频帧是灰度的。如果在视频中检测到人脸,系统将继续检测人脸坐标内的眼睛。如果没有检测到人脸,则会通知用户记录的视频不符合进行有效检测的标准。
在捕获前的阶段可以使用实时引导用户的面部识别算法。在一些实施例中,这一点可通过使用OpenCV(开源计算机视觉库)、ARKit(增强现实套件)或其它面部识别机制来实现。通过面部识别,可以识别图像上眼睛的位置,并指导用户操纵设备以将摄像头放置在所需位置。一旦相机定位,可能会进入图像数据捕获阶段。现代智能手机的发射能力可能超过300尼特(1坎德拉/平方米)。视频片段的时长可以短至10-20秒,足以捕获足够的用于PLR分析的数据。现代智能手机的一个或多个摄像头(例如图1的摄像头114)用于在屏幕闪光之前、期间和之后捕捉视频。
在一些实施例中,结合面部和眼睛识别的面部捕捉也可用于进行PLR测量。一些面部识别框架,如Vision Framework,可以通过创建请求并解释这些请求的结果来实时检测和跟踪人脸。此类工具可用于查找和识别图像中的面部特征(例如眼睛和嘴巴)。面部标志请求首先定位输入图像中的所有面部,然后分析每个面部以检测面部特征。在其它实施例中,例如,可以通过增强现实会话使用面部跟踪。ARKit就是这种机制的一个实例。使用这种机制,可以使用前置摄像头系统检测用户的面部。通过配置和运行增强现实会话,可以在视图中同时呈现摄像头图像和虚拟内容。这种机制可以生成与用户面部的大小、形状、布局、以及当前的面部表情和特征相匹配的粗略3D网格几何形状。可以使用这样一种机制,或多种机制的组合,来捕获和分析图像。例如,一个机制用于捕获图像,而另一个用于分析图像。
公开的计算机和硬件实施方式
首先,应理解本公开可以通过任何类型的硬件和/或软件来实现,也可以是预编程的通用计算设备。例如,该系统可使用服务器、个人计算机、便携式计算机、瘦客户端或任何合适的一个或多个设备来实现。本公开和/或其组件可以是位于一个地点的单个设备,或位于一个或多个地点的多个设备,其通过任何适当的通信协议和通信介质(例如电缆、光纤电缆)或以无线方式连接在一起。
还应注意,本文所示和所述的公开具有执行特定功能的多个模块。应当理解,为了清楚起见,根据其功能对所述模块进行了示意性地说明,并不一定代表具体的硬件或软件。关于这一点,这些模块可以是用于充分地执行所述特定功能的硬件和/或软件。此外,在本公开中,可以将这些模块组合在一起,或者基于所需特定功能划分为附加模块。因此,本公开不应解释为用于限制本发明,而应理解为对一个示例性实施方式的说明。
计算系统可包括客户端和服务器。通常,客户端和服务器彼此远离并通过通信网络进行交互。通过在各自的计算机上运行的、且具有客户端-服务器关系的计算机程序,客户端和服务器建立关系。在一些实施方式中,服务器将数据(例如,HTML页面)传输到客户端设备(例如,为了向与客户端设备交互的用户显示数据,并从其接收用户输入)。可以在服务器接收来自客户端设备的客户端设备生成的数据(例如,用户交互的结果)。
本说明书所述的主要内容的实施方式可以在计算系统中实现,所述计算系统包括:后端组件(例如,作为数据服务器),或中间件组件(例如,应用服务器),或前端组件(例如,具有图形用户界面或Web浏览器的客户端计算机,用户可以通过其与本说明书所述的主要内容的实施方式进行交互),或一个或多个此类后端、中间件或前端组件的任意组合。系统的组件可通过任何形式或媒介的数字数据通信互连,例如通信网络。通信网络的实例包括局域网(LAN)、广域网(WAN)、互联网(如,因特网)、和对等网络(例如,自组织对等网络)。
本说明书中所述的主要内容和操作的实施方式可在数字电子电路中实现,或在计算机软件、固件或硬件中实现,包括本说明书中公开的结构及其结构等效物,或上述组件中的一种或多种的组合。本说明书中所述的主要内容的实施方式可作为一个或多个计算机程序来实现,即,一个或多个计算机程序指令模块,所述计算机程序指令编码在计算机存储介质上,用于由数据处理装置执行,或控制所述数据处理装置的操作。或者,或此外,可以将程序指令编码在人工生成的传播信号上,例如,机器生成的电、光或电磁信号,所述信号用以编码传输到适当接收器装置的信息,以供数据处理装置执行。计算机存储介质可以是或包含在计算机可读存储设备、计算机可读存储基板、随机或串行存取存储器阵列或设备、或一个或多个上述设备的组合中。此外,虽然计算机存储介质不是传播信号,但计算机存储介质可以是编码在人工生成的传播信号中的计算机程序指令的源或目标。计算机存储介质也可以是或包含在一个或多个单独的物理组件或介质(如,多个CD、磁盘或其它存储设备)中。
本说明书中所述的操作的实现可以是由数据处理装置对存储在一个或多个计算机可读存储设备上、或从其它源接收的数据执行的操作。
术语“数据处理装置”涵盖用于处理数据的所有类型的装置、设备和机器,例如可编程处理器、计算机、片上系统或前述的多个或组合。所述装置可包括专用逻辑电路,如现场可编程门阵列(FPGA)或专用集成电路(ASIC)。除了硬件之外,所述装置还可包括为所述计算机程序创建执行环境的代码,例如,构成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行时环境、虚拟机或其中一个或多个的组合的代码。所述装置和执行环境可实现各种不同的计算模型基础设施,如Web服务、分布式计算和网格计算基础设施。
计算机程序(也称程序、软件、软件应用、脚本或代码)可以任何形式的编程语言编写,包括编译性或解释性语言、声明性或过程性语言,且可以任何形式部署,包括作为独立程序,或作为模块、组件、子程序、对象或其它适用于计算环境的单元。计算机程序可以但不必须对应于文件系统中的文件。可以将程序存储在包含其它程序或数据的部分文件(例如,存储在标记语言文档中的一个或多个脚本)、专用于所述程序的单个文件、或多个协调文件(例如,存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以部署到一台或多台计算机上执行,所述多台计算机位于一个站点或分布在多个站点并通过通信网络互连。
可通过一个或多个可编程处理器执行一个或多个计算机程序,以对输入数据进行操作并生成输出,来执行本说明书中所述的过程和逻辑流程。也可以是,过程和逻辑流程由专用逻辑电路执行,装置实现为专用逻辑电路,如现场可编程门阵列(FPGA)或专用集成电路(ASIC)。
适于执行计算机程序的处理器包括,例如,通用和专用微处理器,以及任何类型数字计算机的一个或多个处理器。通常,处理器从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本元件包括用于根据指令执行操作的处理器,以及用于存储指令和数据的一个或多个存储器设备。通常,计算机还包括,或可操作地连接至,一个或多个用于存储数据的大容量存储设备(如,磁盘、磁光盘或光盘),以接收数据和/或向其传输数据。当然,计算机不必须具有这样的设备。此外,可以把计算机嵌入到另一个设备中,例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏控制台、全球定位系统(GPS)接收器、或便携式存储设备(如,通用串行总线(USB)闪存驱动器),等等。适于存储计算机程序指令和数据的设备包括所有形式的非易失性存储器、介质和存储设备,例如半导体存储设备,如EPROM、EEPROM和闪存设备;磁盘,如内部硬盘或可移动磁盘;磁光盘;以及CD-ROM和DVD-ROM磁盘。处理器和存储器可以由专用逻辑电路补充,或结合在专用逻辑电路中。
结尾
上述各种方法和技术提供了许多实施本发明的方法。当然,应当理解,并非根据本文所述的任何特定实施例都可实现描述的所有目标或优点。因此,例如,本领域的技术人员可认识到,执行所述方法可以实现或优化如本文提出或暗示的一个优点或一组优点,而不必同时实现如本文提出或暗示的其它目标或优点。本文提到了多种替代方案。应当理解,一些实施例具体地包括一个、另一个或几个特征,其它实施例具体地排除一个、另一个或几个特征,而还有一些实施例通过包含一个、另一个或几个有利特征,使某个特定特征变得不明显。
此外,本领域的技术人员可认识到不同实施例的各种特征的适用性。类似地,上述各种要素、特征和步骤,以及每个要素、特征或步骤的其它已知等效物,可由本领域普通技术人员进行各种组合使用,以根据本文描述的原理执行所述方法。在不同的实施例中,可具体地包括一些要素、特征和步骤而排除另一些。
尽管已在某些实施例和实例中公开了本申请,本领域技术人员可理解,本申请的实施例不限于具体公开的实施例,且可拓展至其它替代实施例、和/或其应用和修改、及其等效物。
在一些实施例中,在描述本申请的特定实施例的文中使用的术语“一个”、“所述”以及类似的引用(尤其是在以下某些权利要求中),可以解释为包括单数和复数。本文中对于数值范围的叙述仅作为对该范围内的每个单独值的一种速记方法。除非在本文中另有说明,否则每个单独的值都如同在本文中被单独叙述过一样,包含在说明书中。除非本文另有说明或与上下文明显矛盾,否则可以以任何合适的顺序执行本文所述的所有方法。本文中的某些实施例中提出的任何和所有实例或示例性语言(如,“例如”)的使用,仅旨在更好地阐述本申请,而不对本申请要求保护的范围构成限制。本说明书中的任何语言都不应被解释为指示任何未要求保护的实施本申请必不可少的要素。
本文阐述了本申请的某些实施例。在阅读上述内容后,对于本领域的普通技术人员来说,这些实施例的变化是显而易见的。经考虑,熟练的技术人员可以采用这样的变化,并且以不同于本文具体描述的方式来实践本申请。因此,在适用法律允许的情况下,本申请的许多实施例包括在所附权利要求中叙述的主要内容的所有修改和等效物。此外,除非本文另有说明或与上下文明显矛盾,否则上述要素的所有可能变化的任何组合都包含在本申请中。
本文阐述了主要内容的某些实施方式。其它实施方式涵盖在以下权利要求的范围内。在某些情况下,权利要求中所述的操作可以以不同的顺序执行,并仍能达到期望的结果。此外,附图所示的过程不必按所示的特定顺序,或先后顺序执行以获得期望的结果。
所有专利、专利申请、专利申请出版物和其它材料,如本文引用的文章、书籍、规范、出版物、文件、事物和/或类似物,出于所有目的,通过引用将其整体并入本文,除了那些与这些材料相关的任何起诉文件历史、与本文件不一致或冲突的任何材料、或可能在现在或以后对本文件相关的权利要求的最广泛范围具有限制影响的任何材料。举例来说,如果在并入材料和本文件之间,存在任何不一致或冲突的描述、定义和/或与术语使用,以本文件中的描述、定义和/或术语使用为准。
最后,应当理解,本文公开的申请的实施例是对本申请实施例的原理的阐述。可采用的其它修改涵盖在本申请的范围内。因此,作为示例而非限制,可以根据本文所述的内容,使用本申请实施例的其它设置方式。因此,本申请的实施例不限于所示和所述的全部内容。

Claims (32)

1.一种用于评估瞳孔对光反射的系统,其包括:
包括正面和背面的设备;
位于所述设备的所述正面的摄像头;
位于所述设备的所述正面的显示器;
处理器;和
存储器,其中存储有能由所述处理器执行的多个代码段,所述多个代码段包括用于进行以下操作的指令:
在所述显示器上显示请求用户闭上眼睛的指示;
从所述摄像头接收与用户的至少一只眼睛对应的图像数据;处理所述图像数据以识别至少一个瞳孔特征;和
基于所述至少一个瞳孔特征确定健康状况。
2.如权利要求1所述的系统,其中所述指令还用于在所述显示器处输出所述健康状况。
3.如权利要求1所述的系统,其中所述健康状况包括瞳孔对光反射、咖啡摄入、酒精摄入量、阿片类药物摄入量、抗组胺摄入量或咖啡摄入量。
4.如权利要求1所述的系统,其中在所述显示器上显示请求所述用户闭上眼睛的指示包括显示请求所述用户闭上眼睛达预定时间的基于文本的消息。
5.如权利要求1所述的系统,其中在所述显示器上显示所述用户应该闭上眼睛的指示包括显示请求所述用户闭上眼睛直到听到睁开眼睛的可听指示的基于文本的消息。
6.如权利要求5所述的系统,其中所述指令还用于在所述显示器上显示所述用户应该闭上眼睛的所述指示后经过预定时间之后通过扬声器输出声音。
7.如权利要求6所述的系统,其中在输出所述声音后接收所述图像数据。
8.如权利要求7所述的系统,其中所述指令还用于处理所述图像数据以确定所述用户的眼睛是否睁开。
9.如权利要求1所述的系统,其中在所述显示器上显示所述用户应该闭上眼睛的指示包括显示请求所述用户闭上眼睛直到所述设备振动的基于文本的消息。
10.如权利要求9所述的系统,其中所述指令还用于在所述显示器上显示所述用户应该闭上眼睛的所述指示后经过预定时间之后激励振动电机。
11.如权利要求1所述的系统,其中所述指令还用于在所述显示器上显示从所述摄像头输出的图像数据的实时馈送。
12.如权利要求11所述的系统,其中所述指令还用于在所述显示器上显示一对圆圈或其它标记,并显示所述用户应将眼睛与所述一对圆圈或其它标记对齐的指示。
13.如权利要求12所述的系统,其中所述指令还用于确定在所述图像数据的所述实时馈送中识别的所述用户的所述眼睛何时在所述一对圆圈内。
14.如权利要求13所述的系统,其中在确定用户的眼睛在所述一对圆圈内后,开始在所述显示器上显示所述用户应该闭上眼睛的指示。
15.如权利要求1所述的系统,其中基于接收到的图像数据识别至少一个瞳孔特征还包括分割所述接收到的图像数据,以确定与所述至少一只眼睛的瞳孔对应的第一数据部分和与所述至少一只眼睛的虹膜对应的第二数据部分。
16.如权利要求1所述的系统,其中所述至少一个瞳孔特征包括以下至少一个:瞳孔反应潜伏期、缩小潜伏期、最大缩小速度、平均缩小速度、最小瞳孔直径、扩大速度、75%恢复时间、平均瞳孔直径、最大瞳孔直径、缩小幅度、缩小比率、瞳孔逃避、基线瞳孔幅度、光照后瞳孔反应及其任意组合。
17.如权利要求1所述的系统,其中基于所述至少一个瞳孔特征确定健康状况还包括:
确定所述至少一个瞳孔特征中的每一个与对应的健康瞳孔测量值之间的差异,其中所述对应的健康瞳孔测量值是由所述处理器从外部测量数据库检索的;和
基于所述至少一个瞳孔特征中的每一个和所述对应的健康瞳孔测量值的所确定的差异来确定所述健康状况。
18.如权利要求1所述的系统,其中在首先确定环境光是否足够亮以引发瞳孔对光反射后,开始在所述显示器上显示请求用户闭上眼睛的指示。
19.如权利要求1所述的系统,其中基于接收到的图像数据识别至少一个瞳孔特征还包括:
确定所述接收到的图像数据的图像对比度;
确定所述图像对比度低于阈值对比度水平;和
在所述显示器上输出让用户在更亮的位置提供第二图像数据的提示。
20.如权利要求1所述的系统,其中所述设备包括耳机、智能手机或这两者。
21.一种评估瞳孔对光反射的方法,其包括:
提供用户应该闭上眼睛的第一指示;
从摄像头接收与用户的至少一只眼睛对应的图像数据;处理所述图像数据以识别至少一个瞳孔特征;和
基于所述至少一个瞳孔特征确定健康状况。
22.如权利要求21所述的方法,其中所述指示包括在显示器上显示的基于文本的消息、视觉消息或通过扬声器发出的音频消息中的至少一种。
23.如权利要求21所述的方法,其中对所述图像数据进行过滤以识别其中所述用户的眼睛睁开的帧。
24.如权利要求21所述的方法,其中处理所述图像数据以识别至少一个瞳孔特征还包括确定瞳孔对光反射和确定患者的酒精或咖啡因摄入量。
25.如权利要求21所述的方法,其中处理所述图像数据以识别至少一个瞳孔特征还包括确定是否引发了瞳孔对光反射。
26.如权利要求25所述的方法,其还包括提供所述用户在第一预定时间量后应该睁开眼睛的指示。
27.如权利要求26所述的方法,其还包括:
如果没有引发所述瞳孔对光反射,则提供所述用户应该闭上眼睛的第二指示;
提供所述用户在经过比所述第一预定时间量长的第二预定时间量后应该睁开眼睛的第三指示;
从所述摄像头接收与用户的至少一只眼睛对应的第二组图像数据;
处理所述第二组图像数据以识别至少一个瞳孔特征;和
基于所述至少一个瞳孔特征确定健康状况。
28.一种非暂时性机器可读介质,其包括机器可执行代码,所述机器可执行代码在由至少一台机器执行时使所述机器:
在显示器上显示请求用户闭上眼睛的指示;
从摄像头接收与用户的至少一只眼睛对应的图像数据;
使用至少一个或多个处理器处理所述图像数据以识别至少一个瞳孔特征;
使用所述至少一个处理器基于所述至少一个瞳孔特征确定瞳孔对光反射。
29.如权利要求28所述的非暂时性机器可读介质,其中所述摄像头包括红外摄像头。
30.如权利要求28所述的非暂时性机器可读介质,其中所述摄像头位于设备的背面,并且显示器位于所述设备的正面。
31.如权利要求28所述的非暂时性机器可读介质,其中过程还包括:
从所述图像数据中识别具有时间戳的一组帧,所述时间戳指示它们是在所述显示器上的请求所述用户闭上眼睛的所述指示之后的预定时间量。
32.如权利要求28所述的非暂时性机器可读介质,其中过程还包括其中过滤所述图像数据,以识别其中所述用户的瞳孔充分可见以评估瞳孔特征的帧。
CN202080069026.5A 2019-08-28 2020-07-02 用于评估瞳孔反应的系统和方法 Pending CN114502059A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962892977P 2019-08-28 2019-08-28
US62/892,977 2019-08-28
PCT/US2020/040671 WO2021040886A1 (en) 2019-08-28 2020-07-02 Systems and methods for evaluating pupillary responses

Publications (1)

Publication Number Publication Date
CN114502059A true CN114502059A (zh) 2022-05-13

Family

ID=74685989

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080069026.5A Pending CN114502059A (zh) 2019-08-28 2020-07-02 用于评估瞳孔反应的系统和方法

Country Status (8)

Country Link
US (1) US20220361744A1 (zh)
EP (1) EP4021276A4 (zh)
JP (1) JP2022546092A (zh)
KR (1) KR20220054827A (zh)
CN (1) CN114502059A (zh)
AU (1) AU2020337151A1 (zh)
CA (1) CA3148601A1 (zh)
WO (1) WO2021040886A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113180667B (zh) * 2021-04-29 2022-09-23 南昌虚拟现实研究院股份有限公司 认知负荷评估方法、装置、存储介质及计算机设备
US20220405489A1 (en) * 2021-06-22 2022-12-22 X Development Llc Formulating natural language descriptions based on temporal sequences of images
KR102609684B1 (ko) * 2023-02-23 2023-12-05 주식회사 아스트론 동공 반응 지수를 계산하고 디스플레이 하는 자동 동공 반응 검사 장치

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5196872A (en) * 1989-12-11 1993-03-23 Pulse Medical Instruments Data acquistion and pupil tracking apparatus for an ophthalmologocial instrument
WO2004056278A2 (en) * 2002-12-19 2004-07-08 Kolanko Christopher J Method for diagnosing a disease state using ocular characteristics
CA2967756C (en) * 2004-04-01 2018-08-28 Google Inc. Biosensors, communicators, and controllers monitoring eye movement and methods for using them
US7810928B2 (en) * 2008-02-26 2010-10-12 Konan Medical Usa, Inc. Evaluating pupillary responses to light stimuli
WO2016179370A1 (en) * 2015-05-05 2016-11-10 The Arizona Board Of Regents On Behalf Of The University Of Arizona Smartphone-based handheld ophthalmic examination devices
JP7017002B2 (ja) * 2016-06-16 2022-02-08 ハダシット メディカル リサーチ サービシズ アンド ディベラップメント リミテッド 眼瞼を閉じた対象者における瞳孔の大きさを決定するための装置および方法
RU2630742C1 (ru) * 2016-07-18 2017-09-12 Самсунг Электроникс Ко., Лтд. Способ, система и устройство для биометрического распознавания радужной оболочки глаза

Also Published As

Publication number Publication date
AU2020337151A1 (en) 2022-03-17
JP2022546092A (ja) 2022-11-02
WO2021040886A1 (en) 2021-03-04
EP4021276A4 (en) 2023-08-30
CA3148601A1 (en) 2021-03-04
KR20220054827A (ko) 2022-05-03
EP4021276A1 (en) 2022-07-06
US20220361744A1 (en) 2022-11-17

Similar Documents

Publication Publication Date Title
US20240099575A1 (en) Systems and methods for vision assessment
US10441160B2 (en) Method and system for classifying optic nerve head
EP2829221B1 (en) Asperger's diagnosis assistance device
JP5607640B2 (ja) 眼の特徴の画像を得る方法と装置
CN114502059A (zh) 用于评估瞳孔反应的系统和方法
de Almeida et al. Computational methodology for automatic detection of strabismus in digital images through Hirschberg test
JP2018520820A (ja) 視覚の様相を検査する方法及びシステム
JP2016220801A (ja) 両眼計測装置、両眼計測方法、及び両眼計測プログラム
KR102344493B1 (ko) 인공 지능 기반의 스마트 안진 검사 시스템, 방법 및 프로그램
US20230052100A1 (en) Systems And Methods For Optical Evaluation Of Pupillary Psychosensory Responses
US20220218198A1 (en) Method and system for measuring pupillary light reflex with a mobile phone
US20220287607A1 (en) Systems and methods for evaluating pupillary response
WO2023103860A1 (zh) 吸毒检测方法、装置、设备及存储介质
US20230012806A1 (en) Method and photographing device for acquiring side image for ocular proptosis degree analysis, and recording medium therefor
US20220230749A1 (en) Systems and methods for ophthalmic digital diagnostics via telemedicine
Mariakakis et al. Ocular symptom detection using smartphones
US20240081641A1 (en) System for strabismus assessment and a method of strabismus assessment
KR20230081189A (ko) 스마트폰을 이용한 동공반응 검사방법
WO2023130093A1 (en) System and methods for human identification of individuals with a condition utilizing dynamic adaptive biometrics
Supriyanti Cataract screening techniques under limited health facilities

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40074252

Country of ref document: HK