CN117017235A - 一种视觉认知检测方法、装置及设备 - Google Patents

一种视觉认知检测方法、装置及设备 Download PDF

Info

Publication number
CN117017235A
CN117017235A CN202311295019.9A CN202311295019A CN117017235A CN 117017235 A CN117017235 A CN 117017235A CN 202311295019 A CN202311295019 A CN 202311295019A CN 117017235 A CN117017235 A CN 117017235A
Authority
CN
China
Prior art keywords
visual
face
obtaining
target
tested person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311295019.9A
Other languages
English (en)
Inventor
邹金佑
王玄
戴伟伟
武晨
李晓柠
杨智宽
孙凌博
胡旻
蓝卫忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aier Ophthalmology Institute
Original Assignee
Aier Ophthalmology Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aier Ophthalmology Institute filed Critical Aier Ophthalmology Institute
Priority to CN202311295019.9A priority Critical patent/CN117017235A/zh
Publication of CN117017235A publication Critical patent/CN117017235A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0091Fixation targets for viewing direction
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475User input or interface means, e.g. keyboard, pointing device, joystick
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Psychiatry (AREA)
  • Neurology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Physiology (AREA)
  • Human Computer Interaction (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Social Psychology (AREA)
  • Neurosurgery (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本申请涉及一种视觉认知检测方法、装置及设备,通过第一采集装置和第二采集装置采集第一被测者在视觉认知检测装置上,进行含有特殊视标的专用视觉刺激的视觉测试操作过程中的面部数据和手动数据,再根据面部数据得到第一被测者的眼睛的注视位置,然后再将第一被测者的注视位置和手动数据输入至预先训练得到的目标感知器模型中,目标感知器模型输出第一被测者的视觉认知检测报告,有效地避免了专业人员的主观因素的影响,能够有效地提高视觉认知检测的准确性,而且还能够降低检测时间,以及能够降低对被测者的依从性要求,进而能够有效地提高检测效率,由于不需要对专业人员进行长期地培训,能够有效地降低成本。

Description

一种视觉认知检测方法、装置及设备
技术领域
本申请属于视觉认知检测技术领域,特别是涉及一种视觉认知检测方法、装置及设备。
背景技术
作为健康视觉功能的重要部分,视觉认知功能对个体的学习、交流、决策和行动起着至关重要的作用。视觉认知障碍会对个体生活,尤其是青少年发展产生较大的负面影响。同时,眼部疾病(如斜视、弱视、青光眼等)、神经系统疾病或损伤、发育和学习障碍(如注意力缺陷多动障碍、阅读障碍等)、神经退行性疾病等,也会导致人体的视觉认知功能异常。因此尽早尤其是在青少年视觉发育关键期对视觉认知功能进行检测,对于改善功能性眼健康,提高生活学习能力,同时辅助筛查相关潜在疾病,具有重要的意义。
目前,现有的视觉认知检测方法,主要是通过问卷量表的形式完成,但这种检测形式需要依赖专业医护人员,使得结果主观性较强,导致检测结果的准确性较低。
发明内容
本申请的目的为提供一种视觉认知检测方法、装置及设备;本申请提供的视觉认知检测方法,有效地避免了专业人员的主观因素的影响,能够有效地提高视觉认知检测的准确性,而且还能够降低检测时间,以及能够降低对被测者的依从性要求,进而能够有效地提高检测效率,由于不需要对专业人员进行长期地培训,能够有效地降低成本,且测试过程非常有趣,能够有效地提高被测者的测试积极性。
本申请提供的技术方案如下:
一种视觉认知检测方法,应用于视觉认知检测装置,所述方法包括:
获取第一采集装置采集的第一被测者在所述视觉认知检测装置上,进行含有特殊视标的专用视觉刺激的视觉测试操作过程中的面部数据;
获取第二采集装置采集的所述第一被测者在所述视觉认知检测装置上,进行含有特殊视标的专用视觉刺激的视觉测试操作过程中的手动数据;
根据所述面部数据,得到所述第一被测者的眼睛的注视位置;
获取预先训练得到的目标感知器模型,其中,所述目标感知网络模型为基于训练样本数据集和预设结果数据集对初始感知器模型进行训练得到的;
将所述注视位置和所述手动数据输入所述目标感知器模型,得到所述第一被测者的视觉认知检测报告。
可选地,所述第一采集装置包括红外光发射器和红外摄像头,所述面部数据包括所述红外摄像头采集的红外光照射到所述第一被测者的眼睛角膜上的角膜反射点,以及在所述红外光照射下的第一面部视频,其中,所述红外光是所述红外光发射器发射的,所述根据所述面部数据,得到所述第一被测者的眼睛的注视位置,包括:
根据所述第一面部视频,得到所述第一被测者的眼睛的第一瞳孔中心位置;
根据所述角膜反射点和所述第一瞳孔中心位置,得到所述角膜反射点与所述瞳孔中心之间的第一向量;
根据所述第一向量,得到所述第一被测者的眼睛的注视位置。
可选地,所述第一采集装置为可见光摄像头,所述面部数据为所述可见光摄像头采集的在可见光照射下的第二面部视频,所述根据所述面部数据,得到所述第一被测者的眼睛的注视位置,包括:
根据所述第二面部视频,得到所述第一被测者的面部中心位置和所述第一被测者的眼睛的第二瞳孔中心位置;
根据所述面部中心位置和所述第二瞳孔中心位置,得到所述面部中心位置与所述第二瞳孔中心位置之间的第二向量;
根据所述第二向量,得到所述第一被测者的眼睛的注视位置。
可选地,所述目标感知网络模型通过以下方法训练得到:
获取所述第一采集装置采集的多个第二被测者在所述视觉认知检测装置上进行视觉测试操作过程中的面部样本数据,并构建面部样本数据集;
获取所述第二采集装置采集的多个第二被测者在所述视觉认知检测装置上进行视觉测试操作过程中的手动样本数据,并构建手动样本数据集;
根据所述面部样本数据集,得到多个所述第二被测者的眼睛的注视位置样本数据集;
基于所述注视位置样本数据集、所述手动样本数据集和预设结果数据集,对初始感知器模型进行训练,得到目标感知器模型,其中,所述训练样本数据集包括所述注视位置样本数据集和所述手动样本数据集。
可选地,所述基于所述注视位置样本数据集、所述手动样本数据集和预设结果数据集,对初始感知器模型进行训练,得到目标感知器模型,包括:
将所述注视位置样本数据集、所述手动样本数据集和预设结果数据集划分为训练集、验证集和测试集;
基于所述训练集与所述验证集对初始感知器模型进行交叉验证训练,得到训练后的感知器模型;
基于所述测试集对所述训练后的感知器模型的模型性能进行评估,当模型性能达到预设模型性能时,确定该模型为目标感知器模型。
本申请还提供一种视觉认知检测装置,包括:
第一获取模块,用于获取第一采集装置采集的第一被测者在所述视觉认知检测装置上,进行含有特殊视标的专用视觉刺激的视觉测试操作过程中的面部数据;
第二获取模块,用于获取第二采集装置采集的所述第一被测者在所述视觉认知检测装置上,进行含有特殊视标的专用视觉刺激的视觉测试操作过程中的手动数据;
处理模块,用于根据所述面部数据,得到所述第一被测者的眼睛的注视位置;
第三获取模块,用于获取预先训练得到的目标感知器模型,其中,所述目标感知网络模型为基于训练样本数据集和预设结果数据集对初始感知器模型进行训练得到的;
检测模块,用于将所述注视位置和所述手动数据输入所述目标感知器模型,得到所述第一被测者的视觉认知检测报告。
可选地,所述第一采集装置包括红外光发射器和红外摄像头,所述面部数据包括所述红外摄像头采集的红外光照射到所述第一被测者的眼睛角膜上的角膜反射点,以及在所述红外光照射下的第一面部视频,其中,所述红外光是所述红外光发射器发射的,所述处理模块在执行所述根据所述面部数据,得到所述第一被测者的眼睛的注视位置时,具体用于:
根据所述第一面部视频,得到所述第一被测者的眼睛的第一瞳孔中心位置;
根据所述角膜反射点和所述第一瞳孔中心位置,得到所述角膜反射点与所述瞳孔中心之间的第一向量;
根据所述第一向量,得到所述第一被测者的眼睛的注视位置。
可选地,所述第一采集装置为可见光摄像头,所述面部数据为所述可见光摄像头采集的在可见光照射下的第二面部视频,所述处理模块在执行所述根据所述面部数据,得到所述第一被测者的眼睛的注视位置时,具体用于:
根据所述第二面部视频,得到所述第一被测者的面部中心位置和所述第一被测者的眼睛的第二瞳孔中心位置;
根据所述面部中心位置和所述第二瞳孔中心位置,得到所述面部中心位置与所述第二瞳孔中心位置之间的第二向量;
根据所述第二向量,得到所述第一被测者的眼睛的注视位置。
本申请还提供一种视觉认知检测设备,包括上述任一项所述的视觉认知检测装置,以及第一采集装置和第二采集装置;
所述第一采集装置,用于采集第一被测者在所述视觉认知检测装置上,进行含有特殊视标的专用视觉刺激的视觉测试操作过程中的面部数据;
所述第二采集装置,用于采集所述第一被测者在所述视觉认知检测装置上,进行含有特殊视标的专用视觉刺激的视觉测试操作过程中的手动数据。
可选地,所述第一采集装置包括红外光发射器和红外摄像头;
所述红外光发射器,用于发射红外光至所述第一被测者的眼睛;
所述红外摄像头,用于采集红外光照射到所述第一被测者的眼睛角膜上的角膜反射点,以及在所述红外光照射下的第一面部视频。
与现有技术相比较,本申请提供的一种视觉认知检测方法,应用于视觉认知检测装置,方法包括:获取第一采集装置采集的第一被测者在视觉认知检测装置上,进行含有特殊视标的专用视觉刺激的视觉测试操作过程中的面部数据;获取第二采集装置采集的第一被测者在视觉认知检测装置上,进行含有特殊视标的专用视觉刺激的视觉测试操作过程中的手动数据;根据面部数据,得到第一被测者的眼睛的注视位置;获取预先训练得到的目标感知器模型,其中,目标感知网络模型为基于训练样本数据集和预设结果数据集对初始感知器模型进行训练得到的;将注视位置和手动数据输入目标感知器模型,得到第一被测者的视觉认知检测报告,本申请中,通过将第一被测者的注视位置和手动数据输入至预先训练得到的目标感知器模型中,目标感知器模型输出第一被测者的视觉认知检测报告,有效地避免了专业人员的主观因素的影响,能够有效地提高视觉认知检测的准确性,而且还能够降低检测时间,以及能够降低对被测者的依从性要求,进而能够有效地提高检测效率,由于不需要对专业人员进行长期地培训,能够有效地降低成本,且测试过程非常有趣,能够有效地提高被测者的测试积极性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请提供的一种视觉认知检测方法的流程示意图;
图2为本申请实施例提供的视觉认知检测装置中的视觉测试界面示意图,其中,a为开始视觉测试的第一关后上方第一个方格中设置有一个图案且下方设置有7x7网格图的界面示意图,b为第一被测者从7x7网格图中移动了与第一个方格的图案相同的图案至第二个方格后的界面示意图,c为第一被测者从7x7网格图中移动了与第一个方格的图案不同的图案至第三个方格后的界面示意图,d为第一被测者将第三个方格中错误图案清除并从7x7网格图中移动了与第一个方格的图案相同的图案至第三个方格后的界面示意图,e为第一方格中更新设置了另一个图案后的界面示意图;
图3为本申请实施例提供的一种视觉认知检测装置的结构框图;
图4为本申请实施例提供的另一种视觉认知检测装置的结构框图;
图5为本申请实施例提供的再一种视觉认知检测装置的结构框图;
图6为本申请实施例提供的一种视觉认知检测设备的结构框图;
图7为本申请实施例提供的另一种视觉认知检测设备的结构框图。
具体实施方式
为了使本领域的技术人员更好地理解本申请中的技术方案,下面将对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,当元件被称为“固定于”或“设置于”另一个元件上,它可以直接在另一个元件上或者间接设置在另一个元件上;当一个元件被称为是“连接于”另一个元件,它可以是直接连接到另一个元件或间接连接至另一个元件上。
需要理解的是,术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本申请的描述中,“多个”、“若干个”的含义是两个或两个以上,除非另有明确具体的限定。
须知,本说明书附图所绘示的结构、比例、大小等,均仅用以配合说明书所揭示的内容,以供熟悉此技术的人士了解与阅读,并非用以限定本申请可实施的限定条件,故不具技术上的实质意义,任何结构的修饰、比例关系的改变或大小的调整,在不影响本申请所能产生的功效及所能达成的目的下,均应仍落在本申请所揭示的技术内容得能涵盖的范围内。
如图1所示,本申请实施例提供一种视觉认知检测方法,应用于视觉认知检测装置,方法包括:
S11、获取第一采集装置采集的第一被测者在视觉认知检测装置上,进行含有特殊视标的专用视觉刺激的视觉测试操作过程中的面部数据;
本实施中,视觉认知检测装置可以是手机、电脑或者其它电子装置;第一被测者可以是使用视觉认知检测装置进行视觉认知检测的用户。
本实施例中,第一采集装置可以包括红外光发射器和红外摄像头,在第一被测者在视觉认知检测装置上进行视觉测试操作过程中,使红外光发射器发射红外光至第一被测者的眼睛,红外摄像头拍摄采集红外光照射到第一被测者的眼睛角膜上的角膜反射点,以及在红外光照射下第一被测者的第一面部视频,并且红外摄像头将角膜反射点和第一面部视频发送至视觉认知检测装置中。
本实施例中,第一采集装置也可以是可见光摄像头,在第一被测者在视觉认知检测装置上进行视觉测试操作过程中,通过可见光摄像头拍摄在可见光照射下第一被测者的第二面部视频,并且可见光摄像头将第二面部视频发送至视觉认知检测装置。
本实施例中,视觉测试可以是视觉测试程序,视觉测试程序可以是预先存储在视觉认知检测装置中,视觉测试的界面上含有特殊视标的专用视觉刺激。
例如,含有特殊视标的专用视觉刺激的视觉测试的界面可以是如图2所示的界面,具体的视觉测试规则可以是:以测试的第一关为例,第一被测者从a中的下方7x7的网格中找出与上方的最左侧的图案(即第一个方格中的图案)完全一致的图案移动到上方右侧两个方格(即第二个方格和第三个方格)中,如b所示为移动了一个图案至第二个方格中的界面,如c所示,当图案选择错误时(如移动至第三个方格中的图案错误时)界面上将出现错误提示,第一被测者可以将第三个方格中错误图案清除,清除后的界面如b所示 ,第一被测者需重新对图案进行选择,如d所示,当第二个方格和第三个方格中的图案均选择正确后界面将出现正确提示,在第一关图案出现正确提示后,将进入下一关(如第二关)的界面,如e所示,第二关的界面的上方最左侧的图案将自动更换为新的刺激视标,第一被测者需从下方7x7的网格中重新寻找与新的图案完全一致的图案,进行第二关的操作,具体的操作关数可以根据需要预先设置在视觉认知检测装置内。
S12、获取第二采集装置采集的第一被测者在视觉认知检测装置上,进行含有特殊视标的专用视觉刺激的视觉测试操作过程中的手动数据;
本实施例中,第二采集装置可以是鼠标,也可以是设置有传感器的触摸屏,手动数据可以包括第一被测者的按键反应位置、反应时间、应答率和正确率等数据,第二采集装置采集第一被测者在视觉认知检测装置上进行视觉测试操作过程中的按键反应位置、反应时间、应答率和正确率等手动数据,并将手动数据发送至视觉认知检测装置。
S13、根据面部数据,得到第一被测者的眼睛的注视位置;
本实施例中,面部数据可以包括红外摄像头采集的红外光照射到第一被测者的眼睛角膜上的角膜反射点,以及在红外光照射下的第一面部视频,其中,红外光是红外光发射器发射的,可以根据第一面部视频得到第一被测者的眼睛的第一瞳孔中心位置,再根据角膜反射点和第一瞳孔中心位置,得到角膜反射点与瞳孔中心之间的第一向量,然后根据第一向量,得到第一被测者的眼睛的注视位置。
本实施例中,面部数据也可以是可见光摄像头在可见光照射下采集的第二面部视频,可以根据第二面部视频得到第一被测者的面部中心位置和第一被测者的眼睛的第二瞳孔中心位置,然后根据面部中心位置和第二瞳孔中心位置,得到面部中心位置与第二瞳孔中心位置之间的第二向量,再根据第二向量得到第一被测者的眼睛的注视位置。
S14、获取预先训练得到的目标感知器模型,其中,目标感知网络模型为基于训练样本数据集和预设结果数据集对初始感知器模型进行训练得到的;
本实施例中,训练样本数据集可以包括注视位置样本数据集和手动样本数据集,注视位置样本数据集可以是通过第一采集装置采集的多个第二被测者在视觉认知检测装置上进行视觉测试操作过程中的面部样本数据构建而来的,手动样本数据集可以是通过第二采集装置采集的多个第二被测者在视觉认知检测装置上进行视觉测试操作过程中的手动样本数据构建而来的,其中,多个第二被测者可以是招募的用于训练模型的各年龄层视觉认知功能正常或障碍的人群,预设结果数据集可以是通过多个第二被测者对应的传统视觉认知量表的分值构建而成的,预设结果数据集也可以是针对多个第二被测者预先设置的对应的视觉认知检测结果数据集。
S15、将注视位置和手动数据输入目标感知器模型,得到第一被测者的视觉认知检测报告。
本实施例中,报告中可以分别记录视觉辨认、视觉记忆、空间关系、图形恒定、顺序记忆、图形背景、视觉闭合测试中的得分,并以多边形图的方式更直观的展示不同的视觉认知能力的强弱,最后给出文字分析报告。
与现有技术相比较,本申请提供的一种视觉认知检测方法,应用于视觉认知检测装置,方法包括:获取第一采集装置采集的第一被测者在视觉认知检测装置上,进行含有特殊视标的专用视觉刺激的视觉测试操作过程中的面部数据;获取第二采集装置采集的第一被测者在视觉认知检测装置上,进行含有特殊视标的专用视觉刺激的视觉测试操作过程中的手动数据;根据面部数据,得到第一被测者的眼睛的注视位置;获取预先训练得到的目标感知器模型,其中,目标感知网络模型为基于训练样本数据集和预设结果数据集对初始感知器模型进行训练得到的;将注视位置和手动数据输入目标感知器模型,得到第一被测者的视觉认知检测报告,本申请中,通过将第一被测者的注视位置和手动数据输入至预先训练得到的目标感知器模型中,目标感知器模型输出第一被测者的视觉认知检测报告,有效地避免了专业人员的主观因素的影响,能够有效地提高视觉认知检测的准确性,而且还能够降低检测时间,以及能够降低对被测者的依从性要求,进而能够有效地提高检测效率,由于不需要对专业人员进行长期地培训,能够有效地降低成本,且视觉测试的操作方式非常有趣,能够有效地提高被测者的测试积极性。
作为一种实施方式,本申请实施例中,第一采集装置包括红外光发射器和红外摄像头,面部数据包括红外摄像头采集的红外光照射到第一被测者的眼睛角膜上的角膜反射点,以及在红外光照射下的第一面部视频,其中,红外光是红外光发射器发射的,步骤S13,包括:
S1311、根据第一面部视频,得到第一被测者的眼睛的第一瞳孔中心位置;
本实施例中,在红外光线的照射下,摄像头拍摄到的第一面部视频的图像中,第一被测者眼睛的瞳孔呈现为暗区,而周围的虹膜呈现为明亮区域,可以通过现有的图像处理算法,可以找到瞳孔的边缘,并根据瞳孔的边缘计算出第一被测者的眼睛的瞳孔中心位置(即第一瞳孔中心位置)。
S1312、根据角膜反射点和第一瞳孔中心位置,得到角膜反射点与瞳孔中心之间的第一向量;
本实施例中,当红外光线照射到第一被测者眼睛时,第一被测者眼睛的角膜表面会产生一个亮点,称为角膜反射点,这个亮点相对于第一瞳孔中心位置是固定的,因此可以作为一个参考点,根据角膜反射点和第一瞳孔中心位置可以得到角膜反射点与瞳孔中心之间的第一向量,第一向量包括第一瞳孔中心位置到角膜反射点的方向和距离,第一向量可以用来表示眼球的旋转,当第一被测者的眼睛注视不同位置时,这个第一向量会随之发生变化。
S1313、根据第一向量,得到第一被测者的眼睛的注视位置。
本实施例中,可以通过校准的方式,预先建立第一瞳孔中心与角膜反射点之间的第一向量与注视位置之间的对应关系表,可以根据该对应关系表以及当前的第一瞳孔中心与角膜反射点之间的第一向量,得到第一被测者的眼睛当前的注视位置。
作为一种实施方式,本申请实施例中,第一采集装置为可见光摄像头,面部数据为可见光摄像头采集的在可见光照射下的第二面部视频,步骤S3,包括:
S1321、根据第二面部视频,得到第一被测者的面部中心位置和第一被测者的眼睛的第二瞳孔中心位置;
本实施例中,可见光摄像头即常见的普通摄像头,可以使用人脸检测算法(如Haar Cascade 分类器或MTCNN多任务级联卷积神经网络)在可见光摄像头拍摄的第二面部视频中的图像中定位人脸以及人脸中的中心位置(即面部中心位置),可以通过瞳孔边缘检测、轮廓检测等图像处理方法识别和定位第一被测者的眼睛的瞳孔中心位置(即第二瞳孔中心位置),例如,可通过对比不同亮度区域来识别瞳孔,因为瞳孔通常是眼睛区域中最暗的部分。
S1322、根据面部中心位置和第二瞳孔中心位置,得到面部中心位置与第二瞳孔中心位置之间的第二向量;
本实施例中,根据面部中心位置和第二瞳孔中心位置可以得到面部中心位置与第二瞳孔中心位置之间的第二向量,第二向量包括面部中心位置到第二瞳孔中心位置的方向和距离,第二向量可以用来表示眼球的旋转,当第一被测者的眼睛注视不同位置时,这个第二向量会随之发生变化。
S1323、根据第二向量,得到第一被测者的眼睛的注视位置。
本实施例中,可以通过校准的方式,预先建立面部中心位置和第二瞳孔中心位置之间的第二向量与注视位置之间的对应关系表,可以根据该对应关系表以及当前的面部中心位置与第二瞳孔中心位置之间的第二向量,得到第一被测者的眼睛当前的注视位置。
作为一种实施方式,本申请实施例中,目标感知网络模型通过以下方法训练得到:
S21、获取第一采集装置采集的多个第二被测者在视觉认知检测装置上进行视觉测试操作过程中的面部样本数据,并构建面部样本数据集;
本实施例中,第一采集装置可以包括红外光发射器和红外摄像头,第一采集装置也可以是可见光摄像头,多个第二被测者可以是招募的用于训练模型的各年龄层视觉认知功能正常或障碍的人群,可以通过第一采集装置采集多个第二被测者在视觉认知检测装置上进行视觉测试操作过程中的面部样本数据,并根据多个面部样本数据构建面部样本数据集。
本实施例中,还可以是对多个面部样本数据进行包括缩放特征、处理缺失值等预处理后,再根据多个预处理后的面部样本数据构建面部样本数据集。
S22、获取第二采集装置采集的多个第二被测者在视觉认知检测装置上进行视觉测试操作过程中的手动样本数据,并构建手动样本数据集;
本实例中,第二采集装置可以是鼠标,也可以是设置有传感器的触摸屏,可以通过第二采集装置采集多个第二被测者在视觉认知检测装置上进行视觉测试操作过程中的手动样本数据,并根据多个手动样本数据构建手动样本数据集。
本实施例中,还可以是对多个手动样本数据进行包括缩放特征、处理缺失值等预处理后,再根据多个预处理后的手动样本数据构建手动样本数据集。
S23、根据面部样本数据集,得到多个第二被测者的眼睛的注视位置样本数据集;
本实施例中,面部样本数据集可以包括红外摄像头采集的红外光照射到多个第二被测者的眼睛角膜上的角膜反射点样本数据集,以及在红外光照射下的第一面部视频样本数据集,其中,红外光是红外光发射器发射的,可以根据第一面部视频样本数据集得到多个第二被测者的眼睛的第一瞳孔中心位置样本数据集,再根据角膜反射点样本数据集和第一瞳孔中心位置样本数据集,得到第一向量样本数据集,然后根据第一向量样本数据集,得到多个第二被测者的眼睛的注视位置样本数据集。
本实施例中,面部样本数据集也可以是可见光摄像头在可见光照射下采集的第二面部视频样本数据集,可以根据第二面部视频样本数据集得到多个第二被测者的面部中心位置样本数据集和多个第二被测者的眼睛的第二瞳孔中心位置样本数据集,然后根据面部中心位置样本数据集和第二瞳孔中心位置样本数据集,得到第二向量样本数据集,再根据第二向量样本数据集得到多个第二被测者的眼睛的注视位置样本数据集。
S24、基于注视位置样本数据集、手动样本数据集和预设结果数据集,对初始感知器模型进行训练,得到目标感知器模型,其中,训练样本数据集包括注视位置样本数据集和手动样本数据集。
本实例中,初始感知器模型可以是多层感知器(MLP,Multi-Layer Perceptron)神经网络,初始感知器模型包括输入层、隐藏层和输出层,输入层的神经元数量应与输入特征的数量相等,输出层的神经元数量与预测的维度数量相等,隐藏层初始为两层,可以根据需要(如模型学习训练的效果)增加层数及神经元数量,隐藏层可以采用ReLU、sigmoid等激活函数,输出层可以采用线性激活函数,模型中的损失函数可以为模型输出与传统视觉认知量表分值的均方误差,在优化器选择上,可以采用Adam、RMSprop等优化算法,可以将注视位置样本数据集、手动样本数据集和预设结果数据集输入初始感知器模型中,对初始感知器模型进行训练及参数,得到符合要求的目标感知器模型,其中,预设结果数据集可以是通过多个第二被测者对应的传统视觉认知量表的分值构建而成的,预设结果数据集也可以是针对多个第二被测者预先设置的对应的视觉认知检测结果数据集。
作为一种实施方式,本申请实施例中,S24,包括:
S241、将注视位置样本数据集、手动样本数据集和预设结果数据集划分为训练集、验证集和测试集;
本实施例中,可以将注视位置样本数据集、手动样本数据集和预设结果数据集分别划分为用于训练模型的训练集、用于验证模型的验证集和用于测试模型的测试集。
S242、基于训练集与验证集对初始感知器模型进行交叉验证训练,得到训练后的感知器模型;
本实施例中,可以使用训练集训练初始感知器模型,在验证集上评估模型性能,并采用交叉验证来获得更稳定的性能估计,随后根据验证结果调整网络模型的结构及其他超参数,通过多次调整后模型获得最佳性能,模型训练过程中可以引入L1、L2、Dropout等正则化技术,以防止模型过拟合,可以采用网格搜索、贝叶斯优化等方法对模型进行超参数调整。
S243、基于测试集对训练后的感知器模型的模型性能进行评估,当模型性能达到预设模型性能时,确定该模型为目标感知器模型。
本实例中,预设模型性能可以是预先设定的模型性能,可以在测试集上评估后的感知器模型的模型性能,当模型性能达到预设模型性能时,确定该模型为目标感知器模型,当模型性能未达到预设模型性能时,继续对模型进行训练和模型参数调整,直至模型性能达到预设性能。
如图3所示,本申请还提供一种视觉认知检测装置,包括:
第一获取模块110,用于获取第一采集装置210采集的第一被测者在视觉认知检测装置上,进行含有特殊视标的专用视觉刺激的视觉测试操作过程中的面部数据;
第二获取模块120,用于获取第二采集装置220采集的第一被测者在视觉认知检测装置上,进行含有特殊视标的专用视觉刺激的视觉测试操作过程中的手动数据;
处理模块130,用于根据面部数据,得到第一被测者的眼睛的注视位置;
第三获取模块140,用于获取预先训练得到的目标感知器模型,其中,目标感知网络模型为基于训练样本数据集和预设结果数据集对初始感知器模型进行训练得到的;
检测模块150,用于将注视位置和手动数据输入目标感知器模型,得到第一被测者的视觉认知检测报告。
如图4所示,作为一种实施方式,本申请实施例中,第一采集装置210包括红外光发射器211和红外摄像头212,面部数据包括红外摄像头212采集的红外光照射到第一被测者的眼睛角膜上的角膜反射点,以及在红外光照射下的第一面部视频,其中,红外光是红外光发射器211发射的,处理模块130在执行根据面部数据,得到第一被测者的眼睛的注视位置时,具体用于:
根据第一面部视频,得到第一被测者的眼睛的第一瞳孔中心位置;
根据角膜反射点和第一瞳孔中心位置,得到角膜反射点与瞳孔中心之间的第一向量;
根据第一向量,得到第一被测者的眼睛的注视位置。
如图5所示,作为一种实施方式,本申请实施例中,第一采集装置210为可见光摄像头,面部数据为可见光摄像头采集的在可见光照射下的第二面部视频,处理模块130在执行根据面部数据,得到第一被测者的眼睛的注视位置时,具体用于:
根据第二面部视频,得到第一被测者的面部中心位置和第一被测者的眼睛的第二瞳孔中心位置;
根据面部中心位置和第二瞳孔中心位置,得到面部中心位置与第二瞳孔中心位置之间的第二向量;
根据第二向量,得到第一被测者的眼睛的注视位置。
如图6所示,本申请还提供一种视觉认知检测设备,包括上述任一项的视觉认知检测装置,以及第一采集装置210和第二采集装置220;
第一采集装置210,用于采集第一被测者在视觉认知检测装置上,进行含有特殊视标的专用视觉刺激的视觉测试操作过程中的面部数据;
第二采集装置220,用于采集第一被测者在视觉认知检测装置上,进行含有特殊视标的专用视觉刺激的视觉测试操作过程中的手动数据。
如图7所示,作为一种实施方式,本申请实施例中,第一采集装置210包括红外光发射器211和红外摄像头212;
红外光发射器211,用于发射红外光至第一被测者的眼睛;
红外摄像头212,用于采集红外光照射到第一被测者的眼睛角膜上的角膜反射点,以及在红外光照射下的第一面部视频。
应当理解,本申请中如若使用了“系统”、“装置”、“单元”和/或“模块”,仅是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而,如果其他词语可实现相同的目的,则可通过其他表达来替换该词语。
本说明书中各实施例采用递进方式描述,每个实施例重点说明的都是与
其他实施例不同之处,各个实施例之间相同或相似部分相互参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种视觉认知检测方法,其特征在于,应用于视觉认知检测装置,所述方法包括:
获取第一采集装置采集的第一被测者在所述视觉认知检测装置上,进行含有特殊视标的专用视觉刺激的视觉测试操作过程中的面部数据;
获取第二采集装置采集的所述第一被测者在所述视觉认知检测装置上,进行含有特殊视标的专用视觉刺激的视觉测试操作过程中的手动数据;
根据所述面部数据,得到所述第一被测者的眼睛的注视位置;
获取预先训练得到的目标感知器模型,其中,所述目标感知网络模型为基于训练样本数据集和预设结果数据集对初始感知器模型进行训练得到的;
将所述注视位置和所述手动数据输入所述目标感知器模型,得到所述第一被测者的视觉认知检测报告。
2.根据权利要求1所述的视觉认知检测方法,其特征在于,所述第一采集装置包括红外光发射器和红外摄像头,所述面部数据包括所述红外摄像头采集的红外光照射到所述第一被测者的眼睛角膜上的角膜反射点,以及在所述红外光照射下的第一面部视频,其中,所述红外光是所述红外光发射器发射的,所述根据所述面部数据,得到所述第一被测者的眼睛的注视位置,包括:
根据所述第一面部视频,得到所述第一被测者的眼睛的第一瞳孔中心位置;
根据所述角膜反射点和所述第一瞳孔中心位置,得到所述角膜反射点与所述瞳孔中心之间的第一向量;
根据所述第一向量,得到所述第一被测者的眼睛的注视位置。
3.根据权利要求1所述的视觉认知检测方法,其特征在于,所述第一采集装置为可见光摄像头,所述面部数据为所述可见光摄像头采集的在可见光照射下的第二面部视频,所述根据所述面部数据,得到所述第一被测者的眼睛的注视位置,包括:
根据所述第二面部视频,得到所述第一被测者的面部中心位置和所述第一被测者的眼睛的第二瞳孔中心位置;
根据所述面部中心位置和所述第二瞳孔中心位置,得到所述面部中心位置与所述第二瞳孔中心位置之间的第二向量;
根据所述第二向量,得到所述第一被测者的眼睛的注视位置。
4.根据权利要求1至3任一项所述的视觉认知检测方法,其特征在于,所述目标感知网络模型通过以下方法训练得到:
获取所述第一采集装置采集的多个第二被测者在所述视觉认知检测装置上进行视觉测试操作过程中的面部样本数据,并构建面部样本数据集;
获取所述第二采集装置采集的多个第二被测者在所述视觉认知检测装置上进行视觉测试操作过程中的手动样本数据,并构建手动样本数据集;
根据所述面部样本数据集,得到多个所述第二被测者的眼睛的注视位置样本数据集;
基于所述注视位置样本数据集、所述手动样本数据集和预设结果数据集,对初始感知器模型进行训练,得到目标感知器模型,其中,所述训练样本数据集包括所述注视位置样本数据集和所述手动样本数据集。
5.根据权利要求4所述的视觉认知检测方法,其特征在于,所述基于所述注视位置样本数据集、所述手动样本数据集和预设结果数据集,对初始感知器模型进行训练,得到目标感知器模型,包括:
将所述注视位置样本数据集、所述手动样本数据集和预设结果数据集划分为训练集、验证集和测试集;
基于所述训练集与所述验证集对初始感知器模型进行交叉验证训练,得到训练后的感知器模型;
基于所述测试集对所述训练后的感知器模型的模型性能进行评估,当模型性能达到预设模型性能时,确定该模型为目标感知器模型。
6.一种视觉认知检测装置,其特征在于,包括:
第一获取模块,用于获取第一采集装置采集的第一被测者在所述视觉认知检测装置上,进行含有特殊视标的专用视觉刺激的视觉测试操作过程中的面部数据;
第二获取模块,用于获取第二采集装置采集的所述第一被测者在所述视觉认知检测装置上,进行含有特殊视标的专用视觉刺激的视觉测试操作过程中的手动数据;
处理模块,用于根据所述面部数据,得到所述第一被测者的眼睛的注视位置;
第三获取模块,用于获取预先训练得到的目标感知器模型,其中,所述目标感知网络模型为基于训练样本数据集和预设结果数据集对初始感知器模型进行训练得到的;
检测模块,用于将所述注视位置和所述手动数据输入所述目标感知器模型,得到所述第一被测者的视觉认知检测报告。
7.根据权利要求6所述的视觉认知检测装置,其特征在于,所述第一采集装置包括红外光发射器和红外摄像头,所述面部数据包括所述红外摄像头采集的红外光照射到所述第一被测者的眼睛角膜上的角膜反射点,以及在所述红外光照射下的第一面部视频,其中,所述红外光是所述红外光发射器发射的,所述处理模块在执行所述根据所述面部数据,得到所述第一被测者的眼睛的注视位置时,具体用于:
根据所述第一面部视频,得到所述第一被测者的眼睛的第一瞳孔中心位置;
根据所述角膜反射点和所述第一瞳孔中心位置,得到所述角膜反射点与所述瞳孔中心之间的第一向量;
根据所述第一向量,得到所述第一被测者的眼睛的注视位置。
8.根据权利要求6所述的视觉认知检测装置,其特征在于,所述第一采集装置为可见光摄像头,所述面部数据为所述可见光摄像头采集的在可见光照射下的第二面部视频,所述处理模块在执行所述根据所述面部数据,得到所述第一被测者的眼睛的注视位置时,具体用于:
根据所述第二面部视频,得到所述第一被测者的面部中心位置和所述第一被测者的眼睛的第二瞳孔中心位置;
根据所述面部中心位置和所述第二瞳孔中心位置,得到所述面部中心位置与所述第二瞳孔中心位置之间的第二向量;
根据所述第二向量,得到所述第一被测者的眼睛的注视位置。
9.一种视觉认知检测设备,其特征在于,包括如权利要求6至8任一项所述的视觉认知检测装置,以及第一采集装置和第二采集装置;
所述第一采集装置,用于采集第一被测者在所述视觉认知检测装置上,进行含有特殊视标的专用视觉刺激的视觉测试操作过程中的面部数据;
所述第二采集装置,用于采集所述第一被测者在所述视觉认知检测装置上,进行含有特殊视标的专用视觉刺激的视觉测试操作过程中的手动数据。
10.根据权利要求9所述的视觉认知检测设备,其特征在于,所述第一采集装置包括红外光发射器和红外摄像头;
所述红外光发射器,用于发射红外光至所述第一被测者的眼睛;
所述红外摄像头,用于采集红外光照射到所述第一被测者的眼睛角膜上的角膜反射点,以及在所述红外光照射下的第一面部视频。
CN202311295019.9A 2023-10-09 2023-10-09 一种视觉认知检测方法、装置及设备 Pending CN117017235A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311295019.9A CN117017235A (zh) 2023-10-09 2023-10-09 一种视觉认知检测方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311295019.9A CN117017235A (zh) 2023-10-09 2023-10-09 一种视觉认知检测方法、装置及设备

Publications (1)

Publication Number Publication Date
CN117017235A true CN117017235A (zh) 2023-11-10

Family

ID=88602714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311295019.9A Pending CN117017235A (zh) 2023-10-09 2023-10-09 一种视觉认知检测方法、装置及设备

Country Status (1)

Country Link
CN (1) CN117017235A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1091325A (ja) * 1996-09-13 1998-04-10 Toshiba Corp 視線検出システム
CN102473033A (zh) * 2009-09-29 2012-05-23 阿尔卡特朗讯 一种注视点检测方法及其装置
CN113951828A (zh) * 2021-10-29 2022-01-21 上海市同济医院 一种基于视觉工作记忆任务的mci筛查方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1091325A (ja) * 1996-09-13 1998-04-10 Toshiba Corp 視線検出システム
CN102473033A (zh) * 2009-09-29 2012-05-23 阿尔卡特朗讯 一种注视点检测方法及其装置
CN113951828A (zh) * 2021-10-29 2022-01-21 上海市同济医院 一种基于视觉工作记忆任务的mci筛查方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴晓莉 等: "设计认知:研究方法与可视化表征 第2版", 29 February 2020, 东南大学出版社, pages: 49 - 51 *

Similar Documents

Publication Publication Date Title
CN107929007B (zh) 一种利用眼动追踪和智能评估技术的注意力和视觉能力训练系统及方法
US20170364732A1 (en) Eye tracking via patterned contact lenses
EP2829221B1 (en) Asperger's diagnosis assistance device
WO2019099572A1 (en) Systems and methods for visual field analysis
de Almeida et al. Computational methodology for automatic detection of strabismus in digital images through Hirschberg test
US11928632B2 (en) Ocular system for deception detection
Valente et al. Automatic diagnosis of strabismus in digital videos through cover test
CN112351727B (zh) 用于测量视觉功能图的系统和方法
CN114025659A (zh) 眼睛的屈光不正确定
KR102344493B1 (ko) 인공 지능 기반의 스마트 안진 검사 시스템, 방법 및 프로그램
CN113693552A (zh) 视觉疲劳监测方法、装置、电子设备及可读存储介质
Kasneci Towards the automated recognition of assistance need for drivers with impaired visual field
Brousseau et al. Smarteye: An accurate infrared eye tracking system for smartphones
Sangeetha A survey on deep learning based eye gaze estimation methods
EP3925518A1 (en) Detecting and tracking macular degeneration
Illavarason et al. Performance evaluation of visual therapy method used for cerebral palsy rehabilitation
CN117017235A (zh) 一种视觉认知检测方法、装置及设备
EP4325517A1 (en) Methods and devices in performing a vision testing procedure on a person
CN114468977B (zh) 一种眼科视力检查数据收集分析方法、系统及计算机存储介质
CN111259743B (zh) 一种近视图像深度学习识别模型训练方法及系统
Mantri et al. Cumulative video analysis based smart framework for detection of depression disorders
Akinci et al. A video-based eye pupil detection system for diagnosing bipolar disorder
US11896376B2 (en) Automated impairment detection system and method
US11605462B1 (en) System and methods for human identification of individuals with COVID-19 utilizing dynamic adaptive biometrics
US20240156189A1 (en) Systems and methods for using eye imaging on face protection equipment to assess human health

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination