CN115956271A - 用于提供对执行视觉任务的受试者的疲劳状态的变化的自动预测的方法和设备 - Google Patents
用于提供对执行视觉任务的受试者的疲劳状态的变化的自动预测的方法和设备 Download PDFInfo
- Publication number
- CN115956271A CN115956271A CN202180051811.2A CN202180051811A CN115956271A CN 115956271 A CN115956271 A CN 115956271A CN 202180051811 A CN202180051811 A CN 202180051811A CN 115956271 A CN115956271 A CN 115956271A
- Authority
- CN
- China
- Prior art keywords
- subject
- measurement
- data
- fatigue state
- fatigue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
- A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
- A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Physics & Mathematics (AREA)
- Social Psychology (AREA)
- Developmental Disabilities (AREA)
- Child & Adolescent Psychology (AREA)
- Educational Technology (AREA)
- Psychology (AREA)
- Psychiatry (AREA)
- Hospice & Palliative Care (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Eye Examination Apparatus (AREA)
- Ophthalmology & Optometry (AREA)
- Eyeglasses (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
这种用于提供对执行涉及任何种类的视觉内容的视觉任务的受试者的疲劳状态的变化的自动预测的计算机实施的方法包括:向疲劳状态变化预测模型提供与受试者相关的多个输入数据,其中,该多个输入数据包括与受试者相关的至少一个主观测量结果和/或与受试者相关的至少一个客观测量结果和/或至少一个受试者相关的其他数据;通过实施模型的处理器获得表示受试者的疲劳状态的变化水平的值。
Description
技术领域
本公开涉及一种用于提供对执行视觉任务的受试者的疲劳状态的变化的自动预测的方法和设备。
本公开还涉及一种相关联的眼视光机器、计算机程序产品和移动终端,以及一种用于向受试者提供抗疲劳光学制品的个性化处方的对应方法。
背景技术
视觉疲劳和术语“计算机视觉综合症”和“数字眼疲劳”通常可互换地用于描述由于在如计算机、平板计算机、手机和电子阅读器等数字设备上长时间近视工作而引起的复杂的眼睛和视力相关的问题。
更一般地,长时间视觉任务也可能引起其他类型的疲劳:
-认知疲劳,即大脑疲倦,其例如表现为注意力水平或阅读速度的变化;
-全身疲劳,例如感到困倦或总体上感到疲倦;
-由于长时间保持同一姿势而引起的肌肉疲劳,例如颈部疼痛;
-驾驶疲劳;
等。
由于现代的生活方式,数字设备的使用以及这种类型的疲劳的流行率在过去二十年中已经急剧增加到非常高的程度。
关于视觉疲劳,下面给出了两个官方定义:
-世界卫生组织将视觉疲劳定义为(ICD-10,H53.1)主观视觉障碍,表现为通常在长时间视觉活动后出现的高度视觉不适,并且其特征为疲劳、眼周疼痛、视力模糊和头痛;并且
-美国视光协会通过上文提到的描述由于长时间使用计算机、平板计算机、电子阅读器和手机而引起的一组眼睛和视力相关问题的计算机视觉综合征来定义视觉疲劳。
视觉疲劳的症状、评估技术和管理策略在研究和医疗界中引起了广泛关注。这些症状可能是由光线不足、数字屏幕上的眩光、不恰当的观看距离、长时间工作、警戒水平、光谱、对比度降低、字体小、未矫正的视力问题等引起的。
用于视觉疲劳评估的方法分为主观或客观。
对于主观评估,可以使用问卷。大多数常用的问卷是基于症状的问卷,比如视觉不适度量表(Conlon,Lovegrove,Chekaluk&Patti son,1999,可在https://www.tandfonline.com/doi/abs/10.1080/135062899394885处获得)、10项视觉疲劳问卷(Hayes,Sheedy,Stelmack&Heaney,2007,可在https://www.researchgate.net/publication/6140024_Computer_Use_Symptoms_and_Quality_of_Life处获得)以及集合不足症状调查表(CISS)(可在https://wowvision.net/wp-conte nt/uploads/2014/08/CI-Screening-and-symptom-survey.pdf处获得)。
对于客观评估,可以监测调节微波动,因为可以发现在长时间视觉任务后调节微波动会增加。一些研究评估了在引起视觉不适后的调节反应或调节滞后,但发现在长时间的视觉任务后这些参数没有一致的变化。发现聚散度动态、相关联的隐斜视和集合近点在近距离计算机工作后都发生变化。发现眨眼模式表现为眨眼率降低、眨眼持续时间增加和不完全眨眼增加。瞳孔直径变化、瞳孔微波动增加、瞳孔反射增加也被鉴定为视觉疲劳的潜在指标。发现临界闪光融合频率(CFFF)随着工作负荷的增加而降低。
但是,CFFF受各种因素(年龄、屈光不正、活动、禁食、昼夜节律等)的影响并且取决于显示器、任务、照明、工作距离的类型。因此,CFFF不能被视为视觉疲劳的绝对指标。
另外,以上列出的许多参数也受到全身疲劳和/或认知疲劳的影响。
因此,不仅视觉疲劳本身难以客观且精确地测量和评估,而且在本领域中没有得到普遍认同的、已知可靠的视觉疲劳客观度量或指标。
此外,引起视觉疲劳需要很长时间,例如超过一小时。
因此,在“真实世界”的场景中(像在商店中),建立用于引起并测量视觉疲劳的工具是不合适的。
此外,用于计算和预测视觉疲劳水平的大多数已知的方法是关于立体图像、视频或虚拟现实内容观看的,但是仅限于某些类型的视觉内容并且不适合所有种类的视觉任务。其他已知的方法仅仅基于眼睛图像(睁眼或闭眼)。这些方法没有考虑其他输入数据。
文献CN 107468206 A公开了一种基于瞳孔直径的立体内容观看视觉疲劳预测方法。描述了两个模型:一个模型用于预测主观视觉疲劳水平,另一个模型用于预测客观视觉疲劳,后者仅基于观看立体内容后的瞳孔直径(即,其预测瞳孔直径)。两个模型都使用多元回归算法。因素包括最大视差、刷新率、环境亮度、观看角度和观看者年龄。主观模型的输出是视觉疲劳问卷的结果。客观模型的输出是瞳孔直径。
这种解决方案仅限于立体内容观看。此外,输入数据包括内容和环境的参数,以及受试者的年龄,但未考虑如瞳孔测量结果等客观参数。瞳孔直径用作客观模型的输出而不是输入。此外,客观预测和主观预测是在不同的模型中,这使得解决方案变得复杂。
此外,现有技术的解决方案仅关注视觉症状预测和/或评估。这些解决方案无法预测视觉疲劳的变化,例如视觉疲劳的增加。
因此,未满足的需求是一种可以快速且容易地针对任何种类的视觉任务预测视觉疲劳水平的变化(例如增加)的工具,而其本身不会导致视觉疲劳。
发明内容
本公开的目的是克服现有技术的上述限制中的至少一些限制并且满足上述需求。
为此,本公开提供了一种用于提供对执行涉及任何种类的视觉内容的视觉任务的受试者的疲劳状态的变化的自动预测的计算机实施的方法,该计算机实施的方法包括:
向疲劳状态变化预测模型提供与所述受试者相关的多个输入数据,其中,该多个输入数据包括与受试者相关的至少一个主观测量结果和/或与受试者相关的至少一个客观测量结果和/或至少一个受试者相关的其他数据;
通过实施模型的处理器获得表示受试者的疲劳状态的变化水平的值。
因此,无论是针对一般的数字近距离工作还是针对任何其他视觉任务,都考虑可能包括主观测量结果和客观测量结果二者的不同类型的数据来预测视觉疲劳水平的变化。
另外,该方法简单且快速,例如,可以花费少于5分钟来获得表示所考虑的个体的疲劳状态变化水平的值。
根据本公开的方法不仅节省时间、提高了预测的准确度并且极大地简化了过程,而且其还实现了多种预防和缓解功能。
此外,提出的模型使得可以在不必进行漫长的任务来实际引起视觉疲劳的情况下预测人可能感到疲劳的容易程度。
模型输入数据是可以在商店中完成并且花费很少的时间(例如一两分钟)得到的测量结果。
另外,表示所考虑的个体的疲劳状态的变化水平的模型输出是立即生成的并且可以将人分类为不同水平的“疲劳者”。这使得可以推荐个体购买相适配的抗疲劳产品。
即,为了同样的目的,本公开还提出了一种用于向受试者提供抗疲劳光学制品的个性化处方的方法,其中,该方法包括:
通过以下操作获得对执行涉及任何种类的视觉内容的视觉任务的受试者的疲劳状态的变化的自动预测:
向疲劳状态变化预测模型提供与受试者相关的多个输入数据,其中,该多个输入数据包括与受试者相关的至少一个主观测量结果和/或与受试者相关的至少一个客观测量结果和/或至少一个受试者相关的其他数据;
通过实施模型的处理器获得表示受试者的疲劳状态的变化水平的值;
向受试者提供实施抗疲劳光学制品,该抗疲劳光学制品与表示受试者的疲劳状态的变化水平的值相适配的处方。
为了同样的目的,本公开还提供了一种用于提供对执行涉及任何种类的视觉内容的视觉任务的受试者的疲劳状态的变化的自动预测的设备,该设备包括:
测量单元,该测量单元被适配成提供测量输入数据,该测量输入数据包括与受试者相关的至少一个主观测量结果和/或与受试者相关的至少一个客观测量结果;
处理单元,该处理单元被适配成使用测量输入数据和/或至少一个受试者相关的其他数据来实施疲劳状态变化预测模型,以获得表示受试者的疲劳状态的变化水平的值;
数据输入单元,该数据输入单元被适配成从测量单元获得测量输入数据和/或被适配成获得至少一个受试者相关的其他数据,该数据输入单元被适配成向处理单元输入测量输入数据和/或至少一个受试者相关的其他数据以使处理单元实施该模型;
数据输出单元,该数据输出单元被适配成输出表示受试者的疲劳状态的变化水平的值。
为了同样的目的,本公开进一步提供了一种眼视光机器,该眼视光机器包括用于提供对执行涉及任何种类的视觉内容的视觉任务的受试者的疲劳状态的变化的自动预测的至少一个设备,该至少一个设备包括:
测量单元,该测量单元被适配成提供测量输入数据,该测量输入数据包括与受试者相关的至少一个主观测量结果和/或与受试者相关的至少一个客观测量结果;
处理单元,该处理单元被适配成使用测量输入数据和/或至少一个受试者相关的其他数据来实施疲劳状态变化预测模型,以获得表示受试者的疲劳状态的变化水平的值;
数据输入单元,该数据输入单元被适配成从测量单元获得测量输入数据和/或被适配成获得至少一个受试者相关的其他数据,该数据输入单元被适配成向处理单元输入测量输入数据和/或至少一个受试者相关的其他数据以使处理单元实施该模型;
数据输出单元,该数据输出单元被适配成输出表示受试者的疲劳状态的变化水平的值。
为了同样的目的,本公开进一步提供了一种包括指令的计算机程序产品,这些指令在由处理器执行时使处理器通过使用疲劳状态变化预测模型、基于以下各项来获得表示执行涉及任何种类的视觉内容的视觉任务的受试者的疲劳状态的变化水平的值:作为输入数据而提供给模型的与受试者相关的至少一个主观测量结果和/或与受试者相关的至少一个客观测量结果和/或至少一个受试者相关的其他数据。
为了同样的目的,本公开进一步提供了一种移动终端,其包括处理器和数据存储单元,其中,该数据存储单元包含指令,这些指令在由处理器执行时使处理器通过使用疲劳状态变化预测模型、基于以下各项来获得表示执行涉及任何种类的视觉内容的视觉任务的受试者的疲劳状态的变化水平的值:作为输入数据而提供给模型的与受试者相关的至少一个主观测量结果和/或与受试者相关的至少一个客观测量结果和/或至少一个受试者相关的其他数据。
根据上文简洁描述的任何方法、设备、机器、计算机程序产品或移动终端的可以组合或单独采用的特定的可能特征:
该至少一个主观测量结果可以包括表示受试者对与受试者的视力相关的至少一个问题的至少一个回答的数据,
疲劳状态可以是视觉疲劳状态,
至少一个客观测量结果可以包括在受试者上得到的至少一个瞳孔和/或注视测量结果,
多个输入数据(相应测量输入数据)可以包括与受试者相关的至少一个主观和/或客观验光测量结果,
该模型可以存储在云中,并且通过实施模型的处理器获得表示受试者的疲劳状态的变化水平的值的步骤可以在云中执行,
处理器可以位于云中,
预测模型可以使用机器学习,
预测模型可以使用分类算法和/或表示疲劳状态的变化水平的值可以是离散值,
预测模型可以使用回归算法和/或表示疲劳状态的变化水平的值可以是连续值,
预测模型可以是基于机器学习的预测模型。
由于上文简洁描述的用于向受试者提供抗疲劳光学制品的个性化处方的方法以及用于提供对受试者的疲劳状态的变化的自动预测的设备、眼视光机器、计算机程序产品和移动终端具有与用于提供对受试者的疲劳变化的自动预测的方法相同的优点,因此这些优点在此不再重复。
附图说明
为了更全面理解本文提供的说明及其优点,现在结合附图和详细描述参考以下简要说明,其中,相同的附图标记表示相同的部分。
图1是示出了在特定实施例中根据本公开的用于提供对执行视觉任务的受试者的疲劳状态的变化的自动预测的方法的步骤的流程图。
图2是在特定实施例中根据本公开的用于提供对执行视觉任务的受试者的疲劳状态的变化的自动预测的设备的示意图。
图3是在特定实施例中根据本公开的眼视光机器的示意图。
图4是在特定实施例中实施根据本公开的方法的移动应用程序的示意图。
图5是在特定实施例中根据本公开的用于向受试者提供抗疲劳光学制品的个性化处方的方法的简化流程图。
具体实施方式
在下面的描述中,附图不一定是按比例绘制的,并且出于清楚和简洁的目的或出于信息目的,某些特征可以以概括或示意性形式示出。另外,尽管下文详细讨论了制造和使用各实施例,但应当理解的是,如本文所述提供了可以在多种背景下实施的许多发明构思。本文讨论的实施例仅仅是代表性的并且不限制本公开的范围。对于本领域的技术人员来说还显而易见的是,与工艺相关地限定的所有技术特征可以单独或组合地转置到设备,反之,与设备相关的所有技术特征可以单独或组合地转置到工艺,并且不同实施例的技术特征可以与其他实施例的特征交换或组合。
术语“包括(comprise)”(及其任何语法变化,比如“包括(comprises)”和“包括(comprising)”)、“具有(have)”(及其任何语法变化,比如“具有(has)”和“具有(having)”)、“包含(contain)”(及其任何语法变化,比如“包含(contains)”和“包含(containing)”)、以及“包括(include)”(及其任何语法变化,比如“包括(includes)”和“包括(including)”)是开放式连接动词。这些术语用于指明其所述特征、整数、步骤或组分或群组的存在,但不排除其一个或多个其他特征、整数、步骤或组分或群组的存在或加入。因此,“包括”、“具有”、“包含”或“包括”一个或多个步骤或要素的方法或方法中的步骤具备那些一个或多个步骤或要素,但不限于仅具备那些一个或多个步骤或要素。
根据本公开的光学制品包括适用于人的视觉的至少一个眼科镜片或滤光片或光学玻璃或光学材料,例如至少一个眼科镜片、滤光片、旨在固定在基底上的光学膜或补片、光学玻璃、旨在用于眼科仪器中(例如用于确定受试者的视敏度和/或屈光)的光学材料或任何种类的安全设备(包括旨在面对个体眼睛的安全玻璃或安全壁,比如保护设备(例如安全镜片或面罩或防护罩))。
光学制品可以实施为具有至少部分地包围一个或多个眼科镜片的框架的眼镜设备。作为非限制性示例,光学制品可以是一副眼镜、太阳镜、安全护目镜、运动护目镜、隐形眼镜、眼内植入物、具有调幅的有源镜片(比如偏光镜片)或具有调相的有源镜片(比如自动对焦镜片)等。
适用于人类视觉的至少一个眼科镜片或光学玻璃或光学材料可以为用户(即镜片的佩戴者)提供光学功能。
例如,眼科镜片可以是矫正镜片,即,用于屈光不正用户的球镜、柱镜和/或下加光的焦度镜片,以用于治疗近视、远视、散光和/或老花眼。该镜片可以具有恒定的焦度,使得该镜片像单光镜片一样提供焦度,或者该镜片可以是具有可变焦度的渐进式镜片。
在本公开中,表述“视觉易疲劳性”意指当人(在本公开中也称为“受试者”或“个体”或“用户”或“佩戴者”)使用数字设备或者更一般地执行任何种类的视觉任务时,该人可能发生的视觉疲劳水平的变化。
图1示出了在特定实施例中根据本公开的用于提供对执行视觉任务的受试者的疲劳状态的变化的自动预测的方法和设备(在功能方面)的三个主要部分。
作为非限制性示例,疲劳状态可以是视觉疲劳状态。然而,可替代地,如上所述,疲劳状态可以是另一种类型的疲劳(认知疲劳、全身疲劳、肌肉疲劳、驾驶疲劳等)。
视觉任务可以涉及任何种类的视觉内容,例如它可以是显示在屏幕上、或可出现在纸上或以其他形式可出现在受试者观看的环境中的视觉内容。
如图1所示,该方法包括向疲劳状态变化预测模型14提供多个输入数据12的步骤10。
输入数据12涉及受试者,即,期望为其提供疲劳状态的变化的自动预测。输入数据可以包括:
-与受试者相关的一个或多个主观测量结果16;和/或
-与受试者相关的一个或多个客观测量结果18;和/或
-与受试者相关的一个或多个其他数据20。
主观测量结果16与客观测量结果18的不同之处在于测量的方法。
因此,同一类型的参数(比如集合近点、调节近点、三棱镜融合范围等)可以是主观的也可以是客观的,具体取决于获得该参数所采用的方式。
主观测量结果16是至少部分地依赖于受试者的回应的任何结果,这些结果可以例如由机器或眼睛护理专业人员测量。
因此,主观测量结果16可以包括表示由受试者分别对与该受试者的视力相关的一个或若干问题做出的一个或若干回答的数据。作为非限制性示例,这些问题可以涉及受试者对他/她的视觉疲劳、当前视觉疲劳水平和一般视觉疲劳水平等的感知。可以使用上述CISS作为一般视觉疲劳问卷。可以使用任何适当的当前视觉疲劳问卷。
客观测量结果18是例如由机器或眼睛护理专业人员在不利用任何受试者对由机器或由眼睛护理专业人员提出的任何问题做出的任何回应的情况下获得的任何结果。
因此,客观测量结果18可以包括通过本身已知的任何合适的装置在受试者上得到的一个或多个瞳孔测量结果或任何其他眼科测量结果。
瞳孔数据包括例如瞳孔大小、瞳孔微波动及其变化。
眼科测量结果是可以由验光师在商店中获得的普通测量结果,并且作为非限制性示例包括视敏度、等效球镜度、集合近点、调节近点、三棱镜融合范围和调节性集合/调节比。
客观测量结果18可以包括通过本身已知的任何合适的装置在受试者上得到的注视测量结果。例如,注视测量结果包括注视稳定性和固视差异,以及眨眼相关的测量结果。这些客观测量结果可以在几分钟内获得并且用本身已知的任何眼动跟踪设备进行计算。
注视测量结果可以用于代替瞳孔测量结果或作为瞳孔测量结果的补充。
主观测量和客观测量可以同时或不同时进行。当这些测量同时进行时,该方法的运行速度比它们分开进行时更快。
与受试者相关的其他数据20是除测量结果之外的与受试者相关的数据,例如人口统计数据、性别、年龄、种族数据等。
多个输入数据12可以包括与受试者相关的一个或多个主观验光测量结果,例如主观屈光、调节近点、测量集合近点的主观方式、三棱镜融合范围等。更一般地,在测量过程中涉及要求受试者报告他/她可以否清楚地看到某物的任何测量结果都被认为是主观验光测量结果。
多个输入数据12可以包括与受试者相关的一个或多个客观验光测量结果。
任何客观测量结果的任何组合、以及任何主观测量结果的任何组合、或者任何客观测量结果与任何主观测量结果的任何组合都是可能的。
可以添加如测试时间、观看内容、或姿势等其他类型的数据,以便提高模型性能并扩展该方法的使用场景。
另外,在提供多个输入数据12的步骤10期间,可以同时或分开地获得一个或多个主观测量结果16和一个或多个客观测量结果18。
使用以上列出的所有类型的测量结果和受试者相关的数据将产生甚至更精确且更强大的预测模型14。然而,并不强制使用这些测量结果和数据类型中的每一者。事实上,相反,可以使用较少类型的数据,这可能更实用,但是会导致性能降低。例如,对于不能利用瞳孔测量工具的用户,仅利用主观数据和眼科数据,仍然可以预测关于视觉疲劳水平的变化。与具有所有可能输入数据的完整模型相比,预测模型14的可靠性和性能下降,但是仍然高于机会水平。
作为非限制性示例,可以如下所述收集步骤10中涉及的输入数据。在计算机屏幕上运行上述问卷,并且同时进行眼动跟踪测量。这种问卷需要很短的时间,例如不超过3分钟。
根据眼动跟踪数据,计算瞳孔参数,包括眨眼率、瞳孔大小微波动、注视固视差异微波动和注视稳定性。在下一步的分析中,计算表示这些参数中的每个参数在问卷回答期间的变化的斜率。问卷结果和最初进行的眼科测量一起用于构建预测当前主观视觉疲劳水平的问卷结果的变化的预测模型14。
在向预测模型14提供输入数据的步骤10之后,接着进行通过实施预测模型14的处理器获得表示受试者的疲劳状态的变化水平的值V的步骤11。
处理器可以(但并非一定)使用机器学习来实施预测模型14。
预测模型14可以使用分类算法和/或值V可以是范围为从给定最小值到给定最大值的离散值。
作为变型,预测模型14可以使用回归算法和/或值V可以是连续值。例如,可以使用多元回归。
值V使得可以按照低视觉易疲劳性到高视觉易疲劳性将任何用户分类为预定数量的类别,例如3到5个类别。
在上述使用回归算法的变型中,值V使得可以例如通过将值V与存储在数据库中的值进行比较来根据不同的视觉易疲劳性水平对任何用户进行分类。
在上述使用分类算法的实施例中,作为算法的结果直接获得了根据不同的视觉易疲劳性水平进行的用户分类。因此,根据本公开的方法可以直接提供视觉易疲劳性水平的类别。
在不使用机器学习的实施例中,预测模型14可以使用例如简单的线性回归。
可以有利地将适当的权重(在基于回归机器学习的算法的情况下)或其他种类的系数应用于每个重要的因素,以便具有用于表示数据总可变性的最大部分的最佳参数集。
预测模型14也可以基于决策树、随机森林、支持向量机、神经网络、众所周知的开源软件库XGBoost等。作为非限制性示例,使用XGBoost分类器来尝试将视觉疲劳变化分类为高和低时,所实现的总体准确度(被定义为正确预测的数量与输入样本的总数之比)为73.91%。
在实施例中,用于提供对疲劳状态的变化的自动预测的方法可以进一步包括将预测模型14存储在云中的步骤,以及在云中执行获得表示所考虑的受试者的疲劳状态变化水平的值的步骤11的步骤。
根据本公开的方法可以快至几分钟,例如大约3分钟。
该方法在不实际引起或导致视觉疲劳或使视觉疲劳增加的情况下预测视觉疲劳水平的变化。
图2示出了根据本公开的用于提供对执行视觉任务的受试者的疲劳状态的变化的自动预测的设备21的特定实施例。
如在上述方法中,作为非限制性示例,由设备21考虑的疲劳状态可以是视觉疲劳状态。然而,可替代地,如上所述,疲劳状态可以是另一种类型的疲劳(认知疲劳、全身疲劳、肌肉疲劳、驾驶疲劳等)。
如在上述方法中,由设备21考虑的视觉任务可以涉及任何种类的视觉内容,例如它可以是显示在屏幕上、或可出现在纸上或以其他形式可出现在受试者观看的环境中的视觉内容。
如图2所示,设备21包括被适配成提供测量输入数据的测量单元22。
测量输入数据包括与受试者相关的(多个)主观测量结果16和/或与受试者相关的(多个)客观测量结果18。
设备21进一步包括处理单元26。
处理单元26被适配成使用测量输入数据和/或与受试者相关的其他数据20来实施疲劳状态变化预测模型14,以获得表示受试者的疲劳状态的变化水平的值V。处理单元26还被适配成将该值提供给数据输出单元28,这将在下面描述。
如在上述方法中:
-由测量单元22提供的主观测量结果16可以包括表示受试者分别对与该受试者视力相关的一个或若干问题做出的一个或若干回答的数据;
-由测量单元22提供的客观测量结果18可以包括通过本身已知的且包括在测量单元22中的任何合适的装置在受试者上得到的一个或多个瞳孔测量结果;
-由测量单元22提供的客观测量结果18可以包括通过本身已知的且包括在测量单元22中的任何合适的装置在受试者上得到的注视测量结果;
-注视测量结果可以用于代替瞳孔测量结果或作为瞳孔测量结果的补充;
-测量输入数据12可以包括与受试者相关的一个或多个主观验光测量结果。
-测量输入数据12可以包括与受试者相关的一个或多个客观验光测量结果;
-任何客观测量结果的任何组合、以及任何主观测量结果的任何组合、或者任何客观测量结果与任何主观测量结果的任何组合都是可能的;
-处理单元26可以(但并非一定)使用机器学习来实施预测模型14;
-预测模型14可以使用分类算法和/或值V可以是离散值;
-作为变型,预测模型14可以使用回归算法和/或值V可以是连续值。
设备21进一步包括数据输入单元24。
数据输入单元24被适配成从测量单元22获得测量输入数据和/或被适配成获得与受试者相关的其他数据20。数据输入单元24还被适配成向处理单元26输入多个输入数据12(也就是说,测量输入数据16、18和/或与受试者相关的其他数据20)以使处理单元26实施疲劳状态变化预测模型14。
设备21进一步包括上述数据输出单元28,该数据输出单元被适配成输出表示受试者的疲劳状态变化水平的值V。
在实施例中,处理单元26可以位于云中,并且因此预测模型14在云中实施。
在这样的实施例中,设备21进一步包括被适配成与云通信的通信单元(图2中未示出)。例如,经由通信单元从云接收上述值V。
根据本公开的方法、相应地设备可以各自集成在包括如上所述的至少一个设备的多功能眼视光机器中来实施。
图3示出了根据本公开的这种眼视光机器的实施例。
在图3所示的特定实施例中,预测模型14在多功能眼科机器30中实施。
机器30进行了包括问卷回应、用内置眼动跟踪仪得到的瞳孔数据以及其他眼科参数在内的三种类型的输入数据的测量。
机器30包括:
-用于显示视觉疲劳问卷并呈现测试结果的显示单元32,其例如是数字屏幕;
-记录用户对问卷以及一般信息的回应的数据输入单元34;
-测量用户的瞳孔和注视参数的眼动跟踪单元36;
-数据存储单元38;
-利用预加载在机器30中的预测模型14计算视觉易疲劳性并且管理所有功能的中央处理单元(CPU)单元40;
-将数据上传到云中并且从云中接收关于视觉易疲劳性的结果的可选的数据通信/传输单元42;
-收集其他验光参数的一组单元44。
眼视光机器30的实际使用的非限制性示例性场景如下所述。
客户走进眼镜店。在等待下一个有空的验光师或销售人员的服务时,或者如果在交谈中客户表现出关于视觉疲劳的担忧、抱怨或兴趣,或者如果他或她的个人资料符合“重度数字用户/工作者”,则可以指导客户在眼视光机器30上进行视觉易疲劳性测试。
该测试通常持续不到3分钟,其收集关于对主观视觉疲劳问卷的回应的数据以及用内置眼动跟踪仪得到的瞳孔测量结果。机器30也用于进行其他眼科测量。
CPU 40然后采用预测模型14在本地进行计算,或者在通信单元42将数据上传到云中并且从云接收返回的计算结果之后,在云中远程进行计算。
视觉易疲劳性测试的结果会几乎即时地显示在显示单元32上。
作为非限制性示例,该结果将确定客户具有低、中等、高或非常高的易疲劳性。将对应每个易疲劳性水平来推荐抗疲劳产品。
因此,视觉易疲劳性测试为客户和从业者都提供了关于消费者在进行数字近距离工作时产生视觉疲劳的容易程度以及他或她是否需要抗疲劳产品和其他预防措施来缓解该状况的知识。
作为另一非限制性示例性场景(附图中未示出),可以提供实施预测模型14的独立的视觉易疲劳性工具箱。
该工具箱可以包括与上述机器30的单元相同的单元,但该组单元44除外。
在这种情况下,从业者需要用单独的机器和例行操作进行眼科测量,然后才能用工具箱的数据输入单元34输入数据。在这种情况下,从业者可以例如在测试之前或之后将眼科测量结果键入到系统中。
根据本公开的方法可以被内置到安装在移动终端中的移动应用程序中。
在这样的实施例中:
-可以借助于移动终端进行测量;
-数据输入可以使用移动终端的接口,例如键盘或屏幕或其他输入或显示装置;
-可以由移动终端的中央处理单元(CPU)执行计算和预测来完成处理;
-移动终端的显示装置可以用于向用户显示结果和推荐。
预测模型14可以预加载到移动终端中或者存储在云中。因此,计算可以在移动终端本地完成,或者在云中远程完成。
图4示出了又一非限制性示例,其中,根据本公开的用于提供对执行视觉任务的受试者的疲劳状态变化的自动预测的方法是在移动应用程序中实施的,该移动应用程序可以在实施预测模型14的数字设备上运行。
移动应用程序的功能单元或流程包括:
-框46:在设备屏幕上呈现视觉疲劳问卷;
-框48:与此同时,用设备的相机记录瞳孔并且提供瞳孔/眼睛图像49;
-框50:呈现关于一般信息和验光测量的问题;这也可以在开始时完成;
-框52:用设备的键盘或触摸屏进行回答/输入;
-框54:使用设备的CPU、通过预加载在移动应用程序中的预测模型14来进行包括瞳孔参数和视觉易疲劳性预测在内的计算,或者作为变型,通过移动设备的通信单元将数据上传到云中并且从云接收关于视觉易疲劳性的结果来进行该计算;
-框56:在设备的屏幕上呈现预测V。
从业者可以通过其自己的移动设备使用该移动应用程序,并且将一般信息以及验光数据输入到移动应用程序中。
作为根据本公开的方法的使用的又一示例,可以向用户提供针对视觉易疲劳性的网站,该网站采用例如预测模型14的简化版本,在该网站中,用户可以容易地回答视觉疲劳问卷并且输入一般信息和验光数据。
这是相对于先前示例中的设备或移动应用程序的降级版本,用于不一定能利用带有眼动跟踪功能的眼视光机器或设备或他们的移动设备上的相机但是却可以使用这些移动设备进行瞳孔测量的从业者。
网站获得用户输入的数据,对视觉易疲劳性水平的简化版本执行计算,并且显示关于视觉易疲劳性水平的结果和推荐,这与先前示例类似。
作为又一示例,可以向用户提供针对视觉易疲劳性的网站,该网站采用简化的视觉易疲劳性模型,在该网站中,用户可以回答视觉疲劳问卷并且输入一般信息和基本的验光数据,像视敏度、等效球镜度等。
这是相对于先前示例中的设备或移动应用程序的降级版本,用于不能利用带有眼动跟踪功能的眼视光机器或设备或他们的移动设备上的相机(但仍可以用于瞳孔测量)的普通消费者或一般公众。
在该最后一个示例中,网站获得用户输入的数据,用视觉易疲劳性模型的甚至更简化的版本执行计算,并且显示关于视觉易疲劳性水平的结果和推荐,这与先前示例类似。
因此,根据本公开的方法可以在消费者的日常生活中用来监测其一般视觉易疲劳性水平并发送关于视觉易疲劳性最近增加的警报,并且可能推荐抗疲劳练习和产品。
增加瞳孔测量的监测功能后,其还可以在视觉疲劳实际增加之前发出关于视觉疲劳增加的警报,从而提醒用户休息。
此外,其可以帮助眼科医生在其实践中鉴定具有高视觉易疲劳性的患者,以便推荐练习和产品来改善该状况。
此外,其还可以在处于近视发展时间窗口的儿童和青少年中用来发出关于视觉疲劳和过度使用数字设备/近距离工作的警报,从而帮助控制近视。
此外,该模型的经调整的版本可以用于驾驶员,以在疲劳水平增加实际开始之前预测疲劳水平的增加,向驾驶员发出警报,从而减少疲劳驾驶并且提高道路安全。这种经调整的版本可以例如包括用于持续地或至少周期性且频繁地监测驾驶员的瞳孔和注视行为的方法。
类似地,根据本公开的方法可以在工厂或任何其他工作环境中使用,特别是安全要求高并且与疲劳水平相关的环境。
另外,根据具体的研究目的,根据本公开的方法可以用作一种工具来过滤用于科学或消费者研究的受试者、选择或排除表现出高水平的视觉易疲劳性的某些受试者、提高群体的研究质量。
如图5所示,根据本公开的用于向受试者提供抗疲劳光学制品的个性化处方的方法包括:通过执行根据本公开的用于提供对执行涉及任何种类的视觉内容的视觉任务的受试者的疲劳状态的变化的自动预测的方法的上述步骤来获得对该受试者的疲劳状态的变化的自动预测的步骤58;以及向受试者提供实施与值V相适配的处方的抗疲劳光学制品的步骤60。
例如,使处方适配于值V可以包括将值V与抗疲劳镜片的近下加光水平联系起来,例如值V越高,近下加光水平就越高。
作为非限制性示例,抗疲劳制品可以是一副眼镜和/或隐形眼镜和/或眼药水和/或行为训练和/或视轴矫正疗程和/或可以采用任何其他适当的形式。
根据本公开的计算机程序产品包括指令,这些指令在由可以如上所述操作的处理器执行时使处理器通过使用预测模型14、基于作为输入数据而提供给预测模型14的与受试者相关的至少一个主观测量结果和/或与受试者相关的至少一个客观测量结果和/或至少一个受试者相关的其他数据来获得值V。
根据本公开的移动终端包括如上所述操作的处理器和数据存储单元。数据存储单元包含指令,这些指令在由处理器执行时使处理器通过使用预测模型14、基于作为输入数据而提供给预测模型14的与受试者相关的至少一个主观测量结果和/或与受试者相关的至少一个客观测量结果和/或至少一个受试者相关的其他数据来获得值V。
尽管本文已经详细描述了代表性的方法和设备,但是本领域技术人员将认识到,在不脱离由所附权利要求描述和限定的范围的情况下,可以进行各种替换和修改。
Claims (15)
1.一种用于提供对执行涉及任何种类的视觉内容的视觉任务的受试者的疲劳状态的变化的自动预测的计算机实施的方法,所述计算机实施的方法包括:
向疲劳状态变化预测模型提供与所述受试者相关的多个输入数据,其中,所述多个输入数据包括与所述受试者相关的至少一个主观测量结果和/或与所述受试者相关的至少一个客观测量结果和/或至少一个受试者相关的其他数据;
通过实施所述模型的处理器获得表示所述受试者的所述疲劳状态的变化水平的值。
2.根据权利要求1所述的方法,其中,所述至少一个主观测量结果包括表示所述受试者对与所述受试者的视力相关的至少一个问题的至少一个回答的数据。
3.根据权利要求1或2所述的方法,其中,所述疲劳状态是视觉疲劳状态。
4.根据前述权利要求中任一项所述的方法,其中,所述至少一个客观测量结果包括在所述受试者上得到的至少一个瞳孔和/或注视测量结果。
5.根据前述权利要求中任一项所述的方法,其中,所述多个输入数据包括与所述受试者相关的至少一个主观和/或客观验光测量结果。
6.根据前述权利要求中任一项所述的方法,其中,所述方法进一步包括将所述模型存储在云中并在所述云中执行所述获得。
7.一种用于向受试者提供抗疲劳光学制品的个性化处方的方法,其中,所述方法包括:
通过以下操作获得对执行涉及任何种类的视觉内容的视觉任务的所述受试者的疲劳状态的变化的自动预测:
向疲劳状态变化预测模型提供与所述受试者相关的多个输入数据,其中,所述多个输入数据包括与所述受试者相关的至少一个主观测量结果和/或与所述受试者相关的至少一个客观测量结果和/或至少一个受试者相关的其他数据;
通过实施所述模型的处理器获得表示所述受试者的所述疲劳状态的变化水平的值;
向所述受试者提供抗疲劳光学制品,所述抗疲劳光学制品实施与表示所述受试者的所述疲劳状态的所述变化水平的所述值相适配的处方。
8.一种用于提供对执行涉及任何种类的视觉内容的视觉任务的受试者的疲劳状态的变化的自动预测的设备,所述设备包括:
测量单元,所述测量单元被适配成提供测量输入数据,所述测量输入数据包括与所述受试者相关的至少一个主观测量结果和/或与所述受试者相关的至少一个客观测量结果;
处理单元,所述处理单元被适配成使用所述测量输入数据和/或至少一个受试者相关的其他数据来实施疲劳状态变化预测模型,以获得表示所述受试者的所述疲劳状态的变化水平的值;
数据输入单元,所述数据输入单元被适配成从所述测量单元获得所述测量输入数据和/或被适配成获得所述至少一个受试者相关的其他数据,所述数据输入单元被适配成向所述处理单元输入所述测量输入数据和/或所述至少一个受试者相关的其他数据以使所述处理单元实施所述模型;
数据输出单元,所述数据输出单元被适配成输出表示所述受试者的所述疲劳状态的所述变化水平的所述值。
9.根据权利要求8所述的设备,其中,所述至少一个主观测量结果包括表示所述受试者对与所述受试者的视力相关的至少一个问题的至少一个回答的数据。
10.根据权利要求8或9所述的设备,其中,所述疲劳状态是视觉疲劳状态。
11.根据权利要求9所述的设备,其中,所述至少一个客观测量结果包括在所述受试者上得到的至少一个瞳孔和/或注视测量结果。
12.根据权利要求8至11中任一项所述的设备,其中,所述测量输入数据包括与所述受试者相关的至少一个主观和/或客观验光测量结果。
13.一种眼视光机器,其中,所述机器包括用于提供对执行涉及任何种类的视觉内容的视觉任务的受试者的疲劳状态的变化的自动预测的至少一个设备,所述至少一个设备包括:
测量单元,所述测量单元被适配成提供测量输入数据,所述测量输入数据包括与所述受试者相关的至少一个主观测量结果和/或与所述受试者相关的至少一个客观测量结果;
处理单元,所述处理单元被适配成使用所述测量输入数据和/或至少一个受试者相关的其他数据来实施疲劳状态变化预测模型,以获得表示所述受试者的所述疲劳状态的变化水平的值;
数据输入单元,所述数据输入单元被适配成从所述测量单元获得所述测量输入数据和/或被适配成获得所述至少一个受试者相关的其他数据,所述数据输入单元被适配成向所述处理单元输入所述测量输入数据和/或所述至少一个受试者相关的其他数据以使所述处理单元实施所述模型;
数据输出单元,所述数据输出单元被适配成输出表示所述受试者的所述疲劳状态的所述变化水平的所述值。
14.一种包括指令的计算机程序产品,所述指令在由处理器执行时使所述处理器通过使用疲劳状态变化预测模型、基于作为输入数据而提供给所述模型的以下各项来获得表示执行涉及任何种类的视觉内容的视觉任务的受试者的疲劳状态的变化水平的值:与受试者相关的至少一个主观测量结果和/或与所述受试者相关的至少一个客观测量结果和/或至少一个受试者相关的其他数据。
15.一种移动终端,包括处理器和数据存储单元,其中,所述数据存储单元包含指令,所述指令在由所述处理器执行时使所述处理器通过使用疲劳状态变化预测模型、基于作为输入数据而提供给所述模型的以下各项来获得表示执行涉及任何种类的视觉内容的视觉任务的受试者的疲劳状态的变化水平的值:与受试者相关的至少一个主观测量结果和/或与所述受试者相关的至少一个客观测量结果和/或至少一个受试者相关的其他数据。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP20306024 | 2020-09-14 | ||
EP20306024.9 | 2020-09-14 | ||
PCT/EP2021/073823 WO2022053342A1 (en) | 2020-09-14 | 2021-08-30 | A method and device for providing an automated prediction of a change of a state of fatigue of a subject carrying out a visual task |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115956271A true CN115956271A (zh) | 2023-04-11 |
Family
ID=72615793
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180051811.2A Pending CN115956271A (zh) | 2020-09-14 | 2021-08-30 | 用于提供对执行视觉任务的受试者的疲劳状态的变化的自动预测的方法和设备 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20230301569A1 (zh) |
EP (1) | EP4211702A1 (zh) |
JP (1) | JP2023541173A (zh) |
KR (1) | KR20230038248A (zh) |
CN (1) | CN115956271A (zh) |
BR (1) | BR112023001977A2 (zh) |
WO (1) | WO2022053342A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114969953B (zh) * | 2022-07-28 | 2023-02-03 | 华中科技大学 | 基于CatBoost-NSGA-Ⅲ的盾构下穿隧道优化设计方法及设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107468206A (zh) | 2017-08-01 | 2017-12-15 | 成都大学 | 一种基于瞳孔直径的立体观看视疲劳预测方法 |
-
2021
- 2021-08-30 WO PCT/EP2021/073823 patent/WO2022053342A1/en active Application Filing
- 2021-08-30 BR BR112023001977A patent/BR112023001977A2/pt unknown
- 2021-08-30 EP EP21769709.3A patent/EP4211702A1/en active Pending
- 2021-08-30 KR KR1020237004781A patent/KR20230038248A/ko unknown
- 2021-08-30 JP JP2023516575A patent/JP2023541173A/ja active Pending
- 2021-08-30 US US18/042,253 patent/US20230301569A1/en active Pending
- 2021-08-30 CN CN202180051811.2A patent/CN115956271A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2022053342A1 (en) | 2022-03-17 |
EP4211702A1 (en) | 2023-07-19 |
KR20230038248A (ko) | 2023-03-17 |
US20230301569A1 (en) | 2023-09-28 |
JP2023541173A (ja) | 2023-09-28 |
BR112023001977A2 (pt) | 2023-03-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102359414B1 (ko) | 원격 위치로부터 환자에게 시력 교정 옵션에 참여하게 하고 이를 제공하기 위한 방법 및 장치 | |
WO2020016382A1 (en) | Method for determining an ophthalmic equipment and system associated | |
EP3239870B1 (en) | A method for monitoring the behavior of a cohort group of members | |
US20210401282A1 (en) | Subjective refraction exam system | |
US20230301569A1 (en) | A method and device for providing an automated prediction of a change of a state of fatigue of a subject carrying out a visual task | |
AU2021221240B2 (en) | Detecting and correcting a variation of current refractive error and of current accommodation amplitude of a person | |
CN111163680B (zh) | 用于适配个人的视觉和/或视觉运动行为的方法和系统 | |
EP4057886A1 (en) | System and method for determining prescription of corrective lenses using predictive calculations and corrected-eyesight simulation | |
EP4146052B1 (en) | System and method for evaluating a vision of a subject | |
EP4289336A1 (en) | Method and system for obtaining an optical prescription based on determined values of a fatigue parameter | |
US20220022742A1 (en) | Method for assessing the suitability between an optical device and a user of the optical device | |
EP4183320A1 (en) | Method for comparing two ophthalmic lenses having different optical designs | |
US20220087522A1 (en) | Methods and Apparatus for Addressing Presbyopia | |
EP4011273A1 (en) | Method and device for determining at least one astigmatic effect of at least one eye | |
EP4220282A1 (en) | Determining a lens shape for producing an optical lens for an eye of a person | |
KR20230142457A (ko) | 시각 장비를 자동 평가하기 위한 장치 및 방법 | |
Azemin et al. | THE EVALUATION OF PINHOLE GLASSES AS VISUAL THERAPY IN IMPROVING REFRACTIVE ERROR | |
TW202339661A (zh) | 折射度數決定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |