CN106461982A - 用于确定至少一个行为参数的方法 - Google Patents
用于确定至少一个行为参数的方法 Download PDFInfo
- Publication number
- CN106461982A CN106461982A CN201580026348.0A CN201580026348A CN106461982A CN 106461982 A CN106461982 A CN 106461982A CN 201580026348 A CN201580026348 A CN 201580026348A CN 106461982 A CN106461982 A CN 106461982A
- Authority
- CN
- China
- Prior art keywords
- wearer
- head
- image
- expression
- specific
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
- G02C13/00—Assembling; Repairing; Cleaning
- G02C13/003—Measuring during assembly or fitting of spectacles
- G02C13/005—Measuring geometric parameters required to locate ophtalmic lenses in spectacles frames
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1077—Measuring of profiles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Educational Technology (AREA)
- Developmental Disabilities (AREA)
- Child & Adolescent Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Ophthalmology & Optometry (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- Optics & Photonics (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Eyeglasses (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明涉及一种用于确定佩戴者的至少一个行为参数以便设计用于这位佩戴者的眼镜架的眼科镜片的方法,该方法包括以下步骤:a)对与该佩戴者的头部的第一三维表示相对应的第一数据集进行采集,b)基于这个数据集来确定该佩戴者的头部的至少三个具体点的相对空间位置,c)对与该佩戴者的头部在自然姿势下的第二表示相对应的第二数据集进行采集,该第二表示包括该佩戴者的头部的这三个具体点中的每一个具体点的至少一张图像,d)在所述步骤c)的表示上标识该佩戴者的头部的所述具体点中的每一个具体点的图像,在步骤b)中已经确定这些具体点的相对空间位置,e)根据这个标识来推导出与在所述第二表示的确定过程中该佩戴者的头部的位置和/或取向有关的信息,f)基于在步骤e)中所推导出的信息来确定该佩戴者的所述行为参数。
Description
技术领域
本发明总体上涉及一种用于确定佩戴者的至少一个行为参数以便设计这个佩戴者的眼镜架的眼科镜片的方法。
背景技术
适合于佩戴者以及所选眼镜架的眼科镜片的设计和制造目前需要眼镜师进行一项或多项测量。
眼镜师进行的这些测量通常由于佩戴者的反常行为而存在偏差。确切地,眼镜师的店铺环境通常与佩戴者的日常生活环境并且因此与日常使用条件迥然不同。另外,眼镜师所执行的这些测量必须非常快速地执行。
因此,眼镜师所执行的测量是不精确的,因为这些测量是在反常条件下进行的。
用于在眼镜师店铺外进行测量并且允许通过互联网来购买多副眼镜的系统也是已知的。
这些系统因此允许在更接近佩戴者的日常生活的条件下进行测量。
然而,这些已知的系统仅可以测量几何-形态学参数,如瞳距值。这些已知系统不能够确定佩戴者的行为参数,即与佩戴者的视觉行为有关的参数,例如像阅读距离或眼睛-头部系数。
这些行为参数的确定更复杂并且相关联的测量目前仅是眼镜师能做到的。
发明内容
为了弥补现有技术的上述缺点,本发明提供了一种用于确定佩戴者的至少一个行为参数的新方法,借助于该方法能够在对该佩戴者而言自然的条件下精确地确定这个参数。
更具体地,根据本发明,提供了一种用于确定佩戴者的至少一个行为参数以便设计用于这位佩戴者的眼镜架的眼科镜片的方法,该方法包括以下步骤:
a)采集与该佩戴者的头部的第一三维表示相对应的第一数据集,
b)根据这个数据集来确定该佩戴者的头部的至少三个具体点的相对空间位置,
c)采集与该佩戴者的头部在自然姿势下的第二表示相对应的第二数据集,该第二表示包括该佩戴者的头部的这三个具体点中的每一个具体点的至少一张图像,
d)在步骤b)的所述第二表示中标识该佩戴者的头部的所述具体点中的每一个具体点的图像,在步骤b)中已经确定这些具体点的相对空间位置,
e)根据这个标识来推导出与在所述第二表示的确定过程中该佩戴者的头部的位置和/或取向有关的信息,
f)根据步骤e)中所推导出的信息(并且能够根据所述第二表示)来确定该佩戴者的所述行为参数。
因此,能够在行为参数的确定过程中考虑佩戴者的头部在这个自然姿势下的位置和/或取向。
示例性行为参数是佩戴者的头部体态(例如由降低角和/或倾侧角所限定的)。在以下描述中给出了多个其他实例。
每个数据集可以包括存储在不同文件中的数据。一个数据集可以例如包含与存储在另一文件中的图像和元数据相对应的一个文件的数据。
以下是根据本发明的方法的其他非限制性且有利的特征:
-在步骤a)中,借助于用于捕捉三维图像的第一装置来采集该佩戴者的头部的至少一张三维图像,这张三维图像接着构成该佩戴者的头部的所述第一表示;
-在步骤a)中采集了该佩戴者的头部的一系列第一三维图像,并且在步骤b)中借助于统计分析、根据该佩戴者的头部的、其相对位置在该系列第一三维图像中最稳定的这些点来确定所述具体点;
-在步骤a)中,使用用于捕捉二维图像的第一装置来采集该佩戴者的头部在不同的头部姿势下的一系列第一二维图像,这个系列第一图像构成了该佩戴者的头部的所述第一表示,并且针对每个所捕捉到的第一图像,确定该佩戴者的头部相对于该第一图像捕捉装置的相应位置和/或取向;
-在步骤c)中,使用与该第一图像捕捉装置不同的第二图像捕捉装置来捕捉该佩戴者的头部的至少一张第二二维图像,该佩戴者的头部的所述至少一张第二二维图像构成了该佩戴者的头部的所述第二表示,并且,在步骤e)中,所述系列第一图像中的、最接近所述第二图像的第一图像是与在步骤c)中所捕捉到的该第二图像相关联的,并且使用在这个最接近的第一图像的捕捉过程中该佩戴者的头部的位置和/或取向来标识在所述第二图像的捕捉过程中该佩戴者的头部相对于所述第二图像捕捉装置的位置和/或取向;
-在步骤a)和/或在步骤c)中,存储包括该佩戴者的头部的所述第一和第二表示的所述数据集,这些表示是预先确定的;
-在步骤c)中,在该佩戴者在其环境中的一个或多个习惯活动过程中确定该佩戴者的头部的该第二表示;
-该佩戴者的习惯活动是以下活动中的一项:
-阅读不同介质,
-在书桌上工作,
-开车,
-练习运动,
-烹饪,
-控制游戏操作台,
-坐下休息,
-看电视,
-演奏乐器;
-在步骤c)中,使用第二图像捕捉装置来捕捉该佩戴者的头部的至少一张第二二维图像,该佩戴者的头部的所述至少一张第二二维图像构成了该佩戴者的头部的所述第二表示;
-在步骤c)中,借助于用于捕捉三维图像的第二装置来采集该佩戴者的头部的至少一张第二三维图像,所述第二三维图像构成了该佩戴者的头部的所述第二表示;
-在步骤c)中,采集该佩戴者的头部的一系列第二二维或三维图像,并且在步骤f)中,根据这一系列中的所述第二图像的统计处理来确定该佩戴者的所述行为参数;
-在步骤c)中,在该佩戴者正将其目光注视在视觉目标上时采集该佩戴者的头部的这一系列第二图像,在每张第二图像的捕捉过程中确定这个视觉目标相对于该第二图像捕捉装置的位置;
-执行校准所述用于捕捉二维或三维图像的第二装置的步骤,在该步骤中,用这个第二图像捕捉装置来捕捉专用标准物体的图像;
-在所述第二二维或三维图像的捕捉过程中确定所述第二图像捕捉装置的空间位置和/或取向,并且从其中确定与在这张第二图像的捕捉过程中该佩戴者的头部的空间位置和/或取向有关的信息;
-在步骤d)之前的步骤中,将在步骤b)中所捕捉的每张第二二维或三维图像传输至至少一个信息处理服务器并且与该佩戴者的标识符相对应地存储;
-传输至该服务器的每张捕捉到的第二图像是与在步骤a)中已经确定的该佩戴者的头部的那些具体点相关联的,所述图像与该佩戴者的所述标识符相对应地被存储在该服务器上;
-在步骤e)中,在所述第二表示的确定过程中该佩戴者的头部的位置和/或取向以计算方式被确定为该佩戴者的头部的、使得该佩戴者的头部的这三个具体点具有这三个具体点的图像在所述第二表示中被标识出的坐标的位置和/或取向;
-步骤f)中所确定的行为参数是以下各项中的一项:
-阅读距离,
-眼睛与头部的角移动的比率,
-所讨论的习惯活动所采取的静态或动态姿势,
-与每个注视方向、眼睛与着眼点之间的距离相关联的工作视景,
-上述行为参数的变化,
-佩戴者的眼镜架在其面部上的位置;
-在步骤a)中,由专门验光的人而非该佩戴者、和/或使用专用于验光的装置来采集该佩戴者的头部的第一表示,而在步骤c)中,由该佩戴者自己负责采集该佩戴者的头部的第二表示而无需专门验光的人介入和/或使用常见装置;并且,
-在步骤b)中,该佩戴者的头部的这三个具体点是与该佩戴者的头部上所佩戴的配件相关联的,并且它们在与这个配件相关联的参考系中的相对位置是已知的。
附图说明
以下通过非限制性示例给出的关于附图的描述将清楚地阐释本发明的本质以及其可被实施的方式。
在附图中:
-图1是示意性地示出了根据本发明的方法的框图,
-图2示意性地示出了该方法的步骤a)的一个可能实现方式。
具体实施方式
本发明涉及一种用于确定佩戴者的至少一个行为参数以便设计这个佩戴者的眼镜架的眼科镜片的方法。
这个行为参数尤其可以是以下各项中的一项:
-阅读距离,即,佩戴者的眼睛与带有阅读文本的介质或佩戴者的目光所注视的视觉目标所间隔的距离,
-眼睛与头的角移动的比率,即,佩戴者的眼睛沿所确定方向的移动幅度与这只眼睛在阅读任务过程中的最大移动幅度的比率,又称为眼睛-头部系数,
-针对所讨论的习惯活动所采取头部和/或身体姿势,即,头部和/或身体在与佩戴者目光所注视的视觉目标相关联的参考系中的位置和/或取向,
-与每个注视方向、眼睛与着眼点之间的距离相关联的工作视景,
-上述参数之一的变化,
-佩戴者的眼镜架在其面部上的位置。
根据本发明,该方法包括以下步骤:
a)采集与该佩戴者的头部的第一三维表示相对应的第一数据集(图1中的框100),
b)根据这个数据集来确定该佩戴者的头部的至少三个具体点的相对空间位置(图1中的框200),
c)采集与该佩戴者的头部在自然姿势下的第二表示相对应的第二数据集,该第二表示包括该佩戴者的头部的这三个具体点中的每一个具体点的至少一张图像(图1中的框300),
d)在步骤b)的所述第二表示中标识该佩戴者的头部的所述具体点中的每一个具体点的图像,在步骤b)中已经确定这些具体点的相对空间位置(图1中的框400),
e)根据这个标识来推导出与在所述第二表示的确定过程中该佩戴者的头部的位置和/或取向有关的信息(图1中的框500),
f)根据所述第二表示以及步骤e)中所推导出的信息来确定该佩戴者的所述行为参数(图1中的框600)。
优选地,在步骤a)中,由专门验光的人而非该佩戴者、和/或使用专用于验光的装置来采集该佩戴者的头部的第一表示,而在步骤c)中,由该佩戴者自己负责采集该佩戴者的头部的第二表示而无需专门验光的人介入和/或使用常见装置。
因此能够将对佩戴者的头部的第一表示和第二表示的确定分离开。
该佩戴者的头部的第一表示可以在眼镜师处通过其所拥有的专用装置并且在与眼镜师的工作场所相关联的具体条件下(特别是在佩戴者定位、专用于该测量的照明、测量装置以及短时间方面)进行确定。相反,该佩戴者的头部的第二表示优选地是由佩戴者自己在其环境中使用常用的测量装置(如照相机、摄像机或摄像头)来确定的,那么他可能花费的时间比专门进行这种确定的眼镜师多得多。
另外,在确定每个表示包括用图像捕捉装置来采集一张或多张图像的情况下,应理解的是,与该第一表示的采集相关联的第一图像捕捉装置和与该第二表示的采集相关联的第二图像捕捉装置是不同的。
同样,当这两个步骤之一包括简单地检索与佩戴者的头部的第一和/或第二表示相对应的数据集时,每个数据集优选地包含与用不同的第一和第二图像捕捉装置预先捕捉的一张或多张二维或三维图像相对应的数字数据。
因此,在实践中,根据本发明的一个优选的可能的实现方式,该方法的步骤是按以下方式整体执行的。
佩戴者去拜访眼镜师并且选择眼镜架。佩戴者接着可以选择无个性化的眼科镜片。
优选地,当场并且接着例如使用立体摄像机或例如3-D扫描仪来执行进行三维测量的步骤a)。眼镜师还可以检索例如与预先进行的测量相对应的预先存在的数据集。这个数据集也可以可选地传输给佩戴者。
在步骤b)中,在所采集数据的传输之后,在眼镜师或远程技术中心生成该佩戴者的头部的三维模型。
为了将旨在装配在由佩戴者所选中的镜架中的眼科镜片个性化,眼镜师要求佩戴者拍下或录下其处于不同的日常情形下的照片或视频。
为此,佩戴者使用畅销的测量装置,如照相机、电影摄影机、集成在智能手机中的摄像机、平板或TV屏、摄像头、Kinect模块等。
优选地,佩戴者通过对专用标准物进行成像来校准该测量装置。
他进行一个或多个系列的日常测量。佩戴者拍下其在以下日常情形下的照片:在工作、阅读、他在放松(看电视、玩游戏等)、或者特定活动(烹饪、运动、音乐、驾驶等)过程中。
可以将这一系列测量重复多次。
所有所采集的数据被传输给眼镜师或远程计算中心以进行处理。
佩戴者的头部的三维模型与佩戴者在其日常例程期间所收集的数据的关联允许对其统计地进行处理以便从中提取以下行为参数:如:
-固定距离
-工作视景
-镜架的当前位置。
这些行为参数用来将旨在用于佩戴者的眼科镜片进行个性化。它们允许对标准眼科镜片进行修改,以便使之与佩戴者的需要尽可能最好地匹配。还能够对在眼镜师处已经确定的多个行为参数进行加权。
现在将详细讨论根据本发明的方法的各个步骤。
步骤a)
因此,在实践中,步骤a)优选地是由专门验光的人,例如眼镜师、或者在装配有专用于验光的装置并且连接至信息处理装置上的自助终端上执行。
步骤a)的目的在于进行测量,从而允许生成佩戴者的至少头部的三维模型。还可以确定佩戴者的身体的局部或完整的三维模型。例如,佩戴者的胸部的模型可以根据通过确定胸部的两个具体点(即,肩峰,被称为胸骨柄和剑突突起)的位置来生成。
胸骨柄指代胸骨的顶部,锁骨连接至其上。剑突突起是位于胸骨底端处的骨质或软骨结构。因此能够确定头部相对于胸部的位置。
如下文所解释的,在步骤b)中生成了这个三维模型。
这个测量步骤可以用不同的方式执行。
根据步骤a)的第一实施例,借助于用于捕捉三维图像的第一装置来采集该佩戴者的头部的至少一张三维图像,这张三维图像接着构成该佩戴者的头部的所述第一表示。
用于捕捉三维图像的第一装置例如是三维扫描仪、或用于捕捉立体图像的装置,该装置包括至少两个设备,该至少两个设备用于捕捉同时记录佩戴者的头部在两个图像捕捉平面中的两张二维图像,这两个平面是相对于该佩戴者的头部不同定向的。在这种情况下,每张三维图像包括至少两张二维图像以及与这两个图像捕捉设备的相对位置有关的信息。
用于捕捉三维图像的第一装置可以尤其是基于结构光技术。
这个第一捕捉装置于是包括用于在图像捕捉装置记录个人的头部的一张或多张二维图像时将结构光(例如包括图案,如moiré图案)投射到个人的头部上的装置。
由于该图案是已知的,所以这些图像的处理允许确定该三维表示。
优选地,能够设想的是,采集一系列第一三维图像,这个系列构成佩戴者的头部的第一表示。
该佩戴者在此优选地是光着头部的,即他的头部没有光学设备,如眼镜架或眼科镜片。
在实践中,为了实施步骤a),可以使用图2中所示的装置。
图2示出了用于对佩戴者的头部的面部V进行测量的系统。这个系统尤其包括n个摄像机Vi(在图1所示的实施例中n=3)以及连接至这n个摄像机Vi中的每一者上的处理装置T。
处理装置T例如是基于基于微处理器的架构。在这样的系统中,该微处理器执行被存储在与该微处理器相关联的存储器中的程序的指令,以便实施多种处理方法,如下文所介绍的那些方法。
例如,另外该处理装置包括屏幕、用户接口(例如键盘或鼠标)、以及电子存储设备,例如硬盘。这些部件连接至该微处理器上并且以该微处理器执行专用指令来由该微处理器进行控制。
这些摄像机Vi是使用标准物并且相对于彼此来校准的,这意味着,在成像平面中(佩戴者将其面部定位在其中),这n个摄像机Vi采集表示该佩戴者的面部的同一个区的多张图像。
每个摄像机Vi采集在时刻t1、…、tm相应地拍下的一连串二维图像Ii(t1)、…、Ii(tm)。
根据步骤a)的第二实施例,在步骤a)中,使用用于捕捉二维图像的第一装置来采集该佩戴者的头部在不同的头部姿势下的一系列第一二维图像,这个系列第一二维图像构成了该佩戴者的头部的所述第一表示,并且针对每个所捕捉到的第一二维图像,确定该佩戴者的头部相对于该第一图像捕捉装置的相应位置和/或取向。
在这种情况下,所讨论的问题是一系列第一非立体图像:该第一图像捕捉装置在给定时刻t捕捉佩戴者的头部的单张二维图像。
确切地,能够设想将具有设定几何特征的配件放在佩戴者的头部上。例如,所讨论的问题可能是所选的镜架或者并非所选镜架的镜架,后一镜架优选地具有比所选镜架更大的尺寸,从而使得佩戴者的注视不被该镜架的边缘限制。
该镜架优选地配备有精确定位系统,该精确定位系统旨在允许佩戴者的头部的空间位置根据配备有该定位系统的佩戴者头部的捕捉图像确定。这个精确定位系统在文件FR2914173的第7页第5行至第10页第8行中进行了详细描述。因此将不在此处对此进行详细描述。
此精确定位系统具有预先确定的几何特征,这些几何特征允许在与图像捕捉装置相关联的参考系中从该佩戴者头部的捕捉图像(此定位系统出现在该图像中)确定该佩戴者头部的空间位置和取向。因此,此精确定位系统允许在与图像捕捉装置相关联的参考系中确定与佩戴者的头部相关联的参考系的位置和取向。
佩戴者的头部可以直接配备有精确定位系统。
根据步骤a)的第三实施例,存储包括该佩戴者的头部的所述第一表示的所述数据集,该表示是预先确定的。步骤a)于是不包括图像捕捉步骤。问题在于,检索预先已经确定的数字文件。
这个数据集可以尤其包含与三维图像相对应的数据(所述数据是预先被捕捉到的(例如使用三维扫描仪或用于捕捉立体图像的装置))、或与预先捕捉到的一系列二维图像相对应的数据。在后一种情况下,该数据集还包含与对应于每张二维图像的数据相关联的、与在这张图像的捕捉过程中佩戴者的头部相对于第一图像捕捉装置的位置和/或取向有关的信息。
步骤b)
根据这个数据集来确定该佩戴者的头部的至少三个具体点的相对空间位置。
优选地,确定了该佩戴者的头部的至少四个具体点的相对空间位置。
这个步骤对应于同该佩戴者的头部相关联的三维参考系的建立。这个三维参考系是空间绝对参照系、或者是与佩戴者的环境相关联的参考系、而不与该第一图像捕捉装置相关联。
该佩戴者的头部的所述三个具体点可以是直接位于该佩戴者的头部上的具体点。
于是优选地问题是面部的预先限定的形态学点:例如嘴唇的合缝、鼻翼末端、佩戴者的每只眼睛的眼角(眼睛的内眼角和外眼角)、眉毛、或上颚的牙齿。
无论步骤a)的实施例怎样,在步骤a)中建立的数据集为此目的都被存储在信息处理服务器中,该信息处理服务器可以可选地包括以上所描述的处理装置T。该信息处理服务器可以位于眼镜师处或远程地位于远程计算中心中。在后一种情况下,该数据集被传输至该远程信息处理服务器。
在实践中,在步骤b)中,执行了识别在步骤a)中所捕捉到的每张图像或在步骤a)中检索到的数据集中的这些具体点中每个具体点的图像的步骤。
具体而言,在以下情况下,在步骤a)中采集了该佩戴者的头部的一系列第一三维图像,接着在步骤b)中借助于统计分析、根据该佩戴者的头部的、其相对位置在该系列第一三维图像中最稳定的这些点来确定所述具体点。这个统计分析尤其可以包括确定佩戴者的头部的统计模型。
例如,在步骤a)中借助于用于捕捉立体图像的装置来捕捉佩戴者的头部的三维图像的情况下,可以在步骤b)中实施以下子步骤。该信息处理服务器在此包括以上所描述的处理装置T。在此通过处理装置T的微处理器、基于存储在与该微处理器相关联的存储器中的指令来实施以下所描述的子步骤中的每一个子步骤,由该微处理器处理的数据(如由摄像机拍摄的图像或不同模型中的特征点的坐标)也被存储在这个存储器中或由另一个装置(如硬盘)存储。还可以设想本领域技术人员已知的任何其他实施装置。数据例如可以通过虚拟化服务器群的管理程序来处理。
在第一子步骤中,在每张图像Ii(tj)中,确定所讨论图像中所示的面部的多个具体点。用Qi,j(1)、…、Qi,j(p)表示在图像Ii(tj)中确定的、与该面部的p个特征点相对应的p个点。该处理装置接着例如将所讨论的图像中的这些特征点中每个特征点的(二维)坐标存储在存储器中。
这些特征点例如是使用面部识别算法、在此使用“主动外观模型”算法(例如,关于这个主题参见T.F.库特(T.F.Cootes)、G.J.爱德华兹(G.J.Edwards)、C.J.泰勒(C.J.Taylor)在IEEE Transactions on Pattern Analysis and Machine Intelligence23(6):681,2011中的文章“Active appearance models(主动外观模型)”)来确定的。
接下来执行第二子步骤,在该步骤中将每个系列图像I1(tj)、…、In(tj)的、即由n个摄像机Vi在给定时刻tj拍摄的每组n张图像的特征点进行关联,以便针对每个系列图像获得面部的三维模型,即面部的特征点的一组位置,所述位置是由三维坐标定义的。
更精确地,针对面部的每个特征点K并且针对每个系列图像I1(tj)、…、In(tj)(与在时刻tj拍摄的图像相对应),使用这些图像中的点Q1,j(k)、…、Qn,j(k)的坐标来评估在时刻tj时面部的特征点k所位于的这个点Pk(tj)的三维坐标,例如是通过使用对极几何(并且借助于摄像机Vi的上述校准)。
在此应注意,由于佩戴者的面部是可移动且可变形的,所以在先前获得的(在时刻tj由这个点集Pk(tj)定义的)三维模型根据所讨论的时刻tj而变化。
接下来,执行第三子步骤,在该子步骤中将在前一个步骤中所获得的每个三维模型相对于参考模型进行调整。
例如,与时刻t1相关联的三维模型在该第三子步骤的第一次迭代中被用作参考模型。作为变体,在该第二子步骤中所获得的另一个三维模型在该第三子步骤的第一次迭代中可以被用作参考模型。
针对每个三维模型(与在时刻tj捕捉到的图像相关联),在此通过将所讨论的三维模型的点云在空间中的进行平移和旋转而将所讨论的三维模型的点云与该参考三维模型的点云之间的欧几里德距离(Euclidean distance)最小化来执行该调整步骤。
因此,如果该参考模型的点用R1、…、Rp表示(对于如已经指示的第一迭次代,使用与时刻t1相关联的模型,即Rk=Pk(t1),其中k的范围从1到p),因此寻求变换F,使得将该参考模型的点云Rk与所讨论的模型在变换后的点云之间的欧几里德距离最小化(由平移和旋转组成),即,该变换将以下项最小化:
其中d是这两个点之间的(欧几里德)距离。
经调整的模型(即,调整后)的点将用P’k(tj)表示:
P’k(tj)=F(Pk(tj))。
经调整的模型(或者等效地,变换F)的这些点例如通过迭代最近点(ICP)算法来确定-(关于该主题,例如参见F.Pomerleau、F.Colas、R.Siegwart和S.Magnenat在AutonomousRobots 34(3)中的文章“Comparing ICP Variants on Real-World Data Sets(比较现实世界数据集的ICP变异),第133-148页,2013年4月”)。
接着基于这些经调整的模型来执行构建由点集Sk形成的统计模型的第四子步骤,每个经调整的模型是由点P’k(tj)形成的。更精确地,基于该面部的给定特征点k在不同图像捕捉时刻t1、..、tm所位于的点P’k(t1)、…、P’k(tm)来构建该统计模型的每个点Sk。
针对面部的每个特征点k,统计模型的点Sk例如被定义为在这些不同的经调整的模型中的对应点P’k(t1)、…、P’k(tm)的质心。
作为变体,可以拒绝异常点:为了定义Sk,重新确定这些点P’k(tj)的质心,而不考虑距离第一经计算的质心(基于m个点P’k(tj)计算出的质心)太远的点、例如被定位成距第一经计算的质心的距离超过阈值的那些点。在此提出了在所计算出第一质心处分布这各个点的距离时使用平均值加上两个标准偏差作为阈值。
作为变体,统计模型的点Sk可以是这些点P’k(t1)、…、P’k(tm)用例如与以下各项有关的系数进行加权后的质心:
-调整后的点的残余误差(即,在调整之后所讨论的点P’k(tj)与相关联的参考点Rk之间的欧几里德距离);
-在该第二子步骤中在识别面部的具体点的过程中确定的误差系数(某些点的识别可能或多或少取决于面部的位置)。
而且,在此提出了在该统计模型中仅使用不确定性很低的点Sk。由按照以上指示所确定的点Sk与这些经调整的模型中的不同相应点P’k(tj)之间的距离形成的分布的平均值和两倍的标准偏差的总和例如被用作不确定性的测量值(对于k的每个值)。
在剩余的处理中,仅使用这种不确定性测量值低于预定阈值的点Sk。如果这个条件不允许选择三个点,则使用具有最小不确定性测量值的三个点。
这允许选择经处理的面部的最稳定和最具特征的具体点,并且因此提高模型的稳健性,从而允许该模型提供稳定且精确的计量参考系。
作为变体,可以允许用户(例如眼镜师)选择(通过交互式选择,例如借助于处理装置T的屏幕和用户接口)最具代表性的点Sk、或者对每个点Sk提供加权。
根据另一个变体,可以在该统计模型中使用所有点Sk,每个点Sk是根据m个经调整的模型的m个相应点P’k(tj)来确定的。
在该第四子步骤的第一次迭代中获得的统计模型可以用作计量学参考系。然而,还能够将调整误差最小化,如现在将解释的。
在这种情况下,在随后的第五子步骤中,确定第三和第四子步骤的新迭代是否是必要的。为此,例如计算出与针对在该第四子步骤中所使用的点集Sk获得的不确定性测量值的平均值相等的优值函数。
如果在第五子步骤中确定第三和第四子步骤的新迭代必须实施(例如,由于刚刚计算出的优值函数高于预先限定的阈值并且由于还没有达到预定迭代次数),则该方法这一次使用在第四子步骤的上一次迭代中获得的统计模型作为参考模型来重复该第三子步骤。因此,针对不确定性低的点Sk使用Rk=Sk来实施第三子步骤。
如果在该第五子步骤中确定该第三和第四子步骤的新迭代是不必要的(例如由于刚刚计算出的优值函数小于或等于预先限定的阈值或者由于已经达到预定迭代次数),则能够使用所获得的上一个统计模型。
因此,在使用用于捕捉立体图像的第一装置的情况下,根据在步骤a)中所捕捉到的佩戴者的头部的一系列三维第一图像的统计分析来确定与该佩戴者的头部相关联的至少三个具体点Sk。
该佩戴者的头部的这些具体点还可以包括间接位于该佩戴者的头部上的具体点。
在佩戴者的头部装备有配件的情况下,所讨论的问题是与这个配件相关联的至少三个点。
在后一种情况下,该配件的这三个具体点的相对位置由于构造是在与这个配件相关联的参考系中已知的。
接着可以根据图像识别算法、通过考虑对这三个点的相对位置由于构造而存在的限制因素更容易地标识该配件的这三个具体点。确切地,这些具体点是可容易标识的,因为它们具有非常可识别的形状以及对比度特征,并且因为其相对位置是固定的。
步骤c)
在实践中,步骤c)优选地是由佩戴者在家或在其日常环境中-办公室、车里等-并且使用常见的图像捕捉装置来执行的。
步骤c)的目的在于,在佩戴者处于自然姿势(即,不受限姿势)时进行测量。
优选地,在步骤c)中,在该佩戴者在其环境中的一个或多个习惯活动过程中确定该佩戴者的头部的该第二表示。
更精确地,该佩戴者的习惯活动尤其可以是以下活动中的一项:
-阅读不同介质,
-在书桌上工作,
-开车,
-练习运动,
-烹饪,
-控制游戏操作台,
-坐下休息,
-看电视,
-演奏乐器。
这个测量步骤可以用不同的方式执行。
根据步骤c)的第一实施例,在步骤c)中,借助于用于捕捉三维图像的第二装置来采集该佩戴者的头部的至少一张第二三维图像,该第二装置是与该第一图像捕捉装置不同的,所述第二三维图像构成了该佩戴者的头部的所述第二表示。
用于捕捉三维图像的第二装置例如是三维扫描仪、或用于捕捉立体图像的装置,该装置包括至少两个设备,该至少两个设备用于捕捉同时记录佩戴者的头部在两个图像捕捉平面中的两张二维图像,这两个平面是相对于该佩戴者的头部不同定向的。在这种情况下,每张三维图像包括至少两张二维图像以及与这两个图像捕捉设备的相对位置有关的信息。
这个装置尤其可以是“Kinect”,其操作原理在文件US20100118123中进行了描述。
优选地能够设想采集多张三维图像。
该佩戴者在此优选地是光着头部的,即他的头部没有光学设备,如眼镜架或眼科镜片。
根据步骤c)的第二实施例,使用与该第一图像捕捉装置不同的第二图像捕捉装置来捕捉该佩戴者的头部的至少一张第二二维图像,该佩戴者的头部的所述至少一张第二二维图像构成了该佩戴者的头部的所述第二表示。
优选地,根据步骤c)的第三实施例,使用用于捕捉二维图像的第二装置来采集该佩戴者的头部在不同的头部姿势下的一系列第二二维图像,这一系列第二图像构成了该佩戴者的头部的所述第二表示,并且针对每个所捕捉到的第二图像,确定该佩戴者的头部相对于该第二图像捕捉装置的相应位置和/或取向。
如参照步骤a)所描述的,为此目的,能够设想将具有设定几何特征的配件放在佩戴者的头部上。例如,所选择的眼镜架或并非被选择的镜架的问题可能在于,该并非被选择的镜架优选地具有比所选择的镜架更大的尺寸,从而使得佩戴者的注视不被镜架的边缘限制。
该镜架优选地配备有精确定位系统,该精确定位系统旨在允许佩戴者的头部的空间位置根据配备有该定位系统的佩戴者头部的捕捉图像确定。这个精确定位系统在文件FR2914173的第7页第5行至第10页第8行中进行了详细描述。因此将不在此处对此进行详细描述。
此精确定位系统具有预先确定的几何特征,这些几何特征允许在与图像捕捉装置相关联的参考系中从该佩戴者头部的捕捉图像(此定位系统出现在该图像中)确定该佩戴者头部的空间位置和取向。因此,此精确定位系统允许在与图像捕捉装置相关联的参考系中确定与佩戴者的头部相关联的参考系的位置和取向。
佩戴者的头部可以直接配备有精确定位系统。
根据步骤c)的这个第三实施例的一个变体,在该佩戴者正将其目光注视在视觉目标上时采集该佩戴者的头部的这一系列第二图像,在每张第二图像的捕捉过程中确定这个视觉目标相对于该第二图像捕捉装置的位置。
这可以例如借助于用于跟踪注视方向的装置(如眼睛跟踪器)来完成。
这样的眼睛跟踪器例如被集成在某些手机中并且因此是大多数消费者容易使用的。
在眼镜师处或在佩戴者的家里可以执行校准该眼睛跟踪器的在先步骤。
作为变体,还能够提供的是使这个目标具有相对于在步骤c)中所使用的第二图像捕捉装置的已知预定位置。这尤其在当这个第二图像捕捉装置被集成在显示屏中或在起码相对于显示该目标的显示屏具有固定和预定位置时是这种情况。
通过使用给予佩戴者的指令,还能够请求佩戴者将图像捕捉装置放在精确位置上,例如放在佩戴者看到的仪表盘或电视或屏幕上。
而且,无论步骤c)的实施实施例怎样,在所述第二二维或三维图像的捕捉过程中确定所述第二图像捕捉装置的空间位置和/或取向,并且从其中确定与在这张第二图像的捕捉过程中该佩戴者的头部的空间位置和/或取向有关的信息。
为此,能够提供执行校准所述用于捕捉二维或三维图像的第二装置的步骤,在该步骤中,用这个第二图像捕捉装置来捕捉专用标准物体的图像。
这个标准物体例如是包含测试图案、例如具有已知尺寸的黑白棋盘的图像。这个标准物体被放在佩戴者的工作距离处,例如放在佩戴者所使用的阅读介质(书、计算机屏幕、平板等)上。通过使用佩戴者所使用的第二图像捕捉装置来捕捉这个标准物体的图像。
这个标准物体可以通过手机、尤其智能手机上的应用而被显示。这个手机还可以用来传输数据集并且允许这些数据集与佩戴者的标识符相关联。
这个手机的应用尤其可以用来通过将该电话放置成面向计算机的摄像头来校准这个摄像头。通过将手机和计算机放置成“面对面”、更精确地“屏幕对屏幕”,其对应的摄像机可以校准彼此。该计算机和手机的捕捉装置可以识别彼此(商标和模型)。
还能够通过拍下手机的应用显示的测试图案来确定照相机的特征。
随后,这允许通过处理该标准物体的这张图像来确定该第二图像捕捉装置相对于这个标准物体并且因此相对于阅读介质的位置和取向。
而且,针对每张捕捉到的第二图像,优选地记录与在步骤c)中所使用的第二图像捕捉装置的配置有关的信息。例如,问题在于,给出这个装置的物镜的焦距、光圈等。根据所捕捉到的第二图像中呈现的信息,这个信息允许确定在捕捉所讨论的第二图像的时刻佩戴者与该第二图像捕捉装置之间的距离、和/或目标与该第二图像捕捉装置之间的距离。
而且,该第二图像捕捉装置可以包括测量装置,例如像陀螺仪、通常出现在装备有照相机的手机中,该测量装置可以允许确定该第二图像捕捉装置的空间取向。还记录了在捕捉图像过程中由这些测量装置所进行的测量。
总体上,与该第二图像的捕捉有关的所有信息以与这个第二图像相关联地被存储。
根据步骤c)的第四实施例,存储包括该佩戴者的头部的所述第二表示的所述数据集,该表示是预先确定的。
这个数据集尤其可以包含与预先捕捉到的一张或多张三维或二维图像相对应的数据。在多张二维图像的情况下,该数据集还包含与对应于每张二维图像的数据相关联的、与这张图像的捕捉过程中佩戴者的头部相对于第二图像捕捉装置的位置和/或取向有关的信息。
在实践中,如上文所描述的,步骤c)是在与步骤a)不同的地方执行的。
无论步骤c)的实施例怎样,在步骤c)中建立的数据集被传输并存储在信息处理服务器中,该信息处理服务器可以可选地包括以上所描述的处理装置T。
优选地,在步骤d)之前的步骤中,设想到将在步骤a)中所捕捉的每张第一二维或三维图像传输至信息处理服务器并且与该佩戴者的标识符相对应地进行存储。该标识符可以是与佩戴者或与该佩戴者的这件设备相关联的。表达“一件设备”尤其被理解为意指旧的或新选择的镜架。
在执行步骤b)之后,三个确定的具体点也被传输至该信息处理服务器并且与这个标识符相对应地进行存储。
以相同方式,将在步骤c)中所捕捉的每张第二二维或三维图像传输至信息处理服务器并且与该佩戴者的这个标识符相对应地进行存储。
因此,被传输至该服务器的每张捕捉到的第二图像可以是与在步骤a)中已经确定的佩戴者的头部的这些具体点相关联的,所述图像与该佩戴者的所述标识符相对应地存储在该服务器上。
步骤d)
在步骤d)中,在步骤b)的所述第二表示中标识该佩戴者的头部的所述具体点中的每一个具体点的图像,在步骤b)中已经确定这些具体点的相对空间位置。
于是问题在于执行图像识别,这可以例如借助于面部识别算法、在此借助于“主动外观模型”算法(例如,关于这个主题参见T.F.库特(T.F.Cootes)、G.J.爱德华兹(G.J.Edwards)、C.J.泰勒(C.J.Taylor)在IEEE Transactions on Pattern Analysis andMachine Intelligence 23(6):681,2011中的文章“Active appearance models(主动外观模型)”)来确定的。
步骤e)
在步骤e)中,根据这个标识来推导出与在所述第二表示的确定过程中该佩戴者的头部的位置和/或取向有关的信息。
为此目的,寻求在捕捉第二表示的第二图像过程中或者在确定相应数据集中所包含的数据的过程中、与佩戴者的头部相关联并且由步骤b)中所标识的这三个具体点所限定的参考系的位置和/或取向。
因此,在步骤e)中,根据在步骤d)中执行的标识以及在步骤b)中确定的佩戴者的头部的这三个具体点的相对空间位置来推导出与在所述第二表示的确定过程中该佩戴者的头部的位置和/或取向有关的所述信息。
总体上,在步骤e)中,在所述第二表示的确定过程中该佩戴者的头部的位置和/或取向被确定为该佩戴者的头部的、使得该佩戴者的头部的这三个具体点具有这三个具体点的图像在所述第二表示中被标识出的坐标的位置和/或取向。问题在于,优化佩戴者的头部的参考系的位置和取向的计算,该参考系是由步骤b)中标识的这三个具体点所限定的。
事实上,问题在于,将在步骤b)中确定的佩戴者的头部的三维参考系投影到每张第二图像中,以便确定该佩戴者的头部在捕捉这张第二图像的时刻在与第二图像捕捉装置相关联的参考系中的位置和/或取向。
出于这个目的,可以使用1995年3月由丹尼尔·F·德芒东(Daniel F.DeMenthon)和拉里·S·戴维斯(Larry S.Davis)出版的被称为“PostIt方法”的方法。该方法允许根据物体的单一二维图像和三维模型来找到该物体的位置和/或取向。
这些方法的实现方式要求找到该二维物体与三维模型之间的至少4个对应点。
该方法可以分为两个步骤。第一步骤对应于:将该三维模型投影到该二维图像中并且确定转动矩阵和平移向量,从而允许使该模型的这些具体点与在这些二维第二图像中标识的这些具体点的图像重合。
该第二步骤是使用比例缩放因子来提高该第一步骤中执行的投影的精度的迭代步骤。
根据另一个简化的可能性,例如在以下情况下:
-在步骤a)中,捕捉一系列第一二维图像并且针对每张捕捉到的第一图像,确定佩戴者的头部相对于该第一图像捕捉装置的相应位置和/或取向;
-在步骤c)中,使用与该第一图像捕捉装置不同的第二图像捕捉装置,捕捉该佩戴者的头部的至少一张第二二维图像,构成该佩戴者的头部的所述第二表示,
接着在步骤e)中,所述系列第一图像中的、最接近所述第二图像的第一图像是与在步骤c)中所捕捉到的该第二图像相关联的,并且用在这个最接近的第一图像的捕捉过程中该佩戴者的头部的位置和/或取向来标识在所述第二图像的捕捉过程中该佩戴者的头部相对于所述第二图像捕捉装置的位置和/或取向。
为此,确定该系列第一图像中的每张第一图像的具体点与所讨论的第二图像的相应具体点之间的欧几里德距离的平均值。
该系列第一图像中的、使得这个平均值最低的那张第一图像是与步骤c)中捕捉到的第二图像相关联的。而且,借助于集成到该第二图像捕捉装置中的测量装置(陀螺仪)可以确定该第二图像捕捉装置在空间绝对参考系中的位置和/或取向,于是能够推导出佩戴者的头部在这样的空间绝对参考系中的位置和/或取向。
步骤f)
在步骤f)中,根据所述第二表示以及在步骤e)中所推导出的信息来确定佩戴者的所述行为参数。
为此,在这种情况下,其中在步骤c)中,采集佩戴者的头部的一系列第二图像,在步骤f)中,根据这一系列中的所述第二图像的统计处理来确定佩戴者的所述行为参数;应注意,借助于步骤b)中佩戴者的头部的参考系的构建以及步骤e)中佩戴者的头部的位置和/或取向的随后确定,这是可能的。执行步骤f)的确定同时考虑这个位置和/或这个取向。
例如,在佩戴者在从屏幕视觉阅读任务过程中并且借助于牢固地紧固至这个屏幕上的第二图像捕捉装置执行步骤c)的情况下,能够在步骤e)中针对佩戴者的头部的每张第二图像来确定该图像捕捉装置与该佩戴者之间的距离。与在阅读介质携带了图像捕捉装置时可以认为这个距离等于阅读距离。
还能够根据步骤c)所捕捉到的第二图像以及步骤e)中确定的佩戴者的头部的位置和/或取向来推导出这个阅读距离。
这可以用各种方式、通过处理佩戴者装备精确定位系统时所捕捉到的图像、或者使用在校准该第二图像捕捉装置的在先步骤中生成的数据、或者使用与在该图像捕捉过程中这个第二装置的配置(特别是焦距)有关的信息来完成。
该阅读距离于是可以被确定为针对这一系列第二图像中的第二图像的全部或一些图像所确定的阅读距离的算术平均值。
所寻求的行为参数还可以包括眼睛-头部系数,即,佩戴者的眼睛沿所确定方向的移动幅度与这只眼睛在视近任务、例如阅读任务过程中的最大移动幅度的比率。
在此背景下,如上文所描述执行的步骤a)和b)用于确定佩戴者的参考姿势。
步骤c)和e)也如上文所描述的执行。
另外,在步骤c)中,将佩戴者置于他执行预先定义的阅读任务的情境中。
此阅读任务涉及根据所讨论的语言从左到右或者从右到左阅读至少一个包括多行(例如,4行或5行)的段落。
观察到,佩戴者在他进行阅读并且尤其是当他换页时采用越来越自然的位置。
因此,优选地,使用包括多页的文本,并且更具体地,利用与所阅读的最后几页相对应的捕捉图像。
因此该文本是其位置在任何给定时刻相对于介质是已知的目标。因此,这个位置在与该第二图像捕捉装置(例如是智能手机)相关联的参考系中是已知的。
在步骤c)中,然后,针对目标的与在该第一工作距离时的各个注视方向相对应的各个位置,使用该第二图像捕捉装置捕捉佩戴者的头部的图像。
根据所捕捉的这些第二图像,例如信息处理服务器的处理装置确定佩戴者的至少一只眼睛的转动中心CRO在与佩戴者的头部相关联的参考系中的位置。这种确定的原理本身是已知的,并且例如描述于文献FR 2914173中,其英文等效物为文献US 20100128220。
作为变体,可以例如通过眼镜师所进行的测量来预先确定眼睛转动中心在与佩戴者的头部相关联的参考系中的位置、佩戴者的眼睛的瞳孔的位置、以及佩戴者的眼睛的半径。
它们可以集成到所述第二图像的数据集中并且构成用于校准该第二图像捕捉装置的参数。
在步骤d)中,在步骤b)的所述第二表示中标识该佩戴者的头部的所述具体点中的每一个具体点的图像,在步骤b)中已经确定这些具体点的相对空间位置,并且在步骤e)中,根据这个标识来推导出与在所述第二表示的确定过程中该佩戴者的头部的位置和/或取向有关的信息。
在实践中,在步骤e)中,针对每张捕捉到的第二图像来确定佩戴者的头部的姿势。
还能够说,在每次图像捕捉过程中在与佩戴者头部相关联的参考系中佩戴者的注视方向为将此转动中心与在图像捕捉期间在其相应位置上的目标连接的直线。
佩戴者的眼睛在阅读任务过程中的角移动幅度是在步骤f)中根据所述第二表示以及在步骤e)推导出的信息被推导为在给定的、尤其水平或竖直平面中间隔最远的两个注视方向之间的角间距。这相当于将所捕捉到的第二图像中的佩戴者的头部的所有姿势与这个参考进行比较。
由于显示在介质上并由佩戴者阅读的文本的尺寸、以及佩戴者的阅读距离(即,佩戴者的双眼与此文本之间的距离)是已知的,每只眼睛的最大角移动幅度于是被确定为佩戴者所看到的文本在所讨论的水平方向上或竖直方向上的角度范围。
通过用每只眼睛的最大角移动幅度除以每只眼睛的角移动幅度,从中推断出被称为眼睛-头部系数的系数,该系数是佩戴者在阅读任务期间的行为的特征。
此系数对佩戴者在阅读任务期间移动他的双眼或头部的倾向进行量化。还有可能将眼睛的平均角移动幅度确定为佩戴者的左眼和右眼的角移动的平均值。然后,有可能从中推导出眼睛-头部平均系数。
所讨论的习惯活动所采用的静态或动态姿势例如与头部相对于与佩戴者的所讨论的活动(阅读介质、乐器、车辆仪表盘等)相关联的元素的取向相对应。
与每个注视方向、眼睛与着眼点之间的距离相关联的工作视景可以根据如上文所描述而确定的注视方向来确定,而同时改变两次捕捉第二图像之间的工具距离,例如阅读距离。将所捕捉到的这系列的第二二维或三维图像进行统计处理还允许推导出表征上述行为参数的变化的量。
小的变化确保了行为参数的确表征了佩戴者。大的变化可以指佩戴者可能难以被这个参数表征。
因此,具有小的变化的行为参数将有利地在设计旨在用于佩戴者的眼科镜片时加以考虑,而具有大的变化的行为参数在设计该眼科镜片时将不被考虑。
最后,所确定的行为参数可以是佩戴者的眼镜架在其面部上的位置。
确切地,能够确定,镜架的突出点(由标识的具体点组成)在佩戴者的头部的参考系中的位置。因此,在佩戴者的头部的这个参考系中可以确定眼镜架的位置。
这个位置例如可以包括佩戴者的镜架腿和耳朵的相对位置、和/或镜架的镜圈相对于佩戴者的瞳孔的位置、和/或镜架的鼻梁相对于佩戴者的鼻子的位置。镜架的鼻梁的位置可以沿竖直方向确定、与佩戴者的鼻子高度相对应、并且在深度方面与镜片-眼睛距离相对应。
Claims (18)
1.一种用于确定佩戴者的至少一个行为参数以便设计用于这位佩戴者的眼镜架的眼科镜片的方法,该方法包括以下步骤:
a)采集与该佩戴者的头部的第一三维表示相对应的第一数据集,
b)根据这个数据集来确定该佩戴者的头部的至少三个具体点的相对空间位置,
c)采集与该佩戴者的头部在自然姿势下的第二表示相对应的第二数据集,该第二表示包括该佩戴者的头部的这三个具体点中的每一个具体点的至少一张图像,
d)在步骤c)的所述第二表示中标识该佩戴者的头部的所述具体点中的每一个具体点的图像,在步骤b)中已经确定了这些具体点的相对空间位置,
e)根据这个标识来推导出与在所述第二表示的确定过程中该佩戴者的头部的位置和/或取向有关的信息,
f)根据步骤e)中所推导出的信息来确定该佩戴者的所述行为参数。
2.如权利要求1所述的方法,其中,在步骤a)中,借助于用于捕捉三维图像的第一装置来采集该佩戴者的头部的至少一张三维图像,这张三维图像接着构成该佩戴者的头部的所述第一表示。
3.如权利要求2所述的方法,其中,在步骤a)中采集该佩戴者的头部的一系列第一三维图像,并且在步骤b)中借助于统计分析、根据该佩戴者的头部的、其相对位置在该系列第一三维图像中最稳定的这些点来确定所述具体点。
4.如权利要求1所述的方法,其中,
-在步骤a)中,使用用于捕捉二维图像的第一装置来采集该佩戴者的头部在不同的头部姿势下的一系列第一二维图像,这个系列第一图像构成了该佩戴者的头部的所述第一表示,并且针对每个所捕捉到的第一图像,确定该佩戴者的头部相对于该第一图像捕捉装置的相应位置和/或取向。
5.如前一项权利要求所述的方法,其中,
-在步骤c)中,使用与该第一图像捕捉装置不同的第二图像捕捉装置来捕捉该佩戴者的头部的至少一张第二二维图像,该佩戴者的头部的所述至少一张第二二维图像构成了该佩戴者的头部的所述第二表示,
-在步骤e)中,所述系列第一图像中的、最接近所述第二图像的第一图像是与在步骤c)中所捕捉到的该第二图像相关联的,并且使用在这个最接近的第一图像的捕捉过程中该佩戴者的头部的位置和/或取向来标识在所述第二图像的捕捉过程中该佩戴者的头部相对于所述第二图像捕捉装置的位置和/或取向。
6.如权利要求1所述的方法,其中,
-在步骤a)和/或在步骤c)中,存储包括该佩戴者的头部的所述第一和第二表示的所述数据集,这些表示是预先确定的。
7.如以上权利要求之一所述的方法,其中,在步骤c)中,在该佩戴者在其环境中的一个或多个习惯活动过程中确定该佩戴者的头部的该第二表示。
8.如以上权利要求之一所述的方法,其中,在步骤c)中,使用第二图像捕捉装置来捕捉该佩戴者的头部的至少一张第二二维图像,该佩戴者的头部的所述至少一张第二二维图像构成了该佩戴者的头部的所述第二表示。
9.如权利要求1至7之一所述的方法,其中,在步骤c)中,借助于用于捕捉三维图像的第二装置来采集该佩戴者的头部的至少一张第二三维图像,所述第二三维图像构成了该佩戴者的头部的所述第二表示。
10.如权利要求8和9之一所述的方法,其中,在步骤c)中,采集该佩戴者的头部的一系列第二二维或三维图像,并且在步骤f)中,根据这系列中的所述第二图像的统计处理来确定该佩戴者的所述行为参数。
11.如前一项权利要求所述的方法,其中,在步骤c)中,在该佩戴者正将其目光注视在视觉目标上时采集该佩戴者的头部的该系列第二图像,在每张第二图像的捕捉过程中确定这个视觉目标相对于该第二图像捕捉装置的位置。
12.如权利要求8至11之一所述的方法,其中,执行校准所述用于捕捉二维或三维图像的第二装置的步骤,在该步骤中,用这个第二图像捕捉装置来捕捉专用标准物体的图像。
13.如权利要求8至12之一所述的方法,其中,在所述第二二维或三维图像的捕捉过程中确定所述第二图像捕捉装置的空间位置和/或取向,并且从其中确定与在这张第二图像的捕捉过程中该佩戴者的头部的空间位置和/或取向有关的信息。
14.如权利要求8至13之一所述的方法,其中,在步骤d)之前的步骤中,将在步骤b)中所捕捉的每张第二二维或三维图像传输至信息处理服务器并且与该佩戴者的标识符相对应地存储。
15.如权利要求8至14所述的方法,其中,传输至该服务器的每张捕捉到的第二图像是与在步骤a)中已经确定的该佩戴者的头部的那些具体点相关联的,所述图像与该佩戴者的所述标识符相对应地被存储在该服务器上。
16.如权利要求1至15之一所述的方法,其中,在步骤e)中,在所述第二表示的确定过程中该佩戴者的头部的位置和/或取向以计算方式被确定为该佩戴者的头部的、使得该佩戴者的头部的这三个具体点具有这三个具体点的图像在所述第二表示中被标识出的坐标的位置和/或取向。
17.如权利要求1至16之一所述的方法,其中,在步骤a)中,由专门验光的人而非该佩戴者、和/或使用专用于验光的装置来采集该佩戴者的头部的第一表示,而在步骤c)中,由该佩戴者自己负责采集该佩戴者的头部的第二表示而无需专门验光的人介入和/或使用常见装置。
18.如以上权利要求之一所述的方法,其中,在步骤b)中,该佩戴者的头部的这三个具体点是与该佩戴者的头部上所佩戴的配件相关联的,并且它们在与这个配件相关联的参考系中的相对位置是已知的。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1454548 | 2014-05-20 | ||
FR1454548A FR3021205B1 (fr) | 2014-05-20 | 2014-05-20 | Procede de determination d'au moins un parametre comportemental |
PCT/FR2015/051316 WO2015177461A1 (fr) | 2014-05-20 | 2015-05-19 | Procédé de détermination d'au moins un paramètre comportemental |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106461982A true CN106461982A (zh) | 2017-02-22 |
CN106461982B CN106461982B (zh) | 2019-05-31 |
Family
ID=51210629
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580026348.0A Active CN106461982B (zh) | 2014-05-20 | 2015-05-19 | 用于确定至少一个行为参数的方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10036902B2 (zh) |
EP (1) | EP3145405B1 (zh) |
CN (1) | CN106461982B (zh) |
CA (1) | CA2949683C (zh) |
FR (1) | FR3021205B1 (zh) |
WO (1) | WO2015177461A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3413122B1 (de) | 2017-06-08 | 2020-03-04 | Carl Zeiss Vision International GmbH | Verfahren, vorrichtung und computerprogramm zum bestimmen eines nah-durchblickpunktes |
EP3425446B1 (de) | 2017-07-06 | 2019-10-30 | Carl Zeiss Vision International GmbH | Verfahren, vorrichtung und computerprogramm zum virtuellen anpassen einer brillenfassung |
JP7387726B2 (ja) * | 2018-10-09 | 2023-11-28 | エシロール・アンテルナシオナル | 着用者の視覚探索戦略に応じて視力矯正機器を適合させる方法 |
WO2020221701A1 (en) * | 2019-04-30 | 2020-11-05 | Essilor International | Method for determining an oriented 3d representation of the head of a person in a natural visual posture |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101278222A (zh) * | 2005-09-29 | 2008-10-01 | 埃西勒国际通用光学公司 | 适于佩带者的眼睛/头部行为的眼用偏振镜片 |
WO2014016502A1 (fr) * | 2012-07-24 | 2014-01-30 | Essilor International (Compagnie Générale d'Optique) | Procede de mesure de parametres morpho-geometriques d'un individu porteur de lunettes |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AUPQ896000A0 (en) * | 2000-07-24 | 2000-08-17 | Seeing Machines Pty Ltd | Facial image processing system |
FR2914173B1 (fr) | 2007-03-30 | 2010-02-26 | Essilor Int | Procede de mesure de la position suivant une direction horizontale du plan sagittal d'un point remarquable d'un oeil d'un sujet |
WO2008120217A2 (en) | 2007-04-02 | 2008-10-09 | Prime Sense Ltd. | Depth mapping using projected patterns |
FR2974722B1 (fr) | 2011-05-06 | 2014-10-10 | Essilor Int | Procede de determination de la distance de lecture |
FR2987920B1 (fr) * | 2012-03-08 | 2018-03-02 | Essilor International | Procede de determination d'une caracteristique geometrico-morphologique, de posture ou comportementale d'un porteur d'une paire de lunettes |
FR2987918B1 (fr) * | 2012-03-08 | 2014-12-26 | Essilor Int | Procede de determination d'au moins une caracteristique de posture de la tete d'un porteur d'une paire de lunettes |
-
2014
- 2014-05-20 FR FR1454548A patent/FR3021205B1/fr active Active
-
2015
- 2015-05-19 CN CN201580026348.0A patent/CN106461982B/zh active Active
- 2015-05-19 US US15/312,473 patent/US10036902B2/en active Active
- 2015-05-19 WO PCT/FR2015/051316 patent/WO2015177461A1/fr active Application Filing
- 2015-05-19 CA CA2949683A patent/CA2949683C/fr active Active
- 2015-05-19 EP EP15728072.8A patent/EP3145405B1/fr active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101278222A (zh) * | 2005-09-29 | 2008-10-01 | 埃西勒国际通用光学公司 | 适于佩带者的眼睛/头部行为的眼用偏振镜片 |
WO2014016502A1 (fr) * | 2012-07-24 | 2014-01-30 | Essilor International (Compagnie Générale d'Optique) | Procede de mesure de parametres morpho-geometriques d'un individu porteur de lunettes |
Also Published As
Publication number | Publication date |
---|---|
US10036902B2 (en) | 2018-07-31 |
FR3021205B1 (fr) | 2021-12-24 |
WO2015177461A1 (fr) | 2015-11-26 |
CA2949683A1 (fr) | 2015-11-26 |
EP3145405A1 (fr) | 2017-03-29 |
CA2949683C (fr) | 2022-06-28 |
FR3021205A1 (fr) | 2015-11-27 |
US20170115513A1 (en) | 2017-04-27 |
CN106461982B (zh) | 2019-05-31 |
EP3145405B1 (fr) | 2023-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12067689B2 (en) | Systems and methods for determining the scale of human anatomy from images | |
CN111649690B (zh) | 一种能够手持的3d信息采集的设备及方法 | |
US9779512B2 (en) | Automatic generation of virtual materials from real-world materials | |
JP4284664B2 (ja) | 三次元形状推定システム及び画像生成システム | |
CN107358217B (zh) | 一种视线估计方法及装置 | |
CN106461983A (zh) | 用于确定个人的视觉行为的至少一个参数的方法 | |
EP4383193A1 (en) | Line-of-sight direction tracking method and apparatus | |
JP2017517794A (ja) | 画像処理方法および画像処理装置 | |
CN104881526B (zh) | 一种基于3d的物品穿戴方法及眼镜试戴方法 | |
CN106462738B (zh) | 用于构建个人的面部的模型的方法、用于使用这样的模型分析姿态的方法和设备 | |
CN106461982B (zh) | 用于确定至少一个行为参数的方法 | |
KR102444768B1 (ko) | 안경 렌즈의 국부적 굴절력 및/또는 굴절력 분포를 측정하기 위한 방법 및 장치 | |
JP2017194301A (ja) | 顔形状測定装置及び方法 | |
CN112183160A (zh) | 视线估计方法及装置 | |
CN113723293A (zh) | 一种视线方向的确定方法、装置、电子设备及存储介质 | |
CN116580169B (zh) | 一种数字人驱动方法及装置、电子设备和存储介质 | |
Parada et al. | ExpertEyes: Open-source, high-definition eyetracking | |
CN113115024B (zh) | 一种3d信息采集设备 | |
KR20190114602A (ko) | 다중 구조 인공신경망을 이용한 가상 피팅을 수행하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체 | |
US20220229312A1 (en) | Method for determining an oriented 3d representation of the head of a person in a natural visual posture | |
JP4623320B2 (ja) | 三次元形状推定システム及び画像生成システム | |
KR20190114603A (ko) | 순환 구조 인공신경망을 이용한 가상 피팅을 수행하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체 | |
KR102039171B1 (ko) | 인공신경망을 이용한 거울형 가상 피팅 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체 | |
WO2024166600A1 (ja) | 学習モデル生成装置、学習モデル生成方法、及びコンピュータ読み取り可能な記録媒体 | |
Du et al. | Location Estimation from an Indoor Selfie |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20180222 Address after: France Sharon Ton Le Pon Applicant after: Essilor International Ltd. Address before: France Sharon Ton Le Pon Applicant before: Essilor International General Optical Co., Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |