CN112505950A - 用于眼镜架的虚拟配适的方法、设备和计算机程序 - Google Patents
用于眼镜架的虚拟配适的方法、设备和计算机程序 Download PDFInfo
- Publication number
- CN112505950A CN112505950A CN202011201842.5A CN202011201842A CN112505950A CN 112505950 A CN112505950 A CN 112505950A CN 202011201842 A CN202011201842 A CN 202011201842A CN 112505950 A CN112505950 A CN 112505950A
- Authority
- CN
- China
- Prior art keywords
- head
- frame
- metadata
- spectacle frame
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
- G02C13/00—Assembling; Repairing; Cleaning
- G02C13/003—Measuring during assembly or fitting of spectacles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
-
- G—PHYSICS
- G02—OPTICS
- G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
- G02C7/00—Optical parts
- G02C7/02—Lenses; Lens systems ; Methods of designing lenses
- G02C7/024—Methods of designing ophthalmic lenses
- G02C7/027—Methods of designing ophthalmic lenses considering wearer's parameters
-
- G—PHYSICS
- G02—OPTICS
- G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
- G02C7/00—Optical parts
- G02C7/02—Lenses; Lens systems ; Methods of designing lenses
- G02C7/024—Methods of designing ophthalmic lenses
- G02C7/028—Special mathematical design techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/17—Mechanical parametric or variational design
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0621—Item configuration or customization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/16—Cloth
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2004—Aligning objects, relative positioning of parts
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Theoretical Computer Science (AREA)
- Ophthalmology & Optometry (AREA)
- Business, Economics & Management (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Optics & Photonics (AREA)
- General Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Finance (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Development Economics (AREA)
- Veterinary Medicine (AREA)
- Urology & Nephrology (AREA)
- Strategic Management (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Marketing (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Economics (AREA)
- Animal Behavior & Ethology (AREA)
- Radiology & Medical Imaging (AREA)
- Architecture (AREA)
Abstract
用于眼镜架的虚拟配适的方法、设备和计算机程序。公开了使用近似和精确调节用于眼镜的虚拟试戴过程的方法、计算机程序和设备。为此提供头部和眼镜架的3D模型以及基于头部的模型的头部元数据和基于镜架的模型的镜架元数据。该头部元数据包括放置信息、特别是放置点和/或放置区域,该放置点可以用于将眼镜架近似定位在头部上,该放置区域描述用于放置在头部的耳朵上的镜架镜腿的区域。借助于这种类型的元数据,可以实现眼镜架在头部上的快速且相对简单的计算定位以及使用随后精确调整的更准确定位。
Description
本申请是申请日为2018年6月1日、申请号为 201880048493.2、国际申请号为PCT/EP2018/064519、发明名称为“用于眼镜架的虚拟配适的方法、设备和计算机程序”的专利申请的分案申请。
技术领域
本申请涉及用于眼镜架的虚拟配适的方法、设备和计算机程序。在此,根据DIN ENISO 7998:2006-01和DIN EN ISO 8624:2015-12,眼镜架应该理解为是指通过其可以将眼镜镜片戴在头部上的镜架或保持器。特别地,本文所使用的术语还包含无框眼镜架。通俗地说,所述眼镜架又被称为镜架。在本申请的范围内,虚拟戴上眼镜架表示在计算装置上使眼镜架的模型配合头部的模型,通常和眼镜架与人的头部的配合在显示器(例如计算机监视器)上的图形表示相结合。
背景技术
例如,从US 2003/0123026 A1或US 2002/105530 A1中已知虚拟戴上眼镜架。在这些文件中,虚拟戴上眼镜架主要用于通过用户的头部的图形表示与眼镜架一起显示来帮助用户在不同的眼镜架之间进行选择。
对应于US 2016/0327811 A1,WO 2015/101738 A2公开了一种用于眼镜架与用户的虚拟配适的方法。在此,使用用户的头部的模型、特别是用户的鼻子的模型和两只耳朵的模型。在此,眼镜架的模型在头部的模型上的叠加被用于通过最小化重叠区域来确定眼镜架的必要变形,使得眼镜架配适在用户的头部上。这种变形可以通过机器或用手被施加到对应的真实眼镜架。此外,在这个文件中可以自动优化镜架相对于鼻子的位置。这种优化需要相对较高的计算支出,并且取决于优化的初始值,实际上不一定能保证理想的配适。
US 9,286,715 B2公开了一种用于虚拟试戴一副眼镜的方法。在此,在眼镜架和头部上都定义了多个点。通过使眼镜架上的选定点与头部上的选定点相对应,将眼镜架定位在头部上。通过更改选定点来更改位置。这有助于以对于为了获得视觉印象而得以虚拟试戴的US 9,286,715 B2的目的而言足够的准确度进行定位。在这种情况下不能实现准确的配合,配镜师然后可以基于准确配适进行镜架的真实配适。
截至2017年3月5日,Volumental公司已在“https://www.volumental.com/face-scanning/”提供了“Vacker”软件的演示视频,其中呈现了戴上一副眼镜的头部,并且这副眼镜的参数可以通过滑块进行修改,例如这副眼镜在鼻梁上的座或者比如面部镜圈弧度和“配戴”前倾角(参见DIN EN ISO)等其他参数。也可以选择眼镜架的颜色或眼镜架的铰链的颜色。
可在Alain Afflelou/Ditto的门户网站上找到显示虚拟眼镜配适的工作流程的视频,参见例如截至2017年3月5日的“https://www.youtube.com/watch v=awNs2cEoZ7Y”或“https://www.youtube.com/watchv=ZsBV4FkcU8U”。在此,具有集成相机的计算机被用作记录系统,并且可以选择镜架。在这个程序中,一副眼镜原样配合在通过相机记录的用户的实时视频上。
以上解释的现有技术允许虚拟戴上一副眼镜,并且例如在WO 2015/101738 A2的情况下,甚至允许眼镜与用户的一定程度配适,以便然后将这种配适转移到真实的眼镜上,使得具有该眼镜架的一副眼镜可以随后以尽可能少的进一步配适被直接提供给用户。然而,如所解释的,由于基于3D模型的叠加来实施优化,因此WO 2015/101738 A2中的方法需要比较高的计算支出。而且,在这个文件的优化方法中,仍然不确定是否实际上找到了最优值,或者优化方法是否“仍然停留”在要优化数量的局部最小值中。
FR 301 6051 A1公开了根据权利要求1、权利要求5和权利要求19的前序部分所述的方法。
US 2013 088490 A1公开了根据权利要求1、权利要求5、权利要求9和权利要求11的前序部分所述的方法。
ES 260 4806 A2公开了一种用于确定眼镜架的眼镜的参数以及用于订购因此确定的镜片的方法。所描述的方法包括:获得用户的头部的形态数据、确定镜片的最佳位置、从眼镜架数据库的眼镜架中确定可能的眼镜架并排除不可能的眼镜架、为每个可能的眼镜架计算一副可能的镜片并排除没有可用镜片的眼镜架、由用户从可实现的眼镜的数据库中选择至少一个可实现的眼镜架、确认选择以及下订单。
WO 01/88654 A2公开了一种眼镜配适系统,该眼镜配适系统包括:有助于观看客户面部的成像系统、用于生成描述客户的物理特征的第一3D信息项的3D图像处理器、用于接收客户面部的数字3D表示和眼镜架的数字3D表示以便将眼镜架虚拟放置在客户面部上并生成描述镜架/脸部配适的第二3D信息项的虚拟试戴单元、以及被配置用于接收第一3D信息项和第二3D信息项并由此生成用于特定客户的面部和镜架生产以及用于研磨镜片的至少一个参数的镜片配适器。在这种背景下,WO 01/88654 A2公开了通过“3D面部提取器”自动分配面部特征以及通过手动测量来手动确定头部元数据。
WO 2016 164859 A1公开了用于生产眼镜架和镜片几何结构的系统和方法,该镜片几何结构配适于用户的解剖学并且针对用户的折射率进行了优化。一种方法包括:接收包括镜架部分和镜片部分的用户特定眼镜产品的可配置参数模型,其中该可配置参数模型的几何参数是基于用户的解剖学的几何特征;接收用户的媒体数据,其中该媒体数据包含用户对视觉线索的反应;从所接收的媒体数据中检测用户的眼睛的位置;基于所识别的用户的眼睛的位置来确定用户的光学信息项;以及通过基于所确定的光学信息项而修改所接收的可配置参数模型来生成更新后的可配置参数模型。在这种情况下,WO 2016 164859 A1公开了用于检测面部特征的机器学习的用途、用于在头部的记录中照明的信息项的计算以及具有适当适配的虚拟照明的眼镜架的虚拟表示。
使用在FR 301 6051 A1中所描述的方法,可以虚拟戴上眼镜架,其中眼镜架通过近似定位和精细定位被定位在用户的头部上。
发明内容
从FR 301 6051 A1出发,本申请的第一目的是提供一种使精细虚拟定位更快、更容易以及更可靠的方法。为此目的,根据本发明的第一方面,提供了一种如权利要求1所述的方法。
同样从FR 301 6051 A1出发,本申请的第二目的是减少用于执行该方法的计算需求。为此目的,根据本发明的第二方面,提供了一种如权利要求5所述的方法。
US 2013 088490 A1公开了将眼镜架的3D模型分割成眼镜架的多个部件。从US2013 088490 A1出发,本申请的第三目的是使分割从计算的角度来看更容易实现。为此,根据本发明的第三方面,提供了一种如权利要求9所述的方法。
从US 2013 088490 A1出发,本申请的第四目的是使头部的耳朵的搁置区域的确定从计算的角度来看更容易实现。为此目的,根据本发明的第四方面,提供了一种如权利要求11所述的方法。
同样地从FR 301 6051 A1出发,本申请的第五目的是改善表征头部的鼻梁的信息项,以便改善眼镜配适方法的准确度并同时降低该方法的存储器要求。为此目的,根据本发明的第五方面,提供了一种如权利要求19所述的方法。
从属权利要求定义了另外的示例性实施例。
同样,针对本发明的所有方面,提供了根据权利要求28所述的计算机程序以及根据权利要求29所述的设备。
下文简要讨论了本发明的方面。在这种简要讨论之后,定义所采用的术语。
在本发明的第一方面,提供了一种用于一副眼镜的虚拟配适的计算机实现的方法,该方法包括:
基于头部的3D模型(30,31)的头部元数据和眼镜架的3D模型的镜架元数据,将该眼镜架近似虚拟定位在该头部上,
随后基于头部的3D模型(30,31)和眼镜架的3D模型(40)对眼镜架进行精细虚拟定位。
在此,例如近似虚拟定位可以确定眼镜架的初始位置和取向以便进行精细虚拟定位,其中可以从初始位置和取向出发执行精细虚拟定位。
该方法的特征在于:如果当保持该头部直立时将与处于主注视方向上的该头部的眼睛的瞳孔中心之间的连接线相对应的水平方向定义为x方向、如果当保持该头部直立时竖直方向被定义为y方向以及如果垂直于该x方向和该y方向的方向被定义为z方向,则在该精细虚拟定位过程中,该眼镜架垂直于该z方向进行第一距离的第一位移,以及
该眼镜架沿该z方向进行第二距离的第二位移,
其中该第二距离不超过该第一距离的10%。
与FR 301 6051 A1的方法相比,这种方法的优点在于:通过将精细定位基本上限制为在平面(x-y平面,即垂直于z方向)中进行定位并因此限制在精细定位期间的自由度,使精细虚拟定位更快、更容易以及更可靠。
在本发明的第二方面,提供了一种用于一副眼镜的的虚拟配适的计算机实现的方法,该方法包括:
在该精细虚拟定位之前,基于头部的3D模型(30,31)的头部元数据和眼镜架的3D模型的镜架元数据,将该眼镜架近似虚拟定位在该头部上,
基于头部的3D模型(30,31)和眼镜架的3D模型(40)对眼镜架进行精细虚拟定位,其中用于提供镜架元数据的方法包括识别眼镜架的3D模型中的突出点和/或对眼镜架的3D模型中的突出点进行分类。
该方法的特征在于:对突出点进行分类包括分类为相关点和不相关点。
与FR 301 6051 A1的方法相比,这种方法的优点在于:由于在实施该方法时只考虑了所确定点的子集、特别是相关点,因而减少了实施该方法的计算需求。
在本发明的第三方面,提供了一种用于一副眼镜的虚拟配适的计算机实现的方法,该方法包括:
基于头部的3D模型(30,31)和眼镜架的3D模型(40)对该眼镜架进行精细虚拟定位,
在该精细虚拟定位之前,基于该头部的3D模型(30,31)的头部元数据和该眼镜架的3D模型的镜架元数据,将该眼镜架近似虚拟定位在该头部上,
其中提供该镜架元数据包括:将该眼镜架的3D模型分割为该眼镜架的多个部件,其中这些部件优选包括以下组中的至少一个部件
- 镜腿部分
- 该眼镜架除了这些镜腿部分外的其余部分,和/或
其中该头部元数据包括该头部的耳朵的搁置区域,这些区域是基于这些镜腿部分计算的。
该方法的特征在于:通过在空间中的相应剖面来实现将该眼镜架的3D模型分割为该眼镜架的多个部件,这些剖面将该3D模型的顶点或体素细分,其中通过相应参考点p和垂直于空间中的相应剖面的相应法向量n来定义相应剖面,其中该眼镜架的3D模型的分割是基于以下的比较来实现的
- 该眼镜架的3D模型的顶点或体素与该相应法向量n的纯量积
与
- 该相应参考点p和该法向量n的纯量积。
与从US 2013 088490 A1已知的用于将眼镜架的3D模型分割成眼镜架的多个部件的方法相比,根据本发明的第三方面的方法的优点在于:以计算上容易实现的方式提供分割。
根据本发明的第四方面,提供了一种用于一副眼镜的虚拟配适的计算机实现的方法,该方法包括:
基于头部的3D模型(30,31)和眼镜架的3D模型(40)对眼镜架进行精细虚拟定位,
在该精细虚拟定位之前,基于该头部的3D模型(30,31)的头部元数据和该眼镜架的3D模型的镜架元数据,将该眼镜架近似虚拟定位在该头部上,
其中提供该镜架元数据包括:将该眼镜架的3D模型分割为该眼镜架的多个部件,其中这些部件优选包括以下组中的至少一个部件
- 镜腿部分
- 该眼镜架除了这些镜腿部分外的其余部分,以及
其中该头部元数据包括该头部的耳朵的搁置区域,这些区域是基于这些镜腿部分计算的。
该方法的特征在于:通过用于这些镜腿部分的至少一个眼镜镜腿的方法来确定用于该头部的耳朵的所计算搁置区域中的至少一个搁置区域,其中该方法包括:
- 根据该眼镜镜腿确定该眼镜镜腿的起点a和终点b,
- 通过界定潜在耳朵搁置区域的平面的z成分来确定该潜在耳朵搁置区域,其中以下内容适用:
α < (vZ - az)/Iz < β,
其中α和β是预定值,其中α介于0.3和0.6之间并且β介于0.6和0.9之间,并且其中az是点a的z成分,lz是该眼镜镜腿在该z方向上的长度,并且其中vz是该3D模型的顶点或体素的z成分,
- 通过用增量位移窗口进行计算,从该潜在耳朵搁置区域中确定该搁置区域,其中针对该窗口的每个位置确定该潜在搁置区域的位于该窗口中的顶点或体素的集合以及针对这些顶点或体素的集合中的每个集合来形成带有方向向量d的纯量积s = <v,d>,其中v指定该顶点或体素的集合的相应顶点或体素的坐标,其中d是该相应眼镜镜腿的归一化固定向量,以及相应地一个顶点或体素v̂是基于这些顶点或体素的纯量积s针对该相应窗口而被确定的,以及
- 提供该至少一个搁置区域作为搁置点集合或作为搁置曲线,其中该搁置点集合或该搁置曲线包括这些顶点或体素v̂。
与从US 2013 088490 A1已知的方法相比,根据本发明的第四方面的方法的优点在于:以计算上容易实现的方式提供确定头部的耳朵的搁置区域。
根据本发明的第五方面,提供了一种用于一副眼镜的虚拟配适的计算机实现的方法,该方法包括:
基于头部的3D模型(30,31)的头部元数据和眼镜架的3D模型的镜架元数据,将该眼镜架虚拟定位在该头部上,
其中该镜架元数据包括第一搁置信息项,这些第一搁置信息项定义了该眼镜架搁置在该头部上的、该眼镜架上的一个或多个位置,并且该头部元数据包括第二搁置信息项,这些第二搁置信息项定义了该眼镜架搁置在该头部上的、该头部上的一个或多个位置,并且其中
第二搁置信息项包括与头部的3D模型的鼻梁相关联的放置点。
该方法的特征在于:该鼻梁的鼻梁区域作为3D曲线被提供。
与FR 301 6051 A1的方法相比,这种的优点在于:由于不需要用三维网格(即完整的三维模型)来计算碰撞点,因此减少了执行该方法的计算要求;相反,可以通过仅使用曲线确定点来确定近似定位。同时,由于3D曲线适合于使用比网格更少的数据来描述鼻子的轮廓同时具有更高的准确度,因此改善了眼镜配适方法的准确度。
近似定位被理解为是指基于信息项来确定初始位置。准确定位被理解为是指从近似定位出发,基于另外的数据实施更准确的位置确定。举例来说,在近似定位的范围内可以沿z方向实施定位;以及在精细定位的范围内,随后可以基本上垂直于z方向实现定位。
在此,可以基于关于鼻梁的信息项来实现近似定位:在此,镜架坐标系中的3D点(又称为锚定点)可以与鼻梁上的点一致。
在一些示例性实施例中,相对于初始位置和取向,即通过近似定位确定的眼镜架的位置,精细定位可以使眼镜架移动小于20 mm、在一些示例性实施例中小于10 mm。
在此,术语“近似定位”和“精细定位”应该彼此相对理解;即,精细定位使在近似定位期间初始确定的位置更加精确。
这是通过近似定位确定用于随后精细定位的起点或初始位置和取向以及通过精细定位使在近似定位范围内初始确定的位置更加精确来实现的。
因此,近似定位表示第一定位,并且精细定位表示随后定位。
因此,近似定位是指眼镜架被初始定位在接近于精细定位后所达到的最终位置的位置,例如相对于头部的尺寸,接近这个最终位置到20 mm、10 mm或更小的范围内。然后,精细定位改变这个位置以形成最终位置。在此,近似定位是基于元数据的,而模型本身用于精细定位。
通过使用用于近似定位的头部元数据和镜架元数据,可以快速实现近似定位并且计算支出比较少。而且,近似定位产生用于随后精细定位的起点或初始位置和取向;因为所述精细定位是从眼镜架的已经近似正确的位置开始的,因此这可以加速精细定位。这降低了在精细定位期间找到对应于期望最佳值的位置的风险。通过头部和镜架本身的3D模型用于精细定位,这然后允许在精细定位期间实现高准确度,其中由于先前的近似定位,精细定位总体上则需要较少的计算支出。
在此,3D模型应当被理解为是指真实物体的三维表示,这些三维表示可以作为存储介质(例如计算机的存储器或数据介质)中的数据记录可供使用。举例来说,这种三维表示可以是3D网,其由3D点(由被称为顶点)集和这些点之间的连接(这些连接又被称为边缘)组成。在最简单的情况下,这些连接形成三角形网。这种作为3D网的表示仅描述物体的表面而非体积。网不必一定是闭合的。因此,例如如果以网格的形式描述头部,则它看起来就像是面具。关于这种3D模型的详细信息可以在以下文章中找到:Rau J-Y,Yeh P-C,“A Semi-Automatic Image-Based Close Range 3D Modeling Pipeline Using a Multi-CameraConfiguration [使用多相机配置的半自动基于图像的近距离3D建模管线]”,传感器(Sensors)(瑞士巴塞尔),2012;12(8):11271-11293. doi:10.3390/s120811271(特别是第11289页,附图“图16”)。
表示体积型表示的体素网格是用于表示3D模型的另外的选项。在此,空间被分成小立方体或长方体,这些被称为体素。在最简单的情况下,要表示的物体的存在或不存在以每个体素的二进制值(1或0)的形式被存储。在体素的边缘长度为1 mm且体积为300 mm ×300 mm × 300 mm的情况下,其表示头部的典型体积,因此获得了总共2700万个这种体素。在例如以下文章中描述了这种体素网格:M.Nießner,M.Zollhöfer,S.Izadi和M.Stamminger,“Real-time 3D reconstruction at scale using voxel hashing [使用体素哈希的大规模实时3D重建]”,ACM Trans,图32、6,第169条(2013年11月),DOI:https://doi.org/10.1145/2508363.2508374。
3D模型表示的另外可能形式包括点云,例如没有关于点之间的连接的信息项(边缘,例如三角形网,参见上文)、在每个点处具有法向量的点云、以样条表面和比如球体、圆柱体、平面等基本几何体的部分表面的形式表示。在此,所描述的方法可以独立于所选择的3D模型表示形式。
如https://de.wikipedia.org/w/index.php title=K%C3%B6rper_(Geometrie)& oldid=177672595中所述,基本几何体应理解为是指由其表面描述的三维图。
具有N个点的点云表示总共N个点,其中N个点中的每个点由三个坐标描述。
法向量是与这种物体或这种物体的组合的直线、曲线、平面或(弯曲)表面正交(垂直)的向量。
特别地,头部的3D模型和/或眼镜架的3D模型可以是具有纹理的3D模型。具有纹理的3D模型应理解为是指此外包含真实物体的表面点的颜色信息项的3D模型。使用具有纹理的3D模型有助于头部和眼镜架的真彩色表示。
在此,颜色信息项可以作为属性、例如作为RGB(红绿蓝)颜色值被直接包含在顶点中,或者一对纹理坐标被作为属性附到每个顶点上。然后,这些坐标应理解为是指附加纹理图像中的图像坐标(像素位置)。然后,例如由纹理图像的像素通过内插法生成三角形网的前述三角形的纹理。
当被存储为体素网格时,颜色信息项可以被存储在体素本身中。然后,纹理的分辨率对应于体素表示中体素的大小。对于高分辨率纹理,体素网格必须被转换为描述表面的网;这称为表面重建。(参见,例如Cignoni,Paolo等人,“Meshlab: an open-source meshprocessing tool [Meshlab:开源网处理工具]”欧洲制图学会意大利分会会议(Eurographics Italian Chapter Conference),第2008卷, 2008年)。
元数据应理解为是指包含关于模型特征的信息项但不包含模型本身的数据。特别地,元数据可以为模型提供附加信息项和/或基于相应模型包含突出点或曲线。在截至2017年3月5日的德语“Metadaten”维基百科文章中也对元数据进行了一般性解释。如果没有指定其他内容,对维基百科的引用是指德语维基百科(de.Wikipedia.org)。
作为使用这种可能已经被预先创建的元数据的结果,如上文所解释的,与使用典型地、基本上更全面的完整3D模型相比,可以以简单的方式将眼镜架快速定位在头部上以及改变其位置。
定位是“虚拟的”,因为该过程是在比如计算机等计算装置上实施的,而真实的眼镜架没有被放置在真实的头部上。
优选地,特别是在本发明的第五方面中但不仅限于本发明的这一方面,在这种情况下镜架元数据包括定义了眼镜架搁置在头部上的、眼镜架上的一个或多个位置的第一搁置信息项,和/或在这种情况下头部元数据包括定义了眼镜架搁置在头部上的、头部上的一个或多个位置的第二搁置信息项。在此,点、点集、曲线或区域可以被称为位置。由于在配适期间不需要为所有计算和步骤考虑眼镜架的整个3D模型,因此可以通过这种第一和/或第二搁置信息项来加速眼镜架的虚拟配适。
在位置被定义区域的情况下,可以相应地应用下文和上文所描述的用于点、点曲和曲线的方法。有关空间曲线的超球面近似可以近似部件部分、例如在接触区的区域中的镜腿。然后,可以使用与搁置曲线相同的方法;然而,在该方法中,还可以通过数学方法要求或强制距空间曲线固定的距离。
优选地,特别是在本发明的第四和第五方面中但不仅限于本发明的这些方面,第一搁置信息项包括:搁置点,该搁置点表示眼镜架的鼻梁区域中、特别是眼镜架的鼻梁的中心内的点;搁置区域,该搁置区域表示眼镜架的镜腿的区域。
在此,术语“鼻梁”和“镜腿”的使用符合2015年12月发布的DIN EN ISO 8624:2015-12和2006年1月发布的DIN EN ISO 7998:2006-01中的术语。
搁置点应理解为是指头部上定义了眼镜架与头部的接触点的点。
搁置区域应理解为是指定义了眼镜架与头部的接触区的区域。举例来说,头部的耳朵的一个搁置区域或多个搁置区域可以用于耳朵。
潜在搁置区域、例如潜在耳朵搁置区域应理解为是指原则上适合作为搁置区域的区域,例如眼镜架的被设置作为用于不同头部形状的搁置区域的区域。
搁置点和搁置区域可以作为元数据被存储。
将眼镜架近似定位在头部上可以通过这种搁置点来实现。特别地,即使由于镜腿的弯曲和/或位置变化而需要下述眼镜架的形状变化,也同样可以通过搁置区域来辅助近似定位。在此,鼻梁和镜腿是眼镜架的部分,眼镜架典型地在鼻梁和镜腿处搁置在头部上,并因此这种元数据的选择容易允许进行对应于真实情况的定位。
在此,镜架元数据可以针对多个不同的眼镜架与眼镜架的3D模型一起被提前确定并且可以被存储在存储介质中,然后可以被调用以用于执行该方法。这样允许快速获得数据。
举例来说,可以通过立体图像记录来创建头部的3D模型。在这种立体图像记录中,从多个方向记录物体(在这种情况下是头部)并且记录位置是已知的。这可以通过相对于彼此刚性设置的多个相机来实现。然后,通过识别所记录的图像中的彼此对应的特征,可以通过考虑已知的记录位置来创建模型。关于这种3D模型确定的更多细节可以在例如以下文章中找到:H.Hirschmüller,“Stereo Processing by Semiglobal Matching and MutualInformation [半整体匹配与互信息立体处理]”,电气电子工程师学会会刊模式分析和机器智能学报(IEEE Transactions on Pattern Analysis and Machine Intelligence),第30卷第2期,第328至第341页,2008年2月,doi:10.1109/TPAMI.2007.1166。
举例来说,眼镜架的3D模型可以由制造商提供。
存在用于确定镜架元数据的各种选项,其中各种选件也可以彼此组合。举例来说,可以使用不同的选项来确定镜架元数据的不同元数据。现在将说明这些选项。
在一些实施例中,手动确定镜架元数据。这种手动确定允许在没有大量计算支出的情况下确定镜架元数据并为用户提供对镜架元数据的完全控制。为此,可以提供用户界面,在所述用户界面的情况下基于模型在显示器上以图形方式表示眼镜架。然后,可以例如通过使用鼠标以及对应表示的鼠标指针点击或者通过在触敏屏幕上直接标记来手动选择眼镜架上的点和/或轮廓。在此,特别地,前述搁置点可以作为单个点被点击,并且搁置区域可以作为轮廓线或轮廓多项式被选择。而且,眼镜架的铰链上的旋转轴线可以手动标记为元数据。
在另一个实施例中,例如通过图像识别算法将搁置区域自动确定为例如每个镜腿的下侧上的轮廓线。在这种情况下,无需用户输入。
最后,在其他示例性实施例中提供镜架元数据的全自动确定。这是优选使用截至2017年3月8日的德国维基百科文章“Maschinelles Lernen”中所述的机器学习方法来实现的。在此,手动或部分手动创建的上述多个眼镜架的元数据可以作为训练数据用于这种机器学习。
在优选的示例性实施例中,特别是在本发明的第二方面的情况下但不仅限于本发明的这一方面,确定镜架元数据包括:确定、特别是自动确定镜架的3D模型中的突出点。在此,突出点是具有某些预定义特性的点,所述特性可以在所谓的3D特征描述符中定义。3D特征描述符表示Rn中的向量,这些向量描述3D模型中的突出点的特性,使得可以基于这个特性向量在类似的3D模型中检索这个点。可以在突出点的周围使用点集。举例来说,可以跨越以该点为中心的、具有预定半径(例如10 mm)的球体,并且可以检查位于这个球体内的点(即这个点云子集中的点)的特性。举例来说,可以在主分量分析的含义内实施特征值分析。在此,极值本征值k1和k2然后可以作为元素被包含在元数据中,例如是特性向量的形式。在此,特性向量应理解为是指元数据值的表示。此外或替代地,也可以确定点周围的表面的主曲率。主曲率应理解为是指如文章https://de.wikipedia.org/w/index.phptitle=Hauptkr%C3%BCmmung&oldid=172452500中所述的信息项。主曲率同样可以被包括在特性向量中。替代地,可以由所有点形成直方图和/或可以确定球体的法向量。为此,可以将球体细分为多个区域(多个体积),并可以为每个区域确定位于这个区域中的点(或法向量)的频率。替代地,可以确定相对频率。关于这个频率的信息项(例如是直方图的形式)同样可以在特性向量中被采用。
在2018年5月25日检索的http://pointclouds.org/documentation/tutorials/ fpfh_estimation.php处描述了通过所谓的快速点特征直方图(FPFH)描述符的这种方法的示例。
特别地,可以在机器学习的辅助下确定这种特性向量:举例来说,人类专家可以例如通过在其上点击来预先确定3D模型中的突出点。举例来说,这种区域可以是眼镜架的3D模型的镜架的铰链区域中的点,这些点可以在所有眼镜架中被唯一地确定;软件提取所点击的点的周围的球体内的点集,用户所指定的点集和点的类型(也被称为数字标签)分别作为训练数据被输入到机器学习方法中,例如神经网络。经过完全训练的网络随后能够确定给定点云中相应点的相应标签,因此能够识别突出点和/或能够对点进行分类。举例来说,不突出的点可以被分类为不相关的。
这种突出点表示比较少量的数据,并且可以使用已建立的算法来确定这些突出点。关于这种通过3D特征描述符确定突出点的更多详细信息在例如以下文章中被描述:Samuele Salti,Federico Tombari,Riccardo Spezialetti和Luigi Di Stefano,2015年,“Learning a Descriptor-Specific 3D Keypoint Detector [学习描述符特定3D关键点检测器]”,2015年IEEE计算机视觉国际会议(ICCV)会议记录(ICCV '15),IEEE计算机协会,美国,华盛顿特,2318-2326,DOI=http://dx.doi.org/10.1109/ICCV.2015.267。这种预定特性可以包含例如点附近的模型的曲率。3D特征描述符的示例是所谓的“快速点特征直方图”(FPFH),如以下文章中所述:R.B.Ruso,“Semantic 3D Object Maps for EverydayManipulation in Human Living Environments [人类生活环境中日常操纵的语义3D物体图]”,慕尼黑工业大学,2009年,第57ff页。
突出曲线也可以被相应地定义。突出曲线可以被定义为3D曲线。3D曲线是三维空间中的曲线的表示。3D曲线可以由3D点清单存储;替代地,在一些具有正交基(例如是勒让德多项式基)示例性实施例中,3D曲线也可以由多项式曲线表示。在其他示例性实施例中,曲线可以被表示为借助于https://de.wikipedia.org/w/index.phptitle=Legendre-Polynom&oldid=172427311以及https://en.wikipedia.org/w/index.phptitle=B-spline&oldid=840787047中所述的B样条基函数表示的样条曲线。
举例来说,可以借助于这种突出曲线来描述镜腿的搁置区域;在此,曲线中的点可以与耳朵处的搁置点相对应。在这种示例性实施例中,曲线是镜架的元数据的一部分、并且例如沿着镜腿的下侧延伸并且描述整个可能的搁置区域。
根据本发明的第二方面,因此确定的突出点然后被分类为相关点和不相关点。相关点应理解为是指用于表示元数据的点。特别地,相关点可以表示所需的元数据,而没有冗余或具有尽可能小的冗余。
不相关点应理解为不表示元数据或具有较小相关性的点,例如因为由不相关点所表示的元信息项同样由其他点表示,即存在信息项的冗余。
在手动方法中,用户可以确定相关点,而相关点的数量可以被预先确定为自动化方法中的目标;基于非学习的机器方法还可以为每个突出点确定这个点“显著性”的度量。举例来说,如果主曲率被用作表面的特性,则两个主曲率的乘积可以被用作度量。基于学习的机器方法可以模仿手动选择,其中相关点可以通过训练阶段预先确定。
因此,以下步骤可以被限制于相关点,所以减少了要处理的数据量。这可以特别是使用截至2017年3月8日的德国维基百科文章“ÜberwachtesLernen”中所述的监督学习方法来实现。在此,在确定突出点期间,所识别的点被显示在显示屏上,例如具有镜架的表示,然后可以手动为相应点分配点类。然后可以将这些点类别与相应点的3D特征描述符关联。
然后,这种关联可以作为每个镜架的数据记录、例如作为.XML文件被存储。点类指定由相应点指定的眼镜架的元件或指定相应点在眼镜架上的位置。点类的示例包括例如针对位于左眼镜铰链外侧和顶部的点的“左铰链外侧,顶部”、针对位于底部的对应点的“左铰链外侧,底部”、针对右铰链的对应类、针对鼻梁在前侧的中心的“梁中心,前部”、针对鼻梁在后侧的点的“梁中心,后部”等。在此,前侧是眼镜架的、当戴上所述眼镜架时远离戴着眼镜架的人的头部的侧面,后侧是眼镜架的、面向人的头部的侧面。
在辅助学习的情况下,存在多种可能的算法用于将以这种方式针对突出点所学习的点类转换为模型,并用于应用这个模型以便然后在学习阶段之后自动确定使用3D特征描述符所找到的点的相应点类。在这一方面,还请参见截至2017年3月8日的开源计算机视觉(Open Source Computer Vision)的“Machine Learning Overview [机器学习概述]”,Docs.opencv.org//3.1.0/dc/dd6/ml_intro.html。算法示例包括随机森林算法(参见Breiman,Leo,“Random forests [随机森林]”,机器学习,45.1 (2001):5-32.),例如按软件库“Open CV”中的类“cv::ml::RTrees”实现,所述软件库可以用于训练和分类;参见“http://docs.opencv.org/3.1.0/d0/d65/classcv_1_1ml_1_1RTrees.html”。这是随机森林方法的示例。另一种随机森林方法可以通过TreeBagger类被引入在Matlab中。
另外的可能算法是使用在前述的Open CV软件库中同样所提供的所谓“支持向量机(SVM)”。
然后可以通过这种算法自动识别突出点;由于在训练阶段之后不再需要用户输入来识别突出点,因此这简化了眼镜架的3D模型的处理。
优选地,在突出点的识别和分类之后实施坐标变换。这种坐标变换允许针对不同的镜架将镜架元数据和/或镜架的3D模型变换到共同的坐标系中。由于可以针对每个眼镜架采取相同的坐标系,因此这简化了随后处理。
在一些示例性实施例中,通过对被分类为相关的突出点的集合的主成分分析来实施这种坐标变换。例如,在维基百科文章https://de.wikipedia.org/wiki/ Hauptkomponentenanalyse和https://en.wikipedia.org/wiki/Principal_component_analysis中描述了主成分分析(PCA)。在空间中的n个点的点集X的情况下,例如可以形成具有n行和3列的矩阵X(针对相应n个点的x、y和z坐标)。然后,可以检查3 × 3矩阵Xt*X,并且主成分可以被确定为这个矩阵的最大特征向量。
主轴变换被理解为是指坐标变换到由主成分跨越的坐标系中。
坐标变换的另一种选项是通过基于突出点的坐标原点和坐标轴方向的固定分配进行基于规则的坐标变换。基于规则的坐标变换被理解为是指用于定义目标坐标系(即进行变换的坐标系)的基向量的突出点的线性组合。举例来说,前述“梁中心,前部”类的突出点可以用作坐标原点,并且预定点之间的差异向量或这种差异向量的线性组合可以用作坐标轴。因此,前述的“右铰链外侧,顶部”类的点与“左铰链外侧,顶部”类的点之间的差可以用作坐标轴。在此,如果突出点以固定的顺序被唯一地确定和/或是可用的,则可能是有利的。举例来说,在手动设定点(例如通过用户的选择来设定)的情况下可能是这种情况。
在这种以鼻梁的中心作为原点的坐标系中,眼镜架的对称平面于是穿过这个原点。为了下文中的说明,假设:基本上沿z方向定向眼镜架的眼镜镜腿,眼镜架铰链之间的连接线平行于x轴并且y方向垂直于该连接线。换句话说,与处于主注视方向上的头部的眼睛之间、特别是头部的眼睛的瞳孔中心之间的连接线相对应的水平方向被定义为当头部保持直立时的x方向,竖直方向被定义为y方向以及垂直于x和y方向的方向被定义为z方向。
在不知道处于主注视方向上的头部的眼睛的瞳孔中心的位置的示例性实施例中,例如也可以基于3D模型的眼睛位置来不同地定义头部的眼睛的连接线。
头部保持直立被理解为是指以如下方式保持头部,即眼睛的连接线位于平行于头部的冠状平面的平面中,并且竖直方向平行于冠状平面与矢状平面之间的相交线。头部的3D模型可以以如下方式被设置,即头部的3D模型处于直立位置。
在https://de.wikipedia.org/w/index.phptitle=Frontalebene&oldid=177246560和https://de.wikipedia.org/w/index.php title=Transversalebene&oldid= 177246519中定义了冠状平面和矢状平面。
在一些示例中,坐标系可以固定地连接至头部,使得例如当头部倾斜时,坐标系与头部之间在位置和取向方面的关系保持不变,即例如x方向仍根据头部的眼睛之间的连接线延伸。换句话说,头部可以以静止的方式设置在坐标系中。
在此,参考头部保持直立,用于定义x方向、y方向和z方向的坐标系。在此,z轴通常平行于主注视方向延伸。
于是,前述对称平面是y-z平面。然而,这个坐标系仅用作示例,轴线的其他布置也是可能的,如使用球面坐标而不是笛卡尔坐标一样。
于是,在一个示例性实施例中对眼镜架的预定部件进行定位。特别地,可以确定眼镜架的鼻梁和铰链的位置。这可以基于所分类的突出点来实现,如上所说明的,可以如上所述手动选择或者可以自动地确定这些突出点。举例来说,可以基于在铰链的外侧或内侧上所确定的突出点、特别是按照比如如上所述的“左铰链外侧,顶部”和“左铰链外侧,底部”等类的点来确定这副眼镜的铰链的位置。在一个示例性实施例中,铰链轴线点被计算为这些突出点的平均值。特别地,左铰链轴线点可以根据如下方式计算:
左铰链轴线点 = ¼*(左铰链外侧,顶部 + 左铰链外侧,底部 + 左铰链内侧,顶部+ 左铰链的内侧,底部),
其中,左铰链轴线点表示铰链轴线点在眼镜架左侧上的位置,并且左铰链的外侧,顶部、左铰链的外侧,底部、左铰链的内侧,顶部和左铰链的内面,底部表示对应点类的突出点;即,位于眼镜左铰链外侧左上方、左下方并且各自位于内侧和外侧(在眼镜架的内侧,即朝向鼻梁,以及在眼镜架的外侧,即背离鼻梁)的点。通过将左侧的点替换为右侧的点,可以将对应的公式用于右铰链轴线点。以此方式,可以基于从外侧可见的点来确定位于眼镜架内部的铰链轴线上的铰链轴线点。
如上所说明的,可以以与“梁中心,前部”和“梁中心,后部”类的点的交叉点相似的方式定义鼻梁。
在一些示例性实施例中,特别是根据本发明的第四方面但不仅限于本发明的这一方面,为了确定镜架元数据,镜架的3D模型被分割成多个部件,其中这些部件可以包括特别是用于眼镜镜腿的部件和描述除眼镜镜腿外的眼镜架的部件。分割3D模型被理解为是指将信息项分成子集,例如将3D点云细分为3D点云的子集。
这种分割允许为了确定镜架元数据而单独分析各个部件,由此减少了要处理的数据量。特别地,在此可以基于突出点和/或基于如上所说明的鼻梁和/或铰链的定位来实施该分割。
为此,可以在空间中定义剖面,所述剖面将3D模型的点(顶点)或体素分开。
在此,剖面可以由相应参考点p和垂直于该平面的法向量n定义。在此,参考点p表示平面的支撑,其与法向量n一起唯一地表示平面相对于坐标系原点的位置和取向。参考点可以用作向量。同样,坐标可以被表示为从坐标系原点到点坐标的向量。然后,针对3D模型的顶点或体素,其位置由坐标v定义(对应于该点的笛卡尔坐标表示),适用以下内容:<v, n> ≤ <p, n> 或 <v, n> > <p, n>。在此,<,>表示欧几里德纯量积。纯量积是指欧几里德纯量积,但是也可以使用不同定义的纯量积。在此,将法向量n归一化成为1的长度,即<n, n> = 1。
取决于适用两个关系中的哪一个,点v位于剖面的一侧或另一侧。这有助于根据本发明的第三方面简单地分割成部件,而不限于此。
为了分割眼镜架,在这个程序中相应的铰链轴线点(可以如上所述被确定)可以用作为剖面的参考点。然后,坐标系的z轴、即眼镜镜腿延伸的方向可以用作前述坐标变换中的剖面的法向量。然后,<v, n> ≤ <p, n> 成立的顶点或体素定义相应的眼镜镜腿。
以此方式,然后可以基于从眼镜架的3D模型中分割出的部件来计算另外的元数据。因此,可以基于从眼镜架的3D模型中分割出的眼镜镜腿来计算搁置信息项的前述搁置区域。使用分割的部件意味着在确定元数据时必须使用的数据比使用完整3D模型的情况少,因此可以加速计算。
为了确定搁置区域,根据本发明的第四方面,以下方法可以用于从眼镜架的3D模型中分割出的眼镜镜腿中的每一个:
初始,根据眼镜架的3D模型的相应分割的眼镜镜腿确定相应眼镜镜腿的起点a和终点b。在这种情况下,眼镜镜腿框架的起点和终点是指被设置作为耳朵搁置区域的区域的起点和终点。在前述坐标系中,所分割的眼镜镜腿的、在z成分中具有最小值的点可以是起点a并且在z成分中具有最大值的点可以是终点b。可以例如通过用户从3D模型中选择或者以基于规则的方式(例如通过在两个方向上都需要距搁置点固定距离、或者作为相对于镜腿端部的所需相对距离)来手动实现该确定。
接下来确定潜在耳朵搁置区域。限制这个潜在耳朵搁置区域的平面的Z成分可以被用作相对于眼镜镜腿沿z方向的长度的预定比率α和β,所以以下内容适用:
α < (vZ - az)/Iz < β
在此,α和β是预定值,这些预定值例如可以由制造商针对相应的眼镜架预先确定,或者可以被确定为来自许多眼镜架的经验值。α可以介于0.3和0.6之间,例如α = 0.47,β可以介于0.6和0.9之间,例如β = 0.76。
az是点a的z成分,lz是眼镜镜腿在z方向上的长度,对应于bz-az,vz是3D模型的顶点或体素的z成分。对于顶点或体素,前述关系适用的z成分vz,属于潜在耳朵搁置区域;即,以下内容适用于这些顶点或体素:
vz > α x Iz + az以及
vz < β x Iz + az
然后可以通过用递增滑动窗口进行计算来将搁置区域确定为搁置点集或搁置曲线。搁置点集是指形成搁置区域的点集或其子集。
搁置曲线是作为3D曲线的搁置点的表示。窗口是指考虑点的某个三维区域。为此,具有固定宽度(例如,z方向上的宽度在0.5 mm与3 mm之间,例如1 mm)和固定增量(例如,同样在0.5 mm与3 mm之间,例如大约1 mm)的窗口在潜在耳朵搁置区域上沿z方向滑动。初始,针对窗口的每个位置确定潜在搁置区域的位于窗口中的顶点或体素的集合。随后,针对这些顶点或体素中的每一个形成具有方向向量d的纯量积s,s = <v, d>,其中v同样指定顶点或体素的坐标。
通常,将这些纯量积s中的最大ŝ被唯一地分配给具有坐标v̂的指定顶点或体素。如果在一个窗口中存在多个最大纯量积,则预定的顶点或体素、例如具有首先被计算出的最大值的顶点或体素被视为这个窗口的顶点或体素v̂。针对所有窗口(例如,根据增加的z值排序)所找到的坐标v̂的集合产生点的排列,这些点将根据本发明的第五方面但不限于此的搁置区域表征为搁置曲线。在示例性实施例中,可以通过滤波器、例如通过高斯滤波器来使这个曲线滑,或者可以使曲线与这些点拟合;举例来说,可以通过在截至2017年3月9日的德国维基百科文章“Spline [样条]”中所述的B样条实施样条近似。
归一化向量被假定为方向向量d,即<d, d> = 1。分别针对眼镜左镜腿和眼镜右镜腿,可以选择方向向量是固定的。固定方向向量的示例是以上定义的坐标系中的向量(0,-1,0)。在这种情况下,搁置点将始终是眼镜镜腿的最低点。在向内指向的搁置曲线的情况下,镜腿的位置和取向变得更加精确,即,例如,
对于右镜腿,当σ = 30°时,d = (cos(σ), sin(σ), 0) 以及
对于左镜腿,当σ = 30°时,d= (– cos(σ), sin(σ), 0)
在一些示例性实施例中,头部元数据包含耳朵搁置点,例如通过手动选择模型的耳朵的表示上的点来选择耳朵搁置点。为了确定方向向量d,在这种情况下可以在头部的3D模型中的这个耳朵搁置点的周围选择窗口,例如具有z值的所有顶点或体素,该值与这个耳朵搁置点间隔不超过预定距离,例如不超过0.25 mm到1 mm、例如不超过0.5 mm。然后,确定窗口的所有这些顶点的平均值,并且耳朵搁置点减去平均值的归一化差向量被定义为方向向量d。
以此方式,可以以相对简单的方式自动确定作为搁置区域的搁置曲线,然后这可以被用于将眼镜架定位在头部上的方法的进一步步骤中,如仍将在下文更详细地说明的。
为了加速配适,镜架元数据而且可以包括眼镜镜腿上的预期耳朵搁置点,可以手动选择这些预期耳朵搁置点。这些预期耳朵搁置点然后可以用作用于虚拟定位这副眼镜的起点;即,这副眼镜被初始放置在耳朵上的这些点处。这可以加速虚拟定位。
而且,在包括鼻托的眼镜架的情况下,元数据可以包括表示这种鼻托的位置的点。这些点也可以被手动选择或通过机器学习确定。
举例来说,用户点击的点可以被假定为鼻托的中心。可以在所述点的周围绘制具有预定半径(例如,具有6 mm的半径)的球体。然后,如上所述,可以通过主成分分析来分析位于这个球体内的点。
为了分析这种点云,特别是可以在分析之前从点云的坐标中减去球心,以便获得以原点为中心的点集。这可以简化随后的分析。
而且,镜架元数据还可以包括关于镜架、特别是眼镜镜腿的柔韧性的弯曲信息项。使用这种信息项,然后可以在虚拟定位期间通过弯曲将眼镜虚拟配适在头部上,然后将这些调整应用于对应的真实眼镜架。这种信息项的示例包括例如关于是否可以绕铰链轴线旋转、以及如果可以的话绕铰链轴线旋转多远的信息项(例如,在具有装有弹簧的铰链的塑料镜架的情况下)。眼镜铰链具有挡件,例如在180度的最大开度处。在一些铰链中,这个挡件可以通过弹簧来实现,所以开度可能超过180度。在没有弹簧的实心挡件的情况下,当弯曲打开时镜腿变形。因此,例如在信息项中编码了一种类型的铰链,即固定的或装有弹簧的。此外,编码了镜腿的柔韧性;在此,在装有弹簧的铰链的情况下使用镜腿的刚性模型。另外的示例涉及关于眼镜镜腿上可能的倾斜度调节的信息项;即,眼镜镜腿相对于眼镜架的其余部分绕x轴旋转。在许多金属镜架中,这可以通过在铰链处向上或向下弯曲镜腿来实现。
这个信息项还可以指定不可以调节倾斜度。举例来说,这个信息项可以用作是/否信息项(可以或不可以调节倾斜度),或者还可以用作可以改变倾斜度的角度范围。
而且,例如通过弯曲函数可以定义眼镜镜腿本身的弯曲打开。举例来说,在z轴上的多元多项式以及在x和xy方向上的偏移可以描述这种弯曲函数。而且,还可以通过例如多元多项式或多元样条函数来对眼镜架的镜架边缘的由弯曲打开镜腿引起的变形进行建模(例如,B样条基的张量积;参见De Boor,Carl等人,“A practical guide to splines [样条的实用指南]”,第27卷,纽约:Springer-Verlag,1978年,第XVII章)。
这种弯曲是可能的,特别是在薄眼镜镜腿或非常有弹性的眼镜镜腿的情况下。
前述信息项可以被提供用于在不同方向上、例如在根据前述坐标系的x方向和y方向上弯曲和配适眼镜镜腿。
接下来讨论根据各种实施例的头部元数据的变型以及用于确定头部元数据的选项的方法。
优选地,特别是在本发明的第一方面中但不仅限于本发明的这一方面,头部元数据包括眼睛的位置,眼睛的位置然后可以用于眼镜架的水平对准。举例来说,这些元数据指定在主注视方向上(请参见DIN EN ISO 13666:2013-10, 5.33)眼睛的(例如瞳孔的、特别是瞳孔中心的)位置作为点坐标。而且,头部元数据可以包括如上所述的耳朵放置点,这些耳朵放置点指定了眼镜架在耳朵上的搁置点。指定眼镜架在头部上的搁置点的其他放置点、例如在头部的鼻子上的放置点也是可能的。由于这些元数据,可以将眼镜镜腿简单地定位在耳朵上。
而且,头部元数据可以包括鼻梁的放置点和/或描述,例如是3D曲线的形式,其描述了鼻梁的区域,又称为鼻梁区域。这些元数据可以用于将眼镜架近似定位在头部上。在此,放置点是头部的3D模型中的鼻子处或鼻子附近的点,该点可以特别是通过近似定位与镜架元数据的前述搁置点相对应。
如针对以上镜架元数据已经所讨论的,可以手动地、例如通过基于3D模型选择头部表示中的对应点或曲线来确定这种头部元数据。然而,也可以自动地、例如通过如上所讨论的机器学习来确定全部或部分头部元数据。
在其他实施例中,为了自动确定头部元数据,除了头部的3D模型之外还使用头部的二维图像数据。如果通过相机从多个校准位置记录头部来创建3D模型,则在任何情况下都可以获得这种2D图像。校准位置意味着已知图像记录的位置,所以然后可以基于所记录的图像和位置来确定3D模型。替代地,还可以通过图像合成(又被称为渲染)从由纹理的3D模型生成2D图像。举例来说,这一方面的信息可以在截至2017年3月10日的德语维基百科的“Bildsynthese”文章中找到。
然后,可以通过图像识别方法(又被称为物体检测器)在这种2D图像中识别人的面部特征,比如眼睑、眉毛、鼻梁、眼睛等。举例来说,在截至2017年3月10日的“http://blog.dlib.net/2014/08/real-time-face-pose-estimation.html”软件库“dlib”中提供了为此目的的合适方法,或者在以下文章中描述了该方法:V.Kazemi等人,“OneMillisecond Face Alignment with an Ensemble of Regression Trees [一毫秒面部与回归树集合对齐]”;X.Zhu等人,“Face detection, pose estimation and landmarklocalization in the wild [野外人脸检测、姿态估计和地标定位]”,CVPR,2012年,其也被呈现在第一作者截至2017年3月10日的主页“https://www.ics.uci.edu/~xzhu/face/”上。
如此识别的二维图像中的这些点或区域随后被投影到头部的3D模型(例如3D网)上,并因此可用作3D点形式的头部元数据。在优选实施例中,逆投影矩阵用于投影目的。在此,投影矩阵由从(例如3D网的)模型的坐标系到所用相机的相机坐标系和相机矩阵的刚体变换组成。如上所述,如果使用具有用于图像记录的校准位置的相机装置来记录3D模型和2D图像,则在根据所记录的图像确定3D模型的范围内给出或确定这些矩阵(参见RichardHartley和Andrew Zisserman,2000年,“Multiple View Geometry in Computer Vision[计算机视觉中的多视图几何]”,剑桥大学出版社(Cambridge University Press),美国纽约,)
以此方式,由于从3D模型的确定中已经知道所需的矩阵,因此可以快速实现投影。在替代实施例中,为了可以将2D图像呈现在显示器上,还可以手动标记2D图像中的面部特征。混合形式也是可能的,其中如上所说明的自动确定面部特征,然后可以手动校正。
前述鼻梁区域可以作为3D曲线被提供。为此,如以上已经描述的,可以使用与用于确定眼镜镜腿的搁置区域的方法相对应的方法。特别地,可以使用上述滑动窗口方法,其中头部的方向(其例如可以是比如3D模型的z轴等坐标轴)可以用作前述公式中的方向向量d,头部的方向沿头部方向朝后部定向。在确定头部时也可以确定这个方向。在这种情况下,方向向量d对应于欧洲专利申请17153559.4中所述的头部旋转的方向或观看方向;可以通过在欧洲专利申请17153556.0中公开的定心器具来确定所述方向;在此,窗口的位移方向是头部的3D模型的y轴,即竖直轴线;使用头部的整个模型,或者通过瞳孔位置的平均值的Y坐标和鼻尖的Y坐标确定一个区段–确定为v_max,其中纯量积s = ‹v, d›(如上)变为最大。
在搁置区域的情况下,在此也可以例如通过高斯滤波器和/或样条近似法来执行滤波。
在此,y轴上的间隔被用作鼻梁的曲线的参数化。因此,获得函数,所述函数为每个y值在鼻梁上提供相关联的3D点。
特别是根据本发明的第五方面而不限于本发明的所述方面,然后可以基于用于鼻梁区域的这个3D曲线来确定前述放置点。为此,在一个实施例中,3D模型的眼睛位置的连接线所在的且观看方向所在的平面与3D曲线(又被称为鼻梁曲线)相交,所述曲线用作用于确定搁置点的起点s。然后,在这个点s的周围,例如在预定区域内(预定距离,例如± 3 mm、±2 mm等),确定鼻梁曲线在观看方向上具有最小值的点,即位于最后面的点(在3D模型的枕骨部方向上)。在y方向上的固定偏移量仍然可以被添加到这个点的y值上,以便通过前述的曲线参数化确定y值和放置点。这允许确定放置点,放置点能够与镜架元数据的搁置点一起用于眼镜架的初始定位,所述初始定位相对接近最终位置,从而可能加速随后的优化。
然后,头部元数据可以与头部的3D模型一起被存储,并因此可以用于不同的镜架。这节省了重新计算不同镜架的头部元数据。
基于元数据的虚拟定位可以优选包括基于元数据的近似定位,以便为随后的进一步配适提供起点。在此,特别地,可以使鼻梁上的前述放置点与眼镜架的搁置点相对应。在此,可以使镜架的z轴(即,眼镜镜腿的方向)与头部的3D模型的对应轴线一致,该对应轴线表示观看位置。
在近似定位的这一部分之后,在一个实施例中可以以如下方式绕x轴旋转镜架(即,可以改变镜架的配戴前倾角),即眼镜镜腿的搁置区域搁置在耳朵搁置点上。初始,这是针对每个镜腿单独实施的。为此,在一个实施例中计算搁置区域与圆柱表面的交点,其中圆柱表面的圆柱轴线对应于镜架的旋转轴线(前述坐标系中的x轴)。在此,旋转轴线延伸穿过搁置点。圆柱的半径是相应耳朵搁置点距旋转轴线的距离。圆柱上的交叉点直接产生镜架向前倾斜或向后倾斜的角度。在此,可以通过迭代线圆柱相交来计算圆柱相交。在此,搁置区域(例如,以上确定的搁置曲线)初始可以用于粗线段表示中(即具有较低的分辨率),以加速计算。举例来说,在最简单的情况下,前述起点a和终点b之间的连接线可以用作粗线段表示。
这种提供迭代线圆柱相交的确定可以如下进行:令S表示这个连接线与圆柱的相交点。然后,在迭代细化期间使用S的z坐标zS,以便确定相关联的真实曲线点。尽管真实曲线点不再位于圆柱表面上,但它仍可以用作确定角度的近似值。此外,现在可以执行另外的迭代步骤。为此,使用曲线上的、在zS周围具有ε间距的点k(zS–ε)和k(zS +ε);在下一个迭代中,这些替代a和b用作新的起点和终点。
在这种定位之后,将镜架弯曲,为此目的,使用镜架元数据的前述弯曲信息项,这些弯曲信息项描述镜架的柔韧性。
为此,可以再次应用前述圆柱相交(上述)方法。如上所述,如果弯曲信息项用作多元弯曲函数,则可以执行优化,其中耳朵搁置点距镜腿的搁置区域的距离被用作代价函数。在此,通常,代价函数是根据要优化的一个或多个参数而变化并且为了优化目的达到最大值或最小值的函数。在此,选择弯曲函数中与弯曲强度有关的参数作为要优化的参数。在用于在x方向上弯曲打开的简单多项式弯曲函数的情况下,数学反函数同样可以近似多项式。为此,弯曲函数Dz(x)在位置z处以加法形式被建模为多项式,用于沿x方向上的弯曲;同样,其反函数Dz -1(d)也可以与多项式近似,例如通过在各个离散点[x1,x2,..,xn]对该函数进行采样并对值为[Dz -1(Dz(x1)), Dz -1(Dz(z2)),…, Dz -1(Dz(xn))]的[Dz(x1), Dz(x2),…,Dz(xn)]执行新的多项式近似。在这种情况下,可以直接通过针对z = 搁置位置以及x = 耳朵放置与搁置点之间的差应用反函数来确定搁置曲线到耳朵放置点x值的弯曲打开。
弯曲镜架还允许通过在z方向上旋转(即,绕x轴弯曲镜腿)使倾斜度配适于镜腿。在此,也可以再次使用前述的圆柱相交方法,其中耳朵放置点用于构造圆柱,并且该圆柱与搁置曲线相交。
在根据本发明的第一方面的实施例中而不仅限于本发明的这一方面,镜架的精细定位至少基本上被限制在x-y平面。在此,x-y平面应理解为是指平行于x方向和y方向延伸的平面,因此所述平面被两个向量跨越,其中一个向量在x方向上延伸,一个向量在y方向上延伸,因此所述平面垂直于z方向。然后,z方向上的向量是x-y平面的法向量。在x-y平面中的位移也可以表示为x-y方向上的位移。特别地,x-y平面可以包括在近似定位之后的眼镜架的锚固点。
在此,将精细定位至少基本上限制在x-y平面上是指在z方向上的位置变化至少不超过在x-y平面上的位置变化的10%或不大于5%;特别地,所述在z方向上的位置变化也可以是0。在此,在x-y方向上移动镜架一直到在眼镜架的3D模型与头部的3D模型之间不存在碰撞为止。
眼镜架的位置变化可以通过移位眼镜架来实现。
移位眼镜架应理解为是指眼镜架的平移运动,其可以由位移向量来表征。位移向量可以描述在通过近似定位获得的眼镜架的初始位置和取向与在精细定位步骤结束时眼镜架的位置之间的位移。
位移向量的长度可以被称为位移的距离。在此,在一些实施例中可以在x-y平面上将眼镜架移位第一距离,然后可以沿着z方向移位第二距离。如上所述,该位移可以被至少基本上限制在x-y平面。举例来说,在一些示例性实施例中,这可以是指第二距离不超过第一距离的10%。在一些示例性实施例中,第二距离不超过第一距离的5%。在一些示例性实施例中,第二距离是第一距离的0%。
头部的3D模型的表面可以被略微降低以用于这种精细定位(例如,在0.3 mm与1mm之间),以便考虑到眼镜架的搁置区域处的皮肤变形。这可以有助于更逼真的配适。在这种情况下,镜架的3D模型和头部的3D模型的非碰撞方式不具有共同的空间区域。在准确定位之后,可以再次实施前述弯曲过程,以便进一步改善配适。
在优选实施方式中,在这个步骤之后可以通过检查眼镜架的下边缘是否与相应模型中的头部的脸颊区域碰撞来确定眼镜架对相应头部在理论上的适合性。
在具有鼻托的镜架的情况下(鼻托通常存在于金属镜架中),虚拟定位可以进一步包括鼻托的定位。在一个示例性实施例中,这种配适被建模为鼻托围绕旋转中心的旋转。为此,可以将鼻托与眼镜架的其余部分分割开;这可以如上所述被实施。这种配适可以在前述弯曲之后被呈现。在鼻托发生任何变化之后,都可以重新实施精细定位。
鼻托的主轴线可以被选择作为旋转轴线;举例来说,这些可以使用前述主成分分析来确定。对于最大特征值,可以将旋转限制为从主成分分析中得出的、围绕两个主轴线的两个角度。鼻托接触鼻子的区域的倒数可以被用作代价函数用于优化鼻托的位置,以便实现尽可能宽的搁置。这也允许鼻托位置的虚拟配适,然后可以将鼻托转移到真实的镜架上。作为这的结果,不再需要或仅在很小的程度上仍需要将真实镜架上的鼻托配适到真实头部上。
在一些实施例中,可以在倾斜度的这种变化期间预先确定某个预先可调的配戴前倾角(例如9°)。然后,即使随后使这副眼镜移位,也可以通过改变倾斜度来保持这个固定的配戴前倾角,如将在下文更详细说明的。
可以通过传统图像合成方法来实现显示其上定位有眼镜架的头部;参见前述有关图像合成的德国维基百科文章。为此,特别地,相机图像可以被用作纹理,所述相机图像也已经用于创建3D模型,因为这会产生自然的图像印象。可以设置或预先确定用于图像合成的照明,然后例如可以通过所谓的光线追踪来实现图像合成;参见截至2017年3月10日的维基百科文章“Ray Tracing [光线追踪]”。
为此,当记录头部的图像时可以使用对应于环境照明的虚拟光源。优选地,当记录图像时确定这种环境照明。为了确定这种环境照明,特别地,全景相机(即,具有大视角的全景相机)可以在被用在用于记录创建头部3D模型的图像的相机系统中,为了识别光源,所述全景相机记录周围环境。在其他实施例中,这种用于记录创建3D模型的图像的系统可以在已知位置具有照明装置,该已知位置然后也用作用于图像合成的照明的位置。在这种图像合成期间也可以考虑镜架中的眼镜镜片,以便为观看者提供尽可能自然的图像印象。在这种情况下,特别地,可以考虑当使用镜像层时产生的反射。在优选实施例中,模型可用于不同类型的减反射涂层,并且模型也可用于不同类型的玻璃以便为用户提供关于不同层的印象。在图像合成的范围内,减反射层的作用特别是在侧视图中以反射的形式出现。
另外,该方法可以包括基于用户输入来改变眼镜架的位置。因此,用户可以根据他们的意愿调整一副眼镜的座位或者验光师仍然可以进行修改。为此,可以为用户提供合适的用户界面;举例来说,可以通过鼠标移动或通过触摸触敏屏(触摸板)来实现导航。
该方法可以与其他用于配适一副眼镜的方法组合,例如定心方法,如例如欧洲专利申请号17153560.2中所述。在此,特别地,可以在如上所述配适镜架之后进行根据其中所述的方法的虚拟定心;这样可以改善定心准确度。
如果在这种交互期间,用户选择了眼镜架在鼻子上的、偏离元数据中的放置点的放置点,则元数据中的放置点可以被更改为用户选择的放置点。然后,可以在虚拟配适另外的镜架期间使用用户优选的这种更改后的放置点。
在交互期间,用户可以旋转模型并从侧面观察模型。在此过程中,可以限制旋转使得例如没有可用纹理的区域(比如用户的枕骨部)是不观察不到的。为此,例如,在沿枕骨部方向移动的情况下,虚拟观察位置可以接近头部的3D模型,和/或在沿枕骨部方向旋转期间,用户相对于用户输入(鼠标指针、触摸板等)的灵敏度可能降低。而且,用户还可以围绕x-y轴旋转镜架,以便考虑面部的不对称性。
可以通过用于虚拟配适一副眼镜的装置来实施前述方法,所述装置包括处理器和显示器,其中具有用于实施该方法的程序代码的相应计算机程序在处理器上运行。该计算机程序可以被存储在装置的存储器上,或者还可以经由云提供。在此,应当注意的是计算装置也可以通过具有各种单独部件的分布式系统来实现。举例来说,可以在比较强大的计算机(例如还可以包括比如图形处理器等协处理器的外部服务器)上实施计算元数据或根据所记录的图像数据计算头部的模型。通过使用元数据,这副眼镜在镜架上的定位和随后的表示的计算量更小,所以这也可以在不太强大的单元(比如例如平板电脑或智能手机等移动终端)上在相应的应用程序中或通过因特网的浏览器执行。
附图说明
下面基于优选的实施例并参照附图详细说明本发明。在附图中:
图1A示出了根据一个示例性实施例的用于一副眼镜的虚拟配适的装置,
图1B示出了图1A的相机装置的实现方式的示例,
图2示出了根据一个示例性实施例的方法的流程图,
图3A至图3C示出了用于阐明头部3D模型的视图,
图4示出了用于阐明眼镜架的3D模型的图示,
图5示出了根据一个示例性实施例的用于确定镜架元数据的方法的流程图;
图6A和图6B示出了用于阐明手动确定元数据的图示,
图7A和图7B示出了眼镜架的图示,
图8示出了用于确定搁置曲线的方法的流程图,
图9示出了用于配适一副眼镜的方法的流程图,
图10A和图10B示出了用于阐明图9的方法的步骤的图示,以及
图11示出了用于阐明眼镜架的旋转的图示。
具体实施方式
图1A示出了根据一个示例性实施例的用于一副眼镜的虚拟配适的设备的示例性实施例。图1A的设备包括计算装置11、处理器12和存储器13。存储器13用于存储数据,并且在图1A的示例性实施例中,该存储器包括随机存取存储器(RAM)、只读存储器(ROM)和一个或多个大容量存储介质(硬盘、固态硬盘、光驱等)。程序被保存在存储器13中,当在处理器12上被执行时,所述程序实施如上所述的一副眼镜的虚拟配适。
图1A的设备进一步包括显示器16,当在处理器12上执行计算机程序时,显示器将人的头部和眼镜架一起显示。例如,可以通过一个或多个输入器具17(例如,键盘和鼠标)来实现用户输入。此外或替代地,显示器16可以是触敏屏幕(触摸屏)以便实现输入。
图1A的设备另外包括到网络18的接口14,通过该接口可以接收数据。特别地,这允许接收具有纹理的眼镜架3D模型。在一些示例性实施例中,数据还经由接口14被传输到另外的计算装置,以便在所述另外的计算装置上实施计算,比如所讨论的元数据的计算。
为了创建人的头部的3D模型(这副眼镜被配适到该模型上),图1A的设备可选地包括相机装置15,通过该相机装置可以从不同的方向记录人的多个图像;如所述的,可以从中确定3D模型。
图1B示出了图1A的相机装置15的实施例。在图1B的示例性实施例中,相机的半圆形布置110被紧固到立柱19上。然后,人可以以如下方式定位自己,即如图1B所示,人的头部111被定位在半圆形布置110中,并且可以从不同的方向被记录。由此,如上面已经描述的,可以创建头部111的3D模型,其中模型的纹理也从图像记录中产生。而且,图1B的相机装置包括用于能够在图像记录期间确定照明的全景相机112;如所描述的,然后这可以用于图像合成。
图2示出了根据一个示例性实施例的方法。在图2的步骤20中,例如基于如上所描述的相机记录、特别是使用图1A的相机装置15的记录来提供用户头部的3D模型。在步骤21中,例如由制造商提供要配适的眼镜架的镜架3D模型。
如以上已经所描述的,在步骤22中基于头部3D模型来提供头部元数据,并且同样如以上已经所描述的,在步骤23中基于镜架3D模型来提供镜架元数据。也可以按不同的顺序实施步骤20至23。因此,可以互换步骤22和步骤21。可以通过新计算元数据或通过从存储器读取先前所计算的元数据来实现步骤22和23中的元数据的提供。
在此,可以如上所讨论的计算和提供元数据。
然后,在步骤24中以虚拟方式定位眼镜架,即,使用头部元数据和镜架元数据将其配适到头部。为此,使用已经讨论的方法。因此,虚拟定位包括基于头部元数据和镜架元数据的近似定位以及基于头部和眼镜架的3D模型的精细定位。
然后,在步骤25中在显示器上(在图1A的设备的情况下在显示器16上)呈现戴着眼镜架的头部。然后,这允许用户评估眼镜架在头部上的外观。
然后,在必要时,如所述的可以在步骤26中在头部上移位眼镜架的位置,例如可以在鼻子上移位。这可以由用户或者由验光师来实施。
可选地,然后可以使用描述了这副眼镜与头部的配适的配适数据,用于调整一副真实的眼镜。举例来说,真实眼镜架的镜腿可以像在模型的虚拟配适期间一样被弯曲。
可以针对多个眼镜架重复图2的方法,以便向用户提供不同眼镜架的外观印象。然后,用户可以基于这些呈现来选择眼镜架。
现在参考图3至图10更详细地说明图2中的方法的各个步骤。
图3A和图3C示出了用于说明头部的3D模型的图示。31a表示可用的坐标系的示例,其中坐标系被固定连接到头部(如上所说明的),即,例如在头部旋转的情况下,该坐标系不改变其相对于头部的位置和取向。在此,图3A图示了三角形网形式的3D模型30,该三角形网具有由边缘连接的多个顶点。图3B示出了三角形网和纹理的组合31。图3C示出了表示32,其可以基于模型在屏幕上被实现,其中只有纹理是可见的,而为了阐明目的在图3A和图3B中明确呈现的各个顶点是不可见的。图4示出了基于模型的眼镜架的表示以及坐标系41。图4的眼镜架40具有眼镜右镜腿42A、眼镜左镜腿42B、右铰链43A、左铰链43B、右镜架镜圈44A、左镜架镜圈44B以及鼻梁45。
图5示出了用于确定镜架元数据的方法的流程图,即用于实现图2中的步骤23的示例。在步骤50中,通过3D特征描述符来确定镜架的3D模型中的突出点。在步骤51中对这些突出点进行分类和过滤。作为通过3D特征描述符进行确定的替代方案,也可以如图6A和6B所阐明的手动标记点。为此,已经参考图4所描述的眼镜架40被呈现在显示器上,并且标记了相关点。为此,例如图6A和图6B示出了耳朵搁置点61、铰链点62、鼻托63的位置和鼻梁的中心点64,鼻梁的中心点可以用作搁置点。应当注意的是,搁置点不需要直接位于眼镜上,而是也可以与实际镜架间隔开,特别是在鼻托的情况下。
在图5的步骤52中通过主成分分析(PCA),将坐标变换为在步骤51中所分类的突出点的主轴线的坐标系,并在步骤53中借助于所分类的突出点对鼻梁和铰链进行定位。为此,上文同样已经描述了技术。
然后,如以上已经描述的,在步骤54中确定鼻梁上的搁置点作为用于近似定位的搁置点。在步骤55中将眼镜架的3D模型分割为多个部件(眼镜左镜腿、眼镜右镜腿和其余的镜架),并在步骤56中确定处于搁置曲线形式的、镜腿下侧处的搁置区域,如以上已经描述的。
在图7A中针对眼镜架70呈现了在其上确定搁置曲线的镜腿下侧,以及在图7B中针对眼镜镜腿71和72以对应的放大视图作为单点表示呈现了该镜腿下侧。通过使用搁置区域,无需借助如此大量的点实施计算;代替地,可以使用搁置曲线。
图8示出了用于确定搁置曲线的方法的流程图,即图5中的步骤56的更详细的实现方式。在步骤80中描述了相应镜腿部分(眼镜左镜腿或眼镜右镜腿)的起点和终点。在此,针对眼镜左镜腿和眼镜右镜腿单独实施图8的方法。通过上述“滑动窗口”技术,在步骤81中确定潜在耳朵搁置区域,并在步骤82中确定搁置曲线。在此,如以上已经更详细描述的实施步骤80至82。
图9示出了用于眼镜架在头上的虚拟配适和定位的方法的流程图,其中使用了以上说明的模型和元数据。图9表示图2中的步骤24至26的实现方式示例。
在图9的步骤90中进行近似定位,其中使眼镜架的元数据的搁置点与头部的元数据的放置点对应。然后,在步骤91中将镜架弯曲打开,其中在此使用以上已经说明的圆柱相交方法。在可以改变倾斜度的镜架的情况下,即可以通过绕x轴(使用图4的坐标系41)旋转镜腿来改变倾斜度。在眼镜元数据指示这种旋转是不可能的眼镜架的情况下,可以跳过步骤92。
然后,在步骤93中实施镜架在垂直于z方向的x-y平面中的精细定位,其中在此使用以上已经描述的用于精细定位的技术。然后,在步骤94中,对应于步骤90至93中的定位进行镜架和头部的图像合成,其中如上所说明的,可以考虑光源。然后,在步骤95中用户使用一个或多个输入器具(例如,图1A中的输入器具17)与所表示的模型进行交互,即显示镜架和头部。作为这的结果,例如可以按步骤96中所指示的实施导航,即可以旋转、放大或缩小所显示的模型。然后,基于这些输入再次实施步骤94;即,根据导航重新显示图像。还可以存在用于旋转镜架的输入(又被称为手势),以便补偿如上所述的面部的不对称性。在这种情况下,从步骤92重新计算定位。最后,可以沿着鼻梁上下移动这副眼镜。这对应于初始近似定位的修改,并且因此在这种情况下从步骤90再次实施该方法,其中鼻梁上的新设定的位置用作步骤90中的近似定位。
图10A和图10B示出了头部100以及眼镜架102的表示,用于阐明图9的方法步骤。图10A阐明了根据箭头103可以沿着头部100的鼻梁101向上和向下移位眼镜架102的方式。这是根据步骤96在鼻梁上移动的示例。图10B阐明了眼镜架102的镜腿根据箭头104的弯曲打开,如在图9的步骤91中实施的。
图11示出了用于通过如以上已经描述的圆柱相交来说明镜架围绕x轴的旋转的图示。图11示出了头部110的3D模型和眼镜架111的3D模型,在每种情况下均为3D网。在近似定位期间,基于搁置点116来初始定位镜架。轴线115在x方向上延伸穿过搁置点116。圆112、113所指示的圆柱具有到头部110的3D模型的耳朵搁置点的半径。圆柱与眼镜架的搁置区域的交叉点,由眼镜架111的的3D模型表示,圆柱产生眼镜架的眼镜镜腿的方向,并因此产生应围绕轴线115旋转眼镜架的角度。在目前的情况下,从眼镜镜腿沿线119A、119B的方向延伸的位置实施旋转,使得眼镜镜腿现在沿线1110A、1110B的方向延伸。
因此,使用所描述的方法和设备,可以将眼镜架虚拟准确配适到头部,然后可选地根据图2中的步骤27还可以用于配适真实的眼镜架。
以下指定至少一些可能的示例性实施例:
第1条. 一种用于一副眼镜的虚拟配适的计算机实现的方法,该方法包括:
基于头部的3D模型(30,31)和眼镜架的3D模型(40)对该眼镜架进行精细虚拟定位,
其特征在于,
在该精细虚拟定位之前,基于该头部的3D模型(30,31)的头部元数据和该眼镜架的3D模型的镜架元数据,将该眼镜架近似虚拟定位在该头部上。
第2条. 根据第1条所述的方法,其特征在于,该镜架元数据包括第一搁置信息项,这些第一搁置信息项定义了该眼镜架搁置在该头部上的、该眼镜架上的一个或多个位置,和/或该头部元数据包括第二搁置信息项,这些第二搁置信息项定义了该眼镜架搁置在该头部上的、该头部上的一个或多个位置。
第3条. 根据第2条所述的方法,其特征在于,这些第一搁置信息项包括与该眼镜架的鼻梁相关联的搁置点,并且其中这些第二信息项包括与该头部的3D模型的鼻梁相关联的放置点,以及该近似虚拟定位包括将该镜架元数据的搁置点与该头部元数据的放置点相对应的定位。
第4条. 根据第3条所述的方法,其特征在于,计算表征头部的鼻梁的信息项,并基于表征该鼻梁的这些信息项确定该放置点。
第5条. 根据第1条至第4条中任一条所述的方法,其特征在于,如果水平方向被定义为与在保持头部直立时头部的眼睛的连接线相对应、如果竖直方向被定义为y方向以及如果垂直于x和y方向的方向被定义为z方向,则在精细虚拟定位期间,该眼镜架在该z方向上的位移不超过该眼镜架在该x-y方向上的位移的10%。
第6条. 根据条款第1条至第5条中任一条所述的方法,其特征在于,该方法包括来自以下组的至少一个过程
- 自动确定该镜架元数据和/或该头部元数据的至少一部分
- 手动确定该镜架元数据和/或该头部元数据的至少一部分。
第7条. 根据第6条所述的方法,其特征在于,该自动确定包括机器学习。
第8条. 根据第1条至第7条中任一条所述的方法,其特征在于,用于提供该镜架元数据的方法包括识别该眼镜架的3D模型中的突出点和/或对该眼镜架的3D模型中的突出点进行分类。
第9条. 根据第8条所述的方法,其特征在于,该方法进一步包括基于所识别的突出点将坐标变换应用于以下组中的至少一个
- 该眼镜架的3D模型
- 所识别的突出点
- 该镜架元数据。
第10条. 根据第1条至第9条任一条所述的方法,其特征在于,提供该镜架元数据将该眼镜架的3D模型分割为该眼镜架的多个部件,其中这些部件优选包括以下组中的至少一个部件
- 镜腿部分
- 该眼镜架除了这些镜腿部分外的其余部分
和/或
其中该头部元数据包括该头部的耳朵的搁置区域,这些区域是基于这些分割的镜腿部分计算的。
第11条. 根据第1条至第10条中任一条所述的方法,其特征在于该镜架元数据包括关于该眼镜架的柔韧性的弯曲信息项,并且该虚拟定位包括基于关于该柔韧性的这些信息项使该眼镜架弯曲。
第12条. 根据第1条至第11条中任一条所述的方法,其特征在于,该方法包括在该显示之后改变该眼镜架在鼻子上的位置,其中将该眼镜架在鼻子上的改变后的位置被存储为盖头部元数据的新放置点。
第13条. 根据第1条至第12条中任一条所述的方法,其特征在于,该方法进一步包括基于图像记录来确定该头部的3D模型以及当记录这些图像时确定环境照明,并且显示该头部和定位在其上的该镜架包括具有基于所捕获的环境照明的虚拟照明的图像合成。
第14条. 一种计算机程序,该计算机程序包括程序代码,当在处理器上被执行时,该程序代码实施根据第1条至第13条中任一条所述的方法。
第15条. 一种用于一副眼镜的虚拟配适的设备,该设备包括:
处理器,以及
显示器,
其特征在于,
在处理器上执行根据条款14所述的计算机程序。
Claims (15)
1.一种用于一副眼镜的虚拟配适的计算机实现的方法,该方法包括:
基于头部的3D模型(30,31)的头部元数据和眼镜架的3D模型的镜架元数据,将该眼镜架虚拟定位在该头部上,
其中该镜架元数据包括第一搁置信息项,这些第一搁置信息项定义了该眼镜架搁置在该头部上的、该眼镜架上的一个或多个位置,并且该头部元数据包括第二搁置信息项,这些第二搁置信息项定义了该眼镜架搁置在该头部上的、该头部上的一个或多个位置,并且其中
这些第二搁置信息项包括与该头部的3D模型的鼻梁相关联的放置点,
其特征在于,
该鼻梁的鼻梁区域作为3D曲线被提供,其中基于该3D曲线确定该放置点。
2.如权利要求1所述的方法,
其中这些第一搁置信息项包括与该眼镜架的鼻梁相关联的搁置点。
3.如权利要求2所述的方法,
其中该虚拟定位包括精细虚拟定位以及在该精细虚拟定位之前的近似虚拟定位,
其中该精细虚拟定位基于该头部的3D模型和该眼镜架的3D模型,
并且其中该近似虚拟定位包括使该镜架元数据的搁置点与该头部元数据的放置点相对应的定位。
4.如权利要求3所述的方法,其中基于该3D曲线来确定该放置点,并且如果当保持该头部直立时将与处于该头部的主注视方向上的该头部的眼睛的瞳孔中心之间的连接线相对应的水平方向被定义为x方向、如果当保持该头部直立时竖直方向被定义为y方向以及如果垂直于该x方向和该y方向的方向被定义为z方向,则该3D曲线具有参数化,其中该参数化被定义为该y方向的坐标的函数。
5.如权利要求4所述的方法,其特征在于,在该精细虚拟定位期间
该眼镜架垂直于该z方向进行第一距离的第一位移,以及
该眼镜架沿该z方向进行第二距离的第二位移,
其中该第二距离不超过该第一距离的10%。
6.如权利要求1至5中任一项所述的方法,其特征在于,用于提供该镜架元数据的方法包括识别该眼镜架的3D模型中的突出点和/或对该眼镜架的3D模型中的突出点进行分类,
其中这些突出点是具有某些预定特性的点,这些特性是用所谓的3D特征描述符定义的,以及
其中相关点是用于表示元数据的点,并且
其中不相关点是不表示元数据或者当表示元数据时冗余的点。
7.如权利要求6所述的方法,其特征在于,该方法进一步包括基于所识别的突出点将坐标变换应用于以下组中的至少一个
- 该眼镜架的3D模型
- 所识别的突出点
- 该镜架元数据。
8.如权利要求1至5中任一项所述的方法,其特征在于提供该镜架元数据将该眼镜架的3D模型分割为该眼镜架的多个部件,其中这些部件优选包括以下组中的至少一个部件
- 镜腿部分
- 该眼镜架除了这些镜腿部分外的其余部分,和/或
其中该头部元数据包括该头部的耳朵的搁置区域,这些区域是基于这些镜腿部分计算的。
9.如权利要求1至5中任一项所述的方法,其特征在于,该方法包括来自以下组的至少一个过程
- 自动确定该镜架元数据和/或该头部元数据的至少一部分,以及
- 手动确定该镜架元数据和/或该头部元数据的至少一部分。
10.如权利要求9所述的方法,其特征在于,该自动确定包括机器学习。
11.如权利要求1至5中任一项所述的方法,其特征在于,该镜架元数据包括关于该眼镜架的柔韧性的弯曲信息项,并且该虚拟定位包括基于关于该柔韧性的这些信息项使该眼镜架弯曲。
12.如权利要求1至5中任一项所述的方法,其特征在于,该方法包括在该显示之后改变该眼镜架在鼻子上的位置,其中将该眼镜架在鼻子上的改变后的位置被存储为盖头部元数据的新放置点。
13.如权利要求1至5中任一项所述的方法,其特征在于,该方法进一步包括基于图像记录来确定该头部的3D模型以及当记录这些图像时确定环境照明,并且显示该头部和定位在其上的该镜架包括具有基于所捕获的环境照明的虚拟照明的图像合成。
14.一种计算机可读的存储介质,在该存储介质上存储有计算机程序,该计算机程序包括程序代码,当该程序代码在处理器上被执行时,该程序代码实施如权利要求1至13中任一项所述的方法。
15.一种用于一副眼镜的虚拟配适的设备,该设备包括:
处理器,以及
显示器,
其特征在于如权利要求14所述的计算机可读的存储介质。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP17173929.5A EP3410178A1 (de) | 2017-06-01 | 2017-06-01 | Verfahren, vorrichtung und computerprogramm zum virtuellen anpassen einer brillenfassung |
EP17173929.5 | 2017-06-01 | ||
CN201880048493.2A CN110892315B (zh) | 2017-06-01 | 2018-06-01 | 用于眼镜架的虚拟配适的方法、设备和计算机程序 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880048493.2A Division CN110892315B (zh) | 2017-06-01 | 2018-06-01 | 用于眼镜架的虚拟配适的方法、设备和计算机程序 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112505950A true CN112505950A (zh) | 2021-03-16 |
Family
ID=59021319
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011201842.5A Pending CN112505950A (zh) | 2017-06-01 | 2018-06-01 | 用于眼镜架的虚拟配适的方法、设备和计算机程序 |
CN202011200903.6A Active CN112462533B (zh) | 2017-06-01 | 2018-06-01 | 用于眼镜架的虚拟配适的方法、设备和计算机程序 |
CN201880048493.2A Active CN110892315B (zh) | 2017-06-01 | 2018-06-01 | 用于眼镜架的虚拟配适的方法、设备和计算机程序 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011200903.6A Active CN112462533B (zh) | 2017-06-01 | 2018-06-01 | 用于眼镜架的虚拟配适的方法、设备和计算机程序 |
CN201880048493.2A Active CN110892315B (zh) | 2017-06-01 | 2018-06-01 | 用于眼镜架的虚拟配适的方法、设备和计算机程序 |
Country Status (9)
Country | Link |
---|---|
US (2) | US11215845B2 (zh) |
EP (4) | EP3410178A1 (zh) |
JP (1) | JP6808855B2 (zh) |
KR (1) | KR102204810B1 (zh) |
CN (3) | CN112505950A (zh) |
BR (1) | BR122022022446B1 (zh) |
CA (3) | CA3082642C (zh) |
ES (1) | ES2887926T3 (zh) |
WO (1) | WO2018220203A2 (zh) |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3413122B1 (de) | 2017-06-08 | 2020-03-04 | Carl Zeiss Vision International GmbH | Verfahren, vorrichtung und computerprogramm zum bestimmen eines nah-durchblickpunktes |
DK3425447T3 (da) | 2017-07-06 | 2019-12-02 | Zeiss Carl Vision Int Gmbh | Fremgangsmåde, anordning og computerprogram til virtuel tilpasning af en brillefatning |
EP3425446B1 (de) | 2017-07-06 | 2019-10-30 | Carl Zeiss Vision International GmbH | Verfahren, vorrichtung und computerprogramm zum virtuellen anpassen einer brillenfassung |
DE102018121742B4 (de) * | 2018-09-06 | 2023-05-11 | Fielmann Ventures GmbH | Verfahren und System zur virtuellen anatomischen Anpassung einer Brille |
US10685457B2 (en) | 2018-11-15 | 2020-06-16 | Vision Service Plan | Systems and methods for visualizing eyewear on a user |
DE102018009811A1 (de) * | 2018-12-13 | 2020-06-18 | YOU MAWO GmbH | Verfahren zum Generieren von Herstellungsdaten zur Herstellung einer Brille für eine Person |
US10825260B2 (en) * | 2019-01-04 | 2020-11-03 | Jand, Inc. | Virtual try-on systems and methods for spectacles |
DE102019108678A1 (de) | 2019-04-03 | 2020-10-08 | Carl Zeiss Ag | Vorrichtung zur Energieversorgung eines aktiven Augenimplantats |
US11488239B2 (en) * | 2019-08-26 | 2022-11-01 | Warby Parker Inc. | Virtual fitting systems and methods for spectacles |
CN114730101B (zh) | 2019-09-24 | 2024-05-31 | 贝斯普客有限公司D/B/A拓扑眼镜 | 使用面部特征的3d扫描来调整库存眼镜框架的系统和方法 |
EP3809304A1 (de) * | 2019-10-18 | 2021-04-21 | Carl Zeiss Vision International GmbH | Computerimplementiertes verfahren zur ermittlung eines parametrischen ersatzmodells eines brillenfassungselements sowie vorrichtung und systeme, die ein solches verfahren benutzen |
WO2021122826A1 (en) * | 2019-12-19 | 2021-06-24 | Essilor International | Method for determining a value of at least one geometrico-morphological parameter of a subject wearing an eyewear |
DE102020104536A1 (de) | 2020-02-20 | 2021-08-26 | Carl Zeiss Vision International Gmbh | Verfahren und Vorrichtungen zur dreidimensionalen Augenrekonstruktion |
EP4136563A4 (en) | 2020-04-15 | 2024-03-20 | Warby Parker Inc | VIRTUAL TRY-ON SYSTEMS FOR GLASSES USING REFERENCE FRAMES |
CN111467131B (zh) * | 2020-04-30 | 2022-05-27 | 浙江大学 | 一种3d打印定制护目镜框的自动设计方法 |
JP2023530607A (ja) * | 2020-06-05 | 2023-07-19 | マリア タシジアン | アイテムを仮想的に試着するための技術 |
WO2022022765A1 (de) * | 2020-07-31 | 2022-02-03 | Tribe Gmbh | Verfahren und vorrichtung zum automatischen bestimmen von herstellungsparametern für eine brille |
EP4006628A1 (de) * | 2020-11-27 | 2022-06-01 | Fielmann Ventures GmbH | Computerimplementiertes verfahren zum bereitstellen und platzieren einer brille sowie zur zentrierung von gläsern der brille |
GB202100314D0 (en) * | 2021-01-11 | 2021-02-24 | Cubitts Kx Ltd | Frame adjustment systems |
CN113034220A (zh) * | 2021-03-02 | 2021-06-25 | 张世贤 | 基于逆向工程制备眼镜框的方法、系统、设备及存储介质 |
DE102021109381A1 (de) * | 2021-04-14 | 2022-10-20 | YOU MAWO GmbH | Individualisierte brillenfassung und verfahren zum erzeugen von deren geometriedaten |
JP2022186156A (ja) * | 2021-06-04 | 2022-12-15 | 富士通株式会社 | 特徴量算出プログラム、特徴量算出方法および情報処理装置 |
US20220390771A1 (en) * | 2021-06-07 | 2022-12-08 | Blink Technologies Inc. | System and method for fitting eye wear |
FR3124069A1 (fr) * | 2021-06-18 | 2022-12-23 | Acep France | Procédé d’essayage de lunettes virtuelles |
US11971246B2 (en) | 2021-07-15 | 2024-04-30 | Google Llc | Image-based fitting of a wearable computing device |
US20230046950A1 (en) * | 2021-08-12 | 2023-02-16 | Google Llc | Image based detection of fit for a head mounted wearable computing device |
DE102021129171B3 (de) | 2021-11-09 | 2023-04-06 | YOU MAWO GmbH | Verfahren, system und computerprogramm zur virtuellen voraussage eines realen sitzes eines realen brillengestells am kopf einer person mit individueller kopfgeometrie |
IT202100030014A1 (it) * | 2021-11-26 | 2023-05-26 | Luxottica Group S P A | Procedimento interamente virtuale per misurazioni di grandezze optometriche. |
EP4227732A1 (en) | 2022-02-14 | 2023-08-16 | Carl Zeiss Vision International GmbH | Method for head image recording and corresponding mobile device |
EP4249994A1 (en) * | 2022-03-23 | 2023-09-27 | Essilor International | Improved detection of an outline of a spectacle frame |
CN115937964B (zh) * | 2022-06-27 | 2023-12-15 | 北京字跳网络技术有限公司 | 姿态估计的方法、装置、设备和存储介质 |
CN116309759B (zh) * | 2023-05-25 | 2023-08-15 | 南京信息工程大学 | 一种基于快速三角特征直方图的点云粗配准方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160299360A1 (en) * | 2015-04-10 | 2016-10-13 | Bespoke, Inc. | Systems and methods for creating eyewear with multi-focal lenses |
Family Cites Families (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE3436133A1 (de) * | 1984-10-02 | 1986-04-10 | Wilhelm St. Moritz Anger | Verfahren zur herstellung einer brille |
CA2273162C (en) * | 1998-02-03 | 2002-07-02 | Tsuyoshi Saigo | Eyeglasses try-on simulation system |
EP1299787A4 (en) | 2000-05-18 | 2005-02-02 | Visionix Ltd | BRASS ADJUSTMENT SYSTEM AND USEFUL ADAPTATION PROCEDURES |
US7016824B2 (en) | 2001-02-06 | 2006-03-21 | Geometrix, Inc. | Interactive try-on platform for eyeglasses |
KR100523742B1 (ko) | 2002-03-26 | 2005-10-26 | 김소운 | 3차원 안경 시뮬레이션 시스템 및 방법 |
DE10216824B4 (de) * | 2002-04-16 | 2006-03-02 | Thomas Doro | Verfahren und Vorrichtung zum Konstruieren einer Maßbrille |
US7071936B2 (en) * | 2002-05-01 | 2006-07-04 | Microsoft Corporation | Systems and methods for providing signal-specialized parametrization |
GB2465298B (en) | 2004-09-24 | 2010-06-30 | Vision Rt Ltd | Image processing system for use with a patient positioning device |
JP3770499B1 (ja) * | 2004-11-02 | 2006-04-26 | 任天堂株式会社 | ゲーム装置及びゲームプログラム |
EP2161611A1 (en) | 2008-09-04 | 2010-03-10 | Essilor International (Compagnie Générale D'Optique) | Method for optimizing the settings of an ophtalmic system |
US20130088490A1 (en) * | 2011-04-04 | 2013-04-11 | Aaron Rasmussen | Method for eyewear fitting, recommendation, and customization using collision detection |
US9286715B2 (en) | 2012-05-23 | 2016-03-15 | Glasses.Com Inc. | Systems and methods for adjusting a virtual try-on |
CN105637512B (zh) | 2013-08-22 | 2018-04-20 | 贝斯普客公司 | 用于创造定制产品的方法和系统 |
CN103456008A (zh) * | 2013-08-26 | 2013-12-18 | 刘晓英 | 一种面部与眼镜匹配方法 |
FR3016050B1 (fr) | 2014-01-02 | 2017-12-08 | Essilor Int | Procede d’ajustage d’une monture de lunettes predeterminee pour son utilisation par un porteur donne |
FR3016051B1 (fr) * | 2014-01-02 | 2017-06-16 | Essilor Int | Procede de determination d'au moins un parametre geometrique d'une monture personnalisee de lunettes et procede de determination de la monture personnalisee associe |
CN104408764B (zh) * | 2014-11-07 | 2017-05-24 | 成都好视界眼镜有限公司 | 眼镜虚拟试戴方法、装置及系统 |
WO2016135078A1 (en) | 2015-02-23 | 2016-09-01 | Fittingbox | Process and method for real-time physically accurate and realistic-looking glasses try-on |
US10284816B2 (en) | 2015-03-23 | 2019-05-07 | Intel Corporation | Facilitating true three-dimensional virtual representation of real objects using dynamic three-dimensional shapes |
CN104881114B (zh) * | 2015-05-13 | 2019-09-03 | 深圳彼爱其视觉科技有限公司 | 一种基于3d眼镜试戴的角度转动实时匹配方法 |
CN104898832B (zh) * | 2015-05-13 | 2020-06-09 | 深圳彼爱其视觉科技有限公司 | 一种基于智能终端的3d实时眼镜试戴方法 |
NL2014891B1 (nl) * | 2015-05-29 | 2017-01-31 | Maydo B V | Werkwijze voor het vervaardigen van een brilmontuur dat is aangepast aan een brildrager. |
US10165949B2 (en) | 2015-06-14 | 2019-01-01 | Facense Ltd. | Estimating posture using head-mounted cameras |
ES2604806B1 (es) * | 2016-03-03 | 2018-07-25 | Horizons Optical S.L.U. | Procedimiento de pedido de gafas y procedimientos de fabricación y suministro y dispositivo correspondientes |
CN105842875B (zh) * | 2016-06-07 | 2018-07-24 | 杭州美戴科技有限公司 | 一种基于人脸三维测量的眼镜架设计方法 |
US9990780B2 (en) * | 2016-10-03 | 2018-06-05 | Ditto Technologies, Inc. | Using computed facial feature points to position a product model relative to a model of a face |
EP3355103A1 (de) | 2017-01-27 | 2018-08-01 | Carl Zeiss AG | Computerimplementiertes verfahren zur bestimmung von zentrierparametern |
EP3355100A1 (de) | 2017-01-27 | 2018-08-01 | Carl Zeiss Vision International GmbH | Vorrichtung zur bestimmung von zentrierparametern für die brillenanpassung |
EP3355102A1 (de) | 2017-01-27 | 2018-08-01 | Carl Zeiss Vision International GmbH | Computerimplementiertes verfahren zur bestimmung von zentrierparametern |
FR3065295A1 (fr) | 2017-04-12 | 2018-10-19 | Frederic Clodion | Dispositif de prises de mesures et de vues 3d pour determiner les parametres morphologiques du visage et fabriquer des lunettes sur mesure |
US10292286B2 (en) | 2017-07-31 | 2019-05-14 | Apple Inc. | Patterned glass layers in electronic devices |
-
2017
- 2017-06-01 EP EP17173929.5A patent/EP3410178A1/de active Pending
-
2018
- 2018-06-01 KR KR1020197038783A patent/KR102204810B1/ko active IP Right Grant
- 2018-06-01 EP EP18727024.4A patent/EP3631570B1/de active Active
- 2018-06-01 CN CN202011201842.5A patent/CN112505950A/zh active Pending
- 2018-06-01 CN CN202011200903.6A patent/CN112462533B/zh active Active
- 2018-06-01 CN CN201880048493.2A patent/CN110892315B/zh active Active
- 2018-06-01 BR BR122022022446-6A patent/BR122022022446B1/pt active IP Right Grant
- 2018-06-01 ES ES19215572T patent/ES2887926T3/es active Active
- 2018-06-01 JP JP2019566300A patent/JP6808855B2/ja active Active
- 2018-06-01 CA CA3082642A patent/CA3082642C/en active Active
- 2018-06-01 EP EP19215546.3A patent/EP3657236B1/de active Active
- 2018-06-01 CA CA3082637A patent/CA3082637C/en active Active
- 2018-06-01 WO PCT/EP2018/064519 patent/WO2018220203A2/de active Application Filing
- 2018-06-01 EP EP19215572.9A patent/EP3671324B1/de active Active
- 2018-06-01 CA CA3065878A patent/CA3065878C/en active Active
-
2019
- 2019-11-30 US US16/699,590 patent/US11215845B2/en active Active
-
2021
- 2021-02-11 US US17/173,565 patent/US11262597B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160299360A1 (en) * | 2015-04-10 | 2016-10-13 | Bespoke, Inc. | Systems and methods for creating eyewear with multi-focal lenses |
Also Published As
Publication number | Publication date |
---|---|
CN112462533A (zh) | 2021-03-09 |
KR102204810B1 (ko) | 2021-01-20 |
BR112019025221A2 (pt) | 2020-06-16 |
CA3082642A1 (en) | 2018-12-06 |
CN112462533B (zh) | 2022-09-09 |
CA3065878C (en) | 2021-04-06 |
EP3657236B1 (de) | 2020-12-16 |
US20210165245A1 (en) | 2021-06-03 |
JP6808855B2 (ja) | 2021-01-06 |
WO2018220203A3 (de) | 2019-01-24 |
CN110892315A (zh) | 2020-03-17 |
CA3082637A1 (en) | 2018-12-06 |
EP3631570A2 (de) | 2020-04-08 |
EP3631570B1 (de) | 2020-10-21 |
BR122022022446B1 (pt) | 2023-10-24 |
US11215845B2 (en) | 2022-01-04 |
EP3410178A1 (de) | 2018-12-05 |
CA3082637C (en) | 2022-10-25 |
CA3065878A1 (en) | 2018-12-06 |
KR20200005671A (ko) | 2020-01-15 |
CA3082642C (en) | 2022-09-13 |
EP3671324B1 (de) | 2021-05-12 |
ES2887926T3 (es) | 2021-12-29 |
JP2020522076A (ja) | 2020-07-27 |
CN110892315B (zh) | 2021-03-12 |
EP3657236A1 (de) | 2020-05-27 |
EP3671324A1 (de) | 2020-06-24 |
WO2018220203A2 (de) | 2018-12-06 |
US20200103675A1 (en) | 2020-04-02 |
US11262597B2 (en) | 2022-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110892315B (zh) | 用于眼镜架的虚拟配适的方法、设备和计算机程序 | |
CN114730101B (zh) | 使用面部特征的3d扫描来调整库存眼镜框架的系统和方法 | |
US11915381B2 (en) | Method, device and computer program for virtually adjusting a spectacle frame | |
CA2921938C (en) | Method and system to create custom, user-specific eyewear | |
CN112989616A (zh) | 用于虚拟配适眼镜架的方法、设备和计算机可读存储介质 | |
US20200018994A1 (en) | Method, computing device, and computer program for providing a mounting edge model | |
US20200110280A1 (en) | Methods, devices, and computer program for determining a near-vision point | |
BR112019025221B1 (pt) | Processo, dispositivo e programa de computador para o ajuste virtual de uma armação de óculos | |
BR122022022441B1 (pt) | Processo e dispositivo para o ajuste virtual de uma armação de óculos |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |