CN110446967B - 用于确定眼镜架边缘的表示或眼镜镜片边缘的表示的计算机实现方法 - Google Patents

Abstract

本发明涉及一种用于确定眼镜架边缘的表示或眼镜镜片边缘的表示的计算机实现的方法，其中提供戴着该眼镜架或该眼镜的头部的至少两个从不同查看方向拍摄的经校准的图像，并且其中在每个图像中检测该眼镜架的边缘或这些镜片的边缘的至少一部分的数据。根据本发明提出，提供该眼镜架或该眼镜的基于几何参数的三维模型，并且优化这些几何参数，以便使模型匹配所检测到的边缘。

Description

用于确定眼镜架边缘的表示或眼镜镜片边缘的表示的计算机 实现方法

技术领域

本发明涉及一种根据本发明所述的用于确定眼镜架边缘的表示或眼镜镜片边缘的表示的计算机实现的方法。

背景技术

对于给定的跟踪器数据集（Tracer-Datensatz）在照片中寻找相关轮廓的方法是已知的。在此使用基于图片的方法（如图案搜索或模板匹配）。示例性地参照DE 10 2011115 239 B4的公开内容。这种解决方案的缺点是，必须已知跟踪器数据集以及因此已知所佩戴的眼镜，才能在所拍摄的图片中找到轮廓。但是在配镜师处的典型工作流程是，当客户已经选好了要购买的眼镜时，首先从镜架获取跟踪器数据。也就是说，当客户仍留在商店内时，并非店内的所有眼镜都存在这些数据。跟踪器数据的确定大多数情况下还只能在晚上进行，即当客户已经离开商店之后，以免客户必须等待确定跟踪器数据。即，在现有技术中，在执行定心中之前，必须首先产生跟踪器数据，这可能会改变配镜师的工作流程并且耗费客户的时间。另外，还不便的是，每个配镜师必须准备好关于每个镜架的追踪器数据。这些数据大多数情况下仅以二维方式存在，但是大多数情况下需要三维的。

发明内容

因此本发明的目的在于，改进开篇提及类型的方法，从而可以更灵活地运用该方法。

根据本发明，这个目的通过具有本发明的特征的计算机实现的方法来实现。本发明的有利改进方案是具体实施方式的主题。

本发明的基本构思在于，基于参数型三维眼镜模型在多个视角中全自动且同时检测一位受试者头上的眼镜的镜架边缘，该受试者已经被拍摄在至少两张互相校准的照片中。然后从这些信息中也可以计算居中参数。在此提供了相互校准的图像。其校准包括拍摄图像的照相机或先后拍摄图像的照相机的外部特性，比如其光轴的相对取向、以及其彼此相对空间安排，以及其内在特性，即照相机本身的特性，这些特性限定了：位于相应的照相机的内部坐标系内的空间中的一个点如何被映射到所拍摄的图像的像素坐标上。照相机校准的详细说明可以在Richard Hartley和Andrew Zisserman的教科书“Multiple ViewGeometry in Computer Vision（计算机视觉中的多视图几何）”（第2版，剑桥大学出版社2004）中找到，具体是在第8页上。基于对图片的校准，可以省去在根据DE 10 2011 115 239B4中使用的方法中的测量台架。另外，提供了眼镜架或眼镜的三维模型，该模型基于限定眼镜架或眼镜的形状的几何参数。这些几何参数被优化以便使模型匹配所检测到的边缘。参数的改变导致眼镜架或眼镜的形状的改变。另外还可能的是，优化其他的几何参数，例如在空间上限定眼镜架或眼镜的取向的那些参数。眼镜架边缘的表示或眼镜镜片边缘的表示一般用于确定居中参数。居中参数被用于将眼镜片正确布置在眼镜架中或在眼镜架中居中，使得眼镜片相对于佩戴眼镜的人的眼睛被布置在正确位置上。在此，有时是相关人员的解剖学参数（例如瞳孔距离），有时是只与镜架相关的参数（例如镜片宽度或者镜片高度），有时是解剖学参数和镜架相关参数的组合（例如角膜顶点距离和透视高度）。2013年10月的DIN EN ISO 13666给出了常见居中参数的概览。

从这种一般想法出发，能以不同方式简化本发明的方法或所使用的三维模型。因此优选的是，这些图像由像素组成并且每个像素与如下的值相关：该值反映了该像素包含该眼镜架或镜片的边缘的一部分的概率。由此简化了对眼镜架边缘或镜片边缘的检测。

反映这种概率的概率图例如可以借助于边缘检测器（梯度滤波器，Canny边缘检测器，拉普拉斯检测器，Gabor滤波器，从实例数据中学习的基于机器学习的边缘检测器）来计算。替代于此，例如借助于Hough变换、模板匹配或用于将镜片边缘分段的不同方法，可以在单独的图像中检测眼镜架或镜片的边缘。

例如当用于模型的几何参数描述了近似限定眼镜架或镜片的鼻部或颞部边缘的直线时，获得了用于眼镜架边缘或镜片边缘的可行的良好的近似。借助于这些直线已经能够在一阶近似中良好地限定眼镜架或眼镜。对模型的进一步简化在于将每个眼镜架边缘或每个镜片近似限定为处于平面中。

替代地，还可以借助于更高阶的曲面（例如抛物面）来对镜片进行近似，这些曲面精确描述了实际的镜片形状。

根据本发明的一个有利的改进方案，通过选择不同的模型参数组从该模型生成该眼镜架或镜片的具体图示并且投影到所拍摄的图像上。在此这些图示尤其反映眼镜架或镜片的重要区域，例如镜片边缘或鼻部和/或颞部边缘。进行投影的目的是，如此优化模型的参数，使得该模型匹配所拍摄的图像和从中生成的数据、尤其反映该概率的值或先前检测到的眼镜架边缘或镜片边缘。

模型的几何参数优选通过使用成本函数以随机性或确定性的方式进行优化。成本函数是在经济领域中开发的，以便能够展示成本与参数之间的关系。成本函数也被称为所谓的目标函数、能量函数或能量泛函、损耗函数（损失函数）、效用函数（实用函数）或适应性函数（适应函数）。

在经济上，通过改变输入到成本函数中的参数直至成本函数达到最小值来进行成本优化。替代地，也可以使目标函数最大化。这一原理可以转移到当前的问题上，其方式为例如成本函数评价投影到所拍摄图像上的这些图示的一致性。然后，将对应的偏差输入到成本函数中。然后可以优化通过成本函数获取的值（以下称为成本值）。

依据成本函数的复杂度，在此可以使用不同的优化方法。在复杂的成本函数的情况下，通常使用随机性算法，例如马尔科夫链蒙特卡洛（Markov-Chain-Monte-Carlo）方法或模拟退火方法。在较低复杂度的成本函数的情况下，大多数情况下使用确定性优化方法，例如像梯度下降方法、单纯形方法（例如Nelder-Mead方法）、差分进化方法、原始对偶法、图论方法或离散图形切割方法。

与随机性优化方法相反，确定性优化方法不含随机影响并且在相同的起始值下每次都计算出相同的解。

为了简化优化，可以从图像数据确定参数并且将参数输入到模型中。例如可以借助于几何位置确定（其中尤其可以采用三角定位法）来在空间中确定眼睛的位置并且可以由此将限定眼睛位置的参数输入到模型中。另外，可以如下简化模型：通过预先给定在眼镜架或镜片的几何形状方面的假定值和/或通过预先给定在面部特征或眼镜架特征方面的假定值或统计数据，在值域中限制几何参数和/或在其数量方面限制或减少几何参数。

例如，可以从相对于中央平面对称的眼镜架或镜片几何形状出发。还可以使用在图像中先前确定的在眼镜的镜片之间的中线，以便确保模型的对称性，例如通过将如下信息输入到模型中：这些近似为平面的镜片的交线必须投影到这条中线上。替代的，例如还可以存在关于居中参数的统计数据，从这些统计数据中可以推导出关于当前模型的几何参数，例如关于角膜顶点距离的统计数据可以帮助限制眼镜架在较小区域中在空间中距眼睛某一距离的定位。同样，关于例如眼镜架玻片角度或前倾角度的值域的统计数据可以帮助适当地限制模型的单独参数的值域，从而简化成本函数的优化，其方式为，仅通过在某一典型值域之内的参数来进行优化，或者将在参数值域上的概率分布一同直接输入到优化中（例如在马尔科夫链蒙特卡洛方法中）。

此外，模型可以包含概率分布，该概率分布给出参数的可能值的概率。如果一个参数的概率值低于预定的阈值，则可以提出，将在该方法中获取的这个参数丢弃，以便减少模型的维度（即其复杂度）。

本发明的用计算机实现的方法优选利用原则上如本发明所述的且在以下的附图说明中详加说明的装置来执行。

根据本发明获取的眼镜片的边缘的表示或者眼镜架边缘的表示有利地用于确定居中参数，其中如此确定的居中参数有利地用来使眼镜片在眼镜架中居中和/或用来打磨眼镜片以装入眼镜架。在此，在一个方法步骤中用所确定的居中参数在该眼镜架中将该至少一个眼镜片居中，或者基于所确定的居中参数来打磨该至少一个眼镜片以便将其布置在眼镜架中。通过这种方式，可以制作出眼镜片和眼镜。

附图说明

以下借助于在附图中示意性示出的实施例更详细地解释本发明。附图示出：

图1a、b以透视图和从前方的视图示出了用于确定居中参数的装置；

图2a、b从前方和从侧面示出了戴着眼镜的头部，具有投影在其上的近似的眼镜架边缘，并且

图3示出了用于可视化根据一个优选实施例的方法的流程图。

具体实施方式

如图所示的装置10用于确定眼镜调整用的居中参数。该装置具有支柱12，在该支柱上可升降调节地装载有硬质的相机架14，该相机架进而装载有多个照相机16a、16b。相机架14在俯视图中近似圆形地弯曲，并且在两个相互间隔安排的自由端18之间延伸。相机架14的内表面20朝前、即朝向支柱12并且朝向这些侧面围成内部空间22，在用照相机16a、16b拍摄图像时受试者的头部位于该内部空间中。内表面20沿着在自由端18之间延伸的方向延伸、呈凹形弯曲、并且例如具有柱体周面的区段的形状，在此，该柱体可以具有圆形的或椭圆形的底面。为了可以相对于受试者的头部将相机架14定位在正确高度上，在支柱12中安排有未详细展示的升降装置，通过该升降装置可以在马达驱动下使相机架14上下运动。

所有照相机16a、16b被安排在自由端18之间延伸的照相机组件26中。在本实施例中，照相机组件26被设计为照相机列26，其照相机16a、16b全都位于同一高度，其中，照相机的光轴对准内部空间22。在本实施例中，照相机列26包括安排在相机架14中心的正面照相机16a，其光轴在正面对准受试者的面部，以及包括关于延伸经过正面照相机16a的光轴的垂直对称平面成对对称地安排的八个侧面照相机16b，其中各有四个分别从左侧和从右侧对准受试者面部。照相机16a、16b还得到校准，使得这些照相机可以同时拍摄受试者的经校准的图像。校准包括外部特性，如其光轴的相对取向、以及彼此相对的空间安排，以及其内在特性，即照相机本身的特性，这些特性限定了：位于相应的照相机的内部坐标系内的空间中的一个点如何被映射到所拍摄的图像的像素坐标上。

相机架14仅朝前、即朝向支柱12、和朝向这些侧面（即在受试者的头部的左右两侧）围成内部空间22。相机架向上、向下以及朝向背面30开放，其中自由末端18相对彼此具有至少25 cm的距离，使得受试者可以舒适地从背面接近。在所示实施例中，该距离为70 cm至80 cm。

为了照亮内部空间22而设置有照明装置，该照明装置具有在照相机列26上方延伸的上发光条32以及在照相机列26下方延伸的下发光条34，这些发光条各自具有多个LED作为发光器件。上发光条32和下发光条34分别连续或间歇延伸经过以下长度：即，该长度至少与照相机列26的在圆周方向上在自由端18之间所测得的长度一样大。这对应于至少160度的圆周角。靠近自由端18，上发光条32和下发光条34分别借助竖直延伸的另一个发光条36相互连接。照相机列26因此完全被至少一列LED框住。装置10还具有附图中未详细示出的控制装置或调整装置，借此可以根据由照相机16a、16b检测的光强度来控制或调整LED所发出的光强度。在此，发光条32、34、36的LED被组合成区域，其发射出的光强度可以彼此分开地被控制或调整。还提出，由若干单独LED发出的光强也可以借助控制装置或调整装置被彼此分开地控制或调整。

为了能让受试者正确就位在内部空间22中，最靠近正面照相机16a的两个侧面照相机16b被安排成用于测量受试者的头部距相机架14的中心38的距离。借助未被详细展示的显示单元向受试者显示他站立得是否正确。该显示单元具有多个不同的彩色光源，这些光源被安排成一列。当受试者站立正确时，中间光源发绿光。从中间光源起，在每个方向上按照黄色、橙色和红色的顺序设有光源，这些光源根据颜色来显示受试者何时距相机架14的中心38不太远、有些远或者太远，或距中心38不太近、有些近或太近。为了在确定居中参数时确保受试者的视线方向看向无穷远，设置有安排在相机架14上的注视装置（Fixationseinrichtung）42，该固定装置针对受试者产生呈斑点图案形式的注视图案（Fixationsmuster）。注视图案被安排得比正面照相机16a略高，从而受试者目光从其掠过。由此，可以在最大可能的范围内拍摄其面部。

装置10尤其也适用于制作受试者的头部的虚拟形象，其可以被考虑用于确定居中参数。为此目的，由照相机16a、16b拍摄不戴眼镜或眼镜架的受试者的经校准的虚拟形象。借助适于确定几何位置（例如三角测量法）的工艺，建立头部的深度剖面，该深度剖面以近似的方式使头部很好地成像。头部通过多个点来成像，这些点可以借助网图案相互连接，或者可以作为点云被存储。在随后确定居中参数时，如此获得的虚拟形象被加以考虑以确定如下居中参数：即这些居中参数因为受试者所配戴的眼镜或眼镜架的几何特性未能被确定或只能以近似方式得以确定。例如宽的眼镜腿可能在侧面拍摄时遮挡住眼睛，以致角膜顶点距离无法被确定或只能非常不准确地被确定。此外，彩色的或者强反光的镜片导致眼睛无法看到，或只能很隐约地看到。为了应对这一情况，虚拟形象的深度剖面被投射到配戴有眼镜或眼镜架的受试者的由照相机16a、16b所拍摄的图像上，并且因为视线受到眼镜或眼镜架的限制而只能不充分地被确定的居中参数借助该虚拟形象的图像数据被确定。在此，可以依据配戴有眼镜或眼镜架的受试者的图像来调整该虚拟形象以尽量减小差异。

替代于或附加于产生虚拟形象，装置10可以如下地用于执行计算机实现的方法，该方法用于确定眼镜架边缘的表示或者眼镜的镜片的边缘的表示。

首先借助于正面照相机16a和侧面照相机16b中的至少一个从正面（图2a）或从侧面（图2b）来拍摄受试者的图像，其中受试者佩戴眼镜或眼镜架。在此，眼镜架还理解为无框眼镜或替代于眼镜片具有保护玻片的部分边框眼镜的眼镜架。在本发明的方法中提供这些图像，就如同提供三维的、基于几何参数的眼镜架或眼镜模型。用任意的但看起来有意义的参数来初始化该模型并且以三维模式获取模型中的眼镜架边缘或镜片边缘。将所获取的眼镜架边缘或镜片边缘投影到所拍摄的图像上或者在图像中反映出对应像素属于眼镜架边缘或镜片边缘的概率的图示上。借助于成本函数来评价模型的参数，并且在随后的优化该成本函数的优化过程中改变这些参数，直至成本函数达到最小值。在此，以简化性的方式，在模型中可以首先从如在图2a、2b中借助于颞部和鼻部边缘50、52所描述的眼镜架或眼镜的几何形状出发。通过每个颞部边缘50和与之相关的鼻部边缘52（如在图2a中所示的）可以近似地定下镜片平面，该镜片平面在模型中近似地反映眼镜片。

在使用马尔科夫链蒙特卡洛（MCMC）方法时，该方法的流程可以例如像在图3中所示那样重现。

选择相对于眼镜架或眼镜的中央平面对称的两个平面作为模型。此外，给出了另外的信息，如正面图像中的镜片框（Glasboxen）、在侧面图像中边缘的概率（基于借助于实例数据学习成的边缘检测器）以及眼睛的3D位置（步骤60）。从一定量的训练数据（例如来自许多已知的眼镜订单）可以得知更大量眼镜的居中参数。从这些训练数据可以计算关于居中参数的统计数据。居中参数的统计数据可以在注意到附加的几何形状预定值（例如眼睛的位置、镜片平面的对称性）的情况下转移到模型的参数上。由此可以实现，从给定的分布来对参数进行采样（步骤62）并且计算这种参数组合的概率。（在MCMC优化中的第1步）如果例如在正面图像中给出了所采样的平面对和镜片框54（参见图2a），则可以将镜片框54投影到这些平面上并且由此在三维坐标中获得镜片框54。现在可以将三维镜片框54的边缘投影到侧面图像中（步骤64）。然后，可以将所投影的边缘与在侧面图像中实际检测到的边缘进行比较，例如借助于机器学习（随机森林、深度学习等）和通过距离度量（倒角距离）。所投影的边缘与所检测的边缘匹配越好，所采样的模型实际上对应于眼镜架的概率就越高。将这个值称为分数（MCMC优化中的第2步，步骤66）。例如当所采样的参数或所采样的模型的概率和/或分数过低时，可以丢弃这个结果（步骤68）。

MCMC算法如此起作用，使得生成大量的平面样本，这些平面样本模拟该模型的概率密度函数（基于参数概率和分数）。在参数概率和分数较高的地方出现了特别多的样本。为了最终从当前数据集的这个概率密度中获得最佳的模型，例如用均值漂移算法检测具有这种分布的模型（步骤70）。然后可以从结果参数组中直接读出居中参数和在侧面图像中与所选择的模型匹配的边缘。

替代地还可以使用其他优化方法。在此，关于参数的概率分布例如可以用于求出待优化参数的匹配的起始值（例如分布的平均值或中值）以及匹配的极限值。

Claims (21)

1.一种用于确定眼镜架边缘的表示或眼镜镜片边缘的表示的计算机实现的方法，其中提供戴着该眼镜架或该眼镜的头部的至少两个从不同查看方向拍摄的图像，其中该至少两个图像被相互校准，其中该校准包括拍摄这些图像的照相机的外部或内部特性，并且其中在每个图像中确定该眼镜架的边缘或这些镜片的边缘的至少一部分的数据，其特征在于，提供该眼镜架或该眼镜的基于几何参数的三维模型，并且优化这些几何参数，以便使该模型匹配所检测到的边缘，所述三维模型使用任意的但有意义的参数来初始化，这些图像由像素组成并且每个像素与如下的值相关：该值反映了该像素包含该眼镜架或这些镜片的边缘的一部分的概率，通过使用成本函数来优化这些几何参数。

2.根据权利要求1所述的计算机实现的方法，其特征在于，优化该眼镜架或眼镜的形状以及在空间中定义该眼镜或眼镜架的取向的参数。

3.根据权利要求1或2所述的计算机实现的方法，其特征在于，提供戴着该眼镜架或该眼镜的头部的至少两个同时从不同查看方向拍摄的经校准的图像。

4.根据权利要求1所述的计算机实现的方法，其特征在于，借助于机器学习来计算反映这些概率值的概率图。

5.根据权利要求1或2所述的计算机实现的方法，其特征在于，该模型的几何参数描述了近似限定该眼镜架或这些镜片的鼻部和/或颞部边缘的直线。

6.根据权利要求1或2所述的计算机实现的方法，其特征在于，该模型将每个眼镜架边缘或每个镜片近似地定义为位于一个平面中或者定义为位于一个n阶曲面中或者能够形成为n阶曲面的线性组合。

7.根据权利要求6所述的计算机实现的方法，其特征在于，该模型将每个眼镜架边缘或每个镜片形成为如下线性组合：该线性组合包括至少一个平面和/或至少一个抛物面或者形成样条曲面。

8.根据权利要求1或2所述的计算机实现的方法，其特征在于，从该模型生成该眼镜架或这些镜片的图示并且将其投影到所拍摄的图像上。

9.根据权利要求8所述的计算机实现的方法，其特征在于，该眼镜架或这些镜片的图示反映了该眼镜架或这些镜片的重要区域。

10.根据权利要求1所述的计算机实现的方法，其特征在于，该成本函数评价被投影到所拍摄的图像上的图示的一致性。

11.根据权利要求10所述的计算机实现的方法，其特征在于，优化通过该成本函数获取的成本值。

12.根据权利要求1或2所述的计算机实现的方法，其特征在于，通过这些图像借助于几何位置确定来确定眼睛在空间中的位置，并且将限定这些眼睛的位置的参数输入到该模型中。

13.根据权利要求1或2所述的计算机实现的方法，其特征在于，通过预先给定在该眼镜架或这些镜片的几何形状方面的假定值和/或通过预先给定在面部特征或眼镜架特征方面的假定值或统计数据，在值域中限制这些几何参数和/或在其数量方面限制或减少这些几何参数。

14.根据权利要求1或2所述的计算机实现的方法，其特征在于，该模型包含概率分布，该概率分布给出这些参数的可能值的概率。

15.一种计算机可读存储介质，其包括具有程序代码的计算机程序，该程序代码用于在该计算机程序被装载于计算机上且在该计算机上运行时执行所有根据权利要求1至14之一所述的方法步骤。

16.用于执行根据权利要求1至14之一所述的用计算机实现的方法的装置（10）的用途，其中该装置（10）具有相机架（14），该相机架部分地围成向上、向下和朝向背面（30）敞开的内部空间（22）并且装载有至少三个照相机（16a，16b），这些照相机被安排在该相机架（14）的两个自由端（18）之间并对准所述内部空间（22），其中该相机架（14）为了照亮该内部空间（22）而具有照明装置（32，34，36）。

17.一种用于确定眼镜架边缘的表示或眼镜镜片边缘的表示的装置，该装置具有：第一照相机，该第一照相机用于从第一查看方向拍摄第一图像；相对于该第一照相机校准的第二照相机，该第二照相机用于从与该第一查看方向不同的第二查看方向拍摄第二图像，其中该校准包括这些照相机的外部或内部特性；以及计算机，该计算机包括存储器，在该存储器中存储有计算机程序，该计算机程序具有用于执行以下方法步骤的程序代码：

i.在每个图像中确定该眼镜架的边缘或这些镜片的边缘的至少一部分的数据

ii. 提供戴着该眼镜架或该眼镜的头部的至少两个从不同查看方向拍摄的经校准的图像

iii.提供该眼镜架或该眼镜的基于几何参数的模型，所述模型使用任意的但有意义的参数来初始化，这些图像由像素组成并且每个像素与如下的值相关：该值反映了该像素包含该眼镜架或这些镜片的边缘的一部分的概率，通过使用成本函数来优化这些几何参数

iv. 优化这些几何参数以便使该模型匹配所检测到的边缘，

其中该计算机包括处理器，以便执行存储在该存储器中的计算机程序。

18.一种用于使至少一个眼镜片在眼镜架中居中的方法，其特征在于，在第一方法步骤中确定关于该眼镜片的居中参数，其中确定这些居中参数包括通过根据权利要求1至14之一所述的方法来获取该眼镜片边缘的表示或该眼镜架边缘的表示；以及在第二方法步骤中以在该第一方法步骤中确定的居中参数使该至少一个眼镜片在该眼镜架中居中。

19.一种用于打磨至少一个眼镜片以装入眼镜架中的方法，其特征在于，在第一方法步骤中确定关于该眼镜片的居中参数，其中确定这些居中参数包括通过根据权利要求1至14之一所述的方法来获取该眼镜片的边缘的表示或该眼镜架边缘的表示；以及在第二方法步骤中基于在该第一方法步骤中确定的居中参数打磨该至少一个眼镜片以布置在该眼镜架中。

20.一种用于制作眼镜片的方法，其特征在于根据权利要求19所述的方法打磨眼镜片以装入眼镜架中的方法步骤。

21.一种用于制作眼镜的方法，其特征在于，使用根据权利要求18至20之一所述的方法。

Images