CN117321484A - 获得配适参数以将眼科镜片配适到眼镜镜架中的摄影和热成像相结合方法 - Google Patents

Abstract

一种针对眼镜配戴者的所选眼镜镜架模型而获得至少一个配适参数以将眼科镜片配适到该眼镜镜架模型中的摄影和热成像相结合方法，该方法包括以下步骤：拍摄配戴者戴有具有所选眼镜镜架模型的眼镜的面部的照片，拍摄配戴者戴有所述眼镜的面部的热像图(21)，识别热像图(21)中眼镜的轮廓(23)，将所识别的轮廓(23)或从所识别的轮廓中得出的方框形状叠加到照片上，因此获得合成图像，从合成图像中获得至少一个配适参数。

Description

获得配适参数以将眼科镜片配适到眼镜镜架中的摄影和热成 像相结合方法

技术领域

本披露内容总体上涉及眼科光学领域。更确切地说，本披露内容涉及眼镜镜架的制造、订购和调整以及眼镜镜片到眼镜镜架中的准确安装。

背景技术

文献WO 2020/064755 A1披露了一种确定给定配戴者的眼镜镜架的配适高度的方法，特别地参阅第16页第4行及以下各行，以及图2和图4。在这个方法中，使用智能手机10的相机12来拍摄配戴者戴有所选眼镜镜架的头部50的照片。然后，通过在所拍摄的照片中测量在一个瞳孔中心与镜架或对应镜片的底部边缘之间的距离来确定配适高度。

这个方法的缺点是，有时很难在照片中清晰地识别所述底部边缘。事实上，在光线条件较差和/或肤色与镜架颜色之间的对比度较低的情况下，照片中几乎看不到给定的眼镜镜架。这个问题对于具有无框镜架的眼镜来说更为严重，因为人们必须识别透明镜片的底部边缘。

本说明末尾的引文列表中提到了进一步的背景技术。

发明内容

因此，本披露内容的目的是提供一种获得配适参数的更稳健的摄影方法。

根据本披露内容，这个目的是通过一种针对眼镜配戴者的所选眼镜镜架模型而获得至少一个配适参数以将眼科镜片配适到眼镜镜架模型中的摄影和热成像相结合方法来实现的，该方法包括以下步骤：

a)拍摄配戴者戴有具有所选眼镜镜架模型的眼镜的面部的照片；

b)拍摄配戴者戴有所述眼镜的面部的热像图；

c)识别热像图中眼镜的轮廓；

d)将1)所识别的轮廓或2)从所识别的轮廓中得出的方框形状叠加到照片上，因此获得合成图像；

e)从合成图像中获得至少一个配适参数。

事实上，通过不仅拍摄照片而且拍摄热像图，获得了眼镜的外形的好很多的图像。这是因为由眼镜配戴者的整个面部发射的热红外辐射在被眼镜覆盖的面部区域中被阻挡。相应地，在热像图中，眼镜的外形清晰地显现并且可以容易地从中得出。

可以可选地单独或组合实施以下特征：

-至少步骤c)是由计算机实施的图像处理算法来执行的；

-当执行步骤c)时，图像处理算法包括以下步骤：i)通过将热像图的每个像素在像素的强度高于预定阈值时分类为第一像素类别、在像素的强度低于预定阈值时分类为第二像素类别，来将热像图转换成二值图像；ii)通过边缘检测来识别二值图像中的眼镜的轮廓；

-当执行步骤c)时，图像处理算法包括另一步骤：在步骤i)之后并且在步骤ii)之前，将二值图像中一个像素类别中低于预定大小的像素簇分配到另一个像素类别中；

-检测照片中的面部边界，并且其中，当执行步骤c)时，图像处理算法包括另一步骤：在步骤i)之后并且在步骤ii)之前，将二值图像中属于第二像素类别且位于面部边界之外的所有像素分配到第一像素类别；

-识别照片中的眼睛区域，并且其中，当执行步骤c)时，图像处理算法仅将步骤i)应用于热像图中与所识别的眼睛区域相对应的部分；

-图像处理算法的至少一部分基于受监督的机器学习；

-在步骤d)的替代性方案1)中，步骤d)涉及在照片和所识别的轮廓中检测眼镜镜架的相同部分，比如镜架鼻梁，并且使用检测到的镜架部分来在照片上定位所识别的轮廓；

-所获得的至少一个配适参数是配戴者的眼睛相对于眼镜的位置的测量值，比如配适高度。

本披露内容还涉及一种用于针对眼镜配戴者的所选眼镜镜架模型而获得至少一个配适参数以将眼科镜片配适到眼镜镜架模型中的电子装置，该装置包括：

-摄影相机，该摄影相机被适配用于拍摄配戴者戴有具有所选眼镜镜架模型的眼镜的面部的照片；

-热成像相机，该热成像相机被适配用于拍摄配戴者戴有所述眼镜的面部的热像图；

-存储器，该存储器存储图像处理算法，该图像处理算法包括以下步骤：

i)识别热像图中眼镜的轮廓；

ii)将所识别的轮廓或从所识别的轮廓中得出的方框形状叠加到照片上，因此获得合成图像；以及

iii)从合成图像中获得至少一个配适参数；以及

-处理器，该处理器被适配于执行存储在存储器中的图像处理算法。

特别地，电子装置可以是智能手机、平板电脑或眼科护理专业人员专用的测量仪器。

本披露内容还涉及计算机软件，该计算机软件包括当处理器执行软件时实施上述方法的指令。

本披露内容还涉及一种携带所述计算机软件的计算机可读非暂态存储介质。

定义

在本披露内容的上下文中，术语“照片”是指在电磁波谱的可见部分中用摄影相机所拍摄的图像。这个可见部分覆盖了从约400到约800nm的波长。

术语“热像图”是指在电磁波谱的热红外部分中用热成像相机所拍摄的图像。这个热红外部分覆盖了从约3至约15μm的波长。

术语“方框形状”是指ISO标准8624:2020(en)中所定义的方框镜片系统，该标准通过引用并入本申请中。方框形状是外接一副眼镜的两个镜片形状的一对矩形框。

术语“配适高度”是指眼镜配戴者的眼睛瞳孔中心与配戴者所配戴眼镜的对应镜片或镜架的底部边缘之间的竖直距离。

附图说明

现在将参考附图对本披露内容的实施例进行详细描述，附图中：

图1

图1是根据本披露内容的摄影设置的俯视示意图。

图2a至图2f

图2a至图2f示出了根据本披露内容的摄影和热成像相结合方法的不同步骤。

图3

图3是根据本披露内容的电子装置的框图。

图4

图4展示了根据本披露内容的如何经由阈值化和边缘检测在热像图中识别眼镜的轮廓。

图5

图5展示了根据本披露内容的实施例的对图像伪影的去除。

图6

图6展示了根据本披露内容的面部边界检测如何可以帮助对热像图进行二值化。

图7

图7展示了其中阈值化仅应用于热像图中被识别为眼睛区域的区域的实施例。

图8

图8展示了根据本披露内容的实施例的使用检测到的镜架部分在照片上对眼镜轮廓的定位。

具体实施方式

图1示出了根据本披露内容的基本设置，该基本设置可以用于获得一个或多个配适参数以将眼科镜片配适到给定的眼镜镜架中。这个设置可以用于眼镜配戴者1到眼科护理专业人员的商店购买一副新眼镜的典型情况。

在这个典型情况下，眼镜配戴者1从商店中陈列的镜架模型中选择眼镜镜架模型3。为了能够然后将与眼镜配戴者的处方相对应的眼科镜片配适到所选镜架模型中，眼科护理专业人员需要获得一组配适参数。这些配适参数取决于所选镜架模型和眼镜配戴者的个体形态。

为了具有用于获得这些配适参数中的至少一些配适参数的正确设置，眼科护理专业人员和眼镜配戴者1可以进行以下例行工作：

-首先，眼科护理专业人员为眼镜配戴者1提供所选镜架模型3的试样。这个试样3具有配适在其中的两个任意镜片5。镜片5可以是没有任何屈光力的假镜片。

-其次，眼镜配戴者1戴上试样3。

-最后，在将假眼镜3正确地定位在眼镜配戴者1的头部4上的情况下，她将她的面部6定位在相机装置7的前方。然后，眼镜配戴者1处于图1所示的设置中。

相机装置7是用于针对眼镜配戴者1的所选眼镜镜架模型3而获得至少一个配适参数以将眼科镜片配适到眼镜镜架模型3中的电子装置。

参考图3，相机装置7包括摄影相机9、热成像相机11、存储器13和处理器15。存储器13具有存储在其中的图像处理算法17。处理器15被适配于执行存储在存储器13中的图像处理算法17。图像处理算法17的至少一部分可以基于受监督的机器学习。

相机装置7可以是智能手机、平板电脑或眼科护理专业人员专用的测量仪器。特别地，相机装置7可以是电子测量柱。这种柱典型地被安装在眼镜商商店中并且是眼镜商的测量装备的一部分。

从图1所示的设置开始，根据本披露内容的获得至少一个配适参数的方法涉及以下步骤：

首先，相机装置7使用其摄影相机9来拍摄眼镜配戴者1戴有眼镜3的面部6的照片19。如图2a所示。摄影相机9被标成黑色以指示其被操作。

其次，相机装置7使用其热成像相机11来拍摄眼镜配戴者1戴有眼镜3的面部6的热像图21。如图2b所示。热成像相机11被标成黑色以指示其被操作。

照片19和热像图21都存储在装置的存储器13中。

接下来，处理器15执行图像处理算法17。这个图像处理对应于配适参数获得方法的后续步骤。这些后续步骤如下：

如图2c所示，对热像图21进行分析，以便识别其中眼镜3的轮廓23。图2c的左侧是突出显示了热像图21中所识别的轮廓23的图片。图2c的右侧的图片单独示出了所识别的轮廓23。在所示示例中，所识别的轮廓23由两个相似的封闭形状23a、23b组成。每个形状23a、23b对应于眼镜的两个镜片之一的外形。

在图2d所示的可选步骤中，从所识别的轮廓23得出方框形状25。方框形状25由两个矩形25a、25b组成。每个矩形25a、25b包围两个封闭形状23a、23b之一。图像处理算法17根据ISO标准8624:2020(en)中所定义的方框透镜系统确定矩形25a、25b。

然后，如图2e所示，图像处理算法17将所识别的轮廓23或方框形状25叠加到照片19上，以获得合成图像27。图2e的左侧的图片示出了具有轮廓叠加的合成图像27a，并且图2e的右侧的图片示出了具有方框形状叠加的合成图像27b。

在图2f所示的最后一个步骤中，图像处理算法17从合成图像27中获得至少一个配适参数。所获得的一个或多个配适参数是配戴者的眼睛相对于眼镜3的位置的测量值，比如配适高度。

在图2f中，所确定的配适参数是配适高度FH。为此，在合成图像27a中，图像处理算法17识别配戴者瞳孔的中心C1和C2、以及轮廓23的底部边缘E1和E2。所获得的配适高度可以对应于右中心C1与对应的右底部边缘E1之间的竖直距离FH1，或者对应于左中心C2与对应的左底部边缘E2之间的竖直距离FH2，或者对应于FH1和FH2的平均值。

获得配适参数的步骤也可以在替代性合成图像27b上执行，该替代性合成图像具有叠加的方框形状25。

现在参考图4，该图提供了图像处理算法17如何可以在热像图21中识别眼镜3的轮廓23的示例。

在本示例中，轮廓23是通过两个连续的图像处理步骤来识别的：

首先，使用阈值化技术将热像图21转换成二值图像29。更确切地说，将热像图的每个像素在像素的强度高于预定阈值时分类为第一像素类别、在像素的强度低于预定阈值时分类为第二像素类别。这个步骤通过图4中的图片A和B进行了展示。

其次，轮廓23是通过边缘检测在二值图像29中识别的。这通过图4中的图片C和D进行了展示。图片C和D仅示出了应用于二值图像29的细节的边缘检测，但相同的过程当然也应用于整个二值图像29。

边缘检测可以分为两个子步骤，即从二值图像29中提取边缘的第一子步骤，其结果如图4中的图片C所示，以及平滑所提取的边缘的第二子步骤，其结果如图4中的图片D所示。

通过阈值化获得的二值图像29可以包含小的像素簇31，参见图5。这些小的像素簇31是不想要的伪影，其可能扭曲边缘检测的结果。为了解决这个问题，可以在阈值化步骤之后且在边缘检测步骤之前执行图5所示的第一中间步骤。这个第一中间步骤通过将二值图像29中一个像素类别中低于预定大小的像素簇分配到另一个像素类别来从二值图像29中移除小的像素簇31。

作为使二值图像29更适于边缘检测的另一种方式，图6所示的第二中间步骤可以作为对第一中间步骤的补充或替代来执行。与第一中间步骤一样，第二中间步骤在阈值化步骤之后且在边缘检测步骤之前执行。第二中间步骤依赖于可用的照片19。更确切地说，在第二中间步骤中，在照片19中检测配戴者的面部的边界33，并且将二值图像29中属于第二像素类别且位于面部边界33之外的所有像素分配到第一像素类别。

在图6中，二值图像29是黑白图像，其中“黑”是第一像素类别，并且“白”是第二像素类别。在这种情况下，第二中间步骤的结果是将二值图像29中位于面部边界33之外的所有白色像素转换成黑色像素。图6中的右侧图片示出了所得的纯化后的二值图像35。

为了简化阈值化和边缘检测，参见图7，图像处理算法17可以首先识别照片19中的眼睛区域37，然后仅对热像图21中与所识别的眼睛区域37相对应的部分应用阈值化。

有时，照片19和热像图21可能无法完全对准，例如当摄影相机9的光轴X1与热成像相机11的光轴X2之间存在偏移O时(参见图1)。为了补偿这一点，将眼镜轮廓23叠加到照片19上的步骤可以涉及对照片19和所识别的轮廓23中眼镜镜架相同部分的检测，并且使用检测到的镜架部分来在照片19上定位所识别的轮廓23。图8展示了这个变体。

在图8的示例中，检测到的镜架部分是镜架鼻梁39。在叠加步骤期间，轮廓23在照片19上的位置发生移动，直到轮廓23的镜架鼻梁39a位于照片19的镜架鼻梁39b的顶部上。

综上所述，根据本披露内容的方法和电子装置有利地将热成像与已经建立的摄影相结合，以大大改善对眼科配适参数的确定。

引文列表

专利文献文件

-WO 2020/064755 A1。

非专利文献

-ISO标准8624:2020(en)；

-Yufeng Zheng，“Face detection and eyeglasses detection for thermalface recognition[用于热面部识别的面部检测与眼镜检测]”，《SPIE(国际光学工程学会)论文集》，2012年2月；

-Rolf Rainer Grigat等人，“Robust eye detection under active infraredillumination[主动红外照明下的稳健眼睛检测]”，《第18届国际模式识别会议论文集》，2006年；以及

-George Bebis等人，“Face recognition by fusing thermal infrared andvisible imagery[融合热红外和可见图像的面部识别]”，《图像和视觉计算》，24(2006)，727-742。

Claims (13)

1.一种针对眼镜配戴者(1)的所选眼镜镜架模型(3)而获得至少一个配适参数(FH)以将眼科镜片(5)配适到所述眼镜镜架模型(3)中的摄影和热成像相结合方法，所述方法包括以下步骤：

a.拍摄所述配戴者戴有具有所述所选眼镜镜架模型的眼镜(3)的面部(6)的照片(19)；

b.拍摄所述配戴者戴有所述眼镜(3)的所述面部(6)的热像图(21)；

c.识别所述热像图(21)中所述眼镜的轮廓(23)；

d.将

1)所识别的轮廓(23)或者

2)从所识别的轮廓中得出的方框形状(25)

叠加到所述照片(19)上，因此获得合成图像(27)；

e.从所述合成图像(27)中获得所述至少一个配适参数(FH)。

2.如权利要求1所述的方法，其中，至少步骤c)是由计算机实施的图像处理算法(17)来执行的。

3.如权利要求2所述的方法，其中，当执行步骤c)时，所述图像处理算法(17)包括以下步骤：

i)通过将所述热像图的每个像素在像素的强度高于预定阈值时分类为第一像素类别、在像素的强度低于预定阈值时分类为第二像素类别，来将所述热像图(21)转换成二值图像(29)；

ii)通过边缘检测来识别所述二值图像(29)中的所述眼镜的轮廓(23)。

4.如权利要求3所述的方法，其中，当执行步骤c)时，所述图像处理算法(17)包括另一步骤：在步骤i)之后并且在步骤ii)之前，将所述二值图像(29)中一个像素类别中低于预定大小的像素簇(31)分配到另一个像素类别中。

5.如权利要求3或4所述的方法，包括检测所述照片(19)中的面部边界(33)的另一步骤，并且其中，当执行步骤c)时，所述图像处理算法(17)包括另一步骤：在步骤i)之后并且在步骤ii)之前，将所述二值图像(29)中属于所述第二像素类别且位于所述面部边界(33)之外的所有像素分配到所述第一像素类别。

6.如权利要求3至5中任一项所述的方法，包括识别所述照片(19)中的眼睛区域(37)的另一步骤，并且其中，当执行步骤c)时，所述图像处理算法(17)仅将步骤i)应用于所述热像图(21)中与所识别的眼睛区域(37)相对应的部分。

7.如权利要求2至6中任一项所述的方法，其中，所述图像处理算法(17)的至少一部分基于受监督的机器学习。

8.如前述权利要求中任一项所述的方法，其中，在步骤d)的替代性方案1)中，步骤d)涉及在所述照片(19)和所识别的轮廓(23)两者中检测所述眼镜镜架的相同部分(39)，比如镜架鼻梁，并且使用检测到的镜架部分(39)来在所述照片(19)上定位所识别的轮廓(23)。

9.如前述权利要求中任一项所述的方法，其中，所获得的至少一个配适参数(FH)是所述配戴者的眼睛相对于所述眼镜(3)的位置的测量值，比如配适高度。

10.一种用于针对眼镜配戴者(1)的所选眼镜镜架模型(3)而获得至少一个配适参数(FH)以将眼科镜片(5)配适到所述眼镜镜架模型(3)中的电子装置(7)，所述装置(7)包括：

-摄影相机(9)，所述摄影相机被适配用于拍摄所述配戴者戴有具有所选眼镜镜架模型的眼镜(3)的面部(6)的照片(19)；

-热成像相机(11)，所述热成像相机被适配用于拍摄所述配戴者戴有所述眼镜(3)的所述面部(6)的热像图(21)；

-存储器(13)，所述存储器存储图像处理算法(17)，所述图像处理算法包括以下步骤：

i)识别所述热像图(21)中所述眼镜的轮廓(23)；

ii)将所识别的轮廓(23)或从所识别的轮廓(23)中得出的方框形状(25)叠加到所述照片(19)上，因此获得合成图像(27)；以及

iii)从所述合成图像(27)中获得所述至少一个配适参数(FH)；以及

-处理器(15)，所述处理器被适配于执行存储在所述存储器(13)中的图像处理算法(17)。

11.如权利要求10所述的电子装置(7)，其中，所述电子装置是智能手机、平板电脑或眼科护理专业人员专用的测量仪器。

12.一种计算机软件，包括当处理器(15)执行所述软件时实施根据权利要求1至9之一所述方法的指令。

13.一种携带根据权利要求12所述的计算机软件的计算机可读非暂态存储介质。