CN105975920B - 一种眼镜试戴方法及系统 - Google Patents

一种眼镜试戴方法及系统 Download PDF

Info

Publication number
CN105975920B
CN105975920B CN201610278752.3A CN201610278752A CN105975920B CN 105975920 B CN105975920 B CN 105975920B CN 201610278752 A CN201610278752 A CN 201610278752A CN 105975920 B CN105975920 B CN 105975920B
Authority
CN
China
Prior art keywords
glasses
picture
face
rectangle frame
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610278752.3A
Other languages
English (en)
Other versions
CN105975920A (zh
Inventor
苏剑波
陈叶飞
陈升
林有璇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201610278752.3A priority Critical patent/CN105975920B/zh
Publication of CN105975920A publication Critical patent/CN105975920A/zh
Application granted granted Critical
Publication of CN105975920B publication Critical patent/CN105975920B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Geometry (AREA)
  • Development Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种眼镜试戴方法及系统，该方法包括：提供一张标准化后的眼镜图片；获取人脸正面图像；分别使用人脸检测和人眼检测算法，找出人脸矩形框及人眼矩形框，并根据人眼矩形框和人脸矩形框，像素长宽的相对比例，调整眼镜图片的像素大小；根据两个眼睛矩形框在人脸矩形框中的相对位置，通过经验公式算法计算出眼镜图片左上角顶点应该所在的位置；将调整缩放后的眼镜图片与人脸图片通过像素调节融合，得到戴上眼镜后的效果图,本发明利用OpenCV开放库，为网上选购眼镜提供了一种试戴途径，能方便用户选择自己满意的眼镜。

Description

一种眼镜试戴方法及系统
技术领域
本发明涉及图像处理技术领域，特别是涉及一种眼镜试戴方法及系统。
背景技术
眼镜通常是近视、斜视、散光、老光、太阳镜等眼疾患者及人们在工作生活中，用以进行视力校正或正常用眼的工具。随着人们对美的不断追求，眼镜已经作为一种装饰品被眼疾患者和非眼疾患者使用，由此，如何挑选合适的眼镜以使得用户佩戴眼镜后更具美感显得尤为重要。
传统方法是让用户(眼镜试戴者)先后实际试戴多副眼镜，以使用户感受不同眼镜带来的不同美感。当然，目前也有人提出了一种新的方法，就是拍摄用户佩戴每一副眼镜后的照片，然后将多张照片在同一显示器上并列显示，以更直观地对比佩戴不同眼镜带来的不同美感，进而选出更合适的眼镜，但是，用户试戴多副眼镜、试戴后拍摄照片，给用户和工作人员都带来较大的工作量，同时消耗大量时间，而且随着现在网络购物的普及，这种方式无法适用。
发明内容
为克服上述现有技术存在的不足，本发明之目的在于提供一种眼镜试戴方法及系统，通过利用OpenCV开放库，为网上选购眼镜提供了一种试戴途径，能方便用户选择自己满意的眼镜。
为达上述及其它目的，本发明提出一种眼镜试戴方法，包括如下步骤：
步骤一，提供一张标准化后的眼镜图片；
步骤二，获取人脸正面图像；
步骤三，分别使用人脸检测和人眼检测算法，找出人脸矩形框及人眼矩形框，并根据人眼矩形框和人脸矩形框，像素长宽的相对比例，调整眼镜图片的像素大小；
步骤四，根据两个眼睛矩形框在人脸矩形框中的相对位置，通过经验公式算法计算出眼镜图片左上角顶点应该所在的位置；
步骤五，将步骤三调整缩放后的眼镜图片与人脸图片通过像素调节融合，得到戴上眼镜后的效果图。
进一步地，该标准化后的眼镜图片为眼镜的上下左右边缘正好撑满整张图片且背景为白色的图片。
进一步地，于步骤三中，利用OpenCV中的haar分类器函数检测出人脸与眼睛。
进一步地，于步骤四中，根据人脸和人眼的矩形框，计算出眼镜所应该占据人脸图片的期望坐标位置。
进一步地，计算眼镜期望位置方法为眼镜需要覆盖住眼睛所对应的矩形框，同时眼镜需要在人脸的矩形框内。
进一步地，于步骤五中，针对期望坐标位置划分出RIO区域，并在此区域将人脸图片和眼镜图片进行像素融合。
进一步地，于步骤五中，将原来眼镜的白色底部像素变换成人脸肤色的所对应的像素值，眼镜边框部分像素将人脸图片中的原有像素覆盖掉，在镜片范围区域将眼镜和人脸像素融合。
为达到上述目的，本发明还提供一种眼镜试戴系统，包括：
眼镜图片提供模块，用于提供一张标准化后的眼镜图片；
人脸图片获取模块，用于获取人脸正面图像；
眼镜图片调整模块，分别使用人脸检测和人眼检测算法，找出人脸矩形框及人眼矩形框，并根据人眼矩形框和人脸矩形框，像素长宽的相对比例，调整眼镜图片的像素大小；
位置计算模块，根据两个眼睛矩形框在人脸矩形框中的相对位置，通过经验公式算法计算出眼镜图片左上角顶点应该所在的位置；
融合模块，将眼镜图片调整模块调整缩放后的眼镜图片与人脸图片通过像素调节融合，得到戴上眼镜后的效果图。
进一步地，该位置计算模块根据人脸和人眼的矩形框，计算出眼镜所应该占据人脸图片的期望坐标位置。
进一步地，该融合模块针对期望坐标位置划分出RIO区域，并在此区域将人脸图片和眼镜图片进行像素融合。
与现有技术相比，本发明一种眼镜试戴方法及系统，通过利用OpenCV开放库，实时的拍照并自动将眼镜图片和人脸图片进行叠加融合，使人直观的看到自己戴上该款眼镜后的效果，本发明简单易懂，能够节省很多成本，为网上选购眼镜提供了一种试戴途径，能方便用户选择自己满意的眼镜。
附图说明
图1为本发明一种眼镜试戴方法的步骤流程图；
图2为本发明标准化眼镜样本图片举例；
图3为本发明通过摄像头获取的正脸图片截图；
图4为本发明检测人脸人眼后，标定出的矩形区域示意图；
图5为图2样本眼镜与人脸融合后的效果图；
图6与图7为其他眼镜款式的试戴效果图；
图8为本发明一种眼镜试戴系统的系统架构图。
具体实施方式
以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。
图1为本发明一种眼镜试戴方法的步骤流程图。如图1所示，本发明一种眼镜试戴方法，包括如下步骤：
步骤101，提供一张标准化后的眼镜图片，这里所谓的标准化指，眼镜的上下左右边缘正好撑满整张图片，背景为白色。
步骤102，获取一张人脸正面图像。本发明较佳实施例中，可通过电脑或移动终端自带的摄像头拍照，获取人脸正面图像。
步骤103，分别使用人脸检测和人眼检测算法，找出人脸矩形框及人眼矩形框；根据人眼矩形框和人脸矩形框，像素长宽的相对比例，调整眼镜图片的像素大小。本发明较佳实施例中，利用OpenCV中的haar分类器函数，能够方便的检测出人脸和眼睛，返回值中包含矩形框的参数，包括位置，宽度，长度信息。具体调整公式如下：
wnew＝1.36*xr-xl+wr，
其中，wnew表示调整后眼镜图片的宽度，xr表示右眼矩形框左上角的横坐标，xl表示左眼矩形框左上角的横坐标，wr表示右眼矩形框的宽度。眼镜图片调整后高度＝眼镜图片高度*(调整后眼镜图片宽度/眼镜原图片宽度)。
步骤104，根据两个眼睛矩形框在人脸矩形框中的相对位置，通过经验公式算法计算出眼镜图片左上角顶点应该所在的位置。具体地说，根据人脸和人眼的矩形框，计算出眼镜所应该占据人脸图片的期望坐标位置，这里计算眼镜期望位置方法在于，眼镜需要覆盖住眼睛所对应的矩形框，同时，眼镜需要在人脸的矩形框内。由于眼镜图片已经做了标准化，因此，对于这种标准化下的眼镜的期望位置，可以容易的估计出来。其中经验公式如下：
xexp＝xface+0.51*(wface-1.36*(xr-xl+wr))，
yexp＝yface+0.274*hface.
其中，xexp表示眼镜左上角期望横坐标，xface表示人脸矩形框左上角横坐标，wface表示人脸矩形框的宽，yexp表示眼镜左上角期望纵坐标，hface表示人脸矩形框的高，yface表示人脸矩形框左上角的纵坐标。参数0.51、0.274是多次实验后的经验值。
步骤105，将步骤103中缩放后的眼镜图片与人脸图片通过像素调节融合，得到戴上眼镜后的效果图。具体地，针对期望坐标位置划分出RIO区域，并在此区域将人脸图片和眼镜图片进行像素融合，即将原来眼镜的白色底部像素变换成人脸肤色的所对应的像素值，眼镜边框部分像素将人脸图片中的原有像素覆盖掉。在镜片范围区域再利用OpenCV中addweighted函数将眼镜和人脸像素融合，产生一种较通透的效果，尤其对于墨镜来说。
以下将通过一具体实施例来进一步说明本发明：首先获取眼镜标准化图片，如图2所示，本实施例中，眼镜标准化图片为眼镜撑满整个图片的矩形框，背景为白色；然后调用计算机摄像头获取人脸正面图像，或者使用原有的正面人脸图片。如图3所示；使用人脸检测和人眼检测算法，找出人脸矩形框，人眼矩形框；根据人眼矩形框和人脸矩形框，像素长宽的相对比例，调整眼镜图片的像素大小。利用OpenCV中的haar分类器函数，能够方便的检测出人脸和眼睛，返回值中包含矩形框的参数，包括位置，宽度，长度信息。如图4所示；根据两个眼睛矩形框在人脸矩形框中的相对位置，通过经验公式算法计算出眼镜图片左上角顶点应该所在的位置；最后将眼镜图片像素缩放，并与人脸图片通过像素调节融合，得到戴上眼镜后的效果图。如图5所示。
在此需说明的是，本发明可通过选取不同的标准化眼镜图片，可以看到不同款式眼镜试戴的效果。如图6及图7所示。
图8为本发明一种眼镜试戴系统的系统架构图。如图8所示，本发明一种眼镜试戴系统，包括：眼镜图片提供模块801、人脸图片获取模块802、眼镜图片调整模块803、位置计算模块804以及融合模块805。
其中，眼镜图片提供模块801用于提供一张标准化后的眼镜图片，这里所谓的标准化指，眼镜的上下左右边缘正好撑满整张图片，背景为白色；人脸图片获取模块802用于获取一张人脸正面图像，本发明较佳实施例中，可通过电脑或移动终端自带的摄像头拍照，获取人脸正面图像；眼镜图片调整模块803,分别使用人脸检测和人眼检测算法，找出人脸矩形框及人眼矩形框，并根据人眼矩形框和人脸矩形框，像素长宽的相对比例，调整眼镜图片的像素大小，本发明较佳实施例中，可利用OpenCV中的haar分类器函数，能够方便的检测出人脸和眼睛，返回值中包含矩形框的参数，包括位置，宽度，长度信息；位置计算模块804，根据两个眼睛矩形框在人脸矩形框中的相对位置，通过经验公式算法计算出眼镜图片左上角顶点应该所在的位置；融合模块805，将眼镜图片调整模块803调整缩放后的眼镜图片与人脸图片通过像素调节融合，得到戴上眼镜后的效果图。
可见，本发明一种眼镜试戴方法及系统，其优点在于方法简单易懂，对眼镜的建模花费低，由于眼镜款式纷繁多样，因此能够节省很多成本，实时的拍照并自动将眼镜图片和人脸图片进行叠加融合，使人直观的看到自己戴上该款眼镜后的效果。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (9)

1.一种眼镜试戴方法，包括如下步骤：
步骤一，提供一张标准化后的眼镜图片；
步骤二，获取人脸正面图像；
步骤三，分别使用人脸检测和人眼检测算法，找出人脸矩形框及人眼矩形框，并根据人眼矩形框和人脸矩形框，像素长宽的相对比例，调整眼镜图片的像素大小，利用OpenCV中的haar分类器函数检测出人脸与眼睛，调整公式为：
wnew＝1.36*(xr-xl+wr)，
其中，wnew表示调整后眼镜图片的宽度，xr表示右眼矩形框左上角的横坐标，xl表示左眼矩形框左上角的横坐标，wr表示右眼矩形框的宽度；
步骤四，根据两个眼睛矩形框在人脸矩形框中的相对位置，通过经验公式算法计算出眼镜图片左上角顶点应该所在的位置；
步骤五，将步骤三调整缩放后的眼镜图片与人脸图片通过像素调节融合，得到戴上眼镜后的效果图。
2.如权利要求1所述的一种眼镜试戴方法，其特征在于：该标准化后的眼镜图片为眼镜的上下左右边缘正好撑满整张图片且背景为白色的图片。
3.如权利要求1所述的一种眼镜试戴方法，其特征在于：于步骤四中，根据人脸和人眼的矩形框，计算出眼镜所应该占据人脸图片的期望坐标位置。
4.如权利要求3所述的一种眼镜试戴方法，其特征在于：计算眼镜期望位置方法为眼镜需要覆盖住眼睛所对应的矩形框，同时眼镜需要在人脸的矩形框内。
5.如权利要求3所述的一种眼镜试戴方法，其特征在于：于步骤五中，针对期望坐标位置划分出RIO区域，并在此区域将人脸图片和眼镜图片进行像素融合。
6.如权利要求5所述的一种眼镜试戴方法，其特征在于：于步骤五中，将原来眼镜的白色底部像素变换成人脸肤色的所对应的像素值，眼镜边框部分像素将人脸图片中的原有像素覆盖掉，在镜片范围区域将眼镜和人脸像素融合。
7.一种眼镜试戴系统，包括：
眼镜图片提供模块，用于提供一张标准化后的眼镜图片；
人脸图片获取模块，用于获取人脸正面图像；
眼镜图片调整模块，分别使用人脸检测和人眼检测算法，找出人脸矩形框及人眼矩形框，并根据人眼矩形框和人脸矩形框，像素长宽的相对比例，调整眼镜图片的像素大小，
利用OpenCV中的haar分类器函数检测出人脸与眼睛，调整公式为：
wnew＝1.36*(xr-xl+wr)，
其中，wnew表示调整后眼镜图片的宽度，xr表示右眼矩形框左上角的横坐标，xl表示左眼矩形框左上角的横坐标，wr表示右眼矩形框的宽度；
位置计算模块，根据两个眼睛矩形框在人脸矩形框中的相对位置，通过经验公式算法计算出眼镜图片左上角顶点应该所在的位置；
融合模块，将眼镜图片调整模块调整缩放后的眼镜图片与人脸图片通过像素调节融合，得到戴上眼镜后的效果图。
8.如权利要求7所述的一种眼镜试戴系统，其特征在于：该位置计算模块根据人脸和人眼的矩形框，计算出眼镜所应该占据人脸图片的期望坐标位置。
9.如权利要求8所述的一种眼镜试戴系统，其特征在于：该融合模块针对期望坐标位置划分出RIO区域，并在此区域将人脸图片和眼镜图片进行像素融合。
CN201610278752.3A 2016-04-28 2016-04-28 一种眼镜试戴方法及系统 Expired - Fee Related CN105975920B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610278752.3A CN105975920B (zh) 2016-04-28 2016-04-28 一种眼镜试戴方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610278752.3A CN105975920B (zh) 2016-04-28 2016-04-28 一种眼镜试戴方法及系统

Publications (2)

Publication Number Publication Date
CN105975920A CN105975920A (zh) 2016-09-28
CN105975920B true CN105975920B (zh) 2019-11-26

Family

ID=56994144

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610278752.3A Expired - Fee Related CN105975920B (zh) 2016-04-28 2016-04-28 一种眼镜试戴方法及系统

Country Status (1)

Country Link
CN (1) CN105975920B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107845062B (zh) * 2017-11-14 2021-08-17 北京小米移动软件有限公司 图像生成方法及装置
CN109063539B (zh) * 2018-06-08 2023-04-18 平安科技（深圳）有限公司 眼镜虚拟佩戴方法、装置、计算机设备及存储介质
CN109872296A (zh) * 2019-01-04 2019-06-11 中山大学 一种基于深度卷积生成式对抗网络的甲状腺结节病灶区生成的数据增强方法
CN113592592B (zh) * 2021-07-28 2023-11-07 严沛熙 生成眼镜框试戴效果图的方法及眼镜框虚拟试戴系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101059871A (zh) * 2007-05-17 2007-10-24 谢亦玲 计算机配镜装置
CN103413118A (zh) * 2013-07-18 2013-11-27 毕胜 在线眼镜试戴方法
CN103456008A (zh) * 2013-08-26 2013-12-18 刘晓英 一种面部与眼镜匹配方法
CN104408764A (zh) * 2014-11-07 2015-03-11 成都好视界眼镜有限公司 眼镜虚拟试戴方法、装置及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101059871A (zh) * 2007-05-17 2007-10-24 谢亦玲 计算机配镜装置
CN103413118A (zh) * 2013-07-18 2013-11-27 毕胜 在线眼镜试戴方法
CN103456008A (zh) * 2013-08-26 2013-12-18 刘晓英 一种面部与眼镜匹配方法
CN104408764A (zh) * 2014-11-07 2015-03-11 成都好视界眼镜有限公司 眼镜虚拟试戴方法、装置及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于特征点定位的虚拟试戴的研究;李鹃;《中国优秀硕士学位论文全文数据库信息科技辑》;20120715(第07期);第I138-1751页 *

Also Published As

Publication number Publication date
CN105975920A (zh) 2016-09-28

Similar Documents

Publication Publication Date Title
KR102342982B1 (ko) 이미지 또는 비디오 내의 객체를 은폐하기 위한 방법 및 관련된 증강 현실 방법
US11592691B2 (en) Systems and methods for generating instructions for adjusting stock eyewear frames using a 3D scan of facial features
CN105975920B (zh) 一种眼镜试戴方法及系统
CN106056092B (zh) 基于虹膜与瞳孔的用于头戴式设备的视线估计方法
CN105708467B (zh) 人体实际距离测量及眼镜架的定制方法
CN108537628B (zh) 用于创造定制产品的方法和系统
CN105469379B (zh) 视频目标区域遮挡方法和装置
US9916690B2 (en) Correction of displayed images for users with vision abnormalities
CN103413118B (zh) 在线眼镜试戴方法
US20160166145A1 (en) Method for determining ocular measurements using a consumer sensor
US20170169501A1 (en) Method and system for evaluating fitness between wearer and eyeglasses
US20170115507A1 (en) Method and apparatus for design and fabrication of customized eyewear
KR102172988B1 (ko) 아이라이너-착용 가이드 장치 및 방법
JP5289962B2 (ja) 視力矯正支援システム
CA2884576A1 (fr) Procede et dispositif pour preparer une monture de lunettes
US20150049952A1 (en) Systems and methods of measuring facial characteristics
CN109460635A (zh) 用于生成镜架的方法和系统
US20200107720A1 (en) Calibration and Image Procession Methods and Systems for Obtaining Accurate Pupillary Distance Measurements
CN111066051A (zh) 使用自动化购物助手进行个性化购物的系统、平台以及方法
CN103690171A (zh) 眼镜测配装置、眼镜测配服务端和眼镜测配方法
US20230020160A1 (en) Method for determining a value of at least one geometrico-morphological parameter of a subject wearing an eyewear
TWI756600B (zh) 鏡框配戴參數之量測方法及其量測設備
US11048100B2 (en) System and method for obtaining ophthalmic measurements for progressive lenses that accurately account for body stature and posture
CN114787872A (zh) 用于扩展用于评估眼睛配戴物兼容性的图像数据库的装置、方法及计算机可读存储介质
WO2015044309A1 (en) Method and device for correctly and realistically displaying a pair of eyeglasses

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191126

Termination date: 20210428