CN113609986A - 一种基于虚拟试戴实现div眼镜的方法 - Google Patents
一种基于虚拟试戴实现div眼镜的方法 Download PDFInfo
- Publication number
- CN113609986A CN113609986A CN202110897737.8A CN202110897737A CN113609986A CN 113609986 A CN113609986 A CN 113609986A CN 202110897737 A CN202110897737 A CN 202110897737A CN 113609986 A CN113609986 A CN 113609986A
- Authority
- CN
- China
- Prior art keywords
- div
- glasses
- face
- model
- key point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000011521 glass Substances 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims abstract description 16
- 210000001747 pupil Anatomy 0.000 claims abstract description 16
- 238000013135 deep learning Methods 0.000 claims abstract description 13
- 230000000694 effects Effects 0.000 claims description 8
- 238000009877 rendering Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
- G02C13/00—Assembling; Repairing; Cleaning
- G02C13/003—Measuring during assembly or fitting of spectacles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
- G06Q30/0643—Graphical representation of items or shoppers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Theoretical Computer Science (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- Development Economics (AREA)
- Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Optics & Photonics (AREA)
- Computer Graphics (AREA)
- Eye Examination Apparatus (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于虚拟试戴实现DIV眼镜的方法，包括以下步骤：利用深度学习框架训练出人脸关键点模型；再利用人脸关键点模型检测定位出脸部的特征点的位置得到人脸关键点数据；根据人脸关键点数据，分别计算出瞳距、脸宽和脸高的数据；通过当前识别图画面提取当前的人脸关键点，再结合当前的人脸关键点来定位DIV眼镜模型的位置姿态，当前识别图画面与DIV眼镜模型对应渲染，从而实现虚拟试戴，本发明更加富有创新性的模拟虚拟试戴效果，不仅可以满足体验者智能化DIV眼镜，还可以解决眼镜工厂定制化容易造成库存积压的问题。
Description
技术领域
本发明涉及虚拟试戴技术领域，特别地是一种基于虚拟试戴实现DIV眼镜的方法。
背景技术
现在，“懒”人们更多是由于快节奏的生活状态所迫，工作之余希望用 “懒”来换取更多的时间去读书、健身、社交、休息等等。随着这个群体的不断扩大，“懒人”已经成为越来越多商家新的目标消费群体，商家千方百 计满足懒人们“懒到底”的要求，准备从他们身上挖出点金子来，“懒人” 经济也就随之诞生。现有技术中，大多采用实物试戴，用户在眼镜店或眼科医院进行试戴。 真正的O2O应该提供的是定制化的个性化的服务，而不是简单的线上线下互联，这才能够体现出这个模式的价值。比如上门按摩、美容、理发、医疗 等等，这样的专享式的重体验的服务模式才是真正的O2O模式。
1、现有的虚拟试戴技术，更多的单纯的模拟试戴功能，仅能试戴现有的眼镜模型款式，不能满足体验者爱好需求。
2、很多眼镜工厂生产眼镜，备选许多款眼镜打模样本，并大量生产，从而满足市场需求，但是不知道生产的眼镜是否符合市场需求，实际上造成库存积压。
3、有些虚拟试戴技术，能测量人的基础瞳距（瞳距、左瞳距、右瞳距）、脸宽、脸高，从而用这些数据来参考实际生产的配镜，但是不能通过这些数据让体验者进行实时的虚拟试戴。
现有技术只展现基础的虚拟试戴和基础的数据测量，尚未考虑或者实现DIV眼镜，尚未考虑满足体验者定制化需求的虚拟试戴，尚未考虑解决眼镜工厂以备货方式满足市场而造成库存积压的问题。目前在眼镜适配行业中，缺少能够减少用户外出、操作简单、实现精确配镜、眼镜选择与购买等的个性化试戴方式，本发明DIV眼镜虚拟试戴技术主要通过AR/VR技术实现3D智能试戴效果，眼镜每一个部位零件都是一块独立的模块，可以实现从各零件模块进行DIV组合或者DIV绘制，在结合瞳距（瞳距、左瞳距、右瞳距）、脸宽、脸高等测量数据智能化匹配为完整的眼镜。
发明内容
本发明的目的在于提供一种富有创新性的模拟虚拟试戴效果，实现眼镜DIV定制化的基于虚拟试戴实现DIV眼镜的方法。
本发明通过以下技术方案实现的：
一种基于虚拟试戴实现DIV眼镜的方法，包括以下步骤：
S1、利用深度学习框架训练出人脸关键点模型；
S2、利用人脸关键点模型检测定位出脸部的特征点的位置；得到人脸关键点数据；
S3、根据人脸关键点数据，分别计算出瞳距、脸宽和脸高的数据；
S4、通过当前识别图画面提取当前的人脸关键点，再结合当前的人脸关键点来定位DIV眼镜模型的位置姿态，当前识别图画面与DIV眼镜模型对应渲染，从而实现虚拟试戴。
进一步地，所述步骤S4中，所述DIV眼镜模型包括各部分独立的眼镜零件；利用所述眼镜零件分别进行DIV组合和DIV绘制，结合从提取的人脸关键点数据所计算出的瞳距、脸宽、脸高的数据，进行匹配适合试戴的DIV眼镜模型，将所述DIV眼镜模型与人脸关键点数据所计算出的瞳距、脸宽、脸高的数据进行映射，加载到虚拟试戴实现展现效果。
进一步地，所述步骤S1中，所述深度学习框架采用mobilenet或shufflenet或VGG或caffeNet的网格结构。
进一步地，所述步骤S3中，所述瞳距包括左瞳距和右瞳距。
进一步地，所述眼镜零件包括镜框、镜腿、鼻托和镜片；所述镜框、镜腿、鼻托和镜片分别用于所述DIV组合。
进一步地，所述DIV绘制中，用户可以添加自定义绘制的元素。
本发明的有益效果：
本发明通过深度学习框架训练出人脸关键点检测模型，再通过人脸关键点检测模型进行人脸关键点检测；通过选取指定的人脸关键点来计算瞳距、脸宽、脸高等数据；再选取指定的人脸关键点来计算瞳距、脸宽、脸高等数据的同时，选择需要的眼镜零件进行DIV组合和DIV绘制，完成DIV的眼镜模型；再接着，将眼镜模型与瞳距、脸宽、脸高等数据进行映射，识别图画面与眼镜模型对应渲染，实现试戴体验。本发明更加富有创新性的模拟虚拟试戴效果，不仅可以满足体验者智能化DIV眼镜，还可以解决眼镜工厂定制化容易造成库存积压的问题。
附图说明
图1为本发明实施例的步骤流程框图。
具体实施方式
下面将结合附图以及具体实施例来详细说明本发明，在此以本发明的示意下面将结合附图以及具体实施例来详细说明本发明，在此以本发明的示意性实施例及说明用来解释本发明，但并不作为对本发明的限定。
需要说明，在本发明中如涉及“第一”、“第二”的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
在本发明中，除非另有明确的规定和限定，术语“连接”应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
一种基于虚拟试戴实现DIV眼镜的方法，包括以下步骤：
S1、利用深度学习框架训练出人脸关键点模型；
S2、利用人脸关键点模型检测定位出脸部的特征点的位置；得到人脸关键点数据；
S3、根据人脸关键点数据，分别计算出瞳距、脸宽和脸高的数据；
S4、通过当前识别图画面提取当前的人脸关键点，再结合当前的人脸关键点来定位DIV眼镜模型的位置姿态，当前识别图画面与DIV眼镜模型对应渲染，从而实现虚拟试戴。
需要说明的是，深度学习框架的出现降低了入门的门槛，用户不需要从复杂的神经网络开始编代码，用户可以根据需要选择已有的模型，通过训练得到模型参数，用户也可以在已有模型的基础上增加自己的layer，或者是在顶端选择自己需要的分类器和优化算法。不同的框架适用的领域不完全一致。总的来说深度学习框架提供了一些列的深度学习的组件，当需要使用新的算法的时候就需要用户自己去定义，然后调用深度学习框架的函数接口使用用户自定义的新算法。
具体的，本实施例方案中，所述步骤S4中，所述DIV眼镜模型包括各部分独立的眼镜零件；利用所述眼镜零件分别进行DIV组合和DIV绘制，结合从提取的人脸关键点数据所计算出的瞳距、脸宽、脸高的数据，进行匹配适合试戴的DIV眼镜模型，将所述DIV眼镜模型与人脸关键点数据所计算出的瞳距、脸宽、脸高的数据进行映射，加载到虚拟试戴实现展现效果。
具体的，本实施例方案中，所述步骤S1中，所述深度学习框架采用mobilenet或shufflenet或VGG或caffeNet的网格结构。
具体的，本实施例方案中，所述步骤S3中，所述瞳距包括左瞳距和右瞳距。
具体的，本实施例方案中，所述眼镜零件包括镜框、镜腿、鼻托和镜片；所述镜框、镜腿、鼻托和镜片分别用于所述DIV组合。需要说明的是，本发明DIV眼镜虚拟试戴技术主要通过AR/VR技术实现3D智能试戴效果，眼镜每一个部位零件都是一块独立的模块，可以实现从各零件模块进行DIV组合或者DIV绘制，再结合瞳距（左瞳距、右瞳距）、脸宽、脸高等测量数据智能化匹配为完整的眼镜。
具体的，本实施例方案中，所述DIV绘制中，用户可以添加自定义绘制的元素。
具体的，参照图1，首先，通过深度学习框架训练出人脸关键点检测模型，接着，通过人脸关键点检测模型进行人脸关键点检测；进一步地，选取指定的人脸关键点来计算瞳距、脸宽、脸高等数据；在选取指定的人脸关键点来计算瞳距、脸宽、脸高等数据的同时，选择需要的眼镜零件进行DIV组合和DIV绘制，完成DIV的眼镜模型；再接着，将眼镜模型与瞳距、脸宽、脸高等数据进行映射，识别图画面与眼镜模型对应渲染，实现试戴体验。本发明更加富有创新性的模拟虚拟试戴效果，不仅可以满足体验者智能化DIV眼镜，还可以解决眼镜工厂定制化容易造成库存积压的问题。
以上对本发明实施例所提供的技术方案进行了详细介绍，本文中应用了具体个例对本发明实施例的原理以及实施方式进行了阐述，以上实施例的说明只适用于帮助理解本发明实施例的原理；同时，对于本领域的一般技术人员，依据本发明实施例，在具体实施方式以及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (6)
1.一种基于虚拟试戴实现DIV眼镜的方法，其特征在于，包括以下步骤：
S1、利用深度学习框架训练出人脸关键点模型；
S2、利用人脸关键点模型检测定位出脸部的特征点的位置；得到人脸关键点数据；
S3、根据人脸关键点数据，分别计算出瞳距、脸宽和脸高的数据；
S4、通过当前识别图画面提取当前的人脸关键点，再结合当前的人脸关键点来定位DIV眼镜模型的位置姿态，当前识别图画面与DIV眼镜模型对应渲染，从而实现虚拟试戴。
2.根据权利要求1所述的一种基于虚拟试戴实现DIV眼镜的方法，其特征在于：所述步骤S4中，所述DIV眼镜模型包括各部分独立的眼镜零件；利用所述眼镜零件分别进行DIV组合和DIV绘制，结合从提取的人脸关键点数据所计算出的瞳距、脸宽、脸高的数据，进行匹配适合试戴的DIV眼镜模型，将所述DIV眼镜模型与人脸关键点数据所计算出的瞳距、脸宽、脸高的数据进行映射，加载到虚拟试戴实现展现效果。
3.根据权利要求1所述的一种基于虚拟试戴实现DIV眼镜的方法，其特征在于：所述步骤S1中，所述深度学习框架采用mobilenet或shufflenet或VGG或caffeNet的网格结构。
4.根据权利要求1所述的一种基于虚拟试戴实现DIV眼镜的方法，其特征在于：所述步骤S3中，所述瞳距包括左瞳距和右瞳距。
5.根据权利要求2所述的一种基于虚拟试戴实现DIV眼镜的方法，其特征在于：所述眼镜零件包括镜框、镜腿、鼻托和镜片；所述镜框、镜腿、鼻托和镜片分别用于所述DIV组合。
6.根据权利要求2所述的一种基于虚拟试戴实现DIV眼镜的方法，其特征在于：所述DIV绘制中，用户可以添加自定义绘制的元素。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110897737.8A CN113609986A (zh) | 2021-08-05 | 2021-08-05 | 一种基于虚拟试戴实现div眼镜的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110897737.8A CN113609986A (zh) | 2021-08-05 | 2021-08-05 | 一种基于虚拟试戴实现div眼镜的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113609986A true CN113609986A (zh) | 2021-11-05 |
Family
ID=78307195
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110897737.8A Pending CN113609986A (zh) | 2021-08-05 | 2021-08-05 | 一种基于虚拟试戴实现div眼镜的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113609986A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130088490A1 (en) * | 2011-04-04 | 2013-04-11 | Aaron Rasmussen | Method for eyewear fitting, recommendation, and customization using collision detection |
| CN104750933A (zh) * | 2015-04-03 | 2015-07-01 | 福建省纳金网信息技术有限公司 | 一种基于互联网的眼镜试戴方法及系统 |
| CN110648393A (zh) * | 2019-09-18 | 2020-01-03 | 广州智美科技有限公司 | 基于3d人脸模型的眼镜定制方法、装置和终端 |
| CN111815382A (zh) * | 2019-04-11 | 2020-10-23 | 苏州工其器智能科技有限公司 | 一种基于人脸识别技术的眼镜虚拟试戴方法 |
| CN113191843A (zh) * | 2021-04-28 | 2021-07-30 | 北京市商汤科技开发有限公司 | 模拟服饰试穿方法、装置、电子设备及存储介质 |
-
2021
- 2021-08-05 CN CN202110897737.8A patent/CN113609986A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130088490A1 (en) * | 2011-04-04 | 2013-04-11 | Aaron Rasmussen | Method for eyewear fitting, recommendation, and customization using collision detection |
| CN104750933A (zh) * | 2015-04-03 | 2015-07-01 | 福建省纳金网信息技术有限公司 | 一种基于互联网的眼镜试戴方法及系统 |
| CN111815382A (zh) * | 2019-04-11 | 2020-10-23 | 苏州工其器智能科技有限公司 | 一种基于人脸识别技术的眼镜虚拟试戴方法 |
| CN110648393A (zh) * | 2019-09-18 | 2020-01-03 | 广州智美科技有限公司 | 基于3d人脸模型的眼镜定制方法、装置和终端 |
| CN113191843A (zh) * | 2021-04-28 | 2021-07-30 | 北京市商汤科技开发有限公司 | 模拟服饰试穿方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hong et al. | Interactive virtual try-on based three-dimensional garment block design for disabled people of scoliosis type | |
| US7346421B2 (en) | Production of made to order clothing | |
| US7010146B2 (en) | Database constructing system | |
| Cvetkoska et al. | Smart mirror E-health assistant—Posture analyze algorithm proposed model for upright posture | |
| JP2012181688A (ja) | 情報処理装置、情報処理方法、情報処理システムおよびプログラム | |
| CN103413118B (zh) | 在线眼镜试戴方法 | |
| US8595257B1 (en) | System and method for identifying romantically compatible subjects | |
| CN108229268A (zh) | 表情识别及卷积神经网络模型训练方法、装置和电子设备 | |
| CA2399654A1 (en) | Method for matchmaking service | |
| JP2021168157A (ja) | 自動ショッピングアシスタントを使用したパーソナライズショッピングのためのシステム、プラットフォームおよび方法 | |
| US20230377012A1 (en) | System, platform and method for personalized shopping using an automated shopping assistant | |
| WO2006030600A1 (ja) | 肌解析ネットワークシステム | |
| Zhao et al. | Big data and digital design models for fashion design | |
| CN115803673A (zh) | 用于选择眼镜架的方法和设备 | |
| CN102376051A (zh) | 一种符合人体工学的电脑试戴配镜系统及其方法 | |
| Lee et al. | Emotion-Based Painting Image Display System. | |
| Yanagisawa et al. | Development of Interactive Industrial Design Support System Considering Customer's Evaluation (Shape Design of Eyeglass Frame) | |
| CN113609986A (zh) | 一种基于虚拟试戴实现div眼镜的方法 | |
| JP2020067720A (ja) | 人属性推定システム、それを利用する情報処理装置及び情報処理方法 | |
| CN110659594B (zh) | 一种基于AlphaPose的热舒适姿态估计方法 | |
| CN108962348A (zh) | 一种按摩椅智能化参数设置系统 | |
| CN112686739A (zh) | 一种个性化服装定制系统 | |
| Niu et al. | Multi-resolution shape description and clustering of three-dimensional head data | |
| CN113627083A (zh) | 一种基于虚拟试穿实现div衣服的方法 | |
| CN114333018A (zh) | 整形信息推荐方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |