CN113724302A - 一种个性化眼镜定制方法及定制系统 - Google Patents
一种个性化眼镜定制方法及定制系统 Download PDFInfo
- Publication number
- CN113724302A CN113724302A CN202111026500.9A CN202111026500A CN113724302A CN 113724302 A CN113724302 A CN 113724302A CN 202111026500 A CN202111026500 A CN 202111026500A CN 113724302 A CN113724302 A CN 113724302A
- Authority
- CN
- China
- Prior art keywords
- data
- image data
- glasses
- customized
- head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000011521 glass Substances 0.000 title claims abstract description 134
- 238000000034 method Methods 0.000 title claims abstract description 103
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 40
- 238000004088 simulation Methods 0.000 claims abstract description 33
- 238000007639 printing Methods 0.000 claims abstract description 5
- 238000001914 filtration Methods 0.000 claims description 21
- 238000004519 manufacturing process Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 239000000654 additive Substances 0.000 claims description 6
- 230000000996 additive effect Effects 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 claims description 4
- 230000002146 bilateral effect Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000010146 3D printing Methods 0.000 abstract description 4
- 210000003128 head Anatomy 0.000 description 66
- 210000001747 pupil Anatomy 0.000 description 11
- 210000001331 nose Anatomy 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 210000004209 hair Anatomy 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- ONIKNECPXCLUHT-UHFFFAOYSA-N 2-chlorobenzoyl chloride Chemical compound ClC(=O)C1=CC=CC=C1Cl ONIKNECPXCLUHT-UHFFFAOYSA-N 0.000 description 1
- 229910000838 Al alloy Inorganic materials 0.000 description 1
- 239000004677 Nylon Substances 0.000 description 1
- 229910001069 Ti alloy Inorganic materials 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- WHHGLZMJPXIBIX-UHFFFAOYSA-N decabromodiphenyl ether Chemical compound BrC1=C(Br)C(Br)=C(Br)C(Br)=C1OC1=C(Br)C(Br)=C(Br)C(Br)=C1Br WHHGLZMJPXIBIX-UHFFFAOYSA-N 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 208000001491 myopia Diseases 0.000 description 1
- 230000004379 myopia Effects 0.000 description 1
- 229920001778 nylon Polymers 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 210000001944 turbinate Anatomy 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G02—OPTICS
- G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
- G02C13/00—Assembling; Repairing; Cleaning
- G02C13/003—Measuring during assembly or fitting of spectacles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Geometry (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Human Resources & Organizations (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Optics & Photonics (AREA)
- Manufacturing & Machinery (AREA)
- Artificial Intelligence (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种个性化眼镜定制方法及定制系统，包括：获取第一图像数据与第二图像数据；将第一图像数据与第二图像数据进行配准，获得第一数据；基于第一数据与第二图像数据，创建第一模拟模型；基于第一模拟模型，识别第二数据；基于第一图像数据，采用多任务学习算法，识别第三数据；基于第二数据与第三数据，从数据库中匹配与待定制眼镜头部相对应的眼镜模型；通过3D打印的方法，打印眼镜。本发明有益效果为基于消费者头部的脸型、头、瞳距、鼻梁高低等特征属性，来匹配相对应尺寸的眼镜，实现了消费者眼镜的个性化定制，实现了对消费者佩戴的眼镜进行智能化推荐。
Description
技术领域
本发明涉及模型重建技术领域，具体而言，涉及一种个性化眼镜定制方法及定制系统。
背景技术
现有消费眼镜行业，存在一种严重的矛盾：一方面眼镜的内需市场非常巨大；另一方面，现有的眼镜设计制造却依然简单参照国外眼镜设计方法，设计过程中仍以西方头型特征为主，国内消费者花费高昂费用却依然买不到一副佩戴舒适的、适合消费者头部大小和个人喜好的眼镜。目前依靠传统的眼镜生产方式，无法满足适配每个消费者脸型、头围、瞳距对眼镜的不同尺寸的需求。
有鉴于此，特提出本申请。
发明内容
本发明所要解决的技术问题是现有技术的眼镜行业中，通过统一标准定制的眼镜与各个大小的头部进行佩戴，会出现佩戴不舒适等问题，目的在于提供一种个性化眼镜定制方法及定制系统，能够实现基于人体头部大小、尺寸、头围等多个不同的因素，对眼镜进行制作，实现和满足了消费者的个性化眼镜定制需求。
本发明通过下述技术方案实现：
一种个性化眼镜定制方法，定制方法步骤包括：
S1：获取第一图像数据与第二图像数据，所述第一图像数据与所述第二图像数据为基于同一角度进行获取的图像数据，所述第一图像数据为人体头部的RGB彩色图像数据，所述第二图像数据为人体头部的深度图像数据；
S2：将所述第一图像数据与所述第二图像数据进行配准，获得第一数据；
S3：基于第一数据与第二图像数据，采用物理3D重建方法，或基于第一图像数据，采用基于2D图像的3D重建方法，创建待定制眼镜头部的第一模拟模型；
S4：基于第一模拟模型，识别待定制眼镜头部的第二数据，所述第二数据为人体头部的特征点坐标；
S5：基于第一图像，采用多任务学习算法，识别待定制眼镜头部的第三数据，所述第三数据为待定制眼镜头部的属性数据；
S6：基于第二数据与第三数据，从数据库中匹配与待定制眼镜头部相对应的眼镜模型，所述数据库为不同尺寸、不同款式的眼镜；
S7：基于眼镜模型，采用增材制造技术方法，生产该眼镜。
传统配置眼镜行业中，均是通过在工厂采用统一制作的标准，制备出统一标准的眼镜框架，在对应的眼镜店进行售卖，采用这种方式进行眼镜配置的时候，往往会因为消费者头部、大小、头围等的不同，都配置的同一种标准的眼镜框架，头部大了会造成眼镜框架变形；头部小了，与眼镜框架不匹配；不正确的眼镜佩戴，会造成消费者的近视度数上升，严重影响消费者日常生活。本发明提供一种个性化眼镜定制方法，采用3D重建模型的技术，并基于消费者头部的属性特征来匹配相关尺寸大小眼镜模型，对消费者所需要进行佩戴的眼镜在虚拟网络上进行模拟匹配与佩戴，实现了消费者佩戴眼镜的个性化定制，且能够适应于各类眼镜消费者群体。
优选地，所述步骤S2的具体操作方法步骤为：
对第一图像数据以及第二图像数据进行噪声滤波处理，获得第一子图像数据与第二子图像数据；
将所述第一子图像数据与所述第二子图像数据采用时间配准或空间配准的方法，将所述第一子图像数据与所述第二子图像数据在时间点上相互对应，获得第一数据。
优选地，所述噪声滤波的具体方法为双边滤波或高斯滤波或条件滤波或直通滤波或随机采样一致滤波。
优选地，所述步骤S3中，基于第一数据与第二图像数据，采用物理3D重建方法创建待定制眼镜头部的第一模拟模型的具体方法步骤包括：
基于第一数据，创建图像坐标系，基于第二图像数据，创建相机坐标系；
基于图像坐标系与相机坐标系将所述第一数据转换为三维坐标，并基于点云方法库将第一数据转换为点云数据；
将点云数据进行点云配准，获得待定制眼镜头部的第一模拟模型。
优选地，所述步骤S3中，基于第一图像数据，采用基于2D图像的3D重建方法，创建待定制眼镜头部的第一模拟模型具体方法步骤为：基于获得的第一图像数据，采用神经网络训练方法，建立创建待定制眼镜头部的第一模拟模型。
优选地，所述步骤S4的具体操作方法步骤为：
将第一模拟模型中的点云三维坐标转换为图像坐标，获得第五图像数据，并采用预训练模型对所述第五图像数据的特征点识别，获得第二数据。
优选地，所述步骤S4的具体操作方法步骤为：
根据点云库数据，将第一模拟模型转换为点云格式数据，获得第四数据；
基于第四数据，采用三维目标检测方法对待定制眼镜头部的特征点进行识别，获得第二数据。
优选地，所述属性数据包括待定制眼镜头部的脸型、肤色、年龄、发型、胡须状态和长度以及微笑程度；
优选地，所述步骤S6的具体操作方法步骤包括：
基于第二数据，采用欧氏距离方法进行计算，获得第四数据，所述第四数据为需要匹配的眼镜的尺寸信息；
基于第三数据，获取眼镜款式热门程度p(f,i)，并基于所述第四数据，从数据库中匹配与待定制眼镜头部相对应的眼镜模型，p(f,i)为喜欢款式i的用于中具有特征f的比例，
所述热门程度p(f,i)具体的表达式为：
N(i)是喜欢物品i的用户集合，U(f)是具有特征f的用户集合，α为一个参数。
本发明还公开了一种个性化眼镜定制系统，包括
获取模块，用于获取第一图像数据与第二图像数据，所述第一图像数据与所述第二图像数据为基于同一角度进行获取的图像数据，所述第一图像数据为人体头部的RGB彩色图像数据，所述第二图像数据为人体头部的深度图像数据；
配准模块，用于将所述第一图像数据与所述第二图像数据进行配准，获得第一数据；
3D重建模块，用于基于第一数据与第二图像数据，采用物理3D重建方法，或基于第一图像数据，采用基于2D图像的3D重建方法，创建待定制眼镜头部的第一模拟模型；
第一识别模块，用于基于第一模拟模型，识别待定制眼镜头部的第二数据，所述第二数据为人体头部的特征点坐标；
第二识别模块，用于基于第一图像，采用多任务学习算法，识别待定制眼镜头部的第三数据，所述第三数据为待定制眼镜头部的属性数据；
匹配模块，用于基于第二数据与第三数据，从数据库中匹配与待定制眼镜头部相对应的眼镜模型，所述数据库为不同尺寸、不同款式的眼镜；
打印模块，用于基于眼镜模型，采用增材制造技术方法，生产该眼镜。
本发明与现有技术相比，具有如下的优点和有益效果：
1、本发明实施例提供的一种个性化眼镜定制方法及定制系统，基于各类眼镜消费者群体。头部的脸型、头、瞳距、鼻梁高低等特征属性，来匹配相对应尺寸的眼镜，实现了各类消费者群体眼镜的个性化定制；
2、本发明实施例提供的一种个性化眼镜定制方法及定制系统，实现了对各类消费者群体眼镜进行智能化推荐。
附图说明
为了更清楚地说明本发明示例性实施方式的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为个性化定制方法示意图；
图2为个性化定制系统示意图；
图3为图像坐标和相机坐标的关系示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
在以下描述中，为了提供对本发明的透彻理解阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。在其他实施例中，为了避免混淆本发明，未具体描述公知的结构、电路、材料或方法。
在整个说明书中，对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着：结合该实施例或示例描述的特定特征、结构或特性被包含在本本发明至少一个实施例中。因此，在整个说明书的各个地方出现的短语“一个实施例”、“实施例”、“一个示例”或“示例”不一定都指同一实施例或示例。此外，可以以任何适当的组合和、或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。此外，本领域普通技术人员应当理解，在此提供的示图都是为了说明的目的，并且示图不一定是按比例绘制的。这里使用的术语“和/或”包括一个或多个相关列出的项目的任何和所有组合。
在本发明的描述中，术语“前”、“后”、“左”、“右”、“上”、“下”、“竖直”、“水平”、“高”、“低”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制。
实施例一
本实施例公开了一种个性化眼镜定制方法，如图1所示，定制方法步骤包括：
S1：获取第一图像数据与第二图像数据，所述第一图像数据与所述第二图像数据为基于同一角度进行获取的图像数据，所述第一图像数据为人体头部的RGB彩色图像数据，所述第二图像数据为人体；
在本实施例的步骤中，图像采集主要是获取人体头部的RGB彩色图像，外加深度图像D，合起来就是RGBD图像，头部的深度图像数据，深度图像数据及立体的三维图像数据，因此本实施例采集的第一图像数据为平面图像数据，第二图像数据为立体的三维图像数据；
在本实施例中，采用的是LFED算法对人体头部进行检测，克服了基于anchor设计网络的缺点，LFFD是没有anchor的网络；LFFD检测速度和精度都是比较可观的；大量基于WIDER FACE和FDDB的实验，证明了LFFD在边缘设备上是有很大的优势的；该专利所描述的系统正是部署于边缘端设备，边缘设备的存储能力与算力均低于云端，因此要求人工智能模型的网络参数量较小。
S2：将所述第一图像数据与所述第二图像数据进行配准，获得第一数据；
所述步骤S2的具体操作方法步骤为：
对第一图像数据以及第二图像数据进行噪声滤波处理，获得第一子图像数据与第二子图像数据；对数据进行噪声处理，主要是去除数据中的散列点、孤立点等，常用的方法有双边滤波、高斯滤波、条件滤波、直通滤波、随机采样一致滤波等。
本实施例中，将所述第一子图像数据与所述第二子图像数据采用时间配准或空间配准的方法，将所述第一子图像数据与所述第二子图像数据在时间点上相互对应，获得第一数据。
时间配准方法：第一图像数据与第二图像数据分别使用两个模组采集，这里要保证使用的两个模组采集的图像数据在时间上是同步的，因此通过在摄像头上调整帧同步API进行严格的时间同步，上层的应用在调用摄像头API采集数据时要同时取出两组图像数据，要根据摄像头的输出规则获取到RGB数据跟深度数据。如摄像头输出的RGB数据跟深度数据的顺序为第一图像数据到第二图像数据，那么接收数据的规则就应该是第一图像数据到第二图像数据。一个循环就是一个完整的3D图像数据。
空间配准方法：因为模组的RGB摄像头跟深度摄像头在硬件上的安装位置可能存在偏移，摄像头的视角方向可能存在偏移，这时就需要对采集的图像数据进行偏移校准，使RGB图像上的每个点的坐标跟深度数据的每个点的坐标都一一对应。
S3：基于第一数据与第二图像数据，采用物理3D重建方法，或基于第一图像数据，采用基于2D图像的3D重建方法，创建待定制眼镜头部的第一模拟模型；
物理3D重建主要指利用硬件设备获取深度信息、RGB信息然后重建成3D模型，处理的数据是第一数据与第二图像数据，且第一数据与第二图像数据经过变换后会转换成点云数据的格式存储。
目前处理3D数据使用较多的是PCL(Point Cloud Library)库，支持多种操作系统平台，提供点云获取、滤波、分割、配准、检索、特征提取、识别、追踪、曲面重建、可视化等功能。物理3D重建过程一般为：点云数据生成到点云配准。
所述步骤S3中，基于第一数据与第二图像数据，采用物理3D重建方法创建待定制眼镜头部的第一模拟模型的具体方法步骤包括：
基于第一数据，创建图像坐标系，基于第二图像数据，创建相机坐标系；
基于第三图像数据创建的图像坐标系中，包括(u,v)像素坐标与(x,y)坐标系，相机坐标系包括(x,y,z)；
基于图像坐标系与相机坐标系将所述第一数据转换为三维坐标，并基于点云方法库将第一数据转换为点云数据；
因为(u,v)只代表像素的列数与行数，建立以物理单位表示的图像坐标系x-y。将相机光轴与图像平面的交点(一般位于图像平面的中心处)定义为该坐标系的原点O1，而且x轴与u轴平行，y轴与v轴平行，假设(u0,v0)代表O1在u-v坐标系下的坐标，dx与dy分别表示每个像素在横轴x和纵轴y上的物理尺寸，则图像中的每个像素在u-v坐标系中的坐标和在x-y坐标系中的坐标之间都存在如下的关系：
dx的单位为：毫米/像素，坐标表示为(x，y，z)，需要引入相机坐标，表示出z坐标的位置。需要将图像坐标系转换到相机坐标系中；
根据相似三角形的原理(三角形ABOc跟三角形oCOc相似，三角形PBOc跟三角形pCOc相似)，可以得出物理点的位置P点的坐标为：
Zc：深度信息
其中f为相机的焦距，Zc为深度信息。如图3所示，转换成矩阵的表达方式为：
将点云数据进行点云配准，获得待定制眼镜头部的第一模拟模型。
点云配准是将不同角度、不同时间获取的多帧3D图像叠加到同一个坐标系中，形成一组完整的点云数据，常用流程为首先粗配准，然后再精配准。常用的算法有使用PCL库中registration模块实现的SAC-IA算法、4PCS、或者根据要配准的目标使用SIFT、SURF等尺度不变换特征。
而精配准的算法有NDT算法、SSA算法、GA算法，本实施例中主要采用ICP算法，其本质上是基于最小二乘法的最优配准方法。ICP算法的流程为：寻找对应点：
一般在有初值的情况下，假设用初始的旋转平移矩阵对source cloud进行变换，得到的一个变换后的点云。然后将这个变换后的点云与target cloud进行比较，只要两个点云中存在距离小于一定阈值，就认为这两个点就是对应点；R、T优化：有了对应点之后，后面就是求解对应点平移矩阵的问题，平移矩阵分为旋转R与平移T两个部分，采用最小二乘等方法求解最优的旋转平移矩阵；迭代：优化得到了一个新的R与T，导致了一些点转换后的位置发生变化，一些最邻近点对也相应的发生了变化，重复步骤1，前两个步骤不停迭代进行，直到满足一些迭代终止条件。
所述步骤S3中，基于第一图像数据，采用基于2D图像的3D重建方法，创建待定制眼镜头部的第一模拟模型具体方法步骤为：基于获得的第一图像数据，采用神经网络训练方法，建立创建待定制眼镜头部的第一模拟模型。本实施例中，采用的神经网络方法为现有技术中采用的神经网络方法对2D图进行识别的过程。
2D图像其实是3D图像平面的影射，如果知道相机的方向和位置、光源的方向和位置可以反向计算得出3D的图像。根据相机的方向位置、光源的方向位置确定与否，有Shapefrom Shading、Shape from Silhouettes、Shape from DE-focus、Stereo matching等基于2D图像的3D重建算法；神经网络的2D图像3D重建的方法，由于神经网络的优势：精度高、实现相对简单，选取的模型有PRNet、3DDFA、face3D、2DASL、3DMM、VRNet、DECA、Deep3DfaceReconstruction、Nerfies等。
S4：基于第一模拟模型，识别待定制眼镜头部的第二数据，所述第二数据为人体头部的特征点坐标；
通过获得的第二数据，可以获取得到3D眼镜模型与3D人体头部模型组装时配合点与配合面的定位，包括左右“瞳孔”的三维坐标与眼镜镜片“焦点”的三维坐标；人体头部三维模型“上鼻甲”的三维坐标与3D眼镜模型“托叶”的三维坐标；人体头部三维模型“耳根”的三维坐标与3D眼镜模型“镜腿”开始弯曲处的三维坐标。
识别人体头部的特征点坐标主要是用于计算眼镜需要的尺寸信息以及计算3D眼镜模型和3D人体头部模型组装时配合点与配合面的定位，且识别的过程通过两种方案实现的：
进一步的，所述步骤S4的具体操作方法步骤为：
将第一模拟模型中的点云三维坐标转换为图像坐标，获得第五图像数据，并采用预训练模型对所述第五图像数据的特征点识别，获得第二数据。
将人体头部3D模型转变为2D图片，通过常用的人脸特征识别算法对2D图片进行识别，然后将像素坐标系的点映射到世界坐标系上，由于二维坐标映射到三维坐标会多了一个深度信息，因此二维点映射到三维坐标系，得到的是一条射线，但在人体头部3D模型中，射线与模型相交的点即可作为z坐标的值。此时我们将人体头部3D模型调整至正面，将3D坐标转换为2D坐标，采用预训练模型blazeface等对2D图像进行特征点识别，如：左右瞳孔、左右耳朵、左右眉毛、鼻子等关键特征点，并得到像素点坐标，然后逆向计算出3D坐标，即可得到3D人体头部模型的特征点坐标：左瞳孔(x1，y1，z1)、右瞳孔(x2，y2，z2)。
进一步的，所述步骤S4的具体操作方法步骤为：根据点云库数据，将第一模拟模型转换为点云格式数据，获得第四数据；基于第四数据，采用三维目标检测方法对待定制眼镜头部的特征点进行识别，获得第二数据。
将对人体头部3D模型的格式转换为点云格式，直接对点云数据进行人体头部特征点识别，将3D人体头部模型转换为点云格式。如果3D人体头部模型的格式是*.obj或者*.ply格式的，直接调用PCL库里的tool例如pcl_obj2pcd、pcl_ply2pcd即可完成转换；如果3D人体头部模型的格式是*.dae格式的，使用Assimp库，提取3D模型的meshes的顶点坐标和法向量，再转换为*.pcd文件；将3D模型转换为点云格式的数据后，使用VoxelNet等三维目标检测算法对人体头部特征点进行识别，即可得到3D人体头部模型的特征点坐标：左瞳孔(x1，y1，z1)、右瞳孔(x2，y2，z2)；利用目标识别模型识别出3D人体头部模型的特征点的三维坐标。
S5：基于第一图像，采用多任务学习算法，识别待定制眼镜头部的第三数据，所述第三数据为待定制眼镜头部的属性数据；通过模型预测出的人体头部面部属性值，可以辅助后面步骤的眼镜推荐系统对眼镜款式做出更精准合理的推荐，在本实施例中，多任务学习算法采用的是现有技术中的多任务学习算法对图像进行识别的。
人脸属性识别算法一般会根据人脸五官关键点坐标将人脸对齐，然后进行属性分析。常规的人体头部属性识别算法识别每一个人体头部属性时都是一个独立的过程，即人体头部属性识别只是对一类算法的统称，性别识别、年龄估算、姿态估计、表情识别等都是相互独立的算法。
所述属性数据包括待定制眼镜头部的脸型、肤色、年龄、发型、胡须状态和长度以及微笑程度。
S6：基于第二数据与第三数据，从数据库中匹配与待定制眼镜头部相对应的眼镜模型，所述数据库为不同尺寸、不同款式的眼镜；
通过人体头部属性模型可以获取到消费者的头部属性，如性别/脸型/肤色/年龄/发型等消费者外观，然后通过从大众审美角度去标注数据，让人工智能算法模型来学习，作为推荐系统冷启动的基本方案。物品冷启动的问题，我们会依赖于历史订单来做出统计分析，并纠正训练数据的标注规则，来提升新款眼镜推荐的合理性。
眼镜个性化智能推荐系统的主要功能是：从性别/脸型/肤色/年龄/发型等消费者外观特征维度使用推荐算法或规则进行眼镜款式和颜色的推荐，从瞳孔/鼻梁/耳朵等与眼镜设计相关的面部参数使用推荐算法或规则进行眼镜尺寸的推荐。
性别/脸型/肤色/年龄/发型等消费者外观特征的值，可以从性别/脸型/肤色/年龄/发型预测算法模型的预测输出值获得，瞳孔/鼻梁/耳朵等与眼镜设计相关的面部参数信息可以从瞳孔/鼻梁/耳朵等面部特征识别算法模型的输出值获得。在这里，性别/脸型/肤色/年龄/发型/瞳孔/鼻梁/耳朵作为特征，通过推荐算法获得了款式和尺寸这两个标签，款式由镜框和镜腿组成。
所述步骤S6的具体操作方法步骤包括：
基于第二数据，采用欧氏距离方法进行计算，获得第四数据，所述第四数据为需要匹配的眼镜的尺寸数据信息，包括眼镜中的眼镜腿、桩头、铰链等；尺寸信息的计算采用欧氏距离计算公式即可：(dx^2+dy^2+dz^2)^0.5，其中：dx、dy、dz是x、y、z的坐标差值，^2是平方，^0.5是开平方。
基于第三数据，获取眼镜款式热门程度p(f,i)，并基于所述第四数据，从数据库中匹配与待定制眼镜头部相对应的眼镜模型，p(f,i)为喜欢款式i的用于中具有特征f的比例，
所述热门程度p(f,i)具体的表达式为：
N(i)是喜欢物品i的用户集合，U(f)是具有特征f的用户集合，α为一个参数。
S7：基于眼镜模型，采用增材制造技术方法，生产该眼镜。
推荐的3D打印眼镜款式，选自于3D打印眼镜数据库中，数据库中的眼镜由镜框和镜腿两部分组成，数据库中存储的只是镜框和镜腿的编号，3D镜腿模型和3D镜框模型均存储在文件服务器上，文件可通过编号进行检索和加载。通过推荐算法预测出的款式获得镜框和镜腿标签编号，使用3D模型编辑器从文件服务器加载对应的镜框和镜腿的3D模型，利用推荐算法预测出的尺寸信息，对3D模型编辑器中眼镜的镜腿、镜框、镜片等组件进行尺寸上的修改与适配，让眼镜佩戴者从人体工学角度达到最舒适、最科学的戴镜体验。
且整个定制方法的特点在于：眼镜尺寸的智能推荐；眼镜款式的智能推荐；眼镜模型的智能生成；眼镜设计的自由组合；眼镜低成本3D打印生产。
本实施例提供的一种个性化眼镜定制方法，基于消费者头部的属性进行定制，实现了消费者的个性化眼镜定制方案。
实施例二
本实施例公开了一种个性化眼镜定制系统，如图2所示，本实施例是为了实现如实施例一种的个性化眼镜定值方法，系统包括
获取模块，用于获取第一图像数据与第二图像数据，所述第一图像数据与所述第二图像数据为基于同一角度进行获取的图像数据，所述第一图像数据为人体头部的RGB彩色图像数据，所述第二图像数据为人体头部的深度图像数据；
获取的深度图像数据有3D结构光、TOF、双目摄像头等，本实施例中采用的是3D结构光进行获取的，包括IR红外光发射模组：用于发射经过特殊调制的不可见红外光至拍摄物体；IR红外接收模组：接收由被拍摄物体反射回来的不可见红外光,追踪每一个光斑偏移。对比收发两端的不同追踪光点的偏移位置，从而获取物体表面的景深信息；3、镜头模组：采用普通镜头模组，用于2D彩色图片拍摄。
配准模块，用于将所述第一图像数据与所述第二图像数据进行配准，获得第一数据，第一数据为经过配准算法(ICP算法、NDT算法、SSA算法、GA算法)等进行配准后，生成的已完成配准的点云数据，就是3D人体头部模型数据；
3D重建模块，用于基于第一数据与第二图像数据，采用物理3D重建方法，或基于第一图像数据，采用基于2D图像的3D重建方法，创建待定制眼镜头部的第一模拟模型；
第一识别模块，用于基于第一模拟模型，识别待定制眼镜头部的第二数据，所述第二数据为人体头部的特征点坐标；
第二识别模块，用于基于第一图像，采用多任务学习算法，识别待定制眼镜头部的第三数据，所述第三数据为待定制眼镜头部的属性数据，这里的多任务学习算法为Multi-Task Learning as Multi-Objective Optimization等多任务学习算法；
匹配模块，用于基于第二数据与第三数据，从数据库中匹配与待定制眼镜头部相对应的眼镜模型，所述数据库为不同尺寸、不同款式的眼镜；第二数据与第三数据，是输入到推荐系统中，推荐系统完成眼镜款式和尺寸的推荐，返回值可以用于数据库的索引，基于第二数据与第三数据是无法直接从数据库中进行匹配和检索的；
打印模块，用于基于眼镜模型，采用增材制造技术方法，生产该眼镜。生产的眼镜模型包括眼镜框架、眼镜腿、桩头、铰链等部件由3D打印生产制造；3D眼镜模型的生产信息一般会包括以下几部分：3D眼镜模型文件(*.stp/*.stl格式)、3D眼镜模型的尺寸参数信息、3D眼镜模型的不同部件的材质信息(尼龙/钛合金/铝合金等)。消费者选定自己喜欢的眼镜后，我们将3D眼镜模型文件、参数信息、对应的材料输入3D打印机，打印完成后进行眼镜的装配与后处理工艺，即可完成眼镜的生产制造。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种个性化眼镜定制方法，其特征在于，定制方法步骤包括：
S1：获取第一图像数据与第二图像数据，所述第一图像数据与所述第二图像数据为基于同一角度进行获取的图像数据，所述第一图像数据为人体头部的RGB彩色图像数据，所述第二图像数据为人体头部的深度图像数据；
S2：将所述第一图像数据与所述第二图像数据进行配准，获得第一数据；
S3：基于第一数据与第二图像数据，采用物理3D重建方法，或基于第一图像数据，采用基于2D图像的3D重建方法，创建待定制眼镜头部的第一模拟模型；
S4：基于第一模拟模型，识别待定制眼镜头部的第二数据，所述第二数据为人体头部的特征点坐标；
S5：基于第一图像数据，采用多任务学习算法，识别待定制眼镜头部的第三数据，所述第三数据为待定制眼镜头部的属性数据；
S6：基于第二数据与第三数据，从数据库中匹配与待定制眼镜头部相对应的眼镜模型，所述数据库为不同尺寸、不同款式的眼镜；
S7：基于眼镜模型，采用增材制造技术方法，生产该眼镜。
2.根据权利要求1所述的一种个性化眼镜定制方法，其特征在于，所述步骤S2的具体操作方法步骤为：
对第一图像数据以及第二图像数据进行噪声滤波处理，获得第一子图像数据与第二子图像数据；
将所述第一子图像数据与所述第二子图像数据采用时间配准或空间配准的方法，将所述第一子图像数据与所述第二子图像数据在时间点上相互对应，获得第一数据。
3.根据权利要求2所述的一种个性化眼镜定制方法，其特征在于，所述噪声滤波的具体方法为双边滤波或高斯滤波或条件滤波或直通滤波或随机采样一致滤波。
4.根据权利要求1所述的一种个性化眼镜定制方法，其特征在于，所述步骤S3中，基于第一数据与第二图像数据，采用物理3D重建方法创建待定制眼镜头部的第一模拟模型的具体方法步骤包括：
基于第一数据，创建图像坐标系，基于第二图像数据，创建相机坐标系；
基于图像坐标系与相机坐标系将所述第一数据转换为三维坐标，并基于点云方法库将第一数据转换为点云数据；
将点云数据进行点云配准，获得待定制眼镜头部的第一模拟模型。
5.根据权利要求1所述的一种个性化眼镜定制方法，其特征在于，所述步骤S3中，基于第一图像数据，采用基于2D图像的3D重建方法，创建待定制眼镜头部的第一模拟模型具体方法步骤为：基于获得的第一图像数据，采用神经网络训练方法，建立创建待定制眼镜头部的第一模拟模型。
6.根据权利要求1所述的一种个性化眼镜定制方法，其特征在于，所述步骤S4的具体操作方法步骤为：
将第一模拟模型中的点云三维坐标转换为图像坐标，获得第五图像数据，并采用预训练模型对所述第五图像数据的特征点识别，获得第二数据。
7.根据权利要求1所述的一种个性化眼镜定制方法，其特征在于，所述步骤S4的具体操作方法步骤为：
根据点云库数据，将第一模拟模型转换为点云格式数据，获得第四数据；
基于第四数据，采用三维目标检测方法对待定制眼镜头部的特征点进行识别，获得第二数据。
8.根据权利要求1所述的一种个性化眼镜定制方法，其特征在于，所述属性数据包括待定制眼镜头部的脸型、肤色、年龄、发型、胡须状态和长度以及微笑程度。
9.根据权利要求1所述的一种个性化眼镜定制方法，其特征在于，所述步骤S6的具体操作方法步骤包括：
基于第二数据，采用欧氏距离方法进行计算，获得第四数据，所述第四数据为需要匹配的眼镜的尺寸信息；
基于第三数据，获取眼镜款式热门程度p(f,i)，并基于所述第四数据，从数据库中匹配与待定制眼镜头部相对应的眼镜模型，p(f,i)为喜欢款式i的用于中具有特征f的比例，
所述热门程度p(f,i)具体的表达式为：
N(i)是喜欢物品i的用户集合，U(f)是具有特征f的用户集合，α为一个参数。
10.一种个性化眼镜定制系统，其特征在于，包括
获取模块，用于获取第一图像数据与第二图像数据，所述第一图像数据与所述第二图像数据为基于同一角度进行获取的图像数据，所述第一图像数据为人体头部的RGB彩色图像数据，所述第二图像数据为人体头部的深度图像数据；
配准模块，用于将所述第一图像数据与所述第二图像数据进行配准，获得第一数据；
3D重建模块，用于基于第一数据与第二图像数据，采用物理3D重建方法，或基于第一图像数据，采用基于2D图像的3D重建方法，创建待定制眼镜头部的第一模拟模型；
第一识别模块，用于基于第一模拟模型，识别待定制眼镜头部的第二数据，所述第二数据为人体头部的特征点坐标；
第二识别模块，用于基于第一图像，采用多任务学习算法，识别待定制眼镜头部的第三数据，所述第三数据为待定制眼镜头部的属性数据；
匹配模块，用于基于第二数据与第三数据，从数据库中匹配与待定制眼镜头部相对应的眼镜模型，所述数据库为不同尺寸、不同款式的眼镜；
打印模块，用于基于眼镜模型，采用增材制造技术方法，生产该眼镜。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111026500.9A CN113724302B (zh) | 2021-09-02 | 2021-09-02 | 一种个性化眼镜定制方法及定制系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111026500.9A CN113724302B (zh) | 2021-09-02 | 2021-09-02 | 一种个性化眼镜定制方法及定制系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113724302A true CN113724302A (zh) | 2021-11-30 |
| CN113724302B CN113724302B (zh) | 2024-03-29 |
Family
ID=78681074
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111026500.9A Active CN113724302B (zh) | 2021-09-02 | 2021-09-02 | 一种个性化眼镜定制方法及定制系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113724302B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115673011A (zh) * | 2022-10-24 | 2023-02-03 | 江阴市圣曼不锈钢线棒品有限公司 | 眼镜边框所用不锈钢丝自适应定制系统及方法 |
| CN116228763A (zh) * | 2023-05-08 | 2023-06-06 | 成都睿瞳科技有限责任公司 | 用于眼镜打印的图像处理方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104809638A (zh) * | 2015-05-20 | 2015-07-29 | 成都通甲优博科技有限责任公司 | 一种基于移动终端的眼镜虚拟试戴方法和系统 |
| CN106910102A (zh) * | 2016-07-25 | 2017-06-30 | 湖南拓视觉信息技术有限公司 | 眼镜虚拟试戴方法及装置 |
| CN108490641A (zh) * | 2018-02-14 | 2018-09-04 | 天目爱视（北京）科技有限公司 | 基于3d头部数据的眼镜自动设计系统 |
| CN108490642A (zh) * | 2018-02-14 | 2018-09-04 | 天目爱视（北京）科技有限公司 | 基于3d头部数据的眼镜自动设计方法 |
-
2021
- 2021-09-02 CN CN202111026500.9A patent/CN113724302B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104809638A (zh) * | 2015-05-20 | 2015-07-29 | 成都通甲优博科技有限责任公司 | 一种基于移动终端的眼镜虚拟试戴方法和系统 |
| CN106910102A (zh) * | 2016-07-25 | 2017-06-30 | 湖南拓视觉信息技术有限公司 | 眼镜虚拟试戴方法及装置 |
| CN108490641A (zh) * | 2018-02-14 | 2018-09-04 | 天目爱视（北京）科技有限公司 | 基于3d头部数据的眼镜自动设计系统 |
| CN108490642A (zh) * | 2018-02-14 | 2018-09-04 | 天目爱视（北京）科技有限公司 | 基于3d头部数据的眼镜自动设计方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115673011A (zh) * | 2022-10-24 | 2023-02-03 | 江阴市圣曼不锈钢线棒品有限公司 | 眼镜边框所用不锈钢丝自适应定制系统及方法 |
| CN116228763A (zh) * | 2023-05-08 | 2023-06-06 | 成都睿瞳科技有限责任公司 | 用于眼镜打印的图像处理方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113724302B (zh) | 2024-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112462533B (zh) | 用于眼镜架的虚拟配适的方法、设备和计算机程序 | |
| CN107408315B (zh) | 用于实时、物理准确且逼真的眼镜试戴的流程和方法 | |
| KR101821284B1 (ko) | 커스텀 제품을 생성하기 위한 방법 및 시스템 | |
| US9317973B2 (en) | Augmented reality method applied to the integration of a pair of spectacles into an image of a face | |
| US6944327B1 (en) | Method and system for selecting and designing eyeglass frames | |
| US11562536B2 (en) | Methods and systems for personalized 3D head model deformation | |
| JP2023516678A (ja) | マルチビュー画像からのエンドツーエンド場面再構築のためのシステムおよび方法 | |
| CN113724302B (zh) | 一种个性化眼镜定制方法及定制系统 | |
| US11587288B2 (en) | Methods and systems for constructing facial position map | |
| JP7462120B2 (ja) | ２次元（２ｄ）顔画像から色を抽出するための方法、システム及びコンピュータプログラム | |
| CN111815768B (zh) | 三维人脸重建方法和装置 | |
| KR20230110787A (ko) | 개인화된 3d 머리 및 얼굴 모델들을 형성하기 위한 방법들 및 시스템들 | |
| Liao et al. | Rapid 3D face reconstruction by fusion of SFS and Local Morphable Model | |
| CN113744411A (zh) | 图像处理方法及装置、设备、存储介质 | |
| Kang et al. | Eyeglass Remover Network based on a Synthetic Image Dataset. | |
| KR101436730B1 (ko) | 능동적 외양 모델을 이용한 비학습 얼굴의 3차원 얼굴 피팅 방법 | |
| CN114730101B (zh) | 使用面部特征的3d扫描来调整库存眼镜框架的系统和方法 | |
| JP2024503548A (ja) | ビデオストリームにおいて、眼鏡を装着している個人の顔を検出および追跡するための方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |