CN112883919A - 一种基于人脸特征增强匹配的眼镜选配方法及装置 - Google Patents

一种基于人脸特征增强匹配的眼镜选配方法及装置 Download PDF

Info

Publication number
CN112883919A
CN112883919A CN202110303497.4A CN202110303497A CN112883919A CN 112883919 A CN112883919 A CN 112883919A CN 202110303497 A CN202110303497 A CN 202110303497A CN 112883919 A CN112883919 A CN 112883919A
Authority
CN
China
Prior art keywords
matching
glasses
face
image
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110303497.4A
Other languages
English (en)
Inventor
李毅
宋根龙
叶修梓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wenzhou University
Original Assignee
Wenzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wenzhou University filed Critical Wenzhou University
Priority to CN202110303497.4A priority Critical patent/CN112883919A/zh
Publication of CN112883919A publication Critical patent/CN112883919A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于人脸特征增强匹配的眼镜选配方法，包括获取人脸信息图像，并对人脸信息图像进行人脸检测，以得到目标人脸图像，且进一步对目标人脸图像进行特征点提取及对齐处理，使目标人脸图像转化为特征点形式图像；基于特征点形式图像中各特征点的位置，导入相应的眼镜素材模型并进行特征点位置匹配，且进一步调整眼镜素材模型的大小及位置，以得到与特征点最优匹配的眼镜。实施本发明，通过虚拟仿真技术与人脸识别技术结合，将虚拟化的眼镜模型在人脸适合位置显示出来并产生融合效果，从而实现眼镜的个性化选配。

Description

一种基于人脸特征增强匹配的眼镜选配方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于人脸特征增强匹配的眼镜选配方法及装置。
背景技术
随着时代的发展，增强现实通过多媒体技术、实时跟踪和注册、场景融合等技术已经广泛应用于教育教学、游戏娱乐、医疗医学以及军事训练等各个领域。例如，教育教学领域，利用增强现实技术将课本知识三维立体化，带给读者不一样的视觉感受，从而更加有利于读者对于知识的理解；又如，游戏娱乐领域，增强现实技术将玩家、现实环境以及游戏中的虚拟物体关联起来，带给玩家新颖奇特的游戏体验；又如，医疗医学领域，增强现实以其较好的虚实结合技术、实时交互能力、三维空间中添加虚拟物体等优点成为医疗医学领域的新兴技术；又如，军事训练领域，利用增强现实技术构建的训练模型系统，既能够反映真实世界的基本特征，又能够将真实世界中不存在的各种要素以虚拟方式叠加到真实世界中，从而构造出了一种超越真实的模拟训练环境。
当前，诸多增强现实的应用领域中，存在着不少以用户面部为主要增强对象的应用，即利用人脸识别技术，在人的面部呈现出增强现实的效果(可移动化虚拟化妆销售平台、人脸修图、人脸卡通化等)，都很好的结合了人脸识别和增强现实技术，推动了这类技术的进一步发展。
目前，人们主要通过在眼镜店试戴不同款的眼镜来选择适合自己的眼镜，但是由于眼镜种类越来越多，从而使得传统试配方法非常不便，同时也没有与增强现实技术相结合。
因此针对上述问题，亟需一种增强现实的个性化眼镜选配方法，通过对现实世界中的真实眼镜进行模拟仿真，并与人脸识别技术提取的人脸特征点相结合，将虚拟化的眼镜模型在人脸适合位置显示出来并产生融合效果，实现眼镜的个性化选配。
发明内容
本发明实施例所要解决的技术问题在于，提供一种基于人脸特征增强匹配的眼镜选配方法及装置，通过虚拟仿真技术与人脸识别技术结合，将虚拟化的眼镜模型在人脸适合位置显示出来并产生融合效果，从而实现眼镜的个性化选配。
为了解决上述技术问题，本发明实施例提供了一种基于人脸特征增强匹配的眼镜选配方法，所述方法包括以下步骤：
S1、获取人脸信息图像，并对所述人脸信息图像进行人脸检测，以得到目标人脸图像，且进一步对所述目标人脸图像进行特征点提取及对齐处理，使所述目标人脸图像转化为特征点形式图像；
S2、基于所述特征点形式图像中各特征点的位置，导入相应的眼镜素材模型并进行特征点位置匹配，且进一步调整所述眼镜素材模型的大小及位置，以得到与特征点最优匹配的眼镜。
其中，所述步骤S1包括：
获取人脸信息图像，并通过预设的级联分类器对所述人脸信息图像进行人脸检测，得到所述目标人脸图像；
采用预设的人脸特征点提取技术，对所述目标人脸图像中已检测到的人脸区域进行特征点提取；
对已完成特征点检测的目标人脸图像进行对齐处理，使所述目标人脸图像转化为特征点形式图像并与所述目标人脸图像中基准人脸相对齐。
其中，所述预设的级联分类器通过公式(1)来实现；其中，
Figure BDA0002987208090000021
Ci表示第i个分类器；x代表特征向量；f代表分类得分；每个Ci会根据分类方法对x输出一个分类结果，用以判断是不是人脸区域。
其中，所述步骤S2包括：
通过预设的相似变换公式，确定每两个特征点之间的相似变换矩阵，并根据所述相似变换矩阵，得到所述特征点形式图像中各特征点的位置；
基于所述特征点形式图像中各特征点的位置，导入相应的眼镜素材模型并进行特征点位置匹配，且待计算出所述眼镜素材模型的特征点坐标之后，计算所述眼镜素材模型的特征点距离及相应的适合尺寸，进一步调整所述眼镜素材模型的适合尺寸，以达到与特征点最佳匹配效果，使之实现增强现实的个性化眼镜。
其中，所述预设的相似变换公式为
Figure BDA0002987208090000031
和
Figure BDA0002987208090000032
其中，R是旋转矩阵，t是平移矢量，s是缩放尺度。
其中，通过公式
Figure BDA0002987208090000033
计算出所述眼镜素材模型的特征点距离；其中，(x1,y1)、(x2,y2)为所述眼镜素材模型中两个特征点的坐标，d为所述眼镜素材模型的特征点距离。
其中，通过公式size＝d/(width×height)，计算出所述眼镜素材模型特征点距离的适合尺寸；其中，size为所述眼镜素材模型特征点距离的适合尺寸；width和height为所述眼镜素材模型的原始尺寸。
本发明实施例提供了一种基于人脸特征增强匹配的眼镜选配装置，包括：
人脸特征点标定单元，用于获取人脸信息图像，并对所述人脸信息图像进行人脸检测，以得到目标人脸图像，且进一步对所述目标人脸图像进行特征点提取及对齐处理，使所述目标人脸图像转化为特征点形式图像；
增强现实模型位置匹配单元，用于基于所述特征点形式图像中各特征点的位置，导入相应的眼镜素材模型并进行特征点位置匹配，且进一步调整所述眼镜素材模型的大小及位置，以得到与特征点最优匹配的眼镜。
其中，所述人脸特征点标定单元包括：
人脸检测模块，用于获取人脸信息图像，并通过预设的级联分类器对所述人脸信息图像进行人脸检测，得到所述目标人脸图像；
人脸特征点提取模块，用于采用预设的人脸特征点提取技术，对所述目标人脸图像中已检测到的人脸区域进行特征点提取；
人脸特征点标定模块，用于对已完成特征点检测的目标人脸图像进行对齐处理，使所述目标人脸图像转化为特征点形式图像并与所述目标人脸图像中基准人脸相对齐。
其中，所述增强现实模型位置匹配单元包括：
特征点位置标定模块，用于通过预设的相似变换公式，确定每两个特征点之间的相似变换矩阵，并根据所述相似变换矩阵，得到所述特征点形式图像中各特征点的位置；
特征点位置匹配模块，用于基于所述特征点形式图像中各特征点的位置，导入相应的眼镜素材模型并进行特征点位置匹配，且待计算出所述眼镜素材模型的特征点坐标之后，计算所述眼镜素材模型的特征点距离及相应的适合尺寸，进一步调整所述眼镜素材模型的适合尺寸，以达到与特征点最佳匹配效果，使之实现增强现实的个性化眼镜。
实施本发明实施例，具有如下有益效果：
本发明针对人的脸部特征采用了人脸识别技术，能够准确的定位人脸的形状特征，在获得人脸的特征点之后，根据人脸特征进行眼镜素材模型位置增强绑定，并对眼镜素材模型进行人脸特征点匹配的操作及调整，从而通过虚拟仿真技术与人脸识别技术结合，将虚拟化的眼镜模型在人脸适合位置显示出来并产生融合效果，能够针对不同种类的眼镜以及不同类型人的面部，实现动态人脸的眼镜匹配呈现，达到眼镜的个性化选配目的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，根据这些附图获得其他的附图仍属于本发明的范畴。
图1为本发明实施例提供的一种基于人脸特征增强匹配的眼镜选配方法的流程图；
图2为本发明实施例中提供的一种基于人脸特征增强匹配的眼镜选配方法的步骤S1中正面特征点提取的应用场景图；
图3为本发明实施例中提供的一种基于人脸特征增强匹配的眼镜选配方法的步骤S1中偏移一定角度的特征点提取的应用场景图；
图4为本发明实施例中提供的一种基于人脸特征增强匹配的眼镜选配方法的步骤S2中实时增强眼镜匹配生成图；
图5为本发明实施例提供的一种基于人脸特征增强匹配的眼镜选配装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。
如图1所示，为本发明实施例中，提供的一种基于人脸特征增强匹配的眼镜选配方法，所述方法包括以下步骤：
步骤S1、获取人脸信息图像，并对所述人脸信息图像进行人脸检测，以得到目标人脸图像，且进一步对所述目标人脸图像进行特征点提取及对齐处理，使所述目标人脸图像转化为特征点形式图像；
具体过程为，首先，获取摄像头所采集到的人脸信息图像，并通过预设的级联分类器对人脸信息图像进行人脸检测，得到目标人脸图像。
其次，采用预设的人脸特征点提取技术，对目标人脸图像中已检测到的人脸区域进行特征点提取；预设的级联分类器通过公式(1)来实现；其中，
Figure BDA0002987208090000051
Ci表示第i个分类器；x代表特征向量；f代表分类得分；每个Ci会根据分类方法对x输出一个分类结果，用以判断是不是人脸区域。
最后，对已完成特征点检测的目标人脸图像进行对齐处理，使目标人脸图像转化为特征点形式图像并与目标人脸图像中基准人脸相对齐。
在一个实施例中，采用dlib库来实现人脸识别，是因为Dlib库是一个第三方库，能够实现人脸检测和识别，其算法采用的是HOG特征与级联分类器，可以快速的进行精确的人脸标记，包括半侧脸和一些模糊的脸型，能够很好的满足需求。
首先，通过dlib库实现人脸特征点提取；其次，通过Dlib库提供的分类器文件，运用landmark人脸特征点提取技术对目标人脸图像中已检测到的人脸区域进行特征点提取，可以提取到人脸的68个特征点的位置信息，如图2和图3所示(左为原图，右为特征点提取图)；接着，对已完成特征点检测的目标人脸图像进行对齐处理，使得目标人脸图像变化成特征点形式图像，并且将其对齐到基准人脸上；最后，将特征点形式的人脸图像放入人脸数据集进行遍历对比，完成人脸识别。
步骤S2、基于所述特征点形式图像中各特征点的位置，导入相应的眼镜素材模型并进行特征点位置匹配，且进一步调整所述眼镜素材模型的大小及位置，以得到与特征点最优匹配的眼镜。
具体过程为，首先通过预设的相似变换公式，确定每两个特征点之间的相似变换矩阵，并根据相似变换矩阵，得到特征点形式图像中各特征点的位置；其中，相似变换公式为
Figure BDA0002987208090000061
和
Figure BDA0002987208090000062
Figure BDA0002987208090000063
其中，R是旋转矩阵，t是平移矢量，s是缩放尺度。
其次，基于特征点形式图像中各特征点的位置，导入相应的眼镜素材模型并进行特征点位置匹配，且待计算出眼镜素材模型的特征点坐标之后，计算眼镜素材模型的特征点距离及相应的适合尺寸，进一步调整眼镜素材模型的适合尺寸，以达到与特征点最佳匹配效果，使之实现增强现实的个性化眼镜。
其中，通过公式
Figure BDA0002987208090000064
计算出眼镜素材模型的特征点距离；其中，(x1,y1)、(x2,y2)为眼镜素材模型中两个特征点的坐标，d为眼镜素材模型的特征点距离。
其中，通过公式size＝d/(width×height)，计算出眼镜素材模型特征点距离的适合尺寸；其中，size为所述眼镜素材模型特征点距离的适合尺寸；width和height为所述眼镜素材模型的原始尺寸。
在一个实施例中，首先由相似变换公式(2)和(3)，对每两个特征点计算它们之间的相似变换矩阵，并由相似变换矩阵得到目标人脸图像的区域rect坐标以及与所要对齐到基准人脸图像之间的缩放系数等重要基础数据。
其次，利用图像处理技术进行人脸特征点匹配个性化眼镜的操作。其中，本发明采用Python中的PIL(Python Image Library)图像处理模块来对人脸识别之后的特征点匹配眼镜的效果进行实现。PIL是计算机程序设计语言Python的图像处理标准库，具有很好的图像处理能力。同时，PIL库支持图像存储、显示和处理，它能够处理几乎所有的图片格式，可以完成对图像的缩放、裁剪、叠加以及向图像中添加线条、图像和文字等操作。
根据人脸识别过程中得到的区域rect坐标，确定匹配眼镜素材模型的特征点坐标，通过
Figure BDA0002987208090000071
计算眼镜素材模型的特征点距离；再根据size＝d/(width×height)(5)，计算眼镜素材模型匹配特征点距离的适合尺寸；然后通过resize方法，将眼镜素材模型根据计算出的适合尺寸进行重新调整，以达到与特征点匹配的最佳效果；最后利用paste方法对眼镜素材模型与特征点进行匹配，并根据效果进行调整，使之实现增强现实的个性化眼镜的选配实现，如图4所示。
如图5所示，为本发明实施例中，提供的一种基于人脸特征增强匹配的眼镜选配装置，包括：
人脸特征点标定单元110，用于获取人脸信息图像，并对所述人脸信息图像进行人脸检测，以得到目标人脸图像，且进一步对所述目标人脸图像进行特征点提取及对齐处理，使所述目标人脸图像转化为特征点形式图像；
增强现实模型位置匹配单元120，用于基于所述特征点形式图像中各特征点的位置，导入相应的眼镜素材模型并进行特征点位置匹配，且进一步调整所述眼镜素材模型的大小及位置，以得到与特征点最优匹配的眼镜。
其中，所述人脸特征点标定单元110包括：
人脸检测模块，用于获取人脸信息图像，并通过预设的级联分类器对所述人脸信息图像进行人脸检测，得到所述目标人脸图像；
人脸特征点提取模块，用于采用预设的人脸特征点提取技术，对所述目标人脸图像中已检测到的人脸区域进行特征点提取；
人脸特征点标定模块，用于对已完成特征点检测的目标人脸图像进行对齐处理，使所述目标人脸图像转化为特征点形式图像并与所述目标人脸图像中基准人脸相对齐。
其中，所述增强现实模型位置匹配单元120包括：
特征点位置标定模块，用于通过预设的相似变换公式，确定每两个特征点之间的相似变换矩阵，并根据所述相似变换矩阵，得到所述特征点形式图像中各特征点的位置；
特征点位置匹配模块，用于基于所述特征点形式图像中各特征点的位置，导入相应的眼镜素材模型并进行特征点位置匹配，且待计算出所述眼镜素材模型的特征点坐标之后，计算所述眼镜素材模型的特征点距离及相应的适合尺寸，进一步调整所述眼镜素材模型的适合尺寸，以达到与特征点最佳匹配效果，使之实现增强现实的个性化眼镜。
实施本发明实施例，具有如下有益效果：
本发明针对人的脸部特征采用了人脸识别技术，能够准确的定位人脸的形状特征，在获得人脸的特征点之后，根据人脸特征进行眼镜素材模型位置增强绑定，并对眼镜素材模型进行人脸特征点匹配的操作及调整，从而通过虚拟仿真技术与人脸识别技术结合，将虚拟化的眼镜模型在人脸适合位置显示出来并产生融合效果，能够针对不同种类的眼镜以及不同类型人的面部，实现动态人脸的眼镜匹配呈现，达到眼镜的个性化选配目的。
值得注意的是，上述装置实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种基于人脸特征增强匹配的眼镜选配方法，其特征在于，所述方法包括以下步骤：
S1、获取人脸信息图像，并对所述人脸信息图像进行人脸检测，以得到目标人脸图像，且进一步对所述目标人脸图像进行特征点提取及对齐处理，使所述目标人脸图像转化为特征点形式图像；
S2、基于所述特征点形式图像中各特征点的位置，导入相应的眼镜素材模型并进行特征点位置匹配，且进一步调整所述眼镜素材模型的大小及位置，以得到与特征点最优匹配的眼镜。
2.如权利要求1所述的基于人脸特征增强匹配的眼镜选配方法，其特征在于，所述步骤S1包括：
获取人脸信息图像，并通过预设的级联分类器对所述人脸信息图像进行人脸检测，得到所述目标人脸图像；
采用预设的人脸特征点提取技术，对所述目标人脸图像中已检测到的人脸区域进行特征点提取；
对已完成特征点检测的目标人脸图像进行对齐处理，使所述目标人脸图像转化为特征点形式图像并与所述目标人脸图像中基准人脸相对齐。
3.如权利要求2所述的基于人脸特征增强匹配的眼镜选配方法，其特征在于，所述预设的级联分类器通过公式(1)来实现；其中，
Figure FDA0002987208080000011
Ci表示第i个分类器；x代表特征向量；f代表分类得分；每个Ci会根据分类方法对x输出一个分类结果，用以判断是不是人脸区域。
4.如权利要求1所述的基于人脸特征增强匹配的眼镜选配方法，其特征在于，所述步骤S2包括：
通过预设的相似变换公式，确定每两个特征点之间的相似变换矩阵，并根据所述相似变换矩阵，得到所述特征点形式图像中各特征点的位置；
基于所述特征点形式图像中各特征点的位置，导入相应的眼镜素材模型并进行特征点位置匹配，且待计算出所述眼镜素材模型的特征点坐标之后，计算所述眼镜素材模型的特征点距离及相应的适合尺寸，进一步调整所述眼镜素材模型的适合尺寸，以达到与特征点最佳匹配效果，使之实现增强现实的个性化眼镜。
5.如权利要求1所述的基于人脸特征增强匹配的眼镜选配方法，其特征在于，所述预设的相似变换公式为
Figure FDA0002987208080000021
和
Figure FDA0002987208080000022
其中，R是旋转矩阵，t是平移矢量，s是缩放尺度。
6.如权利要求5所述的基于人脸特征增强匹配的眼镜选配方法，其特征在于，通过公式
Figure FDA0002987208080000023
计算出所述眼镜素材模型的特征点距离；其中，(x1,y1)、(x2,y2)为所述眼镜素材模型中两个特征点的坐标，d为所述眼镜素材模型的特征点距离。
7.如权利要求1所述的基于人脸特征增强匹配的眼镜选配方法，其特征在于，通过公式size＝d/(width×height)，计算出所述眼镜素材模型特征点距离的适合尺寸；其中，size为所述眼镜素材模型特征点距离的适合尺寸；width和height为所述眼镜素材模型的原始尺寸。
8.一种基于人脸特征增强匹配的眼镜选配装置，其特征在于，包括：
人脸特征点标定单元，用于获取人脸信息图像，并对所述人脸信息图像进行人脸检测，以得到目标人脸图像，且进一步对所述目标人脸图像进行特征点提取及对齐处理，使所述目标人脸图像转化为特征点形式图像；
增强现实模型位置匹配单元，用于基于所述特征点形式图像中各特征点的位置，导入相应的眼镜素材模型并进行特征点位置匹配，且进一步调整所述眼镜素材模型的大小及位置，以得到与特征点最优匹配的眼镜。
9.如权利要求8所述的基于人脸特征增强匹配的眼镜选配装置，其特征在于，所述人脸特征点标定单元包括：
人脸检测模块，用于获取人脸信息图像，并通过预设的级联分类器对所述人脸信息图像进行人脸检测，得到所述目标人脸图像；
人脸特征点提取模块，用于采用预设的人脸特征点提取技术，对所述目标人脸图像中已检测到的人脸区域进行特征点提取；
人脸特征点标定模块，用于对已完成特征点检测的目标人脸图像进行对齐处理，使所述目标人脸图像转化为特征点形式图像并与所述目标人脸图像中基准人脸相对齐。
10.如权利要求8所述的基于人脸特征增强匹配的眼镜选配装置，其特征在于，所述增强现实模型位置匹配单元包括：
特征点位置标定模块，用于通过预设的相似变换公式，确定每两个特征点之间的相似变换矩阵，并根据所述相似变换矩阵，得到所述特征点形式图像中各特征点的位置；
特征点位置匹配模块，用于基于所述特征点形式图像中各特征点的位置，导入相应的眼镜素材模型并进行特征点位置匹配，且待计算出所述眼镜素材模型的特征点坐标之后，计算所述眼镜素材模型的特征点距离及相应的适合尺寸，进一步调整所述眼镜素材模型的适合尺寸，以达到与特征点最佳匹配效果，使之实现增强现实的个性化眼镜。
CN202110303497.4A 2021-03-22 2021-03-22 一种基于人脸特征增强匹配的眼镜选配方法及装置 Pending CN112883919A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110303497.4A CN112883919A (zh) 2021-03-22 2021-03-22 一种基于人脸特征增强匹配的眼镜选配方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110303497.4A CN112883919A (zh) 2021-03-22 2021-03-22 一种基于人脸特征增强匹配的眼镜选配方法及装置

Publications (1)

Publication Number Publication Date
CN112883919A true CN112883919A (zh) 2021-06-01

Family

ID=76041682

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110303497.4A Pending CN112883919A (zh) 2021-03-22 2021-03-22 一种基于人脸特征增强匹配的眼镜选配方法及装置

Country Status (1)

Country Link
CN (1) CN112883919A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115049806A (zh) * 2022-06-21 2022-09-13 北京理工大学 基于蒙特卡洛树搜索的人脸增强现实标定方法及装置
CN116030224A (zh) * 2022-12-30 2023-04-28 广州市玄武无线科技股份有限公司 一种ar产品展示方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104881114A (zh) * 2015-05-13 2015-09-02 深圳彼爱其视觉科技有限公司 一种基于3d眼镜试戴的角度转动实时匹配方法
CN106384388A (zh) * 2016-09-20 2017-02-08 福州大学 基于html5和增强现实技术的互联网眼镜实时试戴方法及系统
CN108573192A (zh) * 2017-03-09 2018-09-25 北京京东尚科信息技术有限公司 匹配人脸的眼镜试戴方法和装置
CN111461814A (zh) * 2020-03-11 2020-07-28 深圳市新镜介网络有限公司 虚拟眼镜的试戴方法、终端设备及存储介质
CN111667400A (zh) * 2020-05-30 2020-09-15 温州大学大数据与信息技术研究院 一种基于无监督学习的人脸轮廓特征风格化生成方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104881114A (zh) * 2015-05-13 2015-09-02 深圳彼爱其视觉科技有限公司 一种基于3d眼镜试戴的角度转动实时匹配方法
CN106384388A (zh) * 2016-09-20 2017-02-08 福州大学 基于html5和增强现实技术的互联网眼镜实时试戴方法及系统
CN108573192A (zh) * 2017-03-09 2018-09-25 北京京东尚科信息技术有限公司 匹配人脸的眼镜试戴方法和装置
CN111461814A (zh) * 2020-03-11 2020-07-28 深圳市新镜介网络有限公司 虚拟眼镜的试戴方法、终端设备及存储介质
CN111667400A (zh) * 2020-05-30 2020-09-15 温州大学大数据与信息技术研究院 一种基于无监督学习的人脸轮廓特征风格化生成方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115049806A (zh) * 2022-06-21 2022-09-13 北京理工大学 基于蒙特卡洛树搜索的人脸增强现实标定方法及装置
CN116030224A (zh) * 2022-12-30 2023-04-28 广州市玄武无线科技股份有限公司 一种ar产品展示方法、装置、电子设备及存储介质
CN116030224B (zh) * 2022-12-30 2023-12-26 广州市玄武无线科技股份有限公司 一种ar产品展示方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
JP7337104B2 (ja) 拡張現実によるモデル動画多平面インタラクション方法、装置、デバイス及び記憶媒体
CN103729885B (zh) 多视角投影与三维注册联合的手绘场景三维建模方法
Romli et al. Mobile augmented reality (AR) marker-based for indoor library navigation
Dash et al. Designing of marker-based augmented reality learning environment for kids using convolutional neural network architecture
CN106355153A (zh) 一种基于增强现实的虚拟对象显示方法、装置以及系统
US20090195656A1 (en) Interactive transcription system and method
CN112954292B (zh) 一种基于增强现实的数字博物馆导览系统和方法
Alcañiz et al. Augmented reality technology for education
CN112883919A (zh) 一种基于人脸特征增强匹配的眼镜选配方法及装置
CN104537705A (zh) 基于增强现实的移动平台三维生物分子展示系统和方法
CN106293099A (zh) 手势识别方法及系统
Chen et al. Research on augmented reality system for childhood education reading
CN115345927A (zh) 展品导览方法及相关装置、移动终端和存储介质
WO2017147826A1 (zh) 智能设备的图像处理方法及装置
CN110097644B (zh) 一种基于混合现实的表情迁移方法、装置、系统和处理器
Alshi et al. Interactive augmented reality-based system for traditional educational media using marker-derived contextual overlays
Bhatla et al. Development of Anatomy Learning System based on Augmented Reality
CN112164258A (zh) Ar智慧教学方法、装置、教具系统和计算机设备
Jiang et al. The implementation of literacy and sign language learning system for deaf children based on the augmented reality
CN110543826A (zh) 用于可穿戴产品虚拟佩戴的图像处理方法及装置
Cao et al. A novel augmented reality guidance system for future informatization experimental teaching
CN115294488B (zh) 一种ar快速实物匹配显示方法
Piechaczek et al. Popular strategies and methods for using augmented reality
CN116597470B (zh) 一种基于图像理解的景别识别方法及装置
Xue Application of Augmented Reality and Meta-quantum Analysis Technology in the Art Design of Cartoon Characters

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination