CN105512931A - 在线智能配镜的方法和装置 - Google Patents

Abstract

一种在线智能配镜的方法，包括：向服务器发送在线配镜的请求；从服务器接收与至少一个眼镜相关联的眼镜描述数据，其中所述至少一个眼镜是服务器基于用户脸型、用户偏好、专家推荐以及历史记录来推荐的；基于所述眼镜描述数据从推荐的眼镜中选择要试戴的眼镜，并获取要试戴的眼镜的三维模型；以及将所述三维模型和从用户设备拍摄的用户图像合成，形成试戴眼镜的图像。本发明的优点在于，用户在线选购眼镜时不仅能够看到亲自佩戴的效果，而且能够通过对用户需求的挖掘快速地得到更符合潮流、更专业、更适合自己的眼镜，从而获得更好的用户体验。

Description

在线智能配镜的方法和装置

技术领域

本发明涉及互联网技术，具体涉及一种在线智能配镜的方法和装置。

背景技术

随着互联网特别是移动互联网的快速发展，电子商务已经成为一种不可忽视的销售方式，网络购物已经成为人们生活的重要组成部分。影响电子商务进一步发展的因素除了支付、物流之外，另外一种重要的因素是客户体验。电子商务和传统商务最大的区别是购买者无法在购买前对商品得到真实使用或穿戴体验。虽然商家会在销售站点上展示出各种商品图片或者模特试穿效果，但是由于客户自身情况不同，往往无法选到适合自己特征的商品。这大大限制了电子商务的进一步发展。

为了解决这一问题，研究人员开发了各类在线试穿试戴技术。在线试穿试戴技术主要用于在线试穿服装、鞋帽和在线试戴眼镜等。其中，在线试戴眼镜商业化应用的关键技术之一是眼镜自动匹配技术。

现有的在线试戴技术分为如下两类：

一类是在已有的模特照片或者在用户上传的照片上，结合不同款式或尺寸的虚拟眼镜模型，从而实现眼镜虚拟试戴的效果。例如：在一种场景中，将拍摄的模特人脸头像标准化，再通过鼠标人工定位两眼瞳孔，进行眼镜的虚拟试戴。然而，这种方法需要用户手动标记人眼瞳孔的位置，用户操作较复杂，并且模特和客户自身的试戴效果存在一定程度上的差别。在另一种场景中，用户通过上传自己的人脸头像，并选择瞳距，从而实现眼镜的虚拟试戴。然而，这种方法是在静态的二维人脸头像上实现眼镜虚拟试戴的，用户能够看到的只是自己试戴眼镜的正面图像，而无法观看自己试戴眼镜的左右以及侧面图像，合成图像也无法随着用户脸部的移动而移动，因此很难达到满意的试戴体验。

另一类是基于三维建模技术，将三维眼镜模型实时叠加到获取的用户的头像模型上，从而合成试戴的图像。用户头像的三维模型一般通过用户终端的相机捕获，然后输入计算机。根据是否实时将眼镜模型与头像模型叠加分为实时试戴和视频试戴。

一种实时在线试戴的实现方法如下：通过摄像头实时获取实景视频信息，从实景视频信息中检测出入眼瞳孔，实时跟踪已检测到的瞳孔位置并获取人眼瞳孔实时坐标；将眼镜模型和人眼瞳孔位置相融合叠加，从而完成三维眼镜的试戴。该方法虽然能够实时获取用户的试戴效果信息，但是试戴时一般需要用户脱掉眼镜，因此对于近视的用户不太适用。

以上两类试戴技术的另外一个问题在于，仅仅提供了合成后的图像给用户，满足客户对于试戴的需求，但忽视了客户其他的需求，缺乏对用户需求的深入挖掘，导致用户虽然经过在大量的试戴，也很难得到满意的眼镜。由于缺乏对用户体验上的考虑，使得用户常常会放弃在线购买眼镜，而是选择实体店进行购买。

因此，如何应用在线眼镜试戴技术，使得用户在线选购眼镜时不仅能够看到亲自佩戴的效果，同时结合个性偏好、风格搭配、专家建议、以及购买记录等，让用户快速精准得到更符合潮流、更专业、更适合自己的眼镜，获得更好的用户体验，已经成为商家能够在这一领域获得更大发展的关键问题。

发明内容

根据本发明的第一方面，提供一种在线智能配镜的方法，包括：向服务器发送在线配镜的请求；从服务器接收至少一个与眼镜相关联的眼镜描述数据，其中所述至少一个眼镜是服务器基于用户脸型、用户偏好、专家推荐以及历史记录来推荐的；基于所述眼镜描述数据从推荐的眼镜中选择要试戴的眼镜，并获取要试戴的眼镜的三维模型；以及将所述三维模型和从用户设备拍摄的用户图像合成，形成试戴眼镜的图像。

根据本发明的第二方面，提供一种在线智能配镜的装置，包括：配镜请求发送单元，用于向服务器发送在线配镜的请求；眼镜描述数据接收单元，用于从服务器接收至少一个与眼镜相关联的眼镜描述数据，其中所述至少一个眼镜是服务器基于用户脸型、用户偏好、专家推荐以及历史记录来推荐的；眼镜三维模型接收单元，基于所述眼镜描述数据从推荐的眼镜中选择要试戴的眼镜，并获取要试戴的眼镜的三维模型；以及试戴图像生成单元，将所述三维模型和从用户设备拍摄的用户图像合成，形成试戴眼镜的图像。

本发明的优点在于，用户在线选购眼镜时不仅能够看到亲自佩戴的效果，而且能够通过对用户需求的挖掘快速地得到更符合潮流、更专业、更适合自己的眼镜，从而获得更好的用户体验。

附图说明

图1是根据本发明实施例的在线眼镜试戴系统的框图。

图2是根据本发明实施例的对用户脸型进行测量的示例。

图3示出了根据本发明实施例的用户偏好模块的示例。

图4示出了根据本发明实施例的专家推荐模块的示例。

图5示出了根据本发明实施例的历史记录模块的示例。

图6示出了根据本发明实施例的在线配镜的示意图。

图7示出了根据本发明实施例的实时将用户头像和眼镜图像合成为试戴图像的方法的流程图。

图8示出了根据本发明实施例的在线智能配镜方法的流程图。

图9示出了根据本发明实施例的在线智能配镜装置的框图。

具体实施方式

以下对本发明的示例性实施例做出说明，其中包括本发明实施例的各种细节以有助于理解，应当将它们认为仅仅是示例性的。因此，本领域的技术人员应当认识到，可对本文描述的实施例做出各种修改和改变，而不脱离本发明的范围和精神。

图1是根据本发明实施例的在线眼镜试戴系统100的框图。在线眼镜试戴系统100包括用户设备110、服务器120、用户偏好模块130专家推荐模块140、历史记录150以及眼镜数据库160。其中，用户设备110和服务器120可以通过互联网或者其他任何合适的网络进行通信。服务器120与用户偏好模块130、专家推荐模块140、历史记录150和眼镜数据库160相连。

用户设备包括以下至少一个：智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、台式计算机、膝上型计算机、上网本计算机、个人数字助理(PDA)、便携式多媒体播放器(PMP)、数字音频播放器、移动医疗设备、相机和可穿戴设备(例如，诸如电子眼镜的头戴式装置(HMD)、电子服装、电子手镯、电子项链、电子配件、电子纹身、智能手表等。

用户设备110至少包括通信单元111、输入单元112、相机123、显示单元124、图像合成单元125等。用户设备110可通过输入单元112接收输入信息，并通过相机123捕捉图像。用户设备还可以经由通信单元111将各种信息发送给服务器，并从服务器120接收数据，以便通过显示单元124向用户显示图像。具体地，通信单元111可以从服务器120接收与至少一个眼镜相关联的眼镜描述数据，该眼镜是由服务器120根据多个参数确定的向用户推荐试戴的眼镜。用户可以从推荐的眼镜中选择要试戴的眼镜。因而，通信单元111还可以从服务器120接收将要试戴的眼镜的三维模型，以便在用户设备110上呈现试戴图像。

典型地，用户设备110向服务器120发送利用相机123拍摄的包括用户头像的静止图像或运动图像，从而服务器120可以测量出用户有关的参数，例如脸型、太阳穴形状、颧骨特征、眉毛形状、鼻梁形态，以筛选符合人体工程学设计原则以及审美要求的最佳眼镜。当然，这些测量也可以在用户设备110上完成，然后发送至服务器。

用户设备110还可以向服务器发送用户输入的个性化参数，例如，眼镜材质、颜色、以及诸如运动、休闲、职业等风格，以满足个性化要求。服务器可以将个性化参数存储为用户偏好，用于向用户推荐试戴的眼镜。

在用户设备110上试戴眼镜时，从相机123接收实时拍摄的包括用户头像的视频流，从视频流中提取用户头像以便与接收的眼镜的三维模型融合，生成试戴图像并在用户设备110的显示单元124上显示。

服务器120至少包括通信单元121、眼镜推荐单元122、订单生成单元123。其中，眼镜推荐单元122基于从用户设备110接收的各种信息(例如用户输入信息和图像信息等)确定向用户推荐的用于试戴的候选眼镜。订单生成单元123可以用于在用户确定购买某款眼镜后生成相应的订单。

用户偏好130、专家推荐140、历史记录150被服务器用于确定向用户推荐的眼镜。眼镜数据库160用于存储作为商品的眼镜的各种属性/描述信息以及三维模型。以下将结合附图3至6分别详细描述。

图2是根据本发明实施例的对用户脸型进行测量的示例。一般来说，可以测量头像图像中的多种参数，例如，额头最宽处、颧骨最宽处、下巴最宽处、脸的长度等。根据这些参数能够确定用户的脸型，将人的脸型分为六种脸型，即圆形脸、长形脸、椭圆形脸、方形脸、三角形脸、瓜子脸。基于对用户脸型的判断，可以为用户推荐合适的眼镜。以下描述各种脸型的特点以及从审美角度看相适应的眼镜类型：

(1)圆型脸的特点是颧骨最宽处长度和脸的长度差不多，脸上圆线条较多，要求佩戴棱角较分明的眼镜。若选择圆金丝边或根丝边的镜框，会使脸显得更圆。镜框为宽斜边型的也会使脸显得梢长一点。

(2)长型脸的特点是颧骨最宽处长度比脸的长度小，高额头，颌骨较为实出，下巴也偏长，戴上合适的眼镜可令脸型显得宽短一些。比如，宽边的鼻架及深色的镜腿会打破长脸的直线条感。因为宽边、大镜框的眼镜能将脸的下半部分遮盖去较多，所以长脸型者可佩戴这类眼镜。

(3)椭圆型脸的最宽部分位于额骨区域，并流畅匀称地向额头及下巴两边缩移，额头最宽处和下巴最宽处的长度相当。若所选眼镜的形状、比例适宜，椭圆型脸可与之匹配得相当完美。

(4)方型脸的特点是宽额头。面部棱角分明、颌骨区较高、较宽，脸的侧部很不明显，脸型方正。佩戴镜框呈圆型的或椭圆型的眼镜会使脸部的轮廓线显得柔和一些。如戴上色调明快的金属镜框也可消除这种生硬感。

(5)三角型脸比较有棱有角，非常适合圆形以及椭圆形的镜框，来缓和脸部较为刚硬的线条。流线型眼镜可以较好地弥补下领较尖、较短这个缺陷。

(6)瓜子脸的特点是额头宽扁、下巴较尖，颌骨几乎与眼睛持平。这种脸型的下半部分线条流畅且较匀称、所以应佩戴可以在脸上形成“纵向线条”的眼镜，以弥补上半部分铰为宽扁的不足。最好是选择镜框呈椭圆型的、线条较分明的眼镜。

图3示出了根据本发明实施例的用户偏好分析模块的一个示例。

典型地，系统收集用户在系统中的浏览历史和购买记录数据，并将其存储数据库中，每个用户对应若干条记录，这些数据称为原始数据，如用户浏览记录301和/或用户购买记录(未示出)。然后，系统对这些数据进行分析，筛选出用户浏览较多的商品，根据商品的部分属性，例如颜色、品牌、材质、风格等(如商品信息表302所示)，将用户浏览信息和商品信息进行关联可以得到用户对某种颜色、品牌、材质、风格等的偏好情况，也可以将这些数据重新写入数据库中形成新的数据，如用户统计数据表303。

这些统计数据会随着时间不断更新。随着系统收集的用户浏览历史和购买记录越来越多，也越来越能够准确反映出用户的偏好，从而可以根据这些偏好数据来向用户推荐相关的商品。

例如，在用户统计数据表303中有一条统计数据：用户A累计浏览了材质为全记忆太空胶的眼镜100次，则可以认为用户A偏好于材质为全记忆太空胶的眼镜，可以利用这一信息向用户终端推荐类似的商品。本领域技术人员可以理解，还可以根据其他属性来推荐商品，例如品牌、风格、颜色等。

此外，用户偏好数据还可以由用户通过用户设备手动输入形成。

图4示出了根据本发明实施例的专家推荐模块的示例。

在实际配镜过程中，我们注意到用户需求一般比较抽象，甚至用户也不知道哪些眼镜能够满足自己的需求。如果仅基于眼镜属性等筛选条件可能很难搜索到满足需求的商品。为此本发明还引入两类专家推荐模块。

第一类专家推荐模块是对当下大众用户的一些需求进行分析，抽象概括出一些模式，比如护眼模式、青少年模式、太阳镜模式、近视镜模式等，每种模式对应具有某些属性的商品，用这些模式来代表用户的某种需求。这类模式作为用户搜索眼镜时的一个选项，当选择了某个模式时，则返回给用户这些模式匹配的商品，这些商品相比传统搜索给出的结果更加精确地匹配用户通用需求，大幅度缩短用户选择眼镜的时间，进而提高用户体验。

如图4所示，在专家推荐模块中分别定义了四种模式。例如，护眼模式对应于防蓝光眼镜片，青少年模式对应于炫彩颜色镜框，太阳镜模式对应于某种性价比最高的品牌(比如威古氏)，以及近视镜模式对应于某几种销量最高的树脂镜片。

如果用户长期在电脑前工作，想配一个保护眼睛的眼镜，但不知道应该如何选择眼镜。通过专家推荐模块，可以在搜索条件中加入人为要素的筛选条件，理解到这类用户的需求，抽象出了护眼模式。如果用户选择护眼模式，则系统根据后台存储的模式与商品的匹配数据，返回防蓝光眼镜片的商品给用户，用户的需求得到满足。需要注意的是，可以定义新的专家推荐模式及其对应的商品属性，还可以进行增加、删除和修改等，以及时有效地满足用户的需要。

另一类专家推荐的实施场景是，当某些用户有特殊需求的时候，比如需要配一副眼镜用于某个场合，或者是配一副眼镜搭配某款时装，用户上传相关的照片或者视频资料，和/或通过和在线的专家文字、语音和视频沟通，由在线专家给用户推荐适合的眼镜。

图5示出了根据本发明实施例的历史记录模块的示例。

在系统购买记录的原始数据中，每个商品会对应一个销售数量，根据销售数量进行降序排列，可得到商品的销售排行。

用户在使用系统时，需要搜索他们想要的商品，将用户输入的关键字以及此关键字搜索的次数记录下来，形成搜索记录。每个关键字会对应系统的搜索次数，对搜索次数进行降序排序，取其前若干(例如前十名)，可得到热门搜索。

在图5所示的示例中，眼镜A销售100副，眼镜B销售20副，眼镜C销售5副，那么销售排行为：眼镜A、眼镜B、眼镜C。在搜索时，用户搜索关键字统计如下：树脂为100次，太阳镜230次，近视镜130次。热门搜索的关键字排行为：太阳镜、近视镜、树脂。

那么，当用户输入关键词来搜索眼镜时，可以把近期出现的热门搜索关键词作为备选，供用户选择，或者直接向用户推荐热销的眼镜。

图6示出了根据本发明实施例的在线配镜的示意图。如图6所示，从上至下分别是用户浏览记录、销量和浏览量历史记录、专家推荐、眼镜属性表、以及推荐表单。

由此，结合用户浏览记录、销量和浏览量历史记录、专家推荐、眼镜属性表，便可多个方面给用户推荐出适合用户喜好、年龄、使用模式、热推、热销以及热门的眼镜。

例如，用户A选定的搜索条件是太阳镜模式，浏览材质为树脂的太阳镜10次，则可认为该用户偏好于材质为树脂的太阳镜，对于材质为树脂的太阳镜中销量前3的树脂太阳镜为：B、C、D。材质为树脂的太阳镜中浏览量前3的为：B、C、F；在材质为树脂的太阳镜B、C中系统推荐的眼镜为B，可以在用户终端将材质为树脂的太阳镜B作为最佳推荐给用户推荐。同时将材质为树脂的太阳镜C、D、F作为相关眼镜推荐给用户。

如果用户选择眼镜B作为试戴眼镜，则可以根据眼镜B的商品ID获取该眼镜的三维模型，三维模型属性包括眼镜颜色、材质、边框等属性。然后，服务器可以将该三维模型发送给用户设备，以便在用户设备上将用户头像和试戴眼镜合成为试戴图像。

在试戴过程中，系统判断用户是长形脸，适合大框眼镜或者是宽边眼镜。若B是大框眼镜或者是宽边眼镜，那么系统同时会把满足条件的D和F重点推荐给客户。若B不是大框眼镜或者是宽边眼镜，那么系统会提示用户D和F更适合他(她)的脸型。

以下结合图7来描述将眼镜三维图像和用户头像合成为试戴图像的细节。

图7示出了根据本发明实施例的实时将用户头像和眼镜图像合成为试戴图像的方法700的流程图。

在步骤710，打开用户设备的相机，以接收包括用户面部头像的视频流；在步骤720，基于所述视频流，提取用户的面部关键信息，在步骤730，基于面部关键信息，建立用户的头部姿态模型；在步骤740，基于所述头部姿态模型和眼镜的三维模型生成试戴图像；以及在步骤750，在用户设备上显示试戴图像。

由此，当用户选择一个试戴的眼镜后，可以从服务器接收相应眼镜的三维模型，并利用用户设备上的相机实时采集的视频流生成试戴图像，从而可以在线选购和试戴眼镜。

图8示出了根据本发明实施例的在线智能配镜方法800的流程图。一般地，方法800可以在用户设备中执行。

在步骤810中，向服务器发送在线配镜的请求；在步骤820中，从服务器接收与至少一个眼镜相关联的眼镜描述数据，其中所述至少一个眼镜是服务器基于用户脸型、用户偏好、专家推荐以及历史记录来推荐的；在步骤830中，基于所述眼镜描述数据从推荐的眼镜中选择要试戴的眼镜，并获取试戴的眼镜的三维模型；以及在步骤840，将所述三维模型和从用户设备拍摄的用户图像合成，形成试戴眼镜的图像。

在一个实施例中，其中用户脸型通过用户设备上的相机实时测得，并且所述用户脸型用于确定相匹配的眼镜。

在一个实施例中，其中用户偏好根据年龄、性别、职业、浏览记录和购买记录中至少一个来确定，和/或专家推荐包括与一个或多个眼镜属性相关联的模式和/或专家在线帮助，以及和/或历史记录包括销量排名和/或当前热门搜索的关键词。

在一个实施例中，所述眼镜描述数据包括眼镜材质、颜色、品牌、价格、图片中的至少一个。

在一个实施例中，通过人脸识别技术将所述三维模型和从用户设备拍摄的用户图像合成包括：打开用户设备的相机，以接收包括用户面部头像的视频流；基于所述视频流，提取用户的面部关键信息；基于面部关键信息，建立用户的头部姿态模型；基于所述头部姿态模型和眼镜三维模型生成试戴图像；以及在用户设备上显示试戴图像。

图9示出了根据本发明实施例的在线智能配镜装置900的框图。在线智能配置装置900包括配镜请求发送单元910、眼镜描述数据接收单元920、眼镜三维模型接收单元930、以及是试戴图像生成单元940。

配镜请求发送单元910被配置为向服务器发送在线配镜的请求。眼镜三维模型接收单元920被配置为从服务器接收与至少一个眼镜相关联的眼镜描述数据，其中所述至少一个眼镜是服务器基于用户脸型、用户偏好、专家推荐以及历史记录来推荐的。眼镜三维模型接收单元930被配置为基于所述眼镜描述数据从推荐的眼镜中选择要试戴的眼镜并获取试戴的眼镜的三维模型。试戴图像生成单元940被配置为通过人脸识别技术将所述三维模型和从用户设备拍摄的用户图像合成，形成试戴眼镜的图像。

在一个实施例中，用户脸型通过用户设备上的相机实时测得，并且所述用户脸型用于确定相匹配的眼镜。

在一个实施例中，用户偏好根据年龄、性别、职业、浏览记录和购买记录中至少一个来确定，和/或专家推荐包括与一个或多个眼镜属性相关联的模式和/或专家在线帮助，和/或历史记录包括销量排名和/或当前热门搜索的关键词。

在一个实施例中，所述眼镜描述数据包括眼镜材质、颜色、品牌、价格、图片中的至少一个。

在一个实施例中，试戴图像生成单元940还被配置为：打开用户设备的相机，以接收包括用户面部头像的视频流；基于所述视频流，提取用户的面部关键信息；基于面部关键信息，建立用户的头部姿态模型；基于所述头部姿态模型和眼镜三维模型生成试戴图像；以及在用户设备上显示试戴图像。

需要注意的是，以上仅为本发明的较佳实施例及原理。本领域的技术人员会理解，本发明不限于这里的特定实施例。本领域的技术人员能够做出各种明显变化、调整和替代，而不脱离本发明的保护范围。本发明的范围由所附权利要求界定。

Claims (10)

1.一种在线智能配镜的方法，包括：

向服务器发送在线配镜的请求；

从服务器接收与至少一个眼镜相关联的眼镜描述数据，其中所述至少一个眼镜是服务器基于用户脸型、用户偏好、专家推荐以及历史记录来推荐的；

基于所述眼镜描述数据从推荐的眼镜中选择要试戴的眼镜，并获取要试戴的眼镜的三维模型；以及

将所述三维模型和从用户设备拍摄的用户图像合成，形成试戴眼镜的图像。

2.根据权利要求1所述的方法，其中用户脸型通过用户设备上的相机实时测得，并且所述用户脸型用于确定相匹配的眼镜。

3.根据权利要求1所述的方法，其中用户偏好根据年龄、性别、职业、浏览记录和购买记录中至少一个来确定，和/或专家推荐包括与一个或多个眼镜属性相关联的模式和/或专家在线帮助，和/或历史记录包括销量排名和/或当前热门搜索的关键词。

4.根据权利要求1所述的方法，其中所述眼镜描述数据包括眼镜材质、颜色、品牌、价格、图片中的至少一个。

5.根据权利要求1所述的方法，其中将所述三维模型和从用户设备拍摄的用户图像合成包括：

打开用户设备的相机，以接收包括用户面部头像的视频流；

基于所述视频流，提取用户的面部关键信息；

基于面部关键信息，建立用户的头部姿态模型；

基于所述头部姿态模型和眼镜的三维模型生成试戴图像；以及

在用户设备上显示试戴图像。

6.一种在线智能配镜的装置，包括：

配镜请求发送单元，被配置为向服务器发送在线配镜的请求；

眼镜描述数据接收单元，被配置为从服务器接收与至少一个眼镜相关联的眼镜描述数据，其中所述至少一个眼镜是服务器基于用户脸型、用户偏好、专家推荐以及历史记录来推荐的；

眼镜三维模型接收单元，被配置为基于所述眼镜描述数据从推荐的眼镜中选择要试戴的眼镜，并获取要试戴的眼镜的三维模型；以及

试戴图像生成单元，被配置为将所述三维模型和从用户设备拍摄的用户图像合成，形成试戴眼镜的图像。

7.根据权利要求6所述的装置，其中用户脸型通过用户设备上的相机实时测得，并且所述用户脸型用于确定相匹配的眼镜。

8.根据权利要求6所述的装置，其中用户偏好根据年龄、性别、职业、浏览记录和购买记录中至少一个来确定，和/或专家推荐包括与一个或多个眼镜属性相关联的模式和/或专家在线帮助，和/或历史记录包括销量排名和/或当前热门搜索的关键词。

9.根据权利要求6所述的装置，其中所述眼镜描述数据包括眼镜材质、颜色、品牌、价格、图片中的至少一个。

10.根据权利要求6所述的装置，其中试戴图像生成单元还被配置为：

打开用户设备的相机，以接收包括用户面部头像的视频流；

基于所述面部头像数据视频流，提取用户的面部关键信息；

基于面部关键信息，建立用户的头部姿态模型；

基于所述头部姿态模型和眼镜的三维模型生成试戴图像；以及

在用户设备上显示试戴图像。