CN114895747B - 一种智能显示设备、眼镜推荐方法、装置及介质 - Google Patents

一种智能显示设备、眼镜推荐方法、装置及介质 Download PDF

Info

Publication number
CN114895747B
CN114895747B CN202210303802.4A CN202210303802A CN114895747B CN 114895747 B CN114895747 B CN 114895747B CN 202210303802 A CN202210303802 A CN 202210303802A CN 114895747 B CN114895747 B CN 114895747B
Authority
CN
China
Prior art keywords
target
glasses
determining
straight line
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210303802.4A
Other languages
English (en)
Other versions
CN114895747A (zh
Inventor
李广琴
胡雁
朱琳清
刘晓潇
马琳杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Hisense Smart Life Technology Co Ltd
Original Assignee
Qingdao Hisense Smart Life Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Hisense Smart Life Technology Co Ltd filed Critical Qingdao Hisense Smart Life Technology Co Ltd
Priority to CN202210303802.4A priority Critical patent/CN114895747B/zh
Publication of CN114895747A publication Critical patent/CN114895747A/zh
Application granted granted Critical
Publication of CN114895747B publication Critical patent/CN114895747B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1626Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • AHUMAN NECESSITIES
    • A45HAND OR TRAVELLING ARTICLES
    • A45DHAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D42/00Hand, pocket, or shaving mirrors
    • A45D42/08Shaving mirrors
    • AHUMAN NECESSITIES
    • A45HAND OR TRAVELLING ARTICLES
    • A45DHAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0631Item recommendations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Shopping interfaces
    • G06Q30/0643Graphical representation of items or shoppers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种智能显示设备、眼镜推荐方法、装置及介质,用以个性化为用户推荐眼镜。由于本申请可以基于获取到的目标眼镜的轮廓信息,确定目标眼镜的轮廓中包含的直线线段的数量,并根据直线线段的数量及每个框型对应的特征,确定目标眼镜的目标框型,从而确定该目标框型的目标眼镜是否适合该目标脸型的待推荐用户佩戴,从而可以个性化的为用户推荐眼镜,从一定程度上保证了推荐的眼镜满足用户的脸型需求,能达到用户的满意,从而提高用户的购买率。

Description

一种智能显示设备、眼镜推荐方法、装置及介质
技术领域
本申请涉及智能显示技术领域,尤其涉及一种智能显示设备、眼镜推荐方法、装置及介质。
背景技术
目前线下眼镜店的销售模式比较单一,再加上线上模式的冲击,严重影响了线下眼镜店的销售业绩,线下眼镜销售市场面临严峻考验。然而线上模式不能反映真实试戴眼镜的效果,还是需要用户亲自试戴眼镜,故线下眼镜店不能完全被线上模式完全代替。
而线下眼镜店展示的眼镜多种多样,用户很难根据自身的特点进行选择,因此很难购买到适合自己的眼镜。
发明内容
本申请提供了一种智能显示设备、眼镜推荐方法、装置及介质,用以个性化的为用户推荐眼镜。
本申请提供了一种智能显示设备,所述智能显示设备包括:
显示器,所述显示器用于显示提示信息;
控制器,所述控制器用于执行:
响应于接收到的推荐指令,采集佩戴有眼镜的待推荐用户的目标图像;将所述目标图像输入到预先训练完成的眼镜识别模型中,获取所述眼镜识别模型输出的所述目标图像中目标眼镜的位置信息;获取根据所述位置信息获取的目标眼镜图像中所述目标眼镜的轮廓信息;根据所述轮廓信息中包含的边缘点,确定所述目标眼镜的轮廓中包含的直线线段的数量,根据所述直线线段的数量及每个框型对应的特征,确定所述目标眼镜的目标框型,并根据预先保存的眼镜框型与脸型的对应关系,若确定所述目标框型的目标眼镜适合所述目标脸型的待推荐用户佩戴,则输出适合佩戴的提示信息,否则,输出不适合佩戴的提示信息。
本申请提供了一种眼镜推荐方法,所述方法包括:
根据接收到的推荐指令,采集佩戴有眼镜的待推荐用户的目标图像;将目标图像输入到预先训练完成的眼镜识别模型中,获取所述眼镜识别模型输出的所述目标图像中目标眼镜的位置信息;获取根据所述位置信息获取的目标眼镜图像中所述目标眼镜的轮廓信息;根据所述轮廓信息中包含的边缘点,确定所述目标眼镜的轮廓中包含的直线线段的数量,根据所述直线线段的数量及每个框型对应的特征,确定所述目标眼镜的目标框型,并根据预先保存的眼镜框型与脸型的对应关系,若确定所述目标框型的目标眼镜适合所述目标脸型的待推荐用户佩戴,则输出适合佩戴的提示信息,否则,输出不适合佩戴的提示信息。
本申请提供了一种眼镜推荐装置,所述装置包括:
采集模块,用于接收推荐指令,采集佩戴有眼镜的待推荐用户的目标图像;
确定模块,用于将所述目标图像输入到预先训练完成的眼镜识别模型中,获取所述眼镜识别模型输出的所述目标图像中目标眼镜的位置信息;获取根据所述位置信息获取的目标眼镜图像中所述目标眼镜的轮廓信息;根据所述轮廓信息中包含的边缘点,确定所述目标眼镜的轮廓中包含的直线线段的数量,根据所述直线线段的数量及每个框型对应的特征,确定所述目标眼镜的目标框型;
推荐模块,用于根据预先保存的眼镜框型与脸型的对应关系,若确定所述目标框型的目标眼镜适合所述目标脸型的待推荐用户佩戴,则输出适合佩戴的提示信息,否则,输出不适合佩戴的提示信息。
本申请提供了一种计算机可读存储介质,其存储有可由终端执行的计算机程序,当所述程序在所述终端上运行时,使得所述终端执行上述眼镜推荐方法的步骤。
本申请提供了一种智能显示设备、眼镜推荐方法、装置及介质,该智能显示设备的控制器针对获取到的佩戴有眼镜的待推荐用户的目标图像,基于预先训练完成的眼镜识别模型,获取目标图像中目标眼镜的位置信息,根据该位置信息确定的目标眼镜的轮廓信息包含的直线线段的数量以及每个框型对应的特征,确定目标眼镜的目标框型,控制器根据预先保存的眼镜框型与脸型的对应关系,确定该目标框型的目标眼镜是否合适待推荐用户佩戴。由于本申请可以基于获取到的目标眼镜的轮廓信息,确定目标眼镜的轮廓中包含的直线线段的数量,并根据直线线段的数量及每个框型对应的特征,确定目标眼镜的目标框型,从而确定该目标框型的目标眼镜是否适合该目标脸型的待推荐用户佩戴,从而可以个性化的为用户推荐眼镜,从一定程度上保证了推荐的眼镜满足用户的脸型需求,能达到用户的满意,从而提高用户的购买率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请的一些实施例提供的一种智能显示设备结构示意图;
图2为本申请的一些实施例提供的一种智能显示设备的示意图;
图3为本申请的一些实施例提供的不同框型的眼镜示意图;
图4为本申请的一些实施例提供的智能显示设备输出提示信息的示意图;
图5为本申请的一些实施例提供的对第一目标图像进行分析确定目标脸型及目标性别的示意图;
图6为本申请的一些实施例提供的进行人脸关键点检测输出的关键点位置信息示意图;
图7为本申请的一些实施例提供的基于人脸关键点进行目标脸型识别的示意图;
图8为本申请的一些实施例提供的该二维核向量的示意图;
图9为本申请的一些实施例提供的对目标框型的确定过程的示意图;
图10为本申请的一些实施例提供的对目标框型的确定过程的示意图;
图11为本申请的一些实施例提供的智能显示设备为了展示不同角度佩戴眼镜的效果进行拍摄的界面示意图;
图12为本申请的一些实施例提供的智能显示设备展示的不同角度佩戴眼镜的效果图;
图13为本申请的一些实施例提供的一种眼镜推荐过程示意图;
图14为本申请实施例提供的一种眼镜推荐装置的结构示意图。
具体实施方式
为使本申请的目的和实施方式更加清楚,下面将结合本申请示例性实施例中的附图,对本申请示例性实施方式进行清楚、完整地描述,显然,描述的示例性实施例仅是本申请一部分实施例,而不是全部的实施例。需要说明的是,本申请中对于术语的简要说明,仅是为了方便理解接下来描述的实施方式,而不是意图限定本申请的实施方式。除非另有说明,这些术语应当按照其普通和通常的含义理解。本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体,而不必然意味着限定特定的顺序或先后次序,除非另外注明。应该理解这样使用的用语在适当情况下可以互换。术语“包括”和“具有”以及他们的任何变形,意图在于覆盖但不排他的包含,例如,包含了一系列组件的产品或设备不必限于清楚地列出的所有组件,而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合,能够执行与该元件相关的功能。最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
为了方便解释,已经结合具体的实施方式进行了上述说明。但是,上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导,可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用,从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。
本申请提供了一种智能显示设备、眼镜推荐方法、装置及介质,该智能显示设备的控制器针对获取到的佩戴有眼镜的待推荐用户的目标图像,基于预先训练完成的眼镜识别模型,获取目标图像中目标眼镜的位置信息,根据该位置信息确定的目标眼镜的轮廓信息包含的直线线段的数量以及每个框型对应的特征,确定目标眼镜的目标框型,控制器根据预先保存的眼镜框型与脸型的对应关系,确定该目标框型的目标眼镜是否合适待推荐用户佩戴。
为了个性化的为用户推荐眼镜,提高用户的满意度,本申请实施例提供了一种智能显示设备、眼镜推荐方法、装置、设备及介质。
图1为本申请的一些实施例提供的一种智能显示设备结构示意图,该智能显示设备包括:显示器11和控制器12。
显示器11,所述显示器11用于显示提示信息;
控制器12,所述控制器12用于执行:
响应于接收到的推荐指令,采集佩戴有眼镜的待推荐用户的目标图像;
将所述目标图像输入到预先训练完成的眼镜识别模型中,获取所述眼镜识别模型输出的所述目标图像中目标眼镜的位置信息;
获取根据所述位置信息获取的目标眼镜图像中所述目标眼镜的轮廓信息;
根据所述轮廓信息中包含的边缘点,确定所述目标眼镜的轮廓中包含的直线线段的数量,根据所述直线线段的数量及每个框型对应的特征,确定所述目标眼镜的目标框型,并根据预先保存的眼镜框型与脸型的对应关系,若确定所述目标框型的目标眼镜适合所述目标脸型的待推荐用户佩戴,则输出适合佩戴的提示信息,否则,输出不适合佩戴的提示信息。
为了实现个性化眼镜的推荐,智能显示设备中设置有显示器11和控制器12,其中显示器11与控制器12连接。在一种可能的实施方式中,智能显示设备可以是智能化妆镜,其中该智能化妆镜中的显示器11可以是集成了镜面的显示器11(镜面显示器),集成了镜面的显示器11具体为在显示器的外表面上设置镜面材料,当显示器11被关闭时,智能化妆镜与普通镜子类似,可以用来整理仪容;当显示器11被点亮时,显示器11可以显示与用户智能交互的内容。
为了对眼镜智能推荐,在本申请中控制器可以控制显示器显示是否进行眼镜推荐的按钮,当识别到该按钮被触发时,确定接收到推荐指令。或者该推荐指令也可以是通过其他设备发送给智能显示设备,例如通过移动终端中安装的对应APP实现对智能显示设备的控制,具体的,该APP的显示界面中也可以显示是否进行眼镜推荐的按钮,当识别到该按钮被触发时,移动终端向智能显示设备发送推荐指令。
因为用户可以在线下店直接进行眼镜试戴,当待推荐用户佩戴上眼镜后,可以基于本申请实施例的智能显示设备确定佩戴的该眼镜是否合适,具体的,在本申请实施例中控制器12可以控制显示器11显示是否进行眼镜推荐的按钮,当待推荐用户按下显示器所显示的进行眼镜推荐的按钮时,控制器确定接收到该推荐指令,并打开摄像头采集待推荐用户的目标图像,显示器显示摄像头拍摄到的目标图像。
为了获取到佩戴有眼镜的待推荐用户的目标图像,并向待推荐用户推荐适合的眼镜,在本申请实施例中可以采用硬件满足要求的智能显示设备,图2为本申请的一些实施例提供的一种智能显示设备的示意图,该智能显示设备采用的是带显示器的显示设备。例如可以采用15.6寸到21寸大小的智能显示设备,并且还可以根据店内的整体装修风格,使智能显示设备与其保持一致。该智能显示设备上设置有摄像头以便进行图像采集,该摄像头可以采用弹出式结构,为了保证采集的图像的清晰度,摄像头的像素要求可以在1080P以上,为了使智能显示设备能够为待推荐用户推荐适合的眼镜,该智能显示设备的内置芯片可以具有3Tflops以上的算力,而且该智能显示设备可以为安卓8.0以上系统,并且为了进一步保证采集的图像的清晰度,该智能显示设备上还可以设置专业的补光灯带,采用这种结构的智能显示设备结构稳固,并且很安全。
当控制器获取到佩戴有眼镜的待推荐用户的目标图像后,一般该图像为待推荐用户的正脸图像,控制器将该目标图像输入到预先训练完成的眼镜检测模型进行检测,获取眼镜检测模型输出的该目标眼镜的位置信息,其中该眼镜检测模型输出的该目标眼镜的位置信息可以是目标眼镜在目标图像中所在矩形框的位置信息。其中该眼镜检测模型可以是轻量化的模型,例如可以是轻量化yolov5模型;具体的该模型的训练过程可以采用现有技术,在此不再赘述。
控制器根据该位置信息可以从目标图像中获取到该目标眼镜图像,即将该目标眼镜在目标图像中所在矩形框对应的图像区域作为目标眼镜图像。具体的,可以基于该位置信息,获取该目标图像中的目标眼镜图像对应区域,截取该区域只保留目标眼镜部分的信息,排除其他背景信息干扰。
之后控制器采用边缘检测算子对该目标眼镜图像中的目标眼镜的边缘轮廓进行检测,再检测闭合区域,找到目标眼镜图像中最大的闭合区域,从而获得目标眼镜的轮廓信息,具体的,该轮廓信息包括多个边缘点。
当获取到目标眼镜图像中目标眼镜的轮廓信息后,根据该轮廓信息中包含的边缘点,确定目标眼镜的轮廓中包含的直线线段,并统计直线线段的数量,根据该直线线段的数量及每个框型对应的特征,确定所述目标眼镜的目标框型。图3为本申请的一些实施例提供的不同框型的眼镜示意图,具体的,方形框比较明显的特点是每个四边形的四个角都比较接近直角。椭圆框没有明显的菱角,整体比较圆润。圆框则几乎接近于圆形,无菱角。梯形框的四边角中有两个角接近直角,另外两个角一个是钝角一个锐角。结合以上特点分析框型特点,从而确定目标框型。
因此在本申请实施例中若该目标眼镜轮廓中包含的直线线段数量小于该预设的第一数值,则可初步判断目标框型为圆框或椭圆框,具体还可以根据圆框和椭圆框对应的特征,确定具体是圆框还是椭圆框。若该目标眼镜轮廓中包含的直线线段数量不小于该预设的第一数值,则可初步判断目标框型为梯形框或方形框,具体还可以根据梯形框和方形框对应的特征,确定具体是梯形框还是方形框。
因为控制器还根据目标图像确定待推荐用户的目标脸型,当确定了目标图像中的目标眼镜的目标框型后,可以根据保存的眼镜框型与脸型的对应关系,确定该目标框型对应的眼镜框型,并判断该对应的眼镜框型中是否包含该目标框型,从而确定该目标框型的目标眼镜是否适合待推荐用户佩戴,若确定目标框型的目标眼镜适合目标脸型的待推荐用户佩戴,则输出适合佩戴的提示信息,否则,输出不适合佩戴的提示信息。图4为本申请的一些实施例提供的智能显示设备输出提示信息的示意图,在输出对应的提示信息时,可以直接将该对应的提示信息在显示器上显示,当然此时还可以输出该提示信息对应的音频信息,以提醒待推荐用户。
由于本申请可以基于获取到的目标眼镜的轮廓信息,确定目标眼镜的轮廓中包含的直线线段的数量,并根据直线线段的数量及每个框型对应的特征,确定目标眼镜的目标框型,从而确定该目标框型的目标眼镜是否适合该目标脸型的待推荐用户佩戴,从而可以个性化的为用户推荐眼镜,从一定程度上保证了推荐的眼镜满足用户的脸型需求,能达到用户的满意,从而提高用户的购买率。
为了有效的识别待推荐用户的目标脸型,在上述实施例的基础上,在本申请实施例中,所述控制器用于执行:
将所述目标图像输入到预先训练完成的人脸识别模型中,获取所述人脸识别模型输出的所述目标图像中的目标人脸图像的位置信息;
将根据所述位置信息获取的目标人脸图像输入预先训练完成的人脸关键点检测模型,获取所述人脸关键点检测模型输出的所述目标人脸图像中包含的每个关键点;
根据预设关键点确定人眼与嘴之间的距离以及人脸的宽度,根据所述距离及所述宽度以及每个脸型对应的阈值范围,确定所述待推荐用户的目标脸型。
控制器中保存有预先训练完成的人脸识别模型,获取到目标图像后,将该目标图像输入到预先训练完成的人脸识别模型中,该人脸识别模型将会输出目标图像中的目标人脸图像的位置信息,这个位置信息具体可以是在目标图像中标注的目标人脸所在的人脸框的位置信息,从而实现人脸检测。其中该人脸识别模型可以是轻量化的模型,例如可以是轻量化yolov5模型。
具体的,对该人脸识别模型训练过程可以是将样本图像中及该样本图像中包含的人脸图像的位置信息输入到原始人脸识别模型,根据该原始人脸识别模型输出的人脸图像的识别位置信息及该样本图像中包含的人脸图像的位置信息,确定损失值,根据该损失值对原始人脸识别模型的参数进行调整,直到满足模型收敛条件,具体的训练过程可以采用现有技术,在此不再赘述。
当获取到目标图像中的目标人脸图像的位置信息后,可以基于该位置信息,获取该目标图像中的目标人脸图像,并将该目标人脸图像输入到预先训练完成的人脸关键点检测模型,从而获取该人脸关键点检测模块输出的该目标人脸图像中包含的每个关键点,该关键点为位于人脸上的关键点。人脸关键点检测模型在进行关键点识别时,可以只输出能够确定脸型所需的关键点,当然也可以将人脸上全部的关键点都识别出来。
为了确定待推荐用户的目标脸型,可以预先设置能够识别脸型的预设关键点,基于人脸关键点检测模型输出的关键点中的预设关键点,确定目标人脸。具体的,在确定目标人脸时,可以根据目标人脸图像中包含的预设关键点,按照预设的规则进行连接,从而确定人眼与嘴之间的距离以及人脸的宽度,根据人眼与嘴之间的距离及人脸的宽度以及每个脸型对应的阈值范围,确定待推荐用户的目标脸型。例如,可以预设关键点可以是位于人眼部的关键点和位于下巴的关键点,根据位于人眼部的关键点的连线和位于下巴的关键点之间的距离,以及人眼部两个关键点之间的连线距离的比值,和每个脸型对应的比值范围,确定待推荐用户的目标脸型。
在本申请实施例中,当确定了待推荐用户的目标脸型后,控制器不仅可以确定该佩戴有眼镜的待推荐用户是否适合佩戴该目标框型的目标眼镜,控制器还可以向该待推荐用户推荐适合其目标脸型的眼镜。具体的,控制器中保存有脸型与眼镜的对应关系,当确定了待推荐用户的目标脸型后,还可以将该目标脸型对应的眼镜推荐给该待推荐用户。具体的,可以将该目标脸型对应的眼镜显示在显示器上。
在本申请中控制器中预先保存有可以推荐的眼镜,其中,眼镜可以是圆框、椭圆框、方形框、梯形框等框型;也可以是黑框、银框、浅金框、玳瑁色框等不同颜色;还可以是各种品牌、材质等。具体的,在本申请实施例中可以预先保存不同眼镜与不同脸型的对应关系,每个脸型都有对应的眼镜,这里可以具体保存脸型和不同框型的眼镜的对应关系。当确定了待推荐用户的目标脸型后,根据保存的脸型与眼镜框型的对应关系,确定该目标脸型对应的目标眼镜框型,将目标眼镜框型的眼镜推荐给待推荐用户。
例如,如果目标脸型为圆形,预先保存的该目标脸型对应的眼镜框型为椭圆框,方形框和半框,则可以将椭圆框,方形框和半框的眼镜推荐给用户。
具体的,控制器可以控制显示器显示有目标脸型对应的目标眼镜框型的眼镜的图片,也可以输出目标脸型对应的目标眼镜框型的眼镜的列表,从而方便选择。
为了更准确的为用户推荐眼镜,在上述各实施例的基础上,在本申请的一些实施例中,所述控制器用于执行:
对所述目标人脸图像进行肤色识别,确定所述待推荐用户的目标肤色;
根据预先保存的肤色与眼镜颜色的对应关系以及脸型与眼镜框型的对应关系,确定所述目标脸型及所述目标肤色对应的眼镜。
因为不同肤色的人适合佩戴的眼镜也是不同的,具体的不同肤色的人适合佩戴的眼镜的颜色也是不同的。因此为了给用户推荐最为合适的眼镜,在本申请实施例中,当获取到目标人脸图像后,对该目标人脸图像中的人脸进行肤色识别,获取待推荐用户的目标肤色,具体的对肤色进行识别是现有技术,在此不再赘述。脸型可以为椭圆形、方形、圆形和菱形等;肤色可以包括冷白皮、粉白皮、黄皮和黑皮等。具体的,在本申请实施例中控制器12可以保存肤色和眼镜颜色的对应关系,并保存脸型与眼镜框型的对应关系,并保存每个眼镜对应的眼镜框型和眼镜颜色。其中每个眼镜以及每个眼镜对应的脸型及肤色可以根据眼镜的实际情况进行灵活设置,本申请对此不做具体限定。
所以当确定了待推荐用户的目标肤色和目标脸型后,根据该目标脸型及脸型与眼镜框型的对应关系,确定该目标脸型对应的目标眼镜框型,并根据目标肤色及肤色和眼镜颜色的对应关系,确定该目标肤色对应的目标眼镜颜色,根据该目标眼镜框型和目标眼镜颜色,将该目标眼镜框型和目标眼镜颜色的眼镜推荐给该待推荐用户。
在一种可能的实施方式中,保存的眼镜框型与脸型的对应关系可以如下表1所示:
表1
为方便理解,针对表1的内容进行如下说明:第一列保存的是脸型,具体可以是圆脸、方脸、长脸、瓜子脸和椭圆脸等;第二、三、四列为保存的与第一列脸型对应的所适合的眼镜框型;如表1所示,圆脸适合的眼镜框型包括椭圆框、方形框和半框,方脸适合的眼镜框型包括半框、梯形框和椭圆框,长脸适合的眼镜框型包括半框、圆框和椭圆框,瓜子脸适合的眼镜框型包括所有框型,椭圆脸适合的眼镜框型包括圆框、方形框和椭圆框。
在一种可能的实施方式中,保存的眼镜颜色与肤色的对应关系可以如下表2所示:
肤色 适合1 适合2 适合3
冷白皮 浅金框 玫瑰金 银框
粉白皮 银框 浅金框 玫瑰金
黄皮 黑框 哑光银框 玳瑁色框
黑皮 玳瑁色框 黑框 金框
表2
为方便理解,对表2的内容进行如下说明:第一列为保存的肤色,具体可以是冷白皮、粉白皮、黄皮和黑皮等;第二、三、四列保存的为第一列肤色对适合的眼镜颜色。如表2所示,冷白皮的用户所适合的眼镜颜色包括浅金框、玫瑰金和银框,粉白皮的用户所适合的眼镜颜色包括银框、浅金框和玫瑰金,黄皮的用户所适合的眼镜颜色包括黑框、哑光银框和玳瑁色框,黑皮的用户所适合的眼镜颜色包括玳瑁色框、黑框和金框。
为了进一提高推荐的眼镜的准确度,在上述各实施例的基础上,在本申请实施例中,所述控制器用于执行:
将所述目标人脸图像输入预先训练完成的性别检测模型中,获取所述性别检测模型输出的所述待推荐用户的目标性别;根据预先保存的性别与眼镜的对应关系以及脸型与眼镜框型的对应关系,确定所述目标脸型及所述目标性别对应的眼镜。
因为不同性别的用户适合的眼镜也是不同的,因此为了向用户推荐更加合适的眼镜,在本申请实施例中当获取到人脸目标图像后,将该目标人脸图像输入到预先训练完成的性别检测模型进行性别检测,获取性别检测模型输出的待推荐用户的目标性别。在本申请实施例中可以保存性别和眼镜的对应关系,当确定了待推荐目标用户的目标性别后,根据保存的性别和眼镜的对应关系,确定该目标性别对应的眼镜。
另外因为已经确定了目标脸型和目标肤色,可以确定该目标肤色、该目标脸型及该目标性别对应的眼镜并推荐。具体的,在本申请实施例中控制器12可以保存性别和眼镜颜色的对应关系,保存脸型、肤色分别与眼镜的对应关系,并保存每个眼镜对应的眼镜框型、眼镜颜色以及适合的性别。其中每个眼镜以及每个眼镜对应的性别、脸型及肤色可以根据眼镜的实际情况进行灵活设置,本申请对此不做具体限定。
所以当确定了待推荐用户的目标肤色、目标脸型及和目标性别后,根据保存的性别与眼镜的对应关系,确定该目标性别对应的眼镜;根据该目标脸型及脸型与眼镜框型的对应关系,确定该目标脸型对应的目标眼镜框型,根据目标肤色及肤色与眼镜颜色的对应关系,确定该目标肤色对应的目标眼镜颜色;根据该目标眼镜框型、目标眼镜颜色以及该目标性别对应的眼镜,将确定的眼镜的交集中的眼镜推荐给该待推荐用户,也就是推荐给该待推荐用户的眼镜是该目标眼镜框型、目标眼镜颜色以及适合该目标性别的眼镜。
图5为本申请的一些实施例提供的对第一目标图像进行分析确定目标脸型及目标性别的示意图。脸型的识别需要通过人脸识别模型、人脸关键点检测模型等实现。具体的检测过程上述过程已经描述,在此不再赘述。
具体的,性别识别也可以通过该人脸识别模型来实现,也就说该人脸识别模型和性别识别模块可以是一个,这里统一称为人脸识别模块,在对这个人脸识别模型进行训练时,除了在样本图像中标注的人脸图像的位置信息,还需要标注性别,完成数据标注之后,通过轻量化模型yolov5来进行模型训练,从而实现人脸位置及性别的识别。
人脸关键点检测基于人脸检测位置信息,在对人脸关键点检测模型进行训练时,将切割后的人脸图片输入到人脸关键点检测模型,目前常用的人脸关键点检测模型为一种实用的人脸关键点检测器(A Practical Facial Landmark Detector,PFLD),人脸关键点检测可以输出脸部106个关键点的位置信息。图6为本申请的一些实施例提供的进行人脸关键点检测输出的关键点位置信息示意图。
为了进一步提高用户的体验,提高推荐的眼镜的准确率,在上述各实施例的基础上,在本申请实施例中,所述控制器12用于执行:
获取眉尾关键点对,确定通过所述眉尾关键点对的第一直线,获取嘴角关键点对,确定通过所述嘴角关键点对的第二直线;确定所述第一直线与所述第二直线的第一距离;
确定通过下唇关键点且与所述第一直线平行的第三直线,并确定所述第三直线与所述目标人脸图像中人脸轮廓的第一交点,确定所述第一交点之间的第二距离;
根据所述第一距离与所述第二距离的第一比值及预设的脸型对应的阈值范围,确定所述待推荐用户的目标脸型。
在本申请实施例中为了确定人眼与嘴之间的距离,以及人脸的宽度,预先设置有对应的预设关键点,该预设关键点包括第一预设关键点、第二预设关键点及第三预设关键点,其中该第一预设关键点可以是眉尾关键点,第二预设关键点可以是嘴角关键点,第三预设关键点可以是下唇关键点,可以根据脸型识别的需要进行灵活设置,本申请对此不做具体限定。当在目标人脸图像中获取了每个关键点的位置信息后,为了方便进行识别,该人脸关键点检测模型还输出了每个关键点的标识信息。因此根据每个关键点的标识信息以及位置信息,可以获取到第一预设关键点的位置信息、第二预设关键点的位置信息以及第三预设关键点的位置信息。一般该第一预设关键点和第二预设关键点为一对,可以将其称为第一预设关键点对和第二预设关键点对。
在该目标人脸图像中根据第一预设关键点的位置信息、第二预设关键点的位置信息以及第三预设关键点的位置信息,将第一预设关键点对进行连线,确定该第一预设关键点对构成的第一直线。因为该第一预设关键点为眉尾关键点,也就是将两个眉尾关键点进行连线,从而确定该眉尾关键点对应的第一直线。
第二预设关键点为嘴角关键点,确定通过第二预设关键点对的第二直线,也就是确定通过嘴角关键点对的直线为第二直线;并确定第一直线与第二直线之间的第一距离,即确定通过眉尾关键点对的第一直线与通过嘴角关键点对的第二直线之间的距离为第一距离。
第三预设关键点为下唇关键点,确定通过下唇关键点且与第一直线平行的直线,将该直线作为第三直线,该第三直线也是通过该下唇关键点并为下唇曲线切线的直线。确定通过下唇关键点的第三直线后,确定该第三直线与目标人脸图像中人脸轮廓的两个交点,确定两个交点之间的第二距离,也就是确定通过下唇关键点的第三直线止于人脸轮廓的线段长度为第二距离。根据第一距离与第二距离的第一比值及预设的脸型对应的阈值范围,可以确定待推荐用户的目标脸型,其中每种脸型对应的阈值范围不重叠。
为方便理解,下面结合一个例子对本申请实施例中确定目标脸型的具体实现过程做如下说明。
首先,根据人脸关键点检测模型输出的每个关键点的标识信息及位置信息,获取眉尾关键点、嘴角关键点以及下唇关键点;确定经过两个眉尾关键点的直线L1,经过两个嘴角关键点的直线L2,经过下唇关键点下沿切齐且止于脸颊轮廓的直线L3,确定通过眉尾关键点的直线L1与通过嘴角关键点的直线L2之间的垂直距离D1,并确定通过下唇关键点的直线L3与人脸轮廓相交的两关键点之间的水平距离D2,将D1/D2的比值记作R1。
若R1等于预设的第一阈值,则确定该待推荐用户的目标脸型为椭圆形,若R1不等于预设的第一阈值,则确定待推荐用户的目标脸型为非椭圆形。
当待推荐用户的目标脸型非椭圆形时,为了准确的确定待推荐用户的目标脸型,在上述各实施例的基础上,在本申请实施例中,所述控制器,还用于:
若所述第一比值等于第一预设数值,则确定所述目标脸型为椭圆形;
若所述第一比值等于第二预设数值,获取位于脸颊一侧的四个脸颊关键点,其中所述四个脸颊关键点中的第一对脸颊关键点为位于通过嘴角关键点直线上侧且相邻,第二对脸颊关键点为位于通过嘴角关键点直线下侧且相邻,确定通过所述第一对脸颊关键点的直线与通过第二对脸颊关键点的直线的夹角,若所述夹角大于预设角度,确定所述目标脸型为方形,否则,确定所述目标脸型为圆形;
若所述第一比值不等于第一预设数值且不等于第二预设数值,获取发际线关键点,确定通过所述发际线关键点且与所述第一直线平行的第四直线,确定所述第四直线与所述第一直线之间的第三距离,并确定平行于所述第一直线且与所述第四直线之间的距离为所述第三距离三分之一处的第五直线,获取所述第五直线与所述目标人脸图像中人脸轮廓的第二交点,确定所述第二交点之间的第四距离;确定眼睛下沿关键点对,并确定通过所述眼睛下沿关键点对的第六直线,获取所述第六直线与所述目标人脸图像中人脸轮廓的第三交点,确定所述第三交点之间的第五距离;确定所述第四距离与所述第五距离的第二比值,若所述第二比值等于第三预设数值,则确定所述目标脸型为倒三角形,若所述第二比值等于第四预设数值,则确定所述目标脸型为菱形,若所述第二比值不等于第三预设数值,且不等于第四预设数值,则确定所述目标脸型为长方形。
在本申请实施例中可以预先设定第一预设数值,判断该第一比值是否等于该第一预设数值,若是,则确定该目标脸型为椭圆形,若该第一比值不等于第一预设数值,则确定该目标脸型非椭圆形,为了进一步准确的确定目标脸型,在本申请实施例中还需要结合其他的关键点进行确定。具体的该第一预设数值可以是1。
为了进一步准确的识别目标脸型,在本申请实施例中当确定第一比值不等于第一预设数值时,获取位于脸颊一侧的四个脸颊关键点,其中该四个脸颊关键点中的第一对脸颊关键点为位于通过嘴角关键点直线上侧且相邻的两个关键点,第二对脸颊关键点为位于通过嘴角关键点直线下侧且相邻的两个关键点,确定通过第一对脸颊关键点的直线与通过第二对脸颊关键点的直线的夹角,发际线关键点的位置信息以及眼睛下沿关键点的位置信息。其中眼睛下沿关键点为一对,可以将其称为眼睛下沿关键点对,发际线关键点即位于脸部最上方的关键点。
首先,通过发际线关键点做第一直线的平行线,确定通过该发际线关键点且与该第一直线平行的第四直线。确定通过发际线关键点且平行于第一直线的第四直线后,确定该第四直线与该第一直线之间的第三距离,也就是第四直线和第一直线这两条平行线之间的距离。确定第四直线与第一直线之间的第三距离后,确定平行于该第一直线且与该第四直线之间的距离为该第三距离三分之一处的第五直线,也就是在该第一直线与该第四直线之间且与该第四直线的距离为该第三距离的三分之一处做第一直线的平行线,将该平行线确定为第五直线。确定该第五直线后,确定该第五直线与目标人脸图像中人脸轮廓的两个第二交点,确定该两个第二交点之间的第四距离,也就是确定第五直线止于人脸轮廓的线段长度为第四距离。确定通过眼睛下沿关键点对的直线为第六直线;获取第六直线与目标人脸图像中人脸轮廓的第三交点,确定该两个第三交点之间的第五距离,也就是获取第六直线与目标人脸图像中人脸轮廓的两个交点,确定两个交点之间的距离为第五距离,即确定通过眼睛下沿关键点的第六直线止于人脸轮廓的线段长度为第五距离。
若该第一比值等于第二预设数值,则确定通过第一对脸颊关键点的直线与通过第二对脸颊关键点的直线的夹角,若该夹角大于预设角度,确定该目标脸型为方形,否则,确定该目标脸型为圆形。
若该第一比值不等于第一预设数值且不等于第二预设数值,确定该第四距离与该第五距离的第二比值,若该第二比值等于第三预设数值,则确定该目标脸型为倒三角形,若该第二比值等于第四预设数值,则确定该目标脸型为菱形,若该第二比值不等于第三预设数值,且不等于第四预设数值,则确定该目标脸型为长方形。
在本申请实施例中可以预先设定第二预设数值、预设角度、第三预设数值及第四预设数值,具体的该第二预设数值可以是2/3,该预设角度可以是45°或者其他与45°临近的角度,或者与45°互补的角度,第三预设数值可以是1,第四预设数值可以是2/3。
图7为本申请的一些实施例提供的基于人脸关键点进行目标脸型识别的示意图,现结合图7进行说明。
首先,根据人脸关键点检测模型输出的每个关键点的标识信息及位置信息,获取眉尾关键点、嘴角关键点以及下唇关键点;确定经过两个眉尾关键点的直线L1,经过两个嘴角关键点的直线L2,经过下唇关键点下沿切齐且止于脸颊轮廓的直线L3,确定通过眉尾关键点的直线L1与通过嘴角关键点的直线L2之间的垂直距离D1,并确定通过下唇关键点的直线L3与人脸轮廓相交的两关点之间的水平距离D2,将D1/D2的比值记作R1。
若R1等于第一预设数值,则确定该待推荐用户的目标脸型为椭圆形,若R1不等于第一预设数值,则确定该目标脸型为非椭圆形。获取位于脸颊一侧的四个脸颊关键点,其中四个脸颊关键点中的第一对脸颊关键点位于通过嘴角关键点直线上侧且相邻,第二对脸颊关键点位于通过嘴角关键点直线下侧且相邻,确定通过第一对脸颊关键点的直线与通过第二对脸颊关键点的直线的夹角,发际线关键点以及眼睛下沿关键点。
确定通过发际线关键点的直线L6,确定平行于直线L6且与L6的距离为e1的直线L4,直线L4与通过眉尾关键点的直线L1之间的垂直距离为e2,并且e1/e2=1/2,确定直线L4与人脸轮廓相交的两交点之间的水平距离D4,确定通过眼睛下沿关键点的直线L5,并确定通过眼睛下沿关键点的直线L5与人脸轮廓相交的两交点之间的水平距离D5;将通过第一对脸颊关键点的直线与通过第二对脸颊关键点的直线的夹角记为θ,将D4/D5的比值记作R2。
若R1等于第二预设数值,判断θ是否大于预设角度;当θ大于预设角度时,则确定该目标脸型为方形,当θ小于或等于预设角度时,则确定该目标脸型为圆形。
若R1不等于第一预设数值且不等于第二预设数值,若R2等于第三预设数值,则确定该目标脸型为倒三角形,若R2等于第四预设数值,则确定该目标脸型为菱形,若R2不等于第三预设数值,且不等于第四预设数值,则确定该目标脸型为长方形。
下面结合一个例子,对本申请实施例中目标框型的检测过程进行说明。
具体采用边缘检测算子对眼镜的边缘轮廓进行检测。再检测闭合区域,找到图片中最大的闭合区域。首先对目标眼镜图像进行灰度处理,对目标眼镜图像进行高斯滤波去除图像的细节和噪音;再通过处理后的目标眼镜图像计算梯度的幅值和方向获取目标眼镜的边缘点,从而确定目标眼镜的边缘轮廓。
其中,最简单的灰度处理是三通道求平均。而对图像进行高斯滤波可以用两个一维高斯核分别两次加权实现,也可以通过一个二维高斯核一次卷积实现。由于该目标眼镜图像都是二维的,所以本申请实施例中用到的是二维高斯函数:其中σ的大小决定了高斯函数的宽度,σ越大函数图像跨幅越宽,反之则越窄。确定该离散化二维高斯函数的参数就可以得到二维核向量。图8为本申请的一些实施例提供的该二维核向量的示意图。
假设卷积核大小为N维,则将以目标眼镜图像中每个像素点为中心的N*N个像素点的坐标带入二维高斯函数,得到一个新的矩阵。再计算N*N矩阵中所有元素的和值,N*N矩阵中的每一个元素除以该和值,就得到该像素点的高斯核。将灰度图像和该高斯核进行卷积操作,就得到了经过高斯滤波之后该像素点的像素值。
计算梯度的幅值和方向则是采用横向纵向卷积因子对目标眼镜图像进行两个方向的平面卷积,可以分别得到目标眼镜图像横向及纵向的灰度值,H代表目标眼镜图像,Fx与Fy代表平面卷积之后像素点的横向与纵向的灰度值。计算公式如下:Fx=Sx*H,Fy=Sy*H,其中Sx为卷积因子,Sy为纵向卷积因子;再将目标眼镜图像的每一个像素点的横向及纵向灰度值通过公式F=(Fx2+Fy2)1/2结合,来计算该像素点梯度的大小,如果像素点(x,y)的梯度F大于某一阀值,则认为该像素点(x,y)为边缘点。
当获取到目标眼镜图像中目标眼镜的轮廓信息后,根据该轮廓信息,确定目标眼镜的目标框型。因为控制器已经根据目标图像确定了待推荐用户的目标脸型,当确定了目标图像中的目标眼镜的目标框型后,可以根据保存的眼镜框型与脸型的对应关系,确定该目标框型对应的眼镜框型,并判断该对应的眼镜框型中是否包含该目标框型,从而确定该目标框型的目标眼镜是否适合待推荐用户佩戴。
为了准确的确定目标眼镜的目标框型,在上述各实施例的基础上,在本申请实施例中,所述控制器用于执行:
若所述直线线段的数量小于预设的第一数值,针对目标眼镜的轮廓中的任一侧,根据该侧包含的任意三个目标边缘点,确定该侧轮廓对应的候选圆心,根据所述候选圆心与其他边缘点之间的距离,确定所述目标框型为圆框或椭圆框;
若所述直线线段的数量不小于预设的第一数值,针对目标眼镜轮廓中的任一侧,根据该侧任意直线线段之间的夹角,确定所述目标框型为方形框或梯形框。
具体的,在本申请实施例中,根据轮廓信息中包含的边缘点,可以确定目标眼镜轮廓,并针对边缘点通过直线检测,确定目标眼镜轮廓中包含的直线线段。其中直线检测为现有技术,在此不再赘述。根据圆框、椭圆框、方形框以及梯形框等框型的形状特点,以及识别需要可以灵活设置预设直线线段条数的第一数值。本申请实施例具体的该预设的第一数值可以为4条。
若该目标眼镜轮廓中包含的直线线段的数量小于该预设的第一数值,即小于4条,则可初步判断目标框型为圆框或椭圆框。因为圆框中每个边缘点距离中心的距离是基本一致的,而椭圆框没有这个特点,因此可以基于该特点进行确定。另外因为对于眼镜来说其两个框的框型是一致的,因此可以基于目标眼镜的轮廓中的任一侧进行判断。具体的,可以根据该侧包含的任意三个目标边缘点,确定该侧轮廓对应的候选圆心,如果该目标款型为圆框,则该候选圆心为目标圆心,可以根据该候选圆心与其他边缘点之间的距离,确定该目标框型是圆框还是椭圆框。
若该目标眼镜轮廓中包含的直线线段的数量不小于该预设的第一数值,即不小于4条,则可初步判断目标框型为梯形框或方形框。因为方形框中夹角基本上都是一致的,而梯形框没这个特点,因此可以基于该特点进行确定,同样的,可以基于目标眼镜的轮廓中的任一侧进行判断。可以根据该侧任意直线线段之间的夹角,确定该目标框型是方形框还是梯形框。
为了进一步准确的确定目标框型,在上述各实施例的基础上,在本申请实施例中,所述控制器用于执行:
获取该侧包含的任意三个目标边缘点,依次顺应连接每个目标边缘点得到三个线段,确定任意两个线段的中垂线的第四交点,以及该两条中垂线与所述目标眼镜轮廓的两个第五交点,确定所述第四交点分别与每个第五交点的距离,若所述距离的差值的绝对值小于预设的第二数值,则确定所述目标框型为圆框,否则,确定所述目标框型为椭圆框。
若该目标眼镜轮廓中包含的直线线段数量小于该预设的第一数值,即小于4条,为了准确的确定目标框型,根据轮廓信息中包含的边缘点,针对目标眼镜轮廓中的任一侧,获取该侧包含的任意三个目标边缘点,将三个目标边缘点依次顺应相连可以得到三个线段,也就是将相邻的两个目标边缘点进行连接,对其中任意两个线段分别做中垂线,确定两条中垂线的交点为第四交点,并确定该两条中垂线与该目标眼镜轮廓的交点,确定该两条中垂线与该目标眼镜轮廓的交点为第五交点,并确定该第四交点分别与每个第五交点的距离;计算该两个距离的差值的绝对值,若该绝对值小于预设的第二数值,则确定该目标框型为圆形,否则,确定该目标框型为椭圆形。其中该第二数值一般为较小的数值,需要根据显示器的大小进行设置。
为了进一步准确的确定目标框型,在上述各实施例的基础上,在本申请实施例中,所述控制器用于执行:
确定该侧任意相邻两条直线线段之间的夹角的差值的绝对值,若任一差值的绝对值均小于预设的角度,则确定所述目标框型为方形框,若存在一个差值的绝对值小于预设的第一角度,其他的差值的绝对值均不小于预设的第二角度,则确定所述目标框型为梯形框。
若该目标眼镜轮廓中包含的直线线段数量不小于该预设的第一数值,即不小于4条,为了准确的确定目标框型,计算相邻直线线段所形成的角度,由于眼镜的对称性,针对目标眼镜轮廓中的一侧进行计算即可。根据直线检测确定的该侧的目标眼镜轮廓中包含的直线线段,计算该侧任意相邻两条直线线段之间的夹角的差值的绝对值,若任一差值的绝对值均小于预设的第一角度,也就是说如果这四个夹角中的夹角差值很小,说明角度值比较接近,则确定该目标框型为方型。若存在一个差值的绝对值小于预设的第一角度,其他的差值的绝对值均大于预设的第二角度,则确定该目标框型为梯形。本申请实施例中第二角度大于第一角度,具体的该第一角度可以为5°,第二角度可以为10°。
图9和图10为本申请的一些实施例提供的对目标框型的确定过程的示意图,首先,基于获取到目标眼镜图像中目标眼镜的轮廓信息,通过直线检测的方式,检测出该目标眼镜轮廓中的所有直线线段。
若直线线段的数量小于4条,则初步判断该目标框型为圆框或椭圆框。
针对目标眼镜轮廓中的任一侧,获取该侧包含的任意3个边缘点(x5,y5),(x6,y6)和(x7,y7),依次顺应相连得到三个线段,对其中任意相邻两线段分别做中垂线,两条中垂线相交的点为O点。
设两条中垂线与目标眼镜轮廓的交点为A点与B点,分别计算O点到A点与O点到B点的距离h1,h2,如果|h1-h2|小于预设的第二数值,则可以判断该目标框型为圆框;如果|h1-h2|大于预设的第二数值,则可以判断该目标框型为椭圆框。
若直线线段数量大于4条,则初步判断该目标框型为梯形框或方形框;
计算相邻直线线段所形成的角度,由于眼镜的对称性,针对目标眼镜轮廓中的任一侧,例如左侧,对该侧直线线段进行角度检测;设相邻两条直线线段斜率为K1,K2,斜率分别通过直线上的任意两点(x1,y1),(x2,y2)和(x3,y3),(x4,y4)可以计算,根据相邻两条直线线段的斜率,可以计算相邻两条直线线段的夹角θ,如果这些夹角中两两的角度值比较接近,即有两对角度差值满足|θi-θj|(i,j=1,2,3……)小于5°,则判断该目标框型为方形框;如果四个角度中,有一对角度的差值满足|θi-θj|小于5°,其他的差值都大于10°,则判断该目标框型为梯形框。
为方便理解,下面通过一个具体实施例对本申请实施例的智能显示设备进行说明。
为了方便对线下店中的商品进行数字化管理,方面方便店员查找商品及库存情况,并方便客户对本店的商品进行一个全面的浏览,方便选择自己想要的眼镜。这是因为部分用户是有明确需求的,因此可以给出商品陈列表,方便用户使用智能心事设备查看成百上千的眼镜产品,通过筛选条件查找自己喜欢的眼镜,通过实物试戴选择最终购买的眼镜。因此可以通过不同的性别,不同的框型,品牌、颜色、材质等条件对满足对应条件的眼镜进行展示,其中每个条件下面又可以具体的细分,例如框型又可以包括全框、半框、无框、组合框和折叠框。通过商品列表进行展示,方便用户进行初步了解。基于所有的商品列表也可以定位自己想要的款式、框型、品牌、材质等条件,提炼和缩小用户选择的范围,尽快找到适合自己的产品。
针对没有明确喜好与明确目标的用户,只给出陈列是不够的,采用AR实物试镜技术,可以让用户直观体验到试镜效果,选取喜欢的若干产品,缩小目标产品范围。针对选出的眼镜产品,采用实物试戴及同屏试戴效果对比的方式进行精准定位产品,选出用户最心仪的产品。
针对没有喜好及明确目标的用户,还可以通过智能显示设备,采集用户的图像,确定用户脸型、目前配戴的眼镜信息、肤色等用户个性化的信息。在本申请的实施例中,该智能显示设备可以根据预先设定的虚拟AR试镜功能,将眼镜的模型虚拟到真实的用户脸部,达到接近于真实的试戴效果,直观的查看初步的试戴效果。基于该功能可以让用户在海量的商品中,挑选相对喜欢的部分产品,进而缩小商品范围,形成初步的购买目标。
具体的,AI智能推荐是借助智能显示设备的AI算力支持,来分析用户的个性化特点。其中,个性化特点包括:脸型、肤色、当前眼镜样式、性别信息,结合专业的知识做支撑,进行个性化的产品推荐。具体的推荐过程上述实施例中已经描述,在此不再赘述。
在一种可能的实施方式中,为了让用户在最终几款眼镜中找到最适合自己的一款,本申请中该智能显示设备还具有同屏对比显示功能。通过设定的拍摄指引,将每一款眼镜试戴的效果都录制视频,在同一个屏幕上展示不同角度,不同款式的佩戴效果,可以使用户通过直观的对比选出自己最喜欢的一款眼镜。
通过自选或本申请实施例提供的方法推荐方式用户定位了几款喜欢的眼镜,真实的佩戴体验是线上及AR试戴所不能替代的,为了让用户在最终几款眼镜中找到最适合自己的一款,本申请实施例的智能显示设备还可以提供同屏对比功能。将用户试戴每一款眼镜的效果都录制成视频,在同一个屏幕上展示不同角度,不同款式的佩戴效果,让用户通过直观的对比选出自己最喜欢的一款眼镜。图11为本申请的一些实施例提供的智能显示设备为了展示不同角度佩戴眼镜的效果进行拍摄的界面示意图。
用户通过拍摄指引,将喜欢的眼镜试戴过程中不同角度的试戴状态录制成视频,保存在智能显示设备。再将所有拍摄的视频,同屏展示在一个界面中,可以同时播放或暂停,进行不同角度的佩戴对比,同时可以将录制的视频传输到手机端。挑选完成,录制的视频可进行删除。
具体的,针对图11进行说明,智能显示设备在进行拍摄时,在显示界面还显示有数据管理列表,点击进入数据管理列表可以批量删除存储的视频。点击拍摄视频按钮,3、2、1倒计时开始拍摄;为了能够帮助用户多角度对比试戴效果,在智能显示设备的显示界面还会显示人脸引导框,引导用户拍摄左侧、正面、右侧等角度,方便后续对比。
在进行拍摄时,可以有一张图片作为主要显示图,以大图方式显示,其他图片以小图方式显示,如图11所示,点击已拍摄视频,在大图将会播放已拍摄视频内容,点击返回按键,回到实时视频预览界面。点击显示界面上的试镜对比按钮,进入视频对比界面,针对拍摄的图片或视频进行同步对比。点击删除按钮,对当前显示界面显示的图片或视频即刻被删除。
图12为本申请的一些实施例提供的智能显示设备展示的不同角度佩戴眼镜的效果图。智能显示设备在展示佩戴效果时,在显示界面还显示有保存按钮,点击该按保存按钮可以保存视频到智能显示设备,当进行对比时,可以选择进行对比的视频,选中的视频从上到下依次排列,每个视频对应的显示界面或者称列表上都会有删除按钮,点击删除按钮,移除选中的视频及对应的列表。
图12中以选中的视频为4个进行显示,当选中的视频多于4个,列表同步上移,同时右侧显示进度;当前选中的视频要显示在上方列表。长按列表中的视频可移动到想要的位置,点击视频,视频将会暂停播放,再次点击继续播放,多于4个视频或图片可上下滑动显示,并且可以将视频和图片进行对比。在列表的下方还会显示选中的目标视频的其他帧图像,通过点选的方式选中,选中的目标视频或图片变灰,再次点击变灰的目标视频或图片,相当于从上方列表移除,同时恢复正常显示。
图13为本申请的一些实施例提供的一种眼镜推荐过程示意图,该过程包括以下步骤:
S1301:接收推荐指令,采集佩戴有眼镜的待推荐用户的目标图像。
S1302:将所述目标图像输入到预先训练完成的眼镜识别模型中,获取所述眼镜识别模型输出的所述目标图像中目标眼镜的位置信息。
S1303:获取根据所述位置信息获取的目标眼镜图像中所述目标眼镜的轮廓信息。
S1304:根据所述轮廓信息中包含的边缘点,确定所述目标眼镜的轮廓中包含的直线线段的数量,根据所述直线线段的数量及每个框型对应的特征,确定所述目标眼镜的目标框型,并根据预先保存的眼镜框型与脸型的对应关系,若确定所述目标框型的目标眼镜适合所述目标脸型的待推荐用户佩戴,则输出适合佩戴的提示信息,否则,输出不适合佩戴的提示信息。
由于本申请可以基于获取到的目标眼镜的轮廓信息,确定目标眼镜的轮廓中包含的直线线段的数量,并根据直线线段的数量及每个框型对应的特征,确定目标眼镜的目标框型,从而确定该目标框型的目标眼镜是否适合该目标脸型的待推荐用户佩戴,从而可以个性化的为用户推荐眼镜,从一定程度上保证了推荐的眼镜满足用户的脸型需求,能达到用户的满意,从而提高用户的购买率。
进一步地,所述根据所述直线线段的数量及每个框型对应的特征,确定所述目标眼镜的目标框型包括:
若所述直线线段的数量小于预设的第一数值,针对目标眼镜的轮廓中的任一侧,根据该侧包含的任意三个目标边缘点,确定该侧轮廓对应的候选圆心,根据所述候选圆心与其他边缘点之间的距离,确定所述目标框型为圆框或椭圆框;
若所述直线线段的数量不小于预设的第一数值,针对目标眼镜轮廓中的任一侧,根据该侧任意直线线段之间的夹角,确定所述目标框型为方形框或梯形框。
进一步地,所述根据该侧包含的任意三个目标边缘点,确定该侧轮廓对应的候选圆心包括:
获取该侧包含的任意三个目标边缘点,依次顺应连接每个目标边缘点得到三个线段,确定任意两个线段的中垂线的第四交点;
所述根据所述候选圆心与其他边缘点之间的距离,确定所述目标框型为圆框或椭圆框包括:
确定该两条中垂线与所述目标眼镜轮廓的两个第五交点,确定所述第四交点分别与每个第五交点的距离,若所述距离的差值的绝对值小于预设的第二数值,则确定所述目标框型为圆框,否则,确定所述目标框型为椭圆框。
进一步地,所述根据该侧任意直线线段之间的夹角,确定所述目标框型为方形框或梯形框包括:
确定该侧任意相邻两条直线线段之间的夹角的差值的绝对值,若任一差值的绝对值均小于预设的角度,则确定所述目标框型为方形框,若存在一个差值的绝对值小于预设的第一角度,其他的差值的绝对值均不小于预设的第二角度,则确定所述目标框型为梯形框,其中第二角度大于第一角度。
进一步地,确定所述目标脸型的过程包括:
将所述目标图像输入到预先训练完成的人脸识别模型中,获取所述人脸识别模型输出的所述第一目标图像中的目标人脸图像的位置信息;
将根据所述位置信息获取的目标人脸图像输入预先训练完成的人脸关键点检测模型,获取所述人脸关键点检测模型输出的所述目标人脸图像中包含的每个关键点;
根据预设关键点人眼与嘴之间的距离以及人脸的宽度,根据所述距离及所述宽度以及每个脸型对应的阈值范围,确定所述待推荐用户的目标脸型。
进一步,所述方法还包括:
对所述目标人脸图像进行肤色识别,确定所述待推荐用户的目标肤色;
所述根据设定的脸型与眼镜的对应关系,确定所述目标脸型对应的眼镜包括:
根据预先保存的肤色与眼镜颜色的对应关系以及脸型与眼镜框型的对应关系,确定所述目标脸型及所述目标肤色对应的眼镜。
进一步地,所述方法还包括:
将所述目标人脸图像输入预先训练完成的性别检测模型中,获取所述性别检测模型输出的所述待推荐用户的目标性别;
所述根据设定的脸型与眼镜的对应关系,确定所述目标脸型对应的眼镜包括:
根据预先保存的性别与眼镜的对应关系以及脸型与眼镜框型的对应关系,确定所述目标脸型及所述目标性别对应的眼镜。
进一步地,所述根据所述距离及所述宽度以及每个脸型对应的阈值范围,确定所述待推荐用户的目标脸型包括:
获取眉尾关键点对,确定通过所述眉尾关键点对的第一直线,获取嘴角关键点对,确定通过所述嘴角关键点对的第二直线;确定所述第一直线与所述第二直线的第一距离;
确定通过下唇关键点且与所述第一直线平行的第三直线,并确定所述第三直线与所述目标人脸图像中人脸轮廓的第一交点,确定所述第一交点之间的第二距离;
根据所述第一距离与所述第二距离的第一比值及预设的脸型对应的阈值范围,确定所述待推荐用户的目标脸型。
进一步地,所述根据所述第一距离与所述第二距离的第一比值及预设的脸型对应的阈值范围,确定所述待推荐用户的目标脸型包括:
若所述第一比值等于第一预设数值,则确定所述目标脸型为椭圆形;
若所述第一比值等于第二预设数值,获取位于脸颊一侧的四个脸颊关键点,其中所述四个脸颊关键点中的第一对脸颊关键点为位于通过嘴角关键点直线上侧且相邻,第二对脸颊关键点为位于通过嘴角关键点直线下侧且相邻,确定通过所述第一对脸颊关键点的直线与通过第二对脸颊关键点的直线的夹角,若所述夹角大于预设角度,确定所述目标脸型为方形,否则,确定所述目标脸型为圆形;
若所述第一比值不等于第一预设数值且不等于第二预设数值,获取发际线关键点,确定通过所述发际线关键点且与所述第一直线平行的第四直线,确定所述第四直线与所述第一直线之间的第三距离,并确定平行于所述第一直线且与所述第四直线之间的距离为所述第三距离三分之一处的第五直线,获取所述第五直线与所述目标人脸图像中人脸轮廓的第二交点,确定所述第二交点之间的第四距离;确定眼睛下沿关键点对,并确定通过所述眼睛下沿关键点对的第六直线,获取所述第六直线与所述目标人脸图像中人脸轮廓的第三交点,确定所述第三交点之间的第五距离;确定所述第四距离与所述第五距离的第二比值,若所述第二比值等于第三预设数值,则确定所述目标脸型为倒三角形,若所述第二比值等于第四预设数值,则确定所述目标脸型为菱形,若所述第二比值不等于第三预设数值,且不等于第四预设数值,则确定所述目标脸型为长方形。
具体的,上述方法的执行过程参照上述实施例中具体实现方式,在此不再赘述。
图14为本申请实施例提供的一种眼镜推荐装置的结构示意图,该装置包括:
采集模块1401,用于接收到的推荐指令,采集佩戴有眼镜的待推荐用户的目标图像;
确定模块1402,用于将所述目标图像输入到预先训练完成的眼镜识别模型中,获取所述眼镜识别模型输出的所述目标图像中目标眼镜的位置信息;获取根据所述位置信息获取的目标眼镜图像中所述目标眼镜的轮廓信息;根据所述轮廓信息中包含的边缘点,确定所述目标眼镜的轮廓中包含的直线线段的数量,根据所述直线线段的数量及每个框型对应的特征,确定所述目标眼镜的目标框型;
推荐模块1403,用于根据预先保存的眼镜框型与脸型的对应关系,若确定所述目标框型的目标眼镜适合所述目标脸型的待推荐用户佩戴,则输出适合佩戴的提示信息,否则,输出不适合佩戴的提示信息。
进一步地,所述确定模块1402,具体用于若所述直线线段的数量小于预设的第一数值,针对目标眼镜的轮廓中的任一侧,根据该侧包含的任意三个目标边缘点,确定该侧轮廓对应的候选圆心,根据所述候选圆心与其他边缘点之间的距离,确定所述目标框型为圆框或椭圆框;若所述直线线段的数量不小于预设的第一数值,针对目标眼镜轮廓中的任一侧,根据该侧任意直线线段之间的夹角,确定所述目标框型为方形框或梯形框。
进一步地,所述确定模块1402,具体用于获取该侧包含的任意三个目标边缘点,依次顺应连接每个目标边缘点得到三个线段,确定任意两个线段的中垂线的第四交点;确定该两条中垂线与所述目标眼镜轮廓的两个第五交点,确定所述第四交点分别与每个第五交点的距离,若所述距离的差值的绝对值小于预设的第二数值,则确定所述目标框型为圆框,否则,确定所述目标框型为椭圆框。
进一步地,所述确定模块1402,具体用于确定该侧任意相邻两条直线线段之间的夹角的差值的绝对值,若任一差值的绝对值均小于预设的角度,则确定所述目标框型为方形框,若存在一个差值的绝对值小于预设的第一角度,其他的差值的绝对值均不小于预设的第二角度,则确定所述目标框型为梯形框,其中第二角度大于第一角度。
进一步地,所述确定模块1402,还用于将所述目标图像输入到预先训练完成的人脸识别模型中,获取所述人脸识别模型输出的所述目标图像中的目标人脸图像的位置信息;将根据所述位置信息获取的目标人脸图像输入预先训练完成的人脸关键点检测模型,获取所述人脸关键点检测模型输出的所述目标人脸图像中包含的每个关键点;根据预设关键点人眼与嘴之间的距离以及人脸的宽度,根据所述距离及所述宽度以及每个脸型对应的阈值范围,确定所述待推荐用户的目标脸型。
进一步,所述确定模块1402,还用于对所述目标人脸图像进行肤色识别,确定所述待推荐用户的目标肤色;
所述推荐模块1403,还用于根据预先保存的肤色与眼镜颜色的对应关系以及脸型与眼镜框型的对应关系,确定所述目标脸型及所述目标肤色对应的眼镜。
进一步地,所述确定模块1402,还用于将所述目标人脸图像输入预先训练完成的性别检测模型中,获取所述性别检测模型输出的所述待推荐用户的目标性别;
所述推荐模块1403,还用于根据预先保存的性别与眼镜的对应关系以及脸型与眼镜框型的对应关系,确定所述目标脸型及所述目标性别对应的眼镜。
进一步地,所述确定模块1402,具体用于获取眉尾关键点对,确定通过所述眉尾关键点对的第一直线,获取嘴角关键点对,确定通过所述嘴角关键点对的第二直线;确定所述第一直线与所述第二直线的第一距离;确定通过下唇关键点且与所述第一直线平行的第三直线,并确定所述第三直线与所述目标人脸图像中人脸轮廓的第一交点,确定所述第一交点之间的第二距离;根据所述第一距离与所述第二距离的第一比值及预设的脸型对应的阈值范围,确定所述待推荐用户的目标脸型。
进一步地,所述确定模块1402,具体用于若所述第一比值等于第一预设数值,则确定所述目标脸型为椭圆形;若所述第一比值等于第二预设数值,获取位于脸颊一侧的四个脸颊关键点,其中所述四个脸颊关键点中的第一对脸颊关键点为位于通过嘴角关键点直线上侧且相邻,第二对脸颊关键点为位于通过嘴角关键点直线下侧且相邻,确定通过所述第一对脸颊关键点的直线与通过第二对脸颊关键点的直线的夹角,若所述夹角大于预设角度,确定所述目标脸型为方形,否则,确定所述目标脸型为圆形;若所述第一比值不等于第一预设数值且不等于第二预设数值,获取发际线关键点,确定通过所述发际线关键点且与所述第一直线平行的第四直线,确定所述第四直线与所述第一直线之间的第三距离,并确定平行于所述第一直线且与所述第四直线之间的距离为所述第三距离三分之一处的第五直线,获取所述第五直线与所述目标人脸图像中人脸轮廓的第二交点,确定所述第二交点之间的第四距离;确定眼睛下沿关键点对,并确定通过所述眼睛下沿关键点对的第六直线,获取所述第六直线与所述目标人脸图像中人脸轮廓的第三交点,确定所述第三交点之间的第五距离;确定所述第四距离与所述第五距离的第二比值,若所述第二比值等于第三预设数值,则确定所述目标脸型为倒三角形,若所述第二比值等于第四预设数值,则确定所述目标脸型为菱形,若所述第二比值不等于第三预设数值,且不等于第四预设数值,则确定所述目标脸型为长方形。
在上述各实施例的基础上,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有可由电子设备执行的计算机程序,当所述程序在所述电子设备上运行时,使得所述电子设备执行时实现如下步骤:
接收推荐指令,采集佩戴有眼镜的待推荐用户的目标图像;将所述目标图像输入到预先训练完成的眼镜识别模型中,获取所述眼镜识别模型输出的所述目标图像中目标眼镜的位置信息;获取根据所述位置信息获取的目标眼镜图像中所述目标眼镜的轮廓信息;根据所述轮廓信息中包含的边缘点,确定所述目标眼镜的轮廓中包含的直线线段的数量,根据所述直线线段的数量及每个框型对应的特征,确定所述目标眼镜的目标框型,并根据预先保存的眼镜框型与脸型的对应关系,若确定所述目标框型的目标眼镜适合所述目标脸型的待推荐用户佩戴,则输出适合佩戴的提示信息,否则,输出不适合佩戴的提示信息。
进一步,所述根据所述直线线段的数量及每个框型对应的特征,确定所述目标眼镜的目标框型包括:
若所述直线线段的数量小于预设的第一数值,针对目标眼镜的轮廓中的任一侧,根据该侧包含的任意三个目标边缘点,确定该侧轮廓对应的候选圆心,根据所述候选圆心与其他边缘点之间的距离,确定所述目标框型为圆框或椭圆框;
若所述直线线段的数量不小于预设的第一数值,针对目标眼镜轮廓中的任一侧,根据该侧任意直线线段之间的夹角,确定所述目标框型为方形框或梯形框。
进一步地,所述根据该侧包含的任意三个目标边缘点,确定该侧轮廓对应的候选圆心包括:
获取该侧包含的任意三个目标边缘点,依次顺应连接每个目标边缘点得到三个线段,确定任意两个线段的中垂线的第四交点;
所述根据所述候选圆心与其他边缘点之间的距离,确定所述目标框型为圆框或椭圆框包括:
确定该两条中垂线与所述目标眼镜轮廓的两个第五交点,确定所述第四交点分别与每个第五交点的距离,若所述距离的差值的绝对值小于预设的第二数值,则确定所述目标框型为圆框,否则,确定所述目标框型为椭圆框。
进一步地,所述根据该侧任意直线线段之间的夹角,确定所述目标框型为方形框或梯形框包括:
确定该侧任意相邻两条直线线段之间的夹角的差值的绝对值,若任一差值的绝对值均小于预设的角度,则确定所述目标框型为方形框,若存在一个差值的绝对值小于预设的第一角度,其他的差值的绝对值均不小于预设的第二角度,则确定所述目标框型为梯形框,其中第二角度大于第一角度。
进一步地,确定所述目标脸型的过程包括:
将所述目标图像输入到预先训练完成的人脸识别模型中,获取所述人脸识别模型输出的所述第一目标图像中的目标人脸图像的位置信息;将根据所述位置信息获取的目标人脸图像输入预先训练完成的人脸关键点检测模型,获取所述人脸关键点检测模型输出的所述目标人脸图像中包含的每个关键点;根据预设关键点人眼与嘴之间的距离以及人脸的宽度,根据所述距离及所述宽度以及每个脸型对应的阈值范围,确定所述待推荐用户的目标脸型。
进一步,所述方法还包括:
对所述目标人脸图像进行肤色识别,确定所述待推荐用户的目标肤色;
所述根据设定的脸型与眼镜的对应关系,确定所述目标脸型对应的眼镜包括:
根据预先保存的肤色与眼镜颜色的对应关系以及脸型与眼镜框型的对应关系,确定所述目标脸型及所述目标肤色对应的眼镜。
进一步地,所述方法还包括:
将所述目标人脸图像输入预先训练完成的性别检测模型中,获取所述性别检测模型输出的所述待推荐用户的目标性别;
所述根据设定的脸型与眼镜的对应关系,确定所述目标脸型对应的眼镜包括:
根据预先保存的性别与眼镜的对应关系以及脸型与眼镜框型的对应关系,确定所述目标脸型及所述目标性别对应的眼镜。
进一步地,所述根据所述距离及所述宽度以及每个脸型对应的阈值范围,确定所述待推荐用户的目标脸型包括:
获取眉尾关键点对,确定通过所述眉尾关键点对的第一直线,获取嘴角关键点对,确定通过所述嘴角关键点对的第二直线;确定所述第一直线与所述第二直线的第一距离;
确定通过下唇关键点且与所述第一直线平行的第三直线,并确定所述第三直线与所述目标人脸图像中人脸轮廓的第一交点,确定所述第一交点之间的第二距离;
根据所述第一距离与所述第二距离的第一比值及预设的脸型对应的阈值范围,确定所述待推荐用户的目标脸型。
进一步地,所述根据所述第一距离与所述第二距离的第一比值及预设的脸型对应的阈值范围,确定所述待推荐用户的目标脸型包括:
若所述第一比值等于第一预设数值,则确定所述目标脸型为椭圆形;
若所述第一比值等于第二预设数值,获取位于脸颊一侧的四个脸颊关键点,其中所述四个脸颊关键点中的第一对脸颊关键点为位于通过嘴角关键点直线上侧且相邻,第二对脸颊关键点为位于通过嘴角关键点直线下侧且相邻,确定通过所述第一对脸颊关键点的直线与通过第二对脸颊关键点的直线的夹角,若所述夹角大于预设角度,确定所述目标脸型为方形,否则,确定所述目标脸型为圆形;
若所述第一比值不等于第一预设数值且不等于第二预设数值,获取发际线关键点,确定通过所述发际线关键点且与所述第一直线平行的第四直线,确定所述第四直线与所述第一直线之间的第三距离,并确定平行于所述第一直线且与所述第四直线之间的距离为所述第三距离三分之一处的第五直线,获取所述第五直线与所述目标人脸图像中人脸轮廓的第二交点,确定所述第二交点之间的第四距离;确定眼睛下沿关键点对,并确定通过所述眼睛下沿关键点对的第六直线,获取所述第六直线与所述目标人脸图像中人脸轮廓的第三交点,确定所述第三交点之间的第五距离;确定所述第四距离与所述第五距离的第二比值,若所述第二比值等于第三预设数值,则确定所述目标脸型为倒三角形,若所述第二比值等于第四预设数值,则确定所述目标脸型为菱形,若所述第二比值不等于第三预设数值,且不等于第四预设数值,则确定所述目标脸型为长方形。
由于本申请可以基于预先训练完成的人脸识别模型以及预先训练完成的人脸关键点检测模型,确定该第一目标图像的目标人脸图像中的每个关键点,并根据关键点,确定目标人脸图像的目标脸型,从而可以根据保存的脸型与眼镜的对应关系,确定目标脸型对应的眼镜并推荐;从而可以个性化的为用户推荐眼镜,从一定程度上保证了推荐的眼镜满足用户的脸型需求,能达到用户的满意,从而提高用户的购买率。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方形框图来描述的。应理解可由计算机程序指令实现流程图和/或方形框图中的每一流程和/或方形框、以及流程图和/或方形框图中的流程和/或方形框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方形框图一个方形框或多个方形框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方形框图一个方形框或多个方形框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方形框图一个方形框或多个方形框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种智能显示设备,其特征在于,所述智能显示设备包括:
显示器,所述显示器用于显示提示信息;
控制器,所述控制器用于执行:
响应于接收到的推荐指令,采集佩戴有眼镜的待推荐用户的目标图像;
将所述目标图像输入到预先训练完成的眼镜识别模型中,获取所述眼镜识别模型输出的所述目标图像中目标眼镜的位置信息;
获取根据所述位置信息获取的目标眼镜图像中所述目标眼镜的轮廓信息;
根据所述轮廓信息中包含的边缘点,确定所述目标眼镜的轮廓中包含的直线线段的数量,根据所述直线线段的数量及每个眼镜框型对应的形状特征,确定所述目标眼镜的目标框型,并根据预先保存的眼镜框型与脸型的对应关系,若确定所述目标框型的目标眼镜适合目标脸型的待推荐用户佩戴,则输出适合佩戴的提示信息,否则,输出不适合佩戴的提示信息。
2.根据权利要求1所述的智能显示设备,其特征在于,所述控制器用于执行:
若所述直线线段的数量小于预设的第一数值,针对目标眼镜的轮廓中的任一侧,根据该侧包含的任意三个目标边缘点,确定该侧轮廓对应的候选圆心,根据所述候选圆心与其他边缘点之间的距离,确定所述目标框型为圆框或椭圆框;
若所述直线线段的数量不小于预设的第一数值,针对目标眼镜轮廓中的任一侧,根据该侧任意直线线段之间的夹角,确定所述目标框型为方形框或梯形框。
3.根据权利要求2所述的智能显示设备,其特征在于,所述控制器用于执行:
获取该侧包含的任意三个目标边缘点,依次顺应连接每个目标边缘点得到三个线段,确定任意两个线段的中垂线的第四交点,以及该两条中垂线与所述目标眼镜轮廓的两个第五交点,确定所述第四交点分别与每个第五交点的距离,若所述距离的差值的绝对值小于预设的第二数值,则确定所述目标框型为圆框,否则,确定所述目标框型为椭圆框。
4.根据权利要求2所述的智能显示设备,其特征在于,所述控制器用于执行:
确定该侧任意相邻两条直线线段之间的夹角的差值的绝对值,若任一差值的绝对值均小于预设的角度,则确定所述目标框型为方形框,若存在一个差值的绝对值小于预设的第一角度,其他的差值的绝对值均不小于预设的第二角度,则确定所述目标框型为梯形框,其中第二角度大于第一角度。
5.根据权利要求1所述的智能显示设备,其特征在于,所述控制器用于执行:
将所述目标图像输入到预先训练完成的人脸识别模型中,获取所述人脸识别模型输出的所述目标图像中的目标人脸图像的位置信息;
将根据所述位置信息获取的目标人脸图像输入预先训练完成的人脸关键点检测模型,获取所述人脸关键点检测模型输出的所述目标人脸图像中包含的每个关键点;
根据预设关键点确定人眼与嘴之间的距离以及人脸的宽度,根据所述距离及所述宽度以及每个脸型对应的阈值范围,确定所述待推荐用户的目标脸型。
6.根据权利要求5所述的智能显示设备,其特征在于,所述控制器用于执行:
获取眉尾关键点对,确定通过所述眉尾关键点对的第一直线,获取嘴角关键点对,确定通过所述嘴角关键点对的第二直线;确定所述第一直线与所述第二直线的第一距离;
确定通过下唇关键点且与所述第一直线平行的第三直线,并确定所述第三直线与所述目标人脸图像中人脸轮廓的第一交点,确定所述第一交点之间的第二距离;
根据所述第一距离与所述第二距离的第一比值及预设的脸型对应的阈值范围,确定所述待推荐用户的目标脸型。
7.根据权利要求6所述的智能显示设备,其特征在于,所述控制器用于执行:
若所述第一比值等于第一预设数值,则确定所述目标脸型为椭圆形;
若所述第一比值等于第二预设数值,获取位于脸颊一侧的四个脸颊关键点,其中所述四个脸颊关键点中的第一对脸颊关键点为位于通过嘴角关键点直线上侧且相邻,第二对脸颊关键点为位于通过嘴角关键点直线下侧且相邻,确定通过所述第一对脸颊关键点的直线与通过第二对脸颊关键点的直线的夹角,若所述夹角大于预设角度,确定所述目标脸型为方形,否则,确定所述目标脸型为圆形;
若所述第一比值不等于第一预设数值且不等于第二预设数值,获取发际线关键点,确定通过所述发际线关键点且与所述第一直线平行的第四直线,确定所述第四直线与所述第一直线之间的第三距离,并确定平行于所述第一直线且与所述第四直线之间的距离为所述第三距离三分之一处的第五直线,获取所述第五直线与所述目标人脸图像中人脸轮廓的第二交点,确定所述第二交点之间的第四距离;确定眼睛下沿关键点对,并确定通过所述眼睛下沿关键点对的第六直线,获取所述第六直线与所述目标人脸图像中人脸轮廓的第三交点,确定所述第三交点之间的第五距离;确定所述第四距离与所述第五距离的第二比值,若所述第二比值等于第三预设数值,则确定所述目标脸型为倒三角形,若所述第二比值等于第四预设数值,则确定所述目标脸型为菱形,若所述第二比值不等于第三预设数值,且不等于第四预设数值,则确定所述目标脸型为长方形。
8.一种眼镜推荐方法,其特征在于,所述方法包括:
根据接收到的推荐指令,采集佩戴有眼镜的待推荐用户的目标图像;
将所述目标图像输入到预先训练完成的眼镜识别模型中,获取所述眼镜识别模型输出的所述目标图像中目标眼镜的位置信息;
获取根据所述位置信息获取的目标眼镜图像中所述目标眼镜的轮廓信息;
根据所述轮廓信息中包含的边缘点,确定所述目标眼镜的轮廓中包含的直线线段的数量,根据所述直线线段的数量及每个眼镜框型对应的形状特征,确定所述目标眼镜的目标框型,并根据预先保存的眼镜框型与脸型的对应关系,若确定所述目标框型的目标眼镜适合目标脸型的待推荐用户佩戴,则输出适合佩戴的提示信息,否则,输出不适合佩戴的提示信息。
9.一种眼镜推荐装置,其特征在于,所述装置包括:
采集模块,用于接收推荐指令,采集佩戴有眼镜的待推荐用户的目标图像;
确定模块,用于将所述目标图像输入到预先训练完成的眼镜识别模型中,获取所述眼镜识别模型输出的所述目标图像中目标眼镜的位置信息;获取根据所述位置信息获取的目标眼镜图像中所述目标眼镜的轮廓信息;根据所述轮廓信息中包含的边缘点,确定所述目标眼镜的轮廓中包含的直线线段的数量,根据所述直线线段的数量及每个眼镜框型对应的形状特征,确定所述目标眼镜的目标框型;
推荐模块,用于根据预先保存的眼镜框型与脸型的对应关系,若确定所述目标框型的目标眼镜适合目标脸型的待推荐用户佩戴,则输出适合佩戴的提示信息,否则,输出不适合佩戴的提示信息。
10.一种计算机可读存储介质,其特征在于,其存储有可由终端执行的计算机程序,当所述程序在所述终端上运行时,使得所述终端执行权利要求8所述眼镜推荐方法的步骤。
CN202210303802.4A 2022-03-24 2022-03-24 一种智能显示设备、眼镜推荐方法、装置及介质 Active CN114895747B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210303802.4A CN114895747B (zh) 2022-03-24 2022-03-24 一种智能显示设备、眼镜推荐方法、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210303802.4A CN114895747B (zh) 2022-03-24 2022-03-24 一种智能显示设备、眼镜推荐方法、装置及介质

Publications (2)

Publication Number Publication Date
CN114895747A CN114895747A (zh) 2022-08-12
CN114895747B true CN114895747B (zh) 2023-09-15

Family

ID=82714911

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210303802.4A Active CN114895747B (zh) 2022-03-24 2022-03-24 一种智能显示设备、眼镜推荐方法、装置及介质

Country Status (1)

Country Link
CN (1) CN114895747B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1309316A (zh) * 2000-02-01 2001-08-22 株式会社拓普康 镜片形状显示装置、镜片形状数据处理装置和具有这些装置的眼镜片边缘加工设备
CN105469072A (zh) * 2015-12-14 2016-04-06 依视路国际集团(光学总公司) 一种评估眼镜佩戴者和其所佩戴眼镜搭配度的方法和系统
CN105512931A (zh) * 2015-12-09 2016-04-20 北京镜联视界科技有限公司 在线智能配镜的方法和装置
CN106910102A (zh) * 2016-07-25 2017-06-30 湖南拓视觉信息技术有限公司 眼镜虚拟试戴方法及装置
CN107862334A (zh) * 2017-11-06 2018-03-30 广东欧珀移动通信有限公司 眼镜的推荐方法、装置、存储介质及终端设备
CN107992835A (zh) * 2017-12-11 2018-05-04 浙江大学 一种眼镜图像识别方法
CN109544262A (zh) * 2018-09-30 2019-03-29 百度在线网络技术(北京)有限公司 物品推荐方法、装置、电子设备、系统及可读存储介质
CN109727097A (zh) * 2018-12-29 2019-05-07 上海堃承信息科技有限公司 一种配镜方法、装置与系统
CN112084398A (zh) * 2020-07-28 2020-12-15 北京旷视科技有限公司 配饰推荐方法、配饰的虚拟试戴方法、装置及电子设备
CN112669100A (zh) * 2019-10-15 2021-04-16 视镜科技股份有限公司 互动式眼镜框试戴系统及方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7665843B2 (en) * 2007-02-21 2010-02-23 Yiling Xie Method and the associate mechanism for stored-image database-driven spectacle frame fitting services over public network
JP6510630B2 (ja) * 2015-03-10 2019-05-08 ホヤ レンズ タイランド リミテッドHOYA Lens Thailand Ltd 眼鏡装用パラメータ測定システム、測定用プログラム、およびその測定方法、ならびに眼鏡レンズの製造方法
US11488239B2 (en) * 2019-08-26 2022-11-01 Warby Parker Inc. Virtual fitting systems and methods for spectacles

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1309316A (zh) * 2000-02-01 2001-08-22 株式会社拓普康 镜片形状显示装置、镜片形状数据处理装置和具有这些装置的眼镜片边缘加工设备
CN105512931A (zh) * 2015-12-09 2016-04-20 北京镜联视界科技有限公司 在线智能配镜的方法和装置
CN105469072A (zh) * 2015-12-14 2016-04-06 依视路国际集团(光学总公司) 一种评估眼镜佩戴者和其所佩戴眼镜搭配度的方法和系统
CN106910102A (zh) * 2016-07-25 2017-06-30 湖南拓视觉信息技术有限公司 眼镜虚拟试戴方法及装置
CN107862334A (zh) * 2017-11-06 2018-03-30 广东欧珀移动通信有限公司 眼镜的推荐方法、装置、存储介质及终端设备
CN107992835A (zh) * 2017-12-11 2018-05-04 浙江大学 一种眼镜图像识别方法
CN109544262A (zh) * 2018-09-30 2019-03-29 百度在线网络技术(北京)有限公司 物品推荐方法、装置、电子设备、系统及可读存储介质
CN109727097A (zh) * 2018-12-29 2019-05-07 上海堃承信息科技有限公司 一种配镜方法、装置与系统
CN112669100A (zh) * 2019-10-15 2021-04-16 视镜科技股份有限公司 互动式眼镜框试戴系统及方法
CN112084398A (zh) * 2020-07-28 2020-12-15 北京旷视科技有限公司 配饰推荐方法、配饰的虚拟试戴方法、装置及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
孙守迁,黄琦,孙凌云,陈正盛.面向顾客特征的眼镜适配系统.计算机辅助设计与图形学学报.2005,(01),185-188. *
谭小宏.基于OPENCV&OPENGL的虚拟眼镜试戴系统的设计与实现.中国优秀硕士学位论文全文数据库 信息科技辑.2018,(第第6期期),I138-1997. *

Also Published As

Publication number Publication date
CN114895747A (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
US10574883B2 (en) System and method for guiding a user to take a selfie
US20210215953A1 (en) Systems and methods for creating eyewear with multi-focal lenses
CN109690617B (zh) 用于数字化妆镜的系统和方法
US11157985B2 (en) Recommendation system, method and computer program product based on a user's physical features
US8919955B2 (en) Virtual glasses try-on method and apparatus thereof
CN108537628B (zh) 用于创造定制产品的方法和系统
US20170169501A1 (en) Method and system for evaluating fitness between wearer and eyeglasses
US20180268458A1 (en) Automated recommendation and virtualization systems and methods for e-commerce
CA2958717A1 (en) System and method of providing custom-fitted and styled eyewear based on user-provided images and preferences
US20200054209A1 (en) System and method for measuring pupillary distance
CN114391117A (zh) 眼睛跟踪延迟增强
WO2018005884A1 (en) System and method for digital makeup mirror
KR102340904B1 (ko) 증강현실 기반 가상 피팅 시스템 및 방법
KR102289824B1 (ko) 인플루언서와의 정보 공유를 통해 화장품 색상을 추천하는 시스템 및 방법
KR102444768B1 (ko) 안경 렌즈의 국부적 굴절력 및/또는 굴절력 분포를 측정하기 위한 방법 및 장치
CN114895747B (zh) 一种智能显示设备、眼镜推荐方法、装置及介质
KR102066892B1 (ko) 메이크업 평가 시스템 및 그의 동작 방법
CN110892311B (zh) 用于确定个人的姿势和视觉行为的方法
TWI492174B (zh) 雲端體感虛擬實境配戴眼鏡系統
TWI663561B (zh) 虛擬眼鏡選配方法與系統
US20230055013A1 (en) Accessory Detection and Determination for Avatar Enrollment
KR102330368B1 (ko) 메이크업 평가 시스템 및 그의 동작 방법
US20230206598A1 (en) Interpupillary distance estimation method
Hossen et al. Real-time mobile enabled scheme for virtual spectacle frame selection
CN115601877A (zh) 一种基于图像处理的自动售卖机识别系统及其识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant