CN108846792B - 图像处理方法、装置、电子设备及计算机可读介质 - Google Patents

图像处理方法、装置、电子设备及计算机可读介质 Download PDF

Info

Publication number
CN108846792B
CN108846792B CN201810502438.8A CN201810502438A CN108846792B CN 108846792 B CN108846792 B CN 108846792B CN 201810502438 A CN201810502438 A CN 201810502438A CN 108846792 B CN108846792 B CN 108846792B
Authority
CN
China
Prior art keywords
image
commodity
information
determining
attribute information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810502438.8A
Other languages
English (en)
Other versions
CN108846792A (zh
Inventor
李东晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810502438.8A priority Critical patent/CN108846792B/zh
Publication of CN108846792A publication Critical patent/CN108846792A/zh
Application granted granted Critical
Publication of CN108846792B publication Critical patent/CN108846792B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开涉及一种图像处理方法、装置、电子设备及计算机可读介质。该方法包括:通过实时获取的商品图像确定商品的特征数据,所述特征数据包括颜色信息与属性信息;根据所述属性信息确定用户图像中的待处理图像区域;将所述颜色信息与待处理图像区域中的图像进行图像融合处理以生成展示图像;以及渲染所述展示图像以进行展示。本公开涉及的图像处理方法、装置、电子设备及计算机可读介质,能够获取实际商品特征,并将此商品的使用效果实时展示在用户面部。

Description

图像处理方法、装置、电子设备及计算机可读介质
技术领域
本公开涉及图像处理领域,具体而言,涉及一种图像处理方法、装置、电子设备及计算机可读介质。
背景技术
现代人对于美妆的需求日益强烈,为了满足用户的美妆需求,现有技术中,提供了一种修图软件,可以让用户选择预置在内部的美妆模板,通过摄像头获取实时面部照片,然后再应用人脸识别技术,识别出人脸中的眼镜、鼻子、嘴唇、脸颊等,并将美妆模板中的妆容应用到实时数据中。
但是,现有的技术方案局限于线上的场景,在实际场景中,各种美妆商店种类繁多,商品琳琅满目,而现有技术中的美妆软件,由于妆容都是事先由软件开发者配置好,并储存在软件系统的后台中,用户在使用过程中仅仅是调出了已有的配置好的颜色进行面部美妆。这种基于配置颜色的美妆方式,远远无法涵盖真实商品的全部特征,现有技术中的解决方式对于用户的可定制能力较差。
而且,用户在线下购买美妆商品的时候,出于卫生、便捷等方面的考虑,用户试妆往往是通过涂抹在手上来完成的,并不是上妆在实际使用的位置,所以,用户在购买商品的现场也是无法得知该商品在该用户面部实际的使用效果的。
基于以上现有技术中存在的种种不便,需要一种新的图像处理方法、装置、电子设备及计算机可读介质。
在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解,因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
有鉴于此,本公开提供一种图像处理方法、装置、电子设备及计算机可读介质,能够获取实际商品特征,并根据商品特征将此商品的使用效果实时展示在用户面部。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本公开的一方面,提出一种图像处理方法,该方法包括:通过实时获取的商品图像确定商品的特征数据,所述特征数据包括颜色信息与属性信息;根据所述属性信息确定用户图像中的待处理图像区域;将所述颜色信息与待处理图像区域中的图像进行图像融合处理以生成展示图像;以及渲染所述展示图像以进行展示。
根据本公开的一方面,提出一种图像处理装置,该装置包括:商品图像模块,用于通过实时获取的商品图像确定商品的特征数据,所述特征数据包括颜色信息与属性信息;用户图像模块,用于根据所述属性信息确定用户图像中的待处理图像区域;图像融合模块,用于将所述颜色信息与待处理图像区域中的图像进行图像融合处理以生成展示图像;以及图像渲染模块,用于渲染所述展示图像以进行展示。
根据本公开的一方面,提出一种电子设备,该电子设备包括:一个或多个处理器;存储装置,用于存储一个或多个程序;当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如上文的方法。
根据本公开的一方面,提出一种计算机可读介质,其上存储有计算机程序,该程序被处理器执行时实现如上文中的方法。
根据本公开的图像处理方法、装置、电子设备及计算机可读介质,能够获取实际商品特征,并根据商品特征将此商品的使用效果实时展示在用户面部。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本公开。
附图说明
通过参照附图详细描述其示例实施例,本公开的上述和其它目标、特征及优点将变得更加显而易见。下面描述的附图仅仅是本公开的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是现有技术中图像处理方法的用户使用场景图。
图2是根据一示例性实施例示出的一种图像处理方法及装置的系统框图。
图3是根据一示例性实施例示出的一种图像处理方法的用户使用场景示意图。
图4是根据另一示例性实施例示出的一种图像处理方法的流程图。
图5是根据一示例性实施例示出的一种图像处理方法的流程图。
图6是根据一示例性实施例示出的一种图像处理方法的用户使用场景示意图。
图7是根据一示例性实施例示出的一种图像处理方法的流程图。
图8是根据一示例性实施例示出的一种图像处理方法的用户使用场景示意图。
图9是根据一示例性实施例示出的一种图像处理方法的流程图。
图10是根据一示例性实施例示出的一种图像处理方法的用户使用场景示意图。
图11是根据一示例性实施例示出的一种图像处理方法的流程图。
图12是根据一示例性实施例示出的一种图像处理方法的用户使用场景示意图。
图13是根据一示例性实施例示出的一种图像处理装置的框图。
图14是根据一示例性实施例示出的一种电子设备的框图。
图15是根据一示例性实施例示出一种计算机可读存储介质示意图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而,示例实施例能够以多种形式实施,且不应被理解为限于在此阐述的实施例;相反,提供这些实施例使得本公开将全面和完整,并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本公开的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
应理解,虽然本文中可能使用术语第一、第二、第三等来描述各种组件,但这些组件不应受这些术语限制。这些术语乃用以区分一组件与另一组件。因此,下文论述的第一组件可称为第二组件而不偏离本公开概念的教示。如本文中所使用,术语“及/或”包括相关联的列出项目中的任一个及一或多者的所有组合。
本领域技术人员可以理解,附图只是示例实施例的示意图,附图中的模块或流程并不一定是实施本公开所必须的,因此不能用于限制本公开的保护范围。
图1是现有技术中图像处理方法的用户使用场景图。本申请的发明人发现,现有的技术方案局限于线上的场景,而且由于妆容都是实现开发人员配置在后台,用户通过选择不同妆容主图的模板,来实现美妆的体验,现有技术中的美妆方式,对于用户的可定制能力较差,无法满足用户对试妆的需求。
图2是根据一示例性实施例示出的一种图像处理方法及装置的系统框图。
如图2所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、图像处理类应用、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持摄像功能的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
终端设备101、102、103可例如,通过实时获取的商品图像确定特征数据;终端设备101、102、103可例如,根据所述特征数据确定用户图像中的待处理图像区域;终端设备101、102、103可例如,将所述特征数据与待处理图像区域中的图像进行图像融合处理以生成展示图像;以及终端设备101、102、103可例如,渲染所述展示图像以进行展示。
终端设备101、102、103还可例如,实时获取的商品图像,终端设备101、102、103还可例如,将实时获取的商品图像上传至服务器105,服务器105可例如,对商品图像进行图像分析以确定商品的特征数据。服务器105还可例如,将分析得到的商品的特征数据传送回终端设备101、102、103。
服务器105可以是一个实体的服务器,还可例如为多个服务器组成,需要说明的是,本公开实施例所提供的图像处理方法可以由服务器105执行或者终端设备101、102、103执行,相应地,图像处理装置可以设置于服务器105或者终端设备101、102、103执行中。而提供给用户进行商品浏览的网页端与图像拍摄的摄像端一般位于终端设备101、102、103中。
图3是根据一示例性实施例示出的一种图像处理方法的用户使用场景示意图。如图3所示,在一个使用场景中,用户可利用终端设备101、102、103拍摄彩妆商品的图像,可例如唇膏或者眼影、腮红等商品的图像,用户还可利用终端设备101、102、103进行自拍,以获得用户自身的面部图像,通过本申请提供的图像处理方法,能够将唇膏或眼影、腮红的使用效果实时展示在用户的自拍图像中。
在一个使用场景中,用户可利用终端设备101、102、103拍摄其他商品的图像,可例如发夹或者项链、假发等商品的图像,用户可利用终端设备101、102、103进行自拍,以获得用户自身的头部图像,通过本申请提供的图像处理方法,能够将发夹或者项链、假发等商品的使用效果实时展示在用户的自拍图像中。
在一个使用场景中,用户可利用终端设备101、102、103拍摄其他商品的图像,可例如皮包或者服装、鞋帽等商品的图像,用户可利用终端设备101、102、103进行自拍,以获得用户自身的全身图像,通过本申请提供的图像处理方法,能够将皮包或者服装、鞋帽等商品的使用效果实时展示在用户的自拍图像中。
在本申请实时例中,仅以用户利用终端设备101、102、103拍摄彩妆商品的图像,然后采用面部识别的方法将彩妆商品图像展示在相应的位置上作为示例进行本申请发明构思的说明,然而本申请不以此为限,下面将对本申请发明内容进行详细说明:
图4是根据另一示例性实施例示出的一种图像处理方法的流程图。速度数据处理方法40至少包括步骤S402至S408。
如图4所示,在S402中,通过实时获取的商品图像确定商品的特征数据,所述特征数据包括颜色信息与属性信息。具体可例如为唇膏的颜色,眼影的颜色或者腮红的颜色,粉底颜色等等。属性信息可例如为商品的用途属性,比如用在唇部的商品,可例如唇膏、唇彩、唇釉等属性为唇部商品。用在眼部的商品,可例如眼影、睫毛膏、眉笔等属性为眼部商品,可例如按照商品特征将商品进行分类,以便于后续步骤中的确定该商品在用户图像中的渲染位置。
在一个实施例中,通过实时获取的商品图像确定特征数据可例如:通过移动终端的后置摄像头实时获取所述商品图像;以及通过所述商品图像确定所述特征数据。
在一个实施例中,可例如通过所述商品图像中的文字信息确定所述特征数据;可例如,用移动端的相机拍照某一个化妆品,对该化妆品的图像进行分割,提取信息(条码、商品名称、品牌等),确定物品特征数据,包括商品颜色、以及上妆部位。
在一个实施例中,可例如将所述商品图像与预设图像进行相似匹配以确定所述特征数据;可例如,用移动端的相机拍照某一个化妆品,对该化妆品的图像进行分割,提取商品的外观形状,然后通过商品的外观形状与预设商品库中的商品外形做相似度匹配,在匹配得到商品库中已存在商品时,通过已储存商品信息确定当前拍摄的商品的特征数据,可例如包括商品颜色、以及上妆部位。
在一个实施例中,可例如通过所述商品图像中的商品轮廓信息确定所述特征数据。可例如,用移动端的相机拍照某一个化妆品,对该化妆品的图像进行分割,提取商品的轮廓信息,然后通过商品的轮廓与预设商品库中标准商品外形模板进行比较,进而确定当前拍摄的商品的特征数据,可例如包括商品颜色、以及上妆部位。
在一个实施例中,商品分析也可以通过用户手动输入的方式完成,比如用户手动输入产品的名称以及属性以便在数据库中检索。
如图4所示,在S404中,根据所述属性信息确定用户图像中的待处理图像区域。根据特征数据中的商品属性信息确定用户图像中的待处理图像区域。可例如,商品的属性信息为唇部商品,则用户图像中的待处理区域为唇部区域;还可例如,商品的属性信息为眼部商品,则用户图像中的待处理区域为眼部区域。
在一个实施例中,待处理的图像区域可进行分级储存,可例如,眼部、唇部、脸颊部分作为第一级图像区域,在这个区域内部的更细节的划分区域作为二级区域。在上一个实施例中,其中,当确定商品的属性为眼部商品时,还可例如再继续进行图像分割,将眼部区域再分为眼眉、眼皮、以及卧蚕等等区域,本申请不以此为限。
在一个实施例中,根据所述特征数据确定用户图像中的待处理图像区域包括:通过移动终端的前置摄像头实时获取用户图像;以及根据所述特征数据与面部识别算法实时确定用户图像中的待处理图像区域。还可例如,对用户移动终端中预存的用户图像进行实时处理,以确定用户图像中的待处理图像区域。
在一个实施例中,待处理图像区域的确定也可以通过用户手动输入的方式完成,比如用户在用户图像中手动圈选待处理图像区域以便在后续处理。
继续如图4所示,在S406中,将所述颜色信息与待处理图像区域中的图像进行图像融合处理以生成展示图像。可例如,将特征数据中的颜色信息与上文中确定的用户图像的中的具体图像区域进行图像融合处理。
其中,图像融合(Image Fusion)是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等,最大限度的提取各自信道中的有利信息,最后综合成高质量的图像,以提高图像信息的利用率、提升原始图像的空间分辨率等作用。图像融合的数据形式是包含有明暗、色彩、温度、距离以及其他的景物特征的图像。这些图像可以以一幅,或者一列的形式给出。而图像融合是将2张或2张以上的图像信息的融合到1张图像上,使得融合的图像含有更多的信息、能够更方便人来观察或者计算机处理。
在现有技术中,图像融合主要有以下几种分类:简单的图像融合方法;基于塔形分解(如Laplace塔形分解、比率塔等)的图像融合方法;以及基于小波变换的图像融合方法。本申请中的图像融合方法可利用现有技术中的上述方法实现,也可例如利用其它替代方案实现,本申请不以此为限。
在一个实施例中,根据所述特征数据与面部识别算法实时确定用户图像中的待处理图像区域包括:通过面部识别算法确定所述用户图像中的面部关键点;根据所述面部关键点确定多个关键区域,所述关键区域包括眼部区域,唇部区域,以及腮部区域;以及根据所述特征数据由所述多个关键区域中确定所述待处理图像区域。
在一个实施例中,根据所述特征数据与面部识别算法实时确定用户图像中的待处理图像区域包括:通过面部识别算法确定所述用户图像中的面部关键点;根据所述面部关键点确定多个关键区域,所述关键区域包括眼部区域,唇部区域,以及腮部区域;以及根据所述特征数据由所述多个关键区域中确定所述待处理图像区域。
在S408中,渲染所述展示图像以进行展示。将图像融合之后的图像进行渲染,并在客户的移动端进行显示。可例如通过OpenGL(Open Graphics Library)渲染所述展示图像;以及实时展示渲染后的所述展示图像。OpenGL是个与硬件无关的软件接口,可以在不同的平台如之间进行移植。在OpenGL的基础上还有Open Inventor、Cosmo3D、Optimizer等多种高级图形库,适应不同应用,本申请中的图像渲染可例如使用以上高级图像库中的一种或者几种。
根据本公开的图像处理方法,通过对商品的图像数据进行分析,确定商品的颜色以及属性,然后根据商品的属性确定用户图像中的待处理图像区域,将商品的颜色信息在指定区域进行图像融合及图像渲染,并展示的方式,能够根据商品特征将此商品的使用效果实时展示在用户面部。
本公开的图像处理方法,可以更好的满足用户对于实时试妆的需求,妆容的种类不在局限于开发人员的设计和上传,将线下场景结合到APP中,增加用户使用APP的场景。
本公开的图像处理方法,充分考虑了线下的场景,通过扫描商品包装、条码或者通过对于实体商品照片的分析获取到商品的属性(类型、颜色等),让用户能试试体验到商品应用的真实效果,而且没有卸妆或者交叉使用的顾虑。
应清楚地理解,本公开描述了如何形成和使用特定示例,但本公开的原理不限于这些示例的任何细节。相反,基于本公开公开的内容的教导,这些原理能够应用于许多其它实施例。
本公开的图像处理方法,对于美妆商品的属性分析主要分为两种,一种是通过商品的外包装、商品的图片、商品的条码在数据库中进行检索匹配,另一种是针对无法在数据库中检索到的商品,进行实时的属性分析。
图5是根据一示例性实施例示出的一种图像处理方法的流程图。图5所示的图像处理方法50流程是对图4所示的图像处理方法40中流程中S402“通过实时获取的商品图像确定商品的特征数据”中“通过所述商品图像中的文字信息确定所述特征数据”的详细描述。
如图5所示,在S502中,提取所述商品图像中的商品文字信息。包括:通过光学字符识别算法提取所述商品图像中的商品文字信息。商品文字信息可例如为商品的条码、名称、品牌等信息。
其中,光学字符识别算法(Optical Character Recognition,OCR)是指电子设备(例如扫描仪或数码相机)检查纸上打印的字符,通过检测暗、亮的模式确定其形状,然后用字符识别方法将形状翻译成计算机文字的过程;即,针对印刷体字符,采用光学的方式将纸质文档中的文字转换成为黑白点阵的图像文件,并通过识别软件将图像中的文字转换成文本格式,供文字处理软件进一步编辑加工的技术。
在一个实施例中,如图6所示,可例如,采用OCR技术,对于输入的图片使用OpenCV进行二值化、噪声去除、字符切割和字符识别,提取出图片中的文字信息,然后进行语义分析,分析出品牌信息和商品特征信息。
在S504中,根据所述商品文字信息在商品数据库中提取商品的所述特征数据。根据提取出的商品文字信息,确定特征数据。
图7是根据一示例性实施例示出的一种图像处理方法的流程图。图7所示的图像处理方法70流程是对图4所示的图像处理方法40中流程中S402“通过实时获取的商品图像确定商品的特征数据”中“将所述商品图像与预设图像进行相似匹配以确定所述特征数据”的详细描述。
在S702中,将所述商品图像与图像数据库中的预设图像进行相似匹配,获取匹配图像。如图8所示,可例如采用图像分割技术,将图像中的前后景分离,前景部分可例如为商品外观信息,通过外观信息在图像数据库中与预设图像进行相似匹配,确定匹配成功的图像。
在S704中,通过所述匹配图像在商品数据库中提取商品的所述特征数据。根据匹配成功的图像,确定特征数据。
图9是根据一示例性实施例示出的一种图像处理方法的流程图。图9所示的图像处理方法90流程是对图4所示的图像处理方法40中流程中S402“通过实时获取的商品图像确定商品的特征数据”中“通过所述商品图像中的商品轮廓信息确定所述特征数据”的详细描述。
在S902中,由所述商品图像中提取商品的轮廓信息。可例如,通过图像分割技术由所述商品图像中提取商品的轮廓信息,可例如采用图像分割技术,将图像中的前后景分离,前景部分可例如为商品轮廓信息。
在S904中,通过所述轮廓信息确定所述属性信息。如图10所示,可以根据商品图像中的商品轮廓判断该商品为口红。
在S906中,通过所述属性信息以及所述商品图像确定所述颜色信息。可例如,根据口红这一类商品的特点,采集其头部图像的RGBA数据信息进行分析,即可得到口红的颜色信息。
图11是根据一示例性实施例示出的一种图像处理方法的流程图。
在S1102中,获取实物照片。
在S1104中,判断是否含有商品文字信息;
在S1106中,商品库检索。
在S1108中,是否检索到商品。
在S1110中,商品图片与数据库中的图片进行相似度匹配。
在S1112中,是否匹配到已有商品。
在S1114中,读取数据库中的属性和颜色信息。
在S1116中,商品图片中的商品属性分析。
在S1118中,商品图片中的商品颜色分析。
在S1120中,输出商品的属性和颜色信息。
在S1122中,根据商品的属性和颜色信息进行实时美妆。
如图12所示,在一个实施例中,根据所述特征数据与面部识别算法实时确定用户图像中的待处理图像区域包括:通过面部识别算法确定所述用户图像中的面部关键点;根据所述面部关键点确定多个关键区域,所述关键区域包括眼部区域,唇部区域,以及腮部区域;以及根据所述特征数据由所述多个关键区域中确定所述待处理图像区域。
其中,面部识别也叫人脸识别(Facial Recognition),就是通过视频采集设备获取用户的面部图像,再利用核心的算法对其脸部的五官位置、脸型和角度进行计算分析,进而和自身数据库里已有的范本进行比对,后判断出用户的真实身份。人脸识别技术基于局部特征区域的单训练样本人脸识别方法。目前人脸识别的算法有4种:基于人脸特征点的识别算法、基于整幅人脸图像的识别算法、基于模板的识别算法、利用神经网络进行识别的算法。
在本申请实施例中,可例如,利用Dlib库对所述第一图像进行面部检测以获取所述面部图像。Dlib是一个机器学习的C++库,包含了许多机器学习常用的算法。使得使用者可以通过该库对实时图像进行检测,并对图像中的面部特征进行定位与提取,进而进行后续的操作。Dlib进行人脸检测的步骤可例如如下:训练模块:首先进行人脸检测,获取人脸区域的点坐标;然后进行人脸关键点标记,进行角度等条件以将人脸对正,归一化处理以保存图片,其次,手动筛选图片,训练样本得到模型。还可例如通过其他方式获取实时图像,以及提取图像中的面部图像,然后进行本申请中其他步骤的处理,本申请不以此为限。
人脸关键点检测是人脸识别和分析领域中的关键一步,它是诸如自动人脸识别、表情分析、三维人脸重建及三维动画等其它人脸相关问题的前提和突破口。人脸关键点检测也称为人脸关键点检测、定位或者人脸对齐,是指给定人脸图像,定位出人脸面部的关键区域位置,包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓等。
人脸关键点检测方法大致分为三种,分别是基于ASM(Active Shape Model)和AAM(Active Appearnce Model)的传统方法;基于级联形状回归的方法;基于深度学习的方法。若是按照参数化与否来分,可分为参数化方法和非参数化方法,ASM、AAM和CLM(Constrained local model)属于参数化方法,而级联回归和深度学习方法属于非参数化方法。基于参数化形状模型的方法可依据其外观模型的不同,可进一步分为,基于局部的方法和基于全局的方法;对于非参数化进一步可分为基于样例的方法、基于图模型的方法、基于级联回归的方法和基于深度学习的方法。本申请中的人脸检测方法可利用现有技术中的上述方法实现,也可例如利用其它替代方案实现,本申请不以此为限。
本公开的图像处理方法,可以通过手机扫描(拍摄)化妆品的包装、实体商品、海报等,从扫描数据中提取商品信息,如类型(眼影、口红等)、质感、颜色等,同时调用手机摄像头,拍摄用户的脸部,通过人脸识别的技术,将此商品的效果实时展示在用户脸上。
本领域技术人员可以理解实现上述实施例的全部或部分步骤被实现为由CPU执行的计算机程序。在该计算机程序被CPU执行时,执行本公开提供的上述方法所限定的上述功能。所述的程序可以存储于一种计算机可读存储介质中,该存储介质可以是只读存储器,磁盘或光盘等。
此外,需要注意的是,上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
下述为本公开装置实施例,可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节,请参照本公开方法实施例。
图13是根据一示例性实施例示出的一种图像处理装置的框图。如图3所示,图像处理装置1300包括:商品图像模块1302,用户图像模块1304,图像融合模块1306,图像渲染模块1308。
商品图像模块1302用于通过实时获取的商品图像确定特征数据。所述特征数据包括颜色信息与属性信息。可例如为商品的颜色信息与商品的属性信息。具体可例如为唇膏的颜色,眼影的颜色或者腮红的颜色,粉底颜色等等。属性信息可例如为商品的用途属性,比如用在唇部的商品,可例如唇膏、唇彩、唇釉等属性为唇部商品。用在眼部的商品,可例如眼影、睫毛膏、眉笔等属性为眼部商品,可例如按照商品特征将商品进行分类,以便于后续步骤中的确定该商品在用户图像中的渲染位置。
用户图像模块1304用于根据所述属性信息确定用户图像中的待处理图像区域。可例如,商品的属性信息为唇部商品,则用户图像中的待处理区域为唇部区域;还可例如,商品的属性信息为眼部商品,则用户图像中的待处理区域为眼部区域。
图像融合模块1306用于将所述颜色信息与待处理图像区域中的图像进行图像融合处理以生成展示图像。可例如,将特征数据中的颜色信息与上文中确定的用户图像的中的具体图像区域进行图像融合处理。
图像渲染模块1308用于渲染所述展示图像以进行展示。可例如通过OpenGL(OpenGraphics Library)渲染所述展示图像;以及实时展示渲染后的所述展示图像。
根据本公开的图像处理装置,通过对商品的图像数据进行分析,确定商品的颜色以及属性,然后根据商品的属性确定用户图像中的待处理图像区域,将商品的颜色信息在指定区域进行图像融合及图像渲染,并展示的方式,能够根据商品特征将此商品的使用效果实时展示在用户面部。
图14是根据一示例性实施例示出的一种电子设备的框图。
下面参照图14来描述根据本公开的这种实施方式的电子设备1400。图14显示的电子设备1400仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图14所示,电子设备1400以通用计算设备的形式表现。电子设备1400的组件可以包括但不限于:至少一个处理单元1410、至少一个存储单元1420、连接不同系统组件(包括存储单元1420和处理单元1410)的总线1430、显示单元1440等。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元1410执行,使得所述处理单元1410执行本说明书上述电子处方流转处理方法部分中描述的根据本公开各种示例性实施方式的步骤。例如,所述处理单元1410可以执行如图4,图5,图7,以及图9中所示的步骤。
所述存储单元1420可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)14201和/或高速缓存存储单元14202,还可以进一步包括只读存储单元(ROM)14203。
所述存储单元1420还可以包括具有一组(至少一个)程序模块14205的程序/实用工具14204,这样的程序模块14205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线1430可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备1400也可以与一个或多个外部设备1400X(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备1400交互的设备通信,和/或与使得该电子设备1400能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1450进行。并且,电子设备1400还可以通过网络适配器1460与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。网络适配器1460可以通过总线1430与电子设备1400的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备1400使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件商品的形式体现出来,该软件商品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本公开实施方式的上述方法。
图15示意性示出本公开示例性实施例中一种计算机可读存储介质示意图。
参考图15所示,描述了根据本公开的实施方式的用于实现上述方法的程序商品1500,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本公开的程序商品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序商品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该计算机可读介质实现如下功能:通过实时获取的商品图像确定特征数据;根据所述特征数据确定用户图像中的待处理图像区域;将所述特征数据与待处理图像区域中的图像进行图像融合处理以生成展示图像;以及渲染所述展示图像以进行展示。
以上具体地示出和描述了本公开的示例性实施例。应可理解的是,本公开不限于这里描述的详细结构、设置方式或实现方法;相反,本公开意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。
此外,本说明书说明书附图所示出的结构、比例、大小等,均仅用以配合说明书所公开的内容,以供本领域技术人员了解与阅读,并非用以限定本公开可实施的限定条件,故不具技术上的实质意义,任何结构的修饰、比例关系的改变或大小的调整,在不影响本公开所能产生的技术效果及所能实现的目的下,均应仍落在本公开所公开的技术内容得能涵盖的范围内。同时,本说明书中所引用的如“上”、“第一”、“第二”及“一”等的用语,也仅为便于叙述的明了,而非用以限定本公开可实施的范围,其相对关系的改变或调整,在无实质变更技术内容下,当也视为本公开可实施的范畴。

Claims (12)

1.一种图像处理方法,其特征在于,包括:
通过移动终端的后置摄像头实时获取实体商品的商品图像;
通过所述实体商品的商品图像确定商品的属性信息;
根据所述商品图像中与所述属性信息对应的相关区域的RGBA数据信息确定商品的颜色信息;
根据所述属性信息确定用户图像中的上妆部位;
将所述颜色信息与上妆部位中的图像进行图像融合处理以生成展示图像;以及
渲染所述展示图像以进行展示;
其中,所述通过所述实体商品的商品图像确定商品的属性信息包括以下至少一者:
通过所述商品图像中的文字信息确定所述属性信息;
将所述商品图像与预设图像进行相似匹配以确定所述属性信息;
通过所述商品图像中的商品轮廓信息确定所述属性信息。
2.如权利要求1所述的方法,其特征在于,通过所述商品图像中的文字信息确定所述属性信息包括:
提取所述商品图像中的商品文字信息;以及
根据所述商品文字信息在商品数据库中提取商品的所述属性信息。
3.如权利要求2所述的方法,其特征在于,提取所述商品图像中的商品文字信息包括:
通过光学字符识别算法提取所述商品图像中的商品文字信息。
4.如权利要求1所述的方法,其特征在于,将所述商品图像与预设图像进行相似匹配以确定所述属性信息包括:
将所述商品图像与图像数据库中的预设图像进行相似匹配,获取匹配图像;以及
通过所述匹配图像在商品数据库中提取商品的所述属性信息。
5.如权利要求1所述的方法,其特征在于,通过所述商品图像中的商品轮廓信息确定所述属性信息包括:
由所述商品图像中提取商品的轮廓信息;
通过所述轮廓信息确定所述属性信息。
6.如权利要求5所述的方法,其特征在于,由所述商品图像中提取商品的轮廓信息包括:
通过图像分割技术由所述商品图像中提取商品的轮廓信息。
7.如权利要求1所述的方法,其特征在于,根据所述属性信息确定用户图像中的上妆部位包括:
通过移动终端的前置摄像头实时获取用户图像;以及
根据所述属性信息与面部识别算法实时确定用户图像中的上妆部位。
8.如权利要求7所述的方法,其特征在于,根据所述属性信息与面部识别算法实时确定用户图像中的上妆部位包括:
通过面部识别算法确定所述用户图像中的面部关键点;
根据所述面部关键点确定多个关键区域,所述关键区域包括眼部区域,唇部区域,以及腮部区域;以及
根据所述属性信息由所述多个关键区域中确定所述上妆部位。
9.如权利要求1所述的方法,其特征在于,渲染所述展示图像以进行展示包括:
通过OpenGL渲染所述展示图像;以及
实时展示渲染后的所述展示图像。
10.一种图像处理装置,其特征在于,包括:
商品图像模块,用于:
通过移动终端的后置摄像头实时获取实体商品的商品图像;
通过所述实体商品的商品图像确定商品的属性信息;
根据所述商品图像中与所述属性信息对应的相关区域的RGBA数据信息确定商品的颜色信息;
用户图像模块,用于根据所述属性信息确定用户图像中的上妆部位;
图像融合模块,用于将所述颜色信息与上妆部位中的图像进行图像融合处理以生成展示图像;以及
图像渲染模块,用于渲染所述展示图像以进行展示;
其中,所述通过所述实体商品的商品图像确定商品的属性信息包括以下至少一者:
通过所述商品图像中的文字信息确定所述属性信息;
将所述商品图像与预设图像进行相似匹配以确定所述属性信息;
通过所述商品图像中的商品轮廓信息确定所述属性信息。
11.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-9任一所述的方法。
12.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-9任一所述的方法。
CN201810502438.8A 2018-05-23 2018-05-23 图像处理方法、装置、电子设备及计算机可读介质 Active CN108846792B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810502438.8A CN108846792B (zh) 2018-05-23 2018-05-23 图像处理方法、装置、电子设备及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810502438.8A CN108846792B (zh) 2018-05-23 2018-05-23 图像处理方法、装置、电子设备及计算机可读介质

Publications (2)

Publication Number Publication Date
CN108846792A CN108846792A (zh) 2018-11-20
CN108846792B true CN108846792B (zh) 2022-05-06

Family

ID=64213245

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810502438.8A Active CN108846792B (zh) 2018-05-23 2018-05-23 图像处理方法、装置、电子设备及计算机可读介质

Country Status (1)

Country Link
CN (1) CN108846792B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NO20171753A1 (en) 2017-11-06 2019-05-07 Fasseland Mekaniske Verksted As An Inlet Screen for a Hydropower Plant
CN111325049A (zh) * 2018-12-13 2020-06-23 北京京东尚科信息技术有限公司 商品识别方法、装置、电子设备及可读介质
CN109685015B (zh) * 2018-12-25 2021-01-08 北京旷视科技有限公司 图像的处理方法、装置、电子设备和计算机存储介质
CN111429193A (zh) * 2019-01-09 2020-07-17 北京京东尚科信息技术有限公司 商品颜色参数的确定方法、装置、设备及可读存储介质
CN111435282A (zh) * 2019-01-14 2020-07-21 阿里巴巴集团控股有限公司 图像处理方法、装置及电子设备
CN111488186B (zh) * 2019-01-25 2023-04-28 阿里巴巴集团控股有限公司 数据处理方法、装置、电子设备及计算机存储介质
CN113470138B (zh) * 2021-06-30 2024-05-24 维沃移动通信有限公司 图像的生成方法、装置、电子设备及可读存储介质
CN113537043B (zh) * 2021-07-14 2023-08-18 北京百度网讯科技有限公司 图像处理方法、装置、电子设备以及存储介质
CN115984947B (zh) * 2023-02-21 2023-06-27 北京百度网讯科技有限公司 图像生成方法、训练方法、装置、电子设备以及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105608238A (zh) * 2014-11-21 2016-05-25 中兴通讯股份有限公司 服装试穿方法及装置
CN105812754A (zh) * 2016-05-31 2016-07-27 珠海市魅族科技有限公司 一种试装方法以及试装装置
CN106355479A (zh) * 2016-09-22 2017-01-25 京东方科技集团股份有限公司 一种虚拟试衣方法、虚拟试衣眼镜及虚拟试衣系统
CN106682958A (zh) * 2016-11-21 2017-05-17 汕头市智美科技有限公司 一种虚拟试妆方法及装置
JP2017146909A (ja) * 2016-02-19 2017-08-24 株式会社アスコン 試着シミュレーションシステムおよびプログラム
CN108053365A (zh) * 2017-12-29 2018-05-18 百度在线网络技术(北京)有限公司 用于生成信息的方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106162213B (zh) * 2016-07-11 2019-08-09 福建方维信息科技有限公司 一种基于视频直播购物的商品展示方法及系统
CN107280350A (zh) * 2017-06-12 2017-10-24 美的集团股份有限公司 控制方法、控制装置、智能镜子和计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105608238A (zh) * 2014-11-21 2016-05-25 中兴通讯股份有限公司 服装试穿方法及装置
JP2017146909A (ja) * 2016-02-19 2017-08-24 株式会社アスコン 試着シミュレーションシステムおよびプログラム
CN105812754A (zh) * 2016-05-31 2016-07-27 珠海市魅族科技有限公司 一种试装方法以及试装装置
CN106355479A (zh) * 2016-09-22 2017-01-25 京东方科技集团股份有限公司 一种虚拟试衣方法、虚拟试衣眼镜及虚拟试衣系统
CN106682958A (zh) * 2016-11-21 2017-05-17 汕头市智美科技有限公司 一种虚拟试妆方法及装置
CN108053365A (zh) * 2017-12-29 2018-05-18 百度在线网络技术(北京)有限公司 用于生成信息的方法和装置

Also Published As

Publication number Publication date
CN108846792A (zh) 2018-11-20

Similar Documents

Publication Publication Date Title
CN108846792B (zh) 图像处理方法、装置、电子设备及计算机可读介质
US10489683B1 (en) Methods and systems for automatic generation of massive training data sets from 3D models for training deep learning networks
US10657652B2 (en) Image matting using deep learning
JP7200139B2 (ja) 仮想顔化粧の除去、高速顔検出およびランドマーク追跡
US10593023B2 (en) Deep-learning-based automatic skin retouching
WO2018121777A1 (zh) 人脸检测方法、装置和电子设备
CN113287118A (zh) 用于面部再现的系统和方法
Yang et al. Semantic portrait color transfer with internet images
US11978242B2 (en) Systems and methods for improved facial attribute classification and use thereof
CN114266621A (zh) 图像处理方法、图像处理系统及电子设备
CN113793256A (zh) 基于用户标签的动漫人物生成方法、装置、设备及介质
US20220207917A1 (en) Facial expression image processing method and apparatus, and electronic device
Kim et al. K-hairstyle: A large-scale korean hairstyle dataset for virtual hair editing and hairstyle classification
WO2022002964A1 (en) High-resolution controllable face aging with spatially-aware conditional gans
Purps et al. Reconstructing facial expressions of HMD users for avatars in VR
Kukharev et al. Methods of face photo-sketch comparison
Ayinde et al. Region-based face detection
CN111638792A (zh) Ar效果的呈现方法、装置、计算机设备及存储介质
Milanova et al. Markerless 3D virtual glasses try-on system
CN113298593A (zh) 商品推荐及图像检测方法、装置、设备和存储介质
Zhang et al. Monocular face reconstruction with global and local shape constraints
CN110147511B (zh) 一种页面处理方法、装置、电子设备及介质
Kudubayeva et al. Parametrc Representation of Kazakh Gestural Speech
US20210248755A1 (en) Product release method and image processing method, apparatus, device, and storage medium
Chanda et al. Optimizing facial feature extraction and localization using YOLOv5: An empirical analysis of backbone architectures with data augmentation for precise facial region detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant