CN109993716B - 图像融合变换 - Google Patents

图像融合变换 Download PDF

Info

Publication number
CN109993716B
CN109993716B CN201711479285.1A CN201711479285A CN109993716B CN 109993716 B CN109993716 B CN 109993716B CN 201711479285 A CN201711479285 A CN 201711479285A CN 109993716 B CN109993716 B CN 109993716B
Authority
CN
China
Prior art keywords
object image
image
pixel
internal feature
feature points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711479285.1A
Other languages
English (en)
Other versions
CN109993716A (zh
Inventor
王烁
陈鹏
刘城城
孙婷
曹雨薇
陈粤洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Priority to CN201711479285.1A priority Critical patent/CN109993716B/zh
Priority to US16/766,129 priority patent/US11205256B2/en
Priority to EP18830118.8A priority patent/EP3714431B1/en
Priority to PCT/US2018/065315 priority patent/WO2019133266A1/en
Publication of CN109993716A publication Critical patent/CN109993716A/zh
Application granted granted Critical
Publication of CN109993716B publication Critical patent/CN109993716B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/901Indexing; Data structures therefor; Storage structures
    • G06F16/9024Graphs; Linked lists
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Abstract

本文公开的图形融合变换的处理技术,将原始图像中的某个物体的图像融合到模板图像中对应的物体图像上,在融合的过程中,利用像素权重图对各个像素进行融合处理,使得融合后的图像中,能够在较好地保留原始图像中物体的特征的基础上更好地融入到模板图像之中。

Description

图像融合变换
技术领域
本申请总体涉及图像处理的领域,并且具体涉及用于图像融合变换的方法、装置和电子设备。
背景技术
随着一些图像处理的APP(应用程序)的应用和普及,越来越多的用户从一些简单的图像处理软件中寻找乐趣,比如在拍摄的照片上加入一些装饰图案,或者将自己的形象嵌入到某个场景中,从而使自己的形象更加多元化。一些用户希望能够将自己的形象融入到其他形象中,在能够保留自己特征的前提下,让自己的形象发生变化。
发明内容
提供本发明实施例内容是为了以精简的形式介绍将在以下详细描述中进一步描述的一些概念。本发明内容并不旨在标识所要求保护主题的关键特征或必要特征,也不旨在用于限制所要求保护主题的范围。
公开的图形融合变换的处理技术,将原始图像中的某个物体的图像融合到模板图像中对应的物体图像上,在融合的过程中,利用像素权重图对各个像素进行融合处理,使得融合后的图像中,能够在较好地保留原始图像中物体的特征的基础上更好地融入到模板图像之中。
上述说明仅是本公开技术方案的概述,为了能够更清楚了解本公开的技术手段,而可依照说明书的内容予以实施,并且为了让本公开的上述和其它目的、特征和优点能够更明显易懂,以下特举本公开的具体实施方式。
附图说明
图1为本发明实施例的图像处理设备的应用示例框图;
图2为本发明实施例的图像处理方法的处理流程之一的示意框图;
图3为本发明实施例进行图像处理的示例图像之一的框图;
图4为本发明实施例进行图像处理的示例图像之二的框图;
图5为本发明实施例的图像处理方法的处理流程之二的示意框图;
图6为本发明实施例进行图像处理的示例图像之三的框图;
图7为本发明实施例进行图像处理的示例图像之四的框图;
图8为本发明实施例进行图像处理的示例图像之五的框图;
图9为本发明实施例进行图像处理的示例图像之六的框图;
图10为本发明实施例进行图像处理的示例图像之七的框图;
图11为本发明实施例进行图像处理的示例图像之八的框图;
图12为本发明实施例进行图像处理的示例图像之九的框图;
图13为本发明实施例进行图像处理的示例图像之十的框图;
图14为本发明实施例进行图像处理的示例图像之十一的框图;
图15为发明实施例的电子设备的结构框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
本文中,术语“技术”可以指代例如(一个或多个)系统、(一个或多个)方法、计算机可读指令、(一个或多个)模块、算法、硬件逻辑(例如,现场可编程门阵列(FPGA))、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)和/或上述上下文以及在本文档通篇中所允许的(一项或多项)其它技术。
本文的主要应用场景在于:用户提供一幅原始图像并选择一幅模板图像,经过本发明实施例提供的处理装置的图像处理,将原始图像中的某个物体的图像融合到模板图像中对应的物体图像上,并使得融合后的图像中,能够在较好地保留原始图像中物体的特征的基础上更好地融入到模板图像之中。
在较为常见的应用场景下,原始图像中的物体与模板图像中的物体为相同的物体。比如,用户提供的原始图像为用户的照片,模板图像为一幅动漫人物图像,用户将原始图像中的人脸融合到模板图像中动漫人物的人脸上,从而最终呈现具有模板图像的动漫风格又能具有用户人脸特征的动漫人物图像。
上述的原始图像和模板图像可以是任意两张图像,对于图像本身没有限制,也就是说,可以将上述的模板图像和原始图像进行互换,将模板图像中的物体图像融合到原始图像的对应物体图像上。因此,为了更好地描述本发明实施例的技术方案,在下文中,将上述的原始图像称作第一图像,将上述的模板图像称作第二图像,相应地,第一图像中的物体及其图像称作第一物体和第一物体图像,第二图像中的物体及其图像称作第二物体和第二物体图像。
如图1所示,其为本发明实施例的图像处理设备的应用示例框图100,该图像处理设备101可以被实现为或者设置于小型因素便携式(或移动)电子装置(例如,蜂窝电话、个人数据助理(PDA)、个人媒体播放器装置、无线网络观看装置、个人头戴装置、专用装置或包括以上功能中的任何一个的混合装置)。图像处理设备101还可以被实现为或者设置于包括膝上型计算机和非膝上型计算机配置这二者的个人计算机。另外,图像处理设备101还可以被实现为或者设置于互联网中的服务器,该服务器通过一个或多个计算机系统中实现(分布式服务器),也可以实现为基于云的服务器。
图像处理设备101包括:第一图像处理模块102、第二图像处理模块103、像素权重图生成模块104、图像转换模块105以及图像融合模块106。该图像处理设备101用于实现将输入的第一图像107中的第一物体图像108融入到第二图像109中的第二物体图像110中,从而生成第三图像111,在第三图像111中,原来第二物体图像110的部分变成第一物体图像108和第二物体图像110融合后的第三物体图像112,其他部分保留原来第二图像109的图像。
第一图像处理模块102和第二图像处理模块103分别对输入的第一图像107和第二图像109进行预处理,这些预处理可以包括但不限于:抓取图像中的物体图像、标记图像中的特征点(landmark)、在图像的局部生成包围盒以获取某一图像的轮廓或者边界、提取图像中的局部图像、对图像进行校正、去除图像中的阴影等处理。
像素权重图生成模块104用于根据预设的像素权重生成规则,对输入的图像进行处理,生成体现图像中各个像素的权重的像素权重图。像素权重图可以以灰度图的形式呈现,像素灰度值越高对应的权重越高,反之越低。在本发明实施例中,像素权重图可以体现出图像中的特征点的重要性,特征点对应的像素的权重值要高于特征点以外的像素的权重值。
图像转换模块105可以进行以一幅图像为基准,对另一幅图像执行图像风格转换、颜色转换、仿射转换、轮廓调整转换等处理。
图像融合模块106用于对输入的两幅图像进行图像融合处理,其中,在融合处理的过程中,需要按照像素权重图生成模块104中的各个像素的权重,来对两幅图像进行融合。
下面来进一步介绍一下图像处理设备101执行图像处理的过程,如图2所示,其为本发明实施例的图像处理方法的处理流程之一的示意框图200,其包括如下的基本处理过程:
S201:获取第一图像中的第一物体图像和第一物体图像的一个或多个第一内部特征点。该步骤的处理可以由第一图像处理模块102来执行。
在上述步骤S201中,上述的第一内部特征点是用来标记该第一物体图像的主要特征的点,以人脸的图像为例,其内部特征点可以是体现人脸的五官的特征点,例如,可以通过几十个或者几百个特征点来体现其中眼睛的主要特征,这些特征点的分布可以体现出眼睛的形状和大小,这些特征点对应的各个像素的属性值(本文中的属性值是像素的颜色参数、亮度值、灰度值等体现该像素特征的数值或者参数的总称)能够体现出眼睛的颜色、皮肤的纹理、光泽等中的一个或多个特征。通过确定第一内部特征点就抓住了第一物体图像的主要特征。第一内部特征点可以基于图像识别技术,对指定的特征部位(例如五官)进行识别,并标记出主要的特征点。
在上述步骤S201中,第一物体图像的获取,可以通过先识别出第一物体图像的边界特征点,然后再根据这些边界特征点拟合出包围盒来实现对第一物体图像的获取。
S202:生成第一物体图像的像素权重图。该步骤的处理可以由像素权重图生成模块104来执行。
在确定了第一物体图像的边界以及第一物体图像的第一内部特征点后,就可以计算第一物体图像中各个像素的权重,从而生成像素权重图。为了在后续的图像融合处理中突出第一内部特征点的特征,在像素权重图中,第一内部特征点的权重高于非第一内部特征点的权重。其中,在上述步骤S202中,可以按照预设的像素权重生成规则来计算像素的权重,该像素权重生成规则可以为:
根据第一内部特征点和第一物体图像的边界,生成第一物体图像的像素权重图,在像素权重图中,第一物体图像的像素的权重值从第一内部特征点向边界呈减小趋势分布。也就是说,各个第一内部特征点为像素权重的峰值,然后逐渐向第一物体图像的边界递减。
S203:获取第二图像中的第二物体图像以及第二物体图像的一个或多个第二内部特征点。该步骤的处理可以由第二图像处理模块103来执行。针对第二物体图像以及第二内部特征点的获取的详细处理过程和处理原理与针对第一物体图像以及第一内部特征点的处理相类似,具体可以参照步骤S201中的描述,在此不再赘述。需要说明的是,上述的步骤S203与步骤S201和S202之间无先后顺序关系。
S204:以第二物体图像作为风格基准模板,对第一物体图像进行风格转换(StyleTransfer)。该步骤的处理可以通过图像转换模块105来执行。其中,图像的风格转换可以利用深度神经网络(DNN)等机器学习模型来实现。转换后的第一物体图像就具有了第二物体图像的风格。
S205:根据第一物体图像的像素权重图,将进行风格转换后的第一物体图像与第二图像中的第二物体图像进行融合,融合后将生成第三图像。在该第三图像中,之前的第二物体图像的部分变为第一物体图像和第二物体图像融合后的第三物体图像,并且该融合后的第三物体图像具有第二图像的风格,第三图像的其他部分还保留原来第二图像的状态。该步骤的处理可以通过图像融合模块106来执行。
在进行图像融合的处理中,会根据像素权重图中各个点对应的权重,对第一物体图像和第二物体图像的各个像素进行融合,使得在融合后的各个像素中,权重越高的像素的属性值越接近风格转换后的第一物体图像的像素的属性值,权重越低的像素的属性值越接近第二物体图像的像素的属性值。
通过这样的融合处理,使得接近第一内部特征点的图像部分突出第一物体图像的主要特征,而越远离第一内部特征点的图像部分越突出第二物体图像的特征,并且随着与第一内部特征点的距离的变化呈现逐渐变化的趋势,从而让第一物体图像和第二物体图像能够自然地融合在一起。
上述的第一图像和第二图像中,第一物体和第二物体优选为同类物体,因为同类物体一般会具有相互匹配的特征点,从而在进行图像处理的过程中能够更好地融合在一起。为了能够更好地实现本发明技术方案的效果,优选第一物体图像的一个或多个内部特征点在位置上能够大致匹配第二物体图像的一个或多个内部特征点,这里所说的位置上的匹配是指针对一个物体的特征而言的位置匹配,比如,该物体为人脸,第一物体图像的第一内部特征点为五官的部分,相应地,第二物体图像的第二内部特征点应该也是五官的部分。
如图3的本发明实施例进行图像处理的示例图像之一的框图300中,左侧的图像301对应上述的第一图像,图像301为写真照片,右侧的图像302对应上述的第二图像,图像302为油画风格的图像,其中,图像301中的女舞者图像303对应于上述的第一物体图像,图像302中的女舞者图像304对应于上述的第二物体图像。从图中可以看出,女舞者图像303上选取的特征点与女舞者图像304上选取的特征点在位置上是大致对应的,选取特征点的都是体现人体结构的关键部分。
在例如图4的本发明实施例进行图像处理的示例图像之二的框图400中,左侧的图像401对应上述的第一图像,图像401为写真照片,右侧的图像402对应上述的第二图像,图像402为水墨画风格的图像,其中,图像401中的鸟的图像403对应于上述的第一物体图像,图像402中的鸟的图像404对应于上述的第二物体图像。从图中可以看出,鸟的图像403上选取的特征点与鸟的图像404上选取的特征点在位置上是大致对应的,并且数量上也是基本对应的。
以上介绍了本发明实施例进行图像处理的基本步骤,在实际应用中,为了取得更好地图像处理效果,还会在进行图像融合处理之前,执行一些预处理的工作。
如图5所示,其为本发明实施例的图像处理方法的处理流程示意框图500,为了使第一物体图像和第二物体图像的主要特征点能够更好地对应去融合,在执行上述步骤S205的图像融合处理之前,还可以包括:
S204a:根据第一内部特征点和第二内部特征点,对第一物体图像进行仿射转换,使得变换后的第一物体图像的第一内部特征点与第二物体图像中的第二内部特征点对齐。该步骤的处理可以通过图像转换模块105来执行。
在一些情况下,第一物体图像和第二物体图像中呈现的物体在姿态上会存在差别,为了消除这种差别,可以将第一物体图像和第二物体图像进行校正,使之与标准物体图像模板匹配。标准物体图像模板可以是事先根据第一物体图像和第二物体图像的图像内容而事先设定好的的模板。比如,第一物体图像和第二物体图像均为人脸图像,可能存在人脸向上或者向下倾斜,或者人脸略微朝向一侧等情况,而标准物体图像模板可以是能够体现出标准姿态下的人脸状态的图像模板,该标准物体图像模板中,人脸朝向正前方。当然,根据实际的应用需要,标准物体图像模板也可以是某种特定的姿态,而不必是通常意义上的标准姿态。
如图5所示,在执行步骤S204的风格转换之前,可以分别包括:
S201a:根据第一内部特征点或者根据第一内部特征点和第一物体图像的边界,对第一物体图像进行校正,使得第一物体图像与标准物体图像模板匹配。该步骤的处理可以通过第一图像处理模块102来执行。
S203a:根据第二内部特征点或者根据第二内部特征点和第二物体图像的边界,对第二物体图像进行校正,使得第二物体图像与标准物体图像模板匹配。该步骤的处理可以通过第二图像处理模块103来执行。
此外,在一些情况下,第一物体图像可能存在一些阴影,则在执行步骤S204的风格转换之前,还可以包括:对第一物体图像进行去除阴影的处理。该步骤的处理可以通过第一图像处理模块102来执行。
在一些情况下,第一物体图像和第二物体图像的大小不一定会很好地匹配,则在执行上述步骤S205的图像融合处理之前,还可以包括:
S204b:根据第一物体图像的边界,对第二物体图像进行轮廓调整,使得第二物体图像与第一物体图像的轮廓相匹配。该步骤的处理可以通过图像转换模块105来执行。
在一些情况下,虽然经过的图像风格转换处理,但是风格转换后的第一物体图像的颜色分布与第二物体图像的颜色分布还会存在一定的差别,针对这种情况,在执行上述步骤S205的图像融合处理之前,还可以包括:
S204c:对风格转换后的第一物体图像进行颜色转换,使得第一物体图像的颜色分布与第二物体图像的颜色分布匹配。该步骤的处理可以通过图像转换模块105来执行。
需要说明的是,上述步骤S204a、S204b以及S204c并无必要的先后顺序,可以根据需要任意调换各个步骤的顺序关系。
另外,在本发明实施例中,获取第二物体图像的一个或多个第二内部特征点主要是为了在后续的处理过程中,进行仿射转换或者图像校正等处理。在一些情况下,如果第一物体图像和第二物体图像的匹配度很好或者第一物体图像和第二物体图像都与标准图像模板匹配较好,则也可以不执行仿射转换或者图像校正,那么在步骤S203中,也可以不获取第二物体图像的第二内部特征点。
综上,通过本发明实施例的图像处理方法和图像处理设备,将第一图像中的第一物体图像自然地融合到第二物体图像的第二物体图像中,从而形成一幅具有第二图像风格的新的图像。在一些情况下,作为源图像的第一图像是用户提供的图像(例如用户的照片),而作为模板图像的第二图像是APP提供的,通过本发明实施例的图像处理,能够把用户提供的源图像融入到模板图像中,生成具有用户特征并且又具有模板图像风格的图像,这些图像可以作为用户头像或者嵌入到用户发布的文章中等,从而给用户提供一些图像应用方面的乐趣。
具体应用示例
下面将通过一个应用示例来进一步介绍本发明的技术方案。如图6所示,其为本发明实施例进行图像处理的示例图像之三的框图600。其中,左侧的图像601对应上述的第一图像,右侧的图像602对应上述的第二图像,其中,图像601是用户输入的源图像,是用户自己拍摄的照片,图像601中的用户脸部图像603对应于上述的第一物体图像;图像602是APP中预先设置的模板图像,其为漫画风格图像,图像602中的脸部图像604对应于上述的第二物体图像。
在本应用示例中,以用户输入的图像601作为源图像,图像602作为模板图像,将用户脸部图像603融合到右侧图像602的脸部图像604上,生成具有用户脸部特征并且融入到具有漫画风格的图像602中的新的图像。
整个图像处理过程如下:
1、针对用户输入的图像的处理:
如图7所示,其为本发明实施例进行图像处理的示例图像之四的框图700,针对用户输入的图像601进行如下处理:
(1)进行脸部图像检测,确定脸部的特征点(Landmark),这些特征点包括第一内部特征点和第一边缘特征点(如图像701所示)。并根据这些特征点,识别出用户的脸的轮廓以及眼睛、眉毛、鼻子、嘴等五官的位置及特征。根据识别出的轮廓线可以形成整个脸部的包围盒(Bounding Box)。
(2)根据第一内部特征点和脸部的包围盒,对脸部图像601进行矫正,将脸部姿态调整为正向,并使五官处于标准位置,从而生成脸部图像702。
(3)对用户的脸部图像进行去除阴影的处理,生成脸部图像703。
2、针对模板图像的处理:
如图8所示,其为本发明实施例进行图像处理的示例图像之五的框图800,针对APP中预先设置的模板图像602进行如下处理:
(1)进行脸部图像检测,确定脸部的特征点,这些特征点包括第二内部特征点和第二边缘特征点(如图像801所示)。并根据这些特征点,识别出用户的脸的轮廓以及眼睛、眉毛、鼻子、嘴等五官的位置及特征。根据识别出的轮廓线可以形成整个脸部的包围盒。
(2)根据第一内部特征点和脸部的包围盒,对脸部图像602进行矫正,将脸部姿态调整为正向,并使五官处于标准位置,从而生成脸部图像802。
3、风格转换处理:
如图9所示,其为本发明实施例进行图像处理的示例图像之六的框图900。以脸部图像802作为模板,对脸部图像703进行图像风格转换,生成风格转换后的用户的脸部图像901。
4、仿射变换处理:
如图10所示,其为本发明实施例进行图像处理的示例图像之七的框图1000,仿射变换处理如下:
根据第一内部特征点和第二内部特征点,对用户的脸部图像901进行仿射变换,生活仿射变换后的脸部图像1001。通过进行仿射变换,使得仿射变换后的脸部图像1001的五官位置与脸部图像802(图10中只示出了脸部图像802的五官部分的图像)的五官位置能够对齐。图10中的左上侧的图像和右下侧的图像均为脸部图像1001,图10的位置排布是为了形象的说明仿射变换后的脸部图像1001的五官位置与脸部图像802在水平和竖直方向上是对齐的。
5、生成像素权重图
如图11所示,其为本发明实施例进行图像处理的示例图像之八的框图1100,生成像素权重图的处理如下:
根据脸部图像901中第一内部特征点和脸部轮廓边缘的位置,计算各个第一内部特征点到脸部轮廓边缘的距离,然后按照如下规则分配各个像素的权重:在脸部轮廓边缘的范围内,第一内部特征点的分配的权重最高,然后在各个第一内部特征点到脸部轮廓边缘的距离范围内,各个像素的权重逐渐变小,直至脸部轮廓边缘。最终形成像素权重图1101。
6、颜色转换
如图12所示,其为本发明实施例进行图像处理的示例图像之九的框图1200。为了更好地让用户的脸部图像的脸部颜色分布与模板图像中的颜色分布更加匹配,对进行风格转换和仿射转后生成的脸部图像1001进行颜色转换处理,生成脸部图像1201。
7、模板轮廓调整
如图13所示,其为本发明实施例进行图像处理的示例图像之十的框图1300。为了让模板图像中的脸部图像和用户的脸部图像在轮廓上更加适合,可以对模板图像602中的脸部图像802进行轮廓调整,生成模板图像1301(图中为了突出轮廓变化部分,对其他部分进行了模糊处理),在模板图像1301中包括调整了轮廓后的脸部图像1302。从模板图像602中可以看出脸部图像802的下巴部分比较尖,相比之下用户的脸部图像901,下巴部分相对较为圆,因此,对模板图像602中的脸部图像802进行了调整,使得其下巴部分变的圆一些(脸部图像1302相比脸部图像802的下巴部分的曲线变得更加圆),从而与用户的脸部图像901中的下巴形状匹配。这样也更多地保留了用户的脸部图像的特征。
8、融合处理
如图14所示,其为本发明实施例进行图像处理的示例图像之十一的框图1400。在融合处理阶段,将脸部图像1201融合到模板图像1301中的脸部图像1302中,生成具有用户的脸部特征同时又具有模板图像的风格的融合后的图像1401。
具体实现示例
在一些例子中,上述各附图中涉及的一个或多个模块或者一个或多个步骤或者一个或多个处理过程,可以通过软件程序、硬件电路,也可以通过软件程序和硬件电路相结合的方式来实现。例如,上述各个组件或者模块以及一个或多个步骤都可在芯片上系统(SoC)中实现。SoC可包括:集成电路芯片,该集成电路芯片包括以下一个或多个:处理单元(如中央处理单元(CPU)、微控制器、微处理单元、数字信号处理单元(DSP)等)、存储器、一个或多个通信接口、和/或用于执行其功能的进一步的电路和可任选的嵌入的固件。
如图15所示,其为发明实施例的电子设备1500的结构框图。电子设备1500包括:存储器1501和处理器1502。
存储器1501,用于存储程序。除上述程序之外,存储器1501还可被配置为存储其它各种数据以支持在电子设备1500上的操作。这些数据的示例包括用于在电子设备1500上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。
存储器1501可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
存储器1501耦合至处理器1502并且包含存储于其上的指令,所说的指令在由处理器1502执行时使电子设备执行动作,作为一种电子设备的实施例,该动作可以包括:
获取第一图像中的第一物体图像和第一物体图像的一个或多个第一内部特征点,并生成第一物体图像的像素权重图,在像素权重图中,第一内部特征点的权重高于非第一内部特征点的权重,
获取第二图像中的第二物体图像,以第二物体图像作为风格基准模板,对第一物体图像进行风格转换;
根据第一物体图像的像素权重图,将进行风格转换后的第一物体图像与第二图像中的第二物体图像进行融合。
其中,生成第一物体图像的像素权重图可以包括:
根据第一内部特征点和第一物体图像的边界,生成第一物体图像的像素权重图,在像素权重图中,第一物体图像的像素的权重值从第一内部特征点向边界呈减小趋势分布。
其中,根据第一物体图像的像素权重图,将进行风格转换后的第一物体图像与第二图像中的第二物体图像进行融合可以包括:
根据像素权重图中各个点对应的权重,对第一物体图像和第二物体图像的各个像素进行融合,使得在融合后的各个像素中,权重越高的像素的属性值越接近风格转换后的第一物体图像的像素的属性值,权重越低的像素的属性值越接近第二物体图像的像素的属性值。
其中,在执行将进行风格转换后的第一物体图像与第二图像中的第二物体图像进行融合之前还可以包括:
获取第二物体图像的一个或多个第二内部特征点;
根据第一内部特征点和第二内部特征点,对第一物体图像进行仿射转换,使得变换后的第一物体图像的第一内部特征点与第二物体图像中的第二内部特征点对齐。
对于上述的处理操作,在前面方法和装置的实施例中已经进行了详细说明,对于上述的处理操作的详细内容同样也适用于电子设备1500中,即可以将前面实施例中提到的具体处理操作,以程序的方式写入在存储器1501,并通过处理器1502来进行执行。
进一步,如图15所示,电子设备1500还可以包括:通信组件1503、电源组件1504、音频组件1505、显示器1506、芯片组1507等其它组件。图15中仅示意性给出部分组件,并不意味着电子设备1500只包括图15所示组件。
通信组件1503被配置为便于电子设备1500和其他设备之间有线或无线方式的通信。电子设备可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件1503经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,通信组件1503还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
电源组件1504,为电子设备的各种组件提供电力。电源组件1504可以包括电源管理系统,一个或多个电源,及其他与为电子设备生成、管理和分配电力相关联的组件。
音频组件1505被配置为输出和/或输入音频信号。例如,音频组件1505包括一个麦克风(MIC),当电子设备处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1501或经由通信组件1503发送。在一些实施例中,音频组件1505还包括一个扬声器,用于输出音频信号。
显示器1506包括屏幕,其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与触摸或滑动操作相关的持续时间和压力。
上述的存储器1501、处理器1502、通信组件1503、电源组件1504、音频组件1505以及显示器1506可以与芯片组1507连接。芯片组1507可以提供处理器1502与电子设备1500中的其余组件之间的接口。此外,芯片组1507还可以提供电子设备1500中的各个组件对存储器1501的访问接口以及各个组件间相互访问的通讯接口。
示例条款
A、一种方法,包括:
获取第一图像中的第一物体图像和第一物体图像的一个或多个第一内部特征点,并生成所述第一物体图像的像素权重图,在所述像素权重图中,所述第一内部特征点的权重高于非第一内部特征点的权重,
获取第二图像中的第二物体图像,以所述第二物体图像作为风格基准模板,对所述第一物体图像进行风格转换;
根据第一物体图像的像素权重图,将进行风格转换后的所述第一物体图像与所述第二图像中的第二物体图像进行融合。
B、如段落A所述的方法,其中,所述生成所述第一物体图像的像素权重图包括:
根据所述第一内部特征点和所述第一物体图像的边界,生成第一物体图像的像素权重图,在所述像素权重图中,所述第一物体图像的像素的权重值从所述第一内部特征点向所述边界呈减小趋势分布。
C、如段落A所述的方法,其中,根据第一物体图像的像素权重图,将进行风格转换后的所述第一物体图像与所述第二图像中的第二物体图像进行融合包括:
根据所述像素权重图中各个点对应的权重,对第一物体图像和所述第二物体图像的各个像素进行融合,使得在融合后的各个像素中,权重越高的像素的属性值越接近所述风格转换后的第一物体图像的像素的属性值,权重越低的像素的属性值越接近所述第二物体图像的像素的属性值。
D、如段落A所述的方法,其中,在执行所述将进行风格转换后的所述第一物体图像与所述第二图像中的第二物体图像进行融合之前还包括:
获取所述第二物体图像的一个或多个第二内部特征点;
根据所述第一内部特征点和所述第二内部特征点,对所述第一物体图像进行仿射转换,使得变换后的第一物体图像的第一内部特征点与第二物体图像中的第二内部特征点对齐。
E、如段落A所述的方法,其中,在对所述第一物体图像进行风格转换之前,还包括:
根据所述第一内部特征点或者根据所述第一内部特征点和所述第一物体图像的边界,对所述第一物体图像进行校正,使得所述第一物体图与标准物体图像模板匹配。
F、如段落A所述的方法,其中,在对所述第二物体图像进行风格转换之前,还包括:
获取所述第二物体图像的第二内部特征点;
根据所述第二内部特征点或者根据所述第二内部特征点和所述第二物体图像的边界,对所述第二物体图像进行校正,使得所述第二物体图与标准物体图像模板匹配。
G、如段落A所述的方法,其中,在对所述第一物体图像进行风格转换之前,还包括:
对所述第一物体图像进行去除阴影的处理。
H、如段落A所述的方法,其中,在将进行风格转换后的所述第一物体图像与所述第二图像中的第二物体图像进行融合之前包括:
根据所述第一物体图像的边界,对所述第二物体图像进行轮廓调整,使得所述第二物体图像与所述第一物体图像的轮廓相匹配。
I、如段落A所述的方法,其中,在将进行风格转换后的所述第一物体图像与所述第二图像中的第二物体图像进行融合之前包括:
对所述风格转换后的所述第一物体图像进行颜色转换,使得所述第一物体图像的颜色分布与所述第二物体图像的颜色分布匹配。
J、如段落A所述的方法,其特征在于,所述第一物体和所述第二物体为同类物体,在所述第二物体图像中,具有所述第一内部特征点位置上相匹配的一个或多个第二内部特征点。
K、如段落J所述的方法,其特征在于,所述第一物体图像和所述第二物体图像为人体脸部图像,所述第一内部特征点和所述第二内部特征点为人体脸部的五官对应的特征点。
L、一种装置,包括:
第一图像处理模块,用于获取第一图像中的第一物体图像和第一物体图像的一个或多个第一内部特征点;
第二图像处理模块,用于获取第二图像中的第二物体图像;
像素权重图生成模块,用于生成所述第一物体图像的像素权重图,在所述像素权重图中,所述第一内部特征点的权重高于非第一内部特征点的权重;
图像转换模块,用于以所述第二物体图像作为风格基准模板,对所述第一物体图像进行风格转换;
图像融合模块,用于根据第一物体图像的像素权重图,将进行风格转换后的所述第一物体图像与所述第二图像中的第二物体图像进行融合。
M、如段落L所述的装置,其中,所述生成所述第一物体图像的像素权重图包括:
根据所述第一内部特征点和所述第一物体图像的边界,生成第一物体图像的像素权重图,在所述像素权重图中,所述第一物体图像的像素的权重值从所述第一内部特征点向所述边界呈减小趋势分布。
N、如段落L所述的装置,其中,根据第一物体图像的像素权重图,将进行风格转换后的所述第一物体图像与所述第二图像中的第二物体图像进行融合包括:
根据所述像素权重图中各个点对应的权重,对第一物体图像和所述第二物体图像的各个像素进行融合,使得在融合后的各个像素中,权重越高的像素的属性值越接近所述风格转换后的第一物体图像的像素的属性值,权重越低的像素的属性值越接近所述第二物体图像的像素的属性值。
O、如段落L所述的装置,其中,
所述第二图像处理模块还用于获取所述第二物体图像的一个或多个第二内部特征点;
所述图像转换模块还用于,在执行所述将进行风格转换后的所述第一物体图像与所述第二图像中的第二物体图像进行融合之前执行如下处理:
根据所述第一内部特征点和所述第二内部特征点,对所述第一物体图像进行仿射转换,使得变换后的第一物体图像的第一内部特征点与第二物体图像中的第二内部特征点对齐。
P、一种电子设备,包括:
处理单元;以及
存储器,耦合至所述处理单元并且包含存储于其上的指令,所述指令在由所述处理单元执行时使所述设备执行动作,所述动作包括:
获取第一图像中的第一物体图像和第一物体图像的一个或多个第一内部特征点,并生成所述第一物体图像的像素权重图,在所述像素权重图中,所述第一内部特征点的权重高于非第一内部特征点的权重,
获取第二图像中的第二物体图像,以所述第二物体图像作为风格基准模板,对所述第一物体图像进行风格转换;
根据第一物体图像的像素权重图,将进行风格转换后的所述第一物体图像与所述第二图像中的第二物体图像进行融合。
Q、如段落P所述的电子设备,其中,所述生成所述第一物体图像的像素权重图包括:
根据所述第一内部特征点和所述第一物体图像的边界,生成第一物体图像的像素权重图,在所述像素权重图中,所述第一物体图像的像素的权重值从所述第一内部特征点向所述边界呈减小趋势分布。
R、如段落P所述的电子设备,其中,根据第一物体图像的像素权重图,将进行风格转换后的所述第一物体图像与所述第二图像中的第二物体图像进行融合包括:
根据所述像素权重图中各个点对应的权重,对第一物体图像和所述第二物体图像的各个像素进行融合,使得在融合后的各个像素中,权重越高的像素的属性值越接近所述风格转换后的第一物体图像的像素的属性值,权重越低的像素的属性值越接近所述第二物体图像的像素的属性值。
S、如段落P所述的电子设备,其中,在执行所述将进行风格转换后的所述第一物体图像与所述第二图像中的第二物体图像进行融合之前还包括:
获取所述第二物体图像的一个或多个第二内部特征点;
根据所述第一内部特征点和所述第二内部特征点,对所述第一物体图像进行仿射转换,使得变换后的第一物体图像的第一内部特征点与第二物体图像中的第二内部特征点对齐。
结语
系统的多个方面的硬件与软件实现之间区别不大;使用硬件还是软件通常(但并不总是,因为在某些背景下,硬件与软件之间的选择可以变得显著)是表示成本与效率权衡的设计选择。存在可以实现在此描述的处理和/或系统和/或其它技术(例如,硬件、软件,以及/或固件)的各种承载工具,并且优选承载工具将随着部署该处理和/或系统和/或其它技术的背景而改变。例如,如果实现方确定速度和准确度最重要,则该实现方可以选择主要硬件和/或固件承载工具;如果灵活性最重要,则该实现方可以选择主要软件实现;或者,此外又另选地,该实现方可以选择硬件、软件,以及/或固件的一些组合。
前述详细描述已经经由使用框图、流程图,以及/或示例阐述了该装置和/或处理的各种实施方式。至于这种框图、流程图,以及/或示例包含一个或更多个功能和/或操作,本领域技术人员应当明白,这种框图、流程图,或示例内的每一个功能和/或操作可以单独地和/或共同地,通过宽范围的硬件、软件、固件,或者实际上其任何组合来实现。在一个实施方式中,在此描述的主旨的几个部分可以经由专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP),或其它集成格式来实现。然而,本领域技术人员应当认识到,在此公开的实施方式的一些方面整个地或者部分地可以等同地在集成电路中实现,实现为运行在一个或更多个计算机上的一个或更多个计算机程序(例如,实现为运行在一个或更多个计算机系统上的一个或更多个程序),实现为运行在一个或更多个处理器上的一个或更多个程序(例如,实现为运行在一个或更多个微处理器上的一个或更多个程序),实现为固件,或者实际上实现为其任何组合,并且根据本公开,设计电路和/或编写用于软件和/或固件的代码完全处于本领域技术人员的技术内。另外,本领域技术人员应当清楚的是,在此描述的主题的机制能够按多种形式作为程序产品分配,并且在此描述的主题的例示性实施方式适用,而与被用于实际执行该分配的特定类型的信号承载介质无关。信号承载介质的示例包括但不限于,以下:可记录型介质,如软盘、硬盘驱动器(HDD)、质密盘(CD)、数字通用盘(DVD)、数字磁带、计算机存储器等;和传输型介质,如数字和/或模拟通信媒介(例如,光纤线缆、波导管、有线通信链路、无线通信链路等)。
本领域技术人员应当认识到,按在此阐述的方式来描述装置和/或处理,并且此后,使用工程实践将这样描述的装置和/或处理集成到数据处理系统中是本领域内常见的。即,在此描述的装置和/或处理的至少一部分可以经由合理量的实验而集成到数据处理系统中。本领域技术人员应当认识到的是,通常的数据处理系统通常包括以下中的一个或更多个:系统单元外壳、视频显示装置、诸如易失性和非易失性存储器的存储器、诸如微处理器和数字信号处理器的处理器、诸如操作系统、驱动器、图形用户接口,以及应用程序的计算实体、诸如触摸板或触摸屏的一个或更多个交互式装置,以及/或包括反馈回路和控制电动机的控制系统(例如,用于感测位置和/或速度的反馈;用于移动和/或调节组件和/或数量的控制马达)。通常的数据处理系统可以利用任何合适商业可获组件来实现,如通常在数据计算/通信和/或网络通信/计算系统中找到的那些。
在此描述的主题有时例示了包含在不同的其它组件内或与其相连接的不同组件。要明白的是,这样描绘的架构仅仅是示例性的,并且实际上,可以实现获得相同功能的许多其它架构。在概念意义上,用于获得相同功能的组件的任何排布结构都有效地“关联”,以使获得希望功能。因此,在此为获得特定功能而组合的任两个组件都可以被看作彼此“相关联”,以使获得希望功能,而与架构或中间组件无关。同样地,这样关联的任两个组件还可以被视作彼此“可操作地连接”,或“可操作地耦接”,以获得希望功能,并且能够这样关联的任两个组件也可以被视作可彼此“操作地耦接”,以获得希望功能。可操作地耦接的具体示例包括但不限于,物理上可配合和/或物理上交互的组件和/或可无线地交互和/或无线地交互的组件和/或逻辑上交互和/或逻辑上可交互组件。
针对在此实质上使用的任何复数和/或单数术语,本领域技术人员可以针对背景和/或应用在适当时候从复数翻译成单数和/或从单数翻译成复数。为清楚起见,各种单数/多数置换在此可以确切地阐述。
本领域技术人员应当明白,一般来说,在此使用的,而且尤其是在所附权利要求书中(例如,所附权利要求书的主体)使用的术语通常旨在作为“开放式”措辞(例如,措辞“包括(including)”应当解释为“包括但不限于”,措辞“具有(having)”应当解释为“至少具有”,措辞“包括(include)”应当解释为“包括但不限于”等)。本领域技术人员还应当明白,如果想要特定数量的介绍权利要求列举,则这种意图将明确地在该权利要求中陈述,并且在没有这些列举的情况下,不存在这种意图。例如,为帮助理解,下面所附权利要求书可以包含使用介绍性短语“至少一个”和“一个或更多个”来介绍权利要求列举。然而,使用这种短语不应被认作,暗示由不定冠词“一(a)”或“一(an)”介绍的权利要求列举将包含这种介绍权利要求列举的任何特定权利要求限制于仅包含一个这种列举的发明,即使同一权利要求包括介绍性短语“一个或更多个”或“至少一个”以及诸如“一(a)”或“一(an)”的不定冠词(例如,“一(a)”或“一(an)”通常应当被解释成意指“至少一个”或“一个或更多个”);其对于使用为介绍权利要求列举而使用的定冠词来说同样保持为真。另外,即使明确地陈述特定数量的介绍权利要求列举,本领域技术人员也应当认识到,这种列举通常应当被解释成,至少意指所陈述数量(例如,“两个列举”的仅有的列举在没有其它修饰语的情况下通常意指至少两个列举,或者两个或更多个列举)。而且,在使用类似于“A、B,以及C等中的至少一个”的惯例的那些实例中,一般来说,这种句法结构希望本领域技术人员在意义上应当理解这种惯例(例如,“具有A、B,以及C中的至少一个的系统”应当包括但不限于具有单独A、单独B、单独C、A和B一起、A和C一起、B和C一起,以及/或A、B以及C一起等的系统)。在使用类似于“A、B,或C等中的至少一个”的惯例的那些实例中,一般来说,这种句法结构希望本领域技术人员在意义上应当理解这种惯例(例如,“具有A、B,或C中的至少一个的系统”应当包括但不限于具有单独A、单独B、单独C、A和B一起、A和C一起、B和C一起,以及/或A、B以及C一起等的系统)。本领域技术人员还应当明白的是,实际上,呈现两个或更多个另选术语的任何转折词和/短语(无论处于描述、权利要求书中,还是在附图中)应当被理解成,设想包括这些术语、这些术语中的任一个,或者两个术语的可能性。例如,短语“A或B”应当被理解成,包括“A”或“B”或“A和B”的可能性。
本说明书中针对“实现方式”、“一个实现方式”、“一些实现方式”,或“其它实现方式”的引用可以意指,结合一个或更多个实现方式描述的特定特征、结构,或特性可以被包括在至少一些实现方式中,但不必被包括在所有实现方式中。前述描述中不同出现的“实现方式”、“一个实现方式”,或“一些实现方式”不必全部针对同一实现方式而引用。
虽然利用不同方法和系统描述和示出了特定示例性技术,但本领域技术人员应当明白,在不脱离要求保护的主题的情况下,可以进行各种其它修改,并且可以代替等同物。另外,在不脱离在此描述的中心概念的情况下,可以进行许多修改以使适应针对要求保护的主题的教导的特定情况。因此,要求保护的主题不限于所公开的特定示例,而是这种要求保护的主题还可以包括落入所附权利要求书及其等同物的范围内的所有实现。
尽管已经用结构特征和/或方法动作专用的语言描述了本主题,但要理解,所附权利要求书中定义的主题不必限于所描述的具体特征或动作。而是,这些具体特征和动作是作为实现该权利要求的解说性形式而公开的。
除非另外具体声明,否则在上下文中可以理解并一般地使用条件语言(诸如“能”、“能够”、“可能”或“可以”)表示特定示例包括而其他示例不包括特定特征、元素和/或步骤。因此,这样的条件语言一般并非旨在暗示对于一个或多个示例以任何方式要求特征、元素和/或步骤,或者一个或多个示例必然包括用于决定的逻辑、具有或不具有用户输入或提示、在任何特定实施例中是否要包括或要执行这些特征、元素和/或步骤。
除非另外具体声明,应理解联合语言(诸如短语“X、Y或Z中至少一个”)表示项、词语等可以是X、Y或Z中的任一者、或其组合。
本文所述和/或附图中描述的流程图中任何例行描述、元素或框应理解成潜在地表示包括用于实现该例程中具体逻辑功能或元素的一个或多个可执行指令的代码的模块、片段或部分。替换示例被包括在本文描述的示例的范围内,其中各元素或功能可被删除,或与所示出或讨论的顺序不一致地执行,包括基本上同步地执行或按相反顺序执行,这取决于所涉及的功能,如本领域技术人也将理解的。
应当强调,可对上述示例作出许多变型和修改,其中的元素如同其他可接受的示例那样应被理解。所有这样的修改和变型在此旨在包括在本公开的范围内并且由以下权利要求书保护。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (16)

1.一种方法,包括:
获取第一图像中的第一物体图像和第一物体图像的一个或多个第一内部特征点,并生成所述第一物体图像的像素权重图,在所述像素权重图中,所述第一内部特征点的权重高于非第一内部特征点的权重;
获取第二图像中的第二物体图像,以所述第二物体图像作为风格基准模板,对所述第一物体图像进行风格转换;
根据第一物体图像的像素权重图,将进行风格转换后的所述第一物体图像与所述第二图像中的第二物体图像进行融合,其中,根据所述第一物体图像的所述像素权重图将进行风格转换后的所述第一物体图像与所述第二图像中的所述第二物体图像进行融合包括:
根据与所述像素权重图中各个点对应的权重,对所述第一物体图像和所述第二物体图像的各个像素进行融合,使得在进行融合后的各个像素中,像素的权重越高,所述像素的属性值越接近进行所述风格转换后的所述第一物体图像的像素的属性值,并且像素的权重越低,所述像素的属性值越接近所述第二物体图像的像素的属性值。
2.根据权利要求1所述的方法,其中,所述生成所述第一物体图像的像素权重图包括:
根据所述第一内部特征点和所述第一物体图像的边界,生成第一物体图像的像素权重图,在所述像素权重图中,所述第一物体图像的像素的权重值从所述第一内部特征点向所述边界呈减小趋势分布。
3.根据权利要求1所述的方法,其中,在执行所述将进行风格转换后的所述第一物体图像与所述第二图像中的第二物体图像进行融合之前还包括:
获取所述第二物体图像的一个或多个第二内部特征点;
根据所述第一内部特征点和所述第二内部特征点,对所述第一物体图像进行仿射转换,使得变换后的第一物体图像的第一内部特征点与第二物体图像中的第二内部特征点对齐。
4.根据权利要求1所述的方法,其中,在对所述第一物体图像进行风格转换之前,还包括:
根据所述第一内部特征点或者根据所述第一内部特征点和所述第一物体图像的边界,对所述第一物体图像进行校正,使得所述第一物体图像与标准物体图像模板匹配。
5.根据权利要求1所述的方法,其中,在对所述第二物体图像进行风格转换之前,还包括:
获取所述第二物体图像的第二内部特征点;
根据所述第二内部特征点或者根据所述第二内部特征点和所述第二物体图像的边界,对所述第二物体图像进行校正,使得所述第二物体图像与标准物体图像模板匹配。
6.根据权利要求1所述的方法,其中,在对所述第一物体图像进行风格转换之前,还包括:
对所述第一物体图像进行去除阴影的处理。
7.根据权利要求1所述的方法,其中,在将进行风格转换后的所述第一物体图像与所述第二图像中的第二物体图像进行融合之前包括:
根据所述第一物体图像的边界,对所述第二物体图像进行轮廓调整,使得所述第二物体图像与所述第一物体图像的轮廓相匹配。
8.根据权利要求1所述的方法,其中,在将进行风格转换后的所述第一物体图像与所述第二图像中的第二物体图像进行融合之前包括:
对所述风格转换后的所述第一物体图像进行颜色转换,使得所述第一物体图像的颜色分布与所述第二物体图像的颜色分布匹配。
9.根据权利要求1所述的方法,其特征在于,所述第一物体和所述第二物体为同类物体,在所述第二物体图像中,具有所述第一内部特征点位置上相匹配的一个或多个第二内部特征点。
10.根据权利要求9所述的方法,其特征在于,所述第一物体图像和所述第二物体图像为人体脸部图像,所述第一内部特征点和所述第二内部特征点为人体脸部的五官对应的特征点。
11.一种装置,包括:
第一图像处理模块,用于获取第一图像中的第一物体图像和第一物体图像的一个或多个第一内部特征点;
第二图像处理模块,用于获取第二图像中的第二物体图像;
像素权重图生成模块,用于生成所述第一物体图像的像素权重图,在所述像素权重图中,所述第一内部特征点的权重高于非第一内部特征点的权重;
图像转换模块,用于以所述第二物体图像作为风格基准模板,对所述第一物体图像进行风格转换;
图像融合模块,用于根据第一物体图像的像素权重图,将进行风格转换后的所述第一物体图像与所述第二图像中的第二物体图像进行融合,其中,根据所述第一物体图像的所述像素权重图将进行风格转换后的所述第一物体图像与所述第二图像中的所述第二物体图像进行融合包括:
根据与所述像素权重图中各个点对应的权重,对所述第一物体图像和所述第二物体图像的各个像素进行融合,使得在进行融合后的各个像素中,像素的权重越高,所述像素的属性值越接近进行所述风格转换后的所述第一物体图像的像素的属性值,并且像素的权重越低,所述像素的属性值越接近所述第二物体图像的像素的属性值。
12.根据权利要求11所述的装置,其中,所述生成所述第一物体图像的像素权重图包括:
根据所述第一内部特征点和所述第一物体图像的边界,生成第一物体图像的像素权重图,在所述像素权重图中,所述第一物体图像的像素的权重值从所述第一内部特征点向所述边界呈减小趋势分布。
13.根据权利要求11所述的装置,其中,
所述第二图像处理模块还用于获取所述第二物体图像的一个或多个第二内部特征点;
所述图像转换模块还用于,在执行所述将进行风格转换后的所述第一物体图像与所述第二图像中的第二物体图像进行融合之前执行如下处理:
根据所述第一内部特征点和所述第二内部特征点,对所述第一物体图像进行仿射转换,使得变换后的第一物体图像的第一内部特征点与第二物体图像中的第二内部特征点对齐。
14.一种电子设备,包括:
处理单元;以及
存储器,耦合至所述处理单元并且包含存储于其上的指令,所述指令在由所述处理单元执行时使所述电子设备执行动作,所述动作包括:
获取第一图像中的第一物体图像和第一物体图像的一个或多个第一内部特征点,并生成所述第一物体图像的像素权重图,在所述像素权重图中,所述第一内部特征点的权重高于非第一内部特征点的权重,
获取第二图像中的第二物体图像,以所述第二物体图像作为风格基准模板,对所述第一物体图像进行风格转换;
根据第一物体图像的像素权重图,将进行风格转换后的所述第一物体图像与所述第二图像中的第二物体图像进行融合,其中,根据所述第一物体图像的所述像素权重图将进行风格转换后的所述第一物体图像与所述第二图像中的所述第二物体图像进行融合包括:
根据与所述像素权重图中各个点对应的权重,对所述第一物体图像和所述第二物体图像的各个像素进行融合,使得在进行融合后的各个像素中,像素的权重越高,所述像素的属性值越接近进行所述风格转换后的所述第一物体图像的像素的属性值,并且像素的权重越低,所述像素的属性值越接近所述第二物体图像的像素的属性值。
15.根据权利要求14所述的电子设备,其中,所述生成所述第一物体图像的像素权重图包括:
根据所述第一内部特征点和所述第一物体图像的边界,生成第一物体图像的像素权重图,在所述像素权重图中,所述第一物体图像的像素的权重值从所述第一内部特征点向所述边界呈减小趋势分布。
16.根据权利要求14所述的电子设备,其中,在执行所述将进行风格转换后的所述第一物体图像与所述第二图像中的第二物体图像进行融合之前还包括:
获取所述第二物体图像的一个或多个第二内部特征点;
根据所述第一内部特征点和所述第二内部特征点,对所述第一物体图像进行仿射转换,使得变换后的第一物体图像的第一内部特征点与第二物体图像中的第二内部特征点对齐。
CN201711479285.1A 2017-12-29 2017-12-29 图像融合变换 Active CN109993716B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201711479285.1A CN109993716B (zh) 2017-12-29 2017-12-29 图像融合变换
US16/766,129 US11205256B2 (en) 2017-12-29 2018-12-13 Image transformation by fusion
EP18830118.8A EP3714431B1 (en) 2017-12-29 2018-12-13 Image transformation by fusion
PCT/US2018/065315 WO2019133266A1 (en) 2017-12-29 2018-12-13 Image transformation by fusion

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711479285.1A CN109993716B (zh) 2017-12-29 2017-12-29 图像融合变换

Publications (2)

Publication Number Publication Date
CN109993716A CN109993716A (zh) 2019-07-09
CN109993716B true CN109993716B (zh) 2023-04-14

Family

ID=64949463

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711479285.1A Active CN109993716B (zh) 2017-12-29 2017-12-29 图像融合变换

Country Status (4)

Country Link
US (1) US11205256B2 (zh)
EP (1) EP3714431B1 (zh)
CN (1) CN109993716B (zh)
WO (1) WO2019133266A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019145835A1 (en) * 2018-01-23 2019-08-01 Imax Corporation Enhancing image data with appearance controls
CN108521547A (zh) * 2018-04-24 2018-09-11 京东方科技集团股份有限公司 图像处理方法、装置及设备
CN110084775B (zh) * 2019-05-09 2021-11-26 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN114245987A (zh) * 2019-08-07 2022-03-25 谷歌有限责任公司 用于视频通话的基于面部的帧速率上采样
EP3971820A4 (en) * 2019-09-30 2022-08-10 Beijing Sensetime Technology Development Co., Ltd. IMAGE PROCESSING METHOD, DEVICE AND ELECTRONIC DEVICE
CN112699265A (zh) * 2019-10-22 2021-04-23 商汤国际私人有限公司 图像处理方法及装置、处理器、存储介质
US11145042B2 (en) * 2019-11-12 2021-10-12 Palo Alto Research Center Incorporated Using convolutional neural network style transfer to automate graphic design creation
CN113313786A (zh) * 2020-02-27 2021-08-27 深圳云天励飞技术有限公司 人像图片上色方法、装置及终端设备
CN111476871B (zh) * 2020-04-02 2023-10-03 百度在线网络技术(北京)有限公司 用于生成视频的方法和装置
CN111563552B (zh) * 2020-05-06 2023-09-05 浙江大华技术股份有限公司 图像融合方法以及相关设备、装置
CN111583102B (zh) * 2020-05-14 2023-05-16 抖音视界有限公司 人脸图像处理方法、装置、电子设备及计算机存储介质
CN113902654A (zh) * 2020-07-06 2022-01-07 阿里巴巴集团控股有限公司 一种图像处理方法、装置、电子设备以及存储介质
CN112330533A (zh) * 2020-11-13 2021-02-05 北京字跳网络技术有限公司 混血人脸图像生成方法、模型训练方法、装置和设备
CN113012082A (zh) * 2021-02-09 2021-06-22 北京字跳网络技术有限公司 图像显示方法、装置、设备及介质
CN113160099B (zh) * 2021-03-18 2023-12-26 北京达佳互联信息技术有限公司 人脸融合方法、装置、电子设备、存储介质及程序产品
CN114418919B (zh) * 2022-03-25 2022-07-26 北京大甜绵白糖科技有限公司 图像融合方法及装置、电子设备和存储介质
CN115034257B (zh) * 2022-05-09 2023-04-07 西北工业大学 一种基于特征融合的跨模态信息目标识别方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4412236B2 (ja) * 2005-05-30 2010-02-10 ソニー株式会社 画像処理装置、画像処理方法および画像処理プログラム
US8290279B2 (en) * 2008-02-25 2012-10-16 WaniB Method, a system, and a computer program product for processing images
JP2013160530A (ja) * 2012-02-01 2013-08-19 Seiko Epson Corp 検査装置、ロボット装置、検査方法及び検査プログラム
CN105184249B (zh) * 2015-08-28 2017-07-18 百度在线网络技术(北京)有限公司 用于人脸图像处理的方法和装置
US9576351B1 (en) * 2015-11-19 2017-02-21 Adobe Systems Incorporated Style transfer for headshot portraits
CN105551061A (zh) * 2015-12-09 2016-05-04 天津大学 高动态范围图像融合中保留无鬼影运动物体处理方法
JP6874772B2 (ja) * 2016-11-25 2021-05-19 日本電気株式会社 画像生成装置、画像生成方法、およびプログラム

Also Published As

Publication number Publication date
US20200364838A1 (en) 2020-11-19
WO2019133266A1 (en) 2019-07-04
EP3714431B1 (en) 2021-11-17
EP3714431A1 (en) 2020-09-30
CN109993716A (zh) 2019-07-09
US11205256B2 (en) 2021-12-21

Similar Documents

Publication Publication Date Title
CN109993716B (zh) 图像融合变换
US11189104B2 (en) Generating 3D data in a messaging system
US11676342B2 (en) Providing 3D data for messages in a messaging system
KR102624635B1 (ko) 메시징 시스템에서의 3d 데이터 생성
CN111696176B (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN111553864B (zh) 图像修复方法及装置、电子设备和存储介质
US11783556B2 (en) Augmented reality content generators including 3D data in a messaging system
US11825065B2 (en) Effects for 3D data in a messaging system
US20210065464A1 (en) Beautification techniques for 3d data in a messaging system
US10755061B1 (en) Product verification in a messaging system
WO2021078001A1 (zh) 一种图像增强方法及装置
EP4064123A1 (en) Text recognition method and apparatus
CN116152122B (zh) 图像处理方法和电子设备
KR102409103B1 (ko) 이미지 변형 방법
US20230107555A1 (en) Facial Expression Editing Method and Electronic Device
CN116485944A (zh) 图像处理方法及装置、计算机可读存储介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant