CN108174237A - 图像合成方法及装置 - Google Patents
图像合成方法及装置 Download PDFInfo
- Publication number
- CN108174237A CN108174237A CN201711463069.8A CN201711463069A CN108174237A CN 108174237 A CN108174237 A CN 108174237A CN 201711463069 A CN201711463069 A CN 201711463069A CN 108174237 A CN108174237 A CN 108174237A
- Authority
- CN
- China
- Prior art keywords
- picture
- user
- face
- image
- theme background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000001815 facial effect Effects 0.000 claims abstract description 60
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 25
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 15
- 238000012937 correction Methods 0.000 claims description 9
- 230000006837 decompression Effects 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 8
- 230000006835 compression Effects 0.000 claims description 5
- 238000007906 compression Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 abstract description 2
- 230000000875 corresponding effect Effects 0.000 description 17
- 238000001914 filtration Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000003716 rejuvenation Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/251—Learning process for intelligent management, e.g. learning user preferences for recommending movies
- H04N21/252—Processing of multiple end-users' preferences to derive collaborative data
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种图像合成方法及装置,其中的方法包括:在线从终端获取用户图片;基于所述用户图片进行人脸识别,得到目标人脸图像;选取主题背景图片,并确定出所述主题背景图片中的人脸位置;将所述目标人脸图像合成在所述主题背景图片的人脸位置,得到合成后的用户特色主题图片;在线向终端发布所述用户特色主题图片。本发明实施例可高效的为用户提供个性化主题换脸图片。
Description
技术领域
本发明涉及互联网技术领域,具体涉及一种图像合成方法及装置。
背景技术
随着互联网的普及,经常采用在网页上或社交平台上扩散图片的形式,进行互联网活动推广。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的图像合成方法及装置。
依据本发明的一个方面,提供一种图像合成方法,应用于服务端,包括:在线从终端获取用户图片;基于所述用户图片进行人脸识别,得到目标人脸图像;选取主题背景图片,并确定出所述主题背景图片中的人脸位置;将所述目标人脸图像合成在所述主题背景图片的人脸位置,得到合成后的用户特色主题图片;在线向终端发布所述用户特色主题图片。
在一种可选方式中,所述在线从终端获取用户图片包括:向终端提供用户图片获取配置界面;通过所述用户图片获取配置界面从终端接收所述用户图片。
在一种可选方式中,所述用户图片获取配置界面是基于H5实现的配置界面;在通过配置界面获取到用户图片之后还包括:将所述用户图片进行图片标准化压缩处理;并将压缩后的用户图片发送给服务端;所述服务端在接收到所述压缩后的用户图片后进行解压缩处理。
在一种可选方式中,所述基于所述用户图片进行人脸识别包括:人脸图像检测:采集人脸图像并基于人脸图像确定出人脸的位置和大小;人脸图像预处理:对所述确定出人脸的位置和大小的人脸图像进行灰度校正、噪声过滤的图像预处理操作,得到平滑的人脸图像。
在一种可选方式中,还包括:获取用户个性信息;根据所述用户个性信息从多个主题背景图片中选择出与所述用户个性信息对应的至少一张主题背景图片。
在一种可选方式中,所述选择出与所述用户个性信息对应的至少一张主题背景图片包括:预设数据库存储所述用户个性信息的关键词与对应的主题背景图片的关联关系;解析用户个性信息所含关键词在所述预设数据库中执行检索,以确定该关键词关联的主题背景图片。
在一种可选方式中,还包括:服务端向所述终端推送与所述用户个性信息相关的内容。
在一种可选方式中,所述服务端包括网关模块和微服务控制模块;所述用户图片由所述网关模块接收后发送给所述微服务控制模块进行图像处理,并将所述微服务控制模块处理得到的所述用户特色主题图片提供给终端。
在一种可选方式中,所述网关模块和微服务控制模块之间基于Grpc协议通信。
在一种可选方式中,还包括:在所述微服务控制模块中设置并行线程池;由所述并行线程池为每一个用户分配线程,执行所述人脸识别、图像合成、特色图片发布的操作。
在一种可选方式中,所述获取的人脸图片、所述主题背景图片以及所述用户特色主题图片被动态保存在内存中。
依据本发明的一个方面,提供一种图像合成装置,应用于服务端,包括:在线获取图片单元,用于在线从终端获取用户图片;人脸识别单元,用于基于所述用户图片进行人脸识别,得到目标人脸图像;主题背景图片处理单元,用于选取主题背景图片,并确定出所述主题背景图片中的人脸位置;图像合成单元,用于将所述目标人脸图像合成在所述主题背景图片的人脸位置,得到合成后的用户特色主题图片;主题图片发布单元,用于在线向终端发布所述用户特色主题图片。
在一种可选方式中,所述在线获取图片单元具体用于:向终端提供用户图片获取配置界面,以及通过所述用户图片获取配置界面从终端接收所述用户图片。
在一种可选方式中,所述用户图片获取配置界面是基于H5实现的配置界面;所述装置还包括:解压缩单元,用于接收到压缩后的用户图片后进行解压缩处理。
在一种可选方式中,所述人脸识别单元具体用于:采集人脸图像并基于人脸图像确定出人脸的位置和大小;对所述确定出人脸的位置和大小的人脸图像进行灰度校正、噪声过滤的图像预处理操作,得到平滑的人脸图像。
在一种可选方式中,还包括:个性化信息获取单元,用于获取用户个性信息;所述主题背景图片处理单元还用于:根据所述用户个性信息从多个主题背景图片中选择出与所述用户个性信息对应的至少一张主题背景图片。
在一种可选方式中,还包括:个性与背景关联设置的单元,用于预设数据库存储所述用户个性信息的关键词与对应的主题背景图片的关联关系;所述主题背景图片处理单元具体用于:解析用户个性信息所含关键词在所述预设数据库中执行检索,以确定该关键词关联的主题背景图片。
在一种可选方式中,还包括:内容推送单元,用于向所述终端推送与所述用户个性信息相关的内容。
在一种可选方式中,所述服务端包括网关模块和微服务控制模块;所述在线获取图片单元和所述主题图片发布单元位于网关模块;所述人脸识别单元、所述主题背景图片处理单元和所述图像合成单元位于所述微服务控制模块。
在一种可选方式中,所述网关模块和微服务控制模块之间基于Grpc协议通信。
在一种可选方式中,还包括:并行线程控制单元,用于设置并行线程池,并控制由所述并行线程池为每一个用户分配线程,执行所述人脸识别单元、所述图像合成单元及所述主题图片发布单元;其中所述并行线程控制单元设置在所述微服务控制模块。
可见,本发明实施例提供的图像替换方法,通过在线获取用户图片,识别出人脸图像,将人脸图像替换在主题背景图片的人脸位置,实现用户人脸图像与主题背景图片的合成,得到用户特色主题图片。这种方法可基于互联网页面、APP或社交平台实现,形式活泼。采用本发明实施例提供的图像替换方法,可满足用户得到个性化主题图片的需求。例如,在一些特定场景(特定时间或场合)下,可为用户提供特色的主题合成图片。例如,在国庆期间推出“爱国怀旧图片”,通过将用户人脸图像合成到包含天安门图像且人物服饰风格在1949年代的背景图片中,得到个性化的爱国怀旧主题图片。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本发明一个实施例的图像替换方法流程图;
图2示出了根据本发明一个实施例的图像替换方法实例场景示意图;以及,
图3示出了根据本发明一个实施例的图像替换装置结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
基于互联网的推广活动经常采用在网页上或社交平台上扩散图片的形式,在一些活动中,需要在短时间内为用户生成不同的图片。这些图片通常是将原始素材组合后生成,例如,对由背景图像、前景图像、前景文字组成的原始素材,将前景图像和前景文字绘制在背景图像的指定位置,从而完成图像合成。
本发明实施例提供一种图像替换方法,该方法在服务端实现。参见图1,该方法包括步骤S101-S105。
S101:在线从终端获取用户图片。
用户图片一般是指包括用户面部特征的人物照片或者是从人物视频中提取的人物照片。为了后续人脸替换(换脸),用户图片最好是大头照。
在一种可选方式中,可通过向终端提供用户图片获取配置界面的方式,通过用户图片获取配置界面从终端接收用户图片。其中:用户图片获取配置界面可以是基于H5实现的配置界面,例如是基于H5的活动推广页面,该页面可读取用户终端的照片库获取用户照片或者提供实时拍照功能获取用户照片。需要说明的是,基于H5页面实现的配置界面,只是针对在线页面推广活动而言的一种优选方式。实际上,任何客户端都可以通过服务端接口来使用该能力和组织类似的活动。在后续的图像合成过程中,背景图是预置在服务端的,而用来换脸的图片就是基于H5页面(或其他方式)在线上传得到的。这里,H5组织活动形式,相较于客户端native开发,更加轻量级,在微信、微博、QQ、各种浏览器里都可以推广该活动,而如果是本地(native)开发,则必须安装对应的App才可以。
在通过配置界面获取到用户图片之后,还可包括如下步骤:将用户图片进行图片标准化压缩处理;并将压缩后的用户图片发送给服务端;服务端在接收到压缩后的用户图片后进行解压缩处理。这种前端H5页面在图片上传时进行图片标准化压缩的方式,在保证效果的前提下,减少了流量,同时也减少了服务端进行换脸、合成和上传的时间。
S102:基于用户图片进行人脸识别,得到目标人脸图像。
人脸识别,是基于人的脸部特征信息进行身份识别的一种生物识别技术。在得到用户图片之后,自动在用户图片中检测和跟踪人脸,进而对检测到的人脸进行脸部的一系列相关特征提取,构成人脸图像。
本发明实施例涉及的人脸识别包括人脸图像检测和人脸图像预处理两个部分。人脸检测即在图像中准确标定出人脸的位置和大小。人脸图像中包含的模式特征十分丰富,如直方图特征、颜色特征、模板特征、结构特征及Haar特征等。人脸检测就是把这其中有用的信息确定出来,并利用这些特征实现人脸检测。人脸图像预处理是基于人脸检测结果,对图像进行处理并最终服务于特征提取的过程。原始人脸图像由于受到各种条件的限制和随机干扰,往往不能直接使用,有必要对它进行灰度校正、噪声过滤等图像预处理。对于人脸图像而言,其预处理过程主要包括人脸图像的光线补偿、灰度变换、直方图均衡化、归一化、几何校正、滤波以及锐化等处理。
下面分别对人脸图像检测和人脸图像预处理的实现过程进行示例性介绍。
例如,人脸图像检测包括如下过程:
(1)人脸图像采集:不同的人脸图像都能通过摄像镜头采集下来,比如静态图像、动态图像、不同的位置、不同表情等方面都可以得到很好的采集。当用户在采集设备的拍摄范围内时,采集设备会自动搜索并拍摄用户的人脸图像。例如本发明可通过用户手机等终端实时采集用户人脸图像。当然也可以直接读取用户手机等终端的照片。
(2)人脸检测:人脸检测在实际中主要用于人脸识别的预处理,即在图像中准确标定出人脸的位置和大小。人脸图像中包含的模式特征十分丰富,如直方图特征、颜色特征、模板特征、结构特征及Haar特征等。人脸检测就是把这其中有用的信息挑出来,并利用这些特征实现人脸检测。
例如,人脸检测方法基于以上特征采用Adaboost学习算法,Adaboost算法是一种用来分类的方法,它把一些比较弱的分类方法合在一起,组合出新的很强的分类方法。人脸检测过程中使用Adaboost算法挑选出一些最能代表人脸的矩形特征(弱分类器),按照加权投票的方式将弱分类器构造为一个强分类器,再将训练得到的若干强分类器串联组成一个级联结构的层叠分类器,有效地提高分类器的检测速度。
例如,人脸图像预处理包括如下过程:
对于人脸的图像预处理是基于人脸检测结果,对图像进行处理并最终服务于特征提取的过程。系统获取的原始图像由于受到各种条件的限制和随机干扰,往往不能直接使用,必须在图像处理的早期阶段对它进行灰度校正、噪声过滤等图像预处理。对于人脸图像而言,其预处理过程主要包括人脸图像的光线补偿、灰度变换、直方图均衡化、归一化、几何校正、滤波以及锐化等。
在经过上述两个过程完成人脸识别后,即从用户图片中提取出了目标人脸图像。
S103:选取主题背景图片,并确定出主题背景图片中的人脸位置。
例如,在国庆期间推出“爱国怀旧图片”,此时的主题背景图片即是爱国怀旧主题的背景图片,例如包含天安门图像且图片中人物服饰风格在1949年代的背景图片。
为了实现更加精细化的特色主题图片,可以根据用户个性化信息选取出与用户个性化信息对应的主题背景图片。
一种最简单的方式是,对于同一个主题背景图片提供男女两个版本,此时仅需获取用户性别信息作为用户个性化信息即可。例如,对于女性用户,在主题背景图片中,人物服饰为裙子等女性化服饰;而对于男性用户,在主题背景图片中,人物服饰为西服等男性化服饰。
再进一步,可以在性别基础上,进一步按照用户年龄段划分提供不同服饰的主题背景图,此次需要获取用户的性别信息和年龄段信息作为用户个性化信息。例如对于同为女性的20岁和50岁的两个用户,为前者提供更加年轻化的装扮。
在一个可选实现方式中,为了实现所述的判定功能,显然,服务端已经预构造了数据库用作数据分析。所述预设数据库存储所述用户个性信息的关键词,依据预设的规则,建立用户个性信息的关键词与对应的主题背景图片的关联关系。因此,在基于预设数据库的数据对用户个性信息进行分析时,利用用户提交的用户个性信息所含关键词在所述预设数据库中执行检索,以确定该关键词关联的主题背景图片。例如,在预设数据库中的一个表格中,存储着用户个性信息的关键词“男性”、“爱国”相对应的主题背景图片为男性装扮的1949年在天安门前的图片。
在一个可选实现方式中,服务端可以同时具备内容推送功能,因而,在其确定用户个性信息之后,可以向所述用户推送与其判定的所述用户个性化特征信息相匹配的推送信息。同理,云端服务器可以同时维护用户账号体系,并自行完成所述用户个性化特征信息在该用户云端用户账户的设置。
S104:将目标人脸图像合成在主题背景图片的人脸位置,得到合成后的用户特色主题图片。
广义而言,图像合成是基于图像信息源,通过用户给定的图像期望元素对象以及对象的具体特征,通过一定的筛选过滤算法,从图像库中选择最匹配的图像源,再经过对图像对象的分割、提取,经过处理后最终合成出最能满足用户需要的结果图像。其一般包括以下四个步骤:1.用户给出期望图像的草图,根据文字标签从互联网自动下载图像;2.进行基于轮廓和内容一致性的图像过滤,并将前景图像分割出来;3.计算最优的图像合成组合;4.对培训的前十组组合进行合成,将结果提供给用户,用户可以选择满意的合成结果,并进行简单的交互修正。
在本发明实施例中,在基于用户图片识别出目标人脸图像以及选取出了主题背景图片的基础上,将识别出的目标人脸图像合成在主题背景图片原图片中的人脸位置,即将主题背景图片中原来人脸位置替换为当前用户的人脸,从而实现了换脸。
S105:在线向终端发布用户特色主题图片。
如前面描述的通过H5页面实现的获取用户图片的方式,在发布用户特征主题图片时,可以也是基于H5页面实现。
参见图2,为本发明实施例一个实例场景示意图。
终端可以是计算机、ipad、手机等用户个人终端。服务端是负责图像合成的执行主体。服务端包括网关(gateway)和微服务控制模块。例如用户在终端通过H5页面在线提交用户图片;网关接收到用户图片后发送给微服务控制模块进行处理;并将微服务控制模块处理得到的用户特色主题图片提供给终端。
在一种可选方式中,网关模块和微服务控制模块之间基于Grpc协议通信。Grpc是google开源的基于protobuffer的rpc工具,在本发明实施例中,由于是基于微服务架构,grpc负载gateway层和后端的微服务之间的通信。Grpc基于protobuffer二进制协议,通信效率比传统的json效率高;Grpc协议支持多种协议,例如gateway是golang语言,微服务控制模块是c++语言;Grpc支持http2.0协议,处理效率高。
在一种可选方式中,微服务控制模块在启动时,可直接将需要使用的底图、掩码图、点阵文件一次性加载到内存中,使用时直接从内存中读取。用户终端在图片上传时,直接通过网络将图片内容上传给服务端,服务端从网络接受到图片数据后,直接进行图片合成和图片上传图床操作,中间没有任何图片存磁盘操作。可以在服务端维护一个线程池,每一个用户的请求来到之后,单独分配一个线程进行处理,多个线程并行进行,使得整体系统可以承受较大的用户访问量。
可见,本发明实施例提供的图像替换方法,通过在线获取用户图片,识别出人脸图像,将人脸图像替换在主题背景图片的人脸位置,实现用户人脸图像与主题背景图片的合成,得到用户特色主题图片。这种方法可基于互联网页面、APP或社交平台实现,形式活泼。
采用本发明实施例提供的图像替换方法,可满足用户得到个性化主题图片的需求。例如,在一些特定场景(特定时间或场合)下,可为用户提供特色的主题合成图片。例如,在国庆期间推出“爱国怀旧图片”,通过将用户人脸图像合成到包含天安门图像且人物服饰风格在1949年代的背景图片中,得到个性化的爱国怀旧主题图片。
与上述图像合成方法相对应,本发明实施例还提供一种图像合成装置,参见图3,包括:
在线获取图片单元301,用于在线从终端获取用户图片;
人脸识别单元302,用于基于所述用户图片进行人脸识别,得到目标人脸图像;
主题背景图片处理单元303,用于选取主题背景图片,并确定出所述主题背景图片中的人脸位置;
图像合成单元304,用于将所述目标人脸图像合成在所述主题背景图片的人脸位置,得到合成后的用户特色主题图片;
主题图片发布单元305,用于在线向终端发布所述用户特色主题图片。
在一种可选方式中,所述在线获取图片单元301具体用于:向终端提供用户图片获取配置界面,以及通过所述用户图片获取配置界面从终端接收所述用户图片。
在一种可选方式中,所述用户图片获取配置界面是基于H5实现的配置界面;所述装置还包括:解压缩单元306,用于接收到压缩后的用户图片后进行解压缩处理。
在一种可选方式中,所述人脸识别单元302具体用于:采集人脸图像并基于人脸图像确定出人脸的位置和大小;对所述确定出人脸的位置和大小的人脸图像进行灰度校正、噪声过滤的图像预处理操作,得到平滑的人脸图像。
在一种可选方式中,还包括:个性化信息获取单元307,用于获取用户个性信息;所述主题背景图片处理单元303还用于:根据所述用户个性信息从多个主题背景图片中选择出与所述用户个性信息对应的至少一张主题背景图片。
在一种可选方式中,还包括:个性与背景关联设置单元308,用于预设数据库存储所述用户个性信息的关键词与对应的主题背景图片的关联关系;所述主题背景图片处理单元303具体用于:解析用户个性信息所含关键词在所述预设数据库中执行检索,以确定该关键词关联的主题背景图片。
在一种可选方式中,还包括:内容推送单元309,用于向所述终端推送与所述用户个性信息的关键词相关的内容。
在一种可选方式中,所述服务端包括网关模块和微服务控制模块;所述在线获取图片单元301和所述主题图片发布单元305位于网关模块;所述人脸识别单元302、所述主题背景图片处理单元303和所述图像合成单元304位于所述微服务控制模块。
在一种可选方式中,所述网关模块和微服务控制模块之间基于Grpc协议通信。
在一种可选方式中,还包括:并行线程控制单元310,用于设置并行线程池,并控制由所述并行线程池为每一个用户分配线程,执行所述人脸识别单元302、所述图像合成单元304及所述主题图片发布单元305;其中所述并行线程控制单元308设置在所述微服务控制模块。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的插件调用通知栏的装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
可见,本发明实施例提供如下方案:
A1、一种图像合成方法,应用于服务端,包括:
在线从终端获取用户图片;
基于所述用户图片进行人脸识别,得到目标人脸图像;
选取主题背景图片,并确定出所述主题背景图片中的人脸位置;
将所述目标人脸图像合成在所述主题背景图片的人脸位置,得到合成后的用户特色主题图片;
在线向终端发布所述用户特色主题图片。
A2、根据A1所述的方法,所述在线从终端获取用户图片包括:
向终端提供用户图片获取配置界面;
通过所述用户图片获取配置界面从终端接收所述用户图片。
A3、根据A2所述的方法,所述用户图片获取配置界面是基于H5实现的配置界面;在通过配置界面获取到用户图片之后还包括:
将所述用户图片进行图片标准化压缩处理;并将压缩后的用户图片发送给服务端;所述服务端在接收到所述压缩后的用户图片后进行解压缩处理。
A4、根据A1所述的方法,所述基于所述用户图片进行人脸识别包括:
人脸图像检测:采集人脸图像并基于人脸图像确定出人脸的位置和大小;
人脸图像预处理:对所述确定出人脸的位置和大小的人脸图像进行灰度校正、噪声过滤的图像预处理操作,得到平滑的人脸图像。
A5、根据A1所述的方法,还包括:
获取用户个性信息;
根据所述用户个性信息从多个主题背景图片中选择出与所述用户个性信息对应的至少一张主题背景图片。
A6、根据A5所述的方法,所述选择出与所述用户个性信息对应的至少一张主题背景图片包括:
预设数据库存储所述用户个性信息的关键词与对应的主题背景图片的关联关系;
解析用户个性信息所含关键词在所述预设数据库中执行检索,以确定该关键词关联的主题背景图片。
A7、根据A6所述的方法,还包括:
服务端向所述终端推送与所述用户个性信息相关的内容。
A8、根据A1-A7任一项所述的方法,所述服务端包括网关模块和微服务控制模块;所述用户图片由所述网关模块接收后发送给所述微服务控制模块进行图像处理,并将所述微服务控制模块处理得到的所述用户特色主题图片提供给终端。
A9、根据A8所述的方法,所述网关模块和微服务控制模块之间基于Grpc协议通信。
A10、根据A8所述的方法,还包括:
在所述微服务控制模块中设置并行线程池;
由所述并行线程池为每一个用户分配线程,执行所述人脸识别、图像合成、特色图片发布的操作。
B11、一种图像合成装置,应用于服务端,包括:
在线获取图片单元,用于在线从终端获取用户图片;
人脸识别单元,用于基于所述用户图片进行人脸识别,得到目标人脸图像;
主题背景图片处理单元,用于选取主题背景图片,并确定出所述主题背景图片中的人脸位置;
图像合成单元,用于将所述目标人脸图像合成在所述主题背景图片的人脸位置,得到合成后的用户特色主题图片;
主题图片发布单元,用于在线向终端发布所述用户特色主题图片。
B12、根据B11所述的装置,所述在线获取图片单元具体用于:向终端提供用户图片获取配置界面,以及通过所述用户图片获取配置界面从终端接收所述用户图片。
B13、根据B12所述的装置,所述用户图片获取配置界面是基于H5实现的配置界面;所述装置还包括:解压缩单元,用于接收到压缩后的用户图片后进行解压缩处理。
B14、根据B11所述的装置,所述人脸识别单元具体用于:采集人脸图像并基于人脸图像确定出人脸的位置和大小;对所述确定出人脸的位置和大小的人脸图像进行灰度校正、噪声过滤的图像预处理操作,得到平滑的人脸图像。
B15、根据B11所述的装置,还包括:个性化信息获取单元,用于获取用户个性信息;所述主题背景图片处理单元还用于:根据所述用户个性信息从多个主题背景图片中选择出与所述用户个性信息对应的至少一张主题背景图片。
B16、根据B15所述的装置,还包括:个性与背景关联设置的单元,用于预设数据库存储所述用户个性信息的关键词与对应的主题背景图片的关联关系;所述主题背景图片处理单元具体用于:解析用户个性信息所含关键词在所述预设数据库中执行检索,以确定该关键词关联的主题背景图片。
B17、根据B16所述的装置,还包括:
内容推送单元,用于向所述终端推送与所述用户个性信息相关的内容。
B18、根据B11-B17任一项所述的装置,所述服务端包括网关模块和微服务控制模块;所述在线获取图片单元和所述主题图片发布单元位于网关模块;所述人脸识别单元、所述主题背景图片处理单元和所述图像合成单元位于所述微服务控制模块。
B19、根据B18所述的装置,所述网关模块和微服务控制模块之间基于Grpc协议通信。
B20、根据B13所述的装置,还包括:
并行线程控制单元,用于设置并行线程池,并控制由所述并行线程池为每一个用户分配线程,执行所述人脸识别单元、所述图像合成单元及所述主题图片发布单元;其中所述并行线程控制单元设置在所述微服务控制模块。
Claims (10)
1.一种图像合成方法,应用于服务端,其特征在于,包括:
在线从终端获取用户图片;
基于所述用户图片进行人脸识别,得到目标人脸图像;
选取主题背景图片,并确定出所述主题背景图片中的人脸位置;
将所述目标人脸图像合成在所述主题背景图片的人脸位置,得到合成后的用户特色主题图片;
在线向终端发布所述用户特色主题图片。
2.根据权利要求1所述的方法,其特征在于,所述在线从终端获取用户图片包括:
向终端提供用户图片获取配置界面;
通过所述用户图片获取配置界面从终端接收所述用户图片。
3.根据权利要求2所述的方法,其特征在于,所述用户图片获取配置界面是基于H5实现的配置界面;在通过配置界面获取到用户图片之后还包括:
将所述用户图片进行图片标准化压缩处理;并将压缩后的用户图片发送给服务端;所述服务端在接收到所述压缩后的用户图片后进行解压缩处理。
4.根据权利要求1所述的方法,其特征在于,所述基于所述用户图片进行人脸识别包括:
人脸图像检测:采集人脸图像并基于人脸图像确定出人脸的位置和大小;
人脸图像预处理:对所述确定出人脸的位置和大小的人脸图像进行灰度校正、噪声过滤的图像预处理操作,得到平滑的人脸图像。
5.根据权利要求1所述的方法,其特征在于,还包括:
获取用户个性信息;
根据所述用户个性信息从多个主题背景图片中选择出与所述用户个性信息对应的至少一张主题背景图片。
6.根据权利要求5所述的方法,其特征在于,所述选择出与所述用户个性信息对应的至少一张主题背景图片包括:
预设数据库存储所述用户个性信息的关键词与对应的主题背景图片的关联关系;
解析用户个性信息所含关键词在所述预设数据库中执行检索,以确定该关键词关联的主题背景图片。
7.根据权利要求6所述的方法,其特征在于,还包括:
服务端向所述终端推送与所述用户个性信息相关的内容。
8.根据权利要求1-7任一项所述的方法,其特征在于,所述服务端包括网关模块和微服务控制模块;所述用户图片由所述网关模块接收后发送给所述微服务控制模块进行图像处理,并将所述微服务控制模块处理得到的所述用户特色主题图片提供给终端。
9.根据权利要求8所述的方法,其特征在于,所述网关模块和微服务控制模块之间基于Grpc协议通信。
10.一种图像合成装置,应用于服务端,其特征在于,包括:
在线获取图片单元,用于在线从终端获取用户图片;
人脸识别单元,用于基于所述用户图片进行人脸识别,得到目标人脸图像;
主题背景图片处理单元,用于选取主题背景图片,并确定出所述主题背景图片中的人脸位置;
图像合成单元,用于将所述目标人脸图像合成在所述主题背景图片的人脸位置,得到合成后的用户特色主题图片;
主题图片发布单元,用于在线向终端发布所述用户特色主题图片。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711463069.8A CN108174237A (zh) | 2017-12-28 | 2017-12-28 | 图像合成方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711463069.8A CN108174237A (zh) | 2017-12-28 | 2017-12-28 | 图像合成方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108174237A true CN108174237A (zh) | 2018-06-15 |
Family
ID=62519548
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711463069.8A Pending CN108174237A (zh) | 2017-12-28 | 2017-12-28 | 图像合成方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108174237A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109670058A (zh) * | 2018-11-02 | 2019-04-23 | 平安科技(深圳)有限公司 | 基于大数据的图片管理方法、装置、介质及电子设备 |
CN110458918A (zh) * | 2019-08-16 | 2019-11-15 | 北京百度网讯科技有限公司 | 用于输出信息的方法和装置 |
CN111260756A (zh) * | 2018-11-30 | 2020-06-09 | 百度在线网络技术(北京)有限公司 | 用于发送信息的方法和装置 |
CN111782387A (zh) * | 2020-03-23 | 2020-10-16 | 韶鼎人工智能科技有限公司 | 融合边缘计算的私有云多终端智能相册管理系统和方法 |
CN112258287A (zh) * | 2020-10-28 | 2021-01-22 | 上海今井实业有限公司 | 一种绕线画线上交易方法、终端及介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1816090A (zh) * | 2005-01-31 | 2006-08-09 | 范小波 | 基于多媒体消息服务的面相图像处理系统和方法 |
CN102790857A (zh) * | 2011-05-19 | 2012-11-21 | 华晶科技股份有限公司 | 影像处理方法 |
CN106686463A (zh) * | 2016-12-09 | 2017-05-17 | 天脉聚源(北京)传媒科技有限公司 | 一种视频中的角色替换方法及装置 |
CN106792147A (zh) * | 2016-12-08 | 2017-05-31 | 天脉聚源(北京)传媒科技有限公司 | 一种图像替换方法及装置 |
CN107105310A (zh) * | 2017-05-05 | 2017-08-29 | 广州盈可视电子科技有限公司 | 一种视频直播中人物形象替换方法、装置和一种录播系统 |
CN107507217A (zh) * | 2017-08-17 | 2017-12-22 | 北京觅己科技有限公司 | 证件照的制作方法、装置及存储介质 |
-
2017
- 2017-12-28 CN CN201711463069.8A patent/CN108174237A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1816090A (zh) * | 2005-01-31 | 2006-08-09 | 范小波 | 基于多媒体消息服务的面相图像处理系统和方法 |
CN102790857A (zh) * | 2011-05-19 | 2012-11-21 | 华晶科技股份有限公司 | 影像处理方法 |
CN106792147A (zh) * | 2016-12-08 | 2017-05-31 | 天脉聚源(北京)传媒科技有限公司 | 一种图像替换方法及装置 |
CN106686463A (zh) * | 2016-12-09 | 2017-05-17 | 天脉聚源(北京)传媒科技有限公司 | 一种视频中的角色替换方法及装置 |
CN107105310A (zh) * | 2017-05-05 | 2017-08-29 | 广州盈可视电子科技有限公司 | 一种视频直播中人物形象替换方法、装置和一种录播系统 |
CN107507217A (zh) * | 2017-08-17 | 2017-12-22 | 北京觅己科技有限公司 | 证件照的制作方法、装置及存储介质 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109670058A (zh) * | 2018-11-02 | 2019-04-23 | 平安科技(深圳)有限公司 | 基于大数据的图片管理方法、装置、介质及电子设备 |
CN111260756A (zh) * | 2018-11-30 | 2020-06-09 | 百度在线网络技术(北京)有限公司 | 用于发送信息的方法和装置 |
CN111260756B (zh) * | 2018-11-30 | 2023-09-26 | 百度在线网络技术(北京)有限公司 | 用于发送信息的方法和装置 |
CN110458918A (zh) * | 2019-08-16 | 2019-11-15 | 北京百度网讯科技有限公司 | 用于输出信息的方法和装置 |
CN110458918B (zh) * | 2019-08-16 | 2023-05-09 | 北京百度网讯科技有限公司 | 用于输出信息的方法和装置 |
CN111782387A (zh) * | 2020-03-23 | 2020-10-16 | 韶鼎人工智能科技有限公司 | 融合边缘计算的私有云多终端智能相册管理系统和方法 |
CN111782387B (zh) * | 2020-03-23 | 2024-01-30 | 韶鼎人工智能科技有限公司 | 融合边缘计算的私有云多终端智能相册管理系统和方法 |
CN112258287A (zh) * | 2020-10-28 | 2021-01-22 | 上海今井实业有限公司 | 一种绕线画线上交易方法、终端及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108174237A (zh) | 图像合成方法及装置 | |
Cruciani et al. | Feature learning for human activity recognition using convolutional neural networks: A case study for inertial measurement unit and audio data | |
US20210216830A1 (en) | Content tagging | |
Hossain et al. | Improving consumer satisfaction in smart cities using edge computing and caching: A case study of date fruits classification | |
CN109376596A (zh) | 人脸匹配方法、装置、设备及存储介质 | |
CN110210542B (zh) | 图片文字识别模型训练方法、装置及文字识别系统 | |
CN108898579A (zh) | 一种图像清晰度识别方法、装置和存储介质 | |
CN108174096A (zh) | 拍摄参数设置的方法、装置、终端及存储介质 | |
CN108513060A (zh) | 使用外部电子设备的拍摄方法和支持该方法的电子设备 | |
CN106651978B (zh) | 人脸图像预测方法及系统 | |
CN108875932A (zh) | 图像识别方法、装置和系统及存储介质 | |
CN104106078B (zh) | 光学字符辨识(ocr)高速缓冲存储器更新 | |
CN109074390A (zh) | 用于媒体集的生成、策展和呈现的方法和系统 | |
CN106815803B (zh) | 图片的处理方法及装置 | |
CN108198177A (zh) | 图像获取方法、装置、终端及存储介质 | |
CN109935294A (zh) | 一种文本报告输出方法、装置、存储介质及终端 | |
CN105630954B (zh) | 一种基于照片合成动态图片的方法和装置 | |
CN111027450A (zh) | 银行卡信息识别方法、装置、计算机设备及存储介质 | |
CN112966758B (zh) | 一种农作物病虫草害识别方法、装置、系统及存储介质 | |
CN106980696A (zh) | 一种照片文件的分类方法及装置 | |
CN112074827A (zh) | 图像归档的系统和方法 | |
SenthilPandi et al. | A Novel Approach for Image Background Elimination | |
Manoharan et al. | Identification of mango leaf disease using deep learning | |
CN113076873A (zh) | 一种基于多阶段训练的农作物病害长尾图像识别方法 | |
CN107743263B (zh) | 视频数据实时处理方法及装置、计算设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180615 |