CN109840885B - 图像融合方法及相关产品 - Google Patents

Abstract

本申请实施例提供了一种图像融合方法及相关产品，其中，方法包括：获取第一素描图像以及第二素描图像，所述第一素描图像与所述第二素描图像为不同的人脸角度的图像；依据所述第一素描图像进行调整，得到目标第一素描图像，所述目标第一素描图像的人脸角度为正脸角度；依据所述第二素描图像进行调整，得到目标第二素描图像，所述目标第二素描图像的人脸角度为正脸角度；将所述目标第一素描图像与所述目标第二素描图像进行图像融合，得到目标素描图像。通过本申请实施例能够实现正脸素描图像，以实现精准搜索犯罪嫌疑人。

Description

图像融合方法及相关产品

技术领域

本申请涉及图像处理技术领域，具体涉及一种图像融合方法及相关产品。

背景技术

在司法领域和数码娱乐产业中的广泛应用，自动肖像合成技术近年来引起人们的关注。例如，在司法领域，用素描肖像在警方的照片数据库中搜索犯罪嫌疑人是十分重要的应用。但是，在素描只是侧脸时，无法精准地搜索犯罪嫌疑人。

发明内容

本申请实施例提供了一种图像融合方法及相关产品，可以实现正脸素描图像，以实现精准搜索犯罪嫌疑人。

第一方面，本申请实施例提供了一种图像融合方法，包括：

获取第一素描图像以及第二素描图像，所述第一素描图像与所述第二素描图像为不同的人脸角度的图像；

依据所述第一素描图像进行调整，得到目标第一素描图像，所述目标第一素描图像的人脸角度为正脸角度；

依据所述第二素描图像进行调整，得到目标第二素描图像，所述目标第二素描图像的人脸角度为正脸角度；

将所述目标第一素描图像与所述目标第二素描图像进行图像融合，得到目标素描图像。

可选地，所述依据所述第一素描图像进行调整，得到目标第一素描图像，包括：

对所述第一素描图像进行仿射变换，得到仿射变换后的第一素描图像，所述仿射变换后的第一素描图像的人脸角度为正脸角度；

获取所述仿射变换后的第一素描图像的对称轴，并依据该对称轴将所述仿射变换后的第一素描图像划分为第一人脸区域和第二人脸区域；

对所述第一人脸区域进行特征提取，得到第一特征点集，并依据所述第一特征点集确定所述第一人脸区域的第一特征点分布密度；

对所述第二人脸区域进行特征提取，得到第二特征点集，并根据所述第二特征点集确定所述第二人脸区域的第二特征点分布密度；

确定所述第一特征点分布密度与所述第二特征点分布密度之间的比值；

在所述比值大于第一预设阈值时，依据所述第一人脸区域对所述第二人脸区域进行完善，得到所述目标第一素描图像，所述第一预设阈值为大于或等于1；

在所述比值小于第二预设阈值时，依据所述第二人脸区域对所述第一人脸区域进行完善，得到所述目标第一素描图像，所述第二预设阈值为小于1的正数；

在所述比值大于1且小于所述第一预设阈值，对所述第二人脸区域进行图像增强处理，得到所述目标第一素描图像；

在所述比值大于所述第二预设阈值且小于1时，对所述第一人脸区域进行图像增强处理，得到所述目标第一素描图像。

进一步可选地，所述依据所述第一人脸区域对所述第二人脸区域进行完善，得到所述目标第一素描图像，包括：

获取所述第一人脸区域的第一特征点集，所述第一特征点集包括多个特征点，每一特征点包括特征大小和特征方向；

依据所述对称轴将所述第一特征点集进行镜像处理，得到镜像后的第一特征点集，并将镜像后的第一特征点集插入所述第二人脸区域，得到插入后的第二人脸区域，所述镜像后的第一特征点集中每一特征点的特征方向与对应的第一特征点集中的特征点的特征方向相反；

对所述插入后的第二人脸区域进行平滑处理，得到所述目标第一素描图像。

第二方面，本申请实施例提供了一种图像融合装置，包括:

获取单元，用于获取第一素描图像以及第二素描图像，所述第一素描图像与所述第二素描图像为不同的人脸角度的图像；

第一调整单元，用于依据所述第一素描图像进行调整，得到目标第一素描图像，所述目标第一素描图像的人脸角度为正脸角度；

第二调整单元，用于依据所述第二素描图像进行调整，得到目标第二素描图像，所述目标第二素描图像的人脸角度为正脸角度；

图像融合单元，用于将所述目标第一素描图像与所述目标第二素描图像进行图像融合，得到目标素描图像。

第三方面，本申请实施例提供一种电子设备，包括处理器、存储器以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面中的步骤的指令。

第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。

第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

实施本申请实施例，具备如下有益效果：

可以看出，通过本申请实施例所描述的图像融合方法及相关产品，获取第一素描图像以及第二素描图像，第一素描图像与第二素描图像为不同的人脸角度的图像，依据第一素描图像进行调整，得到目标第一素描图像，目标第一素描图像的人脸角度为正脸角度，依据第二素描图像进行调整，得到目标第二素描图像，目标第二素描图像的人脸角度为正脸角度，将目标第一素描图像与目标第二素描图像进行图像融合，得到目标素描图像，如此，可以融合两张侧脸人脸图像，合成最后的正脸素描图像，有助于实现精准搜索犯罪嫌疑人。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1A是本申请实施例提供的一种图像融合方法的实施例流程示意图；

图1B是本申请实施例提供的正脸角度的人脸的对称轴的示意图；

图2是本申请实施例提供的一种图像融合方法的另一实施例流程示意图；

图3A是本申请实施例提供的一种图像融合装置的实施例结构示意图；

图3B是本申请实施例提供的图3A所描述的图像融合装置的又一结构示意图；

图4是本申请实施例提供的一种电子设备的实施例结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置展示该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请实施例所描述电子设备可以包括智能手机(如Android手机、iOS手机、Windows Phone手机等)、平板电脑、掌上电脑、笔记本电脑、移动互联网设备(MID，MobileInternet Devices)或穿戴式设备等，上述仅是举例，而非穷举，包含但不限于上述装置，当然，上述电子设备还可以为服务器。

需要说明的是，本申请实施例中的电子设备可与多个摄像头连接，每一摄像头均可用于抓拍视频图像，每一摄像头均可有一个与之对应的位置标记，或者，可有一个与之对应的编号。通常情况下，摄像头可设置在公共场所，例如，学校、博物馆、十字路口、步行街、写字楼、车库、机场、医院、地铁站、车站、公交站台、超市、酒店、娱乐场所等等。摄像头在拍摄到视频图像后，可将该视频图像保存到电子设备所在系统的存储器。存储器中可存储有多个图像库，每一图像库可包含同一人的不同视频图像，当然，每一图像库还可以用于存储一个区域的视频图像或者某个指定摄像头拍摄的视频图像。

进一步可选地，本申请实施例中，摄像头拍摄的每一帧视频图像均对应一个属性信息，属性信息为以下至少一种：视频图像的拍摄时间、视频图像的位置、视频图像的属性参数(格式、大小、分辨率等)、视频图像的编号和视频图像中的人物特征属性。上述视频图像中的人物特征属性可包括但不仅限于：视频图像中的人物个数、人物位置、人物角度值、年龄、图像质量等等。

进一步需要说明的是，每一摄像头采集的视频图像通常为动态人脸图像，因而，本申请实施例中可以对人脸图像的角度值信息进行规划，上述角度值信息可包括但不仅限于：水平转动角度值、俯仰角或者倾斜度。例如，可定义动态人脸图像数据要求两眼间距不小于30像素，建议60像素以上。水平转动角度值不超过±30°、俯仰角不超过±20°、倾斜角不超过±45°。建议水平转动角度值不超过±15°、俯仰角不超过±10°、倾斜角不超过±15°。例如，还可对人脸图像是否被其他物体遮挡进行筛选，通常情况下，饰物不应遮挡脸部主要区域，饰物如深色墨镜、口罩和夸张首饰等，当然，也有可能摄像头上面布满灰尘，导致人脸图像被遮挡。本申请实施例中的视频图像的图片格式可包括但不仅限于：BMP，JPEG，JPEG2000，PNG等等，其大小可以在10-30KB之间，每一视频图像还可以对应一个拍摄时间、以及拍摄该视频图像的摄像头统一编号、与人脸图像对应的全景大图的链接等信息(人脸图像和全局图片建立特点对应性关系文件)。

请参阅图1A，为本申请实施例提供的一种图像融合方法的实施例流程示意图。本实施例中所描述的图像融合方法，包括以下步骤：

101、获取第一素描图像以及第二素描图像，所述第一素描图像与所述第二素描图像为不同的人脸角度的图像。

其中，上述第一素描图像与第二素描图像可以来自不同的证人或者用户对嫌疑人不同的角度的描述生成的，由于不同的人看证人或者嫌疑人的角度不一样，因此，第一素描图像与第二素描图像可以有不同的人脸角度，第一素描图像与第二素描图像为针对同一目标的素描图像。

102、依据所述第一素描图像进行调整，得到目标第一素描图像，所述目标第一素描图像的人脸角度为正脸角度。

其中，由于第一素描图像角度则有可能为侧脸角度，因此，可以对第一素描图像进行调整，得到目标第一素描图像，目标第一素描图像为第一素描图像的正脸角度的人脸图像。

可选地，上述步骤102，依据所述第一素描图像进行调整，得到目标第一素描图像，可包括如下步骤：

21、对所述第一素描图像进行仿射变换，得到仿射变换后的第一素描图像，所述仿射变换后的第一素描图像的人脸角度为正脸角度；

22、获取所述仿射变换后的第一素描图像的对称轴，并依据该对称轴将所述仿射变换后的第一素描图像划分为第一人脸区域和第二人脸区域；

23、对所述第一人脸区域进行特征提取，得到第一特征点集，并依据所述第一特征点集确定所述第一人脸区域的第一特征点分布密度；

24、对所述第二人脸区域进行特征提取，得到第二特征点集，并根据所述第二特征点集确定所述第二人脸区域的第二特征点分布密度；

25、确定所述第一特征点分布密度与所述第二特征点分布密度之间的比值；

26、在所述比值大于第一预设阈值时，依据所述第一人脸区域对所述第二人脸区域进行完善，得到所述目标第一素描图像，所述第一预设阈值为大于或等于1；

27、在所述比值小于第二预设阈值时，依据所述第二人脸区域对所述第一人脸区域进行完善，得到所述目标第一素描图像，所述第二预设阈值为小于1的正数；

28、在所述比值大于1且小于所述第一预设阈值，对所述第二人脸区域进行图像增强处理，得到所述目标第一素描图像；

29、在所述比值大于所述第二预设阈值且小于1时，对所述第一人脸区域进行图像增强处理，得到所述目标第一素描图像。

其中，上述第一预设阈值、第二预设阈值均可以由用户自行设置或者系统默认。本申请实施例中，第一预设阈值大于或等于1，而第二预设阈值为小于1的正数。电子设备可以对第一素描图像进行仿射变换，得到仿射变换后的第一素描图像，该仿射变换后的第一素描图像的人脸角度为正脸角度，可以获取该仿射变换后的第一素描图像的对称轴，如图1B所示，图1B示出了人脸图像的对称轴，进而，可以依据该对称轴将仿射变换后的第一素描图像划分为第一人脸区域和第二人脸区域，由于原本第一素描图像为一个侧脸图像，因此，对称轴两侧的图像的特征点数量不一样，因此，可以对第一人脸区域进行特征提取，得到第一特征点集，该第一特征点集包括多个特征点，可以依据该第一特征点集确定该第一人脸区域的第一特征点分布密度，第一特征点分布密度＝第一特征点集的数量/第一人脸区域的面积，同理，可以对第二人脸区域进行特征提取，得到第二特征点即，并依据该第二特征点集确定第二人脸区域的第二特征点分布密度，进一步确定第一特征点分布密度与第二特征点分布密度之间的比值，在比值小于第一预设阈值时，可以依据第一人脸区域对第二人脸区域进行完善，具体地，依据人脸对称性，可以作镜像处理，即将第一人脸区域的特征镜像到第二人脸区域，最终得到目标第一素描图像，同理，在比值小于第二预设阈值时，可以依据第二人脸区域对第一人脸区域进行完善，得到目标第一素描图像，在比值大于1且小于第一预设阈值，则可以理解为，第一人脸区域与第二人脸区域包含的特征密度差不多，则可以对第二人脸区域进行图像增强处理，得到目标第一素描图像，同理，在比值大于第二预设阈值且小于1时，也可以对第一人脸区域进行图像增强处理，得到目标第一素描图像。

其中，上述特征提取可以采用以下至少一种算法：尺度不变特征变换(scaleinvariant feature transfrom，sift)、harris角点检测算法、卷积神经网络算法等等，在此不做限定。上述图像增强处理可以为以下至少一种：直方图均衡化、灰度拉伸、小波变换、拉普拉斯变换等等，在此不做限定。

进一步可选地，上述步骤26，依据所述第一人脸区域对所述第二人脸区域进行完善，得到所述目标第一素描图像，可以包括如下步骤：

261、获取所述第一人脸区域的第一特征点集，所述第一特征点集包括多个特征点，每一特征点包括特征大小和特征方向；

262、依据所述对称轴将所述第一特征点集进行镜像处理，得到镜像后的第一特征点集，并将镜像后的第一特征点集插入所述第二人脸区域，得到插入后的第二人脸区域，所述镜像后的第一特征点集中每一特征点的特征方向与对应的第一特征点集中的特征点的特征方向相反；

263、对所述插入后的第二人脸区域进行平滑处理，得到所述目标第一素描图像。

其中，电子设备可以获取第一人脸区域的第一特征点集，该第一特征点集包括多个特征点，且每一特征点包括特征大小和特征方向，因此，可以依据对称轴将第一特征点集进行镜像处理，得到镜像后的第一特征点集，并将镜像后的第一特征点集插入到第二人脸区域，得到插入后的第二人脸区域，镜像后的第一特征点集中每一特征点的特征方向与对应的第一特征点集中的特征点的特征方向相反，由于第二人脸区域进行插入后，有可能某些地方会比较凸显，因此，可以对第二人脸区域进行平滑处理，得到目标第一素描图像。

103、依据所述第二素描图像进行调整，得到目标第二素描图像，所述目标第二素描图像的人脸角度为正脸角度。

其中，由于第二素描图像角度则有可能为侧脸角度，因此，可以对第二素描图像进行调整，得到目标第二素描图像，目标第二素描图像为第二素描图像的正脸角度的人脸图像。具体实现过程可以参照上述步骤21-29，在此不再赘述。

104、将所述目标第一素描图像与所述目标第二素描图像进行图像融合，得到目标素描图像。

其中，由于目标第一素描图像以及目标第二素描图像均包含一部分人脸特征，因此，可以将两者进行图像融合，得到目标素描图像，这样的素描图像可以包括更多的目标对象的特征，以便于后续在数据库中精准搜索出目标，提高检索效率。

可选地，上述步骤104，将所述目标第一素描图像与所述目标第二素描图像进行图像融合，得到目标素描图像，可包括如下步骤：

41、提取所述目标第一素描图像的第一中心，以及第一外围轮廓；

42、提取所述目标第二素描图像的第二中心，以及第二外围轮廓；

43、依据所述第一中心、所述第二中心，将所述目标第一素描图像和所述目标第二素描图像进行重叠处理；

44、将所述第一外围轮廓进行调整，得到调整后的目标第一素描图像，所述调整后的目标第一素描图像的外围轮廓与所述第二外围轮廓重合；

45、将所述目标第二素描图像与所述调整后的目标第一素描图像进行加权运算，得到所述目标素描图像。

其中，上述第一中心、第二中心均可以为图像的几何中心、质心或者重心，在此不做限定，上述外围轮廓提取的方式可以为以下至少一种：霍夫变换、拉普拉斯变换、卷积神经网络算法，在此不做限定。具体实现中，电子设备可以提取目标第一素描图像的第一中心，以及第一外围轮廓，提取目标第二素描图像的第二中心，以及第二外围轮廓，可以将第一中心、第二中心进行重叠，进一步地，将目标第一素描图像和目标第二素描图像进行重叠处理，由于两者重叠之后，外围轮廓大小有可能不一样，则可以将第一外围轮廓进行调整，得到调整后的目标第一素描图像，调整后的目标第一素描图像的外围轮廓与第二外围轮廓重合，最后，将目标第二素描图像与调整后的目标第一素描图像进行加权运算，得到目标素描图像。

进一步可选地，上述步骤104之后，还可以包括如下步骤：

A1、对所述目标素描图像进行特征点集，得到目标特征点集；

A2、依据所述目标特征点集，确定所述目标素描图像的目标特征点分布密度；

A3、按照预设的特征点分布密度与匹配阈值之间的映射关系，确定所述目标特征点分布密度对应的目标匹配阈值；

A4、依据所述目标匹配阈值以及所述目标素描图像在预设数据库中进行搜索，得到与所述目标素描图像匹配成功的目标对象。

其中，电子设备中可以预先存储预设的特征点分布密度与匹配阈值之间的映射关系，预设数据库也可以事先建立，该预设数据库中包括至少一个人脸图像。具体实现中，电子设备可以对目标素描图像进行特征点提取，得到目标特征点集，依据该目标特征点集，可以确定目标素描图像的目标特征点分布密度，目标特征点分布密度＝目标特征点集的数量/目标素描图像的面积，进一步地，可以依据上述映射关系确定目标特征点分布密度对应的目标匹配阈值，依据该目标匹配阈值，可以将目标素描图像在预设数据库中进行搜索，得到与目标素描图像匹配成功的目标对象，即目标素描图像与目标对象的人脸图像之间的匹配值大于目标匹配阈值时，则可以认为两者匹配成功，如此，可以动态调整匹配阈值，提高检索效率。

进一步地，上述步骤A4，依据所述目标匹配阈值以及所述目标素描图像在预设数据库中进行搜索，得到与所述目标素描图像匹配成功的目标对象，可包括如下步骤：

A41、对所述目标素描图像进行轮廓提取，得到目标外围轮廓；

A42、将所述目标特征点集与人脸图像i的特征点集进行匹配，得到第一匹配值，所述人脸图像i为所述预设数据库中的任一人脸图像；

A43、将所述目标外围轮廓与所述人脸图像i的外围轮廓进行匹配，得到第二匹配值；

A44、获取特征点集对应的第一权值，以及外围轮廓对应的第二权值；

A45、依据所述第一匹配值、所述第二匹配值、所述第一权值和所述第二权值进行加权运算，得到目标匹配值；

A46、在所述目标匹配值大于所述目标匹配阈值时，确认所述人脸图像i为目标对象；

A47、在所述目标匹配值小于或等于所述目标匹配阈值时，确认所述人脸图像i不为所述目标对象。

其中，具体实现中，电子设备可以对目标素描图像进行轮廓提取，得到目标外围轮廓，可以将目标特征点集与人脸图像i的特征点集进行匹配，得到第一匹配值，上述人脸图像i为预设数据库中的任意人脸图像，可以将目标外围轮廓与人脸图像i的外围轮廓进行匹配，得到第二匹配值，获取特征点集对应的第一权值，以及外围轮廓对应的第二权值，该第一权值、第二权值均可以预先设置，第一权值+第二权值＝1，进而，目标匹配值＝第一匹配值*第一权值+第二匹配值*第二权值，在目标匹配值大于目标匹配阈值时，确认人脸图像i为目标对象，反之，在目标匹配值小于或等于目标匹配阈值时，确认人脸图像i不为目标对象，如此，可以更精准地实现人脸识别。

可以看出，通过本申请实施例所描述的图像融合方法，获取第一素描图像以及第二素描图像，第一素描图像与第二素描图像为不同的人脸角度的图像，依据第一素描图像进行调整，得到目标第一素描图像，目标第一素描图像的人脸角度为正脸角度，依据第二素描图像进行调整，得到目标第二素描图像，目标第二素描图像的人脸角度为正脸角度，将目标第一素描图像与目标第二素描图像进行图像融合，得到目标素描图像，如此，可以融合两张侧脸人脸图像，合成最后的正脸素描图像，有助于实现精准搜索犯罪嫌疑人。

与上述一致地，请参阅图2，为本申请实施例提供的一种图像融合方法的实施例流程示意图。本实施例中所描述的图像融合方法，包括以下步骤：

201、获取第一素描图像以及第二素描图像，所述第一素描图像与所述第二素描图像为不同的人脸角度的图像。

202、依据所述第一素描图像进行调整，得到目标第一素描图像，所述目标第一素描图像的人脸角度为正脸角度。

203、依据所述第二素描图像进行调整，得到目标第二素描图像，所述目标第二素描图像的人脸角度为正脸角度；

204、将所述目标第一素描图像与所述目标第二素描图像进行图像融合，得到目标素描图像。

205、对所述目标素描图像进行特征点集，得到目标特征点集。

206、依据所述目标特征点集，确定所述目标素描图像的目标特征点分布密度。

207、按照预设的特征点分布密度与匹配阈值之间的映射关系，确定所述目标特征点分布密度对应的目标匹配阈值。

208、依据所述目标匹配阈值以及所述目标素描图像在预设数据库中进行搜索，得到与所述目标素描图像匹配成功的目标对象。

其中，上述步骤201-步骤208所描述的图像融合方法可参考图1A所描述的图像融合方法的对应步骤。

可以看出，通过本申请实施例所描述的图像融合方法，获取第一素描图像以及第二素描图像，第一素描图像与第二素描图像为不同的人脸角度的图像，依据第一素描图像进行调整，得到目标第一素描图像，目标第一素描图像的人脸角度为正脸角度，依据第二素描图像进行调整，得到目标第二素描图像，目标第二素描图像的人脸角度为正脸角度，将目标第一素描图像与目标第二素描图像进行图像融合，得到目标素描图像，对目标素描图像进行特征点集，得到目标特征点集，依据目标特征点集，确定目标素描图像的目标特征点分布密度，按照预设的特征点分布密度与匹配阈值之间的映射关系，确定目标特征点分布密度对应的目标匹配阈值，依据目标匹配阈值以及目标素描图像在预设数据库中进行搜索，得到与目标素描图像匹配成功的目标对象如此，可以融合两张侧脸人脸图像，合成最后的正脸素描图像，有助于实现精准搜索犯罪嫌疑人。

与上述一致地，以下为实施上述图像融合方法的装置，具体如下：

请参阅图3A，为本申请实施例提供的一种图像融合装置的实施例结构示意图。本实施例中所描述的图像融合装置，包括：获取单元301、第一调整单元302、第二调整单元303和图像融合单元304，具体如下：

获取单元301，用于获取第一素描图像以及第二素描图像，所述第一素描图像与所述第二素描图像为不同的人脸角度的图像；

第一调整单元302，用于依据所述第一素描图像进行调整，得到目标第一素描图像，所述目标第一素描图像的人脸角度为正脸角度；

第二调整单元303，用于依据所述第二素描图像进行调整，得到目标第二素描图像，所述目标第二素描图像的人脸角度为正脸角度；

图像融合单元304，用于将所述目标第一素描图像与所述目标第二素描图像进行图像融合，得到目标素描图像。

可以看出，通过本申请实施例所描述的图像融合装置，获取第一素描图像以及第二素描图像，第一素描图像与第二素描图像为不同的人脸角度的图像，依据第一素描图像进行调整，得到目标第一素描图像，目标第一素描图像的人脸角度为正脸角度，依据第二素描图像进行调整，得到目标第二素描图像，目标第二素描图像的人脸角度为正脸角度，将目标第一素描图像与目标第二素描图像进行图像融合，得到目标素描图像，如此，可以融合两张侧脸人脸图像，合成最后的正脸素描图像，有助于实现精准搜索犯罪嫌疑人。

其中，上述获取单元301可用于实现上述步骤101所描述的方法，第一调整单元302可用于实现上述步骤102所描述的方法，上述第二调整单元303可用于实现上述步骤103所描述的方法，上述图像融合单元304可用于实现上述步骤104所描述的方法，以下如此类推。

在一个可能的示例中，在所述依据所述第一素描图像进行调整，得到目标第一素描图像方面，所述第一调整单元302具体用于：

对所述第一素描图像进行仿射变换，得到仿射变换后的第一素描图像，所述仿射变换后的第一素描图像的人脸角度为正脸角度；

获取所述仿射变换后的第一素描图像的对称轴，并依据该对称轴将所述仿射变换后的第一素描图像划分为第一人脸区域和第二人脸区域；

对所述第一人脸区域进行特征提取，得到第一特征点集，并依据所述第一特征点集确定所述第一人脸区域的第一特征点分布密度；

对所述第二人脸区域进行特征提取，得到第二特征点集，并根据所述第二特征点集确定所述第二人脸区域的第二特征点分布密度；

确定所述第一特征点分布密度与所述第二特征点分布密度之间的比值；

在所述比值大于第一预设阈值时，依据所述第一人脸区域对所述第二人脸区域进行完善，得到所述目标第一素描图像，所述第一预设阈值为大于或等于1；

在所述比值小于第二预设阈值时，依据所述第二人脸区域对所述第一人脸区域进行完善，得到所述目标第一素描图像，所述第二预设阈值为小于1的正数；

在所述比值大于1且小于所述第一预设阈值，对所述第二人脸区域进行图像增强处理，得到所述目标第一素描图像；

在所述比值大于所述第二预设阈值且小于1时，对所述第一人脸区域进行图像增强处理，得到所述目标第一素描图像。

在一个可能的示例中，在所述将所述目标第一素描图像与所述目标第二素描图像进行图像融合，得到目标素描图像方面，所述图像融合单元304具体用于：

提取所述目标第一素描图像的第一中心，以及第一外围轮廓；

提取所述目标第二素描图像的第二中心，以及第二外围轮廓；

依据所述第一中心、所述第二中心，将所述目标第一素描图像和所述目标第二素描图像进行重叠处理；

将所述第一外围轮廓进行调整，得到调整后的目标第一素描图像，所述调整后的目标第一素描图像的外围轮廓与所述第二外围轮廓重合；

将所述目标第二素描图像与所述调整后的目标第一素描图像进行加权运算，得到所述目标素描图像。

在一个可能的示例中，如图3B，图3B为图3A所描述的图像融合装置的又一变型结构，其与图3A相比较，还可以包括：提取单元305、确定单元306和搜索单元307，具体如下：

提取单元305，用于对所述目标素描图像进行特征点集，得到目标特征点集；

确定单元306，用于依据所述目标特征点集，确定所述目标素描图像的目标特征点分布密度；以及按照预设的特征点分布密度与匹配阈值之间的映射关系，确定所述目标特征点分布密度对应的目标匹配阈值；

搜索单元307，用于依据所述目标匹配阈值以及所述目标素描图像在预设数据库中进行搜索，得到与所述目标素描图像匹配成功的目标对象。

在一个可能的示例中，在所述依据所述目标匹配阈值以及所述目标素描图像在预设数据库中进行搜索，得到与所述目标素描图像匹配成功的目标对象方面，所述搜索单元307具体用于：

对所述目标素描图像进行轮廓提取，得到目标外围轮廓；

将所述目标特征点集与人脸图像i的特征点集进行匹配，得到第一匹配值，所述人脸图像i为所述预设数据库中的任一人脸图像；

将所述目标外围轮廓与所述人脸图像i的外围轮廓进行匹配，得到第二匹配值；

获取特征点集对应的第一权值，以及外围轮廓对应的第二权值；

依据所述第一匹配值、所述第二匹配值、所述第一权值和所述第二权值进行加权运算，得到目标匹配值；

在所述目标匹配值大于所述目标匹配阈值时，确认所述人脸图像i为目标对象；

在所述目标匹配值小于或等于所述目标匹配阈值时，确认所述人脸图像i不为所述目标对象。

可以理解的是，本实施例的图像融合装置的各程序模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

与上述一致地，请参阅图4，为本申请实施例提供的一种电子设备的实施例结构示意图。本实施例中所描述的电子设备，包括：至少一个输入设备1000；至少一个输出设备2000；至少一个处理器3000，例如CPU；和存储器4000，上述输入设备1000、输出设备2000、处理器3000和存储器4000通过总线5000连接。

其中，上述输入设备1000具体可为触控面板、物理按键或者鼠标。

上述输出设备2000具体可为显示屏。

上述存储器4000可以是高速RAM存储器，也可为非易失存储器(non-volatilememory)，例如磁盘存储器。上述存储器4000用于存储一组程序代码，上述输入设备1000、输出设备2000和处理器3000用于调用存储器4000中存储的程序代码，执行如下操作：

上述处理器3000，用于：

获取第一素描图像以及第二素描图像，所述第一素描图像与所述第二素描图像为不同的人脸角度的图像；

依据所述第一素描图像进行调整，得到目标第一素描图像，所述目标第一素描图像的人脸角度为正脸角度；

依据所述第二素描图像进行调整，得到目标第二素描图像，所述目标第二素描图像的人脸角度为正脸角度；

将所述目标第一素描图像与所述目标第二素描图像进行图像融合，得到目标素描图像。

在一个可能的示例中，在所述依据所述第一素描图像进行调整，得到目标第一素描图像方面，上述处理器3000具体用于：

对所述第一素描图像进行仿射变换，得到仿射变换后的第一素描图像，所述仿射变换后的第一素描图像的人脸角度为正脸角度；

获取所述仿射变换后的第一素描图像的对称轴，并依据该对称轴将所述仿射变换后的第一素描图像划分为第一人脸区域和第二人脸区域；

对所述第一人脸区域进行特征提取，得到第一特征点集，并依据所述第一特征点集确定所述第一人脸区域的第一特征点分布密度；

对所述第二人脸区域进行特征提取，得到第二特征点集，并根据所述第二特征点集确定所述第二人脸区域的第二特征点分布密度；

确定所述第一特征点分布密度与所述第二特征点分布密度之间的比值；

在所述比值大于第一预设阈值时，依据所述第一人脸区域对所述第二人脸区域进行完善，得到所述目标第一素描图像，所述第一预设阈值为大于或等于1；

在所述比值小于第二预设阈值时，依据所述第二人脸区域对所述第一人脸区域进行完善，得到所述目标第一素描图像，所述第二预设阈值为小于1的正数；

在所述比值大于1且小于所述第一预设阈值，对所述第二人脸区域进行图像增强处理，得到所述目标第一素描图像；

在所述比值大于所述第二预设阈值且小于1时，对所述第一人脸区域进行图像增强处理，得到所述目标第一素描图像。

在一个可能的示例中，在所述将所述目标第一素描图像与所述目标第二素描图像进行图像融合，得到目标素描图像方面，上述处理器3000具体用于：

提取所述目标第一素描图像的第一中心，以及第一外围轮廓；

提取所述目标第二素描图像的第二中心，以及第二外围轮廓；

依据所述第一中心、所述第二中心，将所述目标第一素描图像和所述目标第二素描图像进行重叠处理；

将所述第一外围轮廓进行调整，得到调整后的目标第一素描图像，所述调整后的目标第一素描图像的外围轮廓与所述第二外围轮廓重合；

将所述目标第二素描图像与所述调整后的目标第一素描图像进行加权运算，得到所述目标素描图像。

在一个可能的示例中，上述处理器3000还具体用于：

对所述目标素描图像进行特征点集，得到目标特征点集；

依据所述目标特征点集，确定所述目标素描图像的目标特征点分布密度；

按照预设的特征点分布密度与匹配阈值之间的映射关系，确定所述目标特征点分布密度对应的目标匹配阈值；

依据所述目标匹配阈值以及所述目标素描图像在预设数据库中进行搜索，得到与所述目标素描图像匹配成功的目标对象。

在一个可能的示例中，在所述依据所述目标匹配阈值以及所述目标素描图像在预设数据库中进行搜索，得到与所述目标素描图像匹配成功的目标对象方面，上述处理器3000具体用于：

对所述目标素描图像进行轮廓提取，得到目标外围轮廓；

将所述目标特征点集与人脸图像i的特征点集进行匹配，得到第一匹配值，所述人脸图像i为所述预设数据库中的任一人脸图像；

将所述目标外围轮廓与所述人脸图像i的外围轮廓进行匹配，得到第二匹配值；

获取特征点集对应的第一权值，以及外围轮廓对应的第二权值；

依据所述第一匹配值、所述第二匹配值、所述第一权值和所述第二权值进行加权运算，得到目标匹配值；

在所述目标匹配值大于所述目标匹配阈值时，确认所述人脸图像i为目标对象；

在所述目标匹配值小于或等于所述目标匹配阈值时，确认所述人脸图像i不为所述目标对象。

本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时包括上述方法实施例中记载的任何一种图像融合方法的部分或全部步骤。

尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保护的本申请过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。

本领域技术人员应明白，本申请的实施例可提供为方法、装置(设备)、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机程序存储/分布在合适的介质中，与其它硬件一起提供或作为硬件的一部分，也可以采用其他分布形式，如通过Internet或其它有线或无线电信系统。

本申请是参照本申请实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管结合具体特征及其实施例对本申请进行了描述，显而易见的，在不脱离本申请的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本申请的示例性说明，且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (8)

1.一种图像融合方法，其特征在于，包括：

获取第一素描图像以及第二素描图像，所述第一素描图像与所述第二素描图像为不同的人脸角度的图像；

依据所述第一素描图像进行调整，得到目标第一素描图像，所述目标第一素描图像的人脸角度为正脸角度；

依据所述第二素描图像进行调整，得到目标第二素描图像，所述目标第二素描图像的人脸角度为正脸角度；

将所述目标第一素描图像与所述目标第二素描图像进行图像融合，得到目标素描图像；

其中，所述依据所述第一素描图像进行调整，得到目标第一素描图像，包括：

对所述第一素描图像进行仿射变换，得到仿射变换后的第一素描图像，所述仿射变换后的第一素描图像的人脸角度为正脸角度；

获取所述仿射变换后的第一素描图像的对称轴，并依据该对称轴将所述仿射变换后的第一素描图像划分为第一人脸区域和第二人脸区域；

对所述第一人脸区域进行特征提取，得到第一特征点集，并依据所述第一特征点集确定所述第一人脸区域的第一特征点分布密度；

对所述第二人脸区域进行特征提取，得到第二特征点集，并根据所述第二特征点集确定所述第二人脸区域的第二特征点分布密度；

确定所述第一特征点分布密度与所述第二特征点分布密度之间的比值；

在所述比值大于第一预设阈值时，依据所述第一人脸区域对所述第二人脸区域进行完善，得到所述目标第一素描图像，所述第一预设阈值为大于或等于1；

在所述比值小于第二预设阈值时，依据所述第二人脸区域对所述第一人脸区域进行完善，得到所述目标第一素描图像，所述第二预设阈值为小于1的正数；

在所述比值大于1且小于所述第一预设阈值，对所述第二人脸区域进行图像增强处理，得到所述目标第一素描图像；

在所述比值大于所述第二预设阈值且小于1时，对所述第一人脸区域进行图像增强处理，得到所述目标第一素描图像。

2.根据权利要求1所述的方法，其特征在于，所述将所述目标第一素描图像与所述目标第二素描图像进行图像融合，得到目标素描图像，包括：

提取所述目标第一素描图像的第一中心，以及第一外围轮廓；

提取所述目标第二素描图像的第二中心，以及第二外围轮廓；

依据所述第一中心、所述第二中心，将所述目标第一素描图像和所述目标第二素描图像进行重叠处理；

将所述第一外围轮廓进行调整，得到调整后的目标第一素描图像，所述调整后的目标第一素描图像的外围轮廓与所述第二外围轮廓重合；

将所述目标第二素描图像与所述调整后的目标第一素描图像进行加权运算，得到所述目标素描图像。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

对所述目标素描图像进行特征点集，得到目标特征点集；

依据所述目标特征点集，确定所述目标素描图像的目标特征点分布密度；

按照预设的特征点分布密度与匹配阈值之间的映射关系，确定所述目标特征点分布密度对应的目标匹配阈值；

依据所述目标匹配阈值以及所述目标素描图像在预设数据库中进行搜索，得到与所述目标素描图像匹配成功的目标对象。

4.根据权利要求3所述的方法，其特征在于，所述依据所述目标匹配阈值以及所述目标素描图像在预设数据库中进行搜索，得到与所述目标素描图像匹配成功的目标对象，包括：

对所述目标素描图像进行轮廓提取，得到目标外围轮廓；

将所述目标特征点集与人脸图像i的特征点集进行匹配，得到第一匹配值，所述人脸图像i为所述预设数据库中的任一人脸图像；

将所述目标外围轮廓与所述人脸图像i的外围轮廓进行匹配，得到第二匹配值；

获取特征点集对应的第一权值，以及外围轮廓对应的第二权值；

依据所述第一匹配值、所述第二匹配值、所述第一权值和所述第二权值进行加权运算，得到目标匹配值；

在所述目标匹配值大于所述目标匹配阈值时，确认所述人脸图像i为目标对象；

在所述目标匹配值小于或等于所述目标匹配阈值时，确认所述人脸图像i不为所述目标对象。

5.一种图像融合装置，其特征在于，包括:

获取单元，用于获取第一素描图像以及第二素描图像，所述第一素描图像与所述第二素描图像为不同的人脸角度的图像；

第一调整单元，用于依据所述第一素描图像进行调整，得到目标第一素描图像，所述目标第一素描图像的人脸角度为正脸角度；

第二调整单元，用于依据所述第二素描图像进行调整，得到目标第二素描图像，所述目标第二素描图像的人脸角度为正脸角度；

图像融合单元，用于将所述目标第一素描图像与所述目标第二素描图像进行图像融合，得到目标素描图像；

其中，在所述依据所述第一素描图像进行调整，得到目标第一素描图像方面，所述第一调整单元具体用于：

对所述第一素描图像进行仿射变换，得到仿射变换后的第一素描图像，所述仿射变换后的第一素描图像的人脸角度为正脸角度；

获取所述仿射变换后的第一素描图像的对称轴，并依据该对称轴将所述仿射变换后的第一素描图像划分为第一人脸区域和第二人脸区域；

对所述第一人脸区域进行特征提取，得到第一特征点集，并依据所述第一特征点集确定所述第一人脸区域的第一特征点分布密度；

对所述第二人脸区域进行特征提取，得到第二特征点集，并根据所述第二特征点集确定所述第二人脸区域的第二特征点分布密度；

确定所述第一特征点分布密度与所述第二特征点分布密度之间的比值；

在所述比值大于第一预设阈值时，依据所述第一人脸区域对所述第二人脸区域进行完善，得到所述目标第一素描图像，所述第一预设阈值为大于或等于1；

在所述比值小于第二预设阈值时，依据所述第二人脸区域对所述第一人脸区域进行完善，得到所述目标第一素描图像，所述第二预设阈值为小于1的正数；

在所述比值大于1且小于所述第一预设阈值，对所述第二人脸区域进行图像增强处理，得到所述目标第一素描图像；

在所述比值大于所述第二预设阈值且小于1时，对所述第一人脸区域进行图像增强处理，得到所述目标第一素描图像。

6.根据权利要求5所述的装置，其特征在于，在所述将所述目标第一素描图像与所述目标第二素描图像进行图像融合，得到目标素描图像方面，所述图像融合单元具体用于：

提取所述目标第一素描图像的第一中心，以及第一外围轮廓；

提取所述目标第二素描图像的第二中心，以及第二外围轮廓；

依据所述第一中心、所述第二中心，将所述目标第一素描图像和所述目标第二素描图像进行重叠处理；

将所述第一外围轮廓进行调整，得到调整后的目标第一素描图像，所述调整后的目标第一素描图像的外围轮廓与所述第二外围轮廓重合；

将所述目标第二素描图像与所述调整后的目标第一素描图像进行加权运算，得到所述目标素描图像。

7.一种电子设备，其特征在于，包括处理器、存储器，所述存储器用于存储一个或多个程序，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-4任一项所述的方法中的步骤的指令。

8.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1-4任一项所述的方法。

Images