CN107967677A - 图像处理方法、装置、计算机可读存储介质和计算机设备 - Google Patents
图像处理方法、装置、计算机可读存储介质和计算机设备 Download PDFInfo
- Publication number
- CN107967677A CN107967677A CN201711354302.9A CN201711354302A CN107967677A CN 107967677 A CN107967677 A CN 107967677A CN 201711354302 A CN201711354302 A CN 201711354302A CN 107967677 A CN107967677 A CN 107967677A
- Authority
- CN
- China
- Prior art keywords
- image
- face
- facial
- facial image
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 28
- 230000000052 comparative effect Effects 0.000 claims abstract description 37
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000006116 polymerization reaction Methods 0.000 claims abstract description 15
- 230000001815 facial effect Effects 0.000 claims description 440
- 238000012545 processing Methods 0.000 claims description 88
- 230000003321 amplification Effects 0.000 claims description 16
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 9
- 238000000926 separation method Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 22
- 238000003384 imaging method Methods 0.000 description 13
- 230000006835 compression Effects 0.000 description 12
- 238000007906 compression Methods 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 235000012364 Peperomia pellucida Nutrition 0.000 description 2
- 240000007711 Peperomia pellucida Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000006641 stabilisation Effects 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- AXDJCCTWPBKUKL-UHFFFAOYSA-N 4-[(4-aminophenyl)-(4-imino-3-methylcyclohexa-2,5-dien-1-ylidene)methyl]aniline;hydron;chloride Chemical compound Cl.C1=CC(=N)C(C)=CC1=C(C=1C=CC(N)=CC=1)C1=CC=C(N)C=C1 AXDJCCTWPBKUKL-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Geometry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种图像处理方法、装置、计算机可读存储介质和计算机设备。所述方法包括:获取第一图像的第一人脸坐标;获取第二图像的第二人脸坐标,其中第一图像和第二图像为两张不同分辨率的图像,第一图像的图像尺寸大于第二图像的图像尺寸;根据第一图像的图像尺寸和第二图像的图像尺寸计算放大比例,根据放大比例和第二人脸坐标计算得到第二目标人脸坐标;将第一人脸坐标和第二目标人脸坐标进行比较,得到比较结果;根据比较结果进行人脸聚合。上述图像处理方法、装置、计算机可读存储介质和计算机设备,提高了图像处理的准确性。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及图像处理方法、装置、计算机可读存储介质和计算机设备。
背景技术
随着智能终端的飞速发展,智能终端的功能越来越齐全,智能终端的性能越来越完善。智能终端可以用于采集图像,采集图像后可以对图像进行人脸识别,并根据人脸识别结果进行分类。由于智能终端的存储和计算能力有限,智能终端在分类之前通常会采用简化的算法模型进行识别分类,或者将图像压缩之后再进行识别分类,这样得到的识别结果精度也会相应地降低。而服务器的存储和计算能力比较强大,因此智能终端可以将图像上传至服务器,通过服务器采用精度更高的算法模型对原图进行处理,这样得到的识别结果精度也会相应地提高。通过不同设备进行人脸识别得到的人脸数据不同,不同分辨率进行人脸识别得到的人脸数据也不同,也就是同一张图像在不同设备中进行人脸识别得到的人脸数据也可能不同,这样导致人脸识别精度非常低。
发明内容
本申请实施例提供一种图像处理方法、装置、计算机可读存储介质和计算机设备,可以提高图像处理的准确性。
一种图像处理方法,包括:
获取第一图像的第一人脸坐标,其中所述第一人脸坐标用于表示所述第一图像中包含的第一人脸图像在所述第一图像中的位置坐标;
获取第二图像的第二人脸坐标,其中所述第二人脸坐标用于表示所述第二图像中包含的第二人脸图像在所述第二图像中的位置坐标,所述第一图像和第二图像为两张不同分辨率的图像,所述第一图像的图像尺寸大于所述第二图像的图像尺寸;
根据所述第一图像的图像尺寸和第二图像的图像尺寸计算放大比例,根据所述放大比例和第二人脸坐标计算得到第二目标人脸坐标;
将所述第一人脸坐标和第二目标人脸坐标进行比较,得到比较结果;
根据所述比较结果进行人脸聚合。
一种图像处理装置,包括:
第一图像获取模块,用于获取第一图像的第一人脸坐标,其中所述第一人脸坐标用于表示所述第一图像中包含的第一人脸图像在所述第一图像中的位置坐标;
第二图像获取模块,用于获取第二图像的第二人脸坐标,其中所述第二人脸坐标用于表示所述第二图像中包含的第二人脸图像在所述第二图像中的位置坐标,所述第一图像和第二图像为两张不同分辨率的图像,所述第一图像的图像尺寸大于所述第二图像的图像尺寸;
第二坐标放大模块,用于根据所述第一图像的图像尺寸和第二图像的图像尺寸计算放大比例,根据所述放大比例和第二人脸坐标计算得到第二目标人脸坐标;
人脸坐标比较模块,用于将所述第一人脸坐标和第二目标人脸坐标进行比较,得到比较结果;
人脸集合生成模块,用于根据所述比较结果进行人脸聚合。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如下步骤:
获取第一图像的第一人脸坐标,其中所述第一人脸坐标用于表示所述第一图像中包含的第一人脸图像在所述第一图像中的位置坐标;
获取第二图像的第二人脸坐标,其中所述第二人脸坐标用于表示所述第二图像中包含的第二人脸图像在所述第二图像中的位置坐标,所述第一图像和第二图像为两张不同分辨率的图像,所述第一图像的图像尺寸大于所述第二图像的图像尺寸;
根据所述第一图像的图像尺寸和第二图像的图像尺寸计算放大比例,根据所述放大比例和第二人脸坐标计算得到第二目标人脸坐标;
将所述第一人脸坐标和第二目标人脸坐标进行比较,得到比较结果;
根据所述比较结果进行人脸聚合。
一种计算机设备,包括存储器及处理器,所述存储器中储存有计算机可读指令,所述指令被所述处理器执行时,使得所述处理器执行时实现如下步骤:
获取第一图像的第一人脸坐标,其中所述第一人脸坐标用于表示所述第一图像中包含的第一人脸图像在所述第一图像中的位置坐标;
获取第二图像的第二人脸坐标,其中所述第二人脸坐标用于表示所述第二图像中包含的第二人脸图像在所述第二图像中的位置坐标,所述第一图像和第二图像为两张不同分辨率的图像,所述第一图像的图像尺寸大于所述第二图像的图像尺寸;
根据所述第一图像的图像尺寸和第二图像的图像尺寸计算放大比例,根据所述放大比例和第二人脸坐标计算得到第二目标人脸坐标;
将所述第一人脸坐标和第二目标人脸坐标进行比较,得到比较结果;
根据所述比较结果进行人脸聚合。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中图像处理方法的应用环境示意图;
图2为另一个实施例中图像处理方法的应用环境示意图;
图3为一个实施例中图像处理方法的流程图;
图4为一个实施例中人脸图像及对应的人脸坐标的示意图;
图5为一个实施例中图像放大过程的示意图;
图6为一个实施例中人脸图像的位置关系示意图;
图7为另一个实施例中图像处理方法的流程图;
图8为又一个实施例中图像处理方法的流程图;
图9为一个实施例中图像处理流程的示意图
图10为一个实施例中图像分类的终端展示图;
图11为一个实施例中图像下载页面的终端界面图;
图12为一个实施例中图像处理方法的交互图;
图13为一个实施例中图像处理系统的系统架构图;
图14为另一个实施例中图像处理系统的系统架构图;
图15为一个实施例中图像处理装置的结构示意图;
图16为一个实施例中服务器的内部结构示意图;
图17为一个实施例中图像处理电路的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一客户端称为第二客户端,且类似地,可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端,但其不是同一客户端。
图1为一个实施例中图像处理方法的应用环境示意图。如图1所示,该应用环境包括客户端12和服务器14。客户端12用于获取第一图像,并将第一图像上传至服务器14进行存储。服务器14在接收到第一图像之后,对第一图像进行人脸识别处理,得到第一图像对应的第一人脸坐标。并将第一人脸坐标发送返回至客户端12。客户端12可以对第一图像进行压缩处理得到第二图像,根据第二图像进行人脸识别处理,得到对应的第二人脸坐标。然后根据第一图像的图像尺寸和第二图像的图像尺寸计算放大比例,根据放大比例和第二人脸坐标计算得到第二目标人脸坐标。将第一人脸坐标和第二目标人脸坐标进行比较,得到比较结果。最后根据比较结果生成人脸图像集合。其中,客户端12为处于计算机网络最外围,主要用于输入用户信息以及输出处理结果的电子设备,例如可以是个人电脑、移动终端、个人数字助理、可穿戴电子设备等。服务器14是用于响应服务请求,同时提供计算服务的设备,例如可以是一台或者多台计算机。
图2为另一个实施例中图像处理方法的应用环境示意图。如图2所示,该应用环境包括客户端22、服务器24和子服务器集群26。客户端22用于获取第一图像,根据第一图像生成人脸识别请求,并将人脸识别请求发送至服务器24。服务器24根据接收到人脸识别请求生成请求队列,通过各个子服务器262的状态标识查找目标服务器标识,并将请求队列中的人脸识别请求发送至目标服务器标识对应的子服务器262中进行人脸识别处理,得到包含第一人脸坐标的人脸识别结果。子服务器262得到的人脸识别结果可以直接发送至客户端22,也可以先发送到服务器24,再通过服务器24发送到客户端22中。客户端22可以对第一图像进行压缩处理得到第二图像,根据第二图像进行人脸识别处理,得到对应的第二人脸坐标。然后根据第一图像的图像尺寸和第二图像的图像尺寸计算放大比例,根据放大比例和第二人脸坐标计算得到第二目标人脸坐标。将第一人脸坐标和第二目标人脸坐标进行比较,得到比较结果。最后根据比较结果生成人脸图像集合。其中,子服务器集群26中包括一个或多个子服务器262,用于实现分布式任务处理。客户端22为处于计算机网络最外围,主要用于输入用户信息以及输出处理结果的电子设备,例如可以是个人电脑、移动终端、个人数字助理、可穿戴电子设备等。服务器24和子服务器262是用于响应服务请求,同时提供计算服务的设备,例如可以是一台或者多台计算机。
图3为一个实施例中图像处理方法的流程图。如图3所示,该图像处理方法包括步骤302至步骤310。其中:
步骤302,获取第一图像的第一人脸坐标,其中第一人脸坐标用于表示第一图像中包含的第一人脸图像在第一图像中的位置坐标。
在本申请提供的实施例中,终端在运行过程中会不断地生成图像,例如,图像可以是通过终端的摄像头拍摄的,也可以是从网页上下载的,还可以是在运行应用程序的过程中自动缓存的。具体地,终端在将产生的图像进行存储,在存储图像的时候,存储器中会建立若干个文件夹,通过这些文件夹将终端运行过程中产生的图像进行保存。同时不同应用程序产生的图像,可以保存在不同的文件夹中。例如,可以将摄像头拍摄的图像和网页上下载的图像分别保存在不同的文件夹中。在获取图像的时候,输入文件夹的存储地址就访问该文件夹,然后获取文件夹中的图像。
终端中存储的图像一般是由若干个像素点构成的,每个像素点可以由多个通道构成,通过这多个通道不同的取值来表示不同的颜色。例如,拍摄图像可以由RGB(红、绿、蓝三种颜色)三通道构成,也可以是由HSV(色调、饱和度和明度)三通道构成,还可以是由CMY(青、洋红或品红和黄三种颜色)三通道构成。图像中的像素点排列成一个二维矩阵,然后通过图像中像素点的规律排列形成不同的图案。在对图像进行处理的时候,可以对像素点的通道值或像素点的排列组合进行处理。
步骤304,获取第二图像的第二人脸坐标,其中第二人脸坐标用于表示第二图像中包含的第二人脸图像在第二图像中的位置坐标,第一图像和第二图像为两张不同分辨率的图像,第一图像的图像尺寸大于第二图像的图像尺寸。
在一个实施例中,第一图像和第二图像为两张不同分辨率的图像,第一图像的图像尺寸大于第二图像的图像尺寸。例如,第一图像可以是一张原图,然后通过将第一图像进行压缩,使第一图像的分辨率降低,得到第二图像。分别对第一图像和第二图像进行人脸识别处理,得到对应的第一人脸图像和第二人脸图像,以及第一人脸图像对应的第一人脸坐标和第二人脸图像对应的第二人脸坐标。第一人脸图像指第一图像中包含的人脸图像,第二人脸图像指第二图像中包含的人脸图像。可以理解,第一人脸图像和第二人脸图像可以是一张或多张人脸图像,在此不做限定。每一张第一人脸图像对应一个第一人脸坐标,每一张第二人脸图像对应一个第二人脸坐标。
第一图像和第二图像为不同分辨率的图像,那么在进行人脸识别处理的时候,检测到的人脸结果可能会不同。一般来说,在对一张原图和一张压缩之后的图像进行人脸识别处理的时候,那么分辨率高的图像对应的人脸识别结果会更加准确,分辨率低的图像对应的人脸识别结果精度就会更低。例如,压缩后的图像中有的人脸被压缩得比较模糊,可能识别不出来。可能第一图像中识别出了4张人脸,而第二图像中只识别出了2张人脸。进行人脸识别处理后,可以提取图像中人脸所在的最小矩形区域作为人脸图像,然后通过矩形区域的四个顶点坐标来表示人脸图像的人脸坐标。具体地,第一人脸坐标用于表示第一图像中包含的第一人脸图像在第一图像中的位置坐标,第二人脸坐标用于表示第二图像中包含的第二人脸图像在第二图像中的位置坐标。图4为一个实施例中人脸图像及对应的人脸坐标的示意图。如图4所示,图像40中包含一个人脸,人脸所在的最小矩形框即为人脸图像402。人脸图像402的坐标可以通过该矩形框的四个顶点404的坐标进行表示,分别包括左上角、左下角、右下角和右上角顶点的坐标,通过这四个顶点404的坐标可以确定人脸图像402在图像40中的区域和具体的位置。
步骤306,根据第一图像的图像尺寸和第二图像的图像尺寸计算放大比例,根据放大比例和第二人脸坐标计算得到第二目标人脸坐标。
在本申请实施例中,第一图像和第二图像为对应的两张不同分辨率的图像,对第一图像和第二图像分别进行人脸识别处理之后,得到对应的第一人脸图像和第二人脸图像,以及第一人脸图像对应的第一人脸坐标和第二人脸图像对应的第二人脸坐标。在得到人脸识别结果之后,可以通过比较人脸坐标来判定第一图像和第二图像中的人脸识别结果是否相同。在比较之前,需要将第一图像和第二图像的图像尺寸调整至相同大小之后,才能通过图像中对应的人脸坐标进行比较。
图像尺寸是指表示图像大小的参数,包括图像的宽度和高度。由于图像是由一个二维矩阵构成的,那么图像的宽度和高度就可以通过图像在横向和纵向方向上的像素点数量来进行表示。例如,图像尺寸可以表示为640*320,则表示该图像的宽度为640,高度为320。也即该图像在每个横向方向上排列有640个像素点,在每个纵向方向上排列有320个像素点。根据第一图像的图像尺寸和第二图像的图像尺寸计算放大比例,可以根据该放大比例将第二图像放大至第一图像的大小。放大后的第二图像中包含的像素点与第一图像中的像素点对应,相当于处于同一个坐标系。然后将第一图像和放大后的第二图像进行比较,对比两张图像中的人脸识别结果。第二图像放大之后,其中的包含的第二人脸图像也会相应地被放大,第二人脸图像对应的人脸坐标也会相应地发生改变。
图5为一个实施例中图像放大过程的示意图。如图5所示,将图像50进行放大处理,图像50中包含10*10个像素点,将图像50放大两倍之后生成图像52,则得到的图像52中包含20*20个像素点。图像50中的像素点502的坐标为(3,9),图像50放大后,该像素点502对应的图像52中的像素点522,对应的像素点522的坐标变为(6,18)。
步骤308,将第一人脸坐标和第二目标人脸坐标进行比较,得到比较结果。
将第二图像放大之后,在第一图像中和放大后的第二图像中选择一个相应的像素点进行对齐,使第一图像和放大后的第二图像位于同一个坐标系中,然后将第一图像和放大后的第二图像中的各个人脸图像进行比较,得到比较结果。例如,将第一图像中左下角的像素点定义为原点,同时将放大后的第二图像中左下角的像素点定义为原点,则第一图像和放大后的第二图像可以通过原点进行对齐后处于同一个坐标系。定义放大后的第二图像为第二目标图像,放大后的第二图像中的人脸图像为第二目标人脸图像,对应的人脸坐标为第二目标人脸坐标。第一图像和第二目标图像对齐之后,将每一个第一人脸图像和每一个第二目标人脸图像进行比较,其位置关系可以包括重合、包含、相交和分离等四种状态。通过第一人脸图像和第二目标人脸图像的位置关系,可以判断第一人脸图像和第二目标人脸图像是否对应同一张人脸。一般来说,若第一人脸图像和第二目标人脸图像是完全重合的,则第一人脸图像和第二目标人脸图像是对应同一张人脸的;若第一人脸图像和第二目标人脸图像为相交或包含的关系,则可以通过重合的面积来判断第一人脸图像和第二目标人脸图像是否对应同一张人脸;若第一人脸图像和第二目标人脸图像是分离的关系,则判定第一人脸图像和第二目标人脸图像是对应不同人脸的。
由于第一图像和第二目标图像处于同一坐标系,则电子设备在判断第一人脸图像和第二目标人脸图像的位置关系时,可以通过第一人脸坐标和第二目标人脸坐标来进行判断。具体地,若第一人脸坐标和第二目标人脸坐标满足第一条件,则判定第一人脸图像和第二目标人脸图像为第一位置关系;若第一人脸坐标和第二目标人脸坐标满足第二条件,则判定第一人脸图像和第二目标人脸图像为第二位置关系;若第一人脸坐标和第二目标人脸坐标满足第三条件,则判定第一人脸图像和第二目标人脸图像为第三位置关系;若第一人脸坐标和第二目标人脸坐标满足第四条件,则判定第一人脸图像和第二目标人脸图像为第四位置关系。其中,第一位置关系、第二位置关系、第三位置关系和第四位置关系,可以分别是指重合、包含、相交和分离关系。
可以理解的是,第一人脸坐标和第二目标人脸坐标中分别包括四个顶点,可以分别比较第一人脸坐标和第二目标人脸坐标对应顶点的关系,来确定第一人脸图像和第二目标人脸图像的位置关系。图6为一个实施例中人脸图像的位置关系示意图。如图6所示,定义第一人脸坐标的四个顶点分别A1(xm1,ym1)、B1(xn1,ym1)、C1(xn1,yn1)和D1(xm1,yn1),第二目标人脸坐标的四个顶点分别A2(xm2,ym2)、B2(xn2,ym2)、C2(xn2,yn2)和D2(xm2,yn2),其中xm1<xn1、ym1>yn1、xm2<xn2、ym2>yn2。则可以通过分别比较第一人脸坐标和第二目标人脸坐标对应顶点,来确定第一人脸图像和第二目标人脸图像的位置关系。例如,当第一人脸图像和第二目标人脸图像为重合关系时,第一人脸坐标和第二目标人脸坐标满足第一条件:xm1=xm2、ym1=ym2、xn1=xn2、yn1=yn2。当第一人脸图像和第二目标人脸图像为包含关系时,第一人脸坐标和第二目标人脸坐标满足第二条件:xm1<xm2且ym1>ym2且xn1>xn2且yn1<yn2。当第一人脸图像和第二目标人脸图像为分离关系时,第一人脸坐标和第二目标人脸坐标满足第三条件:xm1>xn2或xn1<xm2或ym1<yn2或yn1>ym2。若第一人脸坐标和第二目标人脸坐标不满足上述三个条件时,则判定第一人脸图像和第二目标人脸图像为分离关系。
步骤310,根据比较结果进行人脸聚合。
在一个实施例中,人脸聚合是指将人脸进行分类的过程。根据步骤308可以判定第一人脸图像和第二目标人脸图像的位置关系,然后通过第一人脸图像和第二目标人脸的位置关系可以判定二者之间的关系,也就可以判定第一人脸图像和第二人脸图像是否为同一张人脸。若判定第一人脸图像和第二人脸图像对应同一张人脸,则在生成人脸图像集合的时候,可以只保留其中一张人脸图像即可。若判定第一人脸图像和第二人脸图像对应不同的人脸,则在生成人脸图像集合的时候可以同时保留两张人脸图像。
可以理解的是,当第一图像对应多张第一人脸图像,第二图像对应多张第二人脸图像时,可以遍历第一图像对应的第一人脸图像,然后将第一人脸图像分别与每一张第二人脸图像进行比较,第一人脸图像和第二人脸图像的关系,然后根据比较结果生成人脸图像集合。若存在与第一人脸图像对应的第二人脸图像,则可以选择其中一张人脸图像进行保存;若第一人脸图像不存在对应的第二人脸图像,则可以保留第一人脸图像;若第二人脸图像不存在对应的第一人脸图像,则可以保留第二人脸图像。
上述实施例提供的图像处理方法,获取两张不同分辨率的第一图像和第二图像,然后根据第一图像和第二图像的图像尺寸计算放大比例,根据该放大比例对第二人脸坐标进行处理,得到第二目标人脸坐标。再根据第一人脸坐标和第二目标人脸坐标进行比较,得到第一人脸图像和第二人脸图像的对应关系,根据比较结果进行人脸聚合。这样可以将两张不同分辨率的图像的识别结果进行比较,将两张图像统一在同一个坐标系中,然后通过人脸坐标来判断人脸图像的关系,比较结果更加准确,提高了图像处理的准确性。
图7为另一个实施例中图像处理方法的流程图。如图7所示,该图像处理方法包括步骤702至步骤726。其中:
步骤702,将第一图像进行人脸识别处理,得到第一人脸图像及对应的第一人脸坐标。
在一个实施例中,终端运行过程中会不断产生图像,但是由于终端的存储能力有限,因此需要及时清理终端中存储的数据,以释放内存。终端可以将存储的第一图像发送到服务器上进行备份,服务器备份之后,终端可以删除第一图像,或者将第一图像进行压缩,以减少终端内存的占用率。服务器中存储的第一图像为原图,终端可以将第一图像压缩处理,生成第二图像。也就是说第一图像和第二图像为对应的不同分辨率的图像,第一图像的图像尺寸大于第二图像的图像尺寸。服务器可以对存储的第一图像进行人脸识别处理,得到对应的第一人脸图像。人脸识别处理是指识别图像中的人脸的过程,具体地可以通过人脸识别模型进行识别。人脸识别模型首先可以提取图像中的人脸图像及对应的人脸特征,然后根据人脸特征对人脸图像进行分类。由于服务器具有强大的处理能力,因此服务器可以通过一种精确度较高的全量人脸识别模型对第一图像进行人脸识别处理。具体地,服务器通过第一人脸识别模型将第一图像进行人脸识别处理,得到第一人脸图像及对应的第一人脸坐标。得到的第一人脸图像及对应的第一人脸坐标精度更高。
在对第一图像进行人脸识别处理之后,会得到对应的若干个人脸图像,然后可以建立第一图像标识、第一人脸标识、第一人脸坐标及第一分类标识的对应关系。其中,图像标识是指图像的唯一标识符,人脸标识是指人脸图像的唯一标识符,人脸坐标用于表示人脸图像在图像中的位置坐标,分类标识用于标示人脸图像对应的分组信息。图像标识与人脸标识可以为一对一的对应关系,也可以为一对多的对应关系。人脸标识、人脸坐标和分类标识为一对一的对应关系。例如,图像标识可以为“image.jpg”,该图像中包含三张人脸,三张人脸图像对应的人脸标识分别为“image_face01”、“image_face02”、“image_face03”,三张人脸图像对应的分类标识分别为“group_01”、“group_02”、“group_03”,表示这三张人脸图像分别分到不同组内。
步骤704,将第二图像进行人脸识别处理,得到第二人脸图像及对应的第二人脸坐标,其中第二图像是由第一图像进行压缩处理得到的。
在本申请提供的实施例中,会在终端和服务器两端同时对图像进行人脸识别处理,但由于终端的计算能力一般是比较有限的,因此在对图像进行处理的时候,为了减少处理的计算量,可以先将图像进行压缩处理。压缩处理会缩小图像的尺寸,使图像所占用的存储空间变小,在对压缩处理后的图像进行处理的时候,也会相应减少处理的计算量。具体地,压缩处理可以是将图像进行一定比例的缩小,也可以是将图像缩小到固定大小。例如,尺寸为200*300和300*600的图像,若将图像进行1:0.5等比例缩小,那么压缩后的图像尺寸就分别为100*150和150*300。若将图像缩小到固定尺寸100*200,那么压缩之后的图像的尺寸就都为100*200。终端会将第一图像进行压缩处理,得到第二图像,再对第二图像进行人脸识别处理。
终端可以根据第二人脸识别模型对第二图像进行人脸识别处理,得到第二人脸图像及对应的第二人脸坐标。终端中存储的第二人脸识别模型是一种微型识别模型,而服务器上存储的第一人脸识别模型是一种全量的人脸识别模型。第一人脸识别模型的算法比第二人脸识别模型的算法更加复杂,从而得到的识别结果也更加精确,也即第二人脸识别模型的识别精度低于第一人脸识别模型的识别精度。终端在对第二图像进行人脸识别处理之后,会得到对应的若干个人脸图像,然后可以建立第二图像标识、第二人脸标识、第二人脸坐标及第二分类标识的对应关系。可以理解的是,终端和服务器针对不同分辨率的图像进行人脸识别处理,识别得到的人脸图像可以相同,也可以不同。
服务器会定时对第一图像进行人脸识别处理,然后在检测到终端连接到网络的时候,将第一人脸识别结果发送给终端。网络可以包括Wifi(Wireless Fidelity,无线保真)、2G数据网络、3G数据网络、4G数据网络等类型。当终端检测到连接网络时,终端会自动向服务器发起人脸图像获取请求,该人脸图像获取请求中会携带终端标识,服务器在接收到人脸图像获取请求之后,会将终端标识对应的第一人脸识别结果返回给终端。以Android系统为例,NetworkInfo类包含了对Wifi和数据网络两种网络模式连接的详细描述,通过getState()方法可以获取当前网络的连接状态。由于服务器下发的第一人脸识别结果可能占用的空间比较大,传输时消耗的数据流量比较大。因此,在接收第一人脸识别结果之前,可以首先判断终端所连接的网络的网络类型。若连接的网络为预设网络类型,则接收服务发送的第一人脸识别结果。例如,若判断终端连接的是Wifi,则接收服务器发下的第二人脸集合。可以理解的是,在本申请提供的其他实施例中,第一图像和第二图像还可以分别是在不同终端中进行人脸识别处理,从而得到对应的第一人脸坐标和第二人脸坐标。例如,在平板电脑上将第一图像进行人脸识别处理,得到第一人脸坐标;在手机上将第二图像进行人脸识别处理得到第二人脸坐标。
步骤706,根据第一图像的宽度与第二图像的宽度的比例,得到第一放大比例。
步骤708,根据第一图像的高度与第二图像的高度的比例,得到第二放大比例。
当终端接收到服务器下发的第一人脸识别结果时,可以将第一人脸识别结果和终端得到的第二人脸识别结果进行比较。首先需要将第二图像还原到第一图像的大小,然后再将还原后的第二图像中对应的第二目标人脸图像与第一人脸图像进行比较,看第一人脸图像和第二目标人脸图像是否重叠,根据重叠的程度来判断二者是否为同一张人脸。具体地,首先需要计算还原放大第二图像的放大比例,根据第一图像的宽度与第二图像的宽度的比例,得到第一放大比例;根据第一图像的高度与第二图像的高度的比例,得到第二放大比例;然后根据第一放大比例和第二放大比例得到放大比例。
步骤710,选择第一放大比例或第二放大比例作为放大比例。
具体地,为了使放大后的第二图像保持原有的宽高比例,在放大处理的时候第二图像的宽度和高度放大比例需要保持一致。为了减少比较的误差,获取的第一放大比例和第二放大比例中,取较大者作为最终的放大比例。若第一放大比例大于或等于第二放大比例,则将第一放大比例作为放大比例;若第一放大比例小于第二放大比例,则将第二放大比例作为放大比例。例如,假设第一图像的宽度和高度分别为A_Width和A_Height,第二图像的宽度和高度为B_Width和B_Height。则计算得到第一放大法比例为scale_1=A_Width/B_Width,第二放大比例为scale_2=A_Height/B_Height,根据第一放大比例和第二放大比例得到的放大比例就为scale=Math.max(scale_1,scale_2)。
步骤712,根据该放大比例和第二人脸坐标计算得到第二目标人脸坐标。
具体地,将第二人脸坐标乘以该放大比例,得到第二目标人脸坐标。放大后的第二人脸坐标,即为第二目标人脸坐标。可以理解的是,第二人脸坐标中包括四个顶点坐标,则将该四个顶点坐标分别乘以该放大比例,得到对应的第二目标人脸坐标中包括的四个顶点坐标。具体地,将第二人脸坐标的横坐标乘以放大比例,得到第二目标人脸坐标的横坐标;将第二人脸坐标的纵坐标乘以放大比例,得到第二目标人脸坐标的纵坐标。例如,第二人脸坐标中包括四个顶点A(x1,y1)、B(x2,y1)、C(x2,y2)和D(x1,y2),假设放大比例为2,则得到的第二目标人脸坐标中包括四个顶点就为A’(2x1,2y1)、B’(2x2,2y1)、C’(2x2,2y2)和D’(2x1,2y2)。
步骤714,根据第一人脸坐标和第二目标人脸坐标,判断第一人脸图像和第二目标人脸图像的位置关系,其中第二目标人脸图像是指将第二人脸图像根据放大比例进行放大后得到的人脸图像。
在一个实施例中,将第二人脸图像根据放大比例进行放大后得到第二目标人脸图像,根据第一人脸坐标和第二目标人脸坐标,判断第一人脸图像和第二目标人脸图像的位置关系。具体地,若第一人脸坐标和第二目标人脸坐标满足第一条件,则判定第一人脸图像和第二目标人脸图像为第一位置关系;若第一人脸坐标和第二目标人脸坐标满足第二条件,则判定第一人脸图像和第二目标人脸图像为第二位置关系;若第一人脸坐标和第二目标人脸坐标满足第三条件,则判定第一人脸图像和第二目标人脸图像为第三位置关系;若第一人脸坐标和第二目标人脸坐标满足第四条件,则判定第一人脸图像和第二目标人脸图像为第四位置关系。其中,第一位置关系、第二位置关系、第三位置关系和第四位置关系,可以分别是指重合、包含、相交和分离位置关系。
步骤716,根据位置关系判断第一人脸图像和第二人脸图像是否对应同一张人脸。
当第一人脸图像和第二目标人脸图像完全重合时,可以判定第一人脸图像和第二人脸图像对应同一张人脸;当第一人脸图像和第二目标人脸图像为包含或相交关系时,可以通过第一人脸图像和第二目标人脸图像的重合度判定第一人脸图像和第二人脸图像是否对应同一张人脸;当第一人脸图像和第二目标人脸图像完全分离时,可以判定第一人脸图像和第二人脸图像对应不同人脸。比较方法具体可以包括:
步骤802,若第一人脸图像和第二目标人脸图像为重合位置关系,则判定第一人脸图像和第二人脸图像对应同一张人脸。
重合位置关系是指两张图像是完全重合的关系,若第一人脸图像和第二目标人脸图像为重合位置关系,则说明第一人脸图像和第二目标人脸图像重合度达到百分之百,则可以判定第一人脸图像和第二人脸图像对应同一张人脸。
步骤804,若第一人脸图像和第二目标人脸图像为包含位置关系,则根据第一人脸图像的人脸尺寸和第二目标人脸图像的人脸尺寸计算人脸尺寸比例,并根据人脸尺寸比例判断第一人脸图像和第二人脸图像是否对应同一张人脸。
具体地,包含位置关系是指一张图像可以完全包含另一张图像的位置关系,可以是第一人脸图像包含第二目标人脸图像,也可以是第二目标人脸图像包含第一人脸图像。当第一人脸图像和第二目标人脸图像为包含位置关系时,可以直接根据第一人脸图像和第二目标人脸图像的人脸尺寸比例,来判断第一人脸图像和第二目标人脸图像的重合度。人脸尺寸是指人脸图像的尺寸,包括人脸图像的人脸宽度和人脸高度。根据第一人脸图像的人脸宽度和第二目标人脸图像的人脸宽度,得到第一人脸尺寸比例。定义第一人脸图像的人脸宽度为第一人脸宽度,第二目标人脸图像的人脸宽度的第二人脸宽度,则可以用第一人脸宽度和第二人脸宽度中的较小值除以较大者,得到第一人脸尺寸比例。也就是说若第一人脸宽度小于第二人脸宽度,则用第一人脸宽度除以第二人脸宽度,得到第一人脸尺寸比例;若第一人脸宽度大于第二人脸宽度,则用第二人脸宽度除以第一人脸宽度,得到第一人脸尺寸比例。
根据第一人脸图像的人脸高度和第二目标人脸图像的人脸高度,得到第二人脸尺寸比例。同样地,定义第一人脸图像的人脸高度为第一人脸高度,第二目标人脸图像的人脸高度的第二人脸高度,则可以用第一人脸高度和第二人脸高度中的较小值除以较大者,得到第二人脸尺寸比例。也就是说若第一人脸高度小于第二人脸高度,则用第一人脸高度除以第二人脸高度,得到第二人脸尺寸比例;若第一人脸高度大于第二人脸高度,则用第二人脸高度除以第一人脸高度,得到第二人脸尺寸比例。
根据第一人脸尺寸比例和第二人脸尺寸比例得到人脸尺寸比例,可以选择第一人脸尺寸比例或第二人脸尺寸比例作为人脸尺寸比例。可以取第一人脸尺寸比例和第二人脸尺寸比例中较小者,作为最终的人脸尺寸比例。具体地,若第一人脸尺寸比例大于或等于第二人脸尺寸比例,则将第二人脸尺寸比例作为人脸尺寸比例;若第一人脸尺寸比例小于第二人脸尺寸比例,则将第一人脸尺寸比例作为人脸尺寸比例。若人脸尺寸比例大于尺寸比例阈值,则判定第一人脸图像和第二人脸图像对应同一张人脸。例如,第一人脸宽度和第一人脸高度分别为A_Width、A_Height,第二目标人脸宽度和第二目标人脸高度分别为B_Width、B_Height,则第一人脸尺寸比例为ratio_1=A_Width/B_Width;第二人脸尺寸比例为ratio_2=A_Height/B_Height;最终得到的人脸尺寸比例就为ratio=Math.min(ratio_1,ratio_2)。假设人脸尺寸比例阈值为0.5,那么当人脸尺寸比例大于0.5时,就判定第一人脸图像和第二人脸图像对应同一张人脸。
步骤806,若第一人脸图像和第二目标人脸图像为相交位置关系,则根据第一人脸图像的人脸面积和第二目标人脸图像的人脸面积计算人脸面积比例,并根据人脸面积比例判断第一人脸图像和第二人脸图像是否对应同一张人脸。
当第一人脸图像和第二目标人脸图像为相交位置关系,则说明第一人脸图像和第二目标人脸图像为部分重叠,则可以通过第一人脸图像和第二目标人脸图像重叠部分的面积,来判断第一人脸图像和第二人脸图像的关系。具体地,获取第一人脸图像和第二目标人脸图像的交集的面积,作为第一人脸面积;获取第一人脸图像和第二目标人脸图像的并集的面积,作为第二人脸面积面积;根据第一人脸面积和第二人脸面积,计算人脸面积比例。若该人脸面积比例大于面积比例阈值,则判定第一人脸图像和第二人脸图像对应同一张人脸。例如,第一人脸图像所在的区域为A_Rect,第二目标人脸图像所在的区域为B_Rect,则第一人脸面积就表示为A_Rect∩B_Rect,第二人脸面积就表示为A_Rect∪B_Rect。将第一人脸面积与第二人脸面的比例作为人脸面积比例,则得到的人脸面积比例就为ratio=(A_Rect∩B_Rect)/(A_Rect∪B_Rect)。假设人脸面积比例阈值为0.7,那么当人脸面积比例大于0.7时,就判定第一人脸图像和第二人脸图像对应同一张人脸。可以理解的是,人脸尺寸比例阈值和人脸面积比例阈值可以根据需要进行设置,在此不做限定。一般可以将人脸面积比例阈值设置为一个大于人脸尺寸比例阈值的取值。
步骤808,若第一人脸图像和第二目标人脸图像为分离位置关系,则判定第一人脸图像和第二人脸图像对应不同的人脸。
当第一人脸图像和第二目标人脸图像为分离位置关系,说明第一人脸图像和第二目标人脸图像为完全分离的状态。那么就可以判定第一人脸图像和第二人脸图像为完全不同的两张人脸。
步骤718,根据比较结果进行人脸聚合。
具体地,若第一人脸图像和第二人脸图像对应同一张人脸,则根据第一人脸图像生成人脸图像集合。识别得到的人脸图像还包括人脸坐标、分类标识等信息,服务器根据第一人脸识别模型对第一图像进行人脸识别处理,得到的第一人脸图像及对应的第一人脸坐标、第一分类标识等信息都更加准确。因此,当比较得到第一人脸图像和第二人脸图像对应同一张人脸时,只需要保留精度更高的第一人脸图像即可,根据第一人脸图像生成人脸图像集合。
若第一人脸图像和第二人脸图像对应不同的人脸,则根据第一人脸图像和第二人脸图像生成人脸图像集合。若第一人脸图像和第二人脸图像对应不同的人脸,则需要同时保留第一人脸图像和第二人脸图像,即根据第一人脸图像和第二人脸图像生成人脸图像集合。可以理解的是,第一图像中可以包含多张第一人脸图像,第二图像中可以包含多张第二人脸图像,将每一张第一人脸图像和每一张第二人脸图像进行比较之后,可以判断每一张第一人脸图像与每一张第二人脸图像的对应关系,然后根据比较结果生成人脸集合。若存在与第一人脸图像对应的第二人脸图像,则可以选择其中一张人脸图像进行保存;若第一人脸图像不存在对应的第二人脸图像,则可以保留第一人脸图像;若第二人脸图像不存在对应的第一人脸图像,则可以保留第二人脸图像。例如,第一图像中包含两张第一人脸图像,表示为Face1_01和Face1_02,第二图像中包含两张第二人脸图像,表示为Face2_01和Face2_02。若Face1_01与Face2_01和Face2_02都不对应,Face1_02与Face2_02对应同一张人脸,那么最后生成的人脸图像集合就包含Face1_01、Face1_02和Face2_02等三张人脸图像。
图9为一个实施例中图像处理流程的示意图。如图9所示,该图像处理流程中通过平板电脑902中存储第一图像,手机904中存储第二图像。第一图像的尺寸为380*520,第二图像的尺寸为95*130。平板电脑902对第一图像进行人脸识别处理,得到三张第一人脸图像和对应的第一人脸坐标。手机904对第二图像进行人脸识别处理,得到一张第二人脸图像和对应的第二人脸坐标。识别结果中显示,由于手机904中的第二图像的分辨率低于平板电脑902中存储的第一图像,因此手机904对分辨率较低的第二图像识别得到的结果往往是不准确的,而平板电脑902中对分辨率较高的第一图像进行识别得到的结果精度更高。得到识别结果后,平板电脑902将第一人脸坐标和第一图像发送给手机904。手机904将第二图像放大到380*520,然后将放大后得到的第二目标人脸坐标和第一人脸坐标进行比较,并根据比较结果进行人脸聚类,得到人脸图像集合。
在一个实施例中,可以根据生成的人脸图像集合对第一图像和/或第二图像进行分类,生成的人脸图像集合包含一张或多张人脸图像,每张人脸图像都有对应的图像标识、人脸标识、人脸坐标和分类标识等信息。可以对第一图像和/或第二图像进行分类,同一张人脸图像对应的图像将会被分到一个类别中,由于图像中可能包含多张人脸,则一张图像就可能会被分到多个类别中。图10为一个实施例中图像分类的终端展示图。如图10所示,移动终端根据人脸图像集合将图像进行分类,并将分类的结果展示在移动终端的界面上。分类展示界面1002上展示了八个分类结果,分别包括“分类1”、“分类2”、“分类3”、“分类4”、“分类5”、“分类6”、“分类7”和“分类8”,每个分类都包含了若干张具有共性的人脸图像。点击其中一个分类,可以通过人脸图像展示界面1004查看分类中的人脸图像。然后点击其中一张人脸图像,可以通过图像展示界面1006查看该人脸图像对应的图像。
可以理解的是,服务器可以对终端上传的第一图像进行备份,服务器存储的第一图像会跟终端建立对应关系。这样终端即使将第一图像删除了,还可以从服务器上进行获取。服务器可以根据接收到的第一图像生成第一图像集合,然后根据第一图像集合生成一个网页链接,并将网页链接返回给终端。终端通过访问该网页链接,可以查看存储的第一图像集合,并可以对第一图像集合中的第一图像进行下载。该网页链接对应着一个网页文档,终端在点击该网页链接的时候,获取并读取该网页文档,网页文档中包含了这些第一图片的存储地址和图片标识。终端在获取到该网页文档之后,解析该网页文档,并将网页文档中的内容进行显示,用户通过显示的内容对第一图像进行查看。
终端可以向服务器发送图像下载请求,然后接收服务器根据图像下载请求返回的下载图像。图像下载请求即为终端发起的获取第一图像集合中的第一图像的请求,图像下载请求中包含第一图像集合中任意一张或多张第一图像对应的图像标识,下载图像即为服务器根据图像下载请求返回的第一图像。可以理解的是,若下载图像在终端中不存在对应的第二图像,则可以直接通过下载图像对应的第一人脸图像对下载图像进行分类。若下载图像在终端中存在对应的第二图像,则可以根据下载图像和第二图像的比较结果生成人脸图像集合,然后通过该人脸图像集合对下载图像进行分类。具体地,终端和服务器之间可以首先建立通信连接,通信连接成功之后服务器会给终端返回一个连接成功的信息。例如,终端和服务器之间可以通过一对端口号(socket)来建立通信连接,建立连接之后,通过连接好的端口号来发送图片。连接成功后,终端向服务器发起图像下载请求。图11为一个实施例中图像下载页面的终端界面图。如图11所示,该展示界面中展示了服务器上存储的第一图像,移动终端可以通过该界面查看上传至服务器的第一图像,并通过该界面对第一图像进行下载。
上述实施例提供的图像处理方法,获取两张不同分辨率的第一图像和第二图像,然后根据第一图像和第二图像的图像尺寸计算放大比例,根据该放大比例对第二人脸坐标进行处理,得到第二目标人脸坐标。再根据第一人脸坐标和第二目标人脸坐标进行比较,得到第一人脸图像和第二人脸图像的对应关系,根据比较结果进行人脸聚合。这样可以将两张不同分辨率的图像的识别结果进行比较,将两张图像统一在同一个坐标系中,然后通过人脸坐标来判断人脸图像的关系,比较结果更加准确,提高了图像处理的准确性。
图12为一个实施例中图像处理方法的交互图。如图12所示,该图像处理方法包括步骤1202其中:
步骤1202,终端获取第一图像,将第一图像压缩生成第二图像,并将第二图像进行人脸识别处理,得到第二人脸图像及对应的第二人脸坐标。
步骤1204,终端将第一图像发送至服务器。
步骤1206,服务器接收终端发送的第一图像,将第一图像进行备份,并将第一图像进行人脸识别处理,得到第一人脸图像及对应的第一人脸坐标。
步骤1208,服务器将识别得到的第一人脸图像和第一人脸坐标发送至终端。
步骤1210,终端接收服务器返回的第一人脸图像和第一人脸坐标,根据第一图像的图像尺寸和第二图像的图像尺寸计算放大比例,并根据放大比例和第二人脸坐标计算得到第二目标人脸坐标。
步骤1212,终端将第一人脸坐标和第二目标人脸坐标进行比较,得到比较结果。
步骤1214,终端根据比较结果生成人脸图像集合,并根据人脸图像集合对第一图像和/或第二图像进行分类。
步骤1216,终端向服务器发送图像下载请求,其中图像下载请求中包含一张或多张第一图像对应的图像标识。
步骤1218,服务器接收终端发送的图像下载请求,并根据图像下载请求中的图像标识获取下载图像。
步骤1220,服务器将获取的下载图像返回给终端。
步骤1222,终端接收服务器下发的下载图像,并将下载图像进行分类。
上述实施例提供的图像处理方法,可以将两张不同分辨率的图像的识别结果进行比较,将两张图像统一在同一个坐标系中,然后通过人脸坐标来判断人脸图像的关系,得到比较结果。生成的人脸集合中保留了不同分辨率的图像的识别结果,提高了图像处理的准确性。同时终端可以向服务器获取下载图像,并将下载图像进行分类,避免终端将图像进行误删,进一步提高了图像处理的准确性。
图13为一个实施例中图像处理系统的系统架构图。如图13所示,该图像处理系统中包括客户端132、本地服务器134和云端服务器136。该系统架构的工作流程分为两个阶段:图像同步阶段和图像分类阶段。其中,图像同步阶段包括:触发器1322可以发起同步请求,然后通过数据获取模块1324从图像数据库1320中获取第一图像,并将获取的第一图像存储在备份数据库1326中,然后通过备份数据库1326将第一图像发送至本地服务器134。本地服务器134通过Package打包模块1340将第一图像进行打包,并将打包后的第一图像通过通信模块1342上传至云端服务器136中。云端服务器136接收到第一图像后,形成第一图像集合,并将第一图像集合进行存储。图像分类阶段包括:触发器1322可以发起分类请求,然后通过数据获取模块1324从图像数据库1320中获取第一图像,并将第一图像存储在备份数据库1326中。分类处理模块1328会对第一图像进行压缩处理,然后对压缩处理之后生成的第二图像进行人脸识别处理,然后将得到的第二图像及对应的第二人脸图像、第二人脸坐标存放在备份数据库1326中。云端服务器136对第一图像进行人脸识别处理得到第一人脸图像及对应的第一人脸坐标,并在客户端132联网的情况下,下发到本地服务器134。本地服务器134通过通信模块1342接收第一人脸图像及对应的第一人脸坐标,并通过Package解析模块1344将第一人脸图像及对应的第一人脸坐标进行解析,然后将解析后的第一人脸图像及对应的第一人脸坐标发送到客户端132,存放在备份数据库1326中。然后分类处理模块1328会根据第一人脸图像、第二人脸图像、第一人脸坐标和第二人脸坐标生成人脸图像集合,并根据人脸图像集合对第一图像和/或第二图像进行分类。
图14为另一个实施例中图像处理系统的系统架构图。如图14所示,该图像处理系统中包括客户端1402、特征服务器1404和聚类服务器1406。其中:
客户端1402,用于获取第一图像,将第一图像压缩生成第二图像,并将第二图像进行人脸识别处理,得到第二人脸图像、第二人脸坐标和第二分类标识;第一图像发送至特征服务器1404,并接收聚类服务器1406返回的第一人脸图像、第一人脸坐标和第一分类标识;根据第一图像的图像尺寸和第二图像的图像尺寸计算放大比例,根据放大比例和第二人脸坐标计算得到第二目标人脸坐标;将第一人脸坐标和第二目标人脸坐标进行比较,得到比较结果;根据比较结果进行人脸聚合。
特征服务器1404,用于接收客户端1402发送的第一图像,并根据第一图像子集合进行特征识别处理得到第一人脸图像和第一人脸坐标,然后将第一人脸图像和第一人脸坐标发送至聚类服务器1406。
在本申请提供的实施例中,特征服务器可以是一个服务器集群,即通过多台服务器实现特征识别处理的分布式处理。特征服务器可以但不限于提供数据传输服务、加解密服务、特征识别服务、特征上报服务、存储接口服务和存储服务。其中,数据传输服务用于数据的传输,例如通过IO Service接收客户端发送的第一图像,或向客户端发送第一人脸图像和第一人脸坐标等。可以理解的是,第一人脸图像和第一人脸坐标可以由特征服务器1404发送至客户端1402,或者由聚类服务器1406发送至客户端1402。加解密服务用于对数据进行加解密处理,例如通过加解密服务可以是Privacy服务,通过Privacy服务将第一图像进行加密处理。特征识别服务是指提供特征识别处理的服务,例如提取第一图像中的第一人脸图像。特征上报服务用于将获取的第一人脸图像和第一人脸坐标上报给聚类服务器。存储服务是存储数据的服务,例如将第一图像在特征服务器上进行存储。存储接口服务是指与存储服务进行对接的服务,例如通过Storage服务实现与存储服务的对接。
聚类服务器1406,用于接收特征服务器1404发送的第一人脸图像和第一人脸坐标,并根据第一人脸图像和第一人脸坐标进行聚类处理得到对应的第一分类标识,并将第一人脸图像、第一人脸坐标及对应的第一分类标识发送至客户端1402。
在一个实施例中,聚类服务器可以但不限于包括:标签数据服务、聚类服务、特征接收服务、机器学习服务和数据传输服务。其中,标签数据服务是指根据生成标签数据的服务,例如根据第一分类标识生成标签数据。聚类服务是指将数据集合进行聚类处理的服务,例如将第一人脸图像进行聚类处理。特征接收服务用于接收特征服务器上报的第一人脸图像和第一人脸坐标。聚类服务器还可以对训练图像集合进行训练得到聚类模型和特征识别模型,根据聚类模型对聚类特征集合进行聚类处理,并将特征识别模型发送至特征服务器以提取第一图像中的第一人脸图像。机器学习服务就是指提供模型训练的服务,例如根据训练图像集合训练得到聚类模型和特征识别模型。数据传输服务是指提供数据传输的服务,例如通过PUSH方法将聚类处理结果推送给客户端。
图15为一个实施例中图像处理装置的结构示意图。如图15所示,该图像处理装置1500包括第一图像获取模块1502、第二图像获取模块1504、第二坐标放大模块1506、人脸坐标比较模块1508和人脸集合生成模块1510。其中:
第一图像获取模块1502,用于获取第一图像的第一人脸坐标,其中所述第一人脸坐标用于表示所述第一图像中包含的第一人脸图像在所述第一图像中的位置坐标。
第二图像获取模块1504,用于获取第二图像的第二人脸坐标,其中所述第二人脸坐标用于表示所述第二图像中包含的第二人脸图像在所述第二图像中的位置坐标,所述第一图像和第二图像为两张不同分辨率的图像,所述第一图像的图像尺寸大于所述第二图像的图像尺寸。
第二坐标放大模块1506,用于根据所述第一图像的图像尺寸和第二图像的图像尺寸计算放大比例,根据所述放大比例和第二人脸坐标计算得到第二目标人脸坐标。
人脸坐标比较模块1508,用于将所述第一人脸坐标和第二目标人脸坐标进行比较,得到比较结果。
人脸集合生成模块1510,用于根据所述比较结果进行人脸聚合。
上述实施例提供的图像处理装置,获取两张不同分辨率的第一图像和第二图像,然后根据第一图像和第二图像的图像尺寸计算放大比例,根据该放大比例对第二人脸坐标进行处理,得到第二目标人脸坐标。再根据第一人脸坐标和第二目标人脸坐标进行比较,得到第一人脸图像和第二人脸图像的对应关系,根据比较结果进行人脸聚合。这样可以将两张不同分辨率的图像的识别结果进行比较,将两张图像统一在同一个坐标系中,然后通过人脸坐标来判断人脸图像的关系,比较结果更加准确,提高了图像处理的准确性。
在一个实施例中,第一图像获取模块1502还用于将所述第一图像进行人脸识别处理,得到第一人脸图像及对应的第一人脸坐标。
在一个实施例中,第二图像获取模块1504还用于将所述第二图像进行人脸识别处理,得到第二人脸图像及对应的第二人脸坐标,其中所述第二图像是由所述第一图像进行压缩处理得到的。
在一个实施例中,第二坐标放大模块1506还用于根据所述第一图像的宽度与所述第二图像的宽度的比例,得到第一放大比例;根据所述第一图像的高度与所述第二图像的高度的比例,得到第二放大比例;选择所述第一放大比例或第二放大比例得到放大比例。
在一个实施例中,第二坐标放大模块1506还用于判断若所述第一放大比例大于或等于所述第二放大比例,则将所述第一放大比例作为放大比例;若所述第一放大比例小于所述第二放大比例,则将所述第二放大比例作为放大比例。
在一个实施例中,第二坐标放大模块1506还用于将所述第二人脸坐标的横坐标乘以所述放大比例,得到第二目标人脸坐标的横坐标;将所述第二人脸坐标的纵坐标乘以所述放大比例,得到第二目标人脸坐标的纵坐标。
在一个实施例中,人脸坐标比较模块1508还用于根据所述第一人脸坐标和所述第二目标人脸坐标,判断所述第一人脸图像和所述第二目标人脸图像的位置关系,其中所述第二目标人脸图像是指将所述第二人脸图像根据所述放大比例进行放大后得到的人脸图像;根据所述位置关系判断所述第一人脸图像和第二人脸图像是否对应同一张人脸。
在一个实施例中,人脸坐标比较模块1508还用于若所述第一人脸图像和所述第二目标人脸图像为重合位置关系,则判定所述第一人脸图像和所述第二人脸图像对应同一张人脸;若所述第一人脸图像和所述第二目标人脸图像为包含位置关系,则根据所述第一人脸图像的人脸尺寸和所述第二目标人脸图像的人脸尺寸计算人脸尺寸比例,并根据所述人脸尺寸比例判断所述第一人脸图像和所述第二人脸图像是否对应同一张人脸;若所述第一人脸图像和所述第二目标人脸图像为相交位置关系,则根据所述第一人脸图像的人脸面积和所述第二目标人脸图像的人脸面积计算人脸面积比例,并根据所述人脸面积比例判断所述第一人脸图像和所述第二人脸图像是否对应同一张人脸;若所述第一人脸图像和所述第二目标人脸图像为分离位置关系,则判定所述第一人脸图像和所述第二人脸图像对应不同的人脸。
在一个实施例中,人脸坐标比较模块1508还用于根据所述第一人脸图像的人脸宽度和所述第二目标人脸图像的人脸宽度,得到第一人脸尺寸比例;根据所述第一人脸图像的人脸高度和所述第二目标人脸图像的人脸高度,得到第二人脸尺寸比例;选择所述第一人脸尺寸比例或所述第二人脸尺寸比例得到人脸尺寸比例。
在一个实施例中,人脸坐标比较模块1508还用于若所述第一人脸尺寸比例大于或等于所述第二人脸尺寸比例,则将所述第二人脸尺寸比例作为人脸尺寸比例;若所述第一人脸尺寸比例小于所述第二人脸尺寸比例,则将所述第一人脸尺寸比例作为人脸尺寸比例。
在一个实施例中,人脸坐标比较模块1508还用于若所述人脸尺寸比例大于尺寸比例阈值,则判定所述第一人脸图像和所述第二人脸图像对应同一张人脸。
在一个实施例中,人脸坐标比较模块1508还用于获取所述第一人脸图像和所述第二目标人脸图像的交集的面积,作为第一人脸面积;获取所述第一人脸图像和所述第二目标人脸图像的并集的面积,作为第二人脸面积面积;根据所述第一人脸面积和所述第二人脸面积,计算所述人脸面积比例。
在一个实施例中,人脸坐标比较模块1508还用于若所述人脸面积比例大于面积比例阈值,则判定所述第一人脸图像和所述第二人脸图像对应同一张人脸。
在一个实施例中,人脸集合生成模块1510还用于若所述第一人脸图像和所述第二人脸图像对应同一张人脸,则根据所述第一人脸图像生成人脸图像集合;若所述第一人脸图像和所述第二人脸图像对应不同的人脸,则根据所述第一人脸图像和第二人脸图像生成人脸图像集合。
在一个实施例中,人脸集合生成模块1510还用于根据所述人脸图像集合对所述第一图像和/或所述第二图像进行分类。
上述图像处理装置中各个模块的划分仅用于举例说明,在其他实施例中,可将图像处理装置按照需要划分为不同的模块,以完成上述图像处理装置的全部或部分功能。
图16为一个实施例中服务器的内部结构示意图。如图16所示,该服务器包括通过系统总线连接的处理器、非易失性存储介质、内存储器和网络接口。其中,该处理器用于提供计算和控制能力,支撑整个计算机设备的运行。存储器用于存储数据、程序等,存储器上存储至少一个计算机程序,该计算机程序可被处理器执行,以实现本申请实施例中提供的适用于计算机设备的无线网络通信方法。存储器可包括磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等非易失性存储介质,或随机存储记忆体(Random-Access-Memory,RAM)等。例如,在一个实施例中,存储器包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行,以用于实现上述实施例所提供的一种图像处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。网络接口可以是以太网卡或无线网卡等,用于与外部的计算机设备进行通信。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。本领域技术人员可以理解,图16中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的服务器的限定,具体的服务器可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行上述实施例提供的图像处理方法的步骤。
一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例提供的图像处理方法的步骤。
本申请实施例还提供一种计算机设备。上述计算机设备中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义ISP(Image SignalProcessing,图像信号处理)管线的各种处理单元。图17为一个实施例中图像处理电路的示意图。如图17所示,为便于说明,仅示出与本申请实施例相关的图像处理技术的各个方面。
如图17所示,图像处理电路包括ISP处理器1740和控制逻辑器1750。成像设备1710捕捉的图像数据首先由ISP处理器1740处理,ISP处理器1740对图像数据进行分析以捕捉可用于确定和/或成像设备1710的一个或多个控制参数的图像统计信息。成像设备1710可包括具有一个或多个透镜1712和图像传感器1714的照相机。图像传感器1714可包括色彩滤镜阵列(如Bayer滤镜),图像传感器1714可获取用图像传感器1714的每个成像像素捕捉的光强度和波长信息,并提供可由ISP处理器1740处理的一组原始图像数据。传感器1720(如陀螺仪)可基于传感器1720接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器1740。传感器1720接口可以利用SMIA(Standard Mobile Imaging Architecture,标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。
此外,图像传感器1714也可将原始图像数据发送给传感器1720,传感器1720可基于传感器1720接口类型把原始图像数据提供给ISP处理器1740,或者传感器1720将原始图像数据存储到图像存储器1730中。
ISP处理器1740按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,ISP处理器1740可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。
ISP处理器1740还可从图像存储器1730接收图像数据。例如,传感器1720接口将原始图像数据发送给图像存储器1730,图像存储器1730中的原始图像数据再提供给ISP处理器1740以供处理。图像存储器1730可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自图像传感器1714接口或来自传感器1720接口或来自图像存储器1730的原始图像数据时,ISP处理器1740可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器1730,以便在被显示之前进行另外的处理。ISP处理器1740从图像存储器1730接收处理数据,并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器1740处理后的图像数据可输出给显示器1770,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,ISP处理器1740的输出还可发送给图像存储器1730,且显示器1770可从图像存储器1730读取图像数据。在一个实施例中,图像存储器1730可被配置为实现一个或多个帧缓冲器。此外,ISP处理器1740的输出可发送给编码器/解码器1760,以便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器1770设备上之前解压缩。编码器/解码器1760可由CPU或GPU或协处理器实现。
ISP处理器1740确定的统计数据可发送给控制逻辑器1750单元。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜1712阴影校正等图像传感器1714统计信息。控制逻辑器1750可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的统计数据,确定成像设备1710的控制参数及ISP处理器1740的控制参数。例如,成像设备1710的控制参数可包括传感器1720控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜1712控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵,以及透镜1712阴影校正参数。
以下为运用图17中图像处理技术实现上述实施例提供的图像处理方法的步骤。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM),它用作外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (12)
1.一种图像处理方法,其特征在于,包括:
获取第一图像的第一人脸坐标,其中所述第一人脸坐标用于表示所述第一图像中包含的第一人脸图像在所述第一图像中的位置坐标;
获取第二图像的第二人脸坐标,其中所述第二人脸坐标用于表示所述第二图像中包含的第二人脸图像在所述第二图像中的位置坐标,所述第一图像和第二图像为两张不同分辨率的图像,所述第一图像的图像尺寸大于所述第二图像的图像尺寸;
根据所述第一图像的图像尺寸和第二图像的图像尺寸计算放大比例,根据所述放大比例和第二人脸坐标计算得到第二目标人脸坐标;
将所述第一人脸坐标和第二目标人脸坐标进行比较,得到比较结果;
根据所述比较结果进行人脸聚合。
2.根据权利要求1所述的方法,其特征在于,所述获取第一图像的第一人脸坐标包括:
将第一图像进行人脸识别处理,得到第一人脸图像及对应的第一人脸坐标。
3.根据权利要求1所述的方法,其特征在于,所述获取第二图像的第二人脸坐标包括:
将第二图像进行人脸识别处理,得到第二人脸图像及对应的第二人脸坐标,其中所述第二图像是由所述第一图像进行压缩处理得到的。
4.根据权利要求1所述的方法,其特征在于,所述根据所述第一图像的图像尺寸和第二图像的图像尺寸计算放大比例包括:
根据所述第一图像的宽度与所述第二图像的宽度的比例,得到第一放大比例;
根据所述第一图像的高度与所述第二图像的高度的比例,得到第二放大比例;
选择所述第一放大比例或所述第二放大比例作为放大比例。
5.根据权利要求1-4任一所述的方法,其特征在于,所述将所述第一人脸坐标和第二目标人脸坐标进行比较,得到比较结果包括:
根据所述第一人脸坐标和所述第二目标人脸坐标,判断所述第一人脸图像和所述第二目标人脸图像的位置关系,其中所述第二目标人脸图像是指将所述第二人脸图像根据所述放大比例进行放大后得到的人脸图像;
根据所述位置关系判断所述第一人脸图像和第二人脸图像是否对应同一张人脸。
6.根据权利要求5所述的方法,其特征在于,所述根据所述位置关系判断所述第一人脸图像和第二人脸图像是否对应同一张人脸包括:
若所述第一人脸图像和所述第二目标人脸图像为重合位置关系,则判定所述第一人脸图像和所述第二人脸图像对应同一张人脸;或,
若所述第一人脸图像和所述第二目标人脸图像为包含位置关系,则根据所述第一人脸图像的人脸尺寸和所述第二目标人脸图像的人脸尺寸计算人脸尺寸比例,并根据所述人脸尺寸比例判断所述第一人脸图像和所述第二人脸图像是否对应同一张人脸;或,
若所述第一人脸图像和所述第二目标人脸图像为相交位置关系,则根据所述第一人脸图像的人脸面积和所述第二目标人脸图像的人脸面积计算人脸面积比例,并根据所述人脸面积比例判断所述第一人脸图像和所述第二人脸图像是否对应同一张人脸;或,
若所述第一人脸图像和所述第二目标人脸图像为分离位置关系,则判定所述第一人脸图像和所述第二人脸图像对应不同的人脸。
7.根据权利要求6所述的方法,其特征在于,所述根据所述第一人脸图像的人脸尺寸和所述第二目标人脸图像的人脸尺寸计算人脸尺寸比例:
根据所述第一人脸图像的人脸宽度和所述第二目标人脸图像的人脸宽度,得到第一人脸尺寸比例;
根据所述第一人脸图像的人脸高度和所述第二目标人脸图像的人脸高度,得到第二人脸尺寸比例;
选择所述第一人脸尺寸比例或所述第二人脸尺寸比例作为人脸尺寸比例。
8.根据权利要求6所述的方法,其特征在于,所述根据所述第一人脸图像的人脸面积和所述第二目标人脸图像的人脸面积计算人脸面积比例包括:
获取所述第一人脸图像和所述第二目标人脸图像的交集的面积,作为第一人脸面积;
获取所述第一人脸图像和所述第二目标人脸图像的并集的面积,作为第二人脸面积面积;
根据所述第一人脸面积和所述第二人脸面积,计算所述人脸面积比例。
9.根据权利要求6所述的方法,其特征在于,所述根据所述人脸尺寸比例判断所述第一人脸图像和所述第二人脸图像是否对应同一张人脸包括:
若所述人脸尺寸比例大于尺寸比例阈值,则判定所述第一人脸图像和所述第二人脸图像对应同一张人脸;
所述根据所述人脸面积比例判断第一人脸图像和第二人脸图像是否对应同一张人脸包括:
若所述人脸面积比例大于面积比例阈值,则判定所述第一人脸图像和所述第二人脸图像对应同一张人脸。
10.一种图像处理装置,其特征在于,包括:
第一图像获取模块,用于获取第一图像的第一人脸坐标,其中所述第一人脸坐标用于表示所述第一图像中包含的第一人脸图像在所述第一图像中的位置坐标;
第二图像获取模块,用于获取第二图像的第二人脸坐标,其中所述第二人脸坐标用于表示所述第二图像中包含的第二人脸图像在所述第二图像中的位置坐标,所述第一图像和第二图像为两张不同分辨率的图像,所述第一图像的图像尺寸大于所述第二图像的图像尺寸;
第二坐标放大模块,用于根据所述第一图像的图像尺寸和第二图像的图像尺寸计算放大比例,根据所述放大比例和第二人脸坐标计算得到第二目标人脸坐标;
人脸坐标比较模块,用于将所述第一人脸坐标和第二目标人脸坐标进行比较,得到比较结果;
人脸集合生成模块,用于根据所述比较结果进行人脸聚合。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的方法的步骤。
12.一种计算机设备,包括存储器及处理器,所述存储器中储存有计算机可读指令,所述指令被所述处理器执行时,使得所述处理器执行如权利要求1至9中任一项所述的图像处理方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711354302.9A CN107967677B (zh) | 2017-12-15 | 2017-12-15 | 图像处理方法、装置、计算机可读存储介质和计算机设备 |
US16/132,340 US11003891B2 (en) | 2017-12-15 | 2018-09-14 | Image processing method and apparatus, and electronic device |
EP18204370.3A EP3499410A1 (en) | 2017-12-15 | 2018-11-05 | Image processing method and apparatus, and electronic device |
PCT/CN2018/114976 WO2019114476A1 (en) | 2017-12-15 | 2018-11-12 | Image processing method and apparatus, and electronic device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711354302.9A CN107967677B (zh) | 2017-12-15 | 2017-12-15 | 图像处理方法、装置、计算机可读存储介质和计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107967677A true CN107967677A (zh) | 2018-04-27 |
CN107967677B CN107967677B (zh) | 2020-02-04 |
Family
ID=61994496
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711354302.9A Active CN107967677B (zh) | 2017-12-15 | 2017-12-15 | 图像处理方法、装置、计算机可读存储介质和计算机设备 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11003891B2 (zh) |
EP (1) | EP3499410A1 (zh) |
CN (1) | CN107967677B (zh) |
WO (1) | WO2019114476A1 (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108830783A (zh) * | 2018-05-31 | 2018-11-16 | 北京市商汤科技开发有限公司 | 一种图像处理方法、装置和计算机存储介质 |
CN109002786A (zh) * | 2018-07-06 | 2018-12-14 | 深圳市富士智能系统有限公司 | 人脸检测方法、设备及计算机可读存储介质 |
CN109003327A (zh) * | 2018-06-29 | 2018-12-14 | 平安科技(深圳)有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
CN109034380A (zh) * | 2018-06-08 | 2018-12-18 | 四川斐讯信息技术有限公司 | 一种分布式的图像识别系统及其方法 |
CN109086789A (zh) * | 2018-06-08 | 2018-12-25 | 四川斐讯信息技术有限公司 | 一种图像识别方法及系统 |
CN109409203A (zh) * | 2018-09-07 | 2019-03-01 | 安徽恒科信息技术有限公司 | 一种图像比对识别管理系统 |
WO2019114476A1 (en) * | 2017-12-15 | 2019-06-20 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image processing method and apparatus, and electronic device |
CN112287798A (zh) * | 2020-10-23 | 2021-01-29 | 深圳市商汤科技有限公司 | 测温方法及装置、电子设备及存储介质 |
TWI739601B (zh) * | 2020-05-28 | 2021-09-11 | 大陸商上海商湯智能科技有限公司 | 圖像處理方法、電子設備和儲存介質 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110852285B (zh) * | 2019-11-14 | 2023-04-18 | 腾讯科技(深圳)有限公司 | 对象检测方法、装置、计算机设备和存储介质 |
US11403477B1 (en) * | 2020-05-15 | 2022-08-02 | Scandit Ag | Image exposure performance improvements for recognition of optical patterns |
US12008798B2 (en) * | 2021-12-22 | 2024-06-11 | The Nielsen Company (Us), Llc | Automated facial recognition library construction with privacy protection |
KR20230135399A (ko) * | 2022-03-16 | 2023-09-25 | 한화비전 주식회사 | 이미지 표시를 제어하기 위한 장치 및 방법 |
CN116055867B (zh) * | 2022-05-30 | 2023-11-24 | 荣耀终端有限公司 | 一种拍摄方法和电子设备 |
CN115050129B (zh) * | 2022-06-27 | 2023-06-13 | 北京睿家科技有限公司 | 一种智能门禁的数据处理方法及系统 |
CN116916166B (zh) * | 2023-09-12 | 2023-11-17 | 湖南湘银河传感科技有限公司 | 一种基于ai图像解析的遥测终端机 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101697197A (zh) * | 2009-10-20 | 2010-04-21 | 西安交通大学 | 一种基于典型相关分析空间超分辨率的人脸识别方法 |
US20130141458A1 (en) * | 2011-12-02 | 2013-06-06 | Hon Hai Precision Industry Co., Ltd. | Image processing device and method |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3276547B2 (ja) * | 1995-12-01 | 2002-04-22 | シャープ株式会社 | 画像認識方法 |
US8170280B2 (en) * | 2007-12-03 | 2012-05-01 | Digital Smiths, Inc. | Integrated systems and methods for video-based object modeling, recognition, and tracking |
CN102063610B (zh) | 2009-11-13 | 2013-08-28 | 鸿富锦精密工业(深圳)有限公司 | 影像辨识系统及方法 |
CN106648344B (zh) | 2015-11-02 | 2019-03-01 | 重庆邮电大学 | 一种屏幕内容调整方法及其设备 |
CN106355573B (zh) | 2016-08-24 | 2019-10-25 | 北京小米移动软件有限公司 | 图片中目标物的定位方法及装置 |
CN107967677B (zh) | 2017-12-15 | 2020-02-04 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和计算机设备 |
-
2017
- 2017-12-15 CN CN201711354302.9A patent/CN107967677B/zh active Active
-
2018
- 2018-09-14 US US16/132,340 patent/US11003891B2/en active Active
- 2018-11-05 EP EP18204370.3A patent/EP3499410A1/en not_active Withdrawn
- 2018-11-12 WO PCT/CN2018/114976 patent/WO2019114476A1/en active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101697197A (zh) * | 2009-10-20 | 2010-04-21 | 西安交通大学 | 一种基于典型相关分析空间超分辨率的人脸识别方法 |
US20130141458A1 (en) * | 2011-12-02 | 2013-06-06 | Hon Hai Precision Industry Co., Ltd. | Image processing device and method |
Non-Patent Citations (6)
Title |
---|
AYINDE O ET AL: "《region-based face detection》", 《PATTERN RECOGNITION》 * |
JAIMES A ET AL: "《detection of non-identical duplicate consumer photograghs》", 《COMMUNICATIONS AND SIGNAL PROCESS》 * |
ROWLEY H A ET AL: "《human face detection in visual scenes》", 《TECHNICAL REPORT CUM-CS-95-158R》 * |
杨晓斌等: "《基于统计处理图像放大方法在人脸识别中应用》", 《计算机技术与发展》 * |
梁路宏等: "《基于模板匹配与支持矢量机的人脸检测》", 《计算机学报》 * |
肖哲: "《基于统一特征空间的低分辨率人脸识别算法》", 《中国优秀硕士论文全文数据库信息科技辑》 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019114476A1 (en) * | 2017-12-15 | 2019-06-20 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image processing method and apparatus, and electronic device |
US11003891B2 (en) | 2017-12-15 | 2021-05-11 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image processing method and apparatus, and electronic device |
CN108830783A (zh) * | 2018-05-31 | 2018-11-16 | 北京市商汤科技开发有限公司 | 一种图像处理方法、装置和计算机存储介质 |
US11288796B2 (en) | 2018-05-31 | 2022-03-29 | Beijing Sensetime Technology Development Co., Ltd. | Image processing method, terminal device, and computer storage medium |
CN109034380A (zh) * | 2018-06-08 | 2018-12-18 | 四川斐讯信息技术有限公司 | 一种分布式的图像识别系统及其方法 |
CN109086789A (zh) * | 2018-06-08 | 2018-12-25 | 四川斐讯信息技术有限公司 | 一种图像识别方法及系统 |
CN109003327A (zh) * | 2018-06-29 | 2018-12-14 | 平安科技(深圳)有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
CN109002786A (zh) * | 2018-07-06 | 2018-12-14 | 深圳市富士智能系统有限公司 | 人脸检测方法、设备及计算机可读存储介质 |
CN109002786B (zh) * | 2018-07-06 | 2022-02-18 | 深圳市富士智能系统有限公司 | 人脸检测方法、设备及计算机可读存储介质 |
CN109409203A (zh) * | 2018-09-07 | 2019-03-01 | 安徽恒科信息技术有限公司 | 一种图像比对识别管理系统 |
TWI739601B (zh) * | 2020-05-28 | 2021-09-11 | 大陸商上海商湯智能科技有限公司 | 圖像處理方法、電子設備和儲存介質 |
CN112287798A (zh) * | 2020-10-23 | 2021-01-29 | 深圳市商汤科技有限公司 | 测温方法及装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
EP3499410A1 (en) | 2019-06-19 |
CN107967677B (zh) | 2020-02-04 |
WO2019114476A1 (en) | 2019-06-20 |
US11003891B2 (en) | 2021-05-11 |
US20190188452A1 (en) | 2019-06-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107967677A (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 | |
US11087447B2 (en) | Systems and methods for quality assurance of image recognition model | |
CN109325954B (zh) | 图像分割方法、装置及电子设备 | |
WO2017000716A2 (zh) | 图片的管理方法、装置及终端设备 | |
CN110233971B (zh) | 一种拍摄方法及终端、计算机可读存储介质 | |
US9558401B2 (en) | Scanbox | |
US20230085605A1 (en) | Face image processing method, apparatus, device, and storage medium | |
CN108717530B (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
CN102693528B (zh) | 低光度图像中的噪声抑制 | |
Bellavia et al. | Dissecting and reassembling color correction algorithms for image stitching | |
CN110490214B (zh) | 图像的识别方法及系统、存储介质及处理器 | |
JP2021531571A (ja) | 証明書画像抽出方法及び端末機器 | |
CN110599554A (zh) | 人脸肤色的识别方法和装置、存储介质及电子装置 | |
CN113642639B (zh) | 活体检测方法、装置、设备和存储介质 | |
CN114331946B (zh) | 一种图像数据处理方法、设备以及介质 | |
CN112597995B (zh) | 车牌检测模型训练方法、装置、设备及介质 | |
KR102102403B1 (ko) | 위조 영상 인쇄물 감식을 통한 코드인증방법과 그 응용 시스템 | |
CN111932462B (zh) | 图像降质模型的训练方法、装置和电子设备、存储介质 | |
CN114511820A (zh) | 货架商品检测方法、装置、计算机设备及存储介质 | |
CN112200844A (zh) | 生成图像的方法、装置、电子设备及介质 | |
JP2021189527A (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN107862654A (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
CN112668675B (zh) | 一种图像处理方法、装置、计算机设备及存储介质 | |
CN114170425A (zh) | 模型训练、图像分类方法、服务器及存储介质 | |
CN113128278B (zh) | 一种图像识别方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1251704 Country of ref document: HK |
|
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant after: OPPO Guangdong Mobile Communications Co., Ltd. Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant before: Guangdong Opel Mobile Communications Co., Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |