CN106776662B - 一种照片的分类整理方法和装置 - Google Patents

一种照片的分类整理方法和装置 Download PDF

Info

Publication number
CN106776662B
CN106776662B CN201510833467.9A CN201510833467A CN106776662B CN 106776662 B CN106776662 B CN 106776662B CN 201510833467 A CN201510833467 A CN 201510833467A CN 106776662 B CN106776662 B CN 106776662B
Authority
CN
China
Prior art keywords
album
face image
photo
photos
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510833467.9A
Other languages
English (en)
Other versions
CN106776662A (zh
Inventor
谭国富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201510833467.9A priority Critical patent/CN106776662B/zh
Priority to PCT/CN2016/083417 priority patent/WO2017088401A1/zh
Publication of CN106776662A publication Critical patent/CN106776662A/zh
Priority to US15/694,162 priority patent/US10303948B2/en
Priority to US16/386,152 priority patent/US10586108B2/en
Application granted granted Critical
Publication of CN106776662B publication Critical patent/CN106776662B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23211—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with adaptive number of clusters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/164—Detection; Localisation; Normalisation using holistic features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00185—Image output
    • H04N1/00196—Creation of a photo-montage, e.g. photoalbum

Abstract

本发明公开了一种照片的分类整理方法和装置，可以实现基于人脸识别自动整理照片。本发明方法包括：对需要分类的所有照片分别进行人脸检测，得到人脸图像特征集合；对人脸图像特征集合中的每一对人脸图像特征进行人脸匹配相似度计算，得到每一对人脸图像特征对应的相似度；将初始的相册集合作为初始条件，根据每一对人脸图像特征对应的相似度循环多次的计算两个相册集合之间的平均相似度是否超过预置的相似度阈值，将平均相似度超于相似度阈值的两个相册集合合并为一个相册集合，直到没有可合并的相册集合为止；输出循环结束后得到的至少一个相册集合，在循环结束后得到的每一个相册集合中包括对应于同一个人脸图像特征的至少一张照片。

Description

一种照片的分类整理方法和装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种照片的分类整理方法和装置。
背景技术
目前，随着数码相机、手机、摄像头等的普及，图片产生的数量越来越多，特别是在用户出游时，会沿途拍摄很多风景的照片，比如跟旅行团的游客，每天会参观多个景点，这样一天游玩过后，相机、手机或者其他的照相设备里面都会存储很多张照片，如何整理这些照片是一个难题，照片的数量会很多，如果人工分类会耗时耗力，并且不同的设备由同一个用户使用后都有同类型的照片，同一个设备被不同的用户使用后也都产生大量的照片，人工整理时很难避免疏漏。
同时，人们单独时候喜欢拍摄自拍照，一起出游时喜欢拍摄合影照片，朋友们、家人出游多共用一个相机，或多个照片设备上传到同一个相册时，相册内部就包含了很多用户的照片。而人们在浏览相册时只能从一大堆照片中去查找自己所要的照片，而对于传统的相册整理方法，一般利用了拍摄的时间信息和地点信息将照片按照拍摄的时间和地点分别生成相册，但是现有的相册整理方法只能满足用户对时间、地点都有区分要求的需要，这种方法不能满足用户浏览相册中人像分类的需求。
发明内容
本发明实施例提供了一种照片的分类整理方法和装置，可以实现基于人脸识别自动整理照片，满足用户按照人像分类浏览多个相册的需求。
为解决上述技术问题，本发明实施例提供以下技术方案：
第一方面，本发明实施例提供一种照片的分类整理方法，包括：
对需要分类的所有照片分别进行人脸检测，得到人脸图像特征集合，所述人脸图像特征集合，包括：从每一张照片中检测到的人脸图像特征，所述人脸图像特征集合中的每一个人脸图像特征都对应有一张照片；
对所述人脸图像特征集合中的每一对人脸图像特征进行人脸匹配相似度计算，得到每一对人脸图像特征对应的相似度，所述每一对人脸图像特征通过所述人脸图像特征集合中的任意两个人脸图像特征进行组合得到；
将所述人脸图像特征集合中的每一个人脸图像特征对应的一张照片作为一个初始的相册集合，将所述初始的相册集合作为初始条件，根据所述每一对人脸图像特征对应的相似度循环多次的计算两个相册集合之间的平均相似度是否超过预置的相似度阈值，将平均相似度超于所述相似度阈值的两个相册集合合并为一个相册集合，直到没有可合并的相册集合为止；
输出循环结束后得到的至少一个相册集合，在所述循环结束后得到的每一个相册集合中包括对应于同一个人脸图像特征的至少一张照片。
第二方面，本发明实施例还提供一种照片的分类整理装置，包括：
人脸检测模块，用于对需要分类的所有照片分别进行人脸检测，得到人脸图像特征集合，所述人脸图像特征集合，包括：从每一张照片中检测到的人脸图像特征，所述人脸图像特征集合中的每一个人脸图像特征都对应有一张照片；
人脸相似度计算模块，用于对所述人脸图像特征集合中的每一对人脸图像特征进行人脸匹配相似度计算，得到每一对人脸图像特征对应的相似度，所述每一对人脸图像特征通过所述人脸图像特征集合中的任意两个人脸图像特征进行组合得到；
相册合并模块，用于将所述人脸图像特征集合中的每一个人脸图像特征对应的一张照片作为一个初始的相册集合，将所述初始的相册集合作为初始条件，根据所述每一对人脸图像特征对应的相似度循环多次的计算两个相册集合之间的平均相似度是否超过预置的相似度阈值，将平均相似度超于所述相似度阈值的两个相册集合合并为一个相册集合，直到没有可合并的相册集合为止；
相册输出模块，用于输出循环结束后得到的至少一个相册集合，在所述循环结束后得到的每一个相册集合中包括对应于同一个人脸图像特征的至少一张照片。
从以上技术方案可以看出，本发明实施例具有以下优点：
在本发明实施例中，首先对需要分类的所有照片分别进行人脸检测，得到人脸图像特征集合，然后计算出每一对人脸图像特征对应的相似度，接下来将人脸图像特征集合中的每一个人脸图像特征对应的一张照片作为一个初始的相册集合，将初始的相册集合作为初始条件，根据每一对人脸图像特征对应的相似度循环多次的计算两个相册集合之间的平均相似度是否超过预置的相似度阈值，将平均相似度超于相似度阈值的两个相册集合合并为一个相册集合，直到没有可合并的相册集合为止，最后输出循环结束后得到的至少一个相册集合，在循环结束后得到的每一个相册集合中包括对应于同一个人脸图像特征的至少一张照片。由于本发明实施例中相册集合之间的合并条件时通过人脸图像特征之间的匹配相似度，因此在合并后的相册集合中都包括有同一个人脸图像特征对应的照片，故本发明实施例中能够根据人脸图像特征将需要分类的所有照片进行相册集合的划分，使得最后输出的一个相册集合中包括的所有照片都对应于同一个人脸图像特征，因此可以实现基于人脸识别自动整理照片，满足用户按照人像分类浏览多个相册的需求。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种照片的分类整理方法的流程方框示意图；
图2为本发明实施例提供的照片显示系统的组成结构示意图；
图3为本发明实施例提供的一种照片的分类整理方法的应用场景示意图；
图4-a为本发明实施例提供的一种照片的分类整理装置的组成结构示意图；
图4-b为本发明实施例提供的另一种照片的分类整理装置的组成结构示意图；
图4-c为本发明实施例提供的另一种照片的分类整理装置的组成结构示意图；
图5为本发明实施例提供的照片的分类整理方法应用于服务器的组成结构示意图。
具体实施方式
本发明实施例提供了一种照片的分类整理方法和装置，可以实现基于人脸识别自动整理照片，满足用户按照人像分类浏览多个相册的需求。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域的技术人员所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
以下分别进行详细说明。
本发明照片的分类整理方法的一个实施例，具体可以应用于对多张照片的系统分类中，请参阅图1所示，本发明一个实施例提供的照片的分类整理方法，可以包括如下步骤：
101、对需要分类的所有照片分别进行人脸检测，得到人脸图像特征集合，人脸图像特征集合，包括：从每一张照片中检测到的人脸图像特征。
其中，人脸图像特征集合中的每一个人脸图像特征都对应有一张照片。
在本发明实施例中，来自一个设备或者多个设备的照片都需要分类整理时，首先将需要分类的所有照片输入到本发明实施例提供的照片的分类整理装置中，则本发明实施例中首先获取到需要分类的所有照片，然后对需要分类的所有照片逐一的进行人脸检测，也可以对需要分类的所有照片同时进行人脸检测。其中，本发明实施例中对照片的人脸检测可以采用多种特征提取方法。提取特征的方法例如局部二值模式(英文全称：LocalBinary Patterns，英文简称：LBP)、方向梯度直方图(英文全称：Histogram of OrientedGradient，英文简称：HOG)、GABOR基于深度学习的方法等等，本发明实施例并不限制使用的人脸识别的具体方法。
在本发明实施例中，对需要分类的所有照片分别进行人脸检测之后，可以从每一张照片都提取到人脸图像特征，提取到的所有人脸图像特征组成人脸图像特征集合。在本发明的一些实施例中，本发明实施例提供的照片的分类整理方法还可以包括如下步骤：
当步骤101对需要分类的所有照片分别进行人脸检测之后，执行步骤A1：
将需要分类的所有照片中没有检测到人脸图像特征的照片输出到非人像相册中。
其中，本发明实施例中，步骤101对照片进行人脸检测之后可以将包括有人脸图像特征的照片保留以备后续实施例中进行相册分类整理，而对于没有检测到人脸图像特征的照片，则这样的照片不属于人像照片，例如可以是拍摄的风景照片，可以将这类不包括人脸图像特征的照片输出到非人像相册中，而保留包括人脸图像特征的照片到人像相册中，后续实施例中可以对人像相册中的所有人像照片进一步的按照人像进行分类。
需要说明的是，在本发明实施例中，需要分类的每一张照片中可以检测出人脸图像特征，也可以检测不到人脸图像特征。并且在一张照片中可以检测到一个人脸图像特征，对于合照的人像照片也可以检测到多个人脸图像特征，具体由用户提供的供分类的照片的实际包含内容来决定。当一张照片中只检测到一个人脸图像特征时，将该检测到的一个人脸图像特征放入到人脸图像特征集合中，在一个合照的照片中检测到至少两个人脸图像特征时，将检测到的所有人脸图像特征都放入到人脸图像特征集合中。并且，本发明实施例中，对于人脸图像特征集合中的每一个人脸图像特征都对应于一张照片，也就是说，若一张照片中检测到N个人脸图像特征时需要将该照片复制N-1份，再加上原照片，共存在N张同样的照片用于和N个人脸图像特征分别一一对应。举例说明如下，若需要分类的所有照片有3张，分别为照片P1、P2、P3，若照片P1中检测到一个人脸图像特征f1，照片P2中检测到两个人脸图像特征f2、f3，照片P3中检测到三个人脸图像特征f4、f5、f6，则需要该3张照片中检测到的所有人脸图像特征f1、f2、f3、f4、f5、f6都放入到人脸图像特征集合中，在该人脸图像特征集合中共包括有6个人脸图像特征，每个人脸图像特征对应有一张照片，因此需要将照片P2复制一份，将照片P3复制两份，用于保证人脸图像特征集合中的每一个人脸图像特征都对应有一张照片。
102、对人脸图像特征集合中的每一对人脸图像特征进行人脸匹配相似度计算，得到每一对人脸图像特征对应的相似度。
其中，每一对人脸图像特征通过人脸图像特征集合中的任意两个人脸图像特征进行组合得到。
在本发明实施例中，通过步骤101获取到人脸图像特征集合之后，对于该人脸图像特征集合中的任意两个人脸图像特征进行组合可以得到每一对人脸图像特征，其中，一对人脸图像特征指的是人脸图像特征集合中的两个人脸图像特征构成的特征对，人脸图像特征集合中的每一个人脸图像特征进行相互的两两组合可以得到人脸图像特征集合中的每一对人脸图像特征。举例说明如下，在人脸图像特征集合中共包括有6个人脸图像特征，所有人脸图像特征为：f1、f2、f3、f4、f5、f6，则人脸图像特征集合中的一对人脸图像特征可以为(f1，f2)，或(f1，f3)，或(f1，f4)，或(f1，f5)，或(f1，f6)，或(f2，f3)，或(f2，f4)，或(f2，f5)，或(f2，f6)，或(f3，f4)，或(f3，f5)，或(f3，f6)，或(f4，f5)，或(f5，f6)。可以理解的是，本发明实施例中(f2，f1)和(f1，f2)指的是同一对人脸图像特征。
从人脸图像特征集合中选择单个人脸图像特征构成一对人脸图像特征之后，对每一对人脸图像特征进行人脸匹配相似度计算，得到每一对人脸图像特征对应的相似度。其中，一对人脸图像特征内两个人脸图像特征之间的相似程度定义为一对人脸图像特征对应的相似度。两个人脸图像特征之间的相似度可以通过计算两个人脸图像特征之间的距离作为相似度衡量，例如可以计算两个人脸图像特征之间的cos距离或者欧式距离来衡量一对人脸图像特征对应的相似度。
103、将人脸图像特征集合中的每一个人脸图像特征对应的一张照片作为一个初始的相册集合，将初始的相册集合作为初始条件，根据每一对人脸图像特征对应的相似度循环多次的计算两个相册集合之间的平均相似度是否超过预置的相似度阈值，将平均相似度超于相似度阈值的两个相册集合合并为一个相册集合，直到没有可合并的相册集合为止。
在本发明实施例中，步骤102中计算出人脸图像特征集合中的每一对人脸图像特征对应的相似度之后，执行步骤103按照人脸图像特征之间的相似度将人脸图像特征很相似的照片合并入一个相册集合。步骤103中在初始条件时，人脸图像特征集合中的每一个人脸图像特征对应的一张照片作为一个初始的相册集合，将初始的相册集合作为初始条件，即在初始状态，人脸图像特征集合中有多少个人脸图像特征就存在同样个数的初始的相册集合。对于初始的所有相册集合通过两个相册集合之间的平均相似度是否超过预置的相似度阈值来确定两个相册集合是否合并入同一个相册集合，若两个相册集合之间的平均相似度超过相似度阈值，则说明这两个相册集合中包括的照片具有相同的人脸图像特征，这两个相册集合中的照片都具有同一个人脸图像特征，因此可以进行合并，若两个相册集合之间的平均相似度没有超过相似度阈值，则说明这两个相册集合中包括的照片具有不同的人脸图像特征，因此这两个相册集合不可以可以进行合并。在完成一轮的相册集合之后，继续使用两个相册集合之间的平均相似度与相似度阈值的关系进行相册集合是否合并的判断，直至没有可合并的相册集合为止。其中，两个相册集合之间的平均相似度指的是两个相册集合中包括的照片对应的人脸图像特征之间的平均相似程度，在初始状态时每一个相册集合只包括一个照片，所以初始的两个相册集合之间的评价相似度就等于初始的两个相册集合内的照片对应的人脸图像特征之间的相似度，随着相册集合包括的照片的不断增加，两个相册集合中是否包括对应于同一个人脸图像特征的照片可以通过平均相似度与相似度阈值的关系来确定。
需要说明的是，在本发明实施例中，两个相册集合之间的平均相似度与两个相册集合中的包括的照片对应的人脸图像特征有关，并且与具有同一个人脸图像特征的照片个数有关，在具体的实现场景中，可以通过多种方式来计算两个相册集合之间的平均相似度，只要通过两个人脸图像特征之间的相似度以及照片的个数来衡量的平均相似度都可以作为两个相册集合之间的平均相似度的计算实现方式。例如，在本发明的一些实施例中，步骤103中根据每一对人脸图像特征对应的相似度循环多次的计算两个相册集合之间的平均相似度是否超过预置的相似度阈值，具体可以包括如下步骤：
B1、通过如下方式计算两个相册集合之间的平均相似度：
Figure BDA0000857683410000081
其中，
Figure BDA0000857683410000083
表示平均相似度，Ai表示两个相册集合的其中一个相册集合，Aj表示两个相册集合的另一个相册集合，fi表示相册集合Ai中的照片对应的人脸图像特征，fj表示相册集合Aj中的照片对应的人脸图像特征，sij表示人脸图像特征fi和人脸图像特征fj构成的一对人脸图像特征对应的相似度，ni表示相册集合Ai中的人脸图像特征fi对应的照片张数，nj表示相册集合Aj中的人脸图像特征fj对应的照片张数，i和j为不相等的两个自然数；
B2、通过如下方式计算平均相似度
Figure BDA0000857683410000084
是否超过预置的相似度阈值：
Figure BDA0000857683410000082
其中，sthr表示预置的相似度阈值。
在上述步骤B1和步骤B2中，以两个相册集合Ai和Aj之间是否可合并进行举例说明，i和j为不相等的两个自然数，则可以通过i和j的取值变化，可以计算出所有的两个相册集合之间是否可以合并，完成平均相似度的计算之后，进一步的执行步骤B2的判断过程，可以确定两个相册集合是否能够合并。需要说明的是，上述步骤B1和步骤B2描述了两个相册集合之间是否可合并的判断过程，本发明实施例中需要多次循环的执行步骤B1和步骤B2，以完成所有满足相似度阈值的两个相册集合之间的合并，直到没有可合并的相册集合为止才停止循环计算，并在循环计算结束后执行步骤104。
需要说明的是，在本发明实施例中，两个相册集合之间的平均相似度中步骤B1的计算方式只是示意说明了一种可实现的方式，在本发明的不同应用场景中，还可以采用其他的计算方式来确定平均相似度，举例说明如下，可以考虑不同照片对应的人脸图像特征分配不同的权重，对于照片中人脸图像特征个数少的照片分配大的权重，对于照片中人脸图像特征个数多的照片分配小的权重，从而可以调节平均相似度的最后结果，又如，还可以对上述步骤B1中的计算公式进行进一步的修正，例如可以乘上一个调节比例因子，从而改变平均相似度的计算方式，则这种方式也是可实现的平均相似度计算方式。另外，本发明实施例中相似度阈值可以根据具体的应用场景来灵活设定，例如可以通过多个照片对应的人脸图像特征进行模拟仿真，最后确定一个阈值作为相似度阈值，常用的，相似度阈值可以为90％以上的一个百分值，例如90％或92％等。
104、输出循环结束后得到的至少一个相册集合，在循环结束后得到的每一个相册集合中包括对应于同一个人脸图像特征的至少一张照片。
在本发明实施例中，通过步骤103的循环多次的相册集合的可合并计算，直到没有可合并的相册集合为止才停止循环计算，并在循环计算结束后输出最后得到的至少一个相册集合，由于可合并的相册集合之间都包括有相同人脸图像特征的照片，而不可再合并的相册集合之间不包括同一个人脸图像特征的照片，因此在步骤104中循环结束后得到的至少一个相册集合中，每一个相册集合中内包括的照片都对应于同一个人脸图像特征，这些照片都是按照同一个人脸图像特征而进行的照片分类，因此当用户打开循环结束后得到的相册集合之后，用户可以看到一个相册集合内的所有照片都包含了同一个人像，则用户可以方便的浏览到只对应于一个人像的所有照片，满足了用户以人像为目标的照片浏览需求。
在本发明的一些实施例中，步骤104输出循环结束后得到的至少一个相册集合之后，本发明实施例提供的照片的分类整理方法还可以包括如下步骤：
C1、提示用户对循环结束后得到的每一个相册集合按照该相册集合中的所有照片对应的同一个人脸图像特征进行相册命名，将循环结束后得到的每一个相册集合更名为用户输入的命名结果。
其中，步骤104中循环结束后输出的相册集合都是按照人脸图像特征进行分类的相册，步骤104中可以通过用户界面向外输出循环结束后得到的至少一个相册集合，用户可以浏览这些输出的相册集合，同时本发明实施例中可以向用户提示对各个相册进行命名，当用户输入命名结果之后，可以按照用户输入的命名结果对相册集合进行更名，以方便用户的后续浏览相册集合。
在本发明的一些实施例中，步骤104输出循环结束后得到的至少一个相册集合之后，本发明实施例提供的照片的分类整理方法还可以包括如下步骤：
D1、按照照片的拍摄时间顺序对循环结束后得到的每一个相册集合中的所有照片进行排序，或者按照照片的拍摄时间顺序对循环结束后得到的每一个相册集合中的所有照片划分为不同的子相册集合，并对各个子相册按照拍摄时间进行命名。
其中，步骤104中循环结束后输出的相册集合都是按照人脸图像特征进行分类的相册。由于照片在拍摄设备生成之后通常可以携带有拍摄时间信息，因此本发明实施例中为了便于用户的浏览需要，可以按照同一个相册集合内的照片拍摄时间进行照片排序，或者按照拍摄时间将同一个相册集合内的照片分成不同的子相册集合，还可以对子相册集合按照拍摄时间进行命名，从而更方便用户的浏览查阅。
通过以上实施例对本发明实施例的描述可知，首先对需要分类的所有照片分别进行人脸检测，得到人脸图像特征集合，然后计算出每一对人脸图像特征对应的相似度，接下来将人脸图像特征集合中的每一个人脸图像特征对应的一张照片作为一个初始的相册集合，将初始的相册集合作为初始条件，根据每一对人脸图像特征对应的相似度循环多次的计算两个相册集合之间的平均相似度是否超过预置的相似度阈值，将平均相似度超于相似度阈值的两个相册集合合并为一个相册集合，直到没有可合并的相册集合为止，最后输出循环结束后得到的至少一个相册集合，在循环结束后得到的每一个相册集合中包括对应于同一个人脸图像特征的至少一张照片。由于本发明实施例中相册集合之间的合并条件时通过人脸图像特征之间的匹配相似度，因此在合并后的相册集合中都包括有同一个人脸图像特征对应的照片，故本发明实施例中能够根据人脸图像特征将需要分类的所有照片进行相册集合的划分，使得最后输出的一个相册集合中包括的所有照片都对应于同一个人脸图像特征，因此可以实现基于人脸识别自动整理照片，满足用户按照人像分类浏览多个相册的需求。
为便于更好的理解和实施本发明实施例的上述方案，下面举例相应的应用场景来进行具体说明。如图2所示，图2为本发明实施例提供的照片显示系统的组成结构示意图，照片显示系统包括三个部分：用户界面(英文全称：User Interface，英文简称：UI)显示装置，图片编解码装置，照片的分类整理装置。
其中，UI显示装置负责图片的和操作界面的显示，图片编解码装置负责对图片进行编解码操作，照片的分类整理装置负责对照片整理，自动生成相册功能。
具体的，UI显示装置可以包括：图片显示界面模块和查看器操作栏模块，其中，各模块功能描述如下：
图片显示界面模块：负责将解码后的图像显示出来。
查看器操作栏模块：负责显示查看器窗体一些操作按钮，包括自动生成相册。
图片编解码装置可以包括：图片解码模块和图片编码模块，其中，各模块功能描述如下：
图片解码模块：用来解析图片的编码，变成原始图片信息流，例如RGB格式的图像数据。
图片编码模块：将原始图片信息流编码为JPEG等图片格式。
照片的分类整理装置可以基于人脸识别自动整理照片，首先将用户的照片进行人脸检测，然后利用人脸相似度计算，将相似度高的人像照片放入同一个相册，将相册展示给客户，用户标注相册的人名，然后对相册内照片按照日期、人名进行分类命名，从而生成每个人的个人相册。接下来进行详细说明，请参阅如图3所示，图3为本发明实施例提供的一种照片的分类整理方法的应用场景示意图。
步骤S01：对全部的照片进行人脸检测，没有检测到人脸图像特征的照片放入到风景相册，设检测到的人脸图像特征集合为F＝{fi,f2,…,fn}，fi对应的照片为Pi。
步骤S02：对F内的每一对人脸图像特征fi和fj(i不等于j)利用人脸识别算法计算fi和fj的相似度。得到相似度矩阵M＝{Si,j|i≠j}，sij是fi和fj的相似度的相似度。
步骤S03：对于F内的每个人脸图像特征fi初始化为一个相册集合Ai，循环进行下面处理，直到没有集合可以合并：
对于Ai和Aj计算，平均相似度
Figure BDA0000857683410000121
如果平均相似度大于相似度阈值90％，则将Ai和Aj合并，否则不进行合并。
其中，Ai表示两个相册集合的其中一个相册集合，Aj表示两个相册集合的另一个相册集合，fi表示相册集合Ai中的照片对应的人脸图像特征，fj表示相册集合Aj中的照片对应的人脸图像特征，sij表示人脸图像特征fi和人脸图像特征fj构成的一对人脸图像特征对应的相似度，ni表示相册集合Ai中的人脸图像特征fi对应的照片张数，nj表示相册集合Aj中的人脸图像特征fj对应的照片张数。
步骤S04：将合并的相册集合提示给用户命名，让用户对循环结束后输出的每个相册集合进行命名。
例如，循环结束后输出的相册集合为A＝{A1,A2,…,An}，A表示循环结束后输出的所有相册集合，A1,A2,…,An表示不可再合并的n个相册集合。
步骤S05：根据命名结果和照片的拍摄日期对循环结束后的相册集合命名。
根据用户的命名将Ai对应的相片Pi生成一个相册，相册内以拍摄日期分成子相册，每个子相册的名字为人名+时间。将所有生成的人像相册和风景相册展示给用户。
通过前述实施例对本发明的举例说明可知，本发明实施例使用了人脸识别技术来计算照片间人脸图像特征的相似度，具有很高的准确度，按照人像对照片分类，满足了用户查看相关人照片的需求，以人物名字结合时间为相册命名，便于用户浏览。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
为便于更好的实施本发明实施例的上述方案，下面还提供用于实施上述方案的相关装置。
请参阅图4-a所示，本发明实施例提供的一种照片的分类整理装置400，可以包括：人脸检测模块401、人脸相似度计算模块402、相册输出模块403和相册输出模块404，其中，
人脸检测模块401，用于对需要分类的所有照片分别进行人脸检测，得到人脸图像特征集合，所述人脸图像特征集合，包括：从每一张照片中检测到的人脸图像特征，所述人脸图像特征集合中的每一个人脸图像特征都对应有一张照片；
人脸相似度计算模块402，用于对所述人脸图像特征集合中的每一对人脸图像特征进行人脸匹配相似度计算，得到每一对人脸图像特征对应的相似度，所述每一对人脸图像特征通过所述人脸图像特征集合中的任意两个人脸图像特征进行组合得到；
相册合并模块403，用于将所述人脸图像特征集合中的每一个人脸图像特征对应的一张照片作为一个初始的相册集合，将所述初始的相册集合作为初始条件，根据所述每一对人脸图像特征对应的相似度循环多次的计算两个相册集合之间的平均相似度是否超过预置的相似度阈值，将平均相似度超于所述相似度阈值的两个相册集合合并为一个相册集合，直到没有可合并的相册集合为止；
相册输出模块404，用于输出循环结束后得到的至少一个相册集合，在所述循环结束后得到的每一个相册集合中包括对应于同一个人脸图像特征的至少一张照片。
在本发明的一些实施例中，请参阅如图4-b所示，所述照片的分类整理装置400还包括：相册命名模块405，用于所述相册输出模块404输出循环结束后得到的至少一个相册集合之后，提示用户对所述循环结束后得到的每一个相册集合按照该相册集合中的所有照片对应的同一个人脸图像特征进行相册命名，将所述循环结束后得到的每一个相册集合更名为所述用户输入的命名结果。
在本发明的一些实施例中，请参阅如图4-c所示，相对于如图4-a所示，所述照片的分类整理装置400还包括：照片处理模块406，用于所述相册输出模块404输出循环结束后得到的至少一个相册集合之后，按照照片的拍摄时间顺序对所述循环结束后得到的每一个相册集合中的所有照片进行排序，或者按照照片的拍摄时间顺序对所述循环结束后得到的每一个相册集合中的所有照片划分为不同的子相册集合，并对各个子相册按照拍摄时间进行命名。
在本发明的一些实施例中，所述相册输出模块404，还用于所述人脸检测模块对需要分类的所有照片分别进行人脸检测之后，将需要分类的所有照片中没有检测到人脸图像特征的照片输出到非人像相册中。
在本发明的一些实施例中，所述相册合并模块403，具体用于通过如下方式计算所述两个相册集合之间的平均相似度：
Figure BDA0000857683410000141
其中，所述
Figure BDA0000857683410000142
表示平均相似度，所述Ai表示所述两个相册集合的其中一个相册集合，所述Aj表示所述两个相册集合的另一个相册集合，所述fi表示相册集合Ai中的照片对应的人脸图像特征，所述fj表示相册集合Aj中的照片对应的人脸图像特征，所述sij表示人脸图像特征fi和人脸图像特征fj构成的一对人脸图像特征对应的相似度，所述ni表示相册集合Ai中的人脸图像特征fi对应的照片张数，所述nj表示相册集合Aj中的人脸图像特征fj对应的照片张数，所述i和所述j为不相等的两个自然数；
通过如下方式计算所述平均相似度
Figure BDA0000857683410000143
是否超过预置的相似度阈值：
Figure BDA0000857683410000144
其中，所述sthr表示预置的相似度阈值。
通过以上实施例对本发明实施例的描述可知，首先对需要分类的所有照片分别进行人脸检测，得到人脸图像特征集合，然后计算出每一对人脸图像特征对应的相似度，接下来将人脸图像特征集合中的每一个人脸图像特征对应的一张照片作为一个初始的相册集合，将初始的相册集合作为初始条件，根据每一对人脸图像特征对应的相似度循环多次的计算两个相册集合之间的平均相似度是否超过预置的相似度阈值，将平均相似度超于相似度阈值的两个相册集合合并为一个相册集合，直到没有可合并的相册集合为止，最后输出循环结束后得到的至少一个相册集合，在循环结束后得到的每一个相册集合中包括对应于同一个人脸图像特征的至少一张照片。由于本发明实施例中相册集合之间的合并条件时通过人脸图像特征之间的匹配相似度，因此在合并后的相册集合中都包括有同一个人脸图像特征对应的照片，故本发明实施例中能够根据人脸图像特征将需要分类的所有照片进行相册集合的划分，使得最后输出的一个相册集合中包括的所有照片都对应于同一个人脸图像特征，因此可以实现基于人脸识别自动整理照片，满足用户按照人像分类浏览多个相册的需求。
图5是本发明实施例提供的一种服务器结构示意图，该服务器500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processingunits，CPU)522(例如，一个或一个以上处理器)和存储器532，一个或一个以上存储应用程序542或数据544的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器532和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器522可以设置为与存储介质530通信，在服务器500上执行存储介质530中的一系列指令操作。
服务器500还可以包括一个或一个以上电源526，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口558，和/或，一个或一个以上操作系统541，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
上述实施例中由服务器所执行的步骤可以基于该图5所示的服务器结构。
通过以上实施例对本发明实施例的描述可知，首先对需要分类的所有照片分别进行人脸检测，得到人脸图像特征集合，然后计算出每一对人脸图像特征对应的相似度，接下来将人脸图像特征集合中的每一个人脸图像特征对应的一张照片作为一个初始的相册集合，将初始的相册集合作为初始条件，根据每一对人脸图像特征对应的相似度循环多次的计算两个相册集合之间的平均相似度是否超过预置的相似度阈值，将平均相似度超于相似度阈值的两个相册集合合并为一个相册集合，直到没有可合并的相册集合为止，最后输出循环结束后得到的至少一个相册集合，在循环结束后得到的每一个相册集合中包括对应于同一个人脸图像特征的至少一张照片。由于本发明实施例中相册集合之间的合并条件时通过人脸图像特征之间的匹配相似度，因此在合并后的相册集合中都包括有同一个人脸图像特征对应的照片，故本发明实施例中能够根据人脸图像特征将需要分类的所有照片进行相册集合的划分，使得最后输出的一个相册集合中包括的所有照片都对应于同一个人脸图像特征，因此可以实现基于人脸识别自动整理照片，满足用户按照人像分类浏览多个相册的需求。
另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本发明而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘，U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
综上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照上述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对上述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (11)

1.一种照片的分类整理方法，其特征在于，包括：
对需要分类的所有照片分别进行人脸检测，得到人脸图像特征集合，所述人脸图像特征集合，包括：从每一张照片中检测到的人脸图像特征，所述人脸图像特征集合中的每一个人脸图像特征都对应有一张照片；
对所述人脸图像特征集合中的每一对人脸图像特征进行人脸匹配相似度计算，得到每一对人脸图像特征对应的相似度，所述每一对人脸图像特征通过所述人脸图像特征集合中的任意两个人脸图像特征进行组合得到；
将所述人脸图像特征集合中的每一个人脸图像特征对应的一张照片作为一个初始的相册集合，将所述初始的相册集合作为初始条件，且所述初始的相册集合的个数与所述人脸图像特征集合中的人脸图像特征的个数相同；
判断所有初始的相册集合中任意两个初始的相册集合之间的平均相似度是否超过预置的相似度阈值，将平均相似度超过所述相似度阈值的两个初始的相册集合合并为一个相册集合；
在完成一轮相册集合合并处理之后，继续使用任意两个相册集合之间的平均相似度与所述相似度阈值的关系执行相册集合是否合并的判断，直到没有可合并的相册集合为止；其中两个相册集合之间的平均相似度为，两个相册集合中包括的照片对应的人脸图像特征之间的平均相似度，与两个相册集合中包括的照片对应的人脸图像特征有关，并且与具有同一个人脸图像特征的照片的个数有关
输出循环结束后得到的至少一个相册集合，在所述循环结束后得到的每一个相册集合中包括对应于同一个人脸图像特征的至少一张照片。
2.根据权利要求1所述的方法，其特征在于，在所述输出循环结束后得到的至少一个相册集合之后，所述方法还包括：
提示用户对所述循环结束后得到的每一个相册集合按照该相册集合中的所有照片对应的同一个人脸图像特征进行相册命名，将所述循环结束后得到的每一个相册集合更名为所述用户输入的命名结果。
3.根据权利要求1或2所述的方法，其特征在于，在所述输出循环结束后得到的至少一个相册集合之后，所述方法还包括：
按照照片的拍摄时间顺序对所述循环结束后得到的每一个相册集合中的所有照片进行排序，或者按照照片的拍摄时间顺序将所述循环结束后得到的每一个相册集合中的所有照片划分为不同的子相册集合，并对各个子相册集合按照拍摄时间进行命名。
4.根据权利要求1所述的方法，其特征在于，在所述对需要分类的所有照片分别进行人脸检测之后，所述方法还包括：
将需要分类的所有照片中没有检测到人脸图像特征的照片输出到非人像相册中。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
通过如下方式计算所述两个相册集合之间的平均相似度：
Figure FDA0002287821410000021
其中，所述
Figure FDA0002287821410000022
表示平均相似度，所述Ai表示所述两个相册集合的其中一个相册集合，所述Aj表示所述两个相册集合的另一个相册集合，所述fi表示相册集合Ai中的照片对应的人脸图像特征，所述fj表示相册集合Aj中的照片对应的人脸图像特征，所述sij表示人脸图像特征fi和人脸图像特征fj构成的一对人脸图像特征对应的相似度，所述ni表示相册集合Ai中的人脸图像特征fi对应的照片张数，所述nj表示相册集合Aj中的人脸图像特征fj对应的照片张数，所述i和所述j为不相等的两个自然数；
通过如下方式计算所述平均相似度
Figure FDA0002287821410000023
是否超过预置的相似度阈值：
Figure FDA0002287821410000024
其中，所述sthr表示预置的相似度阈值。
6.一种照片的分类整理装置，其特征在于，包括：
人脸检测模块，用于对需要分类的所有照片分别进行人脸检测，得到人脸图像特征集合，所述人脸图像特征集合，包括：从每一张照片中检测到的人脸图像特征，所述人脸图像特征集合中的每一个人脸图像特征都对应有一张照片；
人脸相似度计算模块，用于对所述人脸图像特征集合中的每一对人脸图像特征进行人脸匹配相似度计算，得到每一对人脸图像特征对应的相似度，所述每一对人脸图像特征通过所述人脸图像特征集合中的任意两个人脸图像特征进行组合得到；
相册合并模块，用于将所述人脸图像特征集合中的每一个人脸图像特征对应的一张照片作为一个初始的相册集合，将所述初始的相册集合作为初始条件，且所述初始的相册集合的个数与所述人脸图像特征集合中的人脸图像特征的个数相同；判断所有初始的相册集合中任意两个初始的相册集合之间的平均相似度是否超过预置的相似度阈值，将平均相似度超过所述相似度阈值的两个初始的相册集合合并为一个相册集合；在完成一轮相册集合合并处理之后，继续使用任意两个相册集合之间的平均相似度与所述相似度阈值的关系执行相册集合是否合并的判断，直到没有可合并的相册集合为止；其中两个相册集合之间的平均相似度为，两个相册集合中包括的照片对应的人脸图像特征之间的平均相似度，与两个相册集合中包括的照片对应的人脸图像特征有关，并且与具有同一个人脸图像特征的照片的个数有关；
相册输出模块，用于输出循环结束后得到的至少一个相册集合，在所述循环结束后得到的每一个相册集合中包括对应于同一个人脸图像特征的至少一张照片。
7.根据权利要求6所述的装置，其特征在于，所述照片的分类整理装置还包括：相册命名模块，用于在所述相册输出模块输出所述循环结束后得到的至少一个相册集合之后，提示用户对所述循环结束后得到的每一个相册集合按照该相册集合中的所有照片对应的同一个人脸图像特征进行相册命名，将所述循环结束后得到的每一个相册集合更名为所述用户输入的命名结果。
8.根据权利要求6或7所述的装置，其特征在于，所述照片的分类整理装置还包括：照片处理模块，用于在所述相册输出模块输出所述循环结束后得到的至少一个相册集合之后，按照照片的拍摄时间顺序对所述循环结束后得到的每一个相册集合中的所有照片进行排序，或者按照照片的拍摄时间顺序将所述循环结束后得到的每一个相册集合中的所有照片划分为不同的子相册集合，并对各个子相册集合按照拍摄时间进行命名。
9.根据权利要求6所述的装置，其特征在于，所述相册输出模块，还用于在所述人脸检测模块对需要分类的所有照片分别进行人脸检测之后，将需要分类的所有照片中没有检测到人脸图像特征的照片输出到非人像相册中。
10.根据权利要求6所述的装置，其特征在于，所述相册合并模块，具体用于通过如下方式计算所述两个相册集合之间的平均相似度：
Figure FDA0002287821410000041
其中，所述表示平均相似度，所述Ai表示所述两个相册集合的其中一个相册集合，所述Aj表示所述两个相册集合的另一个相册集合，所述fi表示相册集合Ai中的照片对应的人脸图像特征，所述fj表示相册集合Aj中的照片对应的人脸图像特征，所述sij表示人脸图像特征fi和人脸图像特征fj构成的一对人脸图像特征对应的相似度，所述ni表示相册集合Ai中的人脸图像特征fi对应的照片张数，所述nj表示相册集合Aj中的人脸图像特征fj对应的照片张数，所述i和所述j为不相等的两个自然数；
通过如下方式计算所述平均相似度
Figure FDA0002287821410000043
是否超过预置的相似度阈值：
Figure FDA0002287821410000044
其中，所述sthr表示预置的相似度阈值。
11.一种存储介质，其特征在于，所述存储介质中存储有指令，所述指令被执行时实现如权利要求1至5任一项所述的照片的分类整理方法。
CN201510833467.9A 2015-11-25 2015-11-25 一种照片的分类整理方法和装置 Active CN106776662B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201510833467.9A CN106776662B (zh) 2015-11-25 2015-11-25 一种照片的分类整理方法和装置
PCT/CN2016/083417 WO2017088401A1 (zh) 2015-11-25 2016-05-26 一种照片的处理方法和装置
US15/694,162 US10303948B2 (en) 2015-11-25 2017-09-01 Photo processing method and apparatus
US16/386,152 US10586108B2 (en) 2015-11-25 2019-04-16 Photo processing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510833467.9A CN106776662B (zh) 2015-11-25 2015-11-25 一种照片的分类整理方法和装置

Publications (2)

Publication Number Publication Date
CN106776662A CN106776662A (zh) 2017-05-31
CN106776662B true CN106776662B (zh) 2020-03-03

Family

ID=58762945

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510833467.9A Active CN106776662B (zh) 2015-11-25 2015-11-25 一种照片的分类整理方法和装置

Country Status (3)

Country Link
US (2) US10303948B2 (zh)
CN (1) CN106776662B (zh)
WO (1) WO2017088401A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10198626B2 (en) 2016-10-19 2019-02-05 Snap Inc. Neural networks for facial modeling
CN107341190B (zh) * 2017-06-09 2021-01-22 努比亚技术有限公司 图片筛选方法、终端及计算机可读存储介质
CN107909104B (zh) * 2017-11-13 2023-07-18 腾讯数码（天津）有限公司 一种图片的人脸聚类方法、装置及存储介质
CN107895020A (zh) * 2017-11-15 2018-04-10 广东欧珀移动通信有限公司 图像处理方法和装置、计算机设备、计算机可读存储介质
CN107944414B (zh) * 2017-12-05 2021-03-02 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN108882023B (zh) * 2018-07-11 2021-04-16 Oppo广东移动通信有限公司 视频处理方法及相关产品
CN109063784B (zh) * 2018-08-23 2021-03-05 深圳码隆科技有限公司 一种人物服饰图像数据筛选方法及其装置
CN110942081B (zh) * 2018-09-25 2023-08-18 北京嘀嘀无限科技发展有限公司 图像处理方法、装置、电子设备及可读存储介质
CN110175254B (zh) * 2018-09-30 2022-11-25 广东小天才科技有限公司 一种照片的分类存储方法及可穿戴设备
US20200151453A1 (en) * 2018-11-08 2020-05-14 International Business Machines Corporation Reducing overlap among a collection of photographs
CN109857887A (zh) * 2018-12-10 2019-06-07 福州大学 一种相册人物自动分类的方法
CN111625670A (zh) * 2019-02-27 2020-09-04 华为技术有限公司 一种图片分组方法及设备
CN112149480A (zh) * 2019-06-28 2020-12-29 青岛海信移动通信技术股份有限公司 一种终端及其进行图像分类的方法
CN110750670B (zh) * 2019-09-05 2022-04-19 北京旷视科技有限公司 陌生人监控方法、装置、系统和存储介质
TWI775006B (zh) * 2019-11-01 2022-08-21 財團法人工業技術研究院 擬真虛擬人臉產生方法與系統，及應用其之人臉辨識方法與系統
CN112765384B (zh) * 2020-12-31 2024-01-16 北京华安信联通信技术有限公司 一种照片分类方法
CN113626626B (zh) * 2021-07-08 2023-12-12 支付宝（中国）网络技术有限公司 一种多人共享的照片存储方法、装置以及设备
CN113779292B (zh) * 2021-11-11 2022-04-22 北京达佳互联信息技术有限公司 图像分类的方法、装置、服务器及计算机可读存储介质
CN114140655A (zh) * 2022-01-29 2022-03-04 深圳市中讯网联科技有限公司 图像分类方法、装置、存储介质及电子设备
CN117009564B (zh) * 2023-09-28 2024-01-05 荣耀终端有限公司 图片处理方法和电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105451846A (zh) * 2014-07-31 2016-03-30 三星电子株式会社 用于对内容进行分类的方法和装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100601997B1 (ko) * 2004-10-12 2006-07-18 삼성전자주식회사 인물기반 디지털 사진 클러스터링 방법 및 장치와 이를이용한 인물기반 디지털 사진 앨버밍 방법 및 장치
US7783135B2 (en) * 2005-05-09 2010-08-24 Like.Com System and method for providing objectified image renderings using recognition information from images
JP4914278B2 (ja) * 2007-04-16 2012-04-11 富士フイルム株式会社 画像処理装置、方法およびプログラム
AU2008264197B2 (en) * 2008-12-24 2012-09-13 Canon Kabushiki Kaisha Image selection method
US8121358B2 (en) * 2009-03-06 2012-02-21 Cyberlink Corp. Method of grouping images by face
CN102033958B (zh) * 2010-12-28 2013-04-17 Tcl商用信息科技（惠州）股份有限公司 一种照片分类管理系统及方法
CN103064864A (zh) * 2011-10-19 2013-04-24 致伸科技股份有限公司 具有人脸辨识功能的相片分享系统
CN103034714A (zh) * 2012-12-11 2013-04-10 北京百度网讯科技有限公司 移动终端的照片分类管理方法、装置和移动终端
CN103139386A (zh) * 2013-02-05 2013-06-05 广东欧珀移动通信有限公司 相册排序显示方法及具有相册排序显示功能的手机
US20150143236A1 (en) * 2013-11-19 2015-05-21 Disney Enterprises, Inc. Generating photo albums from unsorted collections of images
US20180107660A1 (en) * 2014-06-27 2018-04-19 Amazon Technologies, Inc. System, method and apparatus for organizing photographs stored on a mobile computing device
CN104166694B (zh) * 2014-07-31 2018-12-14 联想(北京)有限公司 一种图像分类存储方法和电子设备
CN104168378B (zh) * 2014-08-19 2018-06-05 上海卓易科技股份有限公司 一种基于人脸识别的图片分组方法及装置
US8990672B1 (en) * 2014-08-25 2015-03-24 Interactive Memories, Inc. Flexible design architecture for designing media-based projects in a network-based platform
CN104820675B (zh) * 2015-04-08 2018-11-06 小米科技有限责任公司 相册显示方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105451846A (zh) * 2014-07-31 2016-03-30 三星电子株式会社 用于对内容进行分类的方法和装置

Also Published As

Publication number Publication date
WO2017088401A1 (zh) 2017-06-01
US10303948B2 (en) 2019-05-28
US10586108B2 (en) 2020-03-10
US20170364750A1 (en) 2017-12-21
CN106776662A (zh) 2017-05-31
US20190244027A1 (en) 2019-08-08

Similar Documents

Publication Publication Date Title
CN106776662B (zh) 一种照片的分类整理方法和装置
US8908976B2 (en) Image information processing apparatus
US9135278B2 (en) Method and system to detect and select best photographs
US8917943B2 (en) Determining image-based product from digital image collection
US20120082378A1 (en) method and apparatus for selecting a representative image
US9336442B2 (en) Selecting images using relationship weights
CN103988202A (zh) 基于索引和搜索的图像吸引力
JP5018614B2 (ja) 画像処理方法、その方法を実行するプログラム、記憶媒体、撮像機器、画像処理システム
WO2015167975A1 (en) Rating photos for tasks based on content and adjacent signals
US8831360B2 (en) Making image-based product from digital image collection
US9081801B2 (en) Metadata supersets for matching images
Papadopoulos et al. ClustTour: City exploration by use of hybrid photo clustering
JP2014092955A (ja) 類似コンテンツ検索処理装置、類似コンテンツ検索処理方法、およびプログラム
Zhang et al. Aesthetic composition represetation for portrait photographing recommendation
Kim et al. m CLOVER: mobile content-based leaf image retrieval system
KR101715708B1 (ko) 이미지 분석기반의 자동화된 관계형 태그 생성 시스템과 이를 이용한 서비스 제공방법
US20130050745A1 (en) Automated photo-product specification method
Chau et al. Robust panoramic image stitching
Chen et al. Aesthetic quality inference for online fashion shopping
JP6704680B2 (ja) 表示装置、情報処理プログラムおよび情報処理方法
JP5834950B2 (ja) 写真系列の類似度算出装置、方法、及びプログラム
Taware et al. An Intelligent Human Pose Recommendation System Using Feature Fusion Technique
Mankikar et al. Classifying the photo aesthetics using heuristic rules of photography
CN115116116A (zh) 图像识别方法、装置、电子设备及可读存储介质
Hsieh et al. Content aware image retrieval with partition-based color features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant