CN108108415A - 图像处理方法、装置、存储介质和电子设备 - Google Patents

图像处理方法、装置、存储介质和电子设备 Download PDF

Info

Publication number
CN108108415A
CN108108415A CN201711331605.9A CN201711331605A CN108108415A CN 108108415 A CN108108415 A CN 108108415A CN 201711331605 A CN201711331605 A CN 201711331605A CN 108108415 A CN108108415 A CN 108108415A
Authority
CN
China
Prior art keywords
face
image
owner
described image
photograph album
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711331605.9A
Other languages
English (en)
Other versions
CN108108415B (zh
Inventor
达剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201711331605.9A priority Critical patent/CN108108415B/zh
Publication of CN108108415A publication Critical patent/CN108108415A/zh
Priority to PCT/CN2018/116592 priority patent/WO2019114508A1/zh
Application granted granted Critical
Publication of CN108108415B publication Critical patent/CN108108415B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种图像处理方法、装置、存储介质和电子设备,该方法包括:获取图像中的人脸;获取所述图像中具有相同人脸的图像集合;识别所述图像集合中的图像的人脸对应的年龄值;根据所述年龄值生成对所述图像集合中的图像的排序信息;根据所述排序信息和所述图像集合,生成包括所述图像集合中图像的具有时序的相册。上述图像处理方法、装置、存储介质和电子设备可提高用户粘度。

Description

图像处理方法、装置、存储介质和电子设备
技术领域
本申请涉及计算机技术领域,特别是涉及一种图像处理方法、装置、存储 介质和电子设备。
背景技术
随着电子设备的普及和移动互联网的迅速发展,电子设备的用户使用量越 来越大。而相册功能已经成为电子设备的常用应用之一,属于用户使用频率极 高的应用。电子设备的相册中都储存了大量的图像,传统的电子设备相册有提 供各种图像浏览和分类的功能。
传统方法在对相册中的照片进行浏览的过程中,通常都是按照图像类型或 者图像的修改时间或创建时间等几种常规的方式进行分类,难以激发用户对所 分类的相册或图像集合中的照片进行查看的欲望,用户粘度较差。
发明内容
本申请实施例提供一种图像处理方法、装置、存储介质和电子设备,可以 提高用户对图像进行查阅的粘度。
一种图像处理方法,包括:
获取图像中的人脸;
获取所述图像中具有相同人脸的图像集合;
识别所述图像集合中的图像的人脸对应的年龄值;
根据所述年龄值生成对所述图像集合中的图像的排序信息;
根据所述排序信息和所述图像集合,生成包括所述图像集合中图像的具有 时序的相册。
一种图像处理装置,所述装置包括:
图像集合获取模块,用于获取图像中的人脸;获取所述图像中具有相同人 脸的图像集合;
年龄值识别模块,用于识别所述图像集合中的图像的人脸对应的年龄值;
排序信息生成模块,用于根据所述年龄值生成对所述图像集合中的图像的 排序信息;
相册生成模块,用于根据所述排序信息和所述图像集合,生成包括所述图 像集合中图像的具有时序的相册。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处 理器执行时实现本申请任意实施例所述的图像处理方法的步骤。
一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运 行的计算机程序,所述处理器执行所述计算机程序时实现本申请任意实施例所 述的图像处理方法的步骤。
上述图像处理方法、装置、存储介质和电子设备,通过获取图像中的人脸; 获取图像中具有相同人脸的图像集合,并识别图像集合中的图像的人脸对应的 年龄值,再按照每个图像中的人脸的年龄值生成对图像的排序信息,根据排序 信息和图像集合,生成包括图像集合中图像的具有时序的相册,从而使得该相 册中的图像可按照该时序来显示,提高了用户使用粘度,也提高了对图像进行 分类和显示的灵活性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施 例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述 中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付 出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中图像处理方法的应用场景图;
图2为一个实施例中电子设备的内部结构示意图;
图3为一个实施例中图像处理方法的流程图;
图4A为一个实施例中对相册中的图像进行展示的示意图;
图4B为另一个实施例中对相册中的图像进行展示的示意图;
图4C为一个实施例中对图像进行划分以及对相册中的图像进行展示的示意 图;
图5为一个实施例中形成图像集合的流程图;
图6为一个实施例中根据图像中每个人脸占据的人脸面积和/或人脸清晰度 确定主人脸的流程图;
图7为一个实施例中当识别出图像中包含多个人脸时,检测图像中的剩余 人脸是否与已有的用户身份对应,若是,则将剩余人脸分入对应已有的用户身 份中,得到剩余人脸对应的用户身份的流程图;
图8为一个实施例中对疑似路人人脸的处理的流程图;
图9为一个实施例中对新增图像的图像集合划分的流程图;
图10为一个实施例中图像处理装置的结构框图;
图11为另一个实施例中图像处理装置的结构框图;
图12为一个实施例中图像处理电路的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实 施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅 仅用以解释本申请,并不用于限定本申请。
在一个实施例中,如图1所示,提供了一种图像处理方法的应用场景图, 该应用环境包括电子设备110、服务器120。终端110和服务器120之间通过网 络进行连接。在电子设备110中存储有图像,上述图像可存储于电子设备110 内存中,也可存储于电子设备110内置SD(Secure Digital Memory Card,安全 数码卡)卡中。或者服务器120上也可存储有图像,存储在服务器120上的图 像可为电子设备在云端存储的图像。电子设备可对本地或云端存储的图像进行 处理,比如根据图像形成图像集合,或者对图像集合中的图像进行排序显示等 处理。
图2为一个实施例中电子设备的内部结构示意图。如图2所示,该电子设 备包括通过系统总线连接的处理器、存储器和显示屏。其中,该处理器用于提 供计算和控制能力,支撑整个电子设备的运行。存储器用于存储数据、程序等, 存储器上存储至少一个计算机程序,该计算机程序可被处理器执行,以实现本 申请实施例中提供的适用于电子设备的图像处理方法。存储器可包括磁碟、光 盘、只读存储记忆体(Read-Only Memory,ROM)等非易失性存储介质,或随 机存储记忆体(Random-Access-Memory,RAM)等。例如,在一个实施例中,存储器包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统 和计算机程序。该计算机程序可被处理器所执行,以用于实现以下各个实施例 所提供的一种图像处理方法。内存储器为非易失性存储介质中的操作系统计算 机程序提供高速缓存的运行环境。显示屏可以是触摸屏,比如为电容屏或电子 屏,用于显示图像等可视信息,还可以被用于检测作用于该显示屏的触摸操作, 生成相应的指令。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴 式设备等。
本领域技术人员可以理解,图2中示出的结构,仅仅是与本申请方案相关 的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定, 具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件, 或者具有不同的部件布置。比如该电子设备还可包括摄像头,可通过该摄像头 生成图像,并对该图像进行处理。
在一个实施例中,如图3所示,提供了一种图像处理方法,本实施例主要 以该方法应用于如图1所示的电子设备中为例进行说明。该方法包括:
步骤302,获取图像中的人脸。
可选地,图像为包含人脸的图像,电子设备可从本机和/或其它设备中的多 用户家庭共享相册中获取图像,还可为其它设备中所共享的图像,该共享的图 像为电子设备具有访问权限的多用户家庭共享相册中的图像,识别并获取该图 像中的人脸。
电子设备可接收图像划分指令,该划分指令可指定对应的一个或多个图像, 并获取该划分指令指定图像。还可自动获取图像,比如可在息屏充电的状态来 来获取的图像,或者在电子设备上的资源使用率较低和/或电量超过预设电量阈 值的状态下,自动获取图像。该资源使用率包括但不限于CPU使用率和内存使 用率等其中的一种或多种。针对获取的图像,可进一步获取该图像中的人脸。
在一个实施例中,当检测到电子设备或预设的云端上新增了图像时,可自 动获取该图像中的人脸。
步骤304,获取图像中具有相同人脸的图像集合。
可选地,该图像集合为根据人脸而划分形成的图像的集合,每种图像集合 中的图像为包含相同人脸的图像。电子设备预设了人脸和图像集合之间的对应 关系,根据获取的人脸,可按照预设的对应关系从图像中获取具有相同人脸的 图像集合。
在一个实施例中,当检测到图像集合中包含的图像有变动时,可自动获取 对应的图像集合。其中,图像的变动包含图像的增加和/或减少,还可包括对已 有图像中的像素进行的修改,比如对已有图像进行美颜处理等。
步骤306,识别图像集合中的图像的人脸对应的年龄值。
年龄值表示电子识别出的图像中的人脸所呈现出的年龄的大小。可选地, 电子设备可对图像集合中的每个图像,识别对应图像中的人脸在图像中的人脸 区域,并识别人脸上的与年龄相关的部位的特征数据。该部位可包含多个,根 据每个部位的特征数据进行分析,计算出该人脸对应的年龄值。其中,该部位 包括如瞳孔、眼角、嘴角、鼻子等明显会随着年龄变化的部位。比如,可根据 图像上显示的皮肤纹理、毛孔大小、眼袋、眼角等部位上的特征进行综合分析, 计算出该人脸对应的年龄值。如图4A所示,可按照上述的部位对图像1~4中的 人脸对应的年龄值进行识别,比如识别出图4A中的图像1中的人脸的年龄值为 8岁,图像2中的人脸的年龄值为16岁,图像3中的人脸的年龄值为25岁,图 像4中的人脸的年龄值为40岁等。
步骤308,根据年龄值生成对图像集合中的图像的排序信息。
可选地,该排序信息表示对图像集合中的图像进行排序显示的信息,排序 信息中包含了图像集合中的每张图片在该图像集合中的排序的次序,使得可根 据该排序的次序进行排序显示。该排序信息可为按照年龄值从小到大的排序的 信息,还可为按照年龄值从大到小的排序信息。以按照年龄值从小到大的排序 信息为例,图像中的年龄值越小,当在进行对图像集合中的图像进行播放或显 示的过程中,对应图像在图像集合中的显示的顺序越靠前。
步骤310,根据排序信息和图像集合,生成包括图像集合中图像的具有时序 的相册。
电子设备可将该图像集合中具有相同人脸的图像聚集在一处,而形成相应 的相册。且根据该排序信息,生成各个图像在相册中的展示的顺序,从而形成 了具有时序的相册。比如,可按照图像集合中的图像,按照相同人脸的年龄值 进行从大到小排序,或从大到小的排序,生成的时序即为年龄顺序或年龄逆序 的图像排序的相册。
上述的图像处理方法,通过获取图像中的人脸;获取图像中具有相同人脸 的图像集合,并识别图像集合中的图像的人脸对应的年龄值,再按照每个图像 中的人脸的年龄值生成对图像的排序信息,根据排序信息和图像集合,生成包 括图像集合中图像的具有时序的相册,从而使得该相册中的图像可按照该时序 来显示,提供了一种全新的图像分类和查看的方式,使得对图像进行分类和查 看的方式更多,提高了用户使用粘度,也提高了对图像进行分类和显示的灵活 性。
在一个实施例中,在步骤310之后,还包括:将具有时序的相册按照时序 进行播放。
可选地,时序包括按照年龄值进行顺序排序和/或逆序排序,具有时序的相 册包括幻灯片、短片或影集中的任意一种形式的文件。即可按照年龄值的大小 进行从大到小的排序,或者从小到大的排序。
可选地,电子设备可接收对具有时序的相册中的图像的播放指令,根据该 播放指令获取上述对应相册的时序,再按照该时序对相册中的图像进行顺序展 示。电子设备可提供用于播放相册中的图像的虚拟按钮,当接收到对该虚拟按 钮的点击操作时,可触发该播放指令。还可预设用于触发播放指令的开启语音 信息。通过调用语音接收装置,接收对应的语音信息,当检测到该语音信息与 该开启语音信息匹配时,也可触发该播放指令。
在接收到对相册中的图像的播放指令后,可获取预先生成的相册的时序, 并按照该时序对相册中的图像进行顺序展示。比如,可按照该播放指令对相册 中的图像进行幻灯片播放,或者生成一个短片或影集,以供用户阅览。
如图4A以及图4B所示,该相册1中包含图像1~图像4;相册2中包含图 像5至图像7。每个相册还设置了对应的时序,如相册1中图像的时序为按照图 像1~图像4的顺序排序,相册2为按照图像5~图像7的顺序排序。电子设备可 按照该排序将具有时序的相册中的图像进行播放,以展示一个相册中的人物从 小到大或从大到小的图像演变。
在一个实施例中,步骤306包括:当同一图像集合的多个图像中,人脸的 年龄值相同时,根据多个图像的生成时间生成对多个图像的排序信息。
可选地,当存在多张图像的中,人脸的年龄值相同时,可进一步对该多张 图像的生成时间进行比较。按照该生成时间来对该多张图像进行排序。比如可 按照生成时间的从小到大排序,或者从大到小进行排序。
在一个实施例中,当排序信息为根据年龄值从小到大的排序信息时,则针 对相同年龄值的图像,按照生成时间从早到晚进行排序;当排序信息为根据年 龄值从大到小的排序信息时,则针对相同年龄值的图像,按照生成时间从晚到 早进行排序。以排序信息为根据年龄值从小到大的排序信息为例,当存在三张 图像,其中的人脸均为用户A的人脸,且判定该用户A的人脸的年龄值均为25 岁时,则可进一步比较三张图像的生成时间的大小,生成对这三张图像的排序 信息。并针对该三张图像,将生成时间较早的图像排序在前。
通过按照生成时间来对相同年龄值的图像进行排序,进一步提高了对图像 排序的规范性。
在一个实施例中,上述方法还包括形成图像集合的步骤,该步骤可在步骤 304之前执行,如图5所示,包括:
步骤502,对图像中的人脸进行人脸识别,确定图像中的人脸对应的用户身 份。
电子设备可对图像进行人脸识别,提取其中的人脸特征信息,根据该人脸 特征信息来识别出人脸的用户身份。举例来说,电子设备可针对图像A,识别 出其中的人脸所属的为用户A的人脸,及其用户身份为用户A。
在一个实施例中,针对从图像中提取出的人脸特征信息,可进一步检测该 人脸特征信息是否与已有识别出的某一用户身份的人脸特征信息相匹配,若匹 配,则判定该图像中的人脸对应的用户身份即为匹配出的用户身份。当不存在 与该人脸特征信息相匹配的用户身份时,则表示该用户身份为新出现的用户身 份。可对应创建一个新的用户身份,作为该图像中的人脸对应的用户身份。并 根据该图像中的人脸的人脸特征信息,生成新创建的用户身份对应的人脸特征 信息。比如可直接将图像中的人脸特征信息作为该用户身份对应的人脸特征信 息。
步骤504,将图像划分至与用户身份对应的图像集合中,形成具有相同人脸 的图像集合。
电子设备针对每种用户身份设置了对应的图像集合,该图像集合中的图像 为具有相同用户身份的图像。电子设备可建立不同用户身份与不同图像集合之 间的映射关系,使得根据该对应关系,将相同用户身份的图像划分至同一个图 像集合中,形成具有相同人脸的图像集合。
在一个实施例中,针对已识别出的用户身份的图像,可对其设置用户身份 标记,以标记该图像中的人脸的用户身份,且使得在后续的处理过程中,可根 据该标记判定出该图像为已经识别出用户身份的图像,避免重复识别。并根据 该用户身份标记,将该图像划分至与该用户身份标记对应的图像集合中。
在一个实施例中,当识别出的用户身份为已有的用户身份时,可获取与该 已有的用户身份对应的图像集合,将该图像划分至对应图像集合中。当识别出 的用户身份为新的用户身份时,则创建一个与该新的用户身份对应的图像集合, 将该图像划分至所创建的图像集合中。
举例来说,当识别出的图像的用户身份为已存在的用户A,则直接获取与该 用户A对应的图像集合A,并将该图像划分至该图像集合A中。若识别出的用 户A为不存在的用户,则创建一个与该用户A对应的图像集合A,并将该图像 划分至该图像集合A中,以使得图像集合A中的图像均为包含用户A的人脸的 图像。比如存在如图4C所示的图像8,当识别出图像8中的人脸对应的用户身 份为如图4B中所示的图像集合对应的用户身份时,可将图像8划分至该图4B 对应的图像集合中。并对划分后的图像集合中,每个图像中的人脸对应的年龄 值生成对该图像的排序信息,并生成具有时序的相册并展示。比如可按照年龄 值的大小进行顺序排序,如当识别出图像8中的人脸对应的年龄值处于图像6 和图像7之间时,则生成的排序信息中,图像8的排序顺序则位于图像6和图 像7之间,生成如图4C中所示的图像5-图像6-图像8-图像7的具有时序的相册。
上述实施例中,通过对图像中的人脸进行识别,判断出该人脸所属的用户, 然后将该图像划分至与该用户对应的图像集合中,实现了按照图像人脸所属的 用户身份进行图像划分,将包含相同用户的人脸的图像划分至相同的图像集合 中,提高了图像划分的灵活性。
在一个实施例中,步骤302包括:当图像中包含多个人脸时,确定多个人 脸中的主人脸。
图像中的人脸可包括多个,当识别出其中的人脸包括多个时,可进一步识 别其中哪张人脸该图像中的主人脸。每张图像的主人脸指的是每张图像中核心 人物的人脸,且清晰度达到阈值可以识别出人脸对应的身份的主人脸。核心人 物是指图像中唯一的主人脸对应的人物或者多人合影图像中主人脸对应的人 物,或者图像中不是主人脸却与属于不同用户身份的主人脸出现在同一张图像 上的次数达到了设定阈值的人脸对应的人物。
在一个实施例中,每张图像只提取出一张人脸作为主人脸。根据人脸识别 算法对获取的每张图像的主人脸进行人脸识别,得到每张图像的主人脸所对应 的人脸类别。人脸类别指的是主人脸识别结果所对应的人物身份。可选地,电 子设备从相册中获取一张单人照片,照片即为图像,从该单人照片中提取主人 脸。因为是单人照片,图像中只有一张人脸,若该单人人脸的清晰度也已经达 到了可以识别出人脸的阈值,则将该单人照片中的人脸标记为主人脸。对该主 人脸进行人脸识别之后,得出该主人脸对应的身份是张三,即得到该主人脸所 对应的用户身份是张三。对其他单人或非单人图像一样,提取核心人物的且清 晰度达到阈值可以识别出人脸对应的身份的人脸,标记为主人脸,并对主人脸 进行人脸识别,得出该主人脸对应的身份,该身份便是该主人脸对应的人脸类 别。
若某张图像中核心人物的人脸的清晰度未达到可以识别出人脸对应的身份 的清晰度阈值,则继续检查相册中的其他图像中是否已经有相似且已经标记为 主人脸的人脸存在,若存在,则将这张人脸与该主人脸标记为一类主人脸。反 之不存在,但是在相册中的其他图像中存在与该张图像中的核心人物的人脸相 似的人脸出现了预设次数,则从这些相似人脸中选一张最清晰的作为主人脸, 将这些相似人脸标记为一类主人脸,并对该主人脸进行人脸识别,得出该主人 脸对应的身份,该身份便是该主人脸对应的用户身份,也是该张图像中的核心 人物的人脸所对应的用户身份。预设次数可以设置为5次,当然,在其他实施 例中,也可以设置为其他合理的次数,例如3次、4次、6次、10次等。
在一个实施例中,主人脸还可包括多个,当包括多个时,可获取图像中的 其中一个主人脸。其中,获取的主人脸可根据用户的选取操作来确定。
在一个实施例中,针对每个主人脸,识别出对应人脸所属的用户身份,进 而可将该同一张照片,划分至每个主人脸的用户身份对应的图像集合中。举例 来说,当一张照片中存在人脸A和人脸B时,可按照上述的方式进行人脸检测, 并判定出人脸A和人脸B均为主人脸时,可进一步识别该人脸A对应的用户身 份A,以及人脸B对应的用户身份B,并将该图像同时划分至用户A对应的图 像集合A和用户对应的图像集合B之中。
在一个实施例中,确定多个人脸中的主人脸,包括:根据图像中每个人脸 占据的人脸面积和/或人脸清晰度确定主人脸。
电子设备从本地或云端的相册中获取图像,该图像中包含没有人脸的图像 (纯自然风光类)、单人图像及多人合影图像,其中单人图像及多人合影图像中 都包含了人脸。对于单人照片,图像中只有一张人脸,若该单人人脸的清晰度 也已经达到了可以识别出人脸的阈值,则将该单人照片中的人脸标记为主人脸。 对于多人合影图像,则可按照该图像中的人脸的人脸面积和/或人脸清晰度等其 中的任意一种或多种的结合来确定主人脸。
可选地,从多人合影图像中获取人脸面积最大的人脸,判断人脸的清晰度 是否符合识别出人脸的清晰度阈值,且该人脸是否符合预设条件。若是,则将 人脸面积最大的人脸作为多人合影图像的主人脸,若否,则继续从多人合影图 像中获取人脸面积大小次之的人脸,判断人脸是否符合预设条件,重复执行直 到人脸面积达到最小阈值或获取到主人脸为止。按照人脸面积从大到小的顺序 依次获取主人脸,从而可提高对主人脸确定的准确性。
对于多人合影图像,还可按照人脸清晰度从大到小的顺序获取主人脸。可 选地,从多人合影图像中获取人脸清晰度最大的人脸,判断人脸的人脸面积是 否符合识别出的人脸的人脸面积阈值,且该人脸是否符合预设条件。若是,则 将该人脸清晰度最大的人脸作为多人合影图像的主人脸,若否,则继续从多人 合影图像中获取人脸清晰度大小次之的人脸,判断人脸是否符合预设条件,重 复执行直到人脸清晰度达到最小清晰度阈值或获取到主人脸为止。
在一个实施例中,如图6所示,根据图像中每个人脸占据的人脸面积和/或 人脸清晰度确定主人脸,包括:
步骤602,从图像中获取人脸面积最大的人脸,判断人脸是否符合预设条件, 若是,则执行步骤604,否则,执行步骤606。
当图像为多人合影图像时,从多人合影图像中获取核心人物的人脸,且清 晰度达到阈值可以识别出人脸对应的身份的主人脸。可选地,从多人合影图像 中获取人脸面积最大的人脸,再判断人脸是否符合预设条件。预设条件包括但 不限于以下:判断人脸的清晰度是否达到可以识别出人脸对应的身份的阈值, 若是再进一步判断人脸面积最大的人脸的拍摄角度和焦点,判断拍摄角度是否 是正脸,判断拍摄焦点是否为该人脸面积最大的人脸,判断该人脸面积最大的 人脸是否离镜头最近。
步骤604,将人脸面积最大的人脸作为图像的主人脸。
步骤606,继续从图像中获取人脸面积大小次之的人脸,判断人脸是否符合 预设条件,重复执行直到人脸面积达到最小阈值或获取到主人脸为止。
若判断结果为同时满足上述预设条件,则说明人脸面积最大的人脸应该是 核心人物对应的人脸,于是将人脸面积最大的人脸作为多人合影图像的主人脸, 并进行标记为主人脸。
若判断结果为不满足上述预设条件,则说明人脸面积最大的人脸不是核心 人物对应的人脸,则继续从多人合影图像中获取人脸面积大小次之的人脸,判 断人脸是否符合预设条件,若判断结果为同时满足上述预设条件,则说明人脸 面积次之的人脸应该是核心人物对应的人脸,于是将人脸面积次之的人脸作为 多人合影图像的主人脸,并进行标记为主人脸。
若人脸面积次之的人脸还不符合预设条件,则说明人脸面积次之的人脸还 不是核心人物对应的人脸。继续从多人合影图像中获取人脸面积大小再次之的 人脸,重复执行直到人脸达到最小阈值或获取到主人脸为止。即预设了一个人 脸面积的最小阈值,若在人脸面积大于该最小阈值的人脸中,还是未找到符合 预设条件的人脸,那么就对这张图像停止获取主人脸。
在一个实施例中,根据图像中每个人脸占据的人脸面积和/或人脸清晰度确 定主人脸,包括:从图像中获取人脸清晰度最高的人脸,判断人脸是否符合预 设条件;若是,则将人脸清晰度最高的人脸作为图像的主人脸;若否,则继续 从图像中获取人脸清晰度次之的人脸,判断人脸是否符合预设条件,重复执行 直到人脸清晰度达到最小清晰度阈值或获取到主人脸为止。
当图像为多人合影图像时,从多人合影图像中获取核心人物的人脸,且人 脸清晰度达到阈值可以识别出人脸对应的身份的主人脸。可选地,从多人合影 图像中获取人脸清晰度最大的人脸,再判断人脸是否符合预设条件。预设条件 包括但不限于以下:判断人脸的清晰度是否达到可以识别出人脸对应的身份的 阈值,若是再进一步判断人脸面积最大的人脸的拍摄角度和焦点,判断拍摄角 度是否是正脸,判断拍摄焦点是否为该人脸面积最大的人脸,判断该人脸面积 最大的人脸是否离镜头最近。
若判断结果为同时满足上述预设条件,则说明人脸清晰度最高的人脸应该 是核心人物对应的人脸,于是将人脸清晰度最高的人脸作为多人合影图像的主 人脸,并进行标记为主人脸。
若判断结果为不满足上述预设条件,则说明人脸清晰度最大的人脸不是核 心人物对应的人脸,则继续从多人合影图像中获取人脸清晰度次之的人脸,判 断人脸是否符合预设条件,若判断结果为同时满足上述预设条件,则说明人脸 清晰度次之的人脸应该是核心人物对应的人脸,于是将人脸清晰度次之的人脸 作为多人合影图像的主人脸,并进行标记为主人脸。
若人脸清晰度次之的人脸还不符合预设条件,则说明人脸清晰度次之的人 脸还不是核心人物对应的人脸。继续从多人合影图像中获取人脸清晰度再次之 的人脸,重复执行直到人脸达到最小清晰度阈值或获取到主人脸为止。即预设 了一个人脸清晰度的最小阈值,若在人脸清晰度大于该最小清晰度阈值的人脸 中,还是未找到符合预设条件的人脸,那么就对这张图像停止获取主人脸。
本申请实施例中,因为相比于单人图像,从多人合影图像中比较难确定主 人脸,所以按照人脸面积和/或人脸清晰度从大到小的顺序依次判断是否能够作 为主人脸,这样不会遗漏主人脸。且设置了预设条件,只有满足这些预设条件 的人脸才能成为主人脸,这样获取的主人脸的结果就更加准确。
在一个实施例中,步骤602包括:从图像中获取人脸面积最大的人脸,判 断人脸的角度和焦点是否符合预设条件。
本申请实施例中,从多人合影图像中获取核心人物的人脸,且清晰度达到 阈值可以识别出人脸对应的身份的主人脸。可选地,从多人合影图像中获取人 脸面积最大的人脸,再判断人脸是否符合预设条件。预设条件包括但不限于以 下:判断人脸的清晰度是否达到可以识别出人脸对应的身份的阈值,若是再进 一步判断人脸面积最大的人脸的拍摄角度和焦点,判断拍摄角度是否是正脸, 判断拍摄焦点是否为该人脸面积最大的人脸,判断该人脸面积最大的人脸是否 离镜头最近。只有满足这些预设条件的人脸才能成为主人脸,这样获取的主人 脸的结果就更加准确。
在一个实施例中,步骤504包括:当识别出图像中包含多个人脸时,检测 图像中的剩余人脸是否与已有的用户身份对应,若是,则将剩余人脸分入对应 已有的用户身份中,得到剩余人脸对应的用户身份。步骤506包括:将图像划 分至剩余人脸对应的用户身份对应的图像集合中,将图像集合作为图像集合。
从图像中获取每张图像的主人脸之后,获取每张图像中的剩余人脸。剩余 人脸包括每张图像对除了标记为主人脸和疑似路人人脸之外剩余的人脸。对于 单人图像就不存在剩余人脸,但是对于多人合影图像则会存在剩余人脸。对于 剩余人脸的处理,只需要根据对剩余人脸进行人脸识别所得的识别结果,将剩 余人脸分入已有的用户身份中,不会为剩余人脸专门新增用户身份。已有的用 户身份都是每张图像的核心人物的人脸对应的用户身份,所以能够分入已有的 用户身份中的剩余人脸自然也是核心人物的人脸,从而实现不会将非核心人物 对应的人脸分入这些用户身份中。例如,相册中包含了1000张图像,每张图像 只提取出一张人脸作为主人脸。则从这1000张图像中最多产生1000张主人脸, 即使这1000张图像中有很多都是多人合影图像,也最多只会产生1000张主人 脸。再对这1000张主人脸进行人脸识别,得出该主人脸对应的身份,该身份便 是该主人脸对应的用户身份,例如识别之后,这1000张主人脸分别属于10个 用户身份。将剩余人脸分入已有的用户身份中,得到剩余人脸所对应的用户身 份。若部分剩余人脸不能分入已有的用户身份中,则将这些剩余人脸标记为疑 似路人人脸。
由上面的步骤对图像中的主人脸和剩余人脸进行了分类,对于能够进行分 类的都分入了对应的用户身份。然后,根据图像中的主人脸和剩余人脸所能分 入的用户身份,将图像分入用户身份对应的图像集合。具体地,如果一张图像 的主人脸和剩余人脸分别分入了3个类别,则该图像将会同时出现在这3个类 别中。例如,一张图像包括了3张人脸,分别是张三、李四和王五。其中,这 张图像的主人脸是张三,剩余2张人脸在已有的主人脸中找到了相似的主人脸, 于是将这2张剩余人脸分入了李四和王五的用户身份中。那么最终将会在张三 图像集合中显示这张图像,也会在李四图像集合中显示这张图像,当然还会在王五图像集合中显示这张图像。因为这3个身份对应的人物都是已有主人脸的 核心人物。
本申请实施例中,首先,获取图像的主人脸,再对主人脸进行人脸识别, 得到主人脸所对应的用户身份。因为主人脸为每张图像中核心人物的人脸,非 核心人物的人脸不会作为主人脸,所以用户身份就只包括图像中核心人物的人 脸的分类。再从图像中获取剩余人脸,对图像中的剩余人脸进行人脸识别,将 剩余人脸分入已有的用户身份中,得到剩余人脸所对应的用户身份。按照图像 中的主人脸和剩余人脸所能分入的用户身份,将图像分入用户身份对应的图像 集合。图像集合之间是通过图像中的主人脸和剩余人脸所能分入的用户身份来 区分的,因为用户身份只包括图像中核心人物的人脸的分类,所以自然也不会 出现大量非核心人物的图像集合。
在一个实施例中,如图7所示,当识别出图像中包含多个人脸时,检测图 像中的剩余人脸是否与已有的用户身份对应,若是,则将剩余人脸分入对应已 有的用户身份中,得到剩余人脸对应的用户身份,包括:
步骤702,获取图像中的剩余人脸,依次对剩余人脸进行人脸识别。
从多人合影图像中获取每张图像的主人脸之后,获取每张图像中的剩余人 脸。剩余人脸包括每张图像对除了标记为主人脸和疑似路人人脸之外剩余的人 脸。对于剩余人脸,依次对每张图像中的剩余人脸进行人脸识别,得出剩余人 脸对应的身份。将剩余人脸分入已有的用户身份中,得到剩余人脸所对应的用 户身份。若部分剩余人脸不能分入已有的用户身份中,则将这些剩余人脸标记 为疑似路人人脸。
步骤704,判断剩余人脸是否属于已有的用户身份,若是,则执行步骤706, 否则,执行步骤708。
步骤706,将剩余人脸分入用户身份中,得到剩余人脸所对应的用户身份。
步骤708,将剩余人脸标记为疑似路人人脸。
可选地,判断剩余人脸中是否存在属于已有的用户身份。根据识别出的剩 余人脸对应的身份,判断剩余人脸对应的身份是否与已有的主人脸身份相同, 若相同则将剩余人脸分入对应的用户身份,该用户身份即为剩余人脸所对应的 用户身份。
若剩余人脸对应的身份在已有的主人脸中没有相同的身份,则说明剩余人 脸不属于已有的用户身份,那么就将剩余人脸标记为疑似路人人脸。且将相同 身份的疑似路人人脸标记为一类。
本申请实施例中,对于剩余人脸的分类处理,需要根据对剩余人脸进行人 脸识别所得的身份结果,将剩余人脸分入已有的用户身份中,不会为剩余人脸 专门新增用户身份,所以自然不会将非核心人物对应的人脸分为一个用户身份。 如此,则图像分类后只会显示核心人物的图像集合。避免了传统方法中出现大 量非核心人物的图像集合,不贴合用户实际需求,降低了信息的有效性。
在一个实施例中,如图8所示,上述方法还包括对疑似路人人脸的处理的 步骤,该步骤可在将剩余人脸标记为疑似路人人脸之后执行,包括:
步骤802,计算相册中疑似路人人脸与属于不同用户身份的主人脸出现在同 一张图像上的次数。
若剩余人脸对应的身份在已有的主人脸中没有相同的身份,则说明剩余人 脸不属于已有的用户身份,那么就将剩余人脸标记为疑似路人人脸。在将剩余 人脸标记为疑似路人人脸之后,在相册中的所有图像中分别计算每一类疑似路 人人脸与属于不同用户身份的主人脸出现在同一张图像上的次数,即计算相同 身份的疑似路人人脸与不同身份的主人脸一起合影的次数。例如,计算身份为A 的疑似路人人脸与不同身份的主人脸一起合影的次数,具体为,假设主人脸有 张三、李四和王五等10个主人脸。那么计算身份为A的疑似路人人脸与这10 个主人脸中的任何之一合影的次数。相册中有一张图像是A与张三、李四和王 五四人的合影,那么身份为A的疑似路人人脸与不同身份的主人脸一起合影的 次数就为3次。若相册中还有一张图像是A与张三俩人的合影,一张图像是A 与王五俩人的合影。那么此时身份为A的疑似路人人脸与不同身份的主人脸一 起合影的次数就为5次。
步骤804,判断次数是否达到设定阈值,若是,则执行步骤806,否则,执 行步骤808。
设定阈值,可以是设置了相册中疑似路人人脸与属于不同用户身份的主人 脸出现在同一张图像上的次数最低为5次,当然,在其他实施例中,也可以设 置为其他合理的次数,例如6次、7次、8次、9次、10次等。
步骤806,将疑似路人人脸新增为主人脸,得到疑似路人人脸所对应的用户 身份。
步骤808,保持为疑似路人人脸。
判断疑似路人人脸与属于不同用户身份的主人脸出现在同一张图像上的次 数是否达到了设定阈值(例如5次),若达到了5次则将疑似路人人脸新增为主 人脸,得到疑似路人人脸所对应的用户身份。在本实施例中,身份为A的疑似 路人人脸与不同身份的主人脸一起合影的次数就为5次,就会将身份为A的疑 似路人人脸新增为主人脸,得到疑似路人人脸所对应的用户身份。若未达到了5 次则保持为疑似路人人脸。等待下次相册中新增图像时候,再对疑似路人人脸 重新计算与属于不同用户身份的主人脸出现在同一张图像上的次数。
本申请实施例中,对相册中的每一类疑似路人人脸,计算每一类疑似路人 人脸与属于不同用户身份的主人脸出现在同一张图像上的次数。若次数达到了 设定阈值,则将疑似路人人脸新增为主人脸,得到疑似路人人脸所对应的用户 身份。对相册中的疑似路人人脸也进行了处理,使之满足条件既可以新增为主 人脸,这样就有效避免了对每张图像只提取出一张人脸作为主人脸,而造成遗 漏核心人物。
在一个实施例中,如图9所示,上述方法还包括对新增图像的图像集合划 分的步骤,该步骤可在按照图像中的主人脸和剩余人脸所能分入的用户身份, 将图像分入用户身份对应的图像集合之后执行,包括:
步骤902,获取新增图像。
相册中的图像并不是一成不变的,而是动态变化的,例如,可以随着用户 不断的拍摄照片而新增,也可以由于用户从云端下载照片至相册中。或者相册 本来就是在云端,云端相册中的图像有所新增。获取这些新增的图像。
步骤904,对新增图像根据新增图像之前的图像处理方法进行分类,按照新 增图像中的主人脸和剩余人脸所能分入的用户身份,将新增图像分入用户身份 对应的图像集合。
对新增图像根据新增图像之前的图像处理方法进行分类,具体地,首先从 新增图像获取主人脸,若新增图像为单人图像,则获取图像中唯一的一张人脸, 判断这张人脸的清晰度是否已经达到了可以识别出人脸的阈值。若该单人人脸 的清晰度已经达到了可以识别出人脸的阈值,则将该单人照片中的人脸标记为 主人脸,对该主人脸进行人脸识别之后,得出该主人脸所对应的用户身份。
若该单人人脸的清晰度未达到可以识别出人脸对应的身份的清晰度阈值, 则继续检查相册中的其他图像中是否已经有相似且已经标记为主人脸的人脸存 在,若存在,则将该单人人脸与该主人脸标记为一类主人脸。反之不存在,但 是在相册中的其他图像中存在与该该单人人脸相似的人脸出现了预设次数,则 从这些相似人脸中选一张最清晰的作为主人脸,将这些相似人脸标记为一类主 人脸,并对该主人脸进行人脸识别,得出该主人脸对应的身份,该身份便是该 单身人脸对应的用户身份。
若该单人人脸的清晰度未达到可以识别出人脸对应的身份的清晰度阈值, 且相册中的其他图像中也不存在已经有相似且已经标记为主人脸的人脸存在, 且相册中的其他图像中出现与该单人人脸相似的人脸的次数也未达到预设次 数。则说明该模糊的单人人脸并不是核心人物的人脸,将这些满足上述3个条 件的模糊单人人脸标记为疑似路人人脸。
若新增图像为多人合影图像,则从多人合影图像中按照人脸面积从大到小 的顺序获取主人脸,重复执行直到人脸达到最小阈值或获取到主人脸为止。获 取新增图像中的剩余人脸,对剩余人脸进行人脸识别,将剩余人脸分入已有的 用户身份中,得到剩余人脸所对应的用户身份。若部分剩余人脸不能分入已有 的用户身份中,则将这些剩余人脸标记为疑似路人人脸。
按照图像中的主人脸和剩余人脸所能分入的用户身份,将图像分入用户身 份对应的图像集合。
步骤906,重新计算疑似路人人脸与属于不同用户身份的主人脸出现在同一 张图像上的次数。
因为新增了图像,所以需要重新计算疑似路人人脸与属于不同用户身份的 主人脸出现在同一张图像上的次数。
步骤908,判断次数是否达到设定阈值,若是,则执行步骤910,否则,执 行步骤912。
步骤910,将疑似路人人脸新增为主人脸,得到疑似路人人脸所对应的用户 身份,将包含疑似路人人脸的图像分入用户身份对应的图像集合。
步骤912,保持为疑似路人人脸。
判断疑似路人人脸与属于不同用户身份的主人脸出现在同一张图像上的次 数否达到设定阈值,若达到了设定阈值则将疑似路人人脸新增为主人脸,得到 疑似路人人脸所对应的用户身份,将包含疑似路人人脸的图像分入用户身份对 应的图像集合。若未达到了设定阈值则保持为疑似路人人脸,等待下次相册中 新增图像时候,再对疑似路人人脸重新计算与属于不同用户身份的主人脸出现 在同一张图像上的次数。
本申请实施例中,当新增图像时候,对新增图像根据新增图像之前的图像 处理方法进行分类,按照新增图像中的主人脸和剩余人脸所能分入的用户身份, 将新增图像分入用户身份对应的图像集合。再重新计算疑似路人人脸与属于不 同用户身份的主人脸出现在同一张图像上的次数。因为新增了图像,则疑似路 人人脸与属于不同用户身份的主人脸出现在同一张图像上的次数可能也已经更 新,即疑似路人人脸也可能变为了主人脸。因此,通过重新计算就可以实现实 时将疑似路人人脸更新为主人脸。
在一个实施例中,还提供了一种图像处理方法,以该方法应用于图1中的 电子设备为例进行说明,包括:
(1)电子设备从本地或云端的相册获取图像的人脸。
(2)从图像中获取主人脸。包括从单人图像中和多人合影图像中获取主人 脸。在多人合影图像中按照人脸面积从大到小的顺序获取主人脸。从多人合影 图像中获取人脸面积最大的人脸,判断人脸是否符合预设条件。若是,则将人 脸面积最大的人脸作为多人合影图像的主人脸;若否,则继续从多人合影图像 中获取人脸面积大小次之的人脸,判断人脸是否符合预设条件,重复执行直到 人脸面积达到最小阈值或获取到主人脸为止。
(3)对图像的主人脸进行人脸识别,得到主人脸所对应的用户身份。
(4)获取多人合影图像中的剩余人脸,依次对剩余人脸进行人脸识别。判 断剩余人脸是否属于已有的用户身份,若是,则将剩余人脸分入用户身份中, 得到剩余人脸所对应的用户身份,若否,则将剩余人脸标记为疑似路人人脸。
(5)计算相册中疑似路人人脸与属于不同用户身份的主人脸出现在同一张 图像上的次数。判断次数是否达到设定阈值;若是,则将疑似路人人脸新增为 主人脸,得到疑似路人人脸所对应的用户身份;若否,则保持为疑似路人人脸。
(6)按照图像中的主人脸和剩余人脸所能分入的用户身份,将图像分入用 户身份对应的图像集合。
(7)获取新增图像的人脸。
(8)对新增图像根据新增图像之前的图像处理方法进行分类,按照新增图 像中的主人脸和剩余人脸所能分入的用户身份,将新增图像分入用户身份对应 的图像集合。重新计算疑似路人人脸与属于不同用户身份的主人脸出现在同一 张图像上的次数;判断次数是否达到设定阈值;若是,则将疑似路人人脸新增 为主人脸,得到疑似路人人脸所对应的用户身份,将包含疑似路人人脸的图像 分入用户身份对应的图像集合,若否,则保持为疑似路人人脸。
(9)获取图像中具有相同人脸的图像集合;识别图像集合中的图像的人脸 对应的年龄值。
(10)根据年龄值生成对图像集合中的图像的排序信息;根据排序信息和 图像集合,生成包括图像集合中图像的具有时序的相册。
(11)将具有时序的相册按照时序进行播放。
上述图像处理方法,通过将图像按照其中的人脸所属的用户身份进行分类, 将每张图像划分至和其中的人脸的用户身份对应的图像集合中。再获取具有相 同人脸的图像集合;识别图像集合中的图像的人脸对应的年龄值;根据年龄值 生成对图像集合中的图像的排序信息;根据排序信息和图像集合,生成包括图 像集合中图像的具有时序的相册,将具有时序的相册按照时序进行播放,方便 帮助用户记录不同年龄的图像故事,增加了用户的粘度。
在一个实施例中,如图10所示,提供了一种图像处理装置,该装置包括:
图像集合获取模块1002,用于获取图像中的人脸;获取图像中具有相同人 脸的图像集合。
年龄值识别模块1004,用于识别图像集合中的图像的人脸对应的年龄值。
排序信息生成模块1006,用于根据年龄值生成对图像集合中的图像的排序 信息。
相册生成模块1008,用于根据排序信息和图像集合,生成包括图像集合中 图像的具有时序的相册。
在一个实施例中,图像集合获取模块1002还用于对图像中的人脸进行人脸 识别,确定图像中的人脸对应的用户身份,将图像划分至与用户身份对应的图 像集合中,形成具有相同人脸的图像集合。
在一个实施例中,图像集合获取模块1002还用于当图像中包含多个人脸时, 确定多个人脸中的主人脸。
在一个实施例中,图像集合获取模块1002还用于根据图像中每个人脸占据 的人脸面积和/或人脸清晰度确定主人脸。
在一个实施例中,图像集合获取模块1002还用于从图像中获取人脸面积最 大的人脸,判断人脸是否符合预设条件;若是,则将人脸面积最大的人脸作为 图像的主人脸;若否,则继续从图像中获取人脸面积大小次之的人脸,判断人 脸是否符合预设条件,重复执行直到人脸面积达到最小面积阈值或获取到主人 脸为止。
在一个实施例中,图像集合获取模块1002还用于从图像中获取人脸清晰度 最高的人脸,判断人脸是否符合预设条件;若是,则将人脸清晰度最高的人脸 作为图像的主人脸;若否,则继续从图像中获取人脸清晰度次之的人脸,判断 人脸是否符合预设条件,重复执行直到人脸清晰度达到最小清晰度阈值或获取 到主人脸为止。
在一个实施例中,排序信息生成模块1006还用于当同一图像集合中的多个 图像中,人脸的年龄值相同时,根据多个图像的生成时间生成对多个图像的排 序信息。
在一个实施例中,如图11所示,提供了又一种图像处理装置,该装置还包 括:
播放模块1010,用于将具有时序的相册按照时序进行播放,时序包括按照 年龄值进行顺序排序和/或逆序排序,具有时序的相册包括幻灯片、短片或影集 中的任意一种形式的文件。
在一个实施例中,图像集合获取模块1002还用于从本机和/或其它设备中的 多用户家庭共享相册中获取图像。
上述图像处理装置中各个模块的划分仅用于举例说明,在其他实施例中, 可将图像处理装置按照需要划分为不同的模块,以完成上述图像处理装置的全 部或部分功能。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程 序,计算机程序被处理器执行时实现上述各实施例所提供的图像处理方法的步 骤。
一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运 行的计算机程序,处理器执行计算机程序时实现上述各实施例所提供的图像处 理方法的步骤。
本申请实施例还提供了一种计算机程序产品。一种包含指令的计算机程序 产品,当其在计算机上运行时,使得计算机执行上述各实施例所提供的图像处 理方法的步骤。
本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路, 图像处理电路可以利用硬件和/或软件组件实现,可包括定义ISP(Image Signal Processing,图像信号处理)管线的各种处理单元。图12为一个实施例中图像处 理电路的示意图。如图12所示,为便于说明,仅示出与本申请实施例相关的图 像处理技术的各个方面。
如图12所示,图像处理电路包括ISP处理器1240和控制逻辑器1250。成 像设备1210捕捉的图像数据首先由ISP处理器1240处理,ISP处理器1240对 图像数据进行分析以捕捉可用于确定和/或成像设备1210的一个或多个控制参 数的图像统计信息。成像设备1210可包括具有一个或多个透镜1212和图像传 感器1214的照相机。图像传感器1214可包括色彩滤镜阵列(如Bayer滤镜),图 像传感器1214可获取用图像传感器1214的每个成像像素捕捉的光强度和波长 信息,并提供可由ISP处理器1240处理的一组原始图像数据。传感器1220(如 陀螺仪)可基于传感器1220接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器1240。传感器1220接口可以利用SMIA(Standard Mobile ImagingArchitecture,标准移动成像架构)接口、其它串行或并行照相机接口或 上述接口的组合。
此外,图像传感器1214也可将原始图像数据发送给传感器1220,传感器 1220可基于传感器1220接口类型把原始图像数据提供给ISP处理器1240,或 者传感器1220将原始图像数据存储到图像存储器1230中。
ISP处理器1240按多种格式逐个像素地处理原始图像数据。例如,每个图 像像素可具有12、10、12或14比特的位深度,ISP处理器1240可对原始图像 数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图 像处理操作可按相同或不同的位深度精度进行。
ISP处理器1240还可从图像存储器1230接收图像数据。例如,传感器1220 接口将原始图像数据发送给图像存储器1230,图像存储器1230中的原始图像数 据再提供给ISP处理器1240以供处理。图像存储器1230可为存储器装置的一 部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自图像传感器1214接口或来自传感器1220接口或来自图像存 储器1230的原始图像数据时,ISP处理器1240可进行一个或多个图像处理操作, 如时域滤波。处理后的图像数据可发送给图像存储器1230,以便在被显示之前 进行另外的处理。ISP处理器1240还可从图像存储器1230接收处理数据,对处 理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。处理后 的图像数据可输出给显示器1280,以供用户观看和/或由图形引擎或GPU (Graphics Processing Unit,图形处理器)进一步处理。此外,ISP处理器1240 的输出还可发送给图像存储器1230,且显示器1280可从图像存储器1230读取 图像数据。在一个实施例中,图像存储器1230可被配置为实现一个或多个帧缓 冲器。此外,ISP处理器1240的输出可发送给编码器/解码器1270,以便编码/ 解码图像数据。编码的图像数据可被保存,并在显示于显示器1280设备上之前 解压缩。
ISP处理器1240处理图像数据的步骤包括:对图像数据进行VFE(Video FrontEnd,视频前端)处理和CPP(Camera Post Processing,摄像头后处理)处 理。对图像数据的VFE处理可包括修正图像数据的对比度或亮度、修改以数字 方式记录的光照状态数据、对图像数据进行补偿处理(如白平衡,自动增益控 制,γ校正等)、对图像数据进行滤波处理等。对图像数据的CPP处理可包括对 图像进行缩放、向每个路径提供预览帧和记录帧。其中,CPP可使用不同的编 解码器来处理预览帧和记录帧。ISP处理器1240处理后的图像数据可发送给美 颜模块1260,以便在被显示之前对图像进行美颜处理。美颜模块1260对图像数据美颜处理可包括:美白、祛斑、磨皮、瘦脸、祛痘、增大眼睛等。其中,美 颜模块1260可为移动终端中CPU(Central Processing Unit,中央处理器)、GPU 或协处理器等。美颜模块1260处理后的数据可发送给编码器/解码器1270,以 便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器1280设备 上之前解压缩。其中,美颜模块1260还可位于编码器/解码器1270与显示器1280 之间,即美颜模块对已成像的图像进行美颜处理。上述编码器/解码器1270可为 移动终端中CPU、GPU或协处理器等。
ISP处理器1240确定的统计数据可发送给控制逻辑器1250单元。例如,统 计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透 镜1212阴影校正等图像传感器1214统计信息。控制逻辑器1250可包括执行一 个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的 统计数据,确定成像设备1210的控制参数以及ISP处理器1240的控制参数。 例如,成像设备1210的控制参数可包括传感器1220控制参数(例如增益、曝光 控制的积分时间)、照相机闪光控制参数、透镜1212控制参数(例如聚焦或变焦 用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例 如,在RGB处理期间)的增益水平和色彩校正矩阵,以及透镜1212阴影校正参 数。
运用图12中图像处理技术可实现如上的图像处理方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非 易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、 可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM) 或闪存。易失性存储器可包括随机存取存储器(RAM),它用作外部高速缓冲存 储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、 动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、 存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态 RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细, 但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域 的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和 改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附 权利要求为准。

Claims (10)

1.一种图像处理方法,其特征在于,包括:
获取图像中的人脸;
获取所述图像中具有相同人脸的图像集合;
识别所述图像集合中的图像的人脸对应的年龄值;
根据所述年龄值生成对所述图像集合中的图像的排序信息;
根据所述排序信息和所述图像集合,生成包括所述图像集合中图像的具有时序的相册。
2.根据权利要求1所述的方法,其特征在于,所述获取图像中的人脸,包括:
当所述图像中包含多个人脸时,确定所述多个人脸中的主人脸。
3.根据权利要求2所述的方法,其特征在于,所述确定所述多个人脸中的主人脸,包括:
根据所述图像中每个人脸占据的人脸面积和/或人脸清晰度确定主人脸。
4.根据权利要求3所述的方法,其特征在于,所述根据所述图像中每个人脸占据的人脸面积和/或人脸清晰度确定主人脸,包括:
从所述图像中获取人脸面积最大的人脸,判断所述人脸是否符合预设条件;
若是,则将所述人脸面积最大的人脸作为所述图像的主人脸;
若否,则继续从所述图像中获取人脸面积大小次之的人脸,判断所述人脸是否符合预设条件,重复执行直到所述人脸面积达到最小面积阈值或获取到主人脸为止;和/或
从所述图像中获取人脸清晰度最高的人脸,判断所述人脸是否符合预设条件;
若是,则将所述人脸清晰度最高的人脸作为所述图像的主人脸;
若否,则继续从所述图像中获取人脸清晰度次之的人脸,判断所述人脸是否符合预设条件,重复执行直到所述人脸清晰度达到最小清晰度阈值或获取到主人脸为止。
5.根据权利要求1至4中任一项所述的方法,其特征在于,所述根据所述年龄值生成对所述图像集合中的图像的排序信息,包括:
当同一图像集合中的多个图像中,人脸的年龄值相同时,根据所述多个图像的生成时间生成对所述多个图像的排序信息。
6.根据权利要求1至4中任一项所述的方法,其特征在于,在所述根据所述排序信息和所述图像集合,生成包括所述图像集合中图像的具有时序的相册之后,还包括:
将所述具有时序的相册按照所述时序进行播放,所述时序包括按照年龄值进行顺序排序和/或逆序排序,所述具有时序的相册包括幻灯片、短片或影集中的任意一种形式的文件。
7.根据权利要求1至4中任一项所述的方法,其特征在于,所述获取图像中的人脸,包括:
从本机和/或其它设备中的多用户家庭共享相册中获取图像中的人脸。
8.一种图像处理装置,其特征在于,所述装置包括:
图像集合获取模块,用于获取图像中的人脸;获取所述图像中具有相同人脸的图像集合;
年龄值识别模块,用于识别所述图像集合中的图像的人脸对应的年龄值;
排序信息生成模块,用于根据所述年龄值生成对所述图像集合中的图像的排序信息;
相册生成模块,用于根据所述排序信息和所述图像集合,生成包括所述图像集合中图像的具有时序的相册。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的图像处理方法的步骤。
10.一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,其特征在于,所述指令被所述处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述的图像处理方法的步骤。
CN201711331605.9A 2017-12-13 2017-12-13 图像处理方法、装置、存储介质和电子设备 Active CN108108415B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201711331605.9A CN108108415B (zh) 2017-12-13 2017-12-13 图像处理方法、装置、存储介质和电子设备
PCT/CN2018/116592 WO2019114508A1 (zh) 2017-12-13 2018-11-21 图像处理方法、装置、计算机可读存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711331605.9A CN108108415B (zh) 2017-12-13 2017-12-13 图像处理方法、装置、存储介质和电子设备

Publications (2)

Publication Number Publication Date
CN108108415A true CN108108415A (zh) 2018-06-01
CN108108415B CN108108415B (zh) 2020-07-21

Family

ID=62215835

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711331605.9A Active CN108108415B (zh) 2017-12-13 2017-12-13 图像处理方法、装置、存储介质和电子设备

Country Status (2)

Country Link
CN (1) CN108108415B (zh)
WO (1) WO2019114508A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109582811A (zh) * 2018-12-17 2019-04-05 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
WO2019114508A1 (zh) * 2017-12-13 2019-06-20 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN110009646A (zh) * 2019-04-15 2019-07-12 天意有福科技股份有限公司 一种电子相册的生成方法、装置、电子设备及存储介质
CN110147461A (zh) * 2019-04-30 2019-08-20 维沃移动通信有限公司 图像显示方法、装置、终端设备及计算机可读存储介质
CN110490162A (zh) * 2019-08-23 2019-11-22 北京搜狐新时代信息技术有限公司 基于人脸识别解锁功能显示人脸变化的方法、装置和系统
CN111835987A (zh) * 2020-06-08 2020-10-27 广东以诺通讯有限公司 一种基于人脸识别的视频生成方法
CN112131915A (zh) * 2019-06-25 2020-12-25 杭州海康威视数字技术股份有限公司 人脸考勤系统以及摄像机和码流设备
CN112163121A (zh) * 2020-11-03 2021-01-01 南京邦峰智能科技有限公司 一种基于大数据的视频内容信息智能分析处理方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112035685A (zh) * 2020-08-17 2020-12-04 中移(杭州)信息技术有限公司 相册视频生成方法、电子设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101751901A (zh) * 2009-12-18 2010-06-23 康佳集团股份有限公司 一种动感电子相册播放方法及装置
CN105117207A (zh) * 2015-07-27 2015-12-02 小米科技有限责任公司 相册创建方法及装置
CN105531741A (zh) * 2013-09-26 2016-04-27 富士胶片株式会社 摄像图像的主要脸部图像决定装置和其控制方法及其控制程序

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009201041A (ja) * 2008-02-25 2009-09-03 Oki Electric Ind Co Ltd コンテンツ検索装置およびその表示方法
CN108108415B (zh) * 2017-12-13 2020-07-21 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质和电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101751901A (zh) * 2009-12-18 2010-06-23 康佳集团股份有限公司 一种动感电子相册播放方法及装置
CN105531741A (zh) * 2013-09-26 2016-04-27 富士胶片株式会社 摄像图像的主要脸部图像决定装置和其控制方法及其控制程序
CN105117207A (zh) * 2015-07-27 2015-12-02 小米科技有限责任公司 相册创建方法及装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019114508A1 (zh) * 2017-12-13 2019-06-20 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN109582811A (zh) * 2018-12-17 2019-04-05 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN109582811B (zh) * 2018-12-17 2021-08-31 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN110009646A (zh) * 2019-04-15 2019-07-12 天意有福科技股份有限公司 一种电子相册的生成方法、装置、电子设备及存储介质
CN110009646B (zh) * 2019-04-15 2023-08-18 天意有福科技股份有限公司 一种电子相册的生成方法、装置、电子设备及存储介质
CN110147461A (zh) * 2019-04-30 2019-08-20 维沃移动通信有限公司 图像显示方法、装置、终端设备及计算机可读存储介质
CN112131915A (zh) * 2019-06-25 2020-12-25 杭州海康威视数字技术股份有限公司 人脸考勤系统以及摄像机和码流设备
CN110490162A (zh) * 2019-08-23 2019-11-22 北京搜狐新时代信息技术有限公司 基于人脸识别解锁功能显示人脸变化的方法、装置和系统
CN111835987A (zh) * 2020-06-08 2020-10-27 广东以诺通讯有限公司 一种基于人脸识别的视频生成方法
CN112163121A (zh) * 2020-11-03 2021-01-01 南京邦峰智能科技有限公司 一种基于大数据的视频内容信息智能分析处理方法
CN112163121B (zh) * 2020-11-03 2021-03-23 万得信息技术股份有限公司 一种基于大数据的视频内容信息智能分析处理方法

Also Published As

Publication number Publication date
CN108108415B (zh) 2020-07-21
WO2019114508A1 (zh) 2019-06-20

Similar Documents

Publication Publication Date Title
CN108108415A (zh) 图像处理方法、装置、存储介质和电子设备
CN107680128A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN107945107A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN107509031A (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN107493432A (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN107742274A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN107481186B (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
CN107945135A (zh) 图像处理方法、装置、存储介质和电子设备
CN107862658B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN107886484A (zh) 美颜方法、装置、计算机可读存储介质和电子设备
CN107730446A (zh) 图像处理方法、装置、计算机设备及计算机可读存储介质
CN109068058A (zh) 超级夜景模式下的拍摄控制方法、装置和电子设备
CN107862653A (zh) 图像显示方法、装置、存储介质和电子设备
CN107862274A (zh) 美颜方法、装置、电子设备和计算机可读存储介质
CN107911625A (zh) 测光方法、装置、可读存储介质和计算机设备
CN110298862A (zh) 视频处理方法、装置、计算机可读存储介质和计算机设备
CN108022206A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN108022207A (zh) 图像处理方法、装置、存储介质和电子设备
CN108198152A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN108764321B (zh) 图像识别方法和装置、电子设备、存储介质
CN109089041A (zh) 拍摄场景的识别方法、装置、电子设备和存储介质
CN107424117B (zh) 图像美颜方法、装置、计算机可读存储介质和计算机设备
CN107911682A (zh) 图像白平衡处理方法、装置、存储介质和电子设备
CN107368806A (zh) 图像矫正方法、装置、计算机可读存储介质和计算机设备
CN108804658A (zh) 图像处理方法和装置、存储介质、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant after: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd.

Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant before: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant