CN108259758A - 图像处理方法、装置、存储介质和电子设备 - Google Patents

图像处理方法、装置、存储介质和电子设备 Download PDF

Info

Publication number
CN108259758A
CN108259758A CN201810222002.3A CN201810222002A CN108259758A CN 108259758 A CN108259758 A CN 108259758A CN 201810222002 A CN201810222002 A CN 201810222002A CN 108259758 A CN108259758 A CN 108259758A
Authority
CN
China
Prior art keywords
image
target
human eye
electronic equipment
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810222002.3A
Other languages
English (en)
Other versions
CN108259758B (zh
Inventor
何新兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201810222002.3A priority Critical patent/CN108259758B/zh
Publication of CN108259758A publication Critical patent/CN108259758A/zh
Application granted granted Critical
Publication of CN108259758B publication Critical patent/CN108259758B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Abstract

本申请实施例公开了一种图像处理方法、装置、存储介质和电子设备;所述方法包括:当采集包含人眼的原始图像时,判断原始图像当中是否存在人眼为闭合状态的目标对象,若存在,则从原始图像中提取目标对象的特征信息,根据特征信息在电子设备的历史图像中查找对应的目标图像,根据目标图像对原始图像进行处理,以使目标对象的人眼为睁开状态。本申请实施例可以自动检测原始图像当中人眼闭合的对象,在历史图像中获取该对象的目标图像,并通过目标图像对原始图像进行处理,以使目标对象的人眼为睁开状态,从而提升电子设备的最终成像效果。

Description

图像处理方法、装置、存储介质和电子设备
技术领域
本申请涉及电子设备领域,具体涉及一种图像处理方法、装置、存储介质和电子设备。
背景技术
随着终端技术的发展,终端已经开始从以前简单地提供通话设备渐渐变成一个通用软件运行的平台。该平台不再以提供通话管理为主要目的,而是提供一个包括通话管理、游戏娱乐、办公记事、移动支付等各类应用软件在内的运行环境,随着大量的普及,已经深入至人们的生活、工作的方方面面。
用户经常需要使用终端相机进行拍摄。在进入终端相机的拍摄预览界面后,终端可以采集图像并显示在界面上供用户预览。终端采集到的图像可以被存储到缓存队列中,即该缓存队列中存储有多帧图像。当需要对采集到的图像进行一定的处理时,终端可以从缓存队列中获取最近采集到的多帧图像。然而由于多帧图像时间间隔较短,图像中可能存在眼睛闭着的用户,这就使得最终成像的效果不佳。
发明内容
本申请实施例提供一种图像处理方法、装置、存储介质和电子设备,可以提高电子设备的最终成像效果。
第一方面,本申请实施例提供一种图像处理方法,包括:
当采集包含人眼的原始图像时,判断所述原始图像当中是否存在所述人眼为闭合状态的目标对象;
若存在,则从所述原始图像中提取所述目标对象的特征信息;
根据所述特征信息在电子设备的历史图像中查找对应的目标图像;
根据所述目标图像对所述原始图像进行处理,以使所述目标对象的人眼为睁开状态。
第二方面,本申请实施例还提供了一种图像处理装置,包括:判断模块、提取模块、查找模块以及处理模块;
所述判断模块,用于当采集包含人眼的原始图像时,判断所述原始图像当中是否存在所述人眼为闭合状态的目标对象;
所述提取模块,用于当所述判断模块判断为是时,从所述原始图像中提取所述目标对象的特征信息;
所述查找模块,用于根据所述特征信息在电子设备的历史图像中查找对应的目标图像;
所述处理模块,用于根据所述目标图像对所述原始图像进行处理,以使所述目标对象的人眼为睁开状态。
第三方面,本申请实施例还提供一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述图像处理方法的步骤。
第四方面,本申请实施例还提供一种电子设备,包括存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述图像处理方法的步骤。
本申请实施例提供的图像处理方法首先当采集包含人眼的原始图像时,判断原始图像当中是否存在人眼为闭合状态的目标对象,若存在,则从原始图像中提取目标对象的特征信息,根据特征信息在电子设备的历史图像中查找对应的目标图像,根据目标图像对原始图像进行处理,以使目标对象的人眼为睁开状态。本申请实施例可以自动检测原始图像当中人眼闭合的对象,在历史图像中获取该对象的目标图像,并通过目标图像对原始图像进行处理,以使目标对象的人眼为睁开状态,从而提升电子设备的最终成像效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的图像处理方法的一种流程示意图。
图2为本申请实施例提供的图像处理方法的另一种流程示意图。
图3为本申请实施例提供的图像处理方法的一种场景示意图。
图4为本申请实施例提供的图像处理装置的一种结构示意图。
图5为本申请实施例提供的图像处理装置的另一种结构示意图。
图6为本申请实施例提供的图像处理装置的又一种结构示意图。
图7为本申请实施例提供的电子设备的一种结构示意图。
图8为本申请实施例提供的电子设备的另一种结构示意图。
具体实施方式
请参照图式,其中相同的组件符号代表相同的组件,本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例,其不应被视为限制本申请未在此详述的其它具体实施例。
在以下的说明中,本申请的具体实施例将参考由一部或多部计算机所执行的步骤及符号来说明,除非另有述明。因此,这些步骤及操作将有数次提到由计算机执行,本文所指的计算机执行包括了由代表了以一结构化型式中的数据的电子信号的计算机处理单元的操作。此操作转换该数据或将其维持在该计算机的内存系统中的位置处,其可重新配置或另外以本领域测试人员所熟知的方式来改变该计算机的运作。该数据所维持的数据结构为该内存的实体位置,其具有由该数据格式所定义的特定特性。但是,本申请原理以上述文字来说明,其并不代表为一种限制,本领域测试人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。
本申请的原理使用许多其它泛用性或特定目的运算、通信环境或组态来进行操作。所熟知的适合用于本申请的运算系统、环境与组态的范例可包括(但不限于)手持电话、个人计算机、服务器、多处理器系统、微电脑为主的系统、主架构型计算机、及分布式运算环境,其中包括了任何的上述系统或装置。
以下将分别进行详细说明。
本实施例将从图像处理装置的角度进行描述,该装置具体可以集成在电子设备中,该电子设备可以为移动互连接网络设备(如智能手机、平板电脑)等具备图像处理功能的电子设备。
首先参考图1,图1为本申请实施例提供的图像处理方法的一种流程示意图,包括以下步骤:
步骤S101,采集包含人眼的原始图像。
在一实施例中,上述原始图像可以是获取具有数字图像格式(例如BMP、JPG等)的人物照片,也可以由数码相机或手机即时拍照生成人物照片。本领域技术人员易于想到的是,还可以通过视频截图、照片扫描等方式获取人物图像,或者从其他电子设备获取到的人物图像,本发明实施例对此不加以限定。
在实际使用当中,本申请实施例主要用于将图像中闭眼的人眼图像进行处理,因此在获取到原始图像之后,还可以进一步判断该原始图像当中是否存在人眼,具体可以利用人眼识别技术检测原始图像当中是否存在人眼,若存在则继续执行步骤S102。
需要说明的是,在一实施例当中,在获取到该包含人眼的原始图像后还可以进一步进行预处理,该预处理可以包括图像增强、平滑处理、降噪处理等等。比如,在得到原始图像之后,可以对图像中的信息有选择地加强和抑制,以改善图像的视觉效果,或将图像转变为更适合于机器处理的形式,以便于数据抽取或识别。例如一个图像增强系统可以通过高通滤波器来突出图像的轮廓线,从而使机器能够测量轮廓线的形状和周长。图像增强技术有多种方法,反差展宽、对数变换、密度分层和直方图均衡等都可用于改变图像灰调和突出细节。
步骤S102,判断原始图像当中是否存在人眼为闭合状态的目标对象,若是,则执行步骤S103,若否,则结束流程。
在一实施例中,由于在电子设备拍照时往往只是记录快门按下一瞬间的图像,用户可能由于受到一些干扰而造成闭眼的情况,比如强光或者大风等等,因此本实施例可以进一步判断原始图像当中是否存在人眼为闭合状态的目标对象。
在一实施例中,上述判断原始图像当中是否存在人眼为闭合状态的目标对象的方法可以有多种,比如获取原始图像当中至少一个对象的人眼图像,根据人眼图像确定所述对象的人眼闭合度,并判断人眼闭合度是否小于预设值,若小于,则确定该对象为人眼为闭合状态的目标对象。
在一实施例中,还可以首先获取原始图像当中对象的人脸图像,基于人脸图像确定人眼区域,在定位人眼时可以根据预先训练的人眼特征分类器定位人眼区域。人眼检测的目的是精确定位到人眼区域,尽量去除眉毛和头发的影响。然后在人眼区域中获取虹膜图像,并基于虹膜图像分析眼睛闭合状态。其中,可以根据得到的虹膜图像检测虹膜的边缘信息,包括上下眼睑点等,获得实时的上下眼睑点之间的距离,得到眼睛闭合状态。
比如,上下眼睑点是指通过虹膜中心的上下方向的中心轴线与虹膜轮廓的交点。检测出上下眼睑点后即可计算出两者之间的距离。通过检测,可知眼睛正常睁开状态下的上下眼睑点之间的距离,计算实时检测的上下眼睑点之间的距离与眼睛正常睁开状态下的上下眼睑点之间的距离的比值,即可知眼睛闭合程度。当眼睛闭合程度小于设定阈值时,认为眼睛闭合。例如,正常情况下,人眼可见虹膜约为80%,当眼睛闭合程度为80%(即可见虹膜为20%)时认为眼睛闭合,从而确定该人眼闭合的对象即为目标对象。
需要说明的是,上述目标对象可以为一个也可以为多个,比如多人照片当中存在多个人眼为闭合状态的对象,则这多个对象均为目标对象。
步骤S103,从原始图像中提取目标对象的特征信息。
其中,上述特征信息为可以区分目标用户的识别信息,可以包括形体特征、人脸特征等。例如,本实施例中,可以从获取的用户图像中提取人体轮廓信息,并根据人体轮廓信息进一步获得形体特征信息(比如身高、臂展长度等等),其中,人体轮廓信息可以通过人体行为识别技术获得。在其他实施例中,还可以从原始图像中提取人脸特征信息,其中,可以基于人脸特征识别技术获得上述人脸特征信息。
其中人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流,并自动在图像中检测和跟踪人脸,进而对检测到的人脸进行脸部的一系列相关技术,通常也可以叫做人像识别、面部识别等等。另外,人脸识别可以采用基于Haar特征的Adaboost(AdaptiveBoosting,自适应增强)算法对原始图像中的人脸进行检测,或者采用其他算法对原始图像中的人脸进行检测,本实施例对此也不做限定。
步骤S104,根据特征信息在电子设备的历史图像中查找对应的目标图像。
根据上述特征信息在电子设备的历史图像中查找包含目标对象的目标图像。比如当根据特征信息确定原始图像当中的目标对象为张三时,在电子设备的相册当中查找包含张三的其他图像,并从中选取目标图像。
需要说明的是,在历史图像当中获取到包含上述目标对象的图像之后,还需要进一步从中选取该目标对象的人眼为睁开状态的图像,并确定为目标图像。
步骤S105,根据目标图像对原始图像进行处理,以使目标对象的人眼为睁开状态。
其中,由于目标图像当中目标对象的人眼为睁开状态,而原始图像当中目标对象的人眼为闭合状态,因此可以将目标图像当中的人眼图像与原始图像进行合成,以使最终的成像图像当中目标对象的人眼为睁开状态。也即上述根据目标图像对原始图像进行处理的步骤可以包括:
获取目标图像当中目标对象的人眼图像;
根据人眼图像对原始图像进行合成。
本发明实施例中,上述电子设备可以是任何能够进行图像浏览并处理的设备,例如:手机、平板电脑(Tablet Personal Computer)、膝上型电脑(Laptop Computer)、个人数字助理(personal digital assistant,简称PDA)、移动上网装置(Mobile InternetDevice,MID)或可穿戴式设备(Wearable Device)等。
由上可知,本申请实施例可以当采集包含人眼的原始图像时,判断原始图像当中是否存在人眼为闭合状态的目标对象,若存在,则从原始图像中提取目标对象的特征信息,根据特征信息在电子设备的历史图像中查找对应的目标图像,根据目标图像对原始图像进行处理,以使目标对象的人眼为睁开状态。本申请实施例可以自动检测原始图像当中人眼闭合的对象,在历史图像中获取该对象的目标图像,并通过目标图像对原始图像进行处理,以使目标对象的人眼为睁开状态,从而提升电子设备的最终成像效果。
根据上一实施例的描述,以下将进一步地来说明本申请的图像处理方法。
请参阅图2,图2为本申请实施例提供的另一种图像处理方法的流程示意图,包括以下步骤:
步骤S201,采集包含人眼的原始图像。
在一实施例中,上述原始图像可以是获取具有数字图像格式(例如BMP、JPG等)的人物照片,也可以由数码相机或手机即时拍照生成人物照片。本领域技术人员易于想到的是,还可以通过视频截图、照片扫描等方式获取人物图像,或者从其他电子设备获取到的人物图像,本发明实施例对此不加以限定。
步骤S202,判断原始图像当中是否存在人眼为闭合状态的目标对象,若是,则执行步骤S203,若否,则结束流程。
在一实施例中,可以首先获取原始图像当中对象的人脸图像,基于人脸图像确定人眼区域,在定位人眼时可以根据预先训练的人眼特征分类器定位人眼区域。人眼检测的目的是精确定位到人眼区域,尽量去除眉毛和头发的影响。然后在人眼区域中获取虹膜图像,并基于虹膜图像分析眼睛闭合状态。其中,可以根据得到的虹膜图像检测虹膜的边缘信息,包括上下眼睑点等,获得实时的上下眼睑点之间的距离,得到眼睛闭合状态并将人眼为闭合状态的对象确定为目标对象。
步骤S203,从原始图像中提取目标对象的脸部特征信息。
本实施例中,可以从原始图像中提取脸部特征信息,比如基于人脸特征识别技术获得上述脸部特征信息。在其他实施例中,也可以从获取的用户图像中提取人体轮廓信息,并根据人体轮廓信息进一步获得形体特征信息(比如身高、臂展长度等等),其中,人体轮廓信息可以通过人体行为识别技术获得。
步骤S204,根据脸部特征信息在电子设备的历史图像中查找包含目标对象的样本图像。
比如当根据特征信息确定原始图像当中的目标对象为张三时,在电子设备的相册当中查找包含张三的其他图像,以作为样本图像。
步骤S205,在样本图像中确定人眼为睁开状态的目标图像。
比如,在历史图像当中获取到包含上述目标对象的样本图像之后,还需要进一步从中选取该目标对象的人眼为睁开状态的图像,并确定为目标图像。
在一实施例中,若上述人眼为睁开状态的图像为多张,则还可以根据上述目标对象的脸部特征信息从中挑选目标图像。比如,根据上述脸部特征信息确定原始图像中目标对象的表情信息,然后在上述人眼为睁开状态的多张图像当中选取表情相似度最高的历史图像,并作为目标图像。这种方式可以降低图像合成后的违和感,提升成像效果。
步骤S206,根据目标图像对原始图像进行处理,以使目标对象的人眼为睁开状态。
其中,由于目标图像当中目标对象的人眼为睁开状态,而原始图像当中目标对象的人眼为闭合状态,因此可以将目标图像当中的人眼图像与原始图像进行合成,以使最终的成像图像当中目标对象的人眼为睁开状态。
步骤S207,将对原始图像进行处理后的图像确定为基础图像。
步骤S208,若基础图像为多人图像,则从缓存队列中获取多帧图像并确定为待处理图像。
步骤S209,将基础图像与待处理图像进行预设处理并输出。
在申请本实施例中,若上述基础图像为多人图像,即基础图像中至少包含两张人脸图像,还可以利用多帧合成进一步提升最终的成像效果。
比如,在缓存队列中获取与上述基础图像最为靠近的4帧图像,并作为待处理图像。其中,该基础图像中至少包含一个符合预设条件的人脸图像。之后,终端可以对该基础图像进行预设处理并输出。例如,预设条件可以是基础图像中某一用户的眼睛比该用户在其它待处理图像中的眼睛都更大。
比如,基础图像为A,待处理图像为B、C、D、E。上述图像为甲、乙、丙三人的合照图像,电子设备可以对该5帧图像进行人脸和人眼识别,并获取图像中人脸部分的眼睛大小。针对每个对象,判断待处理图像当中是否存在眼睛比基础图像当中更大的图像,若存在,则对基础图像中的人脸进行替换。比如用户丙在图像D中的眼睛比图像A中的更大,则电子设备可以将图像D中用户丙的人脸图像确定为目标人脸图像,图像A中用户丙的人脸图像确定为待替换人脸图像,然后电子设备可以使用图像D中用户丙的人脸图像替换掉图像A中用户丙的人脸图像。
在得到经过图像替换处理的图像后,终端可以对该图像进行图像降噪处理并输出。
请参阅图3,图3为本申请实施例提供的图像的获取方法的场景示意图。
本实施例中,在进入相机的预览界面后,终端可以根据当前的环境参数,每隔30毫秒至60毫秒采集一帧图像,并将采集到的图像保存到缓存队列。该缓存队列可以为定长队列,例如该缓存队列可以保存终端最新采集到的15帧图像。
比如,用户甲打开终端相机准备为甲、乙、丙三人拍摄合照,此时终端可以检测到相机在采集包含人脸的图像。若甲眼睛最大的图像为第一帧、乙眼睛最大的图像为第三帧,丙眼睛最大的图像为第一帧,则确定第一帧为基础图像,获取最为靠近第一帧的4帧图像为待处理图像,比如第二帧、第三帧、第四帧以及第5帧,对于第一帧,首先执行上述的图像处理方法,此处不再赘述。
对上述第一帧图像处理完成后,再根据上述第二帧、第三帧、第四帧以及第5帧对第一帧图像进行多帧合成,最后在进行图像降噪处理并输出。
其中,在进行多帧降噪时,终端可以先将基础图像和待处理图像对齐,并获取图像中每一组对齐像素的像素值。若同一组对齐像素的像素值相差不多,那么电子设备可以计算这组对齐像素的像素值均值,再用该像素值均值替换掉基础图像中的对应像素的像素值。若同一组对齐像素的像素值相差较多,那么可以不对基础图像中的像素值进行调整。
也即,上述将基础图像与待处理图像进行预设处理并输出的步骤具体可以包括:
从基础图像中确定出不符合预设条件的待替换人脸图像;
从待处理图像中确定出符合预设条件的目标人脸图像,目标人脸图像与待替换人脸图像为相同对象的人脸图像;
在基础图像中,将待替换人脸图像替换为目标人脸图像,得到经过图像替换处理的基础图像;
对经过图像替换处理的基础图像进行图像降噪处理并输出。
本发明实施例中,上述电子设备可以是任何能够进行LTE通讯的设备,例如:手机、平板电脑(Tablet Personal Computer)、膝上型电脑(Laptop Computer)、个人数字助理(personal digital assistant,简称PDA)、移动上网装置(Mobile Internet Device,MID)或可穿戴式设备(Wearable Device)等。
由上可知,本申请实施例提供的图像处理方法可以采集包含人眼的原始图像,判断原始图像当中是否存在人眼为闭合状态的目标对象,若是,则从原始图像中提取目标对象的脸部特征信息,根据脸部特征信息在电子设备的历史图像中查找包含目标对象的样本图像,在样本图像中确定人眼为睁开状态的目标图像,根据目标图像对原始图像进行处理,以使目标对象的人眼为睁开状态,将对原始图像进行处理后的图像确定为基础图像,若基础图像为多人图像,则从缓存队列中获取多帧图像并确定为待处理图像,将基础图像与待处理图像进行预设处理并输出。本申请实施例可以自动检测原始图像当中人眼闭合的对象,在历史图像中获取该对象的目标图像,并通过目标图像对原始图像进行处理,以使目标对象的人眼为睁开状态,从而提升电子设备的最终成像效果。
为了便于更好的实施本申请实施例提供的图像处理方法,本申请实施例还提供了一种基于上述图像处理方法的装置。其中名词的含义与上述图像处理方法中相同,具体实现细节可以参考方法实施例中的说明。
请参阅图4,图4为本申请实施例提供的一种图像处理装置的结构示意图,该图像处理装置30包括:判断模块301、提取模块302、查找模块303以及处理模块304;
该判断模块301,用于当采集包含人眼的原始图像时,判断原始图像当中是否存在人眼为闭合状态的目标对象;
该提取模块302,用于当判断模块301判断为是时,从原始图像中提取目标对象的特征信息;
该查找模块303,用于根据特征信息在电子设备的历史图像中查找对应的目标图像;
该处理模块304,用于根据目标图像对原始图像进行处理,以使目标对象的人眼为睁开状态。
在一实施例中,如图5所示,判断模块301可以具体包括:获取子模块3011、判断子模块3012以及对象确定子模块3013;
该获取子模块3011,用于获取原始图像当中至少一个对象的人眼图像;
该判断子模块3012,用于根据人眼图像确定对象的人眼闭合度,并判断人眼闭合度是否小于预设值;
该对象确定子模块3013,用于当判断子模块3012判断为是时,确定对象为人眼为闭合状态的目标对象。
在一实施例中,特征信息可以包括脸部特征信息,查找模块303包括:查找子模块3031和图像确定子模块3032;
该查找子模块3031,用于根据脸部特征信息在电子设备的历史图像中查找包含目标对象的样本图像;
该图像确定子模块3032,用于在样本图像中确定人眼为睁开状态的目标图像。
在一实施例中,如图6所示,上述图像处理装置30还可以包括:第一确定模块305、第二确定模块306以及输出模块307;
该第一确定模块305,用于将对原始图像进行处理后的图像确定为基础图像;
该第二确定模块306,用于当基础图像为多人图像时,从缓存队列中获取多帧图像并确定为待处理图像;
该输出模块307,用于将基础图像与待处理图像进行预设处理并输出。
由上可知,本申请实施例提供的图像处理装置30可以当采集包含人眼的原始图像时,判断模块301判断原始图像当中是否存在人眼为闭合状态的目标对象,若存在,提取模块302则从原始图像中提取目标对象的特征信息,查找模块303根据特征信息在电子设备的历史图像中查找对应的目标图像,处理模块304根据目标图像对原始图像进行处理,以使目标对象的人眼为睁开状态。本申请实施例可以自动检测原始图像当中人眼闭合的对象,在历史图像中获取该对象的目标图像,并通过目标图像对原始图像进行处理,以使目标对象的人眼为睁开状态,从而提升电子设备的最终成像效果。
本申请还提供一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现方法实施例提供的图像处理方法。
本申请还提供一种电子设备,包括存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现方法实施例提供的图像处理方法。
在本申请又一实施例中还提供一种电子设备,该电子设备可以是智能手机、平板电脑等设备。如图7所示,电子设备400包括处理器401、存储器402。其中,处理器401与存储器402电性连接。
处理器401是电子设备400的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或加载存储在存储器402内的应用程序,以及调用存储在存储器402内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。
在本实施例中,电子设备400中的处理器401会按照如下的步骤,将一个或一个以上的应用程序的进程对应的指令加载到存储器402中,并由处理器401来运行存储在存储器402中的应用程序,从而实现各种功能:
当采集包含人眼的原始图像时,判断所述原始图像当中是否存在所述人眼为闭合状态的目标对象;
若存在,则从所述原始图像中提取所述目标对象的特征信息;
根据所述特征信息在电子设备的历史图像中查找对应的目标图像;
根据所述目标图像对所述原始图像进行处理,以使所述目标对象的人眼为睁开状态。
请参阅图8,图8为本申请实施例提供的电子设备结构示意图。该电子设备500可以包括射频(RF,Radio Frequency)电路501、包括有一个或一个以上计算机可读存储介质的存储器502、输入单元503、显示单元504、传感器504、音频电路506、无线保真(WiFi,Wireless Fidelity)模块507、包括有一个或者一个以上处理核心的处理器508、以及电源509等部件。本领域技术人员可以理解,图8中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
射频电路501可用于收发信息,或通话过程中信号的接收和发送,特别地,将基站的下行信息接收后,交由一个或者一个以上处理器508处理;另外,将涉及上行的数据发送给基站。通常,射频电路501包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM,Subscriber Identity Module)卡、收发信机、耦合器、低噪声放大器(LNA,Low Noise Amplifier)、双工器等。此外,射频电路501还可以通过无线通信与网络和其他设备通信。该无线通信可以使用任一通信标准或协议,包括但不限于全球移动通信系统(GSM,Global System of Mobile communication)、通用分组无线服务(GPRS,GeneralPacket Radio Service)、码分多址(CDMA,Code Division Multiple Access)、宽带码分多址(WCDMA,Wideband Code Division Multiple Access)、长期演进(LTE,Long TermEvolution)、电子邮件、短消息服务(SMS,Short Messaging Service)等。
存储器502可用于存储应用程序和数据。存储器502存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器508通过运行存储在存储器502的应用程序,从而执行各种功能应用以及数据处理。存储器502可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器502可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器502还可以包括存储器控制器,以提供处理器508和输入单元503对存储器502的访问。
输入单元503可用于接收输入的数字、字符信息或用户特征信息(比如指纹),以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地,在一个具体的实施例中,输入单元503可包括触敏表面以及其他输入设备。触敏表面,也称为触摸显示屏或者触控板,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触敏表面可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器508,并能接收处理器508发来的命令并加以执行。
显示单元504可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元504可包括显示面板。可选的,可以采用液晶显示器(LCD,Liquid CrystalDisplay)、有机发光二极管(OLED,Organic Light-Emitting Diode)等形式来配置显示面板。进一步的,触敏表面可覆盖显示面板,当触敏表面检测到在其上或附近的触摸操作后,传送给处理器508以确定触摸事件的类型,随后处理器508根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图8中,触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能,但是在某些实施例中,可以将触敏表面与显示面板集成而实现输入和输出功能。
电子设备还可包括至少一种传感器505,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板的亮度,接近传感器可在电子设备移动到耳边时,关闭显示面板和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于电子设备还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路506可通过扬声器、传声器提供用户与电子设备之间的音频接口。音频电路506可将接收到的音频数据转换成电信号,传输到扬声器,由扬声器转换为声音信号输出;另一方面,传声器将收集的声音信号转换为电信号,由音频电路506接收后转换为音频数据,再将音频数据输出处理器508处理后,经射频电路501以发送给比如另一电子设备,或者将音频数据输出至存储器502以便进一步处理。音频电路506还可能包括耳塞插孔,以提供外设耳机与电子设备的通信。
无线保真(WiFi)属于短距离无线传输技术,电子设备通过无线保真模块507可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图8示出了无线保真模块507,但是可以理解的是,其并不属于电子设备的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器508是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器502内的应用程序,以及调用存储在存储器502内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。可选的,处理器508可包括一个或多个处理核心;优选的,处理器508可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器508中。
电子设备还包括给各个部件供电的电源509(比如电池)。优选的,电源可以通过电源管理系统与处理器508逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源509还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管图8中未示出,电子设备还可以包括摄像头、蓝牙模块等,在此不再赘述。
具体实施时,以上各个模块可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个模块的具体实施可参见前面的方法实施例,在此不再赘述。
需要说明的是,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于计算机可读存储介质中,如存储在终端的存储器中,并被该终端内的至少一个处理器执行,在执行过程中可包括如图像处理方法的实施例的流程。其中,存储介质可以包括:只读存储器(ROM,Read OnlyMemory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
以上对本申请实施例提供的一种图像处理方法、装置、存储介质和电子设备进行了详细介绍,其各功能模块可以集成在一个处理芯片中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (11)

1.一种图像处理方法,其特征在于,包括以下步骤:
当采集包含人眼的原始图像时,判断所述原始图像当中是否存在所述人眼为闭合状态的目标对象;
若存在,则从所述原始图像中提取所述目标对象的特征信息;
根据所述特征信息在电子设备的历史图像中查找对应的目标图像;
根据所述目标图像对所述原始图像进行处理,以使所述目标对象的人眼为睁开状态。
2.根据权利要求1所述的图像处理方法,其特征在于,所述判断所述原始图像当中是否存在所述人眼为闭合状态的目标对象,包括:
获取所述原始图像当中至少一个对象的人眼图像;
根据所述人眼图像确定所述对象的人眼闭合度,并判断所述人眼闭合度是否小于预设值;
若小于,则确定所述对象为所述人眼为闭合状态的目标对象。
3.根据权利要求1所述的图像处理方法,其特征在于,所述特征信息包括脸部特征信息;
所述根据所述特征信息在电子设备的历史图像中查找对应的目标图像,包括:
根据所述脸部特征信息在电子设备的历史图像中查找包含所述目标对象的样本图像;
在所述样本图像中确定所述人眼为睁开状态的目标图像。
4.根据权利要求1所述的图像处理方法,其特征在于,所述根据所述目标图像对所述原始图像进行处理,包括:
获取所述目标图像当中所述目标对象的人眼图像;
根据所述人眼图像对所述原始图像进行合成。
5.根据权利要求1所述的图像处理方法,其特征在于,所述方法还包括:
将对所述原始图像进行处理后的图像确定为基础图像;
若所述基础图像为多人图像,则从缓存队列中获取多帧图像并确定为待处理图像;
将所述基础图像与所述待处理图像进行预设处理并输出。
6.根据权利要求5所述的图像处理方法,其特征在于,所述将所述基础图像与所述待处理图像进行预设处理并输出,包括:
从所述基础图像中确定出不符合所述预设条件的待替换人脸图像;
从所述待处理图像中确定出符合所述预设条件的目标人脸图像,所述目标人脸图像与所述待替换人脸图像为相同对象的人脸图像;
在所述基础图像中,将所述待替换人脸图像替换为所述目标人脸图像,得到经过图像替换处理的基础图像;
对所述经过图像替换处理的基础图像进行图像降噪处理并输出。
7.一种图像处理装置,其特征在于,所述装置包括:判断模块、提取模块、查找模块以及处理模块;
所述判断模块,用于当采集包含人眼的原始图像时,判断所述原始图像当中是否存在所述人眼为闭合状态的目标对象;
所述提取模块,用于当所述判断模块判断为是时,从所述原始图像中提取所述目标对象的特征信息;
所述查找模块,用于根据所述特征信息在电子设备的历史图像中查找对应的目标图像;
所述处理模块,用于根据所述目标图像对所述原始图像进行处理,以使所述目标对象的人眼为睁开状态。
8.根据权利要求7所述的图像处理装置,其特征在于,所述判断模块包括:获取子模块、判断子模块以及对象确定子模块;
所述获取子模块,用于获取所述原始图像当中至少一个对象的人眼图像;
所述判断子模块,用于根据所述人眼图像确定所述对象的人眼闭合度,并判断所述人眼闭合度是否小于预设值;
所述对象确定子模块,用于当所述判断子模块判断为是时,确定所述对象为所述人眼为闭合状态的目标对象。
9.根据权利要求7所述的图像处理装置,其特征在于,所述特征信息包括脸部特征信息,所述查找模块包括:查找子模块和图像确定子模块;
所述查找子模块,用于根据所述脸部特征信息在电子设备的历史图像中查找包含所述目标对象的样本图像;
所述图像确定子模块,用于在所述样本图像中确定所述人眼为睁开状态的目标图像。
10.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-6任一项所述方法的步骤。
11.一种电子设备,包括存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-6任一项所述方法的步骤。
CN201810222002.3A 2018-03-18 2018-03-18 图像处理方法、装置、存储介质和电子设备 Expired - Fee Related CN108259758B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810222002.3A CN108259758B (zh) 2018-03-18 2018-03-18 图像处理方法、装置、存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810222002.3A CN108259758B (zh) 2018-03-18 2018-03-18 图像处理方法、装置、存储介质和电子设备

Publications (2)

Publication Number Publication Date
CN108259758A true CN108259758A (zh) 2018-07-06
CN108259758B CN108259758B (zh) 2020-10-09

Family

ID=62747057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810222002.3A Expired - Fee Related CN108259758B (zh) 2018-03-18 2018-03-18 图像处理方法、装置、存储介质和电子设备

Country Status (1)

Country Link
CN (1) CN108259758B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163816A (zh) * 2019-04-24 2019-08-23 Oppo广东移动通信有限公司 图像信息的处理方法、装置、存储介质及电子设备
CN111275649A (zh) * 2020-02-03 2020-06-12 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备和存储介质
CN111340688A (zh) * 2020-02-24 2020-06-26 网易(杭州)网络有限公司 一种闭眼图像的生成方法和装置
CN111343356A (zh) * 2020-03-11 2020-06-26 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、存储介质与电子设备
CN112580413A (zh) * 2019-09-30 2021-03-30 Oppo广东移动通信有限公司 人眼区域定位方法、相关装置
CN113139952A (zh) * 2021-05-08 2021-07-20 佳都科技集团股份有限公司 一种图像处理的方法及装置
CN113747057A (zh) * 2021-07-26 2021-12-03 荣耀终端有限公司 一种图像处理方法及电子设备
CN113808066A (zh) * 2020-05-29 2021-12-17 Oppo广东移动通信有限公司 图像选取方法、装置、存储介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101030316A (zh) * 2007-04-17 2007-09-05 北京中星微电子有限公司 一种汽车安全驾驶监控系统和方法
CN101617339A (zh) * 2007-02-15 2009-12-30 索尼株式会社 图像处理装置和图像处理方法
US20150070482A1 (en) * 2005-10-17 2015-03-12 Cutting Edge Vision Llc Wink detecting camera
CN106657759A (zh) * 2016-09-27 2017-05-10 奇酷互联网络科技(深圳)有限公司 防闭眼的拍照方法及装置
CN107734253A (zh) * 2017-10-13 2018-02-23 广东欧珀移动通信有限公司 图像处理方法、装置、移动终端和计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150070482A1 (en) * 2005-10-17 2015-03-12 Cutting Edge Vision Llc Wink detecting camera
CN101617339A (zh) * 2007-02-15 2009-12-30 索尼株式会社 图像处理装置和图像处理方法
CN101030316A (zh) * 2007-04-17 2007-09-05 北京中星微电子有限公司 一种汽车安全驾驶监控系统和方法
CN106657759A (zh) * 2016-09-27 2017-05-10 奇酷互联网络科技(深圳)有限公司 防闭眼的拍照方法及装置
CN107734253A (zh) * 2017-10-13 2018-02-23 广东欧珀移动通信有限公司 图像处理方法、装置、移动终端和计算机可读存储介质

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163816A (zh) * 2019-04-24 2019-08-23 Oppo广东移动通信有限公司 图像信息的处理方法、装置、存储介质及电子设备
CN112580413A (zh) * 2019-09-30 2021-03-30 Oppo广东移动通信有限公司 人眼区域定位方法、相关装置
CN111275649A (zh) * 2020-02-03 2020-06-12 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备和存储介质
CN111340688A (zh) * 2020-02-24 2020-06-26 网易(杭州)网络有限公司 一种闭眼图像的生成方法和装置
CN111340688B (zh) * 2020-02-24 2023-08-11 网易(杭州)网络有限公司 一种闭眼图像的生成方法和装置
CN111343356A (zh) * 2020-03-11 2020-06-26 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、存储介质与电子设备
CN113808066A (zh) * 2020-05-29 2021-12-17 Oppo广东移动通信有限公司 图像选取方法、装置、存储介质及电子设备
CN113139952A (zh) * 2021-05-08 2021-07-20 佳都科技集团股份有限公司 一种图像处理的方法及装置
CN113139952B (zh) * 2021-05-08 2024-04-09 佳都科技集团股份有限公司 一种图像处理的方法及装置
CN113747057A (zh) * 2021-07-26 2021-12-03 荣耀终端有限公司 一种图像处理方法及电子设备
CN113747057B (zh) * 2021-07-26 2022-09-30 荣耀终端有限公司 一种图像处理方法、电子设备、芯片系统和存储介质

Also Published As

Publication number Publication date
CN108259758B (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
CN108259758A (zh) 图像处理方法、装置、存储介质和电子设备
CN104135609B (zh) 辅助拍照方法、装置及终端
CN108921941A (zh) 图像处理方法、装置、存储介质和电子设备
CN109086680A (zh) 图像处理方法、装置、存储介质和电子设备
WO2021017932A1 (zh) 一种图像显示方法与电子设备
CN106296617B (zh) 人脸图像的处理方法及装置
CN109002787B (zh) 图像处理方法和装置、存储介质、电子设备
CN107734617A (zh) 应用程序关闭方法、装置、存储介质和电子设备
CN106558025A (zh) 一种图片的处理方法和装置
CN104143078A (zh) 活体人脸识别方法、装置和设备
CN107784114A (zh) 表情图像的推荐方法、装置、终端及存储介质
CN109167910A (zh) 对焦方法、移动终端及计算机可读存储介质
CN106527949B (zh) 一种指纹解锁方法、装置和终端
CN111103922B (zh) 摄像头、电子设备和身份验证方法
CN108900778A (zh) 一种拍摄方法、移动终端及计算机可读存储介质
CN108259771A (zh) 图像处理方法、装置、存储介质和电子设备
CN106203254A (zh) 一种调整拍照方向的方法及装置
CN110647881B (zh) 确定图像对应的卡片类型的方法、装置、设备及存储介质
CN110209245A (zh) 人脸识别方法及相关产品
CN107241552A (zh) 一种图像获取方法、装置、存储介质和终端
CN108307110A (zh) 一种图像虚化方法及移动终端
CN108427938A (zh) 图像处理方法、装置、存储介质和电子设备
CN110032887A (zh) 一种图片隐私保护方法、终端及计算机可读存储介质
CN110162954A (zh) 权限管理方法及相关产品
CN103869977B (zh) 图像显示方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant after: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd.

Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant before: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd.

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201009