CN108259766A - 一种移动智能终端拍照摄像处理方法 - Google Patents

一种移动智能终端拍照摄像处理方法 Download PDF

Info

Publication number
CN108259766A
CN108259766A CN201810270672.2A CN201810270672A CN108259766A CN 108259766 A CN108259766 A CN 108259766A CN 201810270672 A CN201810270672 A CN 201810270672A CN 108259766 A CN108259766 A CN 108259766A
Authority
CN
China
Prior art keywords
image
eye
intelligent terminal
mobile intelligent
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810270672.2A
Other languages
English (en)
Other versions
CN108259766B (zh
Inventor
郑紫微
陈平顺
赵婷
段欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo University
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201810270672.2A priority Critical patent/CN108259766B/zh
Publication of CN108259766A publication Critical patent/CN108259766A/zh
Application granted granted Critical
Publication of CN108259766B publication Critical patent/CN108259766B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/197Matching; Classification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种移动智能终端拍照摄像处理方法,用于处理所拍摄合法用户图像的闭眼照片,通过由移动智能终端获取其合法用户呈睁眼状态的面部图像,并以获取的这些图像作为修复源图像,然后通过获取针对该合法用户任意面部图像的左眼特征修正参数值和右眼特征修正参数值、图像自适应亮度修正参数以及图像模糊度校正值进行整合处理,以通过结合这些参数来针对被选定的修复源图像中的眼睛图像做调整,然后将调整后的眼睛图像替换掉闭眼照片中的眼睛图像,有效消除针对用户原有闭眼图像的修复痕迹,实现了针对所拍摄合法用户图像的闭眼照片的处理效果。

Description

一种移动智能终端拍照摄像处理方法
技术领域
本发明涉及移动智能终端领域,尤其涉及一种移动智能终端拍照摄像处理方法。
背景技术
随着智能终端软硬件技术的不断发展成熟,各式各样的移动智能终端相继涌现,并且被广大用户所接受。尤其是丰富多彩的拍照功能以及美颜、修饰等针对图像的处理显示功能更加受到用户的青睐,移动智能终端的拍照功能极大地方便了用户的自我拍照需要。
然而,现有移动智能终端的拍照功能仍然存在一些不足之处:用户在利用自己的移动智能终端拍摄照片的时候,经常会遇到用户闭眼的困扰,导致所拍摄出来的用户照片为闭眼状态的照片,例如闭左眼的照片或者闭右眼的照片,这些闭眼的照片会破坏掉精彩的瞬间记忆,给用户带来追悔莫及的遗憾。
发明内容
本发明所要解决的技术问题是针对上述现有技术提供一种移动智能终端拍照摄像处理方法。该移动智能终端拍照摄像处理方法能够对用户的已有非闭眼照片做自动处理,然后对用户所拍摄的闭眼照片做调整修复,从而将用户的闭眼照片更新调整为用户睁眼照片。
本发明解决上述技术问题所采用的技术方案为:一种移动智能终端拍照摄像处理方法,用于处理所拍摄合法用户图像的闭眼照片,其特征在于,所述移动智能终端拍照摄像处理方法包括如下步骤1至步骤12:
步骤1,预先设置第一预设时间段,由所述移动智能终端在第一预设时间段内连续获取其合法用户的多幅具有睁眼状态的面部图像,并由所述多幅具有睁眼状态的面部图像形成针对该移动智能终端合法用户的合法用户面部图像数据库;
其中,所述第一预设时间段标记为T1,所述合法用户面部图像数据库内的面部图像个数为M1幅,所述M1幅面部图像内的第m幅面部图像标记为JPGface,m,1≤m≤M1
步骤2,所述移动智能终端提取该合法用户面部图像数据库中各幅面部图像内的左眼图像以及对应的右眼图像,形成所述合法用户的左眼图像数据库和右眼眶图像数据库,得到所述合法用户的左眼特征参数集和右眼特征参数集;
其中,所述合法用户的左眼特征参数集包括左眼图像长度值参数、左眼图像宽度值参数、左眼图像面积值参数、左眼图像像素值参数以及左眼瞳孔半径值参数;
所述第m幅合法用户面部图像JPGface,m内的左眼图像记为左眼图像长度值参数记为左眼图像宽度值参数记为左眼图像面积值参数记为左眼瞳孔半径值参数记为
对应地,所述合法用户的右眼特征参数集包括右眼图像长度值参数、右眼图像宽度值参数、右眼图像面积值参数、右眼图像像素值参数以及右眼瞳孔半径值参数;
所述第m幅合法用户面部图像JPGface,m内的右眼图像记为右眼图像长度值参数记为右眼图像宽度值参数记为右眼图像面积值参数记为右眼瞳孔半径值参数记为
步骤3,所述移动智能终端根据所得其合法用户的左眼特征参数集和右眼特征参数集,得到针对该合法用户任意面部图像的左眼特征修正参数值和右眼特征修正参数值;
其中,所述合法用户面部图像的左眼特征修正参数值标记为τLeft,所述合法用户面部图像的右眼特征修正参数值标记为τRight
表示数值与数值之间的最大值,表示数值与数值之间的最大值;
步骤4,所述移动智能终端在检测到有操作者启动拍照按键且判断当前操作者为其合法用户时,所述移动智能终端启动其摄像头并获取多个当前周围环境的光照强度数据,形成针对当前周围环境的环境光照强度数据库,得到针对当前周围环境光照状态的图像自适应亮度修正参数;否则,所述移动智能终端拒绝启动其摄像头;
其中,所述环境光照强度数据库内的光照强度数据个数标记为M2,所述环境光照强度数据库内的第i个光照强度数据标记为Luxi,1≤i≤M2;所述图像自适应亮度修正参数标记为δ:
其中,Lux(min)表示M2个光照强度数据内的最小值,Lux(max)表示M2个光照强度数据内的最大值;
步骤5,所述移动智能终端在得到图像自适应亮度修正参数后,移动智能终端在第一预设时间段内且在当前周围环境下获取其摄像头镜片上的多个湿度数据,形成针对当前周围环境的环境湿度数据库,得到针对当前周围环境湿度状态的图像模糊度校正值;
其中,所述环境湿度数据库内的湿度数据个数标记为M3,所述环境湿度数据库内的第i个湿度数据标记为HUi,1≤j≤M3;所述图像模糊度校正值标记为
步骤6,设置第二预设时间段,由所述移动智能终端在第二预设时间段内获取其被合法用户握持时的抖动次数、该移动智能终端在水平方向上的横向累计移动距离值以及该移动智能终端在竖直方向上的纵向累计移动距离值,得到移动智能终端被其合法用户握持时的横向抖动偏移值以及纵向抖动偏移值;
其中,所述第二预设时间段标记为T2,所述移动智能终端在第二预设时间段T2内被合法用户握持时的抖动次数标记为C1,所述移动智能终端的横向累计移动距离值标记为D1,所述移动智能终端的纵向累计移动距离值标记为D2,所述移动智能终端被其合法用户握持时的横向抖动偏移值标记为d1,所述移动智能终端被其合法用户握持时的纵向抖动偏移值标记为d2
步骤7,所述移动智能终端根据其摄像头的固有对焦频率、所得横向抖动偏移值以及纵向抖动偏移值,得到该移动智能终端启动其摄像头时的自适应对焦频率;
其中,所述移动智能终端其摄像头的固有对焦频率标记为f,所述移动智能终端启动其摄像头时的自适应对焦频率标记为F:
步骤8,所述移动智能终端在检测到其合法用户启动摄像头时,移动智能终端按照所得自适应对焦频率进行对焦处理且利用其摄像头对镜头前方对象做人像识别检测:
当移动智能终端判断摄像头的镜头前方对象仅为人脸的面部区域时,移动智能终端在设定拍照时间内连续获取多帧前方对象图像,形成所拍摄前方对象的前方对象连拍图像库,并得到拍照时刻的周围环境光照强度,转入步骤9;否则,所述移动智能终端获取其合法用户的拍摄按键次数并拍摄与所述拍摄按键次数等数值的多幅前方对象图像,且存储拍摄的所述多幅前方对象图像到该移动智能终端自身的拍照图像数据库内;其中,所述拍照时刻的周围环境光照强度标记为Lux(Camera);
步骤9,所述移动智能终端针对所述前方对象连续图形库内的各帧前方对象图像分别做眼部区域检测,且在成功检测到存在处于睁眼状态的眼部区域时,移动智能终端提取该存在睁眼状态的眼部区域所对应的前方对象图像并存储该前方对象图像至前方对象睁眼状态图像数据库,以供用户调用观察图像;否则,所述移动智能终端转入步骤10;
步骤10,所述移动智能终端接收到其合法用户的闭眼调整修复指令时,该移动智能终端转入步骤11,启动针对所述前方对象图像的闭眼调整修改操作;否则,所述移动智能终端关闭其摄像头;
步骤11,所述移动智能终端根据自动选取或者根据其合法用户指令选取所述前方对象连拍图像库内的一帧前方对象图像作为背景图像,并以步骤1中所述合法用户面部图像数据库内的任一副合法用户面部图像作为修复源图像,利用所述修复源图像调整修复所述背景图像中的闭眼区域,得到更新后的背景图像并显示该更新后的背景图像;其中,利用所述修复源图像调整修复所述背景图像中的闭眼区域过程包括如下步骤a1至步骤a6:
步骤a1,所述移动智能终端提取所述修复源图像中的眼部区域图像;其中,所述眼部区域图像包括左眼图像和右眼图像;
步骤a2,所述移动智能终端根据所得图像自适应亮度修正参数、图像模糊度校正值以及步骤8中所述拍照时刻的周围环境光照强度,得到修复当前眼部区域图像时的修复后眼睛图像亮度;其中,所述修复后眼睛图像亮度标记为α:
步骤a3,所述移动智能终端检测所述背景图像中的用户闭眼区域,并根据所检测用户闭眼区域调取所述眼部区域图像中对应的眼睛图像:
当检测所述用户闭眼区域仅为用户的左眼区域时,所述移动智能终端获取当前右眼区域的右眼图像长度值参数和右眼图像宽度值参数并调取所述眼部区域图像中的左眼图像作为左眼修复源图像后,转入步骤a4;其中,当前右眼区域的右眼图像长度值参数标记为当前右眼区域的右眼图像宽度值参数标记为
当检测所述用户闭眼区域仅为用户的右眼区域时,所述移动智能终端获取当前左眼区域的左眼图像长度值参数和左眼图像宽度值参数并调取所述眼部区域图像中的右眼图像作为右眼修复源图像后,转入步骤a5;其中,当前左眼区域的左眼图像长度值参数标记为当前左眼区域的左眼图像宽度值参数标记为
步骤a4,所述移动智能终端根据步骤3中所得左眼特征修正参数值和以及步骤a3中所得对应右眼图像长度值参数和右眼图像宽度值参数,调整所述左眼修复源图像的长度参数值和宽度值参数,并以该调整后的左眼修复源图像替换掉背景图像中的左眼图像,得到更新后的所述背景图像,转入步骤a6;
其中,所述调整后左眼修复源图像的长度参数值标记为所述调整后左眼修复源图像的宽度参数值标记为
步骤a5,所述移动智能终端根据步骤3中所得右眼特征修正参数值和以及步骤a3中所得对应左眼图像长度值参数和左眼图像宽度值参数,调整所述右眼修复源图像的长度参数值和宽度值参数,并以该调整后的右眼修复源图像替换掉背景图像中的右眼图像,得到更新后的所述背景图像,转入步骤a6;
其中,所述调整后右眼修复源图像的长度参数值标记为所述调整后右眼修复源图像的宽度参数值标记为
步骤a6,所述移动智能终端以步骤a2中所得修复后眼睛图像亮度显示更新后的所述背景图像。
改进地,在所述移动智能终端拍照摄像处理方法中,所述第一预设时间段T1大于所述第二预设时间段T2
优选地,在所述移动智能终端拍照摄像处理方法中,在步骤1中,所述合法用户面部图像数据库内的图像格式为JPG格式。
再改进,在所述移动智能终端拍照摄像处理方法中,步骤8中所述的设定拍照时间为0.5秒,,移动智能终端该设定拍照时间内所连续获取前方对象图像的帧数为5帧。
可选地,在所述移动智能终端拍照摄像处理方法中,所述移动智能终端为智能手机或者平板电脑或者智能穿戴设备。
与现有技术相比,本发明的优点在于:
首先,本发明通过形成利用用户的多幅具有睁眼状态的面部图像来形成针对该移动智能终端合法用户的合法用户面部图像数据库,以将合法用户的这些具有睁眼状态的面部图像作为后续调整修复用户闭眼照片时的修复源图像;
其次,本发明通过得到能够表征该合法用户的双眼分别在正常睁眼状态时所对应的左眼特征修正参数值、右眼特征修正参数值,由此得到在利用修复源图像去修复用户闭眼图像时的对应参数修正值,提高修复用户闭眼图像时的逼真度;
再次,通过利用所采集摄像头周围环境光照强度情况来得到该移动智能终端后续针对用户闭眼图像调整时的图像自适应亮度修正参数,以此保证替代后的眼睛图像能够与后续所拍摄闭眼图像的亮度最大程度地相吻合,避免修复后的眼睛图像在亮度上出现差异,影响修复后的图像观察效果和逼真程度;通过利用所采集摄像头周围环境空气湿度情况来得到该移动智能终端后续针对用户闭眼图像调整时的图像模糊度校正值,以此保证替代后的眼睛图像能够与后续所拍摄闭眼图像的清晰度呈现最大程度地吻合,避免修复后的眼睛图像在图像修复边界上出现清晰度情况的差异;
另外,本发明通过计算得到该移动智能终端摄像头在被其合法用户握持时的横向抖动偏移值以及纵向抖动偏移值,以帮助移动智能终端在拍摄照片时,将摄像头对焦晃动因素考虑在内,以得到移动智能终端其摄像头时的自适应对焦频率,从而帮助合法用户拍摄出更为清晰的前方对象照片;
最后,利用调整后修复源图像中的眼睛图像替换掉背景图像中处于闭眼状态的眼睛图像,消除针对用户原有闭眼图像的修复痕迹,有效地实现了针对所拍摄合法用户图像的闭眼照片的处理效果。
附图说明
图1为本发明实施例中移动智能终端拍照摄像处理方法的流程示意图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
如图1所示,本实施例中的移动智能终端拍照摄像处理方法,用于处理所拍摄合法用户图像的闭眼照片,该移动智能终端拍照摄像处理方法包括如下步骤1至步骤12:
步骤1,预先设置第一预设时间段,由移动智能终端在第一预设时间段内连续获取其合法用户的多幅具有睁眼状态的面部图像,并由所述多幅具有睁眼状态的面部图像形成针对该移动智能终端合法用户的合法用户面部图像数据库;
其中,这里的第一预设时间段标记为T1,合法用户面部图像数据库内的面部图像个数为M1幅,M1幅面部图像内的第m幅面部图像标记为JPGface,m,1≤m≤M1;在本实施例中,合法用户面部图像数据库内的图像格式采用JPG格式;
本发明通过形成利用用户的多幅具有睁眼状态的面部图像来形成针对该移动智能终端合法用户的合法用户面部图像数据库,以将合法用户的这些具有睁眼状态的面部图像作为后续调整修复用户闭眼照片时的修复源图像;
步骤2,移动智能终端提取该合法用户面部图像数据库中各幅面部图像内的左眼图像以及对应的右眼图像,形成该合法用户的左眼图像数据库和右眼眶图像数据库,得到合法用户的左眼特征参数集和右眼特征参数集;
其中,移动智能终端的合法用户的左眼特征参数集包括左眼图像长度值参数、左眼图像宽度值参数、左眼图像面积值参数、左眼图像像素值参数以及左眼瞳孔半径值参数;
在本实施例中,针对移动智能终端其合法用户的左眼图像数据库,在其左眼图像数据库内,第m幅合法用户面部图像JPGface,m内的左眼图像记为左眼图像长度值参数记为左眼图像宽度值参数记为左眼图像面积值参数记为左眼瞳孔半径值参数记为当然,这里的1≤m≤M1
对应地,合法用户的右眼特征参数集包括右眼图像长度值参数、右眼图像宽度值参数、右眼图像面积值参数、右眼图像像素值参数以及右眼瞳孔半径值参数;
针对移动智能终端其合法用户的右眼图像数据库,在其右眼图像数据库内,第m幅合法用户面部图像JPGface,m内的右眼图像记为右眼图像长度值参数记为右眼图像宽度值参数记为右眼图像面积值参数记为右眼瞳孔半径值参数记为
步骤3,移动智能终端根据所得其合法用户的左眼特征参数集和右眼特征参数集,得到针对该合法用户任意面部图像的左眼特征修正参数值和右眼特征修正参数值;
其中,该实施例中,合法用户面部图像的左眼特征修正参数值标记为τLeft,合法用户面部图像的右眼特征修正参数值标记为τRight
表示数值与数值之间的最大值,表示数值与数值之间的最大值;
本发明在该步骤3中通过利用移动智能终端其合法用户的多幅具有睁眼状态的面部图像中的左眼图像参数以及右眼图像参数,得到能够表征该合法用户的双眼分别在正常睁眼状态时所对应的左眼特征修正参数值、右眼特征修正参数值,由此得到在利用修复源图像去修复用户闭眼图像时的对应参数修正值,提高修复用户闭眼图像时的逼真度;
步骤4,移动智能终端在检测到有操作者启动拍照按键且判断当前操作者为其合法用户时,该移动智能终端启动其摄像头并获取多个当前周围环境的光照强度数据,形成针对当前周围环境的环境光照强度数据库,得到针对当前周围环境光照状态的图像自适应亮度修正参数;否则,该移动智能终端拒绝启动其摄像头;
其中,假设在本实施例中,环境光照强度数据库内的光照强度数据个数标记为M2,环境光照强度数据库内的第i个光照强度数据标记为Luxi,1≤i≤M2;这里的图像自适应亮度修正参数标记为δ:
其中,Lux(min)表示M2个光照强度数据内的最小值,Lux(max)表示M2个光照强度数据内的最大值;
本发明通过考虑周围环境光照强度对摄像头所拍摄照片的亮度情况影响,在该步骤4中通过利用所采集摄像头周围环境光照强度情况来得到该移动智能终端后续针对用户闭眼图像调整时的图像自适应亮度修正参数,以此保证替代后的眼睛图像能够与后续所拍摄闭眼图像的亮度最大程度地相吻合,避免修复后的眼睛图像在亮度上出现差异,影响修复后的图像观察效果和逼真程度;
步骤5,移动智能终端在得到图像自适应亮度修正参数δ后,移动智能终端在第一预设时间段T1内且在当前周围环境下获取其摄像头镜片上的多个湿度数据,形成针对当前周围环境的环境湿度数据库,得到针对当前周围环境湿度状态的图像模糊度校正值;
其中,环境湿度数据库内的湿度数据个数标记为M3,环境湿度数据库内的第i个湿度数据标记为HUi,1≤j≤M3;这里的图像模糊度校正值标记为
本发明通过考虑周围环境空气湿度对摄像头所拍摄照片的清晰度影响,在步骤5中通过利用所采集摄像头周围环境空气湿度情况来得到该移动智能终端后续针对用户闭眼图像调整时的图像模糊度校正值,以此保证替代后的眼睛图像能够与后续所拍摄闭眼图像的清晰度呈现最大程度地吻合,避免修复后的眼睛图像在图像修复边界上出现清晰度情况的差异,比如说修复后的用户照片一部分模糊,另一部分清晰;
步骤6,设置第二预设时间段,由移动智能终端在第二预设时间段内获取其被合法用户握持时的抖动次数、该移动智能终端在水平方向上的横向累计移动距离值以及该移动智能终端在竖直方向上的纵向累计移动距离值,得到移动智能终端被其合法用户握持时的横向抖动偏移值以及纵向抖动偏移值;
其中,第二预设时间段标记为T2,移动智能终端在第二预设时间段T2内被合法用户握持时的抖动次数标记为C1,移动智能终端的横向累计移动距离值标记为D1,移动智能终端的纵向累计移动距离值标记为D2,移动智能终端被其合法用户握持时的横向抖动偏移值标记为d1,移动智能终端被其合法用户握持时的纵向抖动偏移值标记为d2
具体到该实施例中,第一预设时间段T1大于第二预设时间段T2
步骤7,移动智能终端根据其摄像头的固有对焦频率、所得横向抖动偏移值以及纵向抖动偏移值,得到该移动智能终端启动其摄像头时的自适应对焦频率;
其中,移动智能终端其摄像头的固有对焦频率标记为f,移动智能终端启动其摄像头时的自适应对焦频率标记为F:
在现有的移动智能终端拍照摄像过程中,移动智能终端上的摄像头往往会自动地针对摄像头前方的对象进行对焦,以希望能够拍摄出清楚的前方对象照片。但是,由于移动智能终端上的摄像头在针对前方对照做出对焦时,呈现在移动智能终端显示屏上的前方对象会出现晃动且较为模糊,一旦用户没有实时按下拍摄按钮,将会使得摄像头所拍摄前方对象照片出现模糊。基于此,本发明通过计算得到该移动智能终端摄像头在被其合法用户握持时的横向抖动偏移值以及纵向抖动偏移值,以帮助移动智能终端在拍摄照片时,将摄像头对焦晃动因素考虑在内,以得到移动智能终端其摄像头时的自适应对焦频率,从而帮助合法用户拍摄出更为清晰的前方对象照片;
步骤8,移动智能终端在检测到其合法用户启动摄像头时,移动智能终端按照所得自适应对焦频率F进行对焦处理且利用其摄像头对镜头前方对象做人像识别检测:
当移动智能终端判断摄像头的镜头前方对象仅为人脸的面部区域时,移动智能终端在设定拍照时间内连续获取多帧前方对象图像,形成所拍摄前方对象的前方对象连拍图像库,并得到拍照时刻的周围环境光照强度,转入步骤9;否则,该移动智能终端获取其合法用户的拍摄按键次数并拍摄与所述拍摄按键次数等数值的多幅前方对象图像,且存储拍摄的所述多幅前方对象图像到该移动智能终端自身的拍照图像数据库内;
其中,这里所说的拍照时刻的周围环境光照强度标记为Lux(Camera);具体地,该步骤8中的设定拍照时间为0.5秒,移动智能终端该设定拍照时间内所连续获取前方对象图像的帧数为5帧;
步骤9,移动智能终端针对前方对象连续图形库内的各帧前方对象图像分别做眼部区域检测,且在成功检测到存在处于睁眼状态的眼部区域时,移动智能终端提取该存在睁眼状态的眼部区域所对应的前方对象图像并存储该前方对象图像至前方对象睁眼状态图像数据库,以供用户调用观察图像;否则,移动智能终端转入步骤10;
步骤10,移动智能终端接收到其合法用户的闭眼调整修复指令时,该移动智能终端转入步骤11,启动针对前方对象图像的闭眼调整修改操作;否则,该移动智能终端关闭其摄像头;
步骤11,移动智能终端根据自动选取或者根据其合法用户指令选取所述前方对象连拍图像库内的一帧前方对象图像作为背景图像,并以步骤1中合法用户面部图像数据库内的任一副合法用户面部图像作为修复源图像,利用修复源图像调整修复背景图像中的闭眼区域,得到更新后的背景图像并显示该更新后的背景图像;其中,在本实施例中,利用修复源图像调整修复背景图像中的闭眼区域过程包括如下步骤a1至步骤a6:
步骤a1,移动智能终端提取修复源图像中的眼部区域图像;其中,眼部区域图像包括左眼图像和右眼图像;
步骤a2,移动智能终端根据所得图像自适应亮度修正参数、图像模糊度校正值以及步骤8中拍照时刻的周围环境光照强度,得到修复当前眼部区域图像时的修复后眼睛图像亮度;其中,在本实施例中,修复后眼睛图像亮度标记为α:
步骤a3,移动智能终端检测背景图像中的用户闭眼区域,并根据所检测用户闭眼区域调取眼部区域图像中对应的眼睛图像:
当检测用户闭眼区域仅为用户的左眼区域时,说明此时用户图像中的右眼没有闭眼,那么就可以将此时处于睁眼状态的用户的右眼作为调整标准,此时该移动智能终端获取当前右眼区域的右眼图像长度值参数和右眼图像宽度值参数并调取所述眼部区域图像中的左眼图像作为左眼修复源图像后,转入步骤a4;其中,当前右眼区域的右眼图像长度值参数标记为当前右眼区域的右眼图像宽度值参数标记为
当检测用户闭眼区域仅为用户的右眼区域时,说明此时用户图像中的左眼没有闭眼,那么就可以将此时处于睁眼状态的用户的左眼作为调整标准,此时移动智能终端获取当前左眼区域的左眼图像长度值参数和左眼图像宽度值参数并调取眼部区域图像中的右眼图像作为右眼修复源图像后,转入步骤a5;其中,当前左眼区域的左眼图像长度值参数标记为当前左眼区域的左眼图像宽度值参数标记为
步骤a4,移动智能终端根据步骤3中所得左眼特征修正参数值和以及步骤a3中所得对应右眼图像长度值参数和右眼图像宽度值参数,调整左眼修复源图像的长度参数值和宽度值参数,并以该调整后的左眼修复源图像替换掉背景图像中的左眼图像,得到更新后的背景图像,转入步骤a6;
其中,在本实施例中,调整后左眼修复源图像的长度参数值标记为调整后左眼修复源图像的宽度参数值标记为
步骤a5,移动智能终端根据步骤3中所得右眼特征修正参数值和以及步骤a3中所得对应左眼图像长度值参数和左眼图像宽度值参数,调整右眼修复源图像的长度参数值和宽度值参数,并以该调整后的右眼修复源图像替换掉背景图像中的右眼图像,得到更新后的背景图像,转入步骤a6;
其中,在本实施例中,调整后右眼修复源图像的长度参数值标记为调整后右眼修复源图像的宽度参数值标记为
步骤a6,移动智能终端以步骤a2中所得修复后眼睛图像亮度显示更新后的背景图像。
通过从步骤1执行到该步骤11的步骤a6处,在此时所得到的更新后的背景图像中,用户处于闭眼状态的眼部区域已经被移动智能终端经过调整修复后完全处于睁眼状态,并且此时被调整为睁眼状态的该眼部区域图像亮度、清晰度与原来的背景图像的亮度、清洗度匹配吻合一致,消除了针对用户原有闭眼图像的修复痕迹,有效地实现了针对所拍摄合法用户图像的闭眼照片的处理效果。
另外,本实施例中的移动智能终端可以根据需要选用智能手机或者平板电脑或者智能穿戴设备。
尽管以上详细地描述了本发明的优选实施例,但是应该清楚地理解,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (5)

1.一种移动智能终端拍照摄像处理方法,用于处理所拍摄合法用户图像的闭眼照片,其特征在于,所述移动智能终端拍照摄像处理方法包括如下步骤1至步骤12:
步骤1,预先设置第一预设时间段,由所述移动智能终端在第一预设时间段内连续获取其合法用户的多幅具有睁眼状态的面部图像,并由所述多幅具有睁眼状态的面部图像形成针对该移动智能终端合法用户的合法用户面部图像数据库;
其中,所述第一预设时间段标记为T1,所述合法用户面部图像数据库内的面部图像个数为M1幅,所述M1幅面部图像内的第m幅面部图像标记为JPGface,m,1≤m≤M1
步骤2,所述移动智能终端提取该合法用户面部图像数据库中各幅面部图像内的左眼图像以及对应的右眼图像,形成所述合法用户的左眼图像数据库和右眼眶图像数据库,得到所述合法用户的左眼特征参数集和右眼特征参数集;
其中,所述合法用户的左眼特征参数集包括左眼图像长度值参数、左眼图像宽度值参数、左眼图像面积值参数、左眼图像像素值参数以及左眼瞳孔半径值参数;
所述第m幅合法用户面部图像JPGface,m内的左眼图像记为左眼图像长度值参数记为左眼图像宽度值参数记为左眼图像面积值参数记为左眼瞳孔半径值参数记为
对应地,所述合法用户的右眼特征参数集包括右眼图像长度值参数、右眼图像宽度值参数、右眼图像面积值参数、右眼图像像素值参数以及右眼瞳孔半径值参数;
所述第m幅合法用户面部图像JPGface,m内的右眼图像记为右眼图像长度值参数记为右眼图像宽度值参数记为右眼图像面积值参数记为右眼瞳孔半径值参数记为
步骤3,所述移动智能终端根据所得其合法用户的左眼特征参数集和右眼特征参数集,得到针对该合法用户任意面部图像的左眼特征修正参数值和右眼特征修正参数值;
其中,所述合法用户面部图像的左眼特征修正参数值标记为τLeft,所述合法用户面部图像的右眼特征修正参数值标记为τRight
表示数值与数值之间的最大值,表示数值与数值之间的最大值;
步骤4,所述移动智能终端在检测到有操作者启动拍照按键且判断当前操作者为其合法用户时,所述移动智能终端启动其摄像头并获取多个当前周围环境的光照强度数据,形成针对当前周围环境的环境光照强度数据库,得到针对当前周围环境光照状态的图像自适应亮度修正参数;否则,所述移动智能终端拒绝启动其摄像头;
其中,所述环境光照强度数据库内的光照强度数据个数标记为M2,所述环境光照强度数据库内的第i个光照强度数据标记为Luxi,1≤i≤M2;所述图像自适应亮度修正参数标记为δ:
其中,Lux(min)表示M2个光照强度数据内的最小值,Lux(max)表示M2个光照强度数据内的最大值;
步骤5,所述移动智能终端在得到图像自适应亮度修正参数后,移动智能终端在第一预设时间段内且在当前周围环境下获取其摄像头镜片上的多个湿度数据,形成针对当前周围环境的环境湿度数据库,得到针对当前周围环境湿度状态的图像模糊度校正值;
其中,所述环境湿度数据库内的湿度数据个数标记为M3,所述环境湿度数据库内的第i个湿度数据标记为HUi,1≤j≤M3;所述图像模糊度校正值标记为θ:
步骤6,设置第二预设时间段,由所述移动智能终端在第二预设时间段内获取其被合法用户握持时的抖动次数、该移动智能终端在水平方向上的横向累计移动距离值以及该移动智能终端在竖直方向上的纵向累计移动距离值,得到移动智能终端被其合法用户握持时的横向抖动偏移值以及纵向抖动偏移值;
其中,所述第二预设时间段标记为T2,所述移动智能终端在第二预设时间段T2内被合法用户握持时的抖动次数标记为C1,所述移动智能终端的横向累计移动距离值标记为D1,所述移动智能终端的纵向累计移动距离值标记为D2,所述移动智能终端被其合法用户握持时的横向抖动偏移值标记为d1,所述移动智能终端被其合法用户握持时的纵向抖动偏移值标记为d2
步骤7,所述移动智能终端根据其摄像头的固有对焦频率、所得横向抖动偏移值以及纵向抖动偏移值,得到该移动智能终端启动其摄像头时的自适应对焦频率;
其中,所述移动智能终端其摄像头的固有对焦频率标记为f,所述移动智能终端启动其摄像头时的自适应对焦频率标记为F:
步骤8,所述移动智能终端在检测到其合法用户启动摄像头时,移动智能终端按照所得自适应对焦频率进行对焦处理且利用其摄像头对镜头前方对象做人像识别检测:
当移动智能终端判断摄像头的镜头前方对象仅为人脸的面部区域时,移动智能终端在设定拍照时间内连续获取多帧前方对象图像,形成所拍摄前方对象的前方对象连拍图像库,并得到拍照时刻的周围环境光照强度,转入步骤9;否则,所述移动智能终端获取其合法用户的拍摄按键次数并拍摄与所述拍摄按键次数等数值的多幅前方对象图像,且存储拍摄的所述多幅前方对象图像到该移动智能终端自身的拍照图像数据库内;其中,所述拍照时刻的周围环境光照强度标记为Lux(Camera);
步骤9,所述移动智能终端针对所述前方对象连续图形库内的各帧前方对象图像分别做眼部区域检测,且在成功检测到存在处于睁眼状态的眼部区域时,移动智能终端提取该存在睁眼状态的眼部区域所对应的前方对象图像并存储该前方对象图像至前方对象睁眼状态图像数据库,以供用户调用观察图像;否则,所述移动智能终端转入步骤10;
步骤10,所述移动智能终端接收到其合法用户的闭眼调整修复指令时,该移动智能终端转入步骤11,启动针对所述前方对象图像的闭眼调整修改操作;否则,所述移动智能终端关闭其摄像头;
步骤11,所述移动智能终端根据自动选取或者根据其合法用户指令选取所述前方对象连拍图像库内的一帧前方对象图像作为背景图像,并以步骤1中所述合法用户面部图像数据库内的任一副合法用户面部图像作为修复源图像,利用所述修复源图像调整修复所述背景图像中的闭眼区域,得到更新后的背景图像并显示该更新后的背景图像;其中,利用所述修复源图像调整修复所述背景图像中的闭眼区域过程包括如下步骤a1至步骤a6:
步骤a1,所述移动智能终端提取所述修复源图像中的眼部区域图像;其中,所述眼部区域图像包括左眼图像和右眼图像;
步骤a2,所述移动智能终端根据所得图像自适应亮度修正参数、图像模糊度校正值以及步骤8中所述拍照时刻的周围环境光照强度,得到修复当前眼部区域图像时的修复后眼睛图像亮度;其中,所述修复后眼睛图像亮度标记为α:
步骤a3,所述移动智能终端检测所述背景图像中的用户闭眼区域,并根据所检测用户闭眼区域调取所述眼部区域图像中对应的眼睛图像:
当检测所述用户闭眼区域仅为用户的左眼区域时,所述移动智能终端获取当前右眼区域的右眼图像长度值参数和右眼图像宽度值参数并调取所述眼部区域图像中的左眼图像作为左眼修复源图像后,转入步骤a4;其中,当前右眼区域的右眼图像长度值参数标记为当前右眼区域的右眼图像宽度值参数标记为
当检测所述用户闭眼区域仅为用户的右眼区域时,所述移动智能终端获取当前左眼区域的左眼图像长度值参数和左眼图像宽度值参数并调取所述眼部区域图像中的右眼图像作为右眼修复源图像后,转入步骤a5;其中,当前左眼区域的左眼图像长度值参数标记为当前左眼区域的左眼图像宽度值参数标记为
步骤a4,所述移动智能终端根据步骤3中所得左眼特征修正参数值和以及步骤a3中所得对应右眼图像长度值参数和右眼图像宽度值参数,调整所述左眼修复源图像的长度参数值和宽度值参数,并以该调整后的左眼修复源图像替换掉背景图像中的左眼图像,得到更新后的所述背景图像,转入步骤a6;
其中,所述调整后左眼修复源图像的长度参数值标记为所述调整后左眼修复源图像的宽度参数值标记为
步骤a5,所述移动智能终端根据步骤3中所得右眼特征修正参数值和以及步骤a3中所得对应左眼图像长度值参数和左眼图像宽度值参数,调整所述右眼修复源图像的长度参数值和宽度值参数,并以该调整后的右眼修复源图像替换掉背景图像中的右眼图像,得到更新后的所述背景图像,转入步骤a6;
其中,所述调整后右眼修复源图像的长度参数值标记为所述调整后右眼修复源图像的宽度参数值标记为
步骤a6,所述移动智能终端以步骤a2中所得修复后眼睛图像亮度显示更新后的所述背景图像。
2.根据权利要求1所述的移动智能终端拍照摄像处理方法,其特征在于,所述第一预设时间段T1大于所述第二预设时间段T2
3.根据权利要求1所述的移动智能终端拍照摄像处理方法,其特征在于,在步骤1中,所述合法用户面部图像数据库内的图像格式为JPG格式。
4.根据权利要求1~3任一项所述的移动智能终端拍照摄像处理方法,其特征在于,步骤8中所述的设定拍照时间为0.5秒,移动智能终端该设定拍照时间内所连续获取前方对象图像的帧数为5帧。
5.根据权利要求1~3任一项所述的移动智能终端拍照摄像处理方法,其特征在于,所述移动智能终端为智能手机或者平板电脑或者智能穿戴设备。
CN201810270672.2A 2018-03-29 2018-03-29 一种移动智能终端拍照摄像处理方法 Active CN108259766B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810270672.2A CN108259766B (zh) 2018-03-29 2018-03-29 一种移动智能终端拍照摄像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810270672.2A CN108259766B (zh) 2018-03-29 2018-03-29 一种移动智能终端拍照摄像处理方法

Publications (2)

Publication Number Publication Date
CN108259766A true CN108259766A (zh) 2018-07-06
CN108259766B CN108259766B (zh) 2020-05-19

Family

ID=62747610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810270672.2A Active CN108259766B (zh) 2018-03-29 2018-03-29 一种移动智能终端拍照摄像处理方法

Country Status (1)

Country Link
CN (1) CN108259766B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109376624A (zh) * 2018-10-09 2019-02-22 三星电子(中国)研发中心 一种闭眼照片的修正方法和装置
CN110290395A (zh) * 2019-06-14 2019-09-27 北京奇艺世纪科技有限公司 一种图像处理方法、装置及计算机可读存储介质
CN111093029A (zh) * 2019-12-31 2020-05-01 深圳云天励飞技术有限公司 图像处理方法及相关装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090060383A1 (en) * 2007-08-27 2009-03-05 Arcsoft, Inc. Method of restoring closed-eye portrait photo
US20100302394A1 (en) * 2009-05-28 2010-12-02 Phanish Hanagal Srinivasa Rao Blinked eye artifact removal for a digital imaging device
CN105072327A (zh) * 2015-07-15 2015-11-18 广东欧珀移动通信有限公司 一种防闭眼的人像拍摄处理的方法和装置
CN105303161A (zh) * 2015-09-21 2016-02-03 广东欧珀移动通信有限公司 一种多人拍照的方法及装置
US20170032172A1 (en) * 2015-07-29 2017-02-02 Hon Hai Precision Industry Co., Ltd. Electronic device and method for splicing images of electronic device
CN107833197A (zh) * 2017-10-31 2018-03-23 广东欧珀移动通信有限公司 图像处理的方法、装置、计算机可读存储介质和电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090060383A1 (en) * 2007-08-27 2009-03-05 Arcsoft, Inc. Method of restoring closed-eye portrait photo
US20100302394A1 (en) * 2009-05-28 2010-12-02 Phanish Hanagal Srinivasa Rao Blinked eye artifact removal for a digital imaging device
CN105072327A (zh) * 2015-07-15 2015-11-18 广东欧珀移动通信有限公司 一种防闭眼的人像拍摄处理的方法和装置
US20170032172A1 (en) * 2015-07-29 2017-02-02 Hon Hai Precision Industry Co., Ltd. Electronic device and method for splicing images of electronic device
CN105303161A (zh) * 2015-09-21 2016-02-03 广东欧珀移动通信有限公司 一种多人拍照的方法及装置
CN107833197A (zh) * 2017-10-31 2018-03-23 广东欧珀移动通信有限公司 图像处理的方法、装置、计算机可读存储介质和电子设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109376624A (zh) * 2018-10-09 2019-02-22 三星电子(中国)研发中心 一种闭眼照片的修正方法和装置
CN110290395A (zh) * 2019-06-14 2019-09-27 北京奇艺世纪科技有限公司 一种图像处理方法、装置及计算机可读存储介质
CN110290395B (zh) * 2019-06-14 2021-05-25 北京奇艺世纪科技有限公司 一种图像处理方法、装置及计算机可读存储介质
CN111093029A (zh) * 2019-12-31 2020-05-01 深圳云天励飞技术有限公司 图像处理方法及相关装置
CN111093029B (zh) * 2019-12-31 2021-07-06 深圳云天励飞技术有限公司 图像处理方法及相关装置

Also Published As

Publication number Publication date
CN108259766B (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
CN107833197B (zh) 图像处理的方法、装置、计算机可读存储介质和电子设备
CN103945121B (zh) 一种信息处理方法及电子设备
JP4254873B2 (ja) 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
CN103024338B (zh) 具有图像捕获和分析模块的显示设备
WO2019137131A1 (zh) 图像处理方法、装置、存储介质及电子设备
JP5751270B2 (ja) 撮像装置、撮像制御方法及びプログラム
CN105096267B (zh) 一种基于拍照识别调节眼部亮度的方法和装置
CN108259766A (zh) 一种移动智能终端拍照摄像处理方法
CN105303161A (zh) 一种多人拍照的方法及装置
CN107734253A (zh) 图像处理方法、装置、移动终端和计算机可读存储介质
CN104978710A (zh) 一种基于拍照识别调节人脸亮度的方法和装置
US8922673B2 (en) Color correction of digital color image
CN112019739A (zh) 一种拍摄控制方法、装置、电子设备及存储介质
CN111698409A (zh) 一种室内拍照灯光调光方法
US10491831B2 (en) Image pickup apparatus, image pickup method, and recording medium
CN107743200A (zh) 拍照的方法、装置、计算机可读存储介质和电子设备
CN102970482A (zh) 一种拍照中自动开启防红眼模式的方法及其拍照设备
CN105915728A (zh) 一种智能手机
CN108093170B (zh) 用户拍照方法、装置及设备
CN110536044B (zh) 一种证件照自动拍摄方法及装置
CN109618088A (zh) 具有光照识别与重现功能的智能化拍摄系统及方法
CN107395988A (zh) 移动终端的摄像头的控制方法及系统
WO2016090759A1 (zh) 一种智能拍照的方法和装置
WO2016202073A1 (zh) 图像处理的方法和装置
CN106791462A (zh) 一种移动终端前置摄像头拍照补光的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant