CN113542598B - 图像处理方法、装置、电子设备及可读存储介质 - Google Patents
图像处理方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN113542598B CN113542598B CN202110754657.7A CN202110754657A CN113542598B CN 113542598 B CN113542598 B CN 113542598B CN 202110754657 A CN202110754657 A CN 202110754657A CN 113542598 B CN113542598 B CN 113542598B
- Authority
- CN
- China
- Prior art keywords
- eye
- type
- area
- region
- preview interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 43
- 210000001508 eye Anatomy 0.000 claims description 510
- 210000005252 bulbus oculi Anatomy 0.000 claims description 55
- 238000003062 neural network model Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 14
- 238000012216 screening Methods 0.000 claims description 9
- 239000000758 substrate Substances 0.000 claims 1
- 210000000744 eyelid Anatomy 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 210000000887 face Anatomy 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 235000002673 Dioscorea communis Nutrition 0.000 description 2
- 241000544230 Dioscorea communis Species 0.000 description 2
- 241001469893 Oxyzygonectes dovii Species 0.000 description 2
- 208000035753 Periorbital contusion Diseases 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003796 beauty Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种图像处理方法和装置,属于计算机技术领域。该方法包括:识别预览界面中的第一眼睛对象的第一位置,以及识别所述第一位置所属第一区域的第一区域类型;识别所述第一眼睛对象的第一眼神类型;将目标图片显示至所述预览界面,其中,所述目标图片中第二眼神对象的第二眼神类型与所述第一眼神类型相同,以及第二区域的第二区域类型与所述第一区域类型相同,其中,所述第二区域为所述第二眼神对象在所述目标图片中的第二位置所属的区域。
Description
技术领域
本申请属于计算机技术领域,具体涉及一种图像处理方法、装置、电子设备及可读存储介质。
背景技术
随着电子设备的不断发展,各种拍照类型的应用程序(APP,Application)越来越受用户欢迎,考虑到有些用户不善于摆拍,或者希望模仿某些人物的拍摄状态,或者用户在拍摄某些对象时,需要参照图片进行构图和姿态的模仿进行拍摄,因此目前的拍照类APP提供了用于拍照的示例图片供用户进行拍摄模仿。具体而言,在拍照时,可以在预览界面中固定显示模拟构图框和示例图片,并在示例图片中描绘出轮廓线框,以提示用户参照该示例图片中对象的构图进行拍摄构图,以及参照轮廓线框进行对象的姿态模仿。
但是,在实际拍摄时,拍摄对象可能受多方面因素影响导致其拍摄姿态是受限制的,使得拍摄对象很难对准示例图片中示例对象的相近位置进行姿态摆拍,造成拍摄对象在预览界面中的实际位置与预览界面中示例图片的用户位置之间存在着较大偏差,引起构图不准确的问题;此外,在拍摄过程中,拍摄对象的眼神可以体现拍摄对象的整体状态,那么眼神的模仿则显得更为重要,基于传统技术中给出固定的一张示例图片的方式由拍摄对象进行姿态模仿时,拍摄对象只能参照示例图片大概类似对齐示例图片中的轮廓线框进行拍摄,很难完全对照示例图摆出相似的眼神姿态。
因此,相关技术的提示拍照的方法普遍存在着拍摄对象中的眼睛对象与示例图片中的眼睛对象之间的位置差异较大,进而导致构图不准确的问题,以及因拍摄对象的眼神对象对示例图片中眼睛对象的眼神姿态的模仿难度大,进而导致拍摄对象的眼神姿态与示例图片中对象的眼神姿态差异较大的问题。
发明内容
本申请实施例的目的是提供一种图像处理方法、装置、电子设备及可读存储介质,能够解决相关技术的提示拍照的方法所存在的拍摄对象中的眼睛对象与示例图片中的眼睛对象之间的位置差异较大,进而导致构图不准确的问题,以及因拍摄对象的眼神对象对示例图片中眼睛对象的眼神姿态的模仿难度大,进而导致拍摄对象的眼神姿态与示例图片中对象的眼神姿态差异较大的问题。
第一方面,本申请实施例提供了一种图像处理方法,该方法包括:
识别预览界面中的第一眼睛对象的第一位置,以及识别所述第一位置所属第一区域的第一区域类型;
识别所述第一眼睛对象的第一眼神类型;
将目标图片显示至所述预览界面,其中,所述目标图片中第二眼神对象的第二眼神类型与所述第一眼神类型相同,以及第二区域的第二区域类型与所述第一区域类型相同,其中,所述第二区域为所述第二眼神对象在所述目标图片中的第二位置所属的区域。
第二方面,本申请实施例提供了一种图像处理装置,该装置包括:
第一识别模块,用于识别预览界面中的第一眼睛对象的第一位置,以及识别所述第一位置所属第一区域的第一区域类型;
第二识别模块,用于识别所述第一眼睛对象的第一眼神类型;
显示模块,用于将目标图片显示至所述预览界面,其中,所述目标图片中第二眼神对象的第二眼神类型与所述第一眼神类型相同,以及第二区域的第二区域类型与所述第一区域类型相同,其中,所述第二区域为所述第二眼神对象在所述目标图片中的第二位置所属的区域。
第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。
在本申请实施例中,由于作为示例图片的目标图片,其中眼睛对象的显示位置所属区域的区域类型与拍摄对象的眼睛对象在预览界面中的显示位置所属区域的区域类型是相同的,即属于一类位置,因此,目标图片的眼睛对象在预览界面中的显示位置,与拍摄对象的眼睛对象在预览界面中的实际位置的差距较小,重叠率较高,从而便于拍摄对象对照预览界面中目标图片中眼睛对象所在区域进行构图的调整,使拍摄对象的眼睛能够对准目标图片中眼睛对象的位置,提升构图准确度;此外,由于示例图片中眼睛对象的眼神类型与拍摄对象在预览界面中眼睛对象的眼神类型也是相同的,降低了拍摄对象的眼神姿态与示例图片中对象的眼神姿态的差异,从而可以便于拍摄对象对照着示例图片中眼睛对象的眼神状态进行相同姿态的摆拍,有利于指导拍摄对象在拍照时参照示例图片中的眼神姿态进行模仿拍摄。
附图说明
图1是本申请一个实施例的图像处理方法的流程图;
图2a是本申请一个实施例的预览界面的示意图;
图2b至图2e分别是本申请不同实施例的眼神类型的示意图;
图2f是本申请一个实施例的图2a的左眼的放大的示意图;
图3是本申请一个实施例的图像处理装置的框图;
图4是本申请一个实施例的电子设备的硬件结构示意图;
图5是本申请另一个实施例的电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法进行详细地说明。
参照图1,示出了本申请一个实施例的图像处理方法的流程图,所述方法具体可以包括如下步骤:
步骤101,识别预览界面中拍摄对象的第一眼睛对象的第一位置,以及识别所述第一位置所属第一区域的第一区域类型;
其中,预览界面为拍摄预览界面,即摄像头启动后,摄像头所采集的预览图像所显示至的界面;此外,该摄像头可以是前置摄像头也可以是后置摄像头。
拍摄对象可以是人物、动物等各种类型具有眼睛的活体生物。
此外,该第一眼睛对象为拍摄对象的双眼。
为了便于读者理解,后文以利用前置摄像头对用户人脸进行自拍的场景为例,来对本申请实施例的方法进行说明。
本步骤可以对预览界面识别用户人脸,然后,对识别到的人脸区域定位双眼的两个位置(称为第一位置),接着,依据该第一位置来确定双眼位置在预览界面中所处的区域的区域类型。
可选地,在识别所述第一位置所属第一区域的第一区域类型时,可以通过S21和S22来实现,或者通过S21、S23和S24来实现:
S21,在对预览界面划分生成的多个预设区域中,确定所述第一位置所属的第一区域,其中,所述多个预设区域包括所述第一区域;
其中,后文中涉及的确定第二位置所属的第二区域的方法,与S21中确定第一位置所属的第一区域的方法类似,后文不再一一赘述。
在S21之后,执行S22可以构成一个实施例,或者,执行S23和S24来构成另一个实施例;
S22,将所述第一区域作为所述第一区域类型;
在本实施例中,后文中涉及的确定第二区域的第二区域类型的方法与本实施例中确定第一区域的第一区域类型的方法类似,也是直接将第二区域作为第二区域类型,后文不再一一赘述。
那么在后文的步骤103中,在确定目标图片时,所涉及的所述第二区域的第二区域类型与所述第一区域类型相同的限定条件,则可以表示为所述第二区域与所述第一区域相同。
S23,确定所述第一位置的第一深度信息所属的第一深度范围;
其中,该第一深度范围为第一深度信息在多个预设深度范围中所属的预设深度范围;
S24,根据所述第一深度范围和所述第一区域,确定所述第一区域类型。
需要说明的是,后文中涉及的在确定第二位置所属的第二区域的第二区域类型时,其具体方法与S23和S24所描述的确定第一位置所属的第一区域的第一区域类型的方法类似,后文不再一一赘述。
那么在后文的步骤103中,在确定目标图片时,所涉及的所述第二区域的第二区域类型与所述第一区域类型相同的限定条件,则可以表示为不仅所述第二区域与所述第一区域相同,而且,所述第一深度范围与第二深度范围相同,其中,所述第二深度范围为在多个预设深度范围中所述第二位置所属的预设深度范围;
具体的,所述第二深度范围为所述第二位置的第二深度信息,在所述多个预设深度范围中,所属的预设深度范围。
示例地,图2a为用户自拍模式下的预览界面,其中,在该预览界面中用户的双眼位置处于对预览界面预先划分的十二宫格区域中的e宫格区域,本例中,将预览界面预先划分为十二个宫格区域(即十二个预设区域),分别为图2a中的a宫格区域、b宫格区域、c宫格区域、d宫格区域、e宫格区域、f宫格区域、g宫格区域、h宫格区域、i宫格区域、j宫格区域、k宫格区域、l宫格区域。在本例中,以将预览界面进行3x4等分的方式划分为面积相同的12个宫格区域,不同宫格区域之间没有重叠的区域。
应理解,本申请对于预览界面的预设区域的划分方式并不限于此,可以以任意数量的宫格的等分或不等分的方式,来对预览界面进行预设区域的划分。可以理解,宫格划分的粒度越细,对双眼位置所在区域的判断就越准确,那么基于双眼位置所属区域的区域类型,来参照示例图片进行构图时,构图就越准确。
另外,步骤101也可以借助于预先经过训练的神经网络模型来完成。
那么在S21和S22对应的实施例中,可以将眼神对象的位置在多个预设区域中所属的区域作为区域类型,那么当两张图片中的眼睛对象属于上述12个宫格区域中的同一宫格区域时,则说明两张图片的眼睛对象对应的区域类型相同。
而在S21、S23和S24对应的实施例中,在确定两张图片的眼睛对象的位置所属区域的区域类型是相同的条件时,不仅需要满足两张图片中眼睛对象所属区域在同一宫格区域的条件,还需要满足两张图片之间,眼睛对象的深度信息在同一个预设深度范围内的条件,也就是说,两张图片的眼睛区域在同一个宫格区域,而且两张图片的眼睛区域的景深也是相近的。
对于上述多个预设深度范围可以通过神经网络模型对人脸照片图库中图片中眼睛对象的深度信息进行学习得到的。
例如多个预设深度范围可以包括:
人脸不完整的近景自拍场景下,眼睛对象的深度值区间[15cm,38cm);
人脸完整的近景自拍场景下,眼睛对象的深度值区间[38cm,40cm];
人脸完整的远景自拍场景下,眼睛对象的深度值区间40cm以上,例如(40cm,80cm]。
当然,这里的预设深度范围的边界值仅仅是示意性的,本申请的预设深度范围的边界值并不限制于上述举例。
在S21和S22的实施例中,本发明实施例中,由于目标图片中眼睛对象与拍摄对象的眼睛对象各自在预览界面中属于同一个区域,因此,所处位置差异较小,且目标图片的眼睛对象和拍摄对象的眼睛对象的眼睛开合大小相近,因此眼神类型相同的两种条件的作用下,很难存在传统技术中所提供的示例图片与拍摄对象的预览图像之间的图片比例差异较大的情况,从而解决传统技术不考虑拍摄对象中眼睛对象的实际位置和实际姿态,而无差异的给出同一张示例图片,所带来的示例图片的图片比例与拍摄对象的预览图像的图片比例差太多的问题。
在S21、S23和S24的实施例中,在本发明实施例中,由于目标图片中眼睛对象与拍摄对象的眼睛对象各自在预览界面中属于同一个区域,因此,所处位置差异较小,且目标图片的眼睛对象和拍摄对象的眼睛对象的眼睛开合大小相近,因此眼神类型相同;另外,为了进一步降低所输出的目标图片与预览图像之间的图片比例差异,目标图片中眼睛对象的深度值还与预览图像中眼睛对象的深度值在同一个预设深度范围内,从而可以进一步确保目标图片与预览图像之间的图片比例的接近度高。
步骤102,识别所述第一眼睛对象的第一眼神类型;
其中,由于当眼睛看向不同方向时,眼部会有细微的变化,这些眼部变化都可以作为提取的特征,通过提取眼部特征来确定眼睛对象的眼神类型。
示例地,图2b、图2c、图2d、图2e分别示出了本申请所定义的4种眼神类型,图2b为眨眼(wink眼)的眼神类型、图2c为无辜眼的眼神类型、图2d为深邃眼的眼神类型、图2e为微笑眼的眼神类型。
应理解,眼神类型并不限于上述举例的四种类型,还可以包括其他眼神状态的眼神类型。
而且,眼神类型的分类依据也不限于眼神状态,还可以是按照眼皮类型进行眼神类型的分类,例如单眼皮、内双眼皮、外双眼皮等眼神类型,而且还可以对上述各种眼皮的眼神类型做细分,例如外双眼皮可以包括欧式大双眼皮、多层眼皮等眼神类型。
需要说明的是,不同眼神类型的眼部特征是不同的。
在本步骤中,识别到图2a中眼睛对象的眼神类型为无辜眼的眼神类型。
需要说明的是,本申请对于步骤101和步骤102的执行顺序不做限制,可以并列执行,也可以分先后顺序的执行,在本实施例中,步骤101在步骤102之前执行。
可选地,在执行步骤102时,可以根据所述第一眼睛对象的尺寸信息,识别所述第一眼睛对象的第一眼神类型。
其中,眼睛对象的尺寸信息可以包括下述实施例所述的眼睛对象暴露的眼球的纵横比,也可以包括其他能够表达眼神类型的眼睛的尺寸信息,例如眼球暴露面积等。
本步骤也可以借助于预先训练的预设神经网络模型来完成。
在本申请实施例中,可以根据眼睛对象的尺寸信息,来识别眼睛对象的眼神类型,由于不同眼神类型的眼睛对象的尺寸差异较大,因此,本申请实施例的方法所确定的眼神类型能够较为准确。
在其他实施例中,还可以通过根据第一眼睛对象的轮廓信息以及黑眼球与眼白区域之间的相对位置关系,来识别第一眼睛对象的第一眼神类型。
此外,本实施例以第一眼睛对象为识别对象进行眼神类型的识别,当然在其他实施例中,识别对象并不限于拍摄对象的第一眼睛对象,还可以是示例图片,或者其他对象的眼睛对象。
可选地,在根据所述第一眼睛对象的尺寸信息,识别所述第一眼睛对象的第一眼神类型时,可以根据所述第一眼睛对象暴露的眼球的第一纵横比,识别所述第一眼睛对象的第一眼神类型。
具体而言,由于眼睛对象包括双眼,因此,这里的第一纵横比包括暴露的左眼球的纵横比和暴露的右眼球的纵横比这两个参数信息。
示例地,图2f示出了图2a的左眼10的放大图,其中,左眼10的眼皮轮廓内(即暴露的眼球)包括眼白区域12和黑眼球区域11,此外,左眼10所暴露的眼球的几何中心为O点,在确定暴露的左眼球的纵横比时,横长为左眼10暴露的眼球区域中穿过O点的最长线段(或者说,从暴露的眼球区域的边界中的任意两点穿过O点形成的最长距离),这里的线段MN,纵长为左眼10暴露的眼球区域中穿过O点的最短线段(或者说,从暴露的眼球区域的边界中的任意两点穿过O点形成的最短距离),这里的线段PQ。因此,左眼10暴露的左眼球的纵横比x1=PQ/MN,应理解,纵横比也可以用MN/PQ来表达;类似的可以得到图2a中暴露的右眼球的纵横比x2。那么借助于x1和x2的取值以及它们之间的大小关系,则可以确定图2a中处于宫格e的区域内的眼睛对象的眼神类型,例如无辜眼的眼神类型。
在本申请实施例中,可以由于眼睛对象所暴露的眼球的纵横比能够表达出眼睛的开合程度,而不同眼神类型之间眼睛的开合程度一般存在着较大的差异,那么根据眼睛对象所暴露的眼球的纵横比,来识别眼睛对象的眼神类型,则可以基于眼睛的开合程度来准确地识别出眼睛对象的眼神类型,能够更加准确地识别出拍摄对象的眼睛的眼神类型,从而便于基于该眼神类型给出符合该眼神类型的示例图片供用户参照模仿拍摄。
应理解,在其他实施例中,也可以通过眼睛对象的其他类型的尺寸信息,来识别眼睛对象的眼神类型。
可选地,在根据所述第一眼睛对象暴露的眼球的纵横比,识别所述第一眼睛对象的第一眼神类型时,可以采用预先经过训练的预设神经网络模型,根据预先学习到的眼球的纵横比的取值范围与眼神类型之间的对应关系,确定所述第一纵横比所对应的目标取值范围,以及与所述目标取值范围匹配的第一眼神类型。
考虑到拍摄对象的类型不同,训练预设神经网络模型所用的样本的类型也存在区别,例如拍摄对象为人脸,则样本可以是人脸照片图库中各种各样眼神的人脸图片;再如拍摄对象为动物,则样本可以是动物的图像样本。
以拍摄对象为人脸为例,来简单描述预设神经网络模型的训练过程,该预设神经网络模型的神经网络可以是传统技术中的任意一种神经网络。
本例中可以对人脸照片图库中的图片做眼神类别的标签以及眼睛对象所在宫格区域的标签,可选地,还可以对图片做用于表示景深类别的标签,例如包括不完整人脸、且近景的标签,包括完整人脸、且近景的标签,包括完整人脸、且远景的标签;
然后,采用人脸照片图库中的每个带有上述两类或三类标签的图片对神经网络模型进行训练,使得神经网络模型可以学习到人脸照片中眼睛对象所在的宫格区域,以及学习到人脸照片的眼神类型,还可以进一步学习到人脸照片中眼睛对象在不同景深场景下的深度值范围,即上述多个预设深度范围。
本实施例中,神经网络模型所学习到的表达眼神类型的特征可以是眼睛对象所暴露的眼球的纵横比x的取值范围,具体可以包括左眼暴露的眼球的纵横比x1和右眼暴露的眼球的纵横比x2各自的取值范围以及x1和x2之间的大小关系;当然,也可以是左眼暴露的眼球的纵横比为x2和右眼暴露的眼球的纵横比为x1。
例如神经网络模型学习到的眼神类型包括wink眼、无辜眼、深邃眼、微笑眼四种眼神类型。
其中,wink眼的取值范围包括:x1=0或x2=0,且,Mmin≤x1≤Mmax,且Mmin≤x2≤Mmax,其中,Mmin=0;
其中,Mmax是神经网络模型针对标签为wink眼的多个人脸图片中眼睛对象中睁开的那只眼睛所暴露的眼球的纵横比x,学习到的该纵横比x的均值。
即,标签为wink眼的人脸图片为多个,每张图片中睁开的那只眼睛具有一个x值,那么多张标签为wink眼的人脸图片涉及到的不同人的睁开那只眼睛的x的均值即为学习到的Mmax。
无辜眼的取值范围包括x1=x2,且Nmin≤x1≤Nmax;
与Mmax同理,由于人的双眼大小的尺寸并不一定完全一致,因此,标签为无辜眼的所有人脸图片的样本集合N中每个样本的x1和x2存在着大小关系,那么神经网络模型可以学习到集合N中每个样本的x1和x2中较小取值的x值的均值,得到Nmin,以及学习到集合N中每个样本的x1和x2中较大取值的x值的均值,得到Nmax;
深邃眼的取值范围包括Qmin≤x1≤Qmax,且Qmin≤x2≤Qmax;
其中,Qmin的学习原理与上述Nmin的学习原理类似,Qmax的学习原理与上述Nmax的学习原理类似,这里不再赘述。
微笑眼的取值范围包括Pmin≤x1≤Pmax,且Pmin≤x2≤Pmax;
其中,Pmin的学习原理与上述Nmin的学习原理类似,Pmax的学习原理与上述Nmax的学习原理类似,这里不再赘述。
在本实施例中,由于眼球的纵横比的取值范围与眼神类型的对应关系是经过神经网络对大量样本学习得到的,因此,该对应关系能够表达出大量样本的眼睛对象在处于某个眼神类型的状态下时眼睛的开合大小的取值范围(用纵横比的取值范围来表达),其中,一个眼神类型对应的眼睛开合大小的取值范围的最小值是该眼神类型的多个样本中每个样本开合较小的眼睛对应的所述纵横比的均值,一个眼神类型对应的眼睛开合大小的取值范围的最大值则是该眼神类型的多个样本中每个样本开合较大的眼睛对应的所述纵横比的均值,因此,该眼睛开合大小的取值范围能够涵盖该眼神类型下的各种眼睛尺寸的眼睛开合大小,兼顾了不同用户的眼睛大小的差异,可以借助于学习到的该对应关系以及预览图像中拍摄对象的眼睛的开合程度(用纵横比来表达),准确地识别出拍摄对象的眼睛对象的眼神类型,不会因为样本中人眼的尺寸与进行识别的拍摄对象的人眼的尺寸之间相差较大,导致眼神类型识别错误的问题。
在上述步骤中,预先经过训练的预设神经网络模型学习到了各种眼神类型所对应的眼球的纵横比的取值范围,因此,只需要借助于该预设神经网络模型,就可以基于预览图像中第一眼神对象所暴露的眼球的纵横比(包括左眼的眼球的纵横比和右眼的眼球的纵横比),来确定该纵横比属于哪个眼神类型的取值范围,从而确定该第一眼神对象所属的第一眼神类型。
在本申请实施例中,可以向预览界面显示目标图片作为示例图片供用户模仿拍摄,由于该目标图片中眼睛对象与预览界面的拍摄对象的眼睛对象在预览界面中所处的区域的区域类型是相同的(例如区域相同,或者不仅区域相同,而且两张图片之间眼睛对象的深度值在同一预设深度范围内),因此,目标图片中眼睛对象与拍摄对象的眼睛对象各自在预览界面中所处位置差异较小;而且,目标图片中眼睛对象所暴露的眼球的纵横比,与拍摄对象的眼睛对象所暴露的眼球的纵横比是属于同一个眼神类型的同一个取值范围的,即两张图片对应的纵横比是差异较小的,因此,目标图片的眼睛对象和拍摄对象的眼睛对象的眼睛开合大小是相近的;那么在目标图片中眼睛对象与拍摄对象的眼睛对象各自在预览界面中所处位置差异较小(因为两组眼睛对象在预览界面中的位置属于预览界面中的同一个区域),且目标图片的眼睛对象和拍摄对象的眼睛对象的眼睛开合大小相近的两种条件的作用下,很难存在传统技术中所提供的示例图片与拍摄对象的预览图像之间的图片比例差异较大的情况,从而解决传统技术不考虑拍摄对象中眼睛对象的实际位置和实际姿态,而无差异的给出同一张示例图片,所带来的示例图片的图片比例与拍摄对象的预览图像的图片比例差太多的问题。此外,为了进一步降低所输出的示例图片与预览图像之间的图片比例差异,示例图片中眼睛对象的深度值还与预览图像中眼睛对象的深度值在同一个预设深度范围内,从而可以进一步确保示例图片与预览图像之间的图片比例的接近度高。
步骤103,将目标图片显示至所述预览界面,其中,所述目标图片中第二眼神对象的第二眼神类型与所述第一眼神类型相同,以及第二区域的第二区域类型与所述第一区域类型相同,其中,所述第二区域为所述第二眼神对象在所述目标图片中的第二位置所属的区域。
可选地,在执行步骤103来确定目标图片时,可以在第一候选图片(例如上述人脸照片图库中的图片)中,筛选第二眼睛对象的第二位置所属第二区域类型与所述第一区域类型相同的第二候选图片(具体可以包括筛选第二眼睛对象的第二位置所属第二区域,与第一眼睛对象的第一位置所属的第一区域为同一个预设区域(例如上述宫格区域)的第二候选图片;或者,不仅第一区域与第二区域为同一预设区域,且第一位置的深度信息与第二位置的深度信息在同一预设深度范围内,筛选满足这两个条件的第二候选图片);在所述第二候选图片中,筛选第二眼神类型与所述第一眼神类型相同的目标图片。
当然,也可以先利用眼神类型进行图片筛选,再从筛选得到的图片中,利用眼神对象的位置所属区域类型进行进一步筛选;或者,利用眼神类型和眼神对象的区域所属区域类型这两个条件同时进行目标图片的筛选。
可选地,在所述目标图片的数量为多个的情况下,在多个所述目标图片中,筛选所述第二眼睛对象暴露的眼球的第二纵横比与所述第一纵横比差距最小的目标图片;然后,将筛选得到的目标图片显示至所述预览界面。
具体而言,例如人脸照片图库中存在多张满足两个条件的目标图片,条件1,眼睛所属区域与拍摄对象的眼睛在预览界面中所属区域在同一个宫格区域,条件2,眼睛的眼神类型与拍摄对象的眼睛对象的眼神类型相同,即说明多张目标图片的眼睛对象所暴露的眼球的第二纵横比,与拍摄对象的眼睛对象所暴露的眼球的第一纵横比符合属于同一个第一眼神类型对应的目标取值范围的,那么只需要从多张目标图片中选出第二纵横比与第一纵横比差距最小的目标图片作为示例图片来显示至预览界面,供拍摄对象进行模仿拍照。由于图库中与预览图像的眼神类型相同的图片很多,其眼睛大小也与预览图像的眼睛大小存在差异,因此,这里找到的作为示例图片的目标图片是该眼神类型中眼睛开合比例与预览图像的对象的眼睛开合比例最接近的图像。
其中,在从多张目标图片中选出第二纵横比与第一纵横比差距最小的目标图片作为示例图片来显示至预览界面时,由于眼睛对象暴露的眼球的纵横比是包括双眼各自的纵横比的参数的,因此,在确定两个眼睛对象各自暴露的眼球的纵横比之间的差距时,可以计算眼睛对象1的左眼暴露的眼球的纵横比,与眼睛对象2的左眼暴露的眼球的纵横比之间的差距1,计算眼睛对象1的右眼暴露的眼球的纵横比,与眼睛对象2的右眼暴露的眼球的纵横比之间的差距2,然后,对差距1和差距2加权求和,得到眼睛对象1暴露的眼球的纵横比与眼睛对象2暴露的眼球的纵横比之间的差距。而两个纵横比之间的差距的表达方式可以是两个纵横比之间的差值的绝对值。
在本申请实施例中,由于眼睛对象暴露的眼球的纵横比可以表达出双眼的开合程度,而输出的目标图片是多张目标图片中所述第二眼睛对象暴露的眼球的第二纵横比与所述第一纵横比差距最小的目标图片,因此,输出至预览界面作为示例图片的目标图片,其中双眼的开合程度是最接近拍摄对象的双眼的开合程度的、且二者眼神类型相同,从而利用拍摄对象参照目标图片中双眼的构图和眼神状态进行模仿拍摄。
可选地,在执行步骤103时,可以以将所述第二位置和所述第一位置重叠的方式,将所述目标图片显示至所述预览界面。
具体而言,以将所述目标图片中所述第二眼睛对象的所述第二位置,和所述预览界面中所述第一眼睛对象的所述第一位置重叠的方式,将所述目标图片显示至所述预览界面,其中,如果第一位置和第二位置不能够完全重叠,则以确保最大重叠面积的方式来进行重叠。
其中,在所述目标图片显示在所述第一眼睛对象所属的预览图像的上层的情况下(即目标图片的图层在预览图像的图层之上),所述目标图片以预设透明度显示;在所述目标图片显示在所述第一眼睛对象所属的预览图像的下层的情况下(即目标图片的图层在预览图像的图层之下),所述预览图像以所述预设透明度显示。
其中,上述两种情况的预设透明度可以相同或不同。
在本申请实施例中,由于输出至预览界面的目标图片中所述第二眼睛对象的所述第二位置,和所述预览界面中所述第一眼睛对象的所述第一位置是重叠的,因此,拍摄对象的眼睛可以基本对准作为示例图片的目标图片中的眼睛,而且目标图片或者预览图像以预设透明度显示在预览界面,因此,拍摄对象的预览图像和目标图像都显示在预览界面中,拍摄对象可以在预览界面中参照目标图像,通过对准眼睛以及模拟眼神状态的方式来进行拍照,实现了构图和眼神姿态的模仿拍摄。
在本申请实施例中,由于作为示例图片的目标图片,其中眼睛对象的显示位置所属区域的区域类型与拍摄对象的眼睛对象在预览界面中的显示位置所属区域的区域类型是相同的,即属于一类位置,因此,目标图片的眼睛对象在预览界面中的显示位置,与拍摄对象的眼睛对象在预览界面中的实际位置的差距较小,重叠率较高,从而便于拍摄对象对照预览界面中目标图片中眼睛对象所在区域进行构图的调整,使拍摄对象的眼睛能够对准目标图片中眼睛对象的位置,提升构图准确度;此外,由于示例图片中眼睛对象的眼神类型与拍摄对象在预览界面中眼睛对象的眼神类型也是相同的,降低了拍摄对象的眼神姿态与示例图片中对象的眼神姿态的差异,从而可以便于拍摄对象对照着示例图片中眼睛对象的眼神状态进行相同姿态的摆拍,有利于指导拍摄对象在拍照时参照示例图片中的眼神姿态进行模仿拍摄。
在本申请实施例的上述图像处理方法应用到拍照场景下时,该方法可以包括如下步骤:
步骤200,预先可以采集大量优质自拍图库,并对自拍图库中的眼睛位置进行学习,锁定眼睛所在画面中的位置,并将眼睛位置进行分类;
步骤201,基于位置分类以后,再根据眼睛开合大小进行分类,例如分为图2b、图2c、图2d、图2e分别所示的wink眼、无辜眼、深邃眼、微笑眼的眼神类型,从而通过对自拍图库中的自拍人脸图片进行AI(Artificial Intelligence,人工智能)学习,将自拍图库中的自拍人脸图片按照眼神类型进行划分,分为上述四种眼神类型的同类眼神表现的图片;
步骤203,用户使用电子设备打开相机的人像美颜模式进行拍照,在该人像美颜模式下用户可以进一步选择图片指引(即传统技术中无关于预览图像的具体图像状态,而通过给出一张固定的示例图片的拍照模式)或者姿势学习模式(即本申请的上述图像处理方法对应的拍照模式);
步骤204,如果用户选择姿势学习模式,则可以对预览界面,首先识别用户人脸,然后,定位人脸中的人眼所在取景范围内的位置,接着确定该位置所属的区域类型;
步骤205,在对预览界面的预览图像基于人眼位置进行位置分类之后,可以计算预览图像中眼睛的开合大小;
步骤206,根据预览图像中人眼位置所属的区域类型和人眼的开合大小,可以在步骤201分类的图片中找到眼神最佳匹配图片;
步骤207,通过将该最佳匹配图片的眼睛对准预览图像中用户的眼睛,以叠加的方式向用户呈现推荐的该最佳匹配图片,那么用户就可以通过将自己的眼睛对准预览界面中显示的最佳匹配图片中的眼睛,以及将自己的眼睛模仿最佳匹配图片中眼睛的眼神状态来模仿最佳匹配图片的眼睛构图和眼神状态进行自拍。
在本申请实施例中,在自拍场景下通过提供符合用户在预览界面中的眼睛的构图位置和眼神状态的示例图片供用户模仿拍照,可以提升用户对于自拍的眼睛构图和眼神状态的学习能力,并以更简单易学的方式来实现对示例图片中眼睛的姿态和神态模仿;通过眼神模仿,能够更还原被模仿照片的精髓,达到神似,让用户能获得更满意的自拍照。
需要说明的是,本申请实施例提供的图像处理方法,执行主体可以为图像处理装置,或者该图像处理装置中的用于执行图像处理方法的控制模块。本申请实施例中以图像处理装置执行图像处理方法为例,说明本申请实施例提供的图像处理装置。
参照图3,示出了本申请一个实施例的图像处理装置的框图。该图像处理装置包括:
第一识别模块301,用于识别预览界面中的第一眼睛对象的第一位置,以及识别所述第一位置所属第一区域的第一区域类型;
第二识别模块302,用于识别所述第一眼睛对象的第一眼神类型;
显示模块303,用于将目标图片显示至所述预览界面,所述目标图片中第二眼神对象的第二眼神类型与所述第一眼神类型相同,以及第二区域的第二区域类型与所述第一区域类型相同,其中,所述第二区域为所述第二眼神对象在所述目标图片中的第二位置所属的区域。
可选地,所述第二识别模块302包括:
识别子模块,用于根据所述第一眼睛对象的尺寸信息,识别所述第一眼睛对象的第一眼神类型。
可选地,所述识别子模块包括:
识别单元,用于根据所述第一眼睛对象暴露的眼球的第一纵横比,识别所述第一眼睛对象的第一眼神类型。
可选地,所述识别单元,用于采用预先经过训练的预设神经网络模型,根据预先学习到的眼球的纵横比的取值范围与眼神类型之间的对应关系,确定所述第一纵横比所对应的目标取值范围,以及与所述目标取值范围匹配的第一眼神类型。
可选地,所述显示模块303包括:
筛选子模块,用于在所述目标图片的数量为多个的情况下,在多个所述目标图片中,筛选所述第二眼睛对象暴露的眼球的第二纵横比与所述第一纵横比差距最小的目标图片;
显示子模块,用于将筛选得到的目标图片显示至所述预览界面。
可选地,所述第一识别模块301包括:
第一确定子模块,用于在对预览界面预先划分生成的多个预设区域中,确定所述第一位置所属的第一区域,其中,所述多个预设区域包括所述第一区域;
设置子模块,用于将所述第一区域作为所述第一区域类型;
所述第二区域的第二区域类型与所述第一区域类型相同,包括:
所述第二区域与所述第一区域相同。
可选地,所述第一识别模块301包括:
所述第一确定子模块;
第二确定子模块,用于确定所述第一位置的第一深度信息所属的第一深度范围;
第三确定子模块,用于根据所述第一深度范围和所述第一区域,确定所述第一区域类型;
所述第二区域的第二区域类型与所述第一区域类型相同,包括:
所述第二区域与所述第一区域相同,且,所述第一深度范围与第二深度范围相同,其中,所述第二深度范围为在多个预设深度范围中所述第二位置所属的预设深度范围。
可选地,与上述任意一个实施例相结合,所述显示模块303,还用于以将所述第二位置和所述预览界面中所述第一位置重叠的方式,将所述目标图片显示至所述预览界面,其中,在所述目标图片显示在所述第一眼睛对象所属的预览图像的上层的情况下,所述目标图片以预设透明度显示;在所述目标图片显示在所述第一眼睛对象所属的预览图像的下层的情况下,所述预览图像以所述预设透明度显示。
在本申请实施例中,由于作为示例图片的目标图片,其中眼睛对象的显示位置所属区域的区域类型与拍摄对象的眼睛对象在预览界面中的显示位置所属区域的区域类型是相同的,即属于一类位置,因此,目标图片的眼睛对象在预览界面中的显示位置,与拍摄对象的眼睛对象在预览界面中的实际位置的差距较小,重叠率较高,从而便于拍摄对象对照预览界面中目标图片中眼睛对象所在区域进行构图的调整,使拍摄对象的眼睛能够对准目标图片中眼睛对象的位置,提升构图准确度;此外,由于示例图片中眼睛对象的眼神类型与拍摄对象在预览界面中眼睛对象的眼神类型也是相同的,降低了拍摄对象的眼神姿态与示例图片中对象的眼神姿态的差异,从而可以便于拍摄对象对照着示例图片中眼睛对象的眼神状态进行相同姿态的摆拍,有利于指导拍摄对象在拍照时参照示例图片中的眼神姿态进行模仿拍摄。
本申请实施例中的图像处理装置可以是装置,也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备,也可以为非移动电子设备。示例性的,移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或者个人数字助理(personaldigital assistant,PDA)等,非移动电子设备可以为个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的图像处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为iOS操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
本申请实施例提供的图像处理装置能够实现上述方法实施例实现的各个过程,为避免重复,这里不再赘述。
可选地,如图4所示,本申请实施例还提供一种电子设备2000,包括处理器2002,存储器2001,存储在存储器2001上并可在所述处理器2002上运行的程序或指令,该程序或指令被处理器2002执行时实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要注意的是,本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图5为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备1000包括但不限于:射频单元1001、网络模块1002、音频输出单元1003、输入单元1004、传感器1005、显示单元1006、用户输入单元1007、接口单元1008、存储器1009、以及处理器1010等部件。
本领域技术人员可以理解,电子设备1000还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器1010逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图5中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
其中,处理器1010,用于识别预览界面中的第一眼睛对象的第一位置,以及识别所述第一位置所属第一区域的第一区域类型;识别所述第一眼睛对象的第一眼神类型;
显示单元1006,用于将目标图片显示至所述预览界面,所述目标图片中第二眼神对象的第二眼神类型与所述第一眼神类型相同,以及第二区域的第二区域类型与所述第一区域类型相同,其中,所述第二区域为所述第二眼神对象在所述目标图片中的第二位置所属的区域。
在本申请实施例中,由于作为示例图片的目标图片,其中眼睛对象的显示位置所属区域的区域类型与拍摄对象的眼睛对象在预览界面中的显示位置所属区域的区域类型是相同的,即属于一类位置,因此,目标图片的眼睛对象在预览界面中的显示位置,与拍摄对象的眼睛对象在预览界面中的实际位置的差距较小,重叠率较高,从而便于拍摄对象对照预览界面中目标图片中眼睛对象所在区域进行构图的调整,使拍摄对象的眼睛能够对准目标图片中眼睛对象的位置,提升构图准确度;此外,由于示例图片中眼睛对象的眼神类型与拍摄对象在预览界面中眼睛对象的眼神类型也是相同的,降低了拍摄对象的眼神姿态与示例图片中对象的眼神姿态的差异,从而可以便于拍摄对象对照着示例图片中眼睛对象的眼神状态进行相同姿态的摆拍,有利于指导拍摄对象在拍照时参照示例图片中的眼神姿态进行模仿拍摄。
可选地,处理器1010,还用于根据所述第一眼睛对象的尺寸信息,识别所述第一眼睛对象的第一眼神类型。
在本申请实施例中,可以根据眼睛对象的尺寸信息,来识别眼睛对象的眼神类型,由于不同眼神类型的眼睛对象的尺寸差异较大,因此,本申请实施例的方法所确定的眼神类型能够较为准确。
可选地,处理器1010,还用于根据所述第一眼睛对象暴露的眼球的第一纵横比,识别所述第一眼睛对象的第一眼神类型。
在本申请实施例中,可以由于眼睛对象所暴露的眼球的纵横比能够表达出眼睛的开合程度,而不同眼神类型之间眼睛的开合程度一般存在着较大的差异,那么根据眼睛对象所暴露的眼球的纵横比,来识别眼睛对象的眼神类型,则可以基于眼睛的开合程度来准确地识别出眼睛对象的眼神类型,能够更加准确地识别出拍摄对象的眼睛的眼神类型,从而便于基于该眼神类型给出符合该眼神类型的示例图片供用户参照模仿拍摄。
可选地,处理器1010,还用于采用预先经过训练的预设神经网络模型,根据预先学习到的眼球的纵横比的取值范围与眼神类型之间的对应关系,确定所述第一纵横比所对应的目标取值范围,以及与所述目标取值范围匹配的第一眼神类型
在本申请实施例中,可以向预览界面显示目标图片作为示例图片供用户模仿拍摄,由于该目标图片中眼睛对象与预览界面的拍摄对象的眼睛对象在预览界面中所处的区域的区域类型是相同的,因此,目标图片中眼睛对象与拍摄对象的眼睛对象各自在预览界面中所处位置差异较小;而且,目标图片中眼睛对象所暴露的眼球的纵横比,与拍摄对象的眼睛对象所暴露的眼球的纵横比是属于同一个眼神类型的同一个取值范围的,即两张图片对应的纵横比是差异较小的,因此,目标图片的眼睛对象和拍摄对象的眼睛对象的眼睛开合大小是相近的;那么在目标图片中眼睛对象与拍摄对象的眼睛对象各自在预览界面中所处位置差异较小,且目标图片的眼睛对象和拍摄对象的眼睛对象的眼睛开合大小相近的两种条件的作用下,很难存在传统技术中所提供的示例图片与拍摄对象的预览图像之间的图片比例差异较大的情况,从而解决传统技术不考虑拍摄对象中眼睛对象的实际位置和实际姿态,而无差异的给出同一张示例图片,所带来的示例图片的图片比例与拍摄对象的预览图像的图片比例差太多的问题。
可选地,处理器1010,还用于在所述目标图片的数量为多个的情况下,在多个所述目标图片中,筛选所述第二眼睛对象暴露的眼球的第二纵横比与所述第一纵横比差距最小的目标图片;
显示单元1006,用于将筛选得到的目标图片显示至所述预览界面。
在本申请实施例中,由于眼睛对象暴露的眼球的纵横比可以表达出双眼的开合程度,而输出的目标图片是多张目标图片中所述第二眼睛对象暴露的眼球的第二纵横比与所述第一纵横比差距最小的目标图片,因此,输出至预览界面作为示例图片的目标图片,其中双眼的开合程度是最接近拍摄对象的双眼的开合程度的、且二者眼神类型相同,从而利用拍摄对象参照目标图片中双眼的构图和眼神状态进行模仿拍摄。
可选地,处理器1010,还用于在对预览界面划分生成的多个预设区域中,确定所述第一位置所属的第一区域,其中,所述多个预设区域包括所述第一区域;确定所述第一位置的第一深度信息所属的第一深度范围;根据所述第一深度范围和所述第一区域,确定所述第一区域类型;
其中,所述第二区域的第二区域类型与所述第一区域类型相同,包括:
所述第二区域与所述第一区域相同,且,所述第一深度范围与第二深度范围相同,其中,所述第二深度范围为在多个预设深度范围中所述第二位置所属的预设深度范围。
在本发明实施例中,由于目标图片中眼睛对象与拍摄对象的眼睛对象各自在预览界面中属于同一个区域,因此,所处位置差异较小,且目标图片的眼睛对象和拍摄对象的眼睛对象的眼睛开合大小相近,因此眼神类型相同;另外,为了进一步降低所输出的目标图片与预览图像之间的图片比例差异,目标图片中眼睛对象的深度值还与预览图像中眼睛对象的深度值在同一个预设深度范围内,从而可以进一步确保目标图片与预览图像之间的图片比例的接近度高。
可选地,处理器1010,还用于在对预览界面预先划分生成的多个预设区域中,确定所述第一位置所属的第一区域,其中,所述多个预设区域包括所述第一区域;将所述第一区域作为所述第一区域类型;
其中,所述第二区域的第二区域类型与所述第一区域类型相同,包括:
所述第二区域与所述第一区域相同。
本发明实施例中,由于目标图片中眼睛对象与拍摄对象的眼睛对象各自在预览界面中属于同一个区域,因此,所处位置差异较小,且目标图片的眼睛对象和拍摄对象的眼睛对象的眼睛开合大小相近,因此眼神类型相同的两种条件的作用下,很难存在传统技术中所提供的示例图片与拍摄对象的预览图像之间的图片比例差异较大的情况,从而解决传统技术不考虑拍摄对象中眼睛对象的实际位置和实际姿态,而无差异的给出同一张示例图片,所带来的示例图片的图片比例与拍摄对象的预览图像的图片比例差太多的问题。
可选地,显示单元1006,用于以将所述第二位置和所述预览界面中所述第一位置重叠的方式,将所述目标图片显示至所述预览界面,其中,在所述目标图片显示在所述第一眼睛对象所属的预览图像的上层的情况下,所述目标图片以预设透明度显示;在所述目标图片显示在所述第一眼睛对象所属的预览图像的下层的情况下,所述预览图像以所述预设透明度显示。
在本申请实施例中,由于输出至预览界面的目标图片中所述第二眼睛对象的所述第二位置,和所述预览界面中所述第一眼睛对象的所述第一位置是重叠的,因此,拍摄对象的眼睛可以基本对准作为示例图片的目标图片中的眼睛,而且目标图片或者预览图像以预设透明度显示在预览界面,因此,拍摄对象的预览图像和目标图像都显示在预览界面中,拍摄对象可以在预览界面中参照目标图像,通过对准眼睛以及模拟眼神状态的方式来进行拍照,实现了构图和眼神姿态的模仿拍摄。
应理解的是,本申请实施例中,输入单元1004可以包括图形处理器(GraphicsProcessing Unit,GPU)10041和麦克风10042,图形处理器10041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1006可包括显示面板10061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板10061。用户输入单元1007包括触控面板10071以及其他输入设备10072。触控面板10071,也称为触摸屏。触控面板10071可包括触摸检测装置和触摸控制器两个部分。其他输入设备10072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。存储器1009可用于存储软件程序以及各种数据,包括但不限于应用程序和操作系统。处理器1010可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1010中。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
Claims (8)
1.一种图像处理方法,其特征在于,所述方法包括:
识别预览界面中的第一眼睛对象的第一位置,以及识别所述第一位置所属第一区域的第一区域类型;
根据所述第一眼睛对象暴露的眼球的第一纵横比识别所述第一眼睛对象的第一眼神类型;
将目标图片以预设透明度显示在所述预览界面,其中,所述目标图片为供用户模仿拍摄的示例图片,所述目标图片中的第二眼睛对象的第二位置与所述预览界面的所述第一位置对准,所述第二眼睛对象的第二眼神类型与所述第一眼神类型相同,以及第二区域的第二区域类型与所述第一区域类型相同,所述第二区域为所述第二位置所属的区域。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第一眼睛对象暴露的眼球的纵横比识别所述第一眼睛对象的第一眼神类型,包括:
采用预先经过训练的预设神经网络模型,根据预先学习到的眼球的纵横比的取值范围与眼神类型之间的对应关系,确定所述第一纵横比所对应的目标取值范围,以及与所述目标取值范围匹配的第一眼神类型。
3.根据权利要求2所述的方法,其特征在于,所述将目标图片以预设透明度显示至所述预览界面,包括:
在所述目标图片的数量为多个的情况下,在多个所述目标图片中,筛选所述第二眼睛对象暴露的眼球的第二纵横比与所述第一纵横比差距最小的目标图片;
将筛选得到的目标图片以所述预设透明度显示至所述预览界面。
4.根据权利要求1所述的方法,其特征在于,
所述识别所述第一位置所属第一区域的第一区域类型,包括:
在对预览界面划分生成的多个预设区域中,确定所述第一位置所属的第一区域,其中,所述多个预设区域包括所述第一区域;
确定所述第一位置的第一深度信息所属的第一深度范围;
根据所述第一深度范围和所述第一区域,确定所述第一区域类型;
所述第二区域的第二区域类型与所述第一区域类型相同,包括:
所述第二区域与所述第一区域相同,且,所述第一深度范围与第二深度范围相同,其中,所述第二深度范围为在多个预设深度范围中所述第二位置所属的预设深度范围。
5.根据权利要求1至4中任意一项所述的方法,其特征在于,所述将所述目标图片以预设透明度显示至所述预览界面,包括:
以将所述第二位置和所述预览界面中所述第一位置重叠的方式,将所述目标图片以所述预设透明度显示至所述预览界面。
6.一种图像处理装置,其特征在于,所述装置包括:
第一识别模块,用于识别预览界面中的第一眼睛对象的第一位置,以及识别所述第一位置所属第一区域的第一区域类型;
第二识别模块,用于根据所述第一眼睛对象暴露的眼球的第一纵横比识别所述第一眼睛对象的第一眼神类型;
显示模块,将目标图片以预设透明度显示在所述预览界面,其中,所述目标图片为供用户模仿拍摄的示例图片,所述目标图片中的第二眼睛对象的第二位置与所述预览界面的所述第一位置对准,所述第二眼睛对象的第二眼神类型与所述第一眼神类型相同,以及第二区域的第二区域类型与所述第一区域类型相同,所述第二区域为所述第二位置所属的区域。
7.一种电子设备,其特征在于,包括处理器,存储器及存储在所述存储器上并可在所述处理器上运行的计算机可执行程序,所述计算机可执行程序被所述处理器执行时实现如权利要求1至5中任意一项所述的图像处理方法的步骤。
8.一种可读存储介质,其特征在于,所述可读存储介质上存储计算机可执行程序,所述计算机可执行程序被处理器执行时实现如权利要求1至5中任意一项所述的图像处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110754657.7A CN113542598B (zh) | 2021-07-02 | 2021-07-02 | 图像处理方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110754657.7A CN113542598B (zh) | 2021-07-02 | 2021-07-02 | 图像处理方法、装置、电子设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113542598A CN113542598A (zh) | 2021-10-22 |
CN113542598B true CN113542598B (zh) | 2023-11-21 |
Family
ID=78097690
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110754657.7A Active CN113542598B (zh) | 2021-07-02 | 2021-07-02 | 图像处理方法、装置、电子设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113542598B (zh) |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104182741A (zh) * | 2014-09-15 | 2014-12-03 | 联想(北京)有限公司 | 一种图像采集提示方法、装置及电子设备 |
CN105096267A (zh) * | 2015-07-02 | 2015-11-25 | 广东欧珀移动通信有限公司 | 一种基于拍照识别调节眼部亮度的方法和装置 |
CN106210526A (zh) * | 2016-07-29 | 2016-12-07 | 维沃移动通信有限公司 | 一种拍摄方法及移动终端 |
CN107909057A (zh) * | 2017-11-30 | 2018-04-13 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
CN108184050A (zh) * | 2017-12-15 | 2018-06-19 | 维沃移动通信有限公司 | 一种拍照方法、移动终端 |
CN108377339A (zh) * | 2018-05-07 | 2018-08-07 | 维沃移动通信有限公司 | 一种拍照方法及拍照装置 |
CN109167921A (zh) * | 2018-10-18 | 2019-01-08 | 北京小米移动软件有限公司 | 拍摄方法、装置、终端及存储介质 |
CN109547694A (zh) * | 2018-11-29 | 2019-03-29 | 维沃移动通信有限公司 | 一种图像显示方法及终端设备 |
CN110969120A (zh) * | 2019-11-29 | 2020-04-07 | 北京达佳互联信息技术有限公司 | 图像处理方法及装置、电子设备、可读存储介质 |
CN111263065A (zh) * | 2020-02-18 | 2020-06-09 | 珠海市它物云科技有限公司 | 一种眼球检测提示方法、计算机装置及计算机可读存储介质 |
CN112036311A (zh) * | 2020-08-31 | 2020-12-04 | 北京字节跳动网络技术有限公司 | 基于眼部状态检测的图像处理方法、装置及存储介质 |
CN112584032A (zh) * | 2019-09-27 | 2021-03-30 | 北京安云世纪科技有限公司 | 一种图像编辑方法、装置、设备及介质 |
CN113038008A (zh) * | 2021-03-08 | 2021-06-25 | 维沃移动通信有限公司 | 成像方法、装置、电子设备及存储介质 |
-
2021
- 2021-07-02 CN CN202110754657.7A patent/CN113542598B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104182741A (zh) * | 2014-09-15 | 2014-12-03 | 联想(北京)有限公司 | 一种图像采集提示方法、装置及电子设备 |
CN105096267A (zh) * | 2015-07-02 | 2015-11-25 | 广东欧珀移动通信有限公司 | 一种基于拍照识别调节眼部亮度的方法和装置 |
CN106210526A (zh) * | 2016-07-29 | 2016-12-07 | 维沃移动通信有限公司 | 一种拍摄方法及移动终端 |
CN107909057A (zh) * | 2017-11-30 | 2018-04-13 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
CN108184050A (zh) * | 2017-12-15 | 2018-06-19 | 维沃移动通信有限公司 | 一种拍照方法、移动终端 |
CN108377339A (zh) * | 2018-05-07 | 2018-08-07 | 维沃移动通信有限公司 | 一种拍照方法及拍照装置 |
CN109167921A (zh) * | 2018-10-18 | 2019-01-08 | 北京小米移动软件有限公司 | 拍摄方法、装置、终端及存储介质 |
CN109547694A (zh) * | 2018-11-29 | 2019-03-29 | 维沃移动通信有限公司 | 一种图像显示方法及终端设备 |
CN112584032A (zh) * | 2019-09-27 | 2021-03-30 | 北京安云世纪科技有限公司 | 一种图像编辑方法、装置、设备及介质 |
CN110969120A (zh) * | 2019-11-29 | 2020-04-07 | 北京达佳互联信息技术有限公司 | 图像处理方法及装置、电子设备、可读存储介质 |
CN111263065A (zh) * | 2020-02-18 | 2020-06-09 | 珠海市它物云科技有限公司 | 一种眼球检测提示方法、计算机装置及计算机可读存储介质 |
CN112036311A (zh) * | 2020-08-31 | 2020-12-04 | 北京字节跳动网络技术有限公司 | 基于眼部状态检测的图像处理方法、装置及存储介质 |
CN113038008A (zh) * | 2021-03-08 | 2021-06-25 | 维沃移动通信有限公司 | 成像方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113542598A (zh) | 2021-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI754887B (zh) | 活體檢測方法和裝置、電子設備及儲存介質 | |
US10007841B2 (en) | Human face recognition method, apparatus and terminal | |
CN111541907B (zh) | 物品显示方法、装置、设备及存储介质 | |
CN109905593B (zh) | 一种图像处理方法和装置 | |
CN111242090B (zh) | 基于人工智能的人脸识别方法、装置、设备及介质 | |
US11030733B2 (en) | Method, electronic device and storage medium for processing image | |
CN109064390A (zh) | 一种图像处理方法、图像处理装置及移动终端 | |
CN111182212B (zh) | 图像处理方法、装置、存储介质以及电子设备 | |
CN112036331A (zh) | 活体检测模型的训练方法、装置、设备及存储介质 | |
CN111445486A (zh) | 图像处理方法、装置、设备及计算机可读存储介质 | |
CN110868538A (zh) | 推荐拍摄姿态的方法和电子设备 | |
CN113873166A (zh) | 视频拍摄方法、装置、电子设备和可读存储介质 | |
CN113194256B (zh) | 拍摄方法、装置、电子设备和存储介质 | |
CN110363111A (zh) | 基于镜头失真原理的人脸活体检测方法、装置及存储介质 | |
CN113542598B (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
WO2023001110A1 (zh) | 神经网络训练方法、装置及电子设备 | |
CN115623313A (zh) | 图像处理方法、图像处理装置、电子设备、存储介质 | |
Kremer et al. | Automatic estimation of parametric saliency maps (PSMs) for autonomous pedestrians | |
CN111967436B (zh) | 图像处理方法及装置 | |
CN111921199B (zh) | 虚拟对象的状态检测方法、装置、终端及存储介质 | |
Leng et al. | An automated object detection method for the attention of classroom and conference participants | |
CN111539420A (zh) | 基于注意力感知特征的全景图像显著性预测方法及系统 | |
CN117689782B (zh) | 一种生成海报图像的方法、装置、设备及存储介质 | |
Oulasvirta et al. | How real is real enough? Optimal reality sampling for fast recognition of mobile imagery | |
CN113873162A (zh) | 拍摄方法、装置、电子设备和可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |