CN117651966A - 一种拍照方法、装置及存储介质 - Google Patents
一种拍照方法、装置及存储介质 Download PDFInfo
- Publication number
- CN117651966A CN117651966A CN202280004619.2A CN202280004619A CN117651966A CN 117651966 A CN117651966 A CN 117651966A CN 202280004619 A CN202280004619 A CN 202280004619A CN 117651966 A CN117651966 A CN 117651966A
- Authority
- CN
- China
- Prior art keywords
- image
- target object
- camera
- face
- data information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000003860 storage Methods 0.000 title claims abstract description 9
- 230000001960 triggered effect Effects 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims description 26
- 239000000284 extract Substances 0.000 claims description 8
- 230000000694 effects Effects 0.000 abstract description 10
- 238000003384 imaging method Methods 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 210000000887 face Anatomy 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 210000004279 orbit Anatomy 0.000 description 2
- 238000002366 time-of-flight method Methods 0.000 description 2
- 208000004350 Strabismus Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本公开是关于一种拍照方法、装置及存储介质。拍照方法应用于具有折叠屏的终端,所述折叠屏在展开状态下同一侧上具有第一摄像头和第二摄像头,且所述第二摄像头设置在所述折叠屏展开状态下外侧的显示屏内部,所述拍照方法包括:响应于所述折叠屏展开状态下被触发对目标对象进行拍照,启用所述第一摄像头和所述第二摄像头进行图像采集;获取所述第一摄像头采集的第一图像,并获取所述第二摄像头采集的第二图像;融合所述第一图像和所述第二图像,得到针对所述目标对象的拍摄图像。通过本公开,将折叠屏终端第一摄像头与第二摄像头拍摄的图像进行融合,得到目标图像的拍摄图像,获得较好的成像效果,用户的拍照体验得到提升。
Description
本公开涉及终端技术领域,尤其涉及一种拍照方法、装置及存储介质。
随着科技的不断进步,摄像技术在日常生活与科技领域被越来越广泛的应用,例如应用在具有折叠屏的终端中。
具有折叠屏的终端在折叠屏外侧设置有前置摄像头和后置摄像头,并且设置前置摄像头的折叠屏一侧具有屏幕,可以使用前置摄像头进行人脸的自拍。但,使用该前置摄像头进行拍摄时,成像效果不佳。
发明内容
为克服相关技术中存在的问题,本公开提供一种拍照方法、装置及存储介质。
根据本公开实施例的第一方面,提供一种拍照方法,应用于具有折叠屏的终端,所述折叠屏在展开状态下同一侧上具有第一摄像头和第二摄像头,且所述第二摄像头设置在所述折叠屏展开状态下外侧的显示屏内部,所述拍照方法包括:响应于所述折叠屏展开状态下被触发对目标对象进行拍照,启用所述第一摄像头和所述第二摄像头进行图像采集;获取所述第一摄像头采集的第一图像,并获取所述第二摄像头采集的第二图像;融合所述第一图像和所述第二图像,得到针对所述目标对象的拍摄图像。
在一种实施方式中,所述融合所述第一图像和所述第二图像,得到所述目标对象的拍摄图像,包括:在所述第二图像中提取所述目标对象的三维数据信息;在所述第一图像中提取剔除了所述目标对象的背景图像;融合所述三维数据信息以及所述背景图像,得到所述目标对象的拍摄图像。
在又一种实施方式中,所述目标对象为人脸图像;在所述第二图像中提取所述目标对象的三维数据信息,包括:在所述第二图像中进行人脸识别,得到人脸图像;将所述人脸图像以鼻翼纵向中心线划分为第一部分人脸图像和第二部分人脸图像;基于所述第一部分人脸图像和所述第二部分人脸图像中各像素的像素深度信息,生成三维立体面部图;基于所述三维立体面部图,提取所述人脸图像的三维数据信息。
在又一种实施方式中,所述在所述第一图像中提取剔除了所述目标对象的背景图像,包括:基于所述第二图像中提取的目标对象的三维数据信息,定位所述目标对象在所述第 一图像中的位置;基于所述位置,提取所述第一图像中包括的目标对象区域;在所述第一图像中去除所述目标对象区域,得到背景图像。
在又一种实施方式中,所述基于所述第二图像中提取的目标对象的三维数据信息,定位所述目标对象在所述第一图像中的位置,包括:确定目标对象与所述第一摄像头和所述第二摄像头之间的距离差;根据所述距离差以及所述第二图像中目标对象的三维数据信息,定位所述目标对象在所述第一图像中的位置。
根据本公开实施例的第二方面,提供一种拍照装置,应用于具有折叠屏的终端,所述折叠屏在展开状态下同一侧上具有第一摄像头和第二摄像头,且所述第二摄像头设置在所述折叠屏展开状态下外侧的显示屏内部,所述拍照装置包括:采集单元,用于响应于所述折叠屏展开状态下被触发对目标对象进行拍照,启用所述第一摄像头和所述第二摄像头进行图像采集;获取单元,用于获取所述第一摄像头采集的第一图像,并获取所述第二摄像头采集的第二图像;处理单元,用于融合所述第一图像和所述第二图像,得到针对所述目标对象的拍摄图像。
在一种实施方式中,所述处理单元采用如下方式融合所述第一图像和所述第二图像,得到所述目标对象的拍摄图像:在所述第二图像中提取所述目标对象的三维数据信息;在所述第一图像中提取剔除了所述目标对象的背景图像;融合所述三维数据信息以及所述背景图像,得到所述目标对象的拍摄图像。
在另一种实施方式中,所述目标对象为人脸图像;所述处理单元采用如下方式在所述第二图像中提取所述目标对象的三维数据信息:在所述第二图像中进行人脸识别,得到人脸图像;将所述人脸图像以鼻翼纵向中心线划分为第一部分人脸图像和第二部分人脸图像;基于所述第一部分人脸图像和所述第二部分人脸图像中各像素的像素深度信息,生成三维立体面部图;基于所述三维立体面部图,提取所述人脸图像的三维数据信息。
在另一种实施方式中,所述处理单元采用如下方式在所述第一图像中提取剔除了所述目标对象的背景图像:基于所述第二图像中提取的目标对象的三维数据信息,定位所述目标对象在所述第一图像中的位置;基于所述位置,提取所述第一图像中包括的目标对象区域;在所述第一图像中去除所述目标对象区域,得到背景图像。
在另一种实施方式中,所述处理单元采用如下方式基于所述第二图像中提取的目标对象的三维数据信息,定位所述目标对象在所述第一图像中的位置:确定目标对象与所述第一摄像头和所述第二摄像头之间的距离差;根据所述距离差以及所述第二图像中目标对象的三维数据信息,定位所述目标对象在所述第一图像中的位置。
根据本公开实施例的第三方面,提供一种拍照装置,其特征在于,包括:处理器;用 于存储处理器可执行指令的存储器;其中,所述处理器被配置为:用于执行第一方面或者第一方面任意一种实施方式中的拍照的方法。
根据本公开实施例第四方面,提供一种存储介质,其特征在于,存储介质中存储有指令,当存储介质中的指令由终端的处理器执行时,使得包括处理器的终端能够执行第一方面或者第一方面任意一种实施方式中的拍照的方法。
本公开的实施例提供的技术方案可以包括以下有益效果:通过将折叠屏终端第一摄像头与第二摄像头所拍摄的图像进行融合,能够提取得到两摄像头各自所拍摄图像中满足成像效果的图像,进而得到较好的成像效果,提高用户的拍照体验。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是一示例性实施例示出的折叠屏终端闭合状态下的示意图。
图2是一示例性实施例示出的折叠屏终端的摄像头分布的示意图。
图3是根据一示例性实施例示出的一种拍照方法的流程图。
图4是根据一示例性实施例示出的一种融合第一图像和第二图像,得到目标对象的拍摄图像的方法的流程图。
图5是根据一示例性实施例示出的一种在第二图像中提取目标对象的三维数据信息的方法的流程图。
图6是根据一示例性实施例示出的一种在第一图像中提取不包括目标对象的背景图像的方法的流程图。
图7是根据一示例性实施例示出的一种基于第二图像中提取的目标对象的三维数据信息,定位目标对象在第一图像中的位置的方法的流程图。
图8是根据一示例性实施例示出的一种拍照装置框图。
图9是根据一示例性实施例示出的一种用于拍照的装置的框图。
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中 所描述的实施方式并不代表与本公开相一致的所有实施方式。
本公开提供的拍照方法应用于具有折叠屏的终端。其中,具有折叠屏的终端后续有时也称为折叠屏终端。
相关技术中,折叠屏终端由于其折叠的特性,近年来受到了很大的追捧,由于折叠屏终端在展开时有着更大的显示空间,而其折叠的特性又使其具有较好的便携性,具有得天独厚的优势,因此给设备的使用带来了更多的可能。折叠屏终端相较于传统终端存在着很多的特殊之处,折叠屏由于只有外屏侧存在摄像头,受限于器件大小在拍摄的时候摄像头的成像效果就比较一般,而后置摄像头有着更好的参数,这样就可以获取更好的拍摄效果,但是折叠屏终端拍照仍然存在着很多的问题。
本公开实施例中折叠屏终端具有两种状态分别为闭合状态和展开状态。图1是一示例性实施例示出的折叠屏终端闭合状态下的示意图。图2是一示例性实施例示出的折叠屏终端的摄像头分布的示意图。
参阅图1、图2所示,折叠屏终端包括不含摄像头的屏幕内侧,以及设置有摄像头(后置摄像头和前置摄像头)的屏幕外侧。参阅图2所示,折叠屏在展开状态下后置摄像头和前置摄像头位于同一屏幕外侧。其中,前置摄像头设置位置处对应有显示屏。图2中,着色部分为折叠屏终端设置有显示屏的屏幕外侧。
本公开实施例中,响应于折叠屏终端在展开状态下用户进行自拍,当用户使用后置摄像头进行拍摄时,用户的拍摄效果会在前置摄像头所在的屏幕上进行显示,此时若用户注视屏幕,所拍摄的图片中用户的面部可能是倾斜状态或是眼睛斜视。而用户注视后置摄像头又无法确定拍摄效果。当用户使用前置摄像头进行拍摄时,拍摄效果不好,可能会出现拍摄出的图片不清晰的状况。
有鉴于此,本公开提供一种拍照方法,通过将折叠终端前置摄像头以及后置摄像头所获取的图像融合的方式,实现折叠屏终端拍照的优化。
本公开实施例为描述方便,将折叠屏终端的后置摄像头称为第一摄像头,将折叠屏终端的前置摄像头称为第二摄像头。第一摄像头和第二摄像头在折叠屏终端处于展开状态下位于同一屏幕外侧。其中,第二摄像头设置在具有显示屏屏幕外侧。
图3是根据一示例性实施例示出的一种拍照方法的流程图,如图3所示,拍照方法用于终端中,折叠屏在展开状态下同一侧上具有第一摄像头和第二摄像头,且第二摄像头设置在所述折叠屏展开状态下外侧的显示屏内部,包括以下步骤。
在步骤S11中,响应于折叠屏展开状态下被触发对目标对象进行拍照,启用第一摄像头和第二摄像头进行图像采集。
本公开实施例中,折叠屏展开与闭合状态的判断可以根据折叠屏屏幕的电容值来确定。其中,可以将折叠屏闭合时屏幕的电容值设置为第一电容值。当折叠屏展开时的电容值设置为第二电容值。其中,第二电容值等于第一电容值的2倍。可以根据屏幕电容值判断折叠屏屏幕当前所处状态。
本公开实施例中,目标对象可以为人脸,也可以为用户的半身像等。其中,第一摄像头可以为折叠屏展开状态下的后置摄像头,第二摄像头可以为折叠屏展开状态下与后置摄像头同一侧上的前置摄像头。
在步骤S12中,获取第一摄像头采集的第一图像,并获取第二摄像头采集的第二图像。
本公开实施例中,获取第一摄像头采集第一图像,即可以为后置摄像头采集的第一图像,并获取第二摄像头采集的第二图像,即可以为前置摄像头采集的第二图像。
在步骤S13中,融合第一图像和第二图像,得到针对目标对象的拍摄图像。
本公开实施例中,根据获取到的第一摄像头以及第二摄像头采集到的图像,融合得到对目标对象的拍摄图像。
本公开实施例提供的拍照方法,融合折叠屏终端第一摄像头与第二摄像头所拍摄的图像,生成目标对象的拍摄图像,融合折叠屏终端第一摄像头与第二摄像头拍摄的图像的优点,可以获得效果更好的拍摄图像,提升用户的拍照体验。
本公开以下实施例对本公开上述实施例中的融合第一图像和第二图像,得到目标对象的拍摄图像的方法进行进一步的解释和说明。
图4是根据一示例性实施例示出的一种融合第一图像和第二图像,得到目标对象的拍摄图像的方法的流程图,如图4所示,融合第一图像和第二图像,得到目标对象的拍摄图像的方法包括以下步骤。
在步骤S21中,在第二图像中提取目标对象的三维数据信息。
本公开实施例中,第二图像可以为第二摄像头即前置摄像头所采集的图像。在第二图像中,采集目标对象的三维数据信息。
本公开实施例中,其中,目标对象可以为人脸,三维数据信息可以包括人脸的像素深度信息。可以通过算法,根据目标对象的面部阴影得到目标对象面部五官的数据信息。即有阴影的部分为面部较低的部分,无阴影的部分可以为面部较高的部分。例如根据眼窝阴影以及眉骨阴影,可以得到眼窝深度等。或,可以利用多个深度卷积神经网络对根据目标对象中人脸的特征点位置划分的多个人脸区域提取特征,根据多个人脸区域特征得到目标对象的三维数据信息。
在步骤S22中,在第一图像中提取剔除了目标对象的背景图像。
本公开实施例中,第一图像可以为后置摄像头采集到的图像,在第一图像中采集不包括目标图像的背景图像。目标图像可以为用户的人脸图像,在第一图像中采集不包括目标图像的背景图像可以为第一图像中剔除人脸图像的其余部分的图像。
在步骤S23中,融合三维数据信息以及背景图像,得到目标对象的拍摄图像。
本公开实施例中,将第二图像中目标图像的三维数据信息融合第二目标图像中除目标图像的背景图像融合,得到目标图像完整的拍摄图像。
本公开实施例提供的融合第一图像和第二图像,得到目标对象的拍摄图像的方法,提取第二图像中的目标图像三维数据信息以及第一图像中的背景图像,将二者融合,得到目标对象的拍摄图像。融合两摄像头采集的图像,可以更好的呈现出目标图像的拍摄图像。
本公开以下实施例对本公开上述实施例中的在第二图像中提取目标对象的三维数据信息的方法进行进一步的解释和说明。
图5是根据一示例性实施例示出的一种在第二图像中提取目标对象的三维数据信息的方法的流程图,如图5所示,在第二图像中提取目标对象的三维数据信息的方法包括以下步骤。
在步骤S31中,在第二图像中进行人脸识别,得到人脸图像。
本公开实施例中,对第二摄像头采集的第二图像进行人脸识别,根据采集到的人脸,获得人脸图像。其中,人脸识别可以为基于用户的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流,并自动在图像中检测和跟踪人脸,进而对检测到的人脸进行识别的一系列相关技术。主要包括四个组成部分:人脸图像采集及检测、人脸图像预处理、人脸图像特征提取以及匹配与识别。
在步骤S32中,将人脸图像以鼻翼纵向中心线划分为第一部分人脸图像和第二部分人脸图像。
本公开实施例中,可以根据用户面部鼻翼纵向中心线将用户面部图像分为两部分人脸图像,分别为第一部分人脸图像和第二部分人脸图像。其中,第一部分人脸图像与第二部分人脸图像可以为人脸图像等分的两部分,也可以为不等分的两部分。
在步骤S33中,基于第一部分人脸图像和第二部分人脸图像中各像素的像素深度信息,生成三维立体面部图。
本公开实施例中,第一部分人脸图像和第二部分人脸图像中各像素的像素深度信息,可以为眼头至眼尾的像素长度、鼻梁像素长度、嘴巴的像素长度等等。同时根据人脸图像中阴影的面积,判断人脸图像的像素深度信息,例如根据鼻翼两侧阴影,判断出鼻翼两侧较为凹陷,深度较深。根据人脸图像的像素深度信息,生成人脸图像的三维立体面部图。
在步骤S34中,基于三维立体面部图,提取人脸图像的三维数据信息。
本公开实施例中,基于人脸图像的三维立体面部图,可以获得三维立体面部图中人脸的三维数据信息。
本公开实施例提供的在第二图像中提取目标对象的三维数据信息的方法,可以较为准确的获取折叠屏终端第二摄像头所拍摄的第二图像中的用户面部信息,为将第二图像与第一图像的融合提供便利。
本公开以下实施例对本公开上述实施例中的在第一图像中提取不包括目标对象的背景图像的方法进行进一步的解释和说明。
图6是根据一示例性实施例示出的一种在第一图像中提取不包括目标对象的背景图像的方法的流程图,如图6所示,在第一图像中提取不包括目标对象的背景图像的方法包括以下步骤。
在步骤S41中,基于第二图像中提取的目标对象的三维数据信息,定位目标对象在第一图像中的位置。
本公开实施例中,基于第二图像中目标对象的三维数据信息,判断目标图像在第二图像中的位置。可以根据目标对象的三维数据信息判断目标图像例如人脸,在第二图像中的位置。
在步骤S42中,基于位置,提取第一图像中包括的目标对象区域。
本公开实施例中,基于目标对象在第二图像中的位置,提取目标对象在第一图像中的区域。
在步骤S43中,在第一图像中去除目标对象区域,得到背景图像。
本公开实施例中,在折叠屏第一摄像头,可以为后置摄像头所拍摄的图像中,去除目标图像在第一图像中的区域,得到的图像为背景图像。
本公开实施例提供的在第一图像中提取不包括目标对象的背景图像的方法,根据第二图像中的人脸信息与第一图像,得到第一图像中去除第二图像的三维数据信息的背景信息。便于后续将第一图像与第二图像融合。
本公开以下实施例对本公开上述实施例中的基于第二图像中提取的目标对象的三维数据信息,定位目标对象在第一图像中的位置的方法进行进一步的解释和说明。
图7是根据一示例性实施例示出的一种基于第二图像中提取的目标对象的三维数据信息,定位目标对象在第一图像中的位置的方法的流程图,如图7所示,基于第二图像中提取的目标对象的三维数据信息,定位目标对象在第一图像中的位置的方法包括以下步骤。
在步骤S51中,确定目标对象与第一摄像头和第二摄像头之间的距离差。
本公开实施例中,可以采用飞行时间(ToF,Time of Flight)技术计算目标对象与第一摄像头之间的距离以及目标对象与第二摄像头之间的距离。根据目标对象与第一摄像头之间的距离以及目标对象与第二摄像头之间的距离,可以计算得到目标对象与第一摄像头和第二摄像头之间的距离差。
本公开实施例中,飞行时间技术,即传感器发出经调制的近红外光,遇物体后反射,传感器通过计算光线发射和反射时间差或相位差,来换算被拍摄景物的距离,以产生深度信息,此外再结合传统的相机拍摄,就能将物体的三维轮廓以不同颜色代表不同距离的地形图方式呈现出来。
在步骤S52中,根据距离差以及第二图像中目标对象的三维数据信息,定位目标对象在第一图像中的位置。
本公开实施例中,根据目标对象与第一摄像头和第二摄像头之间的距离差以及第二图像中的三维数据信息,定位目标对象在第一图像中的位置。例如,当目标图像在第一摄像头中间的位置时,定位目标图像在第二摄像头中中间偏左三分之一处。
本公开实施例提供的基于第二图像中提取的目标对象的三维数据信息,定位目标对象在第一图像中的位置的方法,根据目标图像在第二图像中提取到的信息,定位到目标图像在第一图像中的位置。便于将第二图像与第一图像相融合。
本公开实施例以下以一折叠屏终端为例,对本公开上述实施例涉及的折叠屏终端拍照方法以及实际中的应用进行举例说明。
本公开实施例中,响应于用户进行自拍,终端的前置摄像头与后置摄像头一同工作。其中,用户注视前置摄像头所在的屏幕即可。前置摄像头主要提取用户的人脸信息,以及用户的面部特征。后置摄像头主要提取整体图片以及用户在图片中的位置。
本公开实施例中,通过前置摄像头所拍摄的图片,对图片进行人脸检测,得到用户的人脸信息。将用户的人脸信息通过鼻翼纵向中心线分为两部分,可以为等分的两部分或不等分的两部分。对两部分人脸分别进行三维信息提取。可以采用ToF技术,计算用户面部的点与折叠屏终端前置摄像头传感器之间的距离,例如可以计算用户嘴巴上的每个点到前置摄像头传感器之间的距离。根据用户人脸上每一点到前置摄像头传感器之间的距离可以得到用户面部的三维数据信息,并对三维数据信息进行保存。同时提取出后置摄像头所拍摄的图片中的人脸部分,保留后置摄像头所拍摄的图片中的背景部分。将前置摄像头所拍摄的用户面部的三维数据信息与后置摄像头所拍摄的图片中的背景部分进行融合,得到用户自拍的图像。
本公开实施例中,后置摄像头在拍摄用户图像的同时,还定位用户在图片中的位置。 例如可以采用ToF技术,计算用户在前置摄像头中与终端的距离,以及用户在后置摄像头中与终端的距离。计算两距离之间的距离差,根据用户在后置摄像头所拍摄的图片中的位置判断用户在前置摄像头所拍摄的图片中的位置。定位用户在图片中的位置。
本公开实施例中,响应于用户展开折叠屏终端进行自拍时,注视前置摄像头所在的方向,前置摄像头与后置摄像头同时对用户进行拍摄,取前置摄像头所拍摄的人脸信息与后置摄像头所拍摄的出人脸信息之外的背景信息相融合,得到用户的自拍的图像。
本公开实施例中,例如,折叠屏终端后置摄像头像素可以达到5000万像素,而前置摄像头达到1000万像素。前置摄像头拍摄背景的能力与后置摄像头拍摄背景的能力相差较大,所以,前置摄像头所拍摄的背景图片不够清晰。且一般不会出现前置摄像头与后置摄像头所拍的背景图片相差巨大的情况出现。故,可以将前置摄像头所拍摄的用户面部的三维数据信息与后置摄像头所拍摄的图片中的背景图像进行融合,得到用户自拍的图像。
需要说明的是,本领域内技术人员可以理解,本公开实施例上述涉及的各种实施方式/实施例中可以配合前述的实施例使用,也可以是独立使用。无论是单独使用还是配合前述的实施例一起使用,其实现原理类似。本公开实施中,部分实施例中是以一起使用的实施方式进行说明的。当然,本领域内技术人员可以理解,这样的举例说明并非对本公开实施例的限定。
基于相同的构思,本公开实施例还提供一种拍照装置。
可以理解的是,本公开实施例提供的拍照装置为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。结合本公开实施例中所公开的各示例的单元及算法步骤,本公开实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能,但是这种实现不应认为超出本公开实施例的技术方案的范围。
图8是根据一示例性实施例示出的一种拍照装置框图。参照图8,该装置包括采集单元101,获取单元102和处理单元103。
该采集单元101用于响应于所述折叠屏展开状态下被触发对目标对象进行拍照,启用所述第一摄像头和所述第二摄像头进行图像采集。
该获取单元102用于获取所述第一摄像头采集的第一图像,并获取所述第二摄像头采集的第二图像。
该处理单元103用于融合所述第一图像和所述第二图像,得到针对所述目标对象的拍摄图像。
在一种实施方式中,所述处理单元103采用如下方式融合所述第一图像和所述第二图像,得到所述目标对象的拍摄图像:在所述第二图像中提取所述目标对象的三维数据信息;在所述第一图像中提取剔除了所述目标对象的背景图像;融合所述三维数据信息以及所述背景图像,得到所述目标对象的拍摄图像。
在另一种实施方式中,所述目标对象为人脸图像;所述处理单元103采用如下方式在所述第二图像中提取所述目标对象的三维数据信息:在所述第二图像中进行人脸识别,得到人脸图像;将所述人脸图像以鼻翼纵向中心线划分为第一部分人脸图像和第二部分人脸图像;基于所述第一部分人脸图像和所述第二部分人脸图像中各像素的像素深度信息,生成三维立体面部图;基于所述三维立体面部图,提取所述人脸图像的三维数据信息。
在另一种实施方式中,所述处理单元103采用如下方式在所述第一图像中提取剔除了所述目标对象的背景图像:基于所述第二图像中提取的目标对象的三维数据信息,定位所述目标对象在所述第一图像中的位置;基于所述位置,提取所述第一图像中包括的目标对象区域;在所述第一图像中去除所述目标对象区域,得到背景图像。
在另一种实施方式中,所述处理单元103采用如下方式基于所述第二图像中提取的目标对象的三维数据信息,定位所述目标对象在所述第一图像中的位置:确定目标对象与所述第一摄像头和所述第二摄像头之间的距离差;根据所述距离差以及所述第二图像中目标对象的三维数据信息,定位所述目标对象在所述第一图像中的位置。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图9是根据一示例性实施例示出的一种用于拍照的装置的框图。例如,装置200可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图9,装置200可以包括以下一个或多个组件:处理组件202,存储器204,电力组件206,多媒体组件208,音频组件210,输入/输出(I/O)接口212,传感器组件214,以及通信组件216。
处理组件202通常控制装置200的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件202可以包括一个或多个处理器220来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件202可以包括一个或多个模块,便于处理组件202和其他组件之间的交互。例如,处理组件202可以包括多媒体模块,以方便多媒体组件208和处理组件202之间的交互。
存储器204被配置为存储各种类型的数据以支持在装置200的操作。这些数据的示例 包括用于在装置200上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器204可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电力组件206为装置200的各种组件提供电力。电力组件206可以包括电源管理系统,一个或多个电源,及其他与为装置200生成、管理和分配电力相关联的组件。
多媒体组件208包括在所述装置200和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件208包括一个前置摄像头和/或后置摄像头。当装置200处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件210被配置为输出和/或输入音频信号。例如,音频组件210包括一个麦克风(MIC),当装置200处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器204或经由通信组件216发送。在一些实施例中,音频组件210还包括一个扬声器,用于输出音频信号。
I/O接口212为处理组件202和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件214包括一个或多个传感器,用于为装置200提供各个方面的状态评估。例如,传感器组件214可以检测到装置200的打开/关闭状态,组件的相对定位,例如所述组件为装置200的显示器和小键盘,传感器组件214还可以检测装置200或装置200一个组件的位置改变,用户与装置200接触的存在或不存在,装置200方位或加速/减速和装置200的温度变化。传感器组件214可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件214还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件214还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件216被配置为便于装置200和其他设备之间有线或无线方式的通信。装置200 可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件216经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件216还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置200可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器204,上述指令可由装置200的处理器220执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
进一步可以理解的是,本公开中“多个”是指两个或两个以上,其它量词与之类似。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
进一步可以理解的是,术语“第一”、“第二”等用于描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开,并不表示特定的顺序或者重要程度。实际上,“第一”、“第二”等表述完全可以互换使用。例如,在不脱离本公开范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。
进一步可以理解的是,本公开实施例中尽管在附图中以特定的顺序描述操作,但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作,或是要求执行全部所示的操作以得到期望的结果。在特定环境中,多任务和并行处理可能是有利的。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利范围来限制。
Claims (12)
- 一种拍照方法,其特征在于,应用于具有折叠屏的终端,所述折叠屏在展开状态下同一侧上具有第一摄像头和第二摄像头,且所述第二摄像头设置在所述折叠屏展开状态下外侧的显示屏内部,所述拍照方法包括:响应于所述折叠屏展开状态下被触发对目标对象进行拍照,启用所述第一摄像头和所述第二摄像头进行图像采集;获取所述第一摄像头采集的第一图像,并获取所述第二摄像头采集的第二图像;融合所述第一图像和所述第二图像,得到针对所述目标对象的拍摄图像。
- 根据权利要求1所述的方法,其特征在于,所述融合所述第一图像和所述第二图像,得到所述目标对象的拍摄图像,包括:在所述第二图像中提取所述目标对象的三维数据信息;在所述第一图像中提取剔除了所述目标对象的背景图像;融合所述三维数据信息以及所述背景图像,得到所述目标对象的拍摄图像。
- 根据权利要求2所述的方法,其特征在于,所述目标对象为人脸图像;在所述第二图像中提取所述目标对象的三维数据信息,包括:在所述第二图像中进行人脸识别,得到人脸图像;将所述人脸图像以鼻翼纵向中心线划分为第一部分人脸图像和第二部分人脸图像;基于所述第一部分人脸图像和所述第二部分人脸图像中各像素的像素深度信息,生成三维立体面部图;基于所述三维立体面部图,提取所述人脸图像的三维数据信息。
- 根据权利要求2所述的方法,其特征在于,所述在所述第一图像中提取剔除了所述目标对象的背景图像,包括:基于所述第二图像中提取的目标对象的三维数据信息,定位所述目标对象在所述第一图像中的位置;基于所述位置,提取所述第一图像中包括的目标对象区域;在所述第一图像中去除所述目标对象区域,得到背景图像。
- 根据权利要求4所述的方法,其特征在于,所述基于所述第二图像中提取的目标对象的三维数据信息,定位所述目标对象在所述第一图像中的位置,包括:确定目标对象与所述第一摄像头和所述第二摄像头之间的距离差;根据所述距离差以及所述第二图像中目标对象的三维数据信息,定位所述目标对象在 所述第一图像中的位置。
- 一种拍照装置,其特征在于,应用于具有折叠屏的终端,所述折叠屏在展开状态下同一侧上具有第一摄像头和第二摄像头,且所述第二摄像头设置在所述折叠屏展开状态下外侧的显示屏内部,所述拍照装置包括:采集单元,用于响应于所述折叠屏展开状态下被触发对目标对象进行拍照,启用所述第一摄像头和所述第二摄像头进行图像采集;获取单元,用于获取所述第一摄像头采集的第一图像,并获取所述第二摄像头采集的第二图像;处理单元,用于融合所述第一图像和所述第二图像,得到针对所述目标对象的拍摄图像。
- 根据权利要求6所述的装置,其特征在于,所述处理单元采用如下方式融合所述第一图像和所述第二图像,得到所述目标对象的拍摄图像:在所述第二图像中提取所述目标对象的三维数据信息;在所述第一图像中提取剔除了所述目标对象的背景图像;融合所述三维数据信息以及所述背景图像,得到所述目标对象的拍摄图像。
- 根据权利要求7所述的装置,其特征在于,所述目标对象为人脸图像;所述处理单元采用如下方式在所述第二图像中提取所述目标对象的三维数据信息:在所述第二图像中进行人脸识别,得到人脸图像;将所述人脸图像以鼻翼纵向中心线划分为第一部分人脸图像和第二部分人脸图像;基于所述第一部分人脸图像和所述第二部分人脸图像中各像素的像素深度信息,生成三维立体面部图;基于所述三维立体面部图,提取所述人脸图像的三维数据信息。
- 根据权利要求7所述的装置,其特征在于,所述处理单元采用如下方式在所述第一图像中提取剔除了所述目标对象的背景图像:基于所述第二图像中提取的目标对象的三维数据信息,定位所述目标对象在所述第一图像中的位置;基于所述位置,提取所述第一图像中包括的目标对象区域;在所述第一图像中去除所述目标对象区域,得到背景图像。
- 根据权利要求9所述的装置,其特征在于,所述处理单元采用如下方式基于所述第二图像中提取的目标对象的三维数据信息,定位所述目标对象在所述第一图像中的位置:确定目标对象与所述第一摄像头和所述第二摄像头之间的距离差;根据所述距离差以及所述第二图像中目标对象的三维数据信息,定位所述目标对象在所述第一图像中的位置。
- 一种拍照装置,其特征在于,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为:用于执行权利要求1至5中任意一项所述的拍照方法。
- 一种存储介质,其特征在于,所述存储介质中存储有指令,当所述存储介质中的指令由终端的处理器执行时,使得包括所述处理器的终端能够执行权利要求1至5中任意一项所述的拍照方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2022/098962 WO2023240489A1 (zh) | 2022-06-15 | 2022-06-15 | 一种拍照方法、装置及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117651966A true CN117651966A (zh) | 2024-03-05 |
Family
ID=89193017
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280004619.2A Pending CN117651966A (zh) | 2022-06-15 | 2022-06-15 | 一种拍照方法、装置及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN117651966A (zh) |
WO (1) | WO2023240489A1 (zh) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106791416A (zh) * | 2016-12-29 | 2017-05-31 | 努比亚技术有限公司 | 一种背景虚化的拍摄方法及终端 |
CN106973237B (zh) * | 2017-05-25 | 2019-03-01 | 维沃移动通信有限公司 | 一种拍摄方法及移动终端 |
CN108881733B (zh) * | 2018-08-30 | 2020-09-25 | 维沃移动通信有限公司 | 一种全景拍摄方法及移动终端 |
KR102629346B1 (ko) * | 2019-04-10 | 2024-01-26 | 삼성전자주식회사 | 복수의 카메라 모듈들을 포함하는 폴더블 전자 장치 |
CN211089680U (zh) * | 2019-07-31 | 2020-07-24 | 联想(北京)有限公司 | 一种终端 |
CN112991242A (zh) * | 2019-12-13 | 2021-06-18 | RealMe重庆移动通信有限公司 | 图像处理方法、图像处理装置、存储介质与终端设备 |
CN111770273B (zh) * | 2020-06-29 | 2021-12-07 | 维沃移动通信有限公司 | 图像的拍摄方法和装置、电子设备及可读存储介质 |
-
2022
- 2022-06-15 WO PCT/CN2022/098962 patent/WO2023240489A1/zh active Application Filing
- 2022-06-15 CN CN202280004619.2A patent/CN117651966A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2023240489A1 (zh) | 2023-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021031609A1 (zh) | 活体检测方法及装置、电子设备和存储介质 | |
CN111553864B (zh) | 图像修复方法及装置、电子设备和存储介质 | |
CN110287671B (zh) | 验证方法及装置、电子设备和存储介质 | |
CN105554389B (zh) | 拍摄方法及装置 | |
CN109857311A (zh) | 生成人脸三维模型的方法、装置、终端及存储介质 | |
CN108154466B (zh) | 图像处理方法及装置 | |
CN113194254A (zh) | 图像拍摄方法及装置、电子设备和存储介质 | |
US11551465B2 (en) | Method and apparatus for detecting finger occlusion image, and storage medium | |
CN112188091B (zh) | 人脸信息识别方法、装置、电子设备及存储介质 | |
US11252341B2 (en) | Method and device for shooting image, and storage medium | |
CN111523346A (zh) | 图像识别方法及装置、电子设备和存储介质 | |
CN112184787A (zh) | 图像配准方法及装置、电子设备和存储介质 | |
CN109145878B (zh) | 图像提取方法及装置 | |
CN114581525A (zh) | 姿态确定方法及装置、电子设备和存储介质 | |
CN109271863B (zh) | 人脸活体检测方法及装置 | |
CN111524160A (zh) | 轨迹信息获取方法及装置、电子设备和存储介质 | |
CN111507131A (zh) | 活体检测方法及装置、电子设备和存储介质 | |
CN112883791B (zh) | 对象识别方法、对象识别装置及存储介质 | |
CN111726531B (zh) | 图像拍摄方法、处理方法、装置、电子设备及存储介质 | |
CN117651966A (zh) | 一种拍照方法、装置及存储介质 | |
CN112949568A (zh) | 人脸和人体匹配的方法及装置、电子设备和存储介质 | |
CN114565962A (zh) | 人脸图像处理方法及装置、电子设备和存储介质 | |
CN110544335B (zh) | 目标识别系统及方法、电子设备和存储介质 | |
CN113315903B (zh) | 图像获取方法和装置、电子设备、存储介质 | |
CN113506320A (zh) | 图像处理方法及装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |