CN108200334B - 图像拍摄方法、装置、存储介质及电子设备 - Google Patents

图像拍摄方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN108200334B
CN108200334B CN201711461468.0A CN201711461468A CN108200334B CN 108200334 B CN108200334 B CN 108200334B CN 201711461468 A CN201711461468 A CN 201711461468A CN 108200334 B CN108200334 B CN 108200334B
Authority
CN
China
Prior art keywords
image
target background
person
background image
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711461468.0A
Other languages
English (en)
Other versions
CN108200334A (zh
Inventor
刘耀勇
陈岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201711461468.0A priority Critical patent/CN108200334B/zh
Publication of CN108200334A publication Critical patent/CN108200334A/zh
Application granted granted Critical
Publication of CN108200334B publication Critical patent/CN108200334B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

本发明实施例公开了一种图像拍摄方法、装置、存储介质及电子设备。该图像拍摄方法，通过接收图像拍摄指令，根据图像拍摄指令从预设背景图像集合中选取目标背景图像；当检测到画面中有人物图像时，获取人物图像的第一位置信息；根据第一位置信息从画面中提取人物图像；将提取到的人物图像叠加于目标背景图像上进行显示，以得到目标图像。该方案可在拍摄过程中将人物图像叠加于背景图像上显示，可减缓背景图像与人物图像之间的拼接痕迹，提升图像画质。

Description

图像拍摄方法、装置、存储介质及电子设备
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像拍摄方法、装置、存储介质及电子设备。
背景技术
随着互联网的发展和移动通信网络的发展，同时也伴随着电子设备的处理能力和存储能力的迅猛发展，海量的应用程序得到了迅速传播和使用。现有的图像一般都是拍摄后进行后期处理修图，尤其涉及到抠图背景替换等对于非专业用户来说较难操作，导致得到的图像修图痕迹严重、细节丢失，从而使得图像质量较差。
发明内容
本发明实施例提供一种图像拍摄方法、装置、存储介质及电子设备，可以提升图像画质。
第一方面，本发明实施例提供一种图像拍摄方法，应用于电子设备，包括：
接收图像拍摄指令，根据图像拍摄指令从预设背景图像集合中选取目标背景图像；
当检测到画面中有人物图像时，获取所述人物图像的第一位置信息；
根据第一位置信息从所述画面中提取所述人物图像；
将提取到的人物图像叠加于目标背景图像上进行显示，以得到目标图像。
第二方面，本发明实施例提供了一种图像拍摄装置，应用于电子设备，包括：
接收模块，用于接收图像拍摄指令，根据图像拍摄指令从预设背景图像集合中选取目标背景图像；
获取模块，用于当检测到画面中有人物图像时，获取所述人物图像的第一位置信息；
提取模块，用于根据第一位置信息从所述画面中提取所述人物图像；
显示模块，用于将提取到的人物图像叠加于目标背景图像上进行显示，以得到目标图像。
第三方面，本发明实施例还提供了一种存储介质，所述存储介质中存储有多条指令，所述指令适于由处理器加载以执行上述的图像拍摄方法。
第四方面，本发明实施例还提供了一种电子设备，包括处理器、存储器，所述处理器与所述存储器电性连接，所述存储器用于存储指令和数据；处理器用于执行上述的图像拍摄方法。
本发明实施例公开了一种图像拍摄方法、装置、存储介质及电子设备。该图像拍摄方法，通过接收图像拍摄指令，根据图像拍摄指令从预设背景图像集合中选取目标背景图像；当检测到画面中有人物图像时，获取人物图像的第一位置信息；根据第一位置信息从画面中提取人物图像；将提取到的人物图像叠加于目标背景图像上进行显示，以得到目标图像。该方案可在拍摄过程中将人物图像叠加于背景图像上显示，可减缓背景图像与人物图像之间的拼接痕迹，提升图像画质。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的图像拍摄方法的一种流程示意图。
图2是本发明实施例提供的图像拍摄方法的一种应用场景图。
图3是本发明实施例提供的图像拍摄方法的另一种应用场景图。
图4是本发明实施例提供的图像拍摄装置的另一种流程示意图。
图5是本发明实施例提供的图像拍摄装置的一种结构示意图。
图6是本发明实施例提供的图像拍摄装置的另一种结构示意图。
图7是本发明实施例提供的图像拍摄装置的又一种结构示意图。
图8是本发明实施例提供的图像拍摄装置的再一种结构示意图。
图9是本发明实施例提供的电子设备的一种结构示意图。
图10是本发明实施例提供的电子设备的另一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种图像拍摄方法、装置、存储介质及电子设备。以下将分别进行详细说明。
在一实施例中，提供一种图像拍摄方法，应用于电子设备。其中，电子设备可以为移动终端，如手机、平板电脑等，本发明实施例对此不进行限定。
如图1所示，该图像拍摄方法流程可以如下：
101、接收图像拍摄指令，根据图像拍摄指令从预设背景图像集合中选取目标背景图像。
具体的，该图像拍摄指令可以是由用户通过电子设备的物理按键或者虚拟控件所触发的。比如，以智能手机为例，点击相机软件的图标按钮，即可触发图像拍摄指令，随后根据该图像拍摄指令打开相机进入拍摄界面，并从预设背景图像集合中选取目标背景图像在显示于电子设备相机的显示界面(即相机的预览框)上。
实际应用中，可以通过选择界面提供背景图像的选项，或者通过手势切换出不同的背景图像，以供用户从预设背景图像集合中选中需要的目标背景图像。
在本申请实施例中，需要预先构建包括大量样本背景图像的背景图像集合。其中，样本背景图像可由用户或其他用户通过任何拍摄设备采集而来，也可以是将采集到的图像经后期图像处理后而得到。需要说明的是，样本背景图像仅为一个单纯的现实场景、或虚拟场景图，可以为自然环境图像、街景图像、包括建筑物的场景图像、包括动植物的场景图像等等，一般情况下不包括有人物图像。
102、当检测到画面中有人物图像时，获取人物图像的第一位置信息。
其中，该画面可包括有一个或多个人物图像。在本申请实施例中，该画面具体可以为电子设备通过摄像头采集到的画面。该摄像头可以为数字摄像头，也可为模拟摄像头。数字摄像头可以将图像采集设备产生的模拟图像信号转换成数字信号，进而将其储存在计算机里。模拟摄像头捕捉到的图像信号必须经过特定的图像捕捉卡将模拟信号转换成数字模式，并加以压缩后才可以转换到计算机上运用。数字摄像头可以直接捕捉影像，然后通过串、并口或者USB接口传到计算机里。本申请实施例中，电子设备一般采用数字摄像头，以实时将所采集的画面转换成数据在电子设备的显示界面(即相机的预览框)上实时显示。
本申请实施例中，需实时对画面进行跟踪分析，基于图像识别技术识别出其中的人物图像，并对该人物的位置进行监控。也即，在一些实施例中，步骤“当检测到画面中有人物图像时，获取人物图像的位置信息”可以包括以下流程：
当检测到画面中有人物图像时，对该人物进行边缘特征点检测；
获取边缘特征点的位置信息；
根据边缘特征点的位置信息获取人物图像的第一位置信息。
具体地，可基于图像跟踪算法对人体边缘进行检测跟踪，从真实场景的画面中识别出人物图像，并进行跟踪定位。可参考图2，图2所示为当前画面，图中包括有当前现实场景和场景中的人物，通过对画面中的景物进行边缘点检测，从而识别出人物图像，并实时对其进行定位。需要说明的是，该画面中除人物图像以外的其他图像不会在电子设备的显示界面中显示。
在一些实施例中，可采用坐标系的形式表示以上边缘特征点的位置信息。具体实施时，该坐标系可以是三维坐标系，通过六个自由度的方向表示以上边缘特征点在该画面中的位置。
103、根据第一位置信息从该画面中提取人物图像。
其中，画面中的人物可以摆出任意姿势，拍摄者可以从不同角度都对该人物进行拍摄以获取不同姿势的照片。然后，通过精确的抠图算法、以及所获取的第一位置信息，从该画面中提取人物图像。
实际应用中，如果是夜间拍摄，由于光线不足等原因容易造成画面的噪点过多，使得提取到的人物图像画质较差。针对此种场景，在一些实施例中，可以针对所拍摄的人物预先构建一个高清的人脸图像数据库。需要说明的是，该画面中至少存在一个可识别的人脸图像，人脸图像数据库中包括有该人物的多个不同姿态的样本人脸图像，且该样本图像为无表情图像，即不会表现出喜怒哀乐的脸部图像。然后根据人脸数据库中的高清人脸图像对画面中的画质较差的人物图像进行处理，将画面中画质较差的人脸图像替换为高清的样本人脸图像，以得到高清的人物图像。实际应用中，这些高清的样本人脸图像可以由用户在光线良好的白天拍摄而得到。
在构建预设人脸图像数据库时，首先是采集多张不同姿态的照片，然后可通过相机的拍摄参数或者镜头与被拍摄者之间的位置关系，分析出人脸相对于摄像头镜头所在平面的偏转角度。最后，将所采集到的人脸图像作为样本人脸图像、对应的偏转角度作为样本偏转角度，并建立所拍摄出的人脸图像与偏转角度之间的映射关系后，将样本人脸图像、样本偏转角度以及两者之间的映射关系添加到预设人脸图像数据库中，以完成集合的构建。实施时，确定画面中人物图像的姿态信息，并根据该姿态信息从预设人脸图像数据库中选取对应的样本人脸图像。基于选中的样本人脸图像对高人物图像的人脸区域进行处理，将人物图像中的人脸表情映射到样本人脸图像中，得到带表情的样本人脸图像。再将带表情的样本人脸图像替换到人物图像上的人脸区域，并保持人物图像人脸区域的肤色不变，以使得该画面中人物图像的人脸变得高清，从而得到画质较好的人物图像。
具体实施时，可以利用电子设备的深度学习技术将画面中人物图像的人脸表情实时迁移到预设人脸图像数据库中的无表情样本人脸图像中，更好的保留原始人物图像的表情信息和高频信息。
在一些实施例中，提取表情特征，具体可以为提取人脸图像中的颜色特征、纹理特征、形状特征、空间关系特征，从而根据所提取的图像特征识别出人脸的五官，诸如眼睛、嘴巴、鼻子、眉毛、耳朵。其中，颜色特征是一种全局特征，描述了图像或图像区域所对应的景物的表面性质。纹理特征也是一种全局特征，也描述了图像或图像区域所对应景物的表面性质。形状特征是一种局部特征，有两类表示方法，一类是轮廓特征，主要针对物体的外边界；另一类是区域特征，其关系到整个形状区域。空间关系特征，指图像中分割出来的多个目标之间的相互的空间位置或相对方向关系，这些关系也可分为连接/邻接关系、交叠/重叠关系和包含/包容关系等。
而若要提高识别精度，则可基于机器的深度学习技术，对该电子设备进行训练得到一高精确度的算法模型，对表情特征进行分析处理，从而得到精确的表情特征参数。
随后，可按照得到的表情特征参数对无表情的样本人脸图像进行调整，将该样本人脸图像的表情调整为与该画面中的原始人物图像的人脸表情一致，以实现将画面中的原始人物图像的人脸表情迁移到样本人脸图像中。
104、将提取到的人物图像叠加于目标背景图像上进行显示，以得到目标图像。
在一些实施例中，步骤“将提取到的人物图像叠加于目标背景图像上进行显示，以得到目标图像”可以包括以下流程：
计算目标背景图像的姿态信息；
根据姿态信息调整目标背景图像在显示界面中的显示状态；
将人物图像叠加于调整显示状态后的目标背景图像上共同显示。
具体地在将提取到的人物图像叠加于该目标背景图像上时，需要不断调整人物图像在目标背景图像上的显示状态，那么则需要不断调整摄像头的拍摄角度或者被拍摄的人物调整自身在现实场景中的位置。
在人物图像叠加于调整显示状态后的目标背景图像时，可通基于泊松融合技术，将人物图像与调整显示状态后的目标背景图像融合。其中，泊松融合技术可以较好地消除人物图像与目标背景图像的交界，使得画面更加自然且不突兀，实现无缝拼接。
以调整摄像头的拍摄角度为例，由于目标背景图像是由预设背景图像数据库中选取而来的静态图像，并显示于电子设备的显示界面上。为了保证人物图像在目标背景图像上的显示效果真实，则需要在摄像头移动的过程中确保目标背景图像相对于人物图像静止不动，那么在摄像头移动的过程中，需要根据摄像头的位置变化不断调整目标背景图像在电子设备的显示界面中的显示状态。也即，在一些实施例中，步骤“计算目标背景图像的姿态信息”可以包括以下流程：
确定电子设备的运动信息；
根据运动信息获取对应的运动变化参数；
根据运动变化参数计算目标背景图像的姿态信息。
由于摄像头是设置在电子设备上的，因此，获取电子设备的运动信息即为获取摄像头的运行信息。需要说明的是，运动信息包括电子设备在六个自由度上的运动变化数据，以精确定位电子设备的运动轨迹。
在一些实施例中，在将提取到的人物图像叠加于目标背景图像上进行显示之后，还可以包括：
计算目标背景图像的光照图；
确定人物图像在目标背景图像上的第二位置信息；
基于第二位置信息和光照图，利用光线追踪算法计算阴影调节参数；
根据该阴影调节参数，对人物图像在目标背景图像上的阴影进行调节。
具体地，获取目标背景图像中的阴影信息，基于此获取其光照图，进一步推算出光线传播方向。然后，便可基于光线的传播方向和人物图像在目标位置上的第二位置信息，利用光线追踪算法，计算出该人物图像在目标背景图像上所需呈现的阴影区域，从而生成对应的阴影调节参数。最后，根据得到的阴影调整参数对人物图像在目标背景图像上所显示的的阴影进行调节，以使得人物图像在目标背景图像上的显示效果更加自然、真实。比如，参考图3，图3所示为没有进行阴影调节的图像和进行了阴影调节的图像比对，从中可以看出进行了阴影调节后的图像显得更加真实、自然。
其中，光线追踪算法通过逆向跟踪与假象的照相机镜头相交的光路进行工作，由于大量的类似光线横穿场景，所以从照相机角度看到的场景可见信息以及软件特定的光照条件，就可以构建起来。当光线与场景中的物体或者媒介相交的时候计算光线的反射、折射以及吸收。光线跟踪算法实际上是光照明物理过程的近似逆过程，这一过程可以跟踪物体间的镜面反射光线和规则透射，模拟了理想表面的光的传播。
由上可知，本发明实施例提供了一种图像拍摄方法，通过接收图像拍摄指令，根据图像拍摄指令从预设背景图像集合中选取目标背景图像；当检测到画面中有人物图像时，获取人物图像的第一位置信息；根据第一位置信息从画面中提取所述人物图像；将提取到的人物图像叠加于目标背景图像上进行显示，以得到目标图像。该方案可在拍摄过程中将人物图像叠加于背景图像上显示，可减缓背景图像与人物图像之间的拼接痕迹，提升图像画质。
在一实施例中，还提供另一种图像拍摄方法，如图4所示，流程可以如下：
201、构建背景图像数据库。
在本申请实施例中，需要预先构建包括大量样本背景图像的背景图像集合。其中，样本背景图像可由用户或其他用户通过任何拍摄设备采集而来，也可以是将采集到的图像经后期图像处理后而得到。需要说明的是，样本背景图像仅为一个单纯的现实场景、或虚拟场景图，可以为自然环境图像、街景图像、包括建筑物的场景图像、包括动植物的场景图像等等，一般情况下不包括有人物图像。
202、接收图像拍摄指令，根据图像拍摄指令从背景图像集合中选取目标背景图像。
具体的，该图像拍摄指令可以是由用户通过电子设备的物理按键或者虚拟控件所触发的。比如，以智能手机为例，点击相机软件的图标按钮，即可触发图像拍摄指令，随后根据该图像拍摄指令打开相机进入拍摄界面，并从预设背景图像集合中选取目标背景图像在显示于电子设备相机的显示界面(即相机的预览框)上。
实际应用中，可以通过选择界面提供背景图像的选项，或者通过手势切换出不同的背景图像，以供用户从预设背景图像集合中选中需要的目标背景图像。
203、当检测到画面中有人物图像时，获取人物图像的第一位置信息。
其中，该画面可包括有一个或多个人物图像。
在本申请实施例中，该画面具体可以为电子设备通过摄像头采集到的画面。该摄像头可以为数字摄像头，也可为模拟摄像头。在具体实施过程中，电子设备儿可采用数字摄像头，以实时将所采集的画面转换成数据在电子设备的显示界面(即相机的预览框)上实时显示。
本申请实施例中，需实时对画面进行跟踪分析，基于图像识别技术识别出其中的人物图像，并对该人物的位置进行监控。也即，在一些实施例中，步骤“当检测到画面中有人物图像时，获取人物图像的位置信息”可以包括以下流程：
当检测到画面中有人物图像时，对该人物进行边缘特征点检测；
获取边缘特征点的位置信息；
根据边缘特征点的位置信息获取人物图像的第一位置信息。
具体地，可基于图像跟踪算法对人体边缘进行检测跟踪，从真实场景的画面中识别出人物图像，并进行跟踪定位。在一些实施例中，可采用坐标系的形式表示以上边缘特征点的位置信息。具体实施时，该坐标系可以是三维坐标系，通过六个自由度的方向表示以上边缘特征点在该画面中的位置。
204、根据第一位置信息从该画面中提取人物图像。
其中，画面中的人物可以摆出任意姿势，拍摄者可以从不同角度都对该人物进行拍摄以获取不同姿势的照片。然后，通过精确的抠图算法、以及所获取的第一位置信息，从该画面中提取人物图像。
205、计算目标背景图像的姿态信息，并根据姿态信息调整目标背景图像在显示界面中的显示状态。
由于目标背景图像是由预设背景图像数据库中选取而来的静态图像，并显示于电子设备的显示界面上。为了保证人物图像在目标背景图像上的显示效果真实，则需要在摄像头移动的过程中确保目标背景图像相对于人物图像静止不动，那么在摄像头移动的过程中，需要根据摄像头的位置变化不断调整目标背景图像在电子设备的显示界面中的显示状态。也即，在一些实施例中，步骤“计算目标背景图像的姿态信息”可以包括以下流程：
确定电子设备的运动信息；
根据运动信息获取对应的运动变化参数；
根据运动变化参数计算目标背景图像的姿态信息。
由于摄像头是设置在电子设备上的，因此，获取电子设备的运动信息即为获取摄像头的运行信息。需要说明的是，运动信息包括电子设备在六个自由度上的运动变化数据，以精确定位电子设备的运动轨迹。
206、将人物图像叠加于调整显示状态后的目标背景图像上共同显示。
在人物图像叠加于调整显示状态后的目标背景图像时，可通基于泊松融合技术，将人物图像与调整显示状态后的目标背景图像融合。其中，泊松融合技术可以较好地消除人物图像与目标背景图像的交界，使得画面更加自然且不突兀，实现无缝拼接。
207、计算目标背景图像的光照图，并获取人物图像在目标背景图像上的第二位置信息。
具体的，可根据图像识别算法，从该目标背景图像中识别出阴影区域，并基于识别到的阴影区域获取目标背景图像的光照图。对于人物图像在目标背景图像上的第二位置信息，可根据人物图像与背景图像之间的相对位置而计算得到。
208、基于第二位置信息和光照图，对人物图像在目标背景图像上的阴影进行调节。
具体地，可基于此获取得光照图，推算出光线传播方向光源位置等信息。然后，根据得到的光线传播方向光源位置等信息，以及人物图像的第二位置信息，利用光线追踪算法，计算出该人物图像在目标背景图像上所需呈现的阴影区域，从而生成对应的阴影调节参数。然后根据该阴影调节参数，对人物图像在目标背景图像上所显示的的阴影进行调节，以使得人物图像在目标背景图像上的显示效果更加自然、真实。
由上可知，本发明实施例提供的图像拍摄方法，通过接收图像拍摄指令，根据图像拍摄指令从预设背景图像集合中选取目标背景图像；当检测到画面中有人物图像时，获取人物图像的第一位置信息；根据第一位置信息从画面中提取所述人物图像；将提取到的人物图像叠加于目标背景图像上进行显示，以得到目标图像。该方案可在拍摄过程中将人物图像叠加于背景图像上显示，并调节人物图像在目标背景图像上的阴影显示，减缓了背景图像与人物图像之间的拼接痕迹，提升图像画质。
在本发明又一实施例中，还提供一种图像拍摄装置，该图像拍摄装置可以软件或硬件的形式集成在电子设备中，该电子设备具体可以包括手机、平板电脑、笔记本电脑等设备。如图5所示，该图像拍摄装置30可以包括接收模块31、获取模块32、提取模块33、以及显示模块34，其中：
接收模块31，用于接收图像拍摄指令，根据图像拍摄指令从预设背景图像集合中选取目标背景图像；
获取模块32，用于当检测到画面中有人物图像时，获取该人物图像的第一位置信息；
提取模块33，用于根据第一位置信息从该画面中提取该人物图像；
显示模块34，用于将提取到的人物图像叠加于目标背景图像上进行显示，以得到目标图像。
在一些实施例中，参考图6，获取模块32可以包括：
检测子模块321，用于当检测到画面中有人物图像时，对该人物进行边缘特征点检测；
第一获取子模块322，用于获取该边缘特征点的位置信息；
第二获取子模块323，用于根据该边缘特征点的位置信息获取该人物图像的第一位置信息。
在一些实施例中，参考图7，显示模块34可以包括：
计算子模块341，用于计算目标背景图像的姿态信息；
调整子模块342，用于根据该姿态信息调整目标背景图像在显示界面中的显示状态；
显示子模块343，用于将该人物图像叠加于调整显示状态后的目标背景图像上共同显示。
在一些实施例中，显示子模块343可以用于：
确定电子设备的运动信息；
根据该运动信息获取对应的运动变化参数；
根据该运动变化参数计算目标背景图像的姿态信息。
在一些实施例中，参考图8，该图像拍摄装置30还可以包括：
第一计算模块35，用于计算目标背景图像的光照图；
确定模块36，用于确定该人物图像在目标背景图像上的第二位置信息；
第二计算模块37，用于基于第二位置信息和该光照图，利用光线追踪算法计算阴影调节参数；
调节模块38，用于根据该阴影调节参数，对该人物图像在目标背景图像上的阴影进行调节。
由上可知，本发明实施例提供的图像拍摄装置，通过接收图像拍摄指令，根据图像拍摄指令从预设背景图像集合中选取目标背景图像；当检测到画面中有人物图像时，获取人物图像的第一位置信息；根据第一位置信息从画面中提取该人物图像；将提取到的人物图像叠加于目标背景图像上进行显示，以得到目标图像。该方案可在拍摄过程中将人物图像叠加于背景图像上显示，可减缓背景图像与人物图像之间的拼接痕迹，提升图像画质。
在本发明又一实施例中还提供一种电子设备，该电子设备可以是智能手机、平板电脑等设备。如图9所示，电子设备400包括处理器401、存储器402。其中，处理器401与存储器402电性连接。
处理器401是电子设备400的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或加载存储在存储器402内的应用程序，以及调用存储在存储器402内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。
在本实施例中，电子设备400中的处理器401会按照如下的步骤，将一个或一个以上的应用程序的进程对应的指令加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能：
接收图像拍摄指令，根据图像拍摄指令从预设背景图像集合中选取目标背景图像；
当检测到画面中有人物图像时，获取该人物图像的第一位置信息；
根据第一位置信息从该画面中提取该人物图像；
将提取到的人物图像叠加于目标背景图像上进行显示，以得到目标图像。
在一些实施例中，处理器401用于执行以下步骤：
当检测到画面中有人物图像时，对该人物进行边缘特征点检测；
获取该边缘特征点的位置信息；
根据该边缘特征点的位置信息获取该人物图像的第一位置信息。
在一些实施例中，处理器401还执行以下步骤：
计算目标背景图像的姿态信息；
根据该姿态信息调整目标背景图像在显示界面中的显示状态；
将该人物图像叠加于调整显示状态后的目标背景图像上共同显示。
在一些实施例中，处理器401还执行以下步骤：
确定电子设备的运动信息；
根据该运动信息获取对应的运动变化参数；
根据该运动变化参数计算目标背景图像的姿态信息。
在一些实施例中，处理器401还执行以下步骤：
计算目标背景图像的光照图；
确定该人物图像在目标背景图像上的第二位置信息；
基于第二位置信息和该光照图，利用光线追踪算法计算阴影调节参数；
根据该阴影调节参数，对该人物图像在目标背景图像上的阴影进行调节。
存储器402可用于存储应用程序和数据。存储器402存储的应用程序中包含有可在处理器中执行的指令。应用程序可以组成各种功能模块。处理器401通过运行存储在存储器402的应用程序，从而执行各种功能应用以及数据处理。
在一些实施例中，如图10所示，电子设备400还包括：显示屏403、控制电路404、射频电路405、输入单元406、音频电路407、传感器408以及电源409。其中，处理器401分别与显示屏403、控制电路404、射频电路405、输入单元406、音频电路407、传感器408以及电源409电性连接。
显示屏403可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口，这些图形用户接口可以由图像、文本、图标、视频和其任意组合来构成。其中，该显示屏403可以作为本发明实施例中的屏幕，用于显示信息。
控制电路404与显示屏403电性连接，用于控制显示屏403显示信息。
射频电路405用于收发射频信号，以通过无线通信与网络设备或其他电子设备建立无线通讯，与网络设备或其他电子设备之间收发信号。
输入单元406可用于接收输入的数字、字符信息或用户特征信息(例如指纹)，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。其中，输入单元406可以包括指纹识别模组。
音频电路407可通过扬声器、传声器提供用户与电子设备之间的音频接口。
传感器408用于采集外部环境信息。传感器408可以包括环境亮度传感器、加速度传感器、光传感器、运动传感器、以及其他传感器。
电源409用于给电子设备400的各个部件供电。在一些实施例中，电源409可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
摄像头410用于采集外界画面，可以使数字摄像头，也可以为模拟摄像头。在一些实施例中，摄像头410可将采集到的外界画面转换成数据发送给处理器401以执行图像拍摄操作。
尽管图10中未示出，电子设备400还可以包括蓝牙模块等，在此不再赘述。
由上可知，本发明实施例提供的电子设备，通过接收图像拍摄指令，根据图像拍摄指令从预设背景图像集合中选取目标背景图像；当检测到画面中有人物图像时，获取人物图像的第一位置信息；根据第一位置信息从画面中提取该人物图像；将提取到的人物图像叠加于目标背景图像上进行显示，以得到目标图像。该方案可在拍摄过程中将人物图像叠加于背景图像上显示，可减缓背景图像与人物图像之间的拼接痕迹，提升图像画质。
本发明又一实施例中还提供一种存储介质，该存储介质中存储有多条指令，该指令适于由处理器加载以执行上述任一图像拍摄方法的步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，RandomAccess Memory)、磁盘或光盘等。
在描述本发明的概念的过程中使用了术语“一”和“所述”以及类似的词语(尤其是在所附的权利要求书中)，应该将这些术语解释为既涵盖单数又涵盖复数。此外，除非本文中另有说明，否则在本文中叙述数值范围时仅仅是通过快捷方法来指代属于相关范围的每个独立的值，而每个独立的值都并入本说明书中，就像这些值在本文中单独进行了陈述一样。另外，除非本文中另有指明或上下文有明确的相反提示，否则本文中所述的所有方法的步骤都可以按任何适当次序加以执行。本发明的改变并不限于描述的步骤顺序。除非另外主张，否则使用本文中所提供的任何以及所有实例或示例性语言(例如，“例如”)都仅仅为了更好地说明本发明的概念，而并非对本发明的概念的范围加以限制。在不脱离精神和范围的情况下，所属领域的技术人员将易于明白多种修改和适应。
以上对本发明实施例所提供的一种图像拍摄方法、装置、存储介质及电子设备进行了详细介绍，本文中应用程序了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用程序范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种图像拍摄方法，应用于电子设备，其特征在于，包括：
接收图像拍摄指令，根据图像拍摄指令从预设背景图像集合中选取目标背景图像；
当检测到画面中有人物图像时，获取所述人物图像的第一位置信息；
根据第一位置信息从所述画面中提取所述人物图像，当所述人物图像的画质低时，根据所述人物图像的姿势信息，从人脸图像数据库中选取对应所述人物图像的样本人脸图像，其中，所述人脸图像数据库是预先构建的，所述人脸图像数据库中包含人物的多个不同姿态的样本人脸图像，所述样本人脸图像为无表情图像，且所述样本人脸图像的画质高于所述人物图像的人脸图像，将所述人物图像中的人脸表情映射到所述样本人脸图像中，得到带表情的样本人脸图像，再将所述带表情的样本人脸图像替换到人物图像上的人脸区域；
将替换了人脸区域的人物图像叠加于目标背景图像上进行显示，以得到目标图像。
2.如权利要求1所述的拍摄方法，其特征在于，当检测到画面中有人物图像时，获取所述人物图像的位置信息的步骤，包括：
当检测到画面中有人物图像时，对所述人物进行边缘特征点检测；
获取所述边缘特征点的位置信息；
根据所述边缘特征点的位置信息获取所述人物图像的第一位置信息。
3.如权利要求1所述的拍摄方法，其特征在于，将提取到的人物图像叠加于目标背景图像上进行显示，以得到目标图像的步骤，包括：
计算目标背景图像的姿态信息；
根据所述姿态信息调整目标背景图像在显示界面中的显示状态；
将所述人物图像叠加于调整显示状态后的目标背景图像上共同显示。
4.如权利要求3所述的拍摄方法，其特征在于，计算目标背景图像的姿态信息的步骤，包括：
确定电子设备的运动信息；
根据所述运动信息获取对应的运动变化参数；
根据所述运动变化参数计算目标背景图像的姿态信息。
5.如权利要求1-4任一项所述的拍摄方法，其特征在于，在将提取到的人物图像叠加于目标背景图像上进行显示之后，所述方法还包括：
计算目标背景图像的光照图；
确定所述人物图像在目标背景图像上的第二位置信息；
基于第二位置信息和所述光照图，利用光线追踪算法计算阴影调节参数；
根据所述阴影调节参数，对所述人物图像在目标背景图像上的阴影进行调节。
6.一种图像拍摄装置，其特征在于，应用于电子设备，包括：
接收模块，用于接收图像拍摄指令，根据图像拍摄指令从预设背景图像集合中选取目标背景图像；
获取模块，用于当检测到画面中有人物图像时，获取所述人物图像的第一位置信息；
提取模块，用于根据第一位置信息从所述画面中提取所述人物图像，当所述人物图像的画质低时，根据所述人物图像的姿势信息，从人脸图像数据库中选取对应所述人物图像的样本人脸图像，其中，所述人脸图像数据库是预先构建的，所述人脸图像数据库中包含人物的多个不同姿态的样本人脸图像，所述样本人脸图像为无表情图像，且所述样本人脸图像的画质高于所述人物图像的人脸图像，将所述人物图像中的人脸表情映射到所述样本人脸图像中，得到带表情的样本人脸图像，再将所述带表情的样本人脸图像替换到人物图像上的人脸区域；
显示模块，用于将替换了人脸区域的人物图像叠加于目标背景图像上进行显示，以得到目标图像。
7.如权利要求6所述的图像拍摄装置，其特征在于，所述获取模块包括：
检测子模块，用于当检测到画面中有人物图像时，对所述人物进行边缘特征点检测；
第一获取子模块，用于获取所述边缘特征点的位置信息；
第二获取子模块，用于根据所述边缘特征点的位置信息获取所述人物图像的第一位置信息。
8.如权利要求6所述的图像拍摄装置，其特征在于，所述显示模块包括：
计算子模块，用于计算目标背景图像的姿态信息；
调整子模块，用于根据所述姿态信息调整目标背景图像在显示界面中的显示状态；
显示子模块，用于将所述人物图像叠加于调整显示状态后的目标背景图像上共同显示。
9.如权利要求8所述的图像拍摄装置，其特征在于，所述显示子模块用于：
确定电子设备的运动信息；
根据所述运动信息获取对应的运动变化参数；
根据所述运动变化参数计算目标背景图像的姿态信息。
10.如权利要求6-9任一项所述的图像拍摄装置，其特征在于，所述装置还包括:
第一计算模块，用于计算目标背景图像的光照图；
确定模块，用于确定所述人物图像在目标背景图像上的第二位置信息；
第二计算模块，用于基于第二位置信息和所述光照图，利用光线追踪算法计算阴影调节参数；
调节模块，用于根据所述阴影调节参数，对所述人物图像在目标背景图像上的阴影进行调节。
11.一种存储介质，其特征在于，所述存储介质中存储有多条指令，所述指令适于由处理器加载以执行如权利要求1-5中任一项所述的图像拍摄方法。
12.一种电子设备，其特征在于，包括处理器和存储器，所述处理器与所述存储器电性连接，所述存储器用于存储指令和数据；所述处理器用于执行如权利要求1-5中任一项所述的图像拍摄方法。
CN201711461468.0A 2017-12-28 2017-12-28 图像拍摄方法、装置、存储介质及电子设备 Active CN108200334B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711461468.0A CN108200334B (zh) 2017-12-28 2017-12-28 图像拍摄方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711461468.0A CN108200334B (zh) 2017-12-28 2017-12-28 图像拍摄方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN108200334A CN108200334A (zh) 2018-06-22
CN108200334B true CN108200334B (zh) 2020-09-08

Family

ID=62585637

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711461468.0A Active CN108200334B (zh) 2017-12-28 2017-12-28 图像拍摄方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN108200334B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108777783A (zh) * 2018-07-09 2018-11-09 广东交通职业技术学院 一种图像处理方法及装置
CN109089045A (zh) * 2018-09-18 2018-12-25 上海连尚网络科技有限公司 一种基于多个摄像装置的摄像方法及设备及其终端
CN110516598B (zh) * 2019-08-27 2022-03-01 北京百度网讯科技有限公司 用于生成图像的方法和装置
CN111523392B (zh) * 2020-03-26 2023-06-06 北京航天自动控制研究所 一种基于卫星正射影像全姿态的深度学习样本制备方法及识别方法
CN112843694A (zh) * 2020-12-31 2021-05-28 上海米哈游天命科技有限公司 一种画面拍摄方法、装置、存储介质及电子设备
CN113766119B (zh) * 2021-05-11 2023-12-05 腾讯科技（深圳）有限公司 虚拟形象显示方法、装置、终端及存储介质
CN113537209A (zh) * 2021-06-02 2021-10-22 浙江吉利控股集团有限公司 一种图像处理方法、装置、设备及计算机可读存储介质
CN113259597B (zh) * 2021-07-16 2021-11-02 上海豪承信息技术有限公司 图像处理方法、装置、设备、介质及程序产品
CN113658087A (zh) * 2021-08-17 2021-11-16 广州钛铼文化科技有限公司 一种基于同机位多照片自动合成方法及装置
CN113507575B (zh) * 2021-09-08 2021-11-26 上海英立视电子有限公司 一种人体自拍镜头生成方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1507386A1 (en) * 2003-08-14 2005-02-16 Fuji Photo Film Co., Ltd. Image pickup device and image synthesizing method
CN104902189A (zh) * 2015-06-24 2015-09-09 小米科技有限责任公司 图片处理方法及装置
CN105376496A (zh) * 2015-12-14 2016-03-02 广东欧珀移动通信有限公司 拍照方法及装置
CN106231195A (zh) * 2016-08-15 2016-12-14 乐视控股（北京）有限公司 一种智能终端的拍照处理方法和装置
CN106327454A (zh) * 2015-07-03 2017-01-11 株式会社理光 合成图像的方法和装置
CN106331521A (zh) * 2015-06-29 2017-01-11 天津万象科技发展有限公司 一种网络虚拟现实技术与实拍结合影视制作系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4121026B2 (ja) * 2004-01-21 2008-07-16 富士フイルム株式会社 撮像装置および方法並びにプログラム
CN101216889A (zh) * 2008-01-14 2008-07-09 浙江大学 一种融合全局特征与局部细节信息的人脸图像超分辨率方法
WO2010012448A2 (en) * 2008-07-30 2010-02-04 Fotonation Ireland Limited Automatic face and skin beautification using face detection
CN101944238B (zh) * 2010-09-27 2011-11-23 浙江大学 基于拉普拉斯变换的数据驱动人脸表情合成方法
JP5880182B2 (ja) * 2012-03-19 2016-03-08 カシオ計算機株式会社 画像生成装置、画像生成方法及びプログラム
JP5450739B2 (ja) * 2012-08-30 2014-03-26 シャープ株式会社 画像処理装置及び画像表示装置
US20140153832A1 (en) * 2012-12-04 2014-06-05 Vivek Kwatra Facial expression editing in images based on collections of images
CN103093212B (zh) * 2013-01-28 2015-11-18 北京信息科技大学 基于人脸检测和跟踪截取人脸图像的方法和装置
IL226047A (en) * 2013-04-29 2017-12-31 Hershkovitz Reshef May A method and system for giving personal expressions
CN103634503A (zh) * 2013-12-16 2014-03-12 苏州大学 一种基于人脸识别和行为识别的视频制作方法及系统
US9799096B1 (en) * 2014-07-08 2017-10-24 Carnegie Mellon University System and method for processing video to provide facial de-identification
CN105991916A (zh) * 2015-02-05 2016-10-05 联想(北京)有限公司 一种信息处理方法及电子设备
CN105118082B (zh) * 2015-07-30 2019-05-28 科大讯飞股份有限公司 个性化视频生成方法及系统
CN106599817A (zh) * 2016-12-07 2017-04-26 腾讯科技（深圳）有限公司 一种人脸替换方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1507386A1 (en) * 2003-08-14 2005-02-16 Fuji Photo Film Co., Ltd. Image pickup device and image synthesizing method
CN104902189A (zh) * 2015-06-24 2015-09-09 小米科技有限责任公司 图片处理方法及装置
CN106331521A (zh) * 2015-06-29 2017-01-11 天津万象科技发展有限公司 一种网络虚拟现实技术与实拍结合影视制作系统
CN106327454A (zh) * 2015-07-03 2017-01-11 株式会社理光 合成图像的方法和装置
CN105376496A (zh) * 2015-12-14 2016-03-02 广东欧珀移动通信有限公司 拍照方法及装置
CN106231195A (zh) * 2016-08-15 2016-12-14 乐视控股（北京）有限公司 一种智能终端的拍照处理方法和装置

Also Published As

Publication number Publication date
CN108200334A (zh) 2018-06-22

Similar Documents

Publication Publication Date Title
CN108200334B (zh) 图像拍摄方法、装置、存储介质及电子设备
CN108615248B (zh) 相机姿态追踪过程的重定位方法、装置、设备及存储介质
CN108229369B (zh) 图像拍摄方法、装置、存储介质及电子设备
CN110517319B (zh) 一种相机姿态信息确定的方法及相关装置
WO2019128507A1 (zh) 图像处理方法、装置、存储介质及电子设备
CN111243093B (zh) 三维人脸网格的生成方法、装置、设备及存储介质
US20200302154A1 (en) Image processing method, apparatus, storage medium, and electronic device
WO2019128508A1 (zh) 图像处理方法、装置、存储介质及电子设备
CN109947886B (zh) 图像处理方法、装置、电子设备及存储介质
CN107341827B (zh) 一种视频处理方法、装置和存储介质
CN105210113B (zh) 具有一般和全景相机移动的单眼视觉slam
US10529142B2 (en) Capturing and aligning three-dimensional scenes
CN110647865A (zh) 人脸姿态的识别方法、装置、设备及存储介质
CN108525305B (zh) 图像处理方法、装置、存储介质及电子设备
CN103903213B (zh) 一种拍摄方法和电子设备
WO2023093217A1 (zh) 数据标注方法、装置、计算机设备、存储介质和程序
CN107004279A (zh) 自然用户界面相机校准
CN108712603B (zh) 一种图像处理方法及移动终端
CN108198130B (zh) 图像处理方法、装置、存储介质及电子设备
CN109151442A (zh) 一种图像拍摄方法及终端
CN108594999A (zh) 用于全景图像展示系统的控制方法和装置
JP2021520577A (ja) 画像処理方法及び装置、電子機器並びに記憶媒体
CN108961375A (zh) 一种根据二维图像生成三维图像的方法及装置
CN110266953B (zh) 图像处理方法、装置、服务器及存储介质
CN110267010B (zh) 图像处理方法、装置、服务器及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant after: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd.

Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant before: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd.

GR01 Patent grant
GR01 Patent grant