CN114125304B - 拍摄方法及其装置 - Google Patents

拍摄方法及其装置 Download PDF

Info

Publication number
CN114125304B
CN114125304B CN202111449916.1A CN202111449916A CN114125304B CN 114125304 B CN114125304 B CN 114125304B CN 202111449916 A CN202111449916 A CN 202111449916A CN 114125304 B CN114125304 B CN 114125304B
Authority
CN
China
Prior art keywords
target
image
camera
target area
shooting object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111449916.1A
Other languages
English (en)
Other versions
CN114125304A (zh
Inventor
胡冰青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN202111449916.1A priority Critical patent/CN114125304B/zh
Publication of CN114125304A publication Critical patent/CN114125304A/zh
Application granted granted Critical
Publication of CN114125304B publication Critical patent/CN114125304B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了一种拍摄方法及其装置,属于图像处理技术领域。其中,所述拍摄方法包括:在电子设备的第一摄像头和第二摄像头采集目标场景的图像的情况下,分别获取所述第一摄像头采集的第一图像,以及所述第二摄像头采集的第二图像;在所述第一图像中确定目标拍摄对象的空间坐标信息;根据所述目标拍摄对象的空间坐标信息,在所述第二图像中识别所述目标拍摄对象的目标区域;响应于对所述第二图像中的所述目标区域的第一输入,在所述第二图像中,将与所述第一输入相关联的目标图层设置于所述目标区域上;更新并保存所述第二图像。

Description

拍摄方法及其装置
技术领域
本申请属于图像处理技术领域,具体涉及一种拍摄方法及其装置。
背景技术
目前,在图像拍摄过程中、或者在图像拍摄完成后,可对图像中的某个对象进行表面特征的处理。例如,在图像中的某个物体表面添加贴纸。
在现有技术中,对于某个物体的识别,都是图像中对应显示区域的识别,进一步地,再对识别出来的显示区域内的物体进行处理,而处理效果的应用并不会随着物体姿态变化而应变。例如,某个长方体的箱子,当前显示为上表面,在箱子所在的显示区域添加图案,即在上表面添加了图案;当箱子变化为:显示前表面,添加的图案保持在箱子所在的显示区域,而图案被添加至前表面。
可见,在现有技术中,物体表面特征的处理效果并不会随着物体姿态变化而应变,从而影响图像质量。
发明内容
本申请实施例的目的是提供一种拍摄方法,能够解决在现有技术中,物体表面特征的处理效果并不会随着物体姿态变化而应变,从而影响图像质量的问题。
第一方面,本申请实施例提供了一种拍摄方法,该方法包括:在电子设备的第一摄像头和第二摄像头采集目标场景的图像的情况下,分别获取所述第一摄像头采集的第一图像,以及所述第二摄像头采集的第二图像;在所述第一图像中确定目标拍摄对象的空间坐标信息;根据所述目标拍摄对象的空间坐标信息,在所述第二图像中识别所述目标拍摄对象的目标区域;响应于对所述第二图像中的所述目标区域的第一输入,在所述第二图像中,将与所述第一输入相关联的目标图层设置于所述目标区域上;更新并保存所述第二图像。
第二方面,本申请实施例提供了一种信息拍摄装置,该装置包括:第一获取模块,用于在电子设备的第一摄像头和第二摄像头采集目标场景的图像的情况下,分别获取所述第一摄像头采集的第一图像,以及所述第二摄像头采集的第二图像;确定模块,用于在所述第一图像中确定目标拍摄对象的空间坐标信息;第一识别模块,用于根据所述目标拍摄对象的空间坐标信息,在所述第二图像中识别所述目标拍摄对象的目标区域;设置模块,用于响应于对所述第二图像中的所述目标区域的第一输入,在所述第二图像中,将与所述第一输入相关联的目标图层设置于所述目标区域上;更新模块,用于更新并保存所述第二图像。
第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。
这样,在本申请的实施例中,在电子设备的第一摄像头和第二摄像头针对目标场景采集图像的情况下,分别获取第一摄像头采集的第一图像,以及第二摄像头采集的第二图像。其中,在第一图像中,可确定目标场景中各个拍摄对象的空间坐标信息,空间坐标信息包括但不限于拍摄对象的关键点的坐标。进一步地,针对某一拍摄对象,作为目标拍摄对象,基于其空间坐标信息,可以在对应的第二图像中,针对目标拍摄对象进行快速3D建模,以还原目标拍摄对象的立体形态,从而可基于目标拍摄对象的立体形态,识别出目标拍摄对象在第二图像中可见的各个表面,进而在此基础上,用户可选择任意表面,作为目标区域,以针对目标区域,选择目标图层,设置在目标区域上。最终,在更新保存后的第二图像中,目标区域上设置有用户自定义的目标图层,达到对目标区域进行特征处理的效果。可见,在本申请的实施例中,不同于现有技术,可以针对性地识别出拍摄对象的任一表面,以实时地对该表面进行处理效果的应用;即使拍摄对象的姿态发生变化,也会随着姿态变化,变化处理效果应用的显示区域,确保仅在选定的表面上显示处理效果,从而解决在现有技术中,物体表面特征的处理效果并不会随着物体姿态变化而应变,影响图像质量的问题。
附图说明
图1是本申请实施例的拍摄方法的流程图;
图2~图13是本申请实施例的拍摄方法的说明示意图;
图14是本申请实施例的信息拍摄装置的框图;
图15是本申请实施例的电子设备的硬件结构示意图之一;
图16是本申请实施例的电子设备的硬件结构示意图之二。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的拍摄方法进行详细地说明。
图1示出了本申请一个实施例的拍摄方法的流程图,该方法应用于电子设备,包括:
步骤110:在电子设备的第一摄像头和第二摄像头采集目标场景的图像的情况下,分别获取第一摄像头采集的第一图像,以及第二摄像头采集的第二图像。
在本申请中,电子设备包括第一摄像头和第二摄像头,第一摄像头和第二摄像头位于电子设备的同侧,以用于基于同一拍摄场景进行图像采集。
例如,第一摄像头和第二摄像头均为电子设备的前置摄像头;又如,第一摄像头和第二摄像头均为电子设备的后置摄像头。
其中,第一摄像头和第二摄像头可相邻设置,以实现基于同一拍摄场景,以相同的拍摄角度,进行图像采集。
因此,在该步骤中,在拍摄模式下,第一摄像头和第二摄像头同时进入工作状态,以基于同一拍摄场景(即目标场景),分别采集第一图像和第二图像。
需要说明的是,第一图像和第二图像中所包含的拍摄对象相同,且同一拍摄对象在不同图像中所占的区域相同。而在本实施例中,第一图像用作输出各个拍摄对象的空间坐标信息的图像;第二图像用作输出的拍摄图像。
步骤120:在第一图像中确定目标拍摄对象的空间坐标信息。
在该步骤中,空间坐标信息包括但不限于:目标拍摄对象的关键点的坐标。
可选地,在第一图像中,可以呈现出目标场景的深度信息,从而基于深度信息,得到各个拍摄对象的边缘图像信息。如图2所示为:基于目标场景的深度信息得到的目标拍摄对象的边缘图像信息(图中的白色边缘线),这里的边缘图像信息通过图示的方式展现出来,更加直观。
进一步地,结合目标拍摄对象在第一图像中的定位信息和边缘图像信息,判定得到的目标拍摄对象的形态轮廓,从而标定关键点,并得到关键点的坐标。
需要说明的是,本申请中的关键点的数量不限定,以通过关键点的标定,可以还原拍摄对象的形态轮廓为最佳。
例如,关键点包括拍摄对象的轮廓的端点、中心点等等。
其中,关键点的坐标包括关键点距离第一摄像头的距离(z)、高度(y)、宽度(x)。
可选地,目标拍摄对象包括人、物、背景中的任一种。
步骤130:根据目标拍摄对象的空间坐标信息,在第二图像中识别目标拍摄对象的目标区域。
在该步骤中,在第二图像中,基于关键点的坐标,可以在目标拍摄对象所占区域进行快速三维(Three Dimensions,简称3D)建模,模拟出一个尺寸相同的目标拍摄对象的立体形态。
参见图3,目标拍摄对象为图中的长方体箱子,通过3D建模,模拟出一个尺寸相同的长方体箱子的立体形态(如图4所示)。
进一步地,基于针对第二图像进行3D建模后,在第二图像中识别出目标拍摄对象的各个表面。
其中,识别出的目标拍摄对象的各个表面,位于目标拍摄对象在第二图像的可见区域。
参见图5~图7,例如,目标拍摄对象的正面、左侧面和顶面三个表面位于目标拍摄对象在第二图像的可见区域。
可见,基于本实施例的3D建模,可以还原目标拍摄对象的各个表面的尺寸、形状等特征。
可选地,目标区域为目标拍摄对象的任意表面。
步骤140:响应于对第二图像中的目标区域的第一输入,在第二图像中,将与第一输入相关联的目标图层设置于目标区域上。
第一输入包括用户在屏幕上进行的触摸输入,不限于点击、滑动、拖动等输入;第一输入还可以是用户的隔空输入,手势动作、脸部动作等,第一输入还包括用户在设备上对实体按键的输入,不限于按动等输入。而且,第一输入包括一个或者多个输入,其中,多个输入可以是连续的,也可以是间断的。
第一输入用于用户在第二图像中选择目标拍摄对象的任意表面,作为目标区域。
应用场景如,电子设备的屏幕显示第二摄像头采集的第二图像,基于前述对目标拍摄对象的各个表面的识别步骤,第二图像中,目标拍摄对象的各个表面为可编辑状态,用户点击任意表面,可确定该表面为目标区域。
进一步地,第一输入还用于用户选择目标图层。
参见图8,应用场景如,用户点击任意表面,以确定该表面为目标区域之后,显示弹窗,弹窗显示材质素材库,材质素材库出列出多个图层样式,用户点击任意图层样式,作为目标图层。
参见图9,因此,在该步骤中,将目标图层设置于目标区域(正面)上。
其中,目标图层可覆盖于目标区域上。
可选地,目标图层具有一定的透明度,从而目标图层以其自带的图案、图形等,在目标区域增加贴图效果,目标区域本身不会被完全遮挡。可以理解为,表面特征的增加处理。
可选地,目标图层不透明,从而目标图层以其自带的图案、图形等,在目标区域增加贴图效果,目标区域被完全遮挡。可以理解为,表面特征的替换处理。
步骤150:更新并保存第二图像。
在该步骤中,基于用户对第二图像的操作,更新并保存第二图像处理后的效果。
参见图10,在更新保存后的第二图像中,长方体箱子的正面增加了自定义的贴图效果。
需要说明的是,在本申请中,一方面,提供了一种拍摄方法,以在拍摄过程中,利用两组摄像头,实时地识别目标拍摄对象的目标区域,可以随目标拍摄对象的姿态变化而改变处理效果所应用的显示区域,确保处理效果始终停留在目标区域上。另一方面,本申请不限于在拍摄过程中的处理应用场景,基于本申请的拍摄方法,还可以在输出拍摄图像后,对图像进行处理。
这样,在本申请的实施例中,在电子设备的第一摄像头和第二摄像头针对目标场景采集图像的情况下,分别获取第一摄像头采集的第一图像,以及第二摄像头采集的第二图像。其中,在第一图像中,可确定目标场景中各个拍摄对象的空间坐标信息,空间坐标信息包括但不限于拍摄对象的关键点的坐标。进一步地,针对某一拍摄对象,作为目标拍摄对象,基于其空间坐标信息,可以在对应的第二图像中,针对目标拍摄对象进行快速3D建模,以还原目标拍摄对象的立体形态,从而可基于目标拍摄对象的立体形态,识别出目标拍摄对象在第二图像中可见的各个表面,进而在此基础上,用户可选择任意表面,作为目标区域,以针对目标区域,选择目标图层,设置在目标区域上。最终,在更新保存后的第二图像中,目标区域上设置有用户自定义的目标图层,达到对目标区域进行特征处理的效果。可见,在本申请的实施例中,不同于现有技术,可以针对性地识别出拍摄对象的任一表面,以实时地对该表面进行处理效果的应用;即使拍摄对象的姿态发生变化,也会随着姿态变化,变化处理效果应用的显示区域,确保仅在选定的表面上显示处理效果,从而解决在现有技术中,物体表面特征的处理效果并不会随着物体姿态变化而应变,影响图像质量的问题。
可选地,在一种场景下,本申请应用于视频的拍摄过程、图片的拍摄过程。
可参考地,第一图像和第二图像可以认为是拍摄中一帧图像,而在整个拍摄过程中,每一帧图像均可响应于第一输入,在目标区域设置目标图层。
在本申请另一个实施例的拍摄方法的流程中,步骤130,包括:
子步骤A1:根据目标拍摄对象的空间坐标信息,在第二图像中识别目标拍摄对象的轮廓线。
在该步骤中,基于前述的3D建模,可在模型中,识别出目标拍摄对象的所有轮廓线。
子步骤A2:根据目标拍摄对象的轮廓线,识别由若干目标轮廓线围绕形成的目标区域。
其中,目标轮廓线位于第一平面内。
在该步骤中,在识别的所有轮廓线中,将其中的位于同一平面的若干轮廓线围绕形成的图形,作为一个表面,从而识别出目标拍摄对象的多个表面。
对应地,由若干目标轮廓线围绕形成的表面为本实施例中的目标区域,目标区域位于第一平面内。
在本实施例中,在第二图像中,对目标拍摄对象进行3D建模的基础上,可以识别出目标拍摄对象的各个轮廓线,从而将部分轮廓线在同一平面内所围绕形成的一个图形,作为一个可编辑的各个表面,进而识别并激活各个表面的编辑状态,以用于用户进行处理输入。
在本申请另一个实施例的拍摄方法的流程中,在步骤130之后,该方法还包括:
步骤B1:根据目标区域的空间坐标信息,在目标区域所在的第一平面内,识别目标区域的第一形状。
在本实施例中,考虑到拍摄角度的影响,图像最终呈现出来的某个表面,可能不是该表面在平面状态下的真实形状。
例如,参见图5,以图示中的正面为例,在平面状态下,正面的真实形状是长方形,而由于拍摄角度,在图像中呈现出来的并不是个长方形,其上下两条短边,随着不断的延伸,最终会相交在一起。
因此,在该步骤中,在针对目标区域进行处理之前,首先在第一平面中,识别出目标区域在平面状态下的真实形状。
对应地,第一形状为:目标区域不受拍摄角度影响,在平面状态下的真实形状。
例如,参见图5和图11,在正面所在的平面内,识别出正面的长方形形状。
又如,参见图6和图12,在左侧面所在的平面内,识别出左侧面的长方形形状。
又如,参见图7和图13,在顶面所在的平面内,识别出顶面的长方形形状。
其中,在第一平面内,识别目标区域的第一形状,可依据目标区域的轮廓线上的关键点的坐标之间的关系来实现。
可选地,本申请中的建模和识别第一形状,都是在后台进行的,不会体现在当前所显示的图像中。
对应地,在步骤150之前,该方法还包括:
步骤B2:基于目标场景的目标拍摄角度,以及第一形状,恢复目标区域、以及目标区域上的目标图层,至第二形状。
在该步骤之前的步骤140中,可以基于目标区域的第一形状设置目标图层,从而使得目标图层上的图案等与目标区域更加贴合。
对应地,在该步骤中,在基于第一形状,在目标区域上设置目标图层后,需要连同目标图层,将目标区域恢复至当前拍摄视角下的形状。
因此,第二形状为:目标区域受拍摄角度影响,在图像中呈现出来的形状。
其中,目标拍摄角度为步骤110中,电子设备的第一摄像头和第二摄像头基于目标场景采集图像时的拍摄角度,本实施例默认为理想状态下,两个摄像头的拍摄角度一致。
本实施例应用于视频拍摄中,目标区域呈现在视频中的形状跟随拍摄角度的变化而变化,而目标图层跟随目标区域的形状变化而变化。
在本实施例中,结合拍摄角度,可在目标区域所在的第一平面内,识别出目标区域在平面状态下的真实形状,以还原真实形状后,基于目标区域的真实形状进行图层设置。因在素材库中,各个图层仅对图案等进行限制,并不会考虑到待处理表面的形态,若直接设置于图像中的表面,可能会出现图层上的图案等与待处理表面之间异常,从而使得该表面处理在图像中显示突兀、不真实等。可见,基于本实施例,针对目标区域的真实形状进行处理后,再针对拍摄角度进行形状恢复,使得该表面处理很自然地融入图像中,从而提高图像质量。
在本申请另一个实施例的拍摄方法的流程中,在步骤150之前,该方法还包括:
步骤C1:根据目标拍摄对象的空间坐标信息,获取目标区域的第一尺寸信息。
第一尺寸信息包括围成目标区域的形状中的轮廓线对应的尺寸。
例如,第一尺寸信息包括正面的各个轮廓线的长度。
其中,可基于目标区域的各个轮廓线上的关键点,获取目标区域的第一尺寸信息。
步骤C2:根据第一尺寸信息,调整目标图层的第二尺寸信息,至第二尺寸信息与第二尺寸信息匹配。
第二尺寸信息包括围成目标图层的形状的轮廓线对应的尺寸。
本实施例应用于视频拍摄中,目标区域呈现在视频中的尺寸跟随拍摄角度的变化而变化,而目标图层跟随目标区域的尺寸变化而变化。
在本实施例中,第一尺寸信息与第二尺寸信息匹配,使得目标图层完全贴合覆盖在目标区域上,从而目标区域的特征处理更为贴合、真实,提高图像质量。
在本申请另一个实施例的拍摄方法中,第一摄像头为TOF(Time of flight,简称TOF)摄像头。
在本实施例中,选取TOF摄像头作为第一摄像头,以获取目标场景中的深度信息。
其中,三维(Three Dimensions,简称3D)传感器包括3D结构光类型,3D结构光因其特定的点阵投射技术和三维结构采集运算方式,适合用于测量距离较低的场景,目前成熟的技术实现搭载在电子设备的前置镜头上,应用于人脸识别、人脸解锁、3D美颜场景场景。
因此,本实施例选取了三维(Three Dimensions,简称3D)传感器中的TOF类型。TOF通过向被测物体发射红外光源,光波被物体反射回来后,通过计算接收光波的时间差,从而计算被测物体与摄像头之间的距离和表面形态,提供一定的被测物体深度信息,能识别1至10米的距离,对物体边缘清晰度识别较为准确。
可选地,本实施例中的第一摄像头和第二摄像头为后置摄像头。
目前,TOF已经被广泛应用在测绘、物流、无人驾驶等多个工业领域,方案成熟;而TOF应用于电子领域的机后置上也得到推广,利用TOF优势补上了后置摄像头对深度信息测算无力的短板,使得TOF可以用于增强现实(Augmented Reality,简称AR)测距离、采集景深信息优化拍照景深效果等。而在此基础上,本实施例进一步扩展TOF应用的场景,从而充分利用TOF提供丰富有趣的摄影创意玩法。
综上,随着3D市场的打开和普及,3D传感技术也逐渐产品化进入公众视线,搭载在电子设备如智能手机上,结合一定场景给用户提供一定支撑,但目前应用场景和应用技术仍有巨大空间待挖掘。
因此,本申请利用TOF摄像头发射与接收记录的被照物体距离信息,高度和宽度信息,结合透视角度(拍摄角度),完成视频、图片拍摄场景的快速建模,并实现对一定透视空间的物体表面材质替换或增加的摄影场景应用发明。
具体地,在拍摄过程中普通摄像头和TOF摄像头同时作用,通过TOF摄像头对拍摄环境进行空间场景、以及拍摄对象进行光波发射返回和计算,获得镜头中场景深度信息,包含拍摄物体距离(z)、高度(y)、宽度(x)、透视角度(拍摄角度)的综合信息数据,快速模拟出一个带三维信息的场景还原仿真模型。其中,对三维数据信息质量进行校正和数据质量提高非本申请的核心,本申请基于已获得校正后的高质量三维信息来进行场景建模,并对模型的表面进行关键点标定。进一步地,拆分立体物体为带有尺寸的图形各平面图,以正方体为例,则拆分为可见的单一正方形。并对图形表面在材质图库中进行匹配,用户可选择材质图层进行表面覆盖贴图,或者选择图案、图形进行表面顶层增加贴图,最后将贴图内容在镜头场景中贴合拍摄物体呈现。
其中,拍摄物体平面贴图结合场景的透视角度(拍摄角度)在3D模型上完成透视形变贴合和绑定,按模型贴合效果再反馈给到实时拍摄的场景效果上进行材质替换的跟随。用该方法可以对拍摄的实景场景中的拍摄物体进行三维重建,结合三维模型的表面形态来进行的材质替换、贴图处理,在实拍的带透视场景的基础上,利用该方法能够达到更精准的贴合材质效果,移动状态下也能够根据场景透视变换,结合3D模型的移动效果进行图层跟随形变。
本申请能够在视频拍摄中为创意玩法提供技术支撑,实现简单化的视频特效,如,视频场景游戏化效果。
需要说明的是,本申请实施例提供的拍摄方法,执行主体可以为信息拍摄装置,或者该信息拍摄装置中的用于执行拍摄方法的控制模块。本申请实施例中以信息拍摄装置执行拍摄方法为例,说明本申请实施例提供的信息拍摄装置。
图14示出了本申请另一个实施例的信息拍摄装置的框图,该装置包括:
第一获取模块10,用于在电子设备的第一摄像头和第二摄像头采集目标场景的图像的情况下,分别获取第一摄像头采集的第一图像,以及第二摄像头采集的第二图像;
确定模块20,用于在第一图像中确定目标拍摄对象的空间坐标信息;
第一识别模块30,用于根据目标拍摄对象的空间坐标信息,在第二图像中识别目标拍摄对象的目标区域;
设置模块40,用于响应于对第二图像中的目标区域的第一输入,在第二图像中,将与第一输入相关联的目标图层设置于目标区域上;
更新模块50,用于更新并保存第二图像。
这样,在本申请的实施例中,在电子设备的第一摄像头和第二摄像头针对目标场景采集图像的情况下,分别获取第一摄像头采集的第一图像,以及第二摄像头采集的第二图像。其中,在第一图像中,可确定目标场景中各个拍摄对象的空间坐标信息,空间坐标信息包括但不限于拍摄对象的关键点的坐标。进一步地,针对某一拍摄对象,作为目标拍摄对象,基于其空间坐标信息,可以在对应的第二图像中,针对目标拍摄对象进行快速3D建模,以还原目标拍摄对象的立体形态,从而可基于目标拍摄对象的立体形态,识别出目标拍摄对象在第二图像中可见的各个表面,进而在此基础上,用户可选择任意表面,作为目标区域,以针对目标区域,选择目标图层,设置在目标区域上。最终,在更新保存后的第二图像中,目标区域上设置有用户自定义的目标图层,达到对目标区域进行特征处理的效果。可见,在本申请的实施例中,不同于现有技术,可以针对性地识别出拍摄对象的任一表面,以实时地对该表面进行处理效果的应用;即使拍摄对象的姿态发生变化,也会随着姿态变化,变化处理效果应用的显示区域,确保仅在选定的表面上显示处理效果,从而解决在现有技术中,物体表面特征的处理效果并不会随着物体姿态变化而应变,影响图像质量的问题。
可选地,第一识别模块30,包括:
第一识别单元,用于根据目标拍摄对象的空间坐标信息,在第二图像中识别目标拍摄对象的轮廓线;
第二识别单元,用于根据目标拍摄对象的轮廓线,识别由若干目标轮廓线围绕形成的目标区域;
其中,目标轮廓线位于第一平面内。
可选地,该装置,还包括:
第二识别模块,用于根据目标区域的空间坐标信息,在第一平面内,识别目标区域的第一形状;
恢复模块,用于基于目标场景的目标拍摄角度,以及第一形状,恢复目标区域、以及目标区域上的目标图层,至第二形状。
可选地,该装置还包括:
第二获取模块,用于根据目标拍摄对象的空间坐标信息,获取目标区域的第一尺寸信息;
调整模块,用于根据第一尺寸信息,调整目标图层的第二尺寸信息,至第二尺寸信息与第二尺寸信息匹配。
可选地,第一摄像头为TOF摄像头。
本申请实施例中的信息拍摄装置可以是装置,也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备,也可以为非移动电子设备。示例性的,移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或者个人数字助理(personaldigital assistant,PDA)等,非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage,NAS)、个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的信息拍摄装置可以为具有动作系统的装置。该动作系统可以为安卓(Android)动作系统,可以为ios动作系统,还可以为其他可能的动作系统,本申请实施例不作具体限定。
本申请实施例提供的信息拍摄装置能够实现上述方法实施例实现的各个过程,为避免重复,这里不再赘述。
可选地,如图15所示,本申请实施例还提供一种电子设备100,包括处理器101,存储器102,存储在存储器102上并可在所述处理器101上运行的程序或指令,该程序或指令被处理器101执行时实现上述任一拍摄方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图16为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备1000包括但不限于:射频单元1001、网络模块1002、音频输出单元1003、输入单元1004、传感器1005、显示单元1006、用户输入单元1007、接口单元1008、存储器1009、以及处理器1010等部件。
本领域技术人员可以理解,电子设备1000还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器1010逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图16中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
其中,处理器1010,用于在电子设备的第一摄像头和第二摄像头采集目标场景的图像的情况下,分别获取所述第一摄像头采集的第一图像,以及所述第二摄像头采集的第二图像;在所述第一图像中确定目标拍摄对象的空间坐标信息;根据所述目标拍摄对象的空间坐标信息,在所述第二图像中识别所述目标拍摄对象的目标区域;响应于对所述第二图像中的所述目标区域的第一输入,在所述第二图像中,将与所述第一输入相关联的目标图层设置于所述目标区域上;更新并保存所述第二图像。
这样,在本申请的实施例中,在电子设备的第一摄像头和第二摄像头针对目标场景采集图像的情况下,分别获取第一摄像头采集的第一图像,以及第二摄像头采集的第二图像。其中,在第一图像中,可确定目标场景中各个拍摄对象的空间坐标信息,空间坐标信息包括但不限于拍摄对象的关键点的坐标。进一步地,针对某一拍摄对象,作为目标拍摄对象,基于其空间坐标信息,可以在对应的第二图像中,针对目标拍摄对象进行快速3D建模,以还原目标拍摄对象的立体形态,从而可基于目标拍摄对象的立体形态,识别出目标拍摄对象在第二图像中可见的各个表面,进而在此基础上,用户可选择任意表面,作为目标区域,以针对目标区域,选择目标图层,设置在目标区域上。最终,在更新保存后的第二图像中,目标区域上设置有用户自定义的目标图层,达到对目标区域进行特征处理的效果。可见,在本申请的实施例中,不同于现有技术,可以针对性地识别出拍摄对象的任一表面,以实时地对该表面进行处理效果的应用;即使拍摄对象的姿态发生变化,也会随着姿态变化,变化处理效果应用的显示区域,确保仅在选定的表面上显示处理效果,从而解决在现有技术中,物体表面特征的处理效果并不会随着物体姿态变化而应变,影响图像质量的问题。
可选地,处理器1010,还用于根据所述目标拍摄对象的空间坐标信息,在所述第二图像中识别所述目标拍摄对象的轮廓线;据所述目标拍摄对象的轮廓线,识别由若干目标轮廓线围绕形成的所述目标区域;其中,所述目标轮廓线位于第一平面内。
可选地,处理器1010,还用于根据所述目标区域的空间坐标信息,在所述目标区域所在的第一平面内,识别所述目标区域的第一形状;基于所述目标场景的目标拍摄角度,以及所述第一形状,恢复所述目标区域、以及所述目标区域上的所述目标图层,至第二形状。
可选地,处理器1010,还用于根据所述目标拍摄对象的空间坐标信息,获取所述目标区域的第一尺寸信息;根据所述第一尺寸信息,调整所述目标图层的第二尺寸信息,至所述第二尺寸信息与所述第二尺寸信息匹配。
可选地,所述第一摄像头为TOF摄像头。
综上,本申请利用TOF摄像头发射与接收记录的被照物体距离信息,高度和宽度信息,结合透视角度(拍摄角度),完成视频、图片拍摄场景的快速建模,并实现对一定透视空间的物体表面材质替换或增加的摄影场景应用发明。
具体地,在拍摄过程中普通摄像头和TOF摄像头同时作用,通过TOF摄像头对拍摄环境进行空间场景、以及拍摄对象进行光波发射返回和计算,获得镜头中场景深度信息,包含拍摄物体距离(z)、高度(y)、宽度(x)、透视角度(拍摄角度)的综合信息数据,快速模拟出一个带三维信息的场景还原仿真模型。其中,对三维数据信息质量进行校正和数据质量提高非本申请的核心,本申请基于已获得校正后的高质量三维信息来进行场景建模,并对模型的表面进行关键点标定。进一步地,拆分立体物体为带有尺寸的图形各平面图,以正方体为例,则拆分为可见的单一正方形。并对图形表面在材质图库中进行匹配,用户可选择材质图层进行表面覆盖贴图,或者选择图案、图形进行表面顶层增加贴图,最后将贴图内容在镜头场景中贴合拍摄物体呈现。
其中,拍摄物体平面贴图结合场景的透视角度(拍摄角度)在3D模型上完成透视形变贴合和绑定,按模型贴合效果再反馈给到实时拍摄的场景效果上进行材质替换的跟随。用该方法可以对拍摄的实景场景中的拍摄物体进行三维重建,结合三维模型的表面形态来进行的材质替换、贴图处理,在实拍的带透视场景的基础上,利用该方法能够达到更精准的贴合材质效果,移动状态下也能够根据场景透视变换,结合3D模型的移动效果进行图层跟随形变。
应理解的是,本申请实施例中,输入单元1004可以包括图形处理器(GraphicsProcessing Unit,GPU)10041和麦克风10042,图形处理器10041对在视频图像捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频图像的图像数据进行处理。显示单元1006可包括显示面板10061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板10061。用户输入单元1007包括触控面板10071以及其他输入设备10072。触控面板10071,也称为触摸屏。触控面板10071可包括触摸检测装置和触摸控制器两个部分。其他输入设备10072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、动作杆,在此不再赘述。存储器1009可用于存储软件程序以及各种数据,包括但不限于应用程序和动作系统。处理器1010可集成应用处理器和调制解调处理器,其中,应用处理器主要处理动作系统、用户页面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1010中。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述拍摄方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述拍摄方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。

Claims (10)

1.一种拍摄方法,其特征在于,所述方法包括:
在电子设备的第一摄像头和第二摄像头采集目标场景的图像的情况下,分别获取所述第一摄像头采集的第一图像,以及所述第二摄像头采集的第二图像;
在所述第一图像中确定目标拍摄对象的空间坐标信息;
根据所述目标拍摄对象的空间坐标信息,在所述第二图像中识别所述目标拍摄对象的目标区域;
响应于对所述第二图像中的所述目标区域的第一输入,在所述第二图像中,将与所述第一输入相关联的目标图层设置于所述目标区域上;
更新并保存所述第二图像;
所述根据所述目标拍摄对象的空间坐标信息,在所述第二图像中识别所述目标拍摄对象的目标区域,包括:
根据所述目标拍摄对象的空间坐标信息,在所述第二图像中针对所述目标拍摄对象建模;
基于所述建模,识别所述目标拍摄对象在所述第二图像中可见的各个表面;
从所述表面中选出所述目标区域。
2.根据权利要求1所述的方法,其特征在于,所述根据所述目标拍摄对象的空间坐标信息,在所述第二图像中识别所述目标拍摄对象的目标区域,包括:
根据所述目标拍摄对象的空间坐标信息,在所述第二图像中识别所述目标拍摄对象的轮廓线;
根据所述目标拍摄对象的轮廓线,识别由若干目标轮廓线围绕形成的所述目标区域;
其中,所述目标轮廓线位于第一平面内。
3.根据权利要求1所述的方法,其特征在于,所述根据所述目标拍摄对象的空间坐标信息,在所述第二图像中识别所述目标拍摄对象的目标区域之后,所述方法还包括:
根据所述目标区域的空间坐标信息,在所述目标区域所在的第一平面内,识别所述目标区域的第一形状;
所述更新并保存所述第二图像之前,所述方法还包括:
基于所述目标场景的目标拍摄角度,以及所述第一形状,恢复所述目标区域、以及所述目标区域上的所述目标图层,至第二形状。
4.根据权利要求1所述的方法,其特征在于,所述更新并保存所述第二图像之前,所述方法还包括:
根据所述目标拍摄对象的空间坐标信息,获取所述目标区域的第一尺寸信息;
根据所述第一尺寸信息,调整所述目标图层的第二尺寸信息,至所述第二尺寸信息与所述第二尺寸信息匹配。
5.根据权利要求1所述的方法,其特征在于,所述第一摄像头为TOF摄像头。
6.一种拍摄装置,其特征在于,所述装置包括:
第一获取模块,用于在电子设备的第一摄像头和第二摄像头采集目标场景的图像的情况下,分别获取所述第一摄像头采集的第一图像,以及所述第二摄像头采集的第二图像;
确定模块,用于在所述第一图像中确定目标拍摄对象的空间坐标信息;
第一识别模块,用于根据所述目标拍摄对象的空间坐标信息,在所述第二图像中识别所述目标拍摄对象的目标区域;
设置模块,用于响应于对所述第二图像中的所述目标区域的第一输入,在所述第二图像中,将与所述第一输入相关联的目标图层设置于所述目标区域上;
更新模块,用于更新并保存所述第二图像;
所述第一识别模块,具体用于根据所述目标拍摄对象的空间坐标信息,在所述第二图像中针对所述目标拍摄对象建模;基于所述建模,识别所述目标拍摄对象在所述第二图像中可见的各个表面;从所述表面中选出所述目标区域。
7.根据权利要求6所述的装置,其特征在于,所述第一识别模块,包括:
第一识别单元,用于根据所述目标拍摄对象的空间坐标信息,在所述第二图像中识别所述目标拍摄对象的轮廓线;
第二识别单元,用于根据所述目标拍摄对象的轮廓线,识别由若干目标轮廓线围绕形成的所述目标区域;
其中,所述目标轮廓线位于第一平面内。
8.根据权利要求6所述的装置,其特征在于,所述装置,还包括:
第二识别模块,用于根据所述目标区域的空间坐标信息,在所述目标区域所在的第一平面内,识别所述目标区域的第一形状;
恢复模块,用于基于所述目标场景的目标拍摄角度,以及所述第一形状,恢复所述目标区域、以及所述目标区域上的所述目标图层,至第二形状。
9.根据权利要求6所述的装置,其特征在于,所述装置还包括:
第二获取模块,用于根据所述目标拍摄对象的空间坐标信息,获取所述目标区域的第一尺寸信息;
调整模块,用于根据所述第一尺寸信息,调整所述目标图层的第二尺寸信息,至所述第二尺寸信息与所述第二尺寸信息匹配。
10.根据权利要求6所述的装置,其特征在于,所述第一摄像头为TOF摄像头。
CN202111449916.1A 2021-11-30 2021-11-30 拍摄方法及其装置 Active CN114125304B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111449916.1A CN114125304B (zh) 2021-11-30 2021-11-30 拍摄方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111449916.1A CN114125304B (zh) 2021-11-30 2021-11-30 拍摄方法及其装置

Publications (2)

Publication Number Publication Date
CN114125304A CN114125304A (zh) 2022-03-01
CN114125304B true CN114125304B (zh) 2024-04-30

Family

ID=80368865

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111449916.1A Active CN114125304B (zh) 2021-11-30 2021-11-30 拍摄方法及其装置

Country Status (1)

Country Link
CN (1) CN114125304B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004152133A (ja) * 2002-10-31 2004-05-27 Nippon Telegr & Teleph Corp <Ntt> 仮想視点画像生成方法及び仮想視点画像生成装置、ならびに仮想視点画像生成プログラム及び記録媒体
JP2005078424A (ja) * 2003-09-01 2005-03-24 Omron Corp 写真シール作成装置および写真シール作成方法
JP2017038292A (ja) * 2015-08-12 2017-02-16 株式会社イノテック 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
CN107679497A (zh) * 2017-10-11 2018-02-09 齐鲁工业大学 视频面部贴图特效处理方法及生成系统
CN108540790A (zh) * 2018-04-24 2018-09-14 深圳超多维科技有限公司 一种用于移动终端的立体图像获取方法、装置及移动终端
CN109064390A (zh) * 2018-08-01 2018-12-21 Oppo(重庆)智能科技有限公司 一种图像处理方法、图像处理装置及移动终端
CN109427083A (zh) * 2017-08-17 2019-03-05 腾讯科技(深圳)有限公司 三维虚拟形象的显示方法、装置、终端及存储介质
CN110740310A (zh) * 2019-09-29 2020-01-31 北京浪潮数据技术有限公司 一种虚拟场景漫游方法、系统、装置、设备及计算机介质
WO2020215898A1 (zh) * 2019-04-24 2020-10-29 京东方科技集团股份有限公司 三维重建方法及装置、系统、模型训练方法、存储介质
CN113329138A (zh) * 2021-06-03 2021-08-31 维沃移动通信有限公司 视频拍摄方法、视频播放方法和电子设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004152133A (ja) * 2002-10-31 2004-05-27 Nippon Telegr & Teleph Corp <Ntt> 仮想視点画像生成方法及び仮想視点画像生成装置、ならびに仮想視点画像生成プログラム及び記録媒体
JP2005078424A (ja) * 2003-09-01 2005-03-24 Omron Corp 写真シール作成装置および写真シール作成方法
JP2017038292A (ja) * 2015-08-12 2017-02-16 株式会社イノテック 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
CN109427083A (zh) * 2017-08-17 2019-03-05 腾讯科技(深圳)有限公司 三维虚拟形象的显示方法、装置、终端及存储介质
CN107679497A (zh) * 2017-10-11 2018-02-09 齐鲁工业大学 视频面部贴图特效处理方法及生成系统
CN108540790A (zh) * 2018-04-24 2018-09-14 深圳超多维科技有限公司 一种用于移动终端的立体图像获取方法、装置及移动终端
CN109064390A (zh) * 2018-08-01 2018-12-21 Oppo(重庆)智能科技有限公司 一种图像处理方法、图像处理装置及移动终端
WO2020215898A1 (zh) * 2019-04-24 2020-10-29 京东方科技集团股份有限公司 三维重建方法及装置、系统、模型训练方法、存储介质
CN110740310A (zh) * 2019-09-29 2020-01-31 北京浪潮数据技术有限公司 一种虚拟场景漫游方法、系统、装置、设备及计算机介质
CN113329138A (zh) * 2021-06-03 2021-08-31 维沃移动通信有限公司 视频拍摄方法、视频播放方法和电子设备

Also Published As

Publication number Publication date
CN114125304A (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
US11842438B2 (en) Method and terminal device for determining occluded area of virtual object
CN110675420B (zh) 一种图像处理方法和电子设备
CN108154550B (zh) 基于rgbd相机的人脸实时三维重建方法
US20200058153A1 (en) Methods and Devices for Acquiring 3D Face, and Computer Readable Storage Media
CN111667582B (zh) 电子装置及增强现实的三维对象的尺寸调整方法
CN107958480B (zh) 图像渲染方法、装置及存储介质
CN109064390B (zh) 一种图像处理方法、图像处理装置及移动终端
CN110012209B (zh) 全景图像生成方法、装置、存储介质及电子设备
CN111583381B (zh) 游戏资源图的渲染方法、装置及电子设备
CN110120087B (zh) 三维虚拟沙盘的标签标注方法、装置及终端设备
CN109688343A (zh) 增强现实演播室的实现方法和装置
CN112657176A (zh) 一种结合人像行为信息的双目投影人机交互方法
CN111556337B (zh) 一种媒体内容植入方法、模型训练方法以及相关装置
CN113126862A (zh) 截屏方法、装置、电子设备以及可读存储介质
CN112905014A (zh) Ar场景下的交互方法、装置、电子设备及存储介质
CN112882576A (zh) Ar交互方法、装置、电子设备及存储介质
CN108683845A (zh) 图像处理方法、装置、存储介质及移动终端
CN112101252B (zh) 一种基于深度学习的图像处理方法、系统、设备及介质
CN113178017A (zh) Ar数据展示方法、装置、电子设备及存储介质
CN114125304B (zh) 拍摄方法及其装置
CN114972466A (zh) 图像处理方法、装置、电子设备和可读存储介质
CN115529405A (zh) 前置摄像头的图像显示方法及装置
CN114565777A (zh) 数据处理方法和装置
CN112348965A (zh) 成像方法、装置、电子设备及可读存储介质
CN114820980A (zh) 三维重建方法、装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant