CN110636276B - 视频拍摄方法、装置、存储介质及电子设备 - Google Patents
视频拍摄方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN110636276B CN110636276B CN201910756093.3A CN201910756093A CN110636276B CN 110636276 B CN110636276 B CN 110636276B CN 201910756093 A CN201910756093 A CN 201910756093A CN 110636276 B CN110636276 B CN 110636276B
- Authority
- CN
- China
- Prior art keywords
- image
- camera
- video
- video stream
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/167—Synchronising or controlling image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本申请实施例公开了一种视频拍摄方法、装置、存储介质及电子设备,其中,本申请实施例通过第一摄像头和第二摄像头对目标场景进行拍摄,获取第一视频流和第二视频流,其中,第一摄像头与第二摄像头的焦距不同;获取第一视频流中的第一图像,以及第二视频流中与第一图像对应的第二图像;对第二图像进行畸变矫正处理,得到第三图像;对第三图像和第一图像进行对齐处理,将对齐处理后的第一图像和第三图像合并处理,得到第四图像;对多帧第四图像进行视频编码处理,生成三维视频,实现三维视频的录制。
Description
技术领域
本申请涉及图像处理技术领域,具体涉及一种视频拍摄方法、装置、存储介质及电子设备。
背景技术
视频录制即指连续捕捉图像帧并记录下来,按照时间顺序排列,得到视频。目前,视频录制已经成为人们记录和分享生活的重要方式,相比拍照,视频录制能够更加生动的记录生活。然而,相关的电子设备提供的视频录制多是普通视频录制,没有提供三维视频录制方案。
发明内容
本申请实施例提供一种视频拍摄方法、装置、存储介质及电子设备,能够实现三维视频的录制。
第一方面,本申请实施例提供一种视频拍摄方法,所述方法应用于电子设备,所述电子设备包括第一摄像头和第二摄像头,所述方法包括:
通过所述第一摄像头和所述第二摄像头对目标场景进行拍摄,获取第一视频流和第二视频流,其中,所述第一摄像头与所述第二摄像头的焦距不同;
获取第一视频流中的第一图像,以及第二视频流中与所述第一图像对应的第二图像;
对所述第二图像进行畸变矫正处理,得到第三图像;
对所述第三图像和所述第一图像进行对齐处理,将对齐处理后的第一图像和第三图像合并处理,得到第四图像;
对所述第四图像进行视频编码处理,生成三维视频。
第二方面,本申请实施例提供一种视频拍摄装置,所述装置应用于电子设备,所述电子设备包括第一摄像头和第二摄像头,所述装置包括:
图像拍摄模块,用于通过所述第一摄像头和所述第二摄像头对目标场景进行拍摄,获取第一视频流和第二视频流,其中,所述第一摄像头与所述第二摄像头的焦距不同;
图像获取模块,用于获取第一视频流中的第一图像,以及第二视频流中与所述第一图像对应的第二图像;
图像矫正模块,用于对所述第二图像进行畸变矫正处理,得到第三图像;
对齐合并模块,用于对所述第三图像和所述第一图像进行对齐处理,将对齐处理后的第一图像和第三图像合并处理,得到第四图像;
视频编码模块,用于对所述第四图像进行视频编码处理,生成三维视频。
第三方面,本申请实施例提供一种存储介质,其上存储有计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行如本申请任一实施例提供的视频拍摄方法。
第四方面,本申请实施例提供一种电子设备,包括处理器和存储器,所述存储器有计算机程序,所述处理器通过调用所述计算机程序,用于执行如本申请任一实施例提供的视频拍摄方法。
第五方面,本申请实施例提供一种电子设备,包括:
第一摄像头,所述第一摄像头用于对目标场景进行拍摄,以获得第一视频流;
第二摄像头,所述第二摄像头用于对所述目标场景进行拍摄,以获得第二视频流,所述第二摄像头与所述第一摄像头的焦距不同;
处理器,所述处理器分别与所述第一摄像头、所述第二摄像头电性连接,所述处理器用于:
获取第一视频流中的第一图像,以及第二视频流中与所述第一图像对应的第二图像;
对所述第二图像进行畸变矫正处理,得到第三图像;
对所述第三图像和所述第一图像进行对齐处理,将对齐处理后的第一图像和第三图像合并处理,得到第四图像。
本申请实施例通过电子设备的多个摄像头拍摄目标场景,对得到的图像进行合成处理,实现三维视频的录制。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的视频拍摄方法的第一种流程示意图。
图2为本申请实施例提供的视频拍摄方法的视频录制流程示意图。
图3本申请实施例提供的视频拍摄方法得到的三维视频的播放画面。
图4为本申请实施例提供的视频拍摄方法中三维视频录制时的视频预览示意图。
图5为本申请实施例提供的视频拍摄装置的结构示意图。
图6为本申请实施例提供的电子设备的第一种结构示意图。
图7为本申请实施例提供的电子设备的第二种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本申请的保护范围。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本申请实施例提供一种视频拍摄方法,该视频拍摄方法的执行主体可以是本申请实施例提供的视频拍摄装置,或者集成了该视频拍摄装置的电子设备。其中,电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑、或者台式电脑等设备。
请参阅图1,图1为本申请实施例提供的视频拍摄方法的第一种流程示意图。本申请实施例提供的视频拍摄方法的具体流程可以如下:
101、通过第一摄像头和第二摄像头对目标场景进行拍摄,获取第一视频流和第二视频流,其中,第一摄像头与第二摄像头的焦距不同。
本申请实施例可以应用于电子设备,以智能手机为例,可以在智能手机的背面设置有多个摄像头,诸如第一摄像头和焦距与该第一摄像头不同的其他一个或者多个第二摄像头。其中,第一摄像头可以为标准镜头,第一摄像头可以作为电子设备的主摄像头。第一摄像头的为焦距在40至55毫米之间的镜头。从第一摄像头中观察的画面与人眼看见的画面十分接近,通过第一摄像头拍摄出的图像比较“写实”。
第二摄像头可以作为电子设备的辅助摄像头,第二摄像头可以包括广角摄像头,广角摄像头的焦距比第一摄像头的焦距短,可以是普通广角摄像头,比如焦距为38-24毫米,视角为60-84度。广角镜头可以拍摄距离近且景物大的照片,拍摄的画面比人眼所见要大得多;广角镜头的画面强调前景且突出远近对比,也就是说,画面中近的东西更大,远的东西更小,有强烈的透视效果。第二摄像头还可以包括长焦摄像头,长焦摄像头的焦距比第一摄像头的焦距长。长焦镜头可以拍摄远处的对象,能有效虚化背景突出主体。
需要说明的是,第二摄像头并不限于此,第二摄像头也可以包括超广角摄像头,比如焦距为20-13毫米,视角为94-118度。第二摄像头还可以包括深度摄像头。可以理解的是,第二摄像头可以为广角摄像头、长焦摄像头、深度摄像头中的一个或多个。
当电子设备进入3D视频(三维视频)拍摄模式时,启动第一摄像头和第二摄像头同时对目标场景进行视频录制,其中,第一摄像头对目标场景拍摄输出第一视频流;第二摄像头对目标场景拍摄输出第二视频流。
102、获取第一视频流中的第一图像,以及第二视频流中与第一图像对应的第二图像。
请参阅图2,图2为本申请实施例提供的视频拍摄方法的图像流程示意图。在3D视频录制模式下,第一摄像头和第二摄像头都会对目标场景进行持续不断的拍摄,分别得到第一视频流和第二视频流。第一视频流和第二视频流均是由连续多帧图像构成的,由于第一摄像头和第二摄像头分别位于电子设备背板的不同位置处,他们在水平线或者垂直线上具有一定的距离,会从不同的角度对目标场景进行拍摄,再加上第一摄像头与第二摄像头的焦距不同,因此拍摄得到的目标场景也会具有不同的视角。
可以理解的是,为了提高视频合成的效率,第一摄像头和第二摄像头在进行视频录制时,可以具有相同的数据流格式、视频比特率、视频分辨率、视频帧率等。
由于视频是由连续的图像序列构成的,针对第一视频流中的每一帧图像都需要与第二视频流中与之对应的图像进行合成。故,按照拍摄时间由先至后的顺序,针对第一视频流中的每一帧第一图像,从第二视频流中与该第一图像对应的第二图像。
其中,第一图像与第二图像对应是指第一图像的拍摄时刻与第二图像的拍摄时刻相同或者有最小的时间差。也就是说,在将第一视频流中的第一图像与第二视频流中的第二图像进行合成时,要保证帧同步。
103、对第二图像进行畸变矫正处理,得到第三图像。
在一些实施例中,“对第二图像进行畸变矫正处理,得到第三图像”可以包括:获取第二摄像头的标定参数;根据标定参数对第二图像进行畸变矫正处理。
第二图像可以是使用广角摄像头或者长焦摄像头拍摄的,相对于主摄像头,其拍摄到的目标场景会存在一定的失真,因此,要对第二图像进行畸变矫正,以使其在合成图像中具有更好的显示效果。其中,每一个摄像头都有其预置的的标定参数,利用这些标定参数可以对第二图像的畸变进行矫正,得到第三图像。其中,标定参数包括畸变系数、焦长、主点、旋转矩阵、平移量等。比如,可以使用initUndistortRectifyMap(图像无畸变和修正)函数和remap(重映射)函数配合标定参数实现畸变矫正处理。其中,initUndistortRectifyMap函数用来计算第二图像的畸变映射,remap函数把求得的畸变映射应用到第二图像上,得到第三图像。
104、对第三图像和第一图像进行对齐处理,将对齐处理后的第一图像和第三图像合并处理,得到第四图像。
由于经过畸变矫正,第三图像可能发生了一定程度的旋转、变形,再加上第一图像与第三图像是从不同的角度拍摄的同一场景,因此,需要对第一图像和第三图像进行对齐处理,使得第一图像和第三图像中对应的特征点尽可能地具有相同的坐标。由于第一图像是使用主摄像头拍摄得到的,拍摄的画面与人眼看见的画面十分接近,因此,该实施例中以第一图像作为基准,对第三图像进行对齐处理。
经过对齐处理后,将第一图像和第三图像进行合并处理,例如,第一图像在左,第二图像在右,将第一图像和第二图像拼接;或者,第一图像在右,第二图像在左,将第一图像和第二图像拼接。经过图像合并处理后,得到第四图像。
105、对多帧第四图像进行视频编码处理,生成三维视频。
按照上述流程,不断地对第一视频流和第二视频流中的图像进行合成处理,得到连续的多帧第四图像,将这多帧第四图像进行编码处理,生成三维视频。
在一些实施例中,对多帧第四图像进行视频编码处理,生成三维视频之后,该方法还包括:为三维视频添加预设标记后存储。
在一些实施例中,在通过第一摄像头和第二摄像头对目标场景进行拍摄,获取第一视频流和第二视频流之后,该方法还包括:对第一视频流进行编码处理,生成第一视频,为第一视频添加第一摄像头对应的标记后存储;对第二视频流进行编码处理,生成第二视频,为第二视频添加第二摄像头对应的标记后存储。用户可以根据需要选择第一视频、第二视频或者三维视频进行播放。
请参阅图3所示,图3本申请实施例提供的视频拍摄方法得到的三维视频的播放画面。其中的视频内容仅为示例。在播放三维视频时,通过不同摄像头拍摄的同一场景分屏显示在显示屏的左右两侧,用户可以通过VR(Virtual Reality,虚拟显示)设备观看该视频,由于第四图像中的第一图像和第三图像在拍摄时具有视差关系,在矫正对齐后分屏显示时,可以为虚拟显示提供具有视差关系的左右眼图像,用户可以观看到具有较强的三维立体感的视频。
具体实施时,本申请不受所描述的各个步骤的执行顺序的限制,在不产生冲突的情况下,某些步骤还可以采用其它顺序进行或者同时进行。
由上可知,本申请实施例提供的视频拍摄方法,通过电子设备的具有不同焦距的第一摄像头和第二摄像头对目标场景进行拍摄,获取第一视频流和第二视频流,获取第一视频流中的第一图像,以及第二视频流中与第一图像对应的第二图像,对该第二图像进行畸变矫正处理,得到第三图像,对第三图像和第一图像进行对齐处理,将对齐处理后的第一图像和第三图像合并处理,得到第四图像,对多帧第四图像进行视频编码处理,生成三维视频。本发明通过电子设备的多个摄像头拍摄目标场景,对得到的图像进行合成处理,实现三维视频的录制。
在一些实施例中,“获取第一视频流中的第一图像,以及第二视频流中与第一图像对应的第二图像”可以包括:
获取第一视频流中的第一图像;获取第一图像的时间戳;根据时间戳,从第二视频流中获取拍摄时刻与第一图像最接近的图像,作为与第一图像对应的第二图像。
该实施例中,通过视频图像上携带的时间戳实现帧同步。由于不同的摄像头是不同的硬件,即使是同步拍摄,第一视频流中的第一图像与第二视频流中的第二图像的拍摄时间也不是完全相同,他们之间可能存在一定的时间差,但是这个时间差往往非常小,因此在获取第一图像后,可以获取第一图像的时间戳,然后去第二视频流中查找时间戳与该第一图像的时间戳最接近的图像,将查找到的图像作为与第一图像对应的第二图像。以尽可能的保证用来合成的两帧的图像拍摄时刻最接近。
可以理解的是,在一些实施例中,如果两个摄像头是采用相同的帧率进行拍摄的话,在第一次合成时,实现帧同步后,后续按照顺序依次合成,不必每一帧第一图像都去匹配时间戳。例如,开启第一摄像头和第二摄像头进行拍摄后,经过第一次时间戳匹配,第一视频流中的第一帧第一图像与第二视频流中的第二帧第二图像的时间戳最接近,则第一视频流中的第一帧第一图像与第二视频流中的第二帧第二图像对应;第一视频流中的第二帧第一图像与第二视频流中的第三帧第二图像对应;以此类推,可以直接按照拍摄顺序,确定与每一帧第一图像对应的第二图像。
在一些实施例中,“对第三图像和第一图像进行对齐处理”可以包括:对第一图像和第三图像进行特征点检测,得到匹配特征点对;根据匹配特征点对计算单应性矩阵;根据单应性矩阵,将第三图像上的像素点映射到第一图像,以将第三图像与第一图像对齐。
该实施例中,基于图像中的特征点对第一图像和第三图像进行对齐处理。要实现图像对齐,重点在于找到图像中的单应性矩阵。具体的,根据预设函数查找第三图像与第一图像中匹配的特征点,构成特征点对,按照匹配度,保留全部特征点对中匹配度最高的一些特征点对,接下来,根据findHomography(单应查找)函数计算第一图像与第三图像中的单应性矩阵,一般得到3-6个单应性矩阵,即可进行图像对齐。得到单应性矩阵后,进行图像扭转,将第三图像中的像素点映射到第一图像,也就是说,在该实施例中,以第一图像为基准,将第三图像对齐到第一图像。
在一些实施例中,通过第一摄像头和第二摄像头对目标场景进行拍摄,获取第一视频流和第二视频流之前,还包括:当检测到拍摄模式切换至三维视频拍摄模式时,通过第一摄像头获取目标场景的预览图像;启动第一摄像头;根据预览图像,从广角摄像头和长焦摄像头中确定出目标摄像头,将目标摄像头作为第二摄像头。
该实施例中,在进行三维视频录制时,将后置主摄像头作为第一摄像头,先使用第一摄像头获取目标场景的预览图像,根据该预览图像判断拍摄场景中的目的物体距离摄像头的距离以及目标物体在预览图像中所占的比例,根据该距离判断当前拍摄的场景为近景还是远景,若是近景,例如拍摄人像,拍摄距离电子设备较近的物体时,则将广角摄像头作为第一摄像头,并启动第一摄像头,同时使用第一摄像头和第二摄像头录制视频。
在一些实施例中,通过第一摄像头和第二摄像头对目标场景进行拍摄之前,还包括:根据预设参数初始化视频录制接口。
该实施例中,在确定出第一摄像头和第二摄像头之后,对MediaRecorder(视频录制)接口进行初始化,其中,预设参数包括数据流格式,数据源以及视频比特率等。数据源即采用哪些摄像头录制视频,例如后置主摄像头为第一摄像头,广角摄像头为第二摄像头,则数据源为后置主摄像头和广角摄像头。其中,数据流格式和视频比特率等参数可以预先配置好,设置在电子设备中。
在一些实施例中,通过第一摄像头和第二摄像头对目标场景进行拍摄,获取第一视频流和第二视频流之后,该方法还包括:基于所述第一视频流,在显示屏上进行视频录制的预览。
该实施例中,在录制三维视频时,可以在取景框中通过显示第四图像对三维视频进行预览,也可以在取景框中显示合成前的两路视频中的一路视频,例如,以第一视频流为准,绘制预览。请参阅图4,图4为本申请实施例提供的视频拍摄方法中三维视频录制时的视频预览示意图。
在一实施例中还提供一种视频拍摄装置。请参阅图5,图5为本申请实施例提供的视频拍摄装置200的结构示意图。其中该视频拍摄装置200应用于电子设备,该视频拍摄装置200包括图像拍摄模块201、图像获取模块202、图像矫正模块203、对齐合并模块204以及视频编码模块205。
图像拍摄模块201,用于通过所述第一摄像头和所述第二摄像头对目标场景进行拍摄,获取第一视频流和第二视频流,其中,所述第一摄像头与所述第二摄像头的焦距不同;
图像获取模块202,用于获取第一视频流中的第一图像,以及第二视频流中与所述第一图像对应的第二图像;
图像矫正模块203,用于对所述第二图像进行畸变矫正处理,得到第三图像;
对齐合并模块204,用于对所述第三图像和所述第一图像进行对齐处理,将对齐处理后的第一图像和第三图像合并处理,得到第四图像;
视频编码模块205,用于对所述第四图像进行视频编码处理,生成三维视频。
需要说明的是,上述模块均为功能性模块,对应地执行上述流程。以图像拍摄模块201为例,图像拍摄模块201可以通过调用第一摄像头和第二摄像头对目标场景进行拍摄。
在一些实施例中,图像获取模块202还用于:
获取第一视频流中的第一图像;
获取所述第一图像的时间戳;
根据所述时间戳,从所述第二视频流中获取拍摄时刻与所述第一图像最接近的图像,作为与所述第一图像对应的第二图像。
在一些实施例中,图像矫正模块203还用于:
获取所述第二摄像头的标定参数;
根据所述标定参数对所述第二图像进行畸变矫正处理。
在一些实施例中,对齐合并模块204还用于:
对所述第一图像和所述第三图像进行特征点检测,得到匹配特征点对;
根据所述匹配特征点对计算单应性矩阵;
根据所述单应性矩阵,将所述第三图像上的像素点映射到所述第一图像,以将所述第三图像与所述第一图像对齐。
在一些实施例中,视频拍摄装置200还包括摄像头选择模块,该摄像头选择模块用于:
当检测到拍摄模式切换至三维视频拍摄模式时,通过所述第一摄像头获取所述目标场景的预览图像;启动所述第一摄像头;
根据所述预览图像,从广角摄像头和长焦摄像头中确定出目标摄像头,将所述目标摄像头作为所述第二摄像头。
在一些实施例中,视频拍摄装置200还包括初始化模块,该初始化模块用于:在图像拍摄模块201通过所述第一摄像头和所述第二摄像头对目标场景进行拍摄之前,根据预设参数初始化视频录制接口。
在一些实施例中,视频拍摄装置200还包括视频预览模块,该视频预览模块用于:在图像拍摄模块201通过所述第一摄像头和所述第二摄像头对目标场景进行拍摄之后,基于所述第一视频流,在显示屏上进行视频录制的预览。
具体实施时,以上各个模块可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个模块的具体实施可参见前面的方法实施例,在此不再赘述。
应当说明的是,本申请实施例提供的视频拍摄装置与上文实施例中的视频拍摄方法属于同一构思,在视频拍摄装置上可以运行视频拍摄方法实施例中提供的任一方法,其具体实现过程详见视频拍摄方法实施例,此处不再赘述。
由上可知,本申请实施例提出的视频拍摄装置,图像拍摄模块201通过电子设备的具有不同焦距的第一摄像头和第二摄像头对目标场景进行拍摄,获取第一视频流和第二视频流,图像获取模块202获取第一视频流中的第一图像,以及第二视频流中与第一图像对应的第二图像,图像矫正模块203对该第二图像进行畸变矫正处理,得到第三图像,对齐合并模块204对第三图像和第一图像进行对齐处理,将对齐处理后的第一图像和第三图像合并处理,得到第四图像,视频编码模块205对多帧第四图像进行视频编码处理生成三维视频。本发明通过电子设备的多个摄像头拍摄目标场景,对得到的图像进行合成处理,实现三维视频的录制。
本申请实施例还提供一种电子设备。所述电子设备可以是智能手机、平板电脑等设备。请参阅图6,图6为本申请实施例提供的电子设备的第一种结构示意图。电子设备300包括第一摄像头311、第二摄像头312、处理器301和存储器302。其中,处理器301分别与第一摄像头311、第二摄像头312、存储器302电性连接。其中,第一摄像头311可以作为电子设备的主摄像头,具体请参阅以上内容,在此不再赘述。其中,第二摄像头312可以作为电子设备的辅助摄像头,具体请参阅以上内容,在此不再赘述。
处理器301是电子设备300的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或调用存储在存储器302内的计算机程序,以及调用存储在存储器302内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。
存储器302可用于存储计算机程序和数据。存储器302存储的计算机程序中包含有可在处理器中执行的指令。计算机程序可以组成各种功能模块。处理器301通过调用存储在存储器302的计算机程序,从而执行各种功能应用以及数据处理。
在本实施例中,电子设备300中的处理器301会按照如下的步骤,将一个或一个以上的计算机程序的进程对应的指令加载到存储器302中,并由处理器301来运行存储在存储器302中的计算机程序,从而实现各种功能:
通过所述第一摄像头和所述第二摄像头对目标场景进行拍摄,获取第一视频流和第二视频流,其中,所述第一摄像头与所述第二摄像头的焦距不同;
获取第一视频流中的第一图像,以及第二视频流中与所述第一图像对应的第二图像;
对所述第二图像进行畸变矫正处理,得到第三图像;
对所述第三图像和所述第一图像进行对齐处理,将对齐处理后的第一图像和第三图像合并处理,得到第四图像;
对多帧所述第四图像进行视频编码处理,生成三维视频。
在一些实施例中,请参阅图7,图7为本申请实施例提供的电子设备的第二种结构示意图。电子设备300还包括:射频电路303、显示屏304、控制电路305、输入单元306、音频电路307、传感器308以及电源309。其中,处理器301分别与射频电路303、显示屏304、控制电路305、输入单元306、音频电路307、传感器308以及电源309电性连接。
射频电路303用于收发射频信号,以通过无线通信与网络设备或其他电子设备进行通信。
显示屏304可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口,这些图形用户接口可以由图像、文本、图标、视频和其任意组合来构成。
控制电路305与显示屏304电性连接,用于控制显示屏304显示信息。
输入单元306可用于接收输入的数字、字符信息或用户特征信息(例如指纹),以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。其中,输入单元306可以包括指纹识别模组。
音频电路307可通过扬声器、传声器提供用户与电子设备之间的音频接口。其中,音频电路307包括麦克风。所述麦克风与所述处理器301电性连接。所述麦克风用于接收用户输入的语音信息。
传感器308用于采集外部环境信息。传感器308可以包括环境亮度传感器、加速度传感器、陀螺仪等传感器中的一种或多种。
电源309用于给电子设备300的各个部件供电。在一些实施例中,电源309可以通过电源管理系统与处理器301逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管图7中未示出,电子设备300还可以包括摄像头、蓝牙模块等,在此不再赘述。
在本实施例中,电子设备300中的处理器301会按照如下的步骤,将一个或一个以上的计算机程序的进程对应的指令加载到存储器302中,并由处理器301来运行存储在存储器302中的计算机程序,从而实现各种功能:
通过所述第一摄像头和所述第二摄像头对目标场景进行拍摄,获取第一视频流和第二视频流,其中,所述第一摄像头与所述第二摄像头的焦距不同;
获取第一视频流中的第一图像,以及第二视频流中与所述第一图像对应的第二图像;
对所述第二图像进行畸变矫正处理,得到第三图像;
对所述第三图像和所述第一图像进行对齐处理,将对齐处理后的第一图像和第三图像合并处理,得到第四图像;
对多帧所述第四图像进行视频编码处理,生成三维视频。
在一些实施例中,在获取第一视频流中的第一图像,以及第二视频流中与所述第一图像对应的第二图像时,处理器301执行:
获取第一视频流中的第一图像;
获取所述第一图像的时间戳;
根据所述时间戳,从所述第二视频流中获取拍摄时刻与所述第一图像最接近的图像,作为与所述第一图像对应的第二图像。
在一些实施例中,在对所述第二图像进行畸变矫正处理,得到第三图像时,处理器301执行:
获取所述第二摄像头的标定参数;
根据所述标定参数对所述第二图像进行畸变矫正处理。
在一些实施例中,在对所述第三图像和所述第一图像进行对齐处理时,处理器301执行:
对所述第一图像和所述第三图像进行特征点检测,得到匹配特征点对;
根据所述匹配特征点对计算单应性矩阵;
根据所述单应性矩阵,将所述第三图像上的像素点映射到所述第一图像,以将所述第三图像与所述第一图像对齐。
在一些实施例中,通过所述第一摄像头和所述第二摄像头对目标场景进行拍摄,获取第一视频流和第二视频流之前,处理器301执行:
当检测到拍摄模式切换至三维视频拍摄模式时,通过所述第一摄像头获取所述目标场景的预览图像;启动所述第一摄像头;
根据所述预览图像,从广角摄像头和长焦摄像头中确定出目标摄像头,将所述目标摄像头作为所述第二摄像头。
在一些实施例中,通过所述第一摄像头和所述第二摄像头对目标场景进行拍摄之前,处理器301执行:
根据预设参数初始化视频录制接口。
在一些实施例中,通过所述第一摄像头和所述第二摄像头对目标场景进行拍摄,获取第一视频流和第二视频流之后,处理器301执行:
基于所述第一视频流,在显示屏上进行视频录制的预览。
由上可知,本申请实施例提供了一种电子设备,所述电子设备通过具有不同焦距的第一摄像头和第二摄像头对目标场景进行拍摄,获取第一视频流和第二视频流,获取第一视频流中的第一图像,以及第二视频流中与第一图像对应的第二图像,对该第二图像进行畸变矫正处理,得到第三图像,对第三图像和第一图像进行对齐处理,将对齐处理后的第一图像和第三图像合并处理,得到第四图像,对多帧第四图像进行视频编码处理,生成三维视频。本发明通过电子设备的多个摄像头拍摄目标场景,对得到的图像进行合成处理,实现三维视频的录制。
本申请实施例还提供一种存储介质,所述存储介质中存储有计算机程序,当所述计算机程序在计算机上运行时,所述计算机执行上述任一实施例所述的视频拍摄方法。
需要说明的是,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过计算机程序来指令相关的硬件来完成,所述计算机程序可以存储于计算机可读存储介质中,所述存储介质可以包括但不限于:只读存储器(ROM,Read OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁盘或光盘等。
此外,本申请中的术语“第一”、“第二”和“第三”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块,而是某些实施例还包括没有列出的步骤或模块,或某些实施例还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
以上对本申请实施例所提供的视频拍摄方法、装置、存储介质及电子设备进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (9)
1.一种视频拍摄方法,其特征在于,所述方法应用于电子设备,所述电子设备包括第一摄像头和第二摄像头,所述方法包括:
当检测到拍摄模式切换至三维视频拍摄模式时,通过所述第一摄像头获取目标场景的预览图像,所述第一摄像头为标准摄像头;以及
根据所述预览图像,从广角摄像头和长焦摄像头中确定出目标摄像头,将所述目标摄像头作为所述第二摄像头;
通过所述第一摄像头和所述第二摄像头对目标场景进行拍摄,获取第一视频流和第二视频流,其中,所述第一摄像头与所述第二摄像头的焦距不同;
获取第一视频流中的第一图像,以及第二视频流中与所述第一图像对应的第二图像;
对所述第二图像进行畸变矫正处理,得到第三图像,具体包括:获取所述第二摄像头的标定参数,根据所述标定参数对所述第二图像进行畸变矫正处理,所述标定参数包括畸变系数、焦长、主点、旋转矩阵以及平移量中的至少一个;
对所述第三图像和所述第一图像进行对齐处理,将对齐处理后的第一图像和第三图像合并处理,得到第四图像;
对多帧所述第四图像进行视频编码处理,生成三维视频。
2.如权利要求1所述的视频拍摄方法,其特征在于,所述获取第一视频流中的第一图像,以及第二视频流中与所述第一图像对应的第二图像,包括:
获取第一视频流中的第一图像;
获取所述第一图像的时间戳;
根据所述时间戳,从所述第二视频流中获取拍摄时刻与所述第一图像最接近的图像,作为与所述第一图像对应的第二图像。
3.如权利要求1所述的视频拍摄方法,其特征在于,所述对所述第三图像和所述第一图像进行对齐处理,包括:
对所述第一图像和所述第三图像进行特征点检测,得到匹配特征点对;
根据所述匹配特征点对计算单应性矩阵;
根据所述单应性矩阵,将所述第三图像上的像素点映射到所述第一图像,以将所述第三图像与所述第一图像对齐。
4.如权利要求1所述的视频拍摄方法,其特征在于,所述通过所述第一摄像头和所述第二摄像头对目标场景进行拍摄之前,还包括:
根据预设参数初始化视频录制接口。
5.如权利要求1至4任一项所述的视频拍摄方法,其特征在于,所述电子设备还包括显示屏,所述通过所述第一摄像头和所述第二摄像头对目标场景进行拍摄,获取第一视频流和第二视频流之后,还包括:
基于所述第一视频流,在所述显示屏上进行视频录制的预览。
6.一种视频拍摄装置,其特征在于,所述装置应用于电子设备,所述电子设备包括第一摄像头和第二摄像头,所述装置包括:
摄像头选择模块,用于:当检测到拍摄模式切换至三维视频拍摄模式时,通过所述第一摄像头获取目标场景的预览图像;以及
根据所述预览图像,从广角摄像头和长焦摄像头中确定出目标摄像头,将所述目标摄像头作为所述第二摄像头;
图像拍摄模块,用于通过所述第一摄像头和所述第二摄像头对目标场景进行拍摄,获取第一视频流和第二视频流,其中,所述第一摄像头与所述第二摄像头的焦距不同;
图像获取模块,用于获取第一视频流中的第一图像,以及第二视频流中与所述第一图像对应的第二图像;
图像矫正模块,用于对所述第二图像进行畸变矫正处理,得到第三图像,具体包括:获取所述第二摄像头的标定参数,根据所述标定参数对所述第二图像进行畸变矫正处理,所述标定参数包括畸变系数、焦长、主点、旋转矩阵以及平移量中的至少一个;
对齐合并模块,用于对所述第三图像和所述第一图像进行对齐处理,将对齐处理后的第一图像和第三图像合并处理,得到第四图像;
视频编码模块,用于对所述第四图像进行视频编码处理,生成三维视频。
7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,当所述计算机程序在计算机上运行时,使得所述计算机执行如权利要求1至5 任一项所述的视频拍摄方法。
8.一种电子设备,包括处理器和存储器,所述存储器存储有计算机程序,其特征在于,所述处理器通过调用所述计算机程序,用于执行如权利要求1 至5任一项所述的视频拍摄方法。
9.一种电子设备,其特征在于,包括:
第一摄像头,所述第一摄像头用于对目标场景进行拍摄,以获得第一视频流;
第二摄像头,所述第二摄像头用于对所述目标场景进行拍摄,以获得第二视频流,所述第二摄像头与所述第一摄像头的焦距不同;
处理器,所述处理器分别与所述第一摄像头、所述第二摄像头电性连接,所述处理器用于:
当检测到拍摄模式切换至三维视频拍摄模式时,通过所述第一摄像头获取所述目标场景的预览图像;以及
根据所述预览图像,从广角摄像头和长焦摄像头中确定出目标摄像头,将所述目标摄像头作为所述第二摄像头;
获取第一视频流中的第一图像,以及第二视频流中与所述第一图像对应的第二图像;
对所述第二图像进行畸变矫正处理,得到第三图像,具体包括:获取所述第二摄像头的标定参数,根据所述标定参数对所述第二图像进行畸变矫正处理,所述标定参数包括畸变系数、焦长、主点、旋转矩阵以及平移量中的至少一个;
对所述第三图像和所述第一图像进行对齐处理,将对齐处理后的第一图像和第三图像合并处理,得到第四图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910756093.3A CN110636276B (zh) | 2019-08-06 | 2019-08-06 | 视频拍摄方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910756093.3A CN110636276B (zh) | 2019-08-06 | 2019-08-06 | 视频拍摄方法、装置、存储介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110636276A CN110636276A (zh) | 2019-12-31 |
CN110636276B true CN110636276B (zh) | 2021-12-28 |
Family
ID=68970368
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910756093.3A Active CN110636276B (zh) | 2019-08-06 | 2019-08-06 | 视频拍摄方法、装置、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110636276B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113395435A (zh) * | 2020-03-11 | 2021-09-14 | 北京芯海视界三维科技有限公司 | 实现3d拍摄的装置和3d显示终端 |
CN112866610B (zh) * | 2021-01-07 | 2023-08-04 | 卓望数码技术(深圳)有限公司 | 视频录制方法、电子设备及存储介质 |
CN112911264B (zh) * | 2021-01-27 | 2022-11-29 | 广东未来科技有限公司 | 3d拍摄方法、装置、存储介质及移动终端 |
CN113067994B (zh) * | 2021-03-31 | 2022-08-19 | 联想(北京)有限公司 | 一种视频录制方法及电子设备 |
CN114257760A (zh) * | 2021-12-10 | 2022-03-29 | 广东科凯达智能机器人有限公司 | 视频拼接处理方法、智能机器人及系统 |
CN115314636B (zh) * | 2022-08-03 | 2024-06-07 | 天津华来科技股份有限公司 | 基于摄像头的多路视频流处理方法和系统 |
CN118200751A (zh) * | 2022-12-13 | 2024-06-14 | Oppo广东移动通信有限公司 | 视频数据的处理方法、装置、存储介质及电子设备 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104363437A (zh) * | 2014-11-28 | 2015-02-18 | 广东欧珀移动通信有限公司 | 一种立体视频录制方法和立体视频录制设备 |
CN105868733A (zh) * | 2016-04-21 | 2016-08-17 | 腾讯科技(深圳)有限公司 | 一种人脸活体验证方法及装置 |
CN106550230A (zh) * | 2016-08-31 | 2017-03-29 | 深圳小辣椒虚拟现实技术有限责任公司 | 一种3d图像拍摄装置和方法 |
CN107730462A (zh) * | 2017-09-30 | 2018-02-23 | 努比亚技术有限公司 | 一种图像处理方法、终端及计算机可读存储介质 |
CN107820071A (zh) * | 2017-11-24 | 2018-03-20 | 深圳超多维科技有限公司 | 移动终端及其立体成像方法、装置及计算机可读存储介质 |
CN109166077A (zh) * | 2018-08-17 | 2019-01-08 | 广州视源电子科技股份有限公司 | 图像对齐方法、装置、可读存储介质及计算机设备 |
CN109729336A (zh) * | 2018-12-11 | 2019-05-07 | 维沃移动通信有限公司 | 一种视频图像的显示方法和装置 |
CN109785390A (zh) * | 2017-11-13 | 2019-05-21 | 虹软科技股份有限公司 | 一种用于图像矫正的方法和装置 |
CN109785225A (zh) * | 2017-11-13 | 2019-05-21 | 虹软科技股份有限公司 | 一种用于图像矫正的方法和装置 |
CN109951641A (zh) * | 2019-03-26 | 2019-06-28 | Oppo广东移动通信有限公司 | 图像拍摄方法和装置、电子设备、计算机可读存储介质 |
WO2019138163A1 (en) * | 2018-01-15 | 2019-07-18 | Nokia Technologies Oy | A method and technical equipment for encoding and decoding volumetric video |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9955056B2 (en) * | 2015-03-16 | 2018-04-24 | Qualcomm Incorporated | Real time calibration for multi-camera wireless device |
CN108900763B (zh) * | 2018-05-30 | 2022-03-22 | Oppo(重庆)智能科技有限公司 | 拍摄装置、电子设备及图像获取方法 |
-
2019
- 2019-08-06 CN CN201910756093.3A patent/CN110636276B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104363437A (zh) * | 2014-11-28 | 2015-02-18 | 广东欧珀移动通信有限公司 | 一种立体视频录制方法和立体视频录制设备 |
CN105868733A (zh) * | 2016-04-21 | 2016-08-17 | 腾讯科技(深圳)有限公司 | 一种人脸活体验证方法及装置 |
CN106550230A (zh) * | 2016-08-31 | 2017-03-29 | 深圳小辣椒虚拟现实技术有限责任公司 | 一种3d图像拍摄装置和方法 |
CN107730462A (zh) * | 2017-09-30 | 2018-02-23 | 努比亚技术有限公司 | 一种图像处理方法、终端及计算机可读存储介质 |
CN109785390A (zh) * | 2017-11-13 | 2019-05-21 | 虹软科技股份有限公司 | 一种用于图像矫正的方法和装置 |
CN109785225A (zh) * | 2017-11-13 | 2019-05-21 | 虹软科技股份有限公司 | 一种用于图像矫正的方法和装置 |
CN107820071A (zh) * | 2017-11-24 | 2018-03-20 | 深圳超多维科技有限公司 | 移动终端及其立体成像方法、装置及计算机可读存储介质 |
WO2019138163A1 (en) * | 2018-01-15 | 2019-07-18 | Nokia Technologies Oy | A method and technical equipment for encoding and decoding volumetric video |
CN109166077A (zh) * | 2018-08-17 | 2019-01-08 | 广州视源电子科技股份有限公司 | 图像对齐方法、装置、可读存储介质及计算机设备 |
CN109729336A (zh) * | 2018-12-11 | 2019-05-07 | 维沃移动通信有限公司 | 一种视频图像的显示方法和装置 |
CN109951641A (zh) * | 2019-03-26 | 2019-06-28 | Oppo广东移动通信有限公司 | 图像拍摄方法和装置、电子设备、计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110636276A (zh) | 2019-12-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110636276B (zh) | 视频拍摄方法、装置、存储介质及电子设备 | |
US10529051B2 (en) | Virtual lens simulation for video and photo cropping | |
CN106937039B (zh) | 一种基于双摄像头的成像方法、移动终端及存储介质 | |
CN109788189A (zh) | 将相机与陀螺仪融合在一起的五维视频稳定化装置及方法 | |
CN113630545B (zh) | 一种拍摄方法及设备 | |
CN103945045A (zh) | 一种数据处理的方法及装置 | |
CN106296589B (zh) | 全景图像的处理方法及装置 | |
CN108776822B (zh) | 目标区域检测方法、装置、终端及存储介质 | |
WO2021147921A1 (zh) | 图像处理方法、电子设备及计算机可读存储介质 | |
CN112614057A (zh) | 一种图像虚化处理方法及电子设备 | |
CN108513069B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN112637500B (zh) | 图像处理方法及装置 | |
CN106470313B (zh) | 影像产生系统及影像产生方法 | |
CN110661971A (zh) | 图像拍摄方法、装置、存储介质及电子设备 | |
CN114339102A (zh) | 一种录像方法及设备 | |
CN111327823A (zh) | 视频生成方法、装置及对应的存储介质 | |
KR20150091064A (ko) | 단일의 카메라를 이용하여 3d 이미지를 캡쳐하는 방법 및 시스템 | |
CN114429495A (zh) | 一种三维场景的重建方法和电子设备 | |
JP2018033107A (ja) | 動画の配信装置及び配信方法 | |
CN112738399B (zh) | 图像处理方法、装置和电子设备 | |
CN114071009B (zh) | 一种拍摄方法及设备 | |
CN113747044A (zh) | 一种全景拍摄方法及设备 | |
CN111385481A (zh) | 图像处理方法及装置、电子设备及存储介质 | |
CN108696698B (zh) | 摄像装置、电子设备及获取图像方法 | |
CN114979458B (zh) | 一种图像的拍摄方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |