CN112911264A - 3d拍摄方法、装置、存储介质及移动终端 - Google Patents

3d拍摄方法、装置、存储介质及移动终端 Download PDF

Info

Publication number
CN112911264A
CN112911264A CN202110107566.4A CN202110107566A CN112911264A CN 112911264 A CN112911264 A CN 112911264A CN 202110107566 A CN202110107566 A CN 202110107566A CN 112911264 A CN112911264 A CN 112911264A
Authority
CN
China
Prior art keywords
image
camera
calibration
shooting
code stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110107566.4A
Other languages
English (en)
Other versions
CN112911264B (zh
Inventor
贺曙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Future Technology Co ltd
Original Assignee
Guangdong Future Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Future Technology Co ltd filed Critical Guangdong Future Technology Co ltd
Priority to CN202110107566.4A priority Critical patent/CN112911264B/zh
Publication of CN112911264A publication Critical patent/CN112911264A/zh
Application granted granted Critical
Publication of CN112911264B publication Critical patent/CN112911264B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/246Calibration of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/257Colour aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明提供一种用于移动终端的3D拍摄方法,所述3D拍摄方法包括:选择视场角最大的摄像头为第一摄像头,视场角第二大的为第二摄像头,标记其位置关系为:LR或RL,及TB或BT,并记录第一摄像头和第二摄像头的间距及移动终端在横向拍摄时,第一摄像头与第二摄像头连线与水平线之间的夹角,其中夹角介于0和90度之间;执行校准标定程序;及执行3D拍摄程序。本发明还提供一种3D拍摄装置、存储介质及移动终端。本发明的3D拍摄方法具有以下优点:通过校准即可实现3D拍摄;以所述第二的摄像头为校准基准,可简化校准程序;根据所述位置关系标记、所述间距及所述夹角的方式来调整,可适应现有的移动终端的背面第一摄像头和第二摄像头任意排布。

Description

3D拍摄方法、装置、存储介质及移动终端
技术领域
本发明涉及立体显示领域,具体涉及一种3D拍摄方法、装置、存储介质及移动终端。
背景技术
3D是指三维空间。人的视觉之所以能分辨远近,是靠两只眼睛的差距。人的两眼分开约5公分,两只眼睛除了瞄准正前方以外,看任何一样东西,两眼的角度都不会相同。虽然差距很小,但经视网膜传到大脑里,脑子就用这微小的差距,产生远近的深度,从而产生立体感。一只眼睛虽然能看到物体,但对物体远近的距离却不易分辨。根据这一原理,如果把同一影像,用两只眼睛视角的差距制造出两个影像,然后让两只眼睛一边一个,各看到自己一边的影像,透过视网膜就可以使大脑产生景深的立体感了。各式各样的立体演示技术,也多是运用这一原理,我们称其为“偏光原理”。
现有技术的移动终端包括同向设置的第一摄像头和第二摄像至少两个摄像头,但是所述第一摄像头与第二摄像头的参数不同,尤其利用所述移动终端横向拍摄时,由于部分移动终端的摄像头连线不与水平线平行,水平线上,拍摄的左眼影像和右眼影像无法直接融合形成3D画面,也就导致了现有的移动终端难以拍摄3D视频。
因此,有必要开发一种移动终端,可以实现所述第一摄像头与第二摄像头的参数不同时,仍然可以拍摄3D视频。
发明内容
本发明为了解决上述移动终端的第一摄像头与第二摄像头的参数不同时难以3D拍摄的技术问题,提供一种用于移动终端的3D拍摄方法。
同时,本发明还提供一种3D拍摄装置、存储介质及移动终端。
一种3D拍摄方法,包括:
步骤S01、提供移动终端,所述移动终端包括同向设置的至少两个摄像头;
步骤S02、在上述摄像头中选择视场角最大的摄像头为第一摄像头,视场角第二大的为第二摄像头,标记其位置关系为:LR或RL,及TB或BT,并记录所述第一摄像头和所述第二摄像头的间距及所述移动终端在横向拍摄时,所述第一摄像头与所述第二摄像头连线与水平线之间的夹角,其中所述夹角介于0和90度之间,包括0和90度;
步骤S03、执行校准标定程序:以所述第二摄像头为基准,对所述第一摄像头进行校准,获得3D拍摄校准参数并存储,其中,所述3D拍摄校准参数包括拍摄区域校准参数、视差误差校准参数、颜色映射校准参数及亮度校准参数;
步骤S04、执行3D拍摄程序:所述移动终端横向拍摄时,所述第一摄像头和所述第二摄像头同步拍摄目标场景分别获得第一码流和第二码流,获取所述第一码流中的第一图像,以及所述第二码流中与所述第一图像对应的第二图像;读取所述3D拍摄校准参数,对所述第一图像进行校准获得第三图像,以使所述第三图像与所述第二图像在拍摄区域、图像配色、图像亮度及图像色彩均衡度保持一致;根据所述视差误差校准参数调整所述第三图像,消除其与所述第二图像的视差误差,得到第四图像;根据所述位置关系、所述间距及所述夹角,将所述第四图像与所述第二图像合并生成立体画面,对多帧所述立体画面进行视频编码处理,生成三维视频。
优选地,所述步骤S02的方法为人工选择所述第一摄像头和所述第二摄像头,设置所述LR或RL及TB或BT位置关系标记,测量所述夹角,将所述标记、夹角参数及所述第一摄像头和所述第二摄像头的信息录入并存储于所述3D拍摄程序。
优选地,所述步骤S03包括:
步骤S31、提供载体及设于所述载体表面的3D拍摄校准图样,所述校准图样包括多个校准基点和多个颜色块;
步骤S32、所述第一摄像头,拍摄所述3D拍摄校准图样,生成第一校准图像;所述第二摄像头,拍摄所述3D拍摄校准图样,生成第二校准图像;
步骤S33、以所述第二校准图像为基准,对所述第一校准图像进行校准计算生成3D拍摄校准参数;
步骤S34、存储上述3D拍摄校准参数;
优选地,所述步骤S33包括:
对所述第一校准图像和所述第二校准图像进行图像匹配算法,在所述第一校准图像中找到所述第二校准图像匹配的区域,将所述第一校准图像旋转、平移、缩放及裁剪,获得与所述第二校准图像尺寸一致及像素吻合的图像,从而获得所述拍摄区域校准参数,即图像进行旋转、平移、缩放、裁剪的参数;
将所述第一校准图像与所述第二校准图像逐像素匹配后,对图像中各颜色块进行比较,获得所述颜色映射校准参数;
所述第一校准图像与所述第二校准图像整体亮度进行比较,获得所述亮度校准参数;
对所述第一校准图像与所述第二校准图像中的校准基点进行位置比较,获得所述视差误差校准参数。
优选地,获取所述第一码流中的第一图像,以及所述第二码流中与所述第一图像对应的第二图像,包括如下步骤:
获取第一码流中的第一图像;
获取所述第一图像的时间戳;
根据所述时间戳,从所述第二码流中获取拍摄时刻与所述第一图像最接近的图像,作为与所述第一图像对应的第二图像。
优选地,所述根据所述视差误差校准参数调整所述第三图像,消除其与所述第二图像的视差误差,得到第四图像,包括如下步骤:
对比所述第三图像和所述第二图像,进行图像匹配算法,由配对像素x,y坐标值,结合所述位置关系、所述间距及所述夹角,计算此像素的景深,从而确定全部像素的景深;
依据所述全部像素的景深和视差误差校准参数,对所述第三图像进行调整,得到第四图像,使所述得到第四图像与所述第二图像具有视差。
优选地,所述计算此像素的景深的公式为:
Figure BDA0002918130620000041
其中,z为此像素拍摄区域的景深,f为3D拍摄校准时,所述3D拍摄校准图样与所述第一摄像头和所述第二摄像头的垂直距离,l为所述第一摄像头与所述第二摄像头的水平间距,
Figure BDA0002918130620000042
为所述第一摄像头与所述第二摄像头连线与水平线之间的夹角,x为所述第一图像中此像素点距离画面中心的距离,x′为所述第二图像中此像素点距离画面中心的距离。
一种3D拍摄装置,所述3D拍摄装置应用于电子设备,所述电子设备包括人工选择的第一摄像头和第二摄像头,视场角最大的摄像头为所述第一摄像头,视场角第二大的为所述第二摄像头,所述3D拍摄装置包括:
图像拍摄模块,用于通过所述第一摄像头和所述第二摄像头对目标场景进行拍摄,获取第一码流和第二码流,其中,所述第一摄像头与所述第二摄像头同向设置;
图像获取模块,用于获取第一码流中的第一图像,以及第二码流中与所述第一图像对应的第二图像;
图像校准模块,用于对所述第一图像进行校准处理,得到第三图像;
视差校准模块,用于对所述第三图像和所述第二图像进行视差处理,得到第四图像;
合并模块,第四图像和第二图像合并处理,得到立体画面;
视频编码模块,用于对所述立体画面进行视频编码处理,生成三维视频。
一种存储介质,所述存储介质上存储有校准标定程序和3D拍摄程序,所述校准标定程序和所述3D拍摄程序被处理器执行时,实现上述的3D拍摄方法。
一种移动终端,包括双摄像头、存储器、处理器、校准标定程序及3D拍摄程序,所述校准标定程序和所述3D拍摄程序被存储在所述存储器中并被配置为由所述处理器执行的应用程序,所述应用程序被配置为用于执行上述的3D拍摄方法。
相对于现有技术,本发明的3D拍摄方法、装置、存储介质及移动终端具有以下优点:
第一、通过所述第一摄像头与所述第二摄像头拍摄3D拍摄校准图样进行校准即可实现3D拍摄,操作简单且3D拍摄成本低;
第二、以所述第二的摄像头为校准基准,可简化校准程序,运算更便捷,响应速度更快;
第三、根据所述位置关系标记、所述间距l及所述夹角
Figure BDA0002918130620000051
的方式来调整所述第一目标校准图像与所述第二目标图像具有视差,可适应现有的移动终端的背面所述第一摄像头和所述第二摄像头任意排布。
附图说明
图1是本发明揭示的一种3D拍摄装置的立体组装示意图;
图2是图1所示3D拍摄校准装置的立体组装示意图;
图3是图2所示3D拍摄校准图样的平面图;
图4是图1所示的一种移动终端的正面平面图;
图5是图4所示移动终端的背面平面图;
图6是图4所示的移动终端横向拍摄时背面示意图;
图7是图4所示的移动终端的3D拍摄方法流程框图;
图8是图4所示的景深计算公式的参考示意图;
图9是本发明揭示的另一种移动终端的背面平面图。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
第一实施例
请参阅图1,图1是本发明揭示的一种3D拍摄装置的立体组装示意图。所述3D拍摄装置10,包括3D拍摄校准装置11和移动终端13。其中,所述移动终端13可以是智能手机、平板电脑、掌上电脑、笔记本电脑或者台式电脑等移动终端,本实施例以智能手机为例。
所述3D拍摄校准装置11包括上盖111、3D拍摄校准图样112、下盖113及支撑体115,如图2所示。
所述3D拍摄校准图样112设于所述上盖111的内侧表面。所述3D拍摄校准图样112包括校准基点1121和颜色块1123,如图3所示。所述校准基点1121的数量为5,分别位于所述3D拍摄校准图样112的四个角和中心点,用于校准3D拍摄的区域。所述颜色块1123的数量优选为256,每个颜色块的RGB值都不同,主要用于校准3D拍摄的颜色、亮度、亮度均衡度等信息。
所述下盖113平放于水平台面,与所述上盖111的内侧表面相对设置。所述3D拍摄校准图样112正对所述下盖113的内侧表面。
所述支撑体115夹设于所述上盖111与所述下盖113之间。所述支撑体115支撑所述上盖111,使所述上盖111与所述下盖115间隔一段距离,所述支撑体115配合所述上盖111及所述下盖115围成3D拍摄校准空间。
所述移动终端13为iPhone12 Pro Max,所述移动终端13包括第一摄像头131、第二摄像头133、第三摄像头134、处理器、存储器、校准标定程序、3D拍摄程序、显示屏137及3D光栅135,如图4、图5及图6所示。其中,所述处理器分别与所述第一摄像头131、所述第二摄像头133、所述第三摄像头134及所述存储器电性连接。
所述第一摄像头131、所述第二摄像头133及所述第三摄像头134同向设置于所述移动终端13的背面,其中,所述第一摄像头131为视场角最大的摄像头,所述第二摄像头133为视场角第二大的摄像头,所述第三摄像头134为视场角最小的摄像头。所述视场角的测量方法可以根据单个摄像头拍摄的画面的大小进行判断。
所述第一摄像头131和所述第二摄像头133的间距为l,所述移动终端13横向拍摄时,所述第一摄像头131与所述第二摄像头133的连线与水平线之间的夹角为
Figure BDA0002918130620000071
其中
Figure BDA0002918130620000072
为60度。
所述第一摄像头131和所述第二摄像头133同步拍摄所述3D拍摄校准图样112,分别获得第一校准图样和第二校准图样。
所述处理器是所述移动终端13的控制中心,利用各种接口和线路连接整个所述移动终端13的各个部分,通过运行或调用存储在存储器内的计算机程序,以及调用存储在存储器内的数据,执行所述移动终端13的各种功能和处理数据,从而对所述移动终端13进行整体监控。
所述存储器可用于存储校准标定程序和3D拍摄程序等程序及数据。所述存储器存储的计算机程序中包含有可在所述处理器中执行的指令。所述计算机程序可以组成各种功能模块。所述处理器通过调用存储在所述存储器的计算机程序,从而执行各种功能应用以及数据处理。
所述3D显示屏137上贴设有3D光栅135,用于显示3D画面。
所述移动终端13的3D拍摄方法,如图7所示,包括以下步骤:
步骤S01、提供移动终端13,所述移动终端13包括同向设置的至少两个摄像头;
步骤S02、在上述摄像头中选择视场角最大的摄像头为第一摄像头131,视场角第二大的为第二摄像头133,标记其位置关系为:LR或RL,及TB或BT,并记录所述第一摄像头和所述第二摄像头的间距l及所述移动终端在横向拍摄时,所述第一摄像头131与所述第二摄像头133连线与水平线之间的夹角
Figure BDA0002918130620000081
其中,所述方法为人工选择所述第一摄像头131和所述第二摄像头133,设置所述LR或RL及TB或BT位置关系标记,测量所述夹角
Figure BDA0002918130620000082
将所述标记、间距l、夹角
Figure BDA0002918130620000083
及所述第一摄像头131和所述第二摄像头133的信息录入并存储于所述3D拍摄程序。
步骤S03、执行校准标定程序:以所述第二摄像头133为基准,对所述第一摄像头131进行校准,获得3D拍摄校准参数并存储,其中,所述3D拍摄校准参数包括拍摄区域校准参数、视差误差校准参数、颜色映射校准参数及亮度校准参数。
其中,以所述第二摄像头133的参数为基准,对所述第一摄像头131进行校准,获得3D拍摄校准参数。具体步骤包括:
搭建3D拍摄校准系统。所述下盖113平放于水平台面;所述移动终端13平放于所述下盖113的内侧表面,且所述第一摄像头131和所述第二摄像头133朝向所述移动终端13远离所述下盖113内侧表面的方向;所述支撑体115立设于所述下盖113内侧表面,并与所述移动终端13形成半包围开口的形状;所述上盖111放于所述支撑体115远离所述下盖113的一端,并使所述上盖111和所述下盖113间隔一定距离相对设置,所述3D拍摄校准图样112与所第一摄像头131和所述第二摄像头133正对设置。
所述第一摄像头131,拍摄所述3D拍摄校准图样,生成第一校准图像;所述第二摄像头133,拍摄所述3D拍摄校准图样,生成第二校准图像。
对所述第一校准图像和所述第二校准图像进行图像匹配算法,在所述第一校准图像中找到所述第二校准图像匹配的区域,将所述第一校准图像旋转、平移、缩放、裁剪,获得与所述第二校准图像尺寸一致,像素吻合的图像,从而获得拍摄区域校准参数,即图像进行旋转、平移、缩放、裁剪的参数。将所述第一校准图像与所述第二校准图像逐像素匹配后,对图像中各颜色块进行比较,获得颜色映射校准参数。
所述第一校准图像与所述第二校准图像整体亮度进行比较,获得亮度校准参数。
对所述第一校准图像与所述第二校准图像中的校准基点进行位置比较,获得视差误差校准参数。
所述存储器存储上述3D拍摄校准参数。
步骤S04、执行3D拍摄程序:所述移动终端13横向拍摄时,所述第一摄像头131和所述第二摄像头133同步拍摄目标场景分别获得第一码流和第二码流,获取所述第一码流中的第一图像,以及所述第二码流中与所述第一图像对应的第二图像;读取所述3D拍摄校准参数,对所述第一图像进行校准获得第三图像,以使所述第三图像与所述第二图像在拍摄区域、图像配色、图像亮度及图像色彩均衡度保持一致;根据所述视差误差校准参数调整所述第三图像,消除其与所述第二图像的视差误差,得到第四图像;根据所述位置关系标记、所述间距l及所述夹角
Figure BDA0002918130620000091
将所述第四图像与所述第二图像合并生成立体画面,对多帧所述立体画面进行视频编码处理,生成三维视频。
在3D拍摄模式下,所述第一摄像头131与所述第二摄像头133都会对目标场景进行连续不断的拍摄,分别的到第一码流和第二码流。所述第一码流和所述第二码流均是由连续多帧图像构成的。
由于所述第一摄像头131和所述第二摄像头133分别位于所述移动终端13背面的不同位置,他们在水平线或者垂直线上具有一定的距离,会从不同的角度对目标场景进行拍摄,再加上所述第一摄像头131与所述第二摄像头133的视场角不同,因此拍摄得到的目标场景也会具有不同的视角。
可以理解的是,为了提高视频合成的效率,所述第一摄像头131和所述第二摄像头133在进行视频录制时,可以具有相同的数据流格式、视频比特率、视频分辨率、视频帧率等。
由于视频是由连续的图像序列构成的,针对所述第一码流中的每一帧图像都需要与所述第二码流中与之对应的图像进行合成。故,按照拍摄时间由先至后的顺序,针对所述第一码流中的每一帧第一图像,从所述第二码流中找出与该第一图像对应的第二图像。
其中,获取所述第一码流中的第一图像,以及所述第二码流中与所述第一图像对应的第二图像,具体步骤包括:
获取第一码流中的第一图像;
获取所述第一图像的时间戳;
根据所述时间戳,从所述第二码流中获取拍摄时刻与所述第一图像最接近的图像,作为与所述第一图像对应的第二图像。
所述第一图像与所述第二图像对应是指所述第一图像的拍摄时刻与所述第二图像的拍摄时刻相同或者有最小的时间差。也就是说,在将第一码流中的第一图像与第二码流中的第二图像进行合成时,要保证帧同步。
根据所述视差误差校准参数调整所述第三图像,消除其与所述第二图像的视差误差,得到第四图像,包括:
对比所述第三图像和所述第二图像,进行图像匹配算法,由配对像素x,y坐标值,结合所述位置关系、所述间距及所述夹角,计算此像素的景深,从而确定全部像素的景深;
依据所述全部像素的景深和视差误差校准参数,对所述第三图像进行调整,得到第四图像,使所述得到第四图像与所述第二图像具有视差。
所述计算此像素的景深的公式为:
Figure BDA0002918130620000101
其中,z为此像素拍摄区域的景深,f为3D拍摄校准时,所述3D拍摄校准图样与所述第一摄像头和所述第二摄像头的垂直距离,为所述第一图像中此像素点距离画面中心的距离,x′为所述第二图像中此像素点距离画面中心的距离,如图8所示。
按照上述流程,不断地对所述第一码流和所述第二码流中的图像进行合成处理,得到连续的多帧立体画面,将这多帧立体画面进行编码处理,生成三维视频。
所述移动终端13的3D拍摄工作原理是:将所述第一摄像头131拍摄的画面校准为与所述第二摄像头133拍摄的画面的参数相同,以此获得一个左画面和一个右画面,形成3D画面。
相对于现有技术,本发明的移动终端13的3D拍摄方法具有以下优点:
第一、通过所述第一摄像头131与所述第二摄像头133拍摄3D拍摄校准图样进行校准即可实现3D拍摄,操作简单且3D拍摄成本低;
第二、以所述第二的摄像头133为校准基准,可简化校准程序,运算更便捷,响应速度更快;
第三、根据所述位置关系标记、所述间距l及所述夹角
Figure BDA0002918130620000111
方式来调整所述第一目标校准图像与所述第二目标图像具有水平视差,可适应现有的移动终端13的背面所述第一摄像头131和所述第二摄像头133任意排布。
第二实施例
所述移动终端13为华为P40 Pr+,与第一实施例的主要区别在于,所述移动终端13的背面包括5个摄像头,具体为第一摄像头131、第二摄像头133、第三摄像头132、第四摄像头134及第五摄像头136,如图9所示。其中,所述第一摄像头131为视场角最大的摄像头,所述第二摄像头133为视场角第二大的摄像头。
所述移动终端13的3D拍摄方法、原理及优点与第一实施例相同,不再一一赘述。
本发明还提供一种可读存储介质,所述存储介质中存储有校准标定程序和3D拍摄程序,当所述校准标定程序和3D拍摄程序在计算机上运行时,所述计算机执行上述3D视频拍摄方法。
本发明还提供一种3D拍摄装置,所述3D拍摄装置应用于电子设备,所述电子设备包括人工选择的第一摄像头和第二摄像头,视场角最大的摄像头为所述第一摄像头,视场角第二大的为所述第二摄像头,所述3D拍摄装置包括:
图像拍摄模块,用于通过所述第一摄像头和所述第二摄像头对目标场景进行拍摄,获取第一码流和第二码流,其中,所述第一摄像头与所述第二摄像头同向设置;
图像获取模块,用于获取第一码流中的第一图像,以及第二码流中与所述第一图像对应的第二图像;
图像校准模块,用于对所述第一图像进行校准处理,得到第三图像;
视差校准模块,用于对所述第三图像和所述第二图像进行视差处理,得到第四图像;
合并模块,第四图像和第二图像合并处理,得到立体画面;
视频编码模块,用于对所述立体画面进行视频编码处理,生成三维视频。
需要说明的是,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过计算机程序来指令相关的硬件来完成,所述计算机程序可以存储于计算机可读存储介质中,所述存储介质可以包括但不限于:只读存储器(ROM,Read OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁盘或光盘等。
以上所述仅为本发明的一个实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其它相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种用于移动终端的3D拍摄方法,其特征在于,包括:
步骤S01、提供移动终端,所述移动终端包括同向设置的至少两个摄像头;
步骤S02、在上述摄像头中选择设定视场角最大的摄像头为第一摄像头,视场角第二大的为第二摄像头,标记其位置关系为:LR或RL,及TB或BT,并记录所述第一摄像头和所述第二摄像头的间距及所述移动终端在横向拍摄时,所述第一摄像头与所述第二摄像头连线与水平线之间的夹角,其中所述夹角介于0和90度之间,包括0和90度;
步骤S03、执行校准标定程序:以所述第二摄像头为基准,对所述第一摄像头进行校准,获得3D拍摄校准参数并存储,其中,所述3D拍摄校准参数包括拍摄区域校准参数、视差误差校准参数、颜色映射校准参数及亮度校准参数;
步骤S04、执行3D拍摄程序:所述移动终端横向拍摄时,所述第一摄像头和所述第二摄像头同步拍摄目标场景分别获得第一码流和第二码流,获取所述第一码流中的第一图像,以及所述第二码流中与所述第一图像对应的第二图像;读取所述3D拍摄校准参数,对所述第一图像进行校准获得第三图像,以使所述第三图像与所述第二图像在拍摄区域、图像配色、图像亮度及图像色彩均衡度保持一致;根据所述视差误差校准参数调整所述第三图像,消除其与所述第二图像的视差误差,得到第四图像;根据所述位置关系、所述间距及所述夹角,将所述第四图像与所述第二图像合并生成立体画面,对多帧所述立体画面进行视频编码处理,生成三维视频。
2.根据权利要求1所述的方法,其特征在于,所述步骤S02的方法为人工选择所述第一摄像头和所述第二摄像头,设置所述LR或RL及TB或BT位置关系标记,测量所述夹角,将所述标记、夹角参数及所述第一摄像头和所述第二摄像头的信息录入并存储于所述3D拍摄程序。
3.根据权利要求1所述的方法,其特征在于,所述步骤S03包括:
步骤S31、提供载体及设于所述载体表面的3D拍摄校准图样,所述校准图样包括多个校准基点和多个颜色块;
步骤S32、所述第一摄像头,拍摄所述3D拍摄校准图样,生成第一校准图像;所述第二摄像头,拍摄所述3D拍摄校准图样,生成第二校准图像;
步骤S33、以所述第二校准图像为基准,对所述第一校准图像进行校准计算生成3D拍摄校准参数;
步骤S34、存储上述3D拍摄校准参数。
4.根据权利要求3所述的方法,其特征在于,所述步骤S33包括:
对所述第一校准图像和所述第二校准图像进行图像匹配算法,在所述第一校准图像中找到所述第二校准图像匹配的区域,将所述第一校准图像旋转、平移、缩放及裁剪,获得与所述第二校准图像尺寸一致及像素吻合的图像,从而获得所述拍摄区域校准参数,即图像进行旋转、平移、缩放、裁剪的参数;
将所述第一校准图像与所述第二校准图像逐像素匹配后,对图像中各颜色块进行比较,获得所述颜色映射校准参数;
所述第一校准图像与所述第二校准图像整体亮度进行比较,获得所述亮度校准参数;
对所述第一校准图像与所述第二校准图像中的校准基点进行位置比较,获得所述视差误差校准参数。
5.根据权利要求1所述的方法,其特征在于,获取所述第一码流中的第一图像,以及所述第二码流中与所述第一图像对应的第二图像,包括如下步骤:
获取第一码流中的第一图像;
获取所述第一图像的时间戳;
根据所述时间戳,从所述第二码流中获取拍摄时刻与所述第一图像最接近的图像,作为与所述第一图像对应的第二图像。
6.根据权利要求1所述的方法,其特征在于,所述根据所述视差误差校准参数调整所述第三图像,消除其与所述第二图像的视差误差,得到第四图像,包括如下步骤:
对比所述第三图像和所述第二图像,进行图像匹配算法,由配对像素x,y坐标值,结合所述位置关系、所述间距及所述夹角,计算此像素的景深,从而确定全部像素的景深;
依据所述全部像素的景深和视差误差校准参数,对所述第三图像进行调整,得到第四图像,使所述得到第四图像与所述第二图像具有视差。
7.根据权利要求6所述的方法,其特征在于,所述计算此像素的景深的公式为:
Figure FDA0002918130610000031
其中,z为此像素拍摄区域的景深,f为3D拍摄校准时,所述3D拍摄校准图样与所述第一摄像头和所述第二摄像头的垂直距离,l为所述第一摄像头与所述第二摄像头的水平间距,
Figure FDA0002918130610000032
为所述第一摄像头与所述第二摄像头连线与水平线之间的夹角,x为所述第一图像中此像素点距离画面中心的距离,x′为所述第二图像中此像素点距离画面中心的距离。
8.一种3D拍摄装置,其特征在于,所述3D拍摄装置应用于电子设备,所述电子设备包括人工选择的第一摄像头和第二摄像头,视场角最大的摄像头为所述第一摄像头,视场角第二大的为所述第二摄像头,所述3D拍摄装置包括:
图像拍摄模块,用于通过所述第一摄像头和所述第二摄像头对目标场景进行拍摄,获取第一码流和第二码流,其中,所述第一摄像头与所述第二摄像头同向设置;
图像获取模块,用于获取第一码流中的第一图像,以及第二码流中与所述第一图像对应的第二图像;
图像校准模块,用于对所述第一图像进行校准处理,得到第三图像;
视差校准模块,用于对所述第三图像和所述第二图像进行视差处理,得到第四图像;
合并模块,用于所述第四图像和第二图像合并处理,得到立体画面;
视频编码模块,用于对所述立体画面进行视频编码处理,生成三维视频。
9.一种存储介质,其特征在于,所述存储介质上存储有校准标定程序和3D拍摄程序,所述校准标定程序和所述3D拍摄程序被处理器执行时,实现权利要求1至8任一项所述的3D拍摄方法。
10.一种移动终端,包括双摄像头、存储器、处理器、校准标定程序及3D拍摄程序,所述校准标定程序和所述3D拍摄程序被存储在所述存储器中并被配置为由所述处理器执行的应用程序,其特征在于,所述应用程序被配置为用于执行权利要求1至8任一项所述的3D拍摄方法。
CN202110107566.4A 2021-01-27 2021-01-27 3d拍摄方法、装置、存储介质及移动终端 Active CN112911264B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110107566.4A CN112911264B (zh) 2021-01-27 2021-01-27 3d拍摄方法、装置、存储介质及移动终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110107566.4A CN112911264B (zh) 2021-01-27 2021-01-27 3d拍摄方法、装置、存储介质及移动终端

Publications (2)

Publication Number Publication Date
CN112911264A true CN112911264A (zh) 2021-06-04
CN112911264B CN112911264B (zh) 2022-11-29

Family

ID=76120477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110107566.4A Active CN112911264B (zh) 2021-01-27 2021-01-27 3d拍摄方法、装置、存储介质及移动终端

Country Status (1)

Country Link
CN (1) CN112911264B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102905147A (zh) * 2012-09-03 2013-01-30 上海立体数码科技发展有限公司 立体图像校正方法及装置
US20150077520A1 (en) * 2012-05-22 2015-03-19 Sony Computer Entertainment Inc. Information processor and information processing method
US20150287215A1 (en) * 2012-10-22 2015-10-08 Sony Computer Entertainment Inc. Image processor and image processing method
US20150339805A1 (en) * 2012-12-27 2015-11-26 Sony Computer Entertainment Inc., Information processing device, information processing system, and information processing method
CN109031642A (zh) * 2018-09-14 2018-12-18 广州弥德科技有限公司 一种通用的体视显微裸眼可视化的显示方法和系统装置
CN109068121A (zh) * 2018-09-04 2018-12-21 珠海康弘医疗科技有限公司 三维成像系统、三维成像系统校准方法及装置
CN110636276A (zh) * 2019-08-06 2019-12-31 RealMe重庆移动通信有限公司 视频拍摄方法、装置、存储介质及电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150077520A1 (en) * 2012-05-22 2015-03-19 Sony Computer Entertainment Inc. Information processor and information processing method
CN102905147A (zh) * 2012-09-03 2013-01-30 上海立体数码科技发展有限公司 立体图像校正方法及装置
US20150287215A1 (en) * 2012-10-22 2015-10-08 Sony Computer Entertainment Inc. Image processor and image processing method
US20150339805A1 (en) * 2012-12-27 2015-11-26 Sony Computer Entertainment Inc., Information processing device, information processing system, and information processing method
CN109068121A (zh) * 2018-09-04 2018-12-21 珠海康弘医疗科技有限公司 三维成像系统、三维成像系统校准方法及装置
CN109031642A (zh) * 2018-09-14 2018-12-18 广州弥德科技有限公司 一种通用的体视显微裸眼可视化的显示方法和系统装置
CN110636276A (zh) * 2019-08-06 2019-12-31 RealMe重庆移动通信有限公司 视频拍摄方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN112911264B (zh) 2022-11-29

Similar Documents

Publication Publication Date Title
TWI712918B (zh) 擴增實境的影像展示方法、裝置及設備
USRE47925E1 (en) Method and multi-camera portable device for producing stereo images
CN110809786B (zh) 校准装置、校准图表、图表图案生成装置和校准方法
US8208048B2 (en) Method for high dynamic range imaging
US8704881B2 (en) Stereoscopic image display apparatus
US20120274739A1 (en) Image splicing method and apparatus
WO2015199899A1 (en) Systems and methods for depth map extraction using a hybrid algorithm
JP2003187261A (ja) 3次元画像生成装置、3次元画像生成方法、立体画像処理装置、立体画像撮影表示システム、立体画像処理方法及び記憶媒体
TWI788739B (zh) 3d顯示設備、3d圖像顯示方法
JP2002159019A (ja) 表示制御装置、撮影位置推測装置、表示システム、撮影システム、画像位置決め方法、撮影位置推測方法、及び処理プログラムを記録した記録媒体
US20150271467A1 (en) Capture of three-dimensional images using a single-view camera
CN111866523B (zh) 全景视频合成方法、装置、电子设备和计算机存储介质
CN108450031B (zh) 图像捕获装置
CN110012236A (zh) 一种信息处理方法、装置、设备和计算机存储介质
CN110533728A (zh) 基于张正友标定的双目立体视觉相机的标定方法、装置及介质
US11627303B2 (en) System and method for corrected video-see-through for head mounted displays
CN112911264B (zh) 3d拍摄方法、装置、存储介质及移动终端
CN108124148A (zh) 一种单个视图影像转换多个视图影像的方法及装置
JP2017163528A (ja) 調整可能視差方向による3次元レンダリング
US9918070B2 (en) Method for description of object points of the object space and connection for its implementation
CN112752087A (zh) 3d拍摄校准装置、3d拍摄装置及3d拍摄校准方法
CN109191396B (zh) 人像处理方法和装置、电子设备、计算机可读存储介质
CN108616741A (zh) 一种应用在移动终端的3d拍摄装置及方法
KR101421442B1 (ko) 입체카메라 촬영위치 추적방법 및 그 시스템
CN108540790A (zh) 一种用于移动终端的立体图像获取方法、装置及移动终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant