CN113067984B - 双目拍摄矫正方法、双目拍摄矫正装置和电子设备 - Google Patents

双目拍摄矫正方法、双目拍摄矫正装置和电子设备 Download PDF

Info

Publication number
CN113067984B
CN113067984B CN202110343001.6A CN202110343001A CN113067984B CN 113067984 B CN113067984 B CN 113067984B CN 202110343001 A CN202110343001 A CN 202110343001A CN 113067984 B CN113067984 B CN 113067984B
Authority
CN
China
Prior art keywords
target
parameters
parameter
correction
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110343001.6A
Other languages
English (en)
Other versions
CN113067984A (zh
Inventor
庞若愚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202110343001.6A priority Critical patent/CN113067984B/zh
Publication of CN113067984A publication Critical patent/CN113067984A/zh
Application granted granted Critical
Publication of CN113067984B publication Critical patent/CN113067984B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例提供了一种双目拍摄矫正方法、双目拍摄矫正装置和电子设备,涉及摄像技术领域,可以解决因摄像头的几何状态发生变化,导致相机内参改变,从而影响双目拍摄效果的问题。一种双目拍摄矫正方法,应用于电子设备,包括:获取拍摄过程中目标画面对应的内参,内参包括目标参数;将目标参数与预设参数进行匹配,预设参数包括所述目标参数对应的参考参数;当预设参数的数值与目标参数的数值不匹配时,获取目标画面的显示信息,根据显示信息、显示信息与矫正目标参数的映射关系得到矫正目标参数,将参考参数以及目标参数的数值更新为矫正目标参数的数值;根据更新后的目标参数获得矫正内参,并根据矫正内参矫正所述目标画面。

Description

双目拍摄矫正方法、双目拍摄矫正装置和电子设备
技术领域
本申请涉及摄像技术领域,尤其涉及一种双目拍摄矫正方法、双目拍摄矫正装置和电子设备。
背景技术
随着智能移动终端的高速发展,移动终端的拍照功能越来越强大,很多用户都将移动终端当成一部随身的拍摄工具,因此,移动终端的拍摄效果的好坏已经成为用户衡量移动终端优劣的重要指标。
目前,单目拍摄已经无法满足日益增长的拍摄需求,因此,双目拍摄方案已经运用到了移动终端中。然而,在拍摄过程中,两个摄像头的几何状态可能不稳定,从而导致双目拍摄存在一定误差。
发明内容
本申请实施例提供了一种双目拍摄矫正方法、双目拍摄矫正装置和电子设备,以改善上述问题。
第一方面,提供一种双目拍摄矫正方法,应用于电子设备,包括:获取拍摄过程中目标画面对应的内参,内参包括目标参数;将目标参数与预设参数进行匹配,预设参数包括目标参数对应的参考参数;当预设参数的数值与目标参数的数值不匹配时,获取目标画面的显示信息,根据显示信息、显示信息与矫正目标参数的映射关系得到矫正目标参数,将参考参数以及目标参数的数值更新为矫正目标参数的数值;根据更新后的目标参数获得矫正内参,并根据矫正内参矫正目标画面。
第二方面,提供一种双目拍摄矫正装置,应用于电子设备,双目拍摄矫正装置包括获取模块以及处理模块。获取模块,用于获取拍摄过程中目标画面对应的内参,内参包括目标参数。处理模块,用于将目标参数与预设参数进行匹配,预设参数包括目标参数对应的参考参数;还用于当预设参数的数值与目标参数的数值不匹配时,获取目标画面的显示信息,根据显示信息、显示信息与矫正目标参数的映射关系得到矫正目标参数,将参考参数以及所述目标参数的数值更新为矫正目标参数的数值;还用于根据更新后的目标参数获得矫正内参,并根据矫正内参矫正目标画面。
第三方面,提供一种电子设备,包括:一个或多个处理器;存储器;一个或多个应用程序,其中一个或多个应用程序被存储在所述存储器中并被配置为由一个或多个处理器执行,一个或多个程序配置用于执行如第一方面所述的方法。
第四方面,提供一种计算机可读取存储介质,计算机可读取存储介质中存储有程序代码,所述程序代码可被处理器调用执行第一方面所述的方法。
本申请实施例提供的一种双目拍摄矫正方法、双目拍摄矫正装置和电子设备中,在拍摄时,自动调焦、光学防抖等操作可能导致内参中的目标参数改变,进而内参也随着目标参数改变。本申请实施例提出的方法可以针对目标参数改变导致内参改变的情况,对目标画面对应的内参进行更新,进而根据更新后的矫正内参矫正目标画面,避免因内参改变影响双目拍摄效果。在此基础上,由于本申请可以自动矫正目标画面,因此,可以代替售后重标定,节省售后成本。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的双目拍摄矫正方法的流程示意图;
图2为本申请实施例提供的双目拍摄矫正方法的过程示意图;
图3为本申请实施例提供的双目拍摄矫正方法的过程示意图;
图4为本申请实施例提供的双目拍摄矫正方法的过程示意图;
图5为本申请实施例提供的双目拍摄矫正方法的过程示意图;
图6为本申请实施例提供的双目拍摄矫正方法的流程示意图;
图7为本申请实施例提供的双目拍摄矫正方法的过程示意图;
图8为本申请实施例提供的双目拍摄矫正方法的流程示意图;
图9为本申请实施例提供的双目拍摄矫正方法的过程示意图;
图10为本申请实施例提供的双目拍摄矫正方法的流程示意图;
图11为本申请实施例提供的双目拍摄矫正方法的过程示意图;
图12为本申请实施例提供的双目拍摄矫正方法的过程示意图;
图13为本申请实施例提供的双目拍摄矫正方法的流程示意图;
图14为本申请实施例提供的双目拍摄矫正方法的过程示意图;
图15为本申请实施例提供的双目拍摄矫正装置的框图;
图16为本申请实施例提供的电子设备中各个模块的关系框图;
图17为本申请实施例提供的计算机可读存储介质与应用程序的关系框图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。需要说明的是,在不冲突的情况下,本申请的实施例中的特征可以相互结合。
背景技术提到,在拍摄过程中,两个摄像头的几何状态可能不稳定。具体的,导致两个摄像头的几何状态不稳定的因素可能是:
一、拍摄时自动对焦或者光学防抖,音圈拖着摄像头的镜头(lens)移动,导致摄像头的相机内参改变,从而影响拍摄效果。
二、用户使用过程中,出现摄像模组老化、摄像头跌落等现象,导致两个摄像头移位,导致摄像头的相机外参改变,从而影响拍摄效果。
而相关技术采用的离线标定得到的相机参数,并未考虑到上述几何状态变化带来的影响,因此,相关技术不能解决上述矫正误差问题。
基于此,发明人经研究提出一种双目摄像矫正方法、双目拍摄矫正装置和电子设备,可以解决因摄像头的几何状态发生变化,导致相机内参和外参改变,从而影响双目拍摄效果的问题。
其中,本申请不对两个摄像头的配置进行限定,两个摄像头的配置不同,工作原理不同,实现的效果也不相同。
例如,两个摄像头均为彩色摄像头,可以用于计算景深,实现背景虚化和重对焦;一个摄像头为彩色摄像头,另一个摄像头为黑白摄像头,可以提升暗光或液晶拍摄质量;一个摄像头为广角镜头,另一个摄像头为长焦镜头,可以实现光学变焦;一个摄像头为彩色摄像头,另一个摄像头为深度摄像头,可以用于三维重建。
本申请实施例不对电子设备的具体用途进行限定,只要电子设备至少包含两个摄像头,且两个摄像头可以同时拍摄,从而实现双目拍摄即可。
例如,电子设备可以是手机、相机、平板电脑等。
如图1所示,本申请实施例先针对摄像头的内参改变而影响双目拍摄效果,提出以下解决方案,本申请实施例提供一种双目拍摄矫正方法,应用于电子设备,所述方法包括:
S110、获取拍摄过程中目标画面对应的内参,内参包括目标参数。
如图2所示,两个摄像头同时工作用于拍摄同一场景时,可以得到M帧画面,目标画面为实时拍摄过程中的其中一帧画面,获取目标画面对应的内参。
在一些实施例中,本申请实施例的应用场景可以是拍摄照片,也可以是拍摄视频。
若应用场景为拍摄照片,从打开电子设备的拍摄界面起,到按下拍摄键的时间段,两个摄像头拍摄的画面为预览画面;按下拍摄键后两个摄像头拍摄的画面为拍摄画面。预览画面以及拍摄画面共同构成M帧画面。
若应用场景为拍摄视频,从打开电子设备的拍摄界面起,到按下拍摄键的时间段,两个摄像头拍摄的画面为预览画面;按下开始拍摄键起,到按下结束拍摄键的时间段,两个摄像头拍摄的画面为拍摄画面。预览画面以及拍摄画面共同构成M帧画面。
或者,若应用场景为拍摄视频,按下开始拍摄键起,到按下结束拍摄键的时间段,两个摄像头拍摄的拍摄画面为M帧画面。
在一些实施例中,M为实时动态变化的值,随着拍摄时间的延长,M越来越大,目标画面也是实时拍摄的画面。
M帧画面可以全部作为目标画面,并执行步骤S110~S140的步骤;或者,M帧画面中的部分画面作为目标画面。
示例的,拍摄过程中的画面的总帧数为M帧,目标画面为第a*N帧,a*N≤M,a、N、M均为正整数。
如图2所示,当N=1时,M帧画面均可作为目标画面;当N=3时,M帧画面中的第三帧画面、第六帧画面、第九帧画面……第3a帧画面,可以作为目标画面。
在一些实施例中,在量产前,可以根据摄像头自身的特性将摄像头的标定的内参写入电子设备中,在拍摄时,可以直接从电子设备中调用与每一帧画面对应的内参。
内参由焦距、像素、主点等多个参数共同决定,在拍摄时,自动对焦、光学防抖可能影响焦距的数值,从而影响内参的数值,本申请实施例的目标参数例如可以是焦距。
除了目标参数以外,内参还可以包括其他参数,目标参数可以是一个或者多个参数。
在一些实施例中,对于双目拍摄来说,两个摄像头具有独立的内参,进一步的,两个摄像头的目标参数也各自独立。
S120、将目标参数与预设参数进行匹配,预设参数包括目标参数对应的参考参数。
如图2所示,在获取到目标画面的内参后,可以将内参中目标参数的数值与预设参数中参考参数的数值进行匹配。
示例的,目标参数为焦距,参考参数也为焦距。当目标参数中焦距的数值与参考参数中焦距的数值相同时,目标参数的数值与预设参数的数值匹配;当目标参数中焦距的数值与参考参数中焦距的数值不相同时,目标参数的数值与预设参数的数值不匹配。
在一些实施例中,由于两个摄像头的内参以及目标参数各自独立,因此,预设内参包含的参考参数也与两个摄像头的目标参数一一对应。进一步的,将目标参数与预设参数进行匹配的过程,实际是分别将两个摄像头的目标参数与各自对应的参考参数进行匹配。
在一些实施例中,预设参数可以存储在电子设备的数据库、或数据集、查找表中,在获取到目标画面的内参时,可以直接从数据库、或数据集、或查找表中调用与设备参数。
S130、当预设参数的数值与目标参数的数值不匹配时,获取目标画面的显示信息,根据显示信息、显示信息与矫正目标参数的映射关系得到矫正目标参数,将参考参数以及目标参数的数值更新为矫正目标参数的数值。
如图3所示,当预设参数的数值与目标参数的数值不匹配时,可以获取目标画面的各个像素的显示信息,根据预先存储的显示信息与矫正目标参数的映射关系、以及显示信息得到矫正目标参数,并将目标参数的数值更新为矫正目标参数,进而根据更新后的目标参数执行步骤S140;将参考参数更新为矫正目标参数,以与下一目标画面对应的目标参数进行匹配。
在一些实施例中,显示信息可以是目标画面中各个像素的亮度信息、分辨率等。
在一些实施例中,在量产前,即可计算显示信息与矫正目标参数之间的映射关系,并将该映射关系存储于电子设备中,在预设参数的数值与目标参数的数值不匹配时,可以直接从电子设备调用该映射关系,在已知该映射关系以及显示信息的情况下,可以求得未知数矫正目标参数。
在一些实施例中,两个摄像头的目标参数是独立的,当预设参数的数值与目标参数的数值不匹配时,分别计算两个摄像头的矫正目标参数,并分别将两个摄像头的目标参数更新为矫正目标参数。
S140、根据更新后的目标参数获得矫正内参,并根据矫正内参矫正目标画面。
如图4所示,矫正内参由包括目标参数在内的多种参数共同决定,目标参数发生变化,内参也发生变化,可以根据更新后的目标参数获得矫正内参,并根据矫正内参矫正目标画面。
其中,步骤S140具体包括:
S141、根据更新后的目标参数、更新后的目标参数与矫正内参的映射关系得到矫正内参。
在量产前,即可计算目标参数与矫正内参的映射关系,并将该映射关系存储于电子设备中,在计算得到更新后的目标参数后,可以直接从电子设备调用该映射关系,在已知该映射关系以及更新后的目标参数的情况下,可以求得未知数矫正内参。
S142、根据内参以及矫正内参,得到内参与矫正内参的内参映射矩阵。
内参为目标画面对应的初始内参,矫正内参为对目标画面进行矫正后,目标画面对应的内参,通过内参以及矫正内参可以得到内参映射矩阵。其中,在得到内参映射矩阵后,还可以存储与矫正内参对应的内参映射矩阵。
S143、根据内参映射矩阵,矫正目标画面。
在得到内参映射矩阵后,可以利用内参映射矩阵对目标画面做处理。
在另一些实施例中,若M帧画面中的第a*N帧画面为目标画面,如图5所示,当当前画面不为M帧画面的第a*N帧画面时,可以根据用于矫正在当前画面之前、且距当前画面最近的目标画面的矫正内参,矫正当前画面。
示例的,N=3,当前画面为第八帧画面,那么在当前画面之前、且距当前画面最近的目标画面为第六帧画面,因此,可以根据矫正第六帧画面时更新的矫正内参以及存储的与该矫正内参对应的内参映射矩阵,来矫正第八帧画面。
在一些实施例中,由于两个摄像头的矫正目标参数是独立的,因此,更新后的两个摄像头的目标参数也是独立的,进一步的,两个摄像头更新后的矫正内参也是独立的。可以分别根据两个摄像头各自的内参以及矫正内参,计算得到各自的内参映射矩阵。本申请实施例提供一种双目拍摄矫正方法,在拍摄过程中,自动调焦、光学防抖等操作可能导致内参中的目标参数改变,进而内参也随着目标参数改变。本申请实施例提出的方法可以针对目标参数改变导致内参改变的情况,对目标画面对应的内参进行更新,进而根据更新后的矫正内参矫正目标画面,避免因内参改变影响双目拍摄效果。在此基础上,由于本申请可以自动矫正目标画面,因此,可以代替售后重标定,节省售后成本。
如图6所示,本申请实施例还提供一种双目拍摄矫正方法,包括:S110、获取拍摄过程中目标画面对应的内参,内参包括目标参数。
S120、将目标参数与预设参数进行匹配,预设参数包括目标参数对应的参考参数。
S131、当预设参数与目标参数不匹配时,获取目标画面中位于不同位置的多个区域的特征信息。
如图7所示,当预设参数与目标参数不匹配时,可以获取目标画面中位于不同位置的多个区域的特征信息,根据多个区域的特征信息,确定目标画面是否符合要求。其中,目标画面符合要求的评判标准可以是多个区域的特征信息均包含有效特征信息。
在一些实施例中,可以将整个目标画面划分成多个区域;或者,多个区域构成目标画面的一部分。
位于不同位置的多个区域可以包括多个像素,一个区域中像素的排布方式可以是x*y,x以及y均为大于或等于1的正整数。
S132、当多个区域均包含有效特征信息时,获取目标画面的显示信息。
参考图7所示,当多个区域均包含有效特征信息时,说明目标画面的多个区域均具有实际内容,可以排除目标画面部分区域具有实际内容、部分区域空白的情况。进一步的,获取目标画面的显示信息。
在一些实施例中,如图7所示,当多个区域中的至少部分区域不包含有效特征信息时,获取目标画面的下一帧画面作为新的目标画面,重新执行步骤S110、S120、以及步骤S131。
S133、根据显示信息、显示信息与矫正目标参数的映射关系得到矫正目标参数,将参考参数以及目标参数的数值更新为矫正目标参数的数值。
参考图7所示,根据预先存储的显示信息与矫正目标参数的映射关系、以及显示信息得到矫正目标参数,并将目标参数的数值更新为矫正目标参数,进而根据更新后的目标参数执行步骤S140;将参考参数更新为矫正目标参数,以与下一目标画面对应的目标参数进行匹配。
S140、根据更新后的目标参数获得矫正内参,并根据矫正内参矫正目标画面。
步骤S110、S120、以及S140的解释说明与前述实施例中步骤S110、S120、以及S140的解释说明相同,在此不再赘述。
本申请实施例提供一种双目拍摄矫正方法,当确定预设参数与目标参数不匹配之后、获取目标画面的显示信息之前,还可以先确定目标画面的多个区域是否都包含有效特征信息,避免目标画面包含大量空白未显示的区域,影响根据显示信息计算得到的矫正目标参数的计算结果。
如图8所示,本申请实施例还提供一种双目拍摄矫正方法,包括:
S110、获取拍摄过程中目标画面对应的内参,内参包括目标参数。
S120、将目标参数与预设参数进行匹配,预设参数包括目标参数对应的参考参数。
步骤S110以及S120的解释说明与前述实施例中步骤S110以及S120的解释说明相同,在此不再赘述。
S150、当预设参数与目标参数匹配时,根据内参矫正目标画面。
如图9所示,当预设参数与目标参数匹配时,可以直接调用与内参对应的内参映射矩阵,对目标画面进行矫正。
本申请实施例中,当预设参数与目标参数匹配时,可直接调用与内参对应的内参映射矩阵,并对目标画面进行矫正,无需重新更新目标画面对应的内参。
如图10所示,本申请实施例针对摄像头的内参以及外参改变而影响拍摄效果,提出以下解决方案,本申请实施例还提供一种双目拍摄矫正方法,包括:
S101、获取目标画面对应的外参。
如图11所示,两个摄像头同时工作用于拍摄同一场景时,可以得到M帧画面,目标画面为实时拍摄过程中的其中一帧画面,获取目标画面对应的外参。
在一些实施例中,步骤S101可以与获取目标画面的内参的步骤S110同时进行;或者,先执行步骤S101,再执行步骤S110;或者,先执行步骤S110,再执行步骤S101。
在一些实施例中,外参由两个摄像头各自的位置、相位等参数共同决定。
S102、确定是否需要更新外参。
如图11所示,可以根据两个摄像头当前的实际位置等信息,确定是否需要更新外参。外参由两个摄像头各自的位置、相位等参数共同决定,只要其中一个参数改变,外参也改变,外参一旦改变则需要更新外参。长时间不使用拍摄功能,可能导致过长时间未能矫正摄像头,导致外参改变;或者,电子设备与其他物体碰撞,导致摄像头移位,例如电子设备摔机等。
具体的,以电子设备摔机为例,确定是否需要更新外参,包括:
S1021、监测电子设备的状态。
可以检测电子设备的实时运动状态、所受外力情况等。
S1022、当监测到电子设备在预设时间段内摔机时,确定需要更新外参。
可以利用惯性测量单元(Inertial Measurement Unit,简称IMU)监测电子设备在预设时间内是否摔机,当监测到电子设备摔机,则摄像头可能发生位移,因此,确定需要更新外参。
S1023、当监测到电子设备在预设时间段内未摔机时,确定不更新外参。
当监测到电子设备在预设时间段内未摔机时,可以确定无外力导致摄像头发生位移,因此,无需更新外参。
在一些实施例中,预设时间可以是目标画面与上一目标画面之间的间隔时间。
S103、当需要更新外参时,获取目标画面的显示信息,根据显示信息、以及显示信息与矫正外参的映射关系得到矫正外参,将外参更新为矫正外参,并根据矫正外参矫正目标画面。
如图11所示,根据预先存储的显示信息与矫正外参的映射关系、以及显示信息得到矫正外参,并根据矫正外参矫正目标画面。
在一些实施例中,参考图12所示,利用矫正外参矫正目标画面后,还可以继续执行步骤S110~S140。
在一些实施例中,在量产前,即可计算显示信息与矫正外参之间的映射关系,并将该需要矫正外参时,可以直接从电子设备调用该映射关系,在已知该映射关系以及显示信息的情况下,可以求得未知数矫正外参。
S104、当不需要更新外参时,执行将目标参数与预设参数进行匹配的操作。
如图12所示,由于在拍摄过程中,可能出现频繁对焦的情况,因此,摄像头的内参频繁发生变化,当不需要更新外参时,还可以继续执行步骤S110~S140。
本申请实施例提供一种双目拍摄矫正方法,在矫正内参之前,还可以先确定是否需要对外参进行更新,通过对外参进行更新,进而根据更新后的矫正外参矫正目标画面,避免因外参改变影响双目拍摄效果。在此基础上,由于本申请可以自动矫正目标画面,因此,可以代替售后重标定,节省售后成本。
如图13所示,本申请实施例还提供一种双目拍摄矫正方法,包括:
S101、获取目标画面对应的外参。
S102、确定是否需要更新外参。
步骤S101以及S102的解释说明与前述实施例中步骤S101以及S102的解释说明相同,在此不再赘述。
S1031、当需要更新外参时,获取目标画面中位于不同位置的多个区域的特征信息。
当需要更新外参时,可以获取目标画面中位于不同位置的多个区域的特征信息,根据多个区域的特征信息,确定目标画面是否符合要求。其中,目标画面符合要求的评判标准可以是多个区域的特征信息均包含有效特征信息。
在一些实施例中,可以将整个目标画面划分成多个区域;或者,多个区域构成目标画面的一部分。
位于不同位置的多个区域可以包括多个像素,一个区域中像素的排布方式可以是x*y,x以及y均为大于或等于1的正整数。
S1032、当多个区域均包含有效特征信息时,获取目标画面的显示信息。
如图14所示,当多个区域均包含有效特征信息时,说明目标画面的多个区域均具有实际内容,可以排除目标画面部分区域具有实际内容、部分区域空白的情况。进一步的,获取目标画面的显示信息。
在一些实施例中,当多个区域均包含有效特征信息时,执行完步骤S1035后,执行步骤S110~S140的过程中,可不再检测目标画面的多个区域是否均包含有效特征信息。
在一些实施例中,如图14所示,当多个区域中的至少部分区域不包含有效特征信息时,获取目标画面的下一帧画面作为新的目标画面,重新执行步骤S101、S102、以及步骤S1031。
S1033、根据显示信息、以及显示信息与矫正外参的映射关系,将外参更新为矫正外参。
根据预先存储的显示信息与矫正外参的映射关系、以及显示信息得到矫正外参,并将外参更细为矫正外参,进而根据更新后的目标参数执行步骤S1034以及S1035。
S1034、根据外参以及矫正外参,得到外参与矫正外参的外参映射矩阵。
外参为目标画面对应的初始外参,矫正外参为对目标画面进行矫正后,目标画面对应的外参,通过外参以及矫正外参可以得到外参映射矩阵。其中,在得到外参映射矩阵后,还可以存储与矫正外参对应的外参映射矩阵。
S1035、根据外参映射矩阵,矫正目标画面。
在得到外参映射矩阵后,可以利用外参映射矩阵对目标画面做处理。
本申请实施例提供一种双目拍摄矫正方法,当需要更新外参之后、获取目标画面的显示信息之前,还可以先确定目标画面的多个区域是否都包含有效特征信息,避免目标画面包含大量空白未显示的区域,影响根据显示信息计算得到的矫正目标参数的计算结果。
如图15所示,本申请实施例还提供一种双目拍摄矫正装置100,双目拍摄矫正装置100包括获取模块101以及处理模块102。
获取模块101,用于获取拍摄过程中目标画面对应的内参,内参包括目标参数。
处理模块102,用于将目标参数与预设参数进行匹配,预设参数包括目标参数对应的参考参数。
处理模块102,还用于当预设参数的数值与目标参数的数值不匹配时,获取目标画面的显示信息,根据显示信息、显示信息与矫正目标参数的映射关系得到矫正目标参数,将参考参数以及目标参数的数值更新为矫正目标参数的数值。
处理模块102,还用于根据更新后的目标参数获得矫正内参,并根据矫正内参矫正目标画面。
在此基础上,双目拍摄矫正装置100还包括检测模块103。拍摄过程中的画面的总帧数为M帧,所述目标画面为第a*N帧,a*N≤M,a、N、M均为正整数,获取模块101获取拍摄过程中目标画面对应的内参之前,检测模块103用于确定当前画面是否为M帧画面的第a*N帧画面;当当前画面为M帧画面的第a*N帧画面时,当前画面为目标画面。当当前画面不为M帧画面的第a*N帧画面时,处理模块102用于根据用于矫正在所述当前画面之前、且距当前画面最近的目标画面的矫正内参,矫正当前画面。
处理模块102,还用于根据更新后的目标参数、更新后的目标参数与矫正内参的映射关系得到所述矫正内参;还用于根据内参以及所述矫正内参,得到内参与所述矫正内参的内参映射矩阵;还用于根据内参映射矩阵,矫正目标画面。
处理模块102,还用于当预设参数与目标参数匹配时,根据内参矫正目标画面。
处理模块102,还用于当预设参数与目标参数不匹配时,获取目标画面中位于不同位置的多个区域的特征信息;还用于当多个区域均包含有效特征信息时,获取目标画面的显示信息;还用于根据显示信息、显示信息与矫正目标参数的映射关系得到矫正目标参数,将参考参数以及目标参数的数值更新为矫正目标参数的数值。
获取模块101,还用于获取所述目标画面对应的外参。处理模块102,还用于确定是否需要更新所述外参;当需要更新外参时,获取目标画面的显示信息,根据显示信息、以及显示信息与矫正外参的映射关系得到矫正外参,将外参更新为矫正外参,并根据矫正外参矫正目标画面;当不需要更新外参时,执行将目标参数与预设参数进行匹配的操作。
双目拍摄矫正装置100还包括监测模块104,监测模块104用于监测电子设备的状态;还用于当监测到所述电子设备在预设时间段内摔机时,确定需要更新外参;还用于当监测到电子设备在预设时间段内未摔机时,确定不更新外参。
检测模块103,还用于当需要更新所述外参时,获取目标画面中位于不同位置的多个区域的特征信息;还用于当多个区域均包含有效特征信息时,获取所述目标画面的显示信息;根据显示信息、以及显示信息与矫正外参的映射关系,将外参更新为矫正外参;根据外参以及矫正外参,得到外参与矫正外参的外参映射矩阵;还用于根据外参映射矩阵,矫正目标画面。
本申请实施例提供了一种双目拍摄矫正装置,关于其解释说明以及有益效果可以参考前述实施例,在此不再赘述。
如图16所示,本申请另一实施例提供一种电子设备200,该电子设备200。本申请的电子设备200可以包括:一个或多个处理器201、存储器202、一个或多个应用程序203。其中一个或多个应用程序203被存储在存储器202中并被配置为由所述一个或多个处理器201执行,一个或多个应用程序203用于执行前述任一实施例所述的方法。
处理器201可以包括一个或者多个处理核。处理器201利用各种接口和线路连接整个电子设备200内的各个部分,通过运行或执行存储在存储器202内的指令、程序、代码集或指令集,以及调用存储在存储器202内的数据,执行电子设备200的各种功能和处理数据。可选地,处理器201可以采用数字信号处理(Digital Signal Processing,简称DSP)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)、可编程逻辑阵列(Programmable Logic Array,简称PLA)中的至少一种硬件形式来实现。处理器201可集成中央处理器(Central Processing Unit,简称CPU)、图像处理器(Graphics ProcessingUnit,简称GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器201中,单独通过一块通信芯片进行实现。
存储器202可以包括随机存储器(Random Access Memory,简称RAM),也可以包括只读存储器(Read-Only Memory,简称ROM)。存储器202可用于存储指令、程序、代码、代码集或指令集。存储器202可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备200在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
本申请实施例提供一种电子设备200,电子设备200的解释说明以及有益效果与前述实施例的解释说明以及有益效果相同,在此不再赘述。
如图17所示,其示出了本申请另一实施例提供的一种计算机可读存储介质300的结构框图。该计算机可读存储介质300中存储有程序代码,所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质300可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选的,计算机可读存储介质300包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。
计算机可读存储介质300具有执行上述方法中的任何方法步骤的应用程序203的存储空间。这些应用程序203可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。应用程序203可以例如以适当形式进行压缩。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种双目拍摄矫正方法,应用于电子设备,其特征在于,包括:
获取拍摄过程中目标画面对应的内参,所述内参包括目标参数;
将所述目标参数与预设参数进行匹配,所述预设参数包括所述目标参数对应的参考参数;
当所述预设参数的数值与所述目标参数的数值不匹配时,获取所述目标画面的显示信息,根据所述显示信息、所述显示信息与矫正目标参数的映射关系得到所述矫正目标参数,将所述参考参数以及所述目标参数的数值更新为所述矫正目标参数的数值;
根据更新后的目标参数获得矫正内参,并根据所述矫正内参矫正所述目标画面。
2.根据权利要求1所述的方法,其特征在于,拍摄过程中的画面的总帧数为M帧,所述目标画面为第a*N帧,a*N≤M,a、N、M均为正整数;所述获取拍摄过程中目标画面对应的内参之前,所述方法还包括:
确定当前画面是否为M帧画面的第a*N帧画面;
当所述当前画面为M帧画面的第a*N帧画面时,所述当前画面为目标画面;
当所述当前画面不为M帧画面的第a*N帧画面时,根据用于矫正在所述当前画面之前、且距所述当前画面最近的所述目标画面的矫正内参,矫正所述当前画面。
3.根据权利要求1所述的方法,其特征在于,所述根据更新后的目标参数获得矫正内参,并根据所述矫正内参矫正所述目标画面,包括:
根据更新后的目标参数、更新后的目标参数与矫正内参的映射关系得到所述矫正内参;
根据所述内参以及所述矫正内参,得到所述内参与所述矫正内参的内参映射矩阵;
根据所述内参映射矩阵,矫正目标画面。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:当所述预设参数与所述目标参数匹配时,根据所述内参矫正所述目标画面。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述当所述预设参数的数值与所述目标参数的数值不匹配时,获取所述目标画面的显示信息,根据所述显示信息、所述显示信息与矫正目标参数的映射关系得到所述矫正目标参数,将所述参考参数以及所述目标参数的数值更新为所述矫正目标参数的数值,包括:
当所述预设参数与所述目标参数不匹配时,获取所述目标画面中位于不同位置的多个区域的特征信息;
当所述多个区域均包含有效特征信息时,获取所述目标画面的显示信息;
根据所述显示信息、所述显示信息与所述矫正目标参数的映射关系得到所述矫正目标参数,将所述参考参数以及所述目标参数的数值更新为所述矫正目标参数的数值。
6.根据权利要求1-4任一项所述的方法,其特征在于,所述将所述目标参数与预设参数进行匹配之前,所述方法还包括:
获取所述目标画面对应的外参;
确定是否需要更新所述外参;
当需要更新所述外参时,获取所述目标画面的显示信息,根据所述显示信息、以及所述显示信息与矫正外参的映射关系得到矫正外参,将所述外参更新为矫正外参,并根据所述矫正外参矫正所述目标画面;
当不需要更新所述外参时,执行将所述目标参数与预设参数进行匹配的操作。
7.根据权利要求6所述的方法,其特征在于,所述确定是否需要更新所述外参,包括:
监测所述电子设备的状态;
当监测到所述电子设备在预设时间段内摔机时,确定需要更新所述外参;
当监测到所述电子设备在所述预设时间段内未摔机时,确定不更新所述外参。
8.根据权利要求6所述的方法,其特征在于,所述当需要更新所述外参时,将所述外参更新为矫正外参,并根据所述矫正外参矫正所述目标画面,包括:
当需要更新所述外参时,获取所述目标画面中位于不同位置的多个区域的特征信息;
当所述多个区域均包含有效特征信息时,获取所述目标画面的显示信息;
根据所述显示信息、以及所述显示信息与所述矫正外参的映射关系,将所述外参更新为所述矫正外参;
根据所述外参以及所述矫正外参,得到所述外参与所述矫正外参的外参映射矩阵;
根据所述外参映射矩阵,矫正所述目标画面。
9.一种双目拍摄矫正装置,应用于电子设备,其特征在于,包括:
获取模块,用于获取拍摄过程中目标画面对应的内参,所述内参包括目标参数;
处理模块,用于将所述目标参数与预设参数进行匹配,所述预设参数包括所述目标参数对应的参考参数;
处理模块,还用于当所述预设参数的数值与所述目标参数的数值不匹配时,获取所述目标画面的显示信息,根据所述显示信息、所述显示信息与矫正目标参数的映射关系得到所述矫正目标参数,将所述参考参数以及所述目标参数的数值更新为所述矫正目标参数的数值;
处理模块,还用于根据更新后的目标参数获得矫正内参,并根据所述矫正内参矫正所述目标画面。
10.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储器;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个应用程序配置用于执行如权利要求1-8任一项所述的方法。
CN202110343001.6A 2021-03-30 2021-03-30 双目拍摄矫正方法、双目拍摄矫正装置和电子设备 Active CN113067984B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110343001.6A CN113067984B (zh) 2021-03-30 2021-03-30 双目拍摄矫正方法、双目拍摄矫正装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110343001.6A CN113067984B (zh) 2021-03-30 2021-03-30 双目拍摄矫正方法、双目拍摄矫正装置和电子设备

Publications (2)

Publication Number Publication Date
CN113067984A CN113067984A (zh) 2021-07-02
CN113067984B true CN113067984B (zh) 2023-01-17

Family

ID=76565146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110343001.6A Active CN113067984B (zh) 2021-03-30 2021-03-30 双目拍摄矫正方法、双目拍摄矫正装置和电子设备

Country Status (1)

Country Link
CN (1) CN113067984B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113873157B (zh) * 2021-09-28 2024-04-16 维沃移动通信有限公司 拍摄方法、装置、电子设备和可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102509304A (zh) * 2011-11-24 2012-06-20 江南大学 基于智能优化的摄像机标定方法
CN109215087A (zh) * 2018-08-28 2019-01-15 维沃移动通信有限公司 一种双摄像头模组的标定方法、装置及终端
CN112132909A (zh) * 2020-09-23 2020-12-25 字节跳动有限公司 参数获取方法及装置、媒体数据处理方法和存储介质
CN112470192A (zh) * 2018-06-08 2021-03-09 Oppo广东移动通信有限公司 双摄像头标定方法、电子设备、计算机可读存储介质
CN112489114A (zh) * 2020-11-25 2021-03-12 深圳地平线机器人科技有限公司 图像转换方法、装置、计算机可读存储介质及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7349580B2 (en) * 2003-06-03 2008-03-25 Topcon Corporation Apparatus and method for calibrating zoom lens

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102509304A (zh) * 2011-11-24 2012-06-20 江南大学 基于智能优化的摄像机标定方法
CN112470192A (zh) * 2018-06-08 2021-03-09 Oppo广东移动通信有限公司 双摄像头标定方法、电子设备、计算机可读存储介质
CN109215087A (zh) * 2018-08-28 2019-01-15 维沃移动通信有限公司 一种双摄像头模组的标定方法、装置及终端
CN112132909A (zh) * 2020-09-23 2020-12-25 字节跳动有限公司 参数获取方法及装置、媒体数据处理方法和存储介质
CN112489114A (zh) * 2020-11-25 2021-03-12 深圳地平线机器人科技有限公司 图像转换方法、装置、计算机可读存储介质及电子设备

Also Published As

Publication number Publication date
CN113067984A (zh) 2021-07-02

Similar Documents

Publication Publication Date Title
CN108833785B (zh) 多视角图像的融合方法、装置、计算机设备和存储介质
EP4013033A1 (en) Method and apparatus for focusing on subject, and electronic device, and storage medium
CN105007421A (zh) 一种图片拍摄方法及移动终端
CN108848367B (zh) 一种图像处理的方法、装置及移动终端
CN109040523B (zh) 伪影消除方法、装置、存储介质及终端
CN109194866B (zh) 一种图像采集方法、装置、系统、终端设备和存储介质
CN111935398B (zh) 图像的处理方法、装置、电子设备和计算机可读介质
CN110177269B (zh) 双摄模组曝光同步校正方法及装置
CN107704798B (zh) 图像虚化方法、装置、计算机可读存储介质和计算机设备
CN108777765B (zh) 获取全清晰图像的方法、装置及电子设备
CN111970518B (zh) 一种图像丢帧处理方法、系统、设备及计算机存储介质
CN113067984B (zh) 双目拍摄矫正方法、双目拍摄矫正装置和电子设备
CN112288664A (zh) 高动态范围图像的融合方法、装置和电子设备
CN110266926B (zh) 图像处理方法、装置、移动终端以及存储介质
CN113055601B (zh) 双目拍摄矫正方法、双目拍摄矫正装置和电子设备
CN112422942B (zh) 白平衡同步方法、镜头模组、电子设备
CN108259767B (zh) 图像处理方法、装置、存储介质及电子设备
CN108198226B (zh) 一种陶瓷颜色识别方法、电子设备、存储介质及装置
CN108540726B (zh) 连拍图像的处理方法、装置、存储介质及终端
CN109379521B (zh) 摄像头标定方法、装置、计算机设备和存储介质
CN114494005A (zh) 图像处理方法、装置、存储介质及电子设备
CN111932332A (zh) 虚拟试妆方法、装置、电子设备和计算机可读介质
US20220178681A1 (en) Identification method, projection method and identification system
CN116684742B (zh) 基于摄像头的全景视频会议系统
CN112040121B (zh) 调焦方法、装置、存储介质及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant