CN110175960A - 图像校正方法、装置、电子设备以及存储介质 - Google Patents

图像校正方法、装置、电子设备以及存储介质 Download PDF

Info

Publication number
CN110175960A
CN110175960A CN201910426025.0A CN201910426025A CN110175960A CN 110175960 A CN110175960 A CN 110175960A CN 201910426025 A CN201910426025 A CN 201910426025A CN 110175960 A CN110175960 A CN 110175960A
Authority
CN
China
Prior art keywords
parameter
current
mould group
camera
dual camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910426025.0A
Other languages
English (en)
Other versions
CN110175960B (zh
Inventor
黄友林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910426025.0A priority Critical patent/CN110175960B/zh
Publication of CN110175960A publication Critical patent/CN110175960A/zh
Application granted granted Critical
Publication of CN110175960B publication Critical patent/CN110175960B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例提供了图像校正方法、装置、电子设备以及存储介质。该方法包括:将双摄像头模组的外部参数存储至本地作为初始外部参数,将双摄像头模组的内部参数存储至本地作为初始内部参数;根据初始内部参数以及初始外部参数,确定初始标定文件;当外部参数发生改变时,获取双摄像头模组的当前外部参数;基于当前外部参数,确定双摄像头模组的当前标定文件;将初始标定文件替换为当前标定文件;以及根据当前标定文件校正双摄像头模组获取的图像。本申请提供的双摄像头图像校正方法,可以保证无支架连接的双摄像头模组具有良好的双摄的拍摄效果。

Description

图像校正方法、装置、电子设备以及存储介质
技术领域
本申请涉及图像处理领域,具体涉及一种双摄像头模组的图像校正方法、装置、电子设备以及存储介质。
背景技术
随着生活水平的提高,单摄像头已不能满足用户的需求,双摄像头已经成为了电子设备的标配。一般地,在双摄像头出厂前需要对其进行标定,以保证双摄像头模组的背景虚化效果。双摄像头安装在电子设备的壳体内时,通常被固定在支架上形成双摄像头模组,以保证双摄像头模组的稳固性,然后对双摄像头进行标定。在出厂之后,由于固定在支架上的两个摄像头之间的相对位置是确定的,若双摄像头出现故障,只需重新更换双摄像头模组即可,此时两个摄像头之间的相对的光学参数是已知的,因此不需要重新标定双摄像头模组,双摄像头模组的更换操作简单、方便。但是,对于两个摄像头之间未通过支架连接的双摄像头模组来说,两个摄像头之间的相对位置是未知的,当双摄像头出现故障时,若仅仅只更换摄像头,若摄像头得不到有效标定,会对双摄像头模组的拍摄效果产生影响。
发明内容
鉴于以上问题,本申请实施方式提供一种双摄像头模组的图像校正方法、装置、电子设备以及存储介质,可以保证无支架连接的双摄像头良好的背景虚化效果。
第一方面,本申请提供一种图像校正方法,应用于双摄像头模组的图像校正,双摄像头模组包括两个摄像头,双摄像头模组具有外部参数与内部参数,外部参数包括两个摄像头之间的相对位置信息,内部参数包括每个摄像头的光学参数,该方法包括:将双摄像头模组的外部参数存储至本地作为初始外部参数,将双摄像头模组的内部参数存储至本地作为初始内部参数;根据初始内部参数以及初始外部参数,确定初始标定文件;当外部参数发生改变时,获取双摄像头模组的当前外部参数;基于当前外部参数,确定双摄像头模组的当前标定文件;将初始标定文件替换为当前标定文件;以及根据当前标定文件校正双摄像头模组获取的图像。
第二方面,本申请提供一种图像校正装置,包括预存模块、初始确定模块、当前外参获取模块、当前文件确定模块、替换模块以及矫正模块。预存模块用于将双摄像头模组的外部参数存储至本地作为初始外部参数,将双摄像头模组的内部参数存储至本地作为初始内部参数;初始确定模块用于根据初始内部参数以及初始外部参数,确定初始标定文件;当前外参获取模块用于当外部参数发生改变时,获取双摄像头模组的当前外部参数;当前文件确定模块用于基于当前外部参数,确定双摄像头模组的当前标定文件;替换模块用于将初始标定文件替换为当前标定文件;校正模块用于根据当前标定文件校正双摄像头模组获取的图像。
第三方面,本申请提供一种电子设备,其应用于上述的双摄像头图像校正方法,该电子设备包括处理器以及一个或多个存储器,一个或多个存储器用于存储被处理器执行的程序指令,处理器执行程序指令时实施上述的方法。
第四方面,本申请提供一种存储介质,该可读存储介质存储有程序指令,程序指令被处理器执行时实施上述的方法
本申请提供的双摄像头图像校正方法、装置、电子设备以及存储介质,在本地预存摄像头的初始外部参数和初始内部参数,在双摄像头模组的外部参数发生变化时,获取新的当前外部参数,并根据当前外部参数确定当前标定文件,最后再根据当前标定文件来获取校正图像,进而保证了无支架连接的双摄像头良好拍摄效果(如背景虚化效果)。
本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请实施例提供的一种电子设备的结构示意图。
图2示出了本申请实施例提供的图像校正方法的流程图。
图3示出了本申请实施例提供的另一种图像校正方法的流程图。
图4示出了本申请实施例提供的图像校正装置的模块框图。
图5示出了本申请实施例提供的电子设备的模块框图。
具体实施方式
下面详细描述本申请的实施方式,实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本申请,而不能理解为对本申请的限制。
随着生活水平的提高,单摄像头已不能满足用户的需求,双摄像头模组已经成为了电子设备的标配。而由于两个摄像头之间的零件差异,需要对双摄像头模组进行标定,以校正两个摄像头的光轴和位置关系,进而保证理想的双摄虚化效果。其中,双摄像头模组通过内部参数和外部参数来进行光轴标定。内部参数指的是摄像头内部的参数,例如摄像头光学中心、畸变参数等,其用于校正畸变、光学中心定位校正等。外部参数描述的是两个摄像头之间的位置关系等,例如两个摄像头之间的光轴夹角和平移。
一般地,在双摄像头模组出厂前需要对其进行光轴标定,以保证双摄像头模组的拍摄效果,例如背景虚化效果。双摄像头安装在电子设备的壳体内时,通常被固定在支架上形成双摄像头模组,以保证双摄像头模组的稳固性,然后对双摄像头进行标定。当双摄像头模组中的任一个出现故障时,直接更换双摄像头模组即可。此时由于固定在支架上的两个摄像头之间的相对位置是确定的,所以两个摄像头之间的相对的光学参数(也称为外部参数)是确定的;并且由于双摄像头模组的自身的光学参数(也称为内部参数)是由其自身所决定,所以其内部参数也是确定的。因此,此时直接更换双摄像头模组之后不需要重新标定双摄像头模组,依然可以达到理想的拍摄效果,例如背景虚化效果。
但是,当双摄像头模组中的两个摄像头分别来自不同的厂商时,摄像头是独自组装的,其间没有任何支架连接,而是通过其他的结构分别固定(例如通过电子设备壳体的定位结构)。当双摄像头模组出现故障而重新更换摄像头时,由于两个摄像头之间没有通过支架固定,两个摄像头之间相对位置会受环境因素的影响,所以不确定更换之后的两个摄像头之间的相对位置,也即两个摄像头之间的外部参数发生了变化。所以,此时若仅仅只更换摄像头,会对双摄像头模组的拍摄效果效果产生影响。
为了解决上述问题,发明人经过长期研究,提出了本申请实施例中的双摄像头模组的图像校正方法、电子设备以及存储介质,本申请提供的双摄像头模组的图像校正方法、装置、电子设备以及存储介质,在本地预存摄像头的初始外部参数和初始内部参数,在双摄像头模组的外部参数发生变化时,获取新的当前外部参数,并根据当前外部参数确定当前标定文件,最后再根据当前标定文件来获取校正图像,进而保证了无支架连接的双摄像头良好拍摄效果(如背景虚化效果)。
为了使本技术领域的人员更好地理解本申请的方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整的描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
如图1所示,图1示意性地示出了一种电子设备100,其包括壳体110以及设于壳体110内的双摄像头模组120。其中,双摄像头模组120包括两个摄像头121,两个摄像头121可分别固定于壳体110内,也即,两个摄像头121之间未通过额外的固定支架连接。双摄像头模组120具有外部参数与内部参数,外部参数120包括两个摄像头121之间的相对位置信息,内部参数包括每个摄像头121的光学参数。
如图2所示,图2提供了一种双摄像头模组的图像校正方法200,应用于上述的电子设备100。该方法在本地预存摄像头的初始外部参数和初始内部参数,在双摄像头模组的外部参数发生变化时,获取新的当前外部参数,并根据当前外部参数确定当前标定文件,最后再根据当前标定文件来获取校正图像,进而保证了无支架连接的双摄像头良好拍摄效果(如背景虚化效果)。在本实施例中,该方法可以包括步骤S110~步骤S140。应该理解的是,虽然流程图中的各个步骤可以按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以其它的顺序执行。而且,即时至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
步骤S110:在本地预存摄像头的初始外部参数与初始内部参数。
本实施例中,双摄像头模组具有外部参数与内部参数,外部参数包括两个摄像头之间的相对位置信息,内部参数包括每个摄像头的光学参数。进一步地,将双摄像头模组的外部参数存储至本地作为初始外部参数,将双摄像头模组的内部参数存储至本地作为初始内部参数。
进步一地,电子设备在本地预存双摄像头模组的初始外部参数与初始内部参数。其中,外部参数包括双摄像头模组的两个摄像头之间的相对位置信息。进一步地,初始外部参数可以是双摄像头模组在厂内进行标定的,其描述的是两个摄像头之间的位置关系,该位置关系可以用二者的相对光学参数来体现,例如两个摄像头之间的光轴在三维空间中的偏移量或/及夹角。内部参数包括双摄像头模组的每个摄像头的光学参数。在本实施例中,初始内部参数同样可以为双摄像头模组在厂内进行标定的,其描述的是摄像头所对应的光学参数、成像参数等,例如焦距、畸变参数等。进步地,对应于两个摄像头,内部参数也有两个,其分别为第一内部参数以及第二内部参数,第一内部参数为其中一个摄像头的光学参数,第二内部参数为另一个摄像头的光学参数。当电子设备出厂后,摄像头未被更换时,双摄像头模组所具有的外部参数被认为是初始外部参数,双摄像头模组所具有的内部参数被认为是初始内部参数。
进一步地,电子设备将初始外部参数和初始内部参数预存入主板的Persis分区中。Persist分区用于保存恢复出厂设置保护(Factory Reset Protection,FRP)功能用到的账号、密码等受保护的信息,避免在电子设备在恢复出厂设置后将该信息清空。将初始外部参数与初始内部参数预存入主板的Persist分区中,使初始外部参数与初始内部参数不会轻易地被删除,进而提高用户误操作的容错率,同时也加强了双摄像头模组的稳定性。
值得注意的是,摄像头内预存有其自身的内部参数。由于本实施例的每个摄像头可以分别由不同的厂商提供,当双摄像头模组在未安装至电子设备中时,每个摄像头的内部参数已经被确定。进一步地,内部参数被存入双摄像头模组的带电可擦可编程只读存储器(Electrically Erasable Programmable Read Only Memory,EEPROM)。可以理解的是,当两个摄像头之间通过支架固定时,两个摄像头之间的外部参数始终是确定的,因此,此时可将双摄像头模组的外部参数和内部参数均存入双摄像头模组中,进而在更换双摄像头模组后不需要重新标定摄像头也能保持良好的拍摄效果。而在本实施例中,由于两个摄像头之间未通过额外的固定支架连接,在更换双摄像头后初始外部参数无法确定,所以无法将初始外部参数同样存入双摄像头模组的EEPROM中,此时,本申请的实施例中,将初始外部参数预存入主板的Persist分区,保证了双摄像头模组的具有后续图像标定的依据,有利于保证双摄像头模组的拍摄效果。
S120:根据初始外部参数和初始内部参数确定初始标定文件。
本实施例中,电子设备根据初始外部参数和初始内部参数确定初始标定文件,初始标定文件至少包括双摄像头模组的外部参数和内部参数,初始标定文件用于对双摄像头模组拍摄的图像进行校正,校正可以包括畸变校正,光轴校正等。可以理解的是,由于初始外部参数是在厂内双摄像头模组安装后所标定的,通过初始外部参数和矫正内部参数确定的初始标定文件,能够使双摄像头模组的拍摄效果(如通过两个摄像头实现的背景虚化的效果)能达到最佳。
S130:当外部参数发生改变时,获取双摄像头模组的当前外部参数,并基于当前外部参数,确定双摄像头模组的当前标定文件。
在本实施方式中,双摄像头模组的外部参数发生改变,可以包括以下几种情况:两个摄像头之间的相对位置关系发生改变,例如,电子设备被拆机时,两个摄像头之间产生相对位移(如更换电子设备的主板或其他电子元件时);或者,两个摄像头中的任意一个被更换,例如,摄像头发生故障需要更换时。当双摄像头模组的外部参数发生改变,则应重新确定标定文件,以确保后续能够根据正确的标定文件校正双摄像头模组获取的图像。
进一步地,当双摄像头模组的外部参数发生改变,且双摄像头模组的摄像头未改变时,获取预设的预设的外部参数作为当前外部参数,并基于当前外部参数,确定当前标定文件。其中,预设的外部参数为双摄像头模组的外部参数经验值。
根据上文的描述,可以理解的是,当双摄像头模组的外部参数发生改变,且双摄像头模组的摄像头也改变时,应基于当前的两个摄像头的相对位置,重新确定当前摄像头的外部参数。此时,可以通过双摄像头模组的当前摄像头获取图像,根据当前摄像头的图像,确定当前摄像头的当前外部参数,并基于当前外部参数,确定当前标定文件。
当前标定文件至少包括双摄像头模组的外部参数和内部参数,其用于对双摄像头模组拍摄的图像进行校正,校正可以包括变校正,光轴校正等。当电子设备对所获取的图像进行校正时,目标标定文件用于作为校正图像的依据。
进一步地,在本实施例中,初始外部参数只在电子设备的主板内,所以在初始外部参数变化时可以理解为主板发生变化而导致初始外部参数发生变化,甚至是消失。可以理解的是,当主板发生故障时,初始外部参数可能发生错误或变化;而在更换了新的主板时,由于新的主板并没有预存入初始外部参数,所以此时便无法获取初始外部参数,也认为是初始外部参数发生了变化。
进一步地,在本实施例中,内部参数可以同时存在于电子设备的主板和双摄像头模组内,在内部参数发生变化时可以理解为主板或双摄像头模组中的任一个或多个摄像头发生变化而导致对应的内部参数发生变化。可以理解的是,当主板发生故障时,初始内部参数可能发生错误或变化;而在更换了新的主板时,由于新的主板并没有预存入初始内部参数,所以此时便无法获取初始内部参数,也认为是内部参数发生了变化。在双摄像头模组中的任一个或多个摄像头发生更换时,由于更换后的摄像头内同样存入有其自身的内部参数,且更换后的摄像头内部参数与原双摄像头模组的内部参数(也即主板中预存的初始内部参数)不一致,因此需要获取双摄像头模组的当前内部参数,以对双摄像头模组进行重新标定。
进一步地,当前内部参数由当前摄像头(也即更换后的摄像头)确定。可以理解的是,若任一个摄像头发生了更换,则当前摄像头为更换后的摄像头,也即当前内部参数为更换后的摄像头的内部参数;若双摄像头模组中的所有摄像头均没有发生更换,则当前摄像头为原摄像头,也即当前内部参数为原摄像头的初始内部参数。
进一步地,预设的外部参数可以同样预存在主板。预设的外部参数为电子设备所预存的双摄像头模组的外部参数,其可以与初始外部参数相同,同样用于表征两个摄像头之间的相对位置关系。进一步地,预设的外部参数可以为经验值,也即,针对同一类型的双摄像头模组,电子设备中预设有该类双摄像头的外部参数的经验值作为预设的外部参数。其中,外部参数的经验值,可以根据双摄像头模组在组装时的外部参数的平均值获取,也可以根据双摄像头模组在设计时的设计值获取。当双摄像头的外部参数发生变化时,则根据预设的预设的外部参数与当前内部参数确定当前标定文件。当内部参数发生变化时,则同样根据预设的预设的外部参数与当前内部参数确定当前标定文件。
步骤S140:将初始标定文件替换为当前标定文件。
在本实施例中,电子设备确定当前标定文件后,将当前标定文件写入主板中,并覆盖初始标定文件。
步骤S150:根据当前标定文件校正双摄像头模组获取的图像。
本实施例中,双摄像头模组获取图像后,电子设备根据当前标定文件校正图像。进一步地,在确定当前标定文件后,电子设备可根据当前标定文件校正双摄像头模组的光轴,进而使双摄像头模组拍摄的图像达到良好的拍摄效果。
本实施例提供的双摄像头模组的图像校正方法,在本地预存摄像头的初始外部参数和初始内部参数;在双摄像头模组的外部参数发生变化时,则根据当前外部参数参数确定当前标定文件,最后再根据当前标定文件来获取校正图像,进而保证了无支架连接的双摄像头良好的背景虚化效果。
如图3所示,图3示出了本申请实施例提供的另一种双摄像头模组的图像校正方法300,应用于上述的电子设备100。该方法可以包括以下步骤S210~S270。
步骤S210:根据第一摄像头和第二摄像头之间的位置关系确定初始外部参数。
本实施例中,双摄像头模组包括第一摄像头和第二摄像头。其中,第一摄像头和第二摄像头可分别单独地固定于电子设备的壳体中。可以理解的是,本申请中的第一摄像头与第二摄像头可分别由两个工厂所生产,并在电子设备组装过程中安装至电子设备的壳体内。进一步地,在第一摄像头和第二摄像头安装时确定第一摄像头和第二摄像头的初始外部参数。具体地,根据第一摄像头和第二摄像头之间的相对位置关系,确定第一摄像头和第二摄像头之间的初始外部参数,初始外部参数可以包括第一摄像头的光轴和第二摄像头的光轴的位置关系。
S220:在本地预存第一摄像头与第二摄像头之间的初始外部参数。
本实施例中,电子设备本地预存第一摄像头与第二摄像头之间的初始外部参数。具体地,将初始外部参数预存入主板的Persist分区中。
S230:本地预存第一摄像头与第二摄像头的初始内部参数。
本实施例中,电子设备本地预存第一摄像头与第二摄像头的初始内部参数。具体地,将第一摄像头的第一内部参数和第二摄像头的第二内部参数预存入主板的Persisit区中。进一步地,在厂内将第一摄像头内的EEPROM预存第一内部参数;将第二摄像头内的EEPROM预存第二内部参数;在第一摄像头和第二摄像头安装时,将第一摄像头的第一内部参数和第二摄像头的第二内部参数预存入主板的Persisit区中。
S240:根据初始外部参数和初始内部参数确定初始标定文件。
本实施例中,电子设备根据第一摄像头和第二摄像头之间的初始外部参数、第一摄像头的第一内部参数以及第二摄像头的第二内部参数确定初始标定文件。
初始标定文件至少包括双摄像头模组的外部参数和初始内部参数,其用于对双摄像头模组拍摄的图像进行校正,校正可以包括变校正,光轴校正等。可以理解的是,由于初始外部参数是在厂内双摄像头模组安装后所确定的,通过初始外部参数和内部参数确定的初始标定文件,能够使双摄像头模组的拍摄效果(如通过两个摄像头实现的背景虚化的效果)能达到最佳。
进一步地,执行步骤S240之后,可执行步骤S241~S242或步骤S243~步骤S244。
在一些实施方式中,执行步骤240后,可直接执行步骤S270。
步骤S241:当外部参数发生改变时,获取当前摄像头的当前外部参数,并基于当前外部参数,确定双摄像头模组的当前标定文件。
本实施例中,当前摄像头包括当前第一摄像头和当前第二摄像头。当前外部参数为当前第一摄像头和当前第二摄像头之间的外部参数。可以理解的是,当第一摄像头发生更换时,当前第一摄像头为更换后的第一摄像头;当第二摄像头发生更换时,当前第二摄像头为更换后的第二摄像头。同理,当第一摄像头没有发生更换时,当前第一摄像头为原第一摄像头;当第二摄像头没有发生更换时,当前第二摄像头为原第二摄像头。
进一步地,初始外部参数预存在主板内,当主板发生更换时,由于新的主板内并没有预存入初始内部参数,所以此时无法获取初始外部参数。进一步地,此时无法获取初始外部参数时。可以借助于预设的外部参数,获取当前外部参数。因此,此时可执行步骤S242,以便于获取当前外部参数。
在一些实施方式中,当电子设备拆机而不更换主板时,当前第一摄像头和当前第二摄像头之间可能会产生相对位移而使当前外部参数改变,此时由于主板内预存有初始外部参数而当前外部参数却发生变化,为了确定当前外部参数,此时可根据当前摄像头的图像来确定当前摄像头的当前外部参数,也即此时可执行步骤S250。
步骤S242:根据预设的外部参数与当前内部参数确定目标标定文件,确定双摄像头模组的当前标定文件。
本实施例中,电子设备根据预设的外部参数与当前内部参数确定目标标定文件。其中,预设的外部参数为预设的Golden值,Golden值可以是根据电子设备批量生产的初始外部参数,然后再依据该初始外部参数得到的平均值。Golden值预存在主板内,当重启主板时,便可获取Gloden值。也就是说,预设的外部参数预设在每个主板内,不管电子设备是否更换主板,均可获取预设的外部参数。
进一步地,在执行步骤S242之后,可执行步骤250。
在一些实施方式中,至执行步骤S242之后,还可以直接执行步骤S270。
进一步地,若内部参数发生改变,则获取摄像头模组的当前内部参数,根据当前内部参数以及当前外部参数,确定当前标定文件。其中,当前内部参数包括当前第一内部参数和当前第二内部参数。判断内部参数是否发生改变,可以包括步骤S243。
步骤243:获取当前摄像头的当前内部参数,并将当前内部参数与初始内部参数匹配。
本实施例中,电子设备获取当前摄像头的当前内部参数,并将当前内部参数与初始内部参数匹配。具体地,当前摄像头包括当前第一摄像头和当前第二摄像头;当前内部参数包括当前第一摄像头的当前第一内部参数以及当前第二摄像头的当前第二内部参数;初始内部参数包括第一摄像头的第一初始内部参数以及第二摄像头的第二初始内部参数。将当前第一内部参数与第一初始内部参数匹配以及将当前第二内部参数与第二初始内部参数匹配。若第一摄像头发生更换,则当前第一摄像头为更换后的第一摄像头,所以当前第一内部参数与第一初始内部参数不匹配(内部参数已发生改变);若第一摄像头没有发生更换,则当前第一摄像头为原第一摄像头,所以当前第一内部参数与第一初始内部参数匹配(内部参数未发生改变)。同理,若第二摄像头发生更换,则当前第二摄像头为更换后的第二摄像头,所以当前第二内部参数与第二初始内部参数不匹配(内部参数已发生改变);若第二摄像头没有发生更换,则当前第二摄像头为原第二摄像头,所以当前第二内部参数与第二初始内部参数匹配(内部参数未发生改变)。
进一步地,当前第一内部参数不匹配第一内部参数或/及当前第二内部参数不匹配第一内部参数时,也即,任意一个内部参数发生改变时,执行步骤S244。
步骤244:将初始内部参数替换为当前内部参数,并根据当前外部参数与当前内部参数确定目标标定文件。
具体地,若当前第一内部参数不匹配第一初始内部参数,且当前第二内部参数匹配第二初始内部参数,则将第一初始内部参数替换为当前第一内部参数。此时,根据当前第一内部参数、第二初始内部参数以及当前外部参数确定目标标定文件。
若当前第一内部参数匹配第一初始内部参数,且当前第二内部参数不匹配第二初始内部参数,则将第二初始内部参数替换为当前第二内部参数。此时,根据第一初始内部参数、当前第二内部参数以及当前外部参数确定目标标定文件。
当前第一内部参数不匹配第一初始内部参数,且当前第二内部参数不匹配第二初始内部参数,则将第一初始内部参数替换为当前第一内部参数、将第二初始内部参数替换为当前第二内部参数。此时,根据当前第一内部参数、当前第二内部参数以及当前外部参数确定目标标定文件。
当匹配后发现内部参数均未发生改变,则根据初始内部参数以及当前外部参数,确定当前标定文件。
在一些实施方式中,执行步骤S244之后,还可以直接执行步骤S270。
进一步地,上述的当前外部参数,可以基于预设的外部参数获取,若当前无预设的外部参数可用,例如,电子设备中的数据发生损坏时,可执行步骤S250,以便于根据当前摄像头所拍摄的图像来确定当前外部参数。
步骤S250:双摄像头模组的当前摄像头获取图像,根据当前摄像头的图像,确定当前摄像头的当前外部参数。
具体地,当前摄像头包括当前第一摄像头和当前第二摄像头。进一步地,通过当前第一摄像头拍摄第一组照片,并通过当前第二摄像头拍摄第二组照片。其中,第一组照片以及第二组照片可以同时获取或获取的时间间隔较小。例如,电子设备进行双摄像头模组的标定时,双摄像头模组已在电子设备的壳体内组装晚些,则电子设备执行一次拍摄指令(或标定指令),电子设备控制第一摄像头拍摄第一组照片,再控制第二摄像头拍摄第二组照片。因此,第一组照片与第二组照片的拍摄条件大致相同,例如,拍摄对象为同一个物体,且由于双摄像头模组的第一摄像头及第二摄像头之间存在相对位置偏差,使得两组的照片的拍摄角度有细微不同。根据第一组照片组内的差别和第二组照片组内的差别分别计算出当前第一摄像头和当前第二摄像头的空间位置,再根据第一摄像头和第二摄像头的空间位置计算出第一摄像头和第二摄像头之间的相对空间位置,根据相对空间位置可计算得到第一摄像头和第二摄像头之间的当前外部参数。
步骤S260:根据当前摄像头的当前外部参数与当前内部参数确定当前标定文件,并将初始标定文件替换为当前标定文件,。
本实施例中,根据当前第一摄像头和当前第二摄像头之间的当前外部参数、当前第一内部参数以及当前第二内部参数确定当前标定文件,并覆盖初始标定文件。其中,初始标定文件包括上述步骤S240、步骤S242以及步骤S244中所确定的初始标定文件。
步骤S270:根据当前标定文件校正双摄像头模组获取的图像。
本实施例中,根据步骤S260中所确定的当前标定文件获取校正图像,提升了双摄像头模组的拍摄效果。
在一些实施方式中,当前标定文件可以为步骤S240中所确定的初始标定文件。通过出厂时获取的初始外部参数、第一初始内部参数以及第二初始内部参数确定的标定文件,使双摄像头模组的图像拍摄效果(如背景虚化的效果)能达到最佳。
在一些实施方式中,当前标定文件可以为步骤S242中所确定的当前标定文件。通过预设的外部参数、当前第一内部参数以及当前第二内部参数确定的标定文件,达到良好的图像拍摄效果。
在一些实施方式中,当前标定文件可以为步骤S244中所确定的当前标定文件。通过当前第一初始内部参数、第二初始内部参数以及预设的外部参数确定的初始标定文件;或者,通过第一初始内部参数、当前第二内部参数以及预设的外部参数确定的初始标定文件;或者,根据当前第一内部参数、当前第二内部参数以及预设的外部参数确定的初始标定文件,能够达到良好的图像拍摄效果。
本实施例提供的双摄像头模组的图像校正方法,基于两个摄像头之间的外部参数和其本身的内部参数,可通过出厂时获取的初始外部参数、第一初始内部参数以及第二初始内部参数确定初始标定文件;或通过当前外部参数、当前第一内部参数以及当前第二内部参数确定当前标定文件;以及通过当前第一内部参数、第二初始内部参数以及当前外部参数确定当前标定文件;或者,通过第一初始内部参数、当前第二内部参数以及当前外部参数确定当前标定文件;或者,根据当前第一内部参数、当前第二内部参数以及当前外部参数确定当前标定文件;甚至可通过在上述标定文件的基础上覆盖基于当前第一摄像头和当前第二摄像头之间的当前外部参数、当前第一内部参数以及当前第二内部参数确定当前标定文件,以全方位的保证双摄像头模组的拍摄效果。
如图4所示,图4示出了本申请实施例提供的一种图像校正装置400,其用于运行上述的方法。该图像校正装置400包括:包括预存模块410,用于将所述双摄像头模组的外部参数存储至本地作为初始外部参数,将所述双摄像头模组的内部参数存储至本地作为初始内部参数;初始确定模块420,用于根据所述初始内部参数以及所述初始外部参数确定初始标定文件;当前外参获取模块430,用于当所述外部参数发生改变时,获取所述双摄像头模组的当前外部参数;当前文件确定模块440,用于基于所述当前外部参数确定所述双摄像头模组的当前标定文件;替换模块450,用于将所述初始标定文件替换为所述当前标定文件;校正模块460,用于根据所述当前标定文件校正所述双摄像头模组获取的图像。
其中,当前外参获取模块430包括:第一判断模块431,用于双摄像头模组的摄像头是否改变;图像确认模块432,用于根据所述当前摄像头的图像,确定所述当前摄像头的所述当前外部参数;预设外参获取模块433,用于获取预设的外部参数作为所述当前外部参数。
其中,当前文件确定模块440包括:第二判断模块441,用于判断内部参数是否发生改变;当前确定模块442,用于根据所述当前内部参数以及所述当前外部参数确定所述当前标定文件;初始确定模块443,用于根据所述初始内部参数以及所述当前外部参数,确定所述当前标定文件;匹配模块444,用于获取当前摄像头的当前内部参数,并将所述当前内部参数与所述初始内部参数匹配;初始替换模块445,用于将所述当前内部参数替换所述初始内部参数;
初始确认模块446,用于根据所述初始内部参数以及所述当前外部参数,确定所述当前标定文件。
本申请实施例提供的图像校正装置,在本地预存摄像头的初始外部参数和初始内部参数,在双摄像头模组的外部参数发生变化时,获取新的当前外部参数,并根据当前外部参数确定当前标定文件,最后再根据当前标定文件来获取校正图像,进而保证了无支架连接的双摄像头良好拍摄效果(如背景虚化效果)。
如图5所示,本申请实施例还提供一种电子设备500,其应用于上述的方法。该电子设备500可以包括处理器510以及一个或多个存储器520一个或多个存储520器用于存储被处理器510执行的程序指令,处理器510执行程序指令时实施上述的方法。
进一步地,处理器510可以包括一个或者多个处理核。处理器510运行或执行存储在存储器520内的指令、程序、代码集或指令集,以及调用存储在存储器520内的数据。可选地,处理器510可以采用数字信号处理(Digital SignalProcessing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器510可集成中央处理器(CentralProcessing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器中,单独通过一块通信芯片进行实现。
本申请实施例还提供一种存储介质,该存储介质中存储有程序代码,程序代码可被处理器调用执行上述方法实施例中所描述的方法。
存储介质可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地,存储介质包括非瞬时性计算机可读存储介REC质(non-transitory computer-readable storage medium)。存储介质具有执行上述方法中的任何方法步骤的程序代码的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码可以例如以适当形式进行压缩。
以上所述,仅是本申请的较佳实施例而已,并非对本申请作任何形式上的限制,虽然本申请已以较佳实施例揭示如上,然而并非用以限定本申请,任何本领域技术人员,在不脱离本申请技术方案范围内,当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本申请技术方案内容,依据本申请的技术实质对以上实施例所作的任何简介修改、等同变化与修饰,均仍属于本申请技术方案的范围内。

Claims (11)

1.一种图像校正方法,应用于双摄像头模组的图像校正,所述双摄像头模组包括两个摄像头,其特征在于,所述双摄像头模组具有外部参数与内部参数,外部参数包括两个所述摄像头之间的相对位置信息,内部参数包括每个所述摄像头的光学参数,所述方法包括:
将所述双摄像头模组的外部参数存储至本地作为初始外部参数,将所述双摄像头模组的内部参数存储至本地作为初始内部参数;
根据所述初始内部参数以及所述初始外部参数,确定初始标定文件;
当所述外部参数发生改变时,获取所述双摄像头模组的当前外部参数;
基于所述当前外部参数,确定所述双摄像头模组的当前标定文件;
将所述初始标定文件替换为所述当前标定文件;以及
根据所述当前标定文件校正所述双摄像头模组获取的图像。
2.根据权利要求1所述的方法,其特征在于,所述获取所述双摄像头模组的当前外部参数,包括:
当所述双摄像头模组的摄像头改变时,所述双摄像头模组的当前摄像头获取图像,根据所述当前摄像头的图像,确定所述当前摄像头的所述当前外部参数。
3.根据权利要求1所述的方法,其特征在于,所述获取所述双摄像头模组的当前外部参数,包括:
当所述双摄像头模组的摄像头未改变时,获取预设的外部参数作为所述当前外部参数,其中,所述预设的外部参数为所述双摄像头模组的外部参数经验值。
4.根据权利要求1所述的方法,其特征在于,所述基于所述当前外部参数,确定所述双摄像头模组的当前标定文件,包括:
若所述内部参数发生改变,则获取所述摄像头模组的当前内部参数,根据所述当前内部参数以及所述当前外部参数,确定所述当前标定文件。
5.根据权利要求4所述的方法,其特征在于,所述若所述内部参数发生改变,则获取所述摄像头模组的当前内部参数,包括:
获取当前摄像头的当前内部参数,并将所述当前内部参数与所述初始内部参数匹配;
若匹配失败,则确认所述内部参数发生改变,并将所述当前内部参数替换所述初始内部参数。
6.根据权利要求4所述的方法,其特征在于,所述基于所述当前外部参数,确定所述双摄像头模组的当前标定文件,还包括:
若所述内部参数未发生改变,则根据所述初始内部参数以及所述当前外部参数,确定所述当前标定文件。
7.根据权利要求6所述的方法,其特征在于,所述若所述内部参数未发生改变,则根据所述初始内部参数以及所述当前外部参数,确定所述当前标定文件,包括:
获取当前摄像头的当前内部参数,并将所述当前内部参数与所述初始内部参数匹配;
若匹配成功,则确认所述内部参数未发生改变,则根据所述初始内部参数以及所述当前外部参数,确定所述当前标定文件。
8.根据权利要求1~7中任一项所述的方法,其特征在于,所述方法应用于具有双摄像头模组的电子设备,所述电子设备还包括主板,所述将所述双摄像头模组的外部参数存储至本地作为初始外部参数,将所述双摄像头模组的内部参数存储至本地作为初始内部参数,包括:
将所述双摄像头模组的外部参数存储至所述主板作为初始外部参数,将所述双摄像头模组的内部参数存储至主板作为初始内部参数;同时,所述双摄像头模组的每个所述摄像头内均存储有对应的内部参数。
9.一种图像校正装置,应用于双摄像头模组的图像校正,其特征在于,所述图像校正装置包括:
预存模块,所述预存模块用于将所述双摄像头模组的外部参数存储至本地作为初始外部参数,将所述双摄像头模组的内部参数存储至本地作为初始内部参数;
初始确定模块,所述初始确定模块用于根据所述初始内部参数以及所述初始外部参数,确定初始标定文件;
当前外参获取模块,所述当前外参获取模块用于当所述外部参数发生改变时,获取所述双摄像头模组的当前外部参数;
当前文件确定模块,所述当前文件确定模块用于基于所述当前外部参数,确定所述双摄像头模组的当前标定文件;
替换模块,所述替换模块用于将所述初始标定文件替换为所述当前标定文件;以及
校正模块,所述校正模块用于根据所述当前标定文件校正所述双摄像头模组获取的图像。
10.一种电子设备,应用于上述权利要求1~8中任一项所述的双摄像头图像校正方法,其特征在于,所述电子设备包括处理器以及一个或多个存储器,所述一个或多个存储器用于存储被所述处理器执行的程序指令,所述处理器执行所述程序指令时实施上述权利要求1~8中任一项所述的方法。
11.一种存储介质,存储有程序指令,其特征在于,所述程序指令被处理器执行时实施上述权利要求1~8中任一项所述的方法。
CN201910426025.0A 2019-05-21 2019-05-21 图像校正方法、装置、电子设备以及存储介质 Expired - Fee Related CN110175960B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910426025.0A CN110175960B (zh) 2019-05-21 2019-05-21 图像校正方法、装置、电子设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910426025.0A CN110175960B (zh) 2019-05-21 2019-05-21 图像校正方法、装置、电子设备以及存储介质

Publications (2)

Publication Number Publication Date
CN110175960A true CN110175960A (zh) 2019-08-27
CN110175960B CN110175960B (zh) 2021-04-13

Family

ID=67691813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910426025.0A Expired - Fee Related CN110175960B (zh) 2019-05-21 2019-05-21 图像校正方法、装置、电子设备以及存储介质

Country Status (1)

Country Link
CN (1) CN110175960B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110942486A (zh) * 2019-12-12 2020-03-31 展讯通信(上海)有限公司 相机标定参数的保存方法、装置及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102782721A (zh) * 2009-12-24 2012-11-14 康耐视公司 用于相机校准误差的运行时测定的系统和方法
US20130083168A1 (en) * 2011-09-30 2013-04-04 Samsung Elctro-Mechanics Co., Ltd. Calibration apparatus for camera module
CN103473758A (zh) * 2013-05-13 2013-12-25 中国科学院苏州生物医学工程技术研究所 双目立体视觉系统的二次标定方法
CN104359461A (zh) * 2014-11-06 2015-02-18 中国人民解放军装备学院 一种可变结构的双目视觉测量系统及参数确定方法
US20150145965A1 (en) * 2013-11-26 2015-05-28 Mobileye Vision Technologies Ltd. Stereo auto-calibration from structure-from-motion
CN108038886A (zh) * 2017-12-06 2018-05-15 智车优行科技(北京)有限公司 双目摄像系统标定方法、装置及其汽车
CN108416791A (zh) * 2018-03-01 2018-08-17 燕山大学 一种基于双目视觉的并联机构动平台位姿监测与跟踪方法
CN108737735A (zh) * 2018-06-15 2018-11-02 Oppo广东移动通信有限公司 图像校正方法、电子设备及计算机可读存储介质
WO2019075680A1 (zh) * 2017-10-19 2019-04-25 深圳大学 视觉辅助的傅里叶叠层成像位置标定方法及装置
CN109685853A (zh) * 2018-11-30 2019-04-26 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102782721A (zh) * 2009-12-24 2012-11-14 康耐视公司 用于相机校准误差的运行时测定的系统和方法
US20130083168A1 (en) * 2011-09-30 2013-04-04 Samsung Elctro-Mechanics Co., Ltd. Calibration apparatus for camera module
CN103473758A (zh) * 2013-05-13 2013-12-25 中国科学院苏州生物医学工程技术研究所 双目立体视觉系统的二次标定方法
US20150145965A1 (en) * 2013-11-26 2015-05-28 Mobileye Vision Technologies Ltd. Stereo auto-calibration from structure-from-motion
CN104359461A (zh) * 2014-11-06 2015-02-18 中国人民解放军装备学院 一种可变结构的双目视觉测量系统及参数确定方法
WO2019075680A1 (zh) * 2017-10-19 2019-04-25 深圳大学 视觉辅助的傅里叶叠层成像位置标定方法及装置
CN108038886A (zh) * 2017-12-06 2018-05-15 智车优行科技(北京)有限公司 双目摄像系统标定方法、装置及其汽车
CN108416791A (zh) * 2018-03-01 2018-08-17 燕山大学 一种基于双目视觉的并联机构动平台位姿监测与跟踪方法
CN108737735A (zh) * 2018-06-15 2018-11-02 Oppo广东移动通信有限公司 图像校正方法、电子设备及计算机可读存储介质
CN109685853A (zh) * 2018-11-30 2019-04-26 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHANG ZHENGYOU等: "A flexible new technique for camera calibration", 《 IEEE TRANSACTIONS PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
于春和等: "基于HALCON的双目摄像机标定", 《电子设计工程》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110942486A (zh) * 2019-12-12 2020-03-31 展讯通信(上海)有限公司 相机标定参数的保存方法、装置及存储介质
CN110942486B (zh) * 2019-12-12 2023-02-28 展讯通信(上海)有限公司 相机标定参数的保存方法、装置及存储介质

Also Published As

Publication number Publication date
CN110175960B (zh) 2021-04-13

Similar Documents

Publication Publication Date Title
US9742967B2 (en) Image capture apparatus capable of correcting effects of optical characteristics of a lens unit on an image and control method thereof, and lens unit
EP3151539B1 (en) Image acquisition device, image acquisition method and terminal
US7876369B2 (en) Image processing apparatus, image processing method, and program
KR0162515B1 (ko) 화질이 열화가 없는 고품질 화상 데이타를 제공할 수 있는 화상 처리 장치
CN109474809B (zh) 色差校正方法、装置、系统、全景相机和存储介质
CN105187728B (zh) 拍照方法和装置
WO2021208875A1 (zh) 视觉检测方法和视觉检测装置
CN107454337B (zh) 一种控制摄像头旋转的方法及终端和相关介质产品
CN111242858B (zh) 一种相机镜头的畸变校正方法和系统
JP4992698B2 (ja) 色収差補正装置、撮像装置、色収差算出方法および色収差算出プログラム
WO2020215182A1 (zh) 图像数据处理方法、传输方法、传输装置及数据接口转换装置
CN110175960A (zh) 图像校正方法、装置、电子设备以及存储介质
JP6354442B2 (ja) 撮像装置、制御方法及びプログラム
JP2011077825A (ja) 表示装置、表示システム、表示方法及びプログラム
US10013763B1 (en) Increasing field of view using multiple devices
CN105472263A (zh) 影像撷取方法及使用此方法的影像撷取设备
WO2016101505A1 (zh) 一种前摄像头拍摄修正方法、装置及终端
CN108881876A (zh) 对图像进行白平衡处理的方法、装置和电子设备
KR100741733B1 (ko) 렌즈 중심 위치 결정 방법 및 그 방법을 수행하는 촬상장치
CN109785225A (zh) 一种用于图像矫正的方法和装置
US20230020060A1 (en) Imaging support apparatus, imaging apparatus, imaging support method, and program
US20110141308A1 (en) Image Processing Apparatus and Method, and Computer-Readable Medium Having Stored Thereon Computer Program for Executing the Method
CN109166151A (zh) 全景相机的远程标定方法、装置、计算机设备和存储介质
JP7387872B2 (ja) キャリブレーションパラメータの取得方法、装置、プロセッサ及び電子機器
CN114095693A (zh) 聚焦曲线校正方法、变焦跟踪方法以及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210413

CF01 Termination of patent right due to non-payment of annual fee