CN110570373A - 畸变校正方法和装置、计算机可读的存储介质及电子装置 - Google Patents

畸变校正方法和装置、计算机可读的存储介质及电子装置 Download PDF

Info

Publication number
CN110570373A
CN110570373A CN201910834103.0A CN201910834103A CN110570373A CN 110570373 A CN110570373 A CN 110570373A CN 201910834103 A CN201910834103 A CN 201910834103A CN 110570373 A CN110570373 A CN 110570373A
Authority
CN
China
Prior art keywords
image
images
distortion correction
target
correction model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910834103.0A
Other languages
English (en)
Inventor
景逸飞
唐大闰
江金陵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Mininglamp Software System Co ltd
Original Assignee
Beijing Mininglamp Software System Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Mininglamp Software System Co ltd filed Critical Beijing Mininglamp Software System Co ltd
Priority to CN201910834103.0A priority Critical patent/CN110570373A/zh
Publication of CN110570373A publication Critical patent/CN110570373A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种畸变校正方法和装置、计算机可读的存储介质及电子装置。其中,该方法包括:获取通过待校正的目标摄像头采集到的目标图像。将目标图像输入与目标摄像头相匹配的畸变校正模型,其中,畸变校正模型为利用多个样本图像进行机器学习后,得到的用于对畸变图像进行校正的神经网络模型。获取畸变校正模型输出的对目标图像进行校正后的校正图像。本发明解决了由于校正的操作较复杂导致校正的效率较低的技术问题。

Description

畸变校正方法和装置、计算机可读的存储介质及电子装置
技术领域
本发明涉及计算机领域,具体而言,涉及一种畸变校正方法和装置、计算机可读的存储介质及电子装置。
背景技术
摄像头成像产生的畸变包括径向畸变和切向畸变,其中径向畸变是沿着透镜半径方向分布的畸变,产生原因是光线在原理透镜中心的地方比靠近中心的地方更加弯曲;切向畸变是由于透镜本身与相机传感器平面(成像平面)或图像平面不平行而产生的。
有时同一厂家生产的同一批摄像头产生的畸变也会略有差异,当有大量的摄像头需要校正时,这将会增加校正的工作量,由于校正的操作较复杂导致校正的效率较低。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种畸变校正方法和装置、计算机可读的存储介质及电子装置,以至少解决由于校正的操作较复杂导致校正的效率较低的技术问题。
根据本发明实施例的一个方面,提供了一种畸变校正方法,包括:获取通过待校正的目标摄像头采集到的目标图像;将上述目标图像输入与上述目标摄像头相匹配的畸变校正模型,其中,上述畸变校正模型为利用多个样本图像进行机器学习后,得到的用于对畸变图像进行校正的神经网络模型;获取上述畸变校正模型输出的对上述目标图像进行校正后的校正图像。
作为一种可选的实施方式,在获取通过待校正的目标摄像头采集到的目标图像之前,包括:确定上述目标摄像头所属的目标类型;随机获取属于上述目标类型的多个摄像头采集到的多个第一图像;对上述多个第一图像分别进行校正,得到多个第二图像;对上述多个第一图像和上述多个第二图像进行预处理,以构建多个图像对;将上述多个图像对作为上述多个样本图像,输入初始畸变校正模型进行机器学习,以得到上述畸变校正模型。
作为一种可选的实施方式,上述将上述多个图像对作为上述多个样本图像,输入初始畸变校正模型进行机器学习,以得到上述畸变校正模型包括:重复执行以下步骤,直至得到上述畸变校正模型:从上述多个样本图像中确定出当前待处理的图像对,并确定当前畸变校正模型,其中,上述当前待处理的图像对中包括:当前待处理的第一图像及当前待处理的第二图像;通过上述当前畸变校正模型,对上述当前待处理的第一图像进行编码和解码处理,以得到参考图像;计算上述参考图像与上述第二图像的网络损失;获取上述多个样本图像输出的网络损失;使用上述网络损失计算网络梯度,以更新上述当前畸变校正模型中的参数;在上述网络损失未收敛的情况下,确定未达到校正条件,则获取下一批次的多个样本图像;在上述网络损失收敛的情况下,确定已达到上述校正条件,则将上述当前畸变校正模型作为上述畸变校正模型。
作为一种可选的实施方式,上述对上述多个第一图像分别进行校正,得到多个第二图像包括:获取上述多个摄像头的内参和畸变系数;利用上述内参和畸变系数对上述多个第一图像分别进行校正,以得到上述多个第二图像。
作为一种可选的实施方式,上述对上述多个第一图像和上述多个第二图像进行预处理,以构建多个图像对包括:比对上述多个第一图像和上述多个第二图像;根据比对的结果确定上述第一图像和上述第二图像之间的映射关系;将具有上述映射关系的上述第一图像与上述第二图像构建为一个图像对,以得到上述多个图像对。获取上述目标摄像头采集到的第一目标图像,矫正第一目标图像,获取第二目标图像;根据上述第一目标图像和上述第二目标图像获取畸变矫正训练模型。
根据本发明实施例的另一方面,还提供了一种畸变校正装置,包括:第一获取单元,用于获取通过待校正的目标摄像头采集到的目标图像;第一输入单元,用于将上述目标图像输入与上述目标摄像头相匹配的畸变校正模型,其中,上述畸变校正模型为利用多个样本图像进行机器学习后,得到的用于对畸变图像进行校正的神经网络模型;第二获取单元,用于获取上述畸变校正模型输出的对上述目标图像进行校正后的校正图像。
作为一种可选的实施方式,包括:确定单元,用于在获取通过待校正的目标摄像头采集到的目标图像之前,确定上述目标摄像头所属的目标类型;第三获取单元,用于在获取通过待校正的目标摄像头采集到的目标图像之前,随机获取属于上述目标类型的多个摄像头采集到的多个第一图像;校正单元,用于在获取通过待校正的目标摄像头采集到的目标图像之前,对上述多个第一图像分别进行校正,得到多个第二图像;处理单元,用于在获取通过待校正的目标摄像头采集到的目标图像之前,对上述多个第一图像和上述多个第二图像进行预处理,以构建多个图像对;第二输入单元,用于在获取通过待校正的目标摄像头采集到的目标图像之前,将上述多个图像对作为上述多个样本图像,输入初始畸变校正模型进行机器学习,以得到上述畸变校正模型。
作为一种可选的实施方式,上述第二输入单元包括:重复模块,用于重复执行以下步骤,直至得到上述畸变校正模型:第一确定模块,用于从上述多个样本图像中确定出当前待处理的图像对,并确定当前畸变校正模型,其中,上述当前待处理的图像对中包括:当前待处理的第一图像及当前待处理的第二图像;处理模块,用于通过上述当前畸变校正模型,对上述当前待处理的第一图像进行编码和解码处理,以得到参考图像;计算模块,用于计算上述参考图像与上述第二图像的网络损失;第一获取模块,用于获取上述多个样本图像输出的网络损失;更新模块,用于使用上述网络损失计算网络梯度,以更新上述当前畸变校正模型中的参数;第二确定模块,用于在上述网络损失未收敛的情况下,确定未达到校正条件,则获取下一批次的多个样本图像;第三确定模块,用于在上述网络损失收敛的情况下,确定已达到上述校正条件,则将上述当前畸变校正模型作为上述畸变校正模型。
作为一种可选的实施方式,上述校正单元包括:第二获取模块,用于获取上述多个摄像头的内参和畸变系数;校正模块,用于利用上述内参和畸变系数对上述多个第一图像分别进行校正,以得到上述多个第二图像。
作为一种可选的实施方式,上述处理单元包括:比对模块,用于比对上述多个第一图像和上述多个第二图像;第四确定模块,用于根据比对的结果确定上述第一图像和上述第二图像之间的映射关系;第五确定模块,用于将具有上述映射关系的上述第一图像与上述第二图像构建为一个图像对,以得到上述多个图像对。
根据本发明实施例的又一方面,还提供了一种存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述畸变校正方法。
根据本发明实施例的又一方面,还提供了一种电子装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,上述处理器通过计算机程序执行上述的畸变校正方法。
在本发明实施例中,采用自动学习畸变图像到标准图像之间的校正系数的方式,达到了无需每种摄像头都需要计算各自的校正参数、每一种新的摄像头都需要重复的进行采样计算校正参数的目的,从而实现了对畸变图像的自动校正的技术效果,进而解决了由于校正的操作较复杂导致校正的效率较低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种可选的畸变校正方法的流程图的示意图;
图2是根据本发明实施例的一种可选的畸变校正方法的示意图;
图3是根据本发明实施例的另一种可选的畸变校正方法的示意图;
图4是根据本发明实施例的一种可选的畸变校正装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的一个方面,提供了一种畸变校正方法,可选地,作为一种可选的实施方式,如图1所示,上述畸变校正方法包括:
S102,获取通过待校正的目标摄像头采集到的目标图像。
S104,将目标图像输入与目标摄像头相匹配的畸变校正模型,其中,畸变校正模型为利用多个样本图像进行机器学习后,得到的用于对畸变图像进行校正的神经网络模型。
S106,获取畸变校正模型输出的对目标图像进行校正后的校正图像。
可选的,在本实施例中,上述畸变校正方法可以但不限于应用于对多种摄像头获取的畸变图像实施校正。对神经网络模型可以但不限于包括长短时记忆网络、递归神经网络、自编码网络等。
需要说明的是,在本实施例中,获取通过待校正的目标摄像头采集到的目标图像,进而将目标图像输入与目标摄像头相匹配的畸变校正模型,其中,畸变校正模型为利用多个样本图像进行机器学习后,得到的用于对畸变图像进行校正的神经网络模型,最终获取畸变校正模型输出的对目标图像进行校正后的校正图像。
进一步举例说明,通过目标摄像头采集到目标图像,将上述目标图像作为自编码器网络的输入,通过对网络进行训练使自编器网络自动学习出一种从畸变图像到标准图像之间的映射关系,最终自编码器网络通过映射关系,输出校正后的目标图像,其中自编器网络的整体结构如图2所示,将,输入畸变图像202,通过自编码器网络中的编码层204将畸变图像202的数据格式转化为编码格式,进一步,进行压缩表示206,进而通过解码层208,以实现输出标准图像210的目的。
通过本申请提供的实施例,利用神经网络模型的方式,达到得到校正后的目标图像的目的,实现了图像畸变矫正的技术效果。
作为一种可选的方案,在获取通过待校正的目标摄像头采集到的目标图像之前,包括:
S1,确定目标摄像头所属的目标类型。
S2,随机获取属于目标类型的多个摄像头采集到的多个第一图像。
S3,对多个第一图像分别进行校正,得到多个第二图像。
S4,对多个第一图像和多个第二图像进行预处理,以构建多个图像对。
S5,将多个图像对作为多个样本图像,输入初始畸变校正模型进行机器学习,以得到畸变校正模型。
需要说明的是,在本实施例中,首先确定目标摄像头所属的目标类型,进而随机获取属于目标类型的多个摄像头采集到的多个第一图像,对多个第一图像分别进行校正,得到多个第二图像,再对多个第一图像和多个第二图像进行预处理,以构建多个图像对,进一步,将多个图像对作为多个样本图像,然后输入初始畸变校正模型进行机器学习,以得到畸变校正模型。
进一步举例说明,随机抽取一定数量的摄像头,例如,现在要对50个摄像头做畸变校正,从这50个摄像头中随机抽取10个摄像头,对选中的摄像头做校正;进一步,对每个抽样出的摄像头使用传统的方法计算其内参和畸变系数;进一步,对使用每个摄像头采集畸变图像,并对采集到的畸变图像做校正得到标准图像;进一步,对畸变图像和标准图像预处理;进一步,使用畸变图像做网络的输入图像,使用标准图像作为网络的学习目标,训练自编码网络。其中,训练好的自编码网络即为畸变校正模型。
通过本申请提供的实施例,以多个随机摄像头的参数与对应摄像头采集到的目标图像作为畸变校正模型的输入的方式,达到了训练出能够将目标图像转化为校正后的目标图像的畸变校正模型,进而实现了不需要考虑不同摄像头之间校正系数的不同即可完成畸变图像进行校正的技术效果。
作为一种可选的方案,将多个图像对作为多个样本图像,输入初始畸变校正模型进行机器学习,以得到畸变校正模型包括:
S1,重复执行以下步骤,直至得到畸变校正模型。
S2,从多个样本图像中确定出当前待处理的图像对,并确定当前畸变校正模型,其中,当前待处理的图像对中包括:当前待处理的第一图像及当前待处理的第二图像。
S3,通过当前畸变校正模型,对当前待处理的第一图像进行编码和解码处理,以得到参考图像。
S4,计算参考图像与第二图像的网络损失。
S5,获取多个样本图像输出的网络损失。
S6,使用网络损失计算网络梯度,以更新当前畸变校正模型中的参数。
S7,在网络损失未收敛的情况下,确定未达到校正条件,则获取下一批次的多个样本图像。
S8,在网络损失收敛的情况下,确定已达到校正条件,则将当前畸变校正模型作为畸变校正模型。
需要说明的是,在本实施例中,重复执行以下步骤,直至得到畸变校正模型,从多个样本图像中确定出当前待处理的图像对,并确定当前畸变校正模型,其中,当前待处理的图像对中包括:当前待处理的第一图像及当前待处理的第二图像,通过当前畸变校正模型,对当前待处理的第一图像进行编码和解码处理,以得到参考图像,计算参考图像与第二图像的网络损失,获取多个样本图像输出的网络损失,使用网络损失计算网络梯度,以更新当前畸变校正模型中的参数,在网络损失未收敛的情况下,确定未达到校正条件,则获取下一批次的多个样本图像,在网络损失收敛的情况下,确定已达到校正条件,则将当前畸变校正模型作为畸变校正模型。
进一步举例说明,例如,使用畸变图像做网络的输入图像,使用标准图像作为网络的学习目标,训练自编码网络,其中,训练过程中使用的自编码网络的结构具体如图3所示。具体的,网络分为解码器302和读码器304两部分,整个网络使用了3×3卷积核和2×2卷积核,使用了PRELU来作为激活函数。网络中没有使用池化层,而是使用2×2卷积核来代替池化层,使用卷积的方式来自动挑选出重要的特征。
此外网络使用了平方损失函数L,函数L的形式如下:
其中,xi为输入样本,也就是畸变图像;h(xi)为网络的输出;yi为畸变图像对应的标准图像;m为样本数量。在训练网络的过程,当网络的损失在连续n轮不再改变时,则认为网络收敛。
通过本申请提供的实施例,通过在训练畸变校正模型的过程中使用自主设计的自编码网络,达到了完善畸变校正模型的训练过程的目的,实现得到更趋近标准的、校正后的图像。
作为一种可选的方案,对多个第一图像分别进行校正,得到多个第二图像包括:
S1,获取多个摄像头的内参和畸变系数。
S2,利用内参和畸变系数对多个第一图像分别进行校正,以得到多个第二图像。
可选的,在本实施例中,摄像头的内参可以但不限于包括焦距、像素等。畸变系数可以但不限于包括径向畸变系数、切向畸变系数等。
需要说明的是,在本实施例中,获取多个摄像头的内参和畸变系数,进而利用内参和畸变系数对多个第一图像分别进行校正,以得到多个第二图像。
进一步举例说明,例如,基于棋盘标定的方法,其中,棋盘标定为摄像头获取的实际图像坐标系与理想图像坐标系的标定。具体的,使用会产生畸变效果的摄像头,对目标畸变图像进行不同位置、不同角度、不同姿态下的采样,将这些采样得到的图像信息标定为标定图像;接着使用这些标定图像去计算上述摄像头对应的校正系数;最后对标准图像中的每个像素点通过使用校正系数找到其在目标畸变图像中对应的像素点,从而完成整个畸变校正过程。
通过本申请提供的实施例,利用获取摄像头的内参和畸变系数对多个图像分别进行校正,进而达到获取多个标准图像的目的,实现了对图像进行校正处理的技术效果。
作为一种可选的方案,对多个第一图像和多个第二图像进行预处理,以构建多个图像对包括:
S1,比对多个第一图像和多个第二图像。
S2,根据比对的结果确定第一图像和第二图像之间的映射关系。
S3,将具有映射关系的第一图像与第二图像构建为一个图像对,以得到多个图像对。
需要说明的是,在本实施例中,比对多个第一图像和多个第二图像,进而根据比对的结果确定第一图像和第二图像之间的映射关系,且将具有映射关系的第一图像与第二图像构建为一个图像对,以得到多个图像对。
进一步举例说明,例如,第一图像为畸变图像,第二图像为标准图像,进一步,对畸变图像和标准图像预处理。具体的,将畸变图像由(1920,1080,3)缩放为(480,270,3);进一步,将标准图像由(1920,1080,3)缩放为(480,270,3);进一步,对畸变图像进行填充(padding)使其变为(480,272,3);进一步,对标准图像进行填充(padding)使其变为(480,270,3);最终,将畸变图像和标准图像构成网络输入对。其中,网络输入对即为图像对。
通过本申请提供的实施例,利用对畸变图像和标准图像作预处理的方式,达到了将畸变图像和标准图像构成网络输入图像对的目的,实现了训练畸变校正模型的技术效果。
根据本发明实施例的另一个方面,还提供了一种用于实施上述畸变校正方法的畸变校正装置。如图4所示,该装置包括:
第一获取单元402,用于获取通过待校正的目标摄像头采集到的目标图像。
第一输入单元404,用于将目标图像输入与目标摄像头相匹配的畸变校正模型,其中,畸变校正模型为利用多个样本图像进行机器学习后,得到的用于对畸变图像进行校正的神经网络模型。
第二获取单元406,用于获取畸变校正模型输出的对目标图像进行校正后的校正图像。
可选的,在本实施例中,上述畸变校正装置可以但不限于应用于对多种摄像头获取的畸变图像实施校正。对神经网络模型可以但不限于包括长短时记忆网络、递归神经网络、自编码网络等。
需要说明的是,在本实施例中,获取通过待校正的目标摄像头采集到的目标图像,进而将目标图像输入与目标摄像头相匹配的畸变校正模型,其中,畸变校正模型为利用多个样本图像进行机器学习后,得到的用于对畸变图像进行校正的神经网络模型,最终获取畸变校正模型输出的对目标图像进行校正后的校正图像。
进一步举例说明,通过目标摄像头采集到目标图像,将上述目标图像作为自编码器网络的输入,通过对网络进行训练使自编器网络自动学习出一种从畸变图像到标准图像之间的映射关系,最终自编码器网络通过映射关系,输出校正后的目标图像,其中自编器网络的整体结构如图2所示,将,输入畸变图像202,通过自编码器网络中的编码层204将畸变图像202的数据格式转化为编码格式,进一步,进行压缩表示206,进而通过解码层208,以实现输出标准图像210的目的。
通过本申请提供的实施例,利用神经网络模型的方式,达到得到校正后的目标图像的目的,实现了图像畸变矫正的技术效果。
作为一种可选的方案,包括:
确定单元,用于在获取通过待校正的目标摄像头采集到的目标图像之前,确定目标摄像头所属的目标类型。
第三获取单元,用于在获取通过待校正的目标摄像头采集到的目标图像之前,随机获取属于目标类型的多个摄像头采集到的多个第一图像。
校正单元,用于在获取通过待校正的目标摄像头采集到的目标图像之前,对多个第一图像分别进行校正,得到多个第二图像。
处理单元,用于在获取通过待校正的目标摄像头采集到的目标图像之前,对多个第一图像和多个第二图像进行预处理,以构建多个图像对。
第二输入单元,用于在获取通过待校正的目标摄像头采集到的目标图像之前,将多个图像对作为多个样本图像,输入初始畸变校正模型进行机器学习,以得到畸变校正模型。
需要说明的是,在本实施例中,首先确定目标摄像头所属的目标类型,进而随机获取属于目标类型的多个摄像头采集到的多个第一图像,对多个第一图像分别进行校正,得到多个第二图像,再对多个第一图像和多个第二图像进行预处理,以构建多个图像对,进一步,将多个图像对作为多个样本图像,然后输入初始畸变校正模型进行机器学习,以得到畸变校正模型。
进一步举例说明,随机抽取一定数量的摄像头,例如,现在要对50个摄像头做畸变校正,从这50个摄像头中随机抽取10个摄像头,对选中的摄像头做校正;进一步,对每个抽样出的摄像头使用传统的方法计算其内参和畸变系数;进一步,对使用每个摄像头采集畸变图像,并对采集到的畸变图像做校正得到标准图像;进一步,对畸变图像和标准图像预处理;进一步,使用畸变图像做网络的输入图像,使用标准图像作为网络的学习目标,训练自编码网络。其中,训练好的自编码网络即为畸变校正模型。
通过本申请提供的实施例,以多个随机摄像头的参数与对应摄像头采集到的目标图像作为畸变校正模型的输入的方式,达到了训练出能够将目标图像转化为校正后的目标图像的畸变校正模型,进而实现了不需要考虑不同摄像头之间校正系数的不同即可完成畸变图像进行校正的技术效果。
作为一种可选的方案,第二输入单元包括:
重复模块,用于重复执行以下步骤,直至得到畸变校正模型:
第一确定模块,用于从多个样本图像中确定出当前待处理的图像对,并确定当前畸变校正模型,其中,当前待处理的图像对中包括:当前待处理的第一图像及当前待处理的第二图像;
处理模块,用于通过当前畸变校正模型,对当前待处理的第一图像进行编码和解码处理,以得到参考图像;
计算模块,用于计算参考图像与第二图像的网络损失;
第一获取模块,用于获取多个样本图像输出的网络损失;
更新模块,用于使用网络损失计算网络梯度,以更新当前畸变校正模型中的参数;
第二确定模块,用于在网络损失未收敛的情况下,确定未达到校正条件,则获取下一批次的多个样本图像;
第三确定模块,用于在网络损失收敛的情况下,确定已达到校正条件,则将当前畸变校正模型作为畸变校正模型。
需要说明的是,在本实施例中,重复执行以下步骤,直至得到畸变校正模型,从多个样本图像中确定出当前待处理的图像对,并确定当前畸变校正模型,其中,当前待处理的图像对中包括:当前待处理的第一图像及当前待处理的第二图像,通过当前畸变校正模型,对当前待处理的第一图像进行编码和解码处理,以得到参考图像,计算参考图像与第二图像的网络损失,获取多个样本图像输出的网络损失,使用网络损失计算网络梯度,以更新当前畸变校正模型中的参数,在网络损失未收敛的情况下,确定未达到校正条件,则获取下一批次的多个样本图像,在网络损失收敛的情况下,确定已达到校正条件,则将当前畸变校正模型作为畸变校正模型。
进一步举例说明,例如,使用畸变图像做网络的输入图像,使用标准图像作为网络的学习目标,训练自编码网络,其中,训练过程中使用的自编码网络的结构具体如图3所示。具体的,网络分为解码器302和读码器304两部分,整个网络使用了3×3卷积核和2×2卷积核,使用了PRELU来作为激活函数。网络中没有使用池化层,而是使用2×2卷积核来代替池化层,使用卷积的方式来自动挑选出重要的特征。
此外网络使用了平方损失函数L,函数L的形式如下:
其中,xi为输入样本,也就是畸变图像;h(xi)为网络的输出;yi为畸变图像对应的标准图像;m为样本数量。在训练网络的过程,当网络的损失在连续n轮不再改变时,则认为网络收敛。
通过本申请提供的实施例,通过在训练畸变校正模型的过程中使用自主设计的自编码网络,达到了完善畸变校正模型的训练过程的目的,实现得到更趋近标准的、校正后的图像。
作为一种可选的方案,校正单元包括:
第二获取模块,用于获取多个摄像头的内参和畸变系数。
校正模块,用于利用内参和畸变系数对多个第一图像分别进行校正,以得到多个第二图像。
可选的,在本实施例中,摄像头的内参可以但不限于包括焦距、像素等。畸变系数可以但不限于包括径向畸变系数、切向畸变系数等。
需要说明的是,在本实施例中,获取多个摄像头的内参和畸变系数,进而利用内参和畸变系数对多个第一图像分别进行校正,以得到多个第二图像。
进一步举例说明,例如,基于棋盘标定的方法,其中,棋盘标定为摄像头获取的实际图像坐标系与理想图像坐标系的标定。具体的,使用会产生畸变效果的摄像头,对目标畸变图像进行不同位置、不同角度、不同姿态下的采样,将这些采样得到的图像信息标定为标定图像;接着使用这些标定图像去计算上述摄像头对应的校正系数;最后对标准图像中的每个像素点通过使用校正系数找到其在目标畸变图像中对应的像素点,从而完成整个畸变校正过程。
通过本申请提供的实施例,利用获取摄像头的内参和畸变系数对多个图像分别进行校正,进而达到获取多个标准图像的目的,实现了对图像进行校正处理的技术效果。
作为一种可选的方案,处理单元包括:
比对模块,用于比对多个第一图像和多个第二图像。
第四确定模块,用于根据比对的结果确定第一图像和第二图像之间的映射关系。
第五确定模块,用于将具有映射关系的第一图像与第二图像构建为一个图像对,以得到多个图像对。
需要说明的是,在本实施例中,比对多个第一图像和多个第二图像,进而根据比对的结果确定第一图像和第二图像之间的映射关系,且将具有映射关系的第一图像与第二图像构建为一个图像对,以得到多个图像对。
进一步举例说明,例如,第一图像为畸变图像,第二图像为标准图像,进一步,对畸变图像和标准图像预处理。具体的,将畸变图像由(1920,1080,3)缩放为(480,270,3);进一步,将标准图像由(1920,1080,3)缩放为(480,270,3);进一步,对畸变图像进行填充(padding)使其变为(480,272,3);进一步,对标准图像进行填充(padding)使其变为(480,270,3);最终,将畸变图像和标准图像构成网络输入对。其中,网络输入对即为图像对。
通过本申请提供的实施例,利用对畸变图像和标准图像作预处理的方式,达到了将畸变图像和标准图像构成网络输入图像对的目的,实现了训练畸变校正模型的技术效果。
根据本发明实施例的又一个方面,还提供了一种畸变校正方法的电子装置,电子装置包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,获取通过待校正的目标摄像头采集到的目标图像。
S2,将目标图像输入与目标摄像头相匹配的畸变校正模型,其中,畸变校正模型为利用多个样本图像进行机器学习后,得到的用于对畸变图像进行校正的神经网络模型。
S3,获取畸变校正模型输出的对目标图像进行校正后的校正图像。
需要说明的是,对于前述的各装置实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
可选地,本领域普通技术人员可以理解,本申请实施例中的结构仅为示意,电子装置可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices,MID)、PAD等终端设备。本申请实施例并不对上述电子装置的结构造成限定。例如,电子装置还可包括更多或者更少的组件(如网络接口等),或者更多不同的配置。
其中,存储器可用于存储软件程序以及模块,如本发明实施例中的一种畸变校正方法和装置对应的程序指令/模块,处理器通过运行存储在存储器内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的畸变校正方法。存储器可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器可进一步包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中,存储器具体可以但不限于用于存储神经网络模型、目标图像、校正图像等信息。作为一种示例,上述存储器、中可以但不限于包括上述畸变校正装置中的第一获取单元402、第一输入单元404以及第二获取单元406,还可以包括但不限于上述畸变校正装置中的其他模块单元,本示例中不再赘述。
可选地,上述的传输装置用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输装置包括一个网络适配器(NetworkInterface Controller,NIC),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,传输装置为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
此外,上述电子装置还包括:显示器,用于显示上述目标图像、校正图像等;和连接总线,用于连接上述电子装置中的各个模块部件。
根据本发明的实施例的又一方面,还提供了一种计算机可读的存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,获取通过待校正的目标摄像头采集到的目标图像。
S2,将目标图像输入与目标摄像头相匹配的畸变校正模型,其中,畸变校正模型为利用多个样本图像进行机器学习后,得到的用于对畸变图像进行校正的神经网络模型。
S3,获取畸变校正模型输出的对目标图像进行校正后的校正图像。
可选地,在本实施例中,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random Access Memory,RAM)、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例上述方法的全部或部分步骤。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上上述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (12)

1.一种畸变校正方法,其特征在于,包括:
获取通过待校正的目标摄像头采集到的目标图像;
将所述目标图像输入与所述目标摄像头相匹配的畸变校正模型,其中,所述畸变校正模型为利用多个样本图像进行机器学习后,得到的用于对畸变图像进行校正的神经网络模型;
获取所述畸变校正模型输出的校正图像。
2.根据权利要求1所述的方法,其特征在于,在获取通过待校正的目标摄像头采集到的目标图像之前,包括:
确定所述目标摄像头所属的目标类型;
随机获取属于所述目标类型的多个摄像头采集到的多个第一图像;
对所述多个第一图像分别进行校正,得到多个第二图像;
对所述多个第一图像和所述多个第二图像进行预处理,以构建多个图像对;
将所述多个图像对作为所述多个样本图像,输入初始畸变校正模型进行机器学习,以得到所述畸变校正模型。
3.根据权利要求2所述的方法,其特征在于,所述将所述多个图像对作为所述多个样本图像,输入初始畸变校正模型进行机器学习,以得到所述畸变校正模型包括:
重复执行以下步骤,直至得到所述畸变校正模型:
从所述多个样本图像中确定出当前待处理的图像对,并确定当前畸变校正模型,其中,所述当前待处理的图像对中包括:当前待处理的第一图像及当前待处理的第二图像;
通过所述当前畸变校正模型,对所述当前待处理的第一图像进行编码和解码处理,以得到参考图像;
计算所述参考图像与所述第二图像的网络损失;
获取所述多个样本图像输出的网络损失;
使用所述网络损失计算网络梯度,以更新所述当前畸变校正模型中的参数;
在所述网络损失未收敛的情况下,确定未达到校正条件,则获取下一批次的多个样本图像;
在所述网络损失收敛的情况下,确定已达到所述校正条件,则将所述当前畸变校正模型作为所述畸变校正模型。
4.根据权利要求2所述的方法,其特征在于,所述对所述多个第一图像分别进行校正,得到多个第二图像包括:
获取所述多个摄像头的内参和畸变系数;
利用所述内参和畸变系数对所述多个第一图像分别进行校正,以得到所述多个第二图像。
5.根据权利要求2所述的方法,其特征在于,所述对所述多个第一图像和所述多个第二图像进行预处理,以构建多个图像对包括:
比对所述多个第一图像和所述多个第二图像;
根据比对的结果确定所述第一图像和所述第二图像之间的映射关系;
将具有所述映射关系的所述第一图像与所述第二图像构建为一个图像对,以得到所述多个图像对。
6.一种畸变校正装置,其特征在于,包括:
第一获取单元,用于获取通过待校正的目标摄像头采集到的目标图像;
第一输入单元,用于将所述目标图像输入与所述目标摄像头相匹配的畸变校正模型,其中,所述畸变校正模型为利用多个样本图像进行机器学习后,得到的用于对畸变图像进行校正的神经网络模型;
第二获取单元,用于获取所述畸变校正模型输出的对所述目标图像进行校正后的校正图像。
7.根据权利要求6所述的装置,其特征在于,包括:
确定单元,用于在获取通过待校正的目标摄像头采集到的目标图像之前,确定所述目标摄像头所属的目标类型;
第三获取单元,用于在获取通过待校正的目标摄像头采集到的目标图像之前,随机获取属于所述目标类型的多个摄像头采集到的多个第一图像;
校正单元,用于在获取通过待校正的目标摄像头采集到的目标图像之前,对所述多个第一图像分别进行校正,得到多个第二图像;
处理单元,用于在获取通过待校正的目标摄像头采集到的目标图像之前,对所述多个第一图像和所述多个第二图像进行预处理,以构建多个图像对;
第二输入单元,用于在获取通过待校正的目标摄像头采集到的目标图像之前,将所述多个图像对作为所述多个样本图像,输入初始畸变校正模型进行机器学习,以得到所述畸变校正模型。
8.根据权利要求7所述的装置,其特征在于,所述第二输入单元包括:
重复模块,用于重复执行以下步骤,直至得到所述畸变校正模型:
第一确定模块,用于从所述多个样本图像中确定出当前待处理的图像对,并确定当前畸变校正模型,其中,所述当前待处理的图像对中包括:当前待处理的第一图像及当前待处理的第二图像;
处理模块,用于通过所述当前畸变校正模型,对所述当前待处理的第一图像进行编码和解码处理,以得到参考图像;
计算模块,用于计算所述参考图像与所述第二图像的网络损失;
第一获取模块,用于获取所述多个样本图像输出的网络损失;
更新模块,用于使用所述网络损失计算网络梯度,以更新所述当前畸变校正模型中的参数;
第二确定模块,用于在所述网络损失未收敛的情况下,确定未达到校正条件,则获取下一批次的多个样本图像;
第三确定模块,用于在所述网络损失收敛的情况下,确定已达到所述校正条件,则将所述当前畸变校正模型作为所述畸变校正模型。
9.根据权利要求7所述的装置,其特征在于,所述校正单元包括:
第二获取模块,用于获取所述多个摄像头的内参和畸变系数;
校正模块,用于利用所述内参和畸变系数对所述多个第一图像分别进行校正,以得到所述多个第二图像。
10.根据权利要求7所述的装置,其特征在于,所述处理单元包括:
比对模块,用于比对所述多个第一图像和所述多个第二图像;
第四确定模块,用于根据比对的结果确定所述第一图像和所述第二图像之间的映射关系;
第五确定模块,用于将具有所述映射关系的所述第一图像与所述第二图像构建为一个图像对,以得到所述多个图像对。
11.一种存储介质,所述存储介质包括存储的程序,其中,所述程序运行时执行上述权利要求1至5任一项中所述的方法。
12.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行所述权利要求1至5任一项中所述的方法。
CN201910834103.0A 2019-09-04 2019-09-04 畸变校正方法和装置、计算机可读的存储介质及电子装置 Pending CN110570373A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910834103.0A CN110570373A (zh) 2019-09-04 2019-09-04 畸变校正方法和装置、计算机可读的存储介质及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910834103.0A CN110570373A (zh) 2019-09-04 2019-09-04 畸变校正方法和装置、计算机可读的存储介质及电子装置

Publications (1)

Publication Number Publication Date
CN110570373A true CN110570373A (zh) 2019-12-13

Family

ID=68777681

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910834103.0A Pending CN110570373A (zh) 2019-09-04 2019-09-04 畸变校正方法和装置、计算机可读的存储介质及电子装置

Country Status (1)

Country Link
CN (1) CN110570373A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260586A (zh) * 2020-01-20 2020-06-09 北京百度网讯科技有限公司 扭曲文档图像的矫正方法和装置
CN112004054A (zh) * 2020-07-29 2020-11-27 深圳宏芯宇电子股份有限公司 多方位监控方法、设备及计算机可读存储介质
CN112991145A (zh) * 2019-12-16 2021-06-18 杭州海康威视数字技术股份有限公司 图像生成方法、系统、电子设备及机器可读存储介质
CN113837960A (zh) * 2021-09-22 2021-12-24 中国计量大学 一种基于深度学习的畸变矫正方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150063685A1 (en) * 2013-08-30 2015-03-05 National Central University Image distortion correction method and image distortion correction device using the same
CN105427241A (zh) * 2015-12-07 2016-03-23 中国航空工业集团公司洛阳电光设备研究所 一种大视场显示设备的畸变校正方法
CN106485758A (zh) * 2016-10-31 2017-03-08 成都通甲优博科技有限责任公司 一种无人机摄像头标定装置、标定方法及流水线标定实现方法
CN108053373A (zh) * 2017-12-05 2018-05-18 长沙全度影像科技有限公司 一种基于深度学习模型鱼眼图像校正方法
CN108550125A (zh) * 2018-04-17 2018-09-18 南京大学 一种基于深度学习的光学畸变修正方法
WO2018214671A1 (zh) * 2017-05-26 2018-11-29 杭州海康威视数字技术股份有限公司 一种失真图像的去失真方法、装置及电子设备
KR101939349B1 (ko) * 2018-07-09 2019-04-11 장현민 기계학습모델을 이용하여 자동차용 어라운드 뷰 영상을 제공하는 방법
KR20190064882A (ko) * 2017-12-01 2019-06-11 한국전자통신연구원 딥러닝 기반 차량용 영상 처리 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150063685A1 (en) * 2013-08-30 2015-03-05 National Central University Image distortion correction method and image distortion correction device using the same
CN105427241A (zh) * 2015-12-07 2016-03-23 中国航空工业集团公司洛阳电光设备研究所 一种大视场显示设备的畸变校正方法
CN106485758A (zh) * 2016-10-31 2017-03-08 成都通甲优博科技有限责任公司 一种无人机摄像头标定装置、标定方法及流水线标定实现方法
WO2018214671A1 (zh) * 2017-05-26 2018-11-29 杭州海康威视数字技术股份有限公司 一种失真图像的去失真方法、装置及电子设备
KR20190064882A (ko) * 2017-12-01 2019-06-11 한국전자통신연구원 딥러닝 기반 차량용 영상 처리 방법
CN108053373A (zh) * 2017-12-05 2018-05-18 长沙全度影像科技有限公司 一种基于深度学习模型鱼眼图像校正方法
CN108550125A (zh) * 2018-04-17 2018-09-18 南京大学 一种基于深度学习的光学畸变修正方法
KR101939349B1 (ko) * 2018-07-09 2019-04-11 장현민 기계학습모델을 이용하여 자동차용 어라운드 뷰 영상을 제공하는 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
潘志昊: "基于深度学习的鱼眼畸变图像校正方法", 《万方学位论文》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991145A (zh) * 2019-12-16 2021-06-18 杭州海康威视数字技术股份有限公司 图像生成方法、系统、电子设备及机器可读存储介质
CN111260586A (zh) * 2020-01-20 2020-06-09 北京百度网讯科技有限公司 扭曲文档图像的矫正方法和装置
CN111260586B (zh) * 2020-01-20 2023-07-04 北京百度网讯科技有限公司 扭曲文档图像的矫正方法和装置
US11756170B2 (en) 2020-01-20 2023-09-12 Beijing Baidu Netcom Science Technology Co., Ltd. Method and apparatus for correcting distorted document image
CN112004054A (zh) * 2020-07-29 2020-11-27 深圳宏芯宇电子股份有限公司 多方位监控方法、设备及计算机可读存储介质
CN113837960A (zh) * 2021-09-22 2021-12-24 中国计量大学 一种基于深度学习的畸变矫正方法

Similar Documents

Publication Publication Date Title
CN110570373A (zh) 畸变校正方法和装置、计算机可读的存储介质及电子装置
Nie et al. Deeply learned filter response functions for hyperspectral reconstruction
CN109002843A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN108986197B (zh) 3d骨架线构建方法及装置
CN103679639B (zh) 基于非局部均值的图像去噪方法和装置
CN108428224B (zh) 基于卷积神经网的动物体表温度检测方法及装置
CN109635714A (zh) 文档扫描图像的矫正方法及装置
CN104217209A (zh) 一种遥感图像自动配准点错误匹配消除方法
CN110991298A (zh) 图像的处理方法和装置、存储介质及电子装置
CN106548223A (zh) 图像条码编码方法、解码方法、编码装置及解码装置
CN107729885B (zh) 一种基于多重残差学习的人脸增强方法
CN111104987B (zh) 人脸识别方法、装置及电子设备
CN111489289B (zh) 一种图像处理方法、图像处理装置及终端设备
CN117372657A (zh) 关键点旋转模型的训练方法及装置、电子设备和存储介质
CN115272667B (zh) 农田图像分割模型训练方法、装置、电子设备和介质
CN112348899A (zh) 标定参数的获取方法、装置、处理器及电子设备
CN116310105A (zh) 基于多视图的物体三维重建方法、装置、设备及存储介质
CN111046831A (zh) 家禽识别方法、装置及服务器
CN115601490A (zh) 基于纹理映射的纹理图像前置置换方法、装置和存储介质
CN113033616B (zh) 高质量视频重建方法、装置、设备及存储介质
CN111246113B (zh) 图像处理方法、装置、设备及存储介质
CN104994295B (zh) 一种畸变校正的方法及移动终端
CN111553961B (zh) 线稿对应色图的获取方法和装置、存储介质和电子装置
CN113283423B (zh) 基于生成网络的自然场景扭曲文本图像矫正方法及系统
CN115018978A (zh) 三维人脸生成方法、装置、存储介质及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191213