CN106780374A - 一种基于鱼眼成像模型的鱼眼图像畸变矫正方法 - Google Patents

一种基于鱼眼成像模型的鱼眼图像畸变矫正方法 Download PDF

Info

Publication number
CN106780374A
CN106780374A CN201611093037.9A CN201611093037A CN106780374A CN 106780374 A CN106780374 A CN 106780374A CN 201611093037 A CN201611093037 A CN 201611093037A CN 106780374 A CN106780374 A CN 106780374A
Authority
CN
China
Prior art keywords
prime
fish eye
pixel
eye images
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611093037.9A
Other languages
English (en)
Other versions
CN106780374B (zh
Inventor
高会军
郭丰钰
孙乙铭
于金泳
刘家琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN201611093037.9A priority Critical patent/CN106780374B/zh
Publication of CN106780374A publication Critical patent/CN106780374A/zh
Application granted granted Critical
Publication of CN106780374B publication Critical patent/CN106780374B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

一种基于鱼眼成像模型的鱼眼图像畸变矫正方法,涉及一种畸变图像矫正方法,具体涉及一种鱼眼图像畸变矫正方法。为了解决现有的鱼眼图像校正方法无法在镜头内在参数、外在参数及畸变系数未知的情况下矫正切向畸变的问题。本发明首先对鱼眼图像进行坐标转换,并对假设的目标图像像素进行水平和垂直方向上的修正;然后根据针孔成像模型的成像规律以及鱼眼成像模型的成像特点,将坐标修正后的目标图像映射到鱼眼镜头成像模型下的鱼眼图像,实现对图像的矫正。针对批量图像,将步骤三得到的映射关系进行存储,对后续采集的鱼眼图像进行矫正;最后对鱼眼图像完成畸变矫正后的图像进行插值,得到最终处理后的图像。本发明适用于鱼眼图像的畸变矫正。

Description

一种基于鱼眼成像模型的鱼眼图像畸变矫正方法
技术领域
本发明涉及一种畸变图像矫正方法,具体涉及一种鱼眼图像畸变矫正方法。
背景技术
实景成像技术是利用摄像头将采集的图像经过处理后实时还原实景的过程,也是目前视觉领域的基本方向之一。同时,实景成像技术广泛应用于立体视觉、运动分析、虚拟现实等领域。
鱼眼镜头在实景成像技术中被广泛使用,相比于普通镜头,鱼眼镜头最主要的优势在于其广阔的视角,可以采集更大范围实景的图像,但是鱼眼镜头存在的问题是所采集的图像在径向和切向上分别存在着一定程度的畸变,图像的畸变导致人眼无法直观地判断图像的真实景象。而如何消除鱼眼图像的畸变问题是目前实景成像技术中最迫切需要解决的问题,尤其是在镜头的内在参数、外在参数及畸变系数未知的情况下,消除鱼眼图像畸变矫正的实现更加困难。
目前消除鱼眼图像畸变的方法有应用经纬映射图像方法、多项式拟合方法及张正友标定法等,其中应为经纬映射图像方法是将单位球面图像上映射成矩形图像,其存在的问题在于只能矫正径向畸变,无法矫正切向畸变,即水平方向上的畸变无法得以矫正;多项式拟合方法是通过拟合多项式估计模型参数,其主要缺点在于计算量过大,从而直接导致图像的处理速度过慢;而张正友标定法是利用调整标定物的方向并采集大量的鱼眼图像,通过图像中的特征点估计出镜头的内在参数、外在参数及畸变系数,其缺点在于需要采集图像的数量过多,效率低下,同时利用此方法矫正鱼眼图像的视角过小。而且现有的鱼眼图像校正方法在镜头的内在参数、外在参数及畸变系数未知的情况下,存在的无法矫正切向畸变、计算量大及矫正视角小等问题。
发明内容
本发明为了解决现有的鱼眼图像校正方法无法在镜头内在参数、外在参数及畸变系数未知的情况下矫正切向畸变的问题。
一种基于鱼眼成像模型的鱼眼图像畸变矫正方法,包括以下步骤:
步骤一、将像素坐标表示对应位置上的像素,设鱼眼镜头采集的鱼眼图像的像素为(xts,yts),对鱼眼图像的像素(xts,yts)进行坐标转换,将图像坐标原点从图像左上角移至图像中心,得到坐标转换后的鱼眼图像的像素(xs,ys);
步骤二、将鱼眼图像畸变矫正后的图像记为目标图像,假设目标图像上某像素的为(xd,yd),对假设的目标图像的像素(xd,yd)进行水平和垂直方向上的修正;
步骤三、根据针孔成像模型的成像规律以及鱼眼成像模型的成像特点,将坐标修正后的目标图像映射到鱼眼镜头成像模型下的鱼眼图像,即进行直角坐标与极坐标的转换,进而根据鱼眼图像得到矫正后的目标图像。
优选地,所述步骤二具体处理过程包括以下步骤:
步骤二一、假设目标图像上某像素的为(xd,yd),在垂直方向加入垂直修正项△y,得到修正后的纵坐标y′d
y′d=yd+△y
并根据以上修正关系得到目标图像像素的纵坐标yd的表示形式:
其中,Ky为纵坐标修正系数;
步骤二二、对于步骤二一中完成垂直方向修正的目标图像,在水平方向加入水平修正项△x,得到修正后的横坐标x′d
△x=Kxxdy′d 2
x′d=xd+△x
并根据以上修正关系得到目标图像像素横坐标xd的表示形式:
其中,Kx是横坐标修正系数;
步骤二三、将经过像素修正后的目标图像的坐标原点转移至目标图像的左上角,得到经过坐标系转换后的目标图像像素(xtd,ytd):
其中,w、h分别为图像的宽度和高度。
优选地,所述步骤三具体处理过程包括以下步骤:
步骤三一、利用坐标修正后目标图像像素(x′d,y′d)对鱼眼图像像素(xs,ys)进行表示:
其中,f为鱼眼镜头焦距;
步骤三二、对于步骤三一得到的鱼眼图像像素(xs,ys)进行坐标转换,将坐标原点转移至鱼眼图像左上角,得到坐标转换后的鱼眼图像像素(xts,yts);
步骤三三、对于步骤二三得到的经过坐标系转换后的目标图像像素(xtd,ytd)和步骤三二完成坐标转换后的鱼眼图像(xts,yts)进行像素坐标映射,将鱼眼图像各个坐标点的像素值赋值给修正后的目标图像相应坐标的像素。
优选地,一种基于鱼眼成像模型的鱼眼图像畸变矫正方法还包括以下步骤:
步骤四、将步骤三得到的映射关系进行存储,对后续采集的鱼眼图像进行矫正;
步骤五、对鱼眼图像完成畸变矫正后的图像进行插值,得到最终处理后的图像。
优选地,所述步骤四具体处理过程包括以下步骤:
步骤四一、定义一个与鱼眼图像相同尺寸的32位3通道的图像;
步骤四二、将后续采集的鱼眼图像各个像素点的横坐标存入至所述处理后的32位3通道图像的各个像素的第一通道,相应的纵坐标存入至所述处理后的32位3通道图像的各个像素的第二通道,所述处理后的32位3通道图像的第一通道和第二通道分别代表目标图像像素点对应的横坐标和纵坐标;
将后续采集的鱼眼图像各个像素点的坐标记为(xi,yi),修正后的目标图像相应坐标记为(xj,yj),将xi的值存入至所述的32位3通道图像中像素坐标为(xj,yj)的第一通道,相应的纵坐标yi的值存入至所述的32位3通道图像中像素坐标为(xj,yj)的第二通道,所述处理后的32位3通道图像的第一通道和第二通道分别代表鱼眼图像像素点对应的横坐标和纵坐标;
步骤四三、将所述处理后的32位3通道图像作为映射工具,批量将存入鱼眼图像的横纵坐标存入所述处理后的32位3通道图像,得到批量矫正处理的鱼眼图像,保证了处理的快速性。
优选地,步骤三一中所述的鱼眼镜头焦距v为摄像头视场,Kf为焦距比例系数,通过手动调节至图像视野足够大时确定。
优选地,步骤三一所述的通过坐标修正后目标图像像素(x′d,y′d)对鱼眼图像像素(xs,ys)进行表示的过程包括以下步骤:
根据鱼眼模型成像和针孔成像规律,并利用相似三角形的关系,得到鱼眼图像与目标图像的坐标转换关系:
其中,θ为入射角,(X,Y)为在针孔成型模型下图像上像素坐标,(x,y)为在鱼眼成像模型下图像上像素坐标(与(X,Y)的入射角相同的情况下);
修正后目标图像对应于针孔成像模型,将修正后修正后目标图像像素坐标(x′d,y′d)替代针孔成型模型下图像上像素坐标(X,Y);将鱼眼图像坐标(xs,ys)替代鱼眼成像模型下图像上像素坐标(x,y),进而得到坐标修正后目标图像像素(x′d,y′d)对鱼眼图像像素(xs,ys)的关系:
优选地,步骤二三所述将经过像素修正后的目标图像的坐标原点转移至目标图像的左上角得到经过坐标系转换后的目标图像像素(xtd,ytd)的过程包括以下步骤:
将经过像素修正后的目标图像坐标原点转移至左上角的公式如下:
带入上述公式得到
优选地,步骤三二所述的将坐标原点转移至鱼眼图像左上角,得到坐标转换后的鱼眼图像像素(xts,yts)的过程包括以下步骤:
将鱼眼图像像素(xs,ys)坐标原点转移至左上角的公式如下:
然后将带入上述公式,得到:
本发明具有以下效果:
1)在镜头的内在参数、外在参数及畸变系数未知的情况下,本发明也能够实现较大视角下的畸变图像径向和切向上的矫正,并且达到理想的矫正效果;同时本发明能够利用较少的计算量实现在较大视角下的畸变图像径向和切向矫正。
2)本发明的步骤四和步骤五给出了对于批量图像情况下的图像矫正方法,例如视频,每幅图像的处理不需要经过全部算法的实现,而是采用存储映射关系的方法,保证了同一个鱼眼镜头采集的所有图像均得以相同效果的畸变矫正,并且明显提高了图像处理的速度。
附图说明
图1至图5为利用本发明进行矫正过程的对比效果图;其中,图1为一幅鱼眼图像;图2为未对鱼眼图像进行水平和垂直方向上的修正处理得到的矫正图像;图3为只经过垂直方向修正得到的矫正图像;图4为经过垂直方向修正和水平方向修正后得到的矫正图像;图5为经过步骤一至三处理后并对图像进行插值得到最终的矫正图像。
图6为存储的与原鱼眼图像相同尺寸的32位3通道图像,图7为32位3通道图像中像素坐标的第一通道图像,图8为32位3通道图像中像素坐标的第二通道图像。
具体实施方式
具体实施方式一:
一种基于鱼眼成像模型的鱼眼图像畸变矫正方法,包括以下步骤:
步骤一、将像素坐标表示对应位置上的像素,设鱼眼镜头采集的鱼眼图像的像素为(xts,yts),对鱼眼图像的像素(xts,yts)进行坐标转换,将图像坐标原点从图像左上角移至图像中心,得到坐标转换后的鱼眼图像的像素(xs,ys);对鱼眼图像的像素(xts,yts)进行坐标转换时需要将图像坐标原点从图像左上角移至图像中心,是因为在鱼眼图像的坐标系原点在鱼眼图像左上角;
步骤二、将鱼眼图像畸变矫正后的图像记为目标图像,假设目标图像上某像素的为(xd,yd),对假设的目标图像的像素(xd,yd)进行水平和垂直方向上的修正;
步骤三、根据针孔成像模型的成像规律以及鱼眼成像模型的成像特点,将坐标修正后的目标图像映射到鱼眼镜头成像模型下的鱼眼图像,即进行直角坐标与极坐标的转换,进而根据鱼眼图像得到矫正后的目标图像。
具体实施方式二:
本实施方式所述步骤二具体处理过程包括以下步骤:
步骤二一、假设目标图像上某像素的为(xd,yd),在垂直方向加入垂直修正项△y,得到修正后的纵坐标y′d
y′d=yd+△y
并根据以上修正关系得到目标图像像素的纵坐标yd的表示形式:
其中,Ky为纵坐标修正系数;
步骤二二、对于步骤二一中完成垂直方向修正的目标图像,在水平方向加入水平修正项△x,得到修正后的横坐标x′d
△x=Kxxdy′d 2
x′d=xd+△x
并根据以上修正关系得到目标图像像素横坐标xd的表示形式:
其中,Kx是横坐标修正系数;
步骤二三、将经过像素修正后的目标图像的坐标原点转移至目标图像的左上角,得到经过坐标系转换后的目标图像像素(xtd,ytd):
其中,w、h分别为图像的宽度和高度。
其他步骤和参数与具体实施方式一相同。
具体实施方式三:
本实施方式所述步骤三具体处理过程包括以下步骤:
步骤三一、利用坐标修正后目标图像像素(x′d,y′d)对鱼眼图像像素(xs,ys)进行表示:
其中,f为鱼眼镜头焦距;
步骤三二、对于步骤三一得到的鱼眼图像像素(xs,ys)进行坐标转换,将坐标原点转移至鱼眼图像左上角,得到坐标转换后的鱼眼图像像素(xts,yts);
步骤三三、对于步骤二三得到的经过坐标系转换后的目标图像像素(xtd,ytd)和步骤三二完成坐标转换后的鱼眼图像(xts,yts)进行像素坐标映射,将鱼眼图像各个坐标点的像素值赋值给修正后的目标图像相应坐标的像素。
其他步骤和参数与具体实施方式一或二相同。
具体实施方式四:
本实施方式所述一种基于鱼眼成像模型的鱼眼图像畸变矫正方法,还包括以下步骤:
步骤四、将步骤三得到的映射关系进行存储,对后续采集的鱼眼图像进行矫正;
步骤五、对鱼眼图像完成畸变矫正后的图像进行插值,得到最终处理后的图像。
其他步骤和参数与具体实施方式一至三之一相同。
具体实施方式五:
本实施方式所述步骤四具体处理过程包括以下步骤:
步骤四一、定义一个与鱼眼图像相同尺寸的32位3通道的图像;
步骤四二、将后续采集的鱼眼图像各个像素点的横坐标存入至所述处理后的32位3通道图像的各个像素的第一通道,相应的纵坐标存入至所述处理后的32位3通道图像的各个像素的第二通道,所述处理后的32位3通道图像的第一通道和第二通道分别代表目标图像像素点对应的横坐标和纵坐标;
将后续采集的鱼眼图像各个像素点的坐标记为(xi,yi),修正后的目标图像相应坐标记为(xj,yj),将xi的值存入至所述的32位3通道图像中像素坐标为(xj,yj)的第一通道,相应的纵坐标yi的值存入至所述的32位3通道图像中像素坐标为(xj,yj)的第二通道,所述处理后的32位3通道图像的第一通道和第二通道分别代表鱼眼图像像素点对应的横坐标和纵坐标;
步骤四三、将所述处理后的32位3通道图像作为映射工具,批量将存入鱼眼图像的横纵坐标存入所述处理后的32位3通道图像,得到批量矫正处理的鱼眼图像,保证了处理的快速性。
其他步骤和参数与具体实施方式一至四之一相同。
具体实施方式六:
本实施方式的步骤三一中所述的鱼眼镜头焦距v为摄像头视场,Kf为焦距比例系数,通过手动调节至图像视野足够大时确定。
其他步骤和参数与具体实施方式一至五之一相同。
具体实施方式七:
本实施方式的步骤三一所述的通过坐标修正后目标图像像素(x′d,y′d)对鱼眼图像像素(xs,ys)进行表示的过程包括以下步骤:
根据鱼眼模型成像和针孔成像规律,并利用相似三角形的关系,得到鱼眼图像与目标图像的坐标转换关系:
其中,θ为入射角,(X,Y)为在针孔成型模型下图像上像素坐标,(x,y)为在鱼眼成像模型下图像上像素坐标(与(X,Y)的入射角相同的情况下);
修正后目标图像对应于针孔成像模型,将修正后修正后目标图像像素坐标(x′d,y′d)替代针孔成型模型下图像上像素坐标(X,Y);将鱼眼图像坐标(xs,ys)替代鱼眼成像模型下图像上像素坐标(x,y),进而得到坐标修正后目标图像像素(x′d,y′d)对鱼眼图像像素(xs,ys)的关系:
其他步骤和参数与具体实施方式一至六之一相同。
具体实施方式八:
本实施方式的步骤二三所述将经过像素修正后的目标图像的坐标原点转移至目标图像的左上角得到经过坐标系转换后的目标图像像素(xtd,ytd)的过程包括以下步骤:
将经过像素修正后的目标图像坐标原点转移至左上角的公式如下:
带入上述公式得到
其他步骤和参数与具体实施方式一至七之一相同。
具体实施方式九:
本实施方式的步骤三二所述的将坐标原点转移至鱼眼图像左上角,得到坐标转换后的鱼眼图像像素(xts,yts)的过程包括以下步骤:
将鱼眼图像像素(xs,ys)坐标原点转移至左上角的公式如下:
然后将带入上述公式,得到:
其他步骤和参数与具体实施方式一至八之一相同。
实施例
一幅鱼眼图像如图1所示,利用本发明对鱼眼图像进行矫正,如果未对鱼眼图像进行步骤二中所述的对假设的目标图像的像素(xd,yd)进行水平和垂直方向上的修正处理,能够得到的矫正图像如图2所示,可见矫正图像仍然存在着图像畸变;按照步骤二一所述在垂直方向加入垂直修正项,得到的矫正图像如图3所示,并在水平方向加入水平修正项,得到的矫正图像如图4所示,也就是经过本发明完整的步骤二处理后得到的畸变矫正图像如图4所示,可见已经得到好的矫正效果;仅仅是图像的像素上还需要进一步处理,然后通过步骤五对图像进行插值,得到最终处理后的图像,如图5所示。
如果针对大批量的畸变图像进行处理,每幅图像都按照步骤一至三进行处理会造成重复过程而花费较多的时间,如果通过步骤四的处理,采用存储映射关系的方法,能够不用将每幅图片均进行处理,只要按照映射关系将图片进行处理即可,能够节省大量的图像处理时间;以图6至图8所示,说明步骤四一至步骤四三的处理效果,图6为存储的与原鱼眼图像相同尺寸的32位3通道图像,图7为32位3通道图像中像素坐标的第一通道图像,图8为32位3通道图像中像素坐标的第二通道图像。与现有的畸变图像处理方法相比,在处理相同数量的图像,本发明能够节约50%以上的时间,明显提高了图像处理的速度;并且处理的畸变图像越多,节省的时间越多,即本发明的处理效率越高;同时能够保证同一个鱼眼镜头采集的所有图像均得以相同效果的畸变矫正。

Claims (9)

1.一种基于鱼眼成像模型的鱼眼图像畸变矫正方法,其特征在于,包括以下步骤:
步骤一、将像素坐标表示对应位置上的像素,设鱼眼镜头采集的鱼眼图像的像素为(xts,yts),对鱼眼图像的像素(xts,yts)进行坐标转换,将图像坐标原点从图像左上角移至图像中心,得到坐标转换后的鱼眼图像的像素(xs,ys);
步骤二、将鱼眼图像畸变矫正后的图像记为目标图像,假设目标图像上某像素的为(xd,yd),对假设的目标图像的像素(xd,yd)进行水平和垂直方向上的修正;
步骤三、根据针孔成像模型的成像规律以及鱼眼成像模型的成像特点,将坐标修正后的目标图像映射到鱼眼镜头成像模型下的鱼眼图像,即进行直角坐标与极坐标的转换,进而根据鱼眼图像得到矫正后的目标图像。
2.根据权利要求1所述的一种基于鱼眼成像模型的鱼眼图像畸变矫正方法,其特征在于,所述步骤二具体处理过程包括以下步骤:
步骤二一、假设目标图像上某像素的为(xd,yd),在垂直方向加入垂直修正项△y,得到修正后的纵坐标y′d
&Delta; y = K y y d 2 y d &GreaterEqual; 0 &Delta; y = - K y y d 2 y d < 0
y′d=yd+△y
并根据以上修正关系得到目标图像像素的纵坐标yd的表示形式:
y d = ( - 1 + 1 + 4 K y y d &prime; ) 2 K y y d &prime; &GreaterEqual; 0 y d = ( 1 - 1 - 4 K y y d &prime; ) 2 K y y d &prime; < 0
其中,Ky为纵坐标修正系数;
步骤二二、对于步骤二一中完成垂直方向修正的目标图像,在水平方向加入水平修正项△x,得到修正后的横坐标x′d
&Delta; x = K x x d y d &prime; 2
x′d=xd+△x
并根据以上修正关系得到目标图像像素横坐标xd的表示形式:
x d = x d &prime; 1 + K x y d 2
其中,Kx是横坐标修正系数;
步骤二三、将经过像素修正后的目标图像的坐标原点转移至目标图像的左上角,得到经过坐标系转换后的目标图像像素(xtd,ytd):
x t d = x d &prime; 1 + K x y d 2 + w / 2
y t d = h / 2 - ( - 1 + 1 + 4 K y y d &prime; ) 2 K y y d &prime; &GreaterEqual; 0 h / 2 - ( 1 - - 4 K y y d &prime; ) 2 K y y d &prime; < 0
其中,w、h分别为图像的宽度和高度。
3.根据权利要求2所述的一种基于鱼眼成像模型的鱼眼图像畸变矫正方法,其特征在于,所述步骤三具体处理过程包括以下步骤:
步骤三一、利用坐标修正后目标图像像素(x′d,y′d)对鱼眼图像像素(xs,ys)进行表示:
x s = 2 x d &prime; x d &prime; 2 + y d &prime; 2 / f sin ( tan - 1 ( x d &prime; 2 + y d &prime; 2 / f ) 2 ) y s = 2 y d &prime; x d &prime; 2 + y d &prime; 2 / f sin ( tan - 1 ( x d &prime; 2 + y d &prime; 2 / f ) 2 )
其中,f为鱼眼镜头焦距;
步骤三二、对于步骤三一得到的鱼眼图像像素(xs,ys)进行坐标转换,将坐标原点转移至鱼眼图像左上角,得到坐标转换后的鱼眼图像像素(xts,yts);
x t s = 2 x d &prime; x d &prime; 2 + y d &prime; 2 / f sin ( tan - 1 ( x d &prime; 2 + y d &prime; 2 / f ) 2 ) + w / 2 y t s = h / 2 - 2 y d &prime; x d &prime; 2 + y d &prime; 2 / f sin ( tan - 1 ( x d &prime; 2 + y d &prime; 2 / f ) 2 )
步骤三三、对于步骤二三得到的经过坐标系转换后的目标图像像素(xtd,ytd)和步骤三二完成坐标转换后的鱼眼图像(xts,yts)进行像素坐标映射,将鱼眼图像各个坐标点的像素值赋值给修正后的目标图像相应坐标的像素。
4.根据权利要求1、2或3所述的一种基于鱼眼成像模型的鱼眼图像畸变矫正方法,其特征在于,所述方法还包括以下步骤:
步骤四、将步骤三得到的映射关系进行存储,对后续采集的鱼眼图像进行矫正;
步骤五、对鱼眼图像完成畸变矫正后的图像进行插值,得到最终处理后的图像。
5.根据权利要求4所述的一种基于鱼眼成像模型的鱼眼图像畸变矫正方法,其特征在于,所述步骤四具体处理过程包括以下步骤:
步骤四一、定义一个与鱼眼图像相同尺寸的32位3通道的图像;
步骤四二、将后续采集的鱼眼图像各个像素点的横坐标存入至所述处理后的32位3通道图像的各个像素的第一通道,相应的纵坐标存入至所述处理后的32位3通道图像的各个像素的第二通道,所述处理后的32位3通道图像的第一通道和第二通道分别代表目标图像像素点对应的横坐标和纵坐标;
将后续采集的鱼眼图像各个像素点的坐标记为(xi,yi),修正后的目标图像相应坐标记为(xj,yj),将xi的值存入至所述的32位3通道图像中像素坐标为(xj,yj)的第一通道,相应的纵坐标yi的值存入至所述的32位3通道图像中像素坐标为(xj,yj)的第二通道,所述处理后的32位3通道图像的第一通道和第二通道分别代表鱼眼图像像素点对应的横坐标和纵坐标;
步骤四三、将所述处理后的32位3通道图像作为映射工具,批量将存入鱼眼图像的横纵坐标存入所述处理后的32位3通道图像,得到批量矫正处理的鱼眼图像,保证了处理的快速性。
6.根据权利要求5所述的一种基于鱼眼成像模型的鱼眼图像畸变矫正方法,其特征在于,步骤三一中所述的鱼眼镜头焦距v为摄像头视场,Kf为焦距比例系数。
7.根据权利要求6所述的一种基于鱼眼成像模型的鱼眼图像畸变矫正方法,其特征在于,步骤三一所述的通过坐标修正后目标图像像素(x′d,y′d)对鱼眼图像像素(xs,ys)进行表示的过程包括以下步骤:
根据鱼眼模型成像和针孔成像规律,并利用相似三角形的关系,得到鱼眼图像与目标图像的坐标转换关系:
&theta; = tan - 1 ( X 2 + Y 2 f )
x 2 + y 2 = 2 f s i n ( &theta; / 2 )
x x 2 + y 2 = X X 2 + Y 2 y x 2 + y 2 = Y X 2 + Y 2
其中,θ为入射角,(X,Y)为在针孔成型模型下图像上像素坐标,(x,y)为在鱼眼成像模型下图像上像素坐标;
修正后目标图像对应于针孔成像模型,将修正后修正后目标图像像素坐标(x′d,y′d)替代针孔成型模型下图像上像素坐标(X,Y);将鱼眼图像坐标(xs,ys)替代鱼眼成像模型下图像上像素坐标(x,y),进而得到坐标修正后目标图像像素(x′d,y′d)对鱼眼图像像素(xs,ys)的关系:
x s = 2 x d &prime; x d &prime; 2 + y d &prime; 2 / f sin ( tan - 1 ( x d &prime; 2 + y d &prime; 2 / f ) 2 ) y s = 2 y d &prime; x d &prime; 2 + y d &prime; 2 / f sin ( tan - 1 ( x d &prime; 2 + y d &prime; 2 / f ) 2 ) .
8.根据权利要求7所述的一种基于鱼眼成像模型的鱼眼图像畸变矫正方法,其特征在于,步骤二三所述将经过像素修正后的目标图像的坐标原点转移至目标图像的左上角得到经过坐标系转换后的目标图像像素(xtd,ytd)的过程包括以下步骤:
将经过像素修正后的目标图像坐标原点转移至左上角的公式如下:
x t d = x d + w / 2 y t d = h / 2 - y d
带入上述公式得到
x t d = x d &prime; 1 + K x y d 2 + w / 2
y t d = h / 2 - ( - 1 + 1 + 4 K y y d &prime; ) 2 K y y d &prime; &GreaterEqual; 0 h / 2 - ( 1 - 1 - 4 K y y d &prime; ) 2 K y y d &prime; < 0
9.根据权利要求7所述的一种基于鱼眼成像模型的鱼眼图像畸变矫正方法,其特征在于,步骤三二所述的将坐标原点转移至鱼眼图像左上角,得到坐标转换后的鱼眼图像像素(xts,yts)的过程包括以下步骤:
将鱼眼图像像素(xs,ys)坐标原点转移至左上角的公式如下:
x t s = x s + w / 2 y t s = h / 2 - y s
然后将带入上述公式,得到:
x t s = 2 x d &prime; x d &prime; 2 + y d &prime; 2 / f sin ( tan - 1 ( x d &prime; 2 + y d &prime; 2 / f ) 2 ) + w / 2 y t s = h / 2 - 2 y d &prime; x d &prime; 2 + y d &prime; 2 / f sin ( tan - 1 ( x d &prime; 2 + y d &prime; 2 / f ) 2 ) .
CN201611093037.9A 2016-12-01 2016-12-01 一种基于鱼眼成像模型的鱼眼图像畸变矫正方法 Active CN106780374B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611093037.9A CN106780374B (zh) 2016-12-01 2016-12-01 一种基于鱼眼成像模型的鱼眼图像畸变矫正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611093037.9A CN106780374B (zh) 2016-12-01 2016-12-01 一种基于鱼眼成像模型的鱼眼图像畸变矫正方法

Publications (2)

Publication Number Publication Date
CN106780374A true CN106780374A (zh) 2017-05-31
CN106780374B CN106780374B (zh) 2020-04-24

Family

ID=58913736

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611093037.9A Active CN106780374B (zh) 2016-12-01 2016-12-01 一种基于鱼眼成像模型的鱼眼图像畸变矫正方法

Country Status (1)

Country Link
CN (1) CN106780374B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107749050A (zh) * 2017-09-30 2018-03-02 珠海市杰理科技股份有限公司 鱼眼图像矫正方法、装置及计算机设备
CN107871329A (zh) * 2017-12-18 2018-04-03 横琴峰云视觉技术有限公司 一种相机光学中心的快速标定方法及装置
CN108320575A (zh) * 2018-03-16 2018-07-24 上海芭比信息技术服务有限公司 一种车位引导及反向寻车系统及其停车位检测装置、方法
CN109308686A (zh) * 2018-08-16 2019-02-05 北京市商汤科技开发有限公司 一种鱼眼图像处理方法及装置、设备和存储介质
CN110533618A (zh) * 2019-09-03 2019-12-03 西安奇维科技有限公司 一种镜头畸变矫正的方法和照相装置
CN111383194A (zh) * 2020-03-10 2020-07-07 江苏科技大学 一种基于极坐标的相机畸变图像校正方法
CN112200064A (zh) * 2020-09-30 2021-01-08 腾讯科技(深圳)有限公司 一种图像处理方法、装置、电子设备及存储介质
CN112837209A (zh) * 2019-11-22 2021-05-25 百度(美国)有限责任公司 对鱼眼镜头生成具有畸变的图像的新方法
CN112991216A (zh) * 2021-03-18 2021-06-18 支付宝(杭州)信息技术有限公司 鱼眼图像的矫正方法、系统、智能货架以及图像处理方法
CN115049535A (zh) * 2022-05-24 2022-09-13 张全胜 鱼眼镜头有效区域获取与图像精细校正方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101726855A (zh) * 2009-11-13 2010-06-09 河北工业大学 基于立方体投影对鱼眼图像畸变校正方法
CN103996172A (zh) * 2014-05-08 2014-08-20 东北大学 一种基于多步校正的鱼眼图像校正方法
CN104574289A (zh) * 2013-10-29 2015-04-29 深圳市中航比特通讯技术有限公司 一种基于椭球面模型的鱼眼图像畸变校正算法
CN105021127A (zh) * 2015-06-25 2015-11-04 哈尔滨工业大学 一种贴片机的基准相机校正方法
CN105354808A (zh) * 2015-12-02 2016-02-24 深圳华强数码电影有限公司 鱼眼图像的矫正方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101726855A (zh) * 2009-11-13 2010-06-09 河北工业大学 基于立方体投影对鱼眼图像畸变校正方法
CN104574289A (zh) * 2013-10-29 2015-04-29 深圳市中航比特通讯技术有限公司 一种基于椭球面模型的鱼眼图像畸变校正算法
CN103996172A (zh) * 2014-05-08 2014-08-20 东北大学 一种基于多步校正的鱼眼图像校正方法
CN105021127A (zh) * 2015-06-25 2015-11-04 哈尔滨工业大学 一种贴片机的基准相机校正方法
CN105354808A (zh) * 2015-12-02 2016-02-24 深圳华强数码电影有限公司 鱼眼图像的矫正方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
刘丽群: "基于鱼眼镜头的全方位机器视觉应用研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
张伟: "鱼眼图像校正算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
王永等: "煤矿鱼眼畸变图像校正", 《工矿自动化》 *
黄岩岩: "鱼眼畸变图像校正的研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107749050A (zh) * 2017-09-30 2018-03-02 珠海市杰理科技股份有限公司 鱼眼图像矫正方法、装置及计算机设备
CN107871329B (zh) * 2017-12-18 2021-09-07 北京峰云视觉技术有限公司 一种相机光学中心的快速标定方法及装置
CN107871329A (zh) * 2017-12-18 2018-04-03 横琴峰云视觉技术有限公司 一种相机光学中心的快速标定方法及装置
CN108320575A (zh) * 2018-03-16 2018-07-24 上海芭比信息技术服务有限公司 一种车位引导及反向寻车系统及其停车位检测装置、方法
CN109308686A (zh) * 2018-08-16 2019-02-05 北京市商汤科技开发有限公司 一种鱼眼图像处理方法及装置、设备和存储介质
CN109308686B (zh) * 2018-08-16 2022-06-24 北京市商汤科技开发有限公司 一种鱼眼图像处理方法及装置、设备和存储介质
CN110533618A (zh) * 2019-09-03 2019-12-03 西安奇维科技有限公司 一种镜头畸变矫正的方法和照相装置
CN112837209A (zh) * 2019-11-22 2021-05-25 百度(美国)有限责任公司 对鱼眼镜头生成具有畸变的图像的新方法
CN112837209B (zh) * 2019-11-22 2024-04-16 百度(美国)有限责任公司 对鱼眼镜头生成具有畸变的图像的新方法
CN111383194A (zh) * 2020-03-10 2020-07-07 江苏科技大学 一种基于极坐标的相机畸变图像校正方法
CN112200064A (zh) * 2020-09-30 2021-01-08 腾讯科技(深圳)有限公司 一种图像处理方法、装置、电子设备及存储介质
CN112991216A (zh) * 2021-03-18 2021-06-18 支付宝(杭州)信息技术有限公司 鱼眼图像的矫正方法、系统、智能货架以及图像处理方法
CN115049535A (zh) * 2022-05-24 2022-09-13 张全胜 鱼眼镜头有效区域获取与图像精细校正方法
CN115049535B (zh) * 2022-05-24 2024-01-12 杭州追形视频科技有限公司 鱼眼镜头有效区域获取与图像精细校正方法

Also Published As

Publication number Publication date
CN106780374B (zh) 2020-04-24

Similar Documents

Publication Publication Date Title
CN106780374A (zh) 一种基于鱼眼成像模型的鱼眼图像畸变矫正方法
CN108257183B (zh) 一种相机镜头光轴校准方法和装置
CN106875339B (zh) 一种基于长条形标定板的鱼眼图像拼接方法
CN108564617B (zh) 多目相机的三维重建方法、装置、vr相机和全景相机
CN103198487B (zh) 一种用于视频监控系统中的自动定标方法
US20200366838A1 (en) Panoramic image generation method and device
CN111750820B (zh) 影像定位方法及其系统
CN105046657B (zh) 一种图像拉伸畸变自适应校正方法
CN110288527B (zh) 一种车载环视相机全景鸟瞰图生成方法
CN105243637B (zh) 一种基于三维激光点云进行全景影像拼接方法
US20180122099A1 (en) Image processing apparatus having automatic compensation function for image obtained from camera, and method thereof
CN106600644B (zh) 全景摄像机的参数矫正方法及装置
CN107633489A (zh) 鱼眼镜头圆心重提取映射法畸变矫正方法
CN105741233B (zh) 一种视频图像球面拼接方法及系统
CN103177439A (zh) 一种基于黑白格角点匹配的自动标定方法
CN107993263A (zh) 环视系统自动标定方法、汽车、标定装置及存储介质
CN111461963B (zh) 一种鱼眼图像拼接方法及装置
CN108053373A (zh) 一种基于深度学习模型鱼眼图像校正方法
CN108200360A (zh) 一种多鱼眼镜头全景摄像机的实时视频拼接方法
CN106570907B (zh) 一种相机标定方法及装置
CN102915525A (zh) 全幅鱼眼镜头桶形畸变图像校正方法
CN107798702A (zh) 一种用于增强现实的实时图像叠加方法以及装置
CN110660105A (zh) 一种全景环视系统的标定参数优化方法及装置
CN105335977B (zh) 摄像系统及目标对象的定位方法
CN111243034A (zh) 一种全景辅助泊车标定方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant