CN106023127B - 一种基于多帧的鱼眼视频校正方法 - Google Patents

一种基于多帧的鱼眼视频校正方法 Download PDF

Info

Publication number
CN106023127B
CN106023127B CN201610324176.1A CN201610324176A CN106023127B CN 106023127 B CN106023127 B CN 106023127B CN 201610324176 A CN201610324176 A CN 201610324176A CN 106023127 B CN106023127 B CN 106023127B
Authority
CN
China
Prior art keywords
frame
image
video
fisheye
fisheye video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610324176.1A
Other languages
English (en)
Other versions
CN106023127A (zh
Inventor
何健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Technology (nanjing) Ltd By Share Ltd
Original Assignee
Technology (nanjing) Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Technology (nanjing) Ltd By Share Ltd filed Critical Technology (nanjing) Ltd By Share Ltd
Priority to CN201610324176.1A priority Critical patent/CN106023127B/zh
Publication of CN106023127A publication Critical patent/CN106023127A/zh
Application granted granted Critical
Publication of CN106023127B publication Critical patent/CN106023127B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开的一种基于多帧的鱼眼视频校正方法，包括以下步骤：混合多帧灰度图，从混合后的灰度图中提取边缘图，通过边缘图求得外接圆参数；然后根据所述外接圆参数采用等距投影校正鱼眼视频。本发明的基于多帧的鱼眼视频校正方法，解决了目前校正方法存在的无法准确区分成像和非成像区域和不具有容错性的缺点。本发明的方法大大提高了鱼眼视频校正的鲁棒性和效率，处理过程简单，具有实时性和理想的校正效果。使用计算机软件执行本方法时，易于模块化和移植，可以很方便地嵌入到鱼眼相关的应用系统。

Description

一种基于多帧的鱼眼视频校正方法
技术领域
本发明属于图像处理技术领域，具体是一种基于多帧的鱼眼视频校正方法。
背景技术
鱼眼镜头是一种基于仿生学的镜头，对物理空间进行变形，具有短焦距、大视角的优点，比广角镜头和超广角镜头具有更大的视场角，视场角一般大于等于180°。起初是应用于摄影，尽管引入桶形畸变，但不影响分辨率，可以实现大范围的清晰成像，目前已经扩展到虚拟实景、视频监控、建筑测量、智能交通、机器人导航、国防军事等领域。在全景监控方面，鱼眼镜头相较于多镜头式系统还具有结构紧凑、体积较小、不易损坏、技术要求低等特点，所以在安全和军事领域，由鱼眼镜头为核心的全景监控系统也成为了近年来全景监控研究的热点之一。
鱼眼镜头所成的像，由于景深曲率的影响，图像的桶形畸变十分严重。桶形畸变是图像的横向放大率随视场增大而减小的畸变。在鱼眼视频中，边缘的会出现明显的失真。不同于小孔成像线性模型，现实世界中直线，如果不是沿着径向，成像后是不可能是直线的。所以，为了能正确地分析鱼眼视频中的信息，需要将鱼眼视频进行校正。
鱼眼镜头采用非相似投影模型，常用的投影模型包括等距投影、等立体角投影、正交投影、体视投影模型等。在等距投影下，相同的半视场角在像面上对应着相等的距离，故称之为“等距投影”。等距投影成像使像高与半视场角成非常简单的正比关系，可以方便地提取空间目标的角坐标及其随时间变化的动态信息。这是等距投影的特殊优势，并使等距投影成为最受重视的成像方式。
发明内容
本发明要解决的问题是提供一种基于多帧的鱼眼视频校正方法，该方法首先使用混合视频的多帧灰度图，然后外接圆的参数标定，最后使用等距投影模型来进行鱼眼视频的实时校正，该校正方法能够准确区分成像区域和非成像区域，并且不受成像区域顶点确认错误的影响，提高鱼眼视频的校正精度。
本发明的基于多帧的鱼眼视频校正方法，包括以下步骤：
混合鱼眼视频的多帧灰度图得到一张灰度图，从混合后的灰度图中提取边缘图，通过边缘图求得外接圆参数，所述外接圆参数包括外接圆半径和圆心坐标；通过混合多帧视频，可以防止单帧视频出现的成像区域灰度值低而无法区分成像区域和非成像区域，同时可以减少提取不必要的边缘，减少噪点，提高外接圆边缘的可靠性。
根据所述外接圆半径和圆心坐标，采用等距投影校正鱼眼视频。
进一步的，所述混合多帧视频灰度图过程中，混合后的第n帧视频灰度图的计算公式如下：
其中，是前n-1帧的混合灰度图，Gn是第n帧的灰度图。
进一步的，所述提取边缘图的过程采用Canny算法。Canny边缘检测算子是JohnF.Canny于1986年开发出来的一个多级边缘检测算法。成像区域和非成像区域的边界可能是模糊的，造成边界处的梯度值不高，以至于不能被提取出来，所以本发明算法采取缩小图像的方法，边界范围缩小且清晰，并且进一步采用多尺度，即在多个缩放尺度上生成边缘图，消除了误差。
进一步的，在通过边缘图求得所述外接圆参数前，确定成像区域的上下左右四个顶点：Pt(xt,yt),Pb(xb,yb),Pl(xl,yl),Pr(xr,yr)。
二维坐标系下求外接圆的公式为：
(x-xc)2+(y-yc)2＝r2
公式(4)
由公式(4)可见，只要有任意三个不在一条直线的点，就可以建立三元方程组，可以唯一确定一个圆(xc,yc,r)，其中(xc,yc)为圆心坐标，r为半径。理论情况下，所有的边缘都应在外接圆内，所以同样可以通过采用扫描边缘图，获得成像区域的上下左右四个顶点：Pt(xt,yt),Pb(xb,yb),Pl(xl,yl),Pr(xr,yr)，选择任意三个点计算得到的圆，如果第四个点也在这个圆上或圆内，那么这个圆就是外接圆。可以防止任意一个点出现错误而造成结果错误。
进一步的，所述采用等距投影校正鱼眼视频，包括以下几个过程：
根据鱼眼视频帧的外接圆半径和圆心坐标；然后建立等距投影模型，经过多次拉升变换，得到最终输出的视频帧图中每个像素点在原始鱼眼视频帧中的对应点；最后采用双线性插值算法，逐个取原始鱼眼图的像素点去填充拉升后图的像素点。进一步的，在所述采用等距投影校正鱼眼视频的过程中，得到所述最终输出的视频帧图中每个像素点在原始鱼眼视频帧中的对应点，计算步骤如下：
计算鱼眼视频投影模型中的θ和α：
0＝πy/h 公式(5)
α＝2πx/w 公式(6)
所述校正后视频的分辨率为w*h。
等距投影模型中，
其中h是整个弧长l1；y是θ角对应的弧长。
计算鱼眼视频投影模型中的半径f(图2中线段O1P1的长度)
f＝2r/φ 公式(7)
其中，φ是是鱼眼镜头的视角，r是外接圆半径。
计算线段O0P0的长度：
r0＝f*θ 公式(8)
O0为圆心。
计算P0坐标：
其中(xc,yc)是外接圆圆心O0坐标。
为了实现实时性，采用以用空间换时间的方式进行优化。通过建表，直接生成P3和P0的对应关系表，性能上得到提升，但是需要分配w*h*4*2的字节内存空间，随着输出视频帧的分辨率成倍增长。在使用计算机软件执行上述方法时，需要按照行和列遍历进行处理，总共需要调用w*h次cos和sin函数，耗费大量时间。用查表代替函数调用，性能得到很大提高。通过公式(6)可知，x的取值范围在(0,w),所以只需要分配w*2*4字节的内存空间，相比较w*h*4*2，大大减少了内存的分配，一旦输出视频帧的分辨率确定，就可以重复使用cos和sin函数表。
本发明的基于多帧的鱼眼视频校正方法，包括以下步骤：混合原始鱼眼视频的多帧灰度图得到一张灰度图，从混合后的灰度图中提取边缘图，通过边缘图求得外园参数外接圆半径和圆心坐标；根据所述外接圆参数包括外接圆半径和圆心坐标，采用等距投影校正鱼眼视频。本发明的基于多帧的鱼眼视频校正方法解决了目前校正方法存在的问题：单帧视频灰度低，无法区分成像和非成像区域；简单依赖扫描图像得到的成像区域上下左右四个顶点，不具有容错性。本发明的方法大大提高了鱼眼视频校正的鲁棒性和效率，处理过程简单，具有实时性和理想的校正效果。使用计算机软件执行本方法时，易于模块化和移植，可以很方便地嵌入到鱼眼相关的应用系统。
附图说明
图1为本发明的基于多帧的鱼眼视频校正方法一个实施例的一帧原始视频灰度图；
图2为本发明的基于多帧的鱼眼视频校正方法一个实施例的投影模型示意图；
图3为本发明的基于多帧的鱼眼视频校正方法一个实施例的展开模型；
图4为图3所示的展开模型展开后的二维平面图；
图5为本发明的基于多帧的鱼眼视频校正方法一个实施例的流程框图。
具体实施方式
下面结合附图，对本发明提出的一种基于多帧的鱼眼视频校正方法进行详细说明。
如图1所示，鱼眼镜头拍摄的场景，最终成像是个圆形，需要校正的是成像区域，所以区分成像区域和非成像区域。
已有的算法是直接扫描图像的灰度图，由于非成像区域的特征是灰度值低，设定一定的灰度阈值来区分成像区域和非成像区域，得到成像区域的上下左右四个顶点：
Pt(xt,yt),Pb(xb,yb),Pl(xl,yl),Pr(xr,yr)
圆心O0坐标计算公式组(1)为：
xc＝(xr+xl)/2
yc＝(yt+yb)/2 公式组(1)
半径r计算公式为：
r＝max((xr-xl)/2，(yb-yt)/2) 公式(2)
上述方法的缺点包括：
1、灰度阈值的设定，不是自适应生成的，如果视频成像区域的灰度值本身就低，就无法准确的区分成像区域和非成像区域。
2、如果成像区域的上下左右四个顶点某个点是错误的，会导致计算出来的圆形信息的错误。
本发明公开的一种基于多帧的鱼眼视频校正方法的一个实施例，包括以下步骤：
如图5所示，混合多帧视频灰度图得到混合视频，从每帧混合后的灰度图中提取边缘图，通过边缘图求得外接圆参数外接圆半径和圆心坐标；
根据所述外接圆半径和圆心坐标，采用等距投影校正鱼眼视频。混合多帧视频灰度图过程中，混合后的第n帧视频灰度图的计算公式如下：
其中，是前n-1帧的混合灰度图，Gn是第n帧的灰度图。
提取边缘图的过程采用Canny算法。Canny边缘检测算子是John F.Canny于1986年开发出来的一个多级边缘检测算法。成像区域和非成像区域的边界可能是模糊的，造成边界处的梯度值不高，以至于不能被提取出来，所以本发明算法采取缩小图像的方法，边界范围缩小且清晰，所以进一步采用多尺度，即在多个缩放尺度上生成边缘图。
确定成像区域的上下左右四个顶点：Pt(xt,yt),Pb(xb,yb),Pl(xl,yl),Pr(xr,yr)
二维坐标系下求外接圆的公式为：
(x-xc)2+(y-yc)2＝r2 公式(4)
由公式(4)可见，只要有任意三个不在一条直线的点，就可以建立三元方程组，可以唯一确定一个圆(xc,yc,r)，其中(xc,yc)为圆心坐标，r为半径。理论情况下，所有的边缘都应在外接圆内，所以使用计算机软件执行本发明的方法时，可以通过采用扫描边缘图，获得成像区域的上下左右四个顶点：Pt(xt,yt),Pb(xb,yb),Pl(xl,yl),Pr(xr,yr)，选择任意三个点计算得到的圆，如果第四个点也在这个圆上或圆内，那么这个圆就是外接圆。可以防止任意一个点出现错误而造成结果错误。
采用等距投影校正鱼眼视频，包括以下个过程：
建立鱼眼视频帧的投影模型，将混合视频的其中一帧灰度图转换到鱼眼视频帧的投影模型中，得到第二灰度图；建立展开模型，将鱼眼视频帧的投影模型中的第二灰度图转换到展开模型中，得到第三灰度图；将展开模型展开为二维平面图，其中对应的灰度图即为校正视频帧图；重复以上步骤，直至混合视频的所有帧灰度图均转换为校正视频帧图。
上述从混合视频的一帧灰度图转换到校正视频帧图的过程中，将图分为像素点进行。
如图1所示，l0是混合灰度图上任意一条与外接圆半径重合的线段，P0是l0上任意一个像素点。l0对应于图2(等距投影模型)中线l1，而线l1对应于图3(展开模型)中的线l2，最后图3以l2展开就是最终输出的校正视频帧图4(即展开模型展开后的二维平面图)，线l2对应于线l3。
得到校正视频帧中的像素点P3在原始鱼眼视频帧中的对应点P0需要如下计算：
计算鱼眼视频投影模型中的θ和α：
θ＝πy/h 公式(5)
α＝2πx/w 公式(6)
混合视频的像素分辨率为w*h。公式(5)和公式(6)对应图1和图2，是等距投影中第一次拉升变换。
计算鱼眼视频投影模型中的半径f(图2中线段O1P1的长度)
f＝2r/φ 公式(7)
其中，φ是是鱼眼镜头的视角，r是外接圆半径。
计算线段O0P0的长度：
r0＝f*θ 公式(8)
O0为圆心。
计算P0坐标：
其中(xc,yc)是外接圆圆心O0坐标。
为了实现实时性，采用以用空间换时间的方式进行优化。通过建表，直接生成P3和P0的对应关系表，性能上得到提升，但是需要分配w*h*4*2的字节内存空间，随着输出视频帧的分辨率成倍增长。
创建cos和sin函数表，用于计算P0坐标。在使用计算机软件执行上述方法时，需要按照行和列遍历进行处理，总共需要调用w*h次cos和sin函数，耗费大量时间。用查表代替函数调用，性能得到很大提高。通过公式(6)可知，x的取值范围在(0,w),所以只需要分配w*2*4字节的内存空间，相比较w*h*4*2，大大减少了内存的分配，一旦输出视频帧的分辨率确定，就可以重复使用cos和sin函数表。本发明具体应用途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进，这些改进也应视为本发明的保护范围。

Claims (3)

1.一种基于多帧的鱼眼视频校正方法，其特征在于，包括以下步骤：
混合原始鱼眼视频的多帧灰度图得到一张灰度图，从混合后的灰度图中提取边缘图，通过边缘图求得外接圆参数，所述外接圆参数包括外接圆半径和圆心坐标；
根据所述外接圆半径和圆心坐标，采用等距投影校正鱼眼视频；
所述混合多帧灰度图过程中，混合后的第n帧灰度图的计算公式如下：
其中，是前n-1帧的混合灰度图，Gn是第n帧的灰度图；
所述提取边缘图的过程采用Canny算法；
在所述通过边缘图求得外接圆参数前，确定成像区域的上下左右四个顶点：Pt(xt,yt),Pb(xb,yb),Pl(xl,yl),Pr(xr,yr)；
所述采用等距投影校正鱼眼视频的过程如下：
根据鱼眼视频帧的外接圆半径和圆心坐标建立等距投影模型，经过多次拉伸 变换，得到最终输出的视频帧图中每个像素点P3在原始鱼眼视频帧中的对应点P0；最后采用双线性插值算法，逐个取原始鱼眼图的像素点去填充拉伸 后图的像素点；
在所述采用等距投影校正鱼眼视频的过程中，得到所述最终输出的视频帧图中每个像素点P3在原始鱼眼视频帧中的对应点P0，计算步骤如下：
计算鱼眼视频投影模型中的θ和α：
θ＝πy/h 公式(5)
α＝2πx/w 公式(6)
所述混合视频的像素分辨率为w*h；
计算鱼眼视频投影模型中的半径f：
f＝2r/φ 公式(7)
其中，φ是是鱼眼镜头的视角，r是外接圆半径；
计算线段O0P0的长度：
r0＝f*θ 公式(8)
O0为圆心；
计算P0坐标：
其中(xc,yc)是外接圆圆心O0坐标。
2.根据权利要求1所述的基于多帧的鱼眼视频校正方法，其特征在于，所述通过边缘图求得外接圆参数过程中，二维坐标系下求外接圆的公式为：
(x-xc)2+(y-yc)2＝r2 公式(4)
其中，(xc,yc)是外接圆圆心O0的坐标。
3.根据权利要求2所述的基于多帧的鱼眼视频校正方法，其特征在于，在所述采用等距投影校正鱼眼视频的过程中，创建cos和sin函数表，用于计算P0坐标。
CN201610324176.1A 2016-05-16 2016-05-16 一种基于多帧的鱼眼视频校正方法 Active CN106023127B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610324176.1A CN106023127B (zh) 2016-05-16 2016-05-16 一种基于多帧的鱼眼视频校正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610324176.1A CN106023127B (zh) 2016-05-16 2016-05-16 一种基于多帧的鱼眼视频校正方法

Publications (2)

Publication Number Publication Date
CN106023127A CN106023127A (zh) 2016-10-12
CN106023127B true CN106023127B (zh) 2019-01-29

Family

ID=57097941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610324176.1A Active CN106023127B (zh) 2016-05-16 2016-05-16 一种基于多帧的鱼眼视频校正方法

Country Status (1)

Country Link
CN (1) CN106023127B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107767422B (zh) * 2017-09-18 2022-04-05 深圳开阳电子股份有限公司 一种鱼眼镜头的校正方法、装置及便携式终端

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103728313A (zh) * 2013-12-27 2014-04-16 华东交通大学 基于时序热图加权叠加的红外无损检测方法
CN104268867A (zh) * 2014-09-22 2015-01-07 国家电网公司 一种自适应的鱼眼镜头快速校正方法
CN104574289A (zh) * 2013-10-29 2015-04-29 深圳市中航比特通讯技术有限公司 一种基于椭球面模型的鱼眼图像畸变校正算法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104574289A (zh) * 2013-10-29 2015-04-29 深圳市中航比特通讯技术有限公司 一种基于椭球面模型的鱼眼图像畸变校正算法
CN103728313A (zh) * 2013-12-27 2014-04-16 华东交通大学 基于时序热图加权叠加的红外无损检测方法
CN104268867A (zh) * 2014-09-22 2015-01-07 国家电网公司 一种自适应的鱼眼镜头快速校正方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
单幅圆形鱼眼图像的校正;张军 等;《计算机应用》;20150510;第35卷(第5期);第1444-1448页
提取鱼眼图像轮廓的算法改进及图像校正;常丹华 等;《激光与红外》;20120430;第42卷(第4期);第448-451页
等距投影的鱼眼图像畸变校正算法设计;孟灵;《数字技术与应用》;20160515;第125-126页

Also Published As

Publication number Publication date
CN106023127A (zh) 2016-10-12

Similar Documents

Publication Publication Date Title
CN110211043B (zh) 一种用于全景图像拼接的基于网格优化的配准方法
CN111750820B (zh) 影像定位方法及其系统
CN110223226B (zh) 全景图像拼接方法及系统
CN104778656B (zh) 基于球面透视投影的鱼眼图像校正方法
JPWO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
CN105096317A (zh) 一种复杂背景中的高性能相机全自动标定方法
CN109859137B (zh) 一种广角相机非规则畸变全域校正方法
CN113012234B (zh) 基于平面变换的高精度相机标定方法
CN106447602A (zh) 一种图像拼接方法及装置
CN107749050B (zh) 鱼眼图像矫正方法、装置及计算机设备
CN107689033B (zh) 一种基于椭圆分割的鱼眼图像畸变校正方法
CN104994367A (zh) 一种图像矫正方法以及摄像头
CN108269234B (zh) 一种全景相机镜头姿态估计方法及全景相机
CN112308931B (zh) 相机的标定方法、装置、计算机设备和存储介质
CN116778288A (zh) 一种多模态融合目标检测系统及方法
CN113989392A (zh) 拼接摄像机的彩色棋盘格标定方法、装置及摄像机
CN113379815A (zh) 基于rgb相机与激光传感器的三维重建方法、装置及服务器
JP2010205095A (ja) ３次元物体認識装置、並びに３次元物体認識プログラム及びこれが記録されたコンピュータ読み取り可能な記録媒体
CN114648458A (zh) 鱼眼图像矫正方法、装置、电子设备及存储介质
Wang et al. A real-time correction and stitching algorithm for underwater fisheye images
CN106023127B (zh) 一种基于多帧的鱼眼视频校正方法
CN114511894A (zh) 瞳孔中心坐标的获取系统及获取方法
CN105488764B (zh) 鱼眼图像校正方法及装置
CN110874820B (zh) 一种物料仿真形变数据获取方法及装置
CN111047513A (zh) 一种用于柱面全景拼接的鲁棒性图像对齐方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant