CN1856094A - 一种广角镜头下的视频实时校正方法 - Google Patents
一种广角镜头下的视频实时校正方法 Download PDFInfo
- Publication number
- CN1856094A CN1856094A CN200510066977.4A CN200510066977A CN1856094A CN 1856094 A CN1856094 A CN 1856094A CN 200510066977 A CN200510066977 A CN 200510066977A CN 1856094 A CN1856094 A CN 1856094A
- Authority
- CN
- China
- Prior art keywords
- wide
- picture
- image
- video
- real time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000012937 correction Methods 0.000 claims description 21
- 230000001915 proofreading effect Effects 0.000 claims description 14
- 238000012544 monitoring process Methods 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 8
- 241000251468 Actinopterygii Species 0.000 claims description 6
- 239000004744 fabric Substances 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000008676 import Effects 0.000 claims description 2
- 230000003993 interaction Effects 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明涉及广角镜头校正技术领域,特别是一种广角镜头下的视频实时校正方法。提供一种通过球面透视投影约束实时校正动态广角图像的方法。包括步骤:S1.1.包含有较多直线的场景内,拍摄一幅广角图像;S1.2.提取图像中的曲线,这些曲线必须是空间直线的像;S1.3.确定广角变形校正模型中的参数;S1.4.根据S1.3)中得到的参数,校正视频序列中的每帧图像;S1.5.实时显示校正后的每帧图像,得到校正后的视频序列。
Description
技术领域
本发明涉及广角镜头校正技术领域,特别是一种广角镜头下的视频实时校正方法。
背景技术
广角镜头被广泛地运用于视觉监控、跟踪和机器人导航中。它具有独特的宽阔视野,可以弥补标准镜头视场较窄的缺点。但是,广角镜头具有一个很大的缺点就是所拍摄的图像存在非常严重的变形,这对我们用广角镜头下的视频装置直接进行监控、跟踪带来非常大的困难。因此,在利用广角镜头的监控技术中,很重要的一步就是如何把通过采集卡获取的动态广角图像实时地校正为一般的透视投影图像。
动态广角图像实时校正的主要难点在于以下两点:1)如何校正单幅静态广角图像。由于广角图像的成像模型很复杂,图像畸变相当严重,尤其是图像边缘处,校正参数不好选取;2)校正的实时性。
目前已有了一些对视场为100度左右的广角镜头的校正方法,较常用的方法是利用平面透视投影约束,通过变形校正模型将空间直线的投影曲线映射为图像平面上的直线。但是,对于广角镜头,其视场可能达到180度,这样,如果利用已有的方法,校正后的图像大小将为无穷大,无法进行实现。
目前已有的实时视频处理系统中,常用的方法是采用每帧图像分别计算、单线程方式处理和显示视频,由于视频信息量大,处理视频要耗费大量的系统资源,因此常规方法不能达到处理后视频的流畅化显示。在许多应用中如监控、安全和军事应用中,视频处理特别强调实时性,因此每帧图像分别计算、单线程方式影响了显示效果并制约了实际应用。
发明内容
本发明提供一种动态广角图像实时校正的方法。该方法可以有效解决使用普通摄像机进行监控、跟踪时,因监控范围小不适合大范围和重要部门应用或为达到大的监控范围而使用大量摄像机的问题。
本发明方法要求有一个图像采集卡,一个广角镜头,一台计算机和一架由计算机控制的摄像机。以下分两部分具体说明该方法:
1.校正参数的确定
如图1所示,本方法利用球面透视投影约束来校正广角图像。球面透视投影指的是,假设摄像机的光心在一个球的球心处,空间点在该球面上投影成像。这样,空间直线在球上的投影为一个大圆。假定空间直线在广角镜头下成的像,即一条曲线,与单位球上的大圆有下面的关系:
其中r,θ是广角图像上点的极坐标表示,原点位于图像的中心;φ′,θ′是单位球面上点的球坐标表示,φ′表示射线与Z轴的交角,θ′表示与X轴的交角,而X轴,Y轴所在的平面与图像平面共面;ai,ci是待求参数。
即在广角图像上同一曲线(空间直线的像)上的点经过上面的关系映射到同一个大圆上。当广角图像包含的场景范围大约是180度时,经过上述变换,图像上的点映射到同一半球上。由于模型误差的存在,经过上述映射,共线点并不严格地在同一个大圆上,即点到大圆的球面距离不等于0。因此,我们需要首先求出球上一点到一个大圆的球面距离公式。一个大圆可以用两个参数表示,即表示所在平面的单位法向量的两个参数,记为Ф,Θ,从而,点(φ′,θ′)到一个大圆(Ф,Θ)的球面距离公式近似表示为
ds≈d
其中d=|sinФsinφ′cos(Θ-θ′)+cos(Ф)cosφ′|,且d的值很小。
因此,我们构造的最小化目标函数为:
其中dij=|sinФjsinφi′cos(Θj-θi′)+cos(Фj)cosφi′|,其中L表示直线的条数,nj表示第j条直线上的点数。目标函数中的未知量为{ci}i=1 5,{ci}i=1 4,{Фj,Θj}j=1 L。但是,在{ai,ci}已知时,{Фj,Θj}j=1 L可以按下面的方法求得。
由于同一个大圆上的每一点pij都与其所在平面的法向量nj(由{Фj,Θj}确定)垂直,即
pij·nj=0 (3)
因此,由两个以上的共圆点得到个约束,再运用奇异值分解的方法,就可以线性地求得nj。这样,在目标函数中,实际上只存在9个未知量,即{ci}i=1 5,{ai}i=1 4。利用优化算法就可以估计出参数{ai,ci}。
2.通过球面透视投影约束实时校正动态广角图像的方法,包括步骤:
1)在包含有较多直线的场景内,拍摄一幅广角图像;
2)提取图像中的曲线,这些曲线必须是空间直线的像;
3)可通过求解最小化问题(2)即
确定广角变形校正模型中的参数,最小化问题(2)的未知量有{ci}i=1 5,{ai}i=1 4,{Фj,Θj)j=1 L,在给定某组{ai,ci}时,{Фj,Θj}j=1 L可通过公式(1)(3)求得;
4)根据3)中得到的参数,校正视频序列中的每帧图像;
5)实时显示校正后的每帧图像,得到校正后的视频序列。
本发明可以校正各种型号的广角镜头获取的图像,并可在图像中选择任意视点实施校正和观察。通过本方法,用户只需使用装有广角镜头的摄像机,就可获得大的视场范围并可根据需要在任意视角处实时校正为清晰流畅的透视投影视频。
本发明涉及视觉监控、视频监控、图像和视频处理、跟踪和机器人导航。
可以根据需要随时转换视角,实时得到广角图像内任意区域的校正图像。
采用广角图像与透视图的映射表技术保证视频校正的实时性。
多线程编程技术保证视频校正的实时性。
本发明方法中的广角镜头包括鱼眼镜头。
附图说明
图1是本发明广角镜头下的视频实时校正方法的流程图;
图2是本发明广角镜头下的视频实时校正方法校正参数估计的流程图;
图3是本发明广角镜头下的视频实时校正方法实时视频校正的流程图;
图4是一幅广角图像;
图5是选取的图4内的若干条直线;
图6是校正后的图像;
图7是使用本发明实施的广角镜头下的视频实时校正程序主界面。
具体实施方式
本发明方法要求有一个图像采集卡,一个广角镜头,一台计算机和一架由计算机控制的摄像机。
图1,广角镜头下的视频实时校正方法,其步骤如下:
S1.1,在包含有较多直线的场景内,拍摄一幅广角图像;
S1.2,手工或利用Canny算子的方法提取图像中的曲线,这些曲线必须是空间直线的像;
S1.3,确定广角变形校正模型中的参数;
S1.4,根据S1.3)中得到的参数,校正视频序列中的每帧图像;
S1.5,实时显示校正后的每帧图像,得到校正后的视频序列。
图2,广角镜头下的视频实时校正方法校正参数估计的流程,通过球面透视投影约束和通过提取场景直线在图像中的像作为计算校正模型的基础数据,步骤如下:
S2.1,在含有较多直线的场景内,拍摄一幅广角图像,这是因为在透视投影下直线仍然是直线,而在广角图像中,直线变为曲线。我们需要把曲线再变回直线,以使图像具有透视效果;
S2.2,提取场景直线在图像中的像,可以用手工或Canny算子的方法提取,也可以采用人机交互的方法;
S2.3,通过提取空间直线在图像中的像,确定广角变形校正模型中的参数。
图3,广角镜头下的视频实时校正方法实时校正视频的流程图。实时校正的步骤如下:
S3.1,用户输入所需要的视野范围,即水平视角和垂直视角;
S3.2,摄像机采集到视频,通过同轴电缆传送到带有图像采集卡的计算机内或从文件直接获得视频流;
S3.3,从视频流获取当前帧图像;
S3.4,判断是否在获取图像中选择新视点?如是,转5);如否,转6);
S3.5,每次选择更换视点后,计算透视图中像素在鱼眼图像中的横纵坐标映射表,该映射表由图2流程所得到的参数来确定;
S3.6,根据映射表,将透视图每个像素的值赋为鱼眼图像中对应像素的值;
S3.7,将得到透视图显示在显示设备上或利用透视图的RGB生成视频文件数据;
S3.8,判断用户是否选择停止监控?如否,转3);如是,转9);
S3.9,在计算机上生成完整的视频文件以存档。
图4是实时获取视频的一帧图像,显然该图有很大的视野范围,但同时有很大的畸变,如天花板上的直线成像为曲线。
图5在图4中选取了空间若干条直线的像,作为求解校正参数模型(2)的基础数据。
图6利用求解的校正参数实现图4图像在某个视角的矫正,空间中的直线都很好得校正为直线,可见本发明具有很好的校正畸变效果和清晰的图像显示等优点。
图7是利用本方法实现的鱼眼实时监控系统,该图左上角为四路实时视频显示窗口,该图右上角为鱼眼视频的实时校正显示,用户可以根据需要在左上角的视频上随时转换视角,实时得到任意区域的校正图像,图7下面控件分别实现了调整视频的显示以及捕捉图像等功能。本发明具有大视野显示、用户可灵活选择观察视点、灵活性高和实时性好等一系列优点。
视频校正参数*)
分辨率 | 最大校正帧率(帧/秒) |
704*576 | 15 |
704*480 | 15 |
352*288 | 25 |
352*240 | 25 |
176*144 | 25 |
176*120 | 25 |
*)最大校正帧率能否达到和用户计算机配置有关。上表列出常用视频分辨率下,视频采集帧率为25帧/秒时,采用本发明校正的帧率。由上表可见,当在视频分辨率在352*288、352*240、176*144、176*120下,采用本发明校正帧率等于采集帧率,即使在视频分辨率较高时如704*576,704*480,校正帧率也能达到15帧/秒,因此本发明能够很连贯的校正并显示校正后的视频,具有很好的实时性,便于实时性要求高和视野范围要求广的实际应用(如视觉监控、机器人导航等)中使用。
Claims (7)
1.一种通过球面透视投影约束确定广角校正模型参数的方法,包括步骤:
S1.1,在包含有较多直线的场景内,拍摄一幅广角图像;
S1.2,手工或利用Canny算子的方法提取图像中的曲线,这些曲线必须是空间直线的像;
S1.3,确定广角变形校正模型中的参数;
S1.4,根据S1.3)中得到的参数,校正视频序列中的每帧图像;
S1.5,实时显示校正后的每帧图像,得到校正后的视频序列。
2.根据权利要求1所述的通过球面透视投影约束实时校正动态广角图像的方法,其特征是,通过球面透视投影约束和通过提取场景直线在图像中的像作为计算校正模型的基础数据,步骤如下:
S2.1,在含有较多直线的场景内,拍摄一幅广角图像,这是因为在透视投影下直线仍然是直线,而在广角图像中,直线变为曲线;
S2.2,提取场景直线在图像中的像,可以用手工或Canny算子的方法提取,也可以采用人机交互的方法;
S2.3,通过提取空间直线在图像中的像,确定广角变形校正模型中的参数。
3.根据权利要求1所述的通过球面透视投影约束实时校正动态广角图像的方法,其特征是,保证校正的实时性,步骤如下:
S3.1,用户输入所需要的视野范围,即水平视角和垂直视角;
S3.2,摄像机采集到视频,通过同轴电缆传送到带有图像采集卡的计算机内或从文件直接获得视频流;
S3.3,从视频流获取当前帧图像;
S3.4,判断是否在获取图像中选择新视点?如是,转5);如否,转6);
S3.5,每次选择更换视点后,计算透视图中像素在鱼眼图像中的横纵坐标映射表;
S3.6,根据映射表,将透视图每个像素的值赋为鱼眼图像中对应像素的值;
S3.7,将得到透视图显示在显示设备上或利用透视图的RGB生成视频文件数据;
S3.8,判断用户是否选择停止监控?如否,转3);如是,转9);
S3.9,在计算机上生成完整的视频文件以存档。
4.根据权利要求1所述的通过球面透视投影约束实时校正动态广角图像的方法,其特征是,可以根据需要随时转换视角,实时得到广角图像内任意区域的校正图像。
5.根据权利要求1所述的通过球面透视投影约束实时校正动态广角图像的方法,其特征是,采用广角图像与透视图的映射表技术保证视频校正的实时性。
6.根据权利要求1所述的通过球面透视投影约束实时校正动态广角图像的方法,其特征是,多线程编程技术保证视频校正的实时性。
7.根据权利要求1所述的通过球面透视投影约束实时校正动态广角图像的方法,其特征是,本方法中的广角镜头包括鱼眼镜头。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2005100669774A CN100461855C (zh) | 2005-04-25 | 2005-04-25 | 一种广角镜头下的视频实时校正方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2005100669774A CN100461855C (zh) | 2005-04-25 | 2005-04-25 | 一种广角镜头下的视频实时校正方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1856094A true CN1856094A (zh) | 2006-11-01 |
CN100461855C CN100461855C (zh) | 2009-02-11 |
Family
ID=37195840
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2005100669774A Expired - Fee Related CN100461855C (zh) | 2005-04-25 | 2005-04-25 | 一种广角镜头下的视频实时校正方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN100461855C (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101639621B (zh) * | 2009-08-04 | 2011-11-16 | 厦门力鼎光电技术有限公司 | 以圆柱型模式或透视模式输出影像的方法 |
CN101236655B (zh) * | 2007-02-01 | 2012-05-30 | 三洋电机株式会社 | 摄像机校正装置以及方法和车辆 |
CN101742125B (zh) * | 2008-11-27 | 2012-07-04 | 义晶科技股份有限公司 | 鱼眼图像校正及减轻透视变形的图像处理方法及相关装置 |
CN102682431A (zh) * | 2012-05-04 | 2012-09-19 | 中国科学院深圳先进技术研究院 | 广角图像校正方法和系统 |
CN104994295A (zh) * | 2015-06-30 | 2015-10-21 | 广东欧珀移动通信有限公司 | 一种畸变校正的方法及移动终端 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1192315A (zh) * | 1995-07-27 | 1998-09-02 | 传感电子公司 | 用于不使用运动部件的摄像机的图像分割、形成与处理设备和方法 |
US7058237B2 (en) * | 2002-06-28 | 2006-06-06 | Microsoft Corporation | Real-time wide-angle image correction system and method for computer image viewing |
US7042508B2 (en) * | 2002-07-26 | 2006-05-09 | Appro Technology Inc. | Method for presenting fisheye-camera images |
US7596286B2 (en) * | 2003-08-06 | 2009-09-29 | Sony Corporation | Image processing apparatus, image processing system, imaging apparatus and image processing method |
-
2005
- 2005-04-25 CN CNB2005100669774A patent/CN100461855C/zh not_active Expired - Fee Related
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101236655B (zh) * | 2007-02-01 | 2012-05-30 | 三洋电机株式会社 | 摄像机校正装置以及方法和车辆 |
CN101742125B (zh) * | 2008-11-27 | 2012-07-04 | 义晶科技股份有限公司 | 鱼眼图像校正及减轻透视变形的图像处理方法及相关装置 |
CN101639621B (zh) * | 2009-08-04 | 2011-11-16 | 厦门力鼎光电技术有限公司 | 以圆柱型模式或透视模式输出影像的方法 |
CN102682431A (zh) * | 2012-05-04 | 2012-09-19 | 中国科学院深圳先进技术研究院 | 广角图像校正方法和系统 |
CN102682431B (zh) * | 2012-05-04 | 2015-04-15 | 中国科学院深圳先进技术研究院 | 广角图像校正方法和系统 |
CN104994295A (zh) * | 2015-06-30 | 2015-10-21 | 广东欧珀移动通信有限公司 | 一种畸变校正的方法及移动终端 |
CN104994295B (zh) * | 2015-06-30 | 2018-05-29 | 广东欧珀移动通信有限公司 | 一种畸变校正的方法及移动终端 |
Also Published As
Publication number | Publication date |
---|---|
CN100461855C (zh) | 2009-02-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100336076C (zh) | 图像提供方法和设备 | |
US9811946B1 (en) | High resolution (HR) panorama generation without ghosting artifacts using multiple HR images mapped to a low resolution 360-degree image | |
CN110363116B (zh) | 基于gld-gan的不规则人脸矫正方法、系统及介质 | |
US7113650B2 (en) | Real-time wide-angle image correction system and method for computer image viewing | |
US8897502B2 (en) | Calibration for stereoscopic capture system | |
US9596456B2 (en) | Head mounted display system | |
CN1187962C (zh) | 经图形用户界面来外部校准摄象机的方法和装置 | |
CN110764613A (zh) | 基于头戴式眼动模组的眼动追踪校准方法 | |
US20230021863A1 (en) | Monitoring method, electronic device and storage medium | |
WO2016183380A1 (en) | Facial signature methods, systems and software | |
CN107843251A (zh) | 移动机器人的位姿估计方法 | |
CN110675350B (zh) | 云台相机视场坐标映射方法、装置、存储介质及云台相机 | |
CN1856094A (zh) | 一种广角镜头下的视频实时校正方法 | |
WO2019205937A1 (zh) | 瞳孔中心定位装置和方法、虚拟现实设备 | |
CN117218320B (zh) | 基于混合现实的空间标注方法 | |
CN112258581B (zh) | 一种多鱼眼镜头全景相机的现场标定方法 | |
EP4071713B1 (en) | Parameter calibration method and apapratus | |
Bergmann et al. | Gravity alignment for single panorama depth inference | |
US11288988B2 (en) | Display control methods and apparatuses | |
CN110533577B (zh) | 鱼眼图像校正方法及装置 | |
CN109743565B (zh) | 多设备配合自动获取稳定图像的方法 | |
TW202223842A (zh) | 用於環景影像的影像處理方法及裝置 | |
CN108230273B (zh) | 一种基于几何信息的人工复眼相机三维图像处理方法 | |
CN114967170A (zh) | 基于柔性裸眼三维显示设备的显示处理方法及其装置 | |
CN112995641A (zh) | 一种3d模组成像装置及方法、电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20090211 Termination date: 20170425 |
|
CF01 | Termination of patent right due to non-payment of annual fee |