CN107274352A - 一种图像处理方法及应用于镜头畸变和摄影畸变矫正的实时采样系统 - Google Patents

一种图像处理方法及应用于镜头畸变和摄影畸变矫正的实时采样系统 Download PDF

Info

Publication number
CN107274352A
CN107274352A CN201710282356.2A CN201710282356A CN107274352A CN 107274352 A CN107274352 A CN 107274352A CN 201710282356 A CN201710282356 A CN 201710282356A CN 107274352 A CN107274352 A CN 107274352A
Authority
CN
China
Prior art keywords
sampling
image
pixel
data
distortion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710282356.2A
Other languages
English (en)
Inventor
王晓年
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rui Automation (shanghai) Co Ltd
Original Assignee
Rui Automation (shanghai) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rui Automation (shanghai) Co Ltd filed Critical Rui Automation (shanghai) Co Ltd
Priority to CN201710282356.2A priority Critical patent/CN107274352A/zh
Publication of CN107274352A publication Critical patent/CN107274352A/zh
Pending legal-status Critical Current

Links

Classifications

    • G06T5/80

Abstract

本发明给出一种图像处理方法及应用于镜头畸变和摄影畸变矫正的实时采样系统,在模拟信号到数字信号转变的同时进行了图像的畸变校正,并可以同时输出数字模拟信号,比传统方法实时性好。本发明方法技术方案概括为:控制模拟信号的采样频率,采用非均匀采样,并利用现有的图像矫正方法将鱼眼图像经过两次畸变矫正后得到了符合欧式度量关系的图像,同时从中获得从原始图像到目标图像的坐标对应关系,通过建立起坐标对应关系的表格来实现从鱼眼图像到目标图像的快速转换。为了减少数据的存储空间,创设性提出了三维表格,并且采用记录坐标增量的方式,实现了对应关系的存储。

Description

一种图像处理方法及应用于镜头畸变和摄影畸变矫正的实时 采样系统
技术领域
本发明涉及图像畸变矫正技术。
背景技术
鱼眼镜头具有视场角广的优点,特别适合于大场景视频监控应用,近年来在视频监控领域的应用日渐广泛。但是鱼眼镜头拍摄的图像带有大量的桶形径向畸变和射影畸变,使得原来的直线变得弯曲,原本平行的直线不再平行,给后期的图像分析带来很多不便。现有的图像处理技术可以分步完成以上两种畸变的矫正,但是由于运算量较大,无法实现图像的实时转换。
发明内容
本发明针对以上问题,本发明给出一种图像处理方法及应用于镜头畸变和摄影畸变矫正的实时采样系统,在模拟信号到数字信号转变的同时进行了图像的畸变校正,并可以同时输出数字模拟信号,比传统方法实时性好。
需要保护的技术方案:
本发明方法技术方案概括为:控制模拟信号的采样频率,采用非均匀采样,并利用现有的图像矫正方法将鱼眼图像经过两次畸变矫正后得到了符合欧式度量关系的图像,同时从中获得从原始图像到目标图像的坐标对应关系,通过建立起坐标对应关系的表格来实现从鱼眼图像到目标图像的快速转换。为了减少数据的存储空间,创设性提出了三维表格,并且采用记录坐标增量的方式,实现了对应关系的存储。
所述三维表格,表格大小与原图像的像素个数相同。包括第一维表格、第二维表格、第三维表格,所述第一维表格用来存储原图像中每个像素点对应到目标图像中像素点的个数,所述第二维(dx)和第三维(dy)表格用来存储像素点之间的坐标对应关系。在实际采样的过程中,对于原图像中的每个像素点首先查找其在目标图像中的个数,按照这个个数再读取相应的坐标对应关系,从而实现从鱼眼图像到目标图像的直接转换。
所述非均匀采样,通过采样时间计算出像素点的坐标值,只对特定坐标值的像素点进行采样,从而直接得到矫正的图片。具体为:模拟信号每行数据用行同步标识,通过对行同步脉冲的计数可以得到每行像素点在整个图片中的纵坐标。每个像素点的采样时间是一样的,因此通过计算像素点在其所在行的采样时刻便可以得到每个像素点的横坐标,最终得到了每个像素点的坐标值。在每个像素点的坐标值确定之后,通过查询离线表格可以得到其在目标图像中的个数以及坐标增量,由此决定了是否对其采样,以及采样之后的数量及位置,从而便实现了从模拟图像直接转换为目标图像。
基于以上方法技术方案,本发明还需要保护用于镜头畸变和摄影畸变矫正的实时采样系统,表征为:该系统结构包括开关、参数读取模块、采样控制模块、参数表、信号采样模块、视频存储区、输出控制模块、数据缓冲区,它们的逻辑关系为:该系统接受外部开关的设定,可以将该系统设置为均匀采样或非均匀采样两种模式;系统根据模式的选择,参数读取模块读取非均匀采样表或产生均匀采样参数表;采样控制模块根据参数表,发给信号采样模块指令,把采样的数据根据行列控制存放到视频存储区的正确位置;数据缓冲区保存采样后的数据;当数据可以输出时有输出控制模块读取缓冲区数据并输出;输出控制模块可以将采集到的数据同时以模拟形式和数字形式输出。
本发明在模拟信号到数字信号转变的同时进行了图像的畸变校正,并可以同时输出数字模拟信号,比传统方法实时性好,并节约资源。
附图说明
图1鱼眼镜头成像原理
图2射影畸变
图3三维表格
图4复合视频信号示意图
图5均匀采样示意图
图6鱼眼镜头均匀采样的图像
图7非均匀采样示意图
图8畸变矫正后的图像
图9系统结构框图
图10本发明畸变和摄影畸变矫正的图像处理方法流程。
具体实施方式
以下结合附图对本发明技术方案做详细介绍。
本领域公知,鱼眼镜头是人们模仿鱼眼工作原理而设计的镜头。其特点是视场角广,可以达到180°范围,但所获得的图像具有严重的径向桶形畸变。这种畸变是由于鱼眼镜头的像平面从平面变成了曲面,距离像平面中心的距离发生了不同程度的变换,使得原本的直线变得弯曲,给后期的图像处理和模式识别带来了很多不便。图1鱼眼镜头成像原理。
根据小孔成像原理,普通光学镜头远距成像像高公式为:
y0=ftanω (1.1)
鱼眼镜头与普通相机不同之处在于鱼眼镜头的像平面是曲面,其像高公式为:
y'0=fω (1.2)
由公式(1.1)和公式(1.2)可得从鱼眼图像矫正到正常图像的公式为:
y0=ftan(y0′/f) (1.3)
利用公式(1.3)便可以矫正鱼眼镜头图像中的桶形径向畸变,并从中得到每个像素点间的坐标对应关系。
2、由于相机的像平面与被拍摄平面很可能不平行,将引起拍摄图像的投影畸变,这与相机本身没有任何关系,而与摄像机的安装高度和倾角有关。射影畸变校正就是恢复图像上的度量特性,比如:平行关系,大小关系等。以图2情景为例说明一维成像过程中畸变的原因。图中像平面和被拍摄平面之间的夹角w≠0,设A、B、C三点之间距离相等,而其像a、b、c之间的像素距离并不相等。现有的图像采集卡或者数字摄像机都是以相同的频率(均匀采样)对模拟信号进行采样或者均匀读取CCD、CMOS的信号,使得得到的数字图像保持了这种畸变。
根据小孔成像原理,设有空间任意点[XM YM ZM]T,其对应像点的坐标为[xu yv 1]T则有如下关系式:
其中K为摄像机的内参数矩阵;T为摄像机的外参数矩阵;s为比例因子,与摄像机的安装高度和倾角有关。
设Z轴垂直于被拍摄平面。即在该平面上Z=0,则该平面内任意一点坐标为[XM YM0]T。令T=[r1,r2,r3,t],重新整理式(2.1),可得:
记M=[XM YM 1]TH=K·[r1,r2,t],则有因为单应矩阵H满秩,因此也有:
也就是说已知被拍摄平面上的任一点M,其像点之间在相差比例因子S的情况下由单应矩阵H唯一确定。同样道理,如果已知像点则其代表拍摄平面的点M,也由S和H唯一决定。单应矩阵H,在已知4个不共线的对应点后可以得到。因此图像平面和被拍摄平面之间存在一种线性变换,可以用具有八个自由度的3×3的矩阵表示,称作单应矩阵H。
当摄像机固定好后,单应矩阵H唯一确定。为了补偿透视畸变,通常先离线计算单应矩阵H,然后通过公式(2.3)实时计算每个点对应的无畸变坐标,并把当前位置的像素值写到无畸变坐标的像素即可。
3、由于原图像到矫正图像会发生一部分的信息丢失和失真,因此原图像的像素点与矫正图像的像素点并不是一一对应的关系,所以不能建立一个简单的表格来存储坐标变换。为了满足实时采样的要求,本发明提出了创新的三维表格,表格大小与原图像的像素个数相同。第一维表格用来存储原图像中每个像素点对应到目标图像中像素点的个数,第二维(dx)和第三维(dy)表格用来存储像素点之间的坐标对应关系。在实际采样的过程中,对于原图像中的每个像素点首先查找其在目标图像中的个数,按照这个个数再读取相应的坐标对应关系,从而实现从鱼眼图像到目标图像的直接转换。如图3所示。
一、非均匀采样的构思
1.1均匀采样
无论是复合视频信号还是分量信号,图像上每行的有效数据信号总可以分离出来。图像采集卡的目的就是把每行的模拟图像信号转变成数字信号,最终形成数字图像。图4为复合视频信号示意图,模拟信号中的场图像之间用场同步标识,每行数据用行同步标识,其中“图像信号”为某行的有效数据信号。
常规图像采集设备在每行的有效数据周期内,以相同的频率即等间隔对模拟信号进行采样,图5显示了均匀采样的过程。
图6显示了鱼眼镜头通过普通采集卡进行均匀采样后得到的图像,从图像中可以看出,由于桶形径向畸变使得原本的直线变得弯曲,由于射影畸变使得原本平行的棋盘格不再平行。
1.2非均匀采样(本发明创新点之一)
通常现有的图像采集卡或者数字摄像机都是以相同的频率(均匀采样)对模拟信号进行采样或者均匀读取CCD、CMOS的电信号。本发明的特点是通过采样时间计算出像素点的坐标值,只对特定坐标值的像素点进行采样,从而直接得到矫正的图片,图7显示了非均匀采样的过程。
模拟信号每行数据用行同步标识,通过对行同步脉冲的计数可以得到每行像素点在整个图片中的纵坐标。每个像素点的采样时间是一样的,因此通过计算像素点在其所在行的采样时刻便可以得到每个像素点的横坐标,最终得到了每个像素点的坐标值。
在每个像素点的坐标值确定之后,通过查询离线表格可以得到其在目标图像中的个数以及坐标增量,由此决定了是否对其采样,以及采样之后的数量及位置,从而便实现了从模拟图像直接转换为目标图像。图8即是通过本发明方法畸变校正后的结果,其中图像中的线条都已符合欧式度量关系,并且图像中的物体相对大小已经与实际相符。本发明通过控制模拟信号的采样频率,实现畸变矫正。本发明方法在模拟信号到数字信号转变的同时进行了图像的畸变校正,并可以同时输出数字模拟信号,比传统方法实时性好,并节约资源。
二、系统结构
基于上述方法方案,本发明还提出的系统结构如图9所示。
该系统结构包括开关、参数读取模块、采样控制模块、参数表、信号采样模块、视频存储区、输出控制模块、数据缓冲区,它们的逻辑关系为:
该系统接受外部开关的设定,可以将该系统设置为均匀采样或非均匀采样两种模式;
系统根据模式的选择,参数读取模块读取非均匀采样表或产生均匀采样参数表;
采样控制模块根据参数表,发给信号采样模块指令,把采样的数据根据行列控制存放到视频存储区的正确位置;
数据缓冲区保存采样后的数据;
当数据可以输出时有输出控制模块读取缓冲区数据并输出;输出控制模块可以将采集到的数据同时以模拟形式和数字形式输出。

Claims (5)

1.一种镜头畸变和摄影畸变矫正的图像处理方法,其特征在于,控制模拟信号的采样频率,采用非均匀采样,并利用现有的图像矫正方法将鱼眼图像经过两次畸变矫正后得到了符合欧式度量关系的图像,同时从中获得从原始图像到目标图像的坐标对应关系,通过建立起坐标对应关系的表格来实现从鱼眼图像到目标图像的快速转换。为了减少数据的存储空间,创设性提出了三维表格,并且采用记录坐标增量的方式,实现了对应关系的存储。
2.如权利要求1所述的方法,其特征在于,所述三维表格,表格大小与原图像的像素个数相同。包括第一维表格、第二维表格、第三维表格,所述第一维表格用来存储原图像中每个像素点对应到目标图像中像素点的个数,所述第二维(dx)和第三维(dy)表格用来存储像素点之间的坐标对应关系。在实际采样的过程中,对于原图像中的每个像素点首先查找其在目标图像中的个数,按照这个个数再读取相应的坐标对应关系,从而实现从鱼眼图像到目标图像的直接转换。
3.如权利要求1所述的方法,其特征在于,所述非均匀采样,通过采样时间计算出像素点的坐标值,只对特定坐标值的像素点进行采样,从而直接得到矫正的图片。
4.如权利要求2所述的方法,其特征在于,具体为:模拟信号每行数据用行同步标识,通过对行同步脉冲的计数可以得到每行像素点在整个图片中的纵坐标。通过计算像素点在其所在行的采样时刻便可以得到每个像素点的横坐标,最终得到了每个像素点的坐标值。在每个像素点的坐标值确定之后,通过查询离线表格可以得到其在目标图像中的个数以及坐标增量,由此决定是否对其采样,以及采样之后的数量及位置,从而便实现了从模拟图像直接转换为目标图像。
5.一种应用于镜头畸变和摄影畸变矫正的实时采样系统,其特征在于,该系统结构包括开关、参数读取模块、采样控制模块、参数表、信号采样模块、视频存储区、输出控制模块、数据缓冲区,它们的逻辑关系为:该系统接受外部开关的设定,可以将该系统设置为均匀采样或非均匀采样两种模式;系统根据模式的选择,参数读取模块读取非均匀采样表或产生均匀采样参数表;采样控制模块根据参数表,发给信号采样模块指令,把采样的数据根据行列控制存放到视频存储区的正确位置;数据缓冲区保存采样后的数据;当数据可以输出时有输出控制模块读取缓冲区数据并输出;输出控制模块可以将采集到的数据同时以模拟形式和数字形式输出。
CN201710282356.2A 2017-04-26 2017-04-26 一种图像处理方法及应用于镜头畸变和摄影畸变矫正的实时采样系统 Pending CN107274352A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710282356.2A CN107274352A (zh) 2017-04-26 2017-04-26 一种图像处理方法及应用于镜头畸变和摄影畸变矫正的实时采样系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710282356.2A CN107274352A (zh) 2017-04-26 2017-04-26 一种图像处理方法及应用于镜头畸变和摄影畸变矫正的实时采样系统

Publications (1)

Publication Number Publication Date
CN107274352A true CN107274352A (zh) 2017-10-20

Family

ID=60074280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710282356.2A Pending CN107274352A (zh) 2017-04-26 2017-04-26 一种图像处理方法及应用于镜头畸变和摄影畸变矫正的实时采样系统

Country Status (1)

Country Link
CN (1) CN107274352A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090880A (zh) * 2017-12-29 2018-05-29 杭州联络互动信息科技股份有限公司 一种图像的反畸变处理方法以及装置
CN112991237A (zh) * 2021-05-20 2021-06-18 南京芯驰半导体科技有限公司 一种图像畸形校正系统及方法
CN113538283A (zh) * 2021-07-22 2021-10-22 浙江赫千电子科技有限公司 一种冗余鱼眼摄像头拍摄图像的畸变矫正方法
CN114913243A (zh) * 2022-05-30 2022-08-16 歌尔股份有限公司 一种光学材料的畸变检测方法、装置及介质
CN115797468A (zh) * 2023-02-03 2023-03-14 厦门农芯数字科技有限公司 一种鱼眼摄像头安装高度的自动校正方法、装置以及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1830002A (zh) * 2003-07-28 2006-09-06 奥林巴斯株式会社 图像处理装置、图像处理方法以及失真校正方法
CN101778200A (zh) * 2010-02-08 2010-07-14 王晓年 基于非均匀采样的图像校正系统及方法
CN101783011A (zh) * 2010-01-08 2010-07-21 宁波大学 一种鱼眼镜头的畸变校正方法
CN102156970A (zh) * 2011-04-14 2011-08-17 复旦大学 基于畸变直线斜率计算的鱼眼图像校正方法
CN103116878A (zh) * 2013-02-25 2013-05-22 徐渊 校正图像桶形失真的方法、装置以及图像处理装置
CN103369192A (zh) * 2012-03-31 2013-10-23 深圳市振华微电子有限公司 多通道视频图像全硬件拼接方法及装置
CN103996172A (zh) * 2014-05-08 2014-08-20 东北大学 一种基于多步校正的鱼眼图像校正方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1830002A (zh) * 2003-07-28 2006-09-06 奥林巴斯株式会社 图像处理装置、图像处理方法以及失真校正方法
CN101783011A (zh) * 2010-01-08 2010-07-21 宁波大学 一种鱼眼镜头的畸变校正方法
CN101778200A (zh) * 2010-02-08 2010-07-14 王晓年 基于非均匀采样的图像校正系统及方法
CN102156970A (zh) * 2011-04-14 2011-08-17 复旦大学 基于畸变直线斜率计算的鱼眼图像校正方法
CN103369192A (zh) * 2012-03-31 2013-10-23 深圳市振华微电子有限公司 多通道视频图像全硬件拼接方法及装置
CN103116878A (zh) * 2013-02-25 2013-05-22 徐渊 校正图像桶形失真的方法、装置以及图像处理装置
CN103996172A (zh) * 2014-05-08 2014-08-20 东北大学 一种基于多步校正的鱼眼图像校正方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIAOYING YUAN等: "《Correction of capsule endoscope image distortion based on two-dimensional look-up table》", 《PROCEEDING OF THE 11TH WORLD CONGRESS ON INTELLIGENT CONTROL AND AUTOMATION》 *
YONGLE LI 等: "《Fish-eye distortion correction based on midpoint circle algorithm》", 《2012 IEEE INTERNATIONAL CONFERENCE ON SYSTEMS, MAN, AND CYBERNETICS (SMC)》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090880A (zh) * 2017-12-29 2018-05-29 杭州联络互动信息科技股份有限公司 一种图像的反畸变处理方法以及装置
CN108090880B (zh) * 2017-12-29 2021-08-10 杭州联络互动信息科技股份有限公司 一种图像的反畸变处理方法以及装置
CN112991237A (zh) * 2021-05-20 2021-06-18 南京芯驰半导体科技有限公司 一种图像畸形校正系统及方法
CN112991237B (zh) * 2021-05-20 2021-07-23 南京芯驰半导体科技有限公司 一种图像畸形校正系统及方法
CN113538283A (zh) * 2021-07-22 2021-10-22 浙江赫千电子科技有限公司 一种冗余鱼眼摄像头拍摄图像的畸变矫正方法
CN114913243A (zh) * 2022-05-30 2022-08-16 歌尔股份有限公司 一种光学材料的畸变检测方法、装置及介质
CN115797468A (zh) * 2023-02-03 2023-03-14 厦门农芯数字科技有限公司 一种鱼眼摄像头安装高度的自动校正方法、装置以及设备

Similar Documents

Publication Publication Date Title
CN107274352A (zh) 一种图像处理方法及应用于镜头畸变和摄影畸变矫正的实时采样系统
KR100799088B1 (ko) 고속 디지털 팬 틸트 줌 비디오
CA2427053C (en) System and method for camera calibration
US9398214B2 (en) Multiple view and multiple object processing in wide-angle video camera
US9602700B2 (en) Method and system of simultaneously displaying multiple views for video surveillance
Sinha et al. Pan–tilt–zoom camera calibration and high-resolution mosaic generation
CN110782394A (zh) 全景视频快速拼接方法及系统
CN108648241B (zh) 一种ptz摄像机现场标定及定焦方法
WO2019049331A1 (ja) キャリブレーション装置、キャリブレーションシステム、およびキャリブレーション方法
EP1580520A1 (en) Multi-view-point video capturing system
CN111815517B (zh) 一种基于球机抓拍图片的自适应全景拼接方法
JP3950188B2 (ja) 画像歪み補正用パラメータ決定方法及び撮像装置
US20040017491A1 (en) Apparatus and method for improved-resolution digital zoom in a portable electronic imaging device
US7224392B2 (en) Electronic imaging system having a sensor for correcting perspective projection distortion
CN101309367A (zh) 成像装置
TWI602154B (zh) 環景影像的拼接方法及其系統
CN103729839B (zh) 一种基于传感器的室外摄像机跟踪的方法及系统
CN112734863A (zh) 一种基于自动定位的交叉式双目相机标定方法
CN111866523B (zh) 全景视频合成方法、装置、电子设备和计算机存储介质
JP2003179800A (ja) 多視点画像生成装置、画像処理装置、および方法、並びにコンピュータ・プログラム
WO2007108081A1 (ja) 撮影装置、撮影方法及びプログラム、撮影装置のテーブル作成装置及び方法、映像処理装置及び方法
CN109523489A (zh) 一种生成俯视无畸变倒车影像的方法
CN109218602A (zh) 影像撷取装置、影像处理方法及电子装置
CN110213500B (zh) 一种针对多镜头拍摄的宽动态图生成方法
Yuan et al. A novel method for geometric correction of multi-cameras in panoramic video system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171020

RJ01 Rejection of invention patent application after publication