CN106780405A - 一种快速鱼眼图像边缘增强方法 - Google Patents

一种快速鱼眼图像边缘增强方法 Download PDF

Info

Publication number
CN106780405A
CN106780405A CN201710112436.3A CN201710112436A CN106780405A CN 106780405 A CN106780405 A CN 106780405A CN 201710112436 A CN201710112436 A CN 201710112436A CN 106780405 A CN106780405 A CN 106780405A
Authority
CN
China
Prior art keywords
panoramic image
fish eye
eye images
cylindrical panoramic
cylindrical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201710112436.3A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Full Image Technology Co Ltd
Original Assignee
Changsha Full Image Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Full Image Technology Co Ltd filed Critical Changsha Full Image Technology Co Ltd
Priority to CN201710112436.3A priority Critical patent/CN106780405A/zh
Publication of CN106780405A publication Critical patent/CN106780405A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种快速鱼眼图像边缘增强方法，属于数字图像处理技术领域，该方法包括：S1、根据鱼眼图像与柱面全景图的投射与反投射关系，将鱼眼图像反投射到柱面全景图，得到对应得柱面全景图；S2、对所述柱面全景图进行增强，得到增强后的柱面全景图；S3、然后将增强后柱面全景图P′正投影到鱼眼图像得到清晰鱼眼图像I′。本方法在压缩感知的理论框架下，引入了一种基于观测信号拆分的快速稀疏求解方法，将信号复原的方法从迭代中解放出来，变化成一种线性加和的方法，从而大大降低鱼眼图像边缘增强方法的复杂度，加速了边缘增强的速度，用以满足全景鱼眼视频实时性的需求。

Description

一种快速鱼眼图像边缘增强方法
技术领域
本发明涉及数字图像处理技术领域，尤其涉及一种快速鱼眼图像边缘增强方法。
背景技术
鱼眼镜头在外形上跟其他镜头不同，前组镜片像鱼眼一样向外凸出，是一种特殊的广角镜头，其视场角接近、等于甚至大于180度，能将半球空域甚至是超半球空域的物体成像在相面有限的范围内。
从光学设计的角度看，鱼眼镜头所采用的透镜具有很大的球面弧度，并且距离成像平面更近。这种特殊的结构特点和成像特点，一方面使得鱼眼相机可以获得很大视野范围，在机器人导航、视频会议、实时监控、全景摄像和天文观测等需要较大视场的现实场景中得以广泛应用；另一方面，由于引入了很大的桶形畸变，使得鱼眼镜头形成的图像除了画面中心的景物保持不变，其他本应水平或垂直的景物都发生了相应的变化，从而造成鱼眼镜头成像面不同区域的分辨率是不同的，越靠近图像中心，分辨率越高，细节信息越多，越偏离图像中心，分辨率越低，细节信息越少，变形越严重。
为了提高鱼眼图像清晰度，弥补鱼眼大视角带来的图像模糊，常规的做法是采用模糊增强方法。图像的模糊增强是利用图像中存在的某种不确定性，即模糊性，将模糊集理论用于图像增强的一种方法。
现有图像增强方法中，直接在畸变的鱼眼图像上进行处理，但由于鱼眼图像数据是以非线性方式存储的，无法直接处理，这种处理方式无法得到较好的图像去模糊效果。
另外，现有模糊图像增强方法中求得清晰图像的过程需要多次迭代，耗费的时间较长。难以满足全景鱼眼视频实时性的需求。
发明内容
本发明为克服现有鱼眼图像增强中需要多次迭代，耗费时间较长的技术问题，旨在提供一种满足全景鱼眼视频实时性需求的快速鱼眼图像边缘增强方法。
一种快速鱼眼图像边缘增强方法，包括：
S1、根据鱼眼图像与柱面全景图的投射与反投射关系，将鱼眼图像反投射到柱面全景图，得到对应得柱面全景图；
S2、对所述柱面全景图进行增强，得到增强后的柱面全景图；
对柱面全景图进行增强具体包括：
S21、建立数学模型：Y＝AX；
其中，Y表示成像数据；X为待恢复的图像，X维度为M*N，M*N表示待恢复图像X的大小；A为随机产生的测量矩阵由0和1两种元素组成的矩阵，其中0和1元素个数比为1:1；
S22、令数学模型中的Y取值分别为对应的标准正交基{ei}，ei表示第i位为1，其余位为0的单位向量，求解得到一组值{xi}，记为信号基，其中i＝1,…,R,R＝[M*N/4]；
S23、将柱面全景图像P在标准正交基{ei}下分解，得到一组表示系数{αi}，其中i＝1,…,R,即
S24、求取增强后柱面全景图P′：公式中，αi为柱面全景图像P在标准正交基{ei}下分解的系数，xi为信号基；
S3、然后将增强后柱面全景图P′正投影到鱼眼图像得到清晰鱼眼图像I′。
进一步的，所述S1具体为：
根据鱼眼图像中的点I(i,j)反投影到柱面全景图像中的点P(u,v)，找到柱面全景图像中水平和垂直方向的相邻像素点P(u+1,v)和P(u,v+1)，再根据正投影找到鱼眼图像中对应的像素点I(i+s1,j+t1)和I(i+s2,j+t2)然后将鱼眼图像中像素点I(i+s_1,j+t_1)和I(i+s_2,j+t_2)的像素值赋予到柱面图像中对应的像素点P(u+1,v)和P(u,v+1)，依次迭代，得到柱面全景图P。
进一步的，所述S22具体方法为：
求解对应的信号基xi，即求解方程ei＝Axi，经过R次运算，得到一组信号基{xi}。
进一步的，所述S24具体方法为：
柱面全景图在标准正交基{ei}下分解表示为
将该式进行变化推演，得到：
对比所述数学模型，可以得到最终的增强后柱面全景图P′，
本方法中将根据鱼眼图像与柱面全景图的投射与反投射关系，将鱼眼图像反投射到柱面全景图，得到对应得柱面全景图；对柱面全景图P进行增强，得到增强后柱面全景图P′，然后将增强后柱面全景图P′正投影到鱼眼图像得到清晰鱼眼图像I′；然后压缩感知的理论框架下，引入了一种基于观测信号拆分的快速稀疏求解方法，将信号复原的方法从迭代中解放出来，变化成一种线性加和的方法，从而大大降低鱼眼图像边缘增强方法的复杂度，加速了边缘增强的速度，用以满足全景鱼眼视频实时性的需求。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的鱼眼图像柱面反投影示意图；
图2是本发明实施例提供的一种快速鱼眼图像边缘增强方法流程图；
图3是本发明实施例提供的对柱面全景图像进行增强的方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
由于鱼眼镜头具有特殊的结构，拍摄的鱼眼图像存在较大的形变，与人眼的视觉效果存在较大差异，而且图像数据是以非线性方式存储的，无法直接处理，故首先需要将鱼眼图像矫正为线性投影图像。
本发明为解决现有鱼眼图像增强中需要多次迭代，耗费时间较长的技术问题，提供了一种快速鱼眼图像边缘增强方法，如图2所示，该方法包括：
S1、根据鱼眼图像与柱面全景图的投射与反投射关系，将鱼眼图像反投射到柱面全景图，得到对应得柱面全景图；
具体的，将鱼眼图像的像素点反投射到柱面全景图像中，在柱面全景图中根据梯度计算方法确定水平和垂直方向的相邻像素点；再正投影到鱼眼图像中，找到对应像素点的相应位置，将鱼眼图像中相应位置的像素值赋予到柱面图像中的像素点，得到对应的柱面全景图；
该步骤参照图1进行进一步的分析，根据鱼眼图像中的点I(i,j)反投影到柱面全景图像中的点P(u,v)，找到柱面全景图像中水平和垂直方向的相邻点像素点P(u+1,v)和P(u,v+1)，再根据正投影找到鱼眼图像中对应的像素点I(i+s_1,j+t_1)和I(i+s_2,j+t_2)，然后将鱼眼图像中像素点I(i+s_1,j+t_1)和I(i+s_2,j+t_2)的像素值赋予到柱面图像中对应的像素点P(u+1,v)和P(u,v+1)，依次迭代，得到柱面全景图P。
S2、对柱面全景图像进行增强，得到增强后的柱面全景图；
如图3所示，具体包括如下步骤：
S21、建立数学模型：Y＝AX；
其中，Y表示成像数据；X为待恢复的图像，X维度为M*N，M*N表示待恢复图像X的大小；A为随机产生的测量矩阵由0和1两种元素组成的矩阵，其中0和1元素个数比为1:1；
S22、令数学模型中的Y取值分别为对应的标准正交基{ei}，ei表示第i位为1，其余位为0的单位向量，求解得到一组值{xi}，记为信号基，其中i＝1,…,R,R＝[M*N/4]；
求解对应的信号基xi，即求解方程ei＝Axi，经过R次运算，得到一组信号基{xi}；
S23、将柱面全景图像P在标准正交基{ei}下分解，得到一组表示系数{αi}，其中i＝1,…,R,即
S24、求取增强后柱面全景图P′：公式中，αi为柱面全景图像P在标准正交基{ei}下分解的系数，xi为信号基；
增强后柱面全景图P′求取原理为：对柱面全景图P在标准正交基{ei}下分解表示为其中αi表示对应的系数；
将该式进行变化推演，可以得到：
对比上述建立的数学模型，可以得到最终的信号
S3、然后将增强后柱面全景图P′正投影到鱼眼图像得到清晰鱼眼图像I′。
本方法中将根据鱼眼图像与柱面全景图的投射与反投射关系，将鱼眼图像反投射到柱面全景图，得到对应得柱面全景图；对柱面全景图P进行增强，得到增强后柱面全景图P′，然后将增强后柱面全景图P′正投影到鱼眼图像得到清晰鱼眼图像I′；然后压缩感知的理论框架下，引入了一种基于观测信号拆分的快速稀疏求解方法，将信号复原的方法从迭代中解放出来，变化成一种线性加和的方法，从而大大降低鱼眼图像边缘增强方法的复杂度，加速了边缘增强的速度，用以满足全景鱼眼视频实时性的需求。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (4)

1.一种快速鱼眼图像边缘增强方法，其特征在于，包括：
S1、根据鱼眼图像与柱面全景图的投射与反投射关系，将鱼眼图像反投射到柱面全景图，得到对应得柱面全景图；
S2、对所述柱面全景图进行增强，得到增强后的柱面全景图；
对柱面全景图进行增强具体包括：
S21、建立数学模型：Y＝AX；
其中，Y表示成像数据；X为待恢复的图像，X维度为M*N，M*N表示待恢复图像X的大小；A为随机产生的测量矩阵由0和1两种元素组成的矩阵，其中0和1元素个数比为1:1；
S22、令数学模型中的Y取值分别为对应的标准正交基{ei}，ei表示第i位为1，其余位为0的单位向量，求解得到一组值{xi}，记为信号基，其中i＝1,…,R,R＝[M*N/4]；
S23、将柱面全景图像P在标准正交基{ei}下分解，得到一组表示系数{αi}，其中i＝1,…,R,即
S24、求取增强后柱面全景图P′：公式中，αi为柱面全景图像P在标准正交基{ei}下分解的系数，xi为信号基；
S3、然后将增强后柱面全景图P′正投影到鱼眼图像得到清晰鱼眼图像I′。
2.根据权利要求1所述的快速鱼眼图像边缘增强方法，其特征在于：所述S1具体为：
根据鱼眼图像中的点I(i,j)反投影到柱面全景图像中的点P(u,v)，找到柱面全景图像中水平和垂直方向的相邻像素点P(u+1,v)和P(u,v+1)，再根据正投影找到鱼眼图像中对应的像素点I(i+s1,j+t1)和I(i+s2,j+t2)然后将鱼眼图像中像素点I(i+s_1,j+t_1)和I(i+s_2,j+t_2)的像素值赋予到柱面图像中对应的像素点P(u+1,v)和P(u,v+1)，依次迭代，得到柱面全景图P。
3.根据权利要求2所述的快速鱼眼图像边缘增强方法，其特征在于：所述S22具体方法为：
求解对应的信号基xi，即求解方程ei＝Axi，经过R次运算，得到一组信号基{xi}。
4.根据权利要求3所述的快速鱼眼图像边缘增强方法，其特征在于：所述S24具体方法为：柱面全景图在标准正交基{ei}下分解表示为
将该式进行变化推演，得到：
对比所述数学模型，可以得到最终的增强后柱面全景图P′，
CN201710112436.3A 2017-02-28 2017-02-28 一种快速鱼眼图像边缘增强方法 Withdrawn CN106780405A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710112436.3A CN106780405A (zh) 2017-02-28 2017-02-28 一种快速鱼眼图像边缘增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710112436.3A CN106780405A (zh) 2017-02-28 2017-02-28 一种快速鱼眼图像边缘增强方法

Publications (1)

Publication Number Publication Date
CN106780405A true CN106780405A (zh) 2017-05-31

Family

ID=58959853

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710112436.3A Withdrawn CN106780405A (zh) 2017-02-28 2017-02-28 一种快速鱼眼图像边缘增强方法

Country Status (1)

Country Link
CN (1) CN106780405A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472749A (zh) * 2018-10-29 2019-03-15 湖南优象科技有限公司 一种针对超广角图像的边缘增强算法
CN109551530A (zh) * 2018-12-07 2019-04-02 宁波宝尼尔厨具电器有限公司 弯头式电动剃须刀

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101783011A (zh) * 2010-01-08 2010-07-21 宁波大学 一种鱼眼镜头的畸变校正方法
CN103226840A (zh) * 2013-04-24 2013-07-31 武汉大学 全景影像拼接及量测系统及方法
CN104835126A (zh) * 2015-05-15 2015-08-12 中国人民解放军国防科学技术大学 一种基于观测信号拆分的快速稀疏图像复原方法
CN106357976A (zh) * 2016-08-30 2017-01-25 深圳市保千里电子有限公司 一种全方位全景图像生成的方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101783011A (zh) * 2010-01-08 2010-07-21 宁波大学 一种鱼眼镜头的畸变校正方法
CN103226840A (zh) * 2013-04-24 2013-07-31 武汉大学 全景影像拼接及量测系统及方法
CN104835126A (zh) * 2015-05-15 2015-08-12 中国人民解放军国防科学技术大学 一种基于观测信号拆分的快速稀疏图像复原方法
CN106357976A (zh) * 2016-08-30 2017-01-25 深圳市保千里电子有限公司 一种全方位全景图像生成的方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472749A (zh) * 2018-10-29 2019-03-15 湖南优象科技有限公司 一种针对超广角图像的边缘增强算法
CN109472749B (zh) * 2018-10-29 2021-10-22 湖南优象科技有限公司 一种针对超广角图像的边缘增强算法
CN109551530A (zh) * 2018-12-07 2019-04-02 宁波宝尼尔厨具电器有限公司 弯头式电动剃须刀

Similar Documents

Publication Publication Date Title
US11632537B2 (en) Method and apparatus for obtaining binocular panoramic image, and storage medium
CN109242961B (zh) 一种脸部建模方法、装置、电子设备和计算机可读介质
CN101422035B (zh) 光源推定装置、光源推定系统与光源推定方法以及图像高分辨率化装置与图像高分辨率化方法
Wei et al. Fisheye video correction
US20190251675A1 (en) Image processing method, image processing device and storage medium
CN108122191B (zh) 鱼眼图像拼接成全景图像和全景视频的方法及装置
US20220284679A1 (en) Method and apparatus for constructing three-dimensional face mesh, device, and storage medium
JP6636163B2 (ja) 画像表示方法、成形そり幕を生成する方法、および頭部装着ディスプレイデバイス
CN106934772B (zh) 一种全景图像或视频的水平校准方法、系统及便携式终端
CN106127680B (zh) 一种720度全景视频快速浏览方法
CN103942754B (zh) 全景图像补全方法及装置
CN115690382B (zh) 深度学习模型的训练方法、生成全景图的方法和装置
JP5068732B2 (ja) ３次元形状生成装置
CN103247020A (zh) 一种基于径向特征的鱼眼图像展开方法
Zhang et al. Multiscale-vr: Multiscale gigapixel 3d panoramic videography for virtual reality
CN112669436A (zh) 一种基于3d点云的深度学习样本生成方法
CN116579962A (zh) 一种基于鱼眼相机的全景感知方法、装置、设备及介质
CN106780405A (zh) 一种快速鱼眼图像边缘增强方法
CN109801351B (zh) 动态图像生成方法和处理设备
WO2022126921A1 (zh) 全景图片的检测方法、装置、终端及存储介质
CN109785429A (zh) 一种三维重建的方法和装置
CN116310105B (zh) 基于多视图的物体三维重建方法、装置、设备及存储介质
CN106780406A (zh) 一种快速鱼眼图像去模糊方法
CN116152121B (zh) 基于畸变参数的曲面屏生成方法、矫正方法
CN111161399B (zh) 基于二维影像生成三维模型的数据处理方法及组件

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20170531