CN114841876A - 一种鱼眼图像校正方法、装置、电子设备及存储介质 - Google Patents

一种鱼眼图像校正方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114841876A
CN114841876A CN202210442346.1A CN202210442346A CN114841876A CN 114841876 A CN114841876 A CN 114841876A CN 202210442346 A CN202210442346 A CN 202210442346A CN 114841876 A CN114841876 A CN 114841876A
Authority
CN
China
Prior art keywords
fisheye image
edge
fisheye
gradient
edge points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210442346.1A
Other languages
English (en)
Inventor
陈嘉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Wisdom Rongsheng Technology Co ltd
Original Assignee
Beijing Wisdom Rongsheng Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Wisdom Rongsheng Technology Co ltd filed Critical Beijing Wisdom Rongsheng Technology Co ltd
Priority to CN202210442346.1A priority Critical patent/CN114841876A/zh
Publication of CN114841876A publication Critical patent/CN114841876A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/64—Analysis of geometric attributes of convexity or concavity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20068—Projection on vertical or horizontal image axis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种鱼眼图像校正方法、装置、电子设备及存储介质。该方法包括：获取鱼眼摄像头拍摄的鱼眼图像；对所述鱼眼图像进行处理，得到所述鱼眼图像的梯度幅值；基于所述梯度幅值，确定所述鱼眼图像的边缘点；其中，所述边缘点包括反光镜边缘点和鱼眼边缘点；所述边缘点用于表征所述梯度幅值大于预设阈值的像素点；对所述边缘点进行圆拟合，得到边缘点拟合结果；根据所述边缘点拟合结果，确定所述鱼眼图像的投影函数，并利用所述投影函数对所述鱼眼图像进行校正，得到目标鱼眼图像。本技术方案，无需事先标注，可以直接对鱼眼图像进行校正，减少了工作量。

Description

一种鱼眼图像校正方法、装置、电子设备及存储介质
技术领域
本发明涉及鱼眼校正技术领域，尤其涉及一种鱼眼图像校正方法、装置、电子设备及存储介质。
背景技术
鱼眼摄像机是可以独立实现大范围无死角监控的全景摄像机，由于鱼眼摄像头的超大视场范围使得拍摄的图像的边缘畸变较大，直接影响图像的成像效果。在实际应用场景中，往往需要对拍摄的图像进行校正。
目前，常用的鱼眼图像校正技术中，需要事先知道摄像头拍摄的角度以及距离；或者，需要事先知道摄像头的入射角以及需要一个事先确认的像素点作为标记，才能对鱼眼图像进行校正。
在已知技术中的鱼眼处理方式中，需要事先知道摄像头的拍摄信息，导致校正工作量较大。
发明内容
本发明提供了一种鱼眼图像校正方法、装置、电子设备及存储介质，无需事先标注，可以直接对鱼眼图像进行校正，减少了工作量。
根据本发明的一方面，提供了一种鱼眼图像校正方法，该方法包括：
获取鱼眼摄像头拍摄的鱼眼图像；
对所述鱼眼图像进行处理，得到所述鱼眼图像的梯度幅值；
基于所述梯度幅值，确定所述鱼眼图像的边缘点；其中，所述边缘点包括反光镜边缘点和鱼眼边缘点；所述边缘点用于表征所述梯度幅值大于预设阈值的像素点；
对所述边缘点进行圆拟合，得到边缘点拟合结果；
根据所述边缘点拟合结果，确定所述鱼眼图像的投影函数，并利用所述投影函数对所述鱼眼图像进行校正，得到目标鱼眼图像。
根据本发明的另一方面，提供了一种鱼眼图像校正装置，该装置包括：
鱼眼图像获取模块，用于获取鱼眼摄像头拍摄的鱼眼图像；
梯度幅值得到模块，用于对所述鱼眼图像进行处理，得到所述鱼眼图像的梯度幅值；
边缘点确定模块，用于基于所述梯度幅值，确定所述鱼眼图像的边缘点；其中，所述边缘点包括反光镜边缘点和鱼眼边缘点；所述边缘点用于表征所述梯度幅值大于预设阈值的像素点；
边缘点拟合结果得到模块，用于对所述边缘点进行圆拟合，得到边缘点拟合结果；
目标鱼眼图像得到模块，用于根据所述边缘点拟合结果，确定所述鱼眼图像的投影函数，并利用所述投影函数对所述鱼眼图像进行校正，得到目标鱼眼图像。
根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的一种鱼眼图像校正方法。
根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的一种鱼眼图像校正方法。
本发明实施例的技术方案，通过获取鱼眼摄像头拍摄的鱼眼图像；对鱼眼图像进行处理，得到鱼眼图像的梯度幅值；基于梯度幅值，确定鱼眼图像的边缘点；对边缘点进行圆拟合，得到边缘点拟合结果；根据边缘点拟合结果，确定鱼眼图像的投影函数，并利用投影函数对鱼眼图像进行校正，得到目标鱼眼图像。本技术方案，无需事先标注，可以直接对鱼眼图像进行校正，减少了工作量。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例一提供的一种鱼眼图像校正方法的流程图；
图2是本申请实施例一提供的鱼眼摄像头的示意图；
图3是本申请实施例一提供的鱼眼摄像头中反光镜的示意图；
图4是本申请实施例一提供的梯度方向与边缘方向的示意图；
图5是本申请实施例一提供的边缘点拟合结果的示意图；
图6是本申请实施例一提供的鱼眼镜头成像的示意图；
图7是本申请实施例一提供的鱼眼镜头成像镜头组的示意图；
图8是本申请实施例一提供的目标鱼眼图像的示意图；
图9为本发明实施例二提供的一种鱼眼图像校正过程的流程图；
图10是本申请实施例二提供的待处理边缘点确定过程的示意图；
图11是本申请实施例二提供的待处理边缘点凸包的示意图；
图12是本申请实施例二提供的边缘点的示意图；
图13是根据本发明实施例三提供的一种鱼眼图像校正装置的结构示意图；
图14是实现本发明实施例的一种鱼眼图像校正方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1是根据本发明实施例一提供的一种鱼眼图像校正方法的流程图，本实施例可适用于对鱼眼图像进行校正的情况，该方法可以由一种鱼眼图像校正方法装置来执行，该鱼眼图像校正装置可以采用硬件和/或软件的形式实现，该鱼眼图像校正装置可配置于图像处理的智能终端中。如图1所示，该方法包括：
S110、获取鱼眼摄像头拍摄的鱼眼图像。
其中，鱼眼图像可以是指在线钢琴教育场景下的上课时的钢琴琴键图像。可以通过在线钢琴教育场景下的鱼眼摄像头进行拍摄。
示例性的，图2是本申请实施例一提供的鱼眼摄像头的示意图，如图2所示，在线钢琴教育场景下使用的是正常pad摄像头外接一个鱼眼转换镜头的方式实现的鱼眼摄像。
示例性的，图3是本申请实施例一提供的鱼眼摄像头中反光镜的示意图，如图3所示，鱼眼摄像头正前方有一个反光镜用于拍摄上课时的钢琴琴键，可以通过拉平这个反射镜底边的方式来实现鱼眼校正。
S120、对所述鱼眼图像进行处理，得到所述鱼眼图像的梯度幅值。
在本实施例中，可以利用图像处理技术对鱼眼图像进行处理，得到鱼眼图像的梯度幅值。
在本技术方案中，可选的，对所述鱼眼图像进行处理，得到所述鱼眼图像的梯度幅值，包括：
基于预先确定的计算公式，根据所述鱼眼图像中相邻像素点之间的像素差值，确定所述鱼眼图像的梯度幅值和梯度方向；
若同一梯度方向上存在一个梯度幅值，则将所述梯度幅值作为所述鱼眼图像的梯度幅值；
若同一梯度方向上存在至少两个梯度幅值，则将所述至少两个梯度幅值中最大的梯度幅值作为所述鱼眼图像的梯度幅值。
在本实施例中，由于鱼眼图像是离散的一个个像素点，可以用鱼眼图像中相邻像素点之间的强度差来近似表示一阶导数：
Figure BDA0003614470810000051
Figure BDA0003614470810000052
则可以确定鱼眼图像的梯度幅值为
Figure BDA0003614470810000053
梯度方向为
Figure BDA0003614470810000054
示例性的，图4是本申请实施例一提供的梯度方向与边缘方向的示意图，如图4(a)所示，通常情况下，边缘应该是一条细线不应太粗，太粗就失去了边缘的意义。所以如果在一个梯度方向附近有多个比较大的梯度幅值，需要对梯度幅值进行处理，保留最大的梯度幅值相对应的像素点，扔掉其他像素点。如图4(b)所示，对于一个像素点，中间的线是梯度方向。如果A点是一个梯度方向的局部最大值点，那么A点的梯度应该大于d1和d2两个点的梯度。已知t1和t2的梯度，于是d1的梯度强度可以通过线性插值来计算，假设梯度方向为w，那么有：
Figure BDA0003614470810000061
类似的方法可以求出d2的值，假如A点比d1和d2的梯度都大，那么A点是这一步被选中的像素点，否则不是。
通过对梯度幅值和梯度方向进行确定，能够得到鱼眼图像的边缘点，有利于实现鱼眼图像的校正。
S130、基于所述梯度幅值，确定所述鱼眼图像的边缘点；其中，所述边缘点包括反光镜边缘点和鱼眼边缘点；所述边缘点用于表征所述梯度幅值大于预设阈值的像素点。
在本方案中，图像的边缘点通常是指图像像素点强度变化较大的地方，可以通过设置阈值对梯度幅值进行筛选，得到满足阈值条件的梯度幅值，并将与该梯度幅值相对应的像素点作为鱼眼图像的边缘点。
S140、对所述边缘点进行圆拟合，得到边缘点拟合结果。
其中，边缘点拟合结果包括反光镜拟合圆和鱼眼拟合圆。
在本实施例中，可以利用预先确定的拟合计算公式，对边缘点进行圆拟合，得到边缘拟合结果。
在本技术方案中，可选的，对所述边缘点进行圆拟合，得到边缘点拟合结果，包括：
计算所述边缘点与预设圆心之间的距离，得到目标距离；
利用所述目标距离和预设半径，确定损失函数；
对所述损失函数进行拟合，得到边缘点拟合结果。
具体的，根据圆的公式(x-A)2+(y-B)2＝R2可得：
R2＝x2-2Ax+A2+y2-2By+B2；
令：a＝-2A,b＝-2B,c＝A2+B2-R2可得圆的方程的另一种形式：
x2+y2+ax+by+c＝0；
对于任意一组边缘点(Xi,Yi),i∈(1,2...n)，边缘点到圆心的距离为：
di 2＝(Xi-A)2+(Yi-B)2；
边缘点到圆心的距离和半径的平方差为：
Figure BDA0003614470810000071
拟合目标是让边缘点到圆心的距离跟半径的差尽可能小，于是定义一个损失函数
Figure BDA0003614470810000072
由于Q(a,b,c)是平方和，所以一定存在大于等于0的极小值，没有极大值。求Q(a,b,c)对a,b,c的偏导即可知道极小值点：
Figure BDA0003614470810000073
Figure BDA0003614470810000074
Figure BDA0003614470810000075
改写成方程组的形式就是：
Figure BDA0003614470810000076
这是一个关于a,b,c的三元一次方程组，解此方程组得到：
Figure BDA0003614470810000077
其中：n为待拟合点数量，C，D，E，G，H定义如下
Figure BDA0003614470810000081
求出a,b,c后，代回a＝-2A,b＝-2B,c＝A2+B2-R2可得到：
Figure BDA0003614470810000082
即可求出边缘点拟合结果的圆心以及半径。
示例性的，图5是本申请实施例一提供的边缘点拟合结果的示意图，如图5所示，图中较小的圆是鱼眼边缘点拟合结果，较大的圆是反光镜拟合结果。由于反光镜拟合结果较大，在图中只有部分区域显示。
通过对边缘点进行拟合，可以得到边缘点拟合结果，能够无需事先标注，直接对鱼眼图像进行校正，减少了工作量。
S150、根据所述边缘点拟合结果，确定所述鱼眼图像的投影函数，并利用所述投影函数对所述鱼眼图像进行校正，得到目标鱼眼图像。
示例性的，图6是本申请实施例一提供的鱼眼镜头成像的示意图，如图6所示，鱼眼镜头一般是由十几个不同的透镜组合而成的，在成像的过程中，入射光线经过不同程度的折射，投影到尺寸有限的成像平面上，使得鱼眼镜头与普通镜头相比起来拥有了更大的视野范围。
示例性的，图7是本申请实施例一提供的鱼眼镜头成像镜头组的示意图，如图7所示，在研究鱼眼相机成像时，可以将镜头组简化为一个球面，O1-XcYcZc是相机坐标系，O2-xy是成像平面。现实世界有一点P，入射角为θ，如果按照普通相机的针孔相机模型，入射光线PO1经过镜头后不改变路线，P、O1、p′三点共线，p′为P的像点；但对于鱼眼相机，入射光线PO1经过镜头后会发生折射，因此P的像点为p点，极坐标表示为
Figure BDA0003614470810000091
实际的镜头因为各种原因并不会精确的符合投影模型，可以取关于θ泰勒展开式的前5项来近似鱼眼镜头的实际投影函数：r(θ)≈k0θ+k1θ3+k2θ5+k3θ7+k4θ9。
在本实施例中，在得到实际投影函数后，可以基于边缘点拟合结果对实际投影函数进行拟合，得到鱼眼图像的投影函数，并利用投影函数对鱼眼图像进行校正，得到目标鱼眼图像。
在本技术方案中，可选的，根据所述边缘点拟合结果，确定所述鱼眼图像的投影函数，包括：
将所述边缘点拟合结果带入预设投影函数公式，计算得到所述鱼眼图像的投影函数。
在本实施例中，由于镜头里的反光镜上边缘一定是直线，同时可以认为鱼眼镜头中心就是鱼眼边缘点的拟合圆圆心。则将边缘点拟合结果带入到实际投影函数中，对实际投影函数进行求解，得到投影函数，通过拟合圆上的点水平方向是一条直线，得到目标鱼眼图像。
示例性的，图8是本申请实施例一提供的目标鱼眼图像的示意图。如图8所示，通过对鱼眼图像进行校正，得到了质量较好的目标鱼眼图像。
通过对投影函数进行确定，无需事先标注，能够直接基于投影函数对鱼眼图像进行校正，减少了工作量。
本发明实施例的技术方案，通过获取鱼眼摄像头拍摄的鱼眼图像；对鱼眼图像进行处理，得到鱼眼图像的梯度幅值；基于梯度幅值，确定鱼眼图像的边缘点；对边缘点进行圆拟合，得到边缘点拟合结果；根据边缘点拟合结果，确定鱼眼图像的投影函数，并利用投影函数对鱼眼图像进行校正，得到目标鱼眼图像。通过执行本技术方案，无需事先标注，可以直接对鱼眼图像进行校正，减少了工作量。
实施例二
图9为本发明实施例二提供的一种鱼眼图像校正过程的流程图，本实施例与上述实施例之间的关系是对边缘点确定的详细描述。如图9所示，该方法包括：
S910、获取鱼眼摄像头拍摄的鱼眼图像。
S920、对所述鱼眼图像进行处理，得到所述鱼眼图像的梯度幅值。
S930、若所述梯度幅值满足预设阈值条件，则将与所述梯度幅值相对应的像素点作为所述鱼眼图像的待处理边缘点。
其中，预设阈值条件可以是指梯度幅值大于预设阈值，预设阈值可以根据待处理边缘点确定需求进行设置。即若梯度幅值大于预设阈值，则梯度幅值满足预设阈值条件；若梯度幅值小于预设阈值，则梯度幅值不满足预设阈值条件。
在本技术方案中，可选的，若所述梯度幅值满足预设阈值条件，则将与所述梯度幅值相对应的像素点作为所述鱼眼图像的待处理边缘点，包括：
若所述梯度幅值大于预设第一阈值，则将与所述梯度幅值相对应的像素点作为所述鱼眼图像的待处理边缘点；
若所述梯度幅值小于预设第一阈值且大于预设第二阈值，则确定与所述梯度幅值相对应的像素点的相邻像素点，并判断所述相邻像素点的梯度幅值是否大于预设第一阈值，若大于，则将所述相邻像素点作为所述鱼眼图像的待处理边缘点。
其中，预设第一阈值和预设第二阈值可以根据待处理边缘点确定需求进行设置。第一阈值大于第二阈值。优选的，第一阈值是第二阈值的2或3倍。
在本方案中，若梯度幅值大于预设第一阈值，则保留；若梯度幅值小于预设第二阈值，则删除；若梯度幅值小于预设第一阈值且大于预设第二阈值，则从与该梯度幅值相对应的像素点的8邻域的寻找梯度幅值，如果存在梯度幅值大于第一阈值，则保留，如果没有，则舍弃。
通过对待处理边缘点进行确定，能够实现鱼眼摄像头的校正，减少了工作量。
示例性的，图10是本申请实施例二提供的待处理边缘点确定过程的示意图，如图10所示，获取鱼眼图像；对鱼眼图像进行梯度计算，得到梯度幅值；对梯度幅值进行非极大值抑制；然后基于预设阈值对梯度幅值进行筛选，得到待处理边缘点。
S940、根据各待处理边缘点之间的角度，确定所述鱼眼图像的边缘点。
在本方案中，可以从各待处理边缘点中选取一个点作为第一个边缘点，然后分别计算其他待处理边缘点到该第一个边缘点的角度，从而确定第二个边缘点，然后进行遍历，计算其他待处理边缘点到该第二个边缘点的角度，依次确定其余边缘点。
在本技术方案中，可选的，根据各待处理边缘点之间的角度，确定所述鱼眼图像的边缘点，包括：
若所述鱼眼图像的边缘点是首个边缘点，则从各待处理边缘点中选取横纵坐标最小的待处理边缘点作为所述鱼眼图像的边缘点；
若所述鱼眼图像的边缘点是非首个边缘点，则计算其他待处理边缘点与前一个确定的所述鱼眼图像的边缘点之间的角度，并将角度值最小的待处理边缘点作为所述鱼眼图像的边缘点。
在本方案中，在一个实数向量空间V中，对于给定集合X，所有包含X的凸集的交集S被称为X的凸包。X的凸包可以用X内所有点(X1，…Xn)的凸组合来构造。可以通过寻找待处理边缘点的凸包确定鱼眼图像的边缘点。
示例性的，图11是本申请实施例二提供的待处理边缘点凸包的示意图，如图11所示，首先选取横坐标最小的一个待处理边缘点，若有多个这样的待处理边缘点，选纵坐标最小的待处理边缘点作为鱼眼图像的边缘点，即首个边缘点。然后对其余待处理边缘点进行遍历，按照顺时针方向，计算其余待处理边缘点与边缘点之间的角度。选取角度最小的点，加入一个点集。若有多个待处理边缘点角度相同，则计算边缘点到这些待处理边缘点的距离，选取距离最大的点加入该点集(9、10号点选10号)，重复上述步骤，直到即将加入凸包的点为首个边缘点时结束循环，此时得到的点集即为凸包。
示例性的，图12是本申请实施例二提供的边缘点的示意图，如图12所示，反光镜的边缘点在鱼眼图像的上半部分，鱼眼边缘点在图像的下半部分。
通过对边缘点进行确定，能够基于边缘点对投影函数进行确定，实现了鱼眼摄像头的校正，减少了工作量。
S950、对所述边缘点进行圆拟合，得到边缘点拟合结果。
S960、根据所述边缘点拟合结果，确定所述鱼眼图像的投影函数，并利用所述投影函数对所述鱼眼图像进行校正，得到目标鱼眼图像。
本发明实施例的技术方案，通过获取鱼眼摄像头拍摄的鱼眼图像；对鱼眼图像进行处理，得到鱼眼图像的梯度幅值；若梯度幅值满足预设阈值条件，则将与梯度幅值相对应的像素点作为鱼眼图像的待处理边缘点；并根据各待处理边缘点之间的角度，确定鱼眼图像的边缘点；对边缘点进行圆拟合，得到边缘点拟合结果；根据边缘点拟合结果，确定鱼眼图像的投影函数，并利用投影函数对鱼眼图像进行校正，得到目标鱼眼图像。通过执行本技术方案，无需事先标注，可以直接对鱼眼图像进行校正，减少了工作量。
实施例三
图13为本发明实施例三提供的一种鱼眼图像校正装置的结构示意图。如图13所示，该装置包括：
鱼眼图像获取模块1310，用于获取鱼眼摄像头拍摄的鱼眼图像；
梯度幅值得到模块1320，用于对所述鱼眼图像进行处理，得到所述鱼眼图像的梯度幅值；
边缘点确定模块1330，用于基于所述梯度幅值，确定所述鱼眼图像的边缘点；其中，所述边缘点包括反光镜边缘点和鱼眼边缘点；所述边缘点用于表征所述梯度幅值大于预设阈值的像素点；
边缘点拟合结果得到模块1340，用于对所述边缘点进行圆拟合，得到边缘点拟合结果；
目标鱼眼图像得到模块1350，用于根据所述边缘点拟合结果，确定所述鱼眼图像的投影函数，并利用所述投影函数对所述鱼眼图像进行校正，得到目标鱼眼图像。
在本技术方案中，可选的，边缘点确定模块1330，包括：
待处理边缘点确定单元，用于若所述梯度幅值满足预设阈值条件，则将与所述梯度幅值相对应的像素点作为所述鱼眼图像的待处理边缘点；
边缘点确定单元，用于根据各待处理边缘点之间的角度，确定所述鱼眼图像的边缘点。
在本技术方案中，可选的，待处理边缘点确定单元，具体用于：
若所述梯度幅值大于预设第一阈值，则将与所述梯度幅值相对应的像素点作为所述鱼眼图像的待处理边缘点；
若所述梯度幅值小于预设第一阈值且大于预设第二阈值，则确定与所述梯度幅值相对应的像素点的相邻像素点，并判断所述相邻像素点的梯度幅值是否大于预设第一阈值，若大于，则将所述相邻像素点作为所述鱼眼图像的待处理边缘点。
在本技术方案中，可选的，边缘点确定单元，具体用于：
若所述鱼眼图像的边缘点是首个边缘点，则从各待处理边缘点中选取横纵坐标最小的待处理边缘点作为所述鱼眼图像的边缘点；
若所述鱼眼图像的边缘点是非首个边缘点，则计算其他待处理边缘点与前一个确定的所述鱼眼图像的边缘点之间的角度，并将角度值最小的待处理边缘点作为所述鱼眼图像的边缘点。
在本技术方案中，可选的，边缘点拟合结果得到模块1340，具体用于：
计算所述边缘点与预设圆心之间的距离，得到目标距离；
利用所述目标距离和预设半径，确定损失函数；
对所述损失函数进行拟合，得到边缘点拟合结果。
在本技术方案中，可选的，目标鱼眼图像得到模块1350，具体用于：将所述边缘点拟合结果带入预设投影函数公式，计算得到所述鱼眼图像的投影函数。
在本技术方案中，可选的，梯度幅值得到模块1320，具体用于：
基于预先确定的计算公式，根据所述鱼眼图像中相邻像素点之间的像素差值，确定所述鱼眼图像的梯度幅值和梯度方向；
若同一梯度方向上存在一个梯度幅值，则将所述梯度幅值作为所述鱼眼图像的梯度幅值；
若同一梯度方向上存在至少两个梯度幅值，则将所述至少两个梯度幅值中最大的梯度幅值作为所述鱼眼图像的梯度幅值。
本发明实施例所提供的一种鱼眼图像校正装置可执行本发明任意实施例所提供的一种鱼眼图像校正方法，具备执行方法相应的功能模块和有益效果。
实施例四
图14示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图14所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如一种鱼眼图像校正方法。
在一些实施例中，一种鱼眼图像校正方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的一种鱼眼图像校正方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行一种鱼眼图像校正方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种鱼眼图像校正方法，其特征在于，包括：
获取鱼眼摄像头拍摄的鱼眼图像；
对所述鱼眼图像进行处理，得到所述鱼眼图像的梯度幅值；
基于所述梯度幅值，确定所述鱼眼图像的边缘点；其中，所述边缘点包括反光镜边缘点和鱼眼边缘点；所述边缘点用于表征所述梯度幅值大于预设阈值的像素点；
对所述边缘点进行圆拟合，得到边缘点拟合结果；
根据所述边缘点拟合结果，确定所述鱼眼图像的投影函数，并利用所述投影函数对所述鱼眼图像进行校正，得到目标鱼眼图像。
2.根据权利要求1所述的方法，其特征在于，基于所述梯度幅值，确定所述鱼眼图像的边缘点，包括：
若所述梯度幅值满足预设阈值条件，则将与所述梯度幅值相对应的像素点作为所述鱼眼图像的待处理边缘点；
根据各待处理边缘点之间的角度，确定所述鱼眼图像的边缘点。
3.根据权利要求2所述的方法，其特征在于，若所述梯度幅值满足预设阈值条件，则将与所述梯度幅值相对应的像素点作为所述鱼眼图像的待处理边缘点，包括：
若所述梯度幅值大于预设第一阈值，则将与所述梯度幅值相对应的像素点作为所述鱼眼图像的待处理边缘点；
若所述梯度幅值小于预设第一阈值且大于预设第二阈值，则确定与所述梯度幅值相对应的像素点的相邻像素点，并判断所述相邻像素点的梯度幅值是否大于预设第一阈值，若大于，则将所述相邻像素点作为所述鱼眼图像的待处理边缘点。
4.根据权利要求2所述的方法，其特征在于，根据各待处理边缘点之间的角度，确定所述鱼眼图像的边缘点，包括：
若所述鱼眼图像的边缘点是首个边缘点，则从各待处理边缘点中选取横纵坐标最小的待处理边缘点作为所述鱼眼图像的边缘点；
若所述鱼眼图像的边缘点是非首个边缘点，则计算其他待处理边缘点与前一个确定的所述鱼眼图像的边缘点之间的角度，并将角度值最小的待处理边缘点作为所述鱼眼图像的边缘点。
5.根据权利要求1所述的方法，其特征在于，对所述边缘点进行圆拟合，得到边缘点拟合结果，包括：
计算所述边缘点与预设圆心之间的距离，得到目标距离；
利用所述目标距离和预设半径，确定损失函数；
对所述损失函数进行拟合，得到边缘点拟合结果。
6.根据权利要求1所述的方法，其特征在于，根据所述边缘点拟合结果，确定所述鱼眼图像的投影函数，包括：
将所述边缘点拟合结果带入预设投影函数公式，计算得到所述鱼眼图像的投影函数。
7.根据权利要求1所述的方法，其特征在于，对所述鱼眼图像进行处理，得到所述鱼眼图像的梯度幅值，包括：
基于预先确定的计算公式，根据所述鱼眼图像中相邻像素点之间的像素差值，确定所述鱼眼图像的梯度幅值和梯度方向；
若同一梯度方向上存在一个梯度幅值，则将所述梯度幅值作为所述鱼眼图像的梯度幅值；
若同一梯度方向上存在至少两个梯度幅值，则将所述至少两个梯度幅值中最大的梯度幅值作为所述鱼眼图像的梯度幅值。
8.一种鱼眼图像校正装置，其特征在于，包括：
鱼眼图像获取模块，用于获取鱼眼摄像头拍摄的鱼眼图像；
梯度幅值得到模块，用于对所述鱼眼图像进行处理，得到所述鱼眼图像的梯度幅值；
边缘点确定模块，用于基于所述梯度幅值，确定所述鱼眼图像的边缘点；其中，所述边缘点包括反光镜边缘点和鱼眼边缘点；所述边缘点用于表征所述梯度幅值大于预设阈值的像素点；
边缘点拟合结果得到模块，用于对所述边缘点进行圆拟合，得到边缘点拟合结果；
目标鱼眼图像得到模块，用于根据所述边缘点拟合结果，确定所述鱼眼图像的投影函数，并利用所述投影函数对所述鱼眼图像进行校正，得到目标鱼眼图像。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的一种鱼眼图像校正方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的一种鱼眼图像校正方法。
CN202210442346.1A 2022-04-25 2022-04-25 一种鱼眼图像校正方法、装置、电子设备及存储介质 Pending CN114841876A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210442346.1A CN114841876A (zh) 2022-04-25 2022-04-25 一种鱼眼图像校正方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210442346.1A CN114841876A (zh) 2022-04-25 2022-04-25 一种鱼眼图像校正方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114841876A true CN114841876A (zh) 2022-08-02

Family

ID=82565718

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210442346.1A Pending CN114841876A (zh) 2022-04-25 2022-04-25 一种鱼眼图像校正方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114841876A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485754A (zh) * 2016-09-12 2017-03-08 微鲸科技有限公司 鱼眼镜头的标定方法及设备
CN106600549A (zh) * 2016-11-16 2017-04-26 深圳六滴科技有限公司 鱼眼图像的矫正方法和装置
CN107945136A (zh) * 2017-12-04 2018-04-20 深圳市路畅科技股份有限公司 一种鱼眼图像矫正方法、系统、设备及计算机存储介质
US20180150944A1 (en) * 2016-01-18 2018-05-31 Shenzhen Arashi Vision Company Limited Method and Device For Rectifying Image Photographed by Fish-Eye Lens

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180150944A1 (en) * 2016-01-18 2018-05-31 Shenzhen Arashi Vision Company Limited Method and Device For Rectifying Image Photographed by Fish-Eye Lens
CN106485754A (zh) * 2016-09-12 2017-03-08 微鲸科技有限公司 鱼眼镜头的标定方法及设备
CN106600549A (zh) * 2016-11-16 2017-04-26 深圳六滴科技有限公司 鱼眼图像的矫正方法和装置
CN107945136A (zh) * 2017-12-04 2018-04-20 深圳市路畅科技股份有限公司 一种鱼眼图像矫正方法、系统、设备及计算机存储介质

Similar Documents

Publication Publication Date Title
CN114550177B (zh) 图像处理的方法、文本识别方法及装置
CN111612753B (zh) 三维物体检测方法、装置、电子设备和可读存储介质
CN114913121A (zh) 一种屏幕缺陷检测系统、方法、电子设备及可读存储介质
CN113255664B (zh) 图像处理方法、相关装置及计算机程序产品
CN113792730A (zh) 文档图像的矫正方法、装置、电子设备和存储介质
CN111222579A (zh) 跨相机的障碍物关联方法、装置、设备、电子系统及介质
CN112634366B (zh) 位置信息的生成方法、相关装置及计算机程序产品
CN113724391A (zh) 三维模型构建方法、装置、电子设备和计算机可读介质
CN116661477A (zh) 一种变电站无人机巡检方法、装置、设备及存储介质
CN115578515A (zh) 三维重建模型的训练方法、三维场景渲染方法及装置
CN114972027A (zh) 一种图像拼接方法、装置、设备、介质和计算机产品
CN115170815A (zh) 视觉任务处理及模型训练的方法、装置、介质
CN112101261B (zh) 人脸识别方法、装置、设备及存储介质
CN114841876A (zh) 一种鱼眼图像校正方法、装置、电子设备及存储介质
CN116385415A (zh) 一种边缘缺陷检测方法、装置、设备及存储介质
CN115311624A (zh) 一种边坡位移监测方法、装置、电子设备及存储介质
CN111353945A (zh) 鱼眼图像校正方法、装置及存储介质
CN113706543A (zh) 一种三维位姿的构建方法、设备及存储介质
JP2019020839A (ja) 画像処理装置、画像処理方法、及びプログラム
CN115439331B (zh) 角点的校正方法和元宇宙中三维模型的生成方法、装置
CN114463409B (zh) 图像深度信息的确定方法、装置、电子设备和介质
CN112991179B (zh) 用于输出信息的方法、装置、设备以及存储介质
CN113313648B (zh) 图像矫正方法、装置、电子设备和介质
CN115953469A (zh) 基于单双目视觉的定位方法、装置、电子设备及存储介质
CN116452479A (zh) 点云融合方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination