CN108010087B - 一种基于颜色恒常性的亚像素棋盘格角点检测方法 - Google Patents

一种基于颜色恒常性的亚像素棋盘格角点检测方法 Download PDF

Info

Publication number
CN108010087B
CN108010087B CN201711278446.0A CN201711278446A CN108010087B CN 108010087 B CN108010087 B CN 108010087B CN 201711278446 A CN201711278446 A CN 201711278446A CN 108010087 B CN108010087 B CN 108010087B
Authority
CN
China
Prior art keywords
sub
color
pixel
points
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711278446.0A
Other languages
English (en)
Other versions
CN108010087A (zh
Inventor
刘家朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI HUI X-IMAGING INFORMATION TECHNOLOGY Co Ltd
Original Assignee
SHANGHAI HUI X-IMAGING INFORMATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI HUI X-IMAGING INFORMATION TECHNOLOGY Co Ltd filed Critical SHANGHAI HUI X-IMAGING INFORMATION TECHNOLOGY Co Ltd
Priority to CN201711278446.0A priority Critical patent/CN108010087B/zh
Publication of CN108010087A publication Critical patent/CN108010087A/zh
Application granted granted Critical
Publication of CN108010087B publication Critical patent/CN108010087B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection

Abstract

本发明属于图像增强与特征检测技术领域，具体涉及到三维测量领域中相机标定的相关技术。一种基于颜色恒常性的亚像素棋盘格角点检测方法，包括如下步骤：步骤a，提出一个具有颜色恒常性的Harris角点检测子，步骤b，提出一个具有光照与颜色偏移不变性的亚像素精度角点检测方法。由于采用上述技术特征，本发明相对于光照与颜色变化能够得到几乎完全相同的像素精度角点位置。

Description

一种基于颜色恒常性的亚像素棋盘格角点检测方法
技术领域
本发明属于图像增强与特征检测技术领域，具体涉及到三维测量领域中相机标定的相关技术。
背景技术
用于相机标定的图像增强与特征检测技术是为了克服光照强度变化与图像中大的动态范围对检测的特征点位置精确性的影响，使得相机标定能够适应于复杂的光照条件，因此具有非常重要的意义。颜色恒常性是模拟人类视觉的颜色知觉恒常性，是指当物体表面的光照发生变化时人眼对颜色的知觉保持不变的特性。由此可见，颜色恒常性能够克服光照变化对棋盘格角点检测的影响。
基于比尔-朗伯特定律，两种不同光照形成的图像可以通过对角矩阵进行转换，也就是说采用Von Kries对角矩阵变换模型可以得到具有颜色恒常性的标准图像。由此可见，图像颜色恒常性问题就转变为寻找输入图像光照值的问题。但是，在不能精确标定光照信息条件下只能凭借对外界环境的假设来估算光照的数值。在现有的颜色恒常性方法中，Retinex得到广泛认可。Retinex是视网膜(Retina)和大脑皮层(Cortex)的缩写，由Land等通过模拟人眼的颜色恒常性机理提出的一个关于人类视觉系统如何调节感知物体颜色和亮度的模型。经典的Retinex算法包括：单尺度的Retinex算法，多尺度的Retinex算法，McCann的Retinex算法等。最近几年Retinex算法又有新的发展，出现了基于字典学习的Retinex方法与基于分裂与合并的多尺度Retinex方法。
常用的棋盘格角点提取方法有：基于边界的角点定位方法，类似于Harris角点检测子的检测方法，二次多项式拟合方法等。上述棋盘格角点检测方法一般可以分为两步：在第一步采用传统的角点检测方法提取角点，在第二步采用亚像素角点检测方法改进检测精度。对于高精度相机标定来说，在各种传统的角点检测方法中Harris角点检测子被认为是最好的，二次曲面拟合被认为能够检测到具有透视变换不变性与畸变变换不变性的亚像素精度的角点。然而，在第一步检测的Harris角点位置会随着表面光照的变化而变化，在第二步采用二次曲面拟合提取亚像素精度角点同样会受表面光照变化影响。大量的生物视觉试验表明，人眼视觉的颜色恒常性机制能够很好地克服光照变化对特征检测的影响。
发明内容
本发明的目的在于，提供一种基于颜色恒常性的亚像素棋盘格角点检测方法，解决以上技术问题。
本发明所解决的技术问题可以采用以下技术方案来实现：
一种基于颜色恒常性的亚像素棋盘格角点检测方法，包括如下步骤：
步骤a，提出一个具有颜色恒常性的Harris角点检测子：
首先，采用下式对图像的颜色空间进行归一化，使得标定板图像相对于光照与颜色偏移具有不变性：
Figure BDA0001497060810000021
其中，(R,G,B)表示彩色图像的三个颜色通道，(μR,μG,μB)表示图像中三个颜色通道的均值，(σR,σG,σB)表示图像中三个颜色通道的方差；
其次，采用基于Retinex的Harris角点检测子从具有光照与颜色偏移不变性的图像中提取Harris角点，用于提取Harris角点的结构张量矩阵的计算公式如下，
Figure BDA0001497060810000022
其中I(x,y)表示图像函数，
Figure BDA0001497060810000023
a＝I(x,y)*G(x,y)表示图像函数的高斯卷积，b＝I(x,y)；
步骤b，提出一个具有光照与颜色偏移不变性的亚像素精度角点检测方法：
首先，在具有光照与颜色偏移不变性的标定板图像中，采用二次曲面拟合Harris角点的局部邻域，以求得下述二次曲面方程的系数a、b、c、d、e与f：
f(x,y)＝ax2+bxy+cy2+dx+ey+f；
其次，根据棋盘格标定板的先验知识构造下述最优化公式用于检测亚像素精度角点，
Figure BDA0001497060810000031
其中，Np表示角点p的局部邻域，Cn表示Np中的点数，
Figure BDA0001497060810000033
表示点p处的梯度方向，pn∈Np，“.”表示向量点积；
然后，对角点p的局部邻域拟合的二次曲面关于x与y求偏导得到梯度方向公式
Figure BDA0001497060810000034
并将其代入到最优化公式中求得x与y的极值，从而得到亚像素角点p与其邻域中的局部邻域点pn(xn,yn)之间的下述关系式：
Figure BDA0001497060810000032
最后，将邻域点pn(xn,yn)代入上式得到若干候选亚像素角点，并在所有的亚像素角点中选择使得最优化公式取值最小的作为最终的亚像素角点。
本发明采用具有颜色恒常性的Harris角点检测子检测棋盘格角点，然后在具有光照与颜色偏移不变性的标定板图像中采用二次曲面拟合Harris角点的局部邻域，并根据棋盘格标定板的先验知识构造最优化公式以得到唯一的亚像素精度角点位置。本发明相对于表面光照与颜色变化，能够更加稳定地检测到精确的棋盘格角点，因此具有较好的普适性。
步骤a和步骤b之间还包括步骤：
剔除L-角点与T-角点，只保留棋盘格标定板上的X-角点；
剔除同一小方格中的多余干扰点。以便于更好的拟合X-角点的局部领域。
有益效果：本发明相对于光照与颜色变化能够得到几乎完全相同的像素精度角点位置，在复杂光照条件下得到的亚像素精度的角点位置的空间分布类似于镜头畸变误差的空间分布。
附图说明
图1为本发明的一种检测方法流程图；
图2是输入的棋盘格标定板图像；
图3是颜色空间归一化后的棋盘格标定板图像；
图4是对图3进行Retinex变换后的效果图；
图5是剔除非X-角点与多余干扰点后的Harris角点；
图6是图5的局部放大图；
图7是最终的亚像素精度角点的局部放大显示；
图8显示了最终检测的具有颜色恒常性的棋盘格亚像素角点；
图9是图8的局部放大图；
图10对比显示了针对53幅标定板图像采用Retinex与不采用Retinex提取的角点个数；
图11是对比光照变化前后本发明检测的角点与原有的Harris角点；
图12显示了本发明检测角点的反投影误差空间分布；
图13对比显示对于48组数据中共计178幅标定板图像采用单应变换得到的反投影误差；
图14是对本发明提取的角点采用OpenCv标定法解算相机参数后48组数据的平均反投影误差。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示进一步阐述本发明。
参照图1，一种基于颜色恒常性的亚像素棋盘格角点检测方法，包括如下步骤：
第一步，采用下式对图像的颜色空间进行归一化，使得标定板图像相对于光照与颜色偏移具有不变性：
Figure BDA0001497060810000051
其中，(R,G,B)表示彩色图像的三个颜色通道，(μR,μG,μB)表示图像中三个颜色通道的均值，(σR,σG,σB)表示图像中三个颜色通道的方差。
可以从以下过程简单证明上述归一化过程能够使得图像的颜色直方图具有颜色恒常性：
Figure BDA0001497060810000052
其中
Figure BDA0001497060810000053
表示Von Kries的颜色恒常性变换的对角矩阵模型；
参照图2是输入的棋盘格标定板图像，参照图3，经第一步归一化后的棋盘格标定板图像。
第二步，根据下式计算的结构张量矩阵提取具有颜色恒常性的Harris角点：
Figure BDA0001497060810000054
其中I(x,y)表示图像函数，
Figure BDA0001497060810000055
a＝I(x,y)*G(x,y)表示图像函数的高斯卷积，b＝I2(x,y)。
第三步，从检测的Harris角点中剔除L-角点与T-角点，只保留棋盘格标定板上的X-角点。
第四步，剔除棋盘格模板中位于同一小方格的多余干扰点；
参照图5，剔除非X-角点与多余干扰点后的Harris角点。图6是图5的局部放大图。
第五步：在具有光照与颜色偏移不变性的图像中，采用下述二次曲面方程拟合X-角点的局部邻域：
f(x,y)＝ax2+bxy+cy2+dx+ey+f；
第六步：采用下式根据X-角点的局部邻域点pn(xn,yn)，确定候选亚像素角点p(x,y)：
Figure BDA0001497060810000061
第七步：从候选亚像素角点中选择使得下式最小的点作为最终的亚像素精度角点：
Figure BDA0001497060810000062
参照图7，上式计算结果图像的局部放大显示。
参照图8，显示了最终检测的具有颜色恒常性的棋盘格亚像素精度角点。图9是图8的局部放大图。
本发明通过对比图2与图3可以发现，对图像的颜色空间进行归一化后图像变得更加清晰，特别是原图像中存在的局部偏暗情况得到了明显改善。图4是对图3进行Retinex变换后的效果，在图4中几乎消除了局部偏暗的光照不均匀现象。因此，上述两步图像变换能够显著改进棋盘格角点提取的稳定性。
在对比图9与图6后可以发现，本发明提出的方法能够显著改进精确性。相对于图6显示的角点位置，图9提取的角点位置不仅精确地位于棋盘格X型交叉点的中央，而且从整体上是均匀一致。
图10对比显示了针对53幅标定板图像采用Retinex与不采用Retinex提取的角点个数，如图10所示，位于上方圆点的是采用Retinex的，位于下方方格的是不采用Retinex的，从而验证了本发明采用的检测方法的有效性。
图11是对比光照变化前后本发明检测的角点与原有的Harris角点，本发明提出的方法检测的角点(图11(b))在像素级别位置精度上不会随光照变化而变化。但是，原有的Harris角点(图11(a))却会随光照变化而发生明显的变化。
图12显示了本发明检测角点采用单应变换进行反投影后误差的空间分布，呈现出与镜头畸变类似的空间分布。也就是说，随着远离图像的中心区域，镜头的畸变会越来越大，检测角点的反投影误差也会随之增大。
图13对比显示了对于48组数据中共计178幅棋盘格标定板图像采用单应变换进行反投影后的误差，位于上方方格的是原有的Harris角点的单应变换误差，位于下方圆点的是本发明提取角点的单应变换误差。图13中，-1表示标定板检测失败。由图13可知，本发明提取角点的相对位置的精确性要远优于原有的Harris检测子。由于采用单应变换计算反投影误差不够精确，因此在采用OpenCv标定法对相机进行标定后重新计算了反投影误差。
图14显示了48组数据根据标定的相机参数计算的平均反投影误差，最大误差不超过0.01像素，从而进一步验证了本发明提取角点位置的精确性与稳定性。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (2)

1.一种基于颜色恒常性的亚像素棋盘格角点检测方法，包括如下步骤：
步骤a，提出一个具有颜色恒常性的Harris角点检测子：
首先，采用下式对图像的颜色空间进行归一化，使得标定板图像相对于光照与颜色偏移具有不变性：
Figure FDA0002316115340000011
其中，(R,G,B)表示彩色图像的三个颜色通道，(μR,μG,μB)表示图像中三个颜色通道的均值，(σR,σG,σB)表示图像中三个颜色通道的方差；
其次，采用基于Retinex的Harris角点检测子从具有光照与颜色偏移不变性的图像中提取Harris角点，用于提取Harris角点的结构张量矩阵的计算公式如下，
Figure FDA0002316115340000012
其中I(x,y)表示图像函数，
Figure FDA0002316115340000013
a＝I(x,y)*G(x,y)表示图像函数的高斯卷积，b＝I(x,y)；
步骤b，提出一个具有光照与颜色偏移不变性的亚像素精度角点检测方法：
首先，在具有光照与颜色偏移不变性的标定板图像中，采用二次曲面拟合Harris角点的局部邻域，以求得下述二次曲面方程的系数a、b、c、d、e与f：
f(x,y)＝ax2+bxy+cy2+dx+ey+f；
其次，根据棋盘格标定板的先验知识构造下述最优化公式用于检测亚像素精度角点，
Figure FDA0002316115340000014
其中，Np表示角点p的局部邻域，Cn表示Np中的点数，
Figure FDA0002316115340000015
表示点p处的梯度方向，pn∈Np，“.”表示向量点积；
然后，对角点p的局部邻域拟合的二次曲面关于x与y求偏导得到梯度方向公式
Figure FDA0002316115340000016
并将其代入到最优化公式中求得x与y的极值，从而得到亚像素角点p与其邻域中的局部邻域点pn(xn,yn)之间的下述关系式：
Figure FDA0002316115340000017
最后，将邻域点pn(xn,yn)代入上式得到若干候选亚像素角点，并在所有的亚像素角点中选择使得最优化公式取值最小的作为最终的亚像素角点。
2.根据权利要求1所述的一种基于颜色恒常性的亚像素棋盘格角点检测方法，其特征在于，在步骤a和步骤b之间还包括步骤：
剔除L-角点与T-角点，只保留棋盘格标定板上的X-角点；
剔除同一小方格中的多余干扰点。
CN201711278446.0A 2017-12-06 2017-12-06 一种基于颜色恒常性的亚像素棋盘格角点检测方法 Active CN108010087B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711278446.0A CN108010087B (zh) 2017-12-06 2017-12-06 一种基于颜色恒常性的亚像素棋盘格角点检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711278446.0A CN108010087B (zh) 2017-12-06 2017-12-06 一种基于颜色恒常性的亚像素棋盘格角点检测方法

Publications (2)

Publication Number Publication Date
CN108010087A CN108010087A (zh) 2018-05-08
CN108010087B true CN108010087B (zh) 2020-03-31

Family

ID=62056764

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711278446.0A Active CN108010087B (zh) 2017-12-06 2017-12-06 一种基于颜色恒常性的亚像素棋盘格角点检测方法

Country Status (1)

Country Link
CN (1) CN108010087B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103345755A (zh) * 2013-07-11 2013-10-09 北京理工大学 一种基于Harris算子的棋盘格角点亚像素提取方法
CN106971153A (zh) * 2017-03-08 2017-07-21 重庆三峡学院 一种人脸图像光照补偿方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103345755A (zh) * 2013-07-11 2013-10-09 北京理工大学 一种基于Harris算子的棋盘格角点亚像素提取方法
CN106971153A (zh) * 2017-03-08 2017-07-21 重庆三峡学院 一种人脸图像光照补偿方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A Retinal Mechanism Inspired Color Constancy Model;Xian-ShiZhang 等;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20160331;第25卷(第3期);第1219-1230页 *
Harris角点提取实现亚像素级摄像机自标定;姚耀;《电子设计工程》;20090515;第17卷(第5期);第61-65页 *
一种复杂场景下景物图像的匹配算法;梁栋;《微型机与应用》;20150525;第34卷(第10期);第49页第2栏14-28行，第50页第一栏1-12行 *
基于harris算法的黑白棋盘格角点检测;张裕等;《计算机应用与软件》;20100815;第27卷(第8期);第251-254页 *

Also Published As

Publication number Publication date
CN108010087A (zh) 2018-05-08

Similar Documents

Publication Publication Date Title
CN111243032B (zh) 一种棋盘格角点全自动检测方法
CN103345755B (zh) 一种基于Harris算子的棋盘格角点亚像素提取方法
WO2021138990A1 (zh) 一种棋盘格亚像素级角点自适应检测的方法
CN107844736B (zh) 虹膜定位方法和装置
WO2018209941A1 (zh) 一种基于高斯拟合的高密度电路板圆孔亚像素检测方法
CN110232389B (zh) 一种基于绿色作物特征提取不变性的立体视觉导航方法
CN108369650A (zh) 将校准图案的图像内的候选点标识为该校准图案的可能特征点的方法
CN107292869B (zh) 基于各向异性高斯核和梯度搜索的图像斑点检测方法
CN112132907B (zh) 一种相机标定方法、装置、电子设备及存储介质
CN115170669B (zh) 基于边缘特征点集配准的识别定位方法及系统、存储介质
WO2020019648A1 (zh) 一种机器视觉定位方法
US20130071033A1 (en) Classifier for use in generating a diffuse image
US20210090230A1 (en) System and method for efficiently scoring probes in an image with a vision system
CN113012234B (zh) 基于平面变换的高精度相机标定方法
CN104899888A (zh) 一种基于Legendre矩的图像亚像素边缘检测方法
CN110807459A (zh) 车牌矫正方法、装置以及可读存储介质
Zhang et al. A new algorithm for accurate and automatic chessboard corner detection
US11544875B2 (en) Image processing apparatus, image processing method, and storage medium
CN108182707B (zh) 采集不完整条件下的棋盘格标定模板及其自动识别方法
CN108010087B (zh) 一种基于颜色恒常性的亚像素棋盘格角点检测方法
CN106934846B (zh) 一种布料图像处理方法及系统
Smiatacz Normalization of face illumination using basic knowledge and information extracted from a single image
CN108876845B (zh) 菲涅尔纹中心的确定方法和装置
CN109690555B (zh) 基于曲率的脸部检测器
CN114882122A (zh) 图像局部自动标定方法、装置及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant