CN109360144A - 一种基于手机平台的图像实时校正改进方法 - Google Patents
一种基于手机平台的图像实时校正改进方法 Download PDFInfo
- Publication number
- CN109360144A CN109360144A CN201811085387.XA CN201811085387A CN109360144A CN 109360144 A CN109360144 A CN 109360144A CN 201811085387 A CN201811085387 A CN 201811085387A CN 109360144 A CN109360144 A CN 109360144A
- Authority
- CN
- China
- Prior art keywords
- point
- image
- angle
- mobile phone
- axis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012937 correction Methods 0.000 title claims abstract description 50
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000012360 testing method Methods 0.000 claims abstract description 22
- 230000006870 function Effects 0.000 claims description 22
- 239000000284 extract Substances 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 12
- 230000003321 amplification Effects 0.000 claims description 9
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 7
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 claims description 4
- 238000010586 diagram Methods 0.000 claims description 4
- 238000003491 array Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000009415 formwork Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 230000005764 inhibitory process Effects 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims 1
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000006378 damage Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于手机平台的图像实时校正改进方法，包括以下步骤：步骤1，调整手机摄像头的高度和角度，拍摄标准小正方形方格图板的测试图像；步骤2，对步骤1中的测试图像进行角点提取；步骤3，对步骤2中提取出的角点进行筛选，得到图像上最大畸变正方形的四个顶点坐标，并计算出标准正方形的四个顶点坐标；步骤4，根据步骤4中得到的顶点坐标，进行空间变换，计算得出校正系数，根据校正系数对手机实时拍摄的图像进行校正；步骤5，对步骤4校正得到的图像进行ROI区域自适应放大和灰度插值计算，得到校正图像。
Description
技术领域
本发明属于计算机图像处理领域，尤其涉及一种基于手机平台的图像实时校正改进方法。
背景技术
随着移动互联网技术的发展，智能手机已经成为人们工作生活中不可或缺的一部分。它不仅极大地丰富了人们的生活，带来了诸多便利，也导致了一些不可忽视的问题。许多人过度依赖手机，随时随地低头观看智能手机，社会上把这些人称之为“手机低头族”。经常这样做会影响视力、损伤颈椎，有损健康；另一方面这些“低头族”常会忽视身边潜在的安全隐患，引发各类事故，造成人身伤害。基于这类现象，开发一款基于智能手机平台的步行安全防护软件尤为重要。该软件的核心是要在“低头族”一边步行一边使用手机时，智能手机的前摄像头能实时采集步行前方的路面图像，并在后台对该图像的路面特征进行识别，发现危险时发出警报提示。
由于手机摄像头在一定的俯仰角下拍摄到的图像存在畸变。使用者在步行状态下使用手机的时候，手机在横向和纵向都会有一定的倾斜角度，这会导致拍摄的图像(如图1所示)存在比较复杂的梯形失真，从而会影响到后续图像特征识别的准确性，如图2a所示。
发明内容
本发明针对现有的应用需求和技术问题，对现有的图像实时校正方法进行了改进，能够实现控制点的自动提取和ROI(region of interest，感兴趣区域)区域的自适应放大，本发明公开了一种基于手机平台的图像实时校正改进方法，包括如下步骤：
步骤1，调整摄像头的高度和角度，拍摄标准小正方形方格图板的测试图像；
步骤2，对步骤1中的测试图像进行角点提取；
步骤3，对步骤2中提取出的角点进行筛选，得到图像上最大畸变正方形的四个顶点坐标，并算出标准正方形的四个顶点坐标；
步骤4，根据步骤4中得到的四组顶点坐标，进行空间变换，计算得出校正系数，根据校正系数对手机实时拍摄的图像进行校正；
步骤5，对步骤4校正得到的图像进行ROI区域自适应放大和灰度插值计算，得到前方2m的校正图像。
本发明步骤1包括如下步骤：
步骤1-1：准备一张1.5m(米)*3m，且画满标准小正方形方格的图板，用于拍摄标准测试图像；
步骤1-2：手机摄像头的高度和角度调整范围：以手机机身左下角为坐标系原点，以机身长边为Y轴，短边为X轴，手机平放时垂直于屏幕且向上为Z轴方向；俯仰角为手机Y轴绕X轴旋转的角度，即机身与拍摄平面之间的夹角，也就是摄像头光轴与拍摄平面的垂线之间的夹角，所在的范围主要分布在10度到45度。倾斜角为X轴绕Y轴旋转的角度，即右手持手机时X轴绕Y轴旋转的角度主要分布在0到10度，左手持手机时X轴绕Y轴旋转的角度主要分布在-10度到0度；手机摄像头的高度范围为1.1m到1.4m；
步骤1-3：手机摄像头的高度和角度调整规则：将手机固定在三角支架上，调整摄像头至1.1m，以1cm为调整间隔，同时以1度为间隔调整X轴和Y轴的旋转角度，确定手机摄像头所处的高度、手机Y轴绕X轴的旋转角和X轴绕Y轴的旋转角；
步骤1-4：实时采集一帧标准测试图像。
本发明步骤2包括如下步骤：
步骤2-1：图像预处理：对采集到的标准测试图像灰度化后，进行高斯平滑滤波；
步骤2-2：将标准测试图像上每个点的灰度值与其8领域内的点的灰度值进行比较，灰度值之差在20以内的判定为相似点，如果一个中心点周围8个点中有7个或8个点灰度值与之相似，判定该中心点处于平坦区域，不是角点，排除该中心点；如果一个中心点周围只有1个点或者没有点与之相似，判定该中心点不是角点，排除该中心点；
步骤2-3：使用横向Prewitt差分模板计算图像每个像素I(x,y)在X方向的梯度Ix和Y方向的梯度Iy；
步骤2-4：通过如下公式计算梯度方向的乘积：
Ixy＝x·y，
其中，表示X方向的梯度乘积，表示Y方向的梯度乘积，Ixy表示X方向和Y方向的梯度乘积；
步骤2-5：使用高斯窗口对Ixy进行滤波，并构造自相关矩阵M，高斯核函数为ω(x,y)＝exp(-(x2+y2)/σ2)，则自相关矩阵M中的元素M1，M2，M3为：
自相关矩阵M为：
步骤2-6：构造角点响应函数R＝detM-k(traceM)^2，k为常数系数，traceM为矩阵M的主对角线上各个元素的总和，对步骤2-2中筛选出的每一点，计算出其R值，选出其中的最大值R_max，设定阈值为Q*R_max，Q为常数系数，当一个点的R值大于阈值时，判定该点是候选角点，k和Q取值一般为0.1；
步骤2-7：对候选角点进行局部极大值抑制，通过一个3*3的窗口来进行筛选，判定在8邻域内角点响应值R是最大值的点是角点。
本发明步骤3包括如下步骤：
步骤3-1：在步骤2提取出的角点中，有一些点的距离很近，可以认为是相似点，为了提高校正的速度和准确性，再次进行筛选。将距离在10个像素以内的点判断为相似点，对它们取平均值作为角点坐标保存在h数组中；
步骤3-2：从h数组中选出纵坐标最大横坐标最小的那个点，即图像中左下角的角点A，其坐标为(xa,ya)，将与其纵坐标相差30以内的角点全部提取出来，视为在同一水平直线上，最右侧的点为D，其坐标为(xd,yd)，直线AD长为L，其上共N个角点；
步骤3-3：在余下的角点中提取纵坐标最大的点，再次将与其纵坐标相差30以内的点全部提取出来，视为在同一水平直线上。计算其中每个点与A点的斜率为负且最大的那条直线，即为畸变正方形左边的边所在的直线，与A点构成这条直线的那个点记为A’。
步骤3-4：重复步骤3-3，一直在图像上方寻找满足步骤3-3中所述条件的点，直到畸变正方形左边的边所在的直线上的角点数目为N，将最上方的点记为B；
步骤3-5：在与B点纵坐标相差30以内的点中提取横坐标大于B点的N-1个点，横坐标最大的那个点记为C，则直线BC上也具有N个角点，此时ABCD即为畸变正方形的四个顶点，将四个顶点保存在d数组中；
步骤3-6：直线AD同时为标准正方形的底边，标准正方形另外2个顶点分别是B′和C′，B′坐标为(xa,ya-L)，C′坐标为(xd,yd-L)，将B′和C′保存在n数组中，如图5所示。
本发明步骤4包括如下步骤：
步骤4-1：使用MATLAB的maketform函数创建变换结构体TFORM，参数为希望执行变换的类型'projective'和步骤3中得到的2个数组d和n，结构体会输出一个变换系数，即校正系数；
步骤4-2执行变换：将要变换的图像和校正系数传递给MATLAB自带的imtransform函数实现变换，imtransform函数将返回变换后的图像，此函数将在输入图像上插值计算输出图像的像素值；
步骤4-3：指定填充值：填充值默认像素为0，显示为黑色。当执行一个变换时，输出图像上有很多像素不在位于原输入图像的位置，这些像素必须被赋予一些值，这就是填充值。默认情况下，imtransform函数设置这些像素为0，显示为黑色。
本发明步骤5包括如下步骤：
步骤5-1：手机需要识别的是前方2m以内路面的信息。校正完成后，在校正后图像中测量手机拍摄者正前方2m距离内路面占整体图像的长度比例。该比例与拍摄的高度hd(与身高相关)和角度都有关系，而与倾斜角无关，计算它们之间的数学关系很复杂，手机难以实时运行。因此使用索引的办法来处理。建立一张数据表，数据表中每条记录存储手机拍摄高度和俯仰角的角度信息以及对应情况下的有效区域占整体图像的比例t，以高度和俯仰角的大小作为数据表中每条记录的索引。
步骤5-2：以图像最下方中间点为中心，对图像进行放大，放大倍数为1/t，使图像后续处理的是前方2m以内的路面信息；
步骤5-3：放大完成后，超出图像范围的区域被删除，再对图像插值运算，得到拍摄前方2m以内路面的校正图像。
有益效果
(一)本发明提出的对于校正方法的改进解决了人机交互方式选取控制点导致的误差问题。人机交互方式是通过使用鼠标点击进行选取，所选择点的坐标值有较大的随意性，与理想的控制点之间存在误差，进而会导致校正矩阵系数出现误差，最终导致失真图像的校正效果和恢复质量下降。且人工选取每幅图像的控制点坐标的实时性比较差。本发明实现了对于控制点的自动提取。
(二)本发明中提出对校正后图像进行ROI区域自适应放大的方法，实现了对步行前方有效区域的实时校正。由于手机摄像时有俯仰角，所摄图像完成校正后，图像需要进行识别的有效区域(即ROI)会被压缩，影响后续识别的效果。
本发明针对上述的问题，创新地提出了：
(1)将标准测试图像上所有的角点全部提取出来，将距离在10个像素以内的点判断为相似点，对它们取平均值作为角点坐标保存，在保存的角点中首先找到纵坐标最大横坐标最小的那个点，即图像中左下角的角点A(xa,ya)，将与其纵坐标相差30以内的角点全部提取出来，视为在同一水平直线上。最右侧的点为D(xd,yd)。AD长为L，其上共N个角点；在余下的角点中提取纵坐标最大的点，再次将与其纵坐标相差30以内的点全部提取出来，视为在同一水平直线上。计算其中每个点与A点的斜率为负且最大的那条直线，即为畸变正方形左边的边所在的直线，与A点构成这条直线的那个点记为A’；一直向图像上方寻找这样的点，直到这条倾斜直线上的角点数目为N，将最上方的点记为B；在与B点纵坐标相差30以内的点中提取横坐标大于B点的N-1个点，横坐标最大的那个点记为C，这样BC上也具有N个角点，此时ABCD即为畸变正方形的四个顶点，将其保存；同时AD也是标准正方形的底边，其另外2个顶点分别是B′(xa,ya-L)，C′＝(xd,yd-L)。将其保存。
(2)校正完成后，在校正后图像中测量手机拍摄者正前方2m距离内路面占整体图像的长度比例t；以图像最下方中间点为中心，对图像进行放大，放大倍数为1/t，使图像后续处理的是前方2m以内的路面信息；放大完成后，超出图像范围的区域被删除，再对图像插值运算，可以得到拍摄前方2m以内路面的校正图像。从而使得本发明中的校正方法能够实现对步行前方2m有效区域的实时校正功能，提升对于手机低头族的步行安全防护功能。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。
图1为手机拍摄图像发生梯形状畸变示意图。
图2a为手机拍摄前方窨井盖图像。
图2b为窨井盖校正图像。
图2c为窨井盖放大后图像。
图3为画满间距合适的标准小正方形方格图板。
图4为手机拍摄的标准测试图像。
图5为畸变轮廓顶点的坐标与校正后图像轮廓顶点坐标的对应关系示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
本发明公开了一种基于手机平台的图像实时校正改进方法，能够实现控制和ROI区域的自动提取，包括如下步骤：
步骤1，调整摄像头的高度和角度，拍摄标准小正方形方格图板的测试图像；
步骤2，对步骤1中的测试图像进行角点提取；
步骤3，对步骤2中提取出的角点进行筛选，得到图像上最大畸变正方形的四个顶点坐标，并算出标准正方形的四个顶点坐标；
步骤4，根据步骤3中得到的四组顶点坐标，进行空间变换，计算得出校正系数，根据校正系数对手机实时拍摄的图像进行校正；
步骤5，对步骤4校正得到的图像进行ROI区域自适应放大和灰度插值计算，得到前方2m的校正图像
本发明步骤1包括如下步骤：
步骤1-1：准备一张1.5m*3m，且画满标准小正方形方格的图板，用于拍摄标准测试图像，如图3所示；
步骤1-2：手机摄像头的高度和角度调整范围：以手机机身左下角为坐标系原点，以机身长边为Y轴，短边为X轴，手机平放时垂直于屏幕且向上为Z轴方向；俯仰角为手机Y轴绕X轴旋转的角度，即机身与拍摄平面之间的夹角，也就是摄像头光轴与拍摄平面的垂线之间的夹角，所在的范围主要分布在10度到45度。倾斜角为X轴绕Y轴旋转的角度，即右手持手机时X轴绕Y轴旋转的角度主要分布在0到10度，左手持手机时X轴绕Y轴旋转的角度主要分布在-10度到0度；高度范围为1.1m到1.4m；
步骤1-3：手机摄像头的高度和角度调整规则：将手机固定在三角支架上，，调整摄像头至1.1m，以1cm为调整间隔，同时以1度为间隔调整X轴和Y轴的旋转角度，确定手机摄像头所处的高度、手机Y轴绕X轴的旋转角和X轴绕Y轴的旋转角；
步骤1-4：实时采集一帧标准测试图像，如图4所示。
本发明步骤2包括如下步骤：
步骤2-1：图像预处理：对采集到的图像灰度化后，进行高斯平滑滤波，目的是减少噪声提高角点提取的精度。
步骤2-2：将图像上每个点的灰度值与其8领域内的点的灰度值进行比较，灰度值之差在20以内视为相似点。如果一个点周围8个点中有7、8个点灰度值与之相似，那么该中心点应该处于平坦区域，不可能为角点。如果只有1个点或者没有点与之相似，那么该中心点也不可能为角点。通过初次筛选，缩小角点的查询范围，加快计算速度。
步骤2-3：使用横向Prewitt差分模板计算图像I(x,y)在X和Y两个方向的梯度Ix和Iy；
步骤2-4：通过如下公式计算梯度方向的乘积：
Ixy＝x·y
步骤2-5：使用高斯窗口对Ixy进行滤波，并构造自相关矩阵M。高斯核函数为ω(x,y)＝exp(-(x2+y2)/σ2)，那么矩阵M中的元素M1，M2，M3为：
自相关矩阵为：
步骤2-6：构造角点响应函数R＝detM-k(traceM)^2，k为常数系数，定为0.1。对步骤2-2中筛选出的每一点，计算出其R值。选出其中的最大值R_max。设定阈值为Q*R_max，Q为常数系数，定为0.1。当一个点的R值大于阈值时，该点是候选角点
步骤2-7：对候选角点进行局部极大值抑制，通过一个3*3的窗口来进行筛选，只有在8邻域内角点响应值R是最大值的点才会被最终认为是角点。
本发明步骤3包括如下步骤：
步骤3-1：在步骤2提取出的角点中，有一些点的距离很近，可以认为是相似点，为了提高校正的速度和准确性，再次进行筛选。将距离在10个像素以内的点判断为相似点，对它们取平均值作为角点坐标保存在h数组中。
步骤3-2：从h数组中选出纵坐标最大横坐标最小的那个点，即图像中左下角的角点A(xa,ya)，将与其纵坐标相差30以内的角点全部提取出来，视为在同一水平直线上。最右侧的点为D(xd,yd)。AD长为L，其上共N个角点。
步骤3-3：在余下的角点中提取纵坐标最大的点，再次将与其纵坐标相差30以内的点全部提取出来，视为在同一水平直线上。计算其中每个点与A点的斜率为负且最大的那条直线，即为畸变正方形左边的边所在的直线，与A点构成这条直线的那个点记为A’。
步骤3-4：重复步骤3-3，一直向图像上方寻找这样的点，直到这条倾斜直线上的角点数目为N，将最上方的点记为B
步骤3-5：在与B点纵坐标相差30以内的点中提取横坐标大于B点的N-1个点，横坐标最大的那个点记为C，这样BC上也具有N个角点，此时ABCD即为畸变正方形的四个顶点。将其保存在d数组中
步骤3-6：AD也是标准正方形的底边，另外2个顶点分别是B′(xa,ya-L)，C′＝(xd,yd-L)。将其保存在n数组中，如图5所示。
本发明步骤4包括如下步骤：
步骤4-1：使用MATLAB的maketform函数创建变换结构体TFORM，参数为希望执行变换的类型'projective'和步骤3中得到的2个数组d和n，结构体会输出一个变换系数，它就是我们需要的校正系数：
步骤4-2执行变换：通过将要变换的图像和校正系数传递给MATLAB自带的imtransform函数即可实现变换，函数将返回变换后的图像，此函数将在输入图像上插值计算输出图像的像素值。
步骤4-3：指定填充值：当执行一个变换时，输出图像上有很多像素不在位于原输入图像的位置，这些像素必须被赋予一些值，这就是填充值。默认情况下，imtransform函数设置这些像素为0，显示为黑色。
本发明步骤5包括如下步骤：
步骤5-1：手机需要识别的是前方2m以内路面的信息。校正完成后，在校正后图像中测量手机拍摄者正前方2m距离内路面占整体图像的长度比例。该比例与拍摄的高度hd(与身高相关)和角度都有关系，而与倾斜角无关，计算它们之间的数学关系很复杂，手机难以实时运行。因此使用索引的办法来处理。数据表中每条记录存储手机拍摄高度和俯仰角的角度信息以及对应情况下的有效区域占整体图像的比例t，以高度和俯仰角的大小作为每条记录的索引，如表1(表1为正前方2m距离内路面占整体图像的长度比例与高度和俯仰角之间关系的索引表。)所示：
表1
步骤5-2：以图像最下方中间点为中心，对图像进行放大，放大倍数为1/t，使图像后续处理的是前方2m以内的路面信息；
步骤5-3：放大完成后，超出图像范围的区域被删除，再对图像插值运算，可以得到拍摄前方2m以内路面的校正图像，如图2c所示。
智能手机中如何实时校正图像的失真，已有相关技术申请发明——“一种基于手机平台的图像实时校正改进方法”，其专利申请号为：2017101649484。这一基于控制点的图像梯形失真校正方法是通过选取标准测试图像上最大畸变正方形的四个顶点，计算得出四组控制点的坐标，将其带入坐标转换方程求出校正系数。它存在以下2个问题：
1、控制点是通过人机交互的方式使用鼠标点击进行选取，所选择点的坐标值有较大的随意性，与理想的控制点之间存在误差，进而会导致校正矩阵系数出现误差，最终导致失真图像的校正效果和恢复质量下降。且人工选取每幅图像的控制点坐标的实时性比较差。所以需要设计出一种能够自动提取测试图像控制点坐标的方法。
2、由于手机摄像时有俯仰角，所摄图像完成校正后，图像需要进行识别的有效区域(即ROI)会被压缩，影响后续识别的效果，如图2b所示。因此需要对其进行适当的自适应比例放大，效果如图2c所示。
本发明提供了一种基于手机平台的图像实时校正改进方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。
Claims (6)
1.一种基于手机平台的图像实时校正改进方法，其特征在于，包括以下步骤：
步骤1，调整手机摄像头的高度和角度，拍摄标准小正方形方格图板的测试图像；
步骤2，对步骤1中的测试图像进行角点提取；
步骤3，对步骤2中提取出的角点进行筛选，得到图像上最大畸变正方形的四个顶点坐标，并计算出标准正方形的四个顶点坐标；
步骤4，根据步骤4中得到的顶点坐标，进行空间变换，计算得出校正系数，根据校正系数对手机实时拍摄的图像进行校正；
步骤5，对步骤4校正得到的图像进行ROI区域自适应放大和灰度插值计算，得到校正图像。
2.根据权利要求1所述的方法，其特征在于，步骤1包括如下步骤：
步骤1-1：准备一张画满标准小正方形方格的图板，用于拍摄标准测试图像；
步骤1-2：手机摄像头的高度和角度调整范围：以手机机身左下角为坐标系原点，以机身长边为Y轴，短边为X轴，手机平放时垂直于屏幕且向上为Z轴方向；俯仰角为手机Y轴绕X轴旋转的角度，即机身与拍摄平面之间的夹角，也就是摄像头光轴与拍摄平面的垂线之间的夹角，所在的范围分布在10度到45度；倾斜角为X轴绕Y轴旋转的角度，即右手持手机时X轴绕Y轴旋转的角度，分布在0到10度；左手持手机时X轴绕Y轴旋转的角度分布在-10度到0度；手机摄像头的高度范围为1.1m到1.4m；
步骤1-3：手机摄像头的高度和角度调整规则：将手机固定在三角支架上，调整摄像头至1.1m，以1cm为高度调整间隔，同时以1度为角度间隔调整X轴和Y轴的旋转角度，确定手机摄像头所处的高度、手机Y轴绕X轴的旋转角和X轴绕Y轴的旋转角；
步骤1-4：实时采集一帧标准测试图像。
3.根据权利要求2所述的方法，其特征在于，步骤2包括：
步骤2-1：图像预处理：对采集到的标准测试图像灰度化后，进行高斯平滑滤波；
步骤2-2：将标准测试图像上每个点的灰度值与其8领域内的点的灰度值进行比较，灰度值之差在20以内的判定为相似点，如果一个中心点周围8个点中有7个或8个点灰度值与之相似，判定该中心点处于平坦区域，不是角点，排除该中心点；如果一个中心点周围只有1个点或者没有点与之相似，判定该中心点不是角点，排除该中心点；
步骤2-3：使用横向Prewitt差分模板计算图像每个像素I(x，y)在X方向的梯度Ix和Y方向的梯度Iy；
步骤2-4：通过如下公式计算梯度方向的乘积：
Ixy＝Ix·Iy，
其中，表示X方向的梯度乘积，表示Y方向的梯度乘积，Ixy表示X方向和Y方向的梯度乘积；
步骤2-5：使用高斯窗口对Ixy进行滤波，并构造自相关矩阵M，高斯核函数为ω(x，y)＝exp(-(x2+y2)/σ2)，则自相关矩阵M中的元素M1，M2，M3为：
自相关矩阵M为：
步骤2-6：构造角点响应函数R＝detM-k(traceM)^2，k为常数系数，对步骤2-2中筛选出的每一点，计算出其R值，选出其中的最大值R_max，设定阈值为Q*R_max，Q为常数系数，当一个点的R值大于阈值时，判定该点是候选角点；
步骤2-7：对候选角点进行局部极大值抑制，通过一个3*3的窗口来进行筛选，判定在8邻域内角点响应值R是最大值的点是角点。
4.根据权利要求3所述的方法，其特征在于，步骤3包括如下步骤：
步骤3-1：在步骤2提取出的角点中，将距离在10个像素以内的点判断为相似点，对它们取平均值作为角点坐标保存在h数组中；
步骤3-2：从h数组中选出纵坐标最大横坐标最小的那个点，即图像中左下角的角点A，其坐标为(xa，ya)，将与其纵坐标相差30以内的角点全部提取出来，视为在同一水平直线上，最右侧的点为D，其坐标为(xd，yd)，直线AD长为L，其上共N个角点；
步骤3-3：在余下的角点中提取纵坐标最大的点，再次将与其纵坐标相差30以内的点全部提取出来，视为在同一水平直线上，计算其中每个点与A点的斜率为负且最大的那条直线，即为畸变正方形左边的边所在的直线，与A点构成这条直线的那个点记为A’；
步骤3-4：重复步骤3-3，直到畸变正方形左边的边所在的直线上的角点数目为N，将最上方的点记为B；
步骤3-5：在与B点纵坐标相差30以内的点中提取横坐标大于B点的N-1个点，横坐标最大的那个点记为C，则直线BC上也具有N个角点，此时ABCD即为畸变正方形的四个顶点，将四个顶点保存在d数组中；
步骤3-6：直线AD同时为标准正方形的底边，标准正方形另外2个顶点分别是B′和C′，B′坐标为(xa，ya-L)，C′坐标为(xd，yd-L)，将B′和C′保存在n数组中。
5.根据权利要求4所述的方法，其特征在于，步骤4包括如下步骤：
步骤4-1：使用MATLAB的maketform函数创建变换结构体TFORM，参数为希望执行变换的类型′projective′和步骤3中得到的2个数组d和n，结构体会输出一个变换系数，即校正系数；
步骤4-2执行变换：将要变换的图像和校正系数传递给MATLAB自带的imtransform函数实现变换，imtransform函数将返回变换后的图像，此函数将在输入图像上插值计算输出图像的像素值；
步骤4-3：指定填充值：填充值默认像素为0，显示为黑色。
6.根据权利要求5所述的方法，其特征在于，步骤5包括如下步骤：
步骤5-1：校正完成后，在校正后图像中测量手机拍摄者正前方2m距离内路面占整体图像的长度比例，建立一张数据表，在数据表中存储手机拍摄高度和俯仰角的角度信息以及对应情况下的有效区域占整体图像的比例t，以高度和俯仰角的大小作为数据表中每条记录的索引；
步骤5-2：以图像最下方中间点为中心，对图像进行放大，放大倍数为1/t，使图像后续处理的是前方2m以内的路面信息；
步骤5-3：放大完成后，超出图像范围的区域被删除，再对图像插值运算，得到拍摄前方2m以内路面的校正图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811085387.XA CN109360144B (zh) | 2018-09-18 | 2018-09-18 | 一种基于手机平台的图像实时校正改进方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811085387.XA CN109360144B (zh) | 2018-09-18 | 2018-09-18 | 一种基于手机平台的图像实时校正改进方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109360144A true CN109360144A (zh) | 2019-02-19 |
| CN109360144B CN109360144B (zh) | 2020-04-17 |
Family
ID=65351143
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811085387.XA Active CN109360144B (zh) | 2018-09-18 | 2018-09-18 | 一种基于手机平台的图像实时校正改进方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109360144B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110188756A (zh) * | 2019-05-31 | 2019-08-30 | 广东利元亨智能装备股份有限公司 | 产品定位方法 |
| CN111563936A (zh) * | 2020-04-08 | 2020-08-21 | 蘑菇车联信息科技有限公司 | 一种相机外部参数自动标定方法及行车记录仪 |
| CN112435172A (zh) * | 2019-08-26 | 2021-03-02 | 北京三好互动教育科技有限公司 | 一种图像矫正的方法、装置、存储介质及电子设备 |
| CN113359429A (zh) * | 2021-06-01 | 2021-09-07 | 中国航空工业集团公司沈阳飞机设计研究所 | 一种在线识别间隙环节特征参数的方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050108714A1 (en) * | 2003-11-18 | 2005-05-19 | Geye Scott A. | Dynamic resource management system and method for multiprocessor systems |
| CN106909916A (zh) * | 2017-03-20 | 2017-06-30 | 南京大学 | 一种基于手机平台快速检测与识别人行道斑马线的方法 |
| CN106952231A (zh) * | 2017-03-20 | 2017-07-14 | 南京大学 | 一种基于手机平台的图像实时校正方法 |
-
2018
- 2018-09-18 CN CN201811085387.XA patent/CN109360144B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050108714A1 (en) * | 2003-11-18 | 2005-05-19 | Geye Scott A. | Dynamic resource management system and method for multiprocessor systems |
| CN106909916A (zh) * | 2017-03-20 | 2017-06-30 | 南京大学 | 一种基于手机平台快速检测与识别人行道斑马线的方法 |
| CN106952231A (zh) * | 2017-03-20 | 2017-07-14 | 南京大学 | 一种基于手机平台的图像实时校正方法 |
Non-Patent Citations (1)
| Title |
|---|
| 薛峰等: "基于SURF特征贡献度矩阵的图像ROI选取与检索方法", 《计算机辅助设计与图形学学报》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110188756A (zh) * | 2019-05-31 | 2019-08-30 | 广东利元亨智能装备股份有限公司 | 产品定位方法 |
| CN112435172A (zh) * | 2019-08-26 | 2021-03-02 | 北京三好互动教育科技有限公司 | 一种图像矫正的方法、装置、存储介质及电子设备 |
| CN111563936A (zh) * | 2020-04-08 | 2020-08-21 | 蘑菇车联信息科技有限公司 | 一种相机外部参数自动标定方法及行车记录仪 |
| CN113359429A (zh) * | 2021-06-01 | 2021-09-07 | 中国航空工业集团公司沈阳飞机设计研究所 | 一种在线识别间隙环节特征参数的方法及装置 |
| CN113359429B (zh) * | 2021-06-01 | 2023-12-19 | 中国航空工业集团公司沈阳飞机设计研究所 | 一种在线识别间隙环节特征参数的方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109360144B (zh) | 2020-04-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109360144A (zh) | 一种基于手机平台的图像实时校正改进方法 | |
| CN104981105B (zh) | 一种快速精确获得元件中心和偏转角度的检测及纠偏方法 | |
| CN103514450B (zh) | 一种图像特征提取方法和图像校正方法以及设备 | |
| CN109816012A (zh) | 一种融合上下文信息的多尺度目标检测方法 | |
| CN106920235B (zh) | 基于矢量底图匹配的星载光学遥感影像自动校正方法 | |
| CN105956582A (zh) | 一种基于三维数据的人脸识别系统 | |
| CN105844276A (zh) | 人脸姿态校正方法和装置 | |
| CN112254656B (zh) | 一种基于结构表面点特征的立体视觉三维位移测量方法 | |
| CN103383773A (zh) | 一种动态提取图像控制点的遥感卫星图像自动正射纠正的框架和方法 | |
| CN106485252B (zh) | 图像配准试验点阵靶标图像特征点识别方法 | |
| CN109829948A (zh) | 摄像机标定板、标定方法以及摄像机 | |
| CN102073990A (zh) | 一种遥感图像自动几何纠正的系统框架和方法 | |
| CN108074237B (zh) | 图像清晰度检测方法、装置、存储介质及电子设备 | |
| CN109727226A (zh) | 一种基于机器学习的位置表自动生成方法 | |
| CN111738229B (zh) | 一种指针表盘刻度的自动读取方法 | |
| CN109285192A (zh) | 全息系统的双目摄像标定方法 | |
| CN112907580B (zh) | 一种应用于弱纹理场景下的综合点线特征的图像特征提取和匹配算法 | |
| CN113012234A (zh) | 基于平面变换的高精度相机标定方法 | |
| CN114119437B (zh) | 一种基于gms的用于改善运动物体畸变的图像拼接方法 | |
| CN113610060A (zh) | 一种结构体裂缝亚像素检测方法 | |
| CN115687850A (zh) | 一种农田的灌溉需水量计算方法及装置 | |
| CN103413319A (zh) | 一种工业摄像机参数现场标定方法 | |
| CN104180794A (zh) | 数字正射影像拉花区域的处理方法 | |
| CN110060199A (zh) | 一种基于彩色和深度信息的植株图像快速拼接方法 | |
| CN106952231B (zh) | 一种基于手机平台的图像实时校正方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |