CN116524039A - 图像处理方法、装置、车辆及存储介质 - Google Patents
图像处理方法、装置、车辆及存储介质 Download PDFInfo
- Publication number
- CN116524039A CN116524039A CN202310326130.3A CN202310326130A CN116524039A CN 116524039 A CN116524039 A CN 116524039A CN 202310326130 A CN202310326130 A CN 202310326130A CN 116524039 A CN116524039 A CN 116524039A
- Authority
- CN
- China
- Prior art keywords
- image
- checkerboard
- value
- interval
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 120
- 238000004590 computer program Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 abstract description 31
- 230000000694 effects Effects 0.000 description 20
- 238000001514 detection method Methods 0.000 description 19
- 230000003044 adaptive effect Effects 0.000 description 12
- 230000011218 segmentation Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 4
- 239000003973 paint Substances 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000005764 inhibitory process Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请提供了一种图像处理方法、装置、车辆及存储介质。实施该方法,电子设备在对包含棋盘格的图像进行二值化处理时,可以结合图像中不同区域图像的特性使用不同的算法对图像的不同区域进行处理。这样,电子设备可以更精确地检测出图像中的棋盘格的具体位置,进而准确地对相机进行标定。
Description
技术领域
本申请涉及图像数据处理技术领域,尤其涉及图像处理方法、装置、车辆及存储介质。
背景技术
摄像机标定是机器视觉的最为基础和重要的技术之一,而棋盘格经常用来作为相机标定的标定物。棋盘格检测精度依赖于图片二值形态学处理的效果。但是,实际的检测场景中可能会存在多种干扰,例如地面喷漆非哑光时,黑色棋盘格会存在高亮区域;或者当墙面与黑色棋盘格相连时,棋盘格与墙面阴影也会连接在一起。
目前传统二值形态学处理方法在对包含棋盘格的图像进行二值化处理时,难以识别高亮区域并进行抑制,也无法分离墙面阴影与棋盘格区域,因此很可能导致对棋盘格的检测结果不精确。因此,需要研究更为精确的图像处理方法。
发明内容
本申请的目的在于提供一种图像处理方法、装置、车辆及存储介质。实施该方法,电子设备在对包含棋盘格的图像进行二值化处理时,可以结合图像中不同区域图像的特性使用不同的算法对图像的不同区域进行处理。这样,电子设备可以更精确地检测出图像中的棋盘格的具体位置,进而更准确的对相机进行标定。
上述目标和其他目标将通过独立权利要求中的特征来达成。进一步的实现方式在从属权利要求、说明书和附图中体现。
第一方面,本申请提供了一种图像处理方法,所述方法包括:对初始图像进行拆分,得到上区域图像和下区域图像,所述上区域图像包括棋盘格的上边界,所述下区域图像包含棋盘格的下边界;采用大津法对所述上区域图像进行处理,得到第一图像;采用自适应局部均值阈值法对所述下区域图像进行处理,得到第二图像;将所述第一图像以及所述第二图像融合,得到目标图像。
可以理解的,在进行相机标定时,相机的取景区域中的物体可能非常繁杂,而棋盘格经常用来作为相机标定的标定物,则对图像中的棋盘格进行精确的检测通常会更加困难。例如,当地面喷漆非哑光时,黑色棋盘格会存在高亮区域;或者当墙面与黑色棋盘格相连时,棋盘格与墙面阴影也会连接在一起,目前传统二值形态学处理方法在对包含棋盘格的图像进行二值化处理时,难以识别高亮区域并进行抑制,也无法分离墙面阴影与棋盘格区域,因此很可能导致对棋盘格的检测结果不精确。
可以理解的,由于墙面和地面的相对位置关系,在进行相机标定时,墙面以及墙面阴影一般会显示于图像的上半部分,而地面一般会显示于图像的下半部分。因此,在本方法中,电子设备可以根据棋盘格在所述初始图像中的具体位置将所述初始图像分为上下两部分,其中,上部分即为所述上区域图像,而下部分即所述下区域图像。需要理解的是,这里所说的“上”和“下”均以图像中的物体正立显示为前提而言的。
而对于两种二值化算法,即自适应局部均值算法和大津法算法的特性而言,自适应局部均值算法能够有效抑制图像中的反光区域,但是无法分割上半部分的黑色棋盘格以及墙面阴影,因此其对下半部分棋盘格处理效果较好,而OTSU算法可以有效分离物体阴影和感兴趣区域,但是其对反光区域的处理效果较差(有大量白色污染),故其对上半棋盘格处理较好。
因此,在本方法中,电子设备可以采用大津法对所述上区域图像进行二值化处理,得到所述第一图像,并采用自适应局部均值阈值法对所述下区域图像进行二值化处理,得到所述第二图像。这样,可以让所得到的所述第一图像和所述第二图像中棋盘格以及棋盘格中各个黑白格的边界更为完整清晰,以便于更精确地检测出图像中的棋盘格的具体位置,进而更好的对相机进行标定。
结合第一方面,在一种可能的实施方式中,所述基于所述第一图像以及所述第二图像,得到目标图像,包括:将所述第一图像和所述第二图像进行融合,得到第三图像;当所述第三图像中棋盘格被遮挡时,基于所述第三图像中棋盘格的第一内角点以及第二内角点确定所述第三图像中被遮挡部分的棋盘格的边界的斜率;根据所述第三图像中被遮挡部分的棋盘格的边界的斜率确定第一直线和第二直线,所述第一直线以及所述第二直线用于将所述第三图像划分为所述目标图像以及第四图像,所述第四图像包含所述第三图像中棋盘格被遮挡的区域。
需理解,在实际的相机标定场景中,物体可能会非常的繁杂,这也意味着在所述第一图像和所述第二图像中的棋盘格可能会被其他物体遮挡(例如,在对车载设备的摄像头进行标定的时,所拍图像中的棋盘格就很可能被车辆的车胎遮挡),这种遮挡无疑会降低对棋盘格的检测精度。
因此,在本实施方式中,当所述第三图像中棋盘格被遮挡时,可以基于中棋盘格被遮挡部分所包含的边界,在棋盘格未被遮挡的部分选择两个内角点,即所述第一内角点和所述第二内角点来确定所述边界的斜率,并基于该斜率确定两根直线来将所述第三图像划分为两个图像,即所述目标图像和所述第四图像。
具体的,所述第三图像中的棋盘格是否被遮挡可以由检测人员进行判断,并将判断结果输入负责进行执行本方法的电子设备;或者,电子设备可以基于相应的视觉算法检测棋盘格是否被遮挡。此外,所述两个内角点(即所述第一内角点和所述第二内角点)可以是距离被遮挡部分最近且处于未被遮挡部分中的两个内角点。其中,所述第四图像即包含原先所述第三图像中棋盘格被遮挡的部分,所述目标图像中的棋盘格即为边界清晰棋盘格。这样可以进一步提升棋盘格的检测精度,且在后续的标定过程中,所述第四图像实际上将被舍弃,只利用所述目标图像进行标定即可。
结合第一方面,在一种可能的实施方式中,所述采用大津法对初始图像的第一区域进行处理,得到第一图像包括:使用第一步长遍历第一区间,得到次优阈值,所述第一区间为[min,max],所述min≥0,所述max≤255;基于所述次优阈值确定第二区间,所述第二区间包含所述次优阈值,所述第二区间包含于所述第一区间;使用第二步长遍历所述第二区间,得到最优阈值,所述第二步长小于所述第一步长;基于所述最优阈值对所述第一区域中的图像进行二值化处理,得到所述第一图像。
具体的,所述第一区间可以是[0,255],所述第二区间可以是所述第一区间的子区间,且所述第二区间包含所述次优阈值。
在传统的大津法算法中,通常以步长为1遍历整个灰度区间[0,255]来准确寻找最优阈值,也就是说需要进行256次系统的运算过程才能得到所述最优阈值,因此也需要耗费大量的算力和时间。这无疑增加了设备的功耗,算法的效率也较低。
在本实施方式中,通过将步长优化为所述第一步长,其中d为奇数,先依照步长d遍历寻找次优阈值temp,再以所述第二步长在以所述次优阈值为中心的领域中寻找最优阈值,可以极大的减少设备的计算次数,降低设备的功耗,并提升算法的效率。
结合第一方面,在一种可能的实施方式中,所述第一区间为[min,max],所述min大于0,所述max小于255,所述第一步长的值为距离(max-min)的算数平方根最近的奇整数,所述第二步长的值为1。
需理解,一般而言,所述最优阈值一般不会落在[0,20]或者[230,255]这样比较极端的区间中,那么在遍历时也就无需针对这些区间中的灰度值进行计算了。因此,在本实施方式中,通过将遍历区间缩减为所述第一区间[min,max],可以进一步的减少设备的计算次数,降低设备的功耗,并提升算法的效率。此外,在本实施方式中,将所述第一步长的值设定为距离(max-min)的算数平方根最近的奇整数,将所述第二步长的值设定为1,可以防止步长过长导致次优阈值不具备参考性,也确保能在次优阈值的领域中准确的确定所述最优阈值。
结合第一方面,在一种可能的实施方式中,所述次优阈值为temp,所述第一步长的值为d,所述第二区间为[temp-(d-1)/2,temp+(d-1)/2]。
最优阈值一般会存在与以次优阈值为中心,半径为1/2所述第一步长的邻域中。因为如果最优阈值不在这个邻域中的话,那么次优阈值则一般就不会是temp。例如,如果第一次遍历所得的所述次优阈值为temp,但是实际上的最优阈值不在[temp-(d-1)/2,temp+(d-1)/2]这个区间中,而是temp+(d-1)/2+1的话,那么第一次遍历确定的次优阈值就不应该是temp,而应该是(temp+d)了。因此,在本实施方式中,在进行第二次遍历时,将所述第二区间设定为[temp-(d-1)/2,temp+(d-1)/2],能确保基于所述次优阈值得到准确的最优阈值。
结合第一方面,在一种可能的实施方式中,所述第一区间为[min,max],所述基于所述第一步长以及所述第一区间,得到次优阈值,包括:在所述第一步长的值无法整除(max-min)的情况下,调整所述第一区间的上界得到第三区间[min,max+m],所述m小于所述第一步长的值,所述(max+m-min)为所述第一步长的值的整数倍;使用所述第一步长遍历所述第三区间,得到所述次优阈值。
在本实施方式中,为防止在阈值区间尾部有过多阈值被步长跨越,优化所述第一区间上界为max+m,其中m(m<=255-max,且m<d)为使得d整除(max+m-min)的最小正整数。
结合第一方面,在一种可能的实施方式中,所述第二区域中的像素点包括第一像素点集合和第二像素点集合,所述第一像素点集合中任一像素点的灰度值大于或等于第一阈值,所述第二像素点集合中任一像素点的灰度值小于所述第一阈值;所述采用自适应局部均值阈值法对所述初始图像的第二区域进行处理,得到第二图像之前,所述方法还包括;将所述第一像素点集合中所有像素点的灰度值减小所述第一阈值,并将所述第二像素点集合中所有像素点的灰度值减小为0。
需理解,虽然自适应局部均值对下半部分棋盘格处理效果较好,但是其处理所得的图像中仍有小部分白色噪声。为了避免这部分白色噪声对棋盘格检测结果精确度的影响,在本实施方式中,在采用自适应局部均值阈值法对所述初始图像的第二区域进行处理之前,可以先整体降低所述第二区域对应图像的整体灰度值,即将灰度化图像对应区域中的像素值统一降低δ,其中δ为[0,255]内的整数,由此对高亮区域进行抑制程度,以防止反光区域的图像被二值化处理之后产生大量的白色噪点。
可以理解的,所述δ越大,抑制程度越深。可理解的,如果图像当前像素值小于δ,则此处像素值设为0。可选的,在对图像的灰度值进行抑制时(即前述统一降低图像灰度值的过程),可以先判定反光的强弱程度;如遇反光时强时弱,应在处理之前利用局部像素均值进行强弱反光的判定,仅针对强反光(即反光程度大于某个阈值,该阈值可以根据具体的标定场景进行设定)干扰做相应处理。最后,采用自适应局部均值阈值法进行图像二值分割,得到理想效果。
第二方面,本申请提供了一种图像处理装置,所述装置包括:拆分单元,用于对初始图像进行拆分,得到上区域图像和下区域图像,所述上区域图像包括棋盘格的上边界,所述下区域图像包含棋盘格的下边界;第一处理单元,用于采用大津法对所述上区域图像进行处理,得到第一图像;第二处理单元,用于采用自适应局部均值阈值法对所述下区域图像进行处理,得到第二图像;融合单元,用于将所述第一图像以及所述第二图像融合,得到目标图像。
结合第二方面,在一种可能的实施方式中,所述装置还包括分割单元,所述融合单元具体用于:将所述第一图像和所述第二图像进行融合,得到第三图像;所述分割单元,用于当所述第三图像中棋盘格被遮挡时,基于所述第三图像中棋盘格的第一内角点以及第二内角点确定所述第三图像中被遮挡部分的棋盘格的边界的斜率;根据所述第三图像中被遮挡部分的棋盘格的边界的斜率确定第一直线和第二直线,所述第一直线以及所述第二直线用于将所述第三图像划分为所述目标图像以及第四图像,所述第四图像包含所述第三图像中棋盘格被遮挡的区域。
结合第二方面,在一种可能的实施方式中,所述第一处理单元具体用于:使用第一步长遍历第一区间,得到次优阈值,所述第一区间为[min,max],所述min≥0,所述max≤255;基于所述次优阈值确定第二区间,所述第二区间包含所述次优阈值,所述第二区间包含于所述第一区间;使用第二步长遍历所述第二区间,得到最优阈值,所述第二步长小于所述第一步长;基于所述最优阈值对所述第一区域中的图像进行二值化处理,得到所述第一图像。
结合第二方面,在一种可能的实施方式中,所述第一区间为[min,max],所述min大于0,所述max小于255,所述第一步长的值为距离(max-min)的算数平方根最近的奇整数,所述第二步长的值为1。
结合第二方面,在一种可能的实施方式中,所述次优阈值为temp,所述第一步长的值为d,所述第二区间为[temp-(d-1)/2,temp+(d-1)/2]。
结合第二方面,在一种可能的实施方式中,所述第一区间为[min,max],所述第一处理单元具体用于:在所述第一步长的值无法整除(max-min)的情况下,调整所述第一区间的上界得到第三区间[min,max+m],所述m小于所述第一步长的值,所述(max+m-min)为所述第一步长的值的整数倍;使用所述第一步长遍历所述第三区间,得到所述次优阈值。
结合第二方面,在一种可能的实施方式中,所述第二区域中的像素点包括第一像素点集合和第二像素点集合,所述第一像素点集合中任一像素点的灰度值大于或等于第一阈值,所述第二像素点集合中任一像素点的灰度值小于所述第一阈值;所述第二处理单元还用于:将所述第一像素点集合中所有像素点的灰度值减小所述第一阈值,并将所述第二像素点集合中所有像素点的灰度值减小为0。
第三方面,本申请提供了一种车辆,所述车辆包括:至少一个处理器和存储器;所述存储器与所述处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,所述处理器调用所述计算机指令以使得所述电子设备执行第一方面或第一方面的任一可能的实现方式中的方法。
第四方面,本申请提供了提供一种芯片系统,所述芯片系统应用于电子设备,所述芯片系统包括一个或多个处理器,所述处理器用于调用计算机指令以使得所述电子设备执行如第一方面或如第一方面中任一可能的实现方式中的方法。
第五方面,本申请提供了提供一种计算机可读存储介质,包括指令,当所述指令在电子设备上运行时,使得上述电子设备执行如第一方面或第一方面的任一可能的实现方式中的方法。
附图说明
图1为本申请实施例提供的一种使用不同算法对图像二值化处理效果的示意图;
图2为本申请实施例提供的一种图像处理方法的流程图;
图3为本申请实施例提供的一种对图像进行二值化处理的过程示意图;
图4为本申请实施例提供的一种优化大津法算法的流程图;
图5为本申请实施例提供的一种对棋盘格进行划分的方法的流程图;
图6为本申请实施例提供的一种对图像进行划分的过程示意图;
图7为本申请实施例提供的一种图像处理装置的结构示意图;
图8为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
本申请以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式,除非其上下文中明确地有相反指示。还应当理解,本申请中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。
由于本申请实施例涉及图像处理方法以及棋盘格标定原理,为了便于理解,下面先对本申请实施例涉及的相关术语进行介绍。
(1)相机标定和棋盘格
由于每个镜头的在生产和组装过程中的畸变程度各不相同,通过相机标定可以校正这种镜头畸变,生成矫正后的图像——矫正透镜畸变;此外,相机标定还可以用于建立相机成像几何模型,并基于该几何模型由拍摄的图像重构出三维场景。具体来说:当我们用摄像机拍照时,从照片里得到一些空间信息(比如距离,尺寸等),是要利用二维图像得到三维信息。我们拍照的时候把空间物体信息通过摄像机变成了二维图像,这个过程本来是不可逆的。但如果我们可以找到一个摄像机的数学模型,就可以:从二维图像+模型逆推得到原来三维信息。标定就是在找这个模型。
相机拍摄的物体都处于三维世界坐标系中,而相机拍摄成像时把三维相机坐标系向二维图像坐标系转换。不同镜头成像时的转换矩阵不同可能引入失真,标定的作用是近似地估算出转换矩阵和失真系数。为了估算,需要知道若干点的三维世界坐标系中的坐标和二维图像坐标系中的坐标。传统的照相机标定方法是通过世界坐标集(Xi,Yi,Zi),以及它们在图像平面上的投影坐标集(ui,vi),计算相机投影矩阵M中的11个未知参数,需要严格给出三个两两互相垂直的平面来做标定(条件较为严格,一般情况难以实现)。而棋盘标定只需要两个平面,只需要黑白格子相交的角点来标记会比原始标定容易许多。棋盘标定的意义克服了传统标定法需要的高精度标定物的缺点,而仅需使用一个打印出来的棋盘格就可以。
(2)大津法
OTSU算法(又名大津法)是由日本学者OTSU于1979年提出的一种对图像进行二值化的高效算法,利用阈值将原图像分成前景,背景两个图像。从大津法的原理上来讲,该方法又称作最大类间方差法,因为按照大津法求得的阈值进行图像二值化分割后,前景与背景图像的类间方差最大。它被认为是图像分割中阈值选取的最佳算法,计算简单,不受图像亮度和对比度的影响,因此在数字图像处理上得到了广泛的应用。它是按图像的灰度特性,将图像分成背景和前景两部分。因方差是灰度分布均匀性的一种度量,背景和前景之间的类间方差越大,说明构成图像的两部分的差别越大,当部分前景错分为背景或部分背景错分为前景都会导致两部分差别变小。因此,使类间方差最大的分割意味着错分概率最小。
OTSU算法的假设是存在阈值TH将图像所有像素分为两类C1(小于TH)和C2(大于TH),则这两类像素各自的均值就为m1、m2,图像全局均值为mG。同时像素被分为C1和C2类的概率分别为p1、p2。因此就有:
p1m1+p2m2=mG;(1)
p1+p2=1;(2)
根据方差的概念,类间方差表达式为:
σ2=1(m1-mG)2+2(m2-G)2;(3)
把上式化简,将式(1)代入式(3),可得:
σ2=p1p2(1-m2)2;(4)
求能使得上式最大化的灰度级k即为OTSU的最优阈值。
其中:
为了求能使得式(4)最大化的灰度级k,传统的大津法会依次遍历0~255个灰度级,即可求出使式(4)最大的k。
(3)自适应局部均值阈值法
对于色彩均衡的图像来说,直接使用一个阈值就能完成对图像的阈值化处理。但是,有时候图像的色彩是不均衡的,此时如果只用一个阈值,就无法得到清晰有效的阈值分割的图像,所以,这种情况下需要采用自适应局部均值阈值法处理。
简单的说,自适应局部均值阈值法是通过计算每个像素点轴为临近区域的加权平均值获得阈值,并使用该阈值对当前像素点进行处理,其优点是能够更好的处理明暗差异较大的图像。
摄像机标定是机器视觉的最为基础和重要的技术之一,而棋盘格经常用来作为相机标定的标定物。棋盘格检测精度依赖于图片二值形态学处理的效果。目前传统二值形态学算法多数基于理想环境下的检测,而无法应对实际情况中出现的多种干扰,具体请参考图1。
图1为本申请实施例提供的不同算法对图像二值化处理效果的示意图。
图1中的(A)即为相机对存在棋盘格的相机标定场景进行拍摄所得的初始图像。如图1中的(A)所示,在初始图像中,棋盘格11所在的图像区域与墙面12所在的图像区域连接在一起。由于物体的固有色不仅受到光源色的影响而起变化,而且还受周围色彩环境的影响随时引起变化,因此在初始图像中,墙面12所在区域中与棋盘格中黑色格子连接的区域的色彩会比墙面其他区域的色彩要灰暗一些(即该区域像素的灰度值会更小一些),通俗来说也就是墙面会受到棋盘格11中黑色格子的影响而存在阴影,即图1中的(A)所示的阴影121。此外,如果棋盘格11在生产时所使用的喷漆为非哑光性质的话,在对棋盘格11进行拍摄时,由于棋盘格对光的反射作用,初始图像中的棋盘格的成像区域很可能存在部分反光区域,例如图1中的(A)所示的反光区域111(反光区域111中原本应该呈现为黑色,但由于拍摄时棋盘格的反光效果导致该区域呈现为灰色甚至白色)。
图1中的(B)为采用自适应局部均值阈值法对上述初始图像进行二值化处理所得的图像(以下称为图像P1)。结合前述说明可知,自适应局部均值阈值法能够更好的处理明暗差异较大的图像,因此其适用于存在反光区域的图像。如图1中的(B)所示,当采用自适应局部均值阈值法对上述初始图像进行二值化处理后,棋盘格11的下半区域的处理效果较好,棋盘格的边界清晰且各个角点的位置明确;但是由于初始图像中墙面12上存在阴影121,棋盘格11的上边界(黑色格子部分)会与墙面阴影所形成的黑色部分122连接在一起。因此在基于初始图像所得的图像P1中,棋盘格11的上边界则不够清晰。
图1中的(C)为采用大津法对上述初始图像进行二值化处理所得的图像(以下称为图像P2)。结合前述说明可知,OTSU算法对光照度不均匀的图像容易错误的二值化分割,因此其对图像中的反光区域的处理效果不够理想,但是其对于图像中环境色影响的阴影区域的处理效果良好。因此,如图1中的(C)所示,当采用大津法对上述初始图像进行二值化处理后,棋盘格11的上半区域的处理效果较好,棋盘格的边界清晰且各个角点的位置明确;但是由于初始图像中的下半区域存在反光区域,因此在基于初始图像所得的图像P1中,棋盘格11的下半区域中存在大量的白色污染,即图1中的(C)所示的白色噪点群112。
由上述说明可知,采用原传统二值化算法在处理以上问题时,可能难以识别高亮区域并进行抑制,又或者无法分离墙面阴影与棋盘格区域,漏检棋盘格信息,因此很可能导致对棋盘格的检测结果不精确。
针对原传统二值化算法存在的缺陷,本申请实施例提供了一种图像处理方法,该方法针对所拍图像的特性,针对性的采用不同的算法对图像的不同区域进行处理,这样,电子设备可以更精确地检测出图像中的棋盘格的具体位置,进而更好的对相机进行标定。具体请参阅图2。
图2为本申请实施例提供的一种图像处理方法的流程图。如图2所示,该方法包括但不限于以下步骤:
201、电子设备将初始图像进行拆分,得到上区域图像和下区域图像。
具体的,上述电子设备可以是其可以是手机(mobile phone)、平板电脑(pad)、带数据收发功能的电脑(如笔记本电脑、掌上电脑等)、移动互联网设备(mobile internetdevice,MID)、工业控制(industrial control)中的终端、5G网络中的终端设备或者未来演进的公用陆地移动通信网络(public land mobile network,PLMN)中的终端设备等。可选的,当上述电子设备为车辆中车载设备时,该车辆可以是普通车辆,也可以是特种车辆(包括但不限于是警车、牵引车等等)或者救援车辆(包括但不限于是救护车、消防车、救险车等等)。可理解,对于终端装置的具体形态,本申请不作限定。但凡可以与路侧装置、或者车辆、或者车辆管理平台等通信的装置,均落入终端装置的保护范围。可理解,对于上述电子设备的具体形态,本申请不作限定。
上述初始图像为上述电子设备所拍摄的图像,所述初始图像包含棋盘格。具体的,所述初始图像可以是上述电子设备为了对电子设备的相机进行标定所拍摄的包含棋盘格的图像。所述初始图像的格式可以是JPEG、TIFF、RAW、BMP、GIF、PNG中的任意一种,同样也可以是其他的格式,本申请对此不作限定。
电子设备根据上述初始图像中棋盘格的具体显示位置将该初始图像划分为上下两个图像,上述上区域图像即对应于上述初始图像的上半区域中的图像;上述下区域图像即对应于上述初始图像的下半区域中的图像。具体可以参考图3,在图3中,图像301即可以是上述初始图像,图像302即可以是上述上区域图像,图像303即可以是上述下区域图像。
需要说明的是,上述初始图像、上述上区域图像以及上述下区域图像并非二值化图像,且上述上区域图像以及上述下区域图像所包含的部分棋盘格图像可以拼接融合成上述初始图像中完整的棋盘格图像。
202、电子设备采用大津法对上述上区域图像进行处理,得到第一图像。
结合前述对图1的相关说明以及图3中的图像301可知,由于墙面和地面的相对位置关系,在采用包含棋盘格的图像对电子设备进行相机标定时,墙面以及墙面阴影一般会显示于上述初始图像的上半部分,而地面一般会显示于上述初始图像的下半部分。因而上述初始图像的上半部分,即上区域图像中很可能受棋盘格黑色格子的环境色影响而存在部分阴影区域,而大津法对于图像中环境色影响的阴影区域的处理效果良好,可以有效分离物体阴影和感兴趣区域,但是其对反光区域的处理效果较差(有大量白色污染),故其对初始图像的上半区域,即上述上区域图像的二值化效果较好。
因此,在本方法中,上述电子设备可以采用大津法对上述上区域图像进行二值化处理,得到上述第一图像,该第一图像即为二值化图像;相应的,该第一图像包含有上述初始图像中部分棋盘格的二值化图像。具体可以参考图3中的图像304和图像302,对比图像302以及图像304可以看出,采用大津法对上述第一区域中的图像(即图像302)进行二值化的处理后,所得的二值化图像(即图像304)中的棋盘格的边界清晰且各个角点的位置明确,对棋盘格的检测效果较好。
203、电子设备采用自适应局部均值法对上述下区域图像进行处理,得到第二图像。
结合前述相关说明可知,而地面一般会显示于上述初始图像的下半部分。因而上述初始图像的下半部分,及上述下区域图像中很可能会因为地面的喷漆非哑光而存在部分反光区域,而自适应局部均值阈值法能够更好的处理明暗差异较大的图像,因此其适用于存在反光区域的图像,故其对初始图像的下半区域,即上述下区域图像中的图像的二值化效果较好。
因此,在本方法中,上述电子设备可以采用自适应局部均值阈值法对上述下区域图像进行二值化处理,得到上述第二图像;该第二图像即为二值化图像;相应的,该第二图像包含有上述初始图像中部分棋盘格的二值化图像;此外,上述第一图像中棋盘格的二值化图像加上上述第二图像中棋盘格的二值化图像即可以对应于上述初始图像中完整棋盘格的二值化图像。具体可以参考图3中的图像303和图像305,对比图像303以及图像305可以看出,采用自适应局部均值阈值法对上述下区域图像(即图像302)进行二值化处理后,所得的二值化图像(即图像304)中的棋盘格的边界清晰且各个角点的位置明确,对棋盘格的检测效果较好。
此外,从图像305可以看出,虽然自适应局部均值阈值法对上述初始图像的处理效果较好,但是在其处理所得的上述第二图像中,棋盘格中部分黑色格子中依旧存在是少量白色噪点。
为了避免这些白色噪点的产生,在一个可选的实施方式中,在采用自适应局部均值法对上述初始图像的第二区域进行检测之前,上述电子设备可以将上述第二区域对应的图像中的第一像素点集合中所有像素点的灰度值减小所述第一阈值,并将第二像素点集合中所有像素点的灰度值减小为0;其中,上述第一像素点集合为上述第二区域中灰度值大于或等于第一阈值的像素点,上述第二像素点集合上述第二区域中灰度值小于上述第一阈值的像素点。即通过整体降低上述第二区域对应图像的整体灰度值,即将灰度化图像对应区域中的像素值统一降低δ(δ即为上述第一阈值,δ为[0,255]内的整数),由此对高亮区域进行抑制程度,以防止反光区域的图像被二值化处理之后产生大量的白色噪点。可以理解的,所述δ越大,抑制程度越深。可理解的,如果图像当前像素值小于δ,则此处像素值设为0。可选的,在对图像的灰度值进行抑制时(即前述统一降低图像灰度值的过程),可以先判定反光的强弱程度;如遇反光时强时弱,应在处理之前利用局部像素均值进行强弱反光的判定,仅针对强反光(即反光程度大于某个阈值,该阈值可以根据具体的标定场景进行设定)干扰做相应处理。最后,采用自适应局部均值阈值法进行图像二值分割,得到理想效果。
204、电子设备将上述第一图像以及上述第二图像融合,得到目标图像。
在得到上述第一图像以及上述第二图像之后,电子设备即可以讲上述第一图像以及上述第二图像进行融合,即组合拼接,得到上述目标图像。具体可以参考图3中的图像306。从图像306可以看出,上述中的棋盘格的上、下边界清晰且各个角点的位置明确,不存在大面积的白色噪点。也就是说,本方法可以识别高亮区域并进行抑制,并分离墙面阴影与棋盘格区域,可以提升对棋盘格的检测结果的精确性。
需理解,在传统的大津法算法中,通常以步长为1遍历整个灰度区间[0,255]来准确寻找最优阈值,也就是说需要进行256次系统的运算过程才能得到所述最优阈值,因此也需要耗费大量的算力和时间。这无疑增加了设备的功耗,算法的效率也较低。因此,基于本申请提供的图像处理方法以及传统的大津法算法,本申请实施例还提供了一种优化大津法,该大津法通过改进传统大津法的遍历步长和遍历区间,可以更快速地确定最优阈值,减小电子设备的功耗。具体的,本申请提供的优化大津法可以用于实现前述图像处理方法中的步骤202。
如图4所示,本申请提供的优化大津法的具体可以包括但不限于以下步骤:
401、电子设备使用第一步长遍历第一区间,得到次优阈值。
具体的,上述电子设备可以是其可以是手机(mobile phone)、平板电脑(pad)、带数据收发功能的电脑(如笔记本电脑、掌上电脑等)、移动互联网设备(mobile internetdevice,MID)、工业控制(industrial control)中的终端、5G网络中的终端设备或者未来演进的公用陆地移动通信网络(public land mobile network,PLMN)中的终端设备等。具体的,该电子设备可以是图2中的电子设备。可理解,对于上述电子设备的具体形态,本申请不作限定。
在本方法中,电子设备可以依照上述第一步长(上述第一步长的值大于1)遍历上述第一区间确定上述次优阈值temp,以便于在后续过程中在以所述次优阈值为中心的领域中寻找最优阈值,以此减少设备的计算次数,降低设备的功耗,并提升算法的效率
这里假设上述第一区间为[min,max],则可以理解的,一般而言,最优阈值一般不会落在[0,20]或者[230,255]这样比较极端的区间中,那么在遍历时也就无需针对这些区间中的灰度值进行计算了。因此,可选的,所述min可以大于0,所述max可以小于255;通过将遍历区间缩减为所述第一区间[min,max],可以进一步的减少设备的计算次数,降低设备的功耗,并提升算法的效率。具体的,上述min以及上述max的具体数值可以按照经验进行确定,也可以根据相机标定的具体场景的亮度来进行确定,本申请对此不作限定。
上述第一步长的值为大于1的奇数。具体的,第一步长的值为距离(max-min)的算数平方根最近的奇整数;例如,假设上述max和上述min的值分别为225和25,即(max-min)的值即为200,而200的算数平方根约为14.14,则上述第一步长的值可以为15。将所述第一步长的值设定为距离(max-min)的算数平方根最近的奇整数,可以防止步长过长导致次优阈值不具备参考性。
402、电子设备基于上述次优阈值确定第二区间。
这里假设上述次优阈值为temp,上述第一步长的值为d,则电子设备可以基于该次优阈值temp将上述第二区域设定为[temp-(d-1)/2,temp+(d-1)/2]。
需理解,最优阈值一般会存在与以次优阈值为中心,半径为1/2所述第一步长的邻域中。因为如果最优阈值不在这个邻域中的话,那么次优阈值则一般就不会是temp。例如,如果第一次遍历所得的所述次优阈值为temp,但是实际上的最优阈值不在[temp-(d-1)/2,temp+(d-1)/2]这个区间中,而是temp+(d-1)/2+1的话,那么第一次遍历确定的次优阈值就不应该是temp,而应该是(temp+d)了。因此,在本实施方式中,在进行第二次遍历时,将所述第二区间设定为[temp-(d-1)/2,temp+(d-1)/2],能确保基于所述次优阈值得到准确的最优阈值。
403、电子设备使用第二步长遍历所述第二区间,得到最优阈值。
上述第二步长的值小于上述第一步长的值。具体的,上述第二步长的值可以为1,这样可以防止步长过长导致最优阈值被跨越,确保能在次优阈值的领域中准确地确定所述最优阈值。
404、电子设备基于上述最优阈值对待处理图像进行处理,得到二值化图像。
具体的,上述待处理图像可以是前述说明中的上第一区域对应的图像。
电子设备可以基于上述最优阈值,将上述待处理图像中各像素点的灰度值调整为0或者255。其中,灰度值大于上述最优阈值的像素点的灰度值调整为255,灰度值小于或者等于上述最优阈值的像素点的灰度值调整为0。
需理解,在实际的相机标定场景中,物体可能会非常的繁杂,这也意味着在所述第一图像、所述第二图像以及上述目标图像中的棋盘格中可能会被其他物体遮挡(例如,在对车载设备的摄像头进行标定的时,所拍图像中的棋盘格就很可能被车辆的车胎遮挡),这种遮挡无疑会降低对棋盘格的检测精度。
因此,基于上述缺陷,本申请还提供了一种对棋盘格进行划分的方法。该方法通过棋盘格的内角点、以及棋盘格被遮挡部分对应边界的斜率,确定与棋盘格被遮挡部分对应边界斜率相同的两条直接来将棋盘格被遮挡部分切除,来得到边界清晰的棋盘格。如图5所示,该方法可以包括但不限于以下步骤:
501、当二值化图像中棋盘格被遮挡时,电子设备基于该二值化图像中棋盘格的第一内角点以及第二内角点确定该二值化图像中被遮挡部分的棋盘格的边界的斜率。
具体的,上述电子设备可以是其可以是手机(mobile phone)、平板电脑(pad)、带数据收发功能的电脑(如笔记本电脑、掌上电脑等)、移动互联网设备(mobile internetdevice,MID)、工业控制(industrial control)中的终端、5G网络中的终端设备或者未来演进的公用陆地移动通信网络(public land mobile network,PLMN)中的终端设备等。具体的,该电子设备可以是图2或者图4中的电子设备。可理解,对于上述电子设备的具体形态,本申请不作限定。
上述二值化图像可以是前述对图2相关说明中提及的第一图像或第二图像,也可以是将上述第一图像以及上述第二图像组合拼接后,用于得到上述目标图像的第三图像。在本方法中,电子设备可以接收用户指令,该用户指令用于指示用户上述二值化图像中的棋盘格是否被遮挡。具体的,所述第三图像中的棋盘格是否被遮挡可以由检测人员进行判断,并将判断结果输入负责进行执行本方法的电子设备;或者,电子设备可以基于相应的视觉算法检测棋盘格是否被遮挡。
此外,上述第一内角点以及上述第二内角点所在的直线与二值化图像中平行(即被遮挡部分的棋盘格的边界与上述第一内角点以及上述第二内角点所在的直线斜率相同)。具体的,两个内角点(即上述第一内角点和上述第二内角点)可以是距离被遮挡部分最近且处于未被遮挡部分中的两个内角点。需要说明的是,当棋盘格的遮挡部分涉及棋盘格的多条边界时,上述第一内角点以及上述第二内角点的数量也可以相应的存在多个。
502、电子设备根据上述二值化图像中被遮挡部分的棋盘格的边界的斜率确定第一直线和第二直线。
所述第一直线以及所述第二直线用于将所述二值化图像划分为待使用图像以及干扰图像,所述干扰图像包含所述二值化图像中棋盘格被遮挡的区域,其在后续的相机标定过程中可以备舍弃,而所述待使用图像将继续用于后续的相机标定过程。
图6展示了采用图5所示的方法对前述第三图像进行划分的具体过程。
如图6所示,在图6中,图像601即为将前述图2中的第一图像以及第二图像进行拼接所得的第三图像,也对应于前述图5中的二值化图像。从图像601可以看出,图像601中的棋盘格由于汽车轮胎的遮挡导致的下边界(即直线L1所在的位置)与干扰区域6011连接在一起而变的不清晰。
因此,电子设备可以确定两个内角点6012以及6013(内角点6012以及6013即为前述说明中的第一内角点和第二内角点),并基于这两个内角点确定直线L2(直线L2与直L1平行,即直线L2的斜率与直线L1的斜率相同,并通过直线L2得到两条与直线L2平行(即斜率与直线L2和L1相同)的直线,即图6中的直线L3以及直线L4(直线L3以及直线L4即为前述说明中的第一直线和第二直线)。
这里假设已知内角点6012以及内角点6013在图像中的坐标分别为(a,b)与(c,d),则具体的,电子设备可以先计算得到直线L2斜率k=(b-d)/(a-c),可以理解的,斜率k同时也是直线L1的斜率。之后,电子设备可以再通过选取原棋盘格中点附近任一点,例如图6中的内角点6014,其坐标为(e,f),并基于直线L2的斜率求解两条平行直线解析式y=k(x-e)+f,y=k(x-e)+f+g,其中y=k(x-e)+f即为上述直线L3的解析式,y=k(x-e)+f+g上述直线L4的解析式,|g|为分割时所采用的线宽。最后,电子设备可以将两条平行直线L3和L4包围区域中像素值设为0即可。从图6可以看出,直线L3和L4所形成的白色区域将图像601分成了图像602以及图像603,其中图像602即为目标图像,而图像603即为干扰图像(在本申请的一些实施例中,其可以被称为第四图像)
需理解,根据棋盘格角点检测的原理,检测结果的准确性仅依赖于内角点的检测精度,可以理解的,直线L3上方虚线框中的图像602中,棋盘格的边界完整清晰,内角点位置也足够清楚,因此可以用于后续的相机标定过程,而直线L4下方虚线框中的图像603应包含原始图像(即图像601)中的干扰区域6011而被舍弃,不再用于后续的相机标定过程。
下面介绍本申请实施例提供的一种图像处理装置的结构示意图,请参阅图7。如图7所示,图7中的存储装置可以执行图2中图像处理方法的流程、图4中优化大津法算法的流程以及图5中图像分割方法的流程,该装置包括:
拆分单元701,用于对初始图像进行拆分,得到上区域图像和下区域图像,所述上区域图像包括棋盘格的上边界,所述下区域图像包含棋盘格的下边界;第一处理单元702,用于采用大津法对所述上区域图像进行处理,得到第一图像;第二处理单元703,用于采用自适应局部均值阈值法对所述下区域图像进行处理,得到第二图像;融合单元704,用于将所述第一图像以及所述第二图像融合,得到目标图像。
在一种可能的实施方式中,所述装置还包括分割单元705,所述融合单元704具体用于:将所述第一图像和所述第二图像进行融合,得到第三图像;所述分割单元705,用于当所述第三图像中棋盘格被遮挡时,基于所述第三图像中棋盘格的第一内角点以及第二内角点确定所述第三图像中被遮挡部分的棋盘格的边界的斜率;根据所述第三图像中被遮挡部分的棋盘格的边界的斜率确定第一直线和第二直线,所述第一直线以及所述第二直线用于将所述第三图像划分为所述目标图像以及第四图像,所述第四图像包含所述第三图像中棋盘格被遮挡的区域。
在一种可能的实施方式中,所述第一处理单元702具体用于:使用第一步长遍历第一区间,得到次优阈值,所述第一区间为[min,max],所述min≥0,所述max≤255;基于所述次优阈值确定第二区间,所述第二区间包含所述次优阈值,所述第二区间包含所述第一区间;使用第二步长遍历所述第二区间,得到最优阈值,所述第二步长小于所述第一步长;基于所述最优阈值对所述第一区域中的图像进行二值化处理,得到所述第一图像。
在一种可能的实施方式中,所述第一区间为[min,max],所述min大于0,所述max小于255,所述第一步长的值为距离(max-min)的算数平方根最近的奇整数,所述第二步长的值为1。
在一种可能的实施方式中,所述次优阈值为temp,所述第一步长的值为d,所述第二区间为[temp-(d-1)/2,temp+(d-1)/2]。
在一种可能的实施方式中,所述第一区间为[min,max],所述第一处理单元701具体用于:在所述第一步长的值无法整除(max-min)的情况下,调整所述第一区间的上界得到第三区间[min,max+m],所述m小于所述第一步长的值,所述(max+m-min)为所述第一步长的值的整数倍;使用所述第一步长遍历所述第三区间,得到所述次优阈值。
在一种可能的实施方式中,所述第二区域中的像素点包括第一像素点集合和第二像素点集合,所述第一像素点集合中任一像素点的灰度值大于或等于第一阈值,所述第二像素点集合中任一像素点的灰度值小于所述第一阈值;所述第二处理单元703还用于:将所述第一像素点集合中所有像素点的灰度值减小所述第一阈值,并将所述第二像素点集合中所有像素点的灰度值减小为0。
应理解,以上图像处理装置的各个单元的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。例如,以上各个单元可以为单独设立的处理元件,也可以集成同一个芯片中实现,此外,也可以以程序代码的形式存储于控制器的存储单元中,由处理器的某一个处理元件调用并执行以上各个单元的功能。此外各个单元可以集成在一起,也可以独立实现。这里的处理元件可以是一种集成电路芯片,具有信号的处理能力。在实现过程中,所述方法的各步骤或以上各个单元可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。所述处理元件可以是通用处理器,例如CPU,还可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(application-specific integrated circuit,ASIC),或,一个或多个微处理器(digital signal processor,DSP),或,一个或者多个现场可编程门阵列(field-programmable gate array,FPGA)等。
图8为本申请实施例提供的一种电子设备的结构示意图。如图8所示,电子设备80包括处理器801、存储器802和通信接口803;上述处理器801、存储器802和通信接口803通过总线804相互连接。具体的,电子设备80可以是前述说明中的电子设备。
存储器802包括但不限于是随机存储记忆体(random access memory,RAM)、只读存储器(read-only memory,ROM)、可擦除可编程只读存储器(erasable programablereadonly memory,EPROM)、或便携式只读存储器(compact disc read-only memory,CDROM),上述存储器802用于相关指令及数据。通信接口803用于接收和发送数据。具体的,通信接口803可用于接收用户输入的指令,例如指示图像中的棋盘格是否存在遮挡的指令。
处理器801可以是一个或多个中央处理器(central processing unit,CPU),在处理器801是一个CPU的情况下,上述CPU可以是单核CPU也可以是多核CPU。具体的,处理器801可实现图7中的拆分单元701、第一处理单元702、第二处理单元703、融合单元704以及分割单元705的功能。
在本申请的实施例中提供另一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现:对初始图像进行拆分,得到上区域图像和下区域图像,所述上区域图像包括棋盘格的上边界,所述下区域图像包含棋盘格的下边界;采用大津法对初始所述上区域图像的第一区域进行处理,得到第一图像,所述第一区域包含棋盘格的上边界;采用自适应局部均值阈值法对所述下区域图像初始图像的第二区域进行处理,得到第二图像,所述第二区域包含所述棋盘格的下边界;将基于所述第一图像以及所述第二图像融合,得到目标图像,所述目标图像包含所述棋盘格的二值化图像
上述实施例中所用,根据上下文,术语“当…时”可以被解释为意思是“如果…”或“在…后”或“响应于确定…”或“响应于检测到…”。类似地,根据上下文,短语“在确定…时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定…”或“响应于确定…”或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘)等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。
Claims (10)
1.一种图像处理方法,其特征在于,包括:
对初始图像进行拆分,得到上区域图像和下区域图像,所述上区域图像包括棋盘格的上边界,所述下区域图像包含棋盘格的下边界;
采用大津法对所述上区域图像进行处理,得到第一图像;
采用自适应局部均值阈值法对所述下区域图像进行处理,得到第二图像;
将所述第一图像以及所述第二图像融合,得到目标图像。
2.根据权利要求1所述的方法,其特征在于,所述将所述第一图像以及所述第二图像融合,得到目标图像,包括:
将所述第一图像和所述第二图像进行融合,得到第三图像;
当所述第三图像中棋盘格被遮挡时,基于所述第三图像中棋盘格的第一内角点以及第二内角点确定所述第三图像中被遮挡部分的棋盘格的边界的斜率;
根据所述第三图像中被遮挡部分的棋盘格的边界的斜率确定第一直线和第二直线,所述第一直线以及所述第二直线用于将所述第三图像划分为所述目标图像以及第四图像,所述第四图像包含所述第三图像中棋盘格被遮挡的区域。
3.根据权利要求1或2所述的方法,其特征在于,所述采用大津法对初始图像的第一区域进行处理,得到第一图像包括:
使用第一步长遍历第一区间,得到次优阈值,所述第一区间为[min,max],所述min≥0,所述max≤255;
基于所述次优阈值确定第二区间,所述第二区间包含所述次优阈值,所述第二区间包含于所述第一区间;
使用第二步长遍历所述第二区间,得到最优阈值,所述第二步长小于所述第一步长;
基于所述最优阈值对所述第一区域中的图像进行二值化处理,得到所述第一图像。
4.根据权利要求3所述的方法,其特征在于,所述第一区间为[min,max],所述min大于0,所述max小于255,所述第一步长的值为距离(max-min)的算数平方根最近的奇整数,所述第二步长的值为1。
5.根据权利要求3所述的方法,其特征在于,所述次优阈值为temp,所述第一步长的值为d,所述第二区间为[temp-(d-1)/2,temp+(d-1)/2]。
6.根据权利要求3所述的方法,其特征在于,所述第一区间为[min,max],所述基于所述第一步长以及所述第一区间,得到次优阈值,包括:
在所述第一步长的值无法整除(max-min)的情况下,调整所述第一区间的上界得到第三区间[min,max+m],所述m小于所述第一步长的值,所述(max+m-min)为所述第一步长的值的整数倍;
使用所述第一步长遍历所述第三区间,得到所述次优阈值。
7.根据权利要求1或2所述的方法,其特征在于,所述第二区域中的像素点包括第一像素点集合和第二像素点集合,所述第一像素点集合中任一像素点的灰度值大于或等于第一阈值,所述第二像素点集合中任一像素点的灰度值小于所述第一阈值;所述采用自适应局部均值阈值法对所述初始图像的第二区域进行处理,得到第二图像之前,所述方法还包括;
将所述第一像素点集合中所有像素点的灰度值减小所述第一阈值,并将所述第二像素点集合中所有像素点的灰度值减小为0。
8.一种图像处理装置,其特征在于,包括:
拆分单元,用于对初始图像进行拆分,得到上区域图像和下区域图像,所述上区域图像包括棋盘格的上边界,所述下区域图像包含棋盘格的下边界;
第一处理单元,用于采用大津法对所述上区域图像进行处理,得到第一图像;
第二处理单元,用于采用自适应局部均值阈值法对所述下区域图像进行处理,得到第二图像;
融合单元,用于将所述第一图像以及所述第二图像融合,得到目标图像。
9.一种车辆,其特征在于,所述车辆包括:至少一个处理器、存储器和显示屏;
所述存储器与所述处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,所述处理器调用所述计算机指令以使得所述电子设备执行如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质,包括指令,其特征在于,当所述指令在电子设备上运行时,使得所述电子设备执行如权利要求1-7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310326130.3A CN116524039A (zh) | 2023-03-29 | 2023-03-29 | 图像处理方法、装置、车辆及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310326130.3A CN116524039A (zh) | 2023-03-29 | 2023-03-29 | 图像处理方法、装置、车辆及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116524039A true CN116524039A (zh) | 2023-08-01 |
Family
ID=87403744
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310326130.3A Pending CN116524039A (zh) | 2023-03-29 | 2023-03-29 | 图像处理方法、装置、车辆及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116524039A (zh) |
-
2023
- 2023-03-29 CN CN202310326130.3A patent/CN116524039A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Bronte et al. | Fog detection system based on computer vision techniques | |
CN111582054B (zh) | 点云数据处理方法及装置、障碍物检测方法及装置 | |
KR101204556B1 (ko) | 노이즈 제거 방법 및 이를 이용한 나이트 비젼 시스템 | |
KR20150116833A (ko) | 에지-보존 잡음 억제 기능을 갖는 이미지 프로세서 | |
CN111047615B (zh) | 基于图像的直线检测方法、装置以及电子设备 | |
CN111080662A (zh) | 车道线的提取方法、装置及计算机设备 | |
US20100208071A1 (en) | Vehicle detection device, vehicle detection method, and vehicle detection program | |
CN112597846B (zh) | 车道线检测方法、装置、计算机设备和存储介质 | |
CN107230212B (zh) | 一种基于视觉的手机尺寸的测量方法及系统 | |
US10970592B2 (en) | Adhering substance detection apparatus and adhering substance detection method | |
WO2024016715A1 (zh) | 检测系统的成像一致性的方法、装置和计算机存储介质 | |
CN116524039A (zh) | 图像处理方法、装置、车辆及存储介质 | |
CN116310889A (zh) | 无人机环境感知数据的处理方法、控制终端以及存储介质 | |
CN110765875A (zh) | 交通目标的边界检测方法、设备及装置 | |
CN115797440A (zh) | 电芯定位方法、控制器和计算机可读存储介质 | |
CN113936316B (zh) | Doe脱落检测方法、电子设备和计算机可读存储介质 | |
KR102629639B1 (ko) | 차량용 듀얼 카메라 장착 위치 결정 장치 및 방법 | |
CN111161211B (zh) | 一种图像检测方法及装置 | |
CN115830049A (zh) | 角点检测的方法和装置 | |
CN114596220A (zh) | 校正图像横向色差的方法、电子设备及计算机存储介质 | |
JP6492603B2 (ja) | 画像処理装置、システム、画像処理方法、およびプログラム | |
JP2021052234A (ja) | 付着物検出装置および付着物検出方法 | |
JP2021051348A (ja) | 物体距離推定装置及び物体距離推定方法 | |
US20240029240A1 (en) | Method and device for detecting imaging consistency of system, and computer storage medium | |
US20240185402A1 (en) | Image processing device, image processing method, and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |