CN117173641A - 基于机器视觉的自主洗车监测方法 - Google Patents
基于机器视觉的自主洗车监测方法 Download PDFInfo
- Publication number
- CN117173641A CN117173641A CN202311450325.5A CN202311450325A CN117173641A CN 117173641 A CN117173641 A CN 117173641A CN 202311450325 A CN202311450325 A CN 202311450325A CN 117173641 A CN117173641 A CN 117173641A
- Authority
- CN
- China
- Prior art keywords
- edge
- image
- bit image
- bit
- reconstructed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 91
- 238000005406 washing Methods 0.000 title claims abstract description 27
- 238000012544 monitoring process Methods 0.000 title claims abstract description 24
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 102
- 238000012545 processing Methods 0.000 claims abstract description 4
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 239000011324 bead Substances 0.000 claims description 4
- 238000003708 edge detection Methods 0.000 claims description 4
- 239000010410 layer Substances 0.000 description 55
- 238000005516 engineering process Methods 0.000 description 7
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000002356 single layer Substances 0.000 description 2
- 229910001006 Constantan Inorganic materials 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及图像处理技术领域,具体涉及基于机器视觉的自主洗车监测方法,包括:根据汽车表面图像获取若干比特图像;对若干比特图像进行两两重构并将两两重构后的比特图像记为重构比特图像;根据重构比特图像获取重构比特图像中的所有闭合区域;根据闭合区域获取闭合区域的第一特征参数以及比特图像对重构比特图像中闭合区域的边缘贡献度;根据闭合区域的第一特征参数以及比特图像对重构比特图像中闭合区域的边缘贡献度,获取最佳重构比特图像;根据最佳重构比特图像获取汽车图像中的污渍区域。本发明将汽车表面图像的水珠区域去除,避免了在监测污渍时水珠区域产生的干扰,达到准确识别汽车表面的残留污渍的目的。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及基于机器视觉的自主洗车监测方法。
背景技术
随着社会的发展,科技的进步,汽车已经成为现代社会中不可或缺的一部分,然而,对于许多车主来说,洗车是一个耗时且繁琐的任务。此外,人工洗车往往存在无法全面、深入清洁车辆的问题。因此,开发一种能够自动完成洗车过程并确保洗车质量的系统显得尤为重要。近年来,机器视觉技术的发展为实现这一目标提供了新的可能。
在使用自动洗车设备对汽车进行清洗时,可能会存在由于自动洗车设备自身问题亦或污渍自身较顽固等,在洗车结束后仍可能存在一些残留污渍和水珠。而传统的机器视觉对刚洗好的车进行监测时,由于汽车表面存在的水珠会对残留污渍的识别产生干扰,使得传统的机器视觉监测技术无法准确地将汽车表面的残留污渍识别出来。
发明内容
本发明提供基于机器视觉的自主洗车监测方法,以解决现有的问题。
本发明的基于机器视觉的自主洗车监测方法采用如下技术方案:
本发明一个实施例提供了基于机器视觉的自主洗车监测方法,该方法包括以下步骤:
采集汽车表面图像,对汽车表面图像进行预处理获取汽车图像;对汽车图像进行比特分层获取若干比特图像;
对若干比特图像进行两两重构并将两两重构后的比特图像记为重构比特图像;根据重构比特图像获取重构比特图像中的边缘端点以及次边缘端点;根据重构比特图像中的边缘端点以及次边缘端点,获取同一条边缘线上的两个边缘端点之间的连接程度;根据同一条边缘线上的两个边缘端点之间的连接程度,获取重构比特图像中的所有闭合区域;
根据闭合区域中的像素点获取闭合区域的第一特征参数;根据闭合区域边缘上的像素点,获取比特图像对重构比特图像中闭合区域的边缘贡献度;
根据闭合区域的第一特征参数以及比特图像对重构比特图像中闭合区域的边缘贡献度,获取重构比特图像中的水珠特征程度;根据重构比特图像中的水珠特征程度获取最佳重构比特图像;
根据最佳重构比特图像获取最佳重构比特图像中闭合区域的光滑程度;根据最佳重构比特图像中闭合区域的光滑程度,获取汽车图像中水珠区域;根据汽车图像中水珠区域,获取汽车图像中的污渍区域。
优选的,所述采集汽车表面图像,对汽车表面图像进行预处理获取汽车图像;对汽车图像进行比特分层获取若干比特图像,包括的具体方法为:
通过工业相机采集汽车表面图像,对汽车表面图像进行灰度化与去噪处理,再对灰度化与去噪处理处理后的汽车表面图像进行语义分割,得到预处理后的汽车表面图像记为汽车图像;再对汽车图像进行比特分层处理,得到若干比特图像。
优选的,所述对若干比特图像进行两两重构并将两两重构后的比特图像记为重构比特图像;根据重构比特图像获取重构比特图像中的边缘端点以及次边缘端点,包括的具体方法为:
将比特图像进行两两重构,得到重构比特图像,再利用canny算子对每种重构比特图像进行边缘检测,获取重构比特图像的边缘像素点,获取在同一条边缘线上任意一个边缘像素点到边缘线中另一个边缘像素点的路径长度;将最长的路径长度的路径两端的边缘像素点记为边缘端点,将最长的路径上与边缘端点相邻的像素点记为次边缘端点。
优选的,所述获取同一条边缘线上的两个边缘端点之间的连接程度,包括的具体方法为:
沿次边缘端点到边缘端点方向做一条射线记为边缘端点的切线,获取重构比特图像中另一个边缘端点的切线,通过两个边缘端点的切线之间的夹角与两个边缘端点之间的距离,获取同一条边缘线上的两个边缘端点之间的连接程度,其具体的计算公式为:
式中,表示同一条边缘线上的边缘端点/>与边缘端点/>之间的连接程度;/>表示同一条边缘线上的边缘端点/>的切线与边缘端点/>的切线之间的切线方向夹角;/>表示同一条边缘线上的边缘端点/>与边缘端点/>之间的距离;/>表示线性归一化函数。
优选的,所述根据同一条边缘线上的两个边缘端点之间的连接程度,获取重构比特图像中的所有闭合区域,包括的具体方法为:
预设一个归属阈值;在重构比特图像中,若边缘端点之间的连接程度大于/>时,则连接两个边缘端点;若边缘端点之间的连接程度小于等于/>时,则不连接两个边缘端点,然后将连接后的边缘线所围成的区域记为闭合区域,获取重构比特图像中的所有闭合区域。
优选的,所述根据闭合区域中的像素点获取闭合区域的第一特征参数,包括的具体方法为:
对于第层比特图像与第/>层比特图像的重构比特图像中的第/>个闭合区域;将第/>层比特图像与第/>层比特图像的重构比特图像中的第/>个闭合区域记为/>;首先以/>内的灰度均值为阈值,将/>内的像素点分为:灰度值大于等于/>内的灰度均值的像素点和灰度值小于/>内的灰度均值的像素点两类像素点;再根据第/>层比特图像以及第/>层比特图像中与/>相同位置的像素点,得到第一特征参数,其具体的计算公式为:
式中,表示/>的第一特征参数;/>表示在第/>层比特图像中与/>相同位置的区域内灰度值为0的像素点数量;/>表示在第/>层比特图像中与/>相同位置的区域内灰度值为1的像素点数量;/>表示在第/>层比特图像中与/>相同位置的区域内灰度值为0的像素点数量;/>表示在第/>层比特图像中与/>相同位置的区域内灰度值为1的像素点数量;/>表示内灰度值小于/>内的灰度均值的像素点数量;/>表示/>内灰度值大于等于/>内的灰度均值的像素点数量。
优选的,所述根据闭合区域边缘上的像素点,获取比特图像对重构比特图像中闭合区域的边缘贡献度,包括的具体方法为:
对于第层比特图像与第/>层比特图像的重构比特图像中的第/>个闭合区域;首先获取/>的所有边缘像素点记为/>的目标像素点,并记录/>的目标像素点的坐标,将第/>层比特图像中与目标像素点的坐标相同的像素点标记出来,并记为第/>层第/>个闭合区域的标记像素点;然后将第/>层第/>个闭合区域的标记像素点中灰度值相同且相邻的像素点归为同一边缘段,最后根据第/>层第/>个闭合区域的边缘段数量以及第/>层第/>个闭合区域的标记像素点数量,获取第/>层比特图像对/>的边缘贡献度,其具体的计算公式为:
式中,表示第/>层比特图像对/>的边缘贡献度;/>表示在第/>层第/>个闭合区域的标记像素点中灰度值为1的像素点数量;/>表示在第/>层第/>个闭合区域中灰度值为1的边缘段数量;/>表示在第/>层第/>个闭合区域的标记像素点中灰度值为0的像素点数量;表示在第/>层第/>个闭合区域中灰度值为0的边缘段数量。
优选的,所述根据闭合区域的第一特征参数以及比特图像对重构比特图像中闭合区域的边缘贡献度,获取重构比特图像中的水珠特征程度;根据重构比特图像中的水珠特征程度获取最佳重构比特图像,包括的具体方法为:
根据闭合区域的第一特征参数以及比特图像对重构比特图像中闭合区域的边缘贡献度,获取重构比特图像中的水珠特征程度,其具体的计算公式为:
式中,表示第/>层比特图像与第/>层比特图像的重构比特图像中的水珠特征程度;/>表示/>的第一特征参数;/>表示第/>层比特图像对/>的边缘贡献度;/>表示第层比特图像对/>的边缘贡献度;/>表示第/>层比特图像与第/>层比特图像的重构比特图像中闭合区域的数量;/>表示以自然常数为底数的指数函数;
得到所有重构比特图像中的水珠特征程度,选取水珠特征程度最大的重构比特图像作为最佳重构比特图像。
优选的,所述根据最佳重构比特图像获取最佳重构比特图像中闭合区域的光滑程度;根据最佳重构比特图像中闭合区域的光滑程度,获取汽车图像中水珠区域,包括的具体方法为:
获取最佳重构比特图像中所有闭合区域边缘上的像素点的切线;再预设一个像素点选取范围;对于最佳重构比特图像中第/>个闭合区域边缘上的第/>个像素点;根据最佳重构比特图像中第/>个闭合区域边缘上的第/>个像素点,将最佳重构比特图像中第/>个闭合区域边缘上距离第/>个像素点最近的/>个像素点以及第/>个像素点组成的连通域,记为最佳重构比特图像中第/>个闭合区域中的第/>个边缘段;
获取最佳重构比特图像中第个闭合区域中所有边缘段,将边缘段中第一个像素点的切线与第二个像素点的切线之间的夹角作为边缘段的第一个夹角;将边缘段中第二个像素点的切线与第三个像素点的切线之间的夹角作为边缘段的第二个夹角;以此类推直至将边缘段中倒数第二个像素点的切线与最后一个像素点的切线之间的夹角作为边缘段的最后一个夹角;
根据边缘段的夹角,获取最佳重构比特图像中第个闭合区域的光滑程度,其具体的计算公式为:
式中,表示最佳重构比特图像中第/>个闭合区域的光滑程度;/>表示最佳重构比特图像中第/>个闭合区域中的第/>个边缘段的第/>个夹角;/>表示最佳重构比特图像中第/>个闭合区域中的边缘段数量;/>表示线性归一化函数;/>表示180°;
预设一个判断阈值;当最佳重构比特图像中闭合区域的光滑程度小于/>时,最佳重构比特图像中闭合区域不是水珠区域;当最佳重构比特图像中闭合区域的光滑程度大于等于/>时,最佳重构比特图像中闭合区域是水珠区域;将汽车图像中与水珠区域同位置的区域记为汽车图像中水珠区域。
优选的,所述根据汽车图像中水珠区域,获取汽车图像中的污渍区域,包括的具体方法为:
计算汽车图像中除水珠区域之外的所有像素点的灰度值均值作为汽车灰度值,再将汽车中组成水珠区域的每个像素点的灰度值替换成汽车灰度值,得到新的汽车图像,再对新的汽车图像进行大津发阈值分割,得到汽车图像中的污渍区域。
本发明的技术方案的有益效果是:由于汽车表面存在的水珠会对残留污渍的识别产生干扰,使得传统的机器视觉监测技术无法准确地将汽车表面的残留污渍识别出来;而本发明通过比特分层思想,先将汽车表面图像的水珠识别出来,然后将汽车表面图像的水珠区域去除,最后对去除水珠后的汽车表面进行残留污渍的监测,避免了在识别汽车表面上残留的污渍时水珠产生的干扰,达到准确识别汽车表面的残留污渍的目的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明基于机器视觉的自主洗车监测方法的步骤流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的基于机器视觉的自主洗车监测方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的基于机器视觉的自主洗车监测方法的具体方案。
请参阅图1,其示出了本发明一个实施例提供的基于机器视觉的自主洗车监测方法的步骤流程图,该方法包括以下步骤:
步骤S001:采集汽车表面图像,对汽车表面图像进行预处理获取汽车图像;对汽车图像进行比特分层获取若干比特图像。
需要说明的是,在利用自动洗车仪器对汽车表面进行清理时,由于污渍黏着的程度不同,一些顽固污渍未清理干净,同时汽车表面存在许多水珠,而现有的阈值分割技术在对汽车表面图像进行识别时,容易受到残留水珠的影响,无法精准识别出图像中污渍区域,降低了污渍识别的准确性。故本实施例针对上述场景设计了一种区别污渍与水珠的识别方法。
具体的,为了实现本实施例提出的区别污渍与水珠的识别方法,首先需要获取汽车表面图像,具体过程为:安装工业相机采集汽车表面图像,对采集的汽车表面图像进行预处理,即对汽车表面图像进行灰度化与去噪处理。由于采集的图像中可能存在背景区域,故灰度化与去噪处理处理后的汽车表面图像进行语义分割,由于语义分割作为一种公知的技术,故在本实施例中不再赘述,去除背景累图像的影响,得到预处理后的汽车表面图像记为汽车图像。
至此,通过上述方法得到汽车图像。
需要说明的是,由于在洗完车后,汽车表面仍会存在许多残留的水珠,而残留的水珠会对汽车图像中的污渍区域的识别产生干扰,所以需要将汽车表面上的水珠与污渍区分开来。由于水珠在三维空间中表面较为光滑,即在汽车图像中表现为水珠的边缘为光滑的类圆形;同时由于光照的影响在汽车图像中水珠内亮部区域和暗部区域的面积比例几乎相等,其中水珠内亮部区域和暗部区域分别指的是,水珠内灰度值高的像素点组成的区域与灰度值低的像素点组成的区域;由于汽车表面上的水珠存在上述诸多特征,相比于汽车表面上的污渍更易于识别,所以率先识别出汽车表面上的水珠。
需要进一步说明的是,比特分层的优势在于,根据组合层级的不同,对于图像细节表现也不同,并且由于单层图像更能体现水珠这种边缘相对规则、并且内部灰度值分布的特征,因此基于别特分层识别水珠更加精准。
具体的,为了实现本实施例提出的区别污渍与水珠的识别方法,首先对汽车图像进行比特分层,获取8层比特图像。
需要说明的是,由于比特图像的层级越高,比特图像中的信息量就越高。
所以选择8层比特图像中前层比特图像作为比特图像,其中/>为本实施例中所预设的选取范围,/>的取值可结合具体情况自行设置,本实施例不做硬性要求,在本实施例中以/>进行叙述。
至此,获取比特图像。
步骤S002:对若干比特图像进行两两重构并将两两重构后的比特图像记为重构比特图像;根据重构比特图像获取重构比特图像中的边缘端点以及次边缘端点;根据重构比特图像中的边缘端点以及次边缘端点,获取同一条边缘线上的两个边缘端点之间的连接程度;根据同一条边缘线上的两个边缘端点之间的连接程度,获取重构比特图像中的所有闭合区域。
需要说明的是,由于单层的比特图像中所蕴含的信息量低,难以表征出比特图像中水珠的特征;所以需要通过对比特图像进行重构,而为了得到重构比特图像中的水珠区域,首先需要获取重构比特图像中的边缘。
具体的,根据比特图像重构,将比特图像进行两两重构,得到重构比特图像,其中比特图像重构作为一种公知的技术,故在本实施例中不再赘述;利用canny算子对每种重构比特图像进行边缘检测,获取重构比特图像的边缘像素点,其中canny算子边缘检测作为一种公知的技术,故在本实施例中不再赘述。
需要说明的是,由于光照角度以及水珠自身拥有一定反光的特性,所以在重构比特图像中原本为闭合区域的水珠总是呈现未闭合的状态,因此需要将未形成闭合区域的水珠拟合成闭合区域的水珠。
具体的,对于重构比特图像中边缘像素点在八邻域内存在除边缘像素点之外的边缘像素点/>,则边缘像素点/>与边缘像素点/>相邻;将重构比特图像中由相邻的边缘像素点组成的线记为边缘线,统计同一条边缘线上任意一个边缘像素点到边缘线中另一个边缘像素点的路径长度;将最长的路径长度的路径两端的边缘像素点记为边缘端点,将最长的路径上与边缘端点相邻的像素点记为次边缘端点;
获取在同一条边缘线上,沿次边缘端点到边缘端点方向做一条射线记为边缘端点的切线,将次边缘端点到边缘端点方向作为边缘端点的切线方向,同理得到重构比特图像中另一个边缘端点的切线,通过两个边缘端点的切线之间的夹角与两个边缘端点之间的距离,获取同一条边缘线上的两个边缘端点之间的连接程度,其具体的计算公式为:
式中,表示同一条边缘线上的边缘端点/>与边缘端点/>之间的连接程度;/>表示同一条边缘线上的边缘端点/>的切线与边缘端点/>的切线之间的切线方向夹角;/>表示同一条边缘线上的边缘端点/>与边缘端点/>之间的距离;/>表示线性归一化函数。
需要注意的是,当边缘端点的切线与边缘端点/>的切线平行时,则认为边缘端点/>的切线与边缘端点/>的切线之间的夹角为180°。
需要进一步说明的是,当边缘端点的切线与边缘端点/>的切线之间的夹角越大时,边缘端点/>与边缘端点/>之间的连接程度就越大;当边缘端点/>与/>边缘端点之间的距离越小时,边缘端点/>与边缘端点/>之间的连接程度就越大;而边缘端点/>与边缘端点/>之间的连接程度越大,则边缘端点/>与边缘端点/>之间的连接程度就越有可能为同一水珠边缘上的像素点;故可以通过边缘端点之间的连接程度判断各个边缘端点是否为同一水珠边缘上的像素点。
具体的,预设一个归属阈值,而/>的具体大小可根据具体情况设置,本实施例不做硬性要求,在本实施例中以/>进行叙述;在重构比特图像中,若边缘端点之间的连接程度大于/>时,则连接两个边缘端点;若边缘端点之间的连接程度小于等于/>时,则不连接两个边缘端点,然后将连接后的边缘线所围成的区域记为闭合区域。
至此,得到重构比特图像中的所有闭合区域。
步骤S003:根据闭合区域中的像素点获取闭合区域的第一特征参数;根据闭合区域边缘上的像素点,获取比特图像对重构比特图像中闭合区域的边缘贡献度。
1.获取任意重构比特图像中任意闭合区域的第一特征参数。
需要说明的是,由于汽车表面的水珠具有良好的反光性,所以在汽车图像中的水珠区域内的像素点存在明显的亮暗色差,故可以通过重构比特图像的闭合区域中明亮部分的像素点数量与暗淡部分的像素点数量的比值、以及重构比特图像的比特图像中闭合区域中明亮部分的像素点数量与暗淡部分的像素点数量的比值,获取重构比特图像中能够表现水珠特征的程度记为第一特征参数。
具体的,对于第层比特图像与第/>层比特图像的重构比特图像中的第/>个闭合区域;为能更好地对本实施例进行叙述,在本实施例中将第/>层比特图像与第/>层比特图像的重构比特图像中的第/>个闭合区域记为/>;首先以/>内的灰度均值为阈值,将/>内的像素点分为:灰度值大于等于/>内的灰度均值的像素点和灰度值小于/>内的灰度均值的像素点两类像素点;再根据第/>层比特图像以及第/>层比特图像中与/>相同位置的像素点,得到第一特征参数,其具体的计算公式为:
式中,表示/>的第一特征参数;/>表示在第/>层比特图像中与/>相同位置的区域内灰度值为0的像素点数量;/>表示在第/>层比特图像中与/>相同位置的区域内灰度值为1的像素点数量;/>表示在第/>层比特图像中与/>相同位置的区域内灰度值为0的像素点数量;/>表示在第/>层比特图像中与/>相同位置的区域内灰度值为1的像素点数量;/>表示内灰度值小于/>内的灰度均值的像素点数量;/>表示/>内灰度值大于等于/>内的灰度均值的像素点数量。
需要进一步说明的是,当第层比特图像与第/>层比特图像的重构比特图像中的第个闭合区域中,/>和/>以及/>和/>之间差异越小,则说明第/>层比特图像与第/>层比特图像的重构比特图像中的第/>个闭合区域越具有水珠的特征,所以/>的值越小,第/>层比特图像与第/>层比特图像的重构比特图像中的第/>个闭合区域越具有水珠的特征。
至此,通过上述方法得到第一特征参数,同理得到任意重构比特图像中任意闭合区域的第一特征参数。
2.获取任意比特图像对该比特图像与其他比特图像的重构比特图像的边缘贡献度。
需要说明的是,由于水珠的边缘具有良好的连续性,故可以根据比特重构图像中闭合区域边缘的连续程度、重构比特图像的比特图像中闭合区域边缘的连续程度,获取比特图像对该比特图像与其他比特图像的重构比特图像的边缘贡献度;而边缘贡献度越大的比特图像与其他比特图像的重构比特图像越能够表现水珠的特征。
具体的,对于第层比特图像与第/>层比特图像的重构比特图像中的第/>个闭合区域;首先获取/>的所有边缘像素点记为/>的目标像素点,并记录/>的目标像素点的坐标,将第/>层比特图像中与目标像素点的坐标相同的像素点标记出来,并记为第/>层第/>个闭合区域的标记像素点;然后将第/>层第/>个闭合区域的标记像素点中灰度值相同且相邻的像素点归为同一边缘段,最后根据第/>层第/>个闭合区域的边缘段数量以及第/>层第/>个闭合区域的标记像素点数量,获取第/>层比特图像对/>的边缘贡献度,其具体的计算公式为:
式中,表示第/>层比特图像对/>的边缘贡献度;/>表示在第/>层第/>个闭合区域的标记像素点中灰度值为1的像素点数量;/>表示在第/>层第/>个闭合区域中灰度值为1的边缘段数量;/>表示在第/>层第/>个闭合区域的标记像素点中灰度值为0的像素点数量;表示在第/>层第/>个闭合区域中灰度值为0的边缘段数量。
需要说明的是,第层比特图像中第/>个闭合区域对/>的边缘贡献度越大,则表明第/>层比特图像中与/>的边缘像素点对应的像素点连续程度越大,即说明第/>层比特图像中与/>的边缘像素点对应的像素点越具有水珠的特征。
至此,得到第层比特图像对/>的边缘贡献度,同理得到任意比特图像对该比特图像与其他比特图像的重构比特图像的边缘贡献度。
步骤S004:根据闭合区域的第一特征参数以及比特图像对重构比特图像中闭合区域的边缘贡献度,获取重构比特图像中的水珠特征程度;根据重构比特图像中的水珠特征程度获取最佳重构比特图像。
需要说明的是,通过步骤S003可以得到的任意重构比特图像中任意闭合区域的第一特征参数以及任意比特图像对该比特图像与其他比特图像的重构比特图像的边缘贡献度;而重构比特图像中闭合区域的第一特征参数越小,则重构比特图像中的闭合区域越具有水珠的特征;而比特图像对该比特图像与其他比特图像的重构比特图像的边缘贡献度越大,则说明比特图像中与重构比特图像对应的像素点越具有水珠的特征;故可以根据重构比特图像中闭合区域的第一特征参数以及比特图像对该比特图像与其他比特图像的重构比特图像的边缘贡献度,获取重构比特图像中的水珠特征程度。
具体的,根据重构比特图像中闭合区域的第一特征参数以及比特图像对该比特图像与其他比特图像的重构比特图像的边缘贡献度,获取重构比特图像中的水珠特征程度,其具体计算公式如下:
式中,表示第/>层比特图像与第/>层比特图像的重构比特图像中的水珠特征程度;/>表示/>的第一特征参数;/>表示第/>层比特图像对/>的边缘贡献度;/>表示第/>层比特图像对/>的边缘贡献度;/>表示第/>层比特图像与第/>层比特图像的重构比特图像中闭合区域的数量;/>表示以自然常数为底数的指数函数。
至此,得到重构比特图像中的水珠特征程度。
需要进一步说明的是,重构比特图像中的水珠特征程度越大,则重构比特图像中的闭合区域就越具有水珠的特征,所以可以根据重构比特图像中的水珠特征程度,选取最佳重构比特图像。
具体的,选取水珠特征程度最大的重构比特图像作为最佳重构比特图像。
步骤S005:根据最佳重构比特图像获取最佳重构比特图像中闭合区域的光滑程度;根据最佳重构比特图像中闭合区域的光滑程度,获取汽车图像中水珠区域;根据汽车图像中水珠区域,获取汽车图像中的污渍区域。
需要说明的是,根据步骤S004得到了最佳重构比特图像,此时最佳重构比特图像已经能够表现出汽车图像中水珠的特征;又因为水珠区域边缘的光滑程度高,故可以根据水珠区域边缘的光滑程度,判断重构比特图像中的闭合区域是否为水珠区域。
具体的,获取最佳重构比特图像中所有闭合区域边缘上的像素点的切线;再预设一个像素点选取范围,/>的具体取值可结合具体情况进行设置,本实施例不做硬性要求,在本实施例中以/>进叙述;对于最佳重构比特图像中第/>个闭合区域边缘上的第/>个像素点;根据最佳重构比特图像中第/>个闭合区域边缘上的第/>个像素点,将最佳重构比特图像中第/>个闭合区域边缘上距离第/>个像素点最近的/>个像素点以及第/>个像素点组成的连通域,记为最佳重构比特图像中第/>个闭合区域中的第/>个边缘段;
获取最佳重构比特图像中第个闭合区域中所有边缘段,将边缘段中第一个像素点的切线与第二个像素点的切线之间的夹角作为边缘段的第一个夹角;将边缘段中第二个像素点的切线与第三个像素点的切线之间的夹角作为边缘段的第二个夹角;以此类推直至将边缘段中最后第二个像素点的切线与最后一个像素点的切线之间的夹角作为边缘段的最后一个夹角;
根据边缘段的夹角,获取最佳重构比特图像中第个闭合区域的光滑程度,其具体的计算公式为:
式中,表示最佳重构比特图像中第/>个闭合区域的光滑程度;;/>表示最佳重构比特图像中第/>个闭合区域中的第/>个边缘段的第/>个夹角;/>表示最佳重构比特图像中第/>个闭合区域中的边缘段数量;/>表示线性归一化函数;/>为预设的像素点选取范围;/>表示180°。
需要说明的是,越大表示最佳重构比特图像中第/>个闭合区域越光滑,即最佳重构比特图像中第/>个闭合区域越具有水珠的特征,故可以根据最佳重构比特图像中第/>个闭合区域的光滑程度,判断最佳重构比特图像中的闭合区域是否为水珠区域。
具体的,预设一个判断阈值,/>的具体取值可结合具体情况进行设置,本实施例不做硬性要求,在本实施例中以/>进叙述,当最佳重构比特图像中闭合区域的光滑程度小于/>时,最佳重构比特图像中闭合区域不是水珠区域;当最佳重构比特图像中闭合区域的光滑程度大于等于/>时,最佳重构比特图像中闭合区域是水珠区域;将汽车图像中与水珠区域同位置的区域记为汽车图像中水珠区域。
至此,本实施例利用比特分层与重构,实现对汽车图像中水珠区域的识别。
在将汽车表面的水珠识别出来后,将汽车表面的水珠去除,最后对去除水珠后的汽车表面进行残留污渍的监测,避免了在识别汽车表面上残留的污渍时水珠产生的干扰,达到准确识别汽车表面的残留污渍的目的。
具体的,先将汽车图像中所有的水珠区域去除,计算去除所有水珠区域后的汽车图像中所有像素点的灰度均值记为汽车灰度值,再将汽车中组成水珠区域的所有像素点的灰度值替换成汽车灰度值,得到新的汽车图像,再对新的汽车图像进行大津发阈值分割,得到汽车图像中的污渍区域。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.基于机器视觉的自主洗车监测方法,其特征在于,该方法包括以下步骤:
采集汽车表面图像,对汽车表面图像进行预处理获取汽车图像;对汽车图像进行比特分层获取若干比特图像;
对若干比特图像进行两两重构并将两两重构后的比特图像记为重构比特图像;根据重构比特图像获取重构比特图像中的边缘端点以及次边缘端点;根据重构比特图像中的边缘端点以及次边缘端点,获取同一条边缘线上的两个边缘端点之间的连接程度;根据同一条边缘线上的两个边缘端点之间的连接程度,获取重构比特图像中的所有闭合区域;
根据闭合区域中的像素点获取闭合区域的第一特征参数;根据闭合区域边缘上的像素点,获取比特图像对重构比特图像中闭合区域的边缘贡献度;
根据闭合区域的第一特征参数以及比特图像对重构比特图像中闭合区域的边缘贡献度,获取重构比特图像中的水珠特征程度;根据重构比特图像中的水珠特征程度获取最佳重构比特图像;
根据最佳重构比特图像获取最佳重构比特图像中闭合区域的光滑程度;根据最佳重构比特图像中闭合区域的光滑程度,获取汽车图像中水珠区域;根据汽车图像中水珠区域,获取汽车图像中的污渍区域。
2.根据权利要求1所述基于机器视觉的自主洗车监测方法,其特征在于,所述采集汽车表面图像,对汽车表面图像进行预处理获取汽车图像;对汽车图像进行比特分层获取若干比特图像,包括的具体方法为:
通过工业相机采集汽车表面图像,对汽车表面图像进行灰度化与去噪处理,再对灰度化与去噪处理处理后的汽车表面图像进行语义分割,得到预处理后的汽车表面图像记为汽车图像;再对汽车图像进行比特分层处理,得到若干比特图像。
3.根据权利要求1所述基于机器视觉的自主洗车监测方法,其特征在于,所述对若干比特图像进行两两重构并将两两重构后的比特图像记为重构比特图像;根据重构比特图像获取重构比特图像中的边缘端点以及次边缘端点,包括的具体方法为:
将比特图像进行两两重构,得到重构比特图像,再利用canny算子对每种重构比特图像进行边缘检测,获取重构比特图像的边缘像素点,获取在同一条边缘线上任意一个边缘像素点到边缘线中另一个边缘像素点的路径长度;将最长的路径长度的路径两端的边缘像素点记为边缘端点,将最长的路径上与边缘端点相邻的像素点记为次边缘端点。
4.根据权利要求1所述基于机器视觉的自主洗车监测方法,其特征在于,所述获取同一条边缘线上的两个边缘端点之间的连接程度,包括的具体方法为:
沿次边缘端点到边缘端点方向做一条射线记为边缘端点的切线,获取重构比特图像中另一个边缘端点的切线,通过两个边缘端点的切线之间的夹角与两个边缘端点之间的距离,获取同一条边缘线上的两个边缘端点之间的连接程度,其具体的计算公式为:
式中,表示同一条边缘线上的边缘端点/>与边缘端点/>之间的连接程度;/>表示同一条边缘线上的边缘端点/>的切线与边缘端点/>的切线之间的切线方向夹角;/>表示同一条边缘线上的边缘端点/>与边缘端点/>之间的距离;/>表示线性归一化函数。
5.根据权利要求1所述基于机器视觉的自主洗车监测方法,其特征在于,所述根据同一条边缘线上的两个边缘端点之间的连接程度,获取重构比特图像中的所有闭合区域,包括的具体方法为:
预设一个归属阈值;在重构比特图像中,若边缘端点之间的连接程度大于/>时,则连接两个边缘端点;若边缘端点之间的连接程度小于等于/>时,则不连接两个边缘端点,然后将连接后的边缘线所围成的区域记为闭合区域,获取重构比特图像中的所有闭合区域。
6.根据权利要求1所述基于机器视觉的自主洗车监测方法,其特征在于,所述根据闭合区域中的像素点获取闭合区域的第一特征参数,包括的具体方法为:
对于第层比特图像与第/>层比特图像的重构比特图像中的第/>个闭合区域;将第/>层比特图像与第/>层比特图像的重构比特图像中的第/>个闭合区域记为/>;首先以/>内的灰度均值为阈值,将/>内的像素点分为:灰度值大于等于/>内的灰度均值的像素点和灰度值小于/>内的灰度均值的像素点两类像素点;再根据第/>层比特图像以及第/>层比特图像中与相同位置的像素点,得到第一特征参数,其具体的计算公式为:
式中,表示/>的第一特征参数;/>表示在第/>层比特图像中与/>相同位置的区域内灰度值为0的像素点数量;/>表示在第/>层比特图像中与/>相同位置的区域内灰度值为1的像素点数量;/>表示在第/>层比特图像中与/>相同位置的区域内灰度值为0的像素点数量;/>表示在第/>层比特图像中与/>相同位置的区域内灰度值为1的像素点数量;/>表示内灰度值小于/>内的灰度均值的像素点数量;/>表示/>内灰度值大于等于/>内的灰度均值的像素点数量。
7.根据权利要求1所述基于机器视觉的自主洗车监测方法,其特征在于,所述根据闭合区域边缘上的像素点,获取比特图像对重构比特图像中闭合区域的边缘贡献度,包括的具体方法为:
对于第层比特图像与第/>层比特图像的重构比特图像中的第/>个闭合区域;首先获取的所有边缘像素点记为/>的目标像素点,并记录/>的目标像素点的坐标,将第/>层比特图像中与目标像素点的坐标相同的像素点标记出来,并记为第/>层第/>个闭合区域的标记像素点;然后将第/>层第/>个闭合区域的标记像素点中灰度值相同且相邻的像素点归为同一边缘段,最后根据第/>层第/>个闭合区域的边缘段数量以及第/>层第/>个闭合区域的标记像素点数量,获取第/>层比特图像对/>的边缘贡献度,其具体的计算公式为:
式中,表示第/>层比特图像对/>的边缘贡献度;/>表示在第/>层第/>个闭合区域的标记像素点中灰度值为1的像素点数量;/>表示在第/>层第/>个闭合区域中灰度值为1的边缘段数量;/>表示在第/>层第/>个闭合区域的标记像素点中灰度值为0的像素点数量;/>表示在第/>层第/>个闭合区域中灰度值为0的边缘段数量。
8.根据权利要求7所述基于机器视觉的自主洗车监测方法,其特征在于,所述根据闭合区域的第一特征参数以及比特图像对重构比特图像中闭合区域的边缘贡献度,获取重构比特图像中的水珠特征程度;根据重构比特图像中的水珠特征程度获取最佳重构比特图像,包括的具体方法为:
根据闭合区域的第一特征参数以及比特图像对重构比特图像中闭合区域的边缘贡献度,获取重构比特图像中的水珠特征程度,其具体的计算公式为:
式中,表示第/>层比特图像与第/>层比特图像的重构比特图像中的水珠特征程度;表示/>的第一特征参数;/>表示第/>层比特图像对/>的边缘贡献度;/>表示第/>层比特图像对/>的边缘贡献度;/>表示第/>层比特图像与第/>层比特图像的重构比特图像中闭合区域的数量;/>表示以自然常数为底数的指数函数;
得到所有重构比特图像中的水珠特征程度,选取水珠特征程度最大的重构比特图像作为最佳重构比特图像。
9.根据权利要求1所述基于机器视觉的自主洗车监测方法,其特征在于,所述根据最佳重构比特图像获取最佳重构比特图像中闭合区域的光滑程度;根据最佳重构比特图像中闭合区域的光滑程度,获取汽车图像中水珠区域,包括的具体方法为:
获取最佳重构比特图像中所有闭合区域边缘上的像素点的切线;再预设一个像素点选取范围;对于最佳重构比特图像中第/>个闭合区域边缘上的第/>个像素点;根据最佳重构比特图像中第/>个闭合区域边缘上的第/>个像素点,将最佳重构比特图像中第/>个闭合区域边缘上距离第/>个像素点最近的/>个像素点以及第/>个像素点组成的连通域,记为最佳重构比特图像中第/>个闭合区域中的第/>个边缘段;
获取最佳重构比特图像中第个闭合区域中所有边缘段,将边缘段中第一个像素点的切线与第二个像素点的切线之间的夹角作为边缘段的第一个夹角;将边缘段中第二个像素点的切线与第三个像素点的切线之间的夹角作为边缘段的第二个夹角;以此类推直至将边缘段中倒数第二个像素点的切线与最后一个像素点的切线之间的夹角作为边缘段的最后一个夹角;
根据边缘段的夹角,获取最佳重构比特图像中第个闭合区域的光滑程度,其具体的计算公式为:
式中,表示最佳重构比特图像中第/>个闭合区域的光滑程度;/>表示最佳重构比特图像中第/>个闭合区域中的第/>个边缘段的第/>个夹角;/>表示最佳重构比特图像中第/>个闭合区域中的边缘段数量;/>表示线性归一化函数;/>表示180°;
预设一个判断阈值;当最佳重构比特图像中闭合区域的光滑程度小于/>时,最佳重构比特图像中闭合区域不是水珠区域;当最佳重构比特图像中闭合区域的光滑程度大于等于时,最佳重构比特图像中闭合区域是水珠区域;将汽车图像中与水珠区域同位置的区域记为汽车图像中水珠区域。
10.根据权利要求1所述基于机器视觉的自主洗车监测方法,其特征在于,所述根据汽车图像中水珠区域,获取汽车图像中的污渍区域,包括的具体方法为:
计算汽车图像中除水珠区域之外的所有像素点的灰度值均值作为汽车灰度值,再将汽车中组成水珠区域的每个像素点的灰度值替换成汽车灰度值,得到新的汽车图像,再对新的汽车图像进行大津发阈值分割,得到汽车图像中的污渍区域。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311450325.5A CN117173641B (zh) | 2023-11-02 | 2023-11-02 | 基于机器视觉的自主洗车监测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311450325.5A CN117173641B (zh) | 2023-11-02 | 2023-11-02 | 基于机器视觉的自主洗车监测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117173641A true CN117173641A (zh) | 2023-12-05 |
CN117173641B CN117173641B (zh) | 2024-03-05 |
Family
ID=88945386
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311450325.5A Active CN117173641B (zh) | 2023-11-02 | 2023-11-02 | 基于机器视觉的自主洗车监测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117173641B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114761785A (zh) * | 2019-12-25 | 2022-07-15 | 大金工业株式会社 | 污渍评价方法、水滴评价方法、拨剂评价方法和拨剂评价装置 |
CN115633259A (zh) * | 2022-11-15 | 2023-01-20 | 深圳市泰迅数码有限公司 | 基于人工智能的智能摄像头自动调控方法及系统 |
CN115791822A (zh) * | 2022-11-08 | 2023-03-14 | 磐柔(厦门)工业智能有限公司 | 晶圆表面缺陷的视觉检测算法及检测系统 |
CN116486061A (zh) * | 2023-06-20 | 2023-07-25 | 苏州德斯米尔智能科技有限公司 | 基于机器视觉的污水处理效果检测方法 |
CN116703907A (zh) * | 2023-08-04 | 2023-09-05 | 合肥亚明汽车部件有限公司 | 一种基于机器视觉的汽车铸件表面缺陷检测方法 |
CN116758071A (zh) * | 2023-08-17 | 2023-09-15 | 青岛冠宝林活性炭有限公司 | 一种视觉辅助下碳电极脏污智能检测方法 |
-
2023
- 2023-11-02 CN CN202311450325.5A patent/CN117173641B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114761785A (zh) * | 2019-12-25 | 2022-07-15 | 大金工业株式会社 | 污渍评价方法、水滴评价方法、拨剂评价方法和拨剂评价装置 |
CN115791822A (zh) * | 2022-11-08 | 2023-03-14 | 磐柔(厦门)工业智能有限公司 | 晶圆表面缺陷的视觉检测算法及检测系统 |
CN115633259A (zh) * | 2022-11-15 | 2023-01-20 | 深圳市泰迅数码有限公司 | 基于人工智能的智能摄像头自动调控方法及系统 |
CN116486061A (zh) * | 2023-06-20 | 2023-07-25 | 苏州德斯米尔智能科技有限公司 | 基于机器视觉的污水处理效果检测方法 |
CN116703907A (zh) * | 2023-08-04 | 2023-09-05 | 合肥亚明汽车部件有限公司 | 一种基于机器视觉的汽车铸件表面缺陷检测方法 |
CN116758071A (zh) * | 2023-08-17 | 2023-09-15 | 青岛冠宝林活性炭有限公司 | 一种视觉辅助下碳电极脏污智能检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN117173641B (zh) | 2024-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114842017B (zh) | 一种hdmi线缆表面质量检测方法及系统 | |
CN107424144B (zh) | 基于激光视觉的焊缝跟踪图像处理方法 | |
CN110717888B (zh) | 一种血管内光学相干层析成像血管壁内轮廓自动识别方法 | |
CN115641329A (zh) | 一种锂电池隔膜缺陷检测方法及系统 | |
CN115205290B (zh) | 一种pcb板生产过程在线检测方法及系统 | |
CN108230388B (zh) | 一种白车身焊点图像的识别定位方法 | |
CN104143185A (zh) | 一种污点区域检测方法 | |
CN115330772B (zh) | 一种在线焊点质量检测方法 | |
CN116385472B (zh) | 一种五金冲压件去毛刺效果评估方法 | |
CN115423816B (zh) | 一种金属表面磨削质量检测方法 | |
CN116309600A (zh) | 基于图像处理的环保纺织品质量检测方法 | |
CN117095004B (zh) | 基于计算机视觉的挖掘机行走架主体焊接变形检测方法 | |
CN116630329B (zh) | 用于多轴多通道数控系统的在线视觉检测方法 | |
CN115511907B (zh) | 一种用于led屏幕的划痕检测方法 | |
CN116993742B (zh) | 基于机器视觉的镍合金轧制缺陷检测方法 | |
CN116363126B (zh) | 一种数据线usb插头焊接质量检测方法 | |
CN116664569B (zh) | 一种焊瘤缺陷检测方法 | |
CN110705553B (zh) | 一种适用于车辆远景图像的划痕检测方法 | |
CN115330758A (zh) | 基于去噪处理的焊接质量检测方法 | |
CN117808799B (zh) | 基于人工智能的倒角设备加工质量检测方法 | |
CN117173641B (zh) | 基于机器视觉的自主洗车监测方法 | |
CN116630312B (zh) | 一种恒力浮动打磨头打磨质量视觉检测方法 | |
CN117911332A (zh) | 压接管毛刺识别方法 | |
CN115222744B (zh) | 基于深度估计的刀具磨损程度判定方法 | |
CN115254674B (zh) | 一种轴承缺陷分选方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |