CN116994202B - 智能洗车机及其系统 - Google Patents
智能洗车机及其系统 Download PDFInfo
- Publication number
- CN116994202B CN116994202B CN202310968746.0A CN202310968746A CN116994202B CN 116994202 B CN116994202 B CN 116994202B CN 202310968746 A CN202310968746 A CN 202310968746A CN 116994202 B CN116994202 B CN 116994202B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- appearance
- feature map
- scale
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 claims abstract description 48
- 238000004458 analytical method Methods 0.000 claims abstract description 18
- 238000000605 extraction Methods 0.000 claims description 24
- 230000004927 fusion Effects 0.000 claims description 24
- 238000003062 neural network model Methods 0.000 claims description 19
- 239000013598 vector Substances 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 11
- 230000002146 bilateral effect Effects 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 9
- 230000008447 perception Effects 0.000 claims description 6
- 238000007500 overflow downdraw method Methods 0.000 claims description 2
- 230000002787 reinforcement Effects 0.000 claims 1
- 239000012459 cleaning agent Substances 0.000 abstract description 6
- 238000000034 method Methods 0.000 description 28
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 238000009499 grossing Methods 0.000 description 11
- 239000000284 extract Substances 0.000 description 7
- 238000005406 washing Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000004140 cleaning Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
- B60S3/00—Vehicle cleaning apparatus not integral with vehicles
- B60S3/04—Vehicle cleaning apparatus not integral with vehicles for exteriors of land vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9035—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Image Analysis (AREA)
Abstract
公开了一种智能洗车机及其系统。其首先通过摄像头采集待洗车辆的外观监控图像,接着,对所述外观监控图像进行图像特征分析以得到车辆外观特征,然后,基于所述车辆外观特征,确定推荐的汽车程序的类型标签。这样,可以基于车辆的外观特征自动选择最适合的洗车程序和清洗剂,以提供更精确、高效和个性化的洗车服务。
Description
技术领域
本公开涉及洗车机领域,且更为具体地,涉及一种智能洗车机及其系统。
背景技术
洗车机是一种自动化设备,用于清洗和护理汽车的外观。洗车机利用先进的技术和自动化系统,能够提供更快速、高效和一致的洗车服务。
传统洗车机通常采用固定的洗车程序和清洗剂,无法根据车辆的具体情况和需求进行个性化调整,导致不同类型的车辆可能得到相同的洗车处理,无法提供针对性的清洗和护理。并且,传统洗车机使用固定的清洗方式,无法根据车辆的污渍程度和外观进行调整。这导致在清洗过程中,车辆的某些区域可能无法得到充分清洗,或者清洗过度造成损伤,这种清洗方式会造成清洗效果的不一致,无法满足用户的期望。
因此,期望一种智能洗车机。
发明内容
有鉴于此,本公开提出了一种智能洗车机及其系统,其可以通过摄像头采集车辆的外观监控图像,并在后端引入图像处理和分析算法来进行车辆外观监控图像的分析以对于车辆的外观特征进行识别检测。
根据本公开的一方面,提供了一种智能洗车机的系统,其特征在于,包括:
车辆外观图像采集模块,用于通过摄像头采集待洗车辆的外观监控图像;
车辆外观特征分析模块,用于对所述外观监控图像进行图像特征分析以得到车辆外观特征;以及
汽车程序推荐模块,用于基于所述车辆外观特征,确定推荐的汽车程序的类型标签。
根据本公开的另一方面,提供了一种智能洗车机,其中,所述智能洗车机以前所述的智能洗车机的系统运行。
根据本公开的实施例,其首先通过摄像头采集待洗车辆的外观监控图像,接着,对所述外观监控图像进行图像特征分析以得到车辆外观特征,然后,基于所述车辆外观特征,确定推荐的汽车程序的类型标签。这样,可以基于车辆的外观特征自动选择最适合的洗车程序和清洗剂,以提供更精确、高效和个性化的洗车服务。
根据下面参考附图对示例性实施例的详细说明,本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面,并且用于解释本公开的原理。
图1示出根据本公开的实施例的智能洗车机的系统的框图。
图2示出根据本公开的实施例的智能洗车机的系统中所述车辆外观特征分析模块的框图。
图3示出根据本公开的实施例的智能洗车机的系统中所述车辆外观图像特征提取单元的框图。
图4示出根据本公开的实施例的智能洗车机的方法的流程图。
图5示出根据本公开的实施例的智能洗车机的方法的架构示意图。
图6示出根据本公开的实施例的智能洗车机的系统的应用场景图。
具体实施方式
下面将结合附图对本公开实施例中的技术方案进行清楚、完整地描述,显而易见地,所描述的实施例仅仅是本公开的部分实施例,而不是全部的实施例。基于本公开实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,也属于本公开保护的范围。
如本公开和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其他的步骤或元素。
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
另外,为了更好的说明本公开,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本公开同样可以实施。在一些实例中,对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述,以便于凸显本公开的主旨。
针对上述技术问题,本公开的技术构思为通过摄像头采集车辆的外观监控图像,并在后端引入图像处理和分析算法来进行车辆外观监控图像的分析以对于车辆的外观特征进行识别检测,例如车辆的车型、颜色和污渍程度等。进而,基于车辆的外观特征自动选择最适合的洗车程序和清洗剂,以提供更精确、高效和个性化的洗车服务。这样,可以提高洗车效果的一致性和质量,提升用户体验。
具体地,图1示出根据本公开的实施例的智能洗车机的系统的框图示意图。如图1所示,根据本公开实施例的智能洗车机的系统100,包括:车辆外观图像采集模块110,用于通过摄像头采集待洗车辆的外观监控图像;车辆外观特征分析模块120,用于对所述外观监控图像进行图像特征分析以得到车辆外观特征;以及,汽车程序推荐模块130,用于基于所述车辆外观特征,确定推荐的汽车程序的类型标签。
相应地,在本公开的技术方案中,首先,获取由摄像头采集的待洗车辆的外观监控图像。应可以理解,在进行车辆的外观特征检测和分析时,图像中的背景会对于车辆的车型、颜色和污渍程度等信息的捕捉和识别产生影响。并且,在所述外观监控图像中,还可能会存在各种类型的噪声干扰,如摄像头设备噪声、环境光线变化引起的噪点等。因此,在本公开的技术方案中,在特征提取前需要对所述外观监控图像进行双边滤波处理以得到预处理后外观监控图像。应可以理解,双边滤波是一种非线性滤波方法,它考虑了像素之间的空间距离和灰度值相似性。与传统的线性滤波方法相比,双边滤波能够可以有效地减少噪声和背景干扰的影响,以提高图像的清晰度和质量的同时,能够更好地保留图像中的边缘信息。在所述外观监控图像中,车辆的边缘信息对于识别和分析车辆外观特征非常重要。
然后,使用在图像的隐含特征提取方面具有优异表现的基于卷积神经网络模型的特征提取器来进行所述预处理后外观监控图像的特征挖掘。特别地,考虑到在实际进行所述车辆外观特征识别检测时,为了能够更为充分地捕捉到有关于车辆的车型、颜色和污渍程度等特征信息,以此来优化洗车效果,需要更加关注于车辆外观的颜色、边缘和纹理等特征信息,这些特征信息对于车辆的外观检测极为重要。因此,在本公开的技术方案中,进一步将所述预处理后外观监控图像通过基于金字塔网络的图像多尺度特征提取器以得到车辆外观浅层特征图、车辆外观中层特征图和车辆外观深层特征图。通过多层级特征提取的方法,可以逐渐提取出所述待洗车辆的外观监控图像中有关于车辆外观的不同层次的特征信息,从而更全面地理解和表示所述待洗车的车辆外观特征信息。
进一步地,在分别得到所述外观监控图像中有关于车辆外观的浅层特征、中层特征和深层特征信息后,需要将所述车辆外观浅层特征图、所述车辆外观中层特征图和所述车辆外观深层特征图进行融合,以保留图像中的多层次信息来进行车辆外观的检测识别。特别地,为了不过多增大模型的参数量以及保持通道数不变,在本公开的技术方案中,进一步通过自适应融合模块来融合所述车辆外观浅层特征图、所述车辆外观中层特征图和所述车辆外观深层特征图以得到车辆多尺度特征图。这样,既能在不增加过多参数的情况下保持原有的通道数不变,也能进行多层次的特征融合,充分利用多层次信息,进而提高对于车辆外观识别的精准度,优化车辆的清洗效果。
接着,还考虑到由于考虑到由于卷积是典型的局部操作,其只能提取图像局部特征,而无法关注全局,会影响车辆外观识别的精度。而对于所述待洗车辆的外观监控图像中的各个局部区域来说,其并不是独立存在的,所述各个局部区域中有关于车辆外观的多尺度特征分布信息间的关联性产生前景目标。因此,为了更精准地对于待洗车辆外观进行识别检测,在本公开的技术方案中,使用非局部神经网络模型来进一步进行图像的特征提取。也就是,将所述车辆多尺度特征图通过非局部神经网络模型,以通过非局部神经网络模型来扩展特征感受野,从而得到车辆多尺度全局特征图。特别地,这里,所述非局部神经网络模型通过计算所述外观监控图像中的各个局部区域特征间的相似度捕获隐藏的依赖信息,进而建模上下文特征,使网络关注所述各个局部区域特征间的全局整体内容,进而在分类、检测任务中提升主干网络特征提取能力,以优化对于车辆外观的识别效果。
相应地,如图2所示,所述车辆外观特征分析模块120,包括:图像增强单元121,用于对所述外观监控图像进行图像增强处理以得到预处理后外观监控图像;以及,车辆外观图像特征提取单元122,用于对所述预处理后外观监控图像进行图像特征提取以得到所述车辆外观特征。应可以理解,图像增强单元121用于对外观监控图像进行图像增强处理,以得到预处理后的外观监控图像,图像增强的目的是改善图像的质量、增加图像的对比度、减少噪声等,以便后续的处理和分析能够更好地进行,图像增强可以包括去噪、增强边缘、调整亮度和对比度等操作;车辆外观图像特征提取单元122用于对预处理后的外观监控图像进行图像特征提取,以得到车辆外观特征,图像特征提取是指从图像中提取出具有代表性的特征,这些特征可以用于识别、分类或其他相关任务,对于车辆外观特征提取,可能会提取诸如车辆颜色、车型、车牌号码等特征。换言之,图像增强单元用于提高外观监控图像的质量,而车辆外观图像特征提取单元用于从预处理后的图像中提取有用的车辆外观特征,这两个单元共同工作,为后续的分析提供了基础数据。
更具体地,所述图像增强单元121,进一步用于:对所述外观监控图像进行双边滤波处理以得到预处理后外观监控图像。值得一提的是,双边滤波(Bilateral Filtering)是一种图像处理技术,用于平滑图像并减少噪声,同时尽量保留图像的边缘信息。它在空间域和灰度值域上进行滤波操作,考虑了像素之间的空间距离和灰度值之间的差异。传统的平滑滤波器(如均值滤波器)只考虑像素之间的空间距离,而不考虑像素的灰度值。这种滤波器会模糊图像的边缘,导致细节信息的丢失。双边滤波器引入了一个额外的参数,即灰度值差异的标准差,来衡量像素之间的灰度值相似性。在双边滤波中,对于每个像素,它的输出值是由相邻像素的加权平均值计算得到的。这些权重由两个因素决定:空间距离权重和灰度值相似性权重。空间距离权重用于衡量像素之间的距离,距离越近的像素权重越大。灰度值相似性权重用于衡量像素的灰度值之间的相似性,灰度值越接近的像素权重越大。通过同时考虑空间距离和灰度值相似性,双边滤波器能够保留图像的边缘信息,同时平滑图像的纹理和噪声。
更具体地,如图3所示,所述车辆外观图像特征提取单元122,包括:车辆外观多尺度特征提取子单元1221,用于通过基于深度神经网络模型的图像多尺度特征提取器对所述预处理后外观监控图像进行图像特征提取以得到车辆外观浅层特征图、车辆外观中层特征图和车辆外观深层特征图;多尺度特征融合子单元1222,用于通过自适应融合模块来融合所述车辆外观浅层特征图、所述车辆外观中层特征图和所述车辆外观深层特征图以得到车辆多尺度特征图;以及,全局感知子单元1223,用于对所述车辆多尺度特征图进行全局感知特征强化以得到车辆多尺度全局特征图作为所述车辆外观特征。
更具体地,所述深度神经网络模型为金字塔网络。值得一提的是,金字塔网络(Pyramid Network)是一种深度神经网络结构,旨在处理多尺度的图像信息,它借鉴了金字塔的概念,通过构建多层次的特征金字塔来捕捉图像中不同尺度上的特征。在金字塔网络中,网络的底层通常处理输入图像的低分辨率版本,而随着网络的向上层推进,处理的图像分辨率逐渐增加。每一层都会提取出不同尺度的特征,并与上一层的特征进行融合或者连接。这样做的目的是为了同时考虑不同尺度下的图像信息,从而提高网络对于尺度变化的鲁棒性。金字塔网络的设计可以有不同的形式和结构,比如金字塔卷积网络(PyramidConvolutional Network)和金字塔池化网络(Pyramid Pooling Network)。金字塔卷积网络通过使用不同大小的卷积核来处理不同尺度的特征,而金字塔池化网络则通过多尺度的池化操作来捕捉不同尺度的上下文信息。通过引入多尺度的特征表示,金字塔网络能够更好地处理不同尺度的目标或图像结构,提高模型的性能和鲁棒性。
相应地,应可以理解,在车辆外观多尺度特征提取子单元1221中,使用的深度神经网络模型是金字塔网络,深度神经网络模型在车辆外观特征提取中有以下用途:1.特征提取:深度神经网络模型可以通过多层次的卷积操作来提取图像中的特征,在车辆外观多尺度特征提取子单元中,金字塔网络通过构建多层次的特征金字塔,从预处理后的外观监控图像中提取车辆外观的浅层、中层和深层特征图,这些特征图包含了不同尺度上的车辆外观信息,可以用于后续的分析和处理;2.尺度适应:车辆外观在图像中可能存在不同尺度的变化,例如车辆的远近、大小等,金字塔网络通过构建多尺度的特征金字塔,使网络能够同时考虑不同尺度下的车辆外观特征,这有助于提高车辆外观特征的鲁棒性和泛化能力,使模型能够更好地适应不同尺度的车辆外观变化;3.表征学习:深度神经网络模型通过多层次的非线性变换,可以学习到更抽象和高级的特征表示,在车辆外观特征提取中,金字塔网络可以学习到车辆外观的语义信息、纹理特征和形状特征等。这些学习到的特征表示可以用于车辆识别、行为分析和安全监控等应用。即,深度神经网络模型(金字塔网络)在车辆外观多尺度特征提取中具有提取特征、尺度适应和学习抽象表示等作用,能够有效地提取车辆外观的多尺度特征,为后续的分析和应用提供有用的信息。
更具体地,所述全局感知子单元1223,进一步用于:将所述车辆多尺度特征图通过非局部神经网络模型以得到所述车辆多尺度全局特征图。值得一提的是,非局部神经网络模型(Non-local Neural Network Model)是一种用于建模长距离依赖关系的神经网络结构。传统的卷积神经网络(CNN)在处理图像等任务时,通常只考虑局部区域内的特征关系,而忽略了图像中不同位置之间的远距离依赖。非局部神经网络通过引入非局部操作,能够捕捉全局范围内的特征关系,从而提高网络对于长距离依赖的建模能力。在非局部神经网络中,非局部操作用于计算输入特征图中每个位置与其他位置之间的关联权重。这种关联权重表示了不同位置之间的相似性或相关性,可以用于加权求和或卷积操作,从而实现全局范围内的特征交互和信息传递。通过引入非局部操作,网络可以捕捉到更广泛的上下文信息,提高对于全局结构和长距离依赖的感知能力。非局部神经网络模型可以用于图像分类、目标检测、语义分割等任务,以提高模型的性能和鲁棒性,通过引入非局部操作,非局部神经网络可以更好地捕捉图像中的全局信息和上下文关系,从而帮助模型更好地理解和处理复杂的视觉场景。
进一步地,再将所述车辆多尺度全局特征图通过分类器以得到分类结果,所述分类结果用于表示推荐的汽车程序的类型标签。也就是说,利用所述待洗车辆的外观多尺度全局特征信息来进行分类处理,从而基于车辆的外观特征自动选择最适合的洗车程序,以得到推荐的汽车程序的类型标签,通过这样的方式,能够实现洗车机的智能化,提供更精确、高效和个性化的洗车服务。
相应地,所述汽车程序推荐模块130,包括:融合单元,用于对所述车辆多尺度特征图和所述车辆多尺度全局特征图进行平滑响应参数化解耦融合以得到优化后的车辆多尺度全局特征图;以及,分类单元,用于将所述优化后的车辆多尺度全局特征图通过分类器以得到分类结果,所述分类结果用于表示推荐的汽车程序的类型标签。应可以理解,所述汽车程序推荐模块130包括融合单元和分类单元两个主要单元。融合单元用于对车辆的多尺度特征图和多尺度全局特征图进行平滑响应参数化解耦融合,具体来说,它将车辆的多尺度特征图和多尺度全局特征图进行融合,并通过平滑响应参数化解耦的方式进行优化,这个过程可以提取出优化后的车辆多尺度全局特征图,其中包含了更丰富和准确的信息。分类单元接收优化后的车辆多尺度全局特征图,并通过分类器进行处理,以得到分类结果,这个分类结果用于表示推荐的汽车程序的类型标签,换句话说,分类单元将优化后的特征图输入到分类器中,通过对特征进行分析和比较,确定推荐的汽车程序的类型,例如,分类结果可能是"跑车"、"SUV"、"轿车"等类型标签,用于描述推荐的汽车程序的种类。换言之,融合单元用于优化车辆的特征图,提取出更好的全局特征图,而分类单元则利用这些优化后的特征图进行分类,得到推荐汽车程序的类型标签。这两个单元在汽车程序推荐模块中起着关键的作用,帮助实现对汽车程序的准确推荐。
值得一提的是,平滑响应参数化解耦融合是一种用于融合多尺度特征图的技术,它的目的是通过平滑处理和参数化解耦的方式,将不同尺度的特征图进行融合,以得到优化后的全局特征图。在多尺度特征图中,不同尺度的特征表示了不同层次的信息。为了综合利用这些信息,平滑响应参数化解耦融合方法通过以下步骤进行:1.平滑响应:首先,对每个尺度的特征图进行平滑处理,平滑可以减少噪声和不必要的细节,提取出更加鲁棒和稳定的特征表示;2.参数化解耦:接下来,对平滑后的特征图进行参数化解耦,这意味着将特征图表示为一组参数化的表示形式,以便更好地捕捉特征之间的关系和变化,参数化解耦可以提高特征的可解释性和表达能力;3.融合:最后,通过将不同尺度的特征图进行融合,得到优化后的全局特征图,融合可以通过加权求和、拼接或其他方法来实现,优化后的全局特征图包含了来自不同尺度的信息,并且经过平滑和参数化解耦的处理,具有更好的表达能力和鲁棒性。总的来说,平滑响应参数化解耦融合是一种将多尺度特征图进行优化和融合的方法,它通过平滑处理、参数化解耦和融合操作,提取出更好的全局特征表示,用于后续的分类或其他任务。
在本申请的技术方案中,将所述车辆多尺度特征图通过非局部神经网络模型以得到车辆多尺度全局特征图时,仍然期望在通过非局部神经网络模型使得所述车辆多尺度全局特征图表达所述外观监控图像的全局图像语义特征的同时,仍然尽可能保留所述外观监控图像通过基于金字塔网络的图像多尺度特征提取器提取到的多尺度的局部图像语义特征在分类器的类规则下的特征表达,因此,本申请的申请人基于所述车辆多尺度特征图的多尺度局部图像语义特征表示来对所述车辆多尺度全局特征图进行优化。
具体地,对所述车辆多尺度特征图和所述车辆多尺度全局特征图进行平滑响应参数化解耦融合,来获得优化后的车辆多尺度全局特征图。
这样,能够基于车辆的外观特征自动选择最适合的洗车程序和清洗剂,以提供更精确、高效和个性化的洗车服务,从而提高洗车效果的一致性和质量,提升用户体验。
更具体地,所述分类单元,进一步用于:将所述优化后的车辆多尺度全局特征图按照行向量或者列向量展开为优化分类特征向量;使用所述分类器的全连接层对所述优化分类特征向量进行全连接编码以得到编码分类特征向量;以及,将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
应可以理解,分类器的作用是利用给定的类别、已知的训练数据来学习分类规则和分类器,然后对未知数据进行分类(或预测)。逻辑回归(logistics)、SVM等常用于解决二分类问题,对于多分类问题(multi-class classification),同样也可以用逻辑回归或SVM,只是需要多个二分类来组成多分类,但这样容易出错且效率不高,常用的多分类方法有Softmax分类函数。
值得一提的是,全连接编码(Fully Connected Encoding)是指将输入向量通过全连接层进行编码的过程。全连接层是神经网络中的一种常见层类型,其中每个神经元都与前一层的所有神经元相连,每个连接都有一个权重。在全连接层中,输入向量中的每个元素都与权重相乘并通过激活函数进行激活,从而生成编码后的特征向量。全连接编码在所述优化后的车辆多尺度全局特征图分类中的作用是将多尺度全局特征图转化为具有更高级别的特征表示,以便于后续的分类任务。通过全连接编码,可以将原始的多尺度特征图转换为具有更高维度和更丰富语义信息的特征向量。全连接编码的过程可以帮助模型学习到更抽象和有区分度的特征表示,以更好地区分不同类别的车辆。编码后的特征向量可以捕捉到多尺度全局特征图中的重要特征,并且具有更好的表示能力和泛化能力。这样,分类器可以更准确地根据编码后的特征向量来判断车辆所属的类型标签。在所述优化后的车辆多尺度全局特征图分类中,全连接编码是在全连接层中对特征向量进行映射和编码的过程。它可以帮助提取更高级别的特征表示,并为分类器提供更有区分度的输入,从而提高分类的准确性和性能。
综上,基于本公开实施例的智能洗车机的系统100被阐明,其可以基于车辆的外观特征自动选择最适合的洗车程序和清洗剂,以提供更精确、高效和个性化的洗车服务。
如上所述,根据本公开实施例的所述智能洗车机的系统100可以实现在各种终端设备中,例如具有智能洗车机的算法的服务器等。在一个示例中,智能洗车机的系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如,该智能洗车机的系统100可以是该终端设备的操作系统中的一个软件模块,或者可以是针对于该终端设备所开发的一个应用程序;当然,该智能洗车机的系统100同样可以是该终端设备的众多硬件模块之一。
替换地,在另一示例中,该智能洗车机的系统100与该终端设备也可以是分立的设备,并且该智能洗车机的系统100可以通过有线和/或无线网络连接到该终端设备,并且按照约定的数据格式来传输交互信息。
进一步地,本公开的实施例还提供一种智能洗车机,其中,所述智能洗车机以如前任一所述的智能洗车机的系统运行。
图4示出根据本公开的实施例的智能洗车机的方法的流程图。图5示出根据本公开的实施例的智能洗车机的方法的系统架构的示意图。如图4和图5所示,根据本公开实施例的智能洗车机的方法,其包括:S110,通过摄像头采集待洗车辆的外观监控图像;S120,对所述外观监控图像进行图像特征分析以得到车辆外观特征;以及,S130,基于所述车辆外观特征,确定推荐的汽车程序的类型标签。
这里,本领域技术人员可以理解,上述智能洗车机的方法中的各个步骤的具体操作已经在上面参考图1到图3的智能洗车机的系统的描述中得到了详细介绍,并因此,将省略其重复描述。
图6示出根据本公开的实施例的智能洗车机的系统的应用场景图。如图6所示,在该应用场景中,首先,通过摄像头采集待洗车辆的外观监控图像(例如,图6中所示意的D),然后,将所述外观监控图像输入至部署有智能洗车机的算法的服务器中(例如,图6中所示意的S),其中,所述服务器能够使用所述智能洗车机的算法对所述外观监控图像进行处理以得到用于表示推荐的汽车程序的类型标签的分类结果。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (4)
1.一种智能洗车机的系统,其特征在于,包括:
车辆外观图像采集模块,用于通过摄像头采集待洗车辆的外观监控图像;
车辆外观特征分析模块,用于对所述外观监控图像进行图像特征分析以得到车辆外观特征;以及
汽车程序推荐模块,用于基于所述车辆外观特征,确定推荐的汽车程序的类型标签;
其中,所述车辆外观特征分析模块,包括:
图像增强单元,用于对所述外观监控图像进行图像增强处理以得到预处理后外观监控图像;以及
车辆外观图像特征提取单元,用于对所述预处理后外观监控图像进行图像特征提取以得到所述车辆外观特征;
其中,所述车辆外观图像特征提取单元,包括:
车辆外观多尺度特征提取子单元,用于通过基于深度神经网络模型的图像多尺度特征提取器对所述预处理后外观监控图像进行图像特征提取以得到车辆外观浅层特征图、车辆外观中层特征图和车辆外观深层特征图;
多尺度特征融合子单元,用于通过自适应融合模块来融合所述车辆外观浅层特征图、所述车辆外观中层特征图和所述车辆外观深层特征图以得到车辆多尺度特征图;以及
全局感知子单元,用于对所述车辆多尺度特征图进行全局感知特征强化以得到车辆多尺度全局特征图作为所述车辆外观特征;
其中,所述全局感知子单元,进一步用于:
将所述车辆多尺度特征图通过非局部神经网络模型以得到所述车辆多尺度全局特征图;
其中,所述汽车程序推荐模块,包括:
融合单元,用于对所述车辆多尺度特征图和所述车辆多尺度全局特征图进行平滑响应参数化解耦融合以得到优化后的车辆多尺度全局特征图;以及
分类单元,用于将所述优化后的车辆多尺度全局特征图通过分类器以得到分类结果,所述分类结果用于表示推荐的汽车程序的类型标签;
其中,所述融合单元,进一步用于:
对所述车辆多尺度特征图和所述车辆多尺度全局特征图进行平滑响应参数化解耦融合以得到所述优化后的车辆多尺度全局特征图;
其中,所述平滑响应参数化解耦融合方法如下步骤进行,首先,对所述车辆多尺度特征图和所述车辆多尺度全局特征图进行平滑处理,接下来,对平滑后的特征图进行参数化解耦,即对平滑后的特征图进行参数化,最后,将所述车辆多尺度特征图和所述车辆多尺度全局特征图进行融合,得到优化后的全局特征图;
其中,所述分类单元,进一步用于:
将所述优化后的车辆多尺度全局特征图按照行向量或者列向量展开为优化分类特征向量;
使用所述分类器的全连接层对所述优化分类特征向量进行全连接编码以得到编码分类特征向量;以及
将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
2.根据权利要求1所述的智能洗车机的系统,其特征在于,所述图像增强单元,进一步用于:
对所述外观监控图像进行双边滤波处理以得到预处理后外观监控图像。
3.根据权利要求2所述的智能洗车机的系统,其特征在于,所述深度神经网络模型为金字塔网络。
4.一种智能洗车机,其特征在于,所述智能洗车机以如权利要求1至3所述的智能洗车机的系统运行。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310968746.0A CN116994202B (zh) | 2023-08-03 | 2023-08-03 | 智能洗车机及其系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310968746.0A CN116994202B (zh) | 2023-08-03 | 2023-08-03 | 智能洗车机及其系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116994202A CN116994202A (zh) | 2023-11-03 |
CN116994202B true CN116994202B (zh) | 2024-03-15 |
Family
ID=88526176
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310968746.0A Active CN116994202B (zh) | 2023-08-03 | 2023-08-03 | 智能洗车机及其系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116994202B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111985533A (zh) * | 2020-07-14 | 2020-11-24 | 中国电子科技集团公司第三十六研究所 | 一种基于多尺度信息融合的增量式水声信号识别方法 |
CN112699940A (zh) * | 2020-12-30 | 2021-04-23 | 腾讯科技(深圳)有限公司 | 一种车辆清洁关联资源推荐方法、装置及存储介质 |
CN113240047A (zh) * | 2021-06-02 | 2021-08-10 | 西安电子科技大学 | 基于部件解析多尺度卷积神经网络的sar目标识别方法 |
WO2021248833A1 (zh) * | 2020-06-12 | 2021-12-16 | 浙江驿公里智能科技有限公司 | 一种利用摄像头主动引导停车的防撞系统及方法 |
CN114071112A (zh) * | 2021-10-18 | 2022-02-18 | 北京魔鬼鱼科技有限公司 | 车辆点云识别成像方法及系统 |
CN115205615A (zh) * | 2022-05-27 | 2022-10-18 | 浙江大华技术股份有限公司 | 一种车辆清洁度检测方法、装置和计算机可读存储介质 |
CN115311327A (zh) * | 2022-07-11 | 2022-11-08 | 中国科学院合肥物质科学研究院 | 融合共现统计与fhog梯度特征的目标跟踪方法及系统 |
CN116429800A (zh) * | 2023-06-15 | 2023-07-14 | 鹰普罗斯叶轮(宜兴)有限公司 | 一种用于铝合金叶轮的无触式探伤方法及其系统 |
CN116434069A (zh) * | 2023-04-27 | 2023-07-14 | 南京信息工程大学 | 一种基于局部-全局Transformer网络的遥感图像变化检测方法 |
-
2023
- 2023-08-03 CN CN202310968746.0A patent/CN116994202B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021248833A1 (zh) * | 2020-06-12 | 2021-12-16 | 浙江驿公里智能科技有限公司 | 一种利用摄像头主动引导停车的防撞系统及方法 |
CN111985533A (zh) * | 2020-07-14 | 2020-11-24 | 中国电子科技集团公司第三十六研究所 | 一种基于多尺度信息融合的增量式水声信号识别方法 |
CN112699940A (zh) * | 2020-12-30 | 2021-04-23 | 腾讯科技(深圳)有限公司 | 一种车辆清洁关联资源推荐方法、装置及存储介质 |
CN113240047A (zh) * | 2021-06-02 | 2021-08-10 | 西安电子科技大学 | 基于部件解析多尺度卷积神经网络的sar目标识别方法 |
CN114071112A (zh) * | 2021-10-18 | 2022-02-18 | 北京魔鬼鱼科技有限公司 | 车辆点云识别成像方法及系统 |
CN115205615A (zh) * | 2022-05-27 | 2022-10-18 | 浙江大华技术股份有限公司 | 一种车辆清洁度检测方法、装置和计算机可读存储介质 |
CN115311327A (zh) * | 2022-07-11 | 2022-11-08 | 中国科学院合肥物质科学研究院 | 融合共现统计与fhog梯度特征的目标跟踪方法及系统 |
CN116434069A (zh) * | 2023-04-27 | 2023-07-14 | 南京信息工程大学 | 一种基于局部-全局Transformer网络的遥感图像变化检测方法 |
CN116429800A (zh) * | 2023-06-15 | 2023-07-14 | 鹰普罗斯叶轮(宜兴)有限公司 | 一种用于铝合金叶轮的无触式探伤方法及其系统 |
Non-Patent Citations (4)
Title |
---|
Multi-scale deep feature fusion for vehicle re-identification;Cheng Y等;《ICASSP 2020-2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)》;20200508;1928-1932 * |
基于多尺度卷积特征融合的行人重识别;徐龙壮等;《Laser & Optoelectronics Progress》;20191231;第56卷(第14期);1-7 * |
基于深度神经网络的图像语义分割研究综述;景庄伟等;《计算机工程》;20201231(第10期);7-23 * |
多尺度非局部注意力网络的小目标检测算法;梁延禹等;《计算机科学与探索》;20191225;第14卷(第10期);1744-1753 * |
Also Published As
Publication number | Publication date |
---|---|
CN116994202A (zh) | 2023-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108229267B (zh) | 对象属性检测、神经网络训练、区域检测方法和装置 | |
Kang et al. | Convolutional neural networks for no-reference image quality assessment | |
CN112560831B (zh) | 一种基于多尺度空间校正的行人属性识别方法 | |
Marzuki et al. | A design of license plate recognition system using convolutional neural network | |
CN116012291A (zh) | 工业零件图像缺陷检测方法及系统、电子设备和存储介质 | |
US20220004824A1 (en) | System and method to alter an image | |
CN113139501B (zh) | 一种联合局部区域检测与多级特征抓取的行人多属性识别方法 | |
CN116740384B (zh) | 洗地机的智能控制方法及系统 | |
CN114882599A (zh) | 基于双分支神经网络的离线手写签名分割系统和方法 | |
Liang et al. | Deep multi-label learning for image distortion identification | |
CN117676099B (zh) | 基于物联网的安全预警方法及系统 | |
CN117576781A (zh) | 基于行为识别的训练强度监测系统及方法 | |
Bandi et al. | Assessing car damage with convolutional neural networks | |
CN117542067B (zh) | 一种基于视觉识别的区域标注表单识别方法 | |
CN117067112B (zh) | 一种水切割机及其控制方法 | |
CN114529730A (zh) | 一种基于lbp特征的卷积神经网络地面材质图像分类方法 | |
CN112836755B (zh) | 基于深度学习的样本图像生成方法及其系统 | |
CN118135209A (zh) | 一种基于形状块语义关联度的弱监督语义分割方法 | |
Anees et al. | Deep learning framework for density estimation of crowd videos | |
CN116994202B (zh) | 智能洗车机及其系统 | |
Hepburn et al. | Enforcing perceptual consistency on generative adversarial networks by using the normalised laplacian pyramid distance | |
Muthusamy et al. | Deep belief network for solving the image quality assessment in full reference and no reference model | |
Cao et al. | No-reference image quality assessment by using convolutional neural networks via object detection | |
Gibson et al. | A no-reference perceptual based contrast enhancement metric for ocean scenes in fog | |
US20220270351A1 (en) | Image recognition evaluation program, image recognition evaluation method, evaluation apparatus, and evaluation system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |