CN112406788A - 车窗自动清洁方法及装置 - Google Patents

车窗自动清洁方法及装置 Download PDF

Info

Publication number
CN112406788A
CN112406788A CN201910786726.5A CN201910786726A CN112406788A CN 112406788 A CN112406788 A CN 112406788A CN 201910786726 A CN201910786726 A CN 201910786726A CN 112406788 A CN112406788 A CN 112406788A
Authority
CN
China
Prior art keywords
cleaning tool
determining
preset
pixels
window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910786726.5A
Other languages
English (en)
Other versions
CN112406788B (zh
Inventor
张峻豪
王改良
黄为
徐文康
黄晓林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201910786726.5A priority Critical patent/CN112406788B/zh
Priority to EP20859291.5A priority patent/EP4011715A4/en
Priority to PCT/CN2020/102184 priority patent/WO2021036559A1/zh
Publication of CN112406788A publication Critical patent/CN112406788A/zh
Priority to US17/678,334 priority patent/US20220176912A1/en
Application granted granted Critical
Publication of CN112406788B publication Critical patent/CN112406788B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B60S1/0833—Optical rain sensor
    • B60S1/0844—Optical rain sensor including a camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
    • B60H1/00—Heating, cooling or ventilating [HVAC] devices
    • B60H1/00642—Control systems or circuits; Control members or indication devices for heating, cooling or ventilating devices
    • B60H1/00735—Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models
    • B60H1/00785—Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models by the detection of humidity or frost
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0896—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to a vehicle driving condition, e.g. speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/46—Cleaning windscreens, windows or optical devices using liquid; Windscreen washers
    • B60S1/48—Liquid supply therefor
    • B60S1/481—Liquid supply therefor the operation of at least part of the liquid supply being controlled by electric means
    • B60S1/485—Liquid supply therefor the operation of at least part of the liquid supply being controlled by electric means including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Water Supply & Treatment (AREA)
  • Thermal Sciences (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Stored Programmes (AREA)

Abstract

本申请提供了一种车窗自动清洁方法及装置，涉及通信领域，用于根据车窗图像中的像素的取值，检测车窗上的杂物，并控制清洁工具进行自动清洁，减少人工操作。该方法包括：获取车窗图像。确定单帧车窗图像对应的暗通道图像。进而根据暗通道图像中灰度值超过预设灰度阈值的像素的数量和/或暗通道图像的清晰度，确定车窗上存在第一类杂物，和/或根据连续i帧车窗图像中的像素的RGB值，确定车窗上存在第二类杂物。控制清洁工具去除杂物，所述杂物包括第一类杂物和/或第二类杂物。

Description

车窗自动清洁方法及装置
技术领域
本申请涉及通信技术领域，尤其涉及一种车窗自动清洁方法及装置。
背景技术
车辆在行驶途中，由于车辆内外的温差过大导致车窗上产生水雾甚至霜等，遮挡驾驶员的视线，使得驾驶员需要手动控制除雾系统来进行除雾操作；且由于周围环境的影响，车窗上可能会出现杂物，例如树叶、尘土等，驾驶员也需要手动操作清洁装置，例如雨刮器和清洁液喷洒装置等，去除杂物，给驾驶员的驾驶过程带来不便，降低清洁车窗上的杂物的效率。
发明内容
本申请提供一种车窗自动清洁方法，以实现车窗的自动清洁，提高清洁车窗上的杂物的效率。
为达到上述目的，本申请采用如下技术方案：
第一方面，本申请实施例提供一种车窗自动清洁方法，该方法应用于车辆中，该方法包括：获取车窗图像。确定单帧车窗图像对应的暗通道图像，根据暗通道图像中灰度值超过预设灰度阈值的像素的数量和/或暗通道图像的清晰度，确定车窗上存在第一类杂物；和/或根据连续i帧车窗图像中的像素的RGB值，确定车窗上存在第二类杂物。控制清洁工具去除第一类杂物和/或第二类杂物。
在本申请实施例所描述的车窗自动清洁方法中，利用单帧车窗图像对应的暗通道图像中的像素的灰度值，对车窗上的第一类杂物进行检测，和/或利用连续i帧车窗图像中的像素的RGB值对车窗上的第二类杂物进行检测。若车窗上存在第一类杂物和/或第二类杂物，控制清洁工具进行除杂。首先，在进行杂物检测后进行清洁，可以减少盲目清洁，提高清洁效率，节省清洁资源。另外，通过上述过程，本申请实施例可以实现车窗的自动清洁，减少人工操作，提高车辆驾驶过程中的安全性。
在一种可能的实现方式中，根据连续i帧车窗图像中的像素的RGB值，确定车窗上存在第二类杂物，具体包括：先根据连续i帧车窗图像中像素的RGB值，建立图像背景模型。再根据图像背景模型中的像素的RGB值，确定第一区域，进而确定第一区域内存在第二类杂物。其中，图像背景模型中的像素的RGB值表示连续i帧车窗图像中同一位置的像素的RGB值的变化，i为大于1的整数，第一区域为连续i帧车窗图像中RGB值未发生变化的像素对应的车窗区域。
在本申请实施例所描述的车窗自动清洁方法中，由于在车辆行驶过程中，若车窗上存在落叶等杂物时，车窗上除存在落叶外的位置的画面(像素取值)会随着车辆的行驶发生变化，而车窗上存在落叶的位置的画面(像素取值)不会随着车辆的行驶发生变化或者发生的变化程度较小。因此，根据可以表示连续i帧车窗图像中同一位置的像素的RGB值的变化的图像背景模型中的像素的RGB值，来确定车窗上存在第二类杂物的第一区域，可以提高确定车窗上存在第二类杂物，以及确定车窗上存在第二类杂物的第一区域的准确性。
在一种可能的实现方式中，在根据图像背景模型中的像素的RGB值，确定第一区域之后，还包括：在连续j帧车窗图像中的每一帧车窗图像上确定与第一区域相对应的一个第二区域，得到j个第二区域。若这j个第二区域内同一位置的像素的RGB值未发生变化，则确定第一区域内存在第二类杂物。其中，连续j帧车窗图像位于连续i帧车窗图像之后，j为大于1的整数。
在本申请实施例所描述的车窗自动清洁方法中，根据连续i帧车窗图像确定车窗上的第一区域之后，进一步根据第一区域以及连续j帧车窗图像中的第二区域，根据第二区域中同一位置的像素的变化来确定第一区域内存在第二类杂物，从而进一步提高检测车窗上存在第二类杂物的准确性。
在一种可能的实现方式中，根据暗通道图像中灰度值超过预设灰度阈值的像素的数量和/或暗通道图像的清晰度，确定车窗上存在第一类杂物，具体包括：若暗通道图像中灰度值未超过预设灰度阈值的像素的数量小于等于暗通道图像中灰度值超过预设灰度阈值的像素的数量，和/或暗通道图像的清晰度小于预设清晰度，则确定车窗上存在第一类杂物。其中，暗通道图像的清晰度为暗通道图像中像素的灰度值的方差。
在一种可能的实现方式中，根据连续i帧车窗图像中像素的RGB值，建立图像背景模型，具体包括：根据连续i帧车窗图像中同一位置的像素的RGB值的均值，确定连续i帧车窗图像的均值图像。然后根据连续i帧车窗图像的均值图像中的像素的RGB值与第i帧车窗图像中的像素的RGB值的差值，建立图像背景模型。
在一种可能的实现方式中，根据图像背景模型中的像素的RGB值，确定第一区域，具体包括：根据图像背景模型中的像素的RGB值以及第一预设算法，确定第一区域。其中，第一预设算法为显著性检测算法或者目标检测算法。
在一种可能的实现方式中，在确定第一区域内存在第二类杂物之前，还包括：先确定图像背景模型中与第一区域相对应的第三区域，然后确定每个第二区域中像素的RGB值与第三区域中同一位置的像素的RGB值的差值并进行累加，得到累加值。若累加值超过预设阈值，则确定j个第二区域内同一位置的像素的RGB值发生变化。
在一种可能的实现方式中，控制清洁工具去除杂物，具体包括：根据车内外温度数据控制第一清洁工具开启预设时长，去除第一类杂物，和/或先根据行驶状态和/或驾驶员状态、行驶状态和/或驾驶员状态对应的第一预设权重参数，以及第二清洁工具连续工作的最大时长，确定第二清洁工具工作时长，再根据行驶状态和/或驾驶员状态、行驶状态和/或驾驶员状态对应的第二预设权重参数，以及第二清洁工具工作的最大频率，确定第二清洁工具工作频率，最后根据第二清洁工具工作时长以及第二清洁工具工作频率控制第二清洁工具清洁第一区域，去除第二类杂物。
在本申请实施例所描述的车窗自动清洁方法中，在不同的行驶状态或者不同的驾驶员状态下，对第二清洁工具的工作时长以及工作频率进行适应性的调整，可以最小程度的减少车窗清洁对驾驶员造成的影响，保证车辆驾驶过程中的安全性。
在一种可能的实现方式中，根据行驶状态和/或驾驶员状态、行驶状态和/或驾驶员状态对应的第一预设权重参数，以及第二清洁工具连续工作的最大时长，确定第二清洁工具工作时长，具体包括：根据行驶状态、驾驶员状态、行驶状态对应的第一预设权重参数、驾驶员状态对应的第一预设权重参数、第二清洁工具连续工作的最大时长以及第二预设算法，确定第二清洁工具工作时长。其中，第二预设算法为
Figure BDA0002178269550000031
t1为第二清洁工具工作时长，ts-max为第二清洁工具连续工作的最大时长，e为自然对数的底数，a1和β1分别为行驶状态和驾驶员状态对应的第一预设权重参数，α1+β1＝1，s1表示行驶状态、s2表示驾驶员状态。
在一种可能的实现方式中，根据行驶状态和/或驾驶员状态、行驶状态和/或驾驶员状态对应的第二预设权重参数，以及第二清洁工具工作的最大频率，确定第二清洁工具工作频率，具体包括：根据行驶状态、驾驶员状态、行驶状态对应的第二预设权重参数、驾驶员状态对应的第二预设权重参数、第二清洁工具工作的最大频率以及第三预设算法，确定第二清洁工具工作频率。其中，第三预设算法为
Figure BDA0002178269550000032
f为第二清洁工具工作频率，fmax为第二清洁工具工作的最大频率，e为自然对数的底数，α2和β2分别为行驶状态和驾驶员状态对应的第二预设权重参数，α2+β2＝1，s1表示行驶状态、s2表示驾驶员状态。
在一种可能的实现方式中，在根据第二清洁工具工作时长以及第二清洁工具工作频率控制第二清洁工具清洁第一区域之后，还包括：先根据行驶状态和/或驾驶员状态、行驶状态和/或驾驶员状态对应的第三预设权重参数，以及第三清洁工具连续工作的最大时长，确定第三清洁工具工作时长。再根据行驶状态和/或驾驶员状态、行驶状态和驾驶员状态对应的第四预设权重参数，以及第三清洁工具工作的最大间隔，确定第三清洁工具工作间隔。最后根据第三清洁工具工作时长以及第三清洁工具工作间隔控制第三清洁工具清洁第一区域，并根据第二清洁工具工作时长以及第二清洁工具工作频率控制第二清洁工具清洁第一区域，去除第二类杂物。
在本申请实施例所描述的车窗自动清洁方法中，在不同的行驶状态或者不同的驾驶员状态下，对第二清洁工具的工作时长以及工作频率进行适应性的调整，在可以最小程度的减少车窗清洁对驾驶员造成的影响，保证车辆驾驶过程中的安全性。利用多种清洁工具对车窗进行自动清洁可以最大程度的提高清洁效率，从而进一步提高车辆驾驶过程中的安全性。
在一种可能的实现方式中，根据行驶状态和/或驾驶员状态、行驶状态和/或驾驶员状态对应的第三预设权重参数，以及第三清洁工具连续工作的最大时长，确定第三清洁工具工作时长，具体包括：根据行驶状态、驾驶员状态、行驶状态对应的第三预设权重参数、驾驶员状态对应的第三预设权重参数、第三清洁工具连续工作的最大时长以及第四预设算法，确定第三清洁工具工作时长。其中，第四预设算法为
Figure BDA0002178269550000033
t2为第三清洁工具工作时长，tl-max为第三清洁工具连续工作的最大时长，e为自然对数的底数，α3和β3分别为所述行驶状态和所述驾驶员状态对应的第三预设权重参数，α3+β3＝1，s1表示行驶状态、s2表示驾驶员状态。
在一种可能的实现方式中，根据行驶状态和/或驾驶员状态、行驶状态和驾驶员状态对应的第四预设权重参数，以及第三清洁工具工作的最大间隔，确定第三清洁工具工作间隔，具体包括：根据行驶状态、驾驶员状态、行驶状态对应的第四预设权重参数、驾驶员状态对应的第四预设权重参数、第三清洁工具工作的最大间隔以及第五预设算法，确定第三清洁工具工作间隔。其中，第五预设算法为
Figure BDA0002178269550000034
Δt为第三清洁工具工作间隔，Δtmax为第三清洁工具工作的最大间隔，e为自然对数的底数，α4和β4分别为行驶状态和驾驶员状态对应的第四预设权重参数，α4+β4＝1，s1表示行驶状态、s2表示驾驶员状态。
第二方面，本申请实施例提供一种车窗自动清洁装置，该装置应用于车辆中该方法包括获取单元、确定单元以及控制单元。获取单元，用于获取车窗图像。确定单元，用于确定单帧车窗图像对应的暗通道图像。确定单元，还用于根据暗通道图像中灰度值超过预设灰度阈值的像素的数量和/或暗通道图像的清晰度，确定车窗上存在第一类杂物；和/或确定单元，还用于根据连续i帧车窗图像中的像素的RGB值，确定车窗上存在第二类杂物。控制单元，用于控制清洁工具去除第一类杂物和/或第二类杂物。
在一种可能的实现方式中，确定单元，具体用于先根据连续i帧车窗图像中像素的RGB值，建立图像背景模型。再根据图像背景模型中的像素的RGB值，确定第一区域，进而确定第一区域内存在第二类杂物。其中，第一区域为连续i帧车窗图像中RGB值未发生变化的像素对应的车窗区域，图像背景模型中的像素的RGB值表示连续i帧车窗图像中同一位置的像素的RGB值的变化，i为大于1的整数。
在一种可能的实现方式中，确定单元，在根据图像背景模型中的像素的RGB值，确定第一区域之后，还用于在连续j帧车窗图像中的每一帧车窗图像上确定与第一区域相对应的一个第二区域，得到j个第二区域。若这j个第二区域内同一位置的像素的RGB值未发生变化，则确定第一区域内存在第二类杂物。其中，连续j帧车窗图像位于连续i帧车窗图像之后，j为大于1的整数。
在一种可能的实现方式中，确定单元，具体用于若暗通道图像中灰度值未超过预设灰度阈值的像素的数量小于等于暗通道图像中灰度值超过预设灰度阈值的像素的数量，和/或暗通道图像的清晰度小于预设清晰度，则确定车窗上存在第一类杂物。其中，暗通道图像的清晰度为暗通道图像中像素的灰度值的方差。
在一种可能的实现方式中，确定单元，具体用于根据连续i帧车窗图像中同一位置的像素的RGB值的均值，确定连续i帧车窗图像的均值图像。然后根据连续i帧车窗图像的均值图像中的像素的RGB值与第i帧车窗图像中的像素的RGB值的差值，建立图像背景模型。
在一种可能的实现方式中，确定单元，具体用于根据图像背景模型中的像素的RGB值以及第一预设算法，确定第一区域。其中，第一预设算法为显著性检测算法或者目标检测算法。
在一种可能的实现方式中，确定单元，还用于先确定图像背景模型中与第一区域相对应的第三区域，然后确定每个第二区域中像素的RGB值与第三区域中同一位置的像素的RGB值的差值并进行累加，得到累加值。若累加值超过预设阈值，则确定j个第二区域内同一位置的像素的RGB值发生变化。
在一种可能的实现方式中，控制单元，具体用于根据车内外温度数据控制第一清洁工具开启预设时长，去除第一类杂物，和/或先根据行驶状态和/或驾驶员状态、行驶状态和/或驾驶员状态对应的第一预设权重参数，以及第二清洁工具连续工作的最大时长，确定第二清洁工具工作时长，再根据行驶状态和/或驾驶员状态、行驶状态和/或驾驶员状态对应的第二预设权重参数，以及第二清洁工具工作的最大频率，确定第二清洁工具工作频率，最后根据第二清洁工具工作时长以及第二清洁工具工作频率控制第二清洁工具清洁第一区域，去除第二类杂物。
在一种可能的实现方式中，控制单元，具体用于根据行驶状态和/或驾驶员状态、行驶状态和/或驾驶员状态对应的第一预设权重参数，以及第二清洁工具连续工作的最大时长，确定第二清洁工具工作时长，具体包括：根据行驶状态、驾驶员状态、行驶状态对应的第一预设权重参数、驾驶员状态对应的第一预设权重参数、第二清洁工具连续工作的最大时长以及第二预设算法，确定第二清洁工具工作时长。其中，第二预设算法为
Figure BDA0002178269550000051
t1为第二清洁工具工作时长，ts-max为第二清洁工具连续工作的最大时长，e为自然对数的底数，α1和β1分别为行驶状态和驾驶员状态对应的第一预设权重参数，α1+β1＝1，s1表示行驶状态、s2表示驾驶员状态。
在一种可能的实现方式中，控制单元，具体用于根据行驶状态和/或驾驶员状态、行驶状态和/或驾驶员状态对应的第二预设权重参数，以及第二清洁工具工作的最大频率，确定第二清洁工具工作频率，具体包括：根据行驶状态、驾驶员状态、行驶状态对应的第二预设权重参数、驾驶员状态对应的第二预设权重参数、第二清洁工具工作的最大频率以及第三预设算法，确定第二清洁工具工作频率。其中，第三预设算法为
Figure BDA0002178269550000052
f为第二清洁工具工作频率，fmax为第二清洁工具工作的最大频率，e为自然对数的底数，α2和β2分别为行驶状态和驾驶员状态对应的第二预设权重参数，α2+β2＝1，s1表示行驶状态、s2表示驾驶员状态。
在一种可能的实现方式中，控制单元，具体用于在根据第二清洁工具工作时长以及第二清洁工具工作频率控制第二清洁工具清洁第一区域之后，还包括：先根据行驶状态和/或驾驶员状态、行驶状态和/或驾驶员状态对应的第三预设权重参数，以及第三清洁工具连续工作的最大时长，确定第三清洁工具工作时长。再根据行驶状态和/或驾驶员状态、行驶状态和驾驶员状态对应的第四预设权重参数，以及第三清洁工具工作的最大间隔，确定第三清洁工具工作间隔。最后根据第三清洁工具工作时长以及第三清洁工具工作间隔控制第三清洁工具清洁第一区域，并根据第二清洁工具工作时长以及第二清洁工具工作频率控制第二清洁工具清洁第一区域，去除第二类杂物。
在一种可能的实现方式中，控制单元，具体用于根据行驶状态和/或驾驶员状态、行驶状态和/或驾驶员状态对应的第三预设权重参数，以及第三清洁工具连续工作的最大时长，确定第三清洁工具工作时长，具体包括：根据行驶状态、驾驶员状态、行驶状态对应的第三预设权重参数、驾驶员状态对应的第三预设权重参数、第三清洁工具连续工作的最大时长以及第四预设算法，确定第三清洁工具工作时长。其中，第四预设算法为
Figure BDA0002178269550000053
t2为第三清洁工具工作时长，tl-max为第三清洁工具连续工作的最大时长，e为自然对数的底数，α3和β3分别为所述行驶状态和所述驾驶员状态对应的第三预设权重参数，α3+β3＝1，s1表示行驶状态、s2表示驾驶员状态。
在一种可能的实现方式中，控制单元，具体用于根据行驶状态和/或驾驶员状态、行驶状态和驾驶员状态对应的第四预设权重参数，以及第三清洁工具工作的最大间隔，确定第三清洁工具工作间隔，具体包括：根据行驶状态、驾驶员状态、行驶状态对应的第四预设权重参数、驾驶员状态对应的第四预设权重参数、第三清洁工具工作的最大间隔以及第五预设算法，确定第三清洁工具工作间隔。其中，第五预设算法为
Figure BDA0002178269550000054
Δt为第三清洁工具工作间隔，Δtmax为第三清洁工具工作的最大间隔，e为自然对数的底数，α4和β4分别为行驶状态和驾驶员状态对应的第四预设权重参数，α4+β4＝1，s1表示行驶状态、s2表示驾驶员状态。
第三方面，提供一种车窗自动清洁装置，包括：处理器和存储器；该存储器用于存储计算机执行指令，当该车窗自动清洁装置运行时，该处理器执行该存储器存储的该计算机执行指令，以使该车窗自动清洁装置执行如上述第一方面以及第一方面中任一项的车窗自动清洁方法。
第四方面，本申请实施例中还提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如上述第一方面以及第一方面中任一项的车窗自动清洁方法。
第五方面，本申请实施例中还提供一种计算机程序产品，包括指令，当其在计算机上运行时，使得计算机执行如上述第一方面以及第一方面中任一项的车窗自动清洁方法。
附图说明
图1为本申请实施例提供的一种车辆的结构示意图一；
图2为本申请实施例提供的一种车辆的结构示意图二；
图3为本申请实施例提供的一种计算机系统的结构示意图；
图4为本申请实施例提供的车窗自动清洁方法流程示意图一；
图5为本申请实施例提供的一种车内摄像头安装位置示意图；
图6为本申请实施例提供的车窗自动清洁方法流程示意图二；
图7为本申请实施例提供的车窗自动清洁方法流程示意图三；
图8为本申请实施例提供的车窗自动清洁装置的结构示意图一；
图9为本申请实施例提供的车窗自动清洁装置的结构示意图二。
具体实施方式
本申请实施例提供的车窗自动清洁方法应用在车辆中，或者应用于具有车窗清洁功能的其他设备(比如云端服务器)中。车辆可通过其包含的组件(包括硬件和软件)实施本申请实施例提供的车窗自动清洁方法，检测并自动清洁车窗上的杂物。或者，通过其他设备(比如服务器、手机终端等)实施本申请实施例的车窗自动清洁方法，在检测到车窗上存在杂物后进行自动清洁，以减少人工操作，提高车辆驾驶的安全性。
图1是本申请实施例提供的车辆100的功能框图。在一个实施例中，车辆100可以根据车内摄像头收集到的车窗图像确定车窗上是否存在杂物，进而控制车辆内的清洁工具进行自动车窗清洁，去除车窗上的杂物。
车辆100可包括各种子系统，例如行进系统110、传感器系统120、控制系统130、无线通信系统140、电源150、计算机系统160以及用户接口170。可选地，车辆100可包括更多或更少的子系统，并且每个子系统可包括多个元件。另外，车辆100的每个子系统和元件可以通过有线或者无线互连。
行进系统110可包括为车辆110提供动力的组件，例如引擎、传动装置等。
传感器系统120可包括感测关于车辆100周边的环境的信息的若干个传感器。例如，传感器系统120可包括定位系统121(定位系统可以是GPS系统，也可以是北斗系统或者其他定位系统)、惯性测量单元(inertial measurement unit，IMU)122、雷达传感器123、激光雷达124、视觉传感器125、超声波传感器126以及声纳传感器127中的至少一个。可选地，传感器系统120还可包括被监视车辆100的内部系统的传感器(例如，车内摄像头、车内空气质量监测器、燃油量表、机油温度表等)。来自这些传感器中的一个或多个的传感器数据可用于检测对象及其相应特性(位置、形状、方向、速度等)。这种检测和识别是保证车辆100的安全操作的关键功能。
定位系统121可用于估计车辆100的地理位置。IMU 122用于基于惯性加速度来感测车辆100的位置和朝向变化。在一个实施例中，IMU 122可以是加速度计和陀螺仪的组合。
雷达传感器123可利用电磁波信号来感测车辆100的周边环境内的物体。在一些实施例中，除了感测物体的位置以外，雷达传感器123还可用于感测物体的径向速度和/或该物体的雷达散射截面积RCS。
激光雷达124可利用激光来感测车辆100所位于的环境中的物体。在一些实施例中，激光雷达124可包括一个或多个激光源、激光扫描器以及一个或多个检测器，以及其他系统组件。
视觉传感器125可用于捕捉车辆100的周边环境的多个图像、车内环境的多个图像，其中，车内环境的多个图像中包括车窗图像。视觉传感器125可以是静态相机或视频相机。
控制系统130可控制车辆100及其组件的操作。控制系统130可包括各种元件，例如计算机视觉系统131、路线控制系统132、障碍规避系统133以及清洁系统134等系统中的至少一个。
计算机视觉系统131可以操作来处理和分析由视觉传感器125捕捉的图像以及由雷达传感器123得到的测量数据，以便识别车辆100周边环境中的物体和/或特征以及车辆内部，例如车窗上的杂物。车辆100周边环境中的物体和/或特征可包括交通信号、道路边界和障碍物。计算机视觉系统131可使用物体识别算法、运动中恢复结构(structure frommotion，SFM)算法、视频跟踪和其他计算机视觉技术。在一些实施例中，计算机视觉系统131可以用于为环境绘制地图、跟踪物体、估计物体的速度等等。
路线控制系统132用于确定车辆100的行驶路线。在一些实施例中，路线控制系统132可结合来自雷达传感器123、定位系统121和一个或多个预定地图的数据以为车辆100确定行驶路线。
障碍规避系统133用于识别、评估和避免或者以其他方式越过车辆100的环境中的潜在障碍物。
清洁系统134用于对车窗上的杂物进行清理，该清洁系统134中包括空调、清洁液喷洒器、雨刷等清洁工具。在本申请实施例中，清洁系统134可以结合来自视觉传感器125的车窗图像信息，对车窗上存在的杂物进行清理，以提高驾驶员在驾驶车辆过程中的安全性。
当然，在一个实例中，控制系统130可以增加或替换地包括除了所示出和描述的那些以外的组件。或者也可以减少一部分上述示出的组件。
车辆100可利用无线通信系统140获取所需信息，其中，无线通信系统140可以直接地或者经由通信网络来与一个或多个设备无线通信。例如，无线通信系统140可使用3G蜂窝通信，例如CDMA、EVD0、GSM/GPRS，或者4G蜂窝通信，例如LTE。或者5G蜂窝通信。无线通信系统140可利用WiFi与无线局域网(wireless local area network，WLAN)通信。在一些实施例中，无线通信系统140可利用红外链路、蓝牙或ZigBee与设备直接通信。其他无线协议，例如各种车辆通信系统，例如，无线通信系统140可包括一个或多个专用短程通信(dedicatedshort range communications，DSRC)设备。
车辆100的部分或所有功能受计算机系统160控制。计算机系统160可包括至少一个处理器161，处理器161执行存储在例如数据存储装置162这样的非暂态计算机可读介质中的指令1621。计算机系统160还可以是采用分布式方式控制车辆100的个体组件或子系统的多个计算设备。
处理器161可以是任何常规的处理器，诸如商业可获得的中央处理单元(centralprocessing unit，CPU)。替选地，该处理器可以是诸如专用集成电路(applicationspecific integrated circuit，ASIC)或其它基于硬件的处理器的专用设备。尽管图1功能性地图示了处理器、存储器、和在相同物理外壳中的其它元件，但是本领域的普通技术人员应该理解该处理器、计算机系统、或存储器实际上可以包括可以存储在相同的物理外壳内的多个处理器、计算机系统、或存储器，或者包括可以不存储在相同的物理外壳内的多个处理器、计算机系统、或存储器。例如，存储器可以是硬盘驱动器，或位于不同于物理外壳内的其它存储介质。因此，对处理器或计算机系统的引用将被理解为包括对可以并行操作的处理器或计算机系统或存储器的集合的引用，或者可以不并行操作的处理器或计算机系统或存储器的集合的引用。不同于使用单一的处理器来执行此处所描述的步骤，诸如转向组件和减速组件的一些组件每个都可以具有其自己的处理器，所述处理器只执行与特定于组件的功能相关的计算。
在此处所描述的各个方面中，处理器可以位于远离该车辆并且与该车辆进行无线通信。在其它方面中，此处所描述的过程中的一些在布置于车辆内的处理器上执行而其它则由远程处理器执行，包括采取执行单一操纵的必要步骤。
可选地，上述组件只是一个示例，实际应用中，上述各个模块中的组件有可能根据实际需要增添或者删除，图1不应理解为对本申请实施例的限制。
在道路上行进的汽车，如上面的车辆100，可以识别车窗上的杂物，并确定相应的清洁策略，使得车辆可以自动的进行车窗清洁。在一些示例中，可以独立地考虑每个识别的杂物，并且基于杂物各自的特性，诸如它的形状、面积等以及本车的行驶状态(例如速度)、驾驶员状态(例如驾驶员是否疲劳)，可以用来确定驾驶中汽车的车窗自动清洁策略。
可选地，车辆100或者与车辆100相关联的计算设备(如图1的计算机系统160、计算机视觉系统131、数据存储装置162)可以基于所获取的车窗图像来检测和识别车窗上的杂物。车辆100能够基于预测的车窗上的杂物以及车辆的行驶状态和驾驶员状态来调整它的清洁策略。换句话说，车辆能够基于所预测的杂物来确定车辆中的清洁工具将需要工作的时间以及频率。在这个过程中，也可以考虑其它因素来确定车辆100的车窗自动清洁策略，诸如，车辆100在行驶过程中周围车辆的状态、天气状况等等。
除了提供用于识别车窗上的杂物，以确定行驶汽车的车窗自动清洁策略之外，计算设备还可以提供车辆100指示自动清洁车窗杂物的指令，以使得驾驶过程中的汽车在保证安全的情况下，自动清洁其车窗上的杂物(例如，空调吹热风/冷风、喷洒清洁液、挥动雨刷)，使车窗保持洁净。
上述车辆100可以为轿车、卡车、摩托车、公共汽车、船、飞机、直升飞机、娱乐车、施工设备、电车、高尔夫球车、和火车等，本申请实施例不做特别的限定。
参见图2，示例性的，车辆中可以包括以下模块：
环境感知模块201，用于获取车内摄像头拍摄到的车窗图像，结合车窗图像确定车窗上是否存在杂物，包括第一类杂物和第二类杂物，并确定第二类杂物的位置。另外，环境感知模块201中至少包括温度传感器以及摄像头等检测装置。通过车内的摄像头实时获取车窗图像以及车窗视频等信息，通过温度传感器实时获取车内外温度数据等信息，并将所获取到的信息传递给中央处理模块202，以便于中央处理模块202生成相应的车窗自动清洁策略。
中央处理模块202(例如车载计算机)，用于从环境感知模块201接收车窗图像、车窗视频以及车内外温度数据等信息，中央处理模块202结合其内部保存的当前车辆的行驶状态(例如速度)以及驾驶员状态(例如驾驶员是否疲劳、驾驶员是否分心)，对从环境感知模块201接收到的车窗图像以及车窗视频进行检测和分析，确定车窗上存在第一类杂物和/或第二类杂物，并生成相应的清洁决策(例如雨刷的工作时长和工作频率等)，输出清洁决策所对应的动作指令，并向动作执行模块203发送该动作指令，以指示动作执行模块203按照动作指令对车窗进行自动清洁。
动作执行模块203，用于从中央处理模块202接收动作指令，并按照动作指令完成自动车窗清洁的操作。其中，动作执行模块中至少包括车辆内的清洁工具，例如雨刷、空调、清洁液喷洒器等。
车载通信模块204(图2中并未示出)：用于自车和其他车之间的信息交互。
存储组件205(图2中并未示出)，用于存储上述各个模块的可执行代码。运行这些可执行代码可实现本申请实施例的部分或全部方法流程。
在本申请实施例的一种可能的实现方式中，如图3所示，图1所示的计算机系统160包括处理器301，处理器301和系统总线302耦合。处理器301可以是一个或者多个处理器，其中每个处理器都可以包括一个或多个处理器核。显示适配器(video adapter)303，显示适配器303可以驱动显示器309，显示器309和系统总线302耦合。系统总线302通过总线桥304和输入输出(I/O)总线(BUS)305耦合。I/O接口306和I/O总线305耦合。I/O接口306和多种I/O设备进行通信，比如输入设备307(如：键盘，鼠标，触摸屏等)，多媒体盘(media tray)308，(例如，CD-ROM，多媒体接口等)。收发器315(可以发送和/或接收无线电通信信号)，摄像头310(可以捕捉静态和动态数字视频图像)和外部通用串行总线(universal serial bus，USB)接口311。其中，可选地，和I/O接口306相连接的接口可以是USB接口。
其中，处理器301可以是任何传统处理器，包括精简指令集计算(reducedinstruction set computer，RISC)处理器、复杂指令集计算(complex instruction setcomputer，CISC)处理器或上述的组合。可选地，处理器可以是诸如专用集成电路(ASIC)的专用装置。可选地，处理器301可以是神经网络处理器或者是神经网络处理器和上述传统处理器的组合。
可选地，在本文所述的各种实施例中，计算机系统160可位于远离车辆的地方，并且可与车辆100无线通信。在其它方面，本文所述的一些过程可设置在车辆内的处理器上执行，其它一些过程由远程处理器执行，包括采取执行单个操纵所需的动作。
计算机系统160可以通过网络接口312和软件部署服务器(deploying server)313通信。网络接口312是硬件网络接口，比如，网卡。网络(network)314可以是外部网络，比如因特网，也可以是内部网络，比如以太网或者虚拟私人网络(VPN)。可选地，网络314还可以为无线网络，比如WiFi网络，蜂窝网络等。
在本申请的另一些实施例中，本申请实施例的车窗自动清洁方法还可以由芯片系统执行。本申请实施例提供了一种芯片系统。由主CPU(Host CPU)和神经网络处理器(neural processing unit，NPU)共同配合，可实现图1中车辆100所需功能的相应算法，也可实现图2所示车辆所需功能的相应算法，也可以实现图3所示计算机系统160所需功能的相应算法。
在本申请的另一些实施例中，计算机系统160还可以从其它计算机系统接收信息或转移信息到其它计算机系统。或者，从车辆100的传感器系统120收集的传感器数据可以被转移到另一个计算机，由另一计算机对此数据进行处理。来自计算机系统160的数据可以经由网络被传送到云侧的计算机系统用于进一步的处理。网络以及中间节点可以包括各种配置和协议，包括因特网、万维网、内联网、虚拟专用网络、广域网、局域网、使用一个或多个公司的专有通信协议的专用网络、以太网、WiFi和HTTP、以及前述的各种组合。这种通信可以由能够传送数据到其它计算机和从其它计算机传送数据的任何设备执行，诸如调制解调器和无线接口。
本申请实施例提供的车窗自动清洁方法应用在车窗清洁的场景中，可以由车辆中的控制芯片、处理器等执行，例如图1中的处理器161或图3中的处理器301，另外，本申请实施例提供的车窗自动清洁方法也可以由具有车窗清洁功能的其他设备，例如云端服务器来执行，下面结合附图详细描述本申请实施例的车窗自动清洁方法。
为了实现车窗的自动清洁，本申请提供一种车窗自动清洁方法，该方法包括如下步骤S401-S405，下面结合图4和图5，对本申请的实施例进行描述：
S401、获取车窗图像。
其中，本申请实施例所指的车窗包括前挡风玻璃、后挡风玻璃、侧面车窗玻璃。相应的，车窗图像中是指车辆的前挡风玻璃图像和/或车辆的后挡风玻璃图像。可选的，车窗图像还可以为车辆侧面车窗玻璃图像。车窗图像中不包括车体其他部分。
可选的，利用车内的摄像头拍摄得到车窗图像。车内摄像头的数量可以为一个，也可以为多个。摄像头需要设置在能够获取到车窗图像的位置。
示例性的，如图5所示，区域501表示车辆的前挡风玻璃，区域502表示车辆的后挡风玻璃，区域503和区域504表示车辆侧面的车窗玻璃。车内摄像头可以设置在车辆的后挡风玻璃与车辆内顶部相连接的位置，如506和508所示的位置，摄像头位于该位置能够获取到车辆的后挡风玻璃图像。车内摄像头还可以设置在车辆侧面的车窗玻璃与车辆内顶部相连接的位置，如505和509所示的位置，摄像头位于该位置能够获取到车辆的前挡风玻璃图像、车辆的后挡风玻璃图像以及车辆侧面的车窗玻璃图像。车内摄像头还可以设置在车辆内顶部上，如507所示的位置，摄像头位于该位置能够获取到车辆的前挡风玻璃图像、车辆的后挡风玻璃图像或者车辆侧面的车窗玻璃图像。另外，需要说明的是，车内摄像头的位置可自行根据需求确定，并不局限于图5所示的位置。示例性的，摄像头也可以放置于车辆前挡风玻璃与车辆内顶相连接的位置，摄像头位于该位置能够获取到车辆的前挡风玻璃图像。
可选的，为了能够在检测到前挡风玻璃上存在杂物时，进行自动清洁，以减少前挡风玻璃上存在的杂物对驾驶员视线的遮挡，提高车辆行驶过程中的安全性，车内摄像头的位置需至少设置为车内可以拍摄到车辆前挡风玻璃(尤其是车辆驾驶员侧的前挡风玻璃)的位置。这样，在车辆行驶过程中，摄像头可以实时拍摄得到车辆的前挡风玻璃图像，从而实时检测前挡风玻璃上是否存在杂物。
本步骤中，获取车窗图像时，可以单次拍摄得到单帧车窗图像，也可以多次连续拍摄，得到多帧车窗图像。参见下述S402和S403，本申请实施例可以根据单帧车窗图像检测车窗上是否存在第一类杂物，如雾、霜等。参见下述S404，本申请实施例可以根据多帧车窗图像检测车窗上是否存在第二类杂物，如灰尘、落叶等杂质。
S402、确定单帧车窗图像对应的暗通道图像。
其中，单帧车窗图像为上述步骤S401中摄像头单次拍摄得到的，也可以是上述步骤S401中摄像头多次连续拍摄的得到的多帧车窗图像中的最后一帧，也可以是上述步骤S401中摄像头多次连续拍摄的得到的多帧车窗图像中的任意一帧。暗通道图像为单帧车窗图像的灰度值图像，相对于单帧车窗图像来说，其灰度值图像能够更为清楚地反映车窗上是否有雾。因此，本申请实施例中利用单帧车窗的暗通道图像来检测车窗上是否有雾。暗通道图像的每个像素与单帧车窗图像的每个像素之间一一对应，暗通道图像的每个像素的取值根据对应的同一位置的单帧车窗图像中的像素的取值计算得到。
以车窗图像中的任意像素x为例，根据单帧车窗图像中像素x的RGB值以及暗通道模型
Figure BDA0002178269550000111
进行计算，确定该像素x的灰度值，像素的灰度值的取值范围为0～255。其中，I表示单帧车窗图像，c表示像素的颜色通道，包括r通道、g通道、以及b通道，即红色通道、绿色通道和蓝色通道，Ic(x)表示像素x在r通道、g通道、b通道三个颜色通道上的取值，w为单帧车窗图像中以像素x为中心的大小为a*a的像素区域内的像素集合，a为大于0的整数，a的值可以根据实际需要确定，较为常见的a的值为1、3、5、7等。Jdark表示像素x的灰度值，Jdark的取值为w中像素在颜色通道(包括r、g、b三个颜色通道)上的最小值。
例如，单帧车窗图像中包括有5*5个像素，像素x为单帧车窗图像中第3行第3列的像素。w为单帧车窗图像中以像素x为中心的大小为3*3的像素区域内的像素集合，则该像素集合w包括单帧车窗图像中第2行第2列、第2行第3列、第2行第4列、第3行第2列、第3行第3列、第3行第4列、第4行第2列、第4行第3列、以及第4行第4列的像素。这些像素的RGB值分别为(255，146，85)、(254，150，90)、(240，165，100)、(244，163，98)、(240，159，95)、(248，160，99)、(249，159，89)、(239，149，85)、以及(245，157，99)。根据上述暗通道模型，确定w中的3*3个像素在r通道、g通道以及b通道三个颜色通道上的最小取值为85，则待处理像素x的灰度值为85，也即像素x在暗通道图像中对应的像素的RGB值为(85，85，85)。
对于单帧车窗图像中的边缘像素x，以边缘像素x为中心的大小为a*a的像素区域内的像素集合w中的像素数量小于等于a*a个。
例如，单帧车窗图像中包括有5*5个像素，像素x为单帧车窗图像中第5行第5列的像素。w为单帧车窗图像中以像素x为中心的大小为3*3的像素区域内的像素集合，则该像素集合w包括单帧车窗图像中第4行第4列、第4行第5列、第5行第4列、以及第5行第5列的像素。这些像素的RGB值分别为(245，157，99)、(255，159，90)、(244，163，95)、以及(254，165，89)。根据上述暗通道模型，确定w中的4个像素在r通道、g通道以及b通道三个颜色通道上的最小取值为89，则像素x的灰度值为89，也即像素x在暗通道图像中对应的像素的RGB值为(89,89,89)。
S403、根据暗通道图像中灰度值超过预设灰度阈值的像素的数量和/或暗通道图像的清晰度，确定车窗上存在第一类杂物。
示例性的，第一类杂物为雾或者霜等杂物。
车窗上存在第一类杂物可以根据暗通道图像中的灰度值超过预设灰度阈值的像素的数量确定，也可以根据暗通道图像的清晰度确定，也可以结合这两个因素一起确定。因此，确定车窗上存在第一类杂物的方法有三种，如下(1)-(3)所示：
(1)根据暗通道图像中灰度值超过预设灰度阈值的像素的数量，确定车窗上存在第一类杂物。若暗通道图像中灰度值未超过预设灰度阈值的像素的数量小于等于暗通道图像中灰度值超过预设灰度阈值的像素的数量，则确定车窗上存在第一类杂物。
示例性的，单帧车窗图像中包含有10*10个像素，则其对应的暗通道图像为该单帧车窗图像的灰度值图像，该暗通道图像中包含有10*10个像素，与单帧车窗图像中的像素相对应，像素的灰度值的取值范围为0～255。若预设灰度阈值为100，该暗通道图像中灰度值未超过预设灰度阈值的像素的数量为30，灰度值超过预设灰度阈值的像素的数量为70，30<70，因此车窗上存在第一类杂物；若预设灰度阈值为100，该暗通道图像中灰度值未超过预设灰度阈值的像素的数量为50，灰度值超过预设灰度阈值的像素的数量为50，因此，车窗上存在第一类杂物；若预设灰度阈值为100，该暗通道图像中灰度值未超过预设灰度阈值的像素的数量为70，灰度值超过预设灰度阈值的像素的数量为30，70>30，因此，车窗上不存在第一类杂物。
示例性的，单帧车窗图像中包含有10*10个像素，则其对应的暗通道图像为该单帧车窗图像的灰度值图像，该暗通道图像中包含有10*10个像素的灰度图像，与单帧车窗图像中的像素相对应，像素的灰度值取值范围为0～255。以像素的灰度值为横坐标，以每个同一灰度值的像素的数量为纵坐标，建立该暗通道图像的灰度值直方图。统计像素的灰度值为灰度值取值范围的前三分之一(即灰度值为0～85)的像素的数量sum1，以及像素的灰度值为灰度值取值范围的后三分之二(即灰度值为86～255)的像素的数量sum2。若sum1<＝sum2，则车窗上存在第一类杂物；若sum1>sum2，则车窗上不存在第一类杂物。需要说明的是，本申请实施例在采用三分之一时有较好的效果，但并不限定于三分之一，可以根据实际情况来确定。
(2)根据暗通道图像的清晰度，确定车窗上存在第一类杂物。若暗通道图像的清晰度小于预设清晰度，则确定车窗上存在第一类杂物。
可选的，暗通道图像的清晰度为暗通道图像中的像素的灰度值的方差。
示例性的，单帧车窗图像中包含有2*2个像素，则其对应的暗通道图像为包含有2*2个像素(这2*2个像素分别为A、B、C、D)的灰度图像，像素的灰度值的取值范围为0～255。在暗通道图像中，像素A的灰度值为7，像素B的灰度值为1，像素C的灰度值为3，像素D的灰度值为5，像素A、B、C、D的灰度值的平均值为5，则该暗通道图像的清晰度(即该暗通道图像中的像素的灰度值的方差)为[(7-4)2+(1-4)2+(3-4)2+(5-4)2]/4＝5。若预设清晰度为6，则车窗上存在第一类杂物；若预设清晰度为5，则车窗上不存在第一类杂物；若预设清晰度为4，则车窗上不存在第一类杂物。
可选的，暗通道图像的清晰度根据暗通道图像中的像素的信息熵确定。其中，暗通道图像的信息熵通过
Figure BDA0002178269550000131
来确定，H为暗通道图像的信息熵，d表示像素的灰度值，n表示像素的灰度值的最大取值，pd表示灰度值为d的像素在暗通道图像中出现的概率。暗通道图像的信息熵可以表示图像中的灰度分布情况，暗通道图像的信息熵越大，则该暗通道图像中的像素的灰度值变化范围越大，图像的清晰度越高，暗通道图像的信息熵越小，则该暗通道图像中的像素的灰度值变化范围越小，图像的清晰度越低。若暗通道图像的信息熵小于预设信息熵阈值，则车窗上存在第一类杂物，若暗通道图像的信息熵不小于预设信息熵阈值，则车窗上不存在第一类杂物。
可选的，暗通道图像的清晰度为利用HSV(hue，saturation，value)颜色模型进行计算得到的暗通道图像的饱和度。暗通道图像的饱和度越高，则该暗通道图像的清晰度越高，暗通道图像的饱和度越低，则该暗通道图像的清晰度越低。若暗通道图像的饱和度小于预设饱和度阈值，则车窗上存在第一类杂物，若暗通道图像的饱和度不小于预设饱和度阈值，则车窗上不存在第一类杂物。
需要说明的是，用于确定或表示图像的清晰度的度量方式并不局限于本申请实施例中所给出的信息熵与饱和度，HSV颜色模型中的色相(hue)和明度(value)也可以用于确定或表示图像的清晰度，图像的清晰度的具体度量方式可以根据实际应用来确定。
(3)根据暗通道图像中灰度值超过预设灰度阈值的像素的数量和暗通道图像的清晰度，确定车窗上存在第一类杂物。
若暗通道图像中灰度值未超过预设灰度阈值的像素的数量小于等于暗通道图像中灰度值超过预设灰度阈值的像素的数量，且暗通道图像的清晰度小于预设清晰度，则确定车窗上存在第一类杂物。
示例性的，以暗通道图像的清晰度为暗通道图像中的像素的方差为例，单帧车窗图像中包含有2*2个像素，则其对应的暗通道图像为包含有2*2个像素(这2*2个像素分别为A、B、C、D)的灰度图像，像素的灰度值的取值范围为0～255。在暗通道图像中，像素A的灰度值为7，像素B的灰度值为1，像素C的灰度值为3，像素D的灰度值为5，则该暗通道图像的清晰度(即该暗通道图像中的像素的灰度值的方差)为[(7-4)2+(1-4)2+(3-4)2+(5-4)2]/4＝5。若预设灰度阈值为2，预设清晰度为6，像素B的灰度值未超过预设灰度阈值，像素A、C、D的灰度值超过预设灰度阈值，1<3，暗通道图像的清晰度5<6，则车窗上存在第一类杂物；若预设灰度阈值为3，预设清晰度为6，像素B、C的灰度值未超过预设灰度阈值，像素A、D的灰度值超过预设灰度阈值，2＝2，暗通道图像的清晰度5<6，则车窗上存在第一类杂物；若预设灰度阈值为2，预设清晰度为4，像素B的灰度值未超过预设灰度阈值，像素A、C、D的灰度值超过预设灰度阈值，1<3，暗通道图像的清晰度5>4，则车窗上不存在第一类杂物；若预设灰度阈值为5，预设清晰度为6，像素B、C、D的灰度值未超过预设灰度阈值，像素A的灰度值超过预设灰度阈值，3>1，暗通道图像的清晰度5<6，则车窗上不存在第一类杂物；若预设灰度阈值为5，预设清晰度为4，像素B、C、D的灰度值未超过预设灰度阈值，像素A的灰度值超过预设灰度阈值，3>1，暗通道图像的清晰度5>4，则车窗上不存在第一类杂物。
S404、根据连续i帧车窗图像中的像素的RGB值，确定车窗上存在第二类杂物。
其中，连续i帧车窗图像为上述步骤S401中摄像头多次拍摄得到的多帧车窗图像中的部分车窗图像，其中i为大于1的整数。
可选的，第二类杂物可以为灰尘、落叶、鸟的粪便等杂质。
先根据连续i帧车窗图像中的像素的RGB值，即连续i帧车窗图像中的像素在r、g、b三个颜色通道上的取值，确定这连续i帧车窗图像中同一位置的像素的RGB值的变化，建立图像背景模型。该图像背景模型中的像素表示连续i帧车窗图像中的像素的RGB值的变化。具体的，如果连续i帧车窗图像中同一位置的像素的RGB值未发生变化，则在图像背景模型中，与连续i帧车窗图像中未发生变化的像素相对应的像素的RGB值为(0，0，0)；若连续i帧车窗图像中同一位置的像素的RGB值发生变化，则在图像背景模型中与连续i帧车窗图像中发生变化的像素相对应的像素的RGB值为(0，0，0)之外的其他RGB值。通常，在车辆行驶过程中，若车窗上存在落叶等杂物时，车窗上除存在落叶外的位置的画面(像素取值)会随着车辆的行驶发生变化，而车窗上存在落叶的位置的画面(像素取值)不会随着车辆的行驶发生变化或者发生的变化程度较小，因此，可以根据图像背景模型中的像素的RGB值，确定连续i帧车窗图像中RGB值未发生变化的像素，或者连续i帧车窗图像中RGB值发生变化的程度未超过预设变化阈值的像素所对应的车窗区域为第一区域，第一区域内存在第二类杂物。
示例性的，每帧车窗图像中包括2*2个像素，以i＝3为例，在连续3帧车窗图像中，第1帧车窗图像中包括像素A1、B1、C1和D1，这4个像素的RGB值分别为(1，2，3)、(3，5，6)、(1，9，5)和(2，3，0)，第2帧车窗图像中包括像素A2、B2、C2和D2，这4个像素的RGB值分别为(3，2，5)、(7，5，2)、(7，1，9)和(8，5，2)，第3帧车窗图像中包括像素A3、B3、C3和D3，这4个像素的RGB值分别为(3，2，1)、(5，5，4)、(5，1，7)和(6，3，2)。两两计算这3帧车窗图像中同一位置的像素的RGB值的差值，并确定所得差值的平均值为图像背景模型中相应位置的像素的RGB值，则该图像背景模型中的像素A4、B4、C4和D4的RGB值分别为(4/3，0，8/3)、(8/3，0，8/3)、(4，16/3，8/3)和(4，4/3，4/3)。若预设变化阈值为9，则对于上述连续2帧车窗图像对应的图像背景模型中的像素A4、B4、C4和D4来说，4/3+4/3<9，8/3+8/3<9，4+16/3+8/3>9，4+4/3+4/3<9，即图像背景模型中的像素A4、B4和D4所对应的连续3帧车窗图像中像素的RGB值发生变化，但发生变化的程度未超过预设变化阈值9，则图像背景模型中的像素A4、B4和D4对应的车窗区域，也即连续3帧车窗图像中的像素A1、B1和D1(或者说是像素A2、B2和D2，或者说是像素A3、B3和D3)所对应的车窗区域为第一区域，第一区域内存在第二类杂物。
可选的，在利用连续i帧车窗图像中的像素的RGB值建立图像背景模型时，先确定这连续i帧车窗图像中的同一位置的像素的RGB值的均值，再根据求得的这连续i帧车窗图像中每一位置上的像素的RGB值的均值，确定这连续i帧车窗图像所对应的均值图像。根据均值图像中的像素的RGB值与第i帧车窗图像中同一位置的像素的RGB值的差值，建立图像背景模型。
示例性的，每帧车窗图像中包括2*2个像素，以i＝2为例，在连续2帧车窗图像中，第1帧车窗图像中包括像素A1、B1、C1和D1，这4个像素的RGB值分别为(1，2，3)、(3，5，6)、(1，9，5)和(2，3，0)，第2帧车窗图像中包括像素A2、B2、C2和D2，这4个像素的RGB值分别为(3，2，5)、(7，5，2)、(7，1，9)和(8，5，2)。根据连续2帧车窗图像中同一位置的像素的RGB值，确定该均值图像中的像素A3、B3、C3和D3的RGB值分别为(2，2，4)、(5，5，4)、(4，5，7)和(5，4，1)，该均值图像中像素的RGB值与第2帧车窗图像中的像素的RGB值的差值为(1，0，1)、(2，0，2)、(3，4，2)和(3，1，1)，则根据这连续2帧车窗图像得到图像背景模型，该图像背景模型中的像素A4、B4、C4和D4的RGB值分别为(1，0，1)、(2，0，2)、(3，4，2)和(3，1，1)。
可选的，在根据图像背景模型中的像素的RGB值确定第一区域时，根据图像背景模型中的像素的RGB值，以及第一预设算法，确定连续i帧车窗图像中同一位置的像素的RGB值的变化，并进一步确定连续i帧车窗图像中RGB值未发生变化的像素所对应的车窗区域为第一区域，第一区域内存在第二类杂物。其中，第一预设算法为显著性检测算法或者目标检测算法。
示例性的，以i＝2为例，每帧车窗图像中包括2*2个像素，在连续2帧车窗图像中，第1帧车窗图像中包括像素A1、B1、C1和D1，第2帧车窗图像中包括像素A2、B2、C2和D2，连续2帧车窗图像对应的图像背景模型中包含像素A3、B3、C3和D3。根据显著性检测算法或者目标检测算法，确定图像背景模型中的像素C3和D3对应的连续2帧车窗图像中的像素C1和D1与C2和D2的RGB值未发生变化，因此图像背景模型中的像素C3和D3对应的车窗区域，也即连续2帧车窗图像中的像素C1和D1与C2和D2对应的车窗区域为第一区域，第一区域内存在第二类杂物。
需要说明的是，上述步骤S402-步骤S403用于检测车窗上的第一类杂物，步骤S404用于检测车窗上是否存在第二类杂物。其中，检测车窗上是否存在第一类杂物与检测车窗上是否存在第二类杂物的顺序并不限定，即可以先执行步骤S402和步骤S403，再执行步骤S404，也可以先执行步骤S404，再执行步骤S402和步骤S403，也可以同时执行步骤S402和步骤S403与步骤S404。
S405、控制清洁工具去除杂物。
其中，所述清洁工具包括第一清洁工具以及第二清洁工具。第一清洁工具主要用于通过除湿、调节温度等操作去除第一类杂物，例如空调等。第二清洁工具主要用于去除附着于车辆挡风玻璃上的雨点及灰尘等第二类杂物，以改善驾驶人的能见度，例如雨刷等。下文分别介绍去除第一类杂物和第二类杂物的具体实现方式。
(1)控制清洁工具去除第一类杂物。
可选的，根据车内外温度数据控制第一清洁工具开启预设时长，去除第一类杂物，其中，预设时长可以是根据车内外温度数据确定的，也可以是驾驶员自行确定的。
示例性的，以第一清洁工具为空调，第一类杂物为雾为例，若车内温度T1大于车外温度T2，则根据车内外温度数据设置空调吹风温度为T2以及空调吹风时长为S1，使得空调以吹风温度T2开启，并在开启时长S1后关闭，以降低车窗温度，清洁车窗上的雾；若车内温度T1小于车外温度T2，则空调吹风温度为T2，则根据车内外温度数据设置空调吹风温度为T2以及空调吹风时长为S2，使得空调以吹风温度T2开启，并在开启时长S2后关闭，以提高车窗温度，清洁车窗上的雾。
可选的，在控制清洁工具去除第一类杂物后，重新进行步骤S401-步骤S403，检测车窗上是否还存在第一类杂物，若是，则重新控制清洁工具去除第一类杂物。
(2)控制清洁工具去除第二类杂物。
可选的，在一种可能的实现方式中，控制第二清洁工具以预设工作频率工作预设时长，以清洁第一区域内的第二类杂物。其中，第二清洁工具的预设工作频率以及工作的预设时长可以根据第二清洁工具的清洁效果预先设定，也可以由驾驶员自行设定。
在不同的行驶状态或者不同的驾驶员状态下，对第二清洁工具的工作时长以及工作频率进行适应性的调整，可以最小程度的减少车窗清洁对驾驶员造成的影响，保证车辆驾驶过程中的安全性。
因此，可选的，在另一种可能的实现方式中，在控制第二清洁工具清洁第以区域内的第二类杂物时，可以先根据行驶状态和/或驾驶员状态、行驶状态和/或驾驶员状态对应的第一预设权重参数，以及第二清洁工具连续工作的最大时长，确定第二清洁工具工作时长。再根据行驶状态和/或驾驶员状态、行驶状态和/或驾驶员状态对应的第二预设权重参数，以及第二清洁工具工作的最大频率，确定第二清洁工具工作频率，最后根据第二清洁工具工作时长以及第二清洁工具工作频率控制第二清洁工具清洁第一区域，去除第二类杂物。其中，上述行驶状态可以为车辆的驾驶速度，包括高速、中速和低速，上述驾驶员状态可以为驾驶员的疲劳程度，包括重度疲劳、轻度疲劳以及不疲劳，以下不再赘述。
需要说明的是，第一预设权重参数和第二预设权重参数可以预先设定，也可以是驾驶员自行设定。
第二清洁工具工作时长可以根据行驶状态确定，也可以根据驾驶员状态确定，也可以结合这两个因素一起确定。
示例性的，根据行驶状态、驾驶员状态、行驶状态对应的第一预设权重参数、驾驶员状态对应的第一预设权重参数、以及第二预设算法
Figure BDA0002178269550000161
确定第二清洁工具工作时长。其中，t1为第二清洁工具工作时长，ts-max为第二清洁工具连续工作的最大时长，e为自然对数的底数，α1和β1分别为行驶状态和驾驶员状态对应的第一预设权重参数，α1+β1＝1，s1表示行驶状态，s2表示驾驶员状态。示例性的，行驶状态s1的取值为-1、-3、-10，分别代表驾驶速度为高速、中速、低速，驾驶员状态s2的取值为-1、-3、-10，分别代表驾驶员状态为重度疲劳、轻度疲劳、不疲劳。s1的取值越大，驾驶速度越大，或者s2的取值越大，驾驶员越疲劳，则第二清洁工具工作时长t1越短。
或者，根据行驶状态、行驶状态对应的第一预设权重参数、以及第二预设算法
Figure BDA0002178269550000171
确定第二清洁工具工作时长，其中，t1为第二清洁工具工作时长，ts-max为第二清洁工具连续工作的最大时长，e为自然对数的底数，α1为行驶状态对应的第一预设权重参数，a1＝1，s1表示行驶状态，s1的取值参考前文所述。
或者，根据驾驶员状态、驾驶员状态对应的第一预设权重参数、以及第二预设算法
Figure BDA0002178269550000172
确定第二清洁工具工作时长，其中，t1为所述第二清洁工具工作时长，ts-max为所述第二清洁工具连续工作的最大时长，e为自然对数的底数，β1为驾驶员状态对应的第一预设权重参数，β1＝1，s2表示驾驶员状态，s2的取值参考前文所述。
同理，第二清洁工具工作频率可以根据行驶状态确定，也可以根据驾驶员状态确定，也可以结合这两个因素一起确定。
示例性的，根据行驶状态、驾驶员状态、行驶状态对应的第二预设权重参数、驾驶员状态对应的第二预设权重参数、以及第三预设算法
Figure BDA0002178269550000173
确定第二清洁工具工作频率。其中，f为第二清洁工具工作频率，fmax为第二清洁工具工作的最大频率，e为自然对数的底数，α2和β2分别为行驶状态和驾驶员状态对应的第二预设权重参数，α2+β2＝1，s1表示行驶状态，s2表示驾驶员状态。示例性的，行驶状态s1的取值为-1、-3、-10，分别代表驾驶速度为高速、中速、低速，驾驶员状态s2的取值为-1、-3、-10，分别代表驾驶员状态为重度疲劳、轻度疲劳、不疲劳。s1的取值越大，驾驶速度越大，或者s2的取值越大，驾驶员越疲劳，则第二清洁工具工作频率f越大。
或者，根据行驶状态、行驶状态对应的第二预设权重参数、以及第三预设算法
Figure BDA0002178269550000174
确定第二清洁工具工作频率。其中，f为第二清洁工具工作频率，fmax为第二清洁工具工作的最大频率，e为自然对数的底数，a2为行驶状态对应的第二预设权重参数，a2＝1，s1表示行驶状态，s1的取值参考前文所述。
或者，根据驾驶员状态、驾驶员状态对应的第二预设权重参数、以及第三预设算法
Figure BDA0002178269550000175
确定第二清洁工具工作频率。其中，f为第二清洁工具工作频率，fmax为第二清洁工具工作的最大频率，e为自然对数的底数，β2分别为驾驶员状态对应的第二预设权重参数，β2＝1，s2表示驾驶员状态，s2的取值参考前文所述。
需要说明的是，示例性的，在第二预设算法以及第三预设算法中，行驶状态s1的取值和驾驶员状态s2的取值可以参考前文所述。当s1＝-1(或s2＝-1)时，t1较短，f较大，可以实现快速除杂，减少视线遮挡，从而提高驾驶员在高速驾驶过程中的安全性；当s1＝-3(和/或s2＝-3)时，t1和f适中；当s1＝-10(或s2＝-10)时，t1较长，f较小，可以减少第二清洁工具频率过大带来的不适感，同时第二清洁工具的工作时间变长，因此可以保证车窗的清洁效率。
(3)控制清洁工具去除第一类杂物和第二类杂物。
需要说明的是，若检测到车窗上既存在第一类杂物也存在第二类杂物，则需要控制清洁工具去除第一类杂物和第二类杂物。其中，控制清洁工具去除第一类杂物和控制清洁工具去除第二类杂物的顺序并不限定，可先控制清洁工具去除第一类杂物，再控制清洁工具去除第二类杂物，也可以先控制清洁工具去除第二类杂物，再控制清洁工具去除第一类杂物，或者也可以控制清洁工具同时去除第一类杂物和第二类杂物。
具体的，控制清洁工具去除第一类杂物和控制清洁工具去除第二类杂物的具体实施方式可以参见本步骤上述(1)和(2)所述的实施方式。
在本申请所描述的实施例所描述的车窗自动清洁方法中，利用单帧车窗图像对应的暗通道图像中的像素的灰度值，对车窗上是否存在第一类杂物进行检测，和/或利用连续i帧车窗图像中的像素的RGB值对车窗上是否存在第二类杂物进行检测。若车窗上存在第一类杂物和/或第二类杂物，控制清洁工具进行除杂。首先，在进行杂物检测后进行清洁，可以减少盲目清洁，提高清洁效率，节省清洁资源。另外，通过上述过程，本申请实施例可以实现车窗的自动清洁，减少人工操作，提高车辆驾驶过程中的安全性。
为了进一步提高检测车窗上是否存在第二类杂物的准确性，本申请还提供了一种车窗自动清洁方法，在通过上述步骤S404确定第一区域之后，所述方法还包括如下步骤S601-S602，下面结合图6对本申请的实施例进行描述：
S601、在连续j帧车窗图像中的每一帧车窗图像上确定与第一区域相对应的第二区域，得到j个第二区域。
其中，连续j帧车窗图像为上述步骤S401中摄像头多次拍摄得到的多帧车窗图像中的部分车窗图像，或者连续j帧车窗图像为摄像头再次进行多次拍摄后得到的多帧车窗图像中的部分或全部车窗图像，j为大于1的整数，且连续i帧车窗图像与连续j帧车窗图像之间可能包括其他至少一帧车窗图像，也可能不包括其他帧的车窗图像。另外，所述第二区域中的所有像素对应的车窗区域即为第一区域。
可选的，在一种可能的实现方式中，确定第一区域之后，先获取连续i帧车窗图像之后的连续j帧车窗图像，再根据第一区域所对应的车窗图像中的像素位置，确定连续j帧车窗图像中每一帧车窗图像中的第二区域，得到j个第二区域。
S602、若j个第二区域内同一位置的像素的RGB值未发生变化，则确定第一区域内存在杂物。
在车辆行驶过程中，若车窗上的第一区域内存在落叶等第二类杂物，则车窗上存在落叶等第二类杂物的第一区域的画面(像素取值)不会随着车辆的行驶发生变化或者发生的变化程度较小，因此，若j个第二区域内同一位置的像素的RGB值未发生变化，或者j个第二区域内同一位置的RGB值发生变化的程度未超过预设变化阈值，则确定第一区域内确实存在第二类杂物。
示例性的，每帧车窗图像中包括2*2个像素，以j＝2为例，在连续j＝2帧车窗图像中，第1帧车窗图像中包括像素A1、B1、C1和D1，第2帧车窗图像中包括像素A2、B2、C2和D2。所述第1帧车窗图像中与第一区域相对应的第二区域为E1，E1中包括像素A1和B1，这两个像素的RGB值分别为(1，2，3)和(3，5，6)。所述第2帧车窗图像中与第一区域相对应的第二区域为E2，E2中包括像素A2和B2，这两个像素的RGB值分别为(3，2，5)和(7，5，2)。计算这2个第二区域中同一位置的像素的RGB值的差值，即像素A1和像素A2的RGB值的差值(2，0，2)，以及像素B1和像素B2的差值(4，0，4)。若预设变化阈值为2，则在j＝2个第二区域中，对于像素A1和像素A2的RGB值的差值来说，2+2>2，对于像素B1和B2的RGB值的差值来说，4+4>2，即j＝2个第二区域内同一位置的像素的RGB值发生变化，但发生变化的程度未超过预设变化阈值2，因此可以确定在本示例中第一区域内存在第二类杂物。
可选地，在确定j个第二区域内同一位置的像素的RGB值发生变化时，可以先确定与连续i帧车窗图像相对应的图像背景模型中与第一区域相对应的第三区域，再确定每个第二区域中像素的RGB值与第三区域中同一位置的像素的RGB值的差值，将得到的差值并进行累加，得到累加值。若累加值超过预设阈值，则确定j个第二区域内同一位置的像素的RGB值发生变化；若累加值不超过预设阈值，则确定j个第二区域内同一位置的像素的RGB值未发生变化。
示例性的，以j＝2为例，第1个第二区域中包括像素A1和像素B1，这两个像素的RGB值分别为(1，2，3)和(3，5，6)，第2个第二区域内包括像素A2和像素B2，这两个像素的RGB值分别为(3，2，5)和(7，2，5)。在确定j＝2个第二区域后，根据第一区域对应的车窗区域，确定第一区域在连续i帧车窗图像对应的图像背景模型中对应的第三区域，第三区域中包括像素A3和B3，这两个像素的RGB值分别为(2，0，2)和(4，3，1)。根据h＝∑k||F0-fk||χ，确定第二区域中的每个像素的RGB值与第三区域中的同一位置的像素的RGB值的差值的累加值，其中，F0表示第三区域，fk表示连续j帧车窗图像中第k帧车窗图像对应的第二区域，k为大于0的整数，||.||χ为距离度量函数，在本示例中，其度量算法为绝对值算法。因此可以确定第二区域中像素A1、A2的RGB值与第三区域中的像素A3的RGB值的差值的绝对值并分别为(1，2，1)和(1，2，5)，第二区域中的像素B1和B2的RGB值与第三区域中的像素B3的差值分别为(1，2，5)和(3，1，4)，对这几个差值进行累加，得到累加值h为(6，7，15)。若预设阈值为0，6+7+15>0，则确定本示例中j＝2个第二区域内同一位置的像素的RGB值发生变化；若预设阈值为30，6+7+15<30，则确定本示例中j＝2个第二区域内同一位置的像素的RGB值未发生变化。
可选的，在另一种可能的实现方式中，在确定j个第二区域内同一位置的像素的RGB值发生变化时，可以先确定与连续i帧车窗图像相对应的图像背景模型中与第一区域相对应的第三区域，再确定与连续j帧车窗图像相对应的图像背景模型中与第一区域相对应的第四区域，计算第三区域中的像素的RGB值与第四区域中的像素的RGB值的差值，将得到的差值进行累加得到累加值。若累加值超过预设阈值，则确定j个第二区域内同一位置的像素的RGB值发生变化；若累加值不超过预设阈值，则确定j个第二区域内同一位置的像素的RGB值未发生变化。
示例性的，以j＝2为例，第1个第二区域中包括像素A1和像素B1，这两个像素的RGB值分别为(1，2，3)和(3，5，6)，第2个第二区域内包括像素A2和像素B2，这两个像素的RGB值分别为(3，2，5)和(7，3，6)。在确定j＝2个第二区域后，根据第一区域对应的车窗区域，确定第一区域在连续i帧车窗图像对应的图像背景模型中对应的第三区域，第三区域中包括像素A3和B3，这两个像素的RGB值分别为(1，0，1)和(4，3，1)。再确定第一区域在连续j＝2帧车窗图像对应的图像背景模型中对应的第四区域，第四区域中包括像素A4和B4，这两个像素的RGB值分别为(1，0，1)和(2，1，0)。根据h＝∑k||F0-fk||χ，确定第三区域中的像素的RGB值与第四区域中的同一位置的像素的RGB值的汉明距离的累加值，其中，F0表示第三区域，fk表示第一区域在连续j帧车窗图像的图像背景模型中对应的第四区域，k＝j，||.||χ为距离度量函数，在本示例中，其度量算法为汉明距离算法。第三区域中像素A3的RGB值与第四区域中的像素A4的RGB值相同，则第三区域中像素A3与第四区域中的像素A4的汉明距离为0，第三区域中像素A4的RGB值与第四区域中的像素B4的RGB值不同，则第三区域中像素B3与第四区域中的像素B4的汉明距离为1。因此，第三区域与第四区域的汉明距离为1，h＝1。若预设阈值为0，则确定本示例中j＝2个第二区域内同一位置的像素的RGB值发生变化；若预设阈值为2，则确定本示例中j＝2个第二区域内同一位置的像素的RGB值未发生变化。
需要说明的是，相比于绝对值算法，利用汉明距离度量算法进行数据处理，可以提升数据处理的速度，若汉明距离用二进制来表示，则可以进一步加快数据处理的速度，从而提高确定第二类杂物所在区域的效率。当然，汉明距离的具体表示形式还可以根据实际需求确定为八进制或者十六进制等，并不局限于上述二进制或者十进制。可选的，除了绝对值算法与汉明距离之外，||.||χ所表示的距离度量函数的度量算法还可以为欧式距离算法等。
可选的，在另一种可能的实现方式中，在确定j个第二区域内同一位置的像素的RGB值发生变化时，可以先确定与连续i帧车窗图像相对应的均值图像中与第一区域相对应的第五区域。再确定每个第二区域中像素的RGB值与第五区域中同一位置的像素的RGB值的差值，将差值进行累加得到累加值。若累加值超过预设阈值，则确定j个第二区域内同一位置的像素的RGB值发生变化；若累加值不超过预设阈值，则确定j个第二区域内同一位置的像素的RGB值未发生变化。
在本申请实施例中，在利用连续i帧车窗图像确定第一区域之后，又根据连续i帧车窗图像之后的连续j帧车窗图像确定j个第二区域，并根据这j个第二区域，验证所述第一区域内是否确实存在第二类杂物，以提高确定车窗上存在第二类杂物的准确性，并进一步提高车窗自动清洁的效率。
为了更好的清洁第一区域内存在的第二类杂物，保证自动清洁的良好效果，本申请还提供了一种车窗自动清洁方法，在控制清洁工具去除第二类杂物时，所述清洁工具还可以包括第三清洁工具，其中，第三清洁工具主要用于清洗车窗，例如玻璃水等。因此，在根据步骤405的具体实施方式(2)和具体实施方式(3)，利用第二清洁工具对第一区域内的第二类杂物进行清洁后，本申请还可以结合第三清洁工具来去除第一区域内的第二类杂物，具体的，所述方法还包括步骤S701-S703，下面结合图7对本申请的实施例进行描述：
S701、判断车窗上的第一区域内的第二类杂物是否被清洁。
其中，所述第一区域为步骤S404中确定的第一区域，也即图6所述的方法中的第一区域。
具体的，本步骤S701的具体实施方式可以参见上述实施例中步骤S404所述的实时方式。
可选的，在控制第二清洁工具去除第一区域内的第二类杂物后，执行步骤S701，判断车窗上的第一区域内的第二类杂物是否被清洁。若车窗上的第一区域内的第二类杂物已经被清洁，则结束车窗自动清洁过程，并保持车内摄像头开启，对车窗进行实时监控；若车窗上的第一区域内的第二类杂物未被清洁(即车窗上的第一区域内仍存在第二类杂物)，则执行下述步骤S702。
S702、控制第三清洁工具去除第二类杂物。
可选的，在确定车窗上的第一区域内的第二类杂物未被清洁，则可以控制第三清洁工具以预设工作间隔工作预设时长，以清洁第一区域内的第二类杂物。其中，第三清洁工具的预设工作间隔以及工作的预设时长可以根据第三清洁工具的清洁效果预先设定，也可以由驾驶员自行设定。可选的，第三清洁工具可以为清洁液，第三清洁工具工作时长即清洁液喷洒时长。
在不同的行驶状态或者不同的驾驶员状态下，对第三清洁工具的工作时长以及工作间隔进行适应性的调整，可以最小程度的减少车窗清洁对驾驶员造成的影响，保证车辆驾驶过程中的安全性。因此，在一种可能的实现方式中，在控制第三清洁工具清洁第一区域内的第二类杂物时，可以先根据行驶状态和/或驾驶员状态、行驶状态和/或驾驶员状态对应的第三预设权重参数、以及第三清洁工具连续工作的最大时长，确定第三清洁工具工作时长。再根据行驶状态和/或驾驶员状态、行驶状态和/或驾驶员状态对应的第四预设权重参数，以及第三清洁工具工作的最大间隔，确定第三清洁工具工作间隔。最后根据第三清洁工具工作时长以及第三清洁工具工作间隔控制第三清洁工具清洁第一区域，再根据第二清洁工具工作时长以及第二清洁工具工作频率控制第二清洁工具清洁第一区域，以去除第二类杂物。可选的，第三清洁工具可以为清洁液，第三清洁工具工作时长即清洁液喷洒时长。另外，上述行驶状态可以为车辆的驾驶速度，包括高速、中速和低速，上述驾驶员状态可以为驾驶员的疲劳程度，包括重度疲劳、轻度疲劳以及不疲劳，以下不再赘述。
需要说明的是，第三预设权重参数和第四预设权重参数可以是预先设定的，也可以是驾驶员自行设定的。
第三清洁工具工作时长可以根据行驶状态确定，也可以根据驾驶员状态确定，也可以结合这两个因素一起确定。
示例性的，根据行驶状态、驾驶员状态、行驶状态对应的第三预设权重参数、驾驶员状态对应的第三预设权重参数、以及第四预设算法
Figure BDA0002178269550000211
确定第三清洁工具工作时长。其中，t2为第三清洁工具工作时长，tl-max为第三清洁工具连续工作的最大时长，e为自然对数的底数，α3和β3分别为行驶状态和驾驶员状态对应的第三预设权重参数，a3+β3＝1，s1表示行驶状态，s2表示驾驶员状态。示例性的，行驶状态s1的取值为-1、-3、-10，分别代表驾驶速度为高速、中速、低速，驾驶员状态s2的取值为-1、-3、-10，分别代表驾驶员状态为重度疲劳、轻度疲劳、不疲劳。s1的取值越大，驾驶速度越大，或者s2的取值越大，驾驶员越疲劳，则第三清洁工具工作时长t2越短。
或者，根据行驶状态、行驶状态对应的第三预设权重参数、以及第四预设算法
Figure BDA0002178269550000212
确定第三清洁工具工作时长。其中，t2为第三清洁工具工作时长，tl-max为第三清洁工具连续工作的最大时长，e为自然对数的底数，α3为行驶状态对应的第三预设权重参数，α3＝1，s1表示行驶状态，s1的取值参考前文所述。
或者，根据驾驶员状态、驾驶员状态对应的第三预设权重参数、以及第四预设算法
Figure BDA0002178269550000221
确定第三清洁工具工作时长。其中，t2为第三清洁工具工作时长，tl-max为第三清洁工具连续工作的最大时长，e为自然对数的底数，β3为驾驶员状态对应的第三预设权重参数，β3＝1，s2表示驾驶员状态，s2的取值参考前文所述。
同理，第三清洁工具工作间隔可以根据行驶状态确定，也可以根据驾驶员状态确定，也可以结合这两个因素一起确定。
示例性的，根据行驶状态、驾驶员状态、行驶状态对应的第四预设权重参数、驾驶员状态对应的第四预设权重参数、以及第五预设算法
Figure BDA0002178269550000222
确定第三清洁工具工作间隔，其中，Δt为第三清洁工具工作间隔，Δtmax为第三清洁工具工作的最大间隔，e为自然对数的底数，α4和β4分别为行驶状态和驾驶员状态对应的第四预设权重参数，α4+β4＝1，s1表示行驶状态，s2表示驾驶员状态。示例性的，行驶状态s1的取值为-1、-3、-10，分别代表驾驶速度为高速、中速、低速，驾驶员状态s2的取值为-1、-3、-10，分别代表驾驶员状态为重度疲劳、轻度疲劳、不疲劳。s1的取值越大，驾驶速度越大，或者s2的取值越大，驾驶员越疲劳，则第三清洁工具工作间隔Δt越短。
或者，根据行驶状态、驾驶员状态、行驶状态对应的第四预设权重参数、驾驶员状态对应的第四预设权重参数、以及第五预设算法
Figure BDA0002178269550000223
确定第三清洁工具工作间隔，其中，Δt为第三清洁工具工作间隔，Δtmax为第三清洁工具工作的最大间隔，e为自然对数底数，α4为驾驶员状态对应的第四预设权重参数，a4＝1，s1表示行驶状态，s1的取值参考前文所述。
或者，根据驾驶员状态、驾驶员状态对应的第四预设权重参数、以及第五预设算法
Figure BDA0002178269550000224
确定第三清洁工具工作间隔，其中，Δt为第三清洁工具工作间隔，Δtmax为第三清洁工具工作的最大间隔，e为自然对数的底数，β4为驾驶员状态对应的第四预设权重参数，β4＝1，s2表示驾驶员状态，s2的取值参考前文所述。
需要说明的是，示例性的，在第四预设算法以及第五预设算法中，行驶状态s1的取值和驾驶员状态s2的取值可以参考前文所述。当s1＝-1(或s2＝-1)时，t2较短，Δt较大，减少清洁过程中由第三清洁工具工作间隔较小造成的不适感以及视线遮挡，从而提高驾驶员在高速驾驶过程中的安全性；当s1＝-3(和/或s2＝-3)时，t2和Δt适中；当s1＝-10(或s2＝-10)时，t2较长，Δt较小，第三清洁工具的工作时间变长，可以保证车窗清洁。
S703、控制第二清洁工具去除第二类杂物。
在根据第三清洁工具工作时长以及第三清洁工具工作间隔控制第三清洁工具清洁第一区域后，再次根据第二清洁工具工作时长以及第二清洁工具工作频率控制第二清洁工具清洁第一区域，以去除第一区域内的第二类杂物。具体的，控制第二清洁工具去除第一区域内的第二类杂物的具体实施方式可以参见上述实施例的步骤S405的(2)所述的实施方式，在此不再赘述。
需要说明的是，在上述步骤S703结束后，还需要重新执行步骤S701，以判断车窗上的第二类杂物是否被清洁。若车窗上的第一区域内的第二类杂物已经被清洁，则结束车窗自动清洁过程，并保持车内摄像头开启，对车窗进行实时监控；若车窗上的第一区域内的第二类杂物未被清洁(即车窗上的第一区域内仍存在第二类杂物)，则根据第二清洁工具工作时长、第二清洁工具工作频率、第三清洁工具工作时长以及第三清洁工具工作间隔，完成q次控制第二清洁工具和第三清洁工具去除第二类杂物的操作之后，结束车窗自动清洁过程，并保持车内摄像头开启，实时监控车窗。其中，q可以由驾驶员自行确定，也可以根据第二清洁工具和第三清洁工具的清洁效果预先设定。通过上述过程，本申请实施例对车窗上存在的未被清洁的第二类杂物进行多次自动清洁，可以尽可能的去除车窗上存在的第二类杂物，以实现较好的自动清洁效果。
在本申请实施例中，在控制第二清洁工具清洁第一区域内的第二类杂物后，先判断第一区域内的第二类杂物是否被清洁，若未被清洁，则控制第三清洁工具以及第二清洁工具清洁第二类杂物。通过多种清洁工具的相配合，本申请实施例可以尽可能的去除车窗上存在的第二类杂物，从而实现较好的自动清洁效果。
本申请实施例可以根据上述方法示例对车窗自动清洁装置进行功能模块的划分，在采用对应各个功能划分各个功能模块的情况下，图8示出上述实施例中所涉及的车窗自动清洁装置的一种可能的结构示意图。如图8所示，车窗自动清洁装置包括获取单元801、确定单元802、控制单元803。当然，车窗自动清洁装置还可以包括其他模块，或者车窗自动清洁装置可以包括更少的模块。
获取单元801，用于获取车窗图像。
确定单元802，用于确定单帧车窗图像对应的暗通道图像。
确定单元802，还用于根据暗通道图像中灰度值超过预设灰度阈值的像素的数量和/或暗通道图像的清晰度，确定车窗上存在第一类杂物。
具体的，确定单元802，用于在暗通道图像中灰度值未超过预设灰度阈值的像素的数量小于等于暗通道图像中灰度值超过预设灰度阈值的像素的数量，和/或暗通道图像的清晰度小于预设清晰度时，确定车窗上存在第一类杂物。其中，暗通道图像的清晰度为暗通道图像中像素的灰度值的方差。
和/或确定单元802，还用于根据连续i帧车窗图像中的像素的RGB值，确定车窗上存在第二类杂物。
具体的，确定单元802，还用于先根据连续i帧车窗图像中像素的RGB值，建立图像背景模型。根据图像背景模型中的像素的RGB值，确定第一区域，进而确定第一区域内存在第二类杂物。其中，图像背景模型中的像素的RGB值表示连续i帧车窗图像中同一位置的像素的RGB值的变化，i为大于1的整数，第一区域为连续i帧车窗图像中RGB值未发生变化的像素对应的车窗区域。
示例性的，确定单元802，还用于根据连续i帧车窗图像中同一位置的像素的RGB值的均值，确定连续i帧车窗图像的均值图像，根据连续i帧车窗图像的均值图像中的像素的RGB值与第i帧车窗图像中的像素的RGB值的差值，建立图像背景模型。
示例性的，确定单元802，还用于图像背景模型中的像素的RGB值以及第一预设算法，确定第一区域。其中，第一预设算法为显著性检测算法或者目标检测算法。
示例性的，确定单元802，还用于确定图像背景模型中与第一区域相对应的第三区域，确定每个第二区域中像素的RGB值与第三区域中同一位置的像素的RGB值的差值并进行累加，得到累加值。若累加值超过预设阈值，则确定j个第二区域内同一位置的像素的RGB值发生变化。
可选的，在另一种可能的实现方式中，确定单元802在确定第一区域后，先在连续j帧车窗图像中的每一帧车窗图像上确定与第一区域相对应的一个第二区域，得到j个第二区域。若j个第二区域内同一位置的像素的RGB值未发生变化，则确定第一区域内存在第二类杂物。其中，连续j帧车窗图像位于连续i帧车窗图像之后，j为大于1的整数。
控制单元803，用于控制清洁工具去除杂物。其中，所述杂物包括第一类杂物和/或第二类杂物。
可选的，控制单元803，用于根据车内外温度数据控制第一清洁工具开启预设时长，去除第一类杂物。
和/或控制单元803，用于根据第二清洁工具工作时长以及第二清洁工具工作频率控制第二清洁工具清洁第一区域，去除第二类杂物。其中，第二清洁工具工作时长根据行驶状态和/或驾驶员状态、行驶状态和/或驾驶员状态对应的第一预设权重参数、以及第二清洁工具连续工作的最大时长确定，第二清洁工具工作频率根据行驶状态和/或驾驶员状态、行驶状态和/或驾驶员状态对应的第二预设权重参数，以及第二清洁工具工作的最大频率确定。
可选地，控制单元803，还用于根据行驶状态、驾驶员状态、行驶状态对应的第一预设权重参数、驾驶员状态对应的第一预设权重参数、第二清洁工具连续工作的最大时长以及第二预设算法，确定第二清洁工具工作时长，第二预设算法为
Figure BDA0002178269550000241
控制单元803，还用于根据行驶状态、驾驶员状态、行驶状态对应的第二预设权重参数、驾驶员状态对应的第二预设权重参数、第二清洁工具工作的最大频率以及第三预设算法，确定第二清洁工具工作频率，第三预设算法为
Figure BDA0002178269550000242
其中，t1为第二清洁工具工作时长，ts-max为第二清洁工具连续工作的最大时长，f为第二清洁工具工作频率，fmax为第二清洁工具工作的最大频率，e为自然对数的底数，a1和β1分别为行驶状态和驾驶员状态对应的第一预设权重参数，a1+β1＝1，α2和β2分别为行驶状态和驾驶员状态对应的第二预设权重参数，a2+β2＝1，s1表示行驶状态、s2表示驾驶员状态。
可选的，控制单元803，还用于先根据行驶状态和/或驾驶员状态、行驶状态和/或驾驶员状态对应的第三预设权重参数，以及第三清洁工具连续工作的最大时长，确定第三清洁工具工作时长。然后根据行驶状态和/或驾驶员状态、行驶状态和/或驾驶员状态对应的第四预设权重参数，以及第三清洁工具工作的最大间隔，确定第三清洁工具工作间隔。最后根据第三清洁工具工作时长以及第三清洁工具工作间隔控制第三清洁工具清洁第一区域，并根据第二清洁工具工作时长以及第二清洁工具工作频率控制第二清洁工具清洁第一区域，去除第二类杂物。
具体的，控制单元803，用于根据行驶状态、驾驶员状态、行驶状态对应的第三预设权重参数、驾驶员状态对应的第三预设权重参数、第三清洁工具连续工作的最大时长以及第四预设算法，确定第三清洁工具工作时长，第四预设算法为
Figure BDA0002178269550000243
控制单元803，还用于根据行驶状态、驾驶员状态、行驶状态对应的第四预设权重参数、驾驶员状态对应的第四预设权重参数、第三清洁工具工作的最大间隔以及第五预设算法，确定第三清洁工具工作间隔，第五预设算法为
Figure BDA0002178269550000251
其中，t2为第三清洁工具工作时长，tl-max为第三清洁工具连续工作的最大时长，Δt为第三清洁工具工作间隔，Δtmax为第三清洁工具工作的最大间隔，e为自然对数的底数，a3和β3分别为行驶状态和驾驶员状态对应的第三预设权重参数，α3+β3＝1，a4和β4分别为行驶状态和驾驶员状态对应的第四预设权重参数，a4+β4＝1，s1表示行驶状态、s2表示驾驶员状态。
参见图9，本申请还提供一种车窗自动清洁装置，包括处理器910以及存储器920。
处理器910与存储器920相连接(如通过总线940相互连接)。
可选的，车窗自动清洁装置还可包括收发器930，收发器930连接处理器910和存储器920，收发器用于接收/发送数据。
处理器910，可以执行图4、图6，以及图7所对应的任意一个实施方案及其各种可行的实施方式的操作。比如，用于执行获取单元801、确定单元802、控制单元803的操作，和/或本申请实施例中所描述的其他操作。
关于处理器、存储器、总线和收发器的具体介绍，可参见上文，这里不再赘述。
本申请还提供一种自动车窗清洁装置，包括非易失性存储介质，以及中央处理器，非易失性存储介质存储有可执行程序，中央处理器与非易失性存储介质连接，并执行可执行程序以实现本申请实施例如图4、图6或图7所示的自动车窗清洁方法。
本申请另一实施例还提供一种计算机可读存储介质，该计算机可读存储介质包括一个或多个程序代码，该一个或多个程序包括指令，当处理器在执行该程序代码时，该自动车窗清洁装置执行如图4、图6或图7所示的自动车窗清洁方法。
在本申请的另一实施例中，还提供一种计算机程序产品，该计算机程序产品包括计算机执行指令，该计算机执行指令存储在计算机可读存储介质中。自动车窗清洁装置的至少一个处理器可以从计算机可读存储介质读取该计算机执行指令，至少一个处理器执行该计算机执行指令使得自动车窗清洁装置实施执行图4、图6或图7所示的自动车窗清洁方法中相应步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。

Claims (25)

1.一种车窗自动清洁方法，其特征在于，包括：
获取车窗图像；
确定单帧车窗图像对应的暗通道图像；
根据所述暗通道图像中灰度值超过预设灰度阈值的像素的数量和/或所述暗通道图像的清晰度，确定车窗上存在第一类杂物；
和/或根据连续i帧车窗图像中的像素的RGB值，确定车窗上存在第二类杂物；
控制清洁工具去除杂物，所述杂物包括所述第一类杂物和/或第二类杂物。
2.根据权利要求1所述的车窗自动清洁方法，其特征在于，所述根据连续i帧车窗图像中的像素的RGB值，确定车窗上存在第二类杂物，具体包括：
根据所述连续i帧车窗图像中像素的RGB值，建立图像背景模型；其中，所述图像背景模型中的像素的RGB值表示所述连续i帧车窗图像中同一位置的像素的RGB值的变化，i为大于1的整数；
根据所述图像背景模型中的像素的RGB值，确定第一区域，所述第一区域为所述连续i帧车窗图像中RGB值未发生变化的像素对应的车窗区域；
确定所述第一区域内存在第二类杂物。
3.根据权利要求2所述的车窗自动清洁方法，其特征在于，在所述根据所述图像背景模型中的像素的RGB值，确定第一区域之后，所述方法具体还包括：
在连续j帧车窗图像中的每一帧车窗图像上确定与所述第一区域相对应的一个第二区域，得到j个第二区域；所述连续j帧车窗图像位于所述连续i帧车窗图像之后，j为大于1的整数；
若所述j个第二区域内同一位置的像素的RGB值未发生变化，则确定所述第一区域内存在第二类杂物。
4.根据权利要求1-3任一项所述的车窗自动清洁方法，其特征在于，所述根据所述暗通道图像中灰度值超过预设灰度阈值的像素的数量和/或所述暗通道图像的清晰度，确定车窗上存在第一类杂物，具体包括：
若所述暗通道图像中灰度值未超过预设灰度阈值的像素的数量小于等于所述暗通道图像中灰度值超过预设灰度阈值的像素的数量，和/或所述暗通道图像的清晰度小于预设清晰度，则确定车窗上存在所述第一类杂物；其中，所述暗通道图像的清晰度为所述暗通道图像中像素的灰度值的方差。
5.根据权利要求2-4任一项所述的车窗自动清洁方法，其特征在于，所述根据所述连续i帧车窗图像中像素的RGB值，建立图像背景模型，具体包括：
根据所述连续i帧车窗图像中同一位置的像素的RGB值的均值，确定所述连续i帧车窗图像的均值图像；
根据所述连续i帧车窗图像的均值图像中的像素的RGB值与第i帧车窗图像中的像素的RGB值的差值，建立所述图像背景模型。
6.根据权利要求2-5任一项所述的车窗自动清洁方法，其特征在于，所述根据所述图像背景模型中的像素的RGB值，确定第一区域，具体包括：
根据所述图像背景模型中的像素的RGB值以及第一预设算法，确定第一区域；所述第一预设算法为显著性检测算法或者目标检测算法。
7.根据权利要求3-6任一项所述的车窗自动清洁方法，其特征在于，若j个第二区域内同一位置的像素的RGB值未发生变化，则确定第一区域内存在第二类杂物之前，所述方法还包括：
确定所述图像背景模型中与所述第一区域相对应的第三区域；
确定每个第二区域中像素的RGB值与所述第三区域中同一位置的像素的RGB值的差值并进行累加，得到累加值；
若所述累加值超过预设阈值，则确定所述j个第二区域内同一位置的像素的RGB值发生变化。
8.根据权利要求1至7任一项所述的车窗自动清洁方法，其特征在于，所述控制清洁工具去除杂物，具体包括：
根据车内外温度数据控制第一清洁工具开启预设时长，去除所述第一类杂物；
和/或
根据行驶状态和/或驾驶员状态、所述行驶状态和/或所述驾驶员状态对应的第一预设权重参数，以及第二清洁工具连续工作的最大时长，确定第二清洁工具工作时长；
根据所述行驶状态和/或所述驾驶员状态、所述行驶状态和/或所述驾驶员状态对应的第二预设权重参数，以及第二清洁工具工作的最大频率，确定第二清洁工具工作频率；
根据所述第二清洁工具工作时长以及所述第二清洁工具工作频率控制第二清洁工具清洁第一区域，去除所述第二类杂物。
9.根据权利要求8所述的车窗自动清洁方法，其特征在于，
根据行驶状态和/或驾驶员状态、所述行驶状态和/或所述驾驶员状态对应的第一预设权重参数，以及第二清洁工具连续工作的最大时长，确定第二清洁工具工作时长，具体包括：
根据行驶状态、驾驶员状态、所述行驶状态对应的第一预设权重参数、所述驾驶员状态对应的第一预设权重参数、第二清洁工具连续工作的最大时长以及第二预设算法，确定第二清洁工具工作时长，所述第二预设算法为
Figure FDA0002178269540000021
根据所述行驶状态和/或所述驾驶员状态、所述行驶状态和/或所述驾驶员状态对应的第二预设权重参数，以及第二清洁工具工作的最大频率，确定第二清洁工具工作频率，具体包括：
根据所述行驶状态、所述驾驶员状态、所述行驶状态对应的第二预设权重参数、所述驾驶员状态对应的第二预设权重参数、第二清洁工具工作的最大频率以及第三预设算法，确定第二清洁工具工作频率，所述第三预设算法为
Figure FDA0002178269540000022
其中，t1为所述第二清洁工具工作时长，ts-max为所述第二清洁工具连续工作的最大时长，f为所述第二清洁工具工作频率，fmax为第二清洁工具工作的最大频率，e为自然对数的底数，α1和β1分别为行驶状态和驾驶员状态对应的第一预设权重参数，α1+β1＝1，α2和β2分别为行驶状态和驾驶员状态对应的第二预设权重参数，α2+β2＝1，s1表示行驶状态、s2表示驾驶员状态。
10.根据权利要求8或9所述的车窗自动清洁方法，其特征在于，在所述根据所述第二清洁工具工作时长以及所述第二清洁工具工作频率控制第二清洁工具清洁所述第一区域之后，所述方法还包括：
根据所述行驶状态和/或所述驾驶员状态、所述行驶状态和/或所述驾驶员状态对应的第三预设权重参数，以及第三清洁工具连续工作的最大时长，确定第三清洁工具工作时长；
根据所述行驶状态和/或所述驾驶员状态、所述行驶状态和/或所述驾驶员状态对应的第四预设权重参数，以及第三清洁工具工作的最大间隔，确定第三清洁工具工作间隔；
根据所述第三清洁工具工作时长以及所述第三清洁工具工作间隔控制第三清洁工具清洁所述第一区域，并根据所述第二清洁工具工作时长以及所述第二清洁工具工作频率控制第二清洁工具清洁所述第一区域，去除所述第二类杂物。
11.根据权利要求10所述的车窗自动清洁方法，其特征在于，
根据所述行驶状态和/或所述驾驶员状态、所述行驶状态和/或所述驾驶员状态对应的第三预设权重参数，以及第三清洁工具连续工作的最大时长，确定第三清洁工具工作时长，具体包括：
根据所述行驶状态、所述驾驶员状态、所述行驶状态对应的第三预设权重参数、所述驾驶员状态对应的第三预设权重参数、第三清洁工具连续工作的最大时长以及第四预设算法，确定第三清洁工具工作时长，所述第四预设算法为
Figure FDA0002178269540000031
根据所述行驶状态和/或所述驾驶员状态、所述行驶状态和/或所述驾驶员状态对应的第四预设权重参数，以及第三清洁工具工作的最大间隔，确定第三清洁工具工作间隔，具体包括：
根据所述行驶状态、所述驾驶员状态、所述行驶状态对应的第四预设权重参数、所述驾驶员状态对应的第四预设权重参数、第三清洁工具工作的最大间隔以及第五预设算法，确定第三清洁工具工作间隔，所述第五预设算法为
Figure FDA0002178269540000032
其中，t2为所述第三清洁工具工作时长，tl-max为所述第三清洁工具连续工作的最大时长，Δt为所述第三清洁工具工作间隔，Δtmax为第三清洁工具工作的最大间隔，e为自然对数的底数，α3和β3分别为所述行驶状态和所述驾驶员状态对应的第三预设权重参数，α3+β3＝1，α4和β4分别为所述行驶状态和所述驾驶员状态对应的第四预设权重参数，α4+β4＝1，s1表示行驶状态、s2表示驾驶员状态。
12.一种车窗自动清洁装置，其特征在于，所述装置包括：
获取单元，用于获取车窗图像；
确定单元，用于确定单帧车窗图像对应的暗通道图像；
所述确定单元，还用于根据所述暗通道图像中灰度值超过预设灰度阈值的像素的数量和/或所述暗通道图像的清晰度，确定车窗上存在第一类杂物；
和/或所述确定单元，还用于根据连续i帧车窗图像中的像素的RGB值，确定车窗上存在第二类杂物；
控制单元，用于控制清洁工具去除杂物，所述杂物包括所述第一类杂物和/或第二类杂物。
13.根据权利要求12所述的车窗自动清洁装置，其特征在于，
所述确定单元，具体用于根据所述连续i帧车窗图像中像素的RGB值，建立图像背景模型；其中，所述图像背景模型中的像素的RGB值表示所述连续i帧车窗图像中同一位置的像素的RGB值的变化，i为大于1的整数；
根据所述图像背景模型中的像素的RGB值，确定第一区域，所述第一区域为所述连续i帧车窗图像中RGB值未发生变化的像素对应的车窗区域；
确定所述第一区域内存在第二类杂物。
14.根据权利要求13所述的车窗自动清洁装置，其特征在于，
所述确定单元，还用于在连续j帧车窗图像中的每一帧车窗图像上确定与所述第一区域相对应的一个第二区域，得到j个第二区域；所述连续j帧车窗图像位于所述连续i帧车窗图像之后，j为大于1的整数；
若所述j个第二区域内同一位置的像素的RGB值未发生变化，则确定所述第一区域内存在第二类杂物。
15.根据权利要求12-14任一项所述的车窗自动清洁装置，其特征在于，
所述确定单元，具体用于若所述暗通道图像中灰度值未超过预设灰度阈值的像素的数量小于等于所述暗通道图像中灰度值超过预设灰度阈值的像素的数量，和/或所述暗通道图像的清晰度小于预设清晰度，则确定车窗上存在所述第一类杂物；其中，所述暗通道图像的清晰度为所述暗通道图像中像素的灰度值的方差。
16.根据权利要求13-15任一项所述的车窗自动清洁装置，其特征在于，
所述确定单元，具体还用于根据所述连续i帧车窗图像中同一位置的像素的RGB值的均值，确定所述连续i帧车窗图像的均值图像；
根据所述连续i帧车窗图像的均值图像中的像素的RGB值与第i帧车窗图像中的像素的RGB值的差值，建立所述图像背景模型。
17.根据权利要求13-16任一项所述的车窗自动清洁装置，其特征在于，所述确定单元，具体用于根据所述图像背景模型中的像素的RGB值以及第一预设算法，确定第一区域；所述第一预设算法为显著性检测算法或者目标检测算法。
18.根据权利要求14-17任一项所述的车窗自动清洁装置，其特征在于，
所述确定单元，还用于确定所述图像背景模型中与第一区域相对应的第三区域；确定每个第二区域中像素的RGB值与所述第三区域中同一位置的像素的RGB值的差值并进行累加，得到累加值；若所述累加值超过预设阈值，则确定j个第二区域内同一位置的像素的RGB值发生变化。
19.根据权利要求12至18任一项所述的车窗自动清洁装置，其特征在于，
所述控制单元，具体用于根据车内外温度数据控制第一清洁工具开启预设时长，去除所述第一类杂物；
和/或所述控制单元，具体用于根据第二清洁工具工作时长以及所述第二清洁工具工作频率控制第二清洁工具清洁第一区域，去除所述第二类杂物；
其中，所述第二清洁工具工作时长根据行驶状态和/或驾驶员状态、所述行驶状态和/或所述驾驶员状态对应的第一预设权重参数、以及第二清洁工具连续工作的最大时长确定，第二清洁工具工作频率根据所述行驶状态和/或所述驾驶员状态、所述行驶状态和/或所述驾驶员状态对应的第二预设权重参数，以及第二清洁工具工作的最大频率确定。
20.根据权利要求19所述的车窗自动清洁装置，其特征在于，
所述控制单元，具体还用于根据行驶状态、驾驶员状态、所述行驶状态对应的第一预设权重参数、所述驾驶员状态对应的第一预设权重参数、第二清洁工具连续工作的最大时长以及第二预设算法，确定第二清洁工具工作时长，所述第二预设算法为
Figure FDA0002178269540000041
所述控制单元，具体还用于根据所述行驶状态、所述驾驶员状态、所述行驶状态对应的第二预设权重参数、所述驾驶员状态对应的第二预设权重参数、第二清洁工具工作的最大频率以及第三预设算法，确定第二清洁工具工作频率，所述第三预设算法为
Figure FDA0002178269540000051
其中，t1为所述第二清洁工具工作时长，ts-max为所述第二清洁工具连续工作的最大时长，f为所述第二清洁工具工作频率，fmax为第二清洁工具工作的最大频率，e为自然对数的底数，α1和β1分别为行驶状态和驾驶员状态对应的第一预设权重参数，a1+β1＝1，a2和β2分别为行驶状态和驾驶员状态对应的第二预设权重参数，α2+β2＝1，s1表示行驶状态、s2表示驾驶员状态。
21.根据权利要求19或20所述的车窗自动清洁装置，其特征在于，
所述控制单元，还用于根据所述行驶状态和/或所述驾驶员状态、所述行驶状态和/或所述驾驶员状态对应的第三预设权重参数，以及第三清洁工具连续工作的最大时长，确定第三清洁工具工作时长；
根据所述行驶状态和/或所述驾驶员状态、所述行驶状态和/或所述驾驶员状态对应的第四预设权重参数，以及第三清洁工具工作的最大间隔，确定第三清洁工具工作间隔；
根据所述第三清洁工具工作时长以及所述第三清洁工具工作间隔控制第三清洁工具清洁所述第一区域，并根据所述第二清洁工具工作时长以及所述第二清洁工具工作频率控制第二清洁工具清洁所述第一区域，去除所述第二类杂物。
22.根据权利要求21所述的车窗自动清洁装置，其特征在于，
所述控制单元，具体用于根据所述行驶状态、所述驾驶员状态、所述行驶状态对应的第三预设权重参数、所述驾驶员状态对应的第三预设权重参数、第三清洁工具连续工作的最大时长以及第四预设算法，确定第三清洁工具工作时长，所述第四预设算法为
Figure FDA0002178269540000052
所述控制单元，具体用于根据所述行驶状态、所述驾驶员状态、所述行驶状态对应的第四预设权重参数、所述驾驶员状态对应的第四预设权重参数、第三清洁工具工作的最大间隔以及第五预设算法，确定第三清洁工具工作间隔，所述第五预设算法为
Figure FDA0002178269540000053
其中，t2为所述第三清洁工具工作时长，tl-max为所述第三清洁工具连续工作的最大时长，Δt为所述第三清洁工具工作间隔，Δtmax为第三清洁工具工作的最大间隔，e为自然对数的底数，a3和β3分别为所述行驶状态和所述驾驶员状态对应的第三预设权重参数，a3+β3＝1，a4和β4分别为所述行驶状态和所述驾驶员状态对应的第四预设权重参数，α4+β4＝1，s1表示行驶状态、s2表示驾驶员状态。
23.一种车窗自动清洁装置，其特征在于，包括：处理器、存储器和通信接口；其中，通信接口用于与其他设备或通信网络通信，存储器用于存储一个或多个程序，所述一个或多个程序包括计算机执行指令，当该装置运行时，处理器执行存储器存储的所述计算机执行指令以使该装置执行如权利要求1-11任一项所述的车窗自动清洁方法。
24.一种计算机可读存储介质，其特征在于，包括程序和指令，当所述程序或指令在计算机上运行时，如权利要求1-11任一项所述的车窗自动清洁方法被实现。
25.一种包含指令的计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如权利要求1-11任一项所述的车窗自动清洁方法。
CN201910786726.5A 2019-08-23 2019-08-23 车窗自动清洁方法及装置 Active CN112406788B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910786726.5A CN112406788B (zh) 2019-08-23 2019-08-23 车窗自动清洁方法及装置
EP20859291.5A EP4011715A4 (en) 2019-08-23 2020-07-15 METHOD AND DEVICE FOR AUTOMATIC CLEANING OF CAR WINDOWS
PCT/CN2020/102184 WO2021036559A1 (zh) 2019-08-23 2020-07-15 车窗自动清洁方法及装置
US17/678,334 US20220176912A1 (en) 2019-08-23 2022-02-23 Automatic Vehicle Window Cleaning Method and Apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910786726.5A CN112406788B (zh) 2019-08-23 2019-08-23 车窗自动清洁方法及装置

Publications (2)

Publication Number Publication Date
CN112406788A true CN112406788A (zh) 2021-02-26
CN112406788B CN112406788B (zh) 2022-06-24

Family

ID=74683318

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910786726.5A Active CN112406788B (zh) 2019-08-23 2019-08-23 车窗自动清洁方法及装置

Country Status (4)

Country Link
US (1) US20220176912A1 (zh)
EP (1) EP4011715A4 (zh)
CN (1) CN112406788B (zh)
WO (1) WO2021036559A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113787987A (zh) * 2021-09-13 2021-12-14 安徽江淮汽车集团股份有限公司 针对挡风玻璃前视摄像头视野区域的自清洁方法及系统
CN114604200B (zh) * 2022-03-28 2024-01-09 广州小鹏自动驾驶科技有限公司 车辆的清洁装置控制的方法、装置、车辆以及储存介质
CN114881896B (zh) * 2022-07-12 2022-10-04 广东欧谱曼迪科技有限公司 内窥镜图像实时去雾方法、装置、电子设备、存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3521024A1 (de) * 1984-06-20 1986-01-02 Volkswagenwerk Ag, 3180 Wolfsburg Scheibenreinigungsvorrichtung fuer fahrzeuge
CN1270560A (zh) * 1997-09-16 2000-10-18 金特克斯公司 水汽传感器和风挡玻璃水汽检测器
US20150332099A1 (en) * 2014-05-15 2015-11-19 Conti Temic Microelectronic Gmbh Apparatus and Method for Detecting Precipitation for a Motor Vehicle
KR20160132673A (ko) * 2015-05-11 2016-11-21 한국오므론전장주식회사 우적 감응형 와이퍼 장치
CN106218587A (zh) * 2016-07-25 2016-12-14 青岛海信移动通信技术股份有限公司 一种开启除雾功能的方法和设备
CN106462737A (zh) * 2014-05-20 2017-02-22 高通股份有限公司 用于浑浊性检测的系统和方法
CN107554485A (zh) * 2017-07-18 2018-01-09 上海禹点电子科技有限公司 挡风玻璃遮挡区域擦拭控制系统及方法
CN207257290U (zh) * 2017-08-10 2018-04-20 郑州宇通客车股份有限公司 一种车辆风挡起雾识别系统及车用玻璃
CN108263343A (zh) * 2016-12-31 2018-07-10 天津华方科技有限公司 应用物联网技术自动控制汽车车窗冲刷的安全装置
CN108528395A (zh) * 2018-04-08 2018-09-14 广州大学 一种基于图像识别的车辆智能雨刮控制方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8180099B2 (en) * 2002-07-16 2012-05-15 Trw Limited Rain detection apparatus and method
CN104077750A (zh) * 2014-06-18 2014-10-01 深圳市金立通信设备有限公司 一种图像的处理方法
JP2019015692A (ja) * 2017-07-11 2019-01-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 付着物検出方法、付着物学習方法、付着物検出装置、付着物学習装置、付着物検出システム、および、プログラム
JP7103185B2 (ja) * 2018-11-20 2022-07-20 トヨタ自動車株式会社 判定装置、車両制御装置、判定方法、判定プログラム
CN111055811A (zh) * 2019-12-05 2020-04-24 浙江合众新能源汽车有限公司 一种基于车载智能摄像头的雨刮器控制方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3521024A1 (de) * 1984-06-20 1986-01-02 Volkswagenwerk Ag, 3180 Wolfsburg Scheibenreinigungsvorrichtung fuer fahrzeuge
CN1270560A (zh) * 1997-09-16 2000-10-18 金特克斯公司 水汽传感器和风挡玻璃水汽检测器
US20150332099A1 (en) * 2014-05-15 2015-11-19 Conti Temic Microelectronic Gmbh Apparatus and Method for Detecting Precipitation for a Motor Vehicle
CN106462737A (zh) * 2014-05-20 2017-02-22 高通股份有限公司 用于浑浊性检测的系统和方法
KR20160132673A (ko) * 2015-05-11 2016-11-21 한국오므론전장주식회사 우적 감응형 와이퍼 장치
CN106218587A (zh) * 2016-07-25 2016-12-14 青岛海信移动通信技术股份有限公司 一种开启除雾功能的方法和设备
CN108263343A (zh) * 2016-12-31 2018-07-10 天津华方科技有限公司 应用物联网技术自动控制汽车车窗冲刷的安全装置
CN107554485A (zh) * 2017-07-18 2018-01-09 上海禹点电子科技有限公司 挡风玻璃遮挡区域擦拭控制系统及方法
CN207257290U (zh) * 2017-08-10 2018-04-20 郑州宇通客车股份有限公司 一种车辆风挡起雾识别系统及车用玻璃
CN108528395A (zh) * 2018-04-08 2018-09-14 广州大学 一种基于图像识别的车辆智能雨刮控制方法及系统

Also Published As

Publication number Publication date
CN112406788B (zh) 2022-06-24
WO2021036559A1 (zh) 2021-03-04
EP4011715A1 (en) 2022-06-15
US20220176912A1 (en) 2022-06-09
EP4011715A4 (en) 2023-01-11

Similar Documents

Publication Publication Date Title
US11917281B2 (en) Camera system, method and instructions using images captured by a first mage sensor and a second image sensor to generate a third image corresponding to a simulated lens having an intermediate focal length
US11891023B1 (en) Using camera data to manage a vehicle parked outside in cold climates
US9734425B2 (en) Environmental scene condition detection
CN112406788B (zh) 车窗自动清洁方法及装置
CN110487562B (zh) 一种用于无人驾驶的车道保持能力检测系统及方法
EP3614105B1 (en) Controlling host vehicle based on detected parked vehicle characteristics
CN113449577A (zh) 使用rgb+事件的稳健对象检测和分类
US10489934B2 (en) Vehicle exterior conditioning
US10399106B2 (en) Camera and washer spray diagnostic
CN110837800A (zh) 一种面向港口恶劣天气的目标检测和识别的方法
CN108860064B (zh) 车联网环境下前挡视线调节主动服务系统及方法
WO2021164463A1 (zh) 检测方法、装置及存储介质
JP7092081B2 (ja) 走行環境評価システム
DE112018005039T5 (de) Signalverarbeitungsvorrichtung, signalverarbeitungsverfahren, programm und mobiler körper
CN113424243B (zh) 信息处理装置、信息处理方法和信息处理程序
US20230115758A1 (en) Systems and methods for controlling speed of an autonomous vehicle
CN115083152A (zh) 一种车辆编队感知系统、方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant