CN109519077B - 一种基于图像处理对雨水进行检测的车窗控制系统 - Google Patents

一种基于图像处理对雨水进行检测的车窗控制系统 Download PDF

Info

Publication number
CN109519077B
CN109519077B CN201811138753.3A CN201811138753A CN109519077B CN 109519077 B CN109519077 B CN 109519077B CN 201811138753 A CN201811138753 A CN 201811138753A CN 109519077 B CN109519077 B CN 109519077B
Authority
CN
China
Prior art keywords
picture
vehicle
embedded processor
image processing
performance embedded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201811138753.3A
Other languages
English (en)
Other versions
CN109519077A (zh
Inventor
吕卫
郭旭
褚晶辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201811138753.3A priority Critical patent/CN109519077B/zh
Publication of CN109519077A publication Critical patent/CN109519077A/zh
Application granted granted Critical
Publication of CN109519077B publication Critical patent/CN109519077B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00—Power-operated mechanisms for wings
    • E05F15/70—Power-operated mechanisms for wings with automatic actuation
    • E05F15/71—Power-operated mechanisms for wings with automatic actuation responsive to temperature changes, rain, wind or noise
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00—Power-operated mechanisms for wings
    • E05F15/70—Power-operated mechanisms for wings with automatic actuation
    • E05F15/77—Power-operated mechanisms for wings with automatic actuation using wireless control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES E05D AND E05F, RELATING TO CONSTRUCTION ELEMENTS, ELECTRIC CONTROL, POWER SUPPLY, POWER SIGNAL OR TRANSMISSION, USER INTERFACES, MOUNTING OR COUPLING, DETAILS, ACCESSORIES, AUXILIARY OPERATIONS NOT OTHERWISE PROVIDED FOR, APPLICATION THEREOF
    • E05Y2900/00—Application of doors, windows, wings or fittings thereof
    • E05Y2900/50—Application of doors, windows, wings or fittings thereof for vehicles
    • E05Y2900/53—Type of wing
    • E05Y2900/55—Windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于图像处理进行雨水检测的车窗控制系统，包括：检测摄像头、高性能嵌入式处理器、以及汽车天窗控制器，所述高性能嵌入式处理器用于接收检测摄像头获取的前挡风玻璃图片，并通过图像处理检测前挡风玻璃上是否出现雨点、以及雨水在整张图片中所占的比例w0；所述高性能嵌入式处理器对下一帧图片处理后得到的前景像素占整张图片的比例为w'；根据w0与w'之间的差值关系、结合云服务器获取的天气信息中的降水概率，使得高性能嵌入式处理器对车窗控制器是否关闭进行控制。本发明使用图片处理的方法，可以方便的将功能集成到车载智能设备中，扩大车载设备的功能范围；可实时检测雨水的情况，检测范围较大，并且加入了多情况判别，智能化程度高。

Description

一种基于图像处理对雨水进行检测的车窗控制系统
技术领域
本发明涉及车窗控制系统领域，尤其涉及一种基于图像处理对雨水进行检测的车窗控制系统。
背景技术
随着社会的进步与科技的发展，汽车已经深深融入到了人们的日常生活之中，对于私家车主，夏日炎热的天气会让汽车内部的温度很高，通常会打开天窗通风透气，甚至在关闭汽车后也会保持天窗打开，保持车内通风，但是天气总是变化无常的，如果在露天停车场停车后，仍旧保持汽车天窗开启，或是驾驶员下车时忘记关闭，遇到雨天，将会对汽车内部造成巨大的损害，造成不必要的损失和驾驶安全隐患。为了避免停车后天窗仍旧开启保持空气流通，并且避免使雨水进入汽车内部，需要在汽车上配备雨水检测系统实现对车窗的智能控制。
目前，在市场上可以进行雨水检测的车载设备主要都是基于雨水传感器的雨水检测系统，雨水传感器分为光感式雨滴传感器、压电式雨滴传感器和电导式雨点传感器。对于光感式雨滴传感器，只有当雨水较大，能在前挡风玻璃上形成水流时，光强传感器检测接收发光二极管经由前挡风玻璃反射的光，由光强变化判断雨水情况，存在反应速度慢，判断不准确的缺点；对于压电式雨滴传感器，是利用其压电振子的压电效用，将机械振动变成电信号，通过振动幅值的大小来判断雨水情况，存在检测精度低，判断不准确的缺点；对于电导式雨点传感器，是通过检测雨水流入传感器后引起的电导变化来判断是否下雨，存在检测范围小，判别不准确，十分容易将其它情况误判为下雨，或是已经下雨，但因为没有流入传感器而无法触发传感器的判断。
现有安装在车辆上的雨水检测装置大多采用光感式雨滴传感器，仅能够通过前挡风玻璃上的一小块区域来判断外部的天气情况，容易造成误判，而且比较适用于雨水较大的天气，在挡风玻璃上形成水流，并且改变光强的变化才能够准确判断天气变化，当雨水量较小，或者挡风玻璃上的雨水不正常流动，都会造成误判，而且容易受到外界环境的影响，智能化程度不高。
发明内容
本发明提供了一种基于图像处理对雨水进行检测的车窗控制系统，本发明实现了对汽车天窗的智能控制，详见下文描述：
一种基于图像处理进行雨水检测的车窗控制系统，所述控制系统包括：检测摄像头、高性能嵌入式处理器、以及汽车天窗控制器，所述高性能嵌入式处理器用于接收检测摄像头获取的前挡风玻璃图片，并通过图像处理检测前挡风玻璃上是否出现雨点、以及雨水在整张图片中所占的比例w0；
所述高性能嵌入式处理器对下一帧图片处理后得到的前景像素占整张图片的比例为 w'；
当w′-w0≥θ则判定检测到了雨水，且从云服务器获取的天气信息中此时的降水概率也高于80％时，所述高性能嵌入式处理器则向车窗控制器发送关窗指令；
若降水概率低于80％，提高检测帧频，一分钟检测两张摄像头采集到的图片，再次将更新后的w'与w0进行比较；
若满足|w'-w0|≥θ，且|w'-w0|持续变大，所述高性能嵌入式处理器则向车窗控制器发送关窗指令；
若|w'-w0|≥θ但并未持续变大，则持续监测，直至|w'-w0|＜θ，若|w'-w0|逐渐变小，则当|w'-w0|＜θ时，恢复三分钟一帧的检测频率，继续检测。
进一步地，所述系统还包括：
GPS模块，用于获取车辆的地理位置信息；
4G网络通信模块，用于获取车辆所在位置的当前天气信息。
进一步地，所述系统还包括：
车窗关闭后，所述高性能嵌入式处理器通过4G网络通信模块向车主发送已关闭车窗的信息，并关机。
其中，所述GPS模块获取当前位置的地理信息，所述4G网络通信模块通过4G网络向云服务器发送请求，接收本地的天气信息；
停车后，通过所述高性能嵌入式处理器自带的锂电池作为供电电源。
本发明提供的技术方案的有益效果是：
1、本发明使用图片处理的方法，可以方便的将功能集成到车载智能设备中，扩大车载设备的功能范围；
2、本发明可以实时检测雨水的情况，检测范围较大，并且加入了多情况判别，智能化程度高。
附图说明
图1为一种基于图像处理对雨水进行检测的车窗控制系统的结构示意图；
图2为一种基于图像处理对雨水进行检测的车窗控制系统的工作流程图；
图3为一种基于图像处理对雨水进行检测的车窗控制系统的安装示意图；
图4为一种基于图像处理对雨水进行检测的车窗控制系统的输入图片及处理后的图片。
其中，(a)为摄像头摄入车前挡风玻璃上带有雨水的图片，(b)为经过图像处理后提取出的前景图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
实施例1
一种基于图像处理进行雨水检测的车窗控制系统，参见图1，该车窗控制系统的硬件包括：检测摄像头、高性能嵌入式处理器、GPS模块、4G网络通信模块、以及汽车天窗控制器。
其中，高性能嵌入式处理器的型号为i.MX 6QuadPlus处理器，用于接收检测摄像头获取的前挡风玻璃图片，并通过图像处理检测前挡风玻璃上是否出现雨点、以及雨水在整张图片中所占的比例。
具体实现时，GPS模块的型号为中科微电子ATGM332D-5N31，用于获取车辆的地理位置信息。
4G网络通信模块的型号为移远EC20，用于获取车辆所在位置的当前天气信息。
汽车天窗控制器，用于接收嵌入式处理器发出的指令后控制天窗的关闭。
综上所述，本发明实施例使用图片处理的方法，可以方便的将功能集成到车载智能设备中，扩大车载设备的功能范围；且可以实时检测雨水的情况，检测范围较大，并且加入了多情况判别，智能化程度高。
实施例2
下面结合图2-图4、以及具体的计算公式对实施例1中的车窗控制系统的工作原理进行进一步地介绍，详见下文描述：
1)驾驶员发动车辆，雨水检测系统启动，电池开始充电，通过GPS模块获取当前位置的地理信息，4G网络通信模块通过4G网络向云服务器发送请求，接收到本地的天气信息，停车后，用自带的锂电池作为供电电源，使得雨水检测系统保持开启状态；
2)检测摄像头开始持续拍摄前挡风玻璃的图片，每三分钟进行一次检测，高性能嵌入式处理器在接收到图片后，在检测之前需要对图片进行预处理，首先对图片进行灰度变化，输入的图片是RGB三个通道的矩阵，通过以下公式转变为亮度矩阵：
Y＝0.299R+0.587G+0.114B
其中，彩色图片变为灰度图片，R、G、B分别是彩色图片的红、绿、蓝三个颜色分量，之后对灰度图片进行高斯滤波，利用高斯模糊效应，降低图片中的噪声，使图片更加平滑，将灰度图片与高斯函数做卷积运算，高斯函数如下所示：
Figure GDA0002336176440000041
其中，x和y分别是图片上每个像素对应的横坐标与纵坐标，σ是高斯分布的标准差。
3)对图片进行处理之后，高性能嵌入式处理器采用Otsu阈值分割算法对图片内容进行分割；
假设拍摄的是一张有物体的图片，可以将图片中的物体划分为前景(即目标)和背景，映射到灰度直方图中，会形成一张双峰直方图，因此，可以通过一个阈值来进行分割，划分出图片中的目标区域和非目标区域。
设整张图片的大小为m×n，分割前景与背景的阈值为T，灰度值小于等于T的像素个数为N0，属于前景的像素点个数占整幅图片的比例为w0(即实施例1中雨水在整张图片中所占的比例)，即
Figure GDA0002336176440000042
设平均灰度值为μ0，即
Figure GDA0002336176440000043
pi为前景像素的灰度值，同理，背景像素的灰度值都小于T，个数为N1，N1＝m×n-N0，占整幅图片的比例为w1，w1＝1-w0，平均灰度值为μ1，
Figure GDA0002336176440000044
定义整张图片的平均灰度值为μ＝w0×μ0+w1×μ1，类间方差 g＝w0(μ0-μ)2+w1(μ1-μ)2。
获取了以上参数之后，遍历阈值T，使类间方差g最大，这时候就可以将图片中前景和背景区分开，记录下此时的w0，定义对下一帧图片处理后得到的前景像素占整张图片的比例为w′，如果w′-w0≥θ(其中，θ为提前设定好的阈值，需要根据实际情况进行调试获得，θ的取值范围设定为0.1-0.3)，则判定图片中检测到了雨水。
若从云服务器获取的天气信息中此时的降水概率高于80％，说明监测到的水滴是雨水的概率很大，直接向车窗控制器发送关窗指令；若降水概率低于80％，则提高检测帧频，一分钟检测两张摄像头采集到的图片，再次将w'与w0进行比较(即w'与w0为变化值，更新后的数值)，是否满足|w'-w0|≥θ，如果满足且|w'-w0|持续变大，则判断为下雨，向车窗控制器发送关窗指令，若|w'-w0|≥θ但并未持续变大，则持续监测，直至|w'-w0|＜θ，若|w'-w0|逐渐变小，则当|w'-w0|＜θ时，恢复三分钟一帧的检测频率，继续检测。
关闭车窗后，通过4G网络通信模块向车主发送信息：“已关闭车窗”，并关机。
综上所述，本发明实施例在嵌入式处理系统上完成整个系统的搭建和程序实现，摄像头安装在汽车内后视镜后方位置，镜头朝向前挡风玻璃，视角向下稍微调整(只需保证视野良好即可)；本发明实施例也可以通过技术整合，加入到行车记录仪和驾驶辅助摄像头等智能车载设备中。
本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于图像处理进行雨水检测的车窗控制系统，所述控制系统包括：检测摄像头、高性能嵌入式处理器、以及汽车天窗控制器，其特征在于，
所述高性能嵌入式处理器用于接收检测摄像头获取的前挡风玻璃图片，并通过图像处理检测前挡风玻璃上是否出现雨点、以及雨水在整张图片中所占的比例w0；
所述高性能嵌入式处理器对下一帧图片处理后得到的前景像素占整张图片的比例为w'；
当w′-w0≥θ则判定检测到了雨水，且从云服务器获取的天气信息中此时的降水概率也高于80％时，所述高性能嵌入式处理器则向车窗控制器发送关窗指令；
若降水概率低于80％，提高检测帧频，一分钟检测两张摄像头采集到的图片，再次将更新后的w'与w0进行比较；
若满足|w'-w0|≥θ，且|w'-w0|持续变大，所述高性能嵌入式处理器则向车窗控制器发送关窗指令；
若|w'-w0|≥θ但并未持续变大，则持续监测，直至|w'-w0|＜θ，若|w'-w0|逐渐变小，则当|w'-w0|＜θ时，恢复三分钟一帧的检测频率，继续检测。
2.根据权利要求1所述的一种基于图像处理进行雨水检测的车窗控制系统，其特征在于，所述系统还包括：
GPS模块，用于获取车辆的地理位置信息；
4G网络通信模块，用于获取车辆所在位置的当前天气信息。
3.根据权利要求2所述的一种基于图像处理进行雨水检测的车窗控制系统，其特征在于，所述系统还包括：
车窗关闭后，所述高性能嵌入式处理器通过4G网络通信模块向车主发送已关闭车窗的信息，并关机。
4.根据权利要求2或3所述的一种基于图像处理进行雨水检测的车窗控制系统，其特征在于，
所述GPS模块获取当前位置的地理信息，所述4G网络通信模块通过4G网络向云服务器发送请求，接收本地的天气信息；
停车后，通过所述高性能嵌入式处理器自带的锂电池作为供电电源。
CN201811138753.3A 2018-09-28 2018-09-28 一种基于图像处理对雨水进行检测的车窗控制系统 Expired - Fee Related CN109519077B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811138753.3A CN109519077B (zh) 2018-09-28 2018-09-28 一种基于图像处理对雨水进行检测的车窗控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811138753.3A CN109519077B (zh) 2018-09-28 2018-09-28 一种基于图像处理对雨水进行检测的车窗控制系统

Publications (2)

Publication Number Publication Date
CN109519077A CN109519077A (zh) 2019-03-26
CN109519077B true CN109519077B (zh) 2020-06-16

Family

ID=65772138

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811138753.3A Expired - Fee Related CN109519077B (zh) 2018-09-28 2018-09-28 一种基于图像处理对雨水进行检测的车窗控制系统

Country Status (1)

Country Link
CN (1) CN109519077B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112049540A (zh) * 2020-09-04 2020-12-08 上海小鹏汽车科技有限公司 一种车窗控制的方法和装置
CN112428947A (zh) * 2020-12-02 2021-03-02 上海拓殷电子科技技术有限公司 汽车智能系统
CN115339555A (zh) * 2021-05-15 2022-11-15 无锡市铭淇电动科技有限公司 一种智能电动车仪表的使用系统及其方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102707340A (zh) * 2012-06-06 2012-10-03 南京大学 一种基于视频图像的降雨量测量方法
CN103543638A (zh) * 2013-10-10 2014-01-29 山东神戎电子股份有限公司 一种自动雨刷控制方法
CN105564379A (zh) * 2016-01-27 2016-05-11 大连楼兰科技股份有限公司 一种汽车雨刷器自动启动系统和方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013190416A (ja) * 2012-02-13 2013-09-26 Ricoh Co Ltd 付着物検出装置及びこれを用いた車載機器制御装置
US10049284B2 (en) * 2016-04-11 2018-08-14 Ford Global Technologies Vision-based rain detection using deep learning

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102707340A (zh) * 2012-06-06 2012-10-03 南京大学 一种基于视频图像的降雨量测量方法
CN103543638A (zh) * 2013-10-10 2014-01-29 山东神戎电子股份有限公司 一种自动雨刷控制方法
CN105564379A (zh) * 2016-01-27 2016-05-11 大连楼兰科技股份有限公司 一种汽车雨刷器自动启动系统和方法

Also Published As

Publication number Publication date
CN109519077A (zh) 2019-03-26

Similar Documents

Publication Publication Date Title
US11001231B1 (en) Using camera data to manage a vehicle parked outside in cold climates
CN109519077B (zh) 一种基于图像处理对雨水进行检测的车窗控制系统
US10609341B1 (en) Automatic maintenance of front and/or rear windshield visibility
CN110796834B (zh) 车辆淹水的报警方法及系统、车辆和可读存储介质
US20180141563A1 (en) Classifying of weather situations using cameras on automobiles
CN107808392B (zh) 开放场景的安检车辆自动跟踪定位方法及系统
CN106218587B (zh) 一种开启除雾功能的方法和设备
WO2021164463A1 (zh) 检测方法、装置及存储介质
CN208479822U (zh) 一种车用全景环视系统
CN112758046B (zh) 一种基于智能识别的挡风玻璃清晰度控制方法与系统
CN105539326A (zh) 一种基于车载摄像头的天气识别系统及方法
US20220176912A1 (en) Automatic Vehicle Window Cleaning Method and Apparatus
CN112854950A (zh) 基于感知融合的汽车车窗自适应升降方法及系统
CN109584176B (zh) 机动车驾驶视觉增强系统
US11983908B2 (en) Systems and methods for controlling a window heating element
US20230242079A1 (en) Raindrop detection device
CN113822119A (zh) 车内空气质量的调节方法、装置和存储介质及电子设备
CN113840123B (zh) 一种车载图像的图像处理装置、汽车
KR20230086979A (ko) 차량 및 차량의 제어방법
CN113859175A (zh) 一种基于重卡adas系统的自动雨刮控制方法
JP7439792B2 (ja) 照度推定装置
KR102633972B1 (ko) 인공지능 기반 차량용 디포그 서비스 제공 시스템
WO2023115253A1 (zh) 数据采集方法、装置和系统
US20240037899A1 (en) Determining a visibility measure based on an image of an environment
CN117738561A (zh) 天窗控制方法、装置、车辆及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200616