CN111445539A - 一种阳台积水检测方法、处理装置及智能晾衣架系统 - Google Patents
一种阳台积水检测方法、处理装置及智能晾衣架系统 Download PDFInfo
- Publication number
- CN111445539A CN111445539A CN202010209798.6A CN202010209798A CN111445539A CN 111445539 A CN111445539 A CN 111445539A CN 202010209798 A CN202010209798 A CN 202010209798A CN 111445539 A CN111445539 A CN 111445539A
- Authority
- CN
- China
- Prior art keywords
- image
- balcony
- scene
- area
- brightness difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 75
- 238000001514 detection method Methods 0.000 title claims abstract description 39
- 238000012545 processing Methods 0.000 claims abstract description 54
- 238000000034 method Methods 0.000 claims abstract description 53
- 238000005286 illumination Methods 0.000 claims abstract description 44
- 230000006870 function Effects 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 19
- 230000004913 activation Effects 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims 2
- 238000003672 processing method Methods 0.000 claims 1
- 238000009825 accumulation Methods 0.000 description 17
- 238000012549 training Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000012360 testing method Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 7
- 230000003068 static effect Effects 0.000 description 5
- 238000012795 verification Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 241001270131 Agaricus moelleri Species 0.000 description 2
- 101100535673 Drosophila melanogaster Syn gene Proteins 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 238000011900 installation process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 101100043727 Caenorhabditis elegans syx-2 gene Proteins 0.000 description 1
- 101100043731 Caenorhabditis elegans syx-3 gene Proteins 0.000 description 1
- 101100368134 Mus musculus Syn1 gene Proteins 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47G—HOUSEHOLD OR TABLE EQUIPMENT
- A47G25/00—Household implements used in connection with wearing apparel; Dress, hat or umbrella holders
- A47G25/14—Clothing hangers, e.g. suit hangers
- A47G25/1407—Clothing hangers, e.g. suit hangers with identification means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Geometry (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种阳台积水检测方法、处理装置及智能晾衣架系统，所述阳台积水检测方法包括：每隔预设时间间隔获取阳台场景的图像；对获取的图像进行去光照干扰处理，得到去除光照干扰的图像作为待检测图像；对相邻的多幅待检测图像进行亮度差区域判断，确定所述阳台场景是否出现积水。采用本发明实施例方法通过对去除光照干扰后的图像进行检测，可以获得较准确的积水检测结果。
Description
技术领域
本发明实施例涉及但不限于图像处理领域，尤指一种阳台积水检测方法处理装置及智能晾衣架系统。
背景技术
阳台存在积水是一种常见的现象，积水产生的原因有很多，例如楼上阳台的水渗透到楼下阳台形成积水，或者下雨时渗透进来的雨水，或者是阳台上安装的洗衣机或洗手池在排水不畅时导致的积水，或者是在阳台晾晒衣物时滴水形成的积水等等。
但是目前的积水检测方法更多的是针对道路积水或者暴雨积涝等较深的积水，不适用于阳台场景的较浅积水，且还需要结合传感器等设备进行判断，不适于家用。
发明内容
本申请实施例提供了一种阳台积水检测方法、处理装置及智能晾衣架系统，可实现阳台环境内积水的准确检测。
一方面，本发明实施例提供了一种阳台积水检测方法，包括：
每隔预设时间间隔获取阳台场景的图像；
对获取的图像进行去光照干扰处理，得到去除光照干扰的图像作为待检测图像；
对相邻的多幅待检测图像进行亮度差区域判断，确定所述阳台场景是否出现积水。
另一方面，本发明实施例提供了一种智能晾衣架系统，包括晾衣架、设置在晾衣架上的图像采集装置以及位于云端的处理装置，其中：
所述图像采集装置，用于拍摄阳台场景的图像；
所述处理装置，用于从所述图像采集装置获取阳台场景的图像，执行前述阳台积水检测方法，当检测到阳台场景出现积水后，发出告警信息。
另一方面，本发明实施例还提供了一种处理装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时可实现前述阳台积水检测方法。
通过对图像进行去光照干扰处理，可以获得更准确的待检测图像，避免因光照干扰造成的积水误告警。另外，本发明实施例方案通过图像识别进行积水检测，无需传感器等其他设备，成本低。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的其他优点可通过在说明书、权利要求书以及附图中所描述的方案来实现和获得。
附图说明
附图用来提供对本申请技术方案的理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。
图1为本发明实施例阳台积水检测方法的流程图；
图2为本发明实施例阳台积水检测方法一种实施方式的流程图；
图3为本发明实施例包括安装过程在内的检测流程的示意图；
图4为本发明实施例一种阳台积水检测系统的结构示意图；
图5为本发明实施例处理装置设置在云端的阳台积水检测系统示意图；
图6为本发明实施例另一种阳台积水检测系统的结构示意图；
图7为本发明实施例阳台积水检测流程与模块实现关系示意图；
图8为本发明实施例光照规范化深度卷积神经网络架构图；
图9为本发明实施例光照规范化深度卷积神经网络具体架构图；
图10a为本发明实施例编码器结构示意图；
图10b为本发明实施例解码器结构示意图；
图11为本发明实施例用于训练和测试网络的数据集图像示例；
图12为本发明实施例网络训练图像对；
图13为本发明实施例智能晾衣架系统示意图；
图14为一种处理装置的结构示意图。
具体实施方式
本申请描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说显而易见的是，在本申请所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合，并在具体实施方式中进行了讨论，但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外，任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用，或可以替代任何其它实施例中的任何其他特征或元件。
本申请包括并设想了与本领域普通技术人员已知的特征和元件的组合。本申请已经公开的实施例、特征和元件也可以与任何常规特征或元件组合，以形成由权利要求限定的独特的发明方案。任何实施例的任何特征或元件也可以与来自其它发明方案的特征或元件组合，以形成另一个由权利要求限定的独特的发明方案。因此，应当理解，在本申请中示出和/或讨论的任何特征可以单独地或以任何适当的组合来实现。因此，除了根据所附权利要求及其等同替换所做的限制以外，实施例不受其它限制。此外，可以在所附权利要求的保护范围内进行各种修改和改变。
此外，在描述具有代表性的实施例时，说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而，在该方法或过程不依赖于本文所述步骤的特定顺序的程度上，该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的，其它的步骤顺序也是可能的。因此，说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。此外，针对该方法和/或过程的权利要求不应限于按照所写顺序执行它们的步骤，本领域技术人员可以容易地理解，这些顺序可以变化，并且仍然保持在本申请实施例的精神和范围内。
本发明实施例提出一种阳台积水检测方法，可以通过非接触式的检测方法实现阳台场景下渗漏形成的积水的实时预警。下面通过本发明实施例进行说明。
本发明实施例阳台积水检测处理流程如图1所示，包括以下步骤：
步骤11，每隔预设时间间隔获取阳台场景的图像；
在本发明实施例中，可采用单目摄像头作为图像采集装置拍摄阳台场景图像，从该单目摄像头获取监控图像，或者可以通过其他程序获取监控图像。例如，可以预先在阳台顶端或者晾衣杆上安装摄像头，摄像头拍摄的场景即为阳台场景，摄像头从上向下对准阳台地面，相当于俯视效果。
可以设置摄像头实时采集阳台视频，处理装置从图像采集装置获取图像时，每隔预设时间间隔从视频中截取监控图像；也可以设置摄像头每隔预设时间间隔拍摄一次阳台图像。采集频率(即上述预设时间间隔)可调，例如可以在1分钟至30分钟内选择，如2分钟、5分钟或10分钟等，可由用户进行设置。时间间隔设置的越短，预警性越强。
步骤12，对获取的图像进行去光照干扰处理，得到去除光照干扰的图像作为待检测图像；
在本发明试试里中，通过将所述获取的图像输入预先训练好的光照规范化卷积神经网络实现对获取的图像进行去光照干扰处理，所述光照规范化卷积神经网络输出的图像为去除光照干扰的图像。
步骤13，对相邻的多幅待检测图像进行亮度差区域判断，确定所述阳台场景是否出现积水。
采用本发明实施例方法，通过对图像进行去光照干扰处理，可以获得更准确的待检测图像，避免因光照干扰造成的积水误告警。另外，本发明实施例方案通过图像识别进行积水检测，无需传感器等其他设备，成本低。
在一示例性实施例中，可以采用以下方式对相邻的多幅待检测图像进行亮度差区域判断，确定所述阳台场景是否出现积水：计算得到第二图像与第一图像间的大于或等于第一预设区域阈值的第一亮度差区域，以及第三图像与所述第一图像间的第二亮度差区域，判断如果所述第二亮度差区域大于所述第一亮度差区域，则确定所述阳台场景出现积水，其中所述第一图像的拍摄时间先与所述第二图像的拍摄时间，所述第二图像的拍摄时间先于所述第三图像的拍摄时间。
在一示例性实施方式中，在判断阳台区域出现积水后，可以向用户发出告警信息。
采用上述步骤13，通过每隔预设时间间隔采集图像，并对这些图像进行亮度分析，即灰度分析，判断如果存在亮度差且亮度差的面积越来越大，即后拍摄的图与先拍摄的图亮度不同的区域越来越多，则说明当前可能正在发生渗漏现象。此时可以给用户发出预警。本发明实施例方法对积水的动态变化进行检测，通过对不同时间段的图像进行对比，判断积水面积，当积水面积变大时判定为有积水或渗漏现象，检测准确，且无需传感器，实现成本低。
如果阳台天花板有渗漏，渗漏的水滴滴在阳台地面上，随着时间的变化，有积水的面积将会越来越大，对比不同时间段的图像，如果发现积水的面积越来越大，就说明阳台有漏水的情况，向用户发出告警信息。但是如果阳台上放了一盆水，不同时间段前后两张图像的积水面积没有区别，则判断无积水，不向用户报警。由此可以看出，本发明实施例技术方案具有很强的前瞻性，可以实现预警，只要发现地面积水有增大趋势便向用户发出告警，而不会等到漏水已经很严重了再报警，减少财产损失。
下面结合具体实施例，对上述阳台积水检测步骤进行说明。
假设初始采样时间点为t(0)，则对应的采样图片为Pic(t(0))，第一次采集的时间点为t(1)，对应的采样图片为Pic(t(1))，第i次采集的时间点为t(i)，采样图片为Pic(t(i))，第n次时间点t(n)采样的图片为Pic(t(n))，以此类推。
如图2所示，积水检测判断具体包括以下步骤：
步骤21，获取第i时刻的第一图像Pic(t(i))，以及第i+1时刻的第二图像Pic(t(i)+1)；
本实施例方法为一个循环执行的方法，通过不断对最近截取的两张图片中的亮度值进行比较实现。
本步骤中获取的图像可以是指步骤11中获取的图像，也可以是经过步骤12去光照干扰后的图像。
步骤22，判断第一图像Pic(t(i))与第二图像Pic(t(i)+1)是否存在亮度差，即两幅图像是否存在灰度不同的第一区域A，如果存在，则执行步骤23，如果不存在，则返回步骤21，重新获取图像；
所述重新获取图像，例如可以获取第i+2时刻采集的图像Pic(t(i)+2)，将其与第i+1时刻采集的图像Pic(t(i)+1)进行对比，或者也可以获取第i+3时刻采集的图像Pic(t(i)+3)和第i+2时刻采集的图像Pic(t(i)+2)，将两者进行对比。
步骤23，判断该第一区域A的面积是否大于或等于预设区域阈值范围(第一阈值T)，如果是，执行步骤24，如果该第一区域A的面积小于预设区域范围阈值T，则返回步骤21，重新获取图像；
所述区域范围第一阈值T为预先设置的区域阈值。其用于表示报警积水范围，即当积水面积达到多少时会触发报警。区域范围阈值例如可以为像素值。
步骤24，获取第i+2时刻采集的第三图像Pic(t(i)+2)；
步骤25，判断第三图像Pic(t(i)+2)与第一图像Pic(t(i))是否存在亮度差，即两幅图像是否存在灰度不同的第二区域B，如果存在，执行步骤26，如果不存在，则返回步骤21，重新获取图像；
具体地，可以分别将第三图像Pic(t(i)+2)与第一图像Pic(t(i))转换为灰度图，然后再进行比较，判断是否存在灰度不同的区域，即有灰度差的区域。
步骤26，判断该第二区域B的面积是否大于上述第一区域A的面积，即该亮度差区域是否在扩大，如果是，执行步骤27，如果该第二区域B的面积不大于第一区域A的面积，则返回步骤21，重新获取图像；
本步骤中，判断该第二区域B的面积是否大于上述第一区域A的面积可以包括以下判断中的一种或多种：
方式1，判断该第二区域B是否完全包含该第一区域A；
如果第二区域B完全包含第一区域A，则说明积水区域相同，且积水面积越来越大；
方式2，判断该第二区域B是否部分与所述第一区域A重合，且第二区域B的面积大于第一区域A的面积；
如果第二区域B大于第一区域A，且部分与第一区域A重合，也说明积水区域相同，且积水面积越来越大；
采用上述方式进行判断是为了防止误判，只有在同一位置的积水面积增大才能被确认为是渗漏。
采用上述实施例方法，通过两次灰度差判断可以发现图像Pic(t(i)+2)与图像Pic(t(i))相比时的亮度差区域大于图像Pic(t(i)+1)与图像Pic(t(i))相比时的亮度差区域，由此可以基本确定在阳台的同一区域出现了积水，且积水越来越多。此时可以向用户发出告警信息。
在其他实施例中，为了避免误判，还可以在步骤26之后增加以下验证流程，以进一步确定阳台是否出现积水。
步骤27，获取第i-j时刻的第四图像Pic(t(i)-j)；
步骤28，判断第三图像Pic(t(i)+2)与第四图像Pic(t(i)-j)间是否存在亮度差，即两幅图像是否存在灰度不同的第三区域C，如果有，执行步骤29，如果没有，返回步骤21，重新获取图像，或者可以结束验证流程；
步骤29，判断该第三区域C的面积是否大于或等于预设区域范围第一阈值T，即进一步确认是否存在大于预设面积的积水，如果是，发出告警信息，如果该第三区域C的面积不大于阈值T，则可返回步骤21，重新获取图像，或者可以结束验证流程。
在上述步骤中，为了防止图像Pic(t(i))由于出现干扰而导致不正确，因此调用第i时刻之前的第i-j时刻采集的图像Pic(t(i)-j)(例如j＝6)与图像Pic(t(i)+2)对比，如果仍然在相同位置有连续亮度不同的区域，则判断这个区域是有积水的或者已经湿了。
在一示例性实施例中，在步骤28中，可以采用第i+1时刻采集的第二图像Pic(t(i)+1)与第i-j时刻采集的图像Pic(t(i)-j)进行对比，完成验证流程。
在一示例性实施例中，在步骤29中，可以判断第三区域C的面积是否大于第一区域A的面积，具体判断参见上述方式1)和方式2)中描述，此处不再赘述。
在一示例性实施例中，验证流程可以有多次判断步骤。
图3为包括安装过程在内的检测流程的示意图，如图3所示，例如预先在阳台天花板上安装了一个摄像头，楼上阳台的水渗漏到了楼下阳台。为了在第一时间发现漏水情况，并且尽快给用户发出预警信息。例如阳台的摄像头每2分钟就采集一次图像，并可对采集后的图像进行去光照干扰处理，对前后相邻的两张图像的亮度进行对比，找出亮度显著不一样的区域，首先将第0分钟的图像和第2分钟的图像进行对比，发现亮度区域A。然后把第4分钟的图像和第0分钟的图像进行对比，发现这个亮度区域，也就是漏水区域有”扩增“的现象。此时基本已认为积水了。但是为了使得结果更无干扰性，将第4分钟的图像和前第k张图像，比如前第5张图，也就10分钟前，记为-10分的图片进行对比，发现亮度区域还是存在的，就确认这个区域是有积水的，可以向用户发出告警信息。
如图4所示，实现上述阳台积水检测方法的阳台积水检测系统包括图像采集装置41和处理装置42，其中：
所述图像采集装置41，用于拍摄阳台场景的监控图像；
所述处理装置42，用于从所述图像采集装置41获取阳台场景的监控图像，执行前述图1所示或图2所示阳台积水检测处理流程，当检测到阳台场景出现积水后，发出告警信息。
在一示例性实施例中，所述系统还可以包括报警装置43，所述处理装置还用于指示所述报警装置43发出告警信息；
所述报警装置43，用于根据所述处理装置42的指示向用户发出告警信息。
上述图像采集装置41例如可以是安装在阳台顶部或者晾衣架上的摄像头；
上述处理装置42包括处理器和存储介质，其中：
所述处理器例如可以是中央处理单元(Central Processing Unit，简称CPU)，或者可以是其他通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器例如可以是只读存储器、随机存取存储器或者其组合，其用于存储执行阳台积水检测方法所需的程序。
上述处理装置可以设置在云端，即云端服务器，如图5所示，此时图像采集装置可将采集到的图像发送到云端服务器，由云端服务器进行去光照干扰处理和/或积水检测。此时，云端服务器可以同时对多个用户的阳台进行积水检测。例如不同用户家中的阳台均安装有摄像头，并分别把获取的图像上传到云端服务器处理，云端服务器可以分别进行判断，然后把处理结果返回给不同的用户。可通过为摄像头配置标识ID并且与对应的用户进行绑定实现。
所述处理装置42除了可以通过报警装置43向用户发出告警信息，所述处理装置42也可以直接向用户发送告警信息，例如向用户注册的手机号发送短消息，或者向用户注册的微信号发送微信提醒，或者向用户登记的电子邮箱发送电子邮件等等，以便用户及时处理，例如用户可以在第一时间通过摄像头远程查看阳台实时图像，并根据实际情况采取措施。
在一示例性实施例中，上述报警装置43可以是设置在阳台上的语音播报装置，或者是用户的手持终端设备例如手机，可以通过用户终端设备上安装的应用程序向用户发送告警信息。
从上述流程可见，流程中经过了多次图像获取、图像对比分析和判断是否有亮度变化的过程，因此可以设计三个相应的模块进行异步处理。如图6和图7所示，其中：
图像获取模块51:用于获取相邻时间点的两张图像，设置视频采集图像的频率，比如每2分钟采集一次图像，初始采样时间点为t(0)，对应的采样图片为Pic(t(0))，第一次采集的时间点为t(1)，对应的采样图片为Pic(t(1))，此时图像获取模块获得图1：第一地面图像画面，接着第二次采集的时间点为t(2)，对应的采样图片为Pic(t(2))，第i次采集的时间点为t(i)，对应的采样图片为Pic(t(i))，第n次采集的时间点t(n)对应的采样图片为Pic(t(n))，以此类推。该图像获取模块例如执行上述步骤21、步骤24和步骤27。图像获取模块51相当于图4中图像采集装置41。
亮度差分析模块52:用于对获取到的图像进行预处理，包括用于将RGB彩色图像转为灰度图的图像预处理单元521，该灰度值即为需要比较的亮度值，用于计算预处理后的相邻两张图中每幅图像亮度值的图像亮度计算单元522，以及用于计算分析获得该两张图亮度差区域的分析单元533；该亮度差分析模块例如执行上述步骤22、步骤25和步骤28。如果需要对图像进行去光照干扰处理，则由该亮度差分析模块52中的预处理单元521进行该去光照干扰处理。
判断模块53:判断亮度差区域的面积是否大于比较对象，执行的时机不同，比较对象有所不同，具体可参见上述实施例步骤中的描述。该判断模块例如执行上述步骤23、步骤26和步骤29。
上述亮度差分析模块52和判断模块53执行的功能相当于处理装置42执行的功能。可以理解为，所述处理装置42可以包括亮度差分析模块52和判断模块53。
上述实施例技术方案利用图像识别技术对监控的阳台地面的视频图像进行分析，实时监测阳台地面是否有积水或者阳台湿滑的情况，并即时给用户发出预警。提出的方法简单易行，节约人力，发现阳台有积水或者有湿滑现象在第一时间通知用户以确保用户能迅速的采取相应的措施，为阳台地面防滑的安全保障提供了实用的可行系统和方法。
因为上述实施例方案并不关注积水的深度信息，因此无需使用深度摄像头或双摄像头，也无需使用红外线或雷达等传感器来检测水的深度信息。本发明实施例技术方案为非接触式检测，只需要一个图像采集装置即可实现，根据漏水前后的图像的亮度值进行判断，即可判断出是否积水以及积水的区域，不需要检测设备接触水。
上述实施例技术方案通过积水的动态变化进行检测，通过对不同时间段的图像进行对比，判断积水面积，当积水面积变大时判定为有积水或渗漏现象。在阳台天花板漏水过程中，只要发现地面积水有增大趋势便向用户发出告警，而不会等到漏水已经很严重了再报警，具有非常强的预警性。
在一示例性实施例方式中，考虑到本发明实施例的阳台积水检测是在前后两张图片的亮度对比的基础上进行的，且阳台场景可能会受到光照的影响。为了获得更好的检测效果，还可以对获取的图像进行去光照干扰处理，以得到去除光照干扰的图像，即使得前后两张图片在不受到光照干扰的情况下进行对比检测。
为此，本本发明实施例还提供一种光照规范化卷积神经网络(LightNormalization-CNN net，简称LN-net)，在获取图像后，进行亮度计算之前，将获取的图像输入预先训练好的光照规范化卷积神经网络(以下简称网络)，所述网络输出的图像为去除光照干扰的图像，再使用该图像进行亮度计算。
如图8所示，该网络包括压缩器模块和解压器模块。可以对不同光照条件下的图片进行光照的规范化处理。在图8中，有5种不同的光照条件下的照片，经过本实施例的网络模型，对不同的光照进行规范化，最后输出的图像都是统一化的光照条件下的图片。成功的去除了光照对不同的环境的影响。阳台场景下，可以通过该网络模型去除光照的干扰，然后再对比前后两张图片的亮度差。
下面对上述网络模型进行具体说明。
本发明实施例构建的网络模型为基于深度卷积神经网络的编码-解码模型，该网络包括相连接的压缩器模块和解压器模块。由压缩器模块执行压缩阶段，该压缩阶段将输入图像与一系列的学习过即训练过的滤波器进行卷积，并将其向下采样得到“最小的表示”，再由解压器模块执行解压缩阶段，对刚才得到的“最小表示”进行向上采样和“解卷积”，从而构建一个新的图像，该新图像保留了原图像中的主要特征，但是去除了光照干扰。每个压缩器模块包括依次连接的多个编码器子模块，所述编码器子模块用于对图像进行下采样，每个解压器模块包括依次连接的多个解码器子模块，每个解压器模块包括对应个数个解码器子模块，且每个编码器子模块与对称位置的解码器子模块连接。本发明实施例采用了编码器和对应的解码器进行连接(如图9所示)，使得该网络模型可以保留在压缩阶段可能会丢失的信息，从而提高了解压的质量。在本实施例中压缩器模块包括6个编码器，对应地，解压器模块包括6个解码器。
为了防止过度拟合，可以在压缩器模块中增加一个或多个第一dropout层，同样地，在解压器模块中对应增加一个或多个第二dropout层，第一dropout层与第二dropout层数量相同且位置对称。在本发明实施例中，在6个编码器的中间，即内层三个编码器与外层三个编码器之间增加一个dropout层，同样地，在内层三个解码器与外层三个解码器之间增加一个dropout层。图9示出了本发明实施例的网络模型构架，包括6个编码器和6个解码器，每个编码器和对应的解码器进行连接而达到共享信息的目的，6个编码器之间设置一个dropout层，6个解码器之间设置一个dropout层。
如图10a所示，每个编码器包括第一归一化处理单元(SwitchableNorm)1001、第一激活函数单元(ReLU)1002和卷积单元(conv)1003。同样地，如图10b所示，每个解码器包括第二归一化处理单元1004、第二激活函数单元(PReLU)1005和反卷积单元(convtranspose)1006。
图10a和图10b显示了编码器和解码器的基本结构图。在本实施例中，编码器和解码器的归一化都采用了自适配归一化(Switchable Normalization)方法。SwitchableNormalization方法是将不同的归一化方法结合，赋予权重，让网络自己去学习应该使用哪种适合自己的归一化方法。编码器的第一激活函数采用的是非线性激活函数ReLU，解码器的第二激活函数采用的是带参数的非线性激活函数PReLU。在本实施例中，编码器卷积单元的卷积步幅是m，解码器反卷积单元的反卷积步幅是1/m，m为正整数，卷积步幅设置与计算能力有关，计算能力越好，卷积步幅可以设置的越小，m例如为3。
本实施例采用了2017年Seonwook Park等人公布的公共数据库ETHL Dataset作为网络的训练样本。该数据集包括三种不同的数据，分别称为ETHL/syn1、ETHL/syn2和ETHL/real。本实施例使用的是其中的ETHL/syn1这个数据集进行训练，因为该数据集的图片较为接近阳台的这种室内的环境。该数据集每种图片的场景都分为5个不同的光照环境，如图11所示，分别为Static、Global、Local、Local+Global、Flashlight。可以将数据集随机按照9：1的比例划分为训练集和测试集。
由于该网络需要对不同光照下的图片进行光照的规范化。因此可以设置不同的训练图像对，如图12所示，在本实施例中，选择“Static”这个状态下的图像是光照规范后的标注参考图片。也就是说，不论是输入Static、Global、Local、Local+Global、Flashlight中的任何一种光线的图片到该网络模型中，都希望输出的结果是Static状态下的图片，这就是本实施例网络模型进行图像光照规范化的目的，为此设定Static状态下的图像为目标图像。为了增加处理速度，在训练网络前可以先对图像的大小进行统一调整并进行中心剪裁，例如统一获取分辨率为320*240ppi的图像。
该网络模型关注的是学习一种映射关系，这个映射的意义是最大化输出图片和目标图像的光度一致性。本实施例中设计使用了下面的损失函数Loss来训练网络：
其中：light(output)是目标图像的光度信息，light(f(input))反映的是经过网络处理的输出图像的光度信息，N表示的是本网络设定的批处理尺寸(batch size)，即一次训练所选取的样本数，在本实施例中N＝128。本实施例中损失函数采用L2正则表达式计算获得，以便规范化处理。
本实施例中光度信息可以理解为亮度信息，可依情况采用全局亮度或者局部亮度或者平均亮度进行计算。亮度计算方法可采用现有技术方法实现。
在进行网络训练时，不断计算损失函数，在本实施例中设置当训练到L<10-4时，则认为训练完成。
在网络训练完成后，对该网络进行测试，在测试过程中，为了提高速度，同样可以将每个图像的大小统一调整为320*240ppi。测试的结果如果是输出图像和目标图像的光度一致，也就是说损失函数L<10-4,就表示该CNN网络通过测试，训练成功。在其他实施例中，可以多次不同的随机测试，以便检测网络的稳健性。如果测试结果不理想，可以重新修改训练集或相关参数，甚至网络结构，直到网络训练和测试均结果理想，也就是准确率和成功率达标，此时该网络构建完成。
通过实验测试后发现，本发明实施例提出的上述光照规范化卷积神经网络具有很好的效果，上述网络架构以及网络参数设置合理。
在一示例性实施例中，本发明实施例还提供一种智能晾衣架系统，包括晾衣架、设置在晾衣架上的图像采集装置以及处理装置。以图13所示晾衣架为例，所述图像采集装置可以安装在晾衣架的主机盒内部，该图像采集装置除了具有采集图像的功能外，还可具有定期向处理装置发送所采集图像的功能。所述处理装置可以位于云端服务器中，用于执行前述图1或图2所示的阳台积水检测方法。所述图像采集装置和处理装置的功能和实现方式参见前述实施例中的描述，此处不再赘述。
上述图13所示仅为一种晾衣架示例，本发明所述智能晾衣架系统可以搭配使用任何形式的阳台晾衣架。如果该晾衣架固定在阳台顶部，图像采集装置可以设置在该晾衣架与阳台顶部连接的位置处。
在本申请一示例性实施例中，提供了一种处理装置。所述处理装置可包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例图1或图2所示方法流程。
如图14所示，在一个示例中，处理装置40可包括：处理器410、存储器420、总线系统430和收发器440，其中，该处理器410、该存储器420和该收发器440通过该总线系统1430相连，该存储器1420用于存储指令，该处理器410用于执行该存储器420存储的指令，以进行如图1或图2所示的阳台积水检测，以及通过收发器440获取图像及发送告警信息。
应理解，处理器410可以是中央处理单元(Central Processing Unit，简称为“CPU”)，处理器410还可以是其他通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器420可以包括只读存储器和随机存取存储器，并向处理器410提供指令和数据。存储器420的一部分还可以包括非易失性随机存取存储器。
总线系统430除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图14中将各种总线都标为总线系统430。
在实现过程中，该处理装置所执行的处理可以通过处理器410中的硬件的集成逻辑电路或者软件形式的指令完成。即本发明实施例所公开的方法的步骤可以体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等存储介质中。该存储介质位于存储器420，处理器410读取存储器420中的信息，结合其硬件完成上述阳台检测方法的步骤。为避免重复，这里不再详细描述。
以上显示和描述了本申请的基本原理和主要特征和本申请的优点。本申请不受上述实施例的限制，上述实施例和说明书中描述的只是说明本申请的原理，在不脱离本申请精神和范围的前提下，本申请还会有各种变化和改进，这些变化和改进都落入要求保护的本申请范围内。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
Claims (10)
1.一种阳台积水检测方法，其特征在于，所述方法包括：
每隔预设时间间隔获取阳台场景的图像；
对获取的图像进行去光照干扰处理，得到去除光照干扰的图像作为待检测图像；
对相邻的多幅待检测图像进行亮度差区域判断，确定所述阳台场景是否出现积水。
2.根据权利要求1所述的方法，其特征在于，所述对获取的图像进行去光照干扰处理，得到去除光照干扰的图像作为待检测图像，包括：
将所述获取的图像输入预先训练好的光照规范化卷积神经网络，所述光照规范化卷积神经网络输出的图像为去除光照干扰的图像。
3.根据权利要求2所述的方法，其特征在于，
所述光照规范化卷积神经网络包括相连接的压缩器模块和解压器模块，其中：
所述压缩器模块包括依次连接的多个编码器子模块，以及连接于所述编码器子模块之间的一个或多个第一dropout层，其中所述编码器子模块用于对图像进行下采样，所述第一dropout层用于防止过拟合；
所述解压器模块包括依次连接的多个解码器子模块，以及连接于所述解码器子模块之间的一个或多个第二dropout层，其中所述解码器子模块用于对图像进行上采样，所述第二dropout层用于防止过拟合；
其中，所述编码器子模块和解码器子模块数量相同，且每个编码器子模块与对称位置的解码器子模块相连，所述第一dropout层与第二dropout层数量相同且位置对称。
4.根据权利要求3中所述的方法，其特征在于，其中：
每个编码器子模块包括依次连接的第一归一化处理单元、第一激活函数单元和卷积单元，每个解码器子模块包括依次连接的第二归一化处理单元、第二激活函数单元和反卷积单元。
5.根据权利要求4中所述的方法，其特征在于，其中：
所述第一归一化处理单元和所述第二归一化处理单元采用自适配归一化处理方法Switchable Normalization实现归一化；
所述第一激活函数单元采用非线性激活函数ReLU实现，所述第二激活函数单元采用带参数的非线性激活函数PReLU实现；
所述卷积单元的卷积步幅为m，所述反卷积单元的反卷积步幅为1/m。
6.根据权利要求4中所述的方法，其特征在于，其中：所述对相邻的多幅待检测图像进行亮度差区域判断，确定所述阳台场景是否出现积水，包括：
计算得到第二图像与第一图像间的大于或等于第一预设区域阈值的第一亮度差区域，以及第三图像与第一图像间的第二亮度差区域，判断如果所述第二亮度差区域大于所述第一亮度差区域，则确定所述阳台场景出现积水，其中所述第一图像的拍摄时间先于所述第二图像的拍摄时间，所述第二图像的拍摄时间先于所述第三图像的拍摄时间。
7.根据权利要求6所述的方法，其特征在于，所述判断如果所述第二亮度差区域大于所述第一亮度差区域后，所述方法还包括：
计算第三图像与第四图像间的第三亮度差区域，判断如果所述第三亮度差区域大于所述第一预设区域阈值，或者判断如果所述第三亮度差区域大于所述第一亮度差区域，则确定所述阳台场景出现积水，其中，所述第四图像的拍摄时间先于所述第一图像的拍摄时间。
8.一种智能晾衣架系统，其特征在于，包括晾衣架、设置在晾衣架上的图像采集装置以及处理装置，其中：
所述图像采集装置，用于拍摄阳台场景的图像；
所述处理装置，用于从所述图像采集装置获取阳台场景的图像，执行如权利要求1-7中任一项所述的阳台积水检测方法，当检测到阳台场景出现积水后，发出告警信息。
9.根据权利要求8所述的系统，其特征在于，所述系统还包括：报警装置；
所述处理装置还用于指示所述报警装置发出告警信息；
所述报警装置，用于根据所述处理装置的指示向用户发出告警信息。
10.一种处理装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如权利要求1-7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010209798.6A CN111445539A (zh) | 2020-03-23 | 2020-03-23 | 一种阳台积水检测方法、处理装置及智能晾衣架系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010209798.6A CN111445539A (zh) | 2020-03-23 | 2020-03-23 | 一种阳台积水检测方法、处理装置及智能晾衣架系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111445539A true CN111445539A (zh) | 2020-07-24 |
Family
ID=71629512
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010209798.6A Pending CN111445539A (zh) | 2020-03-23 | 2020-03-23 | 一种阳台积水检测方法、处理装置及智能晾衣架系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111445539A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112666553A (zh) * | 2020-12-16 | 2021-04-16 | 动联(山东)电子科技有限公司 | 一种基于毫米波雷达的道路积水识别方法及设备 |
| CN113673744A (zh) * | 2021-07-16 | 2021-11-19 | 广东好太太智能家居有限公司 | 一种基于天气的晾衣机功能推荐方法及系统 |
| CN116311028A (zh) * | 2023-01-09 | 2023-06-23 | 无锡市德宁节能科技有限公司 | 一种基于物联网的护栏控制方法和系统 |
| CN116740577A (zh) * | 2023-08-10 | 2023-09-12 | 瞳见科技有限公司 | 道路积水识别方法、系统、终端及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017053127A1 (en) * | 2015-09-21 | 2017-03-30 | The Climate Corporation | Ponding water detection on satellite imagery |
| CN107103590A (zh) * | 2017-03-22 | 2017-08-29 | 华南理工大学 | 一种基于深度卷积对抗生成网络的图像反射去除方法 |
| CN107833221A (zh) * | 2017-11-29 | 2018-03-23 | 武汉大学 | 一种基于多通道特征融合和机器学习的漏水监测方法 |
| CN109615653A (zh) * | 2018-12-19 | 2019-04-12 | 上海大学 | 基于深度学习与视场投影模型的渗漏水面积检测与识别方法 |
| CN110335294A (zh) * | 2019-07-11 | 2019-10-15 | 中国矿业大学 | 基于帧差法与3d卷积神经网络的矿井水泵房漏水检测方法 |
| CN110826391A (zh) * | 2019-09-10 | 2020-02-21 | 中国三峡建设管理有限公司 | 泌水区域检测方法、系统、计算机设备和存储介质 |
-
2020
- 2020-03-23 CN CN202010209798.6A patent/CN111445539A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017053127A1 (en) * | 2015-09-21 | 2017-03-30 | The Climate Corporation | Ponding water detection on satellite imagery |
| CN107103590A (zh) * | 2017-03-22 | 2017-08-29 | 华南理工大学 | 一种基于深度卷积对抗生成网络的图像反射去除方法 |
| CN107833221A (zh) * | 2017-11-29 | 2018-03-23 | 武汉大学 | 一种基于多通道特征融合和机器学习的漏水监测方法 |
| CN109615653A (zh) * | 2018-12-19 | 2019-04-12 | 上海大学 | 基于深度学习与视场投影模型的渗漏水面积检测与识别方法 |
| CN110335294A (zh) * | 2019-07-11 | 2019-10-15 | 中国矿业大学 | 基于帧差法与3d卷积神经网络的矿井水泵房漏水检测方法 |
| CN110826391A (zh) * | 2019-09-10 | 2020-02-21 | 中国三峡建设管理有限公司 | 泌水区域检测方法、系统、计算机设备和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 薛丰昌等: "视频监控的城市内涝监测预警", 《测绘科学》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112666553A (zh) * | 2020-12-16 | 2021-04-16 | 动联(山东)电子科技有限公司 | 一种基于毫米波雷达的道路积水识别方法及设备 |
| CN112666553B (zh) * | 2020-12-16 | 2023-04-18 | 动联(山东)电子科技有限公司 | 一种基于毫米波雷达的道路积水识别方法及设备 |
| CN113673744A (zh) * | 2021-07-16 | 2021-11-19 | 广东好太太智能家居有限公司 | 一种基于天气的晾衣机功能推荐方法及系统 |
| CN116311028A (zh) * | 2023-01-09 | 2023-06-23 | 无锡市德宁节能科技有限公司 | 一种基于物联网的护栏控制方法和系统 |
| CN116311028B (zh) * | 2023-01-09 | 2023-11-24 | 无锡市德宁节能科技有限公司 | 一种基于物联网的护栏控制方法和系统 |
| CN116740577A (zh) * | 2023-08-10 | 2023-09-12 | 瞳见科技有限公司 | 道路积水识别方法、系统、终端及存储介质 |
| CN116740577B (zh) * | 2023-08-10 | 2024-01-12 | 瞳见科技有限公司 | 道路积水识别方法、系统、终端及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111445539A (zh) | 一种阳台积水检测方法、处理装置及智能晾衣架系统 | |
| CN109461168B (zh) | 目标对象的识别方法和装置、存储介质、电子装置 | |
| US9635237B2 (en) | Method and camera for determining an image adjustment parameter | |
| CN110798592B (zh) | 基于视频图像的物体移动侦测方法、装置、设备及存储介质 | |
| CN107404628B (zh) | 图像处理装置及方法以及监视系统 | |
| US10692225B2 (en) | System and method for detecting moving object in an image | |
| KR101858339B1 (ko) | 카메라를 이용한 기상관측 장치 및 이를 제어하는 방법 | |
| CN112733690B (zh) | 一种高空抛物检测方法、装置及电子设备 | |
| CN113409362B (zh) | 高空抛物检测方法和装置、设备及计算机存储介质 | |
| CN105894003A (zh) | 一种基于机器视觉的大田果树病害监测预警系统 | |
| CN111435437A (zh) | 一种pcb行人重识别模型训练方法及pcb行人重识别方法 | |
| AU2018315336B2 (en) | Real-time computation of an atmospheric precipitation rate from a digital image of an environment where an atmospheric precipitation is taking place | |
| Yuwono et al. | Design and implementation of human detection feature on surveillance embedded IP camera | |
| JP5761954B2 (ja) | 画像センサ | |
| JP6275022B2 (ja) | 画像監視装置 | |
| JP2013207392A (ja) | 画像監視装置 | |
| CN110427887B (zh) | 一种基于智能的会员身份识别方法及装置 | |
| JP3957495B2 (ja) | 画像センサ | |
| US10878542B2 (en) | Method and system for filtering thermal image data | |
| JP2020167500A (ja) | 画像処理装置及び画像処理プログラム | |
| US20190197349A1 (en) | Image identification method and image identification device | |
| CN110853127A (zh) | 图像处理方法、装置及设备 | |
| TWI844554B (zh) | 過濾熱影像資料之方法及系統 | |
| JP2020155953A (ja) | 画像処理装置及び画像処理プログラム | |
| JP2017091118A (ja) | 画像判定装置及びこれを用いた処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200724 |