CN111241941A - 一种基于人工智能的公共节水控制方法和系统 - Google Patents

一种基于人工智能的公共节水控制方法和系统 Download PDF

Info

Publication number
CN111241941A
CN111241941A CN201911412850.1A CN201911412850A CN111241941A CN 111241941 A CN111241941 A CN 111241941A CN 201911412850 A CN201911412850 A CN 201911412850A CN 111241941 A CN111241941 A CN 111241941A
Authority
CN
China
Prior art keywords
water outlet
target object
image
target
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911412850.1A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Terminus Technology Co Ltd
Original Assignee
Chongqing Terminus Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Terminus Technology Co Ltd filed Critical Chongqing Terminus Technology Co Ltd
Priority to CN201911412850.1A priority Critical patent/CN111241941A/zh
Publication of CN111241941A publication Critical patent/CN111241941A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于人工智能的公共节水控制方法和系统，其方法如下：采用拍摄设备实时获取出水设备的出水口预设范围内的图像信息，并将拍摄的图像信息实时传输到中心服务器；中心服务器接收实时图像信息，并通过预判模块判断图像中是否存在目标物；目标识别模块对含有目标物的图像信息进行分析处理，识别出目标物种类和目标物位置；策划模块根据识别出的目标物种类和目标物位置，规划出水控制策略，并通过控制模块向出水设备下达出水控制指令。通过该方法和系统，针对不同的目标物或场景，可以提供与之相匹配的出水控制方式，具有用水便捷、水资源使用效率高和可防止水资源浪费等优点。

Description

一种基于人工智能的公共节水控制方法和系统
技术领域
本发明涉及公共节水领域，具体涉及一种基于人工智能的公共节水控制方法和系统。
背景技术
随着我国人口的不断增加，水资源短缺的问题日益严重，节约水资源的观念已经成为社会共识并深入人心，尤其是针对学校、医院、商场和户外等公共场所的洗手间、食堂和水房等，水资源浪费的情况非常常见。为了解决水资源浪费的问题，现有技术采用控制水龙头单次出水量的方式，或者控制水龙头单次出水时间的方式，这样就可以达到节水的目的，一定程度减少水资源浪费。但是这些方式仍存在很多缺陷，比如，用户用大件容器接水时，控制水龙头出水时间就会浪费很多的接水时间，降低接水效率；用户清洗衣服、拖把等清洗物时，控制水龙头出水量就会影响清洗效果，清洗效率低；不同的场景没有与之相适应的出水方式，存在用水不便和浪费水等问题。
发明内容
针对现有技术存在的上述不足，本发明的目的在于：提供一种基于人工智能的公共节水控制方法和系统，在出水设备上方设置拍摄设备，分析拍摄图像中目标物种类和位置，并针对不同目标物及其位置，采取不同的出水控制策略。针对不同的目标物或场景，可以提供与之相匹配的出水控制方式，具有用水便捷、水资源使用效率高和可防止水资源浪费等优点。
一种基于人工智能的公共节水控制方法，包括以下步骤：
S1：采用拍摄设备实时获取出水设备的出水口预设范围内的图像信息，并将拍摄的图像信息实时传输到中心服务器；
S2：中心服务器接收实时图像信息，并通过预判模块判断图像中是否存在目标物；若否，则执行步骤S2；若是，则执行步骤S3；
S3：目标识别模块对含有目标物的图像信息进行分析处理，识别出目标物种类和目标物位置；
S4：策划模块根据识别出的目标物种类和目标物位置，规划出水控制策略，并通过控制模块向出水设备下达出水控制指令。
进一步地，所述拍摄设备设于出水设备正上方，拍摄以出水口为中心的预设范围内的图像信息；所述出水设备的出水口径流量和目标距出水设备出水口的距离呈线性变化。
进一步地，所述目标识别模块的识别包括：
将含有目标物的图像输入深度语义分割网络中进行卷积计算得到语义卷积特征图像，将含有目标物的图像输入目标检测网络中进行卷积计算得到目标卷积特征图像；
将语义卷积特征图像和目标卷积特征图像通过线性结构进行融合得到融合特征图像，并将融合特征图像送入到注意区域推荐网络ARPN进行候选区域的推荐；
通过感兴趣区域池化层将推荐出来的候选区域和特征区域合并为固定维度大小的特征矢量，将特征矢量送入分类器和边框回归量计算器中同时进行分类判断和边框回归修正。
进一步地，所述线性结构为：
ffus＝β×fdec+(1-β)×fseg
其中，ffus、fdec和fseg分别表示融合特征、目标卷积特征和语义卷积特征，β表示目标卷积特征在融合特征中的占比；
在后向传播中，损失函数L通过如下公式进行反向传播：
Figure BDA0002350424830000021
Figure BDA0002350424830000022
进一步地，所述注意区域推荐网络ARPN包括区域推荐网络RPN和注意模块，采用主通道和注意分通道两个平行通道来对融合特征图像进行处理，主通道保持原特征图不变，注意分通道通过注意模块进行注意力权重计算；所述区域推荐网络RPN的输入为任意大小的融合特征图像，输出为推荐的候选区域框。
进一步地，所述深度语义分割网络卷积计算包括：采用带孔的金字塔池化网络结构对含有目标的输入图像进行带孔卷积，不同尺度的特征采用不同尺度卷积，得到粗糙得分图；对所述粗糙得分图进行双线性插值计算，得到插值得分图；采用全连接的条件随机场对所述插值得分图进行优化，输出为优化后的语义卷积特征图像。
进一步地，还包括易混淆类别划分模块，所述易混淆类别划分模块采用相似矩阵，将谱聚类方法应用在相似矩阵上得到类别簇，根据类别簇将全部特征图像数据集划分为若干个数据子集。
进一步地，所述相似矩阵包括Softmax矩阵、混淆矩阵和类别标签语义相似度矩阵。
一种基于人工智能的公共节水控制系统，包括中心服务器，以及分别与中心服务器通信连接的出水设备和拍摄设备，所述中心服务器包括预判模块、目标识别模块、策划模块和控制模块，所述拍摄设备设于出水设备上方，用于拍摄出水设备的出水口预设范围内的图像信息；所述预判模块用于判断拍摄设备实时拍摄图像中是否存在目标物；所述目标识别模块用于对含有目标物的图像信息进行分析处理，识别出目标物种类和目标物位置；所述策划模块根据识别出的目标物种类和目标物位置，规划出水控制策略；所述控制模块用于向出水设备下达出水控制指令。
进一步地，所述拍摄设备设于出水设备正上方，拍摄以出水口为中心的预设范围内的图像信息；所述出水设备的出水口径流量和目标物距出水设备出水口的距离呈线性变化。
相比于现有技术，本发明具有以下优点：
本发明提供的一种基于人工智能的公共节水控制方法和系统，通过采集出水设备出水口附近的图像画面，分析图像中目标物的种类和位置，并针对不同目标物及其位置，采取不同的出水控制策略。通过该方法和系统，针对不同的目标物或场景，可以提供与之相匹配的出水控制方式，具有用水便捷、水资源使用效率高和可防止水资源浪费等优点。
附图说明
图1为本发明实施例一中基于人工智能的公共节水控制方法的流程图；
图2为本发明实施例二中基于人工智能的公共节水控制系统的系统框图；
图3为本发明实施例一或实施例二中深度语义分割网络和目标检测网络线性融合的结构示意图；
图4为本发明实施例一或实施例二中Faster R-CNN网络结构示意图；
图5为本发明实施例一或实施例二中DeepLab网络结构示意图；
图6为本发明实施例一或实施例二中注意区域推荐网络ARPN的结构示意图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只是作为示例，而不能以此来限制本发明的保护范围。
实施例一：
参照图1，一种基于人工智能的公共节水控制方法，包括以下步骤：
S1：采用拍摄设备实时获取出水设备的出水口预设范围内的图像信息，并将拍摄的图像信息实时传输到中心服务器；具体地，在公共场所的出水设备上方架设安装拍摄设备，拍摄出水口周围一定范围的画面区域，然后将实时拍摄的画面图像上传到后台的中心服务器；预设范围可以根据现场安装难易进行调整，预设范围调整好之后需要上传到后台进行存储，以便后续图像分析时调取使用。
S2：中心服务器接收实时图像信息，并通过预判模块判断图像中是否存在目标物；若否，则执行步骤S2；若是，则执行步骤S3；具体地，中心服务器中存储有无目标物时的画面图像，预判模块将实时图像和无目标物的画面图像进行对比分析，来判断实时图像中是否存在目标物。
S3：目标识别模块对含有目标物的图像信息进行分析处理，识别出目标物种类和目标物位置；具体地，利用深度卷积神经网络来分析图像中目标物的种类和位置，目标物的种类可以是水壶、水盆和水桶等容器，或者是手部、脚部和头部等人体部位，或者是衣服、拖把等待冲洗物，或者是牙刷等物品。
S4：策划模块根据识别出的目标物种类和目标物位置，规划出水控制策略，并通过控制模块向出水设备下达出水控制指令。具体地，可以根据目标物的不同类型，采用不同的出水控制策略，例如，若目标物为手部或者牙刷等，表明用户正在洗手或刷牙，则对出水径流量和出水时间都进行限制，就可以避免水流过大或者用水过多造成浪费；若目标物为水壶，则不需要限制出水径流量和出水量，而且容器接满后绝大多数人都会立即关闭水龙头，因此不会造成浪费，而且用户可以比较快捷地灌满容器；若目标物为冲洗物，则不限制出水时间和出水量，从而可以快速冲洗干净物品，且不会造成过度浪费。
上述基于人工智能的公共节水控制方法，所述拍摄设备设于出水设备正上方，拍摄以出水口为中心的预设范围内的图像信息；所述出水设备的出水口径流量和目标距出水设备出水口的距离呈线性变化。具体地，拍摄设备拍摄的画面图像中，出水设备出水口处于画面中心位置，这样可以提高对目标物的定位精度，目标物距离出水设备出水口间的距离检测精度更高。进一步的，当目标物出现在拍摄预测范围内时，出水口开始出水，随着目标物与出水设备出水口的距离不断减小，出水口径流量不断变大，当目标物与出水设备出水口的距离为零时，出水设备出水口径流量最大。
上述基于人工智能的公共节水控制方法，参照图3，所述目标识别模块的识别包括：
将含有目标物的图像输入深度语义分割网络中进行卷积计算得到语义卷积特征图像，将含有目标物的图像输入目标检测网络中进行卷积计算得到目标卷积特征图像；
将语义卷积特征图像和目标卷积特征图像通过线性结构进行融合得到融合特征图像，并将融合特征图像送入到注意区域推荐网络ARPN进行候选区域的推荐；
通过感兴趣区域池化层将推荐出来的候选区域和特征区域合并为固定维度大小的特征矢量，将特征矢量送入分类器和边框回归量计算器中同时进行分类判断和边框回归修正。
具体实施时，参照图4，所述目标检测网络可以采用Faster R-CNN模型，其原理过程为，先采用共享卷积网络对输入图像进行卷积计算，得到特征图像，将最后一层卷积特征图像送入到注意区域推荐网络ARPN进行候选区域的推荐，然后通过感兴趣区域池化层将推荐出来的候选区域和特征区域合并为固定维度大小的特征矢量，将特征矢量送入分类器和边框回归量计算器中同时进行分类判断和边框回归修正。通过这种共享卷积计算操作极大地减少了卷积计算的次数，而且这些特征矢量维度统一，方便后续的目标物分类工作。
参照图5，所述深度语义分割网络可以采用DeepLab模型，输入为含有目标物的图像，采用带孔的金字塔池化网络结构对含有目标的输入图像进行带孔卷积，不同尺度的特征采用不同尺度卷积，得到粗糙得分图；然后对所述粗糙得分图进行双线性插值计算，得到插值得分图；最后采用全连接的条件随机场对所述插值得分图进行优化，输出为优化后的语义卷积特征图像。其中，带孔的金字塔池化，是一个并行的网络结构，对不同尺度的特征采用不同尺度卷积，实现多尺度操作，而且带孔卷积改变了原有的卷积结构，在不增加参数的情况下扩大了感受野的大小；全连接的条件随机场是添加在网络后面的优化环节，对网络学习结果进行优化，描述了每一个像素的和其他像素之间的关系，增加了像素之间的连接性，使得图像边界分割效果准确率更高，提高了目标物种类识别的准确率，以及目标物位置的定位精确度，以便合理控制出水时间和出水径流量。
上述基于人工智能的公共节水控制方法中，所述Faster R-CNN网络和DeepLab网络，两个网络均采用VGG-16的卷积结构。引入了带洞卷积，带洞卷积可以在保证池化后感受视野不变的情况下对网络进行微调，使得输出的结果更加精细。所述线性结构为：
ffus＝β×fdec+(1-β)×fseg
其中，ffus、fdec和fseg分别表示融合特征、目标卷积特征和语义卷积特征，β表示目标卷积特征在融合特征中的占比；
在后向传播中，损失函数L通过如下公式进行反向传播：
Figure BDA0002350424830000061
Figure BDA0002350424830000062
通过上述融合模型，可以更好地对目标物体进行定位；两个模型可以融合使用的原因：语义分割模型和目标检测模型在结构上有相似之处，目标检测模型针对的分类信息和语义分割中的空间位置信息之间可以相互促进。进一步提高了目标物的定位精确度。
参照图6，所述注意区域推荐网络ARPN包括区域推荐网络RPN和注意模块，采用主通道和注意分通道两个平行通道来对融合特征图像进行处理，主通道保持原特征图不变，注意分通道通过注意模块进行注意力权重计算；所述区域推荐网络RPN的输入为任意大小的融合特征图像，输出为一组打分后的区域推荐候选框，在共享的卷积网络的最后一层特征映射图上进行滑动扫描，在每个位置提取一系类的锚框，每个滑动窗口会输出固定大小维度的特征，然后通过两个全连接层对候选边框进行分类二和边框回归坐标。
上述基于人工智能的公共节水控制方法中，所述特征区域指融合特征图像对应的特征映射图，感兴趣区域池化层可以将候选区域边框和特征区域进行融合池化，将每个有效候选区域中的特征转换为一个维度大小固定的特征矢量；感兴趣区域是通过选择性搜索算法计算出的分割区域。选择性搜索算法的原理，首先基于图像分割算法将图像分割生成多个初始区域，初始区域很小，没办法直接使用，需要使用多种的相似度判别规则决定哪些区域应该被合并到一起，最后将这些初始区域合并成待检测的分割区域；图像分割方法可以选择阈值分割法、边缘分割法、区域分割法中的一种，相似度判别可以通过颜色相似度、纹理相似度、尺寸相似度和重合相似度这四个方面来判断。由于数据图像的特征图分辨率大小不一，带目标物的图像在处理前需要进行归一化预处理，通过预处理，进行标准化，可以提高数据处理的效率。
上述基于人工智能的公共节水控制方法中，还包括易混淆类别划分模块，主要用于目标物难以区分的情形，所述易混淆类别划分模块采用相似矩阵，将谱聚类方法应用在相似矩阵上得到类别簇，根据类别簇将全部特征图像数据集划分为若干个数据子集，每个数据子集代表一种目标物种类。所述相似矩阵包括Softmax矩阵、混淆矩阵和类别标签语义相似度矩阵。具体实施时，Softmax矩阵的构建方式，获取一部分图像数据作为训练集，用训练集构建网络模型，将全部训练集输入到网络模型中，保留所有样本输出的Softmax值，最后将同一类别的训练集所保留得数据取平均后作为该类别所代表的Softmax矩阵中的一行，将所有类别的数据组合起来得到Softmax矩阵；混淆矩阵的构建方式，将测试集输入到训练好的网络模型中，根据实际类别和预测类别统计相关位置上的数量，得到矩阵；类别标签语义相似度矩阵的构建方式，基于信息量的语义相似度计算，基于信息量，某个概念出现概率越大，所包含的信息就越少；基于路径的语义相似度计算，利用概念间的路径长度来衡量语义相似度。通过易混淆类别划分模块进一步提高了目标物种类识别的准确程度，降低出错率。
参照图2，一种基于人工智能的公共节水控制系统，包括：
中心服务器，以及分别与中心服务器通信连接的出水设备和拍摄设备，所述中心服务器包括预判模块、目标识别模块、策划模块和控制模块。
所述拍摄设备设于出水设备上方，用于拍摄出水设备的出水口预设范围内的图像信息；具体地，在公共场所的出水设备上方架设安装拍摄设备，拍摄出水口周围一定范围的画面区域，然后将实时拍摄的画面图像上传到后台的中心服务器；预设范围可以根据现场安装难易进行调整，预设范围调整好之后需要上传到后台进行存储，以便后续图像分析时调取使用。
所述预判模块用于判断拍摄设备实时拍摄图像中是否存在目标物；具体地，中心服务器中存储有无目标物时的画面图像，预判模块将实时图像和无目标物的画面图像进行对比分析，来判断实时图像中是否存在目标物。
所述目标识别模块用于对含有目标物的图像信息进行分析处理，识别出目标物种类和目标物位置；具体地，利用深度卷积神经网络来分析图像中目标物的种类和位置，目标物的种类可以是水壶、水盆和水桶等容器，或者是手部、脚部和头部等人体部位，或者是衣服、拖把等待冲洗物，或者是牙刷等物品。
所述策划模块根据识别出的目标物种类和目标物位置，规划出水控制策略；所述控制模块用于向出水设备下达出水控制指令；具体地，可以根据目标物的不同类型，采用不同的出水控制策略，例如，若目标物为手部或者牙刷等，表明用户正在洗手或刷牙，则对出水径流量和出水时间都进行限制，就可以避免水流过大或者用水过多造成浪费；若目标物为水壶，则不需要限制出水径流量和出水量，而且容器接满后绝大多数人都会立即关闭水龙头，因此不会造成浪费，而且用户可以比较快捷地灌满容器；若目标物为冲洗物，则不限制出水径流量，但是限制出水总量，从而可以快速冲洗干净物品，且不会造成过度浪费。
上述基于人工智能的公共节水控制系统，所述拍摄设备设于出水设备正上方，拍摄以出水口为中心的预设范围内的图像信息；所述出水设备的出水口径流量和目标距出水设备出水口的距离呈线性变化。具体地，拍摄设备拍摄的画面图像中，出水设备出水口处于画面中心位置，这样可以提高对目标物的定位精度，目标物距离出水设备出水口间的距离检测精度更高。进一步的，当目标物出现在拍摄预测范围内时，出水口开始出水，随着目标物与出水设备出水口的距离不断减小，出水口径流量不断变大，当目标物与出水设备出水口的距离为零时，出水设备出水口径流量最大。
上述基于人工智能的公共节水控制系统，参照图3，所述目标识别模块的识别包括：
将含有目标物的图像输入深度语义分割网络中进行卷积计算得到语义卷积特征图像，将含有目标物的图像输入目标检测网络中进行卷积计算得到目标卷积特征图像；
将语义卷积特征图像和目标卷积特征图像通过线性结构进行融合得到融合特征图像，并将融合特征图像送入到注意区域推荐网络ARPN进行候选区域的推荐；
通过感兴趣区域池化层将推荐出来的候选区域和特征区域合并为固定维度大小的特征矢量，将特征矢量送入分类器和边框回归量计算器中同时进行分类判断和边框回归修正。
具体实施时，参照图4，所述目标检测网络可以采用Faster R-CNN模型，其原理过程为，先采用共享卷积网络对输入图像进行卷积计算，得到特征图像，将最后一层卷积特征图像送入到注意区域推荐网络ARPN进行候选区域的推荐，然后通过感兴趣区域池化层将推荐出来的候选区域和特征区域合并为固定维度大小的特征矢量，将特征矢量送入分类器和边框回归量计算器中同时进行分类判断和边框回归修正。通过这种共享卷积计算操作极大地减少了卷积计算的次数，而且这些特征矢量维度统一，方便后续的分类工作。
参照图5，所述深度语义分割网络可以采用DeepLab模型，输入为含有目标物的图像，采用带孔的金字塔池化网络结构对含有目标的输入图像进行带孔卷积，不同尺度的特征采用不同尺度卷积，得到粗糙得分图；然后对所述粗糙得分图进行双线性插值计算，得到插值得分图；最后采用全连接的条件随机场对所述插值得分图进行优化，输出为优化后的语义卷积特征图像。其中，带孔的金字塔池化，是一个并行的网络结构，对不同尺度的特征采用不同尺度卷积，实现多尺度操作，而且带孔卷积改变了原有的卷积结构，在不增加参数的情况下扩大了感受野的大小；全连接的条件随机场是添加在网络后面的优化环节，对网络学习结果进行优化，描述了每一个像素的和其他像素之间的关系，增加了像素之间的连接性，使得图像边界分割效果准确率更高。提高了目标物种类识别的准确率，以及目标物位置的定位精确度，以便合理控制出水时间和出水径流量。
上述基于人工智能的公共节水控制方法中，所述Faster R-CNN网络和DeepLab网络，两个网络均采用VGG-16的卷积结构。引入了带洞卷积，带洞卷积可以在保证池化后感受视野不变的情况下对网络进行微调，使得输出的结果更加精细。所述线性结构为：
ffus＝β×fdec+(1-β)×fseg
其中，ffus、fdec和fseg分别表示融合特征、目标卷积特征和语义卷积特征，β表示目标卷积特征在融合特征中的占比；
在后向传播中，损失函数L通过如下公式进行反向传播：
Figure BDA0002350424830000101
Figure BDA0002350424830000102
通过上述融合模型，可以更好地对目标物体进行定位；两个模型可以融合使用的原因：语义分割模型和目标检测模型在结构上有相似之处，目标检测模型针对的分类信息和语义分割中的空间位置信息之间可以相互促进。
参照图6，所述注意区域推荐网络ARPN包括区域推荐网络RPN和注意模块，采用主通道和注意分通道两个平行通道来对融合特征图像进行处理，主通道保持原特征图不变，注意分通道通过注意模块进行注意力权重计算；所述区域推荐网络RPN的输入为任意大小的融合特征图像，输出为一组打分后的区域推荐候选框，在共享的卷积网络的最后一层特征映射图上进行滑动扫描，在每个位置提取一系类的锚框，每个滑动窗口会输出固定大小维度的特征，然后通过两个全连接层对候选边框进行分类二和边框回归坐标。
上述基于人工智能的公共节水控制系统中，所述特征区域指融合特征图像对应的特征映射图，感兴趣区域池化层可以将候选区域边框和特征区域进行融合池化，将每个有效候选区域中的特征转换为一个维度大小固定的特征矢量；感兴趣区域是通过选择性搜索算法计算出的分割区域。选择性搜索算法的原理，首先基于图像分割算法将图像分割生成多个初始区域，初始区域很小，没办法直接使用，需要使用多种的相似度判别规则决定哪些区域应该被合并到一起，最后将这些初始区域合并成待检测的分割区域；图像分割方法可以选择阈值分割法、边缘分割法、区域分割法中的一种，相似度判别可以通过颜色相似度、纹理相似度、尺寸相似度和重合相似度这四个方面来判断。由于数据图像的特征图分辨率大小不一，带目标物的图像在处理前需要进行归一化预处理，通过预处理，进行标准化，可以提高数据处理的效率。
上述基于人工智能的公共节水控制系统中，还包括易混淆类别划分模块，主要用于目标物难以区分的情形，所述易混淆类别划分模块采用相似矩阵，将谱聚类方法应用在相似矩阵上得到类别簇，根据类别簇将全部特征图像数据集划分为若干个数据子集，每个数据子集代表一种目标物种类。所述相似矩阵包括Softmax矩阵、混淆矩阵和类别标签语义相似度矩阵。具体实施时，Softmax矩阵的构建方式，获取一部分图像数据作为训练集，用训练集构建网络模型，将全部训练集输入到网络模型中，保留所有样本输出的Softmax值，最后将同一类别的训练集所保留得数据取平均后作为该类别所代表的Softmax矩阵中的一行，将所有类别的数据组合起来得到Softmax矩阵；混淆矩阵的构建方式，将测试集输入到训练好的网络模型中，根据实际类别和预测类别统计相关位置上的数量，得到矩阵；类别标签语义相似度矩阵的构建方式，基于信息量的语义相似度计算，基于信息量，某个概念出现概率越大，所包含的信息就越少；基于路径的语义相似度计算，利用概念间的路径长度来衡量语义相似度。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的保护范围当中。

Claims (10)

1.一种基于人工智能的公共节水控制方法，其特征在于，包括以下步骤：
S1：采用拍摄设备实时获取出水设备的出水口预设范围内的图像信息，并将拍摄的图像信息实时传输到中心服务器；
S2：中心服务器接收实时图像信息，并通过预判模块判断图像中是否存在目标物；若否，则执行步骤S2；若是，则执行步骤S3；
S3：目标识别模块对含有目标物的图像信息进行分析处理，识别出目标物种类和目标物位置；
S4：策划模块根据识别出的目标物种类和目标物位置，规划出水控制策略，并通过控制模块向出水设备下达出水控制指令。
2.根据权利要求1所述的基于人工智能的公共节水控制方法，其特征在于：所述拍摄设备设于出水设备正上方，拍摄以出水口为中心的预设范围内的图像信息；所述出水设备的出水口径流量和目标距出水设备出水口的距离呈线性变化。
3.根据权利要求1所述的基于人工智能的公共节水控制方法，其特征在于，所述目标识别模块的识别包括：
将含有目标物的图像输入深度语义分割网络中进行卷积计算得到语义卷积特征图像，将含有目标物的图像输入目标检测网络中进行卷积计算得到目标卷积特征图像；
将语义卷积特征图像和目标卷积特征图像通过线性结构进行融合得到融合特征图像，并将融合特征图像送入到注意区域推荐网络ARPN进行候选区域的推荐；
通过感兴趣区域池化层将推荐出来的候选区域和特征区域合并为固定维度大小的特征矢量，将特征矢量送入分类器和边框回归量计算器中同时进行分类判断和边框回归修正。
4.根据权利要求3所述的基于人工智能的公共节水控制方法，其特征在于，所述线性结构为：
ffus＝β×fdec+(1-β)×fseg
其中，ffus、fdec和fseg分别表示融合特征、目标卷积特征和语义卷积特征，β表示目标卷积特征在融合特征中的占比；
在后向传播中，损失函数L通过如下公式进行反向传播：
Figure FDA0002350424820000021
Figure FDA0002350424820000022
5.根据权利要求3所述的基于人工智能的公共节水控制方法，其特征在于，所述注意区域推荐网络ARPN包括区域推荐网络RPN和注意模块，采用主通道和注意分通道两个平行通道来对融合特征图像进行处理，主通道保持原特征图不变，注意分通道通过注意模块进行注意力权重计算；所述区域推荐网络RPN的输入为任意大小的融合特征图像，输出为推荐的候选区域框。
6.根据权利要求3所述的基于人工智能的公共节水控制方法，其特征在于，所述深度语义分割网络卷积计算包括：采用带孔的金字塔池化网络结构对含有目标的输入图像进行带孔卷积，不同尺度的特征采用不同尺度卷积，得到粗糙得分图；对所述粗糙得分图进行双线性插值计算，得到插值得分图；采用全连接的条件随机场对所述插值得分图进行优化，输出为优化后的语义卷积特征图像。
7.根据权利要求1所述的基于人工智能的公共节水控制方法，其特征在于，还包括易混淆类别划分模块，所述易混淆类别划分模块采用相似矩阵，将谱聚类方法应用在相似矩阵上得到类别簇，根据类别簇将全部特征图像数据集划分为若干个数据子集。
8.根据权利要求7所述的基于人工智能的公共节水控制方法，其特征在于，所述相似矩阵包括Softmax矩阵、混淆矩阵和类别标签语义相似度矩阵。
9.一种基于人工智能的公共节水控制系统，包括中心服务器，以及分别与中心服务器通信连接的出水设备和拍摄设备，其特征在于：
所述中心服务器包括预判模块、目标识别模块、策划模块和控制模块，所述拍摄设备设于出水设备上方，用于拍摄出水设备的出水口预设范围内的图像信息；所述预判模块用于判断拍摄设备实时拍摄图像中是否存在目标物；所述目标识别模块用于对含有目标物的图像信息进行分析处理，识别出目标物种类和目标物位置；所述策划模块根据识别出的目标物种类和目标物位置，规划出水控制策略；所述控制模块用于向出水设备下达出水控制指令。
10.根据权利要求9所述的基于人工智能的公共节水控制系统，其特征在于，所述拍摄设备设于出水设备正上方，拍摄以出水口为中心的预设范围内的图像信息；所述出水设备的出水口径流量和目标物距出水设备出水口的距离呈线性变化。
CN201911412850.1A 2019-12-31 2019-12-31 一种基于人工智能的公共节水控制方法和系统 Pending CN111241941A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911412850.1A CN111241941A (zh) 2019-12-31 2019-12-31 一种基于人工智能的公共节水控制方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911412850.1A CN111241941A (zh) 2019-12-31 2019-12-31 一种基于人工智能的公共节水控制方法和系统

Publications (1)

Publication Number Publication Date
CN111241941A true CN111241941A (zh) 2020-06-05

Family

ID=70874174

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911412850.1A Pending CN111241941A (zh) 2019-12-31 2019-12-31 一种基于人工智能的公共节水控制方法和系统

Country Status (1)

Country Link
CN (1) CN111241941A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113673481A (zh) * 2021-09-03 2021-11-19 无锡联友塑业有限公司 大数据式出水场景辨识平台
CN113900802A (zh) * 2021-09-30 2022-01-07 泰州市雷信农机电制造有限公司 应用云计算的目标模拟系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105468035A (zh) * 2015-12-23 2016-04-06 小米科技有限责任公司 用于水龙头的出水控制方法及装置
CN108052080A (zh) * 2017-12-12 2018-05-18 北京小米移动软件有限公司 出水方式调控方法、装置及存储介质
CN108634794A (zh) * 2018-07-31 2018-10-12 上海泰大建筑科技有限公司 一种用于控制出水量的控制系统及出水控制方法
CN108985269A (zh) * 2018-08-16 2018-12-11 东南大学 基于卷积和空洞卷积结构的融合网络驾驶环境感知模型
CN109549482A (zh) * 2018-11-15 2019-04-02 珠海格力电器股份有限公司 饮水机和饮水机控制方法
CN109826282A (zh) * 2019-03-20 2019-05-31 百度在线网络技术（北京）有限公司 供水设备的出水调节方法、装置、设备及可读存储介质
CN110298841A (zh) * 2019-05-17 2019-10-01 同济大学 一种基于融合网络的图像多尺度语义分割方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105468035A (zh) * 2015-12-23 2016-04-06 小米科技有限责任公司 用于水龙头的出水控制方法及装置
CN108052080A (zh) * 2017-12-12 2018-05-18 北京小米移动软件有限公司 出水方式调控方法、装置及存储介质
CN108634794A (zh) * 2018-07-31 2018-10-12 上海泰大建筑科技有限公司 一种用于控制出水量的控制系统及出水控制方法
CN108985269A (zh) * 2018-08-16 2018-12-11 东南大学 基于卷积和空洞卷积结构的融合网络驾驶环境感知模型
CN109549482A (zh) * 2018-11-15 2019-04-02 珠海格力电器股份有限公司 饮水机和饮水机控制方法
CN109826282A (zh) * 2019-03-20 2019-05-31 百度在线网络技术（北京）有限公司 供水设备的出水调节方法、装置、设备及可读存储介质
CN110298841A (zh) * 2019-05-17 2019-10-01 同济大学 一种基于融合网络的图像多尺度语义分割方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YUNHANG SHEN 等: "Cyclic Guidance forWeakly Supervised Joint Detection and Segmentation", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
任金胜 等: "基于改进目标检测能量项的联合语义分割和目标检测(英文)", 《电子科技大学学报》 *
赖百胜: "弱监督场景语义理解", 《中国博士学位论文全文数据库信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113673481A (zh) * 2021-09-03 2021-11-19 无锡联友塑业有限公司 大数据式出水场景辨识平台
CN113900802A (zh) * 2021-09-30 2022-01-07 泰州市雷信农机电制造有限公司 应用云计算的目标模拟系统

Similar Documents

Publication Publication Date Title
CN110428432B (zh) 结肠腺体图像自动分割的深度神经网络算法
CN109410168B (zh) 用于确定图像中的子图块类别的卷积神经网络的建模方法
CN108921051B (zh) 基于循环神经网络注意力模型的行人属性识别网络及技术
CN106845487B (zh) 一种端到端的车牌识别方法
CN104992223B (zh) 基于深度学习的密集人数估计方法
CN108876774A (zh) 一种基于卷积神经网络的人群计数方法
CN107145857B (zh) 人脸属性识别方法、装置和模型建立方法
WO2022012110A1 (zh) 胚胎光镜图像中细胞的识别方法及系统、设备及存储介质
CN110532970B (zh) 人脸2d图像的年龄性别属性分析方法、系统、设备和介质
CN114049477B (zh) 一种过鱼鱼道系统、鱼类数量和种类的动态识别跟踪方法
CN108460362A (zh) 一种检测人体部位的系统及方法
CN109389129A (zh) 一种图像处理方法、电子设备及存储介质
CN110781829A (zh) 一种轻量级深度学习的智慧营业厅人脸识别方法
CN110738132B (zh) 一种具备判别性感知能力的目标检测质量盲评价方法
CN116448019B (zh) 建筑节能工程质量平面度智能检测装置及方法
CN112991269A (zh) 一种肺部ct图像的识别分类方法
CN110827304A (zh) 一种基于深度卷积网络与水平集方法的中医舌像定位方法和系统
CN109117703A (zh) 一种基于细粒度识别的混杂细胞种类鉴定方法
CN116258608B (zh) 融合gis和bim三维技术的水利实时监测信息管理系统
CN111241941A (zh) 一种基于人工智能的公共节水控制方法和系统
CN109903339A (zh) 一种基于多维融合特征的视频群体人物定位检测方法
CN116229248A (zh) 海洋物种的分布预测方法、装置、设备及存储介质
CN115810149A (zh) 基于超像素与图卷积的高分辨率遥感图像建筑物提取方法
Zhang et al. A novel framework for background subtraction and foreground detection
CN117541844A (zh) 一种基于超图学习的弱监督组织病理学全切片图像分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200605

RJ01 Rejection of invention patent application after publication