CN111722770A - 一种智能人机交互无量网控制模块 - Google Patents

Abstract

本发明公开一种智能人机交互无量网控制模块，包括移动计算设备硬件层、Flask后端、内部API、流程控制模块、视音频输出模块、GPIO控制模块、HTML模板渲染模块以及外围设备；使用时将外围设备连接至GPIO控制模块与视音频输出模块，本设备连接至网络，管理员用户通过外部计算机连接同一局域网进入本设备配置界面，通过拖动相应的模块可视化完成物联网控制的操作流程，配置过程简单快捷，实现智能化自动化，减少物联网设备接入的处理复杂度；实现物联网数据从产生到回收的全生命周期，方便家庭物联网设备快捷接入，能够提高不同物联网数据汇总理效率，环保效益明显。

Description

一种智能人机交互无量网控制模块

技术领域

本发明属于计算机技术领域，涉及基于图像的物体检测技术，具体涉及一种智能人机交互无量网控制模块。

背景技术

基于计算机视觉的目标识别技术是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术，是应用深度学习算法的一种实践应用。现阶段图像识别技术一般分为人脸识别与商品识别，人脸识别主要运用在安全检查、身份核验与移动支付中；商品识别主要运用在商品流通过程中，特别是无人货架、智能零售柜等无人零售领域。

图像的传统识别流程分为四个步骤：图像采集→图像预处理→特征提取→图像识别。图像识别的发展经历了三个阶段：文字识别、数字图像处理与识别、物体识别。文字识别的研究是从1950年开始的，一般是识别字母、数字和符号，从印刷文字识别到手写文字识别，应用非常广泛。数字图像处理和识别的研究开始于1965年。数字图像与模拟图像相比具有存储，传输方便可压缩、传输过程中不易失真、处理方便等巨大优势，这些都为图像识别技术的发展提供了强大的动力。物体的识别主要指的是对三维世界的客体及环境的感知和认识，属于高级的计算机视觉范畴。它是以数字图像处理与识别为基础的结合人工智能、系统学等学科的研究方向，其研究成果被广泛应用在各种工业及探测机器人上。

目前，在图像识别的发展中，主要有三种识别方法：统计模式识别、结构模式识别、模糊模式识别。现代图像识别技术的一个不足就是自适应性能差，一旦目标图像被较强的噪声污染或是目标图像有较大残缺往往就得不出理想的结果。

发明内容

针对现有技术存在的不足，本发明目的在于提供一种智能人机交互无量网控制模块，开发成本低，实现智能化自动化，减少物联网设备接入的处理复杂度。

为实现上述目的，本发明采用如下技术申请：

一种智能人机交互无量网控制模块，包括移动计算设备硬件层、Flask后端、内部API、流程控制模块、视音频输出模块、GPIO控制模块、HTML模板渲染模块以及外围设备；

移动计算设备硬件层，采用树莓派结构；

Flask后端采用B/S架构，为基于Python的Flask模块，为整个应用提供web后台服务，包括视图函数的实现、对本地API的调用、HTML模板的渲染、发布web服务，前端访问Flask发布的Web服务完成可视化功能，使得管理员与使用者分别通过可视化界面完成对本物联网控制边缘设备的流程设置与使用；

内部API模块，使用模型压缩算法对人工智能模型压缩后部署在树莓派结构中，以完成图像识别、语音识别、语音合成、中文对话功能，并封装成API，以方便Flask框架的调用；

流程控制模块，通过对视图函数的调用完成对整个流程的控制，其实现逻辑为在自动检测到所有连接到边缘设备上的外围设备后，向视图函数传递一个用于控制的数据结构，管理员通过移动配置可视化界面，完成流程的部署后，web后台也通过视图函数完成对相关外围设备的控制和对整个流程进行调度；

视音频输出模块向视图函数提供封装的视音频输出输入接口，视频音频的输入与输出通过本模块统一管理；GPIO控制模块为树莓派的外接控制引脚的物理接线口，通过GPIO连接所有的传感器设备，实现对所有外接传感器的控制；

HTML模板渲染模块为Flask框架中的对HTML文件进行渲染的模块，渲染完成的html文件通过Flask自带的web服务发布到前端浏览器完成可视化；

外围设备包括所有与树莓派连接的外设；

进一步，在Flask后端登录管理员账号，对连接的物联网设备进行可视化流程控制，同时可视化添加人工智能功能，人性化添加功能模块并进行组合，快速实现家庭物联网与工业物联网系统的快速部署功能；通过用户账号进行登录能够获得管理员设置好的一系列物联网流程服务。

进一步，管理员通过浏览器访问树莓派服务器，通过登录可视化操作界面进行流程定制，定制过程不断向树莓派服务器发出请求，树莓派服务器收到请求后将数据传递给流程控制模块，由流程控制模块调用试图函数完成对GPIO控制与视音频控制，以及数据库和内部API的调用与组合，而后将反馈经由视图函数处理后传递给流程控制模块与HTML模板渲染模块完成网页渲染后动态反馈给浏览器；当管理员完成流程配置后，普通用户使用普通账户登录浏览器在管理员搭建的小型物联网中使用其配置的功能。

进一步，视音频输出模块物理接口为树莓派自带的usb接口和hdmi接口。

使用时，管理员用户将外围设备连接至GPIO控制模块与视音频输出模块；而后将本设备连接至家庭或者单位的局域网或者互联网；管理员用户通过外部计算机，如个人笔记本等连接同一局域网并通过Web浏览器访问本设备的IP网址，登录欢迎界面后输入管理员账户与密码进入配置界面，而后通过拖动相应的模块可视化完成物联网控制的操作流程；管理员用户登出，系统启动；普通用户通过手机端或者WEB端访问本设备地址并输入普通用户账号密码而后可实时显示物联网设备的相关参数与实时运行情况。

本发明的有益效果：

1)使用时将外围设备连接至GPIO控制模块与视音频输出模块，本设备连接至网络，管理员用户通过外部计算机连接同一局域网进入本设备配置界面，通过拖动相应的模块可视化完成物联网控制的操作流程，配置过程简单快捷，实现智能化自动化，减少物联网设备接入的处理复杂度。普通用户通过手机端或者WEB端访问本设备地址并输入普通用户账号密码而后可实时显示物联网设备的相关参数与实时运行情况。实现物联网数据从产生到回收的全生命周期：不再需要耗费大量的人力财力在数据采集、控制、管理、更新、监督上，将AI与物联网紧密结合，使生活更环保、便捷、智能。

(1)方便家庭物联网设备快捷接入；

(2)辅助监管部门监控、管理单位物联网数据与控制的全生命周期，尤其是关键处理节点的监控，该功能可通过物联网及相关网络基础设施实现网络联通，借助大数据平台汇聚相关数据，进而获得实时、动态的数据处理情况。

(3)具有较大社会效益，能够提高不同物联网数据汇总理效率，环保效益明显。

2)模块图像识别子功能准确：采用模型压缩后的yolo-v3模型使用卷积神经网络，具有可用性强和分类准确率高的识别功能。

3)自动化控制功能：模块在识别物体后采用一个小型芯片控制物联网电机的转动，进而完成自动控制，实现智能化自动化，减少物联网设备接入的处理复杂度。

4)语音智能交互与提示：针对不同的场景，应用私有云提供的接口分别提供不同的语音提示和警报功能，增强产品人性化，能够适应家庭、社区等多场景，满足语音、视频等模式的交互，从而获得较好的用户体验。

5)智慧城市数据分析：系统可记录每户家庭、每个单位甚至每座城市的接入物联网信息，可为智慧城市提供相关方面的大数据汇总支撑，是物联网、边缘计算的有益探索，便于监管部门的数据采集利用。

6)在个人、社会、环境、监管等方面都大大提高了效率：本发明完成了从个体到社区再到监管部门的全覆盖，从底层到上层，完成物联网接入的智能化。

附图说明

图1为本发明模块系统架构图

图2为本发明软件架构图

图3为本发明应用实例家庭或个人垃圾分类投放装置结构示意图

图4为本发明应用实例中公共地点投放装置示意图

具体实施方式

以下通过具体实施例对本发明内容进行说明：

本发明的智能人机交互无量网控制模块，其系统架构如图1所示，本无量网控制模块由八部分组成，分别为移动计算设备硬件层、Flask后端、内部API、流程控制模块、视音频输出模块、GPIO控制模块、HTML模板渲染模块以及外围设备组成，下面分模块阐述：

1移动计算设备硬件层：

本发明以树莓派4为开发原型，其硬件参数为：

2Flask后端：

本发明设计为B/S架构，基于Python的Flask模块，此模块为整个应用提供web后台服务，包括视图函数的实现、对本地API的调用、HTML模板的渲染、发布web服务等。前端访问Flask发布的Web服务完成可视化功能，使得管理员与使用者可以分别通过可视化界面完成对本物联网控制边缘设备的流程设置与使用。对管理员来说，可以登录管理员账号，对连接的物联网设备，如电视机、传感器、电机等进行可视化流程控制，同时可以可视化添加人工智能功能，如图像识别、语音识别、语音合成、智能对话等功能，人性化添加功能模块并进行组合，快速实现家庭物联网与工业物联网系统的快速部署功能。对于使用者来说，可通过用户账号进行登录，获得管理员设置好的一系列物联网流程服务

3内部API模块：

为了提高本发明的鲁棒性，在离线情况下也可正常使用，使用模型压缩算法对人工智能模型压缩后，部署在树莓派中，以完成图像识别、语音识别、语音合成、中文对话功能，并封装成API，以方便Flask框架的调用。

4流程控制模块：

流程控制模块通过对视图函数的调用完成对整个流程的控制，其实现逻辑为在自动检测到所有连接到本边缘设备上的外围设备后，向视图函数传递一个用于控制的数据结构，管理员通过移动配置可视化界面，完成流程的部署后，web后台也通过视图函数完成了对相关外围设备的控制。发挥其对整个流程调度的功能。

5视音频输出模块：

本模块向视图函数提供封装的视音频输出输入接口，视频音频的输入与输出都通过本模块的统一管理，物理接口为树莓派自带的usb接口与hdmi接口。

6GPIO控制模块：

GPIO为树莓派的外接控制引脚的物理接线口，可以通过GPIO连接所有的传感器设备，以实现本发明对所有外接传感器的控制的实现。

7HTML模板渲染模块：

本模块为Flask框架中的对HTML文件进行渲染的模块，可以通过安装Jinjia包自动安装本模块，渲染完成的html文件会通过Flask自带的web服务发布到前端浏览器完成可视化。

8外围设备：

外围设备包括所有可以连接树莓派的外设，例如家中的洗衣机、电冰箱、继电器、电机控制板、传感器等部件。

如图2所示，为本发明的软件架构图，本发明软件架构由8部分组成：Flask后台、视图函数、内部API、GPIO控制、视音频输出、HTML模板渲染、流程控制模板以及数据库。

1、Flask后台：提供web服务与基础功能，以下各部件都是集成在Flask架构之下的。

2、内部API：为符合嵌入式设备算力的人工智能模型的轻量化部署，集成了图像识别、语音识别、语音合成、中文对话的功能。

3、视图函数：完成浏览器对边缘设备进行访问时候负责对请求进行响应，调用内部封装的人工智能API，完成数据库读写、对GPIO控制函数进行调用与对视音频输出进行控制等功能，为程序调度的核心部分。

4、GPIO控制：完成对树莓派的GPIO口的控制，对物理操作进行封装，方便视图函数的调用。

5、视音频模块：完成对树莓派上视音频信号输入与输出的控制，对其HDMI口、视频传输口，USB口进行封装，方便视图函数的调用。

(1)用户关系阐述

本系统拥有两类用户：管理员账户与普通用户账户

管理员账户拥有在可视化界面配置本发明的工作流程与试图函数的功能，可视化完成物联网系统的运行流程搭建与测试。普通用户拥有使用管理员搭建好的物联网系统的权力，包括查看音视频、实现图像识别、语音识别、语音合成、中文对话以及其组合应用功能。

(2)信息流程阐述

3.1管理员与用户请求

如图2所示，管理员通过浏览器访问树莓派服务器，通过登录可视化操作界面进行流程定制，定制过程不断向树莓派服务器发出请求，树莓派服务器收到请求后将数据传递给流程控制模块，由流程控制模块调用试图函数完成对GPIO控制与视音频控制，以及数据库和内部API的调用与组合，而后将反馈经由视图函数处理后传递给流程控制模块与HTML模板渲染模块完成网页渲染后动态反馈给浏览器。当管理员完成流程配置后，普通用户就可以使用普通账户登录浏览器在管理员搭建的小型物联网中使用其配置的功能，具体流程以利用该模块实现智能垃圾桶为例：

3.2流程控制

如图2所示，流程控制负责将各个功能模块组合调用，封装了UI操作到视图函数调用的API，完成将UI接口转换为视图函数接口的功能。

3.3视图函数调用

流程控制模块通过调用相应的试图函数完成界面的可视化操作以及下游的功能调用。包括图像识别本地API、语音识别本地API、语音合成本地API、中文对话本地API等。同时封装了GPIO的控制功能与视音频的调用功能。

以下以智慧城市中的智能垃圾分类项目作为接入实例，应用本物联网人机交互控制模块完成快速集成与部署：

家庭或个人垃圾分类投放装置见图3。垃圾投放自动化过程：A,B,C,D四个不同的垃圾桶随着摄像头识别垃圾的种类不同由转轴机关进行转动，将对应的类别的垃圾桶转动至伸缩托盘下面，托盘收缩，垃圾便就自动掉到垃圾桶中，全部过程由树莓派控制完成。

公共地点投放装置如图4，当用户把家庭垃圾分好类后把带有二维码的垃圾袋或者个人把单类垃圾经摄像头识别后便打开相关类别的垃圾桶，没有识别时各类垃圾桶盖是始终关闭的。

本发明还具有一下优点：

(1)通过HTML模板渲染模块各配置模块可进行图像识别分类

(2)语音交互、智能分类助手(语音识别模块)

(3)模块控制信号处理(树莓派、机械装置)

(4)物联网、边缘计算的创新应用(网络摄像头的数据实时识别、采集、汇聚大数据平台)

(5)服务器端、摄像头、APP端等多端联动、处理数据共享治理(接入终端设备多，网络联通，大数据治理的整体模式)

(6)接入快捷化，人性化，按照配置标准，可视化操作即可完成物联网组件的集成。

通过本模块集成要解决的垃圾分类问题：

1)垃圾分类繁杂：我们生活当中常见的垃圾就有成百上千种之多，再加上用户对垃圾分类困难，自愿参与度不高，经常出现错扔误扔的现象，不利于监管。

2)人工垃圾分类效率低下：垃圾回收的现状是用户把家庭或者个人产生的垃圾混装，由垃圾回收站的工人手工分类，对于工人来说不仅危害极大，而且工作效率低下。

3)人工监督困难：目前上海市作为国内最先实行垃圾分类的试点区域，主要是安排人员在社区垃圾投放点监督人们执行正确分类，然而大多混装垃圾很难完全正确分类，监督人员也需花费大量时间重新检查人们的垃圾，效率低下。

4)人工垃圾分类投入巨大：如果每一个社区垃圾投放点都配备垃圾分类监督员与人工分类员的话，那么一个城市就需要投入数万名的人力以及巨大的资金投入，不是一个可持续的方案。

针对该问题设计智能垃圾分类接入模块针对不同的使用场景添加针对性功能：

1)家庭垃圾智能分类投放场景

搭载多场景智能垃圾分类系统的家庭垃圾自动分类投放装置适用于家庭生活中，体积较小，不占太大的空间。样式为一个托盘配一组四个垃圾桶，连接一个具有语音功能的摄像头，采用树莓派进行数据处理，实现低时延、高可靠、高识别率的计算功能。家庭用户只需要把垃圾放在垃圾托盘上，就能实现垃圾自动分类投放，不必再思考或查询垃圾的类别。机器在识别垃圾类别后会用语音提示垃圾的类别，用户可对垃圾的分类进行学习，此外也可以作为垃圾分类学习辅助手段，帮助孩子们学习垃圾分类，从小培养孩子们的环保意识。

2)社区垃圾投放点智能监督投放场景

搭载多场景智能垃圾分类系统的公共垃圾手动分类投放装置产品为四个大型垃圾桶，配一个摄像头，进行垃圾识别，再加上触发传感器控制柜门的开关，未经过摄像头识别垃圾或二维码标签时，垃圾桶始终关闭。

针对公共区域地点垃圾投放的特点—大部分来自家庭的已分类袋装垃圾以及小部分个人在外产生的未分类垃圾，因此社区垃圾投放点同时具备单件垃圾识别和袋装垃圾识别，袋装垃圾识主要是通过识别家庭智能分类过后的印有二维码的袋装垃圾，二维码标签将包含袋装垃圾的分类信息以及垃圾袋所属户主信息，在垃圾装车车时，如果发现有严重的垃圾分类错误户主将会被追责。识别之后系统将对应的垃圾桶盖打开，用户手动投入，垃圾分类完成。

3)垃圾场垃圾分类异样快速检测场景

搭载多场景智能垃圾分类系统的履带式分类异样快速检测装置采用履带运输的方式可以实现多垃圾快速分类，将已经分好类的垃圾倒入履带中，经关口监测的方式把分错类别的异样垃圾挑选出来投放到正确的类别中。另一种是半自动的方法，主要是为了抽样检查垃圾是否分类好。在垃圾车倒入垃圾到对应分类的垃圾场时，采用高清摄像头对正在倒入的垃圾(空中进行)进行抓拍并分析是否都符合垃圾分类的标准。若未达到分类的要求，系统将提示相关管理人员，由管理人员追溯该垃圾车搜集垃圾的位置，对该区域市民进行教育提醒。

参照上述实施例对本发明进行了详细说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明要求范围当中。

Claims (4)

1.一种智能人机交互无量网控制模块，其特征在于：包括移动计算设备硬件层、Flask后端、内部API、流程控制模块、视音频输出模块、GPIO控制模块、HTML模板渲染模块以及外围设备；

移动计算设备硬件层，采用树莓派结构；

Flask后端采用B/S架构，为基于Python的Flask模块，为整个应用提供web后台服务，包括视图函数的实现、对本地API的调用、HTML模板的渲染、发布web服务，前端访问Flask发布的Web服务完成可视化功能，使得管理员与使用者分别通过可视化界面完成对本物联网控制边缘设备的流程设置与使用；

内部API模块，使用模型压缩算法对人工智能模型压缩后部署在树莓派结构中，以完成图像识别、语音识别、语音合成、中文对话功能，并封装成API，以方便Flask框架的调用；

流程控制模块，通过对视图函数的调用完成对整个流程的控制，其实现逻辑为在自动检测到所有连接到边缘设备上的外围设备后，向视图函数传递一个用于控制的数据结构，管理员通过移动配置可视化界面，完成流程的部署后，web后台也通过视图函数完成对相关外围设备的控制和对整个流程进行调度；

视音频输出模块向视图函数提供封装的视音频输出输入接口，视频音频的输入与输出通过本模块统一管理；GPIO控制模块为树莓派的外接控制引脚的物理接线口，通过GPIO连接所有的传感器设备，实现对所有外接传感器的控制；

HTML模板渲染模块为Flask框架中的对HTML文件进行渲染的模块，渲染完成的html文件通过Flask自带的web服务发布到前端浏览器完成可视化；

外围设备包括所有与树莓派连接的外设；

使用时将外围设备连接至GPIO控制模块与视音频输出模块；而后将本设备连接至局域网或者互联网；用户通过外部计算机连接同一局域网并通过Web浏览器访问本设备的IP网址，登录配置界面通过拖动相应的模块可视化完成物联网控制的操作流程。

2.根据权利要求1所述的智能人机交互无量网控制模块，其特征在于：在Flask后端登录管理员账号，对连接的物联网设备进行可视化流程控制，同时可视化添加人工智能功能，人性化添加功能模块并进行组合，快速实现家庭物联网与工业物联网系统的快速部署功能；通过用户账号进行登录能够获得管理员设置好的一系列物联网流程服务。

3.基于权利要求1所述智能人机交互无量网控制模块，其特征在于：管理员通过浏览器访问树莓派服务器，通过登录可视化操作界面进行流程定制，定制过程不断向树莓派服务器发出请求，树莓派服务器收到请求后将数据传递给流程控制模块，由流程控制模块调用试图函数完成对GPIO控制与视音频控制，以及数据库和内部API的调用与组合，而后将反馈经由视图函数处理后传递给流程控制模块与HTML模板渲染模块完成网页渲染后动态反馈给浏览器；当管理员完成流程配置后，普通用户使用普通账户登录浏览器在管理员搭建的小型物联网中使用其配置的功能。

4.根据权利要求1所述的智能人机交互无量网控制模块，其特征在于：视音频输出模块物理接口为树莓派自带的usb接口和hdmi接口。

Images