CN111098312A - 窗口政务服务机器人 - Google Patents

Abstract

本发明公开了一种窗口政务服务机器人，包括显示屏和底座，在显示屏和底座中均设置有数据处理模块，通过对用户信息和需求的采集，结合窗口政务服务系统平台，在显示屏上显示用户办理业务指导信息，协助用户办理业务，本发明的窗口政务服务机器人小巧便携，在政府窗口业务上辅助群众办理业务，通过日常语音沟通协助群众方便且独立完成各类业务办理，减轻工作人员的指导负担，弥补了政务窗口专业工作人员缺失，以及政务窗口工作人员工作繁重等问题。

Description

窗口政务服务机器人

技术领域

本发明涉及智能机器人技术领域，更具体的说是涉及一种窗口政务服务 机器人。

背景技术

目前，随着社会的快速发展和互联网技术的持续演进，出现了智能终端 设备，将“互联网+”与政务服务结合起来，提出了“互联网+政务服务”新 型服务模式，为群众提供政务服务。目前市场上普遍存在的政务机器人大多 数为大厅式政务机器人，主要提供智能咨询，业务办理，智能导航等大厅式 服务功能，其身前的屏幕可协助办事群众进行业务咨询或办理，同时也具备 语音等功能进行交互，但是这种大厅式政务机器人体型较大，只适用于大厅 政务服务，而很大一部分群众办理窗口业务，在政务窗口服务过程中，存在 着专业政务咨询服务人员的缺失、办事群众业务不熟悉和业务办理窗口设备 繁杂等问题。

因此，如何提供一种便于窗口政务办理，提供智能化服务的机器人是本 领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种窗口政务服务机器人，小巧便携，能在政 府窗口业务上辅助群众办理业务，是一种能够协助群众方便且独立完成业务 办理的终端设备，办事群众可以通过日常语音沟通完成各类业务办理，方便 快捷，指引详细，在此过程中无需专业的工作人员指导，解决了专业政务咨 询服务人员缺失的问题。

为了实现上述目的，本发明采用如下技术方案：

一种窗口政务服务机器人，包括：显示屏和底座；所述显示屏包括显示 模块；所述底座包括应用模块、支撑模块、数据模块、语音录入器和播放器； 所述应用模块连接播放器和支撑模块，与接收播放器之间传输声音数据，与 所述支撑模块之间传输声音数据和图像数据；所述支撑模块连接所述数据模 块、所述应用模块和所述语音录入器，调用所述数据模块的数据库资料，与 所述语音录入器之间传输所述声音数据；所述应用模块包括用户信息采集装 置、打印机和综合输入控制模块；所述用户信息采集装置和所述打印机分别 连接所述支撑模块，所述用户信息采集装置采集所述图像数据和身份数据传 输至所述支撑模块；所述打印机传输所述用户信息采集装置采集的所述图像 数据和所述身份数据至所述显示模块；所述综合输入控制模块连接所述显示 模块；所述显示模块连接所述应用模块，所述显示模块向所述应用模块传输 服务请求，所述应用模块向所述显示屏提供指导信息。

优选的，所述显示屏为触控屏，在所述触控屏上显示业务服务入口和指 导信息；所述业务服务入口与所述显示模块连接，输入所述服务请求；所述 指导信息与所述应用模块连接。

优选的，所述用户信息采集装置包括摄像头、指纹仪、身份证阅读器、 二维码扫描仪、IC卡读取器和高拍仪；所述支撑模块包括图像识别模块、人 脸识别模块、语音识别模块、身份验证模块、电子证照模块和信息共享模块； 所述图像识别模块连接所述摄像头、所述指纹仪、所述身份证阅读器、所述 高拍仪和所述二维码扫描仪，传输图像信息至所述信息共享模块，图像识别 模块可检测所有采集的所述图像数据；所述人脸识别模块连接所述摄像头， 传输人脸信息至所述信息共享模块，人脸识别所检测的目标基本为人脸，采 用基于人脸的特征算法；所述语音识别模块连接所述语音录入器，传输语音 数据至所述信息共享模块；所述IC卡读取器读取IC卡携带的卡片信息，并 传输至所述身份验证模块，实现所述卡片信息的读取和验证；所述身份验证 模块连接所述图像识别模块和所述人脸识别模块，传输验证信息至所述信息 共享模块；所述电子证照模块连接所述所述图像识别模块、所述人脸识别模 块和所述所述身份证阅读器，传输证照信息至所述信息共享模块；所述信息 共享模块传输采集信息至所述数据模块和所述应用模块。

优选的，所述应用模块还包括引导模块、终端处理模块和所述受理审批 模块，均连接所述数据模块，并接收所述支撑模块传输的所述采集信息；所 述引导模块连接所述播放器和所述显示屏；所述受理审批模块与窗口政务服 务系统平台进行信息交互；所述终端处理模块加载在自助服务终端设备，实 现服务机器人的服务延伸。

优选的，所述数据模块与所述窗口政务服务系统平台进行信息交互；所 述数据模块包括业务资料数据库、证照图片数据库、身份证数据库、语音语 义库和政务基础库；所述证照图片数据库连接所述电子证照模块和所述图像 识别模块，所述身份证数据库连接所述身份验证模块和所述人脸识别模块， 所述语音语义库连接所述语音识别模块，所述业务资料数据库和所述政务基 础库连接所述信息共享模块。

优选的，所述显示模块包括Web网站系统、手机APP系统和微信平台系 统，兼容windows、macos和linux操作系统。

优选的，所述支撑模块还包括计算机视觉模块，所述计算机视觉模块支 持所述图像识别模块、所述人脸识别模块、所述身份验证模块和所述电子证 照模块；所述计算机视觉模块包括图像/视频增强功能模块、图像/视频分类与 识别功能模块以及生物特征身份验证系统；

在所述图像/视频增强功能模块通过建立图像识别模型对采集的所述图像 数据进行图像增强处理，具体步骤如下：

S11：采用深度学习、系数表达和非局部自相似对所述图像数据进行先验 处理，获得先验结果；

S12：通过图像/视频质量评估模型对可行算法模型进行质量评估，选取质 量最佳的所述可行算法对所述先验结果进行图像质量增强处理，获取清晰图 像；

所述图像/视频分类与识别功能模块采用基于层次组稀疏性的判别结构化 稀疏编码优化模型、基于集成学习的区分性字典学习和结构化稀疏编码实现 图像或视频的分类、识别；根据所述图像/视频增强功能模块获得的所述清晰 图像获取所述图像数据的分类识别结果；

在所述生物特征身份验证系统结合采集的人脸图像、身份证信息、指纹 信息和声波信息进行身份验证。

优选的，所述语音识别模块采用虚拟机器人语音识别系统对采集的所述 语音数据进行语音转化，获得所述服务请求，并实现服务引导。

优选的，所述虚拟机器人语音识别磁通包括虚拟机器人开发模块、智能 交互引擎模块和大数据平台；所述虚拟机器人开发模块连接所述智能交互引 擎模块和所述大数据平台；

所述虚拟机器人开发模块包括渠道接入模块、消息处理模块、服务接口 和二次开发系统；

所述智能交互引擎模块包括语音分析引擎、分词标注引擎、聊天对话引擎、 场景处理模块、答案处理模块、知识索引模块、负载均衡模块、智能过渡模 块和智能交互引擎；

所述大数据平台包括交互数据库、报表数据库、业务知识数据库和语言知识 数据库。

优选的，所述政务服务机器人应用场景包括智能提醒、智能业务办理、 智能自主学习、智能交互和智能安全监控；所述智能提醒包括业务提醒和设 备提醒；所述智能业务办理包括业务办理流程协助和语音业务办理协助。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种窗 口政务服务机器人，包括显示屏和底座，通过在显示屏和底座上设置各种信 息采集设备以及数据处理模块，实现对用户办理业务的协助功能，根据用户 提供的个人信息以及需求信息，联系窗口政务服务系统平台，在显示屏上显 示用户办理业务的指导信息，同时可以进行语音提醒，减轻了政务窗口工作 人员指导办理业务的工作，提高了业务办理效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面 描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不 付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明提供的窗口政务服务机器人结构示意图；

图2附图为本发明提供的图像增强过程示意图；

图3附图为本发明提供的图像/视频分类与识别模型和算法流程示意图；

图4附图为本发明提供的人脸识别流程图；

图5附图为本发明提供的虚拟机器人语音识别系统框架图；

图6附图为本发明提供的虚拟机器人系统处理流程示意图；

图7附图为本发明提供的神经网络结构示意图；

图8附图为本发明提供的基于DNN-HMM的模型训练算法示意图；

图9附图为本发明提供的DNN-HMM模型图；

图10附图为本发明提供的多数据模型的统一操作接口结构示意图；

图11附图为本发明提供的分布式异构数据清洗方案示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而 不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种窗口政务服务机器人，包括：显示屏和底座； 显示屏包括显示模块；底座包括应用模块、支撑模块、数据模块、语音录入 器和播放器；应用模块连接播放器和支撑模块，与接收播放器之间传输声音 数据，与支撑模块之间传输声音数据和图像数据；支撑模块连接数据模块、 应用模块和语音录入器，调用数据模块的数据库资料，与语音录入器之间传 输声音数据；应用模块包括摄像头、指纹仪、身份证阅读器、二维码扫描仪、 IC卡读取器、高拍仪、打印机和综合输入控制模块；摄像头、指纹仪、身份 证阅读器、二维码扫描仪、IC卡读取器、高拍仪和打印机分别连接支撑模块， 摄像头与指纹仪、身份证阅读器和高拍仪采集图像数据传输至支撑模块，二 维码扫描仪和IC卡读取器采集身份数据传输至支撑模块，综合输入控制模块 连接显示模块；打印机传输摄像头与指纹仪、身份证阅读器和高拍仪采集的 图像数据、二维码扫描仪和IC卡读取器采集的身份数据至显示模块；显示模 块连接应用模块，显示模块向应用模块传输服务请求，应用模块向显示屏提供指导信息。

为了进一步优化上述技术方案，显示屏为触控屏，在触控屏上显示业务 服务入口和指导信息；业务服务入口与显示模块连接，输入服务请求；指导 信息与应用模块连接

为了进一步优化上述技术方案，支撑模块包括图像识别模块、人脸识别 模块、语音识别模块、身份验证模块、电子证照模块和信息共享模块；图像 识别模块连接摄像头、指纹仪、身份证阅读器和二维码扫描仪，传输图像信 息至信息共享模块；人脸识别模块连接摄像头，传输人脸信息至信息共享模 块；语音识别模块连接语音录入器，传输语音数据至信息共享模块；IC卡读 取器读取IC卡携带有身份数据的的卡片信息，并传输至身份验证模块；身份 验证模块连接图像识别模块和人脸识别模块，传输验证信息至信息共享模块； 电子证照模块连接图像识别模块、人脸识别模块和IC卡读取器，传输证照信 息至信息共享模块；信息共享模块传输采集信息至数据模块和应用模块。

为了进一步优化上述技术方案，应用模块包括引导模块、终端处理模块 和受理审批模块，均连接数据模块，并接收支撑模块传输的采集信息；引导 模块连接播放器；受理审批模块与窗口政务服务系统平台进行信息交互。

为了进一步优化上述技术方案，数据模块与窗口政务服务系统平台进行 信息交互；数据模块包括业务资料数据库、证照图片数据库、身份证数据库、 语音语义库和政务基础库。

为了进一步优化上述技术方案，显示模块包括Web网站系统、手机APP 系统和微信平台系统，兼容windows、macos和linux操作系统，实现本发明 可以应对政务服务的复杂环境，通过多种生物认证技术，提供多平台通用， 为客户提供随时随地的贴身政务服务。

为了进一步优化上述技术方案，显示屏主要为用户提供业务服务入口， 通过显示模块处理系统与用户间的交互界面以及数据展现，作为用户最直接 的接触层，设计风格简洁大方、操作便捷、引导清晰。提供用户总体接入服 务和业务逻辑支撑，负责业务需求的功能实现，通过各种主流服务载体让系 统与用户实现交互会话与数据展示。应用模块主要基于云服务框架，实现政 务服务虚拟机器人在智能引导服务、智能终端服务和受理审批服务等政务应 用场景的智能融合。支撑模块主要指政务服务虚拟机器人的核心技术支撑， 主要为机器人的系统提供图像识别、人脸识别、语音识别、身份验证、电子 证照、信息共享等基础支撑服务整合。数据模块主要基于分布式存储架构和 其他文件存储系统，为政务服务虚拟机器人提供业务资料数据、证照图片数 据、身份验证数据的数据交换共享服务等各种服务。

为了进一步优化上述技术方案，用户在显示屏的业务服务入口手动输入 或语音输入需求信息，通过对需求信息的分析，进行业务办理引导信息、办 理讲解或方案解答等信息的显示，或者通过语音对话方式提供业务引导、办 理讲解以及方案解答等服务。

为了进一步优化上述技术方案，窗口政务服务机器人可以实现人机交互 功能、智能业务办理、智能业务提醒、智能自主学习、智能大数据分析和智 能安全监控等功能，可搭载客制化终端设备分担政府客服人员、接待人员、 办事人员的重复性协助接待工作，同时可降低商户运营成本，也可更贴心、 及时地服务顾客，降低因服务质量而产生的纠纷事件的概率，营造更加便捷、 更加舒适、更加安全的业务办理氛围。

为了进一步优化上述技术方案，智能提醒功能包括业务提醒和设备提醒， 其中业务提醒在用户办理事务时，根据用户的办事需求输入分析，通过知识 图谱对用户当前在办的业务进行相关的语音辅助，分析办事群众办理业务， 提取业务流程，并主动通过语音对话方式提供事项引导、办理讲解以及方案 解答等服务，用户通过语音方式对需要办理业务进行操作，无须工作人员进 行协助；设备提醒是在政务服务终端设备运行过程中，实时监控设备的运行 状况，通过对硬件的控制做到对设备的状态监控，及时反馈机器故障，杜绝机械故障导致业务办理失败的问题，同时工作人员可以对多个政务服务机器 人工作状态进行查看，提前排查故障，一旦终端设备出现故障，政务机器人 会及时提醒后台管理人员进行更换，以方便后续的维修工作。

为了进一步优化上述技术方案，智能自主学习，通过循环神经网络等技 术对用户的相关操作信息和业务进行深度学习，可收集用户的相关操作和业 务办理进程，并与办事流程进行比对，主动、及时提醒群众接下来注意事项、 时间节点等。以及下一次办事群众办理业务时，可预载入相应的客户信息， 提高办事效率。

为了进一步优化上述技术方案，智能安全监控功能对网络环境、系统环 境、硬件安全状态进行监控，并随时可以将最新情况通知到管理员。

为了进一步优化上述技术方案，业务办理流程协助目的是解决用户在办 理业务的过程中，无法全面了解整个办事流程，面对传统智能终端时，难以 快速找到流程指引，往往需要办事人员的协助的问题。窗口政务服务机器人 通过知识图谱的业务建模，对业务流程秩序化，规范化，让用户能够使用语 音直接命令终端进行业务办理，在数据库读取过程中，使用大数据技术和语 义技术分析群众需求，自动梳理所对应的业务，读取整个业务流程和注意事 项，并反馈群众办事流程指引。在群众办理业务地过程中，全程配合群众进 行业务办理。

为了进一步优化上述技术方案，语音业务办理协助是通过语音识别技术， 加上语义分析进行业务办理的填表动作、和设备调用工作，在用户办事过程 中，若出现相关表单的填写，用户可以使用语音功能进行辅助填写，并自动 生成填写完成界面。在其余身份识别等需要语音录入功能时，用户可直接通 过语音命令政务服务机器人来完成。

为了进一步优化上述技术方案，智能交互是政务服务机器人采用语料库 实现和用户的交流，语料库把政务相关的信息数据进行结构化，形成问答模 式，加上支撑模块中的语义分析技术，实现与用户的人性化交流，并且政务 服务机器人的形象可以通过建模实现，模拟各种动作。由于政务服务机器人 设置有显示模块可以连接外部设备，令用户无论是在智能终端设备、PC端或 者手机端，都可与机器人进行丰富的语音对话，在政务服务范畴的事项，均 可为群众提供多样化、拟人化的服务。在用户办事过程时，政务机器人可通过多种憨态可掬的拟人对话形象与群众进行对话交互，让群众感受到并不是 通过一台设备在办理事项，而是通过“政务服务办事人员”在办理事项，提 高用户体验。

为了进一步优化上述技术方案，引导模块结合语音语义库和政务基础库 通过支撑模块的语音识别、人脸识别、身份验证等，快速完成业务引导及匹 配，让用户能够通过最智能简单的方式，完成业务的引导交互。引导模块通 过知识图谱的业务建模，对业务流程秩序化，规范化，让用户能够使用语音 直接命令终端进行业务办理，在数据模块在对数据库读取过程中，使用大数 据技术和语义技术分析群众需求，自动梳理所对应的业务。

为了进一步优化上述技术方案，身份验证是通过生物特征身份验证系统 实现的，生物特征身份验证系统对持有二代身份证的客户进行身份验证，判 断客户本人与其所持的身份证是否一致，通过现场人像与二代身份证芯片中 人像或公安机关核查的人像的自动比对，高效地实现客户的“人证合一”， 或者通过现场指纹与声波等生物特征与已采集的数据进行自动比对，实现身 份自动验证。

为了进一步优化上述技术方案，身份验证模块通过摄像头获取用户人脸、 指纹和声波等生物特征信息。在识别人脸等图像的过程中，每个部分都有可 能导致识别的图像品质变差，使人脸等图像传递的信息无法被正常读取和识 别。例如，在采集图像过程中由于光照环境或物体表面反光等原因造成图像 整体光照不均，或是图像采集系统在采集过程中由于机械设备的缘故无法避 免的加入采集噪声，或是图像显示设备的局限性造成图像显示层次感降低或 颜色减少等等。这些情况会导致得到的目标图像并不符合要求。通过图像增 强技术，对目标图像进一步处理，以便得到更好地特征和视觉效果。在过去 的图像增强领域中，传统的图像增强使用基于空域的方法，对图像进行直接 处理。比如使用灰度增强变换的方法，针对独立的像素点进行处理，由输入 像素点的灰度值决定相应的输出像素点的灰度值，通过改变原始图像数据所 占的灰度范围而使图像在视觉上得到改善。本发明的图像识别模块，主要是 建立了一个图像识别模型，该模型先使用深度学习、稀疏表达和非局部自相 似等先验知识对图像进行处理，再通过可行的算法模块(包括快操作、正则化、确定型、概率型等)，通过PSNR和SSIM等图像/视频质量评估模型， 通过质量评估结果，选择最佳的可行算法实现图像质量增强。

为了进一步优化上述技术方案，终端处理模块通过支撑模块的人脸识别 及身份验证，所有自助服务终端设备通过虚拟机器人的识别验证后，可以通 过云端快速识别加载数据模块中用户个人的相关基础资料、业务数据、证照 材料等到终端上，让自助服务终端设备成为用户个人的私人服务终端，实现 业务的精准推送及人性化服务。

为了进一步优化上述技术方案，受理审批模块通过在窗口政务服务系统 平台上加载虚拟机器人，即将数据模块数据以及应用模块用户需求信息等加 载到窗口政务服务系统平台上，为工作人员提供高效、灵活、智能的系统服 务，大大降低工作人员受理审批工作的复杂度，提高工作人员的办事效率。

为了进一步优化上述技术方案，支撑模块采用基于容器化微服务架构进 行设计，根据业务特性，通过服务实现应用的组件化，每个独立业务单元单 独构成一个服务组件，每个组件可以单独部署，独立升级，而不影响整体业 务的运行。提供业务逻辑支撑，负责业务需求的功能实现。支撑模块处于数 据模块与应用模块中间，起到了数据交换中的承上启下的作用，为应用模块 提供数据逻辑处理。为机器人提供核心技术支撑，提供图像识别、人脸识别、 语音识别、身份验证、电子证照、信息共享等基础支撑服务整合。

为了进一步优化上述技术方案，图像识别、人脸识别、身份验证和电子 证照由支撑模块的计算机视觉模块支持实现，计算机视觉模块包括图像/视频 增强功能模块、图像/视频分类与识别功能模块以及生物特征身份验证系统； 在图像/视频增强功能模块通过建立图像识别模型对采集的图像数据进行图像 增强处理，具体步骤如下：

S11：采用深度学习、系数表达和非局部自相似对图像数据进行先验处理，获 得先验结果；

S12：通过图像/视频质量评估模型对可行算法模型进行质量评估，选取质量最 佳的可行算法对先验结果进行图像质量增强处理，获取清晰图像；

图像/视频分类与识别功能模块采用基于层次组稀疏性的判别结构化稀疏编码优化模型、基于集成学习的区分性字典学习和结构化稀疏编码实现图像或视 频的分类、识别；

在生物特征身份验证系统结合采集的人脸图像、身份证信息、指纹信息 和声波信息进行身份验证。

为了进一步优化上述技术方案，语音识别采用虚拟机器人语音识别系统 对采集的语音数据进行语音转化，获得服务请求，并实现服务引导。

为了进一步优化上述技术方案，虚拟机器人语音识别系统包括虚拟机器 人开发模块、智能交互引擎模块和大数据平台；虚拟机器人开发模块连接智 能交互引擎模块和大数据平台；

虚拟机器人开发模块包括渠道接入模块、消息处理模块、服务接口和二次开 发系统；

智能交互引擎模块包括语音分析引擎、分词标注引擎、聊天对话引擎、场景 处理模块、答案处理模块、知识索引模块、负载均衡模块、智能过渡模块和 智能交互引擎；

大数据平台包括交互数据库、报表数据库、业务知识数据库和语言知识 数据库。

为了进一步优化上述技术方案，数据模块主要基于分布式存储架构、 MySql的结构化存储架构、MongoDB的非机构化存储架构及FileSystem的综 合文件存储系统，提供业务资料数据、证照图片数据、身份验证数据的数据 交换共享服务，同时通过自主学习机制，构建语音语义库和政务基础库，为 政务服务各应用场景提供丰富智能的数据支撑。

为了进一步优化上述技术方案，本发明应用知识图谱、语义分析、自主 学习、大数据等技术，从而实现图像识别、人脸识别、指纹识别、语音识别 和身份验证功能。将业务流程加入知识图谱、将政务数据接入大数据、业务 办理所需硬件设备通过窗口政务服务机器人进行智能控制等。在计算机视觉 方面，加快了图像处理速度，以评估结果来确定不同的图像算法，提高图像 增强后的效果。并通过其余的技术辅助，解决在政务业务办理中的资料收集、 证照比对等关键问题。在语义识别中，使用了词汇级和语句级的语义分析。 根据理解对象的语音单位不同，使用了不同的词汇级语义分析、语句级语义 分析、以及篇章级语义分析。在大数据技术上，采用Hadoop+MPP+内存数据 库的混合模式，同时采用Storm技术支持实时数据的采集和计算，实现高并 发、可伸缩、高性能的大数据系统。

为了进一步优化上述技术方案，政务服务机器人可以提供硬件设备扩展， 机器人内部系统自动获取搭载硬件并加载附属驱动和应用服务，扩展硬件设 备包含：读卡器、EPP密码键盘、多点触摸屏、凭证打印模块、身份认证模 块、摄像头模块、麦克风和扬声器模块、语义解析模块等，如果搭载的终端 设备没有麦克风和扬声器则需要外接；虚拟软件部分包含：系统安全子系统、 用户信息加密子系统、身份识别子系统。

实施例

图像识别模块建立了一个图像识别模型，该模型先使用深度学习、稀疏 表达和非局部自相似等先验知识对图像进行处理，再通过可行的算法模块， 包括块操作、正则化、确定型、概率型等，通过PSNR和SSIM等图像/视频 质量评估模型，通过质量评估结果，选择最佳的可行算法实现图像质量增强， 如图2所示为图像增强过程示意图；

在获得图像增强后的清晰的图像/视频后，基于稀疏编码、字典学习和深 度学习等理论和技术，设计出有效的图像/视频分类和识别模型和算法，通过 提取图像/视频具有准确性、区分性、普适性和复杂度低的特征，可高效实现 图像/视频的分类和识别，

为基于层次组稀疏 性的判别结构化稀疏编码优化模型，左侧项为保真项、中间两项为层次组稀 疏正则项、右侧两项为分类判别准则，由于同时考虑了上述项，使得模型和 算法取得更优的图像/视频分类与识别效果；

最后基于集成学习的区分型字典学习和结构化稀疏编码与字典学习等理 论和方法构造出图像/视频分类与识别模型和算法，如图3所示，其中，基于 集成学习的区分型字典学习公式为

重加权模 型为

混叠模型中层次组稀疏和区分式的公 式为

本发明在包 含人脸变形、遮挡和表情变化等情形的Ext.Yale B和AR Face等人脸图像库 的分类识别中取得了较好的效果。

基于图像识别的人脸识别流程如图4所示：

S21：获取测试图像和已有人脸库；

S22：对测试图像和人脸库中图像进行图像预处理，获取测试增强图像， 和人脸库中对比增强图像；

S23：对增强图像进行特征提取与选择；

S24：获取测试特征图像和对比特征图像，对对比特征图像进行字典学习， 获取对比图像；

S25：将对比图像和测试特征图像进行稀疏编码训练；

S26：判断测试特征图像在稀疏编码训练模型中是否收敛或达到最大迭代 次数，如果是，则给出对应人脸库中的身份信息；否则返回步骤S23。

语音分析实现语音业务办理协助，通过语音识别技术，加上语义分析帮 助用户进行业务办理的填表动作、和设备调用工作。在语音分析中对数据的 处理流程其使用到的是技术包含，知识库技术，语言模型技术，搜索技术。 语音识别技术。本发明中在前端采用语音识别以及语音合成技术，语音识别 把用户的口语转化成文字，语音合成则是把返回的文字结果转化成语音输出， 在后端处理用户的请求，返回最匹配的结果。

语音识别模块的处理包括：特征提取、声学模型建立、语言模型建立和 解码。特征提取模块以语音的声音信号作为输入，将声音信号从时域转换到 频域，为声学模型提取合适的特征向量，特征提取部分的目的是提取中语音 信号中和人说话相关的部分信息，供声学模型对语音更方便合理的建模；声 学模型以特征提取模块输出的特征向量作为输入，根据声学特性为输入计算 一个声学模型的分数，声学模型是语音识别系统中非常重要的一个组件，对 不同基本单元的区分能力直接关系到识别结果的好坏；语言模型根据语言学上的信息，计算一句话对应的词序列的可能性，语言模型对输出的词序列建 模，刻画一个词序列在该语言环境下的可能性，对于有严格的语法限制的使 用场景，如语音命令控制、数字识别等等，我们直接构建该情况对应的固定 语法来决定词序列输出的合法性，对于正常的人类语言，我们需要使用一个 统计语言模型对词序列进行建模；解码器模块组合了声学模型、语言模型和 词表的信息，输出对于输入的特征向量最有可能词序列，解码器是识别阶段 的核心组件，通过训练好的模型对语音进行解码，获得最可能的词序列，或 者根据识别中间结果生成识别网格(lattice)以供后续组件处理。

虚拟机器人语音识别系统的结构如图5所示，包括虚拟机器人开发模块、 智能交互引擎模块和大数据平台；虚拟机器人开发模块连接智能交互引擎模 块和大数据平台；虚拟机器人开发模块包括渠道接入模块、消息处理模块、 服务接口和二次开发系统；智能交互引擎模块包括语音分析引擎、分词标注 引擎、聊天对话引擎、场景处理模块、答案处理模块、知识索引模块、负载 均衡模块、智能过渡模块和智能交互引擎；大数据平台包括交互数据库、报 表数据库、业务知识数据库和语言知识数据库。虚拟机器人系统处理流程如 图6所示，其中以“怎么提取公积金”的提问为例，通过词句过滤和纠错、 词法分析获取分词结果和词性标注，然通过上下文处理判断有无上下文，最 后通过知识点匹配和句子相似度计算进行默认回复。

语音识别模块采用如图7所示的深度神经网络进行学习，其中输入层的 维数与特征向量维数相同，隐藏层的维数和层数人工指定，输出层的维数和 语音基本单元的个数相同，网络的目标是输出特征向量在各个语音基本单元 的后验概率，从而模拟人类的认知过程，利用深度神经网络(DNN)、隐马 尔可夫模型(HMM)、卷积神经网络(CNN)、递归神经网络(RNN)、长 短期记忆网络(LSTM)、增强学习、迁移学习、知识表示与推理和类人学习 等技术，并且设计人机口语对话系统，主要包括：基于HHM-DNN混合模型、 基于LSTM单元的递归神经网络的自然语言编码算法、构建口语知识库(通 用口语知识和专业知识，比如金融)、基于增强学习的对话产生算法、基于 类人学习技术(贝叶斯框架)的对话产生模型，以及最后的语音合成算法。

其中，基于DNN-HMM的模型训练算法如图8所示，模型图如图9所示， 深度神经网络学习中DNN-HMM模型的主要训练步骤如下:

S31：首先训练一个状态共享的三音素GMM-HMM汉语识别系统,使用决 策树来决定如何共享状态，假设训练完成的系统为gmm-hmm；

S32：用S31得到的gmm-hmm初始化一个新隐马尔可夫模型(包括转移概 率,观测概率,隐马尔可夫模型的状态),并生成一个DNN-HMM模型,设该模型 为dnn-hmm1；

S33：预训练dnn-hmm1系统中的深度神经网络,得到的深度神经网络为 ptdnn；

S34：使用gmm-hmm系统对语音训练数据作排列(即求出训练数据对应哪 个隐马尔可夫模型中的状态),得到的数据设为align-raw；

S35：使用S34得到的数据对ptdnn的参数作微调(可以使用随机梯度下降 算法)。设得到的深度神经网络为dnn；

S36：利用dnn与dnn-hmm1和最大似然算法重新估计隐马尔可夫中的参 数(转移概率，观测概率),设新得到的系统为dnn-hmm2；

S37：如果S36的精度不再提高则退出算法,否则使用dnn和dnn-hmm2产 生新的语音训练数据的排列数据,然后回到S35；

S38：利用训练数据估计概率P(qt)P(qt)的值；

简单地说“DNN-HMM”是用DNN替换“GMM-HMM”中的GMM，而 两种模型中HMM的部分是相同的，也就是说做DNN，需要先训练出 GMM-HMM。转移概率就是从HMM中得到，声学似然/声学先验概率是从 DNN/GMM中计算得到。

政务服务机器人在前期大数据技术和政务服务数据分析研究的基础上， 在数据模块结合已拥有的政务服务大数据环境，获得政务大数据的表示与数 据模型、存储管理机制、分布式协同处理机制、知识挖掘、以及个性化推荐 等关键技术，开发面向政务服务的大数据分析处理平台，构建面向用户和业 务的平台知识库，结合在线运营的政务服务大数据环境中进行使用。

政务大数据的表示与数据模块，政务大数据拥有结构化、半结构化、非 结构化三类数据。对于结构化和半结构化数据而言，已经有E-R模型和XML 等成熟的数据模型。非结构化数据主要包括文本、图像和音频/视频等，传统 关系数据库无论从描述能力上还是从管理数据的规模上，都无法应对非结构 化数据管理的要求。因此本发明拟结合关系数据库的关系模型、关系理论， 考虑云环境下的大数据管理和key-value等数据模型特点，获得一种覆盖非结 构化数据基本属性、语义特征、底层特征、领域信息以及原始数据等多重属 性的通用数据模型，网状与星型结构相结合的混合式数据模型，多数据模型 的统一操作接口结构如图10所示，同时，确定数据模型的规范定义和所支持 的基本操作；获取数据组织所遵循的准则，为数据最优组织提供遵循准则； 计算数据对间的关联关系以及正确性验证规则，为数据组织的合理性和正确 性提供一定的依据。

高负荷复杂业务环境下政务大数据的存储管理技术，是遵循CAP理论和 BASE原则的大数据存储管理技术，提高大数据存储管理的可扩展性、数据查 询与检索的效率、分布式事务处理能力和动态负载平衡能力。核心技术包括： 多种数据模型共存与模型支持理论，支持多数据模型转换的元数据表示，以 及多种数据模型的无缝转换方法，以支持多种数据模型共存来满足复杂数据 的管理需求。分布式多模态关联查询与检索技术，基于所提出的数据模型， 寻找适用于非结构化数据的查询语言，结合基本属性、语义特征和底层特征 的多模态关联查询；在此基础上，获取大数据管理系统中全局索引和局部索 引的构建理论与实现方案。分布式事务模型重点在于轻量级的、灵活的事务 模型，以及简单且健壮的解决方案，以有效地支持复杂业务环境下以OLTP 类业务为主的应用需求。副本管理与有效利用机制是结合所提出的索引模型、 事务模型、动态负载平衡模型、优化的查询处理模型，有效利用副本数据的 模型和方法，以提高系统可用性、可靠性、系统查询处理效率等。

政务大数据协同预处理技术，因为数据量庞大需要提高数据管理的效率， 有意义的信息混杂在庞大的数据中，需要更谨慎地选择数据质量管理的粒度， 保证数据管理效果的同时，又不会过滤掉有用的信息。因此在这方面核心技 术包括：分布式异构数据的协同清洗，在大数据质量评估指标的基础上，利 用Hadoop、MapReduce等分布式技术，获得高效的分布式异构数据协同清洗 方法。基于SOA的大数据动态集成的研究，利用分布式人工智能理论和 SOA(service-oriented architecture)技术，得到基于SOA的数据动态集成方法， 对来自不同领域、异构的数据进行集成，同时就如何减少数据集成中数据传 输的代价，获得的分布式异构数据清洗方案，如图11所示。

对于知识挖掘，获得政务大数据的认知计算模型与知识发现技术，针对 大数据时代对快速算法的迫切需求，设计高效(线性时间甚至次线性时间复 杂性)的在线分类、在线聚类、在线趋势分析等算法。提出大数据认知的相 对变换方法，高阶相对变换、核相对变换等方法，以及针对高维噪声数据的 局部线性嵌入方法，提高数据稀疏和存在噪音条件下的知识发现能力。同时， 模仿人类的认知过程，运用自然语言处理、视觉信息处理、知识表示与推理、 机器学习等技术，探索可以对来自不同数据源的知识，从多角度进行整合与 学习的认知计算模型。并利用已有的或者已经发现的领域知识，利用机器学 习等相关技术，对认知计算模型的所获得知识进行解释，赋予语义信息。

对于个性化推荐获得基于数据挖掘应用的个性化推荐，在政务服务大数 据环境中，针对用户的实际业务需求，政务服务大数据分析平台将进行在线 政务服务示范应用，通过新的个性化推荐、数据仓库、业务搜索、实时数据 分析技术平台来支撑业务应用体系，提供更优质的、更佳用户体验的政务服 务，并为商业运营与决策提供科学的数据服务，提升政务行业的服务水平和 运营效率。

本发明在使用前需要首先安装虚拟机器人运行的系统环境，然后按照安 装地址在本机安装桌面应用程序，并且按照相关配置手册配置虚拟机器人依 赖的各模块服务地址，本发明通过人脸识别技术、自然语言处理中的语音识 别以及分析技术、具有可视化的操作体验、良好的人机交互、更灵活的设备 布局等特点，为客户提供了智能提醒、智能业务办理、智能自主学习、智能 交互、智能大数据、智能安全监控等服务功能，可搭载客制化终端设备分担 政府客服人员、接待人员、办事人员的重复性协助接待工作；同时可降低商 户运营成本，也可更贴心、及时地服务顾客，降低因服务质量而产生的纠纷 事件的概率；由此营造了更加便捷、更加舒适、更加安全的业务办理氛围。

有益效果：

(1)本发明区别于目前市场上普遍存在的主要提供智能咨询，业务办理， 智能导航等大厅式服务功能的大厅式政务机器人，本发明小巧便捷，为窗口 政务平台提供了便捷的服务，弥补了窗口政务机器人市场上的空缺，能很好 地为办事人员和工作人员进行服务，提高总体办事效率。

(2)本发明将减少工作人员重复为办事群众讲解业务流程的这种交互方 式，通过屏幕显示每则办事事项，让办事群众自身进行阅览，出现难以理解 事项时，使用图文语音等方式进行讲解，减轻了工作人员的负担，同时本发 明与政府政务数据进行连接，在业务办理的过程中，如果出现文件缺失，错 误等情况，将联网政府数据，读取出合适的业务数据，协助整体业务继续办 理，这样既避免了用户群众因文件缺失多次往返的问题，同时工作人员也无 须翻查辅助资料，减少工作量。

(3)本发明将语音设备，摄像设备，签名设备等硬件设备整合成同一系 统，业务办理所需要的操作流程均在机器人中进行操作。同时当设备出现故 障时，只需要临时替换一个新的政务机器人，该机器人体型较小，无须培训 即可轻松替换。当完成机器人替换流程后，即可继续办理业务，这样可杜绝 因硬件设备故障导致业务无法办理的问题。

(4)本发明在办理政府业务时需要与政府进行联网，政府数据的安全保 护需要强大的安全体系进行支撑，通过应用大数据平台提供数据安全保障模 块，通过建立起身份验证和授权、服务间身份验证和授权和数据安全三种安 全保障，形成系统第一道安全保障，再通过提供安全保障体系，形成系统第 二道安全保障，包括安全防护体系和安全管理体系两大部分，安全防护体系 主要是通过技术实现安全保障，包括：网络安全、系统安全、应用安全和数 据安全；安全管理体系主要是在领导人的带领下成立安全组织会，制定安全 防护制度，实现大数据平台的数据安全，包括安全策略管理规范、安全组织 模型、安全规章制度。通过技术安全防护和线下人员安全防护，两者结合， 突破原本只有技术安全防护而存在的安全隐患问题，为政府业务数据提供更 高的安全保障。

(5)本发明使用深度学习模型进行数据处理，不仅提高了图像识别，语 音识别的准确性，还使用了深度学习技术优化了数据处理的过程，通过不同 的业务数据，对业务反馈数据进行深度学习模型的数值调整，不断优化模型， 为现在的业务办理流程提供新的办理导向，也为将来的新政府业务数据提供 了预测趋势，通过高新技术的支持，为工作人员和办事人员提供更快，更便 捷的办事速度，逐步提高政府业务办事效率。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都 是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。 对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述 的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用 本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易 见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下， 在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例， 而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种窗口政务服务机器人，其特征在于，包括：显示屏和底座；所述显示屏包括显示模块；所述底座包括应用模块、支撑模块、数据模块、语音录入器和播放器；

所述应用模块连接所述播放器和所述支撑模块，与所述播放器之间传输声音数据，与所述支撑模块之间传输声音数据和图像数据；

所述支撑模块连接所述数据模块、所述应用模块和所述语音录入器，调用所述数据模块的数据库资料，与所述语音录入器之间传输所述声音数据；

所述应用模块包括用户信息采集装置、打印机和综合输入控制模块；所述用户信息采集装置和所述打印机分别连接所述支撑模块，所述用户信息采集装置采集所述图像数据和身份数据传输至所述支撑模块；所述打印机传输所述用户信息采集装置采集的所述图像数据和所述身份数据至所述显示模块，所述综合输入控制模块连接所述显示模块；所述显示模块连接所述应用模块，所述显示模块向所述应用模块传输服务请求，所述应用模块向所述显示屏提供指导信息。

2.根据权利要求1所述的窗口政务服务机器人，其特征在于，所述显示屏为触控屏，在所述触控屏上显示业务服务入口和指导信息；所述业务服务入口与所述显示模块连接，输入所述服务请求；所述指导信息与所述应用模块连接。

3.根据权利要求1所述的窗口政务服务机器人，其特征在于，所述用户信息采集装置包括摄像头、指纹仪、身份证阅读器、二维码扫描仪、IC卡读取器和高拍仪；所述支撑模块包括图像识别模块、人脸识别模块、语音识别模块、身份验证模块、电子证照模块和信息共享模块；所述图像识别模块连接所述摄像头、所述指纹仪、所述身份证阅读器、所述高拍仪和所述二维码扫描仪，传输图像信息至所述信息共享模块；所述人脸识别模块连接所述摄像头，传输人脸信息至所述信息共享模块；所述语音识别模块连接所述语音录入器，传输语音数据至所述信息共享模块；所述IC卡读取器读取IC卡携带的卡片信息，并传输至所述身份验证模块；所述身份验证模块连接所述图像识别模块和所述人脸识别模块，传输验证信息至所述信息共享模块；所述电子证照模块连接所述所述图像识别模块，传输电子证照信息至所述信息共享模块；所述信息共享模块传输采集信息至所述数据模块和所述应用模块。

4.根据权利要求1所述的窗口政务服务机器人，其特征在于，所述应用模块还包括引导模块、终端处理模块和所述受理审批模块，均连接所述支撑模块，并接收所述支撑模块传输的所述采集信息；所述引导模块连接所述播放器和所述显示屏；所述受理审批模块与窗口政务服务系统平台进行信息交互；所述终端处理模块加载在自助服务终端设备，实现服务机器人的服务延伸。

5.根据权利要求3所述的窗口政务服务机器人，其特征在于，所述数据模块与所述窗口政务服务系统平台进行信息交互；所述数据模块包括业务资料数据库、证照图片数据库、身份证数据库、语音语义库和政务基础库；所述证照图片数据库连接所述电子证照模块和所述图像识别模块，所述身份证数据库连接所述身份验证模块和所述人脸识别模块，所述语音语义库连接所述语音识别模块，所述业务资料数据库和所述政务基础库连接所述信息共享模块。

6.根据权利要求1所述的窗口政务服务机器人，其特征在于，所述显示模块包括Web网站系统、手机APP系统和微信平台系统，兼容windows、macos和linux操作系统。

7.根据权利要求3所述的窗口政务服务机器人，其特征在于，所述支撑模块还包括计算机视觉模块，所述计算机视觉模块支持所述图像识别模块、所述人脸识别模块、所述身份验证模块和所述电子证照模块；所述计算机视觉模块包括图像/视频增强功能模块、图像/视频分类与识别功能模块以及生物特征身份验证系统；

在所述图像/视频增强功能模块通过建立图像识别模型对采集的所述图像数据进行图像增强处理；

所述图像/视频分类与识别功能模块采用基于层次组稀疏性的判别结构化稀疏编码优化模型、基于集成学习的区分性字典学习和结构化稀疏编码实现图像或视频的分类、识别；

在所述生物特征身份验证系统结合采集的人脸图像、身份证信息、指纹信息和声波信息进行身份验证。

8.根据权利要求3所述的窗口政务服务机器人，其特征在于，所述语音识别模块采用虚拟机器人语音识别系统对采集的所述语音数据进行语音转化，获得所述服务请求，并实现服务引导。

9.根据权利要求8所述的窗口政务服务机器人，其特征在于，所述虚拟机器人语音识别系统包括虚拟机器人开发模块、智能交互引擎模块和大数据平台；所述虚拟机器人开发模块连接所述智能交互引擎模块和所述大数据平台；

所述虚拟机器人开发模块包括渠道接入模块、消息处理模块、服务接口和二次开发系统；

所述智能交互引擎模块包括语音分析引擎、分词标注引擎、聊天对话引擎、场景处理模块、答案处理模块、知识索引模块、负载均衡模块、智能过渡模块和智能交互引擎；

所述大数据平台包括交互数据库、报表数据库、业务知识数据库和语言知识数据库。

10.根据权利要求1所述的窗口政务服务机器人，其特征在于，所述政务服务机器人应用场景包括智能提醒、智能业务办理、智能自主学习、智能交互和智能安全监控；所述智能提醒包括业务提醒和设备提醒；所述智能业务办理包括业务办理流程协助和语音业务办理协助。

Images