CN113407265B - 等保测评中基于ar的数据采集方法、装置及系统 - Google Patents

Abstract

本发明公开了等保测评中基于AR的数据采集方法、装置及系统，涉及网络安全技术领域。所述方法包括步骤：根据用户设置的现场处理事项与联系人的对应关系，将现场处理事项与前述联系人的IM账号进行绑定；采集用户选择的现场处理事项，获取该现场处理事项绑定的IM账号后，生成用户与前述联系人的即时通信交互界面；通过前述即时通信交互界面建立用户与前述联系人的增强现实通话，生成增强现实导航图像输出；获取增强现实通话过程中的语音信息，根据所述语音信息生成前述现场处理事项的安全管理访谈信息。本发明实现了环境感知、高效沟通、远程知识传递和信息智能整理，显著提高了等保测评效率。

Description

等保测评中基于AR的数据采集方法、装置及系统

技术领域

本发明涉及网络安全技术领域，具体涉及一种等保测评中基于AR的数据采集方法、装置及系统。

背景技术

网络安全等级保护（也叫信息安全等级保护）是指对国家重要信息、法人和其他组织及公民的专有信息以及公开信息和存储、传输、处理这些信息的信息系统(网络设备)分等级实行安全保护，对信息系统中使用的信息安全产品实行按等级管理，对信息系统中发生的信息安全事件分等级响应、处置。为此，国家制定了对应的《信息系统安全等级保护测评要求》等管理规范和技术标准。等保测评（全称为信息系统安全等级保护测评）即是参照《信息系统安全等级保护测评要求》中的技术数据对信息系统使用的网络设备进行测评工作。

在传统的等保测评中，现场核查事项通常包括安全物理环境、安全通信网络、安全区域边界、安全计算环境、安全管理（中心/机构/人员）等。一般来说，在现场核查时，还会有现场访谈测评，主要是访谈相关人员以对不理解之处进行解释说明和对管理过程或执行过程补充解释和说明，也是测评中的重要环节。以安全物理环境测评为例，其对应的测评流程通常为：第一步，针对安全物理环境的测评项访谈相关人员；第二步，实地查看场地、环境条件以及设备、设施运行状态；第三步，实地查看存在的有关设备、设施运行状态；第四步，检查检测报告或维护日志、检查机房设计验收文档（可在进机房前完成）；第五步，针对不确定项访谈相关人员；第六步，整理作业指导书，整理结果记录并确认签字。其中，在整理结果记录时，会基于访谈内容制作访谈表以记录访谈信息。

目前，现场核查事项以及访谈均需要专业测评人员到现场核查和现场访谈，存在执行成本高、人力资源占用率高、劳动强度大等缺点。

随着计算机网络技术的迅速发展，远程诊断、远程核查技术得到越来越广泛的重视。然而，传统的远程诊断和远程核查在环境感知、人员沟通、远程知识传递都存在技术和空间上的障碍，制约了远程诊断和远程核查的实际应用效果。另一方面，远程访谈往往基于电话、电子邮件或书信，不便于信息整理和查阅，且往往还需要人工分析访谈内容，影响了测评效率。

综上所述，如何结合等保测评的要求，提供一种操作简单、沟通高效、能够指引相关人员进行现场数据采集且能够智能整理信息的技术方案是当前亟需解决的技术问题。

发明内容

本发明的目的是提供一种等保测评中基于AR的数据采集方法、装置及系统，本发明基于即时通信工具，将增强现实技术结合到等保测评中的现场核查处理事项中，通过增强现实导航(AR导航)指引相关人员进行现场数据采集，并能够根据增强现实通话内容生成安全管理访谈信息，实现了环境感知、高效沟通、远程知识传递和信息智能整理，显著提高了等保测评效率。

为实现上述目标，本发明提供了如下技术方案：

一种等保测评中基于AR的数据采集方法，包括步骤：

根据用户设置的现场处理事项与联系人的对应关系，将现场处理事项与前述联系人的IM账号进行绑定；

采集用户选择的现场处理事项，获取该现场处理事项绑定的IM账号后，生成用户与前述联系人的即时通信交互界面；

通过前述即时通信交互界面建立用户与前述联系人的增强现实通话，在所述增强现实通话模式下，基于前述联系人客户端拍摄现场的实景图像数据，将所述实景图像融合包含导航增强信息的虚拟对象后生成增强现实导航图像输出；

获取增强现实通话过程中的语音信息，根据所述语音信息生成前述现场处理事项的安全管理访谈信息。

进一步，将前述安全管理访谈信息作为该现场处理事项的备注信息存储到备注信息栏。

进一步，根据所述语音信息生成前述现场处理事项的安全管理访谈信息的步骤包括，

识别前述语音信息，获取该语音信息的文字信息；

对该文字信息进行语义分析，基于预设的访谈指标获取文字信息中与各访谈指标对应的内容；

基于前述指标和对应的内容生成访谈表，将所述访谈表作为前述现场处理事项的安全管理访谈信息存储到指定路径下。

进一步，所述访谈指标包括被访问者基本信息、访问日期、访问行业、访谈方式、询问问题及问题说明以及结论，所述被访问者基本信息至少包括被访问者职务信息；

生成访谈表时，根据被访问者职务信息获取与该职务对应的访谈表模板，确定该访谈表模板中的询问问题信息，从前述文字信息的语义分析结果中获取与各询问问题相关的文字内容后填入到对应询问问题的问题说明中。

进一步，分析前述文字信息中用户方的评价倾向性，基于该评价倾向性获取对应的评价项信息，将前述评价项信息，作为该安全管理访谈信息的结论指标对应的内容或部分内容；

所述评价倾向性包括肯定性评价、中立性评价和否定性评价类型，对应不同类型的评价倾向性设置有不同的评价项信息。

进一步，获取用户方的语音信息，识别所述语音信息中的情绪信息，获取该情绪信息对应的情绪类别；获取前述情绪类别对应的评价项信息，作为该安全管理访谈信息的结论指标对应的内容或部分内容；

其中，识别所述语音信息中的情绪信息的方式为：分析语音信息中用户的音量变化，根据音量变化分析情绪信息；和/或，分析语音信息中的音调变化，根据音调变化分析情绪信息；和/或，分析语音信息中的语速信息，根据语音信息分析情绪信息；和/或分析语音信息中的节奏变化，根据节奏变化分析情绪信息。

进一步，在即时通信工具的关联应用平台中预设与等保测评相关的现场核查处理事项信息，所述现场核查处理事项信息包括一个或多个现场处理事项，对应每个现场处理事项设置有联系人设置入口；

通过前述联系人设置入口采集用户输入的联系人信息，获取输入的联系人信息中的IM账号后，将该IM账号与对应的现场处理事项绑定。

进一步，所述关联应用平台为基于微信公众平台的微信公众号，所述微信公众号包括服务号、订阅号或小程序。

本发明还提供了一种等保测评中基于AR的数据采集装置，包括如下结构：

初始化模块，用于根据用户设置的现场处理事项与联系人的对应关系，将现场处理事项与前述联系人的IM账号进行绑定；

通信交互模块，用于采集用户选择的现场处理事项，获取该现场处理事项绑定的IM账号后，生成用户与前述联系人的即时通信交互界面；以及，通过前述即时通信交互界面建立用户与前述联系人的增强现实通话，在所述增强现实通话模式下，基于前述联系人客户端拍摄现场的实景图像数据，将所述实景图像融合包含导航增强信息的虚拟对象后生成增强现实导航图像输出；

访谈信息处理模块，用于获取增强现实通话过程中的语音信息，根据所述语音信息生成前述现场处理事项的安全管理访谈信息。

本发明还提供了一种等保测评中基于AR的数据采集系统，所述系统包括用户客户端、联系人客户端和系统服务器；

所述用户客户端，用于根据用户设置将现场处理事项与联系人的IM账号进行绑定，以及采集用户选择的现场处理事项；

所述系统服务器，用于根据用户选择的现场处理事项，获取绑定的IM账号后，生成用户与前述联系人的即时通信交互界面；以及，通过前述即时通信交互界面建立用户与前述联系人的增强现实通话；

所述联系人客户端，用于在所述增强现实通话模式下，拍摄现场的实景图像数据，并将所述实景图像数据发送至系统服务器；

所述系统服务器在接收实景图像数据后，能够将所述实景图像融合包含导航增强信息的虚拟对象后，生成增强现实导航图像输出；以及获取增强现实通话过程中的语音信息，根据所述语音信息生成前述现场处理事项的安全管理访谈信息。

本发明由于采用以上技术方案，与现有技术相比，作为举例，具有以下的优点和积极效果：基于即时通信工具，将增强现实技术结合到等保测评中的现场核查处理事项中，通过增强现实导航(AR导航)指引相关人员进行现场数据采集，并能够根据增强现实通话内容生成安全管理访谈信息，实现了环境感知、高效沟通、远程知识传递和信息智能整理，显著提高了等保测评效率。

附图说明

图1为本发明实施例提供的等保测评中基于AR的数据采集方法的流程图。

图2为本发明实施例提供的企业公众号的用户界面示例图。

图3为本发明实施例提供的通过即时通信交互界面建立增强现实通话的界面示例图。

图4为本发明实施例提供的联系人客户端输出的增强现实通话界面示例图。

图5是本发明实施例提供的生成的访谈表的内容示例图。

附图标记说明：

用户服务交互界面200，公众号头像210，项目名称显示栏220，现场核查事项栏230，处理事项列表231，访谈信息音频访问控件231a，访谈信息文档访问控件231b，增强现实通话界面240，实景图像显示区241，导航地图显示区242，设备清单显示区243，访谈表250；

即时通信交互界面300，第一方图像显示区310，第二方图像显示区320。

具体实施方式

以下结合附图和具体实施例对本发明公开的等保测评中基于AR的数据采集方法、装置及系统作进一步详细说明。应当注意的是，下述实施例中描述的技术特征或者技术特征的组合不应当被认为是孤立的，它们可以被相互组合从而达到更好的技术效果。在下述实施例的附图中，各附图所出现的相同标号代表相同的特征或者部件，可应用于不同实施例中。因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

需说明的是，本说明书所附图中所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定发明可实施的限定条件，任何结构的修饰、比例关系的改变或大小的调整，在不影响发明所能产生的功效及所能达成的目的下，均应落在发明所揭示的技术内容所能涵盖的范围内。本发明的优选实施方式的范围包括另外的实现，其中可以不按所述的或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

实施例

增强现实技术是结合计算机图形学、图像处理、机器视觉等技术，利用虚拟对象¬¬——比如图标、文字、视频信息等增强信息来对真实场景进行增强的一种技术，实现了真实世界和虚拟世界的融合。本发明在等保测评的现场核查事项中结合即时通信（IM）工具和增强现实技术，能够直观高效地向用户呈现现场物理环境的空间位置关系，并指引现场的相关人员按需要的线路进行现场数据采集。

参见图1所示，为本发明实施例提供的一种等保测评中基于AR的数据采集方法。所述方法包括如下步骤：

S100，根据用户设置的现场处理事项与联系人的对应关系，将现场处理事项与前述联系人的IM账号进行绑定。

具体的，可以在即时通信（IM）工具的关联应用平台中预设与等保测评相关的现场核查处理事项信息，所述现场核查处理事项信息包括一个或多个现场处理事项。对应每个现场处理事项，都设置有联系人设置入口，所述联系人设置入口用于采集用户输入的联系人信息。在获取输入的联系人信息中的IM账号后，可以将该IM账号与对应的现场处理事项绑定。

所述即时通信工具，本领域通常指具有即时通信功能的客户端。作为举例而非限制，所述即时通信工具可以是网络版应用，也可以是PC版应用或者手持终端APP应用。用户通过用户终端——比如手机——登录即时通信工具后，建立了即时通信客户端与即时通信服务器之间的连接。即时通信工具通过用户终端的显示结构向用户输出用户主界面，用户主界面显示有用户头像。所述用户主界面可以显示即时通信服务器推送的联系人列表、群组列表、公众号列表和其它应用。

本实施例中，所述IM工具优选为微信，所述关联应用平台为基于微信公众平台的微信公众号。所述微信公众号可以包括服务号、订阅号或小程序。用户可以基于微信公众号设置与等保测评相关的处理事项信息。具体的，对应每个处理事项设置有事项名称、事项编号和/或事项图标。

作为举例而非限制，比如对于已有的微信公众号“等保助手”，用户可以通过搜索公众号或者查找推送的公众号列表来访问该微信公众号。在用户选中触发该微信公众号后，用户终端的显示结构向用户输出了该公众号的用户服务交互界面200，参见图2所示。所述用户服务交互界面200作为公众号“等保助手”的主交互界面，用于供访问的用户进行与等保建设相关的事务操作——比如接收用户上传的信息安全产品信息。

作为典型方式的举例，所述用户服务交互界面200可以包括公众号头像210，项目名称显示栏220和事项栏。

所述公众号头像210可以由公众号所属服务方来设置，在公众号头像210后显示有公众号名称，根据需要，对应于公众号头像还可以显示公众号其它相关信息——比如所属公司名称，最新推出的产品或服务信息等。

所述项目名称显示栏220用于显示当前正在处理项目的项目名称。作为举例，所述项目名称通常以客户的企业名称来命名，比如图2中的“江苏**科技”，代表用户正在处理客户“江苏**科技”的等保测评项目信息。可选的，项目名称显示栏220中还可以设置多个工具按钮以供用户操作，比如可以包括联系人设置按钮、项目数据导入按钮、删除项目按钮和项目标记按钮等，用户可以通过点击工具按钮来设置与该项目相关的联系人信息、导入项目数据、删除项目和标记重点项目。

所述事项栏用于显示与项目（项目名称显示栏220中显示的项目）对应等级（网络安全等级）相关的多个事项信息，不同的等级对应有不同的事项信息，对应每个事项可以在事项栏显示该事项的事项名称、事项编号和/或事项图标等信息。作为举例，比如微信公众号所属的服务方为上海**等保有限公司，服务方上海**等保有限公司可以在自己的微信公众号中针对等保各级项目设置的对应的处理事项。网络安全等级保护，可以分为五个级别，分别为第一级（用户自主保护级）、第二级（系统审计保护级）、第三级（安全标记保护级）、第四级（结构化保护级）和第五级（访问验证保护级），不同的级别对应有不同的事项信息。

可选的，所述事项栏中的多个事项信息通过事项列表的形式进行展示，参见图2所示。进一步可选的，在显示事项列表时，可以根据需要将事项列表分为多级，本实施例中，至少包括一级事项和二级事项，每级事项对应有级名称。所述一级事项下中设置有一个或多个二级事项。具体设置时，在获取用户设置的处理事项信息后，可以基于预设的处理事项分类规则和从属关系信息生成该用户的事项列表。如此，便于用户对具有从属关系的事项进行维护和管理。

本实施例中，事项栏中显示有现场核查事项栏230，对应多个现场处理事项，现场处理事项通过处理事项列表231形式输出，参见图2所示。可选的，处理事项列表231中输出的具体处理事项，可以由用户进行个性化设置，比如图2中用户设置（选择）的现场处理事项包括：安全物理环境、安全通信网络、安全区域边界、安全计算环境、安全管理中心、安全管理机构和安全管理人员等7个处理事项。

在现场核查事项栏230中，对应每个现场处理事项可以设置有事项联系人设置选项，所述事项联系人设置选项作为联系人设置入口，在被触发后能够输出联系人设置窗口。通过所述联系人设置窗口可以采集用户输入的联系人信息，包括但不限于联系人姓名、昵称、电话、IM账号、职位等。其中，在获取输入的联系人信息中的IM账号后，可以将该IM账号与对应的现场处理事项绑定。

作为典型方式的举例，所述事项联系人设置选项可以以图标按钮的形式设置在对应的现场处理事项的事项名称后面，用户点击该图标按钮时，输出联系人设置窗口。

S200，采集用户选择的现场处理事项，获取该现场处理事项绑定的IM账号后，生成用户与前述联系人的即时通信交互界面。

根据用户选择的现场处理事项，获取绑定的IM账号后，建立用户与该联系人的即时通信交互，生成即时通信交互界面。具体的，所述即时通信交互界面可以包括对话的联系人头像和名称，交互信息显示栏、信息输入栏和工具栏。所述交互信息显示栏用于显示聊天信息。所述信息输入栏用于采集用户的聊天信息。所述工具栏显示有常用的语音聊天控件、表情图标控件，以及更多工具选项，作为举例，用户触发更多工具选项后可以输出控件显示栏，所述控件显示栏显示有用户可以使用的应用控件——比如相册控件、拍摄控件、视频通话控件、语音通话控件、位置控件、收藏控件等。

本实施例中，所述即时通信交互界面具有增强现实（AR）通话功能，此时，前述应用控件还可以包括增强现实（AR）通话控件。

S300，通过前述即时通信交互界面建立用户与前述联系人的增强现实通话，在所述增强现实通话模式下，基于前述联系人客户端拍摄现场的实景图像数据，将所述实景图像融合包含导航增强信息的虚拟对象后生成增强现实导航图像输出。

通过前述即时通信交互界面建立用户与联系人的增强现实通话的方式，可以是采集到用户触发前述增强现实（AR）通话控件的操作消息时，建立用户与联系人的增强现实通话。也可以是在生成前述即时通信交互界面的同时直接建立用户与联系人的增强现实通话，此时，优选的，与联系人的即时通信交互界面可以嵌入在用户服务交互界面200，参见图3所示，显示了用户与联系人“李四-江苏**科技”的增强现实通话界面。

在所述增强现实通话模式下，可以基于联系人客户端拍摄现场的实景图像数据，并将所述实景图像融合包含导航增强信息的虚拟对象后，生成增强现实导航图像输出。

本实施例中，所述导航增强信息可以为导航地图、导航指引标识和导航指引文字中的一种或多种，对应每个现场处理事项设置有导航路线。对于目标现场处理事项，在增强现实导航图像中通过导航地图、导航指引标识和/或导航指引文字输出目标现场处理事项对应的目标导航路线以进行指示。作为典型方式的举例，比如图3中增强现实导航图像中包括实景图像显示区241，导航地图显示区242。所述实景图像显示区241用于输出联系人客户端的摄像头在录制模式下拍摄的实景图像数据，导航地图显示区242显示了导航地图以及导航路线，同时，在实景图像显示区241还显示了导航指引标识（箭头）。

本实施例中，所述虚拟对象还可以包括对实景图像中的重点地方进行解释的文字信息、视频处理操作方式信息(包括重复播放、快慢播放、倒放、定格以及放大、测量、变换角度等)、标识物按钮信息、强调真实环境中重点目标的虚拟物体和/或增加真实环境趣味性的虚拟物体。可选的，通过增强现实通话界面输出虚拟对象时，采集用户与虚拟对象的交互操作信息——比如视线跟踪、点击、移动、旋转所述虚拟对象的交互，根据所述交互操作信息调整显示的虚拟对象。

此时，联系人客户端输出的即时通信交互界面300参见图4所示。所述即时通信交互界面300输出了对话对象“等保助手-小i”以及第一方图像显示区310和第二方图像显示区320，所述第一方图像显示区310用于显示当前焦点视频图像，所述第二方图像显示区320用于显示非当前焦点视频图像。本实施例中为了指引联系人拍摄现场设备，通过第一方图像显示区310输出前述增强现实导航图像，通过第二方图像显示区320输出对话对象“等保助手-小i”客户端在录制状态下的视频图像（对话对象开启了摄像头的情况下）或联系人头像。

本实施例中，还可以将所述拍摄的现场的实景图像数据作为前述目标现场处理事项的事项更新内容进行存储。

S400，获取增强现实通话过程中的语音信息，根据所述语音信息生成前述现场处理事项的安全管理访谈信息。

本实施例中，所述安全管理访谈信息可以是音频格式数据，也可以是标准数据结构的访谈文档——比如访谈表。

为便于用户获取安全管理访谈信息，在生成安全管理访谈信息后，可以将该安全管理访谈信息存储到指定路径下——比如指定文件夹中，并对应着现场处理事项设置访谈信息操作控件以便用户后期根据需要查看前述文件夹中的访谈音频或访谈文档。

参见图3所示，示例了在现场处理事项“安全物理环境”的事项名称后设置访谈信息音频访问控件231a和访谈信息文档访问控件231b以分别作为访谈音频和访谈文档的查看入口，用户触发上述控件后，可以查看相关的音频数据和文档数据。可选的，基于所述用户服务交互界面200输出前述音频数据和/或文档数据。

在增强现实通话过程中，通过音频采集结构——比如拾音器——获取增强现实通话过程中的音频数据以记录用户与联系人的语音信息。然后，根据所述语音信息生成前述现场处理事项的安全管理访谈信息，具体步骤可以如下：

S410，识别前述语音信息，获取该语音信息的文字信息。

具体实施时，可以采用HTK/ATK 工具对用户输入语音进行语音识别；也可以采用非特定人语音识别方式对用户输入语音进行语音识别，在此不作限制。

对用户输入的语音信息进行识别后，获取该语音对应的文字信息（或称文本信息）。

S420，对该文字信息进行语义分析，基于预设的访谈指标获取文字信息中与各访谈指标对应的内容。

语义分析时，考虑到交互双方（用户和联系人）通话时的表达句子多为口语化语句，语义分析过程中可能无法寻找到句子中的谓语。可以采用如下方式进行语义分析：首先，对文本信息进行分词，然后，通过分词得到L个词语，所述L≥1 ；分别获取所述L个词语的特性；根据所述特性分别确定所述L个词语包含的信息量，并从所述L个词语中选取包含信息量多的至少一个词语作为中心词语。作为举例而非限制，当用户输入信息为汉语时，可以采用汉语分词系统，如ICTCLAS 等对用户输入语音对应的文本进行分词；用户输入语音为其他语言时，可以采用该语言对应的分词系统进行分词，在此不再赘述。所述词语的特性可以反应词语特有的词性、代表意义等命名实体特征。作为举例而非限制，比如人名、地名、数字、词性（比如形容词、副词、语气词、助词、连词等）。随后，分别以所述中心词语为中心做窗口，确定所述中心词语的上下文词语；将所述上下文词语与预先训练得到的语义模型进行匹配，得到匹配结果；根据所述匹配结果分析语义。

最后，基于预设的访谈指标获取文字信息中与各访谈指标对应的内容。

所述访谈指标可以由用户或系统预先设置好，应能够体现访谈的核心内容。本实施例中，优选的，所述访谈指标可以包括被访问者基本信息、访问日期、访问行业、访谈方式、询问问题及问题说明以及结论。所述被访问者基本信息具体可以包括被访问者姓名、被访问者工作单位、被访问者职务信息。

S430，基于前述指标和对应的内容生成访谈表，将所述访谈表作为前述现场处理事项的安全管理访谈信息存储到指定路径下。

优选的，根据不同的被访问者职务，可以预设有不同的访谈表模板，不同访谈表模板中设置有不同的询问问题。此时，在生成访谈表时，可以根据被访问者职务信息获取与该职务对应的访谈表模板，确定该访谈表模板中的询问问题信息，从前述文字信息的语义分析结果中获取与各询问问题相关的文字内容后填入到对应询问问题的问题说明中。

作为举例而非限制，比如当被访问者的职务为物理安全负责人时，其对应的访谈表模板预设中的询问问题有5个，分别为“问题1：机房是否配备电子门禁系统，是否控制、鉴别和记录进入的人员”，“问题2：是否设置机房防盗报警系统或设置专人值守的视频监控系统”，“问题3：机房是否划分区域进行管理，区域和区域之间是否设置物理隔离装置”，“问题4：机房天花板及墙壁是否存在防潮及结露现象，机房屋顶或活动办下面是否有水管、对为开放窗户的防雨措施”，“问题5：设备和线路是否贴不易去除标识”。当被访问者的职务为物理安全负责人时，其对应的访谈表模板预设中的询问问题有3个，分别为：“问题1：设备带离机房或者办公环境的管控措施”，“问题2：重要区域的安全管理有哪些措施”，“问题3：机构人员及岗位人员配备情况如何(如安全管理员、系统管理员、网络管理员、审计员）”。

获取了询问问题信息后，就可以从前述文字信息的语义分析结果中获取与前述各询问问题相关的文字内容，然后将文字内容填入到对应询问问题的问题说明中，参见图5所示，示例了生成的访谈表250。

本实施例的一个实施方式中，还可以分析前述文字信息中用户方的评价倾向性，基于该评价倾向性获取对应的评价项信息，将前述评价项信息，作为该安全管理访谈信息的结论指标对应的内容或部分内容。如此，可以快速地得到用户对测评的结论（评价项信息即为结论）或部分结论（评价项信息为结论的一部分）。

所述评价倾向性具体可以包括肯定性评价、中立性评价和否定性评价类型，对应不同类型的评价倾向性设置有不同的评价项信息。作为举例而限制，比如在增强现实通话过程中，采集并识别了用户的语音信息：“你们的物理安全措施很完善呀，完全符合测评要求了。”，上述文字信息中包含的评价倾向性为肯定性评价。于是，基于该评价倾向性，获取对应的评价项信息：符合等保测评要求。再比如，在增强现实通话过程中，采集并识别了用户的语音信息：“这个方面需要整改呀，等保测评中要求设置机房防盗报警系统或设置专人值守的视频监控系统的。”，上述文字信息中包含的评价倾向性为否定性评价。于是，基于该评价倾向性，获取对应的评价项信息：防盗报警方面需要整改。

本实施例的另一实施方式中，获取用户方的语音信息，识别所述语音信息中的情绪信息，获取该情绪信息对应的情绪类别；获取前述情绪类别对应的评价项信息，作为该安全管理访谈信息的结论指标对应的内容或部分内容。如此，可以快速地得到用户对测评的结论或部分结论。

具体的，识别所述语音信息中的情绪信息的方式为：分析语音信息中用户的音量变化，根据音量变化分析情绪信息；和/或，分析语音信息中的音调变化，根据音调变化分析情绪信息；和/或，分析语音信息中的语速信息，根据语音信息分析情绪信息；和/或分析语音信息中的节奏变化，根据节奏变化分析情绪信息。

此实施方式与前述实施方式的区域在于，并非基于语音信息中的文字信息获取评价项信息，而是基于语音信息中包含的情绪信息，获取用户的评价项信息。因为声音能在一定程度上反应人的情绪，比如通常而言，急躁而大声的语音往往代表说话者比较愤怒，而欢快而柔和的语音往往代表说话者比较开心。据此，可以通过分析用户语音信息中的情绪信息来获知用户的评价信息。

以音量为例，识别前述语音信息中的音量变化，根据音量变化获取情绪类别，根据情绪类别获取的评价项信息的具体步骤如下：是预先建立音量与情绪类别、评价项之间的对应关系。作为举例而非限制，比如将声音基于音量分为3个等级，从低往高依次为：低音、中音和高音。而低音、中音和高音分别对应的情绪类别依次为：愉悦的肯定的、勉强的中立的和质疑的否定的。而前述情绪类别对应的评价项信息依次为：访谈很满意符合要求、访谈一般满意少部分需要整改、访谈糟透了很多需要整改。如此，识别所述语音信息中用户的音量属于前述哪个音量等级后，即可基于音量等级与情绪类别、评价项信息之间的对应关系，获取该音量等级对应的评价项信息。

根据音调、语速和节奏信息获取情绪类别，根据情绪类别获取的评价项信息的方式同上。

可选的，在识别语音信息中的情绪信息时，如果同时考虑音量、音调、语速和节奏等多个因素，可以针对各情绪类别设置分值——比如愉悦的肯定的情绪类别对应的分值为90分、勉强的中立的情绪类别对应的分值为60分，质疑的否定的情绪类别对应的分值为40分；对于某一语音信息，获取各个因素对应的情绪类别的分值后，对所有因素的分值求取算术平均数，然后将该算术平均数对应的情绪类别作前述语音信息的情绪类别。

本实施例的另一实施方式中，对应每个现场处理事项还可以设置有备注信息栏，此时，可以将前述安全管理访谈信息作为该现场处理事项的备注信息存储到备注信息栏，用户可以通过备注信息栏来查看安全管理访谈信息。

本实施例的另一实施方式中，还可以基于等保测评的现场核查要求设置每个现场处理事项的重点位置信息，获取每个现场处理事项对应的重点位置信息，该现场处理事项对应的导航路线包括前述重点位置信息中记录的所有重点位置。此时，在规划导航路线时，可以获取联系人客户端的位置移动信息；判断所述位置移动信息是否匹配目标导航路线；判定不匹配时，根据联系人客户端的当前位置和已经途径过的重点位置，获取剩余的重点位置信息后规划新的导航路线并输出。

本实施例的另一实施方式中，在建立用户与联系人的增强现实通话之前还可以包括步骤：在即时通信交互界面中设置有用于邀请增强现实通话的操作控件，采集用户对该操作控件的触发信息，生成增强现实通话邀请消息发送给联系人客户端；在联系人客户端输出前述邀请消息并发出询问，在采集到联系人客户端接收所述邀请消息时，建立用户与联系人的增强现实通话。

可选的，对应现场设备还设置有定位装置，所述联系人客户端配备有自动移动激光软件狗（Software Dongle），所述自动移动激光软件狗包括激光器和软件狗，通过软件狗插在联系人客户端所在终端——比如手机——后，可以从手机获取输入并控制激光指向相应的现场设备。所述自动移动激光软件狗能够自动将激光指向与所述联系人客户端相关联的相机能见距离的范围内的现场设备。此时，可以获取联系人在实景图像中触发的目标现场设备；根据前述触发操作，自动移动激光软件狗控制激光指向真实环境中的目标现场设备；在前述实景图像通过虚拟对象标识前述目标现场设备，所述虚拟对象包含激光指向信息。

本发明的另一实施例，还提供了一种等保测评中基于AR的数据采集装置。

所述装置包括初始化模块，通信交互模块和访谈信息处理模块。

所述初始化模块，用于根据用户设置的现场处理事项与联系人的对应关系，将现场处理事项与前述联系人的IM账号进行绑定。

所述通信交互模块，用于采集用户选择的现场处理事项，获取该现场处理事项绑定的IM账号后，生成用户与前述联系人的即时通信交互界面；以及，通过前述即时通信交互界面建立用户与前述联系人的增强现实通话，在所述增强现实通话模式下，基于前述联系人客户端拍摄现场的实景图像数据，将所述实景图像融合包含导航增强信息的虚拟对象后生成增强现实导航图像输出。

所述访谈信息处理模块，用于获取增强现实通话过程中的语音信息，根据所述语音信息生成前述现场处理事项的安全管理访谈信息。

本实施例中，所述访谈信息处理模块被配置为：识别前述语音信息，获取该语音信息的文字信息；对该文字信息进行语义分析，基于预设的访谈指标获取文字信息中与各访谈指标对应的内容；基于前述指标和对应的内容生成访谈表，将所述访谈表作为前述现场处理事项的安全管理访谈信息存储到指定路径下。

具体的，所述访谈信息处理模块可以包括指标设置单元、语义分析单元和访谈表生成单元。

所述指标设置单元用于获取用户或系统设置的访谈指标。本实施例中，所述包括被访问者基本信息、访问日期、访问行业、访谈方式、询问问题及问题说明以及结论，所述被访问者基本信息至少包括被访问者职务信息。

所述语义分析单元，用于识别前述语音信息，获取该语音信息的文字信息；对该文字信息进行语义分析，基于预设的访谈指标获取文字信息中与各访谈指标对应的内容。

所述访谈表生成单元，用于基于前述指标和对应的内容生成访谈表，将所述访谈表作为前述现场处理事项的安全管理访谈信息存储到指定路径下。其中，在生成访谈表时，能够根据被访问者职务信息获取与该职务对应的访谈表模板，确定该访谈表模板中的询问问题信息，从前述文字信息的语义分析结果中获取与各询问问题相关的文字内容后填入到对应询问问题的问题说明中。

本实施例中，所述访谈表生成单元还被配置为：获取预设的评价倾向性类型，分析前述文字信息中用户方的评价倾向性类型，基于该评价倾向性类型获取对应的评价项信息，将前述评价项信息，作为该安全管理访谈信息的结论指标对应的内容或部分内容。

所述评价倾向性包括肯定性评价、中立性评价和否定性评价类型，对应不同类型的评价倾向性设置有不同的评价项信息。

可选的，所述访谈表生成单元还可以被配置为：6.获取用户方的语音信息，识别所述语音信息中的情绪信息，获取该情绪信息对应的情绪类别；获取前述情绪类别对应的评价项信息，作为该安全管理访谈信息的结论指标对应的内容或部分内容。

其中，访谈表生成单元包括情绪类别分析子单元，被配置为：分析语音信息中用户的音量变化，根据音量变化分析情绪类别信息；和/或，分析语音信息中的音调变化，根据音调变化分析情绪类别信息；和/或，分析语音信息中的语速信息，根据语音信息分析情绪类别信息；和/或分析语音信息中的节奏变化，根据节奏变化分析情绪类别信息。

其它技术特征参考在前实施例，各模块可以被配置为执行相应的信息采集、信息传输和信息处理过程，在此不再赘述。

本发明的另一实施例，还提供了一种等保测评中基于AR的数据采集系统。

所述系统包括用户客户端、联系人客户端和系统服务器。

所述用户客户端，用于根据用户设置将现场处理事项与联系人的IM账号进行绑定，以及采集用户选择的现场处理事项。

所述系统服务器，用于根据用户选择的现场处理事项，获取绑定的IM账号后，生成用户与前述联系人的即时通信交互界面；以及，通过前述即时通信交互界面建立用户与前述联系人的增强现实通话。

所述联系人客户端，用于在所述增强现实通话模式下，拍摄现场的实景图像数据，并将所述实景图像数据发送至系统服务器。

所述系统服务器在接收实景图像数据后，能够将所述实景图像融合包含导航增强信息的虚拟对象后，生成增强现实导航图像输出；以及获取增强现实通话过程中的语音信息，根据所述语音信息生成前述现场处理事项的安全管理访谈信息。

其它技术特征参考在前实施例，各端（客户端和服务器端）可以被配置为执行相应的信息采集、信息传输和信息处理过程，在此不再赘述。

需要说明的是，本发明所述的终端，除手机外，还可以是掌上电脑、平板电脑等各种常用的移动终端，以及各种智能穿戴式电子设备，比如智能眼镜、智能手表等，在此不做限制。

对应增强现实信息，可以设置有增强现实服务器，所述增强现实服务器可以进行专用数据库建立，专用数据库建立指由POI信息和从拍摄的具有实际的地理特征(地貌、建筑物、道路等)的真实图像抽取的特征点的结合形成的信息数据库。比如可以包括增强现实信息数据库、真实图像数据库以及POI数据库，对应于增强现实服务器的服务器储存单元设置。这里，增强现实信息数据库可以用于储存特征点、GPS坐标、POI信息以及其他相关信息中的一种或多种，并与商业报告系统、门户网站、广告内容DB交互；真实图像数据库可以储存实际的街道图像以及与所述图像匹配的 GPS坐标；POI数据库用于储存POI信息。

在上面的描述中，本发明的公开内容并不旨在将其自身限于这些方面。而是，在本公开内容的目标保护范围内，各组件可以以任意数目选择性地且操作性地进行合并。另外，像“包括”、“囊括”以及“具有”的术语应当默认被解释为包括性的或开放性的，而不是排他性的或封闭性，除非其被明确限定为相反的含义。所有技术、科技或其他方面的术语都符合本领域技术人员所理解的含义，除非其被限定为相反的含义。在词典里找到的公共术语应当在相关技术文档的背景下不被太理想化或太不实际地解释，除非本公开内容明确将其限定成那样。本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。

Claims (8)

1.一种等保测评中基于AR的数据采集方法，其特征在于包括步骤：

根据用户设置的现场处理事项与联系人的对应关系，将现场处理事项与前述联系人的IM账号进行绑定；其中，在即时通信工具的关联应用平台中预设与等保测评相关的现场核查处理事项信息，所述现场核查处理事项信息包括一个或多个现场处理事项，对应每个现场处理事项设置有联系人设置入口；通过前述联系人设置入口采集用户输入的联系人信息，获取输入的联系人信息中的IM账号后，将该IM账号与对应的现场处理事项绑定；

采集用户选择的现场处理事项，获取该现场处理事项绑定的IM账号后，生成用户与前述联系人的即时通信交互界面；

在即时通信交互界面中设置有用于邀请增强现实通话的操作控件，采集用户对该操作控件的触发信息，生成增强现实通话邀请消息发送给联系人客户端；在联系人客户端输出前述邀请消息并发出询问，在采集到联系人客户端接收所述邀请消息时，建立用户与联系人的增强现实通话；在所述增强现实通话模式下，基于前述联系人客户端拍摄现场的实景图像数据，将所述实景图像融合包含导航增强信息的虚拟对象后生成增强现实导航图像输出，以引导前述联系人对应的人员拍摄现场设备；

获取增强现实通话过程中的语音信息，根据所述语音信息生成前述现场处理事项的安全管理访谈信息；

其中，根据所述语音信息生成前述现场处理事项的安全管理访谈信息的步骤包括：识别前述语音信息，获取该语音信息的文字信息；对该文字信息进行语义分析，基于预设的访谈指标获取文字信息中与各访谈指标对应的内容；基于前述指标和对应的内容生成访谈表，将所述访谈表作为前述现场处理事项的安全管理访谈信息存储到指定路径下。

2.根据权利要求1所述的方法，其特征在于：将前述安全管理访谈信息作为该现场处理事项的备注信息存储到备注信息栏。

3.根据权利要求1所述的方法，其特征在于：所述访谈指标包括被访问者基本信息、访问日期、访问行业、访谈方式、询问问题及问题说明以及结论，所述被访问者基本信息至少包括被访问者职务信息；

生成访谈表时，根据被访问者职务信息获取与该职务对应的访谈表模板，确定该访谈表模板中的询问问题信息，从前述文字信息的语义分析结果中获取与各询问问题相关的文字内容后填入到对应询问问题的问题说明中。

4.根据权利要求3所述的方法，其特征在于：分析前述文字信息中用户方的评价倾向性，基于该评价倾向性获取对应的评价项信息，将前述评价项信息，作为该安全管理访谈信息的结论指标对应的内容或部分内容；

所述评价倾向性包括肯定性评价、中立性评价和否定性评价类型，对应不同类型的评价倾向性设置有不同的评价项信息。

5.根据权利要求3所述的方法，其特征在于：获取用户方的语音信息，识别所述语音信息中的情绪信息，获取该情绪信息对应的情绪类别；获取前述情绪类别对应的评价项信息，作为该安全管理访谈信息的结论指标对应的内容或部分内容；

其中，识别所述语音信息中的情绪信息的方式为：分析语音信息中用户的音量变化，根据音量变化分析情绪信息；和/或，分析语音信息中的音调变化，根据音调变化分析情绪信息；和/或，分析语音信息中的语速信息，根据语音信息分析情绪信息；和/或分析语音信息中的节奏变化，根据节奏变化分析情绪信息。

6.根据权利要求1所述的方法，其特征在于：所述关联应用平台为基于微信公众平台的微信公众号，所述微信公众号包括服务号、订阅号或小程序。

7.一种根据权利要求1所述方法的等保测评中基于AR的数据采集装置，其特征在于包括：

初始化模块，用于根据用户设置的现场处理事项与联系人的对应关系，将现场处理事项与前述联系人的IM账号进行绑定；

通信交互模块，用于采集用户选择的现场处理事项，获取该现场处理事项绑定的IM账号后，生成用户与前述联系人的即时通信交互界面；以及，通过前述即时通信交互界面建立用户与前述联系人的增强现实通话，在所述增强现实通话模式下，基于前述联系人客户端拍摄现场的实景图像数据，将所述实景图像融合包含导航增强信息的虚拟对象后生成增强现实导航图像输出，以引导关联联系人对应的人员拍摄现场设备；

访谈信息处理模块，用于获取增强现实通话过程中的语音信息，根据所述语音信息生成前述现场处理事项的安全管理访谈信息。

8.一种根据权利要求1所述方法的等保测评中基于AR的数据采集系统，其特征在于：包括用户客户端、联系人客户端和系统服务器；

所述用户客户端，用于根据用户设置将现场处理事项与联系人的IM账号进行绑定，以及采集用户选择的现场处理事项；

所述系统服务器，用于根据用户选择的现场处理事项，获取绑定的IM账号后，生成用户与前述联系人的即时通信交互界面；以及，通过前述即时通信交互界面建立用户与前述联系人的增强现实通话；

所述联系人客户端，用于在所述增强现实通话模式下，拍摄现场的实景图像数据，并将所述实景图像数据发送至系统服务器；

所述系统服务器在接收实景图像数据后，能够将所述实景图像融合包含导航增强信息的虚拟对象后，生成增强现实导航图像输出，以引导关联联系人对应的人员拍摄现场设备；以及获取增强现实通话过程中的语音信息，根据所述语音信息生成前述现场处理事项的安全管理访谈信息。

Images