CN110175150B - 基于数据压缩的迎宾机器人数据存储监控系统 - Google Patents

Abstract

本发明公开了一种基于数据压缩的迎宾机器人数据存储监控系统，包括迎宾机器人、云服务系统以及底层基础设施虚拟化层；云服务系统包括反向代理服务器、web服务器、装在装载web服务器上的数据处理系统和数据仓库，迎宾机器人将压缩后的文件发送到云服务系统，云服务系统先通过反向代理服务器接收HTTP请求，再采用负载均衡技术根据web服务器的工作压力情况将文件存储任务合理的分配到相应的web服务器上。本发明采用云服务系统对迎宾机器人产生的海量数据进行存储，迎宾机器人本地只保存少量的数据，减小了本地磁盘的存储压力，解决了迎宾机器人产生的海量数据的存储问题，并能通过云服务系统对机器人进行监控。

Description

基于数据压缩的迎宾机器人数据存储监控系统

技术领域

本发明涉及机器人技术领域，特别涉及一种迎宾机器人数据存储监控系统。

背景技术

随着人工智能科技的不断发展，迎宾机器人有非常广阔的应用场景。比如机场、火车站、学校、医院、政府办公大厅、银行、餐厅等都可以安排迎宾机器人提供服务。对于如此庞大的机器人集群，其每日产生的数据量也非常庞大，迎宾机器人服务过程中产生大量的音频、视频、图像等数据如何保存是一个至关重要的问题。

迎宾机器人本地化保存数据的容量有限，因此迎宾机器人产生的海量数据不能单靠本地化保存。申请号为201620793495.2的中国专利公开了一种云存储系统的存储系统，其通过多个云服务器，云服务器相互连接，每个云服务器设有微处理器、电路模块等组件，用以支持额外的存储拓展和满足海量数据存储的需要。但是采用云储存的方式，如何减少带宽以及存储空间的浪费是需要解决的一个问题。

并且现有迎宾机器人的数据本地化存储方式，使得多台机器人之间的数据共享不方便，单台机器人搭载的外部设备对于处理庞大数据量的即时性能力有限。在多台机器人同时提供服务时，还需要解决获取数据实时性的问题。

发明内容

有鉴于此，本发明的目的一种基于数据压缩的迎宾机器人数据存储监控系统，以解决对迎宾机器人产生的海量数据进行存储、不同机器人之间数据共享、以及对机器人服务状态进行监控等技术问题。

本发明基于数据压缩的迎宾机器人数据存储监控系统，包括迎宾机器人、云服务系统以及底层基础设施虚拟化层；

所述迎宾机器人用于对外提供服务，迎宾机器人包括用于识别服务过程中的语音、用于识别服务过程中的人脸图像、以及对服务过程进行录像的外部设备，迎宾机器人还包括对语音信息、图像信息、视频信息以及机器人状态信息进行压缩和解压的霍夫曼编码压缩/解压模块；

所述云服务系统包括反向代理服务器、web服务器、装在装载web服务器上的数据处理系统和装载在web服务器上的数据仓库，所述数据仓库包括主从复制的MySQL集群和由分布式框架Hadoop搭建的文件数据仓库；所述文件数据仓库用于存储迎宾机器人上传的语音信息、图像信息和视频信息，所述MySQL集群用于存储迎宾机器人上传的机器人状态信息；

所述迎宾机器人将压缩后的文件通过HTTP请求发送到云服务系统，所述云服务系统先通过反向代理服务器接收到该HTTP请求，再采用负载均衡技术根据web服务器的工作压力情况将文件存储任务合理的分配到相应的web服务器上；

所述数据处理系统为迎宾机器人及其他用户提供访问web服务器的接口，数据处理系统通过自定义链接与文件数据仓库链接，数据处理系统接收到HTTP请求，从请求中获取上传的文件流，再通过网络通信技术将文件流下发到文件数据仓库；所述文件数据仓库包括NameNode节点和DataNode节点，所述NameNode接收到文件流，将文件拆分为块的方式，使用SCP远程拷贝文件块到不同DataNode节点；

所述迎宾机器人还实时将状态信息通过HTTP请求发送到云服务系统，所述数据处理系统通过自定义链接与MySQL集群链接，数据处理系统接收到HTTP请求，从请求中获取上传的状态信息文件流，再通过网络通信技术将文件流下发到MySQL集群；

所述底层基础设施虚拟化层包括虚拟的硬件设施和在虚拟的基础设施上创建的客户操作系统虚拟机，所述云服务系统的应用程序分别运行在不同的虚拟机上。

进一步，所述霍夫曼编码压缩模块包括字典更新程序、编码程序和霍夫曼树更新过程程序；

所述字典更新程序在被执行时实现以下步骤：

1)按字扫描文件；

2)判断该字是否已经在字典中，若是则向下执行步骤3)，若否则将该字添加到字典和临时文件中，然后再执行步骤3)；

3)判断是否扫描完成，若是则跳转至执行步骤1)，若否则向下执行步骤4)；

4)根据字典中字的数量m，找到两个值e和r使得m＝(2＾e)+r，0≤r≤(2＾e)；

5)将前2r个字的代码字定为字典中第(e+1)位的单词在字典中索引值的二进制值，其余字的代码定位等于字典中第e位的单词在字典中索引值的二进制值；

6)结束；

所述编码程序在被执行时实现以下步骤：

1)按字扫描文件；

2)判断该字是否首次出现在文件中；若是则该字的代码字为该字在字典中的代码字加霍夫曼树的NYT代码字，将该字的代码字写入输出文件，再使用霍夫曼树更新过程程序更新霍夫曼树；若否则使用自适应霍夫曼树获取该字的代码字并写入输出文件，再使用霍夫曼树更新过程程序更新霍夫曼树；

3)判断是否扫描完成，若是则程序结束，若否则跳转执行步骤1)；

所述霍夫曼树更新过程程序在被执行时实现以下步骤：

1)判断该字是否首次出现在文件中；若是则将该字插入自适应霍夫曼树，再跳转到NYT节点；若否则在霍夫曼树中找到该字对应的叶子节点，并使节点的权重加一；

2)判断霍夫曼树中是否有高节点编号的权重低于当前节点的权重；若是则先将交换两个节点的内容，再向下执行步骤3)；若否则向下执行步骤3)；

3)判断当前节点是否是根节点；若是则结束程序；若否则先更新当前节点的父亲节点的权重为该父亲节点下所有节点的权重之和，再跳转执行步骤2)。

进一步，所述霍夫曼编码解压模块包括字典更新程序和解码程序；所述霍夫曼编码解压模块的字典更新程序在被执行时实现以下步骤：

1)按字扫描临时文件；

2)将扫描到的字添加到解码器字典中；

3)判断是否扫描完成，若是则向下执行步骤4)，若否则跳转执行步骤1)

4)根据字典中字的数量m，找到两个值e和r使得m＝(2＾e)+r，0≤r≤(2＾e)；

5)将前2r个字的代码字定为字典中第(e+1)位的单词在字典中索引值的二进制值，其余字的代码定位等于字典中第e位的单词在字典中索引值的二进制值；

6)结束；

所述霍夫曼编码解压模块的解码程序在被执行时实现以下步骤：

1)找到霍夫曼树的根节点；

2)判断该节点是否为叶子节点；若是则向下执行步骤3)；若否则跳转执行步骤2a)；

2a)从输入文件中读取位，并找到对应的节点，再跳转执行步骤2)；

3)判断该节点是否为NYT节点；若是则向下执行步骤4)；若否则先根据对应节点解码元素，再向下执行步骤3a)；

3a)判断当前位是否为输入文件的最后一位；若是则跳转至执行步骤7)；若否则跳转至执行步骤1)；

4)读取e位，并判断e位编码号p是否小于r；若是则向下执行步骤5)；若否则先将p加上r，再执行步骤6)；

5)调用霍夫曼编码解压模块的字典更新程序，并在步骤4的基础上多读取一位，即e+1位；

6)用字典解码第P+1个元素；

7)结束。

本发明的有益效果：

1、本发明基于数据压缩的迎宾机器人数据存储监控系统，其采用云服务系统对迎宾机器人产生的海量数据进行存储，迎宾机器人本地只保存少量的数据，减小了本地磁盘的存储压力，解决了迎宾机器人产生的海量数据的存储问题。并且文件数据仓库的NameNode节点将接收到文件拆分为块，通过SCP远程拷贝文件块到其他的不同数据节点DataNode，并保证每个块的备份，保证文件数据的安全可靠。

2、本发明基于数据压缩的迎宾机器人数据存储监控系统，通过云服务系统存储数据在迎宾机器人集群需要扩充时，方便了各个机器人之间的数据流动。

3、本发明基于数据压缩的迎宾机器人数据存储监控系统，通过云服务系统对各机器人的服务状态集中监控，如发生故障，可及时做出应急处理反应。

4、本发明基于数据压缩的迎宾机器人数据存储监控系统，其采用霍夫曼编码压缩/解压模块对数据进行压缩，减小了网络带宽的消耗，增大了存储空间的存储量。更为重要的是，本发明采用的霍夫曼编码是一种基于最小冗余编码的压缩算法，传统的霍夫曼编码处理的单位是一个字节，本发明中霍夫曼编码处理的单位是两个字节，即一个字，压缩及解压更快。

5、本发明基于数据压缩的迎宾机器人数据存储监控系统，迎宾机器人服务产生的数据，由仓库统一存储，方便数据的管理，不用间断性的对机器人本地的数据进行拷贝或清理。

6、本发明基于数据压缩的迎宾机器人数据存储监控系统，迎宾机器人的本地可搭载性能一般的处理器，对于需要高性能的数据处理完全交给云服务，这样可减小机器人的制作成本。

7、本发明基于数据压缩的迎宾机器人数据存储监控系统，云服务提供Web方式访问，方便查看每台迎宾机器人产生的服务数据，能减小人员工作量。

附图说明

图1为基于数据压缩的迎宾机器人数据存储监控系统的整体结构框图；

图2为存储节点架构图，图中的Guest OS即客户操作系统虚拟机；

图3为霍夫曼编码压缩模块的字典更新程序执行步骤流程图；

图4为霍夫曼编码压缩模块的编码程序执行步骤流程图；

图5为霍夫曼编码压缩模块的霍夫曼树更新过程程序执行步骤流程图；

图6为霍夫曼编码解压模块的字典更新程序执行步骤流程图；

图7为霍夫曼编码解压模块的解码程序执行步骤流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步描述。

本实施例基于数据压缩的迎宾机器人数据存储监控系统，包括迎宾机器人、云服务系统以及底层基础设施虚拟化层。

所述迎宾机器人用于对外提供服务，迎宾机器人包括用于识别服务过程中的语音、用于识别服务过程中的人脸图像、以及对服务过程进行录像的外部设备，迎宾机器人还包括对语音信息、图像信息、视频信息以及机器人状态信息进行压缩和解压的霍夫曼编码压缩/解压模块，通过对数据进行压缩，能减小网络带宽的消耗。

所述云服务系统包括反向代理服务器、web服务器、装在装载web服务器上的数据处理系统和装载在web服务器上的数据仓库，所述数据仓库包括主从复制的MySQL集群和由分布式框架Hadoop搭建的文件数据仓库；所述文件数据仓库用于存储迎宾机器人上传的语音信息、图像信息和视频信息，所述MySQL集群用于存储迎宾机器人上传的机器人状态信息。

所述迎宾机器人将压缩后的文件通过HTTP请求发送到云服务系统，所述云服务系统先通过反向代理服务器接收到该HTTP请求，再采用负载均衡技术根据web服务器的工作压力情况将文件存储任务合理的分配到相应的web服务器上。

所述数据处理系统为迎宾机器人及其他用户提供访问web服务器的接口，数据处理系统为迎宾机器人及其他用户提供了访问接口，实现机器和用户管理，文件数据管理，服务记录管理，安全管理等。数据处理系统通过自定义链接与文件数据仓库链接，数据处理系统接收到HTTP请求，从请求中获取上传的文件流，再通过网络通信技术将文件流下发到文件数据仓库；所述文件数据仓库包括NameNode节点和DataNode节点，所述NameNode接收到文件流，将文件拆分为块的方式，使用SCP远程拷贝文件块到不同DataNode节点。

所述迎宾机器人还实时将状态信息通过HTTP请求发送到云服务系统，所述数据处理系统通过自定义链接与MySQL集群链接，数据处理系统接收到HTTP请求，从请求中获取上传的状态信息文件流，再通过网络通信技术将文件流下发到MySQL集群。

本实施例中以代理服务器来接受连接请求，然后将请求转发给内部网络上的服务器，并将从服务商得到的结果返回给请求连接的客户端。使用这种方式可以将请求均匀转发给多台内部的Web服务器之一，从而达到负载均衡的目的。Web服务器还能通过HTTP提供HTML页面等静态请求访问，实现了Servlet规范，通过调用Servlet处理动态请求。

所述底层基础设施虚拟化层包括虚拟的硬件设施和在虚拟的基础设施上创建的客户操作系统虚拟机，所述云服务系统的应用程序分别运行在不同的虚拟机上。底层基础设施虚拟化层通过将计算机的各种实体资源，包括服务器，网络，内存及存储等，予以抽象、转换后呈现出来，打破实体结构间的不可切割的障碍，使用户可以比原来的组态更好的方式来应用这些资源。并且通过虚拟化技术在基础设施上创建客户操作系统虚拟机，使得硬件基础的使用更加方便。

本实施例中基于数据压缩的迎宾机器人数据存储监控系统，其采用的霍夫曼编码压缩模块包括字典更新程序、编码程序和霍夫曼树更新过程程序；

所述字典更新程序在被执行时实现以下步骤：

1)按字扫描文件；

2)判断该字是否已经在字典中，若是则向下执行步骤3)，若否则将该字添加到字典和临时文件中，然后再执行步骤3)；

3)判断是否扫描完成，若是则跳转至执行步骤1)，若否则向下执行步骤4)；

4)根据字典中字的数量m，找到两个值e和r使得m＝(2＾e)+r，0≤r≤(2＾e)；

5)将前2r个字的代码字定为字典中第(e+1)位的单词在字典中索引值的二进制值，其余字的代码定位等于字典中第e位的单词在字典中索引值的二进制值；

6)结束；

所述编码程序在被执行时实现以下步骤：

1)按字扫描文件；

2)判断该字是否首次出现在文件中；若是则该字的代码字为该字在字典中的代码字加霍夫曼树的NYT代码字，将该字的代码字写入输出文件，再使用霍夫曼树更新过程程序更新霍夫曼树；若否则使用自适应霍夫曼树获取该字的代码字并写入输出文件，再使用霍夫曼树更新过程程序更新霍夫曼树；

3)判断是否扫描完成，若是则程序结束，若否则跳转执行步骤1)；

所述霍夫曼树更新过程程序在被执行时实现以下步骤：

1)判断该字是否首次出现在文件中；若是则将该字插入自适应霍夫曼树，再跳转到NYT节点；若否则在霍夫曼树中找到该字对应的叶子节点，并使节点的权重加一；

2)判断霍夫曼树中是否有高节点编号的权重低于当前节点的权重；若是则先将交换两个节点的内容，再向下执行步骤3)；若否则向下执行步骤3)；

3)判断当前节点是否是根节点；若是则结束程序；若否则先更新当前节点的父亲节点的权重为该父亲节点下所有节点的权重之和，再跳转执行步骤2)。

本实施例中基于数据压缩的迎宾机器人数据存储监控系统，其采用的霍夫曼编码解压模块包括字典更新程序和解码程序；所述霍夫曼编码解压模块的字典更新程序在被执行时实现以下步骤：

1)按字扫描临时文件；

2)将扫描到的字添加到解码器字典中；

3)判断是否扫描完成，若是则向下执行步骤4)，若否则跳转执行步骤1)

4)根据字典中字的数量m，找到两个值e和r使得m＝(2＾e)+r，0≤r≤(2＾e)；

5)将前2r个字的代码字定为字典中第(e+1)位的单词在字典中索引值的二进制值，其余字的代码定位等于字典中第e位的单词在字典中索引值的二进制值；

6)结束；

所述霍夫曼编码解压模块的解码程序在被执行时实现以下步骤：

1)找到霍夫曼树的根节点；

2)判断该节点是否为叶子节点；若是则向下执行步骤3)；若否则跳转执行步骤2a)；

2a)从输入文件中读取位，并找到对应的节点，再跳转执行步骤2)；

3)判断该节点是否为NYT节点；若是则向下执行步骤4)；若否则先根据对应节点解码元素，再向下执行步骤3a)；

3a)判断当前位是否为输入文件的最后一位；若是则跳转至执行步骤7)；若否则跳转至执行步骤1)；

4)读取e位，并判断e位编码号p是否小于r；若是则向下执行步骤5)；若否则先将p加上r，再执行步骤6)；

5)调用霍夫曼编码解压模块的字典更新程序，并在步骤4的基础上多读取一位，即e+1位；

6)用字典解码第P+1个元素；

7)结束。

本实施例基于数据压缩的迎宾机器人数据存储监控系统，其迎宾机器人服务产生的图像、音频、视频文件由主机临时保存，然后主机获取到这些文件信息之后，使用霍夫曼编码算法对文件进行压缩，将压缩后的文件通过HTTP请求发送到云服务系统。迎宾机器人本地只保存少量的数据，减小了本地磁盘的存储压力，解决了迎宾机器人产生的海量数据的存储问题。并且文件数据仓库的NameNode节点将接收到文件拆分为块，通过SCP远程拷贝文件块到其他的不同数据节点DataNode，并保证每个块的备份，保证文件数据的安全可靠；且通过云服务系统存储数据在迎宾机器人集群需要扩充时，方便了各个机器人之间的数据流动。同时每台机器人实时将状态信息发送给云服务系统，通过云服务系统可实时监控机器的状态，便于及时维护。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (1)

1.一种基于数据压缩的迎宾机器人数据存储监控系统，其特征在于：包括迎宾机器人、云服务系统以及底层基础设施虚拟化层；

所述迎宾机器人用于对外提供服务，迎宾机器人包括用于识别服务过程中的语音、用于识别服务过程中的人脸图像、以及对服务过程进行录像的外部设备，迎宾机器人还包括对语音信息、图像信息、视频信息以及机器人状态信息进行压缩和解压的霍夫曼编码压缩/解压模块；

所述云服务系统包括反向代理服务器、web服务器、装在装载web服务器上的数据处理系统和装载在web服务器上的数据仓库，所述数据仓库包括主从复制的MySQL集群和由分布式框架Hadoop搭建的文件数据仓库；所述文件数据仓库用于存储迎宾机器人上传的语音信息、图像信息和视频信息，所述MySQL集群用于存储迎宾机器人上传的机器人状态信息；

所述迎宾机器人将压缩后的文件通过HTTP请求发送到云服务系统，所述云服务系统先通过反向代理服务器接收到该HTTP请求，再采用负载均衡技术根据web服务器的工作压力情况将文件存储任务合理的分配到相应的web服务器上；

所述数据处理系统为迎宾机器人及其他用户提供访问web服务器的接口，数据处理系统通过自定义链接与文件数据仓库链接，数据处理系统接收到HTTP请求，从请求中获取上传的文件流，再通过网络通信技术将文件流下发到文件数据仓库；所述文件数据仓库包括NameNode节点和DataNode节点，所述NameNode接收到文件流，将文件拆分为块的方式，使用SCP远程拷贝文件块到不同DataNode节点；

所述迎宾机器人还实时将状态信息通过HTTP请求发送到云服务系统，所述数据处理系统通过自定义链接与MySQL集群链接，数据处理系统接收到HTTP请求，从请求中获取上传的状态信息文件流，再通过网络通信技术将文件流下发到MySQL集群.

所述底层基础设施虚拟化层包括虚拟的硬件设施和在虚拟的基础设施上创建的客户操作系统虚拟机，所述云服务系统的应用程序分别运行在不同的虚拟机上；

所述霍夫曼编码压缩模块包括字典更新程序、编码程序和霍夫曼树更新过程程序；

所述字典更新程序在被执行时实现以下步骤：

1)按字扫描文件；

2)判断该字是否已经在字典中，若是则向下执行步骤3)，若否则将该字添加到字典和临时文件中，然后再执行步骤3)；

3)判断是否扫描完成，若是则跳转至执行步骤1)，若否则向下执行步骤4)；

4)根据字典中字的数量m，找到两个值e和r使得m＝(2＾e)+r，0≤r≤(2＾e)；

5)将前2r个字的代码字定为字典中第(e+1)位的单词在字典中索引值的二进制值，其余字的代码定位等于字典中第e位的单词在字典中索引值的二进制值；

6)结束；

所述编码程序在被执行时实现以下步骤：

1)按字扫描文件；

2)判断该字是否首次出现在文件中；若是则该字的代码字为该字在字典中的代码字加霍夫曼树的NYT代码字，将该字的代码字写入输出文件，再使用霍夫曼树更新过程程序更新霍夫曼树；若否则使用自适应霍夫曼树获取该字的代码字并写入输出文件，再使用霍夫曼树更新过程程序更新霍夫曼树；

3)判断是否扫描完成，若是则程序结束，若否则跳转执行步骤1)；

所述霍夫曼树更新过程程序在被执行时实现以下步骤：

1)判断该字是否首次出现在文件中；若是则将该字插入自适应霍夫曼树，再跳转到NYT节点；若否则在霍夫曼树中找到该字对应的叶子节点，并使节点的权重加一；

2)判断霍夫曼树中是否有高节点编号的权重低于当前节点的权重；若是则先将交换两个节点的内容，再向下执行步骤3)；若否则向下执行步骤3)；

3)判断当前节点是否是根节点；若是则结束程序；若否则先更新当前节点的父亲节点的权重为该父亲节点下所有节点的权重之和，再跳转执行步骤2)；

所述霍夫曼编码解压模块包括字典更新程序和解码程序；所述霍夫曼编码解压模块的字典更新程序在被执行时实现以下步骤：

1)按字扫描临时文件；

2)将扫描到的字添加到解码器字典中；

3)判断是否扫描完成，若是则向下执行步骤4)，若否则跳转执行步骤1)

4)根据字典中字的数量m，找到两个值e和r使得m＝(2＾e)+r，0≤r≤(2＾e)；

5)将前2r个字的代码字定为字典中第(e+1)位的单词在字典中索引值的二进制值，其余字的代码定位等于字典中第e位的单词在字典中索引值的二进制值；

6)结束；

所述霍夫曼编码解压模块的解码程序在被执行时实现以下步骤：

1)找到霍夫曼树的根节点；

2)判断该节点是否为叶子节点；若是则向下执行步骤3)；若否则跳转执行步骤2a)；

2a)从输入文件中读取位，并找到对应的节点，再跳转执行步骤2)；

3)判断该节点是否为NYT节点；若是则向下执行步骤4)；若否则先根据对应节点解码元素，再向下执行步骤3a)；

3a)判断当前位是否为输入文件的最后一位；若是则跳转至执行步骤7)；若否则跳转至执行步骤1)；

4)读取e位，并判断e位编码号p是否小于r；若是则向下执行步骤5)；若否则先将p加上r，再执行步骤6)；

5)调用霍夫曼编码解压模块的字典更新程序，并在步骤4的基础上多读取一位，即e+1位；

6)用字典解码第P+1个元素；

7)结束。

Images