CN111061910B - 一种基于HBase和Solr的视频特征数据查询方法和系统 - Google Patents

Abstract

本发明公开了一种基于HBase和Solr的视频特征数据查询方法，包括以下步骤：服务端接收来自用户的特征数据查询请求，并根据该特征数据查询请求在索引存储集合中进行检索，以得到多个特征数据ID值；服务端根据步骤一得到的多个特征数据ID值在HBase数据库中检索对应的特征数据集合，并将该特征数据集合返回给用户；本发明通过建立配置文件，使用特征数据ID值关联特征数据和索引，从而提高数据检索的效率和准确率，因此，能够解决现有视频监控系统由于特征数据存储时间的拉长和特征数据量的增加，导致无法对这些海量特征数据进行准确查询的技术问题。

Description

一种基于HBase和Solr的视频特征数据查询方法和系统

技术领域

本发明属于大数据存储和查询技术领域，更具体地，涉及一种基于HBase和Solr的视频特征数据查询方法和系统。

背景技术

随着互联网技术、监控系统和计算机视觉的进步，监控系统也向智能监控系统的方向逐步发展。近年来，我国通过平安城市和天网工程的建设实现了城域范围的视频监控系统。

目前，随着视频监控系统建设规模的不断扩大，通过视频监控系统采集的视频、图片经过转换之后的特征数据存储的时间越来越长，特征数据的积累也越来越庞大，如何针对这些海量数据进行准确的数据查询目前已经成为一个技术难题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于HBase和Solr的视频特征数据查询方法和系统，其目的在于，解决现有视频监控系统由于特征数据存储时间的拉长和特征数据量的增加，导致无法对这些海量特征数据进行准确查询的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于HBase和Solr的视频特征数据查询方法，包括以下步骤：

一、服务端接收来自用户的特征数据查询请求，并根据该特征数据查询请求在索引存储集合中进行检索，以得到多个特征数据ID值；

二、服务端根据步骤一得到的多个特征数据ID值在HBase数据库中检索对应的特征数据集合，并将该特征数据集合返回给用户；

其中索引存储集合是通过以下步骤建立的：

(1)服务端判断HBase数据库是否具备数据复制功能，如果是则进入步骤(2)，否则过程结束；

(2)服务端生成实体配置文件，使用存储于HBase数据库中的所有图片的特征数据所对应的特征名、以及待建立索引的属性信息对该实体配置文件进行更新，并将更新后的实体配置文件存储在公共存储空间上；

(3)服务端使用Solr搜索平台在公共存储空间上读取步骤(2)更新后的实体配置文件，并生成索引存储集合及其ID，初始阶段该索引存储集合中的元素为空；

(4)服务端建立HBase数据库中所有图片的特征数据和步骤(3)生成的索引存储集合中所有元素之间的映射关系表，建立HBase数据库中的特征数据表与映射关系表之间的关联关系，并将建立的映射关系表上传到公共存储空间上。

优选地，图片的特征数据是通过如下方式建立的：首先，服务端通过摄像头采集视频数据，然后，使用视频结构化算法对该视频数据进行解析，最后，将解析后得到的多幅图片的特征数据存储在HBase数据库的特征数据表中。

优选地，图片的特征数据包括特征名、特征数据ID值、以及特征值，其中图片的特征名和特征数据ID值在特征数据表中是以键的形式存储，与图片的特征名对应的特征值在特征数据表中是以值的形式存储。

优选地，待建立索引的属性信息包括该索引是否是主键、该索引是否是必填信息、以及该索引类型。

优选地，步骤(4)包括以下子步骤：

(4-1)从HBase数据库中所有图片的特征数据对应的特征名中选择多个特征名，确定选择的多个特征名的数据类型，并建立特征名列表，其中列表包含选择的多个特征名、以及这些特征名的数据类型；

(4-2)设置计数器i＝1；

(4-3)判断计数器i是否大于特征名列表中特征名的总数，如果是则转入步骤(4-6)，否则转入步骤(4-4)；

(4-4)从步骤(4-1)建立的特征名列表中获取第i个特征名，将该第i个特征名、以及该第i个特征名加上后缀分别作为第i个特征名对应的键和值输入映射关系表；

(4-5)设置i＝i+1，并返回步骤(4-3)；

(4-6)将步骤(3)得到的索引存储集合的ID存储在映射关系表的末尾；

(4-7)建立HBase数据库的特征数据表和步骤(4-6)处理后的映射关系表之间的关联关系；

(4-8)设置计数器j＝1；

(4-9)判断计数器j是否大于特征数据表中特征数据的总数，如果大于则过程结束，否则转入步骤(4-10)；

(4-10)使用映射关系表中的所有值作为索引存储集合中第j条的所有键，并使用特征数据表中的第j条特征数据作为中第j条的值；

(4-11)设置计数器j＝j+1，并返回步骤(4-9)。

按照本发明的另一方面，提供了一种基于HBase和Solr的视频特征数据查询系统，包括：

第一模块，其设置于服务端，用于接收来自用户的特征数据查询请求，并根据该特征数据查询请求在索引存储集合中进行检索，以得到多个特征数据ID值；

第二模块，其设置于服务端，用于根据第一模块得到的多个特征数据ID值在HBase数据库中检索对应的特征数据集合，并将该特征数据集合返回给用户；

其中索引存储集合是通过以下子模块建立的：

第一子模块，其设置于服务端，用于判断HBase数据库是否具备数据复制功能，如果是则进入第二模块，否则过程结束；

第二子模块，其设置于服务端，用于生成实体配置文件，使用存储于HBase数据库中的所有图片的特征数据所对应的特征名、以及待建立索引的属性信息对该实体配置文件进行更新，并将更新后的实体配置文件存储在公共存储空间上；

第三子模块，其设置于服务端，用于使用Solr搜索平台在公共存储空间上读取第二模块更新后的实体配置文件，并生成索引存储集合及其ID，初始阶段该索引存储集合中的元素为空；

第四子模块，其设置于服务端，用于建立HBase数据库中所有图片的特征数据和第三模块生成的索引存储集合中所有元素之间的映射关系表，建立HBase数据库中的特征数据表与映射关系表之间的关联关系，并将建立的映射关系表上传到公共存储空间上。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)本发明由于采用了步骤(2)到步骤(4)，其通过建立配置文件，使用特征数据ID值关联特征数据和索引，从而提高数据检索的效率和准确率，因此，能够解决现有视频监控系统由于特征数据存储时间的拉长和特征数据量的增加，导致无法对这些海量特征数据进行准确查询的技术问题。

(2)本发明由于采用了步骤(4-1)到步骤(4-11)，其通过增加计算机存储空间，建立特征数据与索引存储集合的关系，提高数据检索的效率，从而缩短数据在线检索的时间。因此，本发明的查询时间短，效率高。

(3)本发明的实现简单，应用范围广。

附图说明

图1是本发明基于HBase和Solr的视频特征数据查询方法的流程图；

图2是本发明方法中建立索引存储集合这一过程的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明的基本思路在于，通过离线建立索引的过程，以计算机的存储空间来缩短在线查询的时间。并通过简单的配置文件信息，来映射特征数据表与索引数据表之间的关系，从而建立特征数据的索引，并使用特征数据ID值来查询原始数据，达到快速准确的目的。

如图1所示，本发明提供了一种基于HBase和Solr的视频特征数据查询方法，包括以下步骤：

一、服务端接收来自用户的特征数据查询请求，并根据该特征数据查询请求在索引存储集合中进行检索，以得到多个特征数据ID值；

二、服务端根据步骤一得到的多个特征数据ID值在HBase数据库中检索对应的特征数据集合，并将该特征数据集合返回给用户。

如图2所示，上述索引存储集合是通过以下步骤建立的：

(1)服务端判断HBase数据库是否具备数据复制(replication)功能，如果是则进入步骤(2)，否则过程结束；

(2)服务端生成实体配置文件，使用存储于HBase数据库中的所有图片的特征数据所对应的特征名、以及待建立索引的属性信息对该实体配置文件进行更新，并将更新后的实体配置文件存储在公共存储空间上；

具体而言，所有图片的特征数据是通过如下方式建立的：首先，服务端通过摄像头采集视频数据，然后，使用视频结构化算法对该视频数据进行解析，最后，将解析后得到的多幅图片的特征数据存储在HBase数据库的特征数据表中。

下表1是本步骤中的特征数据表的示例：

特征数据ID值1	{“年龄”：10，“身高”：173，“性别”：“女”...}
		特征数据ID值2	{“年龄”：20，“身高”：190，“性别”：“男”...}

表1

具体而言，图片的特征数据包括特征名、特征数据ID值、以及特征值，其中图片的特征名和特征数据ID值在特征数据表中是以键的形式存储，与图片的特征名对应的特征值在特征数据表中是以值的形式存储。

当图片是人物时，特征名是性别(其特征值是“男”或“女”)、年龄(其特征值是自然数)、身高范围、穿着、携带物品等；当图片是车辆时，特征名是车牌、颜色、车型、品牌、车贴、车饰物信息等；当图片是运动目标时，特征名是是否越界、区域、徘徊、遗留、聚集等，每个特征包括对应的特征名和特征值。

具体而言，待建立索引的属性信息包括该索引是否是主键、该索引是否是必填信息、该索引类型(例如字符串、日期、数值等)等。

(3)服务端使用Solr搜索平台在公共存储空间上读取步骤(2)更新后的实体配置文件，并生成索引存储集合及其ID，初始阶段该索引存储集合中的元素为空；

(4)服务端建立HBase数据库中所有图片的特征数据和步骤(3)生成的索引存储集合中所有元素之间的映射关系表，建立HBase数据库中的特征数据表与映射关系表之间的关联关系，并将建立的映射关系表上传到公共存储空间上；

本步骤包括以下子步骤：

(4-1)从HBase数据库中所有图片的特征数据对应的特征名中选择多个特征名，确定选择的多个特征名的数据类型，并建立特征名列表，其中列表包含选择的多个特征名、以及这些特征名的数据类型；

举例而言，如果特征名是“年龄”，则对应的数据类型是数值类型；如果特征名是“车牌”，则对应的数据类型是字符串；

(4-2)设置计数器i＝1；

(4-3)判断计数器i是否大于特征名列表中特征名的总数，如果是则转入步骤(4-6)，否则转入步骤(4-4)；

(4-4)从步骤(4-1)建立的特征名列表中获取第i个特征名，将该第i个特征名、以及该第i个特征名加上后缀分别作为第i个特征名对应的键和值输入映射关系表(其初始阶段为空)；

举例而言，第i个特征名加上后缀可以是“身高_index”。

下表2是本步骤中的映射关系表的示例：

键	值
		年龄	年龄_index
身高	身高_index
		性别	性别_index

表2

(4-5)设置i＝i+1，并返回步骤(4-3)；

(4-6)将步骤(3)得到的索引存储集合的ID存储在映射关系表的末尾；

(4-7)建立HBase数据库的特征数据表和步骤(4-6)处理后的映射关系表之间的关联关系；

(4-8)设置计数器j＝1；

(4-9)判断计数器j是否大于特征数据表中特征数据的总数，如果大于则过程结束，否则转入步骤(4-10)；

(4-10)使用映射关系表中的所有值作为索引存储集合中第j条的所有键，并使用特征数据表中的第j条特征数据作为中第j条的值；

下表3是索引存储集合的示例：

表3

(4-11)设置计数器j＝j+1，并返回步骤(4-9)。

本发明通过建立配置文件，使用特征数据ID值关联特征数据和索引，从而提高数据检索的效率和准确率，因此，能够解决现有视频监控系统由于特征数据存储时间的拉长和特征数据量的增加，导致无法对这些海量特征数据进行准确查询的技术问题。

此外，本发明通过增加计算机存储空间，建立特征数据与索引存储集合的关系，提高数据检索的效率，从而缩短数据在线检索的时间；因此，本发明的查询时间短，效率高。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于HBase和Solr的视频特征数据查询方法，其特征在于，包括以下步骤：

一、服务端接收来自用户的特征数据查询请求，并根据该特征数据查询请求在索引存储集合中进行检索，以得到多个特征数据ID值；

二、服务端根据步骤一得到的多个特征数据ID值在HBase数据库中检索对应的特征数据集合，并将该特征数据集合返回给用户；

其中索引存储集合是通过以下步骤建立的：

(1)服务端判断HBase数据库是否具备数据复制功能，如果是则进入步骤(2)，否则过程结束；

(2)服务端生成实体配置文件，使用存储于HBase数据库中的所有图片的特征数据所对应的特征名、以及待建立索引的属性信息对该实体配置文件进行更新，并将更新后的实体配置文件存储在公共存储空间上；

(3)服务端使用Solr搜索平台在公共存储空间上读取步骤(2)更新后的实体配置文件，并生成索引存储集合及其ID，初始阶段该索引存储集合中的元素为空；

(4)服务端建立HBase数据库中所有图片的特征数据和步骤(3)生成的索引存储集合中所有元素之间的映射关系表，建立HBase数据库中的特征数据表与映射关系表之间的关联关系，并将建立的映射关系表上传到公共存储空间上；步骤(4)包括以下子步骤：

(4-1)从HBase数据库中所有图片的特征数据对应的特征名中选择多个特征名，确定选择的多个特征名的数据类型，并建立特征名列表，其中列表包含选择的多个特征名、以及这些特征名的数据类型；

(4-2)设置计数器i＝1；

(4-3)判断计数器i是否大于特征名列表中特征名的总数，如果是则转入步骤(4-6)，否则转入步骤(4-4)；

(4-4)从步骤(4-1)建立的特征名列表中获取第i个特征名，将该第i个特征名、以及该第i个特征名加上后缀分别作为第i个特征名对应的键和值输入映射关系表；

(4-5)设置i＝i+1，并返回步骤(4-3)；

(4-6)将步骤(3)得到的索引存储集合的ID存储在映射关系表的末尾；

(4-7)建立HBase数据库的特征数据表和步骤(4-6)处理后的映射关系表之间的关联关系；

(4-8)设置计数器j＝1；

(4-9)判断计数器j是否大于特征数据表中特征数据的总数，如果大于则过程结束，否则转入步骤(4-10)；

(4-10)使用映射关系表中的所有值作为索引存储集合中第j条的所有键，并使用特征数据表中的第j条特征数据作为中第j条的值；

(4-11)设置计数器j＝j+1，并返回步骤(4-9)。

2.根据权利要求1所述的视频特征数据查询方法，其特征在于，图片的特征数据是通过如下方式建立的：首先，服务端通过摄像头采集视频数据，然后，使用视频结构化算法对该视频数据进行解析，最后，将解析后得到的多幅图片的特征数据存储在HBase数据库的特征数据表中。

3.根据权利要求2所述的视频特征数据查询方法，其特征在于，图片的特征数据包括特征名、特征数据ID值、以及特征值，其中图片的特征名和特征数据ID值在特征数据表中是以键的形式存储，与图片的特征名对应的特征值在特征数据表中是以值的形式存储。

4.根据权利要求1所述的视频特征数据查询方法，其特征在于，待建立索引的属性信息包括该索引是否是主键、该索引是否是必填信息、以及该索引类型。

5.一种基于HBase和Solr的视频特征数据查询系统，其特征在于，包括：

第一模块，其设置于服务端，用于接收来自用户的特征数据查询请求，并根据该特征数据查询请求在索引存储集合中进行检索，以得到多个特征数据ID值；

第二模块，其设置于服务端，用于根据第一模块得到的多个特征数据ID值在HBase数据库中检索对应的特征数据集合，并将该特征数据集合返回给用户；

其中索引存储集合是通过以下子模块建立的：

第一子模块，其设置于服务端，用于判断HBase数据库是否具备数据复制功能，如果是则进入第二模块，否则过程结束；

第二子模块，其设置于服务端，用于生成实体配置文件，使用存储于HBase数据库中的所有图片的特征数据所对应的特征名、以及待建立索引的属性信息对该实体配置文件进行更新，并将更新后的实体配置文件存储在公共存储空间上；

第三子模块，其设置于服务端，用于使用Solr搜索平台在公共存储空间上读取第二模块更新后的实体配置文件，并生成索引存储集合及其ID，初始阶段该索引存储集合中的元素为空；

第四子模块，其设置于服务端，用于建立HBase数据库中所有图片的特征数据和第三模块生成的索引存储集合中所有元素之间的映射关系表，建立HBase数据库中的特征数据表与映射关系表之间的关联关系，并将建立的映射关系表上传到公共存储空间上；第四子模块包括：

第一单元，用于从HBase数据库中所有图片的特征数据对应的特征名中选择多个特征名，确定选择的多个特征名的数据类型，并建立特征名列表，其中列表包含选择的多个特征名、以及这些特征名的数据类型；

第二单元，用于设置计数器i＝1；

第三单元，用于判断计数器i是否大于特征名列表中特征名的总数，如果是则转入第六单元，否则转入第四单元；

第四单元，用于从第一单元建立的特征名列表中获取第i个特征名，将该第i个特征名、以及该第i个特征名加上后缀分别作为第i个特征名对应的键和值输入映射关系表；

第五单元，用于设置i＝i+1，并返回第三单元；

第六单元，用于将第三子模块得到的索引存储集合的ID存储在映射关系表的末尾；

第七单元，用于建立HBase数据库的特征数据表和第六单元处理后的映射关系表之间的关联关系；

第八单元，用于设置计数器j＝1；

第九单元，用于判断计数器j是否大于特征数据表中特征数据的总数，如果大于则过程结束，否则转入第十单元；

第十单元，用于使用映射关系表中的所有值作为索引存储集合中第j条的所有键，并使用特征数据表中的第j条特征数据作为中第j条的值；

第十一单元，用于设置计数器j＝j+1，并返回第九单元。

Images