一种面向公安侦查应用的图像检索方法
技术领域
本发明属于公安图像侦查领域,尤其涉及一种基于深度学习的面向公安侦查应用的图像检索方法。
背景技术
随着我国的经济发展,构建安全稳定的社会环境已经成为人们共同追求的社会理想。随着视频监控技术和大数据存储的有效发展,城市公共安全建设也逐步得到有关部门的重视。监控摄像头在公园,商场,地铁站等人群密集的地区的普及,为城市安全建设提供了有效的保证。
视频监控系统逐渐发展与完善,使得视频监控技术成为公安侦破案件的新手段,公安侦查破案的方式也发生巨大变革。通常在案件发生之后,公安部门都会组织相关人员观看监控视频,并试图从中找到与嫌疑人相关的蛛丝马迹。即使在活动目标极少出现的时段,也不能遗漏任何片段,甚至需要重复浏览。这种人员浏览的方式,不仅效率不高,而且耗时长。如果在这种海量视频监控数据中,凭借嫌疑人的图像能快速找到并定位出嫌疑人位置和运动轨迹,那么公安侦查技术和侦查人员的工作效率必将迎来质的飞跃。
由于监控视频中环境的复杂性,现有的图像检索技术无法满足监控视频图像中对特定目标行人的快速检索的需求,导致了图像检索在面向公安侦查应用中的存在着诸多挑战。因此,需要更好的运用先进技术突破侦查应用中行人检索的瓶颈,满足公安刑事案件侦查的需求。近年来,人工智能和深度学习技术的飞速发展,为公安的刑事案件侦查的“快速反应,快侦快破”需求提供了方向。其中深度学习作为机器学习的分支,在语音识别,图像分类与识别等多个研究方向取得了优异的成绩,成为当前研究的热点。深度学习通过建立多层次的模型来模拟人脑神经系统对外接信号的处理,可自动从原始输入数据中提取稳定的深层特征。深度学习在图像检索的应用中,相比传统的人工神经网络,具有明显的优势。将深度学习应用于公安侦查领域,并使用大数据和云计算技术对海量监控视频进行分布式处理和存储,从而将以往案件侦破过程中的“大海捞针”转化为“桌面捞针”。因此,将深度学习应用于公安侦查领域为大势所趋。
已有的基于深度学习的图像检索方法首先需要对候选集中的图片进行特征提取,然后再将查询图片的特征向量与候选图片库中的特征向量进行欧式距离计算和相似度排序,得到与查询图片相似的图片。面向公安侦查应用的图像检索,需要从海量的视频图像数据中找出与查询图像相似的图片。按照已有的基于深度学习的检索方法,首先需要对候选集中的图片进行特征提取,然后再将查询图片的特征向量与候选图片库中的特征向量进行高维的欧式距离计算和相似度排序,得到与查询图片相似的图片。这种方法不仅对计算机的计算能力和存储容量要求很高,而且当候选图片数据库足够大时,需要找出与嫌疑人相似的图片犹如“大海捞针”。
故,针对现有技术存在的技术问题,实有必要提出一种技术方案以克服现有技术的缺陷。
发明内容
有鉴于此,确有必要提供一种检索速度快且效率高的面向公安侦查应用的图像检索方法,从而实现公安侦查“快侦快破”的业务需求,从海量的视频图像数据中找出与查询图像相似的图片并将检索结果可视化。
为了解决现有技术存在的技术问题,本发明的技术方案为:
一种面向公安侦查应用的图像检索方法,包括以下步骤:
步骤(1):对于待检索的图像库,构建一个颜色空间特征提取函数用来区分图像中心和边缘,对图像不同的部位进行加权处理,生成颜色特征分布加权颜色直方图;
其中,加权颜色直方图的表达式为:
其中,W和H指的是图像的宽度和高度大小;以图像中心为原点建立直角坐标系,X和Y指的是像素点的横坐标和纵坐标位置;
步骤(2):构建一个构图空间特征提取函数,将待检索图像集进行采样操作将图片尺寸归一化,并将图像从RGB颜色空间转化为HSV颜色空间;
HSV颜色空间与RGB颜色空间的转化公式如下:
max=max(R,G,B);
min=min(R,G,B);
V=max
步骤(3):在步骤(1)和步骤(2)的基础上,构建图像检索函数,记录颜色空间特征和构图空间特征索引表路径,计算查询图像特征与数据及图像特征的距离,存储检索结果;
步骤(4):对步骤(3)保存的图像检索结果中的所有图像,采用深度学习特征提取模型进行特征提取,用特征向量来表示图像;
步骤(5):将查询图像通过与步骤(4)相同的特征提取模型进行特征提取;
步骤(6):将步骤(5)的特征向量与步骤(4)的结果中的特征向量进行遍历,计算特征向量之间的欧式距离;
对两个维度相同的向量xi和xj;欧式距离计算公式为:
步骤(7):将步骤(6)中得到的距离进行排序,并将检索结果进行可视化;
其中,上述步骤(4)和步骤(5)中特征提取模型为ResNet网络模型,ResNet构建模块为:
y=F(x,{Wi})+x,
x和y是当前层的输入和输出向量,Wi为网络参数,函数F(x,{Wi})代表学习的残差函数。
作为优选的技术方案,步骤(3)通过记录颜色空间特征向量与构图空间特征向量之间的距离并存储,进而通过查询图像检索出前N张与查询图像相似的图像,去除图像数据库中与查询图像特征不相关的图像。
作为优选的技术方案,步骤(7)对步骤(6)的距离度量结果进行排序,并将排序结果通过Python语言实现可视化。
与现有技术相比较,本发明提出传统图像检索方法和深度学习检索方法相结合的网络模型,首先用传统方法的方法对数据库图像进行筛选(“粗检索”),然后采用深度学习的图像检索方法进行二次检索(“精检索”),采用传统方法提取图像特征方式对图像数据库进行第一次检索,传统特征相对比较单一,提取特征的时候也不用加载网络,因此特征提取的时间相对会比较短。然后在基于改进深度网络模型上进行实现第二次检索能有效保证图像检索的准确率。将原本海量图像中的“大海捞针”问题转化为可实现的“桌面捞针”,提高了检索精度,减少了检索耗时,进而提高图像侦查的效率。
附图说明
图1为本发明面向公安侦查应用的图像检索方法的总体模型框架图。
图2为本发明中构建模块的框图。
如下具体实施例将结合上述附图进一步说明本发明。
具体实施方式
以下将结合附图对本发明提供的面向公安侦查应用的图像检索方法作进一步说明。
面向公安侦查应用的图像检索需求,需要从海量的视频图像数据中找出与查询图像相似的图片。按照现有技术已有的基于深度学习的检索方法,首先需要对候选集中的图片进行特征提取,然后再将查询图片的特征向量与候选图片库中的特征向量进行高维的欧式距离计算和相似度排序,得到与查询图片相似的图片。这种方法不仅对计算机的计算能力和存储容量要求很高,而且当候选图片数据库足够大时,需要找出与嫌疑人相似的图片犹如“大海捞针”。
为了实现公安侦查“快侦快破”的业务需求,本发明创新性地提出传统图像检索方法和深度学习检索方法相结合的网络模型,首先用传统方法的方法对数据库图像进行筛选(“粗检索”),然后采用深度学习的图像检索方法进行二次检索(“精检索”),与已有的深度学习图像检索方法相比,提高了检索精度,减少了检索耗时,将原本海量图像中的“大海捞针”问题转化为可实现的“桌面捞针”,提高图像侦查的效率。
参见图1,所示为本发明面向公安侦查应用的图像检索方法的总体模型框架图,由模型框图可以得出,本发明的图像检索模型由两部分组成:“粗检索”对海量图像数据库进行第一轮检索,选出图像相似度较近的小部分图片数据集;“精检索”使用卷积神经网络进行特征提取,对第一轮筛选出的图片进行二次检索。
由图1所示,本发明面向公安侦查应用的图像检索方法,具体包括以下步骤:
步骤(1).对于待检索的图像库,根据加权颜色直方图的思想,构建一个颜色空间特征提取函数用来区分图像中心和边缘,对图像不同的部位进行加权处理,生成颜色特征分布加权直方图。
步骤(2).构建一个构图空间特征提取函数,将待检索图像集进行降采样操作将图片尺寸归一化,并将图像从RGB颜色空间转化为HSV颜色空间。
步骤(3).在步骤(1)和步骤(2)的基础上,构建图像检索函数,记录颜色空间特征和构图空间特征索引表路径,计算查询图像特征与数据及图像特征的距离,存储检索结果。
步骤(4).对步骤(3)保存的图像检索结果中的所有图像,采用深度学习特征提取模型进行特征提取,用特征向量来表示图像。
步骤(5).将查询图像通过与步骤(4)相同的特征提取模型进行特征提取。
步骤(6).将步骤(5)的特征向量与步骤(4)的结果中的特征向量进行遍历,计算特征向量之间的欧式距离。
步骤(7).将步骤(6)中得到的距离进行排序,并将检索结果进行可视化。
进一步地,步骤(1)中加权颜色直方图的表达式为:
其中,W和H指的是图像的宽度和高度大小;以图像中心为原点建立直角坐标系,X和Y指的是像素点的横坐标和纵坐标位置。这表示在与图像边缘内切的椭圆范围内,越靠近中心的像素点的权重越高,而其余的像素点的权重则为0。通过加权颜色直方图对图片进行特征提取。
其中,步骤(2)中需要图像从RGB颜色空间转化为HSV颜色空间。颜色空间主要采用HSV(hue,saturation,value)色彩空间,HSV对光照具有较好的不变性,更加符合人类对色彩的认知。HSV颜色空间与RGB颜色空间之间没有直接的转换矩阵,它们之间的转换算法可以描述如下:首先假设R,G,B代表一个颜色在RGB颜色空间下的值,大小为0到1之间,max代表三者之间最大的值,min代表三者之间最小的值,那么该颜色在HSV颜色空间的值H,S,V。
转化公式如下:
max=max(R,G,B);
min=min(R,G,B);
V=max
其中,步骤(3)通过记录颜色空间特征向量与构图空间特征向量之间的距离并存储,进而通过查询图像检索出前N张与查询图像相似的图像,去除图像数据库中与查询图像特征不相关的图像。
其中,步骤(4)和步骤(5)中图像特征提取网络模型为ResNet。ResNet网络是用来解决网络越深,精准度下降的一种残差网络。在传统看来,网络层次越深,特征的表征能力就越强。实际上更深的网络精准度却会先达到饱和然后迅速下降。因此,ResNet网络提出在构造网络的时候加入“shortcuts”连接,不再是线性连接方式,而是将输入信息与输出端相连接,使得网络在训练的时候只需要学习输入和输出那一部分残差,间接保护了信息的完整性,简化了学习目标。构建模块如图2所示,对每一个堆叠层都采用残差学习。
ResNet构建模块定义为:
y=F(x,{Wi})+x
x和y是当前层的输入和输出向量,Wi为网络参数,函数F(x,{Wi})代表学习的残差函数。F+x的操作是由“shortcuts”连接和增加的元素进行的。
其中,步骤(6)中采用欧式距离来对图像之间的特征进行距离计算,对两个维度相同的向量xi和xj。欧式距离计算公式为:
进一步地,步骤(7)对步骤(6)的距离度量结果进行排序,最后将排序结果通过Python语言实现可视化。
在上述步骤中,步骤(1)、步骤(2)、步骤(3)为第一次图像检索过程,对数据库的图像进行筛选;步骤(4)、步骤(5)和步骤(6)为对第一次检索的结果采用深度学习的方法进行二次检索,从而达到提高图像检索效率,减少检索时间的目的。
本发明采用传统方法提取图像特征方式对图像数据库进行第一次检索,传统方法提取的特征相对比较单一,提取特征的时候也不用加载网络,因此特征提取的时间相对会比较短。然后在基于改进深度网络模型上进行实现第二次检索能有效保证图像检索的准确率。将原本海量图像中的“大海捞针”问题转化为可实现的“桌面捞针”,提高图像侦查的效率。
以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本发明中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本发明所示的这些实施例,而是要符合与本发明所公开的原理和新颖特点相一致的最宽的范围。